发布时间:2024-10-25 10:30:28 来源:削月鸿信网 作者:时尚
8月7日,开源深圳 – 为增长国产大模子开源生态与财富运用的第元兴隆睁开 ,元象 XVERSE 公司宣告开源其百亿参数的象国信评高功能通用大模子 XVERSE-13B,可收费商用 。产大测逾川
XVERSE-13B 是模威当初同尺寸中下场最佳的多语言大模子,在多项威信的及百尺度中文以及英文测评中 ,功能逾越了 Llama-2-13B、开源Baichuan-13B 等国内外开源大模子代表(见图一)。第元它具备了高功能、象国信评全开源 、产大测逾川可商用等诸多优势,模威能大大飞腾高校以及企业部署运用大模子的及百老本,不光实现为了国产可替换 ,开源也是第元中文运用更好的抉择。
开源信息现已经在GitHub以及Hugging Face上线。象国信评
XVERSE-13B 大模子基于尺度 Transformer 妄想,在 1.4 万亿高品质 、多样化 tokens 的磨炼数据上,从零磨炼(train from scatch)了130亿参数大模子 ,反对于 40 多种语言 ,高下文窗口巨细为 8192 。元象近期还将宣告大模子 Chat 版,开箱即用,不断优化开拓者体验。
图一:经由多项威信测评,XVERSE-13B 是当初同尺寸中下场最佳的多语言大模子XVERSE-13B 是一个通用大模子,基于它天生的效率搜罗了文本天生、自动化写作、数据合成 、知识问答、多语言翻译、特色化交互、人物脚色饰演 、业余小助手等多方面,能为用户带来重大价钱 。
XVERSE-13B 有望在医疗、教育、文旅 、金融以及娱乐等多个行业具备广漠运用远景 ,也将为元象自己的元宇宙运用提供强盛技术反对于。
元象 XVERSE 公司于2021年初在深圳建树,是国内乱先的 AI 与元宇宙技术效率公司,2022年3月实现为了 A 与 A+ 轮融资 1.2 亿美元 。元象在 3D 与 AI 技术规模已经自主自主研收回了行业争先的“端云协同” 3D 互动技术 ,效率与腾讯音乐 、央视、澳门大三巴等行业龙头客户。
打造最强功能的开源大模子
磨炼语料对于大模子下场至关紧张。XVERSE-13B 构建了一个高达 1.4 万亿高品质 、多样化 tokens 的磨炼数据集 ,同时优化采样策略以及数据机关方式 ,让模子反对于中