
9月1日,科大讯飞全资子公司词元星火,一口气开源了两款端侧大模型:星火X2.5-4B和1.7B。
名字很朴素,但有个”第一次”值得说:这是端侧模型里,第一个原生支持100万Token上下文的。
100万Token是什么概念?一份几十页的产品手册,一次读完;一个多步骤任务,不用拆开反复喂。过去端侧模型干长活,得把文档切成几段,一段段问,问着问着就忘了前情。现在,一份完整手册丢给它,跨章节的规则它能串起来给结论。
能读全,只是第一步。能不能动手,才是关键。
星火X2.5围着智能体、代码、数学和指令遵循做了专门优化。办公场景里,丢一张销售明细表,它自己写脚本、算指标、出分析,还能顺手中英文各来一份报告;写代码,4B的模型敢对标大它两三倍的云端模型;智能家居里,控制指令执行准确率90.3%,平均响应0.85秒。
更提气的是底座:这两款模型,是全流程用全国产算力训练出来的,预训练数据约20万亿Token。还兼容英伟达、华为、海光、后摩等硬件平台,本地部署门槛不高。
端侧AI的竞争,正在从”能不能在设备上说话”,升级成”能不能在本地把事办完”。断网能用、数据不出门、响应够快,端侧模型的短板,正在一块块补上。
手机、汽车、机器人……大模型往终端走,可能比很多人想象的更快。
留言 0
还没有留言,快来抢沙发