品玩

科技创新者的每日必读

打开APP
关闭

腾讯混元发布极轻量AI模型,端侧部署内存仅需600M

2月10日

品玩2月10日讯,据腾讯混元官方消息,腾讯混元今日正式推出一款面向消费级硬端的,极小规模模型HY-1.8B-2Bit。该模型等效参数量仅为0.3B,内存占用约600MB,比许多常用手机应用更小。

通过对原有1.8B模型进行量化感知训练,新模型在将等效参数量降低6倍的同时,保留了完整的思维链能力。在端侧真实设备上,其文本生成速度比原始精度模型快2至3倍,首字响应速度提升最高可达8倍。

技术层面,该模型通过数据优化和训练策略创新,使其在数学、代码等能力指标上与4比特量化模型相当,实现了小体积下的高性能。模型已提供适配格式,可在搭载Arm SME2等技术的移动平台上高效运行,为端侧AI的隐私保护和离线应用提供了新的解决方案。

取消 发布

下载品玩App,比99.9%的人更先知道关于「腾讯混元」的新故事

下载品玩App

比99.9%的人更先知道关于「腾讯混元」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测