品玩2月11日讯,腾讯混元正式发布其面向消费级硬件的“极小”模型HY-1.8B-2Bit。该模型基于首个产业级2Bit端侧量化方案,通过量化感知训练(QAT)技术,实现了模型体积与性能的平衡突破。
HY-1.8B-2Bit等效参数量仅为0.3B,内存占用低至600MB。它在保留原模型“全思考”能力的同时,在多项核心能力指标上与4比特量化模型表现相当,并在真实端侧设备上实现了生成速度2-3倍的显著提升,为手机、智能家居等设备提供了离线高效部署的新方案。
该模型已在GitHub与Hugging Face等平台开源,并完成了在Arm、天玑等主流计算平台的适配,旨在推动大语言模型在资源受限的边缘计算场景中落地应用。





0 条评论
请「登录」后评论