品玩

科技创新者的每日必读

打开APP
关闭

面壁智能发布新一代 MiniCPM-V 4.7:35B 开源大模型首次无损流畅跑上手机

10月13日

据悉,10月13日面壁智能正式发布新一代端侧多模态大模型 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。其中 35B-A3B 采用 MoE 架构,总参数 350 亿、每次推理仅激活 30 亿,是首个可在端侧无损流畅运行的开源 MoE 模型,仅约 3GB 内存即可运行,解码速度达 15+ token/s(iPad Pro 实测),真正做到即问即答、无需等待。发布当日即支持瑞芯微、NVIDIA、Intel 和 Apple 等国内外主流芯片平台,同时支持 iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。1B 版本主打端侧极致效率,让旗舰级能力跑进更多端侧设备,也让端侧多模态从少数设备的探索,走向每个人的日常。

这一突破的背后,是面壁智能自研的 LES(前瞻专家调度)技术。MoE 模型的特点是模型内部有众多“专家”,而每次回答只调用其中几位,这意味着虽然能力更强,但同时给手机运存带来极大压力:传统做法是“用哪位专家,就临时把它搬进运存,搬完再算”,一搬一停,就会卡顿。而面壁智能 LES 技术可以做到提前预判、无缝衔接:系统会提前预测接下来要用到哪些专家,趁当前计算还在进行时就把它们提前加载好,让加载与计算同步推进。就像接力赛里接棒人提前起跑、边跑边接棒,棒子到手时已是全速,无需任何等待时间。该技术目前为业界独家开源方案。

截至目前,由面壁智能联合 OpenBMB 开源社区发布的 MiniCPM 系列开源模型,全球累计下载量已突破 6000 万次,覆盖文本、视觉、语音全模态。

取消 发布

下载品玩App,比99.9%的人更先知道关于「面壁智能」的新故事

下载品玩App

比99.9%的人更先知道关于「面壁智能」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测