品玩

科技创新者的每日必读

打开APP
关闭

PrismML发布Ternary Bonsai 2系列端侧模型

2小时前

品玩10月16日讯,AI公司PrismML官方近日宣布扩展Bonsai 2系列,推出基于Qwen3.5的三款三元权重模型:Ternary Bonsai 2 2B、4B和9B,与已发布的27B版本共同覆盖从轻量到复杂任务的端侧部署需求。

该系列采用三元权重表示法,以{-1, 0, +1}编码参数,存储占用分别约为0.43GB、0.95GB和2GB,较全精度版本缩小9倍以上。官方称模型在推理、视觉理解、工具调用和指令遵循方面均有提升,其中9B模型在标准指令和日常数学任务中可减少约40%的token消耗。

性能方面,在RTX 4090和M5 Pro等硬件上,新模型吞吐量最高可达全精度版本的5倍,能效提升3倍;在iPhone 18 Pro Max上,9B模型最高可达每秒34个词元,2B模型最高可达每秒120个词元。

模型权重以Apache 2.0许可证开放,支持通过llama.cpp在NVIDIA GPU上运行,或通过MLX在Mac、iPhone和iPad上部署。

取消 发布

下载品玩App,比99.9%的人更先知道关于「PrismML」的新故事

下载品玩App

比99.9%的人更先知道关于「PrismML」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测