品玩

科技创新者的每日必读

打开APP
关闭

腾讯混元开源AngelSpec投机解码框架,推理加速最高达2.4倍

7小时前

品玩7月30日讯,腾讯混元团队正式开源端到端投机解码框架AngelSpec,并同步开放Hy3-A21B模型的MTP与DFly drafter权重及训练代码。该框架覆盖从训练、架构设计到线上部署的全链路,是国内首个提供完整工具链的开源方案。

新一代drafter DFly采用并行架构与面向接受率的训练目标,在4至64全并发档位及六大基准测试中,较自回归基线平均加速1.98至2.40倍,平均接受长度达4.79。针对高并发验证瓶颈,框架引入D-cut机制,线上流量回放吞吐最高提升15.7%。此外,通过TTT技术修复MTP训练与推理不一致问题,对话场景平均接受率提升至66.4%。

AngelSpec基于TorchSpec构建,支持128k长上下文训练及插件化配置,旨在为开发者提供开箱即用的推理加速基建。

取消 发布

下载品玩App,比99.9%的人更先知道关于「腾讯」的新故事

下载品玩App

比99.9%的人更先知道关于「腾讯」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测