品玩

科技创新者的每日必读

打开APP
关闭

月之暗面杨植麟详解Kimi K2.5技术演进路线

18小时前

品玩3月19日讯,在英伟达GTC大会上,月之暗面创始人杨植麟首次系统披露了Kimi K2.5的技术路线图,提出通过“令牌效率、长上下文与智能体集群”三维共振实现模型能力跃升。针对传统优化器瓶颈,团队研发MuonClip优化器,在万亿参数训练中成功抑制数值爆炸,使令牌处理效率较AdamW提升一倍。

在长上下文领域,Kimi Linear架构采用混合注意力机制,将128K至1M范围内的解码速度提升5至6倍,实现了从“支持长文本”到“高效利用长文本”的转变。此外,团队重构了沿用十年的残差连接,提出Attention Residuals机制,使深层网络能按需检索信息而非简单堆叠,该成果已开源并获Andrej Karpathy等专家高度评价。

杨植麟还指出,多模态视觉强化学习可反向增强纯文本推理能力。未来Kimi将从单智能体转向动态生成的智能体集群(Agent Swarms),通过并行协作大幅缩短复杂任务执行时间,重塑人工智能规模化应用范式。

取消 发布

下载品玩App,比99.9%的人更先知道关于「KIMI」的新故事

下载品玩App

比99.9%的人更先知道关于「KIMI」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测