品玩

科技创新者的每日必读

打开APP
关闭

阿里云真武超节点Day0适配Kimi K3大模型,双方展开国产算力合作

4小时前

7月28日,阿里云真武M890超节点实例已Day0适配Kimi K3,这是国内首个跑通近3万亿参数模型的超节点。双方将进一步展开国产算力合作,千问AI平台和阿里云百炼也将提供Kimi K3 的模型API。

Kimi K3是目前业界参数规模最大的模型之一,跑通这一规模的模型需要将参数分散到几十张甚至上百张高速互联的GPU卡,让万亿参数“跑得又稳又快”。然而,普通AI集群因通信带宽的局限,无法满足高吞吐、低延迟、高并发的需求。

阿里云真武超节点实例通过ICN Switch高速互联芯片,让64张平头哥真武M890实现800GB/s的全互联,其显存规模达到 9TB,可突破万亿参数模型运行的算力、显存和网络带宽的瓶颈,单实例即可支撑大规模万亿级参数MoE模型的专家并行需求。

为提升Kimi K3的运行效率,阿里云、平头哥与Kimi团队从软件栈、算子等层面进行了深度联合适配。例如,真武M890对Kimi K3模型架构的核心算子进行优化,显著提升推理的算力和带宽利用率,可稳定支持最1M长上下文,从容应对长文档理解、复杂推理等场景。测试显示,适配后模型的首Token时延降低约35%,单卡解码吞吐提升1.8倍。

目前,国内外主流模型已进入超2万亿参数规模的时代,阿里云真武超节点不仅跑通Kimi K3,还实现了模型的高效运行,意味着国产算力已具备支撑超大参数模型大规模应用的能力。

取消 发布

下载品玩App,比99.9%的人更先知道关于「阿里云」的新故事

下载品玩App

比99.9%的人更先知道关于「阿里云」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测