品玩4月30日讯,据科创板日报报道,智谱今天凌晨发布技术博客,首次系统披露GLM-5系列模型在超大规模Coding Agent调用场景下的底层推理技术突破。
包括系统吞吐最高提升132%,相同硬件条件下服务能力的显著扩容。KV cache 修复方案(改进了模型在长对话中的记忆缓存机制,从而提升推理效率)获SGLang开源社区采纳。
此外,公司推理优化还在进一步加速,大幅提升单位算力token吞吐效率,降低推理成本。

智谱首次披露GLM-5 Coding Agent推理工程实践
5小时前品玩4月30日讯,据科创板日报报道,智谱今天凌晨发布技术博客,首次系统披露GLM-5系列模型在超大规模Coding Agent调用场景下的底层推理技术突破。
包括系统吞吐最高提升132%,相同硬件条件下服务能力的显著扩容。KV cache 修复方案(改进了模型在长对话中的记忆缓存机制,从而提升推理效率)获SGLang开源社区采纳。
此外,公司推理优化还在进一步加速,大幅提升单位算力token吞吐效率,降低推理成本。

下载品玩App,比99.9%的人更先知道关于「智谱」的新故事
下载品玩App
比99.9%的人更先知道关于「智谱」的新故事




0 条评论
请「登录」后评论