品玩

科技创新者的每日必读

打开APP
关闭

DeepSeek联合北大、清华发布新型AI推理框架DualPath

3小时前

品玩2月27日讯,据 ARxiv 页面显示,DeepSeek与北京大学、清华大学合作,在ArXiv平台发表论文,提出面向智能体系统的全新大模型推理框架——DualPath。该框架旨在解决长上下文场景下KV-Cache加载引发的I/O瓶颈问题。

DualPath突破传统“存储→预填充(Prefill)”单路径模式,创新引入“存储→解码引擎(Decode)→预填充”第二路径,利用解码端闲置的存储网络带宽,通过RDMA高速网络将缓存动态调度至预填充端,实现集群存储带宽的全局池化与负载均衡。

在660B参数规模的生产级模型测试中,DualPath使离线推理吞吐提升1.87倍,线上服务吞吐平均提升1.96倍,显著优化首Token延迟(TTFT),且不影响逐Token生成速度(TPOT)。

论文第一作者为北京大学博士生Wu Yongtong,师从Jin Xin教授,现就职于DeepSeek系统组,专注于大模型推理基础设施的性能优化与多硬件平台部署。该成果标志着国产大模型在底层系统架构创新上取得重要突破。

取消 发布

下载品玩App,比99.9%的人更先知道关于「DEEPseek」的新故事

下载品玩App

比99.9%的人更先知道关于「DEEPseek」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测