2月27日新闻，，，，，，，，依旧没比及D云峰量子手艺有限公司eepSeek V4，，，，，，，，今天DeepSeek与北京大学、清华大学在ArXiv团结宣布了一篇关于全新智能体推理框架DualPath的论文。。。。。。。据相识，，，，，，，，该框架旨在解决智能体在长文本推理场景下面临的I/O瓶颈问题，，，，，，，，通过优化存储读取路径，，，，，，，，显著提升了大规模模子的推理吞吐量。。。。。。。

据论文先容，，，，，，，，DualPath的焦点立异在于改变了古板的“存储至预填充引擎”（Storage-to-Prefill）单路径加载模式，，，，，，，，引入了“存储至解码引擎”（Storage-to-Decode）的第二条路径。。。。。。。在现有的预填充-解码疏散架构中，，，，，，，，存储I/O压力往往集中在预填充引擎上，，，，，，，，导致解码引擎的存储带宽闲置，，，，，，，，这种不平衡成为了限制系统吞吐量的障碍。。。。。。。DualPath通过使用解码引擎闲置的存储网卡带宽读取缓存，，，，，，，，并配合高速盘算网络（RDMA）将其传输至预填充引擎，，，，，，，，实现了集群存储带宽的全局池化与动态负载平衡。。。。。。。

在手艺实现上，，，，，，，，DualPath接纳了以盘算网卡为中心的流量治理和自顺应请求调理机制。。。。。。。系统将所有GPU相关流量统一治理，，，，，，，，使用效劳质量（QoS）机制确保推理通讯的高优先级，，，，，，，，包管大规模数据传输不滋扰延迟敏感型使命。。。。。。。同时，，，，，，，，调理器能实时监控各引擎负载，，，，，，，，动态决议最优路径，，，，，，，，镌汰GPU执行历程中的闲置时间。。。。。。。

数据显示，，，，，，，，研究团队在包括1152个GPU的大规模生产集群上，，，，，，，，使用660B规模的模子举行了实测。。。。。。。效果批注，，，，，，，，DualPath在离线推理场景下的吞吐量提高了1.87倍，，，，，，，，在线效劳场景下的吞吐量平均提升了1.96倍。。。。。。。别的，，，，，，，，在高负载情形下，，，，，，，，首字延迟（TTFT）获得大幅优化，，，，，，，，而Token间的天生速率险些未受滋扰。。。。。。。（袁宁）