转载自：minimax 稀宇瑞光智能制造有限公司科技
随着 minimax m2.5 的宣布并在社区引发热烈回声，，，， ，，，很兴奋能借此时机，，，， ，，，分享在模子训练背后关于 agent rl 系统的一些思索。。。。。。 。
在大规模、重大的真实天下场景中跑 rl 时，，，， ，，，始终面临一个焦点难题：怎样在系统吞吐量、训练稳固性与 agent 无邪性这三者之间取得平衡。。。。。。 。为相识决这个问题，，，， ，，，我们设计了一个异步的原生 agent rl 系统—— forge。。。。。。 。在 forge 中，，，， ，，，我们通过实现标准化的 agent-llm 交互协议，，，， ，，，支持了对恣意 agent 脚手架举行训练，，，， ，，，并且通过极致的工程优化和稳固的算法与奖励设计，，，， ，，，实现了超大规模的强化学习。。。。。。 。
在面临数十万个真实的 agent 脚手架和情形以及 200k 的上下文长度时，，，， ，，，PT视讯(中国区)官网 rl 系统做到了天天百万级样本量的吞吐，，，， ，，，并实现一连稳固的 reward 上涨和真实的模子能力提升，，，， ，，，并最终作育了 minimax m2.5 模子的性能突破。。。。。。 。
问题建模
在深入探讨架构设计之前，，，， ，，，我们首先将 agent 强化学习系统的优化目的形式化为“最大化有用训练收益（j）”：
其中，，，， ，，，throughput 是指每秒处置惩罚的原始 token 数目，，，， ，，，其主要受 rl 系统中的四部分控制： rollout、training、data processing 和 i/o。。。。。。 。sample efficiency 则是指每个样本带来的平均性能提升，，，， ，，，由数据漫衍、数据质量、算法效率以及 offpolicy 水平决议。。。。。。 。而稳固性和收敛性则能够基于训练历程中监测指标来判断。。。。。。 。
要实现（j）的最大化，，，， ，，，我们需要战胜以下三类挑战：
目今常见的 rl 框架和范式对 agent 的重漂后限制很大，，，， ，，，主要体现在：
agent 自由度受限：将 agent 视为白盒就要求在 agent 和 rl framework 之间共享和转达状态。。。。。。 。这种设计难以对重大的 agent 架构（如动态上下文治理、multi-agent rl 等）举行建模，，，， ，，，导致模子能力无法在重大的黑盒 agent 上有用泛化。。。。。。 。
token一致性问题：现有的 tito（token-in-token-out）模式迫使 agent 与底层的 tokenizer 逻辑深度耦合。。。。。。 。在重大的上下文治理机制下，，，， ，，，要想维持 agent 和 rl 之间的严酷一致性，，，， ，，，其工程本钱是很是大的。。。。。。 。
rollout 的完成时间保存极大的方差——短则几秒长则数小时。。。。。。 。这带来了一个异程序度问题：
训推异程序度逻辑：跑过异步 rl 的同砚都知道，，，， ，，，在 mfu 和 rl 算法稳固性之间权衡是很是重大的。。。。。。 。严酷的 fifo（first in first out）/同程序度会被于长尾样本 block ；； ；； ；； ；而 greedy/fffo（first finish first out）虽然最大化了吞吐量，，，， ，，，却带来了不可控的 distribution shift，，，， ，，，极易导致 rl 中途崩掉。。。。。。 。
前缀冗余：在多轮 agent 请求和 group-level 的 rollout 中，，，， ，，，tokenizer 的 encode-decode 纷歧致性和上下文治理机制，，，， ，，，会导致请求间共享了大宗的前缀，，，， ，，，这种冗余在训练时代造成了重大的盘算铺张。。。。。。 。
希罕奖励问题：重大的 agent 使命的 trajectory 通常包括长达数千步，，，， ，，，使得基于希罕奖励的 credit assignment 在数学上很是不稳固。。。。。。 。这种希罕性导致回报盘算中的信噪比极低，，，， ，，，引起高梯度方差，，，， ，，，破损了大规模模子训练的稳固性。。。。。。 。
long cot 的负面影响：在 r1 出来之后各人的 rl 都很关注 response length 的增添。。。。。。 。但在真实的 agent 场景中，，，， ，，，用户着实对执行时间很是关注，，，， ，，，若是不加以限制可能会导致训出来的模子虽然刷榜很强，，，， ，，，但用户体验很差。。。。。。 。
系统架构与agent rl范式
rl 系统设计
为了实现真正可扩展的架构，，，， ，，，我们不再局限于详细的 agent，，，， ，，，而是转向了通用的笼统层设计，，，， ，，，将 agent 的执行逻辑与底层的训推引擎彻底解耦。。。。。。 。PT视讯(中国区)官网 rl 系统由 3 个焦点�？？ ？？？？樽槌桑�
1.agent：该层笼统了通用 agent（涵盖白盒和黑盒架构）及其运行情形。。。。。。 。它认真协调情形交互，，，， ，，，使 agent 成为一个纯粹的 trajectory producer。。。。。。 。通过将情形交互与 llm generation 解耦，，，， ，，，agent 可以专注于焦点营业逻辑（如 context management 和重大的情形交互等），，，， ，，，而无需体贴底层的训练和推理细节。。。。。。 。
2.中心件笼统层：作为桥梁，，，， ，，，该层在物理上将 agent 侧与训练/推理引擎隔离。。。。。。 。
gateway server：充当标准化通讯网关，，，， ，，，处置惩罚 agent 与 llm 之间的交互请求。。。。。。 。通过通用标准协议，，，， ，，，它有用地将底层模子的重大性与 agent 的高层行为逻辑隔脱离来。。。。。。 。
data pool：作为漫衍式数据存储，，，， ，，，异步网络 trajectory 和 process signal。。。。。。 。它充当天生和训练解耦的缓冲区，，，， ，，，允许无邪的数据处置惩罚和批处置惩罚战略。。。。。。 。
3.训练与推理引擎：
rollout engine：专用于高吞吐量 token 天生，，，， ，，，响应 agent 的天生请求。。。。。。 。
train engine：通过 scheduler 从 data pool 中 fetch 数据，，，， ，，，更新 agent model，，，， ，，，并与采样引擎坚持同步，，，， ，，，确保 agent 使用最新的战略漫衍举行探索。。。。。。 。
我们在离线评估中发明，，，， ，，，差别 agent 脚手架会导致显著的性能误差。。。。。。 。借助该�？？ ？？？？榛杓疲�，， ，，，我们在无需修改 agent 内部代码的情形下，，，， ，，，使用大宗的 agent 框架举行了训练。。。。。。 。这种“引擎与 agent 完全解耦”的架构确保了模子能在种种情形中泛化，，，， ，，，现在我们已集成了数百种框架和数千种差别的工具挪用名堂。。。。。。 。
关于白盒 agent，，，， ，，，我们可以通过充分的脚手架设计和增广，，，， ，，，以直接视察和优化模子在特定类型 agent 上的体现。。。。。。 。在 m2.5 中，，，， ，，，我们特殊优化了已往模子在带上下文治理的长程使命（如 deepsearch）中泛起的一些问题：
上下文场景性能退化：随着交互轮次增添，，，， ，，，中心推理和冗余视察的积累会爆发“注重力稀释”。。。。。。 。这种噪声会导致模子在绝对上下文窗口内对要害信息失去焦点。。。。。。 。
训推纷歧致：虽然上下文治理可以延伸交互周期，，，， ，，，提升 agent 在长上下文场景的体现，，，， ，，，但仅在推理时使用会由于偏离 rl 训练的数据漫衍，，，， ，，，迫使模子在推理时被迫接受上下文变迁，，，， ，，，处置惩罚不常见的长下文，，，， ，，，从而影响模子体现。。。。。。 。
为相识决这些问题，，，， ，，，我们将上下文治理（context management，，，， ，，， cm）机制直接整合到 rl 交互循环中，，，， ，，，将其视为驱动状态转换的功效性行动：
cm 驱动的状态转换：我们将 cm 建模为 agent action，，，， ，，，而上下文变迁则蕴含在情形的 dynamics 中。。。。。。 。状态从 s（t）到 s（t+1）的转换隐式包括了上下文切换的逻辑，，，， ，，，将上下文顺应包括在了模子的训练目的中。。。。。。 。
自顺应推理模式：通过在此框架内优化战略 π（θ），，，， ，，，模子学会了内化漫衍偏移，，，， ，，，涌现出优先关注 state-critical token 的鲁棒推理模式。。。。。。 。
感知上下文治理战略：在该战略下，，，， ，，，模子在 rl 天生历程中就需要学会预见可能的上下文治理和改变，，，， ，，，模子通过自动保存与目的使命相关的信息和镌汰无关上下文信息，，，， ，，，大幅提升了在 context-management agent 下的性能。。。。。。 。
许多用户的真正在用的 agent 现实上是闭源的，，，， ，，，我们完全无法感知内部的 agent loop 逻辑。。。。。。 。为了确保模子在不透明架构上也能对脚手架针对性优化，，，， ，，，我们接纳了以下计划：
非侵入式集成：forge 不感知 agent 内部的实现细节，，，， ，，，内部只需要将请求打到 rl 效劳的 gateway，，，， ，，，框架内部即可举行数据网络和训练，，，， ，，，因此在现实 rl 训练时可以兼容恣意上下文操作（如影象压缩、历史重写），，，， ，，，恣意内部的 agent loop（例如 deep think、multi-agent 等等）。。。。。。 。
多框架泛化：通过将训练循环与 agent 内部状态解耦，，，， ，，，minimax m2.5 普遍适配大宗黑盒 agent——无论是以沙盒+mcp 情形为主的代码 agent（例如我们将 opencode agent 直接视为一个黑盒 agent 来训练），，，， ，，，照旧使用激进上下文缩减战略的 agent（如 truncate bc）。。。。。。 。实验批注，，，， ，，，该要领在完全不透明的黑盒系统上依然能带来稳固的提升。。。。。。 。
工程优化
为相识决吞吐量与数据漫衍一致性之间的冲突，，，， ，，，我们提出了 windowed fifo 调理战略。。。。。。 。该战略介于 fifo 和 greedy 之间，，，， ，，，即可以包管系统的吞吐，，，， ，，，也控制了样本的 off-policyness。。。。。。 。
假设目今抵达了最大的天生并发量（如 n = 8192），，，， ，，，天生行列为 q，，，， ，，，目今头部位于索引 h。。。。。。 。训练调理器受限于一个巨细为w（如 w=4096）的可见窗口：
受限可见性：调理器只能从规模内获取已完成的轨迹。。。。。。 。
局部贪心（窗口内）：在运动窗口内，，，， ，，，调理器可连忙提取任何已完成轨迹，，，， ，，，阻止了队头壅闭（hol），，，， ，，，快速使命无需期待头部使命完成。。。。。。 。
全局严酷壅闭（窗口外）：纵然索引为 h+w+k 的使命已完成，，，， ，，，调理器也榨取获取它。。。。。。 。
约束推进：只有当头部的使命被消耗时，，，， ，，，窗谈锋向前滑动（h→h+1）。。。。。。 。这迫使调理器必需期待目今窗口内的“长周期落伍使命”，，，， ，，，避免训练漫衍向“快而简朴”的样本严重偏移。。。。。。 。
agent 的多轮请求间保存很高的上下文前缀重合度，，，， ，，，古板要领将每个请求视为自力样本，，，， ，，，重复盘算公共前缀，，，， ，，，铺张了大宗的逊с力。。。。。。 。
我们提出了 prefix tree merging 计划，，，， ，，，将训练样本从“线性序列”重构为“树形结构”，，，， ，，，下面是详细的数据处置惩罚和训练战略：
只要共享基础前缀，，，， ，，，completions 就能在样本级别合并到一棵前缀树中（纵然后续响应或采样分支差别）。。。。。。 。
通过使用 attention mask 原语（如 magi attention）体现差别 branch 之间的依赖关系，，，， ，，，可以包管前向盘算在数学上与 naive 计划完全一致，，，， ，，，在盘算 loss 时，，，， ，，，我们会把前缀树 unmerge 为序列的名堂，，，， ，，，不影响后续的 loss 盘算和指标统计。。。。。。 。
该计划消除了冗余的前缀，，，， ，，，相比于 naive 计划实现了约 40 倍的训练加速，，，， ，，，且显著降低了显存开销。。。。。。 。
引入异步 rl 之后虽然 rollout 阶段算力占比降低到了 60% 左右，，，， ，，，但推理自己尚有很大优化空间，，，， ，，，我们通过下面的几项优化来加速 llm 推理：
dynamic mtp：首先我们引入 mtp 举行推理加速，，，， ，，，同时为了包管训练历程中维持 draft model 的高接受率，，，， ，，，我们通过 top-k kl loss 在 rl 历程中一连训练 detached mtp head，，，， ，，，与 rl policy 坚持对齐。。。。。。 。
rollout 侧的 pd 疏散：pd 疏散可以消除 moe 调理中的 pd 滋扰，，，， ，，，为每个实例提供自力的并行和天生战略，，，， ，，，在最大化吞吐量的同时优化长尾样本的延迟，，，， ，，，避免极端样本壅闭 fifo scheduler，，，， ，，，并带来较高的 offpolicy。。。。。。 。
全局 l3 kv cache pool：在多轮和超长上下文的 agent 场景下，，，， ，，，请求间拥有极高的共享前缀比例，，，， ，，，可是局部的 kv cache 受容量限制，，，， ，，，无法抵达知足的 prefix cache 掷中率，，，， ，，，甚至在 rl batch size 极大的情形下，，，， ，，，会爆发大宗由于驱逐导致的重盘算，，，， ，，，因此需要支持全局的 l3 kv cache。。。。。。 。同时，，，， ，，，forge 还通过 scheduler cost-aware 的调理机制，，，， ，，，权衡排队延缓慢和存传输时间来动态路由请求，，，， ，，，在不使实例超载的条件下最大化缓存局部性。。。。。。 。
scalable agent rl 算法
为相识决超长轨迹的信用分派问题并确保稳固，，，， ，，，我们设计了一个由三部分组成的复合奖励：
1.历程奖励（process reward）：监视 agent 的中心行为（如处分语言混淆或特定工具挪用过失），，，， ，，，提供麋集反�。。。。。。 。�，， ，，，而不但依赖最终效果。。。。。。 。
2.使命完成时间奖励：将相对完成时间作为奖励信号。。。。。。 。由于真实延迟不但取决于 token 天生，，，， ，，，还受工具执行和子 agent 挪用影响，，，， ，，，这能激励 agent 自动使用并行战略、选择最短的执行路径来加速使命。。。。。。 。
3.用于降低方差的后续奖励（reward-to-go）：长周期使命的希罕奖励容易引发高梯度方差。。。。。。 。我们使用 reward-to-go 来标准化回报，，，， ，，，大幅提高了信用分派的精度，，，， ，，，稳固了优化历程。。。。。。 。
训出一个真正好用的模子，，，， ，，，工程、数据、算法缺一不可，，，， ，，，能赶在年前交出这份答卷，，，， ，，，离不开背后每一位同事的起劲。。。。。。 �？？ ？？？？吹搅松缜苁嵌嗟恼蚍聪旄杏Ψ浅？？ ？？？？模�，， ，，，着实 m2.5 尚有很大的提升空间，，，， ，，，内部 rl 也还在继续跑，，，， ，，，性能也在一连涨。。。。。。 。现在，，，， ，，，m2.5 已经周全开源。。。。。。 。
hugging face: huggingface.co/minimaxai/minimax-m2.5
github: github.com/minimax-ai/minimax-m2.5
春节马上到了，，，， ，，，祝各人新年快乐！
接待转发，，，， ，，，但请注明来由“上海经信委”
上观号作者：上海经信委瑞光智能制造有限公司>