新智元报道
编辑：LRST
【新智元导读】清华团队提出EigenData系统，，，，，，，，通过可执行数据闭环优化多轮Agent训练，，，，，，，，在真实场景中使开源模子体现抵达与闭源系统相当水平。。。。 。。。。要害在于训练数据的稳固性和可验证性，，，，，，，，确保模子在交互中能一连学习有用战略，，，，，，，，而非依赖不可靠的奖励信号。。。。 。。。。
已往一年，，，，，，，，Agent的「能力竞赛」险些走到了一个拐点：单轮工具挪用、短链路推理的提升还在继续，，，，，，，，但一旦进入真实多轮交互，，，，，，，，系统最先袒露出完全差别的懦弱性。。。。 。。。。
工程团队越来越频仍地遇到统一问题：模子在离线评估中体现正常，，，，，，，，但一旦进入真实多轮交互，，，，，，，，训练信号就最先频仍失真。。。。 。。。。
一次异常的用户行为、一次工具轨迹跑偏，，，，，，，，都会把整段rollout的reward直接归零，，，，，，，，最终把强化学习推向过失偏向。。。。 。。。。
越来越多的信号批注Agent训练中：
多轮Tool-Using Agent的上限，，，，，，，，越来越取决于训练信号是否可归因、可验证，，，，，，，，而不但是模子规模。。。。 。。。。
在τ?-bench等真实Tool-Using Agent基准中，，，，，，，，研究者视察到，，，，，，，，多轮Agent在进入强化学习阶段后，，，，，，，，乐成率并不总是随训练推进而枯燥提升，，，，，，，，反而常陪同显着波动，，，，，，，，这些波动并非来自模子能力缺乏，，，，，，，，而更多源于长链路交互中用户行为不稳固与奖励误归因的一连放大。。。。 。。。。
一项最新研究从系统层面重构了多轮Agent的训练流程：围绕可执行数据天生、用户模子稳固化与verifier-based奖励提出了一套新的训练范式，，，，，，，，并在τ?-bench的三个真实工具域上完成验证。。。。 。。。。
论文链接：https://arxiv.org/abs/2601.22607
在不引入更大模子规模的条件下，，，，，，，，开源Qwen3系列模子在要害场景中实现了显著提升：
Airline中73.0%pass?，，，，，，，，与Gemini 3.0 Pro基本持平，，，，，，，，显着高于GPT-5（62.5%）
Telecom中98.3%pass?，，，，，，，，抵达目今果真的最佳效果，，，，，，，，凌驾Gemini 3.0 Pro、Claude Sonnet与GPT-5
这些效果批注，，，，，，，，借助系统级训练范式的优化，，，，，，，，开源模子在真实工具交互使命上的可靠性已经被推至与主流闭源系一切一梯队。。。。 。。。。
多轮Agent难训
并不是「不会用工具」
若是只停留在单轮工具挪用层面，，，，，，，，Agent的问题看起来并不重大。。。。 。。。。
给定输入、选择工具、执行一次、返回效果，，，，，，，，reward也可以直接对应到这一步是否乐成。。。。 。。。。
但一旦把视角拉到真实的多轮交互中，，，，，，，，情形就完全变了。。。。 。。。。
对话被拉长为长链路的trajectory，，，，，，，，工具挪用不再是伶仃事务，，，，，，，，而是与用户反响交织泛起；； ；；；；用户状态也不再是静态条件，，，，，，，，而是在交互历程中一直袒露、甚至爆发漂移。。。。 。。。。
此时，，，，，，，，Agent 面临的已经不是「会不会用工具」，，，，，，，，而是能否在一个一连转变的系统中坚持决议一致性。。。。 。。。。
而在现实训练情形中，，，，，，，，模子往往体现出显着的不稳固性，，，，，，，，模子容易学偏，，，，，，，，甚至泛起效果随训练波动、难以收敛的问题。。。。 。。。。
研究效果指明主要缘故原由集中在两点：
1. 缺乏真正「可用」的训练数据
真正可用于多轮Agent训练的数据，，，，，，，，必需同时笼罩：
多轮对话+ 多步工具执行 + 用户侧信息逐步透露/改变偏好。。。。 。。。。
问题在于，，，，，，，，这样的数据在现实中险些不可能通过人工标注规模�； ；；；；竦谩！！！� 。。。。而自动合成的数据，，，，，，，，看似缓解了数据稀缺的问题，，，，，，，，却引入了新的隐患。。。。 。。。。
在大宗样本中，，，，，，，，工具挪用轨迹在文本层面「看起来合理」，，，，，，，，但只要真正执行一遍，，，，，，，，就会触发不可完成状态，，，，，，，，trajectory 在中途失败。。。。 。。。。
最终，，，，，，，，Agent 学到的并不是稳固、可复现的工具使用能力，，，，，，，，而是一种停留在表层的战略模式（surface-level policy），，，，，，，，即它看起来像在做事，，，，，，，，却无法在真实系统中跑通。。。。 。。。。
2. 用户模拟的不稳固性会直接污染RL信号
在interactive RL设置中，，，，，，，，用户模拟器是驱动对话不可或缺的一环。。。。 。。。。但我们发明，，，，，，，，开源模子充当用户时经常无法稳固遵照指令，，，，，，，，甚至会随意挪用工具，，，，，，，，导致 rollout 提前失败。。。。 。。。。
在多轮Tool-Using Agent的训练中，，，，，，，，reward不再只取决于某一次工具挪用是否乐成，，，，，，，，而是由整段交互trajectory的最终状态统一决议。。。。 。。。。这意味着，，，，，，，，只要链路中任何一个环节泛起误差：一次用户行为异常、一次工具误挪用、一次状态提前终止，，，，，，，，整段rollout的reward都可能被直接归零。。。。 。。。。
从效果上看，，，，，，，，Agent「失败」了；； ；；；；但从系统内部看，，，，，，，，失败并纷歧定来自agent policy自己，，，，，，，，也可能来自于用户模子自己的不稳固性。。。。 。。。。
在真实训练历程中，，，，，，，，user model往往并不可始终稳固地遵照使命设定。。。。 。。。。它可能偏离指令、误挪用工具，，，，，，，，甚至在要害办法提前竣事对话。。。。 。。。。
这些行为自己并非agent决议的效果，，，，，，，，却会直接决议最终reward。。。。 。。。。
于是，，，，，，，，情形就酿成Agent在局部决议上是准确的，，，，，，，，但由于用户行为偏移，，，，，，，，最终情形状态失败，，，，，，，，reward被统一判为0
从强化学习的视角看，，，，，，，，这组成了严重的credit assignment failure。。。。 。。。。reward无法区分失败事实源于 agent policy，，，，，，，，照旧来自user policy的异常行为。。。。 。。。。在这种条件下，，，，，，，，强化学习并不会「修正」问题，，，，，，，，而是会一直将噪声反向撒播到agent上，，，，，，，，最终推动战略朝着过失偏向收敛。。。。 。。。。
从这个角度看，，，，，，，，多轮Agent的训练瓶颈，，，，，，，，并不完全是算法问题，，，，，，，，而是一个系统结构问题。。。。 。。。。
基于这一判断，，，，，，，，论文并没有继续在强化学习算法层面叠加重大性，，，，，，，，而是选择从更底层的训练流程入手，，，，，，，，重新拆解agent与user的角色分工。。。。 。。。。
EigenData不「天生更大都据」
让数据自己进化
在多轮Tool-Using Agent的训练中，，，，，，，，数据问题往往被简化为一个数目问题：数据够不敷多、笼罩够不敷广。。。。 。。。。
但在真实long-horizon交互场景下，，，，，，，，这个假设并不建设。。。。 。。。。
大宗 synthetic data 在文本层面看起来合理，，，，，，，，逻辑自洽、对话完整，，，，，，，，但一旦真正执行工具挪用，，，，，，，，就会袒露出根天性问题：工具参数不正当、状态无法抵达、使命在中途进入不可完成区域。。。。 。。。。
这意味着，，，，，，，，模子并不是在「失败中学习」，，，，，，，，而是在用不可执行的轨迹训练自己。。。。 。。。。因此原文中EigenData的设计重点关注了怎样构建一个可闭环演化的数据天生历程，，，，，，，，即：
天生数据 → 发明失败 → 自动修正prompt与workflow → 再天生
EigenData并不是古板意义上的synthetic data pipeline，，，，，，，，而是一个能够凭证失败反响一连迭代的多智能系一切，，，，，，，，团结自检与自修复机制，，，，，，，，逐步构建出高质量的数据荟萃。。。。 。。。。
在EigenData的事情流程中，，，，，，，，每条训练样本都被要求必需知足一个硬性条件：其对应的工具挪用轨迹�？？ ？？？？梢员煌暾葱校�，，，，，，，并由verifier在代码层面验证最终情形状态。。。。 。。。。
若是执行失败，，，，，，，，失败信息会被回流，，，，，，，，用于自动修正 prompt、workflow 以及天生战略自己。。。。 。。。。
这使得数据漫衍并不是一次性天生的效果，，，，，，，，而是会随着失败反响一连向「可执行区域」收敛。。。。 。。。。通过自动天生多轮对话并执行真实工具挪用，，，，，，，，每一条数据实例都会配套一个「可执行验证器」，，，，，，，，使得 Agent 行为是否乐成可以通过代码直接判断，，，，，，，，因此能够包管数据质量「越跑越好」。。。。 。。。。
从系统角度看，，，，，，，，通过这一行动，，，，，，，，EigenData一直缩小了模子可以学习到的行为空间，，，，，，，，使其对齐真实系统的可行解集。。。。 。。。。这一步包管了模子在RL介入之前，，，，，，，，每个reward都可以真正对应到一个已经被系统验证后的效果，，，，，，，，使训练信号自己是可执行、可验证、可复现的。。。。 。。。。
先训用户模子，，，，，，，，再训Agent
即便训练数据自己是可执行的，，，，，，，，多轮 Agent 的训练仍然可能失败。。。。 。。。。
缘故原由在于，，，，，，，，在interactive agent场景中，，，，，，，，用户模子自己就是系统的一部分。。。。 。。。。
若是user policy保存漂移或不稳固性，，，，，，，，即便 agent 的局部决议是准确的，，，，，，，，整段 trajectory 仍可能由于用户行为异常而失败，，，，，，，，最终 reward 被统一归零。。。。 。。。。
基于这一熟悉，，，，，，，，研究者们将训练流程拆分为两步：
首先，，，，，，，，使用EigenData天生的可执行对话数据，，，，，，，，对user model举行SFT微调，，，，，，，，使其行为稳固、可控，，，，，，，，并与使命设定对齐；； ；；；；
在用户侧不再成为主要噪声源之后，，，，，，，，才引入强化学习优化agent policy。。。。 。。。。
这一拆分并不是特另外工程重漂后，，，，，，，，而是一个系统级前置条件。。。。 。。。。它从基础上镌汰了 reward 的混杂泉源，，，，，，，，使强化学习不再频仍处分「准确但被用户行为破损的决议」，，，，，，，，训练曲线也因此变得稳固、可展望。。。。 。。。。
用「可执行效果」替换主观奖励
在强化学习阶段，，，，，，，，该要领不再依赖模糊的reward model，，，，，，，，而是用使命自带的验证函数（verifier）直接检查最终情形状态，，，，，，，，实现「对 / 错」的可执行、可审计奖励信号。。。。 。。。。
在此基础上，，，，，，，，引入GRPO的group-relative advantage：针对统一使命采样多条trajectory，，，，，，，，举行组内相对优势学习，，，，，，，，以降低long-horizon交互导致的高方差与不稳固性。。。。 。。。。
同时使用dynamic filtering剔除「全对/全错」的低信息样本，，，，，，，，将训练预算集中于具有区分度的使命子集。。。。 。。。。
在这些设计的配相助用下，，，，，，，，RL信号更清洁、更稳固，，，，，，，，训练历程也更不易泛起战略漂移。。。。 。。。。
实验效果
开源模子训练至靠近关闭模子水准
为了验证这一套系统级训练范式在真实交互场景中的有用性，，，，，，，，研究者在τ?-bench的三个真实工具使命（Airline / Retail / Telecom）上举行了系统评估。。。。 。。。。评估接纳pass?指标，，，，，，，，即要求Agent在一次完整多轮交互中乐成完成使命，，，，，，，，这一指标能够更直接反应 Agent 在 long-horizon 场景下的稳固性与可靠性。。。。 。。。。
效果显示，，，，，，，，性能提升并非无意，，，，，，，，而是在多个场景中稳固泛起。。。。 。。。。
在规则最重大的Telecom场景中，，，，，，，，Qwen3-235B-A22B-2507经SFT + RL训练后，，，，，，，，pass?提升至98.3%，，，，，，，，进入目今果真效果的最强梯队；； ；；；；
在Airline场景中，，，，，，，，统一模子抵达73.0% pass?，，，，，，，，整体体现已与主流闭源系统对齐。。。。 。。。。
更要害的是，，，，，，，，在三域混淆训练设置下，，，，，，，，一个模子同时学习多个工具情形，，，，，，，，最终仍能坚持81.3% 的平均 pass?，，，，，，，，批注该要领学到的并非简单场景下的「投契战略」，，，，，，，，而是更具通用性的 tool-using 能力。。。。 。。。。
进一步的消融实验展现了这些提升的泉源。。。。 。。。。
一旦移除validation / verifier或数据自进化机制，，，，，，，，SFT 阶段的性能便泛起显着下降，，，，，，，，说明数据的可执行性与多样性是能力形成的基础！！！� 。。。。�； ；；；；而若是在未对用户模子举行稳固化预训练的情形下直接引入强化学习，，，，，，，，整体性能反而会退化。。。。 。。。。这一效果批注，，，，，，，，只有在用户行为被有用控制的条件下，，，，，，，，强化学习才华一连带来正向增益。。。。 。。。。
可执行训练信号并不是一个「锦上添花」的技巧，，，，，，，，而是一条明确的系统分界线。。。。 。。。。
当 Tool-Using Agent 进入真实多轮交互，，，，，，，，问题不再只是「强化学习还能不可收敛」，，，，，，，，而是训练信号自己是否具备工程意义：它是否可执行、可归因、可验证，，，，，，，，是否真正对应到一个可复现的系统效果。。。。 。。。。这正是EigenData介入的位置。。。。 。。。。
通过将数据天生、工具执行与verifier校验统一进一个闭环系统，，，，，，，，EigenData不但是为RL提供了「更清洁的reward」，，，，，，，，而是重新界说了什么样的训练信号才值得被强化学习放大。。。。 。。。。在这一条件下，，，，，，，，GRPO、dynamic filtering等优化战略才第一次拥有清晰、稳固的作用工具。。。。 。。。。
论文给出的判断标准着实很是直接：若是一个多轮Agent的训练流程无法明确回覆「reward 究竟在奖励谁、失败事实由谁导致、统一使命下哪条轨迹更好」，，，，，，，，那它在工程上仍停留在「看起来能跑」的 workflow，，，，，，，，而不是「可以一连优化」的system。。。。 。。。。
从这个角度看，，，，，，，，训练中泛起的performance oscillation、reward 被异常用户行为清零、RL 反而带来退化，，，，，，，，并不是实现细节上的瑕疵，，，，，，，，而是训练信号尚未被系统性结构的一定效果。。。。 。。。。
这项事情的焦点孝顺，，，，，，，，并不在于提出一种新的RL技巧，，，，，，，，而在于通过EigenData将多轮Agent的post-training推向一个新的工程范式：
当训练信号先被结构成可执行、可归因、可验证的系统工具时，，，，，，，，强化学习才真正成为一种可控的系统优化；； ；；；；在此之前，，，，，，，，再多的 rollout 和更大的模子，，，，，，，，也执偾在噪声之上叠加盘算。。。。 。。。。
参考资料：
https://arxiv.安徽江淮汽车部件有限公司org/abs/2601.22607