这项由中国人民大学高瓴人工智能学院和腾讯大模子部分团结开展的研究揭晓于2026年2月，，，，，，，论文编号为arXiv:2602.12125v1。。。。。。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。。。

在人工智能训练领域，，，，，，，恒久以来保存一个看似不可突破的天花板：学生模子的能力上限往往被先生模子所限制，，，，，，，就像古板师傅带徒弟一样，，，，，，，徒弟很难青出于蓝而胜于蓝。。。。。。。。然而，，，，，，，这项最新研究却发明了一种让AI"学生"突破先生能力界线的神奇要领。。。。。。。。

研究团队针对的焦点问题是在线战略蒸馏手艺的局限性。。。。。。。。在线战略蒸馏是目今AI训练的一种主要要领，，，，，，，可以把它明确为一种特殊的学习方法：差别于古板的让学生照抄先生的作业，，，，，，，这种要领让学生先自己做题，，，，，，，然后参考先生在相同问题上的解答来刷新自己的体现。。。。。。。。这种要领已经被证实比古板的离线学习越发有用，，，，，，，但它有一个要害限制——学生的最终体现通常无法逾越先生。。。。。。。。

研究的突破性发明在于，，，，，，，他们首先从理论角度证实晰在线战略蒸馏现实上是一种特殊的强化学习要领。。。。。。。。强化学习可以明确为通过奖励和处分来指导学习的历程，，，，，，，就像训练宠物时给予零食奖励一样。。。。。。。。研究团队发明，，，，，，，古板的在线战略蒸馏在处置惩罚奖励信号和约束条件时接纳了牢靠的1比1权重比例，，，，，，，这就像在天平的两头永远安排相等重量的砝码。。。。。。。。

基于这个发明，，，，，，，研究团队提出了广义在线战略蒸馏框架。。。。。。。。这个新框架的焦点立异是引入了一个可调理的奖励缩放因子，，，，，，，允许研究职员无邪控制奖励信号的强度。。。。。。。。更主要的是，，，，，，，他们还加入了一个可无邪选择的参考模子机制。。。。。。。。这就像给天平增添了可调理的刻度，，，，，，，可以凭证需要调解两头的重量比例。。。。。。。。

当奖励缩放因子设置为大于1时，，，，，，，就进入了他们称为"奖励外推"的神奇区域。。。。。。。。在这种设置下，，，，，，，训练历程会放大来自先生模子的指导信号，，，，，，，让学生模子能够捕获到越发细微和深层的模式。。。。。。。。这种要领被研究团队命名为ExOPD，，，，，，，它能够让学生模子在某些使命上的体现真正逾越先生模子。。。。。。。。

研究团队在数学推理和代码天生两个主要领域举行了大宗实验验证。。。。。。。。他们使用的主要模子是Qwen3系列，，，，，，，包括1.7B、4B和30B等差别规模的版本。。。。。。。。在数学领域，，，，，，，他们使用了AIME24、AIME25、HMMT25等竞赛级别的数学问题作为测试基准。。。。。。。。在代码天生领域，，，，，，，则接纳了HumanEval+、MBPP+和LiveCodeBench等专业编程测试集。。。。。。。。

实验效果令人印象深刻。。。。。。。。在简单先生蒸馏实验中，，，，，，，当奖励缩放因子设置在0到1之间时，，，，，，，学生模子的体现确实介于原始状态和先生模子之间，，，，，，，验证了插值效应。。。。。。。。但当因子设置为1.25时，，，，，，，学生模子最先展现出逾越先生的能力。。。。。。。。在数学推理使命中，，，，，，，ExOPD要领在所有测试集上都获得了显著提升，，，，，，，平均提升幅度抵达2个百分点。。。。。。。。

更令人赞叹的是多先生蒸馏实验的效果。。。。。。。。在这种设置下，，，，，，，研究团队训练了多个专门的先生模子，，，，，，，每个都在特定领域体现优异，，，，，，，然后实验将这些专业知识整合到一个统一的学生模子中。。。。。。。。古板要领往往只能让学生模子抵达各个先生的平均水平，，，，，，，但ExOPD要领却让学生模子在所有测试使命上都逾越了每一个专业先生。。。。。。。。

在强弱模子蒸馏实验中，，，，，，，研究团队探索了将大型模子的能力转达给小型模子的场景。。。。。。。。他们使用30B参数的大型模子作为先生，，，，，，，训练1.7B和4B参数的小型学生模子。。。。。。。。效果显示，，，，，，，ExOPD要领能够显著提升小型模子的性能，，，，，，，在某些数学推理使命上提升幅度抵达4个百分点以上。。。。。。。。

研究团队还提出了一种"奖励修正"手艺，，，，，，，专门用于强弱模子蒸馏场景。。。。。。。。这种手艺的焦点头脑是使用先生模子训练前的基础版本作为参考点，，，，，，，而不是使用学生模子的初始状态。。。。。。。。这样做的利益是能够提供越发准确的奖励信号，，，，，，，由于它更好地反应了先生模子通过训练获得的真实刷新。。。。。。。。实验证实，，，，，，，这种修正要领能够进一步提升蒸馏效果，，，，，，，只管它需要特另外盘算资源。。。。。。。。

从训练动态的角度来看，，，，，，，ExOPD要领展现出了有趣的特征。。。。。。。。与古板要领相比，，，，，，，它能够获得更高的训练奖励，，，，，，，但同时也会天生更长的回覆。。。。。。。。这种征象可能与隐含奖励函数的长度误差有关，，，，，，，但并没有影响最终的性能提升。。。。。。。。研究团队通过平滑处置惩罚的训练曲线发明，，，，，，，ExOPD在坚持更高回覆多样性的同时，，，，，，，确实能够学到更有价值的模式。。。。。。。。

理论剖析批注，，，，，，，ExOPD的乐成源于其对奖励函数权重的巧妙调理。。。。。。。。当缩放因子大于1时，，，，，，，模子的最优战略会在先生战略的基础上增添一个特另外偏移项，，，，，，，这个偏移项包括了先生模子相关于参考模子的知识差别。。。。。。。。这种机制使得学生模子不但能够学习先生的直接知识，，，，，，，还能够捕获到更深层的模式纪律。。。。。。。。

研究还发明了奖励外推的界线效应。。。。。。。。当缩放因子设置过高时，，，，，，，好比1.5，，，，，，，模子性能最先泛起不稳固甚至下降的趋势。。。。。。。。这是由于太过的奖励放大可能导致模子过拟合于某些极端的信号模式，，，，，，，从而失去泛化能力。。。。。。。。因此，，，，，，，选择合适的缩放因子至关主要，，，，，，，研究中发明1.25是一个相对理想的设置。。。。。。。。

与现有的权重外推要领相比，，，，，，，ExOPD展现出了显着的优势。。。。。。。。权重外推是一种直接在模子参数空间举行插值和外推的手艺，，，，，，，虽然盘算简朴但可控性较差。。。。。。。。ExOPD通过在训练历程中动态调理奖励信号，，，，，，，能够更准确地控制学习偏向，，，，，，，从而获得更稳固和可展望的刷新效果。。。。。。。。

这项研究的意义远超手艺层面的突破。。。。。。。。它为人工智能模子的能力界线提供了新的思索角度。。。。。。。。恒久以来，，，，，，，人们以为AI模子的性能上限主要受限于训练数据的质量和数目，，，，，，，但这项研究批注，，，，，，，通过巧妙的训练战略调解，，，，，，，模子有可能突破原有的性能天花板。。。。。。。。

从现实应用的角度来看，，，，，，，这种手艺关于资源受限的场景具有特殊价值。。。。。。。。在许多现实安排情形中，，，，，，，由于盘算和存储限制，，，，，，，无法直接使用大型模子，，，，，，，必需依赖较小的模子来完成使命。。。。。。。。ExOPD手艺为这种场景提供了新的解决计划，，，，，，，使得小型模子能够更好地吸收大型模子的知识英华。。。。。。。。

研究团队也忠实地指出了目今要领的局限性。。。。。。。。首先，，，，，，，奖励修正手艺需要会见先生模子的训练前版本，，，，，，，这在现实应用中可能并不总是可行。。。。。。。。其次，，，，，，，盘算更大模子的对数概率会带来特另外盘算开销。。。。。。。。别的，，，，，，，怎样在更大规模的模子上验证这些发明，，，，，，，以及怎样将这种手艺扩展到更多样化的使命领域，，，，，，，仍然是需要进一步探索的问题。。。。。。。。

值得注重的是，，，，，，，这项研究还展现了一个有趣的征象：在某些情形下，，，，，，，继续训练先生模子自己获得的刷新幅度，，，，，，，现实上小于使用ExOPD要领训练学生模子获得的提升。。。。。。。。这个发明体现，，，，，，，问题的要害可能不在于模子规模的巨细，，，，，，，而在于怎样更有用地使用已有的知识信号。。。。。。。。

研究的实验设计也值得歌颂。。。。。。。。团队不但在多个差别难度和类型的使命上举行了验证，，，，，，，还详尽地剖析了差别超参数设置的影响。。。。。。。。他们发明，，，，，，，在差别的teacher-student规模组合下，，，，，，，ExOPD都能够带来一致的性能提升，，，，，，，这说明该要领具有优异的普适性。。。。。。。。

从更辽阔的视角来看，，，，，，，这项研究为AI训练领域带来了新的头脑模式。。。。。。。。古板的模子训练往往追求在牢靠框架内优化性能，，，，，，，而ExOPD提供了一种跳出牢靠框架的可能性。。。。。。。。通过调理训练历程中的要害参数，，，，，，，可能发明模子潜能的新界线。。。。。。。。

说究竟，，，，，，，这项研究的焦点价值在于它挑战了我们对AI学习能力界线的古板认知。。。。。。。。就像人类学习一样，，，，，，，有时间换一种学习要领或调解学习战略，，，，，，，就能获自得想不到的前进。。。。。。。。ExOPD要领为AI模子提供了这样一种"换个角度学习"的可能性，，，，，，，让学生模子能够在某种水平上青出于蓝。。。。。。。。

虽然，，，，，，，这只是AI能力提升蹊径上的一个里程碑。。。。。。。。随着手艺的一直生长，，，，，，，我们可能会看到更多类似的突破性要领。。。。。。。。但无论怎样，，，，，，，这项研究已经为我们展示了AI训练手艺的新可能性，，，，，，，也为后续的研究事情提供了名贵的启发。。。。。。。。关于那些关注AI手艺生长的读者，，，，，，，这无疑是一个值得深入思索的主要希望。。。。。。。。有兴趣的读者可以通过论文编号arXiv:2602.12125v1查阅完整的手艺细节和实验数据。。。。。。。。

Q&A

Q1：什么是ExOPD要领？？？？？？？？

A：ExOPD是一种新型的AI训练要领，，，，，，，全称是"奖励外推的在线战略蒸馏"。。。。。。。。它通过调理训练历程中的奖励信号强度，，，，，，，让AI学生模子能够突破先生模子的性能限制，，，，，，，在某些使命上体现得比先生还要好。。。。。。。。

Q2：ExOPD要领是怎样让学生逾越先生的？？？？？？？？

A：ExOPD通过引入大于1的奖励缩放因子，，，，，，，放大来自先生模子的指导信号。。。。。。。。这就像把学习信号"放大镜化"，，，，，，，让学生模子能够捕获到更细微的模式，，，，，，，从而学到比先生更深层的知识纪律。。。。。。。。

Q3：这种要领在现实应用中有什么限制吗？？？？？？？？

A：主要限制包括需要特另外计湖北汉江智能科技有限公司算资源来处置惩罚参考模子，，，，，，，在某些情形下需要会见先生模子的训练前版本，，，，，，，以及需要仔细调理参数阻止太过外推导致性能下降。。。。。。。。