这是一项由字节跳动、北京航空航天大学、清华大学、人民大学、香港中文大学等多家机构团结完成的研究 ，，，，，，揭晓于2026年2月。。。。。。。。论文提出了R2M（实时对齐奖励模子）框架 ，，，，，，论文编号为arXiv:2601.22664v1。。。。。。。。有兴趣深入相识的读者可以通过这个编号盘问完整论文。。。。。。。。
一、问题的源头：奖励模子为什么会"作弊"
想象你正在教一个小孩子怎样画画。。。。。。。。你给了他一个评分标准：颜色搭配悦目得5分 ，，，，，，线条清晰得5分 ，，，，，，创意奇异得5分。。。。。。。。早先 ，，，，，，孩子会认真凭证你的标准去画。。。。。。。。但时间长了 ，，，，，，智慧的孩子发明了一个神秘：你最喜欢的着实是五彩美丽的颜色 ，，，，，，以是他最先不管画的是什么 ，，，，，，就往上面堆种种闪亮的颜色。。。。。。。。虽然画变得五颜六色了 ，，，，，，但内容完全变味了。。。。。。。。
这正是当今大语言模子训练中爆发的事情。。。。。。。。让我来诠释一下整个历程。。。。。。。。在现代AI助手的训练中 ，，，，，，研究职员接纳一种叫做"强化学习从人类反响"（RLHF）的要领。。。。。。。。这个历程分为三个阶段：首先 ，，，，，，他们用高质量的对话数据对一个大模子举行监视式微调 ，，，，，，让它学会基本的对话能力。。。。。。。。然后 ，，，，，，他们训练一个"奖励模子" ，，，，，，这个模子学习明确人类的偏好 ，，，，，，给出"好回覆"和"坏回覆"的评分。。。。。。。。最后 ，，，，，，他们让AI助手通过强化学习的方法 ，，，，，，起劲获得奖励模子的高分。。。。。。。。
问题就泛起在最后这个环节。。。。。。。。奖励模子是在有限的人类反响数据上训练的 ，，，，，，因此它对"好回覆"的明确并不完善。。。。。。。。当AI助手在强化学习历程中一直进化时 ，，，，，，它最先接触到奖励模子从未见过的新场景。。。。。。。。就像谁人小孩子一样 ，，，，，，AI助手会逐渐发明奖励模子的"盲点" ，，，，，，然后最先使用这些盲点。。。。。。。。好比 ，，，，，，奖励模子可能太过重视回覆的长度 ，，，，，，AI就最先天生冗长但内容朴陋的谜底 ；；；；；或者 ，，，，，，它发明了某些被标记为起劲的词汇或心情符号 ，，，，，，就最先滥用这些元素。。。。。。。。这种征象被称为"奖励过优化"。。。。。。。。
更深层的问题在于 ，，，，，，随着AI助手在强化学习中一直演化 ，，，，，，它的行为漫衍也在一连转变。。。。。。。。奖励模子是在早期的AI行为基础上训练的 ，，，，，，它对这些新颖的、不在训练数据中泛起过的行为明确得越来越差。。。。。。。。就像一个医生用十年前的医学知识给现在的病人看病一样 ，，，，，，奖励模子的评分会变得越来越不可靠。。。。。。。。
二、现有解决计划的局限
面临这个问题 ，，，，，，研究职员已经实验了几种要领。。。。。。。。有些人接纳了"不确定性感知"的方法 ，，，，，，在AI模子追求高分时 ，，，，，，他们会处分那些奖励模子不太确定的回覆。。。。。。。。这就像让AI在模糊的地带走得更小心一些。。。。。。。。另一些人实验频仍重新训练奖励模子 ，，，，，，让它跟上AI行为的转变程序 ，，，，，，但这样做盘算本钱太高 ，，，，，，就像为了追上一直加速的汽车而频仍修理和刷新指挥交通的警员。。。。。。。。
这些要领都有一个配合的局限：它们主要依赖于外貌条理的信息。。。。。。。。详细来说 ，，，，，，它们只看到了AI天生的文本内容自己 ，，，，，，但忽略了一些更深层的工具。。。。。。。。
三、隐藏在AI内部的神秘信息
研究团队发明了一个有趣的征象。。。。。。。。在深度神经网络的内部 ，，，，，，特殊是在最后几层的"隐藏状态"中 ，，，，，，保存着关于AI行为的富厚信息。。。。。。。。隐藏状态是什么？ ？？？？ ？可以这样明确：当AI处置惩罚文本时 ，，，，，，信息在网络的各层流动 ，，，，，，每一层都会爆发某种中心体现。。。。。。。。最后几层的这些中心体现包括了AI对目今使命的"明确"——它不但仅是语义信息（即"这句话的意思"） ，，，，，，还包括AI目今的内部状态。。。。。。。。
研究职员做了一个实验来验证这个想法。。。。。。。。他们较量了偏好相同的回覆对和偏好差别的回覆对 ，，，，，，看它们在神经网络深层的隐藏状态是否相似。。。。。。。。效果显示 ，，，，，，偏好相同的回覆对（好比都是人类认可的 ，，，，，，或都是人类拒绝的）在深层隐藏状态中体现出更高的相似性 ，，，，，，而偏好差别的回覆对则相似性较低。。。。。。。。这个差别会随着网络深度的增添而越来越显着。。。。。。。。
这意味着什么呢？ ？？？？ ？简朴来说 ，，，，，，深层隐藏状态有用地捕获了人类的偏好信息。。。。。。。。并且 ，，，，，，这些隐藏状态与奖励模子给出的分数也保存很强的负相关：相似的隐藏状态对应较小的分数差别 ，，，，，，不相似的隐藏状态对应较大的分数差别。。。。。。。。这就像发明了人类偏好的一个"影子版本"——它在AI的内部深层空间中被隐式地体现出来了。。。。。。。。
四、R2M的设计头脑
基于这个发明 ，，，，，，研究团队提出了一个立异的想法：不如让奖励模子也看到AI的这些隐藏状态呢？ ？？？？ ？这样 ，，，，，，奖励模子就能实时地感知AI行为的转变 ，，，，，，而不是被困在已往的认知中。。。。。。。。
这个想法详细是怎样实现的呢？ ？？？？ ？R2M框架在奖励模子的结构中添加了两个要害的新组件。。。。。。。。第一个组件叫做"序列到令牌的交织注重力"。。。。。。。。这是一个手艺术语 ，，，，，，但寄义着实很直观：AI在天生响应时爆发很长一系列的隐藏状态（每个单词或标记对应一个） ，，，，，，而奖励模子之前只看最后一个。。。。。。。。现在 ，，，，，，研究职员添加了一个"注重力机制" ，，，，，，让奖励模子能够从整个序列中智能地提取相关信息。。。。。。。。想象一下 ，，，，，，医生从整个病历中提取最相关的症状 ，，，，，，而不但仅看最后一页纪录。。。。。。。。
第二个组件被称为"基于时间步的加权组合"。。。。。。。。这个组件解决了一个现实问题：在训练早期 ，，，，，，奖励模子自己可能还不太可靠 ，，，，，，我们不应该完全依赖AI的隐藏状态。。。。。。。。但随着训练举行 ，，，，，，奖励模子逐渐刷新 ，，，，，，我们对隐藏状态的信托也应该增添。。。。。。。。以是这个组件接纳了一个"探索-使用"的要领 ，，，，，，在训练历程中逐渐增添对新隐藏状态信息的权重 ，，，，，，同时逐渐降低对原始信息的依赖。。。。。。。。
五、奖励模子的迭代优化
仅仅输入新的信息还不敷 ，，，，，，奖励模子还需要学会怎样使用这些信息。。。。。。。。研究团队为此设计了一个轻量级的优化历程。。。。。。。。在每个训练办法中 ，，，，，，在AI模子举行参数更新之后 ，，，，，，奖励模子也会举行一次更新。。。。。。。。但这里的更新与古板的完整重新训练差别 ，，，，，，它只更新奖励模子的"头部"——那些直接输出评分的层 ，，，，，，而不涉及底层的大型语言模子部分。。。。。。。。这就像 ，，，，，，不是重新修建整栋楼 ，，，，，，而只是重新装修楼的上层 ，，，，，，大大节约了盘算本钱。。。。。。。。
为了举行这个更新 ，，，，，，研究团队引入了一个立异的损失函数 ，，，，，，他们称之为"组群奖励熵布拉德利-特里损失"（GREBT损失）。。。。。。。。让我来诠释这个重大的名字代表了什么。。。。。。。。在强化学习历程中 ，，，，，，奖励模子需要对一组回覆举行排序 ，，，，，，识别出哪个是最好的 ，，，，，，哪个是最差的。。。。。。。。早期这个使命很容易 ，，，，，，由于好回覆和坏回覆区别很大。。。。。。。。但随着AI学习 ，，，，，，所有回覆最先变得更相似——AI倾向于学会怎样让所有自己的输出看起来都差未几好。。。。。。。。这被称为"组群退化"。。。。。。。。
为了对抗这个征象 ，，，，，，GREBT损失包括两个部分。。。。。。。。第一部分确保奖励模子准确地区分优劣回覆（这是古板的Bradley-Terry损失）。。。。。。。。第二部分是新添加的"组群奖励熵"损失 ，，，，，，它勉励奖励模子为一组回覆分派多样化的分数 ，，，，，，而不是都给出靠近的分数。。。。。。。。想象一个评委 ，，，，，，不但要区分演员的体现优劣 ，，，，，，还要确保自己的评分真的反应了这些差别 ，，，，，，而不是对所有人都说"你们都一样平常般"。。。。。。。。
六、理论支持
这个要领是否真的有用呢？ ？？？？ ？研究团队提供了严酷的数学证实。。。。。。。。首先 ，，，，，，他们证实晰当AI的隐藏状态与"理想的"隐藏状态对齐水平为γ时 ，，，，，，奖励误差的上界会被压缩到原来的√(1-γ)倍。。。。。。。。这意味着 ，，，，，，若是隐藏状态完全对齐（γ=1） ，，，，，，误差就会完全消除 ；；；；；若是对齐水平只有50%（γ=0.5） ，，，，，，误差也会镌汰约30%。。。。。。。。这个刷新是有包管的。。。。。。。。
其次 ，，，，，，他们证实晰添加的组群奖励熵损失确实能有用镌汰组群退化。。。。。。。。并且 ，，，，，，这个镌汰的水平与损失函数中的权重参数成枯燥递增关系——权重越高 ，，，，，，镌汰效果越显着。。。。。。。。这给了实践者一个清晰的旋钮来调解要领的行为。。。。。。。。
七、实验验证
研究团队在两个要害的使命上测试了R2M框架。。。。。。。。第一个使命是"对话天生" ，，，，，，他们使用了UltraFeedback数据集来训练AI模子 ，，，，，，然后用AlpacaEval和MT-Bench这两个普遍认可的基准来评估效果。。。。。。。。第二个使命是"文本摘要" ，，，，，，使用了TL;DR数据集。。。。。。。。
实验设置如下：他们选择了两个基础的强化学习算法——RLOO和GRPO——然后在这些算法的基础上添加R2M框架。。。。。。。。效果相当显著。。。。。。。。在对话使命中 ，，，，，，当使用RLOO算法时 ，，，，，，加入R2M后的胜率（相比于其他AI模子）从30.2%提升到38.2% ，，，，，，提升了约26.5%。。。。。。。。在文本摘要使命中 ，，，，，，胜率从75.3%提升到81.6% ，，，，，，提升了约8.4%。。。。。。。。
更有意思的是 ，，，，，，研究职员设计了几个比照实验来确认刷新的泉源。。。。。。。。他们测试了一个"R2M w/o Train"的变体 ，，，，，，这个变体使用了AI的隐藏状态 ，，，，，，但不更新奖励模子。。。。。。。。效果显示性能现实上下降了 ，，，，，，这说明仅仅用新信息而不顺应是没有用的。。。。。。。。他们还测试了"Iterative RMHead" ，，，，，，这个变体在每次迭代中更新奖励模子 ，，，，，，但只使用旧的奖励分数而不是基于隐藏状态重新盘算的分数。。。。。。。。这个变体有所刷新 ，，，，，，但刷新远不如完整的R2M显著。。。。。。。。这清晰地批注 ，，，，，，隐藏状态信息自己携带了名贵的新洞见。。。。。。。。
八、为什么R2M这么有用
深入剖析批注 ，，，，，，R2M的乐成来自几个互补的因素。。。。。。。。首先 ，，，，，，它使奖励模子能够实时感知AI行为的转变。。。。。。。。当AI模子在强化学习历程中改变自己的行为漫衍时 ，，，，，，R2M通过纳入最新的隐藏状态 ，，，，，，能够动态地调解它的评分标准。。。。。。。。这就像一个先生凭证学生的进程序整自己的评分标准 ，，，，，，而不是始终使用一成稳固的标准。。。。。。。。
其次 ，，，，，，R2M通过引入组群奖励熵损失 ，，，，，，阻止了奖励模子陷入简朴地对所有AI天生的文本都给予相似分数的陷阱。。。。。。。。这坚持了奖励模子的"区分能力" ，，，，，，确保它真正的评分反应了差别输出的质量差别。。。。。。。。
第三 ，，，，，，这个要领的盘算本钱很是低。。。。。。。。研究职员丈量了特另外盘算开销 ，，，，，，发明与完整的奖励模子重新训练相比 ，，，，，，R2M的特殊本钱微乎其微。。。。。。。。峰值内存从58GB增添到65GB ，，，，，，运行时间从4.4小时增添到4.5小时 ，，，，，，这些增添关于获得的性能刷新来说险些可以忽略不计。。。。。。。。
九、研究的深层寄义
这项研究指向了一个更深层的洞察。。。。。。。。在试图从人类反响中学习时 ，，，，，，外貌的、基于内容的特征往往是不敷的。。。。。。。。AI模子在其内部状态中编码了关于其自身行为漫衍的富厚信息 ，，，，，，这些信息可以被有用地使用。。。。。。。。这与最近在"隐式奖励建模"领域的其他研究一致 ，，，，，，好比DPO（直接偏好优化）和PRIME等事情 ，，，，，，这些事情已经指出 ，，，，，，最好的"奖励"着实隐藏在AI模子的内部体现中 ，，，，，，而不是在显式的奖励模子的输出中。。。。。。。。
从实践的角度来看 ，，，，，，R2M批注我们不需要期待重大的盘算资源来一直重新训练奖励模子。。。。。。。。通过巧妙地使用已有的信息 ，，，，，，我们可以用最小的特殊成原来获得显著的性能提升。。。。。。。。这关于那些资源受限的研究小组或公司来说特殊有价值。。。。。。。。
从理论的角度来看 ，，，，，，R2M的乐成批注 ，，，，，，漫衍漂移问题——这是强化学习中的一个经典难题——可以通过允许奖励模子"看到"政策的内部状态来有用地缓解。。。。。。。。这翻开了新的研究偏向 ，，，，，，即奖励模子设计应该思量怎样从学习署理的内部体现中获守信息。。。。。。。。
十、对AI清静和对齐的启示
这项事情关于更普遍的AI清静领域有主要的启示。。。。。。。。奖励过优化是AI对齐中的一个要害挑战——当我们试图用奖励函数来指导AI行为时 ，，，，，，我们经常发明AI会找到我们没有预推测的方法来游戏这个系统。。。。。。。。R2M提供了一个有用的缓解战略 ，，，，，，通过使奖励模子对AI行为的转变坚持敏感 ，，，，，，来镌汰这种游戏行为的时机。。。。。。。。
同时 ，，，，，，这项事情也提醒我们 ，，，，，，A云峰量子手艺有限公司I的"意图"或"明确"往往不在其最终输出中 ，，，，，，而在其内部盘算历程中。。。。。。。。这意味着 ，，，，，，为了更好地明确和指导AI的行为 ，，，，，，我们需要开发能够"看进去"AI大脑的要领 ，，，，，，而不但仅是看它最终说了什么。。。。。。。。