这项由纽伦堡科技大学、Mistral AI和英伟达团结开展的研究揭晓于2026年2月，， ，，，，，论文编号为arXiv:2602.11149v1。 。。 。 。有兴趣深入相识的读者可以通过该编号盘问完整论文。 。。 。 。
当我们教孩子学数学时，， ，，，，，通�；；；；；；崛盟侵馗囱盗吠骋焕辔侍�，， ，，，，，直到完全掌握为止。 。。 。 。但在人工智能训练领域，， ，，，，，恒久以来的主流看法却恰恰相反——以为应该给AI模子喂入尽可能多的差别数据，， ，，，，，就像让孩子天天都学习全新的知识点一样。 。。 。 。然而，， ，，，，，这项突破性研究却发明了一个倾覆知识的征象：在训练AI举行重大推理时，， ，，，，，让模子重复学习同样的内容，， ，，，，，竟然比一直喂入新数据越发有用。 。。 。 。
研究团队专门研究了一种叫做"有监视微调"的AI训练要领，， ，，，，，这就像是在AI已经掌握了基础知识后，， ，，，，，专门教它怎样举行重大的数学推理。 。。 。 。他们发明，， ，，，，，与其让AI学习大宗差别的推理案例，， ，，，，，不如让它在相同的案例上重复训练更多轮次。 。。 。 。这种"重复学习"的效果好得令人惊讶——在相同的训练时间内，， ，，，，，重复训练400个样本128轮的AI模子，， ，，，，，竟然比只训练51200个差别样本1轮的模子体现好12-26个百分点。 。。 。 。
这个发明彻底挑战了古板机械学习的焦点假设。 。。 。 。就好比我们一直以为学生应该普遍阅读州差别的书籍来提高写作能力，， ，，，，，效果却发明让学生重复研读统一本经典名著效果更好。 。。 。 。更有趣的是，， ，，，，，研究职员找到了一个简朴的判断标准：当AI模子能够完全记着训练质料时，， ，，，，，它的推理能力就抵达了峰值，， ，，，，，继续增添训练轮次也不会带来更多提升。 。。 。 。
这项研究不但为AI训练提供了新的适用要领，， ，，，，，更主要的是展现了一个全新的科学谜题——为什么在推理训练中，， ，，，，，完全记着训练内容反而能提升AI在全新问题上的体现能力？？？？ ？？？这个征象背后的机制仍然是个未解之谜，， ，，，，，为整个AI研究社区提出了新的挑战。 。。 。 。
一、古板看法的倾覆：重复真的比新鲜更好吗？？？？ ？？？
在机械学习的天下里，， ，，，，，有一个险些被视为清规戒律的原则：数据越多越好，， ，，，，，并且最好是各不相同的新数据。 。。 。 。这就像营养学中"饮食要多样化"的建议一样深入人心。 。。 。 。研究职员一直信托，， ，，，，，给AI模子提供更多不重复的训练样本，， ，，，，，就能让它更好地明确这个天下的重大性。 。。 。 。
然而，， ，，，，，当研究团队最先仔细研究AI的推理训练历程时，， ，，，，，他们发明了一个令人疑心的征象。 。。 。 。在训练AI举行数学推理时，， ，，，，，古板的"多样化数据"战略似乎并不是最优选择。 。。 。 。为了验证这个嫌疑，， ，，，，，他们设计了一个巧妙的实验：在坚持总训练时间相同的条件下，， ，，，，，较量两种差别的训练战略效果。 。。 。 。
第一种战略遵照古板思绪，， ，，，，，让AI模子学习尽可能多的差别推理案例，， ，，，，，每个案例只学一次。 。。 。 。第二种战略则反其道而行之，， ，，，，，让模子重复学习相同的推理案例多次。 。。 。 。这就像较量两种学习要领：一种是天天学习30道差别的数学题，， ，，，，，另一种是天天重复训练同样的10道题3次。 。。 。 。
实验效果令所有人大吃一惊。 。。 。 。在著名的AIME数学竞赛问题和GPQA科学问答测试中，， ，，，，，接纳"重复学习"战略的AI模子体现远远凌驾预期。 。。 。 。详细来说，， ，，，，，一个在400个样本上训练128轮的模子，， ，，，，，竟然比在51200个差别样本上只训练1轮的模子体现好12-26个百分点。 。。 。 。这相当于一个学生通过重复训练少量经典问题，， ，，，，，最终在考试中的体现比那些刷了大宗题海的学生还要好。 。。 。 。
更让人意外的是，， ，，，，，这种重复学习的优势在差别规模的AI模子上都能视察到。 。。 。 。无论是70亿参数的OLMo3模子，， ，，，，，照旧80亿参数的Qwen3模子，， ，，，，，都体现出了相同的纪律。 。。 。 。这说明这个征象并不是某个特定模子的无意特征，， ，，，，，而是一个越发普遍的纪律。 。。 。 。
研究职员进一步发明，， ，，，，，这种优势主要体现在模子的"终止率"上。 。。 。 。简朴来说，， ，，，，，就是AI模子能否完整地完成一个推理历程并给出最终谜底的能力。 。。 。 。那些只训练一轮的模子经�；；；；；；嵩谕评砝讨�"卡住"，， ，，，，，无法给出最终谜底，， ，，，，，而重复训练的模子则能够越发流通地完成整个推理链条。 。。 。 。这就像学生在解题时，， ，，，，，履历缺乏的学生容易在中途迷失思绪，， ，，，，，而经由充分训练的学生能够始终坚持清晰的解题思绪直到得出谜底。 。。 。 。
二、神奇的影象临界点：完善影象竟是最佳阻止信号
在深入研究这种"重复学习"征象时，， ，，，，，研究团队发明了一个越发有趣的纪律。 。。 。 。他们注重到，， ，，，，，模子的推理能力提升并不是无限制的，， ，，，，，而是会在某个特定的点抵达峰值。 。。 。 。更巧妙的是，， ，，，，，这个峰值点恰恰对应着模子完全记着训练质料的时刻。 。。 。 。
这个发明可以用学钢琴的例子来明确。 。。 。 。当学生刚最先训练一首曲子时，， ，，，，，需要看谱演奏，， ，，，，，经常蜕化。 。。 。 。随着训练次数增添，， ，，，，，过失逐渐镌汰。 。。 。 。当学生能够不看谱完善演奏这首曲子时，， ，，，，，他们对音乐的明确和技巧掌握也抵达了最高水平。 。。 。 。继续训练统一首曲子虽然不会带来显着的手艺提升，， ，，，，，但也不会让已有的能力退化。 。。 。 。
研究职员通过丈量模子在训练数据上的"影象准确度"来量化这个征象。 。。 。 。影象准确度就是模子能够准确展望训练文本中每个词语的比例。 。。 。 。他们发明，， ，，，，，当这个准确度抵达靠近100%时，， ，，，，，模子在全新测试问题上的体现也同步抵达峰值。 。。 。 。这种强烈的相关性在所有测试的模子和数据集上都能视察到，， ，，，，，这为训练历程提供了一个简朴而适用的阻止信号。 。。 。 。
有趣的是，， ，，，，，这个"影象饱和"征象主要受训练轮次影响，， ，，，，，而不是训练样本的数目。 。。 。 。纵然是在很少的样本上训练许多轮，， ，，，，，模子也能抵达完善影象；；；；；；相反，， ，，，，，在许多样本上只训练少数几轮，， ，，，，，模子的影象准确度始终不高。 。。 。 。这就像学生背诵古诗一样，， ，，，，，重复朗读统一首诗比天天读差别的新诗更容易抵达熟练背诵的水平。 。。 。 。
更主要的是，， ，，，，，当模子抵达影象饱和后，， ，，，，，它在训练数据上的体现会泛起典范的"过拟合"迹象——逊ю失继续下降，， ，，，，，但验证损失最先上升，， ，，，，，模子的展望变得过于自信。 。。 。 。凭证古板机械学习理论，， ，，，，，这应该是个坏兆头，， ，，，，，意味着模子最先"死记硬背"而失去泛化能力。 。。 。 。然而，， ，，，，，令人疑心的是，， ，，，，，只管泛起了这些过拟合信号，， ，，，，，模子在全新推理使命上的体现却依然坚持在最优水平。 。。 。 。
这个矛盾征象展现了推理训练与古板机械学习使命的实质差别。 。。 。 。在古板使命中，， ，，，，，过拟合通常意味着性能下降；；；；；；但在推理训练中，， ，，，，，抵达完善影象似乎是释放模子潜在推理能力的须要条件。 。。 。 。这就像武侠小说中的"内功心法"——只有将基础心法练到炉火纯青的田地，， ，，，，，才华施展出最强的武功威力。 。。 。 。
三、训练数据品质的意外发明：过失谜底也有价值
为了更深入明确这种重复学习征象，， ，，，，，研究团队最先探索训练数据自己的特征怎样影响这个效应。 。。 。 。他们首先关注的是"先生模子"的质量差别。 。。 。 。在AI训练中，， ，，，，，通常需要一个更强盛的"先生模子"来天生推理历程的树模，， ，，，，，然后用这些树模来训练较小的"学生模子"。 。。 。 。
研究职员较量了两种差别能力的先生模子：一个是参数目只有6亿的较小模子，， ，，，，，另一个是80亿参数的大型模子。 。。 。 。效果发明，， ，，，，，无论先生模子强弱怎样，， ，，，，，重复学习的优势都依然保存。 。。 。 。不过，， ，，，，，有趣的是，， ，，，，，领先生模子较弱时，， ，，，，，增添训练数据量反而会导致学生模子性能下降。 。。 。 。这种征象类似于"弱-强泛化"理论中形貌的情形——领先生水平有限时，， ，，，，，学生最初可能通过自己的起劲逾越先生，， ，，，，，但若是太过依赖先生的指导，， ，，，，，反而会被拖累。 。。 。 。
相反，， ，，，，，领先生模子足够强盛时，， ，，，，，增添训练数据量和增添重复轮次都能带来性能提升，， ，，，，，但重复轮次的作用仍然更为显著。 。。 。 。这说明先生的质量决议了数据扩展的价值上限，， ，，，，，但纵然有了优异的先生，， ，，，，，充分的重复训练依然是不可替换的。 。。 。 。
更令人意外的发明来自对"过失推理轨迹"的研究。 。。 。 。在天生推理树模的历程中，， ，，，，，纵然是最强的先生模子也会出错，， ，，，，，爆发一些最终谜底过失的推理历程。 。。 。 。凭证常理，， ，，，，，这些过失树模应该被剔除，， ，，，，，以免误导学生模子。 。。 。 。然而，， ，，，，，研究团队决议专门研究这些"负面课本"的作用。 。。 。 。
他们将训练数据凭证最终谜底的准确性分为两组：准确推理轨迹和过失推理轨迹，， ，，，，，然后划分训练学生模子。 。。 。 。效果发明，， ，，，，，纵然是在过失轨迹上举行重复学习，， ，，，，，模子的推理能力依然会提升，， ，，，，，并且重复学习的优势模式完全一致。 。。 。 。越发令人惊讶的是，， ，，，，，在某些测试中，， ，，，，，用过失轨迹训练的模子体现甚至略好于用准确轨迹训练的模子。 。。 。 。
这个发明挑战了我们对"准确谜底"的固有认知。 。。 。 。就像学生在做错题时，， ，，，，，过失的解题历程中往往包括了对问题的深入思索和多种解题思绪的实验，， ，，，，，这些思索历程自己就具有学习价值。 。。 。 。AI模子可能通过学习这些"失败的实验"，， ，，，，，获得了对问题实质的更深层明确，， ，，，，，从而在面临新问题时体现得更好。 。。 。 。
这个征象还体现，， ，，，，，那些爆发过失轨迹的问题往往是更具挑战性的难题——连强盛的先生模子都无法容易解决。 。。 。 。让学生模子接触这些高难度问题的解题实验，， ，，，，，纵然最终谜底是错的，， ，，，，，也能磨炼模子处置惩罚重大推理的能力。 。。 。 。这就像让学生观摩数学竞赛选手解难题的历程，， ，，，，，纵然选手最终没能得出准确谜底，， ，，，，，学生也能从中学到名贵的解题思绪和要领。 。。 。 。
四、意外的副作用：重复学习反而镌汰遗忘
在验证重复学习效果的历程中，， ，，，，，研究团队还关注了一个主要问题：这种专门化训练会不会让AI模子"一叶障目，， ，，，，，不见泰山"——在推理能力提升的同时，， ，，，，，丧失其他主要能力？？？？ ？？？这种征象在AI训练中被称为"灾难性遗忘"，， ，，，，，就像专门训练钢琴的人可能会遗忘怎样弹吉他一样。 。。 。 。
为了磨练这个担心，， ，，，，，研究职员使用MMLU测试来评估模子的综合知识保存情形。 。。 。 。MMLU是一个涵盖57个差别学科的普遍知识测试，， ，，，，，包括人文、社科、理工等各个领域，， ，，，，，可以很好地反应模子是否坚持了原有的知识储备。 。。 。 。
测试效果再次出人意料。 。。 。 。与古板预期相反，， ，，，，，接纳重复学习战略的模子在知识保存方面的体现反而更好。 。。 。 。详细来说，， ，，，，，虽然两种训练战略都会导致一些通用知识的遗忘（这在专业化训练中是正常征象），， ，，，，，但重复学习战略造成的知识损失显着更少。 。。 。 。
这个发明可以用"深度学习"的看法来明确。 。。 。 。当学生深入掌握一个特定领域的知识时，， ，，，，，他们不但在该领域变得更强，， ，，，，，还会生长出更好的学习战略和头脑模式，， ，，，，，这些能力可以迁徙到其他领域。 。。 。 。同样，， ，，，，，AI模子通过重复训练推理历程，， ，，，，，不但提高了推理能力，， ，，，，，还形成磷泣稳固的内部知识结构，， ，，，，，从而镌汰了其他知识的遗忘。 。。 。 。
研究职员通过较量差别训练战略的"性能-遗忘"权衡发明，， ，，，，，重复学习战略在这个权衡中占有了显着优势。 。。 。 。它既能显著提升推理性能，， ，，，，，又能更好地坚持原有知识，， ，，，，，这使得它成为一个"严酷更优"的选择。 。。 。 。这就像找到了一种既能让学生数学效果大幅提升，， ，，，，，又不会影响其他科目体现的神奇学习要领。 。。 。 。
更深层地看，， ，，，，，这种征象可能展现了AI模子内部知识组织的特殊机制。 。。 。 。重复学习可能资助模子建设了越发稳固和系统化的内部体现，， ，，，，，使得新获得的推理能力与原有知识形成磷泣好的整合，， ，，，，，而不是简朴的笼罩关系。 。。 。 。这种整合机制的详细原理仍然是个谜，， ，，，，，但它的保存为AI训练战略提供了主要的指导意义。 。。 。 。
五、理论挑战：影象与泛化的悖论
这项研究最深层的价值在于它提出了一个根天性的理论挑战：为什么在推理训练中，， ，，，，，完全记着训练内容反而能提升在全新问题上的体现？？？？ ？？？这个征象违反了古板机械学习理论的基本假设，， ，，，，，创立了一个"影象与泛化"的悖论。 。。 。 。
在经典的机械学习理论中，， ，，，，，影象和泛化通常被视为一对矛盾。 。。 。 。模子若是太过影象训练数据，， ，，，，，就会在新数据上体现不佳；；；；；；反之，， ，，，，，若是要在新数据上体现优异，， ，，，，，就必需阻止太过拟合训练数据。 。。 。 。这种理论框架在图像识别、自然语言处置惩罚等许多使命中都获得了验证。 。。 。 。
然而，， ，，，，，在长链推理使命中，， ，，，，，这个理论框架似乎失效了。 。。 。 。研究显示，， ，，，，，当AI模子抵达近乎完善的训练数据影象时，， ，，，，，它们在完全未见过的推理问题上的体现反而抵达了峰值。 。。 。 。这就像一个学生把课本内容滚瓜烂熟，， ，，，，，不但没有酿成"死记硬背"的机械，， ，，，，，反而在解决新问题时体现得越发无邪和立异。 。。 。 。
研究团队提出了几种可能的诠释机制。 。。 。 。第一种诠释是"能力激活假说"：AI模子在预训练阶段已经获得了潜在的推理能力，， ，，，，，而专门的推理训练只是在激活和强化这些已有能力。 。。 。 。重复学习可能资助模子更好地建设起会见这些内在能力的"神经通路"，， ，，，，，从而在面临新问题时能够更有用地挪用相关能力。 。。 。 。
第二种诠释是"结构内化假说"：通过重复学习相同的推理案例，， ，，，，，模子不是在影象详细的内容，， ，，，，，而是在内化推理的一样平常结构和模式。 。。 。 。就像学生通过重复训练特定类型的数学题，， ，，，，，最终掌握的不是问题的详细数字，， ，，，，，而是解题的思绪和要领。 。。 。 。这种结构化知识比外貌的内容影象更容易迁徙到新问题上。 。。 。 。
第三种诠释涉及"置信度校准"：重复学习可能资助模子形成磷泣准确的自我评估能力。 。。 。 。模子通过重复训练，， ，，，，，不但学会了怎样推理，， ，，，，，还学会了何时应该信托自己的推理效果，， ，，，，，何时应该坚持审慎。 。。 。 。这种元认知能力使得模子在处置惩罚新问题时能够做出更可靠的判断。 。。 。 。
研究还视察到一个有趣的征象：模子在抵达影象饱和后，， ，，，，，其输出变得越发"确定"——展望的概率漫衍越发集中，， ，，，，，熵值显著降低。 。。 。 。这种高置信度通常被以为是过拟合的标记，， ，，，，，但在这里却陪同着更好的泛化性能。 。。 。 。这体现着在推理使命中，， ，，，，，"自信"可能确实是一种优势，， ，，，，，条件是这种自信建设在充分训练的基础上。 。。 。 。
这个理论挑战的主要性不但在于它推翻了现有认知，， ，，，，，更在于它为整个AI研究领域开发了新的探索偏向。 。。 。 。明确重复学习为何有用，， ，，，，，可能会展现AI推理能力的实质机制，， ，，，，，进而指导我们开发越发高效的训练要领和越发强盛的推理模子。 。。 。 。
六、实践启示：重新界说高效AI训练
这项研究的适用价值体现在它为AI训练实践提供了详细可操作的指导原则。 。。 。 。在资源有限的现实条件下，， ，，，，，这些发明可以资助研究者和工程师做出更明智的训练战略选择。 。。 。 。
首先，， ，，，，，研究确立了一个简朴而有用的训练阻止准则：监控模子在训练数据上的影象准确度。 。。 。 。当这个准确度靠近100%时，， ，，，，，继续增添训练轮次的边际收益会显著下降。 。。 。 。这为训练历程提供了清晰的指导信号，， ，，，，，阻止了盲目的太过训练或过早阻止。 。。 。 。
其次，， ，，，，，研究明确了在训练资源分派中的优先级：在相同的盘算预算下，， ，，，，，应该优先思量增添训练轮次而不是扩大数据集规模。 。。 。 。这个原则在实践中具有主要意义，， ，，，，，由于天生高质量的推理树模数据往往本钱高昂，， ，，，，，而增添训练轮次的成内情对较低。 。。 。 。
研究还为差别场景提供了详细的战略建议。 。。 。 。当使用强盛的先生模子举行知识蒸馏时，， ，，，，，可以在重复学习的基础上适当增添数据规模；；；；；；领先生模子能力有限时，， ，，，，，应该重点关注重复轮次的优化，， ，，，，，阻止数据规模的盲目扩张。 。。 。 。这种差别化战略可以资助差别条件下的研究团队最大化训练效果。 。。 。 。
更主要的是，， ，，，，，这些发明改变了我们对"过失数据"的看法。 。。 。 。古板上，， ，，，，，包括过失谜底的训练样本会被严酷过滤掉，， ，，，，，但研究显示这些"负面案例"同样具有训练价值。 。。 。 。这意味着在数据网络和处置惩罚历程中，， ，，，，，可以接纳越发容纳的战略，， ，，，，，从而降低数据准备的本钱和重漂后。 。。 。 。
从更普遍的角度看，， ，，，，，这项研究提醒我们重新审阅AI训练中的"知识"。 。。 。 。许多被普遍接受的训练原则可能在特定使命类型中并不适用。 。。 。 。关于推理麋集型使命，， ，，，，，深度比广度更主要；；；；；；质量比数目更要害；；；；；；重复比新颖更有用。 。。 。 。这些看似变态的原则现实上可能更靠近人类学习重大手艺的实质纪律。 。。 。 。
七、未来展望：从履历发明到理论突破
只管这项研究在实践层面提供了清晰的指导，， ，，，，，但它同时也袒露了我们对AI学习机制明确的缺乏。 。。 。 。为什么重复学习云云有用？？？？ ？？？这个问题的谜底可能藏在AI模子内部重大的信息处置惩罚机制中，， ，，，，，需要更深入的理论研究才华展现。 。。 。 。
研究团队坦承，， ，，，，，他们现在只是视察到了征象，， ，，，，，但尚未完全明确其背后的原理。 。。 。 。这种忠实的态度反应了科学研究的真实面目——往往是先有履历发明，， ，，，，，然后再构建理论诠释。 。。 。 。这个"重复学习优势"征象为理论研究提出了明确的挑战：我们需要生长新的理论框架来诠释影象与泛化之间的这种反直觉关系。 。。 。 。
从手艺生长的角度看，， ，，，，，这项研究可能催生一系列后续立异。 。。 。 。研究者们可能会开发更细腻的重复学习战略，， ，，，，，好比动态调解重复模式、智能选择重复内容、或者将重复学习与其他训练手艺团结。 。。 。 。这些希望有望进一步提升AI推理能力的训练效率。 。。 。 。
更值得期待的是，， ，，，，，这种训练理念可能会扩展到其他AI能力的作育中。 。。 。 。代码天生、创意写作、科学推理等需要重大头脑历程的使命，， ，，，，，是否也能从类似的重复学习战略中受益？？？？ ？？？这些问题的谜底将决议这项研究影响的最终规模。 。。 。 。
说究竟，， ，，，，，这项研究最大的价值可能不在于它提供了什么详细的训练技巧，， ，，，，，而在于它提醒我们坚持开放的心态。 。。 。 。在AI快速生长的时代，， ，，，，，许多看似确定的原则可能随时被新的发明倾覆。 。。 。 。坚持好奇心，， ，，，，，勇于挑战通例，， ，，，，，也许是在这个领域取得突破的最主要品质。 。。 。 。
这个"炒冷饭"比"吃新鲜"更有用的发明，， ，，，，，既是对古板智慧的挑战，， ，，，，，也是对未来探索的约请。 。。 。 。它告诉我们，， ，，，，，在通向真正智能的蹊径上，， ，，，，，我们尚有太多未知期待发明。 。。 。 。而每一个看似简朴的视察，， ，，，，，都可能成为翻开新天下大门的钥匙。 。。 。 。
Q&A
Q1：什么是有监视微调中的重复学习战略？？？？ ？？？
A：重复学习战略是指让AI模子在相同的训练样本上重复学习多轮，， ，，，，，而不是在大宗差别样本上各学习一次。 。。 。 。研究发明，， ，，，，，在相同训练时间下，， ，，，，，让模子在400个样本上训练128轮，， ，，，，，比在51200个差别样本上只训练1轮的效果好12-26个百分点。 。。 。 。
Q2：为什么AI完全记着训练内容后推理能力反而更强？？？？ ？？？
A：这是一个尚未完全诠释清晰的征象。 。。 。 。研究职员以为可能的缘故原由包括：重复学峡帐助模子内化了推理的一样平常结构和模式，， ，，，，，而不是简朴影象详细内容；；；；；；或者激活了模子在预训练中已获得的潜在推理能力；；；；；；还可能提高了模子的自我评估和置信度校准能力。 。。 。 。
Q3：重复学习战略会不会让AI遗忘其他能力？？？？ ？？？
A：研究发明情形恰恰相反。 。。 。 。通优智家居科技有限公司过对57个学科的综合知识测试，， ，，，，，重复学习战略造成的知识损失反而比古板数据扩展战略更少。 。。 。 。这可能是由于深度的推理训练资助模子建设了更稳固的内部知识结构，， ，，，，，从而更好地坚持了原有能力。 。。 。 。