这项由小红书公司手艺团队主导的研究效果于2026年2月揭晓在预印本平台arXiv上，， ，， ，，论文编号为2602.10693v1。。。 。 。 。。该研究针对大语言模子强化学习训练中的稳固性难题，， ，， ，，提出了一种全新的优化算法VESPO，， ，， ，，为解决模子训练历程中的"信息过时"问题提供了立异性解决计划。。。 。 。 。。
想象你正在学习一门新手艺，， ，， ，，好比学做菜。。。 。 。 。。通常情形下，， ，， ，，你会凭证最新的菜谱和最新的烹饪技巧来调解自己的手法。。。 。 。 。。但若是你手头只有一本过时的菜谱，， ，， ，，而你又想学会最新的烹饪要领，， ，， ，，这时间就会遇到问题。。。 。 。 。。大语言模子在强化学习历程中面临的挑战与此很是相似。。。 。 。 。。
在大语言模子的训练历程中，， ，， ，，研究职员经常唬唬唬�；；；；嵊龅揭桓黾值奈侍猓耗Ｗ有枰右淹焐奈谋局醒�，， ，， ，，但这些文本是基于旧版本的模子爆发的。。。 。 。 。。这就好比一个学生在用昨天的过失谜底来学习今天的准确要领，， ，， ，，效果越学越糊涂。。。 。 。 。。这种征象在手艺上被称为"战略陈腐性"，， ，， ，，是导致模子训练不稳固甚至瓦解的主要缘故原由之一。。。 。 。 。。
小红书的研究团队发明，， ，， ，，现有的解决计划就像给过时信息打补丁，， ，， ，，虽然能暂时缓解问题，， ，， ，，但缺乏理论基础，， ，， ，，效果也不敷理想。。。 。 。 。。于是他们决议从基础上重新审阅这个问题，， ，， ，，开发出了一种名为VESPO的新算法。。。 。 。 。。
VESPO的焦点头脑可以用调色的比喻来明确。。。 。 。 。。当画家需要调出特定的颜色时，， ，， ，，差别颜料的主要性是差别的。。。 。 。 。。有些颜料占主导职位，， ，， ，，有些只是起辅助作用。。。 。 。 。。VESPO算法就像一个智能的调色师，， ，， ，，它会凭证每种"颜料"（训练数据）的新旧水平和质量，， ，， ，，自动调解它们在"调色历程"（模子训练）中的分量。。。 。 。 。。
古板的解决计划往往接纳简朴粗暴的方法，， ，， ，，要么直接扬弃过时的信息，， ，， ，，要么对所有信息一视同仁。。。 。 。 。。这就像一个厨师要么扔掉所有昨天的食材，， ，， ，，要么把新鲜食材和逾期食材混在一起烹饪，， ，， ，，效果自然不睬想。。。 。 。 。。VESPO则更像一个履历富厚的大厨，， ，， ，，它会凭证每种食材的新鲜水平，， ，， ，，巧妙地调解用量，， ，， ，，让整道菜的味道抵达最佳平衡。。。 。 。 。。
一、从数学原理到现实应用：VESPO的理论基础
要明确VESPO算法的立异之处，， ，， ，，我们需要先相识它解决的焦点问题。。。 。 。 。。在大语言模子的训练历程中，， ，， ，，研究职员通常唬唬唬�；；；；峤幽梢恢纸凶�"主要性采样"的手艺。。。 。 。 。。这个看法可以用投票来类比：当我们想相识天下人民对某个问题的看法时，， ，， ，，若是只能会见到某个特定地区的人群，， ，， ，，我们就需要凭证这个地区的特点来调解投票效果的权重，， ，， ，，以便推断出天下的真真相形。。。 。 。 。。
在模子训练中，， ，， ，，"主要性采样"饰演着类似的角色。。。 。 。 。。当模子从过时的数据中学习时，， ，， ，，算法需要知道这些数据与目今模子状态的匹配水平，， ，， ，，然后响应地调解它们在学习历程中的主要性。。。 。 。 。。问题在于，， ，， ，，关于长文本序列，， ，， ，，这种主要性的盘算会变得极其重大和不稳固。。。 。 。 。。
古板的解决计划大致分为两类。。。 。 。 。。第一类是在词汇层面举行调解，， ，， ，，就像给文章中的每个单词划分贴上主要性标签。。。 。 。 。。这种要领的问题是，， ，， ，，它忽略了单词之间的相互依赖关系，， ，， ，，就好比只看树叶的颜色而忽略了整棵树的康健状态。。。 。 。 。。第二类要领试图在句子或段落层面举行调解，， ，， ，，但往往需要引入长度归一化，， ，， ，，这会带来新的误差问题。。。 。 。 。。
VESPO的立异在于提出了一个全新的理论框架。。。 。 。 。。研究团队将主要性权重的调解问题转化为一个"变分优化"问题。。。 。 。 。。这听起来很学术化，， ，， ，，但现实上可以用寻找最佳配方的比喻来明确。。。 。 。 。。
假设你是一个调酒师，， ，， ，，需要调制一杯完善的鸡尾酒。。。 。 。 。。你有多种酒类可以选择，， ，， ，，每种酒都有差别的特点和价钱。。。 。 。 。。你的目的是在控制本钱的同时，， ，， ，，调出最靠近理想口胃的鸡尾酒。。。 。 。 。。VESPO做的事情与此类似：它在坚持训练稳固性（控制本钱）的约束下，， ，， ，，寻找最优的数据权重设置（调酒配方），， ，， ，，使得训练效果最靠近理想状态。。。 。 。 。。
通过这种变分优化的要领，， ，， ，，VESPO能够自动推导出一个数学上优雅的解决计划。。。 。 。 。。这个解决计划具有两个要害特征：一个幂函数项和一个指数衰减项。。。 。 。 。。幂函数项认真放大主要的信息，， ，， ，，而指数衰减项认真抑制过于极端的权重。。。 。 。 。。这种组合就像音响装备中的平衡器，， ，， ，，既能增强需要的频率，， ，， ，，又能抑制杂音。。。 。 。 。。
更主要的是，， ，， ，，VESPO的解决计划是在序列层面直接事情的，， ，， ，，不需要举行长度归一化。。。 。 。 。。这意味着它能够坚持长文本中单词之间的相互依赖关系，， ，， ，，就像坚持一首交响乐中各个乐器之间的协调配合。。。 。 。 。。
二、实验验证：在数学推理使命中的卓越体现
为了验证VESPO算法的有用性，， ，， ，，研究团队在数学推理使命上举行了大宗实验。。。 。 。 。。他们选择数学推理作为测试场景并非无意，， ，， ，，由于数学推理需要模子具备逻辑推导能力，， ，， ，，对训练稳固性的要求特殊高。。。 。 。 。。这就像测试一个学生的综合能力，， ，， ，，数学题往往是最好的选择，， ，， ，，由于它需要严谨的逻辑头脑和准确的盘算能力。。。 。 。 。。
实验设置巧妙地模拟了现实应用中的挑战。。。 。 。 。。研究团队使用了三个差别规模的模子：Llama-3.2-3B、Qwen3-8B和Qwen3-30B。。。 。 。 。。这些模子就像三个差别年级的学生，， ，， ，，从小学生到大学生，， ，， ，，用来测试VESPO在差别重漂后下的体现。。。 。 。 。。
在战略陈腐性的测试中，， ，， ，，研究团队创立性地使用了一个叫做"陈腐比例"的指标。。。 。 。 。。他们将训练数据分成若干个小批次，， ，， ，，然后让模子依次处置惩罚这些批次。。。 。 。 。。随着处置惩罚历程的举行，， ，， ，，后面的批次相关于目今模子状态就会变得"陈腐"。。。 。 。 。。这个陈腐比例从4倍一直增添到64倍，， ，， ，，就像让学生用越来越过时的课原本学习最新的知识。。。 。 。 。。
实验效果令人印象深刻。。。 。 。 。。在所有测试条件下，， ，， ，，VESPO都体现出了卓越的稳固性。。。 。 。 。。当陈腐比例抵达64倍时，， ，， ，，其他算法要么性能急剧下降，， ，， ，，要么完全瓦解，， ，， ，，而VESPO依然能够坚持稳固的训练历程和优异的最终性能。。。 。 。 。。这就像一个优异的学生纵然拿到过时的课本，， ，， ，，依然能够学到焦点知识并取得好效果。。。 。 。 。。
特殊值得注重的是VESPO在混淆专家模子上的体现。。。 。 。 。。唬唬唬�；；；；煜夷Ｗ邮且恢痔厥獾哪Ｗ蛹芄�，， ，， ，，可以想象成一个由多个专家组成的咨询团队。。。 。 。 。。在处置惩罚差别问题时，， ，， ，，系统会自动选择最合适的专家往返覆。。。 。 。 。。这种架构的优势是能够用相对较少的盘算资源处置惩罚重大使命，， ，， ，，但挑战在于专家选择的一致性。。。 。 。 。。在训练和推理阶段，， ，， ，，若是专家选择泛起误差，， ，， ，，就会导致严重的性能问题。。。 。 。 。。
VESPO在混淆专家模子上的体现尤为精彩，， ，， ，，这主要得益于它对极端权重的软抑制机制。。。 。 。 。。当某些训练样本的主要性权重变得过大时，， ，， ，，古板要领往往接纳硬截断的方法，， ，， ，，就像用铰剪直接切断过长的树枝。。。 。 。 。。这种做法虽然简朴，， ，， ，，但容易造成信息的突然丧失。。。 。 。 。。VESPO则接纳渐进式的抑制要领，， ，， ，，就像用柔软的绳子逐渐指导树枝生长偏向，， ，， ，，既坚持了信息的一连性，， ，， ，，又阻止了极端情形。。。 。 。 。。
研究团队还测试了完全异步训练的场景。。。 。 。 。。在这种设置下，， ，， ，，数据天生和模子训练是完全疏散的，， ，， ，，就像一个工厂的生产线和质检部分划分在差别的地方事情。。。 。 。 。。数据天生使用的是旧版本的模子，， ，， ，，而模子训练则基于最新的参数。。。 。 。 。。这种设置下的陈腐性问题越发严重，， ，， ，，由于陈腐水平是不可展望和动态转变的。。。 。 。 。。
在异步训练实验中，， ，， ，，VESPO再次展现出了精彩的顺应能力。。。 。 。 。。其他算法在面临这种不确定性时往往体现不稳固，， ，， ，，训练曲线泛起强烈波动，， ，， ，，有些甚至泛起训练瓦解的情形。。。 。 。 。。而VESPO的训练曲线始终平滑稳固，， ，， ，，就像一个履历富厚的船长在波涛汹涌的海面上依然能够稳固掌舵。。。 。 。 。。
三、手艺细节：算法设计的精妙之处
VESPO算法的手艺实现体现了研究团队的深挚功底。。。 。 。 。。算法的焦点是一个重塑核函数，， ，， ，，其数学形式为W^c1 × exp(c2(1-W))。。。 。 。 。。这个公式看起来笼统，， ，， ，，但它的设计头脑很是直观。。。 。 。 。。
W代表主要性权重，， ，， ，，反应了训练样本与目今模子状态的匹配水平。。。 。 。 。。当W靠近1时，， ，， ，，说明样本与目今状态高度匹配；；；；；；；；当W偏离1时，， ，， ，，说明保存不匹配的情形。。。 。 。 。。c1和c2是两个可调参数，， ，， ，，划分控制幂函数和指数函数的强度。。。 。 。 。。
这个公式的巧妙之处在于它的自顺应特征。。。 。 。 。。当W靠近1时，， ，， ，，重塑函数的值也靠近1，， ，， ，，对原始权重险些不做修改。。。 。 。 。。这就像一个温顺的先生对体现优异的学生不会过多干预。。。 。 。 。。当W显著偏离1时，， ，， ，，指数项最先施展作用，， ，， ，，对权重举行平滑的抑制。。。 。 。 。。这种抑制不是突然的截断，， ，， ，，而是渐进的调解，， ，， ，，坚持了训练历程的一连性。。。 。 。 。。
研究团队还发明，， ，， ，，关于正向和负向的优势样本，， ，， ，，需要使用差别的参数设置。。。 。 。 。。这个发明来自于对训练动态的深入剖析。。。 。 。 。。正向优势样本是那些体现好于平均水平的样本，， ，， ，，负向优势样本则相反。。。 。 。 。。两类样本在训练历程中饰演差别的角色，， ，， ，，因此需要差别化的处置惩罚战略。。。 。 。 。。
关于正向优势样本，， ，， ，，算法倾向于保存更多的学习信号，， ，， ，，由于这些样本代表了模子应该强化的行为。。。 。 。 。。关于负向优势样本，， ，， ，，算规则更审慎，， ，， ，，特殊是当这些样原来自陈腐的战略时，， ，， ，，需要更强的抑制以阻止误导训练历程。。。 。 。 。。这种差池称的处置惩罚方法体现了算法设计的细腻化水平。。。 。 。 。。
从实现角度来看，， ，， ，，VESPO具有优异的数值稳固性。。。 。 。 。。所有盘算都在对数空间举行，， ，， ，，阻止了指数运算可能导致的数值溢出问题。。。 。 。 。。这就像在处置惩罚天文数字时使用科学计数法一样，， ，， ，，包管了盘算的准确性和稳固性。。。 。 。 。。
算法的内存开销也获得了很好的控制。。。 。 。 。。与一些需要特殊存储历史信息的要领差别，， ，， ，，VESPO只需要存储目今和行为战略的对数概率，， ，， ，，内存需求与标准的主要性采样要领相当。。。 。 。 。。这使得它能够轻松应用于大规模模子的训练。。。 。 。 。。
四、与现有要领的比照：优势何在
为了更好地明确VESPO的立异性，， ，， ，，研究团队将其与三种主流要领举行了详细比照。。。 。 。 。。这三种要领划分代表了目今解决战略陈腐性问题的差别思绪。。。 。 。 。。
第一种是GRPO要领，， ，， ，，它接纳词汇级别的主要性调解。。。 。 。 。。这种要领的思绪是为文本中的每个单词划分盘算主要性权重，， ，， ，，然后使用类似PPO的截断战略来控制权重的规模。。。 。 。 。。这种要领的优点是简朴直接，， ，， ，，容易明确和实现。。。 。 。 。。但弱点是破损了句子层面的语义连贯性，， ，， ，，就像把一幅画拆散成单独的颜色点来处置惩罚一样。。。 。 。 。。
实验效果显示，， ，， ，，GRPO在面临高陈腐比例时容易泛起训练饱和的问题。。。 。 。 。。训练奖励在抵达某个水平后就阻止增添，， ，， ，，无法进一步提升。。。 。 。 。。这种征象的基础缘故原由是词汇级别的处置惩罚丧失了长程依赖信息，， ，， ，，限制了模子学习重大模式的能力。。。 。 。 。。
第二种是GSPO要领，， ，， ，，它实验在序列级别举行处置惩罚，， ，， ，，但引入了长度归一化。。。 。 。 。。详细来说，， ，， ，，它使用几何平均值来盘算序列级别的主要性权重，， ，， ，，即将所有单词的主要性权重相乘后开T次方根，， ，， ，，其中T是序列长度。。。 。 。 。。这种做法的初志是控制权重的方差，， ，， ，，阻止长序列带来的不稳固性。。。 。 。 。。
然而，， ，， ，，长度归一化引入了新的误差问题。。。 。 。 。。研究团队通过理论剖析证实，， ，， ，，这种归一化会导致相同平均质量但差别长度的序列获得相同的主要性权重，， ，， ，，这在数学上是不对理的。。。 。 。 。。实验中，， ，， ，，GSPO在某些条件下泛起了灾难性的训练瓦解，， ，， ，，特殊是当陈腐比例为4时，， ，， ，，训练奖励在1200步左右突然降为零。。。 。 。 。。
第三种是SAPO要领，， ，， ，，它使用自顺应门控机制来调解主要性权重。。。 。 。 。。这种要领试图通过学习一个门控函数来动态决议每个样本的主要性。。。 。 。 。。理论上，， ，， ，，这种自顺应机制应该能够更好地处置惩罚重大的训练场景。。。 。 。 。。
但实验效果批注，， ，， ，，SAPO的稳固性最差。。。 。 。 。。在陈腐比例较低时，， ，， ，，它还能维持基本的训练效果，， ，， ，，但随着陈腐比例增添，， ，， ，，训练历程变得极不稳固，， ，， ，，经常泛起完全瓦解的情形。。。 。 。 。。剖析发明，， ，， ，，SAPO对负优势样本的处置惩罚不敷适当，， ，， ，，容易导致训练历程中的正反响循环被破损。。。 。 。 。。
相比之下，， ，， ，，VESPO在所有测试条件下都体现出了精彩的稳固性和性能。。。 。 。 。。它乐成地团结了序列级别处置惩罚的优势和软截断的稳固性，， ，， ，，在不引入长度误差的条件下有用控制了权重的方差。。。 。 。 。。更主要的是，， ，， ，，VESPO的性能随着陈腐比例的增添险些没有显著下降，， ，， ，，这在现实应用中具有主要价值。。。 。 。 。。
五、现实应用价值：解决现实天下的挑战
VESPO算法的价值不但体现在理论立异上，， ，， ，，更主要的是它解决了大语言模子训练中的现实问题。。。 。 。 。。在现实天下的应用中，， ，， ，，战略陈腐性险些是不可阻止的。。。 。 。 。。
在大规模模子训练中，， ，， ，，研究团队通常唬唬唬�；；；；峤桓龃蟮难盗放纹饰龀啥喔鲂∨卫创χ贸头�，， ，， ，，这是由盘算资源和内存限制决议的。。。 。 。 。。随着处置惩罚历程的举行，， ，， ，，后面的小批次基于的模子参数已经由时，， ，， ，，这就爆发了战略陈腐性。。。 。 。 。。VESPO能够有用处置惩罚这种陈腐性，， ，， ，，使得大批次训练变得越发稳固可靠。。。 。 。 。。
异步训练是另一个主要的应用场景。。。 。 。 。。在漫衍式训练情形中，， ，， ，，数据天生和模子更新往往在差别的节点上举行，， ，， ，，两者之间保存自然的时间差。。。 。 。 。。这种异步性能够提高系统的吞吐量和资源使用效率，， ，， ，，但也带来了战略陈腐性的挑战。。。 。 。 。。VESPO在异步训练场景下的精彩体现为大规模漫衍式训练提供了新的可能性。。。 。 。 。。
训练与推理引擎之间的不匹配是第三个主要场景。。。 。 。 。。在现实安排中，， ，， ，，训练和推理往往使用差别的软件框架和优化战略。。。 。 。 。。这些差别会导致相同的模子参数在差别情形下爆发玄妙的输出差别。。。 。 。 。。关于混淆专家模子来说，， ，， ，，这种差别会由于专家选择的纷歧致而放大。。。 。 。 。。VESPO的软抑制机制能够很好地处置惩罚这类不匹配问题。。。 。 。 。。
研究团队还探索了VESPO与其他手艺的团结。。。 。 。 。。他们发明VESPO可以与路由重松手艺相团结，， ，， ，，进一步提升在混淆专家模子上的性能。。。 。 。 。。路由重放是一种确保训练和推理阶段专家选择一致性的手艺，， ，， ，，而VESPO的加入使得这种一致性的维护变得越发稳固。。。 。 。 。。
从工程实现的角度来看，， ，， ，，VESPO具有优异的易用性。。。 。 。 。。它不需要修改现有的训练框架，， ，， ，，只需要在盘算战略梯度时替换主要性权重的盘算要领即可。。。 。 。 。。这种即插即用的特征大大降低了算法的安排门槛。。。 。 。 。。
六、未来展望：手艺演进的偏向
VESPO算法的乐成为大语言模子训练开发了新的研究偏向。。。 。 。 。。研究团队在论文中提出了几个值得继续探索的领域。。。 。 。 。。
首先是扩展到更大规模的异步集群。。。 。 。 。。目今的实验主要在中等规模的漫衍式情形中举行，， ，， ，，未来的挑战是怎样将VESPO应用到拥有数千个节点的超大规模训练集群中。。。 。 。 。。在这种规模下，， ，， ，，战略陈腐性的重漂后会进一步增添，， ，， ，，需要更细腻的处置惩罚战略。。。 。 。 。。
其次是智能体强化学习的应用。。。 。 。 。。现在的实验主要集中在文本天生使命上，， ，， ，，但大语言模子正在向多轮对话和工具使用等更重大的智能体行为生长。。。 。 。 。。在这些场景中，， ，， ，，模子需要处置惩罚恒久的行动序列和重大的奖励信号，， ，， ，，VESPO的序列级别处置惩罚优势可能会施展更大的作用。。。 。 。 。。
第三个偏向是在线战略蒸馏和离线训练。。。 。 。 。。随着模子规模的增添，， ，， ，，直接训练变得越来越腾贵。。。 。 。 。。一种可能的解决计划是使用大模子天生训练数据，， ，， ，，然后用这些数据训练较小的模子。。。 。 。 。。VESPO的主要性权重调解机制可能在这种蒸馏历程中施展主要作用。。。 。 。 。。
从理论角度来看，， ，， ，，研究团队还在探索VESPO的数学性子。。。 。 。 。。他们希望建设更严酷的收敛性包管和性能界线，， ，， ，，为算法的进一步优化提供理论指导。。。 。 。 。。同时，， ，， ，，他们也在研究怎样将变分优化的框架扩展到其他机械学习问题中。。。 。 。 。。
在现实应用中，， ，， ，，一个主要的偏向是自顺应超参数调解。。。 。 。 。。现在VESPO需要手工设置c1和c2参数，， ，， ，，虽然算法对这些参数相对不敏感，， ，， ，，但自动调解仍然是一个有价值的研究偏向。。。 。 。 。。通过在线监测训练状态并动态调解参数，， ，， ，，可能进一步提升算法的性能和易用性。。。 。 。 。。
说究竟，， ，， ，，VESPO算法代表了大语言模子训练手艺的一个主要前进。。。 。 。 。。它不但解决了战略陈腐性这个恒久困扰研究者的问题，， ，， ，，更主要的是提供了一个优雅的理论框架来处置惩罚重大的权重调解问题。。。 。 。 。。随着大语言模子在各个领域的普遍应用，， ，， ，，稳固可靠的逊с法变得越来越主要。。。 。 。 。。VESPO为这一领域的生长提供了新的工具和思绪，， ，， ，，有望推动更强盛、更稳固的人工智能系统的降生。。。 。 。 。。关于那些希望深入相识这项手艺细节的读者，， ，， ，，可以通过论文编号arXiv:2602.10693v1盘问完整的研究报告。。。 。 。 。。
Q&A
Q1：VESPO算法主要解决什么问题？？ ？？？？？？
A：VESPO主要解决大语言模子强化学习训练中的"战略陈腐性"问题。。。 。 。 。。简朴来说，， ，， ，，就是当模子需要从过时的训练数据中学习时，， ，， ，，怎样阻止训练不稳固甚至瓦解的问题。。。 。 。 。。这种情形在现实应用中很常见，， ，， ，，好比分批处置惩罚大宗训练数据时，， ，， ，，后面的批次基于的模子参数已经由时了。。。 。 。 。。
Q2：VESPO相比古板要领有什么优势？？ ？？？？？？
A：VESPO的主要优势在于它能在序列层面直接处置惩罚主要性权重，， ，， ，，不需要长度归一化，， ，， ，，阻止了古板要领的误差问题。。。 。 。 。。它使用软抑制机制而不是硬截断，， ，， ，，坚持了训练历程的平滑性。。。 。 。 。。实验显示，， ，， ，，纵然在64倍陈腐比例的极端条件下，， ，， ，，VESPO依然能坚持稳固训练，， ，， ，，而其他要领往往会泛起性能下降或瓦解。。。 。 。 。。
Q3：通俗开发者怎样使用VESPO算法？？ ？？？？？？
A：VESPO具有很好的易用浩联汽配商业有限公司性，， ，， ，，不需要修改现有的训练框架。。。 。 。 。。�？ ？？？？？？⒄咧恍枰谂趟阏铰蕴荻仁�，， ，， ，，将古板的主要性权重盘算要领替换为VESPO的重塑核函数即可。。。 。 。 。。算法提供了完整的伪代码实现，， ，， ，，支持即插即用的安排方法，， ，， ，，大大降低了使用门槛。。。 。 。 。。