这项由美团公司研究团队开展的研究揭晓于2026年2月的arXiv预印本平台，，，，，，，，论文编号为arXiv:2602.05261v1。。。 。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。 。。
当我们和ChatGPT这样的人工智能谈天时，，，，，，，，你有没有注重到一个有趣的征象：有时它的回覆特殊详细冗长，，，，，，，，有时又异常简短？？？？？这种征象背后着实隐藏着人工智能训练历程中的一个主要手艺问题。。。 。。美团的研究团队最近发明了这个问题的泉源，，，，，，，，并提出了一个巧妙的解决计划。。。 。。
这个问题就像是教一个学生写作文。。。 。。古板的人工智能训练要领就好比这样一位先生：当学生写对问题时，，，，，，，，先生更喜欢精练的谜底，，，，，，，，会给简短准确的作文更高的分数；；； ； ；但当学生写错时，，，，，，，，先生反而对冗长的过失谜底较量宽容。。。 。。这种纷歧致的评分标准导致学生越来越疑心，，，，，，，，不知道该写长文章照旧随笔章。。。 。。
更详细地说，，，，，，，，现在主流的人工智能训练要领叫做"强化学习"，，，，，，，，就像训练一只宠物一样，，，，，，，，通过奖励和处分来塑造它的行为。。。 。。然而现有的两种主流逊с法GRPO和GSPO都保存一个隐藏的私见：它们在评估谜底质量时，，，，，，，，会不自觉地受到谜底长度的影响。。。 。。这就像一位偏心的先生，，，，，，，，不是纯粹凭证内容质量打分，，，，，，，，而是漆黑思量了文章的是非。。。 。。
美团的研究职员通过深入剖析发明，，，，，，，，这个问题的焦点在于逊с法的数学公式设计保存缺陷。。。 。。他们发明GSPO算法尤其容易导致"回覆长度坍塌"征象，，，，，，，，也就是说，，，，，，，，随着训练的举行，，，，，，，，人工智能的回覆会变得越来越短，，，，，，，，最终影响其推理能力和回覆质量。。。 。。
为相识决这个问题，，，，，，，，研究团队提出了一种名为"长度无偏序列战略优化"（LUSPO）的新要领。。。 。。这个要领的焦点头脑很是简朴而巧妙：在盘算每个回覆的主要性时，，，，，，，，将其乘以回覆的长度。。。 。。这就像给每个学生的作文按字数给予响应的关注度，，，，，，，，确保长文章和随笔章都能获得公正的评判。。。 。。
一、为什么回覆长度云云主要？？？？？
要明确这个问题，，，，，，，，我们需要先相识人工智能是怎样"思索"重大问题的。。。 。。就像人类解决数学难题时需要在底稿纸上写下推理历程一样，，，，，，，，人工智能处置惩罚重大推理使命时也需要"睁开思绪"。。。 。。这个睁开的历程通常体现为较长的回覆，，，，，，，，其中包括了逐步的推理链条。。。 。。
当人工智能面临一道重大的数学题时，，，，，，，，一个高质量的回覆可能包括：问题明确、解题思绪剖析、详细盘算办法、效果验证等多个环节。。。 。。这样的回覆自然会比简朴的"谜底是5"要长得多，，，，，，，，但也更有价值，，，，，，，，由于它展示了完整的推理历程。。。 。。
然而，，，，，，，，古板的训练要领在评估这类回覆时保存系统性私见。。。 。。研究团队发明，，，，，，，，GRPO算法在处置惩罚准确谜底时会倾向于奖励较短的回覆，，，，，，，，而在处置惩罚过失谜底时反而对较长的回覆更宽容。。。 。。这种纷歧致的标准就像一个摇晃未必的天平，，，，，，，，无法给人工智能提供清晰的学习信号。。。 。。
GSPO算法的问题越发严重。。。 。。它接纳了"序列级裁剪"机制，，，，，，，，这个机制会导致更多的训练样本被扬弃，，，，，，，，并且由于"裁剪更高"战略的影响，，，，，，，，负面样本（过失谜底）被删除的比例更大。。。 。。这种不平衡进一步加剧了长度私见，，，，，，，，使得人工智能越来越倾向于天生简短的回覆。。。 。。
研究团队通过实验清晰地展示了这个问题。。。 。。他们训练了两组相同的人工智能模子，，，，，，，，一组使用GRPO要领，，，，，，，，另一组使用GSPO要领，，，，，，，，其他条件完全相同。。。 。。效果发明，，，，，，，，使用GRPO训练的模子回覆长度逐渐增添，，，，，，，，而使用GSPO训练的模子回覆长度急剧下降，，，，，，，，从训练初期的400多个词逐渐缩短到200多个词。。。 。。
这种回覆长度的坍塌不但仅是外貌征象，，，，，，，，它现实上反应了人工智能推理能力的退化。。。 。。当模子被迫天生越来越短的回覆时，，，，，，，，它失去了睁开重大推理的空间，，，，，，，，就像要求一个学生在只有一行的纸上解决重大的数学证实题一样。。。 。。
二、LUSPO要领的巧妙设计
面临这个问题，，，，，，，，美团研究团队提出的LUSPO要领体现了工程上的优雅。。。 。。这个解决计划的焦点头脑可以用一个简朴的比喻来明确：若是说古板要领是在用同样巨细的放大镜视察所有文章，，，，，，，，那么LUSPO就是凭证文章长度调解放大镜的倍数，，，，，，，，确保每个文章都能获得适当的关注。。。 。。
详细来说，，，，，，，，LUSPO要领在盘算损失函数时，，，，，，，，将每个序列的损失乘以其自身的长度。。。 。。这个看似简朴的调解却爆发了深远的影响。。。 。。通过这种方法，，，，，，，，长回覆和短回覆在训练历程中获得了一律的"讲话权"，，，，，，，，消除了原有算法中隐含的长度私见。。。 。。
从数学角度来看，，，，，，，，这个调解很是巧妙地解决了梯度漫衍不匀称的问题。。。 。。在原来的GSPO要领中，，，，，，，，长回覆的每个词对整体损失的孝顺被稀释了，，，，，，，，由于损失值需要除以回覆长度。。。 。。而LUSPO通过乘以长度因子，，，，，，，，恰恰抵消了这种稀释效应，，，，，，，，使得每个词的孝顺变得匀称。。。 。。
研究团队通过严酷的数学推导证实晰这种调解的合理性。。。 。。他们盘算了LUSPO和GSPO的梯度公式，，，，，，，，清晰地展示了两者的区别。。。 。。在GSPO中，，，，，，，，梯度盘算包括了一个隐含的长度归一化项，，，，，，，，这个项导致了长度私见。。。 。。而LUSPO通过显式地乘以长度因子，，，，，，，，完全消除了这个私见源。。。 。。
这种设计的美妙之处在于它的精练性和有用性。。。 。。研究团队没有重大地重新设计整个训练框架，，，，，，，，而是通过一个精准的数学调解解决了基础问题。。。 。。这就像修理一台细密仪器时，，，，，，，，不需要拆解整台机械，，，，，，，，只需要调解一个要害的螺丝就能让一切正常运转。。。 。。
三、实验验证：从理论到实践的完善转化
为了验证LUSPO要领的有用性，，，，，，，，研究团队设计了一系列周全的实验。。。 。。这些实验就像一场严酷的药物临床试验，，，，，，，，需要在差别的"病人"（模子）、差别的"病症"（使命）上测试新"药物"（LUSPO要领）的效果。。。 。。
实验涵盖了多种差别类型的人工智能模子。。。 。。关于文本模子，，，，，，，，研究团队使用了Qwen2.5-7B-Base这样的麋集型模子和Qwen3-30B-A3B-Instruct这样的混淆专家模子。。。 。。关于多模态模子，，，，，，，，他们使用了能够同时处置惩罚文字和图像的Qwen2.5-VL-7B-Instruct模子。。。 。。这种周全的测试就像在差别的土壤、差别的天气条件下莳植统一种作物，，，，，，，，确保新要领具有普遍的适用性。。。 。。
在数学推理使命上，，，，，，，，LUSPO展现出了显著的优势。。。 。。在AMC23、AIME24、AIME25等标准化数学竞赛问题上，，，，，，，，使用LUSPO训练的模子体现显着优于使用GSPO训练的同类模子。。。 。。以Qwen2.5-7B-Base模子为例，，，，，，，，在AIME24使命上，，，，，，，，LUSPO比GSPO提高了2.9%的准确率，，，，，，，，在MATH500使命上提高了7.4%的准确率。。。 。。这些提升看似不大，，，，，，，，但在人工智能领域，，，，，，，，几个百分点的提升往往意味着质的奔腾。。。 。。
更令人惊喜的是，，，，，，，，在混淆专家模子Qwen3-30B-A3B-Instruct上，，，，，，，，LUSPO的优势越发显着。。。 。。在AIME24使命上，，，，，，，，LUSPO比GSPO提高了6.9%的准确率，，，，，，，，在AIME25使命上甚至提高了17.1%的准确率。。。 。。这种显著的提升证实晰LUSPO要领在重大模子架构上的优越性。。。 。。
在多模态推理使命上，，，，，，，，LUSPO同样体现精彩。。。 。。在MathVista-mini、MathVision等需要同时明确文字和图像的重大使命上，，，，，，，，LUSPO不但逾越了GSPO，，，，，，，，甚至在某些使命上也优于GRPO。。。 。。特殊是在WeMath和LogicVista这两个测试逻辑推理能力的使命上，，，，，，，，LUSPO划分比GSPO提高了5.1%和6.0%的准确率。。。 。。
四、训练动态：看得见的改善历程
通过视察训练历程中的各项指标转变，，，，，，，，研究团队清晰地展示了LUSPO要领带来的起劲影响。。。 。。这个视察历程就像医生监测病人康复历程一样，，，，，，，，通过多个生命体征的转变来判断治疗效果。。。 。。
最直观的转变体现在回覆长度上。。。 。。在使用GSPO训练时，，，，，，，，Qwen2.5-VL-7B-Instruct模子的平均回覆长度从训练初期的450个词急剧下降到最后的200多个词，，，，，，，，泛起出显着的"坍塌"趋势。。。 。。而使用LUSPO训练时，，，，，，，，回覆长度不但没有下降，，，，，，，，反而稳步上升，，，，，，，，最终稳固在500多个词的水平。。。 。。这种差别就像两个学生的写作能力生长轨迹：一个越写越少，，，，，，，，词不达意；；； ； ；另一个表达越来越富厚，，，，，，，，逻辑越来越清晰。。。 。。
准确率的转变同样令人鼓舞。。。 。。在训练历程中，，，，，，，，使用LUSPO的模子在准确率提升方面始终领先于使用GSPO的模子。。。 。。更主要的是，，，，，，，，这种提升是一连稳固的，，，，，，，，没有泛起波动或倒退征象，，，，，，，，说明LUSPO提供了越发稳固的学习情形。。。 。。
验证集上的体现进一步证实了LUSPO的优势。。。 。。研究团队按期在AIME24数学问题上测试模子体现，，，，，，，，效果显示LUSPO训练的模子不但在训练数据上体现更好，，，，，，，，在未见过的测试数据上也坚持了优势，，，，，，，，证实晰其优异的泛化能力。。。 。。
平均回覆长度的比照数据更是说明问题：GSPO训练的Qwen2.5-7B-Base模子平均回覆长度为2611个字符，，，，，，，，而LUSPO训练的同类模子平均回覆长度抵达3940个字符，，，，，，，，提升了50%以上。。。 。。在更大的Qwen3-30B-A3B-Instruct模子上，，，，，，，，这个差别越发显着：GSPO为6757个字符，，，，，，，，LUSPO为11014个字符，，，，，，，，险些提升了一倍。。。 。。
五、深层原理：为什么LUSPO云云有用？？？？？
LUSPO要领的乐成不是无意的，，，，，，，，它背后有着深刻的理论基础。。。 。。要明确这个原理，，，，，，，，我们可以把人工智能的训练历程比作一个重大的生态系统，，，，，，，，其中每种"物种"（差别长度的回覆）都需要适当的"生涯空间"。。。 。。
在原来的GSPO系统中，，，，，，，，这个生态系统是失衡的。。。 。。短回覆就像是滋生能力强、顺应性好的杂草，，，，，，，，在竞争中占有优势；；； ； ；而长回覆则像是需要更多资源、生长周期更长的珍贵植物，，，，，，，，在不公正的竞争情形中逐渐消逝。。。 。。这种失衡最终导致整个生态系统的简单化和贫瘠化。。。 。。
LUSPO的调解就像是为差别的"物种"提供了公正的生涯条件。。。 。。通过给每个回覆乘以其长度因子，，，，，，，，LUSPO确保了长回覆和短回覆在训练历程中获得相等的"营养"（梯度更新）。。。 。。这种平衡机制让人工智能能够学会在适当的时间给出详细的回覆，，，，，，，，在需要时也能坚持精练。。。 。。
从信息论的角度来看，，，，，，，，长回覆通常包括更多的信息量。。。 。。当一小我私家工智能模子能够天生较长的、逻辑连贯的回覆时，，，，，，，，它现实上展示了对问题的深度明确和重大推理能力。。。 。。LUSPO要领�；；； ； ；ち苏庵指咝畔⒘炕馗驳纳目占�，，，，，，，，使得模子能够生长出越发重大和精妙的推理能力。。。 。。
研究团队还发明，，，，，，，，LUSPO要领在差别类型的模子架构上都体现精彩，，，，，，，，说明其解决的是一个根天性问题。。。 。。无论是麋集型模子照旧混淆专家模子，，，，，，，，无论是纯文本模子照旧多模态模子，，，，，，，，都能从LUSPO的调解中受益。。。 。。这种普适性证实晰要领的理论基础是扎实的。。。 。。
别的，，，，，，，，LUSPO要领的另一个主要优势是其稳固性。。。 。。古板的GRPO要领虽然没有GSPO那样严重的长度私见问题，，，，，，，，但在混淆专家模子上训练时会泛起不稳固征象。。。 。。而LUSPO不但解决了长度私见问题，，，，，，，，还继续了GSPO在稳固性方面的优势，，，，，，，，可以说是一箭双鵰。。。 。。
六、现实应用：从实验室到现实天下
LUSPO要领的乐成不但仅是学术上的突破，，，，，，，，更有着主要的现实应用价值。。。 。。这个要领就像是人工智能训练工具箱中新增的一个细密仪器，，，，，，，，能够资助研发职员构建越发平衡和稳固的人工智能系统。。。 。。
在数学教育领域，，，，，，，，使用LUSPO训练的人工智能助教能够提供越发详细和有逻辑的解题历程。。。 。。这些AI助教不再只是简朴地给出谜底，，，，，，，，而是能够像优异的人类先生一样，，，，，，，，逐步指导学生明确问题、剖析思绪、执行盘算、验证效果。。。 。。这种详细的诠释对学生的学峡帐助重大，，，，，，，，特殊是在重大的数学看法明确上。。。 。。
在客服和咨询效劳领域，，，，，，，，LUSPO训练的人工智能能够提供越发周全和有用的回覆。。。 。。当用户咨询重大的手艺问题或效劳流程时，，，，，，，，AI不会由于训练私见而给出过于简短的回覆，，，，，，，，而是能够提供详细的办法指导和配景诠释，，，，，，，，显著提升用户体验。。。 。。
在内容创作领域，，，，，，，，LUSPO要领有助于开发能够爆发高质量长文本的人工智能写作助手。。。 。。这些助手在资助用户撰写报告、文章或其他需要深度剖析的内容时，，，，，，，，能够坚持适当的详细水平，，，，，，，，而不会由于训练私见而爆发过于精练、缺乏深度的内容。。。 。。
更主要的是，，，，，，，，LUSPO要领为整小我私家工智能训练领域提供了一个主要的启示：看似细小的算法调解可能解决根天性的问题。。。 。。这勉励研究职员越发仔细地审阅现有训练要领中可能保存的隐性私见，，，，，，，，推动整个领域向越发公正和有用的偏向生长。。。 。。
研究团队还举行了鲁棒性测试，，，，，，，，在差别的数据集组合上验证LUSPO的效果。。。 。。他们发明，，，，，，，，纵然在不会导致回覆长度坍塌的数据集上，，，，，，，，LUSPO仍然能够带来性能提升，，，，，，，，说明这个要领的价值不但仅在于解决特定问题，，，，，，，，更在于提供了一个普遍更好的训练范式。。。 。。
归根结底，，，，，，，，美团团队这项研究解决了人工智能训练中一个主要而隐藏的问题。。。 。。通过一个精练而巧妙的数学调解，，，，，，，，LUSPO要领让人工智能能够越发公正地学习处置惩罚差别长度的回覆，，，，，，，，从而在重大推理使命上体现得越发精彩。。。 。。这就像是给人工智能戴上了一副"公正眼镜"，，，，，，，，让它能够更准确地看待和学习种种类型的知识。。。 。。
这项研究的意义不但在于提供了一个新的训练要领，，，，，，，，更在于展现了人工智能训练历程中可能保存的玄妙但主要的私见。。。 。。它提醒我们，，，，，，，，在追求人工智能性能提升的蹊径上，，，，，，，，我们需要越发详尽地关注训练历程的每一个细节，，，，，，，，确保我们构建的AI系统能够真正公正、平衡地处置惩罚种种类型的使命和挑战。。。 。。随着人工智能手艺在各个领域的普遍应用，，，，，，，，这种对公正性和平衡性的关注将变得越来越主要。。。 。。
Q&A
Q1：LUSPO相比GSPO有什么主要刷新？？？？？
A：LUSPO的焦点刷新是在盘算损失函数时将每个序列的损失乘以其长度，，，，，，，，这样消除了GSPO中保存的长度私见。。。 。。GSPO会让AI的回覆越来越短，，，，，，，，而LUSPO确保是非回覆都能获得公正看待，，，，，，，，让AI能够在需要时给出详细的推理历程。。。 。。
Q2：为什么回覆长度对AI推理能力这么主要？？？？？
A：就像人类解决重大数学题需要在底稿纸上写下推理历程一样，，，，，，，，AI处置惩罚重大问题也需要足够的"思索空间"。。。 。。较长的回覆通常包括完整的推理链条，，，，，，，，包括问题剖析、解题办法、效果验证等环节。。。 。。若是AI被迫只能给出简短回覆，，，，，，，，就失去了睁开重大推理的能力。。。 。。
Q3：LUSPO要领在现实应用中效果怎样？？？？？
A：实验效果显示LUSPO在陕西渭水装备制造有限公司多个使命上都有显著提升。。。 。。在数学推理使命AIME24上，，，，，，，，LUSPO比GSPO提高了2.9-6.9%的准确率；；； ； ；在多模态推理使命上，，，，，，，，在WeMath和LogicVista使命上划分提高了5.1%和6.0%。。。 。。同时，，，，，，，，使用LUSPO训练的模子平均回覆长度比GSPO长50%以上。。。 。。