这项由香港科技大学广州校区xLeaF实验室团队完成的研究于2026年2月揭晓在预印本平台，， ，，，，论文编号为arXiv:2601.23000v1 。。。。。研究团队提出了一种名为Mano的全新优化器，， ，，，，能够大幅提升大型语言模子的训练效率，， ，，，，同时显著降低盘算本钱和内存消耗 。。。。。
训练大型语言模子就像是在教授一个拥有数千亿个参数的超等大脑学习语言，， ，，，，这个历程需要消耗巨额的盘算资源和电力 。。。。。现有的训练要领就好比让学生用最鸠拙的方法学习数学——要么只看到局部信息而忽视整体结构，， ，，，，要么太过追求完善而丧失了主要细节 。。。。。目今最盛行的AdamW优化器就像一个只会逐个检查每道问题的先生，， ，，，，完全忽略了问题之间的内在联系和整体纪律 。。。。。而另一种叫做Muon的优化器虽然能够统一处置惩罚所有维度的信息，， ，，，，但在这个历程中却丧失了名贵的曲率信息，， ，，，，就像为了坚持答题速率一致而忽略了问题的难易水平 。。。。。
研究团队从一个全新的角度来思索这个问题 。。。。。他们发明，， ，，，，古板的流形优化要领虽然在数学理论上很优美，， ，，，，但在现实的大模子训练中体现很差，， ，，，，这让许多研究者对这类要领失去了信心 。。。。。然而，， ，，，，港科大的研究团队没有放弃，， ，，，，而是立异性地刷新了这些要领 。。。。。
他们的焦点洞察是这样的：与其强制让模子参数始终待在某个特定的数学外貌上，， ，，，，不如让学习历程自己在这些平滑的数学外貌上举行 。。。。。这就像是改变了学习战略——不是要修业生的谜底必需切合某种牢靠名堂，， ，，，，而是让学生的思索历程遵照越发高效和结构化的路径 。。。。。
详细来说，， ，，，，Mano优化器接纳了一种被称为"旋转斜流形"的巧妙设计 。。。。。你可以把它明确为一种动态的学习战略：在奇数轮训练中按列偏向举行归一化处置惩罚，， ，，，，在偶数轮训练中按行偏向举行归一化处置惩罚 。。。。。这种交替举行的方法确保了模子能够从多个角度明确和优化参数空间，， ，，，，就像一个优异的数学先生会从差别角度解说统一个看法，， ，，，，资助学生建设更周全的明确 。。。。。
更令人惊喜的是，， ，，，，这种要领在坚持优异性能的同时，， ，，，，还大幅降低了盘算重漂后 。。。。。研究团队通过大宗实验发明，， ，，，，Mano优化器相比于现有要领具有显著优势 。。。。。在LLaMA和Qwen3等主流模子上的测试批注，， ，，，，Mano不但在最终的模子性能上逾越了AdamW和Muon，， ，，，，并且在逊з度上也有大幅提升 。。。。。
实验效果显示，， ，，，，在LLaMA-350M模子的一天训练实验中，， ，，，，Mano的收敛速率比Muon快了1.75倍，， ，，，，在LLaMA-1.3B模子上快了1.38倍 。。。。。更主要的是，， ，，，，这种速率优势随着训练的深入会越来越显着，， ，，，，由于Mano能够更好地避开局部最优解，， ，，，，一连向全局最优解前进 。。。。。
在内存消耗方面，， ，，，，Mano的体现同样精彩 。。。。。它只需要与SGD动量法相当的内存开销，， ，，，，相比AdamW镌汰了一半的内存占用 。。。。。在盘算重漂后上，， ，，，，Mano阻止了Muon中腾贵的Newton-Schulz迭代盘算，， ，，，，显著降低了每次更新的盘算本钱 。。。。。
一、数学优化遇上工程智慧：Mano的焦点原理
要明确Mano优化器的事情原理，， ，，，，我们可以把大模子训练比作在一个重大的山地中寻找最深的山谷 。。。。。古板的优化要领就像是戴着有色眼镜的爬山者，， ，，，，要么只能看到脚下的小规模地形（AdamW的局限性），， ，，，，要么虽然视野坦荡但分不清远近深浅（Muon的问题） 。。。。。
Mano的立异在于重新设计了这个"寻路"历程 。。。。。它不是简朴地限制爬山者只能走特定的路径，， ，，，，而是让寻路的思索历程自己变得越发智慧和高效 。。。。。详细来说，， ，，，，Mano接纳了一种叫做"切空间投影"的数学技巧，， ，，，，这相当于在每次决议行进偏向时，， ，，，，都会思量目今位置的地形特征，， ，，，，确保选择的偏向既切合整体的优化目的，， ，，，，又能充分使用局部的地形信息 。。。。。
更巧妙的是，， ，，，，Mano引入了"旋转流形归一化"机制 。。。。。你可以把它想象成一个会自动调解视角的智能导航系统 。。。。。在奇数步的时间，， ，，，，它从工具偏向视察地形并做决议；；；；；；在偶数步的时间，， ，，，，它转换到南北偏向举行视察 。。。。。这种视角的交替切换确保了优化历程不会陷入某个特定偏向的私见，， ，，，，能够更周全地探索参数空间 。。。。。
研究团队通过理论剖析证实，， ，，，，这种交替的列行归一化历程现实上等价于著名的Sinkhorn-Knopp迭代算法，， ，，，，该算法能够将矩阵收敛到双随机矩阵 。。。。。双随机矩阵具有很是好的数学性子，， ，，，，能够包管优化历程的稳固性和收敛性 。。。。。
在实现层面，， ，，，，Mano的每次参数更新只需要举行两次列行归一化和一次切空间投影，， ，，，，总共消耗约11mn个浮点运算，， ，，，，其中m和n划分是参数矩阵的行数和列数 。。。。。相比之下，， ，，，，Muon需要举行重大的矩阵正交化操作，， ，，，，盘算量要高得多 。。。。。这种设计让Mano在坚持数学优雅性的同时，， ，，，，具备了精彩的工程适用性 。。。。。
二、实验验证：从理论到现实的华美转身
为了验证Mano优化器的现实效果，， ，，，，研究团队设计了一系列周全的比照实验 。。。。。他们选择了两个代表性的模子架构——LLaMA和Qwen3，， ，，，，以及两个标准的文本数据集C4和Pile，， ，，，，确保实验效果具有普遍的代表性 。。。。。
在LLaMA-350M模子的训练中，， ，，，，Mano展现出了奇异的学习曲线特征 。。。。。虽然在训练初期，， ，，，，Muon优化器能够实现更快的初始收敛，， ，，，，但随着训练的深入，， ，，，，Mano逐渐展现出其优势 。。。。。最令人印象深刻的是，， ，，，，当AdamW和Muon的损失曲线最先平缓甚至障碍时，， ，，，，Mano仍然能够坚持险些恒定的收敛速率，， ，，，，一连向全局最优解迫近 。。。。。
这种征象在更大的模子上体现得越发显着 。。。。。在LLaMA-1.3B模子的实验中，， ，，，，Mano最终逾越了两个基准优化器的性能 。。。。。研究团队发明，， ，，，，关于更大的模子，， ，，，，Mano逾越Muon的转折点会泛起得更晚，， ，，，，这可能与大模子更大的数据规模最优点有关 。。。。。
特殊值得关注的是Mano在梯度稳固性方面的体现 。。。。。通太过析训练历程中的梯度范数、方差和信噪比，， ，，，，研究团队发明Mano在相同的动量系数下能够维持更低的梯度方差和更高的信噪比 。。。。。这批注Mano的流形归一化要领能够更好地保存原始梯度办法中编码的曲率信息，， ，，，，从而提供更稳固的优化情形 。。。。。
从频谱剖析的角度来看，， ，，，，Mano实现了高效的频谱正则化效果 。。。。。与Muon通过白化操作拉平频谱漫衍差别，， ，，，，Mano的流形归一化能够在提升更新频谱中有数偏向的相对幅度的同时，， ，，，，坚持奇异值的原始顺序信息 。。。。。这种设计阻止了丧失主要的频谱结构信息，， ，，，，从理论角度诠释了Mano的优异性能 。。。。。
在现实的盘算效率测试中，， ，，，，Mano的优势越发显着 。。。。。研究团队丈量了差别模子规模下Newton-Schulz迭代和Mano流形归一化操作的现实运行时间 。。。。。效果显示，， ，，，，Mano的盘算时间随模子维度线性增添，， ，，，，而Muon的盘算时间呈指数增添 。。。。。在LLaMA-70B模子上，， ，，，，Mano的注重力层归一化仅需2.19毫秒，， ，，，，而Muon需要110.79毫秒，， ，，，，速率提升凌驾50倍 。。。。。
三、深度剖析：为什么Mano云云有用
要明确Mano优化器为什么云云有用，， ，，，，我们需要从梯度优化的实质谈起 。。。。。在大模子训练中，， ，，，，梯度信息就像是指路的罗盘，， ，，，，告诉我们应该朝哪个偏向调解参数来改善模子性能 。。。。。但现实中的这个"罗盘"往往会受到种种滋扰，， ，，，，导致指向不敷准确或稳固 。。。。。
AdamW优化器的问题在于它只关注每个参数的个体行为，， ，，，，就像是给每个参数都配备了自力的小罗盘 。。。。。虽然这种要领简朴直接，， ，，，，但它忽略了参数之间的相互关系和整体结构 。。。。。这导致优化历程可能会陷入次优解，， ，，，，特殊是在重大的高维参数空间中 。。。。。
Muon优化器试图通过全局的频谱归一化来解决这个问题，， ，，，，这相当于使用一个超等罗盘来统一指导所有参数的更新 。。。。。虽然这种要领能够确保各个偏向上的更新幅度坚持一致，， ，，，，但在匀称化处置惩罚的历程中，， ，，，，它丧失了梯度中包括的主要曲率信息，， ，，，，这些信息关于找到真正的最优解至关主要 。。。。。
Mano优化器的巧妙之处在于它找到了一个平衡点 。。。。。通过将动量投影到参数的切空间，， ，，，，并在旋转斜流形上对其举行约束，， ，，，，Mano既保存了梯度的原始结构信息，， ，，，，又获得了优异的几何性子 。。。。。这就像是使用一个既能坚持准确度又能顺应地形转变的智能导航系统 。。。。。
旋转流形的设计特殊值得赞美 。。。。。古板的流形优化要领往往假设保存一个牢靠的最优流形，， ，，，，但在现实的深度学习中，， ，，，，这种假设往往不建设 。。。。。Mano通过在列向归一化和行向归一化之间交替切换，， ，，，，创立了一个动态的几何结构，， ，，，，能够更好地顺应差别阶段的优化需求 。。。。。
研究团队还举行了详细的收敛性剖析 。。。。。他们证实晰在简化设置下（无动量，， ，，，，静态斜流形），， ，，，，Mano具有理论上的收敛包管 。。。。。详细而言，， ，，，，在L平滑函数和一定的角度约束条件下，， ，，，，Mano能够以O(1/√T)的速率收敛，， ，，，，这与许多经典优化算法的收敛速率相当 。。。。。
从几何直觉上明确，， ，，，，Mano之以是能够更好地逃离局部最优解，， ，，，，是由于它的更新办法自然具有"跳出陷阱"的性子 。。。。。通过在切空间上的投影和流形约束，， ，，，，每次更新都会爆发一个具有优异几何性子的偏向，， ，，，，这种偏向更容易避开参数空间中的"陷阱区域" 。。。。。
四、实践指南：Mano的使用与安排
关于想要使用Mano优化器的研究者和工程师来说，， ，，，，相识着实际安排细节至关主要 。。。。。Mano的实现相对精练，， ，，，，这使得它能够轻松集成到现有的深度学习框架中 。。。。。
在超参数设置方面，， ，，，，Mano继续了许多经典优化器的精练性 。。。。。它只需要设置学习率、动量系数和权重衰减三个焦点超参数，， ，，，，不需要像AdamW那样调解两个差别的动量系数 。。。。。研究团队建议将动量系数设为0.95，， ，，，，这与Muon的设置坚持一致，， ，，，，便于公正较量 。。。。。
学习率的设置遵照了与AdamW相似的原则 。。。。。为了确保差别优化器在相似的有用步长下事情，， ，，，，研究团队接纳了Liu等人提出的更新均方根控制战略，， ，，，，将所有优化器的参数更新幅度都约束在0.2到0.4的规模内 。。。。。这种战略确保了实验较量的公正性，， ，，，，同时也为现实使用提供了参考基准 。。。。。
在内存治理方面，， ，，，，Mano的优势很是显着 。。。。。它只需要存储一个动量缓冲区，， ，，，，内存开销与SGD动量法相当，， ，，，，仅为AdamW的一半 。。。。。这关于训练大型模子特殊主要，， ，，，，由于内存往往是限制因素之一 。。。。。
实现细节上，， ，，，，Mano的焦点操作包括两个归一化办法和一个切空间投影 。。。。。这些操作都可以用现代深度学习框架的基本算子高效实现，， ，，，，不需要重大的矩阵剖析或特殊的数值算法 。。。。。详细而言，， ，，，，列向归一化使用逐列的L2范数归一化，， ，，，，行向归一化使用逐行的L2范数归一化，， ，，，，切空间投影通过简朴的内积和减法操作完成 。。。。。
在处置惩罚差别维度的参数时，， ，，，，Mano展现出了优异的顺应性 。。。。。关于二维的权重矩阵，， ，，，，它凭证既定的旋转计划举行归一化；；；；；；关于一维的偏置参数，， ，，，，研究团队建议继续使用AdamW举行优化，， ，，，，这与Muon的做法坚持一致 。。。。。这种混淆战略充分使用了差别优化器在差别类型参数上的优势 。。。。。
研究团队还提供了一个通用的高维张量版本，， ，，，，能够处置惩罚恣意维度的参数 。。。。。在这个版本中，， ，，，，旋转计划会循环遍历张量的各个维度，， ，，，，确保每个维度都能获得适当的归一化处置惩罚 。。。。。这种设计使得Mano能够应用于更普遍的深度学习架构 。。。。。
五、比照剖析：Mano与现有要领的周全较量
将Mano与现有的优化要领举行周全较量，， ，，，，我们可以更清晰地看到它的奇异价值和适用场景 。。。。。
与AdamW相比，， ，，，，Mano的最大优势在于对参数空间几何结构的显式建模 。。。。。AdamW基于对角近似的自顺应学习率虽然简朴有用，， ，，，，但这种对角假设在高维参数空间中往往过于简化 。。。。。特殊是在处置惩罚具有强相关性的参数时，， ，，，，AdamW可能会忽略主要的结构信息 。。。。。Mano通过流形约束和切空间投影，， ，，，，能够更好地捕获和使用这些结构信息 。。。。。
在内存效率方面，， ，，，，Mano相关于AdamW有显著优势 。。。。。AdamW需要维护梯度的一阶和二阶动量预计，， ，，，，内存开销是参数目的两倍 。。。。。而Mano只需要一个动量缓冲区，， ，，，，内存开销与参数目相当 。。。。。这种差别在训练大型模子时尤为主要，， ，，，，由于内存限制往往决议了能够训练的模子规模上限 。。。。。
与Muon的较量越发玄妙 。。。。。两者都试图解决AdamW忽略参数间结构关系的问题，， ，，，，但接纳了差别的手艺蹊径 。。。。。Muon通过Newton-Schulz迭代实现矩阵正交化，， ，，，，确保了各个频谱偏向上的匀称探索 。。。。。这种要领在理论上很优雅，， ，，，，但盘算本钱较高，， ，，，，特殊是关于大型矩阵 。。。。。
Mano接纳的流形约束要领在盘算上越发高效，， ，，，，同时能够保存更多的梯度结构信息 。。。。。实验效果批注，， ，，，，这种保存关于最终的优化性能是有益的 。。。。。特殊是在训练后期，， ，，，，当Muon和AdamW的损失曲线趋于平缓时，， ，，，，Mano仍然能够坚持稳固的下降趋势 。。。。。
从收敛速率的角度来看，， ，，，，差别优化器体现出了差别的特征 。。。。。AdamW在训练初期通常能够实现快速的初始收敛，， ，，，，这得益于其自顺应学习率机制 。。。。。Muon在中期体现精彩，， ，，，，其频谱归一化能够有用阻止某些局部最优解 。。。。。而Mano的优势主要体现在训练的后期，， ，，，，它能够一连向全局最优解迫近，， ，，，，阻止早期阻止 。。。。。
在数值稳固性方面，， ，，，，Mano体现出了优异的鲁棒性 。。。。。通太过析训练历程中的梯度统计量，， ，，，，研究团队发明Mano能够维持更低的梯度方差和更高的信噪比 。。。。。这批注Mano的优化轨迹越发稳固，， ，，，，禁止易受到随机噪声的滋扰 。。。。。
研究团队还举行了消融实验来验证Mano各个组件的孝顺 。。。。。效果显示，， ，，，，旋转流形计划关于大型模子的性能至关主要 。。。。。在静态流形设置下，， ，，，，Mano在小模子上体现尚可，， ，，，，但在大模子上性能显着下降 。。。。。这证实了动态几何结构关于重大优化问题的主要性 。。。。。
说究竟，， ，，，，选择合适的优化器就像选择合适的交通工具——没有绝对的最优选择，， ，，，，只有最适合特定场景的选择 。。。。。关于盘算资源富足、更看重训练稳固性和最终性能的场景，， ，，，，Mano是一个很好的选择 。。。。。关于盘算资源受限、更关注训练初期快速收敛的场景，， ，，，，AdamW可能更合适 。。。。。而关于介于两者之间的场景，， ，，，，Muon提供了一个平衡的选项 。。。。。
这项研究最主要的孝顺在于重新引发了研究社区对流形优化要领的兴趣 。。。。。恒久以来，， ，，，，由于在大规模深度学习中的体现不佳，， ，，，，流形优化被视为一个理论有趣但适用性有限的偏向 。。。。。Mano的乐成证实，， ，，，，通过适当的刷新和立异，， ，，，，经典的数学要领仍然可以在现代机械学习中施展主要作用 。。。。。
这种"温故知新"的研究思绪为未来的优化器设计提供了新的启发 。。。。。与其一味追求重大的新手艺，， ，，，，有时间重新审阅和刷新经典要领可能会带来意想不到的突破 。。。。。正如这项研究所展示的，， ，，，，数学理论的深度与工程实践的智慧相团结，， ，，，，往往能够爆发既优雅又适用的解决计划 。。。。。
Q&A
Q1：Mano优化器的焦点立异是什么？？？？？？？？
A：Mano优化器的焦点立异在于重新设计了流形优化要领，， ，，，，通过将动量投影到参数的切空间并在旋转斜流形上举行约束，， ，，，，既保存了梯度的结构信息又获得了优异的几何性子 。。。。。它接纳交替的列行归一化战略，， ，，，，在奇数轮按列归一化，， ，，，，偶数轮按行归一化，， ，，，，阻止了古板流形要领的局限性 。。。。。
Q2：Mano相比现有优化器有什么现实优势？？？？？？？？
A：Mano在多个方面逾越现有优化器：内存消耗仅为AdamW的一半，， ，，，，盘算重漂后远低于Muon，， ，，，，同时在训练后期能坚持一连的收敛速率 。。。。。实验显示，， ，，，，Mano在LLaMA-350M模子上比Muon快1.75倍，， ，，，，在LLaMA-1.3B上快1.38倍，， ，，，，且最终模子性能更优 。。。。。
Q3：通俗研究者能轻松使用Mano吗？？？？？？？？
A：是的，， ，，，，Mano的实现相对北京国信金融效劳有限公司精练，， ，，，，只需要设置学习率、动量系数和权重衰减三个超参数，， ，，，，比AdamW更简朴 。。。。。它可以轻松集成到现有的深度学习框架中，， ，，，，焦点操作只包括两个归一化办法和一个切空间投影，， ，，，，都能用标准算子高效实现 。。。。。