香港科技大学提出LET训练范式：让小模子当"先生"

2026-03-02 07:19:40

这项由香港科技大学（广州）和字节跳动种子实验室团结完成的研究揭晓于2026年2月，，，，，，，，论文编号为arXiv:2602.05393v1。。。。。有兴趣深入相识的读者可以通过这个编号盘问完整论文。。。。。

当我们看到一个孩子学骑自行车时，，，，，，，，通常�；；；；嵯氲秸乙桓鲆丫崞锍档娜死唇趟！！�。。但若是告诉你，，，，，，，，有时间让一个刚学会骑三轮车的小朋侪来"指导"一个成年人学骑自行车，，，，，，，，反而能让成年人学得更快更好，，，，，，，，你会不会以为难以想象？？？？？？？？

在人工智能的天下里，，，，，，，，类似的巧妙征象正在爆发。。。。。研究职员发明了一个倾覆常理的训练要领：让参数只有1亿多的"小学生"模子去指导拥有70亿参数的"博士生"模子学习，，，，，，，，效果不但让大模子学得更快，，，，，，，，效果还更好。。。。。这就是本项研究提出的Late-to-Early Training（LET）训练范式，，，，，，，，它像是在AI训练的天下里发明了一条神奇的"捷径"。。。。。

古板的AI训练就像是让学生从零最先自学所有知识，，，，，，，，不但耗时漫长，，，，，，，，还需要消耗大宗盘算资源。。。。。以训练一个120亿参数的语言模子为例，，，，，，，，约莫需要72000个GPU小时，，，，，，，，相当于用一块顶级显卡一连跑8年。。。。。面临云云重大的训练本钱，，，，，，，，研究团队最先思索：既然社区里已经有这么多训练好的小模子，，，，，，，，能否借助它们来加速大模子的训练历程呢？？？？？？？？

谜底是一定的，，，，，，，，并且效果凌驾了所有人的预期。。。。。研究团队在实验中发明，，，，，，，，当使用一个仅有1.35亿参数的小模子来指导一个14亿参数的大模子时，，，，，，，，不但逊з度提升了1.6倍，，，，，，，，在各项下游使命上的准确率还提高了近5%。。。。。更令人惊讶的是，，，，，，，，纵然小模子比大模子小10倍，，，，，，，，这种指导效果依然显著。。。。。

一、古板训练要领的逆境与机缘

在深入相识LET要领之前，，，，，，，，我们需要先明确现在AI训练面临的挑战。。。。。目今的大语言模子训练就像是制作一座摩天大楼，，，，，，，，需要从地基最先一砖一瓦地堆砌，，，，，，，，每一层都需要全心设计和大宗时间。。。。。以GPT-4这样的模子为例，，，，，，，，其训练不但需要海量的数据，，，，，，，，还需要成千上万张GPU卡一连事情数月。。。。。

古板的知识蒸馏要领虽然能够让小模子从大模子那里学习知识，，，，，，，，但保存一个根天性问题：需要依赖一个更大、更强的"先生"模子。。。。。这就像是要找一个博士来教本科生，，，，，，，，虽然效果不错，，，，，，，，但本钱极高，，，，，，，，并且学生很难逾越先生。。。。。更要害的是，，，，，，，，领先生模子自己就很大时，，，，，，，，整个训练历程的内存和盘算开销会成倍增添。。。。。

另一方面，，，，，，，，随着开源文化在AI社区的蓬勃生长，，，，，，，，我们看到了亘古未有的机缘。。。。。种种规模的预训练模子如雨后春笋般涌现，，，，，，，，从几百万参数的轻量级模子到数十亿参数的重量级选手，，，，，，，，形成了一个富厚的"模子生态系统"。。。。。这些模子就像是图书馆里的州参考书，，，，，，，，每一本都承载着大宗的训练本钱和知识积累。。。。。

研究团队意识到，，，，，，，，与其让每个新模子都重新最先学习，，，，，，，，不如想步伐充分使用这些已有的"知识财产"。。。。。要害问题是：怎样让一个相对较小的预训练模子有用指导一个更大的目的模子的学习历程？？？？？？？？这个问题的谜底，，，，，，，，就藏在LET要领的焦点设计理念中。。。。。

二、LET要领的焦点立异

LET要领的精髓可以用一个生动的比喻来明确：这就像是让一个有富厚实战履历的老工匠（小预训练模子）在一个先天异禀的年轻学徒（大目的模子）学习的早期阶段给予指导。。。。。老工匠虽然实力不如年轻人，，，，，，，，但他的履历和技巧能够资助学徒在要害的基础阶段建设准确的"肌肉影象"。。。。。

LET要领包括两个焦点机制，，，，，，，，研究团队将其称为"Late-to-Early-Step Learning"（晚期到早期办法学习）和"Late-to-Early-Layer Learning"（晚期到早期层学习）。。。。。

晚期到早期办法学习的思绪是：在大模子训练的初期阶段，，，，，，，，让已经训练完成的小模子充当"导师"角色。。。。。这个阶段就像是学生刚入学时最需要先生指导的要害时期。。。。。随着训练的举行，，，，，，，，大模子的能力逐渐增强，，，，，，，，对小模子的依赖水平会逐步降低，，，，，，，，最终完全自力学习。。。。。这个历程通过一个巧妙的权重衰减机制来控制，，，，，，，，确保指导的强度会随着训练步数的增添而平滑镌汰。。。。。

晚期到早期层学习则越发精妙。。。。。研究团队发明，，，，，，，，让小模子的"最终层"（代表其学到的最成熟知识）去指导大模子的"早期层"（认真基础特征提取！！�。。┬Ч罴选！！�。。这就像是让一个履历富厚的师傅教授学徒最基本的行动要领，，，，，，，，而不是试图教授重大的高级技巧。。。。。大模子的后续层会自然地学会如那里置和完善这些基础特征。。。。。

详细的训练历程可以这样明确：当大模子处置惩罚一段文本时，，，，，，，，研究团队会同时让小模子也处置惩罚同样的文本。。。。。然后，，，，，，，，他们会较量小模子最终层的输出和大模子第三层的输出，，，，，，，，盘算两者之间的相似度，，，，，，，，并将这个相似度作为一个特另外学习目的。。。。。这个历程就像是让学徒在训练基本功时，，，，，，，，时刻比照师傅的标准行动，，，，，，，，确保自己的姿势准确。。。。。

为了处置惩罚小模子和大模子之间可能保存的维度差别，，，，，，，，研究团队还设计了一个巧妙的"维度对齐"机制。。。。。当两个模子的内部体现维度差别时，，，，，，，，系统会自动举行线性插值，，，，，，，，就像是在两种差别语言之间建设翻译桥梁。。。。。

三、实验验证与令人瞩目的效果

为了验证LET要领的有用性，，，，，，，，研究团队举行了大规模的实验验证。。。。。他们选择了The Pile数据集作为训练语料，，，，，，，，这是一个包括约825GB英文文本的高质量数据集，，，，，，，，涵盖了22个差别泉源的多样化内容。。。。。实验使用了基于LLaMA架构的模子，，，，，，，，划分在1.4B、3B和7B参数规模上举行测试。。。。。

实验设置就像是全心设计的比照实验。。。。。研究团队使用了多种差别的小模子作为"导师"，，，，，，，，包括OPT家族、Pythia家族和SmolLM家族的模子。。。。。这些小模子的参数规模通常在125M到1.7B之间，，，，，，，，相比目的模子要小得多。。。。。所有实验都在32张NVIDIA A100 80GB GPU上举行，，，，，，，，确保了实验的一致性和可重复性。。。。。

实验效果令人印象深刻。。。。。在1.4B参数模子的训练中，，，，，，，，LET要领实现了1.6倍的训练加速，，，，，，，，同时在九项下游使命的平均准确率上提升了4.68%。。。。。更令人惊讶的是，，，，，，，，纵然使用参数规模仅为目的模子十分之一的小模子作为导师，，，，，，，，LET仍能取得显著的性能提升。。。。。

在7B参数模子的实验中，，，，，，，，LET同样体现精彩，，，，，，，，实现了1.56倍的训练加速和5.13%的性能提升。。。。。这些提升不是在某个特定使命上的无意体现，，，，，，，，而是在包括知识推理、阅读明确、科学问答等多个领域的一致性刷新。。。。。

特殊值得注重的是，，，，，，，，LET不但在最终性能上逾越了古板训练要领，，，，，，，，还在训练历程中始终坚持领先。。。。。实验效果显示，，，，，，，，LET训练的模子仅用67%的训练步数就能抵达古板要领的最终性能。。。。。这意味着在资源有限的情形下，，，，，，，，LET能让研究者用更少的时间和盘算资源获得更好的模子。。。。。

研究团队还测试了差别层对齐战略的效果。。。。。他们实验了六种差别的组合：让小模子的最后一层划分对齐大模子的早期、中期、后期层，，，，，，，，以及让小模子的中心层对齐大模子的差别层。。。。。效果明确显示，，，，，，，，"Late-to-Early"（晚期到早期）的对齐战略效果最佳，，，，，，，，验证了研究团队的焦点假设。。。。。

四、深入剖析与理论洞察

为了更深入明确LET为何云云有用，，，，，，，，研究团队举行了详细的消融实验和理论剖析。。。。。他们发明，，，，，，，，LET的乐成并非无意，，，，，，，，而是基于深层的数学和认知原理。。。。。

从数学角度来看，，，，，，，，LET通过在训练早期引入特另外约束条件，，，，，，，，有用地规范了大模子的学习轨迹。。。。。这就像是给一个初学者提供了准确的起始姿势，，，，，，，，让后续的学习历程越发顺畅。。。。。研究团队通过Hessian矩阵剖析发明，，，，，，，，LET训练爆发的损失函数曲面越发平滑，，，，，，，，这意味着优化历程越发稳固，，，，，，，，禁止易陷入局部最优解。。。。。

从认知科学的角度来看，，，，，，，，LET体现了"渐进式学习"的主要性。。。。。人类学习重大手艺时，，，，，，，，往往需要在基础阶段获得充分的指导，，，，，，，，然后逐步生长自力思索能力。。。。。LET通过在训练初期提供结构化的指导，，，，，，，，资助大模子建设了优异的"认知基础"，，，，，，，，为后续的自主学习涤讪了坚实基础。。。。。

研究团队还发明了一个有趣的征象：随着训练的举行，，，，，，，，大模子与小模子之间的体现相似度会逐步增添，，，，，，，，但这种相似度的增添是有限的。。。。。这批注大模子在学习小模子履历的同时，，，，，，，，也在生长自己奇异的体现能力。。。。。这种"师承而不泥古"的学习模式正是LET乐成的要害所在。。。。。

超参数λ的选择对LET的效果至关主要。。。。。研究团队通过系统性实验发明，，，，，，，，λ=0.1是一个险些在所有场景下都体现优异的选择。。。。。过大的λ值会让大模子太过依赖小模子，，，，，，，，限制其自主学习能力；；；；；过小的λ值则无法提供足够的指导。。。。。λ=0.1恰幸亏两者之间找到了平衡点。。。。。

五、要领的普遍适用性与现实价值

LET要领的价值不但体现在理论立异上，，，，，，，，更主要的是其强盛的适用性和普遍的适用性。。。。。研究团队验证了LET在多种差别场景下的有用性，，，，，，，，证实这不是一个仅在特定条件下有用的技巧，，，，，，，，而是一个具有普遍意义的训练范式。。。。。

在跨域泛化能力测试中，，，，，，，，研究团队将LET应用到时间序列分类使命上。。。。。他们使用Qwen-0.5B作为目的模子，，，，，，，，TimesNet作为指导模子，，，，，，，，在包括酒精浓度检测、人脸识别、心跳剖析等十个差别的时间序列数据集上举行测试。。。。。效果显示，，，，，，，，LET在所有数据集上都取得了显著的性能提升，，，，，，，，提升幅度从2.9%到11.8%不等。。。。。这证实晰LET不但适用于自然语言处置惩罚，，，，，，，，还能推广到其他领域。。。。。

在差别词汇表的兼容性测试中，，，，，，，，研究团队验证了LET纵然在小模子和大模子使用差别分词器的情形下仍能有用事情。。。。。这种"跨语言"的兼容性进一步扩大了LET的应用规模，，，，，，，，让研究者能够无邪选择差别泉源的小模子作为指导。。。。。

研究团队还比照了LET与其他加速训练要领的效果。。。。。相比于古板的反向知识蒸馏（RKD）和SALT要领，，，，，，，，LET在坚持相似盘算开销的同时，，，，，，，，取得了更好的性能提升。。。。。特殊是在西席模子显著小于学生模子的情形下，，，，，，，，RKD往往体现不佳，，，，，，，，而LET依然能够稳固地改善训练效果。。。。。

从资源效率的角度来看，，，，，，，，LET的优势越发显着。。。。。虽然LET在训练历程中需要同时运行小模子和大模子，，，，，，，，但由于小模子的规模很小！！�。。�，，，，，特另外盘算开销现实上很有限。。。。。实验数据显示，，，，，，，，LET的吞吐量仅比基线要领降低约1.5%，，，，，，，，但训练收敛速率提升了1.6倍，，，，，，，，这意味着现实的训练时间大幅缩短。。。。。

更主要的是，，，，，，，，LET为AI社区的资源使用开发了新的可能性。。。。。现在，，，，，，，，许多训练好的小模子在训练完新模子时往往被闲置，，，，，，，，造成了重大的资源铺张。。。。。LET让这些"退役"的模子能够继续施展价值，，，，，，，，为新模子的训练孝顺实力，，，，，，，，这种"资源循环使用"的理念对整个AI生态系统都具有主要意义。。。。。

六、手艺细节与实现要点

LET要领虽然看法简朴，，，，，，，，但在现实实现中涉及许多精巧的手艺细节。。。。。明确这些细节不但有助于复现研究效果，，，，，，，，也能为未来的刷新提供偏向。。。。。

在体现对齐的详细实现中，，，，，，，，研究团队接纳了余弦相似度作为权衡标准。。。。。这个选择并非随意，，，，，，，，而是经由深图远虑的。。。。。余弦相似度关注的是向量的偏向而非幅度，，，，，，，，这意味着纵然小模子和大模子的体现强度差别，，，，，，，，只要偏向相似就能爆发正向的学习信号。。。。。这种设计让LET对模子规模的差别越发鲁棒。。。。。

关于维度不匹配的问题，，，，，，，，研究团队设计了一个线性插值机制。。。。。当小模子的体现维度与大模子差别时，，，，，，，，系统会通过插值将其调解到相同维度。。。。。这个历程就像是在两种差别区分率的图像之间举行转换，，，，，，，，既坚持了原有信息的焦点特征，，，，，，，，又确保了两者能够举行有用较量。。。。。

权重衰减战略的设计也体现了研究团队的巧思。。。。。λ的衰减不是突然阻止，，，，，，，，而是线性递减至零。。。。。这种"软着陆"的方法确保了从指导学习到自主学习的平滑过渡，，，，，，，，阻止了训练历程中的突然扰动。。。。。详细来说，，，，，，，，λ在前1500个训练步内从初始值线性衰减到零，，，，，，，，这个步数约莫对应4B个训练token，，，，，，，，占总训练量的20%。。。。。

在层选择战略上，，，，，，，，研究团队经由大宗实验确定第三层是最佳的对齐目的。。。。。第一层主要处置惩罚词嵌入信息，，，，，，，，过于底层；；；；；更深的层则可能已经包括了过多的使命特定信息。。。。。第三层恰利益于这两者之间，，，，，，，，既包括了富厚的语义信息，，，，，，，，又坚持了足够的通用性。。。。。

研究团队还探索了其他对齐损失函数的可能性。。。。。除了余弦相似度，，，，，，，，他们还测试了LogSum损失和典范相关剖析（CCA）。。。。。实验效果显示，，，，，，，，LogSum损失在某些情形下能取得比余弦相似度更好的效果，，，，，，，，这为未来的刷新提供了新的偏向。。。。。

七、局限性与未来生长偏向

只管LET要领取得了令人瞩目的效果，，，，，，，，但研究团队对其局限性坚持着苏醒的熟悉。。。。。这种科学严谨的态度不但体现了研究的质量，，，，，，，，也为未来的刷新指明晰偏向。。。。。

首先，，，，，，，，LET的效果很洪流平上依赖于小模子的质量。。。。。当研究团队实验使用GPT-2作为指导模子时，，，，，，，，LET的性能提升显着削弱，，，，，，，，甚至在某些情形下不如基线要领。。。。。这批注并非所有的小模子都适相助为"导师"，，，，，，，，模子的训练质量和数据泉源会显著影响LET的效果。。。。。这就像是选择导师时需要思量其专业水平，，，，，，，，一个知识陈腐或训练缺乏的导师可能无法提供有用指导。。。。。

其次，，，，，，，，现在的实验主要集中在相对较小的模子规模上，，，，，，，，最大的实验模子为7B参数。。。。。虽然这已经笼罩了许多现实应用场景，，，，，，，，但关于动辄数千亿参数的超大规模模子，，，，，，，，LET的效果还需要进一步验证。。。。。随着模子规模的增添，，，，，，，，盘算资源的限制可能会成为制约因素。。。。。

在吞吐量方面，，，，，，，，LET确实会带来一定的盘算开销。。。。。虽然这个开销相对较小！！�。。ㄔ�1.5%的吞吐量降低），，，，，，，，但在大规模安排时仍需要思量本钱效益比。。。。。特殊是当训练资源主要时，，，，，，，，这个特殊开销可能会成为接纳LET的障碍。。。。。

研究团队也注重到，，，，，，，，LET在训练的早期阶段施展主要作用，，，，，，，，随着训练的举行，，，，，，，，其边际效应会逐步降低。。。。。这意味着LET更适相助为训练初期的"助推器"，，，，，，，，而不是整个训练历程的一连优化手段。。。。。

展望未来，，，，，，，，研究团队以为有几个值得深入探索的偏向。。。。。首先是自动化的导师模子选择机制。。。。。现在选择哪个小模子作为导师主要依赖履历和试验，，，，，，，，若是能开发出自动评估和选择最佳导师模子的算法，，，，，，，，将大大提高LET的适用性。。。。。

其次是动态对齐战略的研究。。。。。现在LET使用牢靠的层对齐战略，，，，，，，，可是否可以凭证训练进度动态调解对齐的层数和强度？？？？？？？？这种自顺应的要领可能会带来更好的效果。。。。。

最后，，，，，，，，将LET的理念扩展到其他学习范式也是一个有趣的偏向。。。。。好比在强化学习、联邦学习等场景中，，，，，，，，是否也能应用类似的"以小带大"头脑？？？？？？？？这些都是值得未来研究的主要问题。。。。。

说究竟，，，，，，，，LET要领的乐成不但在于其手艺立异，，，，，，，，更在于它体现的资源高效使用理念。。。。。在AI训练成今日益高昂的今天，，，，，，，，LET为我们提供了一种全新的思绪：充分使用已有的智力资产，，，，，，，，通过巧妙的要领设计实现以小搏大的效果。。。。。这种头脑对整个AI社区都具有启发意义，，，，，，，，它告诉我们，，，，，，，，有时间立异纷歧定需要更多的资源，，，，，，，，而是需要更智慧的要领。。。。。

对通俗人而言，，，，，，，，这项研究的意义在于它降低了AI手艺的门槛。。。。。古板的大模子训练需要巨额投入，，，，，，，，只有少数科技巨头能够肩负。。。。。LET要领的泛起让更多的研究机构和企业有可能用更少的资源训练出更好的模子，，，，，，，，这将增进AI手艺的民主化和普及。。。。。归根结底，，，，，，，，这种手艺前进最终会惠及每一个使用AI产品和效劳的通俗人，，，，，，，，让我们能够享受到更好、更自制的AI应用。。。。。

若有兴趣深入相识这项研究的手艺细节，，，，，，，，读者可以通过论文编号arXiv:2602.05393v1盘问完整的学术论文。。。。。这项事情为AI训练领域开发了一个全新的研究偏向，，，，，，，，信托会引发更多富有创意的后续研究。。。。。

Q&A

Q1：LET训练要领详细是怎么让小模子指导大模子学习的？？？？？？？？

A：LET要领让已经训练好的小模子（好比1.35亿参数）在大模子（好比14亿参数）训练初期充当"导师"角色。。。。。详细做法是让小模子的最终层输出去指导大模子的第三层，，，，，，，，通过盘算两者体现的相似度作为特殊学习目的，，，，，，，，就像让履历富厚的师傅指导学徒训练基本功。。。。。随着训练举行，，，，，，，，这种指导会逐步削弱，，，，，，，，最终大模子完全自力学习。。。。。

Q2：使用LET要领训练大模子能带来多大的性能提升？？？？？？？？

A：实验效果显示，，，，，，，，LET要领能带来显著的双重提升：逊з度提升1.6倍，，，，，，，，同时在各项使命上的准确率提高约5%。。。。。更令人惊讶的是，，，，，，，，纵然用比目的模子小10倍的模子作为指导，，，，，，，，仍能获得显着效果。。。。。这意味着用更少的时间和资源就能训练出更好的模子。。。。。

Q3：LET要领适用于哪些类型的AI模子训练？？？？？？？？

A：LET要领具有很强的通用浙江钱潮数字科技有限公司性，，，，，，，，不但适用于自然语言处置惩罚模子，，，，，，，，还乐成应用到了时间序列分类等其他领域。。。。。研究显示它能兼容差别架构的模子，，，，，，，，甚至在使用差别词汇表的模子之间也能有用事情。。。。。现在已在1.4B到7B参数规模的模子上获得验证，，，，，，，，为更多AI应用场景提供了加速训练的可能。。。。。

PT视讯(中国区)官网