PT视讯(中国区)官网

您目今位置:首页 > 新闻中心 > 新要闻

MIT携手英伟达开发TLT手艺，，，，，，，，推理大模子训练效率最高提速210%

2026-03-01 14:14:52

IT之家 2 月 28 日消海南南海渔业生长有限公司息，，，，，，，，MIT News 于 2 月 26 日宣布博文，，，，，，，，报道称麻省理工学院（MIT）团结英伟达等机构，，，，，，，，宣布“驯服长尾”（TLT）手艺，，，，，，，，可以大幅提升推理大语言模子（LLM）的训练效率。。。。。。

IT之家援引博文先容，，，，，，，，推理大模子善于通过拆解办法来解决重大问题，，，，，，，，但在强化学习（RL）的训练历程中，，，，，，，，算力与能耗的消耗极为重大。。。。。。

研究团队发明，，，，，，，，天生多个备选谜底的“推演”（rollout）阶段占有了高达 85% 的训练时间。。。。。。由于差别处置惩罚器天生回覆的长度纷歧，，，，，，，，完成较快的处置惩罚器只能被迫闲置，，，，，，，，期待其他处置惩罚器完生长文本使命，，，，，，，，从而形成了严重的效率瓶颈。。。。。。

MIT 研究职员为解决该痛点，，，，，，，，团结英伟达、苏黎世联邦理工学院等机构，，，，，，，，提出了一种名为“驯服长尾（TLT）”的自顺应解决计划。。。。。。

该计划的焦点在于立异性地运用“投契解码”手艺，，，，，，，，即训练一个较小的“底稿模子”（drafter）来快速展望大模子的未来输出，，，，，，，，随后由大模子批量验证这些推测。。。。。。这样一来，，，，，，，，大模子无需逐个顺序天生输出，，，，，，，，从而大幅加速了处置惩罚历程。。。。。。

在古板的投契解码中，，，，，，，，底稿模子通常只训练一次并坚持静态。。。。。。然而在强化学习中，，，，，，，，主模子需要更新数千次，，，，，，，，静态底稿模子会迅速失效。。。。。。

因此，，，，，，，，TLT 系统引入了“自顺应底稿训练器”。。。。。。一旦部分处置惩罚器完成短盘问进入闲置状态，，，，，，，，系统会连忙调理它们实时训练底稿模子。。。。。。

同时，，，，，，，，“自顺应推演引擎”会凭证事情负载特征自动调解解码战略，，，，，，，，确保底稿模子始终与目的大模子坚持高度同步，，，，，，，，且不增添特殊算力开销。。。。。。

基于真实天下数据集的测试批注，，，，，，，，TLT 手艺在坚持模子准确率完全无损的情形下，，，，，，，，将多个推理大语言模子的逊з度提升了 70% 到 210%。。。。。。

不但云云，，，，，，，，训练获得的轻量级底稿模子还可以作为免费的副产品，，，，，，，，直接用于后期的高效安排。。。。。。研究团队未来妄想将该手艺融入更多训练与推理框架中，，，，，，，，进一步降低 AI 开发本钱并提升能源使用率。。。。。。

参考

海南南海渔业生长有限公司

【网站地图】【sitemap】