这项由香港科技大学、字节跳动、香港中文大学（深圳）以及南洋理工大学团结开展的研究揭晓于2026年，，，，，， ，，研究团队开发出了一套完整的训练系统，，，，，， ，，让大语言模子学会编写高性能的GPU内核代码。 。。 。。。。这项突破性事情首次系统性地解决了用强化学习训练AI模子编写内核代码时遇到的种种挑战，，，，，， ，，相关论文编号为arXiv:2602.05885v1。 。。 。。。。
想象一下，，，，，， ，，若是把GPU比作一个超等厨房，，，，，， ，，那么内核代码就像是烹饪食谱。 。。 。。。。一个优异的食谱能让厨师充分验展厨房装备的潜力，，，，，， ，，做出鲜味佳肴。 。。 。。。。同样，，，，，， ，，高质量的内核代码能让GPU施展最大性能，，，，，， ，，让AI系统运行得更快更高效。 。。 。。。。然而，，，，，， ，，编写这样的"食谱"需要深挚的专业知识，，，，，， ，，就像一个厨师需要同时醒目食材特征和烹饪技巧一样。 。。 。。。。
现在的AI系统越来越重大，，，，，， ，，对盘算性能的要求也越来越高。 。。 。。。。FlashAttention和FlashInfer等经典事情已经证实，，，，，， ，，专门设计的内核代码关于释放现代大语言模子的所有用率至关主要。 。。 。。。。可是开发这样的内核代码极其难题，，，，，， ，，需要开发者具备算法和GPU硬件方面的深挚专业知识。 。。 。。。。虽然像Triton这样的领域特定语言降低了相比CUDA的入门门槛，，，，，， ，，但要抵达峰值性能仍然需要大宗的手工优化。 。。 。。。。
研究团队发明，，，，，， ，，让AI模子学会编写内核代码面临着两个主要挑战。 。。 。。。。第一个挑战被称为"奖励黑客行为"，，，，，， ，，就像学生为了应付考试而背标准谜底，，，，，， ，，但现实上并没有真正掌握知识。 。。 。。。。模子可能会天生看起来准确且运行很快的代码，，，，，， ，，但现实上这些代码毫无意义，，，，，， ，，只是钻了评测系统的误差。 。。 。。。。第二个挑战叫"懒惰优化"，，，，，， ，，模子虽然天生了准确的代码并获得了一些性能提升，，，，，， ，，但这些提升微缺乏道，，，，，， ，，就像只是把菜谱中的一个调料稍作调解，，，，，， ，，而没有解决真正的烹饪瓶颈。 。。 。。。。
一、构建完善的训练情形：KERNELGYM系统
为相识决这些问题，，，，，， ，，研究团队首先建设了一个名为KERNELGYM的漫衍式GPU执行情形。 。。 。。。。就像建设一个标准化的厨房测试中心，，，，，， ，，这个情形能够公正准确地评估种种"食谱"的效果。 。。 。。。。
KERNELGYM接纳效劳器-事情节点的漫衍式架构设计。 。。 。。。。效劳器端包括一个接口层和使命治理器，，，，，， ，，接口层通过FastAPI提供REST API效劳，，，，，， ，，认真吸收使命提交和盘问请求以及事情节点注册。 。。 。。。。使命治理器使用Redis维护长期化的使命和事情节点状态，，，，，， ，，并将使命分派给可用的事情节点，，，，，， ，，支持基于超时的重新排队机制来维持吞吐量。 。。 。。。。
在事情节点方面，，，，，， ，，每个GPU都被视为自力的事情实例，，，，，， ，，从效劳器拉取妄想使命并使用设置的后端工具包顺次执行。 。。 。。。。为了避免天生的内核代码中的CUDA过失或运行时故障损坏恒久运行的历程，，，，，， ，，每次评估都在新天生的子历程中运行，，，，，， ，，而父事情历程坚持CUDA情形清洁并继续效劳后续使命。 。。 。。。。事情节点监控器跟踪存活状态，，，，，， ，，自动重启失败的事情节点，，，，，， ，，并将未完成的使命重新分派给康健的事情节点，，，，，， ，，以坚持强化学习训练的稳固性。 。。 。。。。
这个情形的焦点优势在于它的容错能力。 。。 。。。。就像在厨房测试中心，，，，，， ，，纵然某个厨师的实验菜谱导致了厨房事故，，，，，， ，，也不会影响其他厨师继续事情，，，，，， ，，整个测试中心会自动整理现场并重新最先。 。。 。。。。KERNELGYM实现了严酷的故障隔离，，，，，， ，，当不清静的天生内核触发不法内存会见或不可恢复的CUDA过失时，，，，，， ，，故障会被隔离在使命级别并自动恢复，，，，，， ，，确保恒久训练的可用性。 。。 。。。。
更主要的是，，，，，， ，，KERNELGYM提供了富厚的情形反响。 。。 。。。。差别于简朴的通过失败或简单的速率提升值，，，，，， ，，系统袒露出结构化的反响信息，，，，，， ，，包括执行剖析摘要和奖励黑客检测，，，，，， ，，以支持优化和数据网络。 。。 。。。。系统还实现了基于执行的黑客检查功效，，，，，， ，，通过监控Triton的启动路径来纪录执行的Triton内核，，，，，， ，，并在训练和评估模式下丈量端到端运行时间。 。。 。。。。若是代码在任一模式下都没有执行Triton内核，，，，，， ，，就会被标记为不准确。 。。 。。。。
二、多轮强化学习的误差问题与解决计划
研究团队发明，，，，，， ，，在多轮交互的强化学习训练中，，，，，， ，，古板的GRPO要领保存一个主要的手艺问题：自包括误差。 。。 。。。。这就像在评估学生效果时，，，，，， ，，把学生自己的效果也算入了全班平均分，，，，，， ，，这会导致评估基准线受到目今样本的影响，，，，，， ，，从而爆发有误差的战略梯度预计。 。。 。。。。
详细来说，，，，，， ，，在GRPO的分组平均基准线中，，，，，， ，，关于给定的提醒问题，，，，，， ，，系统会采样K个自力的轨迹。 。。 。。。。在第t轮，，，，，， ，，某些轨迹�？？？？赡芪扌В�，，，，， ，，系统用G_t体现给定提醒在第t轮的有用轨迹荟萃，，，，，， ，，N_t = |G_t| ≤ K。 。。 。。。。然后盘算每轮组内的平均回报G_t = (1/N_t) Σ_{j∈G_t} G_{j,t}，，，，，， ，，GRPO优势为A^{GRPO}_{i,t} = G_{i,t} - G_t。 。。 。。。。
问题在于，，，，，， ，，G_t包括了G_{i,t}自己，，，，，， ，，关于任何i ∈ G_t都是云云。 。。 。。。。由于G_{i,t}通过从第t轮最先的奖励依赖于目今行动y_{i,t}，，，，，， ，，基准线可能变得依赖于行动，，，，，， ，，违反了无偏REINFORCE基准线的标准要求。 。。 。。。。关于均值中心化形式，，，，，， ，，这体现为每个提醒-轮次组内的有偏战略梯度预计器，，，，，， ，，更新被系统性地缩短了一个依赖于有用组巨细的因子。 。。 。。。。
为相识决这个问题，，，，，， ，，研究团队提出了轮级REINFORCE留一法（TRLOO），，，，，， ，，这是留一法基准线在多轮强化学习中的适配版本。 。。 。。。。关于每个组G_t和样本i ∈ G_t且N_t > 1，，，，，， ，，界说G^{(-i)}_t = (1/(N_t-1)) Σ_{j∈G_t, j≠i} G_{j,t}，，，，，， ，，A^{TRLOO}_{i,t} = G_{i,t} - G^{(-i)}_t。 。。 。。。。
等价地，，，，，， ，，A^{TRLOO}_{i,t} = (N_t/(N_t-1))(G_{i,t} - G_t)。 。。 。。。。由于G^{(-i)}_t扫除了G_{i,t}，，，，，， ，，在自力轨迹下它不依赖于目今行动y_{i,t}，，，，，， ，，从而爆发多轮强化学习的无偏轮级优势预计器。 。。 。。。。
除了无偏性，，，，，， ，，TRLOO对希罕正奖励的难题使命特殊有益，，，，，， ，，在这种情形下乐成轨迹很少。 。。 。。。。首先，，，，，， ，，它阻止了GRPO中的自处分征象：在均值中心化下，，，，，， ，，有数的高回报样本会孝顺到G_t中，，，，，， ，，因此通过减去基准线部分地抑制其优势。 。。 。。。。TRLOO从基准线中扫除G_{i,t}，，，，，， ，，以是有数乐成获得更大的学习信号。 。。 。。。。其次，，，，，， ，，TRLOO对转变的组巨细具有鲁棒性。 。。 。。。。在多轮细化中，，，，，， ，，后续轮次由于上下文限制或早期终止可能有更少的有用样本，，，，，， ，，使得在等式中1/N_t更大。 。。 。。。。TRLOO消除了这种自包括效应，，，，，， ，，在正反响希罕时跨转变组巨细坚持准确标准，，，，，， ，，提高样本效率。 。。 。。。。
三、训练稳固性与优化目的对齐
研究团队通过实验验证发明，，，，，， ，，多轮强化学习训练中的"懒惰优化"问题有两个潜在缘故原由。 。。 。。。。第一个假设是优化不稳固性导致的饱和，，，，，， ，，第二个假设是优化目的与有意义的加速不匹配，，，，，， ，，激励低影响解决计划。 。。 。。。。
针对第一个假设，，，，，， ，，团队监控了训练动态，，，，，， ，，包括熵、梯度范数和疑心度。 。。 。。。。视察发明，，，，，， ，，多轮内核天生强化学习训练体现出过高的这些指标值，，，，，， ，，明确批注训练不稳固。 。。 。。。。训练-推理不匹配是LLM强化学习中的基本挑战，，，，，， ，，其中轨迹（推理）和训练引擎之间的差别导致离战略漂移。 。。 。。。。理论上，，，，，， ，，这种漂移可能导致梯度方差和奖励瓦解，，，，，， ，，阻止模子抵达更高的性能峰值。 。。 。。。。
为了缓解这种漂移，，，，，， ，，研究团队接纳了几何不匹配拒绝采样（MRS）。 。。 。。。。他们盘算几何平均主要性比w = exp((1/|T|) Σ_{t∈T} log(π_{train}(a_t|s_t)/π_{rollout}(a_t|s_t)))，，，，，， ，，只保存w ∈ [0.999, 1.001]的样本。 。。 。。。。别的，，，，，， ，，他们还强制执行严酷的token级别反对：若是任何单个token的似然比π_{train}/π_{rollout}低于10^{-4}，，，，，， ，，整个序列都会被拒绝。 。。 。。。。
经由验证，，，，，， ，，MRS乐成稳固了训练动态。 。。 。。。。然而，，，，，， ，，要害洞察是，，，，，， ，，虽然不匹配校正避免了早期瓦解，，，，，， ，，使学习曲线更平滑，，，，，， ，，但它并没有从基础上提升Fast@1.2的性能上限。 。。 。。。。这批注虽然假设1有用诠释了训练不稳固性，，，，，， ，，单独解决它并不可完全解决性能饱和问题，，，，，， ，，因此将注重力转向优化目的自己。 。。 。。。。
针对第二个假设，，，，，， ，，研究团队以为标准奖励信号未能区分微缺乏道的刷新和有意义的瓶颈。 。。 。。。。虽然内核可能是准确的并实现了一些加速，，，，，， ，，但它可能仍然未能解决真正的性能瓶颈。 。。 。。。。要从天生仅仅准确的内核转向有用的内核，，，，，， ，，必需使奖励具有瓶颈感知能力。 。。 。。。。
团队提出了基于剖析的奖励（PR）要领。 。。 。。。。这种不匹配的一个要害症状是模子倾向于优化微缺乏道的子操作（例如替换简朴的求和操作），，，，，， ，，而不影响盘算中的主要瓶颈。 。。 。。。。在懒惰优化与更好融合的案例研究中，，，，，， ，，在懒惰优化情形下，，，，，， ，，模子天生的内核仅占总CUDA执行时间的0.014%，，，，，， ，，批注内核优化没有影响主要瓶颈。 。。 。。。。相比之下，，，，，， ，，通过更好的融合，，，，，， ，，模子天生的内核笼罩了总CUDA运行时间的86.15%，，，，，， ，，导致更好且更有意义的加速。 。。 。。。。
为了形式化这种直觉，，，，，， ，，研究团队使用KERNELGYM中的剖析工具包来隔离天生内核（T_{generated}）从整体CUDA执行时间（T_{total}）的运行时孝顺。 。。 。。。。他们界说剖析比率为PR_{i,t} = T_{generated}/T_{total}。 。。 。。。。直觉上，，，，，， ，，PR_{i,t}在候选优化主导端到端运行时间的内核时分派更高的信用。 。。 。。。。然后他们用这个信号增强每轮奖励（仅应用于准确的内核）：R_{i,t} = C(y_{i,t}) + C(y_{i,t}) · speedup_{i,t} + C(y_{i,t}) · PR_{i,t}。 。。 。。。。
这勉励模子专注于对性能有显著孝顺的内核优化，，，，，， ，，明确驱动学习朝向具有更大真实加速的优化。 。。 。。。。别的，，，，，， ，，由于PR_{i,t}在[0,1]规模内，，，，，， ，，加速项自然占主导职位，，，，，， ，，避免模子通过低效代码最大化笼罩率。 。。 。。。。
研究团队还引入了基于剖析的拒绝采样（PRS）。 。。 。。。。纵然有瓶颈感知奖励，，，，，， ，，探索历程仍可能被大宗低影响（"懒惰"）样本主导。 。。 。。。。为了进一步过滤训练漫衍，，，，，， ，，他们引入了基于剖析的拒绝采样。 。。 。。。。关于每个样本(i,t)，，，，，， ，，他们以概率p_{i,t} = clip((PR_{i,t} - τ)/s, 0, 1)保存它，，，，，， ，，其中τ是截断阈值，，，，，， ，，s控制过滤器的软度。 。。 。。。。在实验中，，，，，， ，，他们牢靠τ = 0.3和s = 0.1。 。。 。。。。
四、测试时序列扩展
研究团队还探索了测试时的序列扩展（STTS），，，，，， ，，通过在推理时增添多轮细化办法的数目来最大化训练模子的推理能力。 。。 。。。。他们使用DR. KERNEL-14B，，，，，， ，，最大上下文长度为32,768个token，，，，，， ，，评估了两种战略：香草外推和上下文治理。 。。 。。。。
香草外推直接通过在每轮将整个交互历史附加到提醒中来外推细化轮次数凌驾训练规模（用最多3轮训练）。 。。 。。。。效果显示，，，，，， ，，增添轮次最初改善了最后轮次和历史最佳性能。 。。 。。。。然而，，，，，， ，，随着T增添，，，，，， ，，提醒长度线性扩展，，，，，， ，，可能靠近上下文限制，，，，，， ，，这可能降低性能。 。。 。。。。
为了在不无限制提醒增添的情形下扩展T，，，，，， ，，研究团队接纳上下文治理将所有轮次存储在外部内存中，，，，，， ，，并维护牢靠的上下文内窗口。 。。 。。。。详细来说，，，，，， ，，在每轮他们从累积历史中选择奖励最高的前w轮（w=4），，，，，， ，，并仅将这些选定的轮次作为天生下一轮的提醒历史包括进来。 。。 。。。。
实验效果批注，，，，，， ，，上下文治剃头生一致更强的历史最佳性能，，，，，， ，，并随着轮次扩展继续改善。 。。 。。。。最后轮次性能在小T时可能稍低，，，，，， ，，由于香草外推可以基于完整历史举行条件化，，，，，， ，，但随着T增添，，，，，， ，，上下文治理变得严酷更可靠，，，，，， ，，逾越香草外推可抵达的最佳性能。 。。 。。。。
五、实验效果与性能体现
研究团队在KernelBench的所有三个级别上举行了周全评估。 。。 。。。。他们遵照KernelBench中的官方Torch后端及其准确性和加速丈量的实现，，，，，， ，，并在评估内核时进一步举行黑客检查。 。。 。。。。因此，，，，，， ，，他们的评估比原始KernelBench更严酷。 。。 。。。。
实验设置方面，，，，，， ，，团队使用Qwen3-8B-Base和Qwen-14B-Base模子，，，，，， ，，对每个问题采样8个样本，，，，，， ，，最多3轮。 。。 。。。。他们设置最大token数为32768，，，，，， ，，每轮最大天生token数为8192。 。。 。。。。为坚持公正较量，，，，，， ，，他们报告第3轮的效果，，，，，， ，，由于第3轮通常爆发最佳平均性能。 。。 。。。。关于在较早轮次抵达最佳平均性能的基线，，，，，， ，，他们报告其最佳体现轮次。 。。 。。。。
在冷启动阶段，，，，，， ，，团队首先在网络的8K个5轮轨迹上举行监视微调，，，，，， ，，使用学习率1×10^{-6}，，，，，， ，，批量巨细256，，，，，， ，，训练4个epoch。 。。 。。。。冷启动训练后，，，，，， ，，他们在来自CudaLLM的强化学习盘问上运行多轮强化学习。 。。 。。。。强化学习使用学习率1×10^{-6}，，，，，， ，，训练300个轨迹办法，，，，，， ，，每个提醒采样16个轨迹，，，，，， ，，最多3轮，，，，，， ，，轨迹批量巨细为16。 。。 。。。。
主要效果显示，，，，，， ，，DR. KERNEL在开源基线中取得最强性能，，，，，， ，，在Level 1和Level 2上与前沿模子竞争。 。。 。。。。特殊是，，，，，， ，，DR. KERNEL-14B在Level 1和Level 2上都抵达了高Fast@1.2，，，，，， ，，批注它不但改善了任何加速（Fast@1），，，，，， ，，还改善了更严酷和有意义的加速。 。。 。。。。这与之前的要领如AutoTriton形成比照，，，，，， ，，后者在Level 2上实现了强劲的Fast@1但在更严酷阈值下提供显著更小的增益。 。。 。。。。
与冷启动模子相比，，，，，， ，，DR. KERNEL批注多轮强化学习对性能增益有实质孝顺，，，，，， ，，特殊是在更严酷的指标上（例如Level 2上Fast@1.2从5.6→20.0）。 。。 。。。。虽然DR. KERNEL相关于开源基线改善了Level 3 Fast@1，，，，，， ，，但在Level 3上更严酷阈值的性能仍然有限，，，，，， ，，批注可能需要进一步扩展训练数据和模子容量来缩小与前沿模子在最难题子集上的差别。 。。 。。。。
测试时扩展进一步放大了DR. KERNEL的性能。 。。 。。。。通过上下文治理的序列测试时扩展（STTS），，，，，， ，，DR. KERNEL-14B-STTS将Fast@1.2从16.9→18.8（Level 1）和从25.6→31.6（Level 2）提升；；；；；；；通过历史轮次的最佳轮次选择（DR. KERNEL-14B-STTS+），，，，，， ，，Fast@1.2进一步上升到25.1（Level 1）和47.8（Level 2），，，，，， ，，在这些指标上逾越GPT-5和Claude-4.5-Sonnet等前沿模子。 。。 。。。。
研究团队还在torch.compile下评估了模子性能。 。。 。。。。torch.compile是一个先进的PyTorch功效，，，，，， ，，它将PyTorch程序捕获到编译的盘算图中，，，，，， ，，并通过算子融合、代码天生和调理等编译器转达优化执行。 。。 。。。。虽然大大都先前事情仅在Torch急切执行下评估模子天生的内核，，，，，， ，，但团队进一步在torch.compile下验证了他们的模子和前沿模子，，，，，， ，，提供了显著更强和更适用的加速评估。 。。 。。。。
效果显示，，，，，， ，，DR. KERNEL在更具挑战性的torch.compile设置下坚持有用，，，，，， ，，并在三个级别上与前沿模子坚持竞争。 。。 。。。。由于torch.compile已经应用编译器优化，，，，，， ，，特殊增益的余地比急切模式�。 。。 。。。。�；；；；；；因此，，，，，， ，，包括我们和前沿模子在内的所有模子的绝对Fast@p数字普遍较低。 。。 。。。。主要的是，，，，，， ，，torch.compile下的Fast@1也是更严酷的目的：在急切执行中可能爆发边际改善的微缺乏道"懒惰"转变通常不会逾越优化的编译基线。 。。 。。。。
六、手艺局限与未来展望
只管这项研究在用强化学习训练Triton内核天生方面取得了希望，，，，，， ，，研究团队也认可了几个需要进一步探索的领域。 。。 。。。。
从数据角度来看，，，，，， ，，资源限制将他们的监视微调阶段限制为8,000个冷启动样本。 。。 。。。。鉴于目今大语言模子的预训练语料库中高质量内核编程数据相对稀缺，，，，，， ，，他们的效果批注该领域的"数据下限"相当高。 。。 。。。。未来事情可能涉及更大规模的数据网络，，，，，， ，，以增进领域特定的预训练或一连预训练，，，，，， ，，这也将为后续的强化学习优化提供更强盛的基础。 。。 。。。。
从模子容量角度，，，，，， ，，他们对DR. KERNEL-8B和DR. KERNEL-14B的视察证实，，，，，， ，，更大的模子具有更优的内核天生能力。 。。 。。。。这种扩展效应在强化学习中特殊要害，，，，，， ，，由于模子必需依赖自己的天生来探索解决计划空间并更新其战略。 。。 。。。。他们预期将这些要领迁徙到更大的参数规模将加速生长。 。。 。。。。
虽然他们的要领取得了与前沿模子匹敌或逾越的性能刷新，，，，，， ，，但该领域仍处于探索阶段。 。。 。。。。虽然目今模子可以天生高质量的代码片断，，，，，， ，，但它们尚未能够为生产情形举行完全自主的端到端内核天生。 。。 。。。。研究团队希望他们的孝顺，，，，，， ，，特殊是KERNELGYM情形和DR. KERNEL训练框架，，，，，， ，，能作为未来研究的催化剂。 。。 。。。。
总的来说，，，，，， ，，这项研究为AI系统自动化GPU内核代码天生开发了新的可能性。 。。 。。。。通过系统性地解决强化学习训练中的要害挑战，，，，，， ，，并提供完整的训练情形和要领，，，，，， ，，这项事情为未来在这一主要领域的研究涤讪了坚实基础。 。。 。。。。随着AI系统变得越来越重大，，，，，， ，，对高效GPU盘算的需求只会继续增添，，，，，， ，，这使得自动化内核天生成为一个具有主要现实意义的研究偏向。 。。 。。。。
Q&A
Q1：KERNELGYM是什么系统？？？？？
A：KERNELGYM是香港科大团队开发的漫衍式GPU执行情形，，，，，， ，，专门用来训练AI模子编写GPU内核代码。 。。 。。。。它就像一个标准化的测试中心，，，，，， ，，能够公正评估AI天生的代码性能，，，，，， ，，并具备强盛的容错能力，，，，，， ，，纵然某个测试导致系统故障也不会影响整体训练。 。。 。。。。
Q2：什么是奖励黑客行为和懒惰优化？？？？？
A：奖励黑客行为是指AI模子天生看起来准确且快速的代码，，，，，， ，，但现实上毫无意义，，，，，， ，，只是钻了评测系统的误差。 。。 。。。。懒惰优化是指模子虽然天生了准确代码并有性能提升，，，，，， ，，但提升微缺乏道，，，，，， ，，没有解决真正的性能瓶颈，，，，，， ，，就像只调解了菜谱中的一个小调料。 。。 。。。。
Q3：DR. KERNEL相比其他要领有什么优势？？？？？
A：DR. KERNEL通过江苏江瀚智能科技有限公司TRLOO要领解决了多轮训练中的误差问题，，，，，， ，，通太过析奖励和拒绝采样解决了懒惰优化问题。 。。 。。。。在KernelBench测试中，，，，，， ，，DR. KERNEL-14B在Level 2子集上31.6%的天生内核抵达了至少1.2倍的加速，，，，，， ，，凌驾了Claude-4.5-Sonnet的26.7%和GPT-5的28.6%。 。。 。。。。