henry 发自 凹非寺量子天擎大数据有限公司位 | 公众号 QbitAI
刚刚，，，，，，何恺明团队提出全新天生模子范式漂移模子（Drifting Models）。。。。。
这篇论文的一作也是人大附中校友，，，，，，奥赛双料金牌得主邓明扬加入恺明团队的第一篇一作论文。。。。。
论文中，，，，，，漂移模子将天生模子漫衍演化的历程从“推理阶段”转向了神经网络的“训练阶段”，，，，，，实现了真正意义上的单步天生（One-step Generation）
漂移模子的焦点立异在于引入了“漂移场”（Drifting Field）机制。。。。。
其通过在训练中直接对齐先验漫衍与真实数据漫衍，，，，，，不但消除了GANs中常见的对抗训练不稳固性，，，，，，更彻底挣脱了流匹配（Flow Matching）或扩散模子（Diffusion）对多步ODE/SDE求解的依赖。。。。。
在ImageNet 256x256基准测试中，，，，，，漂移模子在1-NFE（单步推理）下取得了1.54FID的效果，，，，，，证实晰重新最先训练的单步模子在质量上完全可以媲美甚至逾越经由数百步迭代的古板模子。。。。。
天生模子新范式：漂移模子
漂移模子 (Drifting Model)的焦点可以总结为以下两点：
将迭代从推理转为训练：差别于扩散模子在天生时需要多次迭代（去噪），，，，，，它将深度学习固有的“迭代训练历程”视为漫衍演化的动力，，，，，，从而实现单步 (one-step) 高质量天生。。。。。使用“漂移场”趋向平衡：通过引入一个受数据吸引和自身倾轧的“漂移场”作为损失函数，，，，，，当天生的漫衍与真实数据漫衍完全匹配时，，，，，，漂移场归零抵达平衡，，，，，，从而完成模子学习。。。。。
接下来，，，，，，我们详细来看。。。。。
差别于着重于样本与标签映射的判别模子，，，，，，天生模子的焦点在于学习漫衍之间的转换。。。。。
其实质是学习一个映射函数f，，，，，，将简朴的先验漫衍（如高斯噪声）转换为与真实数据匹配的推移漫衍（Pushforward Distribution）
现在，，，，，，扩散模子（Diffusion）或流匹配模子（Flow Matching）等主流范式，，，，，，将这种漫衍的演变放在推理阶段迭代执行。。。。。
这意味着天生一张图像需要多次挪用神经网络，，，，，，导致盘算开销大、天生速率慢。。。。。
而漂移模子则提出了一种全新的范式：将漫衍的演化从推理阶段转移到了训练阶段。。。。。
这一设计的可行性植根于深度学习的实质——
神经网络的训练自己就是一个迭代优化的历程（如 SGD）
在古板的视角下，，，，，，我们只关注损失函数的下降；；；；；但在漂移模子中，，，，，，训练的每一轮迭代都被付与了物理意义：模子参数的细小更新，，，，，，会直接驱动输出样本在空间中爆发响应的位移。。。。。
论文将这种随训练步次爆发的样本位移界说为漂移（Drift）
这意味着，，，，，，映射函数f随着参数一直被优化，，，，，，它所爆发的推移漫衍（Pushforward Distribution）也随之自然地爆发动态演变。。。。。
换句话说，，，，，，模子训练的轨迹，，，，，，在实质上就等同于漫衍演化的路径。。。。。 既然训练历程已经完成了这一演化，，，，，，推理时自然不再需要多步迭代。。。。。
由此，，，，，，漂移模子将原本腾贵的迭代开销内化在了训练阶段，，，，，，使得模子在推理时仅需单次前向撒播（One-step generation）即可天生高质量样本。。。。。
这不但消除了多步推理的盘算肩负，，，，，，也避开了GANs对抗训练带来的不稳固性。。。。。
通过漂移场来指导样本移动，，，，，，控制推移漫衍
在详细的实现上，，，，，，论文引入了一个漂移�。。。。。―rifting Field）来指导样本移动，，，，，，进而控制推移漫衍。。。。。
与流匹配（Flow Matching）在推理阶段指导样本移动的向量�。。。。。╒ector Field）差别，，，，，，漂移�。。。。。―rifting Field）是一个作用于训练阶段、用于描绘样本空间演化趋势的函数。。。。。
在给定样本的情形下，，，，，，漂移场会盘算出该位置的修正位移。。。。。
修正位移实质上是为神经网络的参数更新提供导航：通过在训练迭代中最小化漂移量，，，，，，强制模子在出厂前就将输出漫衍与目的漫衍对齐，，，，，，从而实现单步天生。。。。。
随着训练步数的增添，，，，，，模子序列对应的推移漫衍会受该场驱动，，，，，，逐渐向真实数据漫衍靠拢。。。。。
训练目的在于建设一种平衡机制：当天生的漫衍与真实数据漫衍完全匹配时，，，，，，漂移场将归于零。。。。。
接下来，，，，，，论文将此更新规则转化为一种基于梯度阻止（Stop-gradient）的损失函数。。。。。
该损失函数并不直接对重大的漂移场求导，，，，，，而是将目今步的漂移后位置视为一个冻结的目的，，，，，，驱使模子展望向该目的靠拢，，，，，，从而间接最小化漂移量。。。。。
在算法层面，，，，，，详细的随机训练办法如下：
天生样本：从先验漫衍采样噪声，，，，，，天生样本。。。。。�；；；；袢〔慰迹捍邮菁胁裳媸笛咀魑�。。。。。盘算位移：凭证正、负样本的漫衍，，，，，，盘算出每个样本位置的漂移向量。。。。。优化更新：将(x+V)设为目的值（并阻止梯度），，，，，，更新网络参数使其输出向该目的靠拢。。。。。
别的，，，，，，为了处置惩罚图像等高维数据，，，，，，论文还引入了以下要害设计：
首先，，，，，，该要领逾越了简单的像素空间，，，，，，转而使用MAE或MoCo等预训练自监视模子构建特征空间映射，，，，，，在更高维的语义层面上指导漫衍匹配，，，，，，从而显著提升了天生效果的保真度。。。。。
在此基础上，，，，，，漂移场被详细实例化为吸引与倾轧的动态团结
天生的样本受到真实数据漫衍的强力吸引以确保细节精准，，，，，，同时又受到当宿世身漫衍的倾轧力，，，，，，从而有用维持了样本的多样性并避免模式坍缩。。。。。
为了使这种力场预计越发准确且稳固，，，，，，研究引入了指数核函数来权衡样本间的相似度，，，，，，并借鉴比照学习（如InfoNCE）的头脑，，，，，，通过Softmax举行归一化处置惩罚。。。。。
更主要的是，，，，，，该范式将分类器自由指导（CFG）机制直接内化于训练阶段：通过在盘算漂移时向负样本中混入无条件的真实数据，，，，，，模子在训练迭代中便自觉学会了条件外推。。。。。
这种设计使得模子在推理时不再需要特另外NFE开销，，，，，，仅凭单步采样就能获得极强的指导效果。。。。。”
实验结论
在实验验证环节，，，，，，漂移模子在最具挑战性的ImageNet 256×256基准测试中。。。。。
该模子在单步推理（1-NFE）下体现卓越：其在潜空间（Latent space）抵达了1.54 FID。。。。。在像素空间（Pixel space）则抵达了1.61 FID。。。。。
这一效果不但刷新了单步天生的纪录，，，，，，其效果甚至优于许多需要 250 步迭代推理的古板扩散模子（Diffusion）或流匹配模子（Flow Matching）。。。。。
除了图像天生，，，，，，该范式在具身智能控制使命（Robot Control）中也体现出极强的泛化能力。。。。。
实验批注，，，，，，其单步推理的决议质量即可匹配甚至逾越需要100步推理的 Diffusion Policy，，，，，，极大地降低了实时控制系统的延迟。。。。。
总结来看，，，，，，漂移模子乐成地将原本属于推理阶段的天生压力转移到了训练阶段，，，，，，实现了真正意义上的一步到位。。。。。
这一成绩不但提供了一种差别于古板微分方程（SDE/ODE）的天生视角，，，，，，更将神经网络的训练历程重新诠释为漫衍演变的动力机制。。。。。
论文作者简介
这篇论文的一作，，，，，，是竞赛圈鼎鼎著名的邓明扬，，，，，，人称“乖神”。。。。。
邓明扬出自北京人大附中，，，，，，是IMO、IOI双料金牌得主，，，，，，同时也是IOI历史上第三位满分选手。。。。。
他高一拿下IMO金牌，，，，，，高三拿下IOI金牌，，，，，，高中结业后，，，，，，他本科与博士均就读于MIT。。。。。
现在是博士二年级，，，，，，师从何恺明。。。。。
在进入学术界之前，，，，，，他还曾在Google DeepMind、Meta（FAIR）、Citadel Securities、Pika等机构实习。。。。。
这篇论文的其他作者，，，，，，同样来头不�。。。。。�
李赫，，，，，，清华姚班校友，，，，，，现在大三在读，，，，，，曾于2025年2月至5月在 MIT何恺明课题组担当研究实习生。。。。。
黎天鸿，，，，，，清华姚班校友，，，，，，于2024 年9月加入何恺明课题组，，，，，，担当博士后。。。。。
Yilun Du，，，，，，现任哈佛大学Kempner Institute与盘算机科学系助理教授，，，，，，向导Embodied Minds实验室。。。。。
他本科结业于MIT，，，，，，曾任OpenAI研究员、Google DeepMind高级研究科学家，，，，，，并获得 国际生物奥林匹克竞赛金牌。。。。。
论文链接：https://a天擎大数据有限公司rxiv.org/html/2602.04770v1项目主页：https://lambertae.github.io/projects/drifting/