机械之心编辑部
何恺明团队新论文，，，，，，，再次「大道至简」。。 。。。。
此次研究直指目今以 DiT 为代表的主流扩散模子与流匹配模子保存的通病！� 。。。。�，，，，，并提出了一种用于单步、无潜空间（Latent-free）的图像天生新框架
论文问题：One-step Latent-free Image Generation with Pixel Mean FlowsarXiv 地点：https://arxiv.org/pdf/2601.22158v1
在天生式 AI 领域，，，，，，，追求更高效、更直接的天生范式一直是学界的焦点目的。。 。。。。
目今，，，，，，，以 DiT 为代表的主流扩散模子与流匹配模子主要依赖两大支柱来降低天生难度，，，，，，，一是通过多步采样将重大的漫衍转换剖析为细小的步进，，，，，，，二是在预训练 VAE（变分自编码器）的潜空间中运行以降低盘算维度。。 。。。。
只管这些设计在图像质量上取得了重大乐成，，，，，，，但从深度学习「端到端」的精神来看，，，，，，，这种对多步迭代和预置编码器的依赖，，，，，，，无疑增添了系统的重大性和推理开销。。 。。。。
面临这些挑战，，，，，，，何恺明团队提出了用于单步、无潜空间图像天生的 pixel MeanFlow（pMF）框架。。 。。。。该框架继续了刷新均值流（improved MeanFlow，，，，，，，MF）的思绪，，，，，，，通过在瞬时速率（即 v）空间内界说损失函数，，，，，，，来学习平均速率场！� 。。。。� u）。。 。。。。
与此同时，，，，，，，受 Just image Transformers（JiT）的启发，，，，，，，pMF 直接对类似于去噪图像的物理量（即 x-prediction 值）举行参数化，，，，，，，并预期该物理量位于低维流形上。。 。。。。
为了兼容这两种设计，，，，，，，团队引入了一种转换机制，，，，，，，将 v、u 和 x 三个场联系起来。。 。。。。实验证实，，，，，，，这种设计更切合流形假设，，，，，，，并且爆发了一个更易于学习的目的（见下图 1）。。 。。。。
归纳综合来说，，，，，，，pMF 训练了一个能将噪声输入直接映射为图像像素的网络。。 。。。。它具备「所见即所得」的特征，，，，，，，而这在多步采样或基于潜空间的要领中是不保存的。。 。。。。这一特征使得感知损失能够自然地集成到 pMF 中，，，，，，，从而进一步提升天生质量。。 。。。。
实验效果显示，，，，，，，pMF 在单步、无潜空间天生方面体现强劲，，，，，，，在 ImageNet 数据集上，，，，，，，256x256 区分率下的 FID 抵达 2.22，，，，，，，512x512 区分率下抵达 2.48。。 。。。。团队进一步证实，，，，，，，选择合适的展望目的至关主要：在像素空间直接展望速率场会导致性能瓦解。。 。。。。
本文验证了：单步、无潜空间天生正变得既可行又具竞争力，，，，，，，这标记着向构建简单、端到端神经网络形式的直接天生建模迈出了坚实的一步
框架要领
为了实现单步、无潜空间的天生，，，，，，，团队引入了 pMF（pixel MeanFlow），，，，，，，它的焦点设计在于建设 u、 v 和 x 这三个差别场之间的关联。。 。。。。团队希望网络能像 JiT 那样直接输出 x，，，，，，，而单步建模则像均值流 (MeanFlow) 一样在 u 和 v 空间内举行。。 。。。。
去噪图像场
iMF 和 JiT 都可以被视为在最小化 v-loss，，，，，，，差别之处在于 iMF 执行的是 u-prediction，，，，，，，而 JiT 执行的是 x-prediction。。 。。。。团队在 u 与广义形式的 x 之间引入了一种联系。。 。。。。
原论文等式 (5) 中界说的平均速率场 u 代表了一个潜在的基准真值（ground-truth），，，，，，，它取决于 p_data、p_prior 以实时间调理，，，，，，，但与网络无关（因此不依赖于参数 θ）。。 。。。。团队引出了一个界说为 x (z_t, r, t) 的新场！� 。。。。�
可泛化的流形假设
上图 1 通过模拟从预训练流匹配（FM）模子中获得的一条 ODE 轨迹，，，，，，，可视化了 u 场和 x 场。。 。。。。u 包括噪声图像，，，，，，，这是由于作为速率场！� 。。。。�，，，，，u 同时包括了噪声和数据因素。。 。。。。相比之下，，，，，，，x 场具有去噪图像的外观：它们或是近乎清晰的图像，，，，，，，或是因太已往噪而显得模糊的图像。。 。。。。接下来，，，，，，，团队讨论了怎样将流形假设泛化到一物理量 x 上。。 。。。。
请注重，，，，，，，MeanFlow 中的时间步 r 知足：。。 。。。。团队首先展示了 r=t 和 r=0 这两种界线情形可以近似知足流形假设；；；；；；；；随后讨论了 0＜r＜t 的情形。。 。。。。
算法
上文公式 (8) 中导出的 x 场为 MeanFlow 网络提供了一种重参数化要领。。 。。。。详细而言，，，，，，，团队让网络 net_θ 直接输出 x，，，，，，，并凭证公式 (8) 盘算出响应的速率场 u：
接着将公式 (11) 中的 u_θ 纳入 iMF 表述中，，，，，，，即团结 v-loss 使用原论文公式 (7)。。 。。。。详细的优化目的如下：
从看法上讲，，，，，，，这是基于 x-prediction 的 v-loss，，，，，，，其中 x 通过 x→u→v 的关系转换为 v 空间，，，，，，，从而对 v 举行回归。。 。。。。响应的伪代码见算法 1。。 。。。。遵照 iMF 的思绪，，，，，，，该算法可以扩展以支持无分类器指导（CFG）。。 。。。。
带有感知损失的像素均值
网络 x_θ(z_t,r,t) 直接将噪声输入 z_t 映射为去噪图像，，，，，，，这使得模子在训练时具备了「所见即所得」的特征。。 。。。。因此团队进一步引入了感知损失，，，，，，，基于潜空间的要领在 tokenizer 重构训练中获益于感知损失，，，，，，，而基于像素的要领此前尚未能容易使用这一优势。。 。。。。
实验效果
玩具（Toy）实验
团队首先通过一个 2D 玩具实验批注，，，，，，，「当底层数据位于低维流形上时，，，，，，，在 MeanFlow 中使用 x-prediction 越发理想。。 。。。。」
图 2 显示，，，，，，，x-prediction 的体现相当精彩，，，，，，，而随着维度 D 的增添，，，，，，，u-prediction 的性能迅速退化。。 。。。。团队视察到，，，，，，，这种性能差别反应在逊ю失的差别上：x-prediction 的逊ю失低于对应的 u-prediction。。 。。。。这批注，，，，，，，关于容量有限的网络而言，，，，，，，展望 x 越发容易。。 。。。。
团队默认在区分率为 256x256 的 ImageNet 数据集上举行消融实验。。 。。。。团队接纳了 iMF 架构，，，，，，，它是 DiT 设计的一个变体。。 。。。。除非尚有说明，，，，，，，团队将 Patch 巨细设置为 16× 16（体现为 pMF/16）。。 。。。。消融模子从零最先训练了 160 个 Epoch。。 。。。。
关于网络展望目的，，，，，，，团队的要领基于流形假设，，，，，，，即假设 x 处于低维流形中且更易于展望。。 。。。。表 2 验证了这一假设。。 。。。。
首先将 64×64 区分率作为较简朴的设置。。 。。。。当 Patch 巨细为 4×4 时，，，，，，，Patch 维度为 48（即 4×4×3）。。 。。。。这一维度远低于网络容量（隐藏层维度为 768）。。 。。。。因此，，，，，，，pMF 在 x-prediction 和 u-prediction 下均体现优异。。 。。。。
接下来思量 256×256 区分率。。 。。。。凭证老例，，，，，，，Patch 巨细设为 16×16，，，，，，，Patch 维度抵达 768（即 16×16×3）。。 。。。。这导致了更高维的视察空间，，，，，，，增添了神经网络建模的难度。。 。。。。在这种情形下，，，，，，，只有 x-prediction 体现优异，，，，，，，批注 x 位于更低维的流形上，，，，，，，因此更易于学习。。 。。。。
相比之下，，，，，，，u-prediction 性能彻底瓦解：作为一种含噪物理量，，，，，，，u 在高维空间中具有全支持，，，，，，，建模难度大得多。。 。。。。
关于高区分率天生，，，，，，，团队在表 4 中研究了区分率在 256、512 和 1024 下的 pMF。。 。。。。在坚持序列长度稳固（16^2）的情形下，，，，，，，差别区分率下大致维持了相同的盘算本钱。。 。。。。这样做会导致极其激进的 Patch 巨细！� 。。。。ɡ� 64^2）和 Patch 维度（例如 12288）。。 。。。。
效果显示，，，，，，，pMF 可以有用处置惩罚这种极具挑战性的情形。。 。。。。只管视察空间是高维的，，，，，，，但模子始终展望 x，，，，，，，其底层维度并不会成比例增添。。 。。。。
关于可扩展性，，，，，，，团队在表 5 中报告了增添模子巨细和训练 Epoch 的效果。。 。。。。正如预期的那样，，，，，，，pMF 从这两个维度的扩展中均有获益。。 。。。。
最后，，，，，，，团队在表 6（256×256）和表 7（512×512）中 ，，，，，，，将 pMF 与之前的模子举行了比照。。 。。。。
其中，，，，，，，在256×256 区分率下，，，，，，，团队的要领抵达了 2.22 FID（在 360 个 Epoch 时），，，，，，，如表 6 所示。。 。。。。据团队的相识，，，，，，，该种别中（单步、无潜空间扩散 / 流模子）唯一的其他要领是最近提出的 EPG，，，，，，，它在自监视预训练下抵达了 8.82 FID。。 。。。。
512×512 区分率下，，，，，，，pMF 抵达了 2.48 FID，，，，，，，如表 7 所示。。 。。。。这一效果的盘算本钱（参数目和 Gflops）与 256×256 版内情当。。 。。。。事实上，，，，，，，唯一的特殊开销仅来自通道数更多的 Patch 嵌入层和展望层，，，，，，，所有的 Transformer 模�？？？？槎嘉至讼嗤呐趟惚厩！� 。。。。
更多实验细节请参阅原论文。。 。。。。<蓝图修建设计院有限公司/p>