心智视察所：我国科研机构主导的大模子效果首次登上Nature

2026-03-02 16:42:21

【文/网专栏作者心智视察所四川龙泉装备制造有限公司】

几天前，，，，，，，，《Nature》杂志刊发了一篇来自中国的人工智能研究论文。。。。。这在顶级学术期刊上并非新鲜事，，，，，，，，但这篇论文的分量却非同寻常：它来自北京智源人工智能研究院，，，，，，，，焦点效果是一个名为“Emu3”的多模态大模子，，，，，，，，而它试图回覆的问题，，，，，，，，是整个AI领域已往五年来悬而未决的焦点命题——我们能否用一种统一的方法，，，，，，，，让机械同时学会看、听、说、写，，，，，，，，以致行动？？？？？

这个问题听起来简朴，，，，，，，，但它的庞洪水平足以让全球顶尖的AI实验室争论不断。。。。。

OpenAI用Sora惊艳天下，，，，，，，，靠的是扩散模子；；；；；；；Google的Gemini整合多模态，，，，，，，，用的是重大的编码器拼接；；；；；；；Meta的Chameleon实验统一，，，，，，，，却始终难以在性能上与专用模子抗衡。。。。。而智源的谜底，，，，，，，，是一个看起来质朴得近乎偏执的选择：只用“下一词展望”。。。。。

这个选择的意义，，，，，，，，可能需要一些配景知识才华明确。。。。。

论文前言

一场关于“语言”的豪赌

若是你问一位2020年的AI研究者，，，，，，，，未来的多模态智能会是什么样子，，，，，，，，他或许率会给出这样的展望：图像天生归图像天生，，，，，，，，文字明确归文字明确，，，，，，，，视频处置惩罚归视频处置惩罚，，，，，，，，然后我们用某种“胶水”把它们粘在一起。。。。。这不是懒惰，，，，，，，，而是其时的手艺现实——差别模态的数据特征差别太大，，，，，，，，专精往往意味着高效。。。。。

事实上，，，，，，，，这条蹊径在已往几年里取得了重大乐成。。。。。Stable Diffusion让通俗人也能天生惊艳的图像，，，，，，，，GPT-4让对话AI变得无所不可，，，，，，，，而种种视觉-语言模子则在问答、识别、形貌等使命上一直刷新纪录。。。。。但问题也随之而来：这些模子就像一个武艺精湛但只会单项运动的运发动，，，，，，，，让它们协同事情，，，，，，，，需要重大的工程架构、细腻的模态对齐，，，，，，，，以及大宗的人工干预。。。。。

更要害的是，，，，，，，，这种“专科化”的生长路径隐含着一个令人担心的假设：也许机械智能天生就是碎片化的，，，，，，，，我们永远需要为每一种能力单独训练一个模子。。。。。

Emu3挑战的，，，，，，，，正是这个假设。。。。。

智源团队的焦点洞见是：若是我们把图像、视频、文字都转换成统一种“语言”——离散的符号序列——那么让模子学习“展望下一个符号”这一个使命，，，，，，，，是否就足以涵盖所有多模态能力（如下图）？？？？？

这个想法并非没有先例。。。。。早在2020年，，，，，，，，GPT-3就已经证实，，，，，，，，仅仅通过展望下一个词，，，，，，，，语言模子可以涌现出惊人的推理、翻译、编程能力。。。。。但将这一范式扩展到图像和视频，，，，，，，，面临着截然差别的挑战：一张512×512的图像，，，，，，，，若是用简朴的方法转换成符号，，，，，，，，可能需要几十万个token，，，，，，，，这关于Transformer架构来说是灾难性的盘算肩负；；；；；；；更主要的是，，，，，，，，图像的空间结构、视频的时间一连性，，，，，，，，与文字的线性叙事有着实质区别，，，，，，，，简朴的“下一词展望”真的能捕获这些重大的关系吗？？？？？

智源的谜底是一定的，，，，，，，，而Emu3就是他们的证实。。。。。

一个分词器的艺术

要明确Emu3的手艺突破，，，，，，，，首先要明确它的“视觉分词器”（Vision Tokenizer）。。。。。这个听起来不起眼的组件，，，，，，，，现实上是整个系统的基石。。。。。

想象一下，，，，，，，，你需要用电报向一个从未见过图片的人形貌一幅画。。。。。你不可能传输原始的像素值——那太冗长了；；；；；；；你也不可只说“一幅景物画”——那太模糊了。。。。。你需要的是一种既紧凑又富有体现力的编码方法，，，，，，，，能够在有限的符号中保存足够的视觉信息。。。。。

Emu3的视觉分词器做的正是这件事。。。。。它能够将一张512×512的图像压缩成仅仅4096个离散符号，，，，，，，，压缩比抵达64:1；；；；；；；关于视频，，，，，，，，它在时间维度上进一步压缩4倍，，，，，，，，使得一段4帧的视频片断也只需要4096个符号体现。。。。。这些符号来自一个包括32768个“词汇”的码本——你可以把它想象成一本视觉辞书，，，，，，，，每个“词”代表一种特定的视觉模式。。。。。

更精妙的是，，，，，，，，这个分词器是为视频原生设计的。。。。。古板的图像分词器处置惩罚视频时，，，，，，，，只能逐帧编码，，，，，，，，完全忽略帧与帧之间的时间关联；；；；；；；而Emu3的分词器通过三维卷积核，，，，，，，，能够同时捕获空间和时间维度的信息。。。。。在实验中，，，，，，，，这种设计用四分之一的符号数目，，，，，，，，就抵达了与逐帧处置惩罚相当的重修质量——这不但意味着更高的效率，，，，，，，，更意味着模子能够真正“明确”视频的动态实质，，，，，，，，而非仅仅处置惩罚一堆静态图片。。。。。

有了这个分词器，，，，，，，，图像和视频就酿成了与文字一样的符号序列。。。。。接下来的事情，，，，，，，，就是让一个Transformer学会展望这些序列中的“下一个符号”。。。。。

当简朴遇上规模

Emu3的模子架构，，，，，，，，用一句话就能归纳综合：它就是一个标准的大语言模子，，，，，，，，只不过词汇内外多了32768个视觉符号。。。。。

这种极简主义设计在AI研究界是有数的。。。。。主流的多模态模子——无论是LLaVA、BLIP-2照旧Flamingo——都接纳“编码器+语言模子”的复合架构，，，，，，，，即先用一个专门的视觉编码器（通常是CLIP）把图像转换成特征向量，，，，，，，，再用适配器将这些特征“注入”语言模子。。。。。这种设计的利益是可以复用已有的预训练组件，，，，，，，，但价钱是系统重漂后的急剧上升，，，，，，，，以及模态之间潜在的隔膜——视觉编码器和语言模子事实是自力训练的，，，，，，，，它们对天下的明确未必一致。。。。。

Emu3选择了一条更激进的路：不必任何预训练的视觉编码器，，，，，，，，不必任何重大的模态融合机制，，，，，，，，只用一个从零最先训练的decoder-only Transformer。。。。。所有的多模态知识，，，，，，，，都是在统一的下一词展望使命中从数据里学来的。。。。。

这种“大道至简”的设计哲学，，，，，，，，在实践中转化为了惊人的实验效果。。。。。

在图像天生使命上，，，，，，，，Emu3在人类偏好评估中得分70.0，，，，，，，，逾越了Stable Diffusion XL（66.9）这个扩散模子的标杆；；；；；；；在视觉语言明确的12个基准测试上，，，，，，，，它的平均分抵达62.1，，，，，，，，与接纳重大编码器架构的LLaVA-1.6（61.8）持平；；；；；；；在视频天生的VBench评估中，，，，，，，，它取得了81.0分，，，，，，，，凌驾了专门的视频扩散模子Open-Sora-1.2（79.8）。。。。。

这些数字的意义在于：一个仅仅四川龙泉装备制造有限公司用“展望下一个符号”训练的模子，，，，，，，，在天生和明确两个看似矛盾的偏向上，，，，，，，，同时抵达了专用模子的水平。。。。。这在此前被以为是不可能的——事实，，，，，，，，扩散模子和自回归模子的数学基础完全差别，，，，，，，，善于明确的架构通常不擅永天生，，，，，，，，反之亦然。。。。。Emu3的乐成，，，，，，，，相当于一个运发动同时在短跑和马拉松角逐中夺冠，，，，，，，，突破的不但是纪录，，，，，，，，更是人们对专业化界线的认知。。。。。

PT视讯(中国区)官网