心智视察所:我国科研机构主导的大模子效果首次登上Nature
2026-02-26 17:11:04

【文/网专栏作者 心智视察所湖南湘江都会建设有限公司】

几天前 ,,,,,,,,《Nature》杂志刊发了一篇来自中国的人工智能研究论文。。。。 。。。。这在顶级学术期刊上并非新鲜事 ,,,,,,,,但这篇论文的分量却非同寻常:它来自北京智源人工智能研究院 ,,,,,,,,焦点效果是一个名为“Emu3”的多模态大模子 ,,,,,,,,而它试图回覆的问题 ,,,,,,,,是整个AI领域已往五年来悬而未决的焦点命题——我们能否用一种统一的方法 ,,,,,,,,让机械同时学会看、听、说、写 ,,,,,,,,以致行动??????

这个问题听起来简朴 ,,,,,,,,但它的庞洪水平足以让全球顶尖的AI实验室争论不断。。。。 。。。。

OpenAI用Sora惊艳天下 ,,,,,,,,靠的是扩散模子;; ;; ;Google的Gemini整合多模态 ,,,,,,,,用的是重大的编码器拼接;; ;; ;Meta的Chameleon实验统一 ,,,,,,,,却始终难以在性能上与专用模子抗衡。。。。 。。。。而智源的谜底 ,,,,,,,,是一个看起来质朴得近乎偏执的选择:只用“下一词展望”。。。。 。。。。

这个选择的意义 ,,,,,,,,可能需要一些配景知识才华明确。。。。 。。。。

论文前言

一场关于“语言”的豪赌

若是你问一位2020年的AI研究者 ,,,,,,,,未来的多模态智能会是什么样子 ,,,,,,,,他或许率会给出这样的展望:图像天生归图像天生 ,,,,,,,,文字明确归文字明确 ,,,,,,,,视频处置惩罚归视频处置惩罚 ,,,,,,,,然后我们用某种“胶水”把它们粘在一起。。。。 。。。。这不是懒惰 ,,,,,,,,而是其时的手艺现实——差别模态的数据特征差别太大 ,,,,,,,,专精往往意味着高效。。。。 。。。。

事实上 ,,,,,,,,这条蹊径在已往几年里取得了重大乐成。。。。 。。。。Stable Diffusion让通俗人也能天生惊艳的图像 ,,,,,,,,GPT-4让对话AI变得无所不可 ,,,,,,,,而种种视觉-语言模子则在问答、识别、形貌等使命上一直刷新纪录。。。。 。。。。但问题也随之而来:这些模子就像一个武艺精湛但只会单项运动的运发动 ,,,,,,,,让它们协同事情 ,,,,,,,,需要重大的工程架构、细腻的模态对齐 ,,,,,,,,以及大宗的人工干预。。。。 。。。。

更要害的是 ,,,,,,,,这种“专科化”的生长路径隐含着一个令人担心的假设:也许机械智能天生就是碎片化的 ,,,,,,,,我们永远需要为每一种能力单独训练一个模子。。。。 。。。。

Emu3挑战的 ,,,,,,,,正是这个假设。。。。 。。。。

智源团队的焦点洞见是:若是我们把图像、视频、文字都转换成统一种“语言”——离散的符号序列——那么让模子学习“展望下一个符号”这一个使命 ,,,,,,,,是否就足以涵盖所有多模态能力(如下图)??????

这个想法并非没有先例。。。。 。。。。早在2020年 ,,,,,,,,GPT-3就已经证实 ,,,,,,,,仅仅通过展望下一个词 ,,,,,,,,语言模子可以涌现出惊人的推理、翻译、编程能力。。。。 。。。。但将这一范式扩展到图像和视频 ,,,,,,,,面临着截然差别的挑战:一张512×512的图像 ,,,,,,,,若是用简朴的方法转换成符号 ,,,,,,,,可能需要几十万个token ,,,,,,,,这关于Transformer架构来说是灾难性的盘算肩负;; ;; ;更主要的是 ,,,,,,,,图像的空间结构、视频的时间一连性 ,,,,,,,,与文字的线性叙事有着实质区别 ,,,,,,,,简朴的“下一词展望”真的能捕获这些重大的关系吗??????

智源的谜底是一定的 ,,,,,,,,而Emu3就是他们的证实。。。。 。。。。

一个分词器的艺术

要明确Emu3的手艺突破 ,,,,,,,,首先要明确它的“视觉分词器”(Vision Tokenizer)。。。。 。。。。这个听起来不起眼的组件 ,,,,,,,,现实上是整个系统的基石。。。。 。。。。

想象一下 ,,,,,,,,你需要用电报向一个从未见过图片的人形貌一幅画。。。。 。。。。你不可能传输原始的像素值——那太冗长了;; ;; ;你也不可只说“一幅景物画”——那太模糊了。。。。 。。。。你需要的是一种既紧凑又富有体现力的编码方法 ,,,,,,,,能够在有限的符号中保存足够的视觉信息。。。。 。。。。

Emu3的视觉分词器做的正是这件事。。。。 。。。。它能够将一张512×512的图像压缩成仅仅4096个离散符号 ,,,,,,,,压缩比抵达64:1;; ;; ;关于视频 ,,,,,,,,它在时间维度上进一步压缩4倍 ,,,,,,,,使得一段4帧的视频片断也只需要4096个符号体现。。。。 。。。。这些符号来自一个包括32768个“词汇”的码本——你可以把它想象成一本视觉辞书 ,,,,,,,,每个“词”代表一种特定的视觉模式。。。。 。。。。

更精妙的是 ,,,,,,,,这个分词器是为视频原生设计的。。。。 。。。。古板的图像分词器处置惩罚视频时 ,,,,,,,,只能逐帧编码 ,,,,,,,,完全忽略帧与帧之间的时间关联;; ;; ;而Emu3的分词器通过三维卷积核 ,,,,,,,,能够同时捕获空间和时间维度的信息。。。。 。。。。在实验中 ,,,,,,,,这种设计用四分之一的符号数目 ,,,,,,,,就抵达了与逐帧处置惩罚相当的重修质量——这不但意味着更高的效率 ,,,,,,,,更意味着模子能够真正“明确”视频的动态实质 ,,,,,,,,而非仅仅处置惩罚一堆静态图片。。。。 。。。。

有了这个分词器 ,,,,,,,,图像和视频就酿成了与文字一样的符号序列。。。。 。。。。接下来的事情 ,,,,,,,,就是让一个Transformer学会展望这些序列中的“下一个符号”。。。。 。。。。

当简朴遇上规模

Emu3的模子架构 ,,,,,,,,用一句话就能归纳综合:它就是一个标准的大语言模子 ,,,,,,,,只不过词汇内外多了32768个视觉符号。。。。 。。。。

这种极简主义设计在AI研究界是有数的。。。。 。。。。主流的多模态模子——无论是LLaVA、BLIP-2照旧Flamingo——都接纳“编码器+语言模子”的复合架构 ,,,,,,,,即先用一个专门的视觉编码器(通常是CLIP)把图像转换成特征向量 ,,,,,,,,再用适配器将这些特征“注入”语言模子。。。。 。。。。这种设计的利益是可以复用已有的预训练组件 ,,,,,,,,但价钱是系统重漂后的急剧上升 ,,,,,,,,以及模态之间潜在的隔膜——视觉编码器和语言模子事实是自力训练的 ,,,,,,,,它们对天下的明确未必一致。。。。 。。。。

Emu3选择了一条更激进的路:不必任何预训练的视觉编码器 ,,,,,,,,不必任何重大的模态融合机制 ,,,,,,,,只用一个从零最先训练的decoder-only Transformer。。。。 。。。。所有的多模态知识 ,,,,,,,,都是在统一的下一词展望使命中从数据里学来的。。。。 。。。。

这种“大道至简”的设计哲学 ,,,,,,,,在实践中转化为了惊人的实验效果。。。。 。。。。

在图像天生使命上 ,,,,,,,,Emu3在人类偏好评估中得分70.0 ,,,,,,,,逾越了Stable Diffusion XL(66.9)这个扩散模子的标杆;; ;; ;在视觉语言明确的12个基准测试上 ,,,,,,,,它的平均分抵达62.1 ,,,,,,,,与接纳重大编码器架构的LLaVA-1.6(61.8)持平;; ;; ;在视频天生的VBench评估中 ,,,,,,,,它取得了81.0分 ,,,,,,,,凌驾了专门的视频扩散模子Open-Sora-1.2(79.8)。。。。 。。。。

这些数字的意义在于:一个仅仅湖南湘江都会建设有限公司用“展望下一个符号”训练的模子 ,,,,,,,,在天生和明确两个看似矛盾的偏向上 ,,,,,,,,同时抵达了专用模子的水平。。。。 。。。。这在此前被以为是不可能的——事实 ,,,,,,,,扩散模子和自回归模子的数学基础完全差别 ,,,,,,,,善于明确的架构通常不擅永天生 ,,,,,,,,反之亦然。。。。 。。。。Emu3的乐成 ,,,,,,,,相当于一个运发动同时在短跑和马拉松角逐中夺冠 ,,,,,,,,突破的不但是纪录 ,,,,,,,,更是人们对专业化界线的认知。。。。 。。。。