【文/网专栏作者 心智视察所壹品餐饮治理有限公司】
几天前 ，，，，，《Nature》杂志刊发了一篇来自中国的人工智能研究论文。。。。。。。这在顶级学术期刊上并非新鲜事 ，，，，，但这篇论文的分量却非同寻常：它来自北京智源人工智能研究院 ，，，，，焦点效果是一个名为“Emu3”的多模态大模子 ，，，，，而它试图回覆的问题 ，，，，，是整个AI领域已往五年来悬而未决的焦点命题——我们能否用一种统一的方法 ，，，，，让机械同时学会看、听、说、写 ，，，，，以致行动？？ ？？？ ？？
这个问题听起来简朴 ，，，，，但它的庞洪水平足以让全球顶尖的AI实验室争论不断。。。。。。。
OpenAI用Sora惊艳天下 ，，，，，靠的是扩散模子；；；；； ；；Google的Gemini整合多模态 ，，，，，用的是重大的编码器拼接；；；；； ；；Meta的Chameleon实验统一 ，，，，，却始终难以在性能上与专用模子抗衡。。。。。。。而智源的谜底 ，，，，，是一个看起来质朴得近乎偏执的选择：只用“下一词展望”。。。。。。。
这个选择的意义 ，，，，，可能需要一些配景知识才华明确。。。。。。。
论文前言
一场关于“语言”的豪赌
若是你问一位2020年的AI研究者 ，，，，，未来的多模态智能会是什么样子 ，，，，，他或许率会给出这样的展望：图像天生归图像天生 ，，，，，文字明确归文字明确 ，，，，，视频处置惩罚归视频处置惩罚 ，，，，，然后我们用某种“胶水”把它们粘在一起。。。。。。。这不是懒惰 ，，，，，而是其时的手艺现实——差别模态的数据特征差别太大 ，，，，，专精往往意味着高效。。。。。。。
事实上 ，，，，，这条蹊径在已往几年里取得了重大乐成。。。。。。。Stable Diffusion让通俗人也能天生惊艳的图像 ，，，，，GPT-4让对话AI变得无所不可 ，，，，，而种种视觉-语言模子则在问答、识别、形貌等使命上一直刷新纪录。。。。。。。但问题也随之而来：这些模子就像一个武艺精湛但只会单项运动的运发动 ，，，，，让它们协同事情 ，，，，，需要重大的工程架构、细腻的模态对齐 ，，，，，以及大宗的人工干预。。。。。。。
更要害的是 ，，，，，这种“专科化”的生长路径隐含着一个令人担心的假设：也许机械智能天生就是碎片化的 ，，，，，我们永远需要为每一种能力单独训练一个模子。。。。。。。
Emu3挑战的 ，，，，，正是这个假设。。。。。。。
智源团队的焦点洞见是：若是我们把图像、视频、文字都转换成统一种“语言”——离散的符号序列——那么让模子学习“展望下一个符号”这一个使命 ，，，，，是否就足以涵盖所有多模态能力（如下图）？？ ？？？ ？？
这个想法并非没有先例。。。。。。。早在2020年 ，，，，，GPT-3就已经证实 ，，，，，仅仅通过展望下一个词 ，，，，，语言模子可以涌现出惊人的推理、翻译、编程能力。。。。。。。但将这一范式扩展到图像和视频 ，，，，，面临着截然差别的挑战：一张512×512的图像 ，，，，，若是用简朴的方法转换成符号 ，，，，，可能需要几十万个token ，，，，，这关于Transformer架构来说是灾难性的盘算肩负；；；；； ；；更主要的是 ，，，，，图像的空间结构、视频的时间一连性 ，，，，，与文字的线性叙事有着实质区别 ，，，，，简朴的“下一词展望”真的能捕获这些重大的关系吗？？ ？？？ ？？
智源的谜底是一定的 ，，，，，而Emu3就是他们的证实。。。。。。。
一个分词器的艺术
要明确Emu3的手艺突破 ，，，，，首先要明确它的“视觉分词器”（Vision Tokenizer）。。。。。。。这个听起来不起眼的组件 ，，，，，现实上是整个系统的基石。。。。。。。
想象一下 ，，，，，你需要用电报向一个从未见过图片的人形貌一幅画。。。。。。。你不可能传输原始的像素值——那太冗长了；；；；； ；；你也不可只说“一幅景物画”——那太模糊了。。。。。。。你需要的是一种既紧凑又富有体现力的编码方法 ，，，，，能够在有限的符号中保存足够的视觉信息。。。。。。。
Emu3的视觉分词器做的正是这件事。。。。。。。它能够将一张512×512的图像压缩成仅仅4096个离散符号 ，，，，，压缩比抵达64:1；；；；； ；；关于视频 ，，，，，它在时间维度上进一步压缩4倍 ，，，，，使得一段4帧的视频片断也只需要4096个符号体现。。。。。。。这些符号来自一个包括32768个“词汇”的码本——你可以把它想象成一本视觉辞书 ，，，，，每个“词”代表一种特定的视觉模式。。。。。。。
更精妙的是 ，，，，，这个分词器是为视频原生设计的。。。。。。。古板的图像分词器处置惩罚视频时 ，，，，，只能逐帧编码 ，，，，，完全忽略帧与帧之间的时间关联；；；；； ；；而Emu3的分词器通过三维卷积核 ，，，，，能够同时捕获空间和时间维度的信息。。。。。。。在实验中 ，，，，，这种设计用四分之一的符号数目 ，，，，，就抵达了与逐帧处置惩罚相当的重修质量——这不但意味着更高的效率 ，，，，，更意味着模子能够真正“明确”视频的动态实质 ，，，，，而非仅仅处置惩罚一堆静态图片。。。。。。。
有了这个分词器 ，，，，，图像和视频就酿成了与文字一样的符号序列。。。。。。。接下来的事情 ，，，，，就是让一个Transformer学会展望这些序列中的“下一个符号”。。。。。。。
当简朴遇上规模
Emu3的模子架构 ，，，，，用一句话就能归纳综合：它就是一个标准的大语言模子 ，，，，，只不过词汇内外多了32768个视觉符号。。。。。。。
这种极简主义设计在AI研究界是有数的。。。。。。。主流的多模态模子——无论是LLaVA、BLIP-2照旧Flamingo——都接纳“编码器+语言模子”的复合架构 ，，，，，即先用一个专门的视觉编码器（通常是CLIP）把图像转换成特征向量 ，，，，，再用适配器将这些特征“注入”语言模子。。。。。。。这种设计的利益是可以复用已有的预训练组件 ，，，，，但价钱是系统重漂后的急剧上升 ，，，，，以及模态之间潜在的隔膜——视觉编码器和语言模子事实是自力训练的 ，，，，，它们对天下的明确未必一致。。。。。。。
Emu3选择了一条更激进的路：不必任何预训练的视觉编码器 ，，，，，不必任何重大的模态融合机制 ，，，，，只用一个从零最先训练的decoder-only Transformer。。。。。。。所有的多模态知识 ，，，，，都是在统一的下一词展望使命中从数据里学来的。。。。。。。
这种“大道至简”的设计哲学 ，，，，，在实践中转化为了惊人的实验效果。。。。。。。
在图像天生使命上 ，，，，，Emu3在人类偏好评估中得分70.0 ，，，，，逾越了Stable Diffusion XL（66.9）这个扩散模子的标杆；；；；； ；；在视觉语言明确的12个基准测试上 ，，，，，它的平均分抵达62.1 ，，，，，与接纳重大编码器架构的LLaVA-1.6（61.8）持平；；；；； ；；在视频天生的VBench评估中 ，，，，，它取得了81.0分 ，，，，，凌驾了专门的视频扩散模子Open-Sora-1.2（79.8）。。。。。。。
这些数字的意义在于：一个仅仅壹品餐饮治理有限公司用“展望下一个符号”训练的模子 ，，，，，在天生和明确两个看似矛盾的偏向上 ，，，，，同时抵达了专用模子的水平。。。。。。。这在此前被以为是不可能的——事实 ，，，，，扩散模子和自回归模子的数学基础完全差别 ，，，，，善于明确的架构通常不擅永天生 ，，，，，反之亦然。。。。。。。Emu3的乐成 ，，，，，相当于一个运发动同时在短跑和马拉松角逐中夺冠 ，，，，，突破的不但是纪录 ，，，，，更是人们对专业化界线的认知。。。。。。。