【文/视察者网专栏作者 心河南豫达工程机械有限公司智视察所】
几天前，，，， ，《Nature》杂志刊发了一篇来自中国的人工智能研究论文。。。。。。。。这在顶级学术期刊上并非新鲜事，，，， ，但这篇论文的分量却非同寻常：它来自北京智源人工智能研究院，，，， ，焦点效果是一个名为“Emu3”的多模态大模子，，，， ，而它试图回覆的问题，，，， ，是整个AI领域已往五年来悬而未决的焦点命题——我们能否用一种统一的方法，，，， ，让机械同时学会看、听、说、写，，，， ，以致行动？？？？？
这个问题听起来简朴，，，， ，但它的庞洪水平足以让全球顶尖的AI实验室争论不断。。。。。。。。
OpenAI用Sora惊艳天下，，，， ，靠的是扩散模子；；；；；Google的Gemini整合多模态，，，， ，用的是重大的编码器拼接；；；；；Meta的Chameleon实验统一，，，， ，却始终难以在性能上与专用模子抗衡。。。。。。。。而智源的谜底，，，， ，是一个看起来质朴得近乎偏执的选择：只用“下一词展望”。。。。。。。。
这个选择的意义，，，， ，可能需要一些配景知识才华明确。。。。。。。。
论文前言
一场关于“语言”的豪赌
若是你问一位2020年的AI研究者，，，， ，未来的多模态智能会是什么样子，，，， ，他或许率会给出这样的展望：图像天生归图像天生，，，， ，文字明确归文字明确，，，， ，视频处置惩罚归视频处置惩罚，，，， ，然后我们用某种“胶水”把它们粘在一起。。。。。。。。这不是懒惰，，，， ，而是其时的手艺现实——差别模态的数据特征差别太大，，，， ，专精往往意味着高效。。。。。。。。
事实上，，，， ，这条蹊径在已往几年里取得了重大乐成。。。。。。。。Stable Diffusion让通俗人也能天生惊艳的图像，，，， ，GPT-4让对话AI变得无所不可，，，， ，而种种视觉-语言模子则在问答、识别、形貌等使命上一直刷新纪录。。。。。。。。但问题也随之而来：这些模子就像一个武艺精湛但只会单项运动的运发动，，，， ，让它们协同事情，，，， ，需要重大的工程架构、细腻的模态对齐，，，， ，以及大宗的人工干预。。。。。。。。
更要害的是，，，， ，这种“专科化”的生长路径隐含着一个令人担心的假设：也许机械智能天生就是碎片化的，，，， ，我们永远需要为每一种能力单独训练一个模子。。。。。。。。
Emu3挑战的，，，， ，正是这个假设。。。。。。。。
智源团队的焦点洞见是：若是我们把图像、视频、文字都转换成统一种“语言”——离散的符号序列——那么让模子学习“展望下一个符号”这一个使命，，，， ，是否就足以涵盖所有多模态能力（如下图）？？？？？
这个想法并非没有先例。。。。。。。。早在2020年，，，， ，GPT-3就已经证实，，，， ，仅仅通过展望下一个词，，，， ，语言模子可以涌现出惊人的推理、翻译、编程能力。。。。。。。。但将这一范式扩展到图像和视频，，，， ，面临着截然差别的挑战：一张512×512的图像，，，， ，若是用简朴的方法转换成符号，，，， ，可能需要几十万个token，，，， ，这关于Transformer架构来说是灾难性的盘算肩负；；；；；更主要的是，，，， ，图像的空间结构、视频的时间一连性，，，， ，与文字的线性叙事有着实质区别，，，， ，简朴的“下一词展望”真的能捕获这些重大的关系吗？？？？？
智源的谜底是一定的，，，， ，而Emu3就是他们的证实。。。。。。。。
一个分词器的艺术
要明确Emu3的手艺突破，，，， ，首先要明确它的“视觉分词器”（Vision Tokenizer）。。。。。。。。这个听起来不起眼的组件，，，， ，现实上是整个系统的基石。。。。。。。。
想象一下，，，， ，你需要用电报向一个从未见过图片的人形貌一幅画。。。。。。。。你不可能传输原始的像素值——那太冗长了；；；；；你也不可只说“一幅景物画”——那太模糊了。。。。。。。。你需要的是一种既紧凑又富有体现力的编码方法，，，， ，能够在有限的符号中保存足够的视觉信息。。。。。。。。
Emu3的视觉分词器做的正是这件事。。。。。。。。它能够将一张512×512的图像压缩成仅仅4096个离散符号，，，， ，压缩比抵达64:1；；；；；关于视频，，，， ，它在时间维度上进一步压缩4倍，，，， ，使得一段4帧的视频片断也只需要4096个符号体现。。。。。。。。这些符号来自一个包括32768个“词汇”的码本——你可以把它想象成一本视觉辞书，，，， ，每个“词”代表一种特定的视觉模式。。。。。。。。
更精妙的是，，，， ，这个分词器是为视频原生设计的。。。。。。。。古板的图像分词器处置惩罚视频时，，，， ，只能逐帧编码，，，， ，完全忽略帧与帧之间的时间关联；；；；；而Emu3的分词器通过三维卷积核，，，， ，能够同时捕获空间和时间维度的信息。。。。。。。。在实验中，，，， ，这种设计用四分之一的符号数目，，，， ，就抵达了与逐帧处置惩罚相当的重修质量——这不但意味着更高的效率，，，， ，更意味着模子能够真正“明确”视频的动态实质，，，， ，而非仅仅处置惩罚一堆静态图片。。。。。。。。
有了这个分词器，，，， ，图像和视频就酿成了与文字一样的符号序列。。。。。。。。接下来的事情，，，， ，就是让一个Transformer学会展望这些序列中的“下一个符号”。。。。。。。。
当简朴遇上规模
Emu3的模子架构，，，， ，用一句话就能归纳综合：它就是一个标准的大语言模子，，，， ，只不过词汇内外多了32768个视觉符号。。。。。。。。
这种极简主义设计在AI研究界是有数的。。。。。。。。主流的多模态模子——无论是LLaVA、BLIP-2照旧Flamingo——都接纳“编码器+语言模子”的复合架构，，，， ，即先用一个专门的视觉编码器（通常是CLIP）把图像转换成特征向量，，，， ，再用适配器将这些特征“注入”语言模子。。。。。。。。这种设计的利益是可以复用已有的预训练组件，，，， ，但价钱是系统重漂后的急剧上升，，，， ，以及模态之间潜在的隔膜——视觉编码器和语言模子事实是自力训练的，，，， ，它们对天下的明确未必一致。。。。。。。。
Emu3选择了一条更激进的路：不必任何预训练的视觉编码器，，，， ，不必任何重大的模态融合机制，，，， ，只用一个从零最先训练的decoder-only Transformer。。。。。。。。所有的多模态知识，，，， ，都是在统一的下一词展望使命中从数据里学来的。。。。。。。。
这种“大道至简”的设计哲学，，，， ，在实践中转化为了惊人的实验效果。。。。。。。。
在图像天生使命上，，，， ，Emu3在人类偏好评估中得分70.0，，，， ，逾越了Stable Diffusion XL（66.9）这个扩散模子的标杆；；；；；在视觉语言明确的12个基准测试上，，，， ，它的平均分抵达62.1，，，， ，与接纳重大编码器架构的LLaVA-1.6（61.8）持平；；；；；在视频天生的VBench评估中，，，， ，它取得了81.0分，，，， ，凌驾了专门的视频扩散模子Open-Sora-1.2（79.8）。。。。。。。。
这些数字的意义在于：一个仅仅用“展望下一个符号”训练的模子，，，， ，在天生和明确两个看似矛盾的偏向上，，，， ，同时抵达了专用模子的水平。。。。。。。。这在此前被以为是不可能的——事实，，，， ，扩散模子和自回归模子的数学基础完全差别，，，， ，善于明确的架构通常不擅永天生，，，， ，反之亦然。。。。。。。。Emu3的乐成，，，， ，相当于一个运发动同时在短跑和马拉松角逐中夺冠，，，， ，突破的不但是纪录，，，， ，更是人们对专业化界线的认知。。。。。。。。
规模定律的启示
若是说单点性能的突破还可以归因于工程技巧或数据质量，，，， ，那么Emu3论文中最具科学价值的发明，，，， ，则来自于它对规模定律Scaling Laws的系统研究。。。。。。。。
规模定律是现代AI研究的圣杯之一。。。。。。。。它形貌的是模子性能与模子规模、数据规模之间的数学关系——若是我们知道这个关系，，，， ，就能展望一个更大模子的体现，，，， ，而不需要真的逊。。。。。。。。这关于动辄消耗数百万美元盘算资源的大模子研发来说，，，， ，具有极其主要的适用价值。。。。。。。。
此前的规模定律研究主要集中在纯语言模子上。。。。。。。。Emu3的孝顺在于，，，， ，它证实晰多模态学习同样遵照可展望的规模定律，，，， ，并且——这是要害——差别模态共享统一套数据扩展指数。。。。。。。。
详细而言，，，， ，无论是文字到图像、图像到文字，，，， ，照旧文字到视频，，，， ，当训练数据量翻倍时，，，， ，模子的验证损失都以0.55的指数下降。。。。。。。。这意味着多模态能力的提升不是各自为政的，，，， ，而是遵照统一的数学纪律。。。。。。。。�；；；；诮闲∧Ｗ拥氖笛槭荩�，， ，研究团队准确展望了70亿参数模子的性能，，，， ，拟合优度凌驾0.99，，，， ，误差不到3%。。。。。。。。
这个发明的意义远超学术领域。。。。。。。。它体现着，，，， ，未来的多模态智能可能不需要为每种能力单独设计训练战略——只要把差别模态的数据混淆在一起，，，， ，用统一的目的训练，，，， ，规模扩大后能力就会自然涌现。。。。。。。。这极大地简化了研发路径，，，， ，降低了手艺门槛，，，， ，也让通用人工智能AGI的愿景变得越发可信。。。。。。。。
论文的另一个亮点，，，， ，是Emu3在机械人操控使命上的精彩体现。。。。。。。。
在CALVIN基准测试——一个评估机械人执行长序列使命能力的标准测试——中，，，， ，Emu3在“一连完成五个使命”的指标上抵达了87%的乐成率。。。。。。。。这意味着机械人在接受语言指令后，，，， ，能够依次完成一系列重大操作，，，， ，如“拿起桌上的杯子”、“翻开抽屉”、“把杯子放进去”等，，，， ，每一步都需要视觉感知、语言明确和行动妄想的细密配合。。。。。。。。
这个效果展现了Emu3框架的深层潜力：它不但仅是一个内容天生工具，，，， ，更可能是通往具身智能的一条捷径。。。。。。。。古板的机械人学习需要专门设计感知模浚浚浚浚块、决议模浚浚浚浚块和控制模浚浚浚浚块，，，， ，然后艰难地将它们整合在一起；；；；；而Emu3的思绪是，，，， ，把视觉视察、语言指令和机械臂行动都转换成符号序列，，，， ，让模子在统一的框架下学习它们之间的关联。。。。。。。。
论文中展示了一个令人印象深刻的例子：给定一段烹饪视频的前两秒，，，， ，Emu3可以展望接下来两秒会爆发什么——锅中的食材怎样翻炒（如下图），，，， ，厨师的手会移向那里，，，， ，蒸汽会怎样升腾。。。。。。。。这种“天下模子”的能力，，，， ，被以为是通向更高级AI的要害：一个真正明确物理天下的模子，，，， ，应该能够展望行动的效果，，，， ，而非仅仅影象静态的图像-文字关联。。。。。。。。
与外洋偕行的较量
在全球AI研究的国界上，，，， ，Emu3处于什么位置？？？？？
最直接的较量工具是Meta的Chameleon。。。。。。。。这是另一个实验统一多模态学习的模子，，，， ，同样接纳了token化和自回归展望的范式。。。。。。。。但Chameleon在宣布时面临着一个尴尬的处境：虽然架构统一，，，， ，但性能与专用模子保存显着差别，，，， ，尤其在图像天生质量上。。。。。。。。Emu3的突破在于，，，， ，它证实晰这个差别可以被弥合——要害在于视觉分词器的质量和训练战略的优化。。。。。。。。
与OpenAI的蹊径相比，，，， ，差别则越发基础。。。。。。。。OpenAI的Sora代表了扩散模子在视频天生上的巅峰，，，， ，它的视觉质量和时间一致性令人叹为观止。。。。。。。。但扩散模子有一个内在限制：它实质上是一个天生器，，，， ，而非明确器。。。。。。。。要让Sora“明确”视频内容并回覆问题，，，， ，需要特殊嫁接一个视觉语言模子——这又回到了模态割裂的老路。。。。。。。。Emu3的自回归范式则自然统一了天生与明确：天生是展望视觉符号，，，， ，明确是展望文字符号，，，， ，它们在统一个模子里用统一种方法完成。。。。。。。。
Google的Gemini接纳了一种更折中的战略：它确实整合了多种模态，，，， ，但内部架构仍然依赖预训练的视觉编码器和重大的模态融合机制。。。。。。。。这种设计的利益是可以快速使用已有的手艺积累，，，， ，但价钱是系统的重大性和潜在的模态私见。。。。。。。。Emu3的从零训练战略虽然盘算本钱更高，，，， ，但带来的是更纯粹的多模态表征——所有模态的知识都是在统一个优化目的下配合习得的。。。。。。。。
从开放性的角度看，，，， ，Emu3的优势更为显着。。。。。。。。论文作者允许开源要害手艺和模子，，，， ，包括视觉分词器、训练代码和预训练权重。。。。。。。。这与OpenAI对Sora和GPT-4的关闭战略形成鲜明比照。。。。。。。。关于中国以致全球的AI研究社区来说，，，， ，这意味着一条新的手艺蹊径变得可以复现、可以刷新、可以建设在上面。。。。。。。。
商业化的想象空间
手艺突破最终需要转化为社会价值，，，， ，而Emu3的架构特征为商业化提供了奇异的可能性。。。。。。。。
首先是安排效率。。。。。。。。Emu3的焦点是一个标准的Transformer，，，， ，这意味着它可以直接复用大语言模子已经很是成熟的推理基础设施——包括vLLM的动态批处置惩罚、PagedAttention的内存优化、种种量化和剪枝手艺。。。。。。。。论文提到，，，， ，研究团队基于FlagScale开发了支持无分类器指导的推理后端，，，， ，在坚持天生质量的同时实现了低延迟和高吞吐。。。。。。。。这为大规模效劳涤讪了基础。。。。。。。。
其次是应用的统一性。。。。。。。。古板的多模态效劳需要为差别的能力安排差别的模子——一个处置惩罚图像天生，，，， ，一个处置惩罚视觉问答，，，， ，一个处置惩罚视频明确——这带来了显著的运维重漂后和资源铺张。。。。。。。。Emu3的简单模子架构意味着一套安排可以支持多种能力，，，， ，大大降低了效劳的边际本钱。。。。。。。。
更具想象力的是交互形态的厘革。。。。。。。。当一个模子同时具备天生和明确能力，，，， ，并且可以处置惩罚图像、视频、文字的恣意组适时，，，， ，古板的“输入-输出”界线就变得模糊了。。。。。。。。一个用户可以上传一段产品演示视频，，，， ，要求模子天生配套的图文说明书；；；；；可以形貌一个场景，，，， ，让模子天生视频并实时回覆关于视频内容的问题；；；；；甚至可以让模子“想象”一个物理历程的效果，，，， ，好比“若是我把这杯水倒在键盘上会爆发什么”。。。。。。。。这些交互在此前需要重大的多模子协作，，，， ，现在可能在简单模子内流通完成。。。。。。。。
在特定笔直领域，，，， ，Emu3的潜力同样值得关注。。。。。。。。教育场景中，，，， ，一个能够天生演示图像、诠释看法、回覆问题的统一助手，，，， ，比疏散的工具组合越发自然；；；；；电阛阓景中，，，， ，从产品图片的天生、变体的建设、到用户问询的回覆，，，， ，可以在统一个模子中完成；；；；；医疗影像剖析中，，，， ，统一的多模态明确可能资助医生更高效地处置惩罚报告和图像。。。。。。。。
虽然，，，， ，从实验室原型到商业产品尚有很长的路要走。。。。。。。。论文也坦诚地讨论了现有的局限：推理速率仍有提升空间，，，， ，视觉分词器在压缩率和保真度之间保存权衡，，，， ，长视频的处置惩罚能力有待增强。。。。。。。。但这些是工程优化的问题，，，， ，而非范式上的死胡同。。。。。。。。
一个范式的起源
回到本文开头的问题：Emu3的真正意义是什么？？？？？
从手艺角度看，，，， ，它证实晰“下一词展望”作为多模态学习统一范式的可行性。。。。。。。。这不是一个增量式的刷新，，，， ，而是对主流手艺蹊径的根天性挑战。。。。。。。。若是Emu3的效果可以被进一步扩展——更大的模子、更多的数据、更长的上下文——那么AI领域可能正站在一次范式转移的门槛上。。。。。。。。
从工业角度看，，，， ，它为中国AI研究树立了一个新的标杆。。。。。。。。在大模子竞争中，，，， ，中国团队往往被以为是快速跟进者而非规则制订者。。。。。。。。Emu3登上Nature，，，， ，不但是学术声誉的认可，，，， ，更主要的是它提出了一条差别于OpenAI、Google、Meta的手艺蹊径，，，， ，并且用实验证实晰这条蹊径是可行的。。。。。。。。这种原创性的孝顺，，，， ，是建设恒久手艺影响力的基础。。。。。。。。
从更宏观的视角看，，，， ，Emu3的乐成体现着一种可能的未来：也许智能的实质就是展望。。。。。。。。展望下一个词，，，， ，展望下一帧画面，，，， ，展望下一个行动——当这些展望使命被统一到统一个框架中，，，， ，涌现出的可能不但仅是更强的模子，，，， ，而是对“明确”和“创立”自己的新诠释。。。。。。。。
论文的最后写道：“统一的下一符号建模为天下模子提供了一条有希望的蹊径，，，， ，这种模子整合了感知、语言和行动。。。。。。。。”这不但是一个手艺愿景，，，， ，也是一种哲学态度！！�。。。。。褐悄芤残聿恍枰黄饰龀上嗷プ粤Φ哪？？？？？椋�，， ，它可以是一连的、统一的、自然生长的。。。。。。。。
虽然，，，， ，一篇论文不可回覆所有问题。。。。。。。。Emu3的上下文窗口还不敷长，，，， ，处置惩罚小时级视频仍是挑战；；；；；它的推理能力与专用语言模子相比仍有差别；；；；；它对真实物理天下的”明确”事实有多深，，，， ，还需要更严酷的测试。。。。。。。。但它已经迈出了要害的一步：证实晰一条更精练、更统一的蹊径是保存的。。。。。。。。
在AI生长史上，，，， ，最主要的突破往往不是做出更重大的系统，，，， ，而是找到更简朴的原则。。。。。。。。从反向撒播到注重力机制，，，， ，从强化学习到扩散模子，，，， ，每一次奔腾都源于对重大性的简化。。。。。。。。Emu3的孝顺，，，， ，也许正是把多模态智能的重大性，，，， ，简化成了一个质朴的问题：下一个符号是什么？？？？？
这个问题的谜底，，，， ，将塑造AI的下一个十年。。。。。。。。
本文系视察者网独家稿件，，，， ，文河南豫达工程机械有限公司章内容纯属作者小我私家看法，，，， ，不代表平台看法，，，， ，未经授权，，，， ，不得转载，，，， ，不然将追究执法责任。。。。。。。。关注视察者网微信guanchacn，，，， ，逐日阅读意见意义文章。。。。。。。。