智工具作者 李水青编辑 漠影

智工具2月1日报道，，，，，，，北京时间1月29日，，，，，，，北京智源人工智能研究院推出的多模态大模子“悟界·Emu”登上Nature正刊，，，，，，，成为继DeepSeek之后第二个告竣此成绩的中国大模子团队研究效果，，，，，，，也是中国首篇围绕多模态大模子蹊径的Nature论文。。。。。

▲Nature官网截图

Nature编辑点评道：“Emu3仅基于‘展望下一个token’实现了大规模文本、图像和视频的统一学习，，，，，，，其在天生与感知使命上的性能可与使用专门蹊径相当，，，，，，，这一效果对构建可扩展、统一的多模态智能系统具有主要意义，，，，，，，有望推动原生多模态助手、天下模子以及具身智能等偏向的生长。。。。。”

▲Emu3有望推动具身智能等偏向生长

“悟界·Emu3”模子由智源研究院于2024年10月推出。。。。。无论在感知和照旧天生方面，，，，，，，Emu3均抵达了与特定使命旗舰模子相媲美的性能。。。。。该模子能够完成文本到图像天生、文本到视频天生、未来展望、视觉语言明确、交织图像文本天生以及具身操作等多方面使命，，，，，，，这一效果关于确立自回归成为天生式AI统一蹊径具有重大意义。。。。。

如下图所示，，，，，，，Emu3的图像天生在MSCOCO-30K23等基准上体现优于SDXL等扩散模子；；；；；；；视频天生在VBench评分达81，，，，，，，凌驾Open-Sora 1.2；；；；；；；视觉语言明确得分62.1，，，，，，，略高于LLaVA-1.6。。。。。只管这一效果在现在已经较量寻常，，，，，，，但在两年前却非统一样平常。。。。。

▲Emu3图像天生、视觉-语言明确和视频天生的主要测评效果

前OpenAI政策主管、现Anthropic团结首创人杰克·克拉克（Jack Clark）其时评价Emu3：“不依赖花哨的架构技巧，，，，，，，仅用最基础的展望下一个token的逻辑，，，，，，，这种‘简朴’被视为具备强盛的扩展潜力。。。。。”

而正是这种“简朴”架构蹊径，，，，，，，对降低大模子研发门槛和本钱意义重大。。。。。“越是极简的架构，，，，，，，可能越具备强盛的生产力，，，，，，，对工业的价值也越大。。。。。”智源研究院院长王仲远告诉智工具，，，，，，，“由于它简化了多模态AI架构，，，，，，，镌汰了研发历程中的重大性和潜在过失，，，，，，，从而使模子的构建和维护更高效。。。。。”

▲智源研究院院长王仲远

到2025年10月，，，，，，，“悟界·Emu”系列已迭代出多模态天下模子。。。。。Emu3.5可以明确长时序、空间一致的序列，，，，，，，模拟在虚拟天下中的探索和操作，，，，，，，不但逾越谷歌Nano Banana等模子拿下多模态SOTA，，，，，，，并首次指明晰“多模态Scaling 范式”，，，，，，，让模子自觉学习天下演变的内在纪律，，，，，，，为具身智能等物理AI领域生长提供了主要新路径。。。。。

▲Emu3.5延续了多模态数据统一建模的焦点头脑

Emu3为什么能够登上Nature正刊，，，，，，，获得国际学术界的高度认可？？？？？背后降生了什么样的AI原创手艺，，，，，，，并履历了什么样的挑战？？？？？这又将对学界和工业界的生长爆发什么样的现实影响？？？？？本文试图对这些问题举行深入探讨。。。。。

论文名：《通过展望下一个token举行多模态学习的多模态大模子（Multimodal learning with next-token prediction for large multimodal models）》论文地点：https://www.nature.com/articles/s41586-025-10041-xGitHub地点：https://github.com/baaivision/Emu3

▲Emu3论文部分截图

一、50人小组死磕“统一”：一场押注AI未来的手艺豪赌

Emu3模子最早立项是在2024年2月，，，，，，，其时正值团队重新审阅大模子生长路径——随着GPT-4、Sora的爆火，，，，，，，“展望下一个token”自回归蹊径彻底改变了语言模子领域，，，，，，，并引发了关于AGI早期迹象的讨论，，，，，，，而在多模态天生领域，，，，，，，DiT（Difussion Transformer）架组成为主流，，，，，，，最先展现出令人惊艳的天生效果。。。。。

自回归手艺蹊径是否可以作为通用蹊径统一多模态？？？？？一直是未解之谜。。。。。

Emu3的开创性，，，，，，，就在于仅接纳“展望下一个token（NTP）”自回归蹊径，，，，，，，就实现统一多模态学习，，，，，，，训练出性能精彩的原生多模态大模子。。。。。

时间线拉回到立项之前，，，，，，，其时智源研究院团队举行了大宗剖析和辩说，，，，，，，告竣一个共识——多模态是未来实现AGI的要害路径，，，，，，，但现有的多模态天生恒久以理由扩散模子主导，，，，，，，而视觉语言感知则主要由组合式要领引领，，，，，，，并不收敛统一，，，，，，，保存手艺天花板。。。。。

只管已有业内人士试图统一天生与感知（如Emu和Chameleon），，，，，，，但这些事情要么简朴地将大语言模子与扩散模子拼接在一起，，，，，，，要么在性能效果上缺乏那些针对天生或感知使命全心设计的专用要领。。。。。

自回归架构能否作为原生统一多模态的手艺蹊径，，，，，，，信与不信，，，，，，，这是一个重大的手艺决议。。。。。最终在2024年2月尾，，，，，，，智源研究院决议，，，，，，，组建一支五十人的手艺攻关团队，，，，，，，以自回归架构为焦点举行研发，，，，，，，并接纳离散的token方法，，，，，，，以精简架构和大规模复用的大语言模子基础设施，，，，，，，开启全新的多模态模子Emu3的研发事情。。。。。

该模子开创性地将图像、文本和视频统一离散化到统一个体现空间中，，，，，，，并从零最先，，，，，，，在多模态序列混淆数据上团结训练一个简单的 Transformer。。。。。

▲Emu3可完成差别多模态使命

这是一条挑战古板的“冒险”之路，，，，，，，在乐成之前，，，，，，，智源研究院团队履历了重重挑战。。。。。

首先不言而喻的是手艺上的挑战。。。。。选择“离散的token”方法自己是一种冒险，，，，，，，由于它实验为视觉和其他模态重新发明一种与人类文字语言对齐的语言系统。。。。。在图像压缩历程中，，，，，，，由于图像信息相较于文字的信息量更大，，，，，，，但冗余更多，，，，，，，这使得基于token压缩图像时难以训练出有用模子，，，，，，，在这个历程中也难免受挫和沮丧。。。。。

第二，，，，，，，更深条理的是路径上的质疑。。。。。2024年海内各个大模子团队都在如火如荼地复现GPT-4，，，，，，，许多头部玩家一边也结构了多模态模子，，，，，，，但现实历程中保存摇晃，，，，，，，最终因资源消耗大、主线仍聚焦于语言模子等缘故原由而砍掉了团队。。。。。智源研究院在这样的工业大配景下坚持了下来，，，，，，，背后需要一号位强盛的信心和团队强盛的定力。。。。。

第三，，，，，，，“多模态能否提升模子的智能”这个问题，，，，，，，其时还没有完全成定论。。。。。但智源团队坚信，，，，，，，下一代模子若是要进入到物理天下，，，，，，，仅靠文字是不敷的，，，，，，，需要一个“见过天下”的模子。。。。。他们信托，，，，，，，不管突破多模态模子以致天下模子智能升级有多灾，，，，，，，它都是实现AGI的一条必经之路。。。。。

二、性能匹敌专用模子：两年，，，，，，，Emu3已深度影响工业生长脉络

多位业内专业人士告诉智工具，，，，，，，Emu3模子宣布两年多以来，，，，，，，已经对多模态领域爆发了显著影响，，，，，，，推动了整个工业的生长脉络。。。。。有证据批注其在工业界中获得了普遍应用和高度认可。。。。。

而进入工业应用的条件，，，，，，，是Emu3首先打赢了“性能”这一仗。。。。。在多模态天生与感知使命上，，，，，，，Emu3的整体体现可与多种成熟的使命专用模子相媲美。。。。。

首先聚焦文本到图像天生能力，，，，，，，在MSCOCO-30K23、GenEval24、T2I-CompBench25等多个基准上，，，，，，，Emu3的性能与其时最先进的扩散模子相当：逾越了SD1.5、SDXL等模子，，，，，，，并靠近DALL-E 3、FLUX.1（Dev）等模子。。。。。

▲Emu3的性能与最先进的扩散模子相当

如下图所示，，，，，，，在文生图使命中，，，，，，，其效果抵达扩散模子水平；；；；；；；在视觉语言明确方面，，，，，，，其可以与融合CLIP和大语言模子的主流计划比肩。。。。。

▲Emu3在文生图和视觉语言明确上比肩主流计划

在视觉语言明确方面，，，，，，，如下图所示，，，，，，，Emu3作为一种纯粹的无编码器要领，，，，，，，在多个基准测试中抵达了与其同类要领相当的性能。。。。。取得这样的视觉-语言明确能力，，，，，，，Emu3并未依赖专门的预训练大语言模子和CLIP。。。。。

▲Emu3在视觉-语言明确能力方面的测评效果

在零样本图像修复案例中，，，，，，，给定输入图像（每行左侧）和响应提醒，，，，，，，Emu3能准确填充界线框内的掩码区域，，，，，，，天生语义对齐的内容，，，，，，，且无需特定使命的微调。。。。。

▲Emu3零样本图像修复

同时，，，，，，，Emu3还具备视频天生能力。。。。。Emu3原生支持天生24帧/秒的5秒视频，，，，，，，并可通过自回归要领举行扩展。。。。。如图所示，，，，，，，在扩展数据表3中，，，，，，，Emu3所爆发的效果与其他视频扩散模子相比具有很强的竞争力：Emu3的性能凌驾Open Sora V1.2、Kling（2024）、Gen-3等昔时的着名专用模子。。。。。

▲Emu3与其他视频扩散模子比照情形

Emu3可以通过展望未来帧来扩展视频。。。。。以视频扩展的定性为例，，，，，，，将2秒、24帧/秒的视频token化为离散视觉token作为上下文。。。。。Emu3以同样的离散视觉token形式展望后续2秒的内容，，，，，，，这些token可以被解token化以天生展望的未来视频。。。。。

差别于Sora等模子的以噪声为起点的扩散式视频天生模子，，，，，，，Emu3通过自回归方法逐token展望视频序列，，，，，，，实现基于因果的视频天生与延展，，，，，，，展现出对物理天下中情形、人类与动物行为的起源模拟能力。。。。。

Emu3还可拓展至视觉语言交织天生，，，，，，，例如图文并茂的菜谱天生。。。。。

▲交织图文天生效果的可视化

其也可拓展至视觉语言行动建模，，，，，，，如机械人操作VLA等，，，，，，，进一步体现了“展望下一个token”的通用性。。。。。

▲Droid数据集上视觉展望的可视化

事实上，，，，，，，在Nature论文之外，，，，，，，智源研究院于2025年10月30日宣布了Emu3的后续版本Emu3.5，，，，，，，其在多种多模态使命上继续展现出令人惊艳的效果以及SOTA的效果，，，，，，，比照Emu3有了全方位、大幅度的性能提升，，，，，，，开启多模态天下大模子新纪元。。。。。

“悟界·Emu”系列在架构理念和现实效果上都抵达了产品级，，，，，，，这才使它不但在学术界获得了《自然》期刊的高度认可，，，，，，，并且在业界引起了普遍关注。。。。。Emu3及后续版本的效果具有重大工业应用远景，，，，，，，可能改写整个多模态大模子名堂，，，，，，，为中国在下一代大模子下的原创科研效果树立了规范。。。。。

三、扩散模子已死？？？？？手艺角度揭秘Emu3框架

Emu3及后续版本的宣布，，，，，，，一度在开发者社区引起讨论和关注，，，，，，，甚至爆发了“扩散模子已死”的说法。。。。。

对此，，，，，，，王仲远坦言，，，，，，，现在关于扩散模子的研究趋势尚不可定论。。。。。虽然有一些效果如Emu3.5提供了天下模子的可行路径，，，，，，，但并非唯一起径。。。。。未来可能会有更多手艺路径实现“展望下一个状态”，，，，，，，且扩散模子也在与其他手艺团结刷新。。。。。因此，，，，，，，不可断言扩散模子会消逝，，，，，，，而是需要一连视察和学习交流。。。。。

只管不可断言自回归蹊径已经一统天下，，，，，，，但Emu3已经为工业提供了一条新的平坦大路。。。。。

回到Emu3模子架构来看，，，，，，，其保存了Llama-2等成熟大语言模子的架构框架，，，，，，，主要修改在于扩展了嵌入层以容纳离散的视觉标记。。。。。这是一个统一的、仅含解码器的框架，，，，，，，该框架将语言、图像和视频建模为简单的离散标记序列，，，，，，，并通过下一个标记展望目的举行端到端训练。。。。。

下图展示了该框架，，，，，，，其要领包括五个细麋集成的组件：

1、一个大型的混淆多模态训练数据集。。。。。

2、一个统一的标记器，，，，，，，可将图像和视频片断转换为紧凑的离散标记流（视觉分词器）。。。。。

3、一个基于Transformer的仅解码器架构，，，，，，，该架构扩展了大型语言模子的嵌入空间以接受视觉标记，，，，，，，其他方面则遵照标准的仅解码器设计选择（架构）。。。。。

4、一个两阶段优化计划，，，，，，，包括接纳平衡交织熵损失的大规模多模态预训练，，，，，，，以及与使命名堂和人类偏好对齐的高质量后训练（预训练和后训练）。。。。。

5、一个高效的推理后端，，，，，，，支持无分类器指导（CFG）、低延迟和高吞吐量，，，，，，，用于自回归多模态天生（推理）。。。。。

▲Emu3架构图

这一架构证实，，，，，，，仅凭“展望下一个token”，，，，，，，我们就能够同时支持高水平的天生能力与明确能力，，，，，，，并且在统一统一架构下，，，，，，，自然地扩展到机械人操作以及多模态交织等天生使命。。。。。智源研究团队对相关研究的多项要害手艺与模子举行了开源，，，，，，，以推动该偏向的一连研究。。。。。

同时，，，，，，，研究通过大规模消融实验系统剖析了多项要害手艺的设计选择，，，，，，，验证了多模态学习的规模定律（Scaling law）、统一离散化的高效性、以及解码器架构的有用性。。。。。研究还验证了自回归蹊径高度通用性：直接偏好优化（DPO）要领可无缝应用于自回归视觉天生使命，，，，，，，使模子能够更好地对齐人类偏好。。。。。

在此研究基础上，，，，，，，悟界·Emu3.5进一步通过大规模长时序视频训练，，，，，，，学习时空与因果关系，，，，，，，展现出随模子与数据规模增添而提升的物理天下建模能力，，，，，，，并视察到多模态能力随规模扩展而涌现的趋势，，，，，，，实现了“展望下一个状态”的范式升级。。。。。

四、坚持原始立异：北京智源引领大模子手艺演进

自2018年建设之后，，，，，，，智源研究院通过多项效果深刻影响了中国AI学术和工业界。。。。。其在2021年宣布了中国首个大语言模子“悟道1.0”，，，，，，，及其时全球最大的大语言模子（接纳MoE架构）“悟道2.0”，，，，，，，同时因运送大宗顶尖AI工业人才被称为“大模子的黄埔军校”。。。。。

智源2022年开发的新的模子系列——悟界·Emu研究效果的揭晓，，，，，，，不但是国际学术界对智源研究团队事情的认可，，，，，，，更是对中国AI原创手艺蹊径的主要一定。。。。。

Emu系列模子自2022年启动研发以来，，，，，，，围绕“原生多模态”这一焦点手艺主线一连迭代，，，，，，，每一个版本都在要害能力与要领论上实现了实质性突破。。。。。

2022年6月，，，，，，，系统结构多模态大模子的研发。。。。。

2023年7月，，，，，，，宣布并开源首个版本，，，，，，，成为最早买通多模态输入到多模态输出的统一多模态模子，，，，，，，立异性提出统一多模态学习框架并大规模引入视频数据，，，，，，，起源实现多模态自回归展望。。。。。

2023年12月，，，，，，，宣布Emu2，，，，，，，通过大规模自回归天生式多模态预训练，，，，，，，展现出可泛化的多模态上下文学习能力，，，，，，，可在少量示例和简朴指令下完成听、说、读、写、画等使命，，，，，，，是其时开源最大的天生式多模态模子。。。。。

2024年10月，，，，，，，宣布Emu3，，，，，，，该模子只基于展望下一个token，，，，，，，无需扩散模子或组合要领，，，，，，，即可完成文本、图像、视频三种模态数据的明确和天生。。。。。

2025年10月，，，，，，，推出原生多模态天下模子Emu3.5，，，，，，，实现从 “展望下一个token” 到 “展望下一个状态” 的能力跃迁，，，，，，，从长视频数据中学习天下演化纪律，，，，，，，提出多模态 Scaling 新范式。。。。。

自2020年启动“悟道”大模子研究以来，，，，，，，智源一连聚焦大模子的原始立异与恒久手艺路径探索。。。。。2025年6月，，，，，，，智源宣布新一代大模子系列“悟界”，，，，，，，旨在构建人工智能从数字天下迈向物理天下的要害能力，，，，，，，及物理天下的人工智能基座模子。。。。。

“悟界”系列模子构建起笼罩宏观具身智能、介观生命系统到微观构象动力学的多条理手艺基座。。。。。FlagOS开源系统软件栈更是为模子的训练和推理带来效率突破和多元AI硬件适配能力。。。。。

智源自建设以来，，，，，，，始终坚持开源开放理念。。。。。官方数据显示，，，，，，，智源已开源200多款模子，，，，，，，全球下载量凌驾7.6亿次，，，，，，，并开源了180多个数据集，，，，，，，全球下载量凌驾500万次。。。。。这些行动在海内AI科研机构中压倒一切，，，，，，，对开源社区和工业界做出了奇异孝顺。。。。。

王仲远告诉智工具，，，，，，，开源开放是智源研究院从建设之初起就始终坚持的理念，，，，，，，未来智源将一连在大模子手艺及工业生长中起到楷模作用，，，，，，，不但开放模子权重，，，，，，，还将开放数据训练代码和工业应用案例，，，，，，，增进开源生态和工业链配合生长。。。。。

结语：扎根AI基础研究，，，，，，，北京“开源之都”建设初见效果

作为大模子第一城、开源之都，，，，，，，北京在近几个月效果一直。。。。。

“全球大模子第一股”智谱刚刚在1月8日乐成上市，，，，，，，并团结华为开源首个在国产芯片上完玉成程训练的SOTA多模态模子GLM-Image；；；；；；；紧接着百度文心大模子5.0在1月24号上线，，，，，，，在40余项权威基准的综合评测中稳居国际第一梯队；；；；；；；月之暗面Kimi在1月27日开源新模子K2.5，，，，，，，可调理百员智能体集群，，，，，，，比单智能体使命执行效率提升4.5倍……

而智源研究院在继10月推出天下大模子悟界·Emu3.5后，，，，，，，再次靠Emu3刷新纪录，，，，，，，开创了我国科研机构主导的大模子效果首次在Nature正刊揭晓的历史。。。。。下一步，，，，，，，王仲远透露，，，，，，，智源将一连投入资源研发新一代人工智能手艺，，，，，，，包括天下模子、具身智能及生命科学智能研究，，，，，，，目的是构建AI在物理天下中的基础模子和要害能力。。。。。

这是一次中国AI原始立异的胜利。。。。。一方面，，，，，，，高密度的人才步队、富足的算力资源、机构的坚定手艺信仰、地方政策支持都为其提供了动力和包管；；；；；；；另一方面，，，，，，，或许也只有智源这样产学两栖的机构这才有可能爆发，，，，，，，相比于高校拥有更多算力、工程团队、企业化运作的优势；；；；；；；相比于企业，，，，，，，他们不必完全效劳营业，，，，，，，可以去做真正具有前瞻性、突破性科研项目。。。。。

北京“开源之都”建设初见效果。。。。。背后，，，，，，，北京在大模子领域的领先，，，，，，，并非仅仅依赖项目数目或融资规模，，，，，，，而更在于对基础能力的扎实投入，，，，，，，以及对“慢变量”培育的恒久坚守。。。。。自2023年起，，，，，，，《北京市加速建设具有全球影响力的人工智能立异策源地实验计划（2023-2025年）》《北京市增进通用人工智能立异生长的若干步伐》等文件相继出台，，，，，，，北京明确将AI作为“新质生产力”的焦点引擎。。。。。

去年4月，，，，，，，北京市科委、中关村管委会透露，，，，，，，一批北京企业都起劲拥抱开源，，，，，，，北京也在组织优势单位开源RISC-V处置惩罚器核、基础及专业数据集、系列大模子，，，，，，，一连建设开源项目孵化平台，，，，，，，起劲打造中国版“Hugging Face”，，，，，，，并一连推动开源生态建设。。。。。

随着全球大模子竞争步入深水区远达船舶工业有限公司，，，，，，，北京在AI基础领域的扎实投入正日益展现出其深远价值。。。。。