编辑 | 杜伟、泽南
又一位大佬准备对现有 AI 手艺范式开刀了。。 。。。
今天破晓， ，，，，，英伟达高级研究科学家、机械人团队认真人 Jim Fan（范麟熙）宣布文章《第二代预训练范式》， ，，，，，引发了机械学习社区的讨论。。 。。。
Jim Fan 指出， ，，，，，现在以大语言模子（LLM）为代表的 AI 模子主要基于「对下一词的展望」， ，，，，，这第一代范式虽然取得了重大乐成， ，，，，，但在将其应用于物理天下时， ，，，，，泛起了显着的「水土不平」。。 。。。
关于这个看法， ，，，，，纽约大学助理教授、谷歌 DeepMind 研究科学家谢赛宁也体现赞成。。 。。。
那么预训练的第二代范式应该是什么样子？？？？？？？我们先来看 Jim Fan 的全文内容：
「展望下一个词」曾是第一个预训练范式。。 。。。而现在， ，，，，，我们正处于第二个范式转移之中：天下建模（World Modeling）或者「展望下一个物理状态」
很少有人意识到这场厘革的影响有何等深远， ，，，，，遗憾的是， ，，，，，现在天下模子最被公共熟知的用例只是些 AI 视频废物（以及即将到来的游戏废物）。。 。。。但我敢全心笃定， ，，，，，2026 年将成为「大天下模子」（Large World Models, LWMs）为机械人学以及更普遍的多模态 AI 涤讪真实基础的元年
在此配景下， ，，，，，我将「天下建模」界说为：在特定行动的约束下， ，，，，，展望下一个（或一段一连时间内）合理的物理天下状态。。 。。。 视频天生模子是其中的一种实例化体现， ，，，，，这里的「下一状态」是一系列 RGB 帧！� 。。。ㄍǔＮ� 8-10 秒， ，，，，，最长可几分钟）， ，，，，，而「行动」则是对该做什么的文本形貌。。 。。。训练历程涉及对数十亿小时视频像素中未来转变的建模。。 。。。
从焦点上看， ，，，，，视频天下模子是可学习的物理模拟器和渲染引擎， ，，，，，它们捕获到了「反事实」。。 。。。这是一个更高级的词汇， ，，，，，意指在给定差别行动时， ，，，，，推理未来的演化怎样差别。。 。。。天下模子从基础上将视觉置于首位。。 。。。
相比之下， ，，，，，视觉语言模子（VLMs）在实质上是「语言优先」的。。 。。。从最早的原型（如 LLaVA）最先， ，，，，，其叙事逻辑险些未变：视觉信息从编码器进入， ，，，，，然后被路由到语言主干网络中。。 。。。随着时间的推移， ，，，，，编码器在刷新， ，，，，，架构更趋精练， ，，，，，视觉也试图变得越发「原生」（如 omni 模子）。。 。。。但它始终像是一个「二等公民」， ，，，，，在物理规模上远逊于业界多年来为大语言模子（LLMs）练就的肌肉。。 。。。
这条路径很便捷， ，，，，，由于我们知道 LLM 是可扩展的。。 。。。PT视讯(中国区)官网架构直觉、数据配方设计以及基准测试（如 VQA）都高度针对语言举行了优化。。 。。。
关于物理 AI， ，，，，，2025 年曾被 VLA（视觉 - 语言 - 行动）模子主导：在预训练的 VLM 检查点之上， ，，，，，硬生生嫁接一个机械人电机行动解码器。。 。。。这着实是 「LVA」：其主要性排序依次为语言 > 视觉 > 行动。。 。。。同样， ，，，，，这条路径很利便， ，，，，，由于我们醒目 VLM 的训练套路。。 。。。
然而， ，，，，，VLM 中的大部分参数都分派给了知识（例如「这团像素是适口可乐品牌」）， ，，，，，而非物理（例如「若是你打翻可乐瓶， ，，，，，液体会伸张成一片褐色污渍， ，，，，，弄脏白桌布， ，，，，，并毁掉电机」）。。 。。。VLA 在设计上很是善于知识检索， ，，，，，但在过失的地方显得「头重脚轻」。。 。。。这种多阶段的嫁接设计也违反了我对精练与优雅的追求。。 。。。
从生物学角度看， ，，，，，视觉主导了PT视讯(中国区)官网皮层盘算。。 。。。大脑皮层约有三分之一的部分专门用于处置惩罚枕叶、颞叶和顶叶区域的像素信息。。 。。。相比之下， ，，，，，语言仅依赖于一个相对紧凑的区域。。 。。。视觉是毗连大脑、运动系统和物理天下的高带宽通道， ，，，，，它闭合了「感受运动回路」。。 。。。这是解决机械人问题的最焦点环路， ，，，，，并且这个历程的中转完全不需要语言。。 。。。
大自然给了我们一个保存性证实：一种具有极高肢体智能但语言能力微乎其微的生物 —— 类人猿。。 。。。
我曾见过类人猿驾驶高尔夫球车， ，，，，，像人类技工一样用螺丝刀替换刹车片。。 。。。它们的语言明确能力比不过 BERT 或 GPT-1， ，，，，，但它们的物理手艺远超现在最先进的机械人。。 。。。类人猿或许没有强盛的语言模子， ，，，，，但它们一定拥有极其稳健的「若是... 会怎样」的心理图景：即物理天下怎样运作， ，，，，，以及怎样应对它们的干预。。 。。。
天下建模的时代已经到来， ，，，，，它充满了「苦涩的教训」的味道。。 。。。正如加州大学伯克利分校教授 Jitendra Malik 经常提醒我们这些「规模敬重者」所说：「监视学习是 AI 研究者的鸦片。。 。。。」YouTube 的所有存量以及智能眼镜的兴起， ，，，，，将捕获到规模远超人类历史所有文本的原始物理天下视觉流。。 。。。
我们将见证一种新型预训练：下一个天下状态可能不限于 RGB 图像， ，，，，，3D 空间运动、本体感受和触觉感知才刚刚起步。。 。。。
我们将见证一种新型推理：爆发在视觉空间而非语言空间的「头脑链」。。 。。。你可以通过模拟几何形状和接触点， ，，，，，想象物体怎样移动和碰撞来解决物理难题， ，，，，，而无需将其转化为字符串。。 。。。语言只是一个瓶颈， ，，，，，一个脚手架， ，，，，，而非基本。。 。。。
我们将面临一盒全新的潘多拉之问：纵然有了完善的未来模拟， ，，，，，行动指令该怎样解码？？？？？？？像素重修真的是最佳目的吗， ，，，，，照旧我们应该进入另一种潜空间？？？？？？？我们需要几多机械人数据， ，，，，，扩展遥操作规模仍是标准谜底吗？？？？？？？在履历过这些探索后， ，，，，，我们是否终于在向机械人领域的「GPT-3 时刻」迈进？？？？？？？
Ilya 终究是对的， ，，，，，AGI 尚未收敛。。 。。。我们回到了「研究的时代」， ，，，，，没有什么比挑战第一性原理更令人心潮汹涌了。。 。。。
Jim Fan 对现状的思索以及对未来的判断， ，，，，，同样收获了谈论区大宗网友的认可。。 。。。
有人以为这是「神经符号 AI 社区的胜利」。。 。。。
你认同 Jim Fan 的观晟泰矿产资源商业有限公司点吗？？？？？？？