机械人学会"未卜先知"：ByteDance怎样让AI提前看到未来再行动

2026-03-01 07:04:47

这项由ByteDance Seed与香港大学相助完成的研究揭晓于2026年2月的arXiv预印本平台，，，，，，，，编号为arXiv:2602.22010v1。。。。。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。。这项研究为机械人手艺带来了一个激感人心的突破：让机械人能够像人类一样"预见未来"，，，，，，，，然后据此做出更精准的行动决议。。。。。。。

就像一个履历富厚的司机在转弯前会提前视察路况、预判车流一样，，，，，，，，这项研究让机械人也拥有了这种"先见之明"。。。。。。。古板的机械人就像新手司机，，，，，，，，只能看到目今状态就慌忙做决议，，，，，，，，经常泛起行动不协调或碰撞等问题。。。。。。。而这项新手艺让机械人酿成了"老司机"，，，，，，，，能够提前"看到"几步之后的情形，，，，，，，，从而做出越发合适的行动选择。。。。。。。

研究团队将这项手艺命名为WoG（World Guidance），，，，，，，，意思是"天下指导"。。。。。。。这个系统的焦点理念是让机械人在执行行动之前，，，，，，，，先在脑海中构建一个关于未来几秒钟会爆发什么的"预览"，，，，，，，，然后基于这个预览来指导目今的行为。。。。。。。这就好比下棋时的能手，，，，，，，，他们不但看目今时势，，，，，，，，而是会提前想好接下来几步的转变，，，，，，，，从而做出最优选择。。。。。。。

这项手艺的突破性在于找到了一个巧妙的平衡点。。。。。。。以往的机械人要么只关注眼前情形（像近视眼一样），，，，，，，，要么试图展望未来的所有细节（但这往往盘算量太大且容易蜕化）。。。。。。。WoG手艺则像一个智能的"过滤器"，，，，，，，，它只提取未来信息中对目今行动真正有用的部分，，，，，，，，既包管了展望的准确性，，，，，，，，又大大提高了盘算效率。。。。。。。

一、机械人的"预知能力"事实是怎么回事

古板的机械人控制就像瞽者摸象，，，，，，，，只能凭证目今触摸到的信息做出反应。。。。。。。好比机械人要抓取一个杯子，，，，，，，，它只能看到杯子现在的位置，，，，，，，，然后笔挺地伸手去抓。。。。。。。但若是桌子上尚有其他物品，，，，，，，，或者杯子可能会移动，，，，，，，，机械人就很容易蜕化。。。。。。。

WoG手艺让机械人获得了类似"透视眼"的能力。。。。。。。它不但能看到杯子目今的位置，，，，，，，，还能展望到伸手历程中可能遇到的障碍物，，，，，，，，预见到抓取行动对桌面其他物品的影响，，，，，，，，甚至预判杯子可能的稍微移动。。。。。。。唬唬�；；谡庑�"未来信息"，，，，，，，，机械人会选择一条越发巧妙的抓取路径，，，，，，，，避开障碍物，，，，，，，，确保行动的乐成执行。。。。。。。

这种预知能力的要害在于"条件空间"的看法。。。。。。。研究团队发明，，，，，，，，机械人并不需要展望未来的每一个细节，，，，，，，，而只需要提取出对目今行动有指导意义的要害信息。。。。。。。这就像开车时，，，，，，，，司机不需要记着路边每一棵树的位置，，，，，，，，但需要清晰地知道前方车道的走向和其他车辆的动向。。。。。。。

研究团队通过一个两阶段的训练历程来实现这种能力。。。。。。。第一阶段就像给机械人配备了一副"望远镜"，，，，，，，，让它学会视察和明确未来几秒钟内情形的转变。。。。。。。第二阶段则是教会机械人纵然在没有"望远镜"的情形下，，，，，，，，也能凭证目今信息推断出未来的要害转变，，，，，，，，就像履历富厚的老司机纵然在雾天也能凭履历判断路况一样。。。。。。。

二、两步走的学习战略：从"有预览"到"凭直觉"

WoG手艺的训练历程就像作育一个优异的象棋选手。。。。。。。第一阶段相当于让学生在有参考书的情形下学习，，，，，，，，可以随时审查标准谜底；；；；；第二阶段则要修业生脱离参考书，，，，，，，，依附内化的知识自力解决问题。。。。。。。

在第一阶段，，，，，，，，研究团队为机械人提供了完整的"未来信息包"。。。。。。。这个信息包来自于多个预训练的视觉模子，，，，，，，，就像给机械人配备了多个差别功效的"传感器"。。。。。。。有的传感器专门识别物体的语义信息（这是什么工具），，，，，，，，有的专门捕获运动和转变信息（工具是怎么动的）。。。。。。。这些传感器网络到的未来信息通过一个叫做"Q-Former"的组件举行压缩和整理，，，，，，，，最终形成一个紧凑但信息富厚的"未来条件"。。。。。。。

机械人在这个阶段学会了怎样使用这些未来条件来做出更好的行动决议。。。。。。。就像学习开车时，，，，，，，，教练会提前告诉学员前方路口的情形，，，，，，，，学员逐渐学会了怎样凭证这些提前信息调解自己的驾驶行为。。。。。。。

第二阶段则是要害的"内化"历程。。。。。。。研究团队冻结了第一阶段训练好的未来信息提取器，，，，，，，，让它继续爆发标准的"未来条件"作为参考谜底。。。。。。。然后训练机械人的主要决议系统，，，，，，，，让它学会仅仅凭证目今视察到的信息，，，，，，，，就能展望出这些未来条件应该是什么样的。。。。。。。这就像教练不再提前见告路况，，，，，，，，而是让学员依附之前的学习履历自己判断前方可能泛起的情形。。。。。。。

通过这种方法，，，，，，，，机械人最终获得了一种"内在的预知能力"。。。。。。。它不再需要外部提供未来信息，，，，，，，，而是能够凭证目今情形推断出接下来几秒钟内情形的要害转变，，，，，，，，并据此做出最优的行动选择。。。。。。。

这种训练战略的巧妙之处在于阻止了直接展望重大的未来画面。。。。。。。古板要领往往试图让机械人展望未来几帧的完整视频，，，，，，，，但这样做盘算量重大且容易蜕化。。。。。。。WoG手艺则只展望那些对行动决议真正有用的"英华信息"，，，，，，，，大大提高了展望的准确性和适用性。。。。。。。

三、从海量人类视频中罗致智慧

WoG手艺的一个主要立异是能够从大宗的人类操作视频中学习。。。。。。。这就像让机械人寓目成千上万小我私家类操作的"教学视频"，，，，，，，，从中学习种种精巧的操作技巧和预判能力。。。。。。。

研究团队设计了两种差别的人类数据使用战略。。。。。。。第一种战略是"精英教学法"，，，，，，，，即挑选一小部分有详细行动标注的高质量人类操作视频，，，，，，，，让机械人详细学习每一个行动的细节。。。。。。。同时，，，，，，，，使用大宗没有行动标注的通俗操作视频来训练机械人的"视察和预判"能力。。。。。。。这就像让学生既要学习标准课本中的规范行动，，，，，，，，又要通过寓目大宗现实操作来作育直觉和预判能力。。。。。。。

第二种战略越发适用，，，，，，，，完全不需要有行动标注的人类视频。。。。。。。唬唬�；；等耸紫韧ü等俗约旱难盗肥菅Щ峄镜牟僮髂芰�，，，，，，，，然后通过寓目大宗人类操作视频来提升自己的预判能力。。。。。。。这种要领的假设是，，，，，，，，虽然人类和机械人的详细操作方法可能差别，，，，，，，，但对情形转变的预判和对物体动态的明确是相通的。。。。。。。就像差别的人开车方法各异，，，，，，，，但对路况的预判原理是相似的。。。。。。。

研究团队还探索了UMI（Universal Manipulation Interface）数据的应用。。。。。。。这是一种特殊的数据网络方法，，，，，，，，通过头戴式装备纪录人类的第一人称操作视角。。。。。。。虽然这种数据的视角和行动体现与机械人有很大差别，，，，，，，，但WoG手艺依然能够从中提取有用的预判知识，，，，，，，，证实晰该手艺精彩的顺应性和泛化能力。。。。。。。

通过这些人类数据的加持，，，，，，，，WoG手艺训练出的机械人体现出了越发自然和智能的操作行为。。。。。。。它们能够更好地处置惩罚重大的动态情形，，，，，，，，在面临未见过的情形时也能做出合理的预判和反应。。。。。。。

四、仿真情形中的精彩体现

为了验证WoG手艺的有用性，，，，，，，，研究团队在SIMPLER仿真情形中举行了周全的测试。。。。。。。这个情形就像一个虚拟的机械人实验室，，，，，，，，提供了州差别庞洪水平的操作使命，，，，，，，，从简朴的物体抓取到重大的多办法操作。。。。。。。

在物体抓取使命中，，，，，，，，WoG手艺展现出了显著的优势。。。。。。。古板机械人在抓取物体时经常由于路径妄想不当而遇到障碍物或失误。。。。。。。而使用WoG手艺的机械人能够提前"看到"抓取历程中可能遇到的问题，，，，，，，，选择越发巧妙的抓取路径。。。。。。。在Pick Coke（抓取可乐罐）使命中，，，，，，，，WoG手艺的乐成率抵达了89%，，，，，，，，远超其他要领的72.7%最高效果。。。。。。。

在需要准确轨迹妄想的移动使命中，，，，，，，，WoG手艺的优势越发显着。。。。。。。Move Near（移动到目的周围）使命要求机械人在有障碍物的情形中准确抵达指定位置。。。。。。。古板要领的乐成率普遍在40-70%之间，，，，，，，，而WoG手艺抵达了82.5%的乐成率。。。。。。。这说明预判能力确实大大提升了机械人处置惩罚重大动态情形的能力。。。。。。。

关于抽屉开关这类需要处置惩罚机械约束的使命，，，，，，，，WoG手艺也体现出了优异的顺应性。。。。。。。虽然在某些需要极高空间精度的使命上提升有限，，，，，，，，但整体来说，，，，，，，，WoG手艺在种种使命中都实现了显著的性能改善。。。。。。。

研究团队还测试了差别视觉编码器组合对性能的影响。。。。。。。他们发明，，，，，，，，将语义明确能力强的编码器（如SigLIP）与动态捕获能力强的编码器（如VAE）团结使用，，，，，，，，能够获得最佳效果。。。。。。。语义编码器资助机械人明确"这是什么工具"，，，，，，，，动态编码器资助机械人展望"工具会怎么转变"，，，，，，，，两者团结为机械人提供了周全的未来预知能力。。。。。。。

五、真实天下中的验证与突破

从仿真到现实是机械人手艺面临的重大挑战，，，，，，，，就像从纸上谈兵到真正的战场。。。。。。。研究团队在真实的机械人平台上验证了WoG手艺，，，，，，，，效果证实这种预判能力在现实天下中同样有用。。。。。。。

实验平台接纳了UR5机械臂配备Robotiq夹具，，，，，，，，通过顶视角的深度相机获取情形信息。。。。。。。研究团队设计了三个具有代表性的使命来周全测试WoG手艺的能力。。。。。。。

在刚体操作使命（安排绿色杯子到盘子中）上，，，，，，，，WoG手艺展现出了优异的避障和精准定位能力。。。。。。。这个使命看似简朴，，，，，，，，但现实上需要机械人预判抓取路径上的障碍物，，，，，，，，选择合适的抓取姿态，，，，，，，，并准确控制安排位置阻止碰撞。。。。。。。WoG手艺的乐成率抵达了60%，，，，，，，，显着凌驾其他要领。。。。。。。

枢纽操作使命（关闭微波炉门）测试了机械人处置惩罚旋转约束的能力。。。。。。。微波炉门的开关涉及重大的旋转动力学，，，，，，，，机械人需要预判门的运动轨迹并响应调解自己的行动。。。。。。。WoG手艺在这个使命上实现了100%的乐成率，，，，，，，，展现了精彩的动态预判能力。。。。。。。

柔性物体操作使命（折叠毛巾）是最具挑战性的。。。。。。。毛巾的变形难以展望，，，，，，，，需要机械人具备对柔性动力学的深刻明确。。。。。。。WoG手艺将乐成率提升到60%，，，，，，，，相比其他要领有显著刷新。。。。。。。这证实晰预判手艺对处置惩罚重大变形物体的主要价值。。。。。。。

特殊值得关注的是，，，，，，，，WoG手艺在面临情形转变时体现出了优异的鲁棒性。。。。。。。当研究团队改变桌布、调解光照、或使用差别形状的物体时，，，，，，，，古板要领的性能大幅下降，，，，，，，，而WoG手艺的性能下降相对较小。。。。。。。这说明通过预判训练，，，，，，，，机械人学会了关注真正主要的情形特征，，，，，，，，而不是被外貌的视觉转变所误导。。。。。。。

六、从人类智慧中学习的丰富效果

研究团队深入探索了怎样让机械人从人类操作视频中学习预判能力，，，，，，，，取得了令人鼓舞的效果。。。。。。。他们网络了总计1920小时的人类操作视频，，，，，，，，其中只有220小时带有详细的行动标注，，，，，，，，其余都是纯粹的视察视频。。。。。。。

通过仅使用无标注视频举行条件展望训练，，，，，，，，机械人在抓取安排使命上的性能从60%提升到70%，，，，，，，，同时在面临情形转变时体现出更强的顺应性。。。。。。。这个效果特殊有意义，，，，，，，，由于它证实晰机械人可以通过"寓目"大宗人类操作来提升自己的预判能力，，，，，，，，而无需腾贵的行动标注数据。。。。。。。

当加入少量带有行动标注的人类视频后，，，，，，，，效果进一步提升。。。。。。。唬唬�；；等瞬坏诨臼姑咸逑指�，，，，，，，，在面临新情形和新物体时也展现出了更强的泛化能力。。。。。。。这就像学生通过寓目大宗现实操作视频作育了直觉，，，，，，，，再通过少量准确指导掌握了详细技巧。。。。。。。

研究团队还测试了UMI数据的效果。。。。。。。只管UMI数据接纳完全差别的第一人称视角和行动体现方法，，，，，，，，WoG手艺依然能够从中提取有价值的预判知识。。。。。。。在加入120个UMI轨迹后，，，，，，，，机械人在抓取安排使命上的乐成率从60%跃升到85%，，，，，，，，在折叠使命上从60%提升到80%，，，，，，，，刷新幅度划分抵达42%和33%。。。。。。。

这些效果批注，，，，，，，，WoG手艺具备了跨模态、跨视角学习的能力。。。。。。。它能够明确差别操作者、差别视角、差别体现方法下的配合操作逻辑，，，，，，，，提取出通用的预判知识。。。。。。。这种能力为机械人从海量网络视频中学习操作手艺开发了辽阔远景。。。。。。。

七、手艺架构的巧妙设计

WoG手艺的焦点在于一个全心设计的"条件提取器"，，，，，，，，它就像一个智能的信息过滤系统，，，，，，，，能够从重大的未来信息中提取出对行动决议真正有用的部分。。。。。。。

这个系统的输入端毗连着多个预训练的视觉模子，，，，，，，，每个模子都有自己的专长。。。。。。。DINOv2模子善于明确物体的语义信息，，，，，，，，能够识别"这是什么工具"；；；；；VAE编码器专长于捕获时空转变，，，，，，，，能够明确"工具是怎么动的"；；；；；SigLIP模子则具备强盛的视觉-语言对齐能力，，，，，，，，能够明确指令与视觉场景的对应关系。。。。。。。

Q-Former组件饰演着"智能编辑"的角色。。。。。。。它使用16个可学习的盘问向量，，，，，，，，就像16个专门的"记者"，，，，，，，，每个都专注于提取特定类型的有用信息。。。。。。。通过交织注重力机制，，，，，，，，这些"记者"从海量的未来信息中筛选出最相关的内容，，，，，，，，最终压缩成32维的紧凑体现。。。。。。。

在第二阶段训练中，，，，，，，，系统使用了一种巧妙的"知识蒸馏"战略。。。。。。。视觉语言模子的最后几个隐藏状态被用来展望未来条件，，，，，，，，这些隐藏状态相当于模子的"内在思索历程"。。。。。。。通过训练这个内在思索历程来匹配外部提供的未来条件，，，，，，，，模子逐渐内化了预判能力。。。。。。。

整个架构的设计哲学体现了"少即是多"的原则。。。。。。。与其试图展望未来的每一个细节，，，，，，，，不如专注于展望那些对目今决议真正主要的信息。。。。。。。这种设计不但提高了展望准确性，，，，，，，，还大大降低了盘算重漂后，，，，，，，，使得系统能够实时运行。。。。。。。

八、与现有手艺的深度比照

WoG手艺在机械人学习领域开发了一条奇异的蹊径，，，，，，，，它巧妙地避开了现有要领的主要缺陷，，，，，，，，同时融合了种种要领的优点。。。。。。。

古板的视觉-语言-行动模子就像只会"看现在"的近视眼，，，，，，，，只能凭证目今视察做出反应。。。。。。。这类要领的代表如π0、OpenVLA等，，，，，，，，虽然在简朴使命上体现不错，，，，，，，，但在需要重大妄想的场景中经常力有未逮。。。。。。。WoG手艺通过引入未来预判，，，，，，，，将这类模子的能力提升到了新的高度。。。。。。。

天下行动模子试图通过展望未来的完整视频来指导行动，，，，，，，，但这种要领就像试图展望明天的每一朵云彩一样难题且不须要。。。。。。。VPP等要领虽然能够捕获情形动态，，，，，，，，但展望的视频往往包括大宗与行动无关的细节，，，，，，，，不但盘算腾贵，，，，，，，，还容易引入噪声。。。。。。。WoG手艺则像一个精明的天气预告员，，，，，，，，只展望对出行决议真正主要的信息。。。。。。。

潜在行动模子如UniVLA、Moto等试图通过学习笼统的行动体现来实现跨使命泛化，，，，，，，，这种要领就像学习通用的"行动语言"。。。。。。。虽然这种笼统能力很有价值，，，，，，，，但往往缺乏执行细腻操作所需的详细信息。。。。。。。WoG手艺通过条件空间的设计，，，，，，，，在坚持一定笼统性的同时提供了足够的执行细节。。。。。。。

VITA、ViPRA等要领实验团结潜在行动建模和未来视频天生，，，，，，，，但这种组合往往导致系统重大度过高，，，，，，，，训练难题。。。。。。。WoG手艺通过专注于条件展望而非完整视频天生，，，，，，，，实现了更好的性能-重漂后平衡。。。。。。。

在现实比照实验中，，，，，，，，WoG手艺在险些所有测试使命上都取得了最佳性能。。。。。。。特殊是在需要准确轨迹妄想和碰撞阻止的使命中，，，，，，，，性能提升最为显著。。。。。。。这证实晰未来预判能力确实是提升机械人操作能力的要害因素。。。。。。。

说究竟，，，，，，，，这项研究让机械人获得了类似人类的"预见性头脑"能力。。。。。。。就像优异的运发动能够预判球的轨迹、围棋能手能够看清几步后的时势一样，，，，，，，，使用WoG手艺的机械人也能够"看到"未来几秒钟内情形的要害转变，，，，，，，，从而做出越创造智的行动选择。。。。。。。

这种能力的获得并非通过重大的物理建模唬唬�；；虼笞诘呐趟�，，，，，，，，而是通过巧妙的学习战略和架构设计。。。。。。。唬唬�；；等搜Щ崃舜幽拷袷硬熘型贫衔蠢吹囊π畔�，，，，，，，，这种推断能力是通过视察大宗操作示例（包括机械人自身的和人类的）而获得的。。。。。。。

更主要的是，，，，，，，，这项手艺为机械人学习开发了新的可能性。。。。。。。通过从海量人类操作视频中学习预判能力，，，，，，，，机械人可以在不需要腾贵的真实操作数据的情形下获得富厚的操作履历。。。。。。。这就像让机械人通过寓目YouTube上的操作视频来学习手艺，，，，，，，，大大降低了训练本钱，，，，，，，，提高了学习效率。。。。。。。

虽然，，，，，，，，这项手艺也尚有进一步刷新的空间。。。。。。。在某些需要极高空间精度的使命上，，，，，，，，仅凭目今的预判能力还不敷，，，，，，，，可能需要团结更细腻的空间推理机制。。。。。。。在处置惩罚高度重大的多办法使命时，，，，，，，，可能需要更恒久的预判能力。。。。。。。但总的来说，，，，，，，，WoG手艺已经为机械人智能操作涤讪了坚实的基础，，，，，，，，为未来越发智能、越发适用的机械人系统铺平了蹊径。。。。。。。

这项研究的意义远不止于手艺自己。。。。。。。它证实晰机械人可以通过学习获得类似人类的直觉和预判能力，，，，，，，，这为创立真正智能的机械人助手带来了希望。。。。。。。在不久的未来，，，，，，，，我们或许能看到能够在庞人人庭情形中自若操作、能够预判和阻止种种问题的家用机械人，，，，，，，，它们的行为将越发自然、越发可靠。。。。。。。

Q&A

Q1：WoG手艺是什么？？？？？？

A：WoG（World Guidance）是ByteDance和香港大学开发的机械人手艺，，，，，，，，让机械人能够像人类一样"预见未来"几秒钟内的情形转变，，，，，，，，然后凭证这些预判信息做出更准确的行动选择，，，，，，，，就像履历富厚的司时机提前视察路况来调解驾驶战略一样。。。。。。。

Q2：WoG手艺和古板机械人控制有什么区别？？？？？？

A：古板机械人只能凭证目今看到的情形做决议，，，，，，，，就像近视眼一样。。。。。。。而WoG手艺让机械人获得了"预知能力"，，，，，，，，能提前判断接下来几秒内可能爆发的转变，，，，，，，，从而选择更好的操作路径，，，，，，，，阻止碰撞和失误。。。。。。。

Q3：这项手艺能应用在一样平常生涯中吗？？？？？？

A：是的，，，，，，，，这项手艺为更智能的鼎策危害治理有限公司家用机械人涤讪了基础。。。。。。。未来的机械人助手将能够在重大的家庭情形中更自然地操作，，，，，，，，好比在厨房里避开障碍物精准抓取物品，，，，，，，，或者在整理房间时预判物品的移动，，，，，，，，体现得更像有履历的人类助手。。。。。。。

PT视讯(中国区)官网