英伟达打造机械人"大脑"：从44万小时人类视频中学会灵巧操作

2026-03-03 01:10:53

这项由英伟达公司向导、团结香港科技大学、加州大学伯克利分校、华盛顿大学、斯坦福大学、韩国科学手艺院、多伦多大学、加州大学圣地亚哥分校、德克萨斯大学奥斯汀分校等多家顶尖机构的研究于2026年2月揭晓，，，，，，，，研究效果以"DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos"为题宣布，，，，，，，，有兴趣深入相识的读者可以通过arXiv:2602.06949v1盘问完整论文。。。。。。

当你看着一个婴儿学会拿积木、堆叠玩具时，，，，，，，，你是否想过这个历程有多神奇？？？？？？？婴儿通过视察成年人的行动，，，，，，，，就能逐渐掌握细腻的手部行动。。。。。。现在，，，，，，，，英伟达的研究团队实现了类似的突破——他们让机械人通过寓目人类的一样平常视频，，，，，，，，学会了重大的操作手艺。。。。。。

现有的机械人就像是在温室里长大的孩子，，，，，，，，只能在特定情形下完成特定使命。。。。。。一旦遇到没见过的物体或新的情形，，，，，，，，它们就会变到手足无措。。。。。。这就好比一个只会在自己家厨房做菜的人，，，，，，，，到了朋侪家就不知道怎么下手了。。。。。。造成这种局限的基础缘故原由是训练数据太少太简单——就像是只给孩子看了几内情同的图画书，，，，，，，，却期望他们明确整个天下。。。。。。

英伟达团队的解决计划就像是给机械人提供了一个包括44万小时内容的"人生履历图书馆"。。。。。。他们网络了大宗人类一样平常唬�；；Ｔ硕牡谝蝗顺剖悠担�，，，，，，从厨房做饭到办公室整理文件，，，，，，，，从修理电器到艺术创作，，，，，，，，险些涵盖了人类生涯的方方面面。。。。。。这些视频纪录了人们怎样与种种物体互动，，，，，，，，怎样解决现实问题，，，，，，，，怎样完成重大使命。。。。。。

可是寓目视频学习并不简朴。。。。。。古板要领就像是让学生只看影戏却禁绝做条记一样——虽然看到了行动，，，，，，，，但不知道为什么要这样做。。。。。。研究团队巧妙地解决了这个问题：他们开发了一种"行动密码"系统，，，，，，，，能够从视频画面的转变中自动推断出执行者的意图和行动。。。。。。这就像是一个超等视察员，，，，，，，，不但能看出你在做什么，，，，，，，，还能明确你为什么这样做。。。。。。

一、从人类履历到机械智慧的桥梁

研究团队面临的第一个挑战就像是要教一个从未见过厨房的人学会烹饪。。。。。。古板的机械人训练要领需要专门的装备和情形，，，，，，，，就好比只能在专业厨师学校里学做菜。。。。。。但真实天下里，，，，，，，，人们在种种各样的厨房里做饭——有的厨房很�。。。。。。�，，，，，，有的很大；；；；；有的用电炉，，，，，，，，有的用燃气灶；；；；；有的工具齐全，，，，，，，，有的只有基本装备。。。。。。

DreamDojo的立异之处在于它学会了从人类的第一人称视频中提取通用的操作知识。。。。。。研究团队构建了一个重大的数据集DreamDojo-HV，，，，，，，，包括了43827小时的人类一样平常唬�；；Ｔ硕悠�。。。。。。这些视频不是在实验室里拍摄的标准化行动演示，，，，，，，，而是真实的生涯场景——人们在家里料理房间，，，，，，，，在办公室处置惩罚文件，，，，，，，，在工坊修理物品，，，，，，，，在市肆购置商品。。。。。。

网络到视频只是第一步，，，，，，，，真正的挑战是怎样让机械明确这些视频中的行动意图。。。。。。人类寓目别人做事时，，，，，，，，能够自然地明确对方的目的和手段。。。。。。但对机械来说，，，，，，，，视频只是一串彩色像素的转变。。。。。。研究团队开发了一种"潜在行动"模子，，，，，，，，这个模子就像是一个履历富厚的视察者，，，，，，，，能够从画面的细微转变中推断出执行者的行动意图。。。。。。

这个潜在行动模子的事情原理类似于我们一样平常的视察和推理历程。。。。。。当你看到某人的手从桌子上方移动到一个杯子周围，，，，，，，，然后杯子爆发了位移，，，，，，，，你会自然地推断出这小我私家刚刚拿起了杯子。。。。。。潜在行动模子做的就是这样的事情——它视察一连的画面�。。。。。。�，，，，，，剖析物体位置和形状的转变，，，，，，，，然后推导出导致这些转变的可能行动。。。。。。

更主要的是，，，，，，，，这个系统学会了将差别身体结构（人手和机械人手臂）之间的行动举行转换。。。。。。就像一个优异的舞蹈教练能够将芭蕾舞者的行动改编给街舞者一样，，，，，，，，系统能够明确行动的实质意图，，，，，，，，而不但是机械地模拟外貌形式。。。。。。当系统看到人类用手指轻点物体外貌时，，，，，，，，它明确的不是"用手指点击"这个详细行动，，，，，，，，而是"轻柔接触目的物体"这个操作意图，，，，，，，，然后用机械人的方法来实现同样的效果。。。。。。

二、构建机械人的"天下认知"系统

DreamDojo的焦点是一个"天下模子"，，，，，，，，这个看法听起来很笼统，，，，，，，，但现实上类似于我们大脑中对现实天下的认知模拟。。。。。。当你妄想重新安排房间时，，，，，，，，你会在脑海中想象移动家具后的效果，，，，，，，，展望哪种结构更悦目、更适用。。。。。。DreamDojo做的就是类似的事情——它在"大脑"中构建了一个虚拟天下，，，，，，，，能够展望差别行动会爆发什么效果。。。。。。

这个天下模子的训练历程就像是作育一个极其仔细的视察者。。。。。。系统需要学会明确物理天下的基本纪律：当你推动一个球时，，，，，，，，球会朝着推力的偏向转动；；；；；当你松开手中的杯子时，，，，，，，，杯子会掉落；；；；；当你转动门把手时，，，，，，，，门会开启。。。。。。这些对人类来说理所虽然的物理知识，，，，，，，，机械需要通过大宗视察学习才华掌握。。。。。。

研究团队在模子架构上做了几个要害刷新。。。。。。首先，，，，，，，，他们让系统学习"相对行动"而不是"绝对位置"。。。。。。这就像是教人骑自行车时，，，，，，，，主要的不是记着每个时刻车轮简直切位置，，，，，，，，而是学会坚持平衡、控制偏向的技巧。。。。。。通过关注行动的相对转变，，，，，，，，系统能够更好地泛化到差别的情形和情形。。。。。。

其次，，，，，，，，他们引入了"时间一致性"的训练目的。。。。。。古板要领就像是让学生只看单张照片来明确故事情节，，，，，，，，而新要领确保系统明确行动的一连性和因果关系。。。。。。当系统展望"拿起杯子"这个行动时，，，，，，，，它不但要展望杯子位置的转变，，，，，，，，还要确保整个历程在物理上合理——手要先靠近杯子，，，，，，，，然后握�。。。。。。�，，，，，，最后发动杯子移动。。。。。。

为了处置惩罚视频数据中行动标签缺失的问题，，，，，，，，研究团队开发了一个巧妙的自监视学习要领。。。。。。系统通过较量一连的视频�。。。。。。�，，，，，，学会了提取帧与帧之间的"行动英华"。。。。。。这个历程类似于一个履历富厚的侦探，，，，，，，，通过视察现场的转变推断出爆发了什么事情。。。。。。纵然没有人告诉系统"这里爆发了拿取行动"，，，，，，，，它也能从杯子位置的转变、手部姿态的调解等细节中推断出行动的实质。。。。。。

三、让机械人学会"闻一知十"

DreamDojo最令人印象深刻的能力是它的泛化性——就像是一个智慧的学生，，，，，，，，学会一个看法后能够在差别情形下无邪运用。。。。。。当系统在人类视频中学会了"抓取圆形物体"的看法后，，，，，，，，它不但能识别苹果和橙子，，，，，，，，还能处置惩罚之前从未见过的球形装饰品或圆形工具。。。。。。

这种泛化能力的实现依赖于系统对物理原理的深层明确。。。。。。研究团队设计了多个挑战性测试来验证这一点。。。。。。他们让机械人在完全没有见过的情形中操作全新的物体。。。。。。效果显示，，，，，，，，DreamDojo不但能够乐成完成使命，，，，，，，，并且它的操作方法显示出对物体特征的准确明确——它知道易碎物品需要轻拿轻放，，，，，，，，知道重物需要更稳固的抓取方法，，，，，，，，知道柔软物品的形变特征。。。。。。

更有趣的是，，，，，，，，系统展现出了"闻一知十"的推理能力。。。。。。在一个测试中，，，，，，，，研究职员让机械人操作一个从未见过的复合工具。。。。。。系统能够剖析工具的结构，，，，，，，，明确各部分的功效，，，，，，，，然后接纳合适的操作战略。。。。。。这就像是一小我私家第一次看到开瓶器，，，，，，，，通过视察其结构就能推断出使用要领一样。。。。。。

研究团队特殊设计了"反事实测试"来验证系统的明确深度。。。。。。他们让机械人展望若是接纳过失的操作方法会爆发什么。。。。。。好比，，，，，，，，若是试图用过失的角度抓取易滑物体，，，，，，，，系统能够准确展望物体会滑落。。。。。。这种展望能力批注系统不但是简朴地影象行动模式，，，，，，，，而是真正明确了物理天下的运行纪律。。。。。。

系统的学习效率也令人赞叹。。。。。。古板机械人需要在特定使命上举行数千次试错才华掌握基本手艺，，，，，，，，而DreamDojo通过人类视频的预训练，，，，，，，，只需要相对少量的机械人现实操作数据就能快速顺应新使命。。。。。。这就像是一个已经通过视察学会了基来源理的学生，，，，，，，，只需要少量训练就能熟练应用知识。。。。。。

四、实时交互的手艺突破

为了让DreamDojo能够真正应用于现实场景，，，，，，，，研究团队解决了一个要害的手艺挑战：怎样让系统实时响应。。。。。。原始的模子虽然展望准确，，，，，，，，但运行速率就像是一个思索良久才给出谜底的人，，，，，，，，无法知足实时操作的需求。。。。。。唬�；；；等嗽谡嬲嫦嘈沃惺虑槭保�，，，，，，需要能够快速响应情形转变，，，，，，，，就像人类在重大情形下能够迅速调解行动一样。。。。。。

研究团队开发了一个"师生蒸馏"系统来解决这个问题。。。。。。原始的重大模子就像是一位学识渊博但思索缓慢的教授，，，，，，，，而新的快速模子就像是一个反应迅速的学生。。。。。。通过特殊的训练历程，，，，，，，，学生模子学会了模拟教授的判断效果，，，，，，，，但响应速率提升了近4倍，，，，，，，，抵达每秒10.81帧的实时处置惩罚能力。。。。。。

这个加速历程不是简朴的压缩，，，，，，，，而是一种智能的知识转移。。。。。�？？？？？？？焖倌Ｗ硬坏岢至嗽械恼雇既沸裕�，，，，，，还获得了一些新的能力。。。。。。由于接纳了差别的处置惩罚方法，，，，，，，，快速模子能够使用历史信息来提高展望的一致性。。。。。。这就像是一个履历富厚的司机，，，，，，，，不但能够凭证目今路况做判断，，，，，，，，还能团结之前的驾驶履历做出更好的决议。。。。。。

实时处置惩罚能力的实现为DreamDojo开发了多种现实应用场景。。。。。。研究团队演示了"实时遥操作"功效，，，，，，，，操作者可以通过VR装备控制机械人，，，，，，，，系统会实时展望和显示操作效果。。。。。。这就像是给机械人装上了一个"预知未来"的能力，，，，，，，，操作者在执行行动之前就能看到可能的效果，，，，，，，，从而做出更好的决议。。。。。。

五、多样化应用场景的实现

DreamDojo的现实应用能力通过多个详细场景获得了验证。。。。。。研究团队设计了一个"政策评估"实验，，，，，，，，让差别版本的机械人控制算法在相同情形中执行使命，，，，，，，，然后用DreamDojo来展望和评估种种算法的体现。。。。。。效果显示，，，，，，，，DreamDojo的展望与现实机械人的体现有着高达99.5%的相关性，，，，，，，，这意味着研究职员可以在虚拟情形中快速测试新的控制算法，，，，，，，，大大镌汰了现实机械人实验的需要。。。。。。

在"基于模子的妄想"应用中，，，，，，，，DreamDojo展现出了智能决议的能力。。。。。。扑面临重大使命时，，，，，，，，系统会天生多个可能的行动计划，，，，，，，，然后展望每个计划的效果，，，，，，，，最终选择最优的执行路径。。。。。。在水果分拣使命中，，，，，，，，这种妄想能力将乐成率提升了17%。。。。。。系统不但能够展望单步操作的效果，，，，，，，，还能举行多步推理，，，，，，，，类似于象棋能手能够预见几步之后的时势。。。。。。

"实时遥操作"是另一个令人兴奋的应用。。。。。。操作者戴上VR头盔，，，，，，，，可以直接控制远程机械人的行动。。。。。。DreamDojo实时天生展望画面，，，，，，，，让操作者能够在清静的虚拟情形中"预演"行动效果。。。。。。这种手艺关于危险情形作业、细密装配、远程医疗等场景具有主要意义。。。。。。操作者不再需要担心操作失误造成损失，，，，，，，，由于他们可以先在虚拟情形中验证操作的清静性和有用性。。。。。。

研究团队还展示了系统的情形顺应能力。。。。。。他们将在实验室情形中训练的模子直接应用到办公室、家庭、工厂等差别场景，，，，，，，，机械人都能够乐成完成使命。。。。。。更有趣的是，，，，，，，，系统能够处置惩罚它从未见过的物体组合和情形设置。。。。。。好比，，，，，，，，当遇到一个放在异常高度桌子上的物品时，，，，，，，，系统能够调解抓取战略，，，，，，，，体现出真正的智能顺应性。。。。。。

六、手艺立异的深层价值

DreamDojo的手艺突破不但仅是工程上的乐成，，，，，，，，更代表了机械人学习范式的根天性转变。。。。。。古板的机械人训练就像是在驾校里学开车——在标准化的情形中重复训练标准化的行动。。。。。。而DreamDojo的要领更像是通过视察有履历的司机在种种重亨衢况下的驾驶行为来学习，，，，，，，，因此能够更好地应对真实天下的重大性和不确定性。。。。。。

系统对"潜在行动"的明确抵达了亘古未有的深度。。。。。。研究团队发明，，，，，，，，当系统视察差别的人执行相同类型的使命时，，，，，，，，它能够提取出行动的实质特征，，，，，，，，而忽略个体差别带来的外貌转变。。。。。。这就像是一个优异的舞蹈编导，，，，，，，，能够从差别舞者的演出中提取出舞蹈的焦点要素，，，，，，，，然后指导新的舞者掌握这种舞蹈的精髓。。。。。。

数据规模的突破也具有主要意义。。。。。。44万小时的视频数据相当于一小我私家不中止寓目50年的内容，，，，，，，，涵盖了人类一样平常生涯的绝大部分操作类型。。。。。。这种数据富厚度确保了系统能够学到真正通用的操作知识，，，，，，，，而不是局限于特定场景的技巧。。。。。。更主要的是，，，，，，，，这些数据来自真实的生涯场景，，，，，，，，包括了种种"不完善"的操作——人们有时会出错、调解、重试，，，，，，，，这些"失败"的履历同样名贵，，，，，，，，由于它们教会了系统如那里置不确定性和意外情形。。。。。。

系统的架构设计也体现了对人类学习机制的深刻洞察。。。。。。人类学习新手艺时，，，，，，，，往往是通过视察、模拟、实践、反思的循环历程。。。。。。DreamDojo模拟了这个历程：通过视察人类视频建设基础明确，，，，，，，，通过少量机械人操作数据举行手艺转移，，，，，，，，然后在现实应用中一直优化。。。。。。这种学习方法比古板的纯粹试错要领越发高效和可靠。。。。。。

七、面向未来的手艺展望

DreamDojo的乐成开发了通用机械人智能生长的新蹊径。。。。。。研究团队指出，，，，，，，，随着人类运动视频数据的一直增添和盘算能力的提升，，，，，，，，这类系统的能力还将继续扩展。。。。。。未来的版本可能会整合更多种类的传感器数据，，，，，，，，不但学习视觉信息，，，，，，，，还能明确声音、触觉、甚至气息等多模态信息，，，，，，，，形成越发完整的天下认知。。。。。。

目今系统已经展现出了令人鼓舞的泛化能力，，，，，，，，但研究团队以为尚有很大的刷新空间。。。。。。未来的生长偏向包括支持多视角视察、处置惩罚更重大的动态情形、学习更恒久的使命妄想等。。。。。。系统还可能会生长出自动学习的能力，，，，，，，，当遇到不确定的情形时，，，，，，，，能够自动追求更多信息或请求人类指导。。。。。。

从更辽阔的角度来看，，，，，，，，DreamDojo代表了人工智能生长的一个主要趋势：从专用系统向通用系统的转变。。。。。。已往的机械人往往是为特定使命设计的专用工具，，，，，，，，而DreamDojo这样的系统更像是具有通用学习能力的智能体。。。。。。它们不需要为每个新使命重新设计和训练，，，，，，，，而是能够快速顺应新的情形和需求。。。。。。

这种通用性关于机械人工业的意义是深远的。。。。。。它将大大降低机械人应用的门槛和本钱，，，，，，，，使得中小企业和通俗家庭也能够使用机械人手艺。。。。。。更主要的是，，，，，，，，它为人机协作开发了新的可能性。。。。。。当机械人具备了类似人类的学习和顺应能力后，，，，，，，，它们就能够真正成为人类的智能同伴，，，，，，，，而不但仅是执行牢靠程序的工具。。。。。。

说究竟，，，，，，，，DreamDojo的意义不但在于手艺上的突破，，，，，，，，更在于它展示了一种新的可能性：机械可以通过视察和学习来获得智能，，，，，，，，就像人类一样。。。。。。虽然现在的系统尚有一些局限，，，，，，，，好比在处置惩罚一些非通例行动时仍可能蜕化，，，，，，，，在展望重大失败情形时精度还不敷高，，，，，，，，但这些都是手艺生长历程中的正常征象。。。。。。主要的是，，，，，，，，DreamDojo为我们指明晰一个偏向——通过大规模学习人类履历，，，，，，，，机械人可能最终获得靠近人类的智能和顺应能力。。。。。。

这项研究的乐成也提醒我们，，，，，，，，人工智能的生长不应该是脱离人类履历的纯手艺推进，，，，，，，，而应该是对人类智能和履历的深入学习和模拟。。。。。。DreamDojo通过学习人类44万小时的生涯履历，，，，，，，，获得了强盛的通用操作能力，，，，，，，，这种要领可能为未来的人工智能生长提供主要启示。。。。。。当我们思索怎样让机械越发智能时，，，，，，，，也许谜底就在于让它们更好地学习人类的智慧和履历。。。。。。有兴趣深入相识这项研究的读者，，，，，，，，可以通过论文编号arXiv:2602.06949v1盘问完整的手艺细节和实验效果。。。。。。

Q&A

Q1：DreamDojo是什么？？？？？？？

A：DreamDojo是由英伟达团队开发的机械人天下模子，，，，，，，，它的焦点能力是通过寓目44万小时的人类一样平常生涯视频，，，，，，，，学会展望和控制机械人的重大操作行动，，，，，，，，让机械人能够在没见过的情形中无邪完成种种使命。。。。。。

Q2：DreamDojo跟古板机械人训练要领有什么区别？？？？？？？

A：古板要领就像在驾校学开车，，，，，，，，只能在标准情形做标准行动。。。。。。DreamDojo更像是通过视察有履历司机在种种路况下驾驶来学习，，，，，，，，以是能更好应对真实天下的重大情形，，，，，，，，不需要为每个新使命重新训练。。。。。。

Q3：通俗人什么时间能用上DreamDojo手艺？？？？？？？

A：现在DreamDojo还正华包管署理有限公司处于研究阶段，，，，，，，，主要在实验室情形中验证。。。。。。但这项手艺将为未来的家用机械人、工业自动化、远程操作等应用涤讪基�。。。。。。�，，，，，，预计几年内会看到相关商业产品的泛起。。。。。。

PT视讯(中国区)官网