港大突破：VR驱念头械人实现类人行动学习 - 浙江绿谷生态科技有限公司

2026-03-01 13:06:38

这项由香港大学、上海立异研究院、北京航空航天大学和Kinetix AI团结开展的突破性研究揭晓于2026年2月，，，，，，，，论文编号为arXiv:2602.10106v1。。。。。。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。。。

想象这样一个场景：你戴着VR眼镜在家里做家务，，，，，，，，扔垃圾、整理物品、搬运工具，，，，，，，，而这些通俗的行动被纪录下来后，，，，，，，，竟然能教会一台1.3米高的机械人在完全差别的情形中做同样的事情。。。。。。。。这听起来像科幻影戏的情节，，，，，，，，但香港大学的研究团队真的做到了。。。。。。。。

这个名为"EgoHumanoid"的项目首次实现了用人类的第一视角视频来训练人形机械人举行重大的全身运动控制。。。。。。。。就像人类婴儿通过视察大人走路来学会走路一样，，，，，，，，机械人现在也能通过"看"人类的视频来学习怎样在真实天下中行走和操作物体。。。。。。。。

古板的机械人训练方法就像让一个学生只在课堂里学习，，，，，，，，永远接触不到外面的真实天下。。。。。。。。研究职员通常需要在实验室里用腾贵重大的�？？？？？刈氨咐�"手把手"教机械人每一个行动，，，，，，，，这不但本钱高昂，，，，，，，，并且机械人学到的手艺往往只能在实验室这种枯燥情形中使用。。。。。。。。一旦到了真实的家庭、市肆或户外情形，，，，，，，，机械人就像换了一个完全生疏的天下，，，，，，，，经常体现得笨手笨脚。。。。。。。。

而人类的一样平常生涯恰恰相反，，，，，，，，我们天天都在州差别的情形中走路、取物、搬运，，，，，，，，积累了富厚的履历。。。。。。。。问题是，，，，，，，，人类和机械人的身体结构差别很大：人类平均身高1.6到1.8米，，，，，，，，而实验用的Unitree G1机械人只有1.3米高；；；；；人类有无邪的手指，，，，，，，，机械人只有简朴的三指机械手；；；；；人类走路时身体会自然摆动，，，，，，，，机械人则需要坚持机械式的平衡。。。。。。。。这就像试图把大人的衣服直接套在小孩身上一样，，，，，，，，尺寸和比例都对不上。。。。。。。。

研究团队的巧妙之处在于开发了一套"翻译系统"，，，，，，，，能够把人类的行动"翻译"成机械人能明确和执行的指令。。。。。。。。这个历程包括两个要害办法：视角对齐和行动对齐。。。。。。。。

视角对齐就像给机械人配了一副"变焦眼镜"。。。。。。。。由于人类比机械人高，，，，，，，，看到的视角也差别，，，，，，，，就好比成年人和小孩子看统一张桌子时，，，，，，，，成年人是俯视角度，，，，，，，，小孩子可能是平视角度。。。。。。。。研究团队使用了一种叫MoGe的手艺来估算视频中每个像素点的距离信息，，，，，，，，然后把人类的高视角"压缩"到机械人的低视角。。。。。。。。当这种转换爆发空缺区域时，，，，，，，，他们又用人工智能图像天外行艺来"脑补"这些缺失的部分，，，，，，，，确�；；；；；等丝吹降氖峭暾幕�。。。。。。。。

行动对齐则更像是制作一本"通用行动字典"。。。。。。。。研究团队设计了一套人类和机械人都能"说"的行动语言。。。。。。。。关于上半身的操作行动，，，，，，，，他们用相对位置转变来形貌，，，，，，，，好比"手向前伸5厘米，，，，，，，，向左转15度"，，，，，，，，这样就阻止了由于身高差别导致的绝对位置不匹配。。。。。。。。关于下半身的行走行动，，，，，，，，他们把重大的步态简化为几个基本指令：前进、退却、左转、右转、蹲下、站立等，，，，，，，，就像游戏手柄的偏向键一样简朴明晰。。。。。。。。

为了网络训练数据，，，，，，，，研究团队开发了一套便携的VR装备系统。。。。。。。。人类自愿者戴上VR头盔和身体追踪器，，，，，，，，头盔上装置的摄像头纪录第一视角视频，，，，，，，，身体追踪器捕获全身行动。。。。。。。。这套装备重量轻，，，，，，，，可以带到任何地方使用，，，，，，，，不像古板的机械人�？？？？？叵低衬茄直恐卮�。。。。。。。。自愿者可以在家里、市肆、公园等种种真真相形中自然地执行种种使命，，，，，，，，而这些数据都会被自动纪录下来。。。。。。。。

相比之下，，，，，，，，机械人的�？？？？？匮盗肪拖裨谑笛槭依锞傩�"标准化考试"，，，，，，，，操作员需要戴着重大的�？？？？？刈氨缸既房刂苹等说拿恳桓鍪嗯�，，，，，，，，这不但手艺要求高，，，，，，，，并且只能在配备专业装备的实验室情形中举行。。。。。。。。数据显示，，，，，，，，网络一段人类树模视频平均只需要39.7秒，，，，，，，，而网络同样长度的机械人�？？？？？厥菪枰�62.1秒，，，，，，，，人类数据网络效率提高了近一倍。。。。。。。。

研究团队设计了四个测试使命来验证这个系统的效果。。。。。。。。这些使命都需要机械人同时具备行走和操作能力，，，，，，，，就像人类在一样平常生涯中需要一边走路一边做事情一样。。。。。。。。

第一个使命是"枕头安排"，，，，，，，，机械人需要抱着枕头走到床边，，，，，，，，然后蹲下把枕头放到床头的指定位置。。。。。。。。这个使命磨练的是机械人能否在携带物品的同时坚持平衡行走，，，，，，，，并且准确地在软床面上安排物品。。。。。。。。

第二个使命是"垃圾投放"，，，，，，，，机械人要拿着垃圾走到垃圾桶前，，，，，，，，然后把垃圾准确投入桶口。。。。。。。。这不是简朴的从上往下扬弃，，，，，，，，而是需要从侧面投入，，，，，，，，这要求机械人具备准确的空间定位和投掷技巧。。。。。。。。

第三个使命是"玩具转移"，，，，，，，，机械人需要走到一个台子前，，，，，，，，用双手抓取玩具，，，，，，，，然后转身走到另一张桌子前把玩具放下。。。。。。。。这个使命涉及一连的行动序列：靠近、抓取、携带、安排，，，，，，，，每一步都不可蜕化。。。。。。。。

第四个使命是"购物车收纳"，，，，，，，，这是最重大的使命。。。。。。。�；；；；；等艘谱殴何锍档交跫芮�，，，，，，，，用一只手扶着购物车坚持稳固，，，，，，，，用另一只手从货架上取下玩具放入购物车，，，，，，，，最后推着购物车脱离。。。。。。。。这个使命要求机械人具备多使命协调能力。。。。。。。。

实验效果令人惊喜。。。。。。。。在熟悉的实验室情形中，，，，，，，，仅用机械人�？？？？？厥菅盗返南低称骄殖陕饰�59%，，，，，，，，而加入人类树模数据后乐成率提升到78%。。。。。。。。但真正的突破泛起在生疏情形测试中：纯机械人训练的系统乐成率只有31%，，，，，，，，而团结人类数据的系统乐成率高达82%，，，，，，，，提升了惊人的51%。。。。。。。。

这意味着什么呢？？？？？就像一个只在学校学习的学生和一个既在学校学习又有富厚生涯履历的学生相比，，，，，，，，后者在面临新情形时顺应能力更强。。。。。。。。人类的一样平常履历为机械人提供了富厚的"生涯知识"，，，，，，，，让它能更好地处置惩罚种种意外情形。。。。。。。。

进一步的剖析展现了一个有趣的征象：差别类型的手艺从人类数据中获益水平差别。。。。。。。。导航手艺（如走路、转弯、定位）险些完全可以从人类数据中学习，，，，，，，，由于空间移动的基来源理对人类和机械人是相似的。。。。。。。。但细腻操作手艺（如准确抓取、旋转物体）的迁徙效果较差，，，，，，，，由于人类的手指无邪度远超机械人的机械手。。。。。。。。

研究团队还发明，，，，，，，，人类数据的多样性比数目更主要。。。。。。。。他们做了一个比照实验：使用同样数目的人类树模数据，，，，，，，，但划分在1个、2个、3个差别场景中网络。。。。。。。。效果显示，，，，，，，，纵然总数据量相同，，，，，，，，场景越多样，，，，，，，，机械人的泛化能力越强。。。。。。。。这就像学语言一样，，，，，，，，在差别情形中接触统一个词汇比在统一情形中重复听统一个词汇更有助于明确。。。。。。。。

虽然，，，，，，，，这套系统也有其局限性。。。。。。。。最主要的问题是手部行动的准确转换仍然难题。。。。。。。。由于人类和机械人的手部结构差别重大，，，，，，，，机械人很难准确明确人类想要执行的准确旋转行动。。。。。。。。另外，，，，，，，，这种训练要领对数据质量要求很高，，，，，，，，人类树模者需要坚持相对标准的行动，，，，，，，，好比手部不可被遮挡太久，，，，，，，，身体不可太过摇晃等。。。。。。。。

展望未来，，，，，，，，这项手艺的潜在应用远景辽阔。。。。。。。。家庭效劳机械人可能不再需要为每个新家庭单独编程，，，，，，，，而是通过寓目主人的一样平常生涯视频就能学会顺应新情形。。。。。。。。工业机械人也可能通过寓目熟练工人的操作视频来快速学习新的装配流程。。。。。。。。更有趣的是，，，，，，，，随着VR和AR装备的普及，，，，，，，，通俗人的日�；；；；Ｔ硕约壕涂赡艹晌等搜暗拿笞试�。。。。。。。。

这项研究的真正意义在于开发了一条全新的机械人训练路径。。。。。。。。以往的机械人学习就像古板的师父带徒弟，，，，，，，，需要手把手地教每一个行动。。。。。。。。而现在，，，，，，，，机械人最先具备了通过视察学习的能力，，，，，，，，就像人类婴儿通过视察成年人来学习基本手艺一样。。。。。。。。虽然现在这种学习还不敷完善，，，，，，，，但它代表了机械人智能生长的一个主要里程碑。。。。。。。。

随着这种手艺的一直完善，，，，，，，，我们或许真的会迎来这样一个时代：只要戴上VR眼镜演示一遍，，，，，，，，机械人就能学会新手艺。。。。。。。。那时间，，，，，，，，训练机械人可能就像录制一段视频教程一样简朴。。。。。。。。

Q&A

Q1：EgoHumanoid系统详细是怎样让机械人学会人类行动的？？？？？

A：EgoHumanoid通过两个办法实现：首先是视角对齐，，，，，，，，用AI手艺把人类的高视角转换成机械人的低视角；；；；；然后是行动对齐，，，，，，，，把人类的重大行动转换成机械人能明确的简朴指令。。。。。。。。就像制作了一自己机通用的行动字典，，，，，，，，让机械人能"翻译"人类的树模行动。。。。。。。。

Q2：用VR眼镜训练机械人比古板要领有什么优势？？？？？

A：VR眼镜训练的最大优势是便携和高效。。。。。。。。古板要领需要在实验室用重大装备�？？？？？鼗等�，，，，，，，，而VR系统可以在任何地方网络数据，，，，，，，，效率提高近一倍。。。。。。。。更主要的是，，，，，，，，人类可以在真实多样的情形中自然演示，，，，，，，，为机械人提供富厚的"生涯履历"，，，，，，，，大幅提升其在新情形中的顺应能力。。。。。。。。

Q3：这种训练要领的乐成率怎样？？？？？

A：在生疏情形测试中，，，，，，，，纯机械浙江绿谷生态科技有限公司人训练的乐成率只有31%，，，，，，，，而团结人类树模数据的系统乐成率抵达82%，，，，，，，，提升了51%。。。。。。。。在熟悉情形中，，，，，，，，乐成率也从59%提升到78%。。。。。。。。这说明人类的一样平常履历确实能显著提高机械人的学习效果和顺应能力。。。。。。。。

PT视讯(中国区)官网