这个情人节， ，，，，，，Unitree G1 人形机械人解锁了 “求婚” 新手艺。。。。。。。。
在人类眼中充满仪式感的求婚行动， ，，，，，，关于机械人来说着实是颇具难度的全身操作使命：既要维持重心稳固， ，，，，，，又要包管手部行动的精准， ，，，，，，这对机械人的全身协调能力提出了不小的磨练。。。。。。。。
这一浪漫场景的背后， ，，，，，，是清华叉院、上海期智研究院、千寻智能与上海交通大学团结团队的最新研究效果 ——HuMI (Humanoid Manipulation Interface)， ，，，，，，一个集成了人形机械人便携式数据收罗与多样化手艺学习的通用框架：研究职员不再受困于繁琐的遥操作或腾贵的动捕情形， ，，，，，，只需佩带简朴的追踪装备， ，，，，，，就能高效教会人形机械人协调全身， ，，，，，，完成重大的操作使命 。。。。。。。。
论文问题：Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations论文链接：http://arxiv.org/abs/2602.06643项目主页：https://humanoid-manipulation-interface.github.io
教人形机械人学会全身操作， ，，，，，，难在那里？？？？？？
只管遥操作是现在获取数据的主流计划， ，，，，，，但其收罗效率低下， ，，，，，，对操作员的履历要求也较高；；；；；；；；同时， ，，，，，，由于无法脱离实体机械人， ，，，，，，收罗场景往往局限于实验室内部， ，，，，，，难以获取支持泛化的多样性数据。。。。。。。。
相比之下， ，，，，，，虽然 UMI 的 “无真机” 数采计划在机械臂上大获乐成， ，，，，，，但直接迁徙到人形机械人时却面临如下难题：
演示信息缺失：仅纪录手持夹爪部轨迹无法约束全身姿态， ，，，，，，机械人不知道向下抓取时该 “弯腰” 照旧 “下蹲”；；；；；；；；人机构型差别：人与机械人的身体比例差别， ，，，，，，简朴的尺寸缩放会导致机械人与交互物体的空间错位；；；；；；；；执行误差滋扰：与机械臂的高精度差别， ，，，，，，人形机械人的底层控制器往往保存较大的跟踪误差， ，，，，，，导致高层战略妄想的轨迹与现实执行脱节。。。。。。。。
HuMI 系统的焦点手艺
针对人形机械人数据收罗难、效率低的痛点， ，，，，，，团队提出了 HuMI 系统。。。。。。。。该系统通过硬件、交互与算法的协同设计， ，，，，，，实现了低本钱、高效率的人形机械人全身操作战略学习。。。。。。。。
1. 硬件设计：便携式衣着装备
收罗数据时， ，，，，，，操作员仅需手持两个带有鱼眼 GoPro 相机的 UMI 手柄， ，，，，，，并在手柄上、腰部和双脚佩带 5 个 HTC Ultimate VIVE 追踪器。。。。。。。。有了这套便携的装备， ，，，，，，无需将粗笨的实体机械人搬运到现场�。。。。。。。� ，，，，，，即可在楼道、大堂等种种情形中收罗全身行动数据， ，，，，，，极大降低了数据获取的门槛。。。。。。。。
2. 数据收罗：实时逆运动学预览
为相识决人机身体构型差别导致的行动不可用问题， ，，，，，，HuMI 提供了实时逆运动学（IK）预览。。。。。。。。收罗数据时， ，，，，，，操作员可以通过屏幕视察虚拟机械人做出对应行动的效果。。。。。。。。若是人的行动凌驾了机械人的物理极限， ，，，，，，操作员能连忙发明并调解姿态， ，，，，，，从而确保收罗到的数据物理可行。。。。。。。。别的， ，，，，，，重定向后的全身数据也会进一步用于底层控制器的训练。。。。。。。。
3. 算法架构：分层控制战略
HuMI 接纳崎岖层协同的分层式控制架构， ，，，，，，通过全心设计的接口层将妄想与控制模�？？？？？橛谢� ，，，，，，配合完成重大的全身操作使命：
高层妄想战略：基于 Diffusion Policy， ，，，，，，使用手腕相机的视觉输入妄想全身要害点轨迹；；；；；；；；底层控制战略：通过强化学习训练。。。。。。。。在训练阶段， ，，，，，，HuMI 设计了自顺应的手部跟踪奖励， ，，，，，，并引入了变速增强训练， ，，，，，，使机械人能同时兼顾全身的协调平衡与手部的精准操作。。。。。。。。
实验体现：多维使命验证
团队在 Unitree G1 人形机械人上举行了多方面测试， ，，，，，，从使命能力、泛化体现和收罗效率三个维度验证了系统的有用性：
1.使命能力：HuMI 乐成实现了五项颇具挑战性的全身操作使命：求婚（单膝下跪）、拔剑出鞘、投掷玩具、上前整理桌面以及下蹲拾取�。。。。。。。� ，，，，，，展现了双臂协同、高动态、长距离移动操作等多方面能力， ，，，，，，且均抵达了 75% 以上的乐成率。。。。。。。。实验证实， ，，，，，，机械人能够流通地完成大幅度重心转移和细腻的手部行动， ，，，，，，坚持了极高的平衡稳固性和行动连贯性。。。。。。。。
2.泛化体现：依附便携硬件随时随地收罗数据的优势， ，，，，，，HuMI 能够轻松笼罩种种真实场景， ，，，，，，为战略的泛化性打下了坚实基础。。。。。。。。在下蹲拾取这一使命上的实验效果显示， ，，，，，，机械人在聚会室、电梯间、走廊等未见过的场景， ，，，，，，面临未见过的瓶状物体时， ，，，，，，仍能坚持 70% 的使命乐成率。。。。。。。。上述实验批注， ，，，，，，得益于便携式装备带来的数据收罗规模与多样性， ，，，，，，战略在重大情形下具有精彩的泛化能力。。。。。。。。
3.收罗效率：与古板遥操作模式相比， ，，，，，，HuMI 在数据网络效率上展现出显著优势。。。。。。。。由于挣脱了对机械人真机的依赖， ，，，，，，系统的数据收罗吞吐量提升至古板方法的 3 倍 —— 以拔剑使命为例， ，，，，，，仅需 15 分钟即可快速网络 60 条有用演示数据。。。。。。。。别的， ，，，，，，HuMI 还扩展了行动收罗的界线：在遥操作中， ，，，，，，若底层控制器不支持单膝下跪等高难度行动， ，，，，，，操作员便无法举行数据收罗；；；；；；；；而 HuMI 则能够挣脱真机限制， ，，，，，，先行收罗这类重大行动。。。。。。。。
HuMI 的焦点价值在于突破了数据收罗对机械人实体的依赖。。。。。。。。通过全新的数据收罗方法， ，，，，，，HuMI 大幅降低了人形机械人数据的获取门槛与本钱， ，，，，，，在显著提升学习效率的同时， ，，，，，，也为开发更具泛化性的通用人形机械人手艺提供了有力支持。。。。。。。。
关于作者
该项目有三位配合一作：佴瑞乾， ，，，，，，郑博远， ，，，，，，赵俊铭。。。。。。。。
佴瑞乾是清华大学交织信息研究院的四年级博士生， ，，，，，，导师为高阳教授。。。。。。。。他的主要研究偏向为具身智能， ，，，，，，致力于通过大规模数据使机械人能够感知、推理和学习。。。。。。。。佴瑞乾已在 ICLR, ICRA, AAAI, NeurIPS 等多个机械人学和机械学习顶会揭晓论文， ，，，，，，研究项目涵盖人形机械人， ，，，，，，VLA， ，，，，，，四足机械人等多个偏向。。。。。。。。
郑博远是清华大学交织信息研究院的一年级博士生， ，，，，，，导师为高阳教授。。。。。。。。他的主要研究偏向为具身智能， ，，，，，，现在专注于通过人形机械人的全身协同控制， ，，，，，，实现重大多样的移动操作使命。。。。。。。。郑博远已在 CoRL、ICLR 等多个机械人学和机械学习顶会揭晓论文。。。。。。。。
赵俊铭是清华大学交织信息院（IIIS）的一年级博士生， ，，，，，，导师为高阳教授。。。。。。。。他的研究聚焦于具身智能， ，，，，，，致力于付与机械人更通用和鲁棒的操作能力。。。。。。。。他重点关注机械人操作数据的高效扩展及人形机械人的移动操作。。。。。。。。此前的事情包括高效泛化的插入装配模子， ，，，，，，以及融合自顺应推理的 VLA 模子等。。。。。。。。
项目的通讯作者是清华大学交织华宴食物加工有限公司信息研究院助理教授、千寻智能团结首创人高阳， ，，，，，，他主要研究盘算机视觉与机械人学。。。。。。。。此前， ，，，，，，他在美国加州大学伯克利分�；；；；；；；；竦貌┦垦唬� ，，，，，，师从 Trevor Darrell 教授。。。。。。。。他还在加州伯克利大学与 Pieter Abbeel 等人相助完成了博士后事情。。。。。。。。在此之前， ，，，，，，高阳从清华大学盘算机系结业， ，，，，，，与朱军教授在贝叶斯推理方面开展了研究事情。。。。。。。。他在 2011-2012 年在谷歌研究院举行了自然语言处置惩罚相关的研究事情、2016 年在谷歌自动驾驶部分 Waymo 的相机感知团队事情， ，，，，，，在 2018 年与 Vladlen Koltun 博士在英特尔研究院在端到端自动驾驶方面举行了研究事情。。。。。。。。高阳在人工智能顶级聚会 NeurIPS， ，，，，，，ICML， ，，，，，，CVPR， ，，，，，，ECCV， ，，，，，，ICLR 等揭晓过多篇学术论文， ，，，，，，谷歌学术引用量凌驾 5000 次。。。。。。。。