PT视讯(中国区)官网

您目今位置:首页 > 新闻中心 > 新要闻

买通视频天生与机械人天下模子，，，，，，，，BridgeV2W 让机械人学会"预演未来"

2026-03-05 00:38:44

机械人怎样"脑补"未来？？？？？？？

想象一下，，，，，，，，你眼前摆着一杯咖啡，，，，，，，，你伸手去拿，，，，，，，，在你的手真正触遇到杯子之前，，，，，，，，你的大脑已经在"脑补"了整个历程：手臂将怎样移动、杯子会是什么触感、抬起后桌面的样子……这种对未来场景的想象和展望能力，，，，，，，，正是人类操控天下的焦点认知基石。。。。。。。。

那么，，，，，，，，能否付与机械人同样的“预演能力”，，，，，，，，先在“脑海”中模拟行动效果，，，，，，，，再付诸执行？？？？？？？这就是具身天下模子要做的事情：让机械人在行动前，，，，，，，，就能“望见”未来。。。。。。。。近年来，，，，，，，，借助大规模视频天生模子（如Sora、Wan等）强盛的视觉先验，，，，，，，，这一偏向取得了令人瞩目的希望。。。。。。。。

然而，，，，，，，，一个尴尬的问题始终悬而未决：视频天生模子的天下由像素编织而成，，，，，，，，而机械人的语言却是枢纽角度与位姿坐标，，，，，，，，它们使用完全差别的“表征语言”形貌统一个物理天下。。。。。。。。

为相识决上述问题，，，，，，，，具身智能公司中科第五纪团结中科院自动化所团队推出 BridgeV2W，，，，，，，，它通过一个极为优雅的设计，，，，，，，，具身掩码（Embodiment Mask），，，，，，，，一种由机械人行动渲染出的“行动剪影”，，，，，，，，将坐标空间的行动无缝映射到像素空间，，，，，，，，从而真正买通预训练视频天生模子与天下模子之间的桥梁，，，，，，，，让机械人学会可靠地“预演未来”。。。。。。。。

逆境：三座大山盖住了机械人的"预演能力"

只管远景辽阔，，，，，，，，目今的具身天下模子仍面临三大焦点挑战：

1.行动与画面“语言欠亨”。。。。。。。。�；；；；；；；等诵卸鞘嗯恰⒆詈笪蛔说茸晔担�，，，，，而视频天生模子只“看”像素。。。。。。。。直接拼接行动向量效果有限，，，，，，，，往往缺乏空间对齐的“硬毗连”，，，，，，，，模子难以明确。。。。。。。。

2.视角一变，，，，，，，，天下就“崩”。。。。。。。。统一行动在差别视角下外观迥异。。。。。。。。现有要领在训练视角上尚可，，，，，，，，一旦换视角，，，，，，，，展望质量骤降，，，，，，，，而真实场景中，，，，，，，，相机位置险些不可能复现训练设置。。。。。。。。

3.换一个机械人就得“从零最先”。。。。。。。。单臂、双臂、移动底盘……结构千差万别。。。。。。。。现有要领往往需为每种机械人定制架构，，，，，，，，难以构建统一的天下模子。。。。。。。。

焦点立异：仅凭"行动剪影"，，，，，，，，一举破解三浩劫题

BridgeV2W 的焦点洞察极其直觉：既然鸿沟源于“坐标 vs 像素”，，，，，，，，那就把行动直接“画”进画面里！

它提出具身掩码：使用机械人的 URDF 模子和相机参数，，，，，，，，将行动序列实时渲染为每帧图像上的二值“行动剪影”，，，，，，，，精准标出机械人在画面中的位置与姿态。。。。。。。。

这一设计，，，，，，，，一举破解前述三浩劫题：

行动-像素对齐：掩码是自然的像素级信号，，，，，，，，与视频模子输入空间完全匹配，，，，，，，，无需模子“猜”坐标的寄义。。。。。。。。

视角自顺应：掩码随目今相机视角动态天生，，，，，，，，行动与画面始终对齐，，，，，，，，模子因此自然泛化到恣意新视角。。。。。。。。

跨具身通用：只要提供 URDF，，，，，，，，单臂、双臂机械人都能用统一套框架天生对应掩码，，，，，，，，无需修改模子结构。。。。。。。。

手艺上，，，，，，，，BridgeV2W 接纳 ControlNet 式的旁路注入，，，，，，，，将掩码作为条件信号融入预训练视频天生模子，，，，，，，，在保存其强盛视觉先验的同时，，，，，，，，付与其明确机械人行动的能力。。。。。。。。别的，，，，，，，，为避免模子“偷懒”（只复现静态配景），，，，，，，，还引入光流驱动的运动损失，，，，，，，，指导其聚焦于使命相关的动态区域。。。。。。。。

实验效果：多场景、多机械人、多视角的周全验证

研究团队在多个设置下系统验证了BridgeV2W的能力，，，，，，，，涵盖差别机械人平台、差别操作场景、未见视角和下游使命应用。。。。。。。。

DROID数据集：大规模单臂操作

DROID是现在最大规模的真实天下机械人操作数据集之一，，，，，，，，数据收罗跨越多个实验室和情形。。。。。。。。BridgeV2W在该数据集上的体现尤为亮眼，，，，，，，，在 PSNR、SSIM、LPIPS 等焦点指标上逾越 SOTA 要领。。。。。。。。

尤其在“未见视角”测试中，，，，，，，，比照要领常泛起画面崩塌、肢体错位，，，，，，，，而 BridgeV2W 依然天生物理合理、视觉连贯的未来视频，，，，，，，，充分验证了其视角鲁棒性。。。。。。。。在“未见场景”（全新桌面结构、配景）下，，，，，，，，泛化能力同样精彩。。。。。。。。

AgiBot-G1数据集：双臂人形机械人

AgiBot-G1 是一个完全差别的双臂平台，，，，，，，，自由度与运动模式与 DROID 截然差别。。。。。。。。

要害效果：无需修改模子架构，，，，，，，，仅替换 URDF 并重新渲染掩码，，，，，，，，BridgeV2W 就能无缝适配，，，，，，，，并取得媲美单臂的展望质量，，，，，，，，这是迈向通用具身天下模子的主要一步。。。。。。。。

下游使命应用：从"想象"到"行动"

BridgeV2W不但仅是一个"能天生悦目视频"的模子，，，，，，，，研究团队进一步在真实天下的下游使命中验证了着适用价值：

战略评估：在天下模子中“试跑”差别战略，，，，，，，，无需真实机械人重复试错。。。。。。。。实验显示，，，，，，，，BridgeV2W 的评估效果与真实乐成率高度相关，，，，，，，，大幅降低战略迭代本钱。。。。。。。。

目的图像操作妄想：给定一张目的图像（如“把杯子放到盘子上”），，，，，，，，BridgeV2W 能在“想象空间”中搜索出可行行动序列，，，，，，，，实现从视觉目的到物理行动的闭环妄想。。。。。。。。

要害亮点：海量无标注人类视频，，，，，，，，全都能用！

你可能会问：具身掩码不是需要 URDF 和相机参数吗？？？？？？？没有这些几何信息的数据怎么办？？？？？？？

BridgeV2W 的巧妙之处在于：

?推理时需轻量几何信息（URDF + 相机参数）渲染“盘算掩码”，，，，，，，，用于精准控制；；；；；；；；

?训练时却无需任何标定：只需支解模子（如 SAM）提取的“支解掩码”，，，，，，，，即可提供有用监视。。。。。。。。

团队将 AgiBot-G1 机械人数据与无标定的 Ego4D FHO（第一人称手部操作视频）混淆训练，，，，，，，，仅用 SAM 提取的手部掩码，，，，，，，，就实现了惊人效果：

?仅用支解掩码训练，，，，，，，，模子仍能学到合理的运动纪律；；；；；；；；

?加入大宗 Ego4D 视频 + 少量机械人标定命据，，，，，，，，性能险些媲美全量标定训练。。。。。。。。

这说明：人类视频蕴含富厚的行动先验，，，，，，，，只需少量机械人数据，，，，，，，，就能完成“具身对齐”。。。。。。。。

一句话总结：训练靠“野生”视频扩规模，，，，，，，，安排靠轻量几何保精度：BridgeV2W 兼得可扩展性与准确性。。。。。。。。

BridgeV2W展现了一条极具远景的手艺蹊径：

视频天生模子 + 具身掩码 = 可扩展的机械人天下模子

这条蹊径有三个要害优势值得深思：

1、数据飞轮真正启动：互联网视频规模远超机械人数据数个数目级。。。。。。。。BridgeV2W 无需几何先验即可使用人类视频，，，，，，，，为构建“机械人数据飞轮”迈出要害一步。。。。。。。。

2、手艺盈利自动继续：视频天生领域正高速迭代（Sora、Wan、CogVideoX……）。。。。。。。。BridgeV2W 的架构使其能自然受益于底座模子升级，，，，，，，，底座越强，，，，，，，，“预演”越真。。。。。。。。

3、通用智能的坚实基石：从单臂到双臂，，，，，，，，从已知场景到未知视角，，，，，，，，BridgeV2W 展现出的跨平台、跨场景、跨视角泛化能力，，，，，，，，是迈向通用具身智能的主要里程碑。。。。。。。。

总结与展望

BridgeV2W 通过“具身掩码”这一精练而优雅的中心表征，，，，，，，，乐成架起了从大规模视频天生模子到适用具身天下模子的桥梁。。。。。。。。它不但解决了行动-像素对齐、视角鲁棒性、跨具身通用性三大焦点挑战，，，，，，，，更要害的是：训练无需 URDF 或相机标定，，，，，，，，可直接使用海量无标注人类视频，，，，，，，，为天下模子的规模�；；；；；；；盗房⒘巳侣肪�。。。。。。。。

现在展现的能力，，，，，，，，或许只是冰山一角。。。。。。。。

试想未来：当视频天生底座从十亿参数迈向千亿，，，，，，，，当训练数据从数千小时机械人视频扩展到百万小时人类操作视频，，，，，，，，当具身掩码从机械臂延伸至全身人形、以致多机协作，，，，，，，，机械人的“预演能力”将迎来怎样的奔腾？？？？？？？

正如 DreamZero 等事情预示的“机械人 GPT 时刻”，，，，，，，，BridgeV2W 从另一个维度证实：

让机械人借助视频天生模子“预演”自身行动的效果——这条路，，，，，，，，不但走得通，，，，，，，，并且可以走得很远。。。。。。。。

论文问题：BridgeV2W: Bridging Video Generation Models to Embodied World Models via Embodiment Masks

论文链接：https://arxiv.org/pdf/2602.03793

项目链接：https://b柠悦饮品有限公司ridgev2w.github.io/

【网站地图】【sitemap】