想象这样一个场景：一个机械人重庆嘉陵江装备科技有限公司眼前的桌上摆着一堆物体，，，，，，，其中包括红色积木和蓝色积木，，，，，，，此时，，，，，，，若是给出让它“把红色积木叠到蓝色积木上”的指令，，，，，，，它是否能顺遂执行？？？？？？？ ？
（泉源：Nano Banana Pro）
对人类来说，，，，，，，这个使命听起来十分简朴。。。 。。。 。。由于你需要做的只是眼睛盯着红色积木，，，，，，，伸手拿起，，，，，，，然后锁定蓝色积木，，，，，，，放到上面就大功告成。。。 。。。 。。但对目今大大都机械人而言，，，，，，，事情并非云云。。。 。。。 。。在许多时间，，，，，，，机械人的使命乐成率并不稳固，，，，，，，它有可能径直去使用其他物体，，，，，，，而非目的物体。。。 。。。 。。
为什么云云简朴的使命，，，，，，，关于机械人来说却无法稳固完成呢？？？？？？？ ？
这是由于目今主流的 VLA 模子（Vision-Language-Action Model，，，，，，，视觉-语言-行动模子）在执行抓取使命时，，，，，，，视觉注重力往往呈弥散漫衍。。。 。。。 。。也就是说，，，，，，，模子虽能输出行动序列，，，，，，，但其内部注重力并未真正聚焦于指令所指的目的物体（如红色积木），，，，，，，而是疏散在图像多个区域。。。 。。。 。。
这种注重力错位直接导致机械人的操作失误，，，，，，，例如容易抓取过失物体，，，，，，，或在多物体情形中定位禁绝。。。 。。。 。。
为相识决这一问题，，，，，，，来自香港科技大学（广州）与西湖大学等高校的一支团结研究团队，，，，，，，在对主流 VLA 模子举行系统剖析后，，，，，，，提出了 ReconVLA（重修式视觉-语言-行动模子）。。。 。。。 。。
在这个模子中，，，，，，，他们立异性地引入了一种名为"隐式定位"（Implicit Grounding）的训练范式。。。 。。。 。。不在推理阶段特殊加模�？？？？？？ ？�，，，，，，，不输出界线框，，，，，，，而是在训练历程中，，，，，，，通过让模子重修目的操作区域的图像，，，，，，，迫使它在视觉编码阶段就把注重力集中到准确的地方。。。 。。。 。。
图 | 团队论文（泉源：arXiv）
据悉，，，，，，，该事情于上月荣获 AAAI 国际先进人工智能协会 2026 的优异论文奖（Outstanding Paper Award）。。。 。。。 。。
论文第一作者宋文轩告诉 DeepTech，，，，，，，目今 VLA 模子的主流架构，，，，，，，通常以一个预训练好的 VLM 为主干，，，，，，，再接上一个行动天生头（action head），，，，，，，用来输出机械人的控制信号。。。 。。。 。。这个架构里，，，，，，，VLM 认真“看”和“明确”，，，，，，，行动头认真“做”。。。 。。。 。。
图 | 宋文轩 （泉源：被访者）
问题在于，，，，，，，VLM 最初是为图像明确和对话使命设计的，，，，，，，它学到的视觉表征（visual representation）着重语义层面。。。 。。。 。。好比识别一张图里有什么工具、它们之间的关系。。。 。。。 。。但对机械人操控来说，，，，，，，真正主要的不但是“图里有什么”，，，，，，，而是“我该去操作那里”，，，，，，，这涉及到操作可供性（affordance）的感知，，，，，，，是一种 VLM 原生训练目的中并不包括的能力。。。 。。。 。。
另一位团队焦点成员之一丁鹏翔增补，，，，，，，通用视觉模子和具身控制使命之间保存显著的领域差别（domain gap）。。。 。。。 。。即便 VLM 在图像明确上极为强盛，，，，，，，它也未必能自然迁徙到机械人场景。。。 。。。 。。这种能力缺失直接体现为视觉注重力的高度弥散。。。 。。。 。。
图 | 丁鹏翔 （泉源：受访者）
在简朴场景下，，，，，，，注重力疏散或许影响不大。。。 。。。 。。若是桌上只有一个物体，，，，，，，就算注重力散一点，，，，，，，模子也或许率能抓对。。。 。。。 。。但一旦场景变得杂乱，，，，，，，好比桌面上摆了五六样工具，，，，，，，贫困就来了。。。 。。。 。。
团队实验批注，，，，，，，此时，，，，，，，“模子往往看到物体就抓”。。。 。。。 。。只要腕部相机视野中泛起可抓取目的，，，，，，，模子就倾向于执行抓取行动，，，，，，，至于抓的是不是人类期望的谁人，，，，，，，它并不总是体贴。。。 。。。 。。抓取行动的乐成率可能很高，，，，，，，但抓取的准确率则是另一回事。。。 。。。 。。这说明模子完成了行动层面的使命，，，，，，，却没有与人类意图对齐（intent alignment）。。。 。。。 。。
另一个更隐藏问题泛起在长程使命（long-horizon task）中。。。 。。。 。。所谓长程使命，，，，，，，就是需要多个办法依次完成的操作链。。。 。。。 。。由于纵然每一步哪怕只有细小误差，，，，，，，误差会逐步累积，，，，，，，到后面几步时，，，，，，，系统状态可能已经偏离了训练数据的漫衍。。。 。。。 。。丁鹏翔举了一个直观的数字：即便单步乐成率高达 99%，，，，，，，一连执行 100 步后的整体乐成率也执伲约 36.6%。。。 。。。 。。
那么，，，，，，，“隐式定位”究竟是什么意思？？？？？？？ ？详细又该怎样实现？？？？？？？ ？丁鹏翔给了 DeepTech 类比：人类在执行细腻操作时，，，，，，，虽然看到的是整个场景，，，，，，，但真正聚焦的只有一小片区域。。。 。。。 。。若是指令是“拿杯子”，，，，，，，哪怕桌上放了十样工具，，，，，，，人类的视觉焦点会自动锁定在杯子上，，，，，，，周围的一切都变得模糊。。。 。。。 。。这种行为在视觉科学中叫做“注视”（gaze）。。。 。。。 。。
ReconVLA 借鉴了这一机制。。。 。。。 。。在训练阶段，，，，，，，除了通例的行动展望损失之外，，，，，，，模子还需要完成一个辅助使命：重修目今图像中与操作目的对应的区域，，，，，，，即所谓的“注视区域”（gaze region）。。。 。。。 。。
（泉源：论文）
详细来说，，，，，，，模子的视觉输出 token（称为"重修 token"，，，，，，，reconstructive token）会被输入到一个轻量级的扩散变压器（diffusion transformer）中，，，，，，，该扩散模�？？？？？？ ？榈哪康氖谴釉肷谢指闯鲎⑹忧虻氖泳跆卣�。。。 。。。 。。若是模子在编码阶段没有把注重力放在目的区域上，，，，，，，它输出的重修 token 就不会包括足够的细粒度信息，，，，，，，扩散模�？？？？？？ ？榫臀薹ㄍ瓿芍匦�，，，，，，，损失函数就会处分它。。。 。。。 。。
这形成了一个流通的反响回路：想要完成重修 → 必需关注目的 → 关注目的后视觉表征更准确 → 行动展望更准。。。 。。。 。。整个历程中，，，，，，，没有任何显式的界线框输出，，，，，，，也没有外部检测模子加入推理。。。 。。。 。。重修模�？？？？？？ ？橹辉谘盗肥北４�，，，，，，，推理时被完全移除。。。 。。。 。。这意味着 ReconVLA 在安排阶段的推理速率与通例 VLA 模子完全一致，，，，，，，不引入任何特殊延迟。。。 。。。 。。
这和此前的视觉定位要领有什么差别？？？？？？？ ？
此前，，，，，，，视觉定位主要依赖于两种范式。。。 。。。 。。一种是"显式定位"（Explicit Grounding），，，，，，，好比 RoboGround 和 VIP 等事情，，，，，，，它们使用外部检测模子（如 YOLO 或 LISA）先把目的物文体剪出来，，，，，，，再把裁剪图像和原图一起输入 VLA。。。 。。。 。。这种要领确实提供了更聚焦的视觉信息，，，，，，，但它依赖外部模子的精度，，，，，，，且两张图像的简朴拼接引入了信息冗余。。。 。。。 。。
另一种是"头脑链定位"（CoT Grounding），，，，，，，如 ECoT 和 GraspVLA，，，，，，，让模子先输出目的的界线框坐标，，，，，，，再输出行动。。。 。。。 。。这种方法在理论上很漂亮，，，，，，，但实验效果显示它甚至不如基线。。。 。。。 。。在 CALVIN 基准测试中，，，，，，，CoT 方法的 5 步一连使命乐成率险些为零。。。 。。。 。。缘故原由可能在于，，，，，，，坐标形式的定位信息对 VLA 模子来说并不是一种高效的指导信号，，，，，，，同时要输出准确坐标和准确行动值，，，，，，，给训练带来了特殊肩负。。。 。。。 。。
图 | 差别范式之间的看法较量（泉源：论文）
相比之下，，，，，，，ReconVLA 的隐式定位在统一基准上取得了最高效果。。。 。。。 。。
在 CALVIN ABC→D 测试（要求模子在未见过的情形 D 中执行 5 步一连使命）中，，，，，，，ReconVLA 在第 5 个子使命上抵达了 64.1% 的乐成率，，，，，，，而基线模子为 49.0%，，，，，，，显式定位要领为 50.2%，，，，，，，提升约 15 个百分点。。。 。。。 。。在更具挑战性的细腻操作使命"积木堆叠"（stack block）中，，，，，，，基线乐成率仅 59.3%，，，，，，，ReconVLA 抵达 79.5%，，，，，，，提升凌驾 20 个百分点。。。 。。。 。。
图 | 差别范式之间的测试分数比照（泉源：论文）
为了让重修能力具备泛化性，，，，，，，团队还构建了一个大规模预训练数据集，，，，，，，包括凌驾 10 万条机械人操作轨迹和 200 万个数据样本。。。 。。。 。。数据泉源包括开源的 BridgeData V2 以及 LIBERO、CALVIN 两个仿真情形数据集。。。 。。。 。。
注视区域的标注借助了 Grounding DINO 这一开放词汇检测模子（open-vocabulary detector），，，，，，，大部分数据可以通过零样本（zero-shot）方法直接标注，，，，，，，关于机械人场景中一些较为有数或重大的物体，，，，，，，团队则举行了定制化微调。。。 。。。 。。消融实验证实，，，，，，，预训练阶段对泛化能力的提升是显著的。。。 。。。 。。移除预训练后，，，，，，，5 步一连使命的最终乐成率从 64.1% 下降至 58.2%。。。 。。。 。。
真实天下的实验进一步验证了这一要领的可行性。。。 。。。 。。
团队使用一台 6 自由度的 AgileX PiPer 机械臂，，，，，，，配合两个深度相机（划分作为基座视角和手部视角），，，，，，，在四个代表性使命上举行了测试：将水果放入碗中、叠碗、翻杯子、整理桌面。。。 。。。 。。在每个使命中，，，，，，，ReconVLA 都取得了最高乐成率。。。 。。。 。。
特殊值得注重的是在“未见物体”（unseen objects）的测试中，，，，，，，当目的物体不在训练数据中时，，，，，，，比照要领 OpenVLA 和 PD-VLA 的乐成率靠近零，，，，，，，而 ReconVLA 仍能乐成定位目的并完成操作，，，，，，，展现出其视觉泛化能力。。。 。。。 。。
图 | 四个代表性使命的真实天下设置（泉源：论文）
虽然，，，，，，，任何要领都不是完善的。。。 。。。 。。宋文轩向 DeepTech 坦言，，，，，，，ReconVLA 的主要特殊本钱在训练阶段——引入重修目的意味着更多的盘算开销，，，，，，，只管团队已经对扩散模�？？？？？？ ？樽隽饲崃炕杓评纯刂普獠糠窒�。。。 。。。 。。丁鹏翔指出了另一层局限：目今建模仍然主要基于二维视觉空间，，，，，，，在需要深度信息和三维几何约束的高精度使命中，，，，，，，即便二维定位越发准确，，，，，，，空间操作精度仍然可能受限。。。 。。。 。。
团队透露，，，，，，，他们已在后续事情中最先探索三维感知建模（3D-aware modeling），，，，，，，相关效果已提交至近期的学术聚会。。。 。。。 。。别的，，，，，，，力觉感知和力控信号等多模态信息现在也尚未纳入框架，，，，，，，但从要领结构上看，，，，，，，这些模态完全可以通过同样的隐式建�；；；；；普辖�。。。 。。。 。。
谈到具身智能的落地远景，，，，，，，丁鹏翔的看法颇为务实。。。 。。。 。。他以为 VLA 不必急于落地到某一个详细的笔直场景才算有价值。。。 。。。 。。类比早期的 ChatGPT，，，，，，，GPT-3 宣布时并没有连忙嵌入某个特定行业流程，，，，，，，但它显著改变了写作和内容创作的效率。。。 。。。 。。
VLA 的价值可能也会履历类似的“两步走”。。。 。。。 。。第一步是降低安排本钱。。。 。。。 。。已往每个工厂使命都需要自力建模，，，，，，，若是有一个足够强的基础模子，，，，，，，企业只需少量微调就能完成适配；；；；；第二步才是团结 Agent 系统构建详细场景的闭环事情流。。。 。。。 。。
他还增补说，，，，，，，他们曾将经由通用训练的模子安排到现实工业情形中测试拧螺丝、插接零部件等使命，，，，，，，效果显示只要基座模子足够稳固，，，，，，，下游使命性能就会显著提升。。。 。。。 。。他以为短中期更具潜力的场景包括半结构化工业装配、轻工业细腻操作以及商业效劳机械人（如饮品制作）。。。 。。。 。。这些场景的配合特点是操作链条明确、精度要求高、对重复性稳固性有刚需。。。 。。。 。。
除研究外，，，，，，，这支团队还配合建设了一个名为 OpenHelix 的开源社区，，，，，，，现在已一连开源十余个项目，，，，，，，累计获得约 3,600 个 GitHub 星标。。。 。。。 。。在资源有限的条件下，，，，，，，他们选择了一条"高效与聚焦"的蹊径。。。 。。。 。。不追求数百张 GPU 的大规模训练和高度工程化的演示，，，，，，，而是专注于具有要领论洞见的研究偏向。。。 。。。 。。
他们信托，，，，，，，只有通过开放共享，，，，，，，研究效果才华真正落地到更多从业者手中。。。 。。。 。。除了 ReconVLA 的后续迭代，，，，，，，团队还在推进触觉与力反响、双臂协作等偏向的研究，，，，，，，目的是拓宽 VLA 的能力界线，，，，，，，而不但仅停留在简单展示型应用上。。。 。。。 。。
https://arxiv.org/html/2508.10333v1
运营/排版：何晨龙
重庆嘉陵江装备科技有限公司