这项由南洋理工大学S-Lab实验室团结中山大学、上海交通大学和商汤科技配合完成的研究揭晓于2026年2月，，，，，，，，论文编号为arXiv:2602.18532v1。。。。。。。关于想要深入相识手艺细节的读者，，，，，，，，可以通过这个编号在学术数据库中查找完整论文。。。。。。。
当你看到一个机械人能够准确明确你说的话，，，，，，，，看懂眼前的场景，，，，，，，，然后准确地完成你交接的使命时，，，，，，，，你是否会以为这简直像科幻影戏一样神奇？？？？？？？？现实上，，，，，，，，这背后涉及到的手艺被称为视觉-语言-行动模子，，，，，，，，简称VLA模子。。。。。。。就像教一个孩子既要会看、会听、还要会做事一样，，，，，，，，VLA模子需要同时处置惩罚视觉信息、明确语言指令，，，，，，，，并转化为详细的行动。。。。。。。
已往几年里，，，，，，，，随着人工智能手艺的飞速生长，，，，，，，，研究职员们纷纷投入到VLA模子的研究中。。。。。。。每个团队都在探索自己的要领，，，，，，，，就像差别的厨师在实验种种食谱做统一道菜。。。。。。。然而，，，，，，，，这种各自为政的研究方法带来了一个问题：由于各人使用的训练要领、评估标准都不相同，，，，，，，，很难判断哪种设计选择真正有用。。。。。。。这就好比差别厨师在差别厨房、用差别食材、按差别标准做菜，，，，，，，，最后很难较量谁的食谱更好。。。。。。。
南洋理工大学的研究团队意识到了这个问题。。。。。。。他们决议不再盲目地提出新的模子架构，，，，，，，，而是回到基础，，，，，，，，系统地研究VLA模子设计空间中的种种选择。。。。。。。他们的目的是找出一套经由验证的"最佳实践食谱"，，，，，，，，让后续的研究者们能够在一个统一的框架下事情。。。。。。。
研究团队从一个简朴的基准模子最先，，，，，，，，这个模子类似于之前广受关注的RT-2和OpenVLA模子。。。。。。。然后，，，，，，，，他们像做比照实验一样，，，，，，，，系统地测试了三个维度的设计选择：基础组件、感知要素，，，，，，，，以及行动建模视角。。。。。。。通过这种严酷的实验要领，，，，，，，，他们最终总结出了12个要害发明，，，，，，，，这些发明配合组成了构建强盛VLA模子的适用指南。。。。。。。
这项研究的效果不但仅是理论上的突破。。。。。。。研究团队基于他们发明的设计原则，，，，，，，，开发出了一个名为VLANeXt的模子。。。。。。。令人惊喜的是，，，，，，，，只管VLANeXt的模子规模比现有的顶尖要领要小，，，，，，，，但在标准测试和泛化能力测试中都体现出了更优异的性能。。。。。。。更主要的是，，，，，，，，VLANeXt在真实天下的机械人实验中也展现出了强盛的顺应能力。。。。。。。
为了推动整个领域的生长，，，，，，，，研究团队允许将宣布一个统一、易用的代码库。。。。。。。这个代码库就像是为VLA研究搭建的一个标准化平台，，，，，，，，让研究者们能够在相同的基础上复现效果、探索设计空间，，，，，，，，并开发新的VLA变体。。。。。。。
一、揭开机械人智能的三层神秘
要明确VLA模子的设计，，，，，，，，我们需要从三个层面来思索，，，，，，，，就像剖析一个优异厨师的烹饪武艺需要看他的基本功、食材处置惩罚和烹饪技巧一样。。。。。。。
研究团队将VLA模子的设计空间分为三个维度。。。。。。。第一个维度是基础组件，，，，，，，，这相当于厨师的基本功和使用的焦点工具。。。。。。。在VLA模子中，，，，，，，，这包括怎样设计战略模浚浚�？？？？？椤⒃跹檬泳�-语言模子与战略模浚浚�？？？？？橄嗷ヅ浜�，，，，，，，，以及使用什么样的学习目的来训练模子。。。。。。。
第二个维度是感知要素，，，，，，，，这就像厨师怎样选择和处置惩罚食材。。。。。。�；；；； ；等诵枰χ贸头Ｖ种质淙胄畔ⅲ荷阆裢凡痘竦耐枷瘛⒙罂朔缥盏挠镆糁噶�，，，，，，，，以及机械人自身的状态信息（好比枢纽位置、力度感应等）。。。。。。。怎样有用地整合这些差别类型的信息，，，，，，，，决议了机械人能否准确明确目今的情形。。。。。。。
第三个维度是行动建模视角，，，，，，，，这相当于厨师的详细烹饪技巧和要领。。。。。。�；；；； ；等诵枰魅返男畔⒆晗傅男卸�，，，，，，，，这个历程可以有许多差别的建模方法。。。。。。。研究团队探索了种种辅助要领来提升机械人的行动天生能力。。。。。。。
在评估这些设计选择时，，，，，，，，研究团队使用了LIBERO和LIBERO-plus这两个标准化的测试平台。。。。。。。LIBERO测试的是机械人在标准条件下的使命完成能力，，，，，，，，而LIBERO-plus则越发严苛，，，，，，，，它会在种种转变的情形条件下测试机械人的顺应能力。。。。。。。这就好比既要测试厨师在标准厨房里的体现，，，，，，，，也要测试他们在州差别条件下的顺应能力。。。。。。。
二、基础组件的精妙设计
在探索基础组件时，，，，，，，，研究团队首先关注的是战略模浚浚�？？？？？榈纳杓啤！�。。。。。古板的要领是重复使用文本标记来体现行动，，，，，，，，就像用现有的词汇来形貌新看法一样。。。。。。。然而，，，，，，，，研究团队发明，，，，，，，，为行动展望单独设计一个专门的模浚浚�？？？？？樾Ч谩！�。。。。。
他们实验了一种类似于MetaQuery的设计计划，，，，，，，，使用多个盘问标记和更深层的网络结构。。。。。。。这种要领的效果很是显着，，，，，，，，就像给厨师配备了专门的工具，，，，，，，，让他能够更准确地处置惩罚食材。。。。。。。实验效果显示，，，，，，，，这种专门的战略模浚浚�？？？？？橄灾嵘四Ｗ拥男阅堋！�。。。。。
接下来是行动分块的问题。。。。。。。古板要领每次只展望下一步的行动，，，，，，，，就像走路时只看脚下的一步。。。。。。。但研究团队发明，，，，，，，，同时展望未来几步的行动序列效果更好。。。。。。。他们测试了差别的时间窗口长度，，，，，，，，发明展望8步的行动序列是一个很好的选择。。。。。。。这种要领让机械人具有了更好的前瞻性，，，，，，，，能够举行更连贯的行动妄想。。。。。。。
在行动学习目的方面，，，，，，，，研究团队较量了多种差别的要领。。。。。。。古板的分类要领是将一连的行动值离散化为差别的种别，，，，，，，，就像把温度计的一连刻度转换为"冷、温、热"这样的离散标签。。。。。。。然而，，，，，，，，他们发明直接回归展望一连值的效果更好。。。。。。。别的，，，，，，，，基于扩散模子的要领（如流匹配）也体现精彩，，，，，，，，这种要领能够更好地处置惩罚重大的行动漫衍。。。。。。。
研究团队还发明，，，，，，，，使用更强盛的视觉-语言模子作为基础能够带来显著的性能提升。。。。。。。他们测试了从PaliGemma-3B到Qwen3-VL-4B等差别规模的模子，，，，，，，，效果显示更强的基础模子确实能够提供更好的视觉明确和语言处置惩罚能力。。。。。。。最终，，，，，，，，他们选择了Qwen3-VL-2B作为效率和性能的最佳平衡点。。。。。。。
在模子毗连战略方面，，，，，，，，研究团队提出了一种立异的"软毗连"要领。。。。。。。古板的要领要么是完全解耦的松散毗连，，，，，，，，要么是逐层绑定的细密毗连。。。。。。。而软毗连要领在两个模浚浚�？？？？？橹洳迦肓丝裳暗呐涛驶撼迩�，，，，，，，，这样既坚持了一定的自力性，，，，，，，，又允许有用的信息转达。。。。。。。这种要领的效果略优于其他两种毗连方法，，，，，，，，为后续的研究提供了新的思绪。。。。。。。
三、感知要素的巧妙整合
在感知要素的研究中，，，，，，，，研究团队发明了几个令人意外的效果。。。。。。。首先是关于时间历史信息的使用。。。。。。。直观上，，，，，，，，我们可能以为提供更多的历史帧信息会资助机械人更好地明确目今情形，，，，，，，，就像人类在做决议时会回忆之前爆发的事情。。。。。。。然而，，，，，，，，实验效果显示，，，，，，，，添加时间历史信息不但没有改善性能，，，，，，，，反而略有下降。。。。。。。
这个效果提醒我们，，，，，，，，关于机械人控制使命来说，，，，，，，，目今的视察信息可能已经足够富厚，，，，，，，，特另外历史信息可能会引入噪声或疏散模子的注重力。。。。。。。这就好比开车时，，，，，，，，虽然后视镜很主要，，，，，，，，但若是太过关注后视镜而忽略前方路况，，，，，，，，反而可能影响驾驶清静。。。。。。。
相比之下，，，，，，，，多视角视察的价值则很是显着。。。。。。。当机械人同时使用第三人称摄像头和手腕摄像头的信息时，，，，，，，，性能获得了显著提升。。。。。。。这很容易明确，，，，，，，，就像我们在搬工具时，，，，，，，，既需要全局视野来妄想路径，，，，，，，，也需要近距离视察来准确操作。。。。。。。两个差别角度的摄像头为机械人提供了互补的几何信息，，，，，，，，资助解决空间歧义问题。。。。。。。
最有趣的发明之一是关于本体感受信息（proprioception）的处置惩罚。。。。。。。本体感受信息包括机械人枢纽的位置、角度、力度等内部状态信息，，，，，，，，就像人类的肌肉影象和身体感知一样。。。。。。。研究团队测试了三种差别的整合方法：只在视觉-语言模子中使用、只在战略模浚浚�？？？？？橹惺褂�，，，，，，，，以及在两个地方都使用。。。。。。。
效果显示，，，，，，，，在视觉-语言模子层面整合本体感受信息的效果最好。。。。。。。这个发明挑战了一些之前的研究结论。。。。。。。研究团队推测，，，，，，，，将本体感受信息在早期阶段与视觉和语言信息融合，，，，，，，，能够让模子建设更富厚的多模态体现，，，，，，，，而不是将其作为后期的附加信息。。。。。。。
这就好比学习弹钢琴时，，，，，，，，最好的要领是从一最先就将手指的触觉、视觉的音符和听觉的音调统一起来明确，，，，，，，，而不是先学会看谱，，，，，，，，再单独学习手指技巧。。。。。。。这种早期融合的要领让机械人能够建设越发协调一致的感知-行动映射。。。。。。。
为了验证这个发明，，，，，，，，研究团队还较量了差别的信息整合机制，，，，，，，，包括简朴的线性投影、基于Transformer的投影器，，，，，，，，以及带有掩码重修预训练的投影器。。。。。。。虽然Transformer投影器的性能略好，，，，，，，，但为了简化最终设计，，，，，，，，他们在VLANeXt中接纳了线性投影器。。。。。。。
四、行动建模的立异视角
在行动建模方面，，，，，，，，研究团队探索了两个有趣的辅助训练目的。。。。。。。第一个是天下建模，，，，，，，，这个看法就像让机械人具有"展望未来"的能力。。。。。。。详细来说，，，，，，，，就是让模子不但展望下一步应该接纳什么行动，，，，，，，，还要展望执行这个行动后天下会酿成什么样子。。。。。。。
为了实现这个目的，，，，，，，，研究团队使用图像标记器将未来的图像转换为离散标记，，，，，，，，然后让模子展望未来帧的图像标记。。。。。。。这种要领确实提升了行动天生的性能，，，，，，，，由于展望未来视察效果的使命迫使模子建设更深层的情形明确。。。。。。。
然而，，，，，，，，天下建模也带来了显著的盘算开销，，，，，，，，训练时间险些增添了三倍。。。。。。。这就好比要修业生不但要学会解数学题，，，，，，，，还要展望每一步盘算后的效果会是什么样子。。。。。。。虽然这种训练方法能够加深明确，，，，，，，，但也大大增添了学习的时间本钱。。。。。。。浚浚�？？？？Ｋ剂康叫室蛩�，，，，，，，，研究团队最终没有将天下建模纳入最终的设计计划。。。。。。。
第二个探索的偏向是时间序列展望视角。。。。。。。这个想法来自于频域建模在时间序列展望中的乐成应用。。。。。。�；；；； ；等说男卸蛄芯哂薪峁够偷椭鹊奶卣�，，，，，，，，这意味着它们在频率域中可能有更精练的体现。。。。。。。
研究团队引入了一个简朴但有用的辅助损失函数，，，，，，，，它在频率域中最小化展望行动和真实验动之间的均方误差。。。。。。。他们使用离散余弦变换将行动序列转换到频率域，，，，，，，，然后在该域中举行约束。。。。。。。这个辅助损失的权重设置为主要流匹配损失的0.1到0.2倍。。。。。。。
这种频域约束的效果很是好，，，，，，，，性能提升甚至略微凌驾了天下建模要领，，，，，，，，但险些没有增添盘算开销。。。。。。。这个发明批注，，，，，，，，机械人行动序列确实具有可以在频率域中更好地建模的结构化特征。。。。。。。就像音乐中的协调音符有其内在的频率纪律一样，，，，，，，，机械人的行动序列也有其内在的节奏和模式。。。。。。。
通过频域建模，，，，，，，，模子能够更好地捕获行动序列的全局模式和局部细节之间的关系。。。。。。。这种要领的乐成也为时间序列学习的头脑向机械人学习的迁徙提供了有力证据。。。。。。。
五、VLANeXt的卓越体现
基于所有这些发明，，，，，，，，研究团队构建了最终的VLANeXt模子。。。。。。。这个模子接纳了Qwen3-VL-2B作为基础视觉-语言模子，，，，，，，，使用软毗连战略将其与一个专门设计的战略模浚浚�？？？？？橄嗔！�。。。。。模子支持多视角输入，，，，，，，，在视觉-语言模子层面整合本体感受信息，，，，，，，，使用流匹配目的举行行动展望，，，，，，，，并通过频域辅助损失举行正则化。。。。。。。
在标准LIBERO基准测试中，，，，，，，，VLANeXt的体现令人印象深刻。。。。。。。在空间使命上抵达了99.0%的乐成率，，，，，，，，在物体操作使命上抵达了99.2%，，，，，，，，在目的导向使命上抵达了96.6%，，，，，，，，在长序列使命上抵达了94.6%。。。。。。。平均乐成率为97.4%，，，，，，，，凌驾了包括OpenVLA-OFT在内的所有现有要领。。。。。。。
更主要的是，，，，，，，，在更具挑战性的LIBERO-plus基准测试中，，，，，，，，VLANeXt展现出了强盛的泛化能力。。。。。。。这个测试引入了种种情形扰动，，，，，，，，包括光照转变、配景转变、相机角度转变、语言指令改写、噪声滋扰、物体结构转变和机械人状态转变。。。。。。。在这些更靠近真实天下条件的测试中，，，，，，，，VLANeXt的平均乐成率抵达了80.1%，，，，，，，，比之前最好的要领提升了约10个百分点。。。。。。。
研究团队还举行了真实天下的机械人实验，，，，，，，，设计了四个差别的使命来验证VLANeXt的现实应用能力。。。。。。。单臂使命包括桌面整理（将物体从桌上拾起并放入容器）和抽屉操作（翻开抽屉、放入物体、关闭抽屉）。。。。。。。双臂使命包括篮子举升（两只手臂协调举起篮子）和双臂桌面整理（两只手臂协同网络桌面物体）。。。。。。。
实验效果显示，，，，，，，，VLANeXt在所有使命上都体现出了优异的性能。。。。。。。特殊值得注重的是，，，，，，，，纵然没有专门的双臂训练数据，，，，，，，，VLANeXt也能够顺应双臂机械人使命，，，，，，，，展现出了优异的跨具身顺应能力。。。。。。。这批注模子学到的体现具有一定的通用性，，，，，，，，能够泛化到差别的机械人平台。。。。。。。
六、对机械人学习领域的深远影响
这项研究的意义远凌驾了单个模子的性能提升。。。。。。。通过系统性的设计空间探索，，，，，，，，研究团队为整个VLA领域提供了名贵的指导原则。。。。。。。他们发明的一些结论倾覆了之前的一些假设，，，，，，，，好比本体感受信息应该在那里整合、时间历史信息是否有须要等。。。。。。。
研究团队允许宣布的统一代码库将成为社区的主要资源。。。。。。。这个轻量级、最小封装的框架将让研究者们能够在相同的基础上举行较量和立异。。。。。。。这就像为整个领域建设了一个标准化的实验平台，，，，，，，，阻止了差别研究之间由于实现细节差别导致的不公正较量。。。。。。。
从手艺角度来看，，，，，，，，这项研究展现了几个主要的设计原则。。。。。。。适度的架构刷新，，，，，，，，如软毗连战略或VLM层面的本体感受调理，，，，，，，，能够显著影响性能。。。。。。。这说明信息注入的位置和方法与信息自己同样主要。。。。。。。将行动天生视为结构化序列建模问题，，，，，，，，并通过频域目的等手艺加以刷新，，，，，，，，展现了时间序列学习头脑向机械人学习迁徙的有用性。。。。。。。
同时，，，，，，，，研究也袒露了一些有趣的权衡。。。。。。。天下建模等更富厚的目的虽然能提升性能，，，，，，，，但也带来了显著的盘算开销，，，，，，，，这提醒我们在追求性能的同时也要思量效率。。。。。。。这种效率导向的设计理念关于现实应用具有主要意义。。。。。。。
七、未来生长的无限可能
VLANeXt的乐成开启了VLA研究的新篇章。。。。。。。研究团队的系统性要领论为后续研究提供了主要参考。。。。。。。从暂时性的模子变体向更可控的设计空间探索的转变，，，，，，，，代表了整个领域研究要领的成熟。。。。。。。
通过宣布统一的轻量级框架，，，，，，，，研究团队希望支持更系统的研究和共享希望。。。。。。。这种开放相助的态度有助于加速整个领域的生长，，，，，，，，阻止重复造轮子的低效率问题。。。。。。。
虽然，，，，，，，，这项研究也指出了一些需要进一步探索的偏向。。。。。。。怎样将这种要领扩展到更多样化的具身体、更长时间的推理使命，，，，，，，，以及更富厚的天下交互目的，，，，，，，，都是值得深入研究的问题。。。。。。。别的，，，，，，，，怎样在坚持高性能的同时进一步降低盘算本钱，，，，，，，，也是现实应用中需要解决的主要问题。。。。。。。
说究竟，，，，，，，，这项研究最大的价值在于它展示了科学研究的准确要领：不是盲目地追求新颖的架构或重大的设计，，，，，，，，而是回到基础，，，，，，，，系统地明确问题空间，，，，，，，，找出真正有用的解决计划。。。。。。。VLANeXt的乐成证实晰，，，，，，，，通过全心设计的原则性选择，，，，，，，，我们可以在统一框架内实现强盛的性能，，，，，，，，而不需要依赖激进的模子扩展或特定使命的工程优化。。。。。。。
这种研究要领不但推动了VLA领域的生长，，，，，，，，也为其他人工智能分支提供了名贵的要领论启示。。。。。。。扑面临重大的手艺问题时，，，，，，，，系统性的探索往往比暂时性的立异更有价值。。。。。。。正是这种严谨而周全的研究态度，，，，，，，，让我们离真正智能的机械人又近了一步。。。。。。。
Q&A
Q1：VLANeXt是什么样的机械人模子？？？？？？？？
A：VLANeXt是南洋理工大学团队开发的视觉-语言-行动模子，，，，，，，，它能够同时明确摄像头看到的画面、听懂人类的语言指令，，，，，，，，并将这些信息转化为准确的机械人行动。。。。。。。就像给机械人装上了眼睛、耳朵和大脑，，，，，，，，让它能够真正明确情形并做出合适的反应。。。。。。。
Q2：VLANeXt比其他机械人模子有什么优势？？？？？？？？
A：VLANeXt最大的优势是通过系统性的设计优化，，，，，，，，在更小的模子规模下实现了更好的性能。。。。。。。它在标准测试中抵达97.4%的乐成率，，，，，，，，在重大情形测试中抵达80.1%的乐成率，，，，，，，，都凌驾了现有的顶尖要领。。。。。。。更主要的是，，，，，，，，它在真实天下的机械人实验中也体现精彩。。。。。。。
Q3：通俗人什么时间能用上这种智能机械人手艺？？？？？？？？
A：虽然VLANeXt现在还四川天府农业科技有限公司在研究阶段，，，，，，，，但研究团队允许会宣布开源代码库，，，，，，，，这将加速整个领域的生长。。。。。。。随着手艺一直完善和本钱降低，，，，，，，，预计在未来几年内，，，，，，，，我们就能在家庭效劳机械人、工业自动化等领域看到类似手艺的应用。。。。。。。