这项由香港大学研究团队主导的突破性研究于2026年2月揭晓在盘算机视觉顶级期刊上，，，，，论文编号为arXiv:2602.05827v1。。 。。 。该研究首次将视频天外行艺引入机械人导航领域，，，，，让机械人能够在看不见目的的情形下乐成找到目的地，，，，，这在夜晚等重大情形中体现尤为精彩。。 。。 。
想象一下，，，，，当你在一个生疏的购物中心寻找洗手间时，，，，，纵然看不到目的，，，，，你也能依附履历和知识或许推断出它可能在哪个偏向。。 。。 。现在，，，，，香港大学的研究团队乐成让机械人也具备了这种"透视"能力。。 。。 。他们开发的SparseVideoNav系统，，，，，能让机械人仅凭简朴的指令，，，，，就能在完全生疏的情形中找到远处看不见的目的。。 。。 。
古板的机械人导航就像让一个近视眼的人在没有眼镜的情形下找路，，，，，它们只能依赖目今看到的情形做决议，，，，，效果经常在死胡同里打转，，，，，或者在看不清远处目的时原地打圈。。 。。 。更贫困的是，，，，，现有的机械人需要很是详细的办法指令，，，，，好比"向前走三步，，，，，然后左转，，，，，再走两步，，，，，然后右转找到红色的椅子"。。 。。 。这种方法在现实生涯中显然不现实，，，，，由于人类更习惯给出简朴的指令，，，，，好比"去找个椅子坐下"。。 。。 。
研究团队发明，，，，，问题的泉源在于现有的机械人"眼光短浅"。。 。。 。它们在学习时只能看到未来4到8步的情形，，，，，就像只能看到眼前一两米的近视眼一样。。 。。 。当遇到需要久远妄想的使命时，，，，，这些机械人就会体现出两种典范的失败模式：要么由于看不清远处的目的而一直改变偏向，，，，，像无头苍蝇一样乱转 ；；；；；；要么一走进死胡同就以为到了路的止境，，，，，直接放弃继续寻找。。 。。 。
为相识决这个问题，，，，，研究团队决议另辟蹊径。。 。。 。他们注重到视频天生模子有一个奇异的优势：这些模子天生就具备展望长时间未来画面的能力。。 。。 。就像一个履历富厚的导演能够想象出一个场景接下来会怎样生长一样，，，，，视频天生模子经由大宗视频训练后，，，，，已经学会了怎样凭证目今画面和语言形貌来展望未来可能泛起的场景。。 。。 。
不过，，，，，研究团队并没有直接照搬现有的视频天外行艺。。 。。 。他们发明，，，，，为导航天生一连一直的视频画面着实是一种铺张，，，，，就像看影戏时不需要关注每一帧的细微转变，，，，，只需要捉住要害剧情节点一样。。 。。 � ；；；；；；谡飧龆床�，，，，，他们立异性地提出了"希罕视频天生"的看法。。 。。 。
希罕视频天生就像制作影戏预告片一样，，，，，不是展现每一秒的画面，，，，，而是选择最要害的几个时刻来展示故事的生长轨迹。。 。。 。详细来说，，，，，系统会展望未来20秒内8个要害时间点的画面，，，，，好比第1秒、第2秒、第5秒、第8秒等等。。 。。 。这些要害画面就像导航蹊径上的几个主要路标，，，，，能够指引机械人朝着准确的偏向前进。。 。。 。
研究团队将整个训练历程比作作育一个优异向导的四个阶段。。 。。 。第一阶段是让系统学会"看图语言"，，，，，也就是凭证目今看到的情形来展望接下来可能泛起的画面。。 。。 。第二阶段是注入"影象力"，，，，，让系统能够记着之前走过的路，，，，，阻止重复出错。。 。。 。第三阶段是提升"反应速率"，，，，，通过一种叫做扩散蒸馏的手艺，，，，，让系统能够更快地天生展望画面。。 。。 。第四阶段是学会"行动妄想"，，，，，凭证展望的未来画面来决议详细应该怎样移动。。 。。 。
为了训练这个系统，，，，，研究团队做了一件亘古未有的事情：他们网络了140小时的真实天下导航视频数据。。 。。 。这个数据规模在该领域是史无前例的。。 。。 。为了确保视频质量，，，，，他们使用了专业的防抖相机，，，，，并且所有视频都经由了全心的人工标注和处置惩罚。。 。。 。
在现实测试中，，，，，SparseVideoNav的体现令人印象深刻。。 。。 。研究团队在六个差别的真真相形中举行了测试，，，，，包括室内的房间和实验室、户外的庭院和公园，，，，，以及最具挑战性的夜晚场景。。 。。 。在需要寻找看不见目的的使命中，，，，，SparseVideoNav的乐成率抵达了25%，，，，，这是古板要领乐成率的2.5倍。。 。。 。特殊值得一提的是，，，，，在所有古板要领都完全失效的夜晚情形中，，，，，SparseVideoNav仍然能够坚持17.5%的乐成率。。 。。 。
更令人惊喜的是，，，，，SparseVideoNav在一些极具挑战性的场景中体现出了精彩的顺应能力。。 。。 。好比在狭窄的坡道、倾斜度很高的山坡，，，，，甚至是死胡一律重大地形中，，，，，它都能找到准确的路径。。 。。 。这种能力很洪流平上归功于它能够"预见"未来的特殊本事。。 。。 。
从手艺角度来看，，，，，SparseVideoNav还解决了一个主要的适用性问题：速率。。 。。 。古板的视频天生要领需要几十秒甚至几分钟才华天生足够长的视频序列，，，，，这在现实应用中是不可接受的。。 。。 。而SparseVideoNav通过希罕天生战略，，，，，将推理时间压缩到了不到1秒，，，，，比未优化的要领快了27倍。。 。。 。
研究团队还发明了一些有趣的征象。。 。。 。好比，，，，，SparseVideoNav纵然在训练时没有遇到过动态行人的场景，，，，，在现实安排时却能自动学会避开迎面而来的行人。。 。。 。这说明它不但学会了基本的导航手艺，，，，，还具备了一定的闻一知十能力。。 。。 。
另外，，，，，古板的机械人导航系统往往对相机高度很是敏感，，，，，换个高度就可能完全失效。。 。。 。但SparseVideoNav展现出了很强的鲁棒性，，，，，纵然相机高度从训练时的1米降到50厘米，，，，，它依然能够正常事情。。 。。 。
虽然，，，，，这项手艺也还保存一些限制。。 。。 。研究团队坦诚地指出，，，，，现在的数据规模虽然在该领域是最大的，，，，，但相比于互联网上的海量视频数据，，，，，仍然有不小的差别。。 。。 。未来若是能够融合更多泉源的数据，，，，，好比YouTube视频和仿真情形数据，，，，，系统的性能尚有进一步提升的空间。。 。。 。
从适用性角度来看，，，，，虽然SparseVideoNav已经能够实现实时运行，，，，，但其推理速率相比于古板的语言模子要领照旧稍慢一些。。 。。 。研究团队体现，，，，，这个问题可以通过进一步的优化手艺来解决，，，，，好比加速蒸馏和模子量化等要领。。 。。 。
这项研究的意义远不止于机械人导航自己。。 。。 。它展示了一种全新的思绪：将天生式AI的展望能力与详细的使命需求相团结。。 。。 。这种思绪可能会启发更多领域的立异，，，，，好比自动驾驶、智能家居、甚至是虚拟现实等。。 。。 。
说究竟，，，，，SparseVideoNav最大的孝顺在于让机械人第一次具备了类似人类的"想象力"。。 。。 。它能够基于目今的情形和履历，，，，，想象出接下来可能遇到的场景，，，，，并据此做出明智的决议。。 。。 。这种能力让机械人从"按图索骥"的被动执行者，，，，，酿成了能够"深谋远虑"的自动探索者。。 。。 。
归根结底，，，，，这项研究向我们展示了一个充满可能性的未来：机械人不再需要详细的操作手册，，，，，而是能够明确简朴的人类指令，，，，，并通过自己的"想象"来完成重大的使命。。 。。 。当你对家里的机械人助手说"去厨房给我拿个苹果"时，，，，，它不会茫然地问"厨房在那里？？？？？？？苹果在哪个位置？？？？？？？"，，，，，而是能够自动找到厨房，，，，，搜索苹果，，，，，并乐成完成使命。。 。。 。这种智能化的交互方法，，，，，将让人工智能真正融入PT视讯(中国区)官网一样平常生涯。。 。。 。
Q&A
Q1：SparseVideoNav是什么手艺？？？？？？？
A：SparseVideoNav是香港大学开发的机械人导航手艺，，，，，它首次将视频天生AI引入导航领域。。 。。 。这个系统能让机械人展望未来20秒内8个要害时刻的画面，，，，，就像给机械人装上了"透视眼"，，，，，让它能在看不见目的的情形下也能乐成找到目的地。。 。。 。
Q2：希罕视频天生跟通俗视频天生有什么差别？？？？？？？
A：希罕视频天生就像制作影戏预告片，，，，，不天生每一帧画面，，，，，而是只天生要害时刻的画面。。 。。 。好比展望未来20秒内的第1、2、5、8秒等8个要害节点，，，，，这样既能提供足够的导航指引，，，，，又能大大提升天生速率，，，，，比古板要领快27倍。。 。。 。
Q3：这项手艺在现实中体现怎样？？？？？？？
A：在真真相形测试中，，，，，Spa广东广粤新能源质料有限公司rseVideoNav在超视野导航使命中的乐成率抵达25%，，，，，是古板要领的2.5倍。。 。。 。更主要的是，，，，，它在所有古板要领都失效的夜晚情形中仍能坚持17.5%的乐成率，，，，，并且能够应对死胡同、狭窄坡道等重大地形。。 。。 。