2026 年央视春晚展示的机重庆山峡智能制造有限公司器人甚至可以夹烤肠和用竹签串烤肠了 ，，，，，， ，尚有一台登上本次春晚的机械人的价钱甚至已经下探到万元以下 ，，，，，， ，距离进入寻常黎民家真的不远了。。。。。 �？？？？？？墒� ，，，，，， ，有一无邪的来了一个机械人到你家里资助 ，，，，，， ，效果它卡在了没法帮你回微信的第一步？？？？？？
这听起来像是一个笑话 ，，，，，， ，但着实是现在机械人进家门遇到的真实问题。。。。。 。现在许多事情都离不开手机：智能门锁需要授权密码、刷个抖音都得用手指滑动解锁。。。。。 。若是机械人不会操作手机 ，，，，，， ，那么当它干完扫地擦窗的活儿 ，，，，，， ，遇到这些需要依赖手机的使命就只醒目怒视。。。。。 。
英国伦敦大学学院汪军教授团队赵皓宇博士生和相助者打造了一个名为 See-Control（视控）的框架 ，，，，，， ，让机械人像人一样看屏幕和思索 ，，，，，， ，然后使用机械手指戳点屏幕操控手机 ，，，，，， ，彻底绕开了已往智能手机助手必需给手机插数据线以及使用系统开发者工具才华操控的老路子。。。。。 。
图 | 赵皓宇（泉源：受访者）
赵皓宇告诉 DeepTech：“我们解决了现在大部分厂家都保存的一个痛点：自动化手机助手操作手机必需要通过系统开发者工具配合数据线来与电脑毗连 ，，，，，， ，并且只能操控简单手机操作系统。。。。。 。想象一下你家里有一台机械人。。。。。 。也许是家务机械人 ，，，，，， ，或者你桌上的机械臂。。。。。 。通过我们完全纯视觉的计划 ，，，，，， ，不依赖任何平台开发软件 ，，，，，， ，可以扩展到恣意的触屏装备且不需要任何线接。。。。。 。同时用户可以包管隐私不会有任何泄露 ，，，，，， ，由于手机完完全全是机械臂物理点击交互 ，，，，，， ，不需要开放任何权限、开发者协议 ，，，，，， ，也不需要下载任何软件。。。。。 。用户完全不必担心手时机不会泄露隐私。。。。。 。包括部分不会用智能手机的老人、不会用开发者选项在内的非专业用户也可以通过这套系统来受益。。。。。 。”
（泉源：https://arxiv.org/pdf/2512.08629）
通常 ，，，，，， ，当我们希望使用电脑控制智能手机时 ，，，，，， ，会使用一种叫做 ADB（Android Debug Bridge ，，，，，， ，安卓调试桥）的工具。。。。。 。它就像一根“数字电缆” ，，，，，， ，让程序员可以直接向手机系统发送指令。。。。。 。
但问题就在这里 ，，，，，， ，使用 ADB 的方法与人类使用手机的方法并纷歧样 ，，，，，， ，我们不会把一根线插进大脑来翻开应用 ，，，，，， ，而是通过看屏幕、用手指轻触来完成操作。。。。。 。另外 ，，，，，， ，ADB 只支持 Android 平台 ，，，，，， ，还需要开启特殊的开发者模式 ，，，，，， ，这自己就可能带来一定的清静危害 ，，，，，， ，就像给辖档汪了一扇没有上锁的后门。。。。。 。
而基于物理交互方法的 See-Control 的事情原理特殊像我们教老人使用智能手机：机械人盯着屏幕截图 ，，，，，， ，脑子里的大模子剖析这是微信红包照旧诈骗链接 ，，，，，， ，然后决议究竟是点一下、齐整下照旧打几个字。。。。。 。整个历程完全不碰手机焦点部分 ，，，，，， ，就像使用指尖操作一样自然。。。。。 。
为了让它真正靠谱 ，，，，，， ，该团队专门设计了 155 个一样平常使命让机械人训练 ，，，，，， ，从最简朴的翻开设置 ，，，，，， ，到重大的在小红书搜索攻略、截图、发给微信挚友 ，，，，，， ，难度步步升级。。。。。 。测试效果虽然不算完善 ，，，，，， ，简朴使命的乐成率还行（大于 90%） ，，，，，， ，跨越多个 APP 的使命尚有点手忙脚乱。。。。。 。可是 ，，，，，， ，偏向已经十分清晰 ，，，，，， ，那就是未来的家用机械人可以通过视察和触摸来接受你的手机杂活。。。。。 。
该团队将手机操作问题建模为部分可视察马尔可夫决议历程（POMDP） ，，，，，， ，并且将多模态大模子能力装进了机械人里 ，，，，，， ，使用了 GPT-4o、QwenVL 这样的视觉语言模子 ，，，，，， ，让机械人不但能够望见屏幕上的图标和文字 ，，，，，， ，还能明确点击某个头像背后的社交意图。。。。。 。
有个特殊有意思的设计是视觉提醒：在智能体发出要对图标举行定位的指令时 ，，，，，， ，机械人先是用一个名为 Grounding DINO 的目的检测模子 ，，，，，， ，把屏幕上可交互的按钮所有框出来 ，，，，，， ，标上数字 123 ，，，，，， ，若是用户要点披萨 ，，，，，， ，这时机械人就会问大模子用户让点披萨应该点哪一个 ，，，，，， ，大模子一看 3 号是某披萨品牌的图标 ，，，，，， ，OK 就它了。。。。。 。这套流程模拟了人类扫一眼屏幕、锁定目的的本能反应。。。。。 。
（泉源：https://arxiv.org/pdf/2512.08629）
虽然 ，，，，，， ，要让机械人真的在你的手机屏幕上戳来戳去 ，，，，，， ，还需要解决几个头疼的手艺难题。。。。。 。最典范的是返回、退出和打字这三个行动。。。。。 。以前使用电脑上的系统开发者工具例如 Android Debug Bridge（ADB）调试手机 ，，，，，， ，一条指令就能搞定； ； ；；；现在机械人只能使用物理手势 ，，，，，， ，想返回就得从左向右滑 ，，，，，， ，想退回到桌面就得从底部向上推 ，，，，，， ，特殊是打字 ，，，，，， ，还需要对虚拟键盘的每一个键的位置都有准确的认知。。。。。 。这也是现在重大使命的乐成率较低的缘故原由。。。。。 。
可是该团队留了一个后手。。。。。 。他们把机械人每次操作的思索历程和行动纪录所有生涯下来 ，，，，，， ，做成一个数据集果真分享。。。。。 。这里既有乐成的履历 ，，，，，， ，也有失败的教训 ，，，，，， ，甚至标注了“这一步点对了吗”“整个使命完成没”等信息 ，，，，，， ，让其他研究者也可以依赖这些数据训练出更智慧的机械人。。。。。 。
（泉源：https://arxiv.org/pdf/2512.08629）
应用场景虽然距离我们很是近。。。。。 。好比 ，，，，，， ，未来你在沙发上喊一声“帮我交话费” ，，，，，， ，机械人就会晃晃悠悠地走过来 ，，，，，， ，看着手机屏幕点开支付宝和输入密码； ； ；；；再好比 ，，，，，， ，当你出门遗忘带手机 ，，，，，， ，远程让家里的机械人帮你截图快递二维码发到你的智能手表上举行闪送； ； ；；；再再好比 ，，，，，， ，家里有老人不会使用打车软件 ，，，，，， ，机械人可以代庖叫车 ，，，，，， ，送到医院还能资助挂号。。。。。 。
赵皓宇体现：“我们做的用户测试显示 ，，，，，， ，许多人都以为这种形式能够极洪流平上资助到晚年人、残障人士 ，，，，，， ，或者一些没有时间用手机的人 ，，，，，， ，极大减缓事情时间 ，，，，，， ，提高事情效率。。。。。 。想象一位重度运动障碍患者或年迈的老人：他们可能无法握持手机 ，，，，，， ，或者由于手抖而难以精准点击细小的图标。。。。。 。有了 See-Control ，，，，，， ，只需对语音助手说一句：‘给我孙子打微信电话。。。。。 。’机械人就会自动在手机屏幕上操作——翻开应用、找到联系人、点击呼叫按钮 ，，，，，， ，一气呵成。。。。。 。它像一座桥梁 ，，，，，， ，把数字天下与用户的身体限制毗连起来 ，，，，，， ，让原本难题甚至不可能完成的操作 ，，，，，， ，变得简朴而可及。。。。。 。”
正常生涯中我们可能要抢券、点外卖 ，，，，，， ，这一切都会通过手机助手解决掉。。。。。 。通过赋能机械人使用手机 ，，，，，， ，我们可以理想不但是让手机助手点外卖 ，，，，，， ，机械人甚至可以完成点外卖到帮你直接将外卖拿到你的身边的全流程。。。。。 。同时也有商业可能性 ，，，，，， ，好比在小红书自动寻找商机、回复谈论、找到响应帖子 ，，，，，， ，这都能便当一样平常生涯 ，，，，，， ，极大减缓事情流程。。。。。 。“由于我们这个解决计划是所有物理接触 ，，，，，， ，避开了应用自己保存的限制。。。。。 。”他说。。。。。 。
这种操作方法可以自然地�； ； ；；；ひ�。。。。。 。已往用系统开发者工具 ，，，，，， ，即是给机械人开了一扇后门 ，，，，，， ，联系人、相册、谈天纪录等一清二楚。。。。。 。现在它只能看到屏幕 ，，，，，， ，让它点啥就点啥 ，，，，，， ，绝未几看一眼。。。。。 。
虽然 ，，，，，， ，现在的原型机还较量简朴 ，，，，，， ，只有一根手指 ，，，，，， ，做不了放大和缩小这种双指操作 ，，，，，， ，反应速率也有所延迟。。。。。 。据相识 ，，，，，， ，该团队刻意使用最简朴的机械臂做测试 ，，，，，， ，就是为了先把最难的问题袒露出来 ，，，，，， ，好比怎么在反光的屏幕上精准定位 ，，，，，， ，怎么明确五花八门的 UI 设计 ，，，，，， ，怎么从过失中学习。。。。。 。这些问题一旦解决 ，，，，，， ，未来搭配更无邪的机械手、更快的外地推理芯片 ，，，，，， ，也许过不了几年真的只需动动嘴就能让机械人干活了。。。。。 。
（泉源：https://arxiv.org/pdf/2512.08629）
赵皓宇体现：“PT视讯(中国区)官网愿景是通过 See-Control 这套系统 ，，，，，， ，实现一个统一的解决计划。。。。。 。这套计划不保存任何平台限制 ，，，，，， ，就是用一套纯视觉的计划 ，，，，，， ，通过手机屏幕画面 ，，，，，， ，让机械人像模拟人类那样去使用手机。。。。。 。所有都是拟真的、物理的操作 ，，，，，， ，不限于任何手机、任何平台。。。。。 。在未来 ，，，，，， ，我们也希望这套纯视觉计划可以无缝衔接到差别的触摸装备上面 ，，，，，， ，通过机械臂完成一切需要像人类一样交互的逻辑。。。。。 。”
在未来 ，，，，，， ，其希望机械人不但是家中的扫地机械人 ，，，，，， ，而是能够作为一其中枢、一个周全的助手来资助人类生涯。。。。。 �？？？？？？梢韵胂� ，，，，，， ，未来可能有残障人士通过我们这套具身智能体来点外卖 ，，，，，， ，机械人就可以去拿外卖、下订单 ，，，，，， ，完全实现自动交互。。。。。 。
参考资料：
相关论文 https://arxiv.org/pdf/2512.08629
赵皓宇主页 https://haoyu-zhao.github.io/
排版：刘雅坤
重庆山峡智能制造有限公司