新智元报道
编辑：LRST
【新智元导读】现有的具身智能大多是「你说我做」的被动响应者。。。。。。。怎样让机械人像人类一样拥有「自动性」？？ ？？？北京大学VCL实验室针对目今具身智能体「被动响应」的局限 ，，，，，，提出了一个基于「双系统」架构的自动社交智能体框架ProAct ，，，，，，模拟人类「快思索」与「慢思索」的认知机制 ，，，，，，使机械人不但能够举行流通自然的对话 ，，，，，，还能基于情境明确自动提倡互动 ，，，，，，从而具备真正的「社谈心智」。。。。。。。
在与机械人交互时 ，，，，，，你是否常有这种感受：若是你不语言 ，，，，，，它就永远默然；；；；；；；若是你不发指令 ，，，，，，它就「呆若木鸡」。。。。。。。
这是由于现在的交互式系统绝大大都都是反应式的 ，，，，，，它们被困在一个短暂的时间窗口里 ，，，，，，只能凭证目今的语音或视觉输入做出反响 ，，，，，，这种机制使得智能体难以基于积累的恒久语境来推断意图 ，，，，，，更无法提倡自动行为。。。。。。。
然而 ，，，，，，生涯中的人类社交实质上是双向且自动的。。。。。。。
在日�；；；；；；；ザ� ，，，，，，人们不但是对他人的话语做出反应 ，，，，，，更会运用意向性去展望需求、掌握自动权并在未被请求时接纳行动。。。。。。。
例如 ，，，，，，当朋侪显得犹豫不决时给予勉励 ，，，，，，或在看到空杯子时自动倒水。。。。。。。这种由内部目的驱动而非被动响应外部刺激的「自动性」 ，，，，，，是区分真正的同伴与简朴问答机械人的要害。。。。。。。
想在具身智能体上实现这一点 ，，，，，，还得解决一个焦点矛盾：时间标准。。。。。。。自动行为需要深图远虑的推理和长程语境剖析 ，，，，，，也就是要「慢想」；；；；；；；而实时交互要求极低的延迟 ，，，，，，必需「快回」。。。。。。。简单的端到端模子往往难以兼顾二者 ，，，，，，由于深度推剖析壅闭实时响应 ，，，，，，而追求速率则会牺牲行为的合理性和准确性。。。。。。。
受认知科学中双重加工理论的启发 ，，，，，，北京大学研究团队提出了一种双系统架构ProAct ，，，，，，焦点思绪在于快慢疏散 ，，，，，， 即将即时的反应与慢速的推理疏散 ，，，，，，使得ProAct兼具响应速率与自动的深度社交能力。。。。。。。
论文地点：https://arxiv.org/abs/2602.14048
项目主页：https://proactrobot.github.io/
其中 ，，，，，，行为系统（Behavioral System）作为「快系统」 ，，，，，，认真维持高频、低延迟的多模态交互流；；；；；；；认知系统（Cognitive System）作为「慢系统」 ，，，，，，配备影象与推理�？？ ？？？� ，，，，，，认真长程推理并天生高层自动意图。。。。。。。
图1. ProAct 双系统框架概览。。。。。。。(a) 系统架构整合了快速的行为系统与慢速的认知系统；；；；；；；(b) 实时交互中 ，，，，，，智能体在用户脱离时自动提倡挽留与提醒。。。。。。。
为了弥合两者的时间差 ，，，，，，ProAct进一步提出了一种基于流匹配（Flow Matching）的流式天生模子 ，，，，，，支持通过 ControlNet 异步注入语义意图 ，，，，，，这样一来 ，，，，，，机械人在坚持流通交互的同时 ，，，，，，也能无缝地从「被动反应」切换到「自动出击」。。。。。。。
文章的手艺孝顺主要体现在以下三点：
提出了一种用于具身社交智能体的双系统架构 ，，，，，，乐成将实时反应与语境驱动的自动行为融为一体。。。。。。。
提出一种基于流匹配的流式天生模子 ，，，，，，支持将高层语义意图异步注入实时行动流 ，，，，，，实现了反应式与自动式行为的平滑切换。。。。。。。
将该系统安排于Unitree G1人形机械人 ，，，，，，在真实天下中验证了其自动交互的有用性。。。。。。。
下方的演示视频可以直观地感受ProAct怎样让机械人像人类一样拥有「社谈心智」：
视频1. 在生涯管家场景中 ，，，，，，ProAct 发明用户有急事后阻止语言 ，，，，，，并自动提醒用户脱离时遗忘拿书包。。。。。。。
视频2. 在情绪支持场景中 ，，，，，，ProAct 检测到用户强烈的情绪波动 ，，，，，，自动询问缘由并慰藉用户。。。。。。。
视频3. 在寻找物品场景中 ，，，，，，ProAct在用户寻找物品时 ，，，，，，回忆起用户之前安排药品柜的经由 ，，，，，，自动提醒用户药瓶放在了那里。。。。。。。
要领简介
ProAct接纳双系统并行运行的机制：行为系统维持实时交互闭环 ，，，，，，认知系统在后台举行周期性推理。。。。。。。
行为系统：流式多模态交互
行为系统充当着「快系统」的角色 ，，，，，，认真处置惩罚用户音频与视觉流 ，，，，，，天生低延迟的语音与行动反响 ，，，，，，由一个流式Omni-LLM和一个流式行动天生器级联而成。。。。。。。
语音方面 ，，，，，，系统使用GPT-4o Realtime模子处置惩罚用户语音和第一视角图像 ，，，，，，实现了支持随时打断的实时对话。。。。。。。行动方面 ，，，，，，为了维持具身的「保存感」 ，，，，，，行动必需一连且流通。。。。。。。
为此 ，，，，，，ProAct提出了一种基于流匹配的天生模子 ，，，，，，具备极高的实时性 ，，，，，，首次响应时间与真实社交场景中的人类相当。。。。。。。通过「重叠-缓存」机制 ，，，，，，ProAct包管每一帧行动的天生时间小于播放时间 ，，，，，，并且能完善衔接上一帧的行动 ，，，，，，知足实时流式输出的要求。。。。。。。
别的 ，，，，，，模子还能同时吸收双方的语音流举行双人交互建模 ，，，，，，这让机械人不但在语言时有手势 ，，，，，，在谛听时也能有自然的身体晃动等反响。。。。。。。
图2. 认知系统架构。。。。。。。(a) 增量式多模态输入；；；；；；；(b) 上下文编码器与行为妄想器并行事情；；；；；；；(c) 通过差别通道注入行为妄想。。。。。。。
认知系统：社会语境推理
认知系统作为「慢系统」 ，，，，，，通过一个基于 LLM 的智能体框架在后台运行 ，，，，，，旨在解决「何时」以及「怎样」提倡自动行为的问题。。。。。。。如图 2 所示 ，，，，，，该系统包括两个要害�？？ ？？？�。。。。。。。
首先是上下文编码器 （Context Encoder）。。。。。。。为了避免随着对话举行导致推理延迟增添 ，，，，，，该�？？ ？？？槿险娼刍亩曰袄贰⑹泳踔∮牍形顾踅桓觥赣跋罂狻�。。。。。。。影象库结构化地存储了用户剖析（如心智理论）、情境追踪（如物体位置转变）以及机械人的历史行为。。。。。。。
其次是行为妄想器 （Behavior Planner）。。。。。。。该�？？ ？？？橐谰菽拷竦挠跋笥敫兄� ，，，，，，举行念头评估。。。。。。。系统会从视觉场景转变、用户意图信号、对话状态、社会规范要求、情绪响应需求这五个维度对目今状态举行打分。。。。。。。当任一维度的念头分数凌驾设定阈值时 ，，，，，，系统将触发自动干预。。。。。。。
最终 ，，，，，，认知系统的输出将通过三个通道注入行为系统：一是手势意图注入 ，，，，，，通过 ControlNet 指导行动天生 ，，，，，，例如「挥手打招呼」；；；；；；；二是对话干预 ，，，，，，向 Omni-LLM 注入指令以打断对话或指导话题；；；；；；；三是移动控制 ，，，，，，调解机械人的站位与朝向 ，，，，，，例如「转向用户」。。。。。。。
实验效果与安排
研究者们将ProAct全栈安排在Unitree G1人形机械人上 ，，，，，，实验设计了包括「海报解说」、「讲故事」、「寻找物品」等多个交互场景。。。。。。。
图3. 在海报解说场景中 ，，，，，，ProAct 自动发明用户并打招呼 ，，，，，，随后纠正用户的误解。。。。。。。
视频4. 在海报解说场景中 ，，，，，，ProAct 自动发明用户并打招呼 ，，，，，，随后纠正用户的误解。。。。。。。
图4. 在讲故事场景中 ，，，，，，ProAct 检测到用户玩手机分神 ，，，，，，自动中止故事并提醒用户。。。。。。。
视频5. 在讲故事场景中 ，，，，，，ProAct 检测到用户玩手机分神 ，，，，，，自动中止故事并提醒用户。。。。。。。
如上述图片所示 ，，，，，，在海报解说使命中 ，，，，，，ProAct 展现了逾越简朴问答的能力：它能自动捕获途经的用户 ，，，，，，建设眼神接触 ，，，，，，并在用户表达过失看法时自动打断并纠正。。。。。。。在讲故事场景中 ，，，，，，当检测到用户垂头玩手机时 ，，，，，，机械人并未继续自言自语 ，，，，，，而是凭证「社会规范」触发器 ，，，，，，天生了不满的肢体语言（双手叉腰）并口头提醒用户专心。。。。。。。通过视频效果中的链接可以寓目完整的社交视频。。。。。。。
视频6. ProAct的完整demo视频
结论
研究职员提出了一个用于自动具身社交智能体的双系统框架ProAct。。。。。。。
ProAct首先构建了一个支持语义意图注入的流式行动天生模子；；；；；；；在此之上 ，，，，，，设计了能够解耦实时反应与长程推理的双系统架构。。。。。。。
可视化效果与用户研究批注 ，，，，，，ProAct能够天生语境适当的自动行为 ，，，，，，显著增强了人机交互的自然度与加入感 。。。。。。。
只管该要领在提升自动性方面取得了显著希望 ，，，，，，仍保存一些局限性。。。。。。。首先 ，，，，，，现在的触发机制基于牢靠频率与阈值 ，，，，，，可能会错过最合适的干预时机 ；；；；；；；其次 ，，，，，，目今系统主要依赖云端大模子 ，，，，，，其网络延迟（约1-2秒）在一定水平上限制了对极速突发事务的响应能力 。。。。。。。未来研究者们将致力于端到端多模态模子的外地化安排与自顺应触发战略的研究。。。。。。。
参考资料：
https://arxiv.龙域网络科技有限公org/abs/2602.14048