从响应指令到预测共同未来：主动人机协作的统一问题视角

2026年08月08日

Topic: Proactive Human-Robot Collaboration
Keywords: Mixed-Initiative HRC, Egocentric Vision, Handover, VLA, World Model, Robot Self-Modeling

引言：协作不是把命令翻译成动作

过去几年，机器人最显眼的进展来自语言接口：LLM 可以分解任务，VLM 可以识别开放词汇对象，VLA 可以从图像和指令直接生成动作。它们让“告诉机器人做什么”变得越来越自然。

但听懂命令和理解协作并不是同一件事。

真正的协作常常发生在没有明确命令的地方：

  • 人刚放下一个部件，机器人是否应该递来下一个？
  • 人的双手正忙，机器人应该立刻介入，还是等待两秒？
  • 同一件工具应该从哪里递出，才不会挡住人自然接取的位置？
  • 人已经碰到物体，机器人何时松手才不会掉落或拉扯？
  • 如果机器人预测错了，它是否知道自己不确定，并选择观察或询问？

这些问题把人机协作从 instruction -> action 的单向映射，变成一个更本质的问题：

机器人如何在部分可观测、双方都会适应、物理接触不可逆的环境中，判断何时介入，并预测一次行动将如何改变共同未来？

这也是本文的统一视角。主动协作不是某个模型名称，而是一条连续证据链：

观察事件与任务上下文
  -> 推断人的状态和帮助需求
  -> 区分“能做”与“应该做”
  -> 比较候选行动的联合后果
  -> 以人体工学和安全约束执行
  -> 验证结果并更新对人、物体和自身的认识

沿着这条链路看，语言规划、第一视角视频、handover、VLA、world model 和 robot self-modeling 不再是相互独立的热门方向，而是同一个协作问题的不同接口。

1. 为什么“更强的动作生成”仍不等于协作

1.1 请求驱动系统把最难的问题交给了人

请求驱动机器人默认一件事：用户知道什么时候需要帮助，也愿意把需求说清楚。

这个假设在实验演示中很方便，却会把真实协作中的判断成本留给人。人在装配、烹饪、护理或维修时，可能双手被占用、注意力在任务对象上，或者根本不确定机器人能做什么。

早期的 LLM-Based Human-Robot Collaboration Framework 已经展示了一个典型结构：语言模型把长任务拆成运动函数，YOLO 提供对象位置，人类在动作错误时通过遥操作纠正，再用 DMP 保存新技能。这个两页工作实验很弱，但它准确反映了请求驱动范式的责任分配：人负责提出目标、发现错误和补充技能，机器人主要负责执行。

后来的语言机器人显著增强了可执行性。SayCan 将语言模型判断的任务相关性与技能 value function 给出的可行性结合；Inner Monologue 把成功检测、场景描述和人类反馈重新送回规划循环；Code as Policies 让模型生成包含条件、循环和 API 调用的程序；VoxPoser 则把语言约束落到三维 value map 和六自由度轨迹。

这些工作逐步解决了“如何让语言计划落地”，却仍通常从一条用户指令开始。换句话说，它们越来越擅长回答：

已知目标后，机器人可以做什么？

而主动协作还必须回答：

当前是否真的需要机器人做什么？

1.2 VLA 扩大了策略能力，却没有自动获得团队目标

RT-2 把机器人动作表示为 token，让网络语义知识进入端到端控制；OpenVLA 用 970K 真实机器人示范训练开放的 7B VLA，并强调高效微调；$\pi_0$ 在预训练 VLM 上加入 flow matching action expert，覆盖单臂、双臂和移动操作。

VLA 解决的是通用动作策略的规模化问题。它可以让机器人在更多物体、指令和平台上完成任务，但“完成指令的成功率”仍不同于“协作质量”。

如果指令本身来得太晚，VLA 再强也只能晚一点开始行动；如果机器人不必要地打断人，动作执行成功也可能降低团队效率；如果人不愿适应机器人，单次 task success 无法反映长期信任变化。

所以，主动协作不能只在 VLA 输出端再加一个 wait token。它需要在策略之前建立对人的状态、任务阶段和不确定性的持续认识。

2. 第一次范式变化：从请求触发到 mixed initiative

2.1 主动性首先是证据问题

Proactive Human-Robot Co-Assembly 利用任务先验和 human-in-the-loop 数据预测人的意图，再结合鲁棒安全控制完成协作装配。它代表一条经典路线：持续估计人接下来要做什么，让机器人提前准备。

Event-Driven Proactive Assistive Manipulation 采取了不同切口。它不持续运行复杂意图模型，而是监控人—物交互的光流事件，在动作前后选择稳定快照，让 VLM 根据状态差决定 pick / place / wait。在数字积木任务中，事件对齐的前后状态明显优于只看最终画面或固定窗口查询。

这两条路线的差别很重要：

  • intention prediction 试图持续回答“人下一步会做什么”；
  • event gating 试图判断“什么时候已经有足够证据值得推理”。

主动性不只是更早行动，而是证据不足时仍能克制地不行动。Event-Driven 在无解场景中的正确等待率只有 0.60，恰好说明 false intervention 比可解任务上的动作生成更难。

2.2 mixed initiative 还包含长期相互适应

Human-Robot Mutual Adaptation in Shared Autonomy 把人的适应性作为部分可观察变量：当人愿意改变策略时，机器人可以引导团队走向更有效方案；当人坚持偏好时，机器人应顺应人以保留信任。

这比“识别一次手势”更接近长期协作。机器人动作会改变人的下一次动作，人的经验也会改变其对机器人的预期。因此，人的行为不能被当成独立同分布的数据源。

Crafting with a Robot Assistant 在自然手工任务中给出了具体观察。20 名参与者与 Fetch 机器人完成鸟屋组装和绘画，共产生 565 个 handover episode。参与者会逐渐从明显的注视、前倾和挥手，切换到更省力的信号；他们也会利用机器人移动时间整理桌面、改变物体交换方式。

近期 Ego-EXTRA 将这种 mixed initiative 扩展到约 50 小时非脚本化程序活动：专家既回答学员问题，也从第一视角观察中主动提出建议。

这些工作共同说明，主动协作的状态不只是“help needed: yes/no”，还包括：

  • 人是否已经注意到机器人；
  • 人是否愿意被打断；
  • 人的双手与注意力是否可用；
  • 当前手势对这个人意味着什么；
  • 机器人过去的行为是否改变了人的策略。

3. 第二次范式变化：从单帧识别到具身、多视角记忆

3.1 第一视角看到的不是更多像素，而是行动者的可见世界

Ego4D 用 3,670 小时第一视角视频把 episodic memory、forecasting、hand-object interaction 和 social interaction 推到大规模数据阶段。Ego-Exo4D 又提供 1,286 小时同步 ego/exo 熟练活动，并附带眼动、相机位姿、三维点云和语言描述。

这些数据集的价值不只是相机更靠近人。第一视角天然编码了行动者当时能看见什么、手在做什么、哪些区域被身体遮挡；外部或机器人视角则更容易看到全身姿态、工作区关系和另一主体的动作。

在人机协作中，多视角不是传统意义上的冗余传感器：

  • Human Ego 更接近人的注意、手—物操作和局部任务上下文；
  • Robot Ego 更接近机器人的可达性、夹爪状态、执行偏差和自身遮挡；
  • 外部视角更适合全局姿态、相对位置和安全距离。

它们属于不同主体，具有不同的控制能力和盲区。

3.2 跨视角学习的核心是 correspondence，不是拼接

Ego-Exo 通过第三人称预训练辅助第一视角识别；EgoExoLearn 研究异步示范和第一视角执行；Viewpoint Rosetta Stone 利用少量同步视频学习 feature translator，再对齐大规模未配对数据；RegionAligner 把问题推进到对象区域级对应。

这条发展线从 clip-level view invariance 走向 object-level correspondence。对协作而言，真正需要对齐的并不是整张图，而是：

  • 两个视角中的同一个对象；
  • 人手与机器人夹爪围绕对象的接触关系；
  • 同一事件在不同视角中的起止时间；
  • 两个行动者相对于任务对象的可达性和可见性。

Co-training with Ego-centric Video and Demonstration 用一个很窄但清楚的例子说明了这一点。它通过视觉里程计把人类行走视频转换为 $SE(2)$ 运动意图，再与真实机器人示范共同训练导航 VLA。Human-only 几乎不能直接控制机器人，robot-only 在干扰物和未见起点上泛化不足，联合训练才同时保留语义覆盖和可执行性。

结论不是“人类视频越多越好”，而是：跨载体数据必须先找到共享、可执行的中间表示。

3.3 长时协作需要事件化记忆

连续视频不能简单压进无限上下文。Embodied VideoAgent 将 egocentric video 与 depth、pose 等具身传感结合，持续更新动态三维场景记忆。它代表一种不同于固定窗口 Transformer 的方向：把对象活动转化为可检索、可更新的 persistent memory。

对于协作，记忆的核心不是保存所有帧，而是保留会改变决策的事件：谁拿起了什么、哪个步骤完成了、人的手是否腾空、机器人上次介入是否被接受、对象状态是否与预期一致。

这使 event detection 与 memory construction 成为同一问题的两面：前者决定什么时候写入，后者决定什么值得留下。

4. Handover 是主动协作的最小完整实验

Handover 看似只是把物体从一个夹爪交到一只手里，却几乎包含协作的全部困难：意图、时机、空间协调、接触、安全、信任和结果确认。

Object Handovers: A Review for Robotics 将一次交接拆成 pre-handover cognitive phase 与 physical exchange。沿着这条时间线，相关研究形成了互补版图：

阶段 核心问题 代表进展 尚未解决
交接前：是否与何时 人是否准备好、任务是否需要交接 FACT HRC、mixed-initiative HRC、event-driven assistance 个体化 readiness、错误介入
交接前：在哪里与怎么拿 giver/receiver 抓取是否冲突、位置是否可达 H2O、HandoverSim、ContactHandover 动态人体、任务语义、真实泛化
接触中：如何适应 人手轨迹、机器人速度、接触力如何协调 视觉—触觉 handover control 多模态在线融合、异常情况
接触后：何时释放 是否抓稳、载荷是否转移 Compliant Blind Handover 个体差异、物体多样性、模块消融
完成后：结果如何 是否掉落、是否打断任务、体验是否自然 结果检测、问卷、任务指标 缺少统一端到端 benchmark

H2O 从 18K 人—人交接视频预测 receiver grasp；HandoverSim 为 human-to-robot 交接建立仿真 benchmark；ContactHandover 在 robot-to-human 场景中预测人体接触区域，并让机器人抓取避开人最可能接触的位置，同时优化可见性、可达性和关节负担。

这些方法解决“怎么递”，却不一定知道“是否该递”。另一方面，Compliant Blind Handover 让背对机器人的人通过触觉完成交接：导纳控制吸收位置误差，最近约一秒力/力矩序列进入 LSTM 判断载荷转移。20 人实验中，完整方法 60 次只失败 2 次，而刚性 PD + 固定力阈值失败 16 次。

Handover 因而揭示一个重要边界：高层智能和低层控制不可互相替代。

  • 语义模型无法保证人已经抓稳；
  • 柔顺控制器无法判断当前工具是否真的需要；
  • 几何规划器无法决定一次打断是否合适；
  • task success 也无法单独代表人的信任与负担。

一个声称“会协作”的系统必须让这些层级形成闭环，同时又能分别归因。

5. 第三次范式变化：从生成动作到预测行动后果

5.1 policy 回答“做什么”，world model 回答“做了会怎样”

行为策略通常学习：

$$ \pi(a_t\mid o_{\le t}, g). $$

它直接从观察和目标生成动作。世界模型则学习：

$$ p(z_{t+1:t+H}, y_{t+H}\mid z_{\le t}, a_{t:t+H}), $$

其中 $z$ 是状态表征，$a$ 是候选动作，$y$ 是任务或安全结果。

对协作来说，第二种接口尤其重要，因为机器人必须比较的不只是多个可执行动作，还包括 wait、ask、observe 和“不介入”。这些选择的差异体现在未来，而不是当前画面。

5.2 世界模型正在从像素生成分化出多条路线

iVideoGPT 把视觉、动作和奖励压缩成 token，以 next-token prediction 预训练交互视频模型；Genie Envisioner 进一步尝试让统一视频生成平台承担策略、评价与模拟。这条路线追求高容量、可视化和生成式仿真。

DINO-WM 采取更轻的 latent dynamics 路线：在 DINOv2 patch feature 上预测动作后果，并直接优化动作序列，不要求重建像素。Learning View-invariant World Models for Visual Robotic Manipulation 则研究多视角表征能否使世界模型在视点扰动下保持控制鲁棒性。

EgoExo-WM 把问题带回人的第一视角。它从外部视频恢复全身动作，再生成近似 ego 视频，与真实 ego 数据共同训练动作条件 latent world model。模型预测约 2 秒未来，并为多个候选人体动作排序。

这些工作没有给出唯一答案，而是形成三种取舍：

  1. 像素生成：信息丰富、可视化强，但计算昂贵，物理细节可能幻觉；
  2. 通用视觉 latent：训练和规划更轻，但距离是否真正对应任务结果并不总是清楚；
  3. 结构化状态：对象、接触、姿态和任务阶段可解释，但可能漏掉开放世界细节。

主动协作需要的未必是最漂亮的未来视频，而是足以区分不同介入选择的未来表示。

5.3 共同未来不能只预测机器人自身

Resilient Machines through Continuous Self-Modeling 很早就展示机器人可以从 actuation-sensation 关系推断自身结构，并在损坏后重新寻找步态。Full-Body Visual Self-Modeling 用隐式占用场表达给定关节状态下的全身形态。

Egocentric Visual Self-Modeling 又把传感压缩到单个机载第一视角相机：模型根据最近图像和电机角度预测六自由度位姿变化，在线评估 100 个候选动作，并利用预测残差检测腿部损坏。

这类 self-model 回答：

机器人执行动作后，自己的身体会发生什么？

而协作 world model 还必须回答：

机器人执行动作后，人会如何反应，共同对象会发生什么，任务关系会怎样改变？

两个问题之间的缺口不是再增加一条视频流，而是增加主体之间的耦合因果关系。

6. 一个统一的五层分析框架

面对任何“主动协作”方法，可以用五个问题判断它究竟解决到了哪一层。

6.1 Evidence：机器人依据什么认为帮助是必要的？

证据可能来自语言、gaze、手势、手部占用、事件前后状态差、任务图或长期行为历史。

关键不是传感器数量，而是能否区分：

  • 真正需要帮助；
  • 人可以自己完成；
  • 信息不足，需要观察；
  • 目标含糊，需要询问；
  • 行动会打断人，不应介入。

6.2 Shared state：不同主体如何形成可用的共同状态？

一个抽象的协作 belief 可以写成：

$$ b_t=p(x_t^h,x_t^r,x_t^o,q_t\mid o^h_{\le t},o^r_{\le t},h_{\le t}), $$

其中 $x^h$ 是人的状态，$x^r$ 是机器人状态，$x^o$ 是对象与接触状态，$q$ 是任务阶段，$h$ 是历史交互。

所谓 shared state 不是要求双方拥有完全相同的世界模型，而是让机器人知道哪些信息只在人视角可见、哪些只在自身传感中可靠、哪些对象关系可以跨视角对应。

6.3 Counterfactual future：机器人能否比较不同选择的后果？

主动系统至少需要比较：

  • 现在行动；
  • 等待；
  • 询问；
  • 改变观察位置；
  • 使用另一种递交方式。

只预测“最可能发生什么”还不够；需要预测“如果我采取不同动作，会发生什么”。这要求数据中包含行动变化，或拥有可信的交互模拟器。

6.4 Physical coordination：高层意图如何安全进入接触？

协作最终发生在物理世界。对象接触区域、人体可达性、速度限制、柔顺控制、载荷转移和异常停止不能被语言模型的语义置信度替代。

这一层的原则是：学习模型给出目标、候选和预测，确定性安全模块保留否决权，执行反馈重新进入 belief。

6.5 Calibration and agency：系统是否知道何时不该替人决定？

最危险的主动系统不是不会行动，而是把高置信度错误包装成“贴心”。

协作评价必须同时考虑：

  • false intervention；
  • missed assistance；
  • 用户是否保有控制感；
  • 机器人是否让人形成错误能力预期；
  • 长期适应是否以牺牲信任为代价。

因此，uncertainty calibration、abstention 和 mixed-initiative user study 不是附加项，而是主动协作的核心能力。

7. 当前路线的五个根本张力

7.1 主动帮助 vs. 人的自主性

越主动的机器人越可能减少等待，也越可能制造打断、催促和控制感丧失。最佳策略不是最大化介入次数，而是最大化团队收益，同时给人保留拒绝和修正的通道。

7.2 开放语义 vs. 可验证物理

LLM/VLA 擅长开放对象和任务语言，几何与控制器擅长可达性、碰撞、力和时序保证。端到端模型提高了表达能力，却让失败归因和安全认证更困难；模块化系统更容易验证，却可能在接口处丢失语义。

7.3 更多视角 vs. 更重的对齐负担

增加 Human Ego、Robot Ego 和外部相机并不自动提高协作理解。若对象 correspondence、时间同步和主体身份没有解决，多视角只会增加不一致证据和计算成本。

7.4 视觉逼真度 vs. 决策充分性

视频 world model 可以生成可解释未来，但小物体、手指和接触错误可能被逼真的背景掩盖。latent model 更高效，却可能优化与任务无关的视觉距离。结构化状态易于评价，却依赖标注和封闭 ontology。

7.5 通用策略 vs. 个体化协作

大规模 VLA 倾向学习跨任务平均策略，而自然协作依赖个人节奏、惯用手、交流方式、身体能力和对机器人的熟悉程度。平均成功率可能掩盖对少数用户持续不适配的问题。

8. 怎样评价“协作”，而不是只评价机器人动作？

一个有说服力的评测应覆盖四个层级：

层级 要回答的问题 代表指标 容易出现的错误结论
状态理解 是否理解人、对象和任务阶段？ readiness F1、contact F1、task-stage accuracy、calibration 识别准确就等于会协作
行动选择 是否在正确时机选对介入方式？ false intervention、missed assistance、ask precision、regret act accuracy 高就代表主动性好
物理执行 是否可达、安全、接触稳定？ success、peak force、drop rate、false release、recovery 高层判断正确就算任务完成
团队结果 是否真正改善人与团队？ completion time、human effort、fluency、trust、workload、agency 机器人更快就一定更好

还需要三个常被忽略的控制变量：

  1. 数据量与模型容量匹配：多视角方法不能仅因输入帧和参数更多获胜；
  2. 按参与者划分测试集：否则模型可能记住个人动作风格；
  3. 报告不行动场景：没有 negative events，就无法评价错误介入。

对于 world model，还应报告 horizon-wise degradation、action ranking regret 和不确定性校准，而不只展示生成视频或单步 latent loss。

9. 仍然开放的七个问题

9.1 什么才是“共同未来”的最小充分表示？

像素、视觉 latent、人体姿态、对象—接触图、任务阶段各有优缺点。领域仍缺少证据说明哪种表示最适合区分协作行动，而不是一般视频预测。

9.2 如何获得反事实的人类反应？

同一时刻只能真实执行一个机器人动作。要比较 act / wait / ask，需要多次可比试验、可信模拟、离线因果假设或人类行为模型。缺少反事实数据，是交互 world model 比单体 dynamics 更难的根本原因。

9.3 机器人是否应该主动选择观察？

当人的手被遮挡或对象对应不确定时，最佳动作可能不是操作，而是改变相机位置、等待事件完成或请求确认。Active perception 应成为协作 action space 的一部分。

9.4 怎样建模双方长期互相适应？

一次用户研究很难说明几周后的行为。机器人是否会让人变得依赖、是否会诱导更高效策略、是否会形成错误能力预期，都需要 longitudinal HRC 数据。

9.5 不确定性如何跨层传播？

视觉 correspondence、意图 belief、world model rollout、几何规划和力觉释放各自都有置信度。系统需要知道哪个不确定性会改变行动选择，而不是简单平均多个分数。

9.6 第一视角数据的隐私与可部署性如何处理？

Human Ego 会记录视线、手部行为、工作内容和周围人员。大规模采集必须同时解决同意、去标识、数据最小化和本地处理；否则技术上更强的观察会带来不可接受的社会成本。

9.7 是否可能建立统一 benchmark？

当前 proactive assistance、handover、ego video、VLA 和 world model 使用完全不同的任务与指标。一个有价值的 benchmark 不必覆盖开放世界，但应同时包含需要行动、不需要行动、需要询问、动态接触和结果验证，并报告人类体验。

10. 一张面向问题的阅读地图

如果从问题而不是论文批次出发，可以按以下顺序阅读：

这张地图不是封闭书单。它的作用是显示研究接口如何递进：从人的意图与任务阶段，到跨视角共同状态，再到行动条件未来、接触执行和长期适应。

结语：协作智能的核心是共同后果，而不是单体能力

机器人学正在同时经历几次扩张：语言模型扩大了任务语义，VLA 扩大了动作覆盖，第一视角数据扩大了对人类行为的观察，world model 让行动后果可以在执行前被比较，自模型让机器人开始检测自身偏差。

但这些能力只有围绕“共同后果”组织起来，才会成为协作智能。

真正值得追问的不是机器人是否能识别更多对象、生成更长计划或合成更逼真的未来，而是：

  • 它是否知道人的目标仍不确定？
  • 它是否能区分帮助与打扰？
  • 它是否理解自己的动作会改变人的行为？
  • 它是否能在接触发生前预测风险，在执行后承认偏差？
  • 它是否给人留下拒绝、修正和重新取得控制的空间？

从响应指令到预测共同未来，主动人机协作的真正进步不会由单一模型规模定义，而会由一套更严格的能力标准定义：证据充分、视角对齐、后果可预测、执行可验证、不确定时懂得克制。