Crafting with a Robot Assistant: Use Social Cues to Inform Adaptive Handovers in Human-Robot Collaboration

2023年01月07日

Task: Naturalistic Human-Robot Collaboration and Adaptive Handovers
Method: Wizard-of-Oz User Study, Social Cues, FACT HRC Dataset
Venue: HRI 2023
Year: 2023
Paper: https://arxiv.org/abs/2301.02938
Code/Data: FACT HRC processed data

一句话总结

这篇论文没有提出自主 handover 策略，而是用 20 人、持续约一小时的自然手工任务和 565 个交接 episode，系统揭示 gaze、手势、手占用、桌面布局与任务阶段如何共同决定交接时机和位置，并形成 FACT HRC 数据集。

研究背景与动机

领域现状：机器人 handover 研究常在独立、短时、受控实验中测量成功率、交接时间或固定姿态，默认物体传递本身就是任务。

现有痛点：真实协作中，handover 只是连续任务的一小段。人可能正在装配、绘画或思考，机器人过早出现会造成催促感，过晚又降低效率；相同动作在不同阶段具有不同社会含义。

核心矛盾：受控实验便于比较，但会剪掉决定交接自然度的上下文；自然任务保留真实行为，却难以直接评估自主算法。

本文要解决什么？

  1. 人在自然协作任务中用哪些社会线索启动、调整和结束 handover？
  2. 功能性任务与创造性任务如何改变时空协调和主观体验？
  3. 人与机器人是否会在长时交互中相互适应？

切入角度：先用 Wizard-of-Oz 让人类操作者实现尽可能自然的自适应机器人，再观察其策略与参与者行为，作为未来自主模型的数据和设计依据。

核心 idea 一句话：把 handover 放回完整任务，用社会线索、前后任务上下文和人机共适应解释“何时递、在哪递、怎样等待”。

方法详解

整体框架

20 participants
  -> Stage 1 preparation
  -> Stage 2 functional birdhouse assembly
  -> Stage 3 creative painting
  -> Fetch robot moves between storage/work space
  -> Wizard observes cues and adapts timing + OTP
  -> synchronized robot/camera/body/emotion logs
  -> questionnaire + interview + behavior analysis
  -> FACT HRC dataset

每个 session 约一小时。参与者在小桌面工作，无法一次放下所有工具；机器人必须在储物区和工作区间往返，物体通过机器人夹持的篮子传递，从而把重点放在 timing 与 object transfer point，而非异构抓取。

关键设计

  1. 三阶段自然任务

    • 功能：构造从熟悉到功能协作再到创造性协作的连续上下文。
    • 核心思路：Stage 1 准备与隐式互相学习；Stage 2 组装强调效率和结构正确；Stage 3 绘画强调个人设计与开放选择。
    • 设计动机：检验同一种 handover 是否会因任务目标不同而改变。
    • 相比已有方法：不把 object transfer 隔离成一次单独 trial。

  2. Wizard-of-Oz 自适应控制

    • 功能：在自主系统尚未具备足够社会理解前生成高质量交互轨迹。
    • 核心思路：隐藏操作者同时查看 robot onboard camera、桌边 RGB-D、3D map、上身关键点和情绪估计，并调整何时出发、何时伸臂与 OTP。
    • 设计动机：先发现真实策略与标签，再训练自治模型。
    • 相比已有方法：研究对象是“应该如何适应”，不是某个已固定算法的性能。

  3. 多模态社会线索

    • 功能：解释 handover 的开始、继续和结束。
    • 核心思路：记录 gaze、手势、上身前倾、手是否被占用、桌面空间、语言与任务阶段；操作者也用机器人位置、头部倾斜和等待地点表达意图。
    • 设计动机：社会线索是双向的，机器人不仅感知人，也通过动作塑造人的行为。
    • 相比已有方法：从单一 gaze/gesture cue 扩展到任务条件下的 cue combination。

  4. FACT HRC 数据结构

    • 功能：支持后续 handover timing、OTP、social cue 与体验研究。
    • 核心思路：提供 identifiable raw ROS bags、去标识的 0.1 秒粒度 processed data，以及实验材料和处理脚本。
    • 设计动机：让未来工作不仅引用定性结论，还能训练和比较模型。
    • 相比已有方法：同时包含连续协作、机器人状态、操作者控制、人体关键点、问卷和访谈。

损失函数 / 训练策略

本文是观察性用户研究，不训练自主模型。核心“策略”由 Wizard 在线实现，分析由行为统计、阶段比较、问卷量表和半结构访谈构成。

这意味着数据可以告诉我们哪些变量重要，但不能把 Wizard 的行为效果归因于一个可复现的学习算法。

实验关键数据

数据规模

项目 数量 / 设置 说明
参与者 20 10 女 / 10 男，年龄 $27.00\pm5.17$
Processed samples 约 600K 0.1 s 间隔同步数据
Handover episodes 565 覆盖三阶段任务
Human-to-robot 52 (9.2%) 人把物体放入机器人篮子
Robot-to-human 320 (56.6%) 人从篮子中取物
Bidirectional 193 (34.2%) 同时或连续交换物体

主观评价

指标 Stage 1 Stage 2 Stage 3
Likeability 3.76 4.10 4.13
Perceived safety 3.77 3.99 4.04
Fluency 3.62 3.95 4.12
Trust 3.93 4.18 4.20
Satisfaction 3.65 4.10 4.10

量表范围为 1-5。Stage 2/3 整体比 Stage 1 更积极，但提升同时受到操作者学习、参与者适应和任务注意力变化影响，不能视为单一因果效应。

关键行为发现

  • 17/20 参与者用“看向机器人 + 前倾 + 单手挥动”作为常见 start cue。
  • 12 人使用过不止一种 start cue，11 人后来切换到更省力的信号。
  • 5 人即使知道机器人不支持语音仍会对它说“谢谢”等话语。
  • 人会使用双向交换、填充等待时间和动态整理桌面来适应机器人速度。
  • 15 人认为机器人具有适应性；只有 9 人认为它完全自主，说明“过于聪明的适应”反而暴露了 WoZ 可能性。

亮点与洞察

  • handover 是任务中的社会事件：离开 pre/post task context，单次成功率不能解释自然度。
  • 人类状态是时变且个体化的：固定 gesture dictionary 难以覆盖同一人随熟悉度变化的低努力信号。
  • 适应是双向的：系统只学习 human adaptation 而不建模 robot-induced behavior，会遗漏闭环效应。
  • 数据协议本身可复用：阶段化任务、同步社会线索、问卷和访谈适合构造更完整的自然协作数据集。

局限性

  • 机器人由 Wizard 控制，无法衡量自主感知、推理和规划误差。
  • 物体放在篮子中，回避了真实抓取、朝向、接触可供性和释放判断。
  • 参与者主要来自大学环境，样本量 20，文化、年龄和长期使用差异未覆盖。
  • 情绪估计没有被操作者实际依赖，自动情绪信号是否有用仍未验证。
  • 数据包含 robot onboard view 与桌边相机，但没有记录参与者的头戴第一视角。
  • 后续数据集可同步记录参与者视角、机器人视角、对象接触状态和真实机器人动作，并增加动作结果验证。

相关工作与启发

  • **vs Event-Driven Proactive Assistance**：本文发现自然社会线索与任务状态；Event-Driven 提供自动触发和执行闭环，但任务更窄。
  • **vs ContactHandover**：本文关心 timing/context；ContactHandover 关心 grasp、position 与 orientation。
  • **vs Compliant Blind Handover**：本文观察交接前后的社会协调；Blind Handover 解决接触末段的安全释放。
  • 数据集价值：FACT HRC 为 handover timing、任务阶段、社会线索组合和长期共适应提供了少见的自然任务证据。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 把 handover 放回自然任务，并系统研究共适应。
  • 实验充分度: ⭐⭐⭐⭐☆ 数据丰富、混合定量定性证据，但 WoZ 限制因果结论。
  • 写作质量: ⭐⭐⭐⭐☆ 研究问题、协议、数据与观察关联清楚。
  • 实用价值: ⭐⭐⭐⭐☆ 对场景设计、状态变量和数据采集非常有帮助。