{
  "paper_id": "96a8ed23bc01ac00d357e97b4a681692",
  "paper_title": "ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback",
  "paper_authors": [
    "Sirui Chen",
    "Chen Wang",
    "Kaden Nguyen",
    "Li Fei-Fei",
    "C. Karen Liu"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "Recent progress in imitation learning from human demonstrations has shown promising results in teaching robots manipulation skills. To further scale up training datasets, recent works start to use portable data collection devices without the need for physical robot hardware. However, due to the absence of an-robot feedback during data collection, the data quality depends heavily on user expertise, and many devices are limited to specific robot embodiments. We propose ARCap, a portable data collection system that provides visual feedback through augmented reality (AR) and haptic warnings to guide users in collecting high-quality demonstrations. Through extensive user studies, we show that ARCap enables novice users to collect robot-executable data that matches robot kinematics and avoids collisions with the scenes. With data collected from ARCap, robots can perform challenging tasks, such as manipulation in cluttered environments and long-horizon cross-embodiment manipulation. ARCap is fully open-source and easy to calibrate; all components are built from off-the-shelf products. More details and results can be found on our website: stanford-tml.github.io/ARCap\n",
  "keywords": [
    "模仿学习",
    "增强现实",
    "人类演示",
    "数据收集",
    "机器人操作",
    "跨本体",
    "碰撞检测",
    "扩散策略"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:16:56.002222Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决无机器人硬件的便携式演示采集质量不可控问题：遥操作数据虽精确但依赖实体机器人和熟练操作者，DexCap、UMI 等便携系统虽可扩大数据规模，却因缺少机器人本体反馈，容易产生速度超限、关节不可达、碰撞和相机视野丢失等无效数据，且往往绑定特定末端执行器。作者提出 ARCap，用 Meta Quest 3 作为显示与空间跟踪传感器，配合顶部 RealSense D435、Rokoko 数据手套、手套上的 Quest 控制器和背包笔记本电脑，在采集时将人手实时重定向到虚拟机器人；其核心机制可概括为 `q_t = IK(p_wrist_t, p_fingertip_t; q_{t-1})`，灵巧手通过两步逆运动学和零空间正则保持自然姿态并避免手指自碰撞，平行夹爪则以拇指与食指间距判定开合，且实际夹爪指令限制为 1Hz。系统用矩形框提示机器人 RGB-D 相机视野，用虚拟机器人与手部跟踪偏差提示关节和速度限制，并基于预扫描静态场景地图进行实时碰撞检测，碰撞时画面闪烁且控制器振动，用户可即时调整或删除严重违规轨迹。该同一系统支持 Franka Panda 臂上的 Leap Hand 四指灵巧手和 Fin-ray 平行夹爪，记录彩色点云、IK 关节角、头显位姿和虚拟机器人位姿，经世界坐标变换、背景裁剪、叠加虚拟机器人点云后存入 HDF5，并在 robomimic 管线中用 PointNet 编码点云、与当前关节状态拼接作为观测，训练以机器人臂手目标关节角或夹爪开合命令为动作的扩散策略。实验包括 20 名不同背景参与者的对照用户研究、障碍环境中网球抓取放置以及单阶段和三阶段 Lego 装配；选择这些设置是为了分别验证碰撞规避、跨末端执行器有效性、杂乱场景策略学习和长时序复合任务能力。评价指标采用轨迹回放成功率、场景可见率和真实机器人自主策略成功率，结果显示 ARCap 相较 DexCap 的回放成功率提高超过 40%、场景可见率提高超过 60%；专家 30 分钟杂乱场景数据训练的策略成功率为 0.70，而 DexCap 为 0.25，且 ARCap 策略测试中无碰撞，首次用户众包数据训练的策略也达到 0.60，DexCap 为 0；一小时三阶段 Lego 数据上，ARCap 在三个阶段分别达到 0.70、0.80、0.85，全自主装配成功率为 0.40，而 DexCap 全程为 0。该系统适用于家庭等非结构化杂乱环境、长时序装配和不同机器人本体的数据采集，主要约束是碰撞检测依赖预扫描静态场景、用户需保持操作在相机视野内、新本体仍需可重复人类动作的重定向方法，并且夹爪开合存在频率限制；未来可记录躯干运动以支持移动机器人或人形机器人，并结合 VLM 从被动反馈升级为主动自然语言指导。\n\n### 关键要点\n\n- ARCap 是一种便携式、开源、基于现成硬件的人类演示采集系统，无需实体机器人在场即可在采集过程中提供机器人可执行性反馈。\n- 系统在 AR 画面中实时显示由人手驱动的虚拟机器人，使用户能够直接观察关节限制、运动学差异和末端执行器跟踪失败。\n- 矩形视野框用于模拟机器人 RGB-D 相机的实际视场，提示用户始终将操作场景保持在可观测区域内。\n- 当人手运动超过机器人速度限制时，虚拟末端执行器会与人手产生明显偏差，视野框变黄以提示减速。\n- 系统基于预扫描的静态场景地图执行虚拟机器人碰撞检测，碰撞时通过画面闪烁和安装在手套上的控制器振动发出警告。\n- 同一采集框架支持 Leap Hand 灵巧手和 Fin-ray 平行夹爪；灵巧手匹配腕部和指尖位置，平行夹爪则由拇指与食指间距决定开合状态。\n- ARCap 记录彩色点云、虚拟机器人关节角、头显位姿和虚拟机器人位姿，处理后用叠加虚拟机器人点云的方式减小人与机器人的视觉外观差异。\n- 策略学习采用扩散策略，PointNet 将彩色点云压缩为特征，并与当前关节状态拼接，输出机械臂和灵巧手关节角或平行夹爪开合命令。\n- 用户研究邀请 20 名参与者在两种任务上对比 ARCap 与无反馈的 DexCap，其中半数参与者没有数据采集或机器人学习经验。\n- 用户研究中，ARCap 的轨迹回放成功率比 DexCap 高超过 40%，场景可见率高超过 60%，并显著减少碰撞、运动学限制和夹爪速度限制导致的失败。\n- 在真实机器人任务中，ARCap 数据训练的杂乱抓取放置策略成功率达到 0.70，首次用户数据达到 0.60；三阶段 Lego 全自主装配成功率达到 0.40，验证了其在杂乱、跨本体和长时序操作中的价值。"
}