{
  "paper_id": "b0f9bdbc6320a76adc185ef78df4f9fa",
  "paper_title": "DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation",
  "paper_authors": [
    "Chen Wang",
    "Haochen Shi",
    "Weizhuo Wang",
    "Ruohan Zhang",
    "Li Fei-Fei",
    "C. Karen Liu"
  ],
  "publication_date": "",
  "publication_venue": "Robotics: Science and Systems XX",
  "abstract": "从人类手部动作数据中进行模仿学习，是让机器人在真实操作任务中获得类人灵巧性的一种有前景途径。然而，现有手部动作捕捉系统在便携性方面仍存在明显不足，将动捕数据转化为有效机器人策略也具有较高复杂性。为解决这些问题，本文提出便携式手部动捕系统 DEXCAP，以及可直接从人类手部动捕数据训练灵巧机器人技能的新型模仿算法 DEXIL。DEXCAP 基于 SLAM 和电磁场，并结合环境三维观测，提供精确、抗遮挡的腕部与手指运动跟踪。利用这些丰富数据，DEXIL 通过逆运动学和基于点云的模仿学习，将人类动作无缝复制到机器人手。除直接从人类动作学习外，DEXCAP 还在策略执行阶段提供可选的人在回路修正机制，以精炼并进一步提升任务表现。在六个具有挑战性的灵巧操作任务上的大量评估表明，该方法不仅性能优越，也证明系统能够有效从野外动捕数据中学习，为未来追求人类级机器人灵巧性的数据收集方法铺平道路。\n",
  "keywords": [
    "灵巧操作",
    "手部动作捕捉",
    "便携式数据采集",
    "模仿学习",
    "逆运动学",
    "点云",
    "扩散策略",
    "人在回路修正",
    "双手机器人"
  ],
  "paper_institutions": [
    "Stanford University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:07.779304Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对遥操作依赖真实机器人、速度慢、成本高，单目视觉手部追踪在手物交互中易受遮挡且缺少精确三维信息，而传统动捕不便携、电磁场手套不能跟踪世界坐标系下6自由度腕部位姿、IMU长时采集易漂移，以及人机手尺寸和运动学差异导致策略迁移困难等问题，相关研究多从人类视频学习奖励、高层计划或视觉表征，通常仍需额外机器人数据，难以直接训练低层控制。本文提出 DEXCAP 和 DEXIL：前者用 Rokoko 电磁场手套测量指尖与手指关节、在每只手套背部安装 Intel RealSense T265 并以 SLAM+IMU 测量6自由度腕部位姿、在胸部安装 RealSense L515 RGB-D LiDAR 相机记录三维环境，并由背包中的 Intel NUC 以60Hz记录；后者将 RGB-D 观测转换到统一世界坐标系下的点云，用人类腕部位姿初始化逆运动学，通过匹配指尖位置将动作映射到 LEAP 灵巧手并舍弃小指信息，再以点云条件扩散策略输出未来目标状态序列，在逆运动学无法消除具身鸿沟时提供残差修正和遥操作两种模式，核心修正机制为 $a'_t=(p_{t+1}\\oplus\\alpha\\Delta p^H_t,\\ J_{t+1}+\\beta\\Delta J^H_t)$，修正数据与原始数据等概率采样后用于策略微调。实验选择海绵拾取、小球收集、擦盘子、包装、剪刀剪纸和备茶六个任务，以验证无需机器人在线数据、野外采集、双手高维控制、精细工具使用、长程操作和未见物体泛化能力；前三个任务共30分钟数据产生251、179和102条演示，包装任务1小时野外数据产生104条演示，剪刀和备茶各1小时数据分别产生96和55条演示，原始60Hz数据降采样至机器人控制频率20Hz，机器人平台为两台 Franka 机械臂和两只16自由度 LEAP 手，采用末端位置控制与手指关节位置控制。评估指标为随机初始位置下的任务成功率和多步任务子任务成功率；结果显示前三个任务最高平均成功率达72%，扩散策略比 BC-RNN 平均高约25个百分点，点云输入显著优于原始图像输入，Perceiver 编码器在擦盘子任务上较 PointNet 高约20个百分点；包装任务在野外数据下子任务成功率70%、全任务成功率47%、未见物体成功率40%，仅30次人在回路修正即使图像方法全任务成功率提升33个百分点、点云方法提升约10个百分点；剪刀任务仅用动捕数据时成功率为0，修正后子任务成功率45%、全任务成功率20%；备茶任务从仅用动捕数据时子任务30%、全任务0提升至修正后的65%和25%；DEXCAP 采集速度约为传统遥操作的3倍，SLAM-IMU 在两条轨迹上的漂移误差仅为0.4cm和0.8cm，明显优于 IMU 方法的8.0cm和11.3cm。未来可探索加入触觉与力感知、延长续航、改进机器人手尺寸和运动学设计；该系统适用于家庭日常操作、工具使用和长程双手任务，但受40分钟续航、缺少力信息、指尖逆运动学不能完全表达接触力、目标可能移出视野或超出机器人可达空间、机器人粗手指难以完成钢琴类任务等约束。\n\n### 关键要点\n\n- DEXCAP 是一种可穿戴手部动捕系统，由电磁场手套、手套背部 SLAM 相机、胸部 RGB-D LiDAR 相机和背包计算单元组成，能够以60Hz同步记录手指、腕部和三维环境数据。\n- 手指运动通过 Rokoko 电磁场手套捕捉，指尖嵌入磁性传感器，因而在手物交互造成严重视觉遮挡时仍能获得稳定的手指位置。\n- 腕部6自由度位姿由手套上的 T265 相机通过 SLAM 与 IMU 融合估计，具备便携、可自主修正漂移和保留腕部朝向信息的优势。\n- 胸部 L515 相机负责记录 RGB-D 观测；采集前相机先固定在胸部机架上获得恒定初始变换，再插入手套支架，整个校准过程约10秒。\n- 系统由背包中的 Intel NUC 和40000mAh电源供电，可连续采集约40分钟，背包重3.96磅，整体硬件成本控制在4000美元以内。\n- 面向双 Franka 机械臂加双 LEAP 手的平台，DEXIL 用人类6自由度腕部位姿初始化逆运动学，并通过匹配人类与机器人指尖位置求解16维手指关节。\n- RGB-D 图像被转换为统一世界坐标系中的彩色点云，从而消除采集者躯干移动造成的视角变化，并可将野外动作编辑、对齐到机器人操作空间。\n- 策略模型以点云和机器人本体状态为输入，使用扩散策略生成未来若干步的目标位置序列；实验表明其在高维双手动作输出上优于基于 MLP 的 BC-RNN。\n- 人在回路修正包含残差修正和脚踏开关切换的遥操作模式，修正后的动作和观测存入新数据集，并与原始数据按相同概率采样以微调策略。\n- 六个任务覆盖单手拾取、双手协调、多物体包装、精确工具使用和长程备茶；每个模型变体通常在随机初始位置下进行20次试验，包装任务还单独测试训练物体和未见物体。\n- 实验证明 DEXCAP 数据可在无机器人在线数据的情况下训练灵巧策略，前三个任务最高平均成功率为72%，且数据采集吞吐约为传统遥操作的3倍。\n- 系统当前缺少力/触觉感知，续航限制在约40分钟，指尖逆运动学也无法完全解决人机手尺寸、手指粗细和接触力差异，这些是后续应用于更复杂技能时的主要约束。"
}