{
  "paper_id": "f739616066a0952444815e50baa01c59",
  "paper_title": "DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation",
  "paper_authors": [
    "Mengda Xu",
    "Han Zhang",
    "Yifan Hou",
    "Zhenjia Xu",
    "Linxi Fan",
    "Manuela Veloso",
    "Shuran Song"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 DexUMI，一个将人类手作为自然接口、把灵巧操作技能迁移到多种机械手的数据采集与策略学习框架。DexUMI 包含硬件和软件适配，以缩小人手与多种机械手之间的具身鸿沟。硬件适配通过可穿戴手部外骨骼弥合运动学差距，支持在数据采集过程中获得直接触觉反馈，并将人类动作适配为机械手可执行的动作。软件适配通过用高保真机械手图像修复替换视频数据中的人手，弥合视觉差距。作者在两种不同的灵巧机械手硬件平台上进行了全面真实实验，平均任务成功率达到 86%。\n",
  "keywords": [
    "灵巧操作",
    "向人类学习",
    "模仿学习"
  ],
  "paper_institutions": [
    "Stanford University",
    "Columbia University",
    "J.P. Morgan AI Research",
    "Carnegie Mellon University",
    "NVIDIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:56.310655Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对人类手到多种灵巧机械手之间因运动学结构、接触面、触觉和视觉外观差异导致的具身鸿沟，以及遥操作存在空间观察错配、缺少直接触觉反馈且依赖机器人硬件等问题，提出 DexUMI 数据采集与策略学习框架。相关研究通常采用动捕手套、VR 或视觉跟踪配合重定向，或使用手持夹爪、人类视频和可穿戴设备，但难以同时保证多指手运动可行性、触觉一致性和无机器人采集。DexUMI 的硬件层是为目标机械手优化的可穿戴外骨骼，其核心机制为 max_p S(W_exo_tip(p), W_robot_tip)，通过双向最近指尖位姿误差最大化外骨骼与机器人指尖工作空间相似度，并以第二项约束外骨骼工作空间包含于机器人工作空间，同时在关节位置、连杆长度和拇指避让等可穿戴性约束下保留关节—指尖映射；外骨骼在各驱动关节安装编码器，用 ARKit 跟踪 6DoF 腕部，在腕部安装与机器人一致的 150° 相机，并配置与目标手相同的触觉传感器，使用户能直接接触物体并记录可迁移动作、视觉和触觉数据。软件层先用 SAM2 分割人手与外骨骼，用 ProPainter 补全背景，再将关节动作在真实机器人手上回放并录制机械手图像，最后基于外骨骼掩码与机器人掩码交集进行遮挡感知合成，生成训练与部署视觉一致的演示；策略以处理后的视觉观测和触觉为输入，经 DINO-V2 特征与扩散策略输出含 6DoF 末端执行器和手指动作的未来序列。实验在 6 个主动 DoF 的欠驱动 Inspire Hand 与 12 个主动 DoF 的全驱动 XHand 上开展，选取方块抓取放置、蛋盒开启、镊子夹茶和厨房长程任务，以验证基础精度、多指协调、毫米级接触丰富操作、长时序与触觉依赖技能；训练使用 310 条方块、175 条蛋盒、400 条茶叶、370 条厨房序列及额外 100 条旋钮序列，每任务 20 个真实评估回合并采用阶段累计成功率。结果显示 DexUMI 在四类任务中平均成功率达 86%，数据采集吞吐量是遥操作的 3.2 倍，相对手指轨迹在噪声和硬件误差下普遍优于绝对动作，触觉仅在相对轨迹和清晰力曲线任务（如取盐）中带来明显收益。该框架适用于精密装配、厨房操作、工具使用和多指接触等真实场景，但当前仍受限于每款手需单独优化外骨骼、指尖以外接触几何建模不足、触觉传感器漂移与安装敏感、3D 打印件变形、机器人回差与摩擦、机械手图像仍需真实硬件、修复存在模糊和光照偏差、相机需固定以及人手与机械手尺寸差异；未来可探索全自动优化与生成式设计、手掌等接触建模、柔性材料、视觉或电容触觉、图像生成消除机器人重录、移动相机支持以及人机手协同设计。\n\n### 关键要点\n\n- DexUMI 以人手作为通用操作接口，由可穿戴外骨骼和视觉数据处理两部分组成，分别缩小动作差距和观测差距。\n- 外骨骼通过优化关节位置与连杆长度，使其指尖工作空间尽可能匹配目标机械手，同时保证可穿戴性并避免拇指碰撞。\n- 外骨骼在每个驱动关节安装电阻式编码器以直接记录关节角，并用关节级回归模型将编码器值映射为机器人电机值。\n- 用户佩戴外骨骼时可直接接触物体并获得自然触觉反馈，外骨骼与目标机器人还安装同类型触觉传感器以降低触觉分布差异。\n- 腕部使用 iPhone ARKit 跟踪 6DoF 位姿，并在 exoskeleton 和机械手上以相同相对位姿安装 150° 广角相机，保证采集与部署视角一致。\n- 软件适配依次执行 SAM2 分割、ProPainter 背景修复、机器人动作回放录制和遮挡感知合成，将含人手与外骨骼的视频转换为含机械手的演示。\n- 视觉消融表明，修复方案显著优于绿色掩码和原始图像；例如在 Inspire Hand 上方块和蛋盒任务中，掩码或原始输入的成功率明显下降。\n- 模仿学习策略以视觉观测和触觉读数为输入，采用 DINO-V2 与扩散策略，预测未来 16 步动作但只执行前 8 步。\n- 实验覆盖 6 主动 DoF 的欠驱动 Inspire Hand、12 主动 DoF 的全驱动 XHand，以及方块、蛋盒、茶叶、厨房四类真实任务。\n- 每个任务进行 20 个评估回合，长程任务报告阶段累计成功率，DexUMI 在四类任务上的平均成功率为 86%。\n- 相对手指轨迹比绝对轨迹更稳健，原因是其动作分布更简单，并能通过增量动作累积直到接触等关键事件发生。\n- 触觉在传感器噪声较大时可能损害性能，但相对轨迹受影响更小；在视觉受阻且力曲线清晰的取盐任务中，触觉可将 XHand 成功率从 0.15 提升到 0.75。"
}