{
  "paper_id": "dca90b30d65d9f81e83999f0fe4badb7",
  "paper_title": "DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies",
  "paper_authors": [
    "Tony Tao",
    "Mohan Kumar Srirama",
    "Jason Jingzhou Liu",
    "Kenneth Shaw",
    "Deepak Pathak"
  ],
  "publication_date": "",
  "publication_venue": "Robotics: Science and Systems XXI",
  "abstract": "大规模、多样化的机器人数据集已成为使灵巧操作策略能够泛化到新环境的一条有前景的路径，但获取这类数据面临许多挑战。遥操作虽然能提供高保真数据集，但其高成本限制了可扩展性。DexWild 让多样化的数据采集团队像日常生活中一样使用自己的双手，在众多环境和物体上采集数小时的交互数据。为记录这些数据，作者构建了低成本、便携且易用的 DexWild-System。DexWild 学习框架同时在人类演示和机器人演示上进行协同训练，相比单独使用任一数据集都提升了性能。这种组合产生了鲁棒的机器人策略，只需极少的额外机器人专属数据即可泛化到新环境、新任务和新本体。实验结果表明，DexWild 显著提升了性能，在未见环境中达到 68.5% 的成功率，接近仅用机器人数据训练策略的四倍，并实现 5.8 倍的跨本体泛化能力。\n",
  "keywords": [
    "灵巧操作",
    "模仿学习",
    "人类演示",
    "协同训练",
    "真实世界泛化",
    "跨本体迁移",
    "扩散策略",
    "数据采集系统"
  ],
  "paper_institutions": [
    "Carnegie Mellon University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:01.656043Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对灵巧机器人策略难以泛化到新物体、新场景和新本体，而大规模机器人数据又受限于遥操作成本、设备搬运和专业操作人员的问题。相关研究中，遥操作数据质量高但难以扩展，互联网视频规模大却存在手部状态估计噪声、任务片段不结构化和缺乏低层精确动作等问题，仿真方法则受 sim-to-real 差距限制；为此，DexWild 提出让未经训练的采集者在真实生活中用自然双手完成交互，并以少量机器人遥操作数据进行本体接地。DexWild-System 由单个腕部跟踪相机、电池供电迷你 PC，以及集成动作捕捉手套和同步掌心相机的传感器盒组成，采用相对状态—动作表示以消除全局坐标标定，并用 ArUco 标记跟踪腕部、电磁场传感手套估计指尖、两台掌心全局快门相机获取近距交互视角；这些设计兼顾便携性、高保真和本体无关性，用于验证自然人类数据能否在低成本下提供场景与策略多样性。数据包括 9,290 条人类演示和 1,395 条机器人演示，覆盖喷壶、玩具清理、倾倒、双手花艺、双手叠衣五类任务及 93 个环境；人类数据负责多样性，机器人数据负责对齐机器人观测与动作空间。训练时按批次以固定权重混合两类数据，对人类和机器人动作分别归一化，并用启发式过滤剔除无效轨迹；策略采用预训练 ViT 视觉编码器和扩散 U-Net 生成动作块，因为 ViT 适合复杂视觉变化，扩散模型更能表达多人演示造成的多模态动作分布，其核心机制是在动作块上加噪并最小化 $\\mathcal{L}_\\theta=\\|\\epsilon_t-\\hat\\epsilon_\\theta(Z_i,a_{i:i+n-1}+\\epsilon_t,t)\\|_2^2$。在 xArm、Franka 与 LEAP 手部平台上的实验显示，机器人与人类数据 1:2 的批次比例效果最佳，域内、真实世界和极端未见环境成功率分别为 79.8%、75.1% 和 62.7%，高于仅用机器人数据的 64.7%、28.5% 和 22.0%；论文报告的未见环境综合成功率为 68.5%，接近机器人-only 方法的四倍。双手任务在极端环境中平均成功率为 68.1%，而机器人-only 为 13%；跨任务倾倒在不使用倾倒机器人数据时达到 94%，跨手臂迁移达到 37.5% 对比基线 4.5%，跨手掌迁移达到 65.3% 对比 13.3%，整体跨本体泛化提升 5.8 倍。随人类数据从 20% 增至完整规模，平均性能从 28.7% 升至 67.8%，采集速度约为 201 条演示/小时，比基于 Gello 的机器人遥操作快 4.6 倍。这些结果支持“大规模人类交互多样性加少量机器人接地”可显著增强泛化的核心结论；未来可通过改进重定向、在线策略适应、加入失败恢复示例以及触觉或力觉反馈，减少对遥操作数据的依赖并提升接触丰富任务表现，适用于家庭、餐厅、学习空间等室内外多变场景，但当前仍受限于无触觉、人类成功示范缺少错误恢复以及需要少量机器人数据等约束。\n\n### 关键要点\n\n- DexWild-System 是便携数据采集设备，由腕部跟踪相机、电池供电迷你 PC、动作捕捉手套和同步掌心相机组成，可供未经训练用户在真实场景中快速使用。\n- 系统采用相邻时刻之间的相对状态—动作表示，不依赖全局坐标系，因此跟踪相机可自由放置并实现免标定，降低了新场景部署成本。\n- 腕部通过手套上的 ArUco 标记和外部相机跟踪，手部通过电磁场传感手套估计指尖位置，以避免 SLAM 在特征稀疏或遮挡场景中失效。\n- 两台全局快门相机刚性安装在掌心，人类与机器人手部采用镜像一致的相机位置，从而获得跨本体对齐的视觉观测。\n- 动作空间通过指尖位置优化和逆运动学重定向到机器人手部，固定超参数即可适应不同手型，并不局限于特定机器人手。\n- 人类数据集包含 9,290 条演示、覆盖 93 个环境，机器人数据集包含 1,395 条遥操作演示；前者提供场景和策略多样性，后者提供机器人本体接地。\n- 训练前会分别归一化人类与机器人动作，并用启发式过滤管道自动删除低质量或无效轨迹，无需人工标注每条演示。\n- 策略以预训练 ViT 编码图像，用扩散 U-Net 预测动作块，并通过预测扩散噪声的行为克隆目标进行训练。\n- 实验覆盖喷壶、玩具清理、倾倒、双手花艺和双手叠衣五类任务，分别测试功能性抓握、长时程规划、跨任务迁移、双手协调和可变形物体操作。\n- 机器人与人类数据按 1:2 混合时整体表现最佳，在域内、真实世界和极端未见环境中分别达到 79.8%、75.1% 和 62.7% 的成功率。\n- 跨任务倾倒在不使用倾倒机器人数据的情况下达到 94% 成功率；跨手臂和跨手掌迁移分别达到 37.5% 和 65.3%，整体跨本体泛化提升 5.8 倍。\n- 数据采集速度约为 201 条演示/小时，比传统机器人遥操作快 4.6 倍，但方法仍依赖少量机器人数据，缺乏失败恢复示范和触觉反馈，在接触丰富任务中存在约束。"
}