{
  "paper_id": "eb4baa44cb3dfc32ccd18cb42f13c24a",
  "paper_title": "Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction",
  "paper_authors": [
    "Hongyi Chen",
    "Tony Dong",
    "Tiancheng Wu",
    "Liquan Wang",
    "Yash Jangir",
    "Yaru Niu",
    "Yufei Ye",
    "Homanga Bharadhwaj",
    "Zackory Erickson",
    "Jeffrey Ichnowski"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "多指机器人手的操作与抓取因动作空间高维且难以获取大规模训练数据而具有挑战性。现有方法主要依赖通过可穿戴设备或专用传感设备进行人类遥操作来收集机器人演示，限制了可扩展性。本文提出 VIDEOMANIP，这是一种无需设备的框架，可直接从 RGB 人类视频中学习灵巧多指操作。借助计算机视觉的最新进展，VIDEOMANIP 通过估计人手姿态和物体网格，从单目视频中重建显式的机器人—物体轨迹，并将重建的人体运动重定向到机器人手以进行操作学习。为使重建的机器人数据适合灵巧操作训练，作者引入了结合以交互为中心抓取建模的手物接触优化，以及可从单个视频生成多样训练轨迹的演示合成策略，从而无需额外机器人演示即可实现可泛化的策略学习。在仿真中，所学抓取模型使用 Inspire Hand 在 20 个不同物体上达到 70.25% 的成功率。在真实世界中，基于 RGB 视频训练的操作策略使用 LEAP Hand 在七项任务上达到平均 62.86% 的成功率，比基于重定向的方法高出 15.87%。\n",
  "keywords": [
    "灵巧操作",
    "RGB人类视频",
    "三维手物轨迹重建",
    "接触优化",
    "交互中心抓取建模",
    "演示合成",
    "模仿学习",
    "机器人策略"
  ],
  "paper_institutions": [
    "Carnegie Mellon University",
    "Georgia Institute of Technology",
    "Stanford University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:16:48.447281Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对多指机器人手高维控制困难、机器人演示依赖可穿戴设备或专用传感器且难以规模化的问题，本文提出 VIDEOMANIP 框架，仅从静态相机拍摄的第一视角 RGB 人类视频中学习抓取与操作，不需要机器人数据、深度测量、预扫描物体网格或外置传感设备。该方法先用 MoGe-2 估计度量深度和相机内参，用 SAM 2 获取物体掩码，用 MeshyAI 从 RGB 观测生成物体网格，再通过 GPT-4.1 给出粗略尺寸、并在 0.5 倍至 2 倍候选缩放中用 FoundationPose 选择渲染误差最小的尺度；同时用 HaMeR 重建人手网格，依据度量深度校正手部深度，并通过最小化机器人连杆关键点与人体手部关节对应误差，将手腕姿态和手指关节重定向到机器人 URDF 构型。对于场景内视频，方法使用已知相机—机器人外参把轨迹变换到机器人基座坐标系；对于野外视频，则用 GeoCalib 从首帧估计重力方向并施加 SO(3) 旋转，使轨迹对齐到有物理意义的水平面。为缓解重建误差造成的穿透和无效接触，方法在抓取阶段使用 ContactOpt 计算可微接触图，其核心机制可表示为 C_O(v_O;h)=max(0,1-min_j||v_H(h)-v_O||/c_rad)，并通过 E(h)=|C_O(h)-Ĉ_O|+|C_H(h)-Ĉ_H| 优化手部姿态，随后用 DRO 学习机器人与物体点云之间的距离矩阵并多边定位生成抓取构型；在操作阶段，方法采用 DemoGen 对物体点云和机器人轨迹施加一致的 SE(3) 变换，从单个重建轨迹合成空间随机化演示，并以 DP3 根据机器人手点云、本体状态和物体点云闭环预测关节增量 Δq。实验选取 20 个物体、每物体一段 3 至 6 秒、30fps 的人类视频，在 IsaacGym 中用尺寸接近人手的 18 自由度 Inspire Hand 验证抓取稳定性，每个抓取接受六个方向、大小为物体质量 0.5 倍的扰动，并以位移不超过 3 厘米为成功；真实实验则将四指 LEAP Hand 安装在 7 自由度 xArm 上，覆盖 3 项场景内任务和 4 项野外任务，每项任务由单视频训练并在随机目标位置进行 10 次试验。结果表明，接触优化将 20 个物体的仿真抓取成功率从无优化的 30.7% 提升到 63.75%，为 5 个困难物体补充多视角视频后整体达到 70.25%；真实策略在七项任务上平均成功率为 62.86%，比 LVP 等重定向方法高 15.87%，且野外倒茶任务若不进行重力校准成功率会降至 0%，而 DemoGen 轨迹数量从 1 增至 1000 时，场景内倒茶在 15 个目标位置上的成功数从 1 提升到 13。这些结果支持了显式三维重建、接触感知抓取和一到多轨迹合成对无机器人演示灵巧学习的关键作用；该框架可用于从互联网或日常视频扩展抓取、倒水、关抽屉、挂帽子、拧灯泡和移放盒子等技能，但当前仍受多阶段视觉模型复合误差、静态或近似静态相机假设、手部遮挡导致物体点云难以跟踪以及需假设抓取后手物相对接触保持不变等约束，未来可通过轨迹验证过滤、动态场景重建和图像表征等方向进一步改进。\n\n### 关键要点\n\n- VIDEOMANIP 仅以 RGB 人类视频为监督源，不需要机器人演示、可穿戴设备、外部传感器、预扫描物体网格或深度信息。\n- 三维重建流程结合 MoGe-2、SAM 2、MeshyAI、FoundationPose 和 HaMeR，分别完成度量深度估计、物体分割、图像到网格生成、6D 姿态跟踪和人手网格恢复。\n- 物体尺度采用两阶段策略：先由 GPT-4.1 估计物理尺寸，再在多个候选缩放中用 FoundationPose 比较渲染网格与 SAM 2 掩码的误差。\n- 人手到机器人的重定向通过优化机器人 URDF 连杆关键点与对应人类手部关节的位置误差完成，输出包含手腕姿态和手指关节角的机器人构型。\n- 场景内视频使用已知相机—机器人外参转换轨迹，野外视频则使用 GeoCalib 估计重力方向并将轨迹旋转到共享水平参考面。\n- ContactOpt 使用距离驱动的可微接触图和接触目标误差优化抓取姿态，可减少物体几何或手部尺度误差造成的穿透与无效接触。\n- DRO 模型预测机器人手点云与物体点云之间的稠密距离矩阵，并据此通过多边定位和优化得到相对于物体的抓取构型。\n- DemoGen 对物体点云和机器人轨迹施加一致的 SE(3) 空间变换，从单个重建视频生成保持接触和手指运动的多样化训练轨迹。\n- 仿真抓取实验包含 20 个物体，在 IsaacGym 中用 18 自由度 Inspire Hand 施加六向扰动；接触优化将整体成功率从 30.7% 提升到 63.75%，增加多视角视频后达到 70.25%。\n- 真实操作实验在 LEAP Hand 与 xArm 上评估七项任务，DP3 由单视频重建轨迹和 1000 条 DemoGen 合成轨迹训练，平均成功率达到 62.86%。\n- 方法的主要限制包括视觉模型级联误差、依赖静态相机、遮挡下物体点云跟踪困难，以及执行期间假设手物相对姿态保持固定。"
}