{
  "paper_id": "0c2e20a3ff27ae1b8fc36eb989e8709e",
  "paper_title": "Do as I Do: Dexterous Manipulation Data from Everyday Human Videos",
  "paper_authors": [
    "Bhawna Paliwal",
    "Haritheja Etukuru",
    "William Liang",
    "Pieter Abbeel",
    "Nur Muhammad “Mahi” Shafiullah",
    "Jitendra Malik"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "How can we scalablely generate data for robotic manipulation, especially on human-like platforms such as dexterous multi-fingered hands? Learning from human videos has recently emerged as a likely answer to this question. However, difficulties in estimating hand-object interaction and crossing the human-to-robot embodiment gap have hindered the adoption of abundant monocular RGB-only human videos as the primary source of robot manipulation data. In this work, we present DO AS I DO, an algorithm to reconstruct and retarget monocular RGB human videos to multi-fingered dexterous robotic hands. DO AS I DO reconstructs hand-object interactions from various egocentric and exocentric in-the-wild video sources. The algorithm then retargets these hand-object interaction estimates into a sequence of actions executable in the real world, yielding robot-complete manipulation data from disparate human videos. Overall, DO AS I DO outperforms previous state of the art in estimating hand-object interactions and extracting dexterous manipulation trajectories from RGB videos, as we show in experiments on datasets with ground truths and on a dataset of video clips collected online. Our experiments enable us to propose an efficacy playbook for practitioners collecting human data for manipulation.",
  "keywords": [
    "灵巧操作",
    "手-物交互重建",
    "人-机重定向",
    "人类视频学习",
    "单目RGB",
    "引导扩散",
    "流匹配",
    "采样优化",
    "机器人学习"
  ],
  "paper_institutions": [
    "UC Berkeley"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:26.083159Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文研究如何从日常单目RGB人类视频中可扩展地生成灵巧（多指）机器人手的操作数据。以往“照我做”研究或依赖深度、3D扫描、专用硬件关键点等数据模态假设，或限定抓放行为与封闭物体类别，难以利用海量互联网视频，且手-物交互估计困难与人-机具身差异是主要障碍。DO AS I DO 提出两步算法：重建阶段以 HaWoR 跟踪手部、SAM3D 生成物体网格，并将 SAM3D 改造为视频物体跟踪器——其核心机制是在流匹配推理的每个 Euler 步将去噪更新与目标插值混合，即 x_t^s=(1-α_s)(x_{t-Δ}^s+Δv_θ^s)+α_s·z_ref^s(t)（姿态块同理，形状锚定固定网格、姿态锚定上一帧姿态），从而获得时间一致的4D手-物轨迹；重定向阶段在 MuJoCo Warp 仿真中执行 MPPI 风格的核退火采样优化，并引入预热步、随机力扰动与过渡奖励三项创新以鲁棒处理噪声参考。数据集与设置方面：重建在 DexYCB（160个标注视频）与 HOI4D（12个）上评估以与先前工作直接可比，另收集150个野外视频进行人类偏好评估；重定向在655个野外重建参考与 OakInk2（1352条干净双手 MoCap 轨迹）上评估，以验证方法对噪声与干净参考均有效；机器人采用22自由度 Sharpa Wave 手，真实部署为双 UR3e 臂加 Sharpa Wave 手、50Hz 控制。指标与结果：以 F-5、F-10 与 Chamfer 距离衡量，方法在 DexYCB 上达 0.71/0.93/0.66、HOI4D 上达 0.72/0.91/0.49，创立新 SOTA；人类评估中67%偏好本方法（非平局胜率79%）；重定向成功率从基线25%提升至71%（野外数据）、OakInk2 上从72%升至81%，其中预热步贡献最大，验证了三项重定向创新的有效性。进一步方向包括非刚性物体、场景级推理（障碍物与铰接约束）与更精确的度量深度估计。现实场景与约束：方法假设刚性物体与半精确度量深度，单目观测存在手-物距离歧义（难以区分物理接触与视觉遮挡），仅重建手与单个物体而非全场景，且物理仿真仅近似真实动力学，构成真实性能上限；论文还给出人类数据过滤指南——从100DOH采样的2000个片段中仅约4%通过质量检查，意味着未预处理互联网视频将带来约20倍的数据代价。\n\n### 关键要点\n- **方法定位**：DO AS I DO 是一个两步算法，将单目 RGB 人类视频重建并重定向到多指灵巧机器人手，不假设抓取先验或物体类别、支持任意刚体，是首个可从互联网视频到真实灵巧手 rollout 的完整流程。\n- **重建模块**：采用模块化分解——HaWoR 跟踪手部、SAM3D 从单帧生成物体网格、基于 SAM3D 的引导扩散跟踪物体姿态演化，辅以 SAM3 分割、MoGe 深度与相机内参估计以及 GeoCalib 重力对齐。\n- **核心机制**：物体跟踪利用流匹配推理，固定锚定帧形状并将每帧姿态采样偏向上一帧姿态，通过形状块与姿态块的引导混合公式（含引导强度 α_s、α_p）实现时间一致的姿态序列。\n- **自适应引导**：姿态引导强度由 2D 点跟踪估计的物体旋转速度推导，α_p(k)=max(0.1, 0.7−0.09|Δθ_k|)，消融显示其一致优于固定引导。\n- **候选选择**：每帧采样 N=25 个候选姿态，在加权 SE(3) 距离下聚类并按 mask-IoU 排序选取，与基于对数似然的排序性能相当但快至约30倍。\n- **重定向优化**：在 MuJoCo Warp 中以 MPPI 风格采样优化（每步1024样本、32次迭代、3秒时域、2Hz规划），并新增预热步（物体悬空固定、机械手自由调整）、随机力扰动与过渡奖励三项创新以处理噪声参考。\n- **重建结果**：在 DexYCB 与 HOI4D 上以 F-5/F-10/Chamfer 距离达 0.71/0.93/0.66 与 0.72/0.91/0.49，创立新 SOTA，优于 HO、IHOI、HORSE、MCC-HO、G-HOP、FoundationPose、Any6D 等基线。\n- **人类偏好评估**：在150个野外视频上，67%的评分偏好本方法（FoundationPose 为18%、平局15%），非平局胜率79%，评分者一致性 Fleiss' κ=0.65。\n- **重定向结果**：在655个野外重建参考上成功率从25%（退火采样基线）提升至71%（预热步贡献最大，25%→66%）；在 OakInk2 干净 MoCap 数据上从72%升至81%；成功标准为平均位置误差 E_pos<0.1 m 且平均旋转误差 E_rot<0.5 rad。\n- **真实部署**：双 UR3e 臂 + Sharpa Wave 手（22自由度、50Hz 控制），共生成500条人工验证的高质量轨迹（互联网53%、自我中心31%、生成16%），并演示搅打、倾倒、掸尘、挤压等10种任务。\n- **局限约束**：假设刚性物体与半精确度量深度；单目存在手-物距离歧义，难以区分物理接触与视觉遮挡；仅重建手与单个物体，无法推理障碍物或铰接等场景约束；仿真器对真实动力学的近似构成性能上限。\n- **数据过滤指南**：从100DOH采样的2000个10秒片段中仅9%存在有意义手-物交互，最终仅4%通过质量检查，未预处理互联网视频将带来约20倍的数据代价。"
}