{
  "paper_id": "9e30bf663192ac418884be7d3a588e07",
  "paper_title": "Hand-Object Interaction Pretraining from Videos",
  "paper_authors": [
    "Himanshu Gaurav Singh",
    "Antonio Loquercio",
    "Carmelo Sferrazza",
    "Jane Wu",
    "Haozhi Qi",
    "Pieter Abbeel",
    "Jitendra Malik"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "We present an approach to learn general robot manipulation priors from 3D hand-object interaction trajectories. We build a framework to use in-the-wild videos to generate sensorimotor robot trajectories. We do so by lifting both the human hand and the manipulated object in a shared 3D space and retargeting human motions to robot actions. Generative modeling on this data gives us a task-agnostic base policy. This policy captures a general yet flexible manipulation prior. We empirically demonstrate that finetuning this policy, with both reinforcement learning (RL) and behavior cloning (BC), enables sample-efficient adaptation to downstream tasks and simultaneously improves robustness and generalizability compared to prior approaches. Qualitative experiments are available at: <https://hgaurav2k.github.io/hop/>.\n",
  "keywords": [
    "手物交互",
    "机器人操作预训练",
    "野外视频",
    "运动重定向",
    "因果Transformer",
    "强化学习",
    "行为克隆",
    "灵巧操作",
    "样本效率",
    "鲁棒性与泛化"
  ],
  "paper_institutions": [
    "UC Berkeley"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:38.449986Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决如何从人类操作视频中学习可复用机器人操作先验的问题。视频数据丰富、技能覆盖广且反映自然行为，但仅能部分捕捉交互信息（如手指力度不可见），且人与机器人之间存在形态差距；先前方法或仅学习缺乏运动组件的视觉表示，或要求视频与下游任务严格对齐，或局限于接触姿态先验。作者提出HOP（Hand-Object interaction Pretraining）框架：先将单目视频中的人手与操作物体提升到共享3D空间（基于MCC-HO和HaMeR，跳过CAD后处理并通过时间平滑提升连续性），再通过物理模拟器将3D人手关键点轨迹重定向为机器人关节动作，其核心优化机制为 min_{\\boldsymbol{a}[k]} \\frac{1}{2}\\|\\boldsymbol{x}_{h}[k+1]-f(\\boldsymbol{a}[k])\\|^{2}+\\lambda\\|\\boldsymbol{a}[k]-\\phi[k]\\|^{2}，其中第一项匹配人手与机器人关键点，第二项约束期望关节角与当前关节角的偏差，高保真模拟器作为约束确保行为真实，该方法被称为模拟器在环重定向；重定向时忽略物体动力学、按视频观测放置物体点云，并通过随机化桌面位置、初始关节状态及障碍布局增加多样性，再依据碰撞和跟踪误差（阈值3cm）筛选高质量轨迹。预训练数据来自DexYCB的250个右手视频和100 Days of Hands的约200个视频，合计约450个视频，重定向得到约70,000条轨迹；选择这些数据集是因为它们提供带标注或可重建的3D手物轨迹，可验证非结构化交互数据能否支撑任务无关先验。模型采用GPT-2风格因果Transformer，以过去16步本体感知和视觉观测（深度图或点云）预测下一动作，通过L1条件分布匹配损失学习；仿真中用PPO微调（点云输入，因深度渲染代价过高；采用小探索噪声0.1、共享观测tokenizer但阻断价值梯度、价值函数预热200步），真实世界用少量演示做行为克隆微调（深度图输入，因单相机难以估计点云），闭环运行于20Hz。实验在真实机器人（7-DoF xArm配16-DoF Allegro手）上评估Grasp & Drop、Grasp & Pour、Grasp & Lift三项任务，每项20次rollout，在最难的Grasp & Lift（单模型抓取4种不同物体，50个演示）上成功率达0.65，比最佳基线ImageNet Finetuned高30个百分点，验证了运动先验相对于纯视觉预训练的价值；仿真中在Grasp and Lift、Grasp and Throw、Open Cabinet上对比PPO、DAPG、AMP，HOP带来2-5倍样本效率提升，并在受力扰动下鲁棒性提升超3倍、对未见物体泛化能力提升超2倍，支持了知情探索与手物联合先验两项创新；消融显示遮蔽物体观测的仅手部先验在抓取抗扰和Grasp and Throw上明显变差，证明接触前后轨迹、直观物理和物体可供性信息的关键作用。该方法适用于单相机、少演示的灵巧操作场景，主要约束包括仅建模单物体交互、缺乏物体质量与摩擦等物理属性、物体运动可能物理不合理，以及重定向质量受视频环境与仿真场景差异影响；未来可借助3D重建进展扩展到多物体复杂场景。\n\n### 关键要点\n\n- HOP通过模拟器在环重定向将噪声3D手物数据优化为高保真传感器运动轨迹，目标函数同时匹配人手关键点与惩罚关节角偏离，以高保真模拟器替代传统速度平滑项作为物理约束。\n- 3D重建管线基于MCC-HO与HaMeR，跳过依赖已知物体CAD模型的位姿后处理以提升可处理视频范围，并将物体重建锚定到时间平滑的手部检测以改善时序连续性，同时假设相机静止。\n- 预训练语料由DexYCB的250个右手视频和100 Days of Hands约200个视频组成，共约450个视频；每个视频运行700次随机初值与场景布局优化，经碰撞和3cm跟踪误差筛选后生成约70,000条轨迹。\n- 基础策略为GPT-2风格因果Transformer，输入过去16步本体感知与视觉观测并预测下一动作；深度图模型用于真实世界、点云模型用于仿真，两者在完全相同的轨迹上训练，仅传感器观测不同。\n- 真实世界Grasp & Lift任务要求单一策略抓取4种具有不同空间可供性的物体，仅用50个演示，HOP取得0.65成功率，较最强基线ImageNet Finetuned的0.35高出30个百分点。\n- 仿真中用PPO微调，并采用初始探索噪声0.1、价值与策略网络共享观测tokenizer但tokenizer不接收价值梯度、价值函数前200步预热而演员固定等修改；HOP相对从零训练提升2-5倍样本效率。\n- 在被抓取物体上施加等于其重量的随机方向力时，HOP初始化策略的抗扰能力是从零训练PPO的3倍以上；在质量、长宽比和尺寸不同的未见YCB物体上，抓取泛化能力提升2倍以上。\n- 遮蔽物体观测以仅学习手部运动先验的消融模型，在抓取受力扰动和Grasp and Throw任务上表现显著下降，说明联合手物先验能提供特征抓取之外的接触前后轨迹、直观物理与人类偏好信息。\n- 方法约束包括：重定向忽略物体动力学且缺乏质量、摩擦等可靠物理参数，可能产生物理不合理运动或缺乏力闭合；数据质量随视频环境、仿真场景与运动学模型差异增大而下降。\n- 推理时模型以20Hz闭环输出期望关节角，xArm与Allegro低层控制器分别运行于120Hz和300Hz；真实系统仅使用单个Zed-2立体相机，前两个任务各采集15个演示、第三个任务采集50个演示，且评测物体均未出现在预训练数据中。"
}