{
  "paper_id": "16ac1013a2f480f575445eb8eaec55bb",
  "paper_title": "DexMV: Imitation Learning for Dexterous Manipulation from Human Videos",
  "paper_authors": [
    "Yuzhe Qin",
    "Yueh-Hua Wu",
    "Shaowei Liu",
    "Hanwen Jiang",
    "Ruihan Yang",
    "Yang Fu",
    "Xiaolong Wang"
  ],
  "publication_date": "2022",
  "publication_venue": "European Conference on Computer Vision (ECCV 2022)",
  "abstract": "尽管计算机视觉在理解手-物交互方面已取得显著进展，但让机器人执行复杂灵巧操作仍然十分困难。本文提出用于模仿学习的新平台与流水线 DexMV（Dexterous Manipulation from Videos）。该平台包含：（1）面向多指机器人手复杂灵巧操作任务的仿真系统；（2）用于大规模记录人类手执行相同任务演示的计算机视觉系统。在新流水线中，作者从视频中提取三维手与物体位姿，并提出新颖的演示转换方法，将人类运动转换为机器人演示，随后利用这些演示对多种模仿学习算法进行应用和基准测试。结果表明，这些演示能够大幅提升机器人学习效果，并解决纯强化学习无法完成的复杂任务。\n",
  "keywords": [
    "灵巧操作",
    "从人类演示中学习",
    "强化学习"
  ],
  "paper_institutions": [
    "University of California San Diego"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:46.963720Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决的核心问题是多指机器人如何低成本、可扩展地学会复杂灵巧操作；相关背景是纯强化学习面对 Adroit 机械手的30个自由度、非线性肌腱驱动和高维优化空间时需要海量样本且动作不自然，而以往基于VR头显和动捕手套的演示数据成本高、每任务仅约25条、任务复杂度有限，已有视频模仿方法又多集中在二指平行夹爪的简单推抓任务。作者提出 DexMV 平台与流水线，用对齐的计算机视觉系统和 MuJoCo 物理仿真系统连接人类视频与机器人学习：首先通过两台 RealSense D435 记录人类操作YCB物体的RGB-D视频，用PVN3D估计物体6-DoF位姿，并用MANO模型、2D重投影、深度约束和时序后处理估计三维手部位姿；随后通过演示转换生成机器人可用的状态-动作数据，其核心机制是手部运动重定向优化 min_{q_t} Σ_i ||v_i^H(θ_t,β_t,r_t)−v_i^R(q_t)||² + α||q_t−q_{t−1}||²，其中同时匹配指尖到掌心以及掌心到中指骨的任务空间向量，并用α=8×10⁻³的时序项保证平滑，再通过最小jerk轨迹拟合和逆动力学 τ=f_inv(q,q′,q″) 估计关节控制命令；最后将演示注入TRPO，基准测试SOIL、GAIL+和DAPG。数据与设置选择具有明确验证目的：YCB物体覆盖relocate、pour、place inside三类日常任务，relocate包含5种复杂物体，约每小时可采集100条视频演示，适合验证大规模、多样化演示能否克服VR数据瓶颈；DexYCB因提供真实手部位姿标注而用于评估MPJPE；ShapeNet的同类别和新类别实例用于检验泛化。实验以3个随机种子、每次100个trial评估，relocate成功定义为200步后物体距目标小于0.1单位，pour以倒入容器的粒子百分比衡量，place inside以物体网格进入容器的体积百分比衡量。结果显示模仿学习整体显著优于纯强化学习：DAPG在relocate的芥末瓶上达到0.93成功率，在番茄汤罐、夹钳和杯子上达到1.00，SOIL在最难的糖盒上达到0.67而纯RL为0；DAPG在pour上达到27.2%，高于RL的1.3%，在place inside上达到31.3，高于RL的3.2。消融还表明所提含中指骨向量和平滑项的重定向目标优于仅指尖映射，100条演示在800次迭代时成功率达1.00，而0条演示仅0.13，且同一演示可适应0.75至1.125倍物体尺寸和0.8至1.2倍摩擦变化；双相机加后处理将MPJPE降至32.5并使策略成功率达93.3%。这些结果支持了演示转换、平滑可执行运动以及将演示与RL目标结合的有效性。真实应用场景包括物品 relocation、倒水和将物体放入容器等日常操作，但约束在于策略主要在仿真中训练和测试，受位姿估计误差、遮挡、电机力矩/加速度限制、sim-real差距以及视频演示并非总是最优等因素影响；未来可进一步扩展更多样的视频与任务、测试新的模仿学习算法，并推进真实机器人部署和sim-real迁移。\n\n### 关键要点\n\n- DexMV由配对的计算机视觉系统和物理仿真系统组成，二者使用相同的灵巧操作任务，以打通人类视频与机器人策略学习。\n- 计算机视觉系统在35英寸立方框架上安装两台RealSense D435相机，从正面和侧面记录人类操作，视频演示采集效率约为每小时100条。\n- 仿真系统基于MuJoCo和Adroit机械手，动作是30维关节位置控制命令，任务包括relocate、pour和place inside。\n- relocate要求将桌上物体移到随机目标点，pour要求抓杯并把粒子倒入容器，place inside要求抓取并调整物体方向后放入容器。\n- 物体位姿由在YCB上训练的PVN3D估计，手部位姿用MANO参数表示，并结合2D关节重投影、深度一致性、双相机和时序后处理优化。\n- 演示转换包含运动重定向和动作估计：前者匹配指尖-掌心及掌心-中指骨任务空间向量并加入时序平滑项，后者用最小jerk轨迹和逆动力学恢复控制命令。\n- 作者没有直接采用行为克隆，而是将演示注入TRPO，并比较SOIL、GAIL+、DAPG和纯RL，其中DAPG使用解析逆动力学得到的状态-动作演示。\n- relocate实验中所有模仿学习方法整体优于RL，DAPG在番茄汤罐、夹钳和杯子上达到1.00成功率，SOIL在糖盒上达到0.67，而纯RL在糖盒上为0。\n- 消融显示增加演示数量可提高性能和稳定性，移除重定向平滑项会造成性能大幅下降，且相同演示能在不同物体尺寸和摩擦条件下保持优于RL的效果。\n- pour和place inside中DAPG分别取得27.2%和31.3的成绩，显著高于RL的1.3%和3.2，说明离线解析动作在复杂长程任务中比在线学习逆模型更可靠。\n- 在ShapeNet未见物体上，DAPG同类别泛化表现最好，迁移到相机等新类别时性能下降但仍优于其他方法，表明策略具备一定形状鲁棒性而跨类别泛化更困难。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}