{
  "paper_id": "87ae1fa15da1c9e4b7d1d95156306857",
  "paper_title": "MANIPTRANS: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning",
  "paper_authors": [
    "Kailin Li",
    "Puhao Li",
    "Tengyu Liu",
    "Yuyang Li",
    "Siyuan Huang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "人手在与环境交互中发挥核心作用，推动了灵巧机器人操作研究的发展。数据驱动的具身智能算法需要精确、大规模且类人的操作序列，而这些数据难以通过传统强化学习或真实遥操作获得。为此，本文提出MANIPTRANS，一种在仿真中将人类双手技能高效迁移到灵巧机器人手的新型两阶段方法。该方法首先预训练通用轨迹模仿器以模仿手部运动，随后在交互约束下微调特定的残差模块，从而实现复杂双手任务的高效学习与准确执行。实验表明，MANIPTRANS在成功率、保真度和效率上均优于现有方法。作者还利用该方法迁移多个手物数据集，构建了包含3.3K个机器人操作回合的大规模数据集DEXMANIPNET，涵盖套笔帽、旋开瓶盖等此前较少探索的任务；该数据集易于扩展，可促进灵巧手策略训练并支持真实世界部署。\n",
  "keywords": [
    "双手灵巧操作",
    "动作迁移",
    "残差学习",
    "模仿学习",
    "强化学习",
    "动作捕捉重定向",
    "DEXMANIPNET",
    "Isaac Gym",
    "跨本体泛化"
  ],
  "paper_institutions": [
    "State Key Laboratory of General Artificial Intelligence, BIGAI",
    "Department of Automation, Tsinghua University",
    "Institute for Artificial Intelligence, Peking University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:49.750414Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n数据驱动具身智能迫切需要精确、大规模、类人的双手灵巧操作序列，但传统强化学习依赖任务专属奖励、遥操作费力且数据绑定特定本体，直接MoCap重定向又受人-机形态差异、误差累积和高维双手动作空间影响，常在旋瓶盖、套笔帽等接触丰富任务中失败。相关研究多停留在单手握持，或依赖准物理模拟器与任务奖励；为此论文提出MANIPTRANS，将迁移解耦为手部轨迹模仿与交互残差校正：第一阶段用大规模手部数据和PPO预训练通用模仿器πI，状态包含参考手部轨迹和本体感知，奖励由腕部跟踪、手指关键点跟踪与平滑项组成，其中 r_finger=Σ w_f exp(-λ_f||j_d-j_h||²)，并通过参考状态初始化、早停和课程学习增强噪声鲁棒性；第二阶段扩展物体位姿速度、质心、重力、BPS形状、手物距离、接触力等状态，残差策略πR在模仿动作上生成校正量，核心机制为 a^t=a_I^t+Δa_R^t，再裁剪到关节限位，并用零均值高斯初始化与warm-up促使残差从零开始，奖励增加物体跟踪和接触力项，训练中先采用零重力、高摩擦，再逐步恢复真实物理参数。该设置选择Isaac Gym并并行4096个环境，在配备RTX 4090和i9-13900KF的个人电脑上验证，可检验物理合理性、训练效率和跨形态迁移；数据来自FAVOR与OakInk-V2等，定量集筛选OakInk-V2中时长4–20秒、60fps、约80个完整且语义相关的片段，排除可变形或超大物体，并构建DEXMANIPNET，包含61项任务、3.3K个回合、1.2K个物体、1.34M帧和约600个复杂双手序列。评价采用物体旋转/平移误差、关节位置误差、指尖误差和成功率，成功阈值分别为30°、3cm、8cm、6cm；MANIPTRANS达到8.60°、0.49cm、2.15cm、1.36cm，单手/双手成功率为58.1%/39.5%，优于Retarget-Only、RL-Only和Retarget+Residual，支持预训练模仿与残差解耦的创新；对60帧未见轨迹约15分钟即可完成训练，而QuasiSim约需40小时。它还在22-DoF Shadow Hand、22-DoF articulated MANO Hand、12-DoF Inspire Hand和16-DoF Allegro Hand上无需改变超参即可迁移，并通过关节拟合、逆运动学和时间松对齐在Realman臂加带触觉Inspire Hand上回放开牙膏等真实任务。适用场景包括离线将人类MoCap转换为机器人训练数据、仿真策略学习和sim-to-real原型验证；主要约束是当前更适合刚体、尺寸合适且物体模型较准确的数据，交互姿态噪声过大或铰接物体模型不精确会导致迁移失败，未来需提升鲁棒性并生成物理可信的物体模型，DEXMANIPNET也为模仿学习研究提供了基准。\n\n### 关键要点\n\n- MANIPTRANS采用两阶段框架：先预训练手部轨迹模仿模型，再用残差策略将粗略动作修正为满足物理交互约束的动作。\n- 第一阶段只关注手部运动，使用腕部跟踪、手指关键点模仿和动作平滑奖励，不依赖难以获取的复杂手物交互数据。\n- 第二阶段的状态额外包含物体位姿、速度、质心、重力、BPS形状表示、手物距离和指尖接触力，以感知接触丰富的操作。\n- 残差动作与模仿动作逐元素相加，即最终动作等于模仿动作加上残差校正，并在执行前裁剪到机器人手的关节限制内。\n- 残差模块以零均值高斯初始化并配合warm-up策略，使训练初期校正量接近零，从而减少模型崩溃并加快收敛。\n- 残差训练使用通用的物体跟踪奖励和接触力奖励，不需要为套笔帽、旋瓶盖等具体任务手工设计奖励函数。\n- 训练初期通过零重力、高摩擦和宽松误差阈值降低学习难度，随后逐步恢复重力、降低摩擦并收紧阈值。\n- DEXMANIPNET由FAVOR和OakInk-V2等数据迁移生成，包含61项任务、3.3K个回合、1.2K个物体和约1.34M帧。\n- 在OakInk-V2定量集上，MANIPTRANS的单手和双手迁移成功率分别为58.1%和39.5%，显著优于所比较的RL与重定向基线。\n- 同一框架可迁移到Shadow、MANO、Inspire和Allegro等不同自由度与形态的手，并已在真实双臂设备上完成灵巧操作回放。"
}