{
  "paper_id": "b26d73cc6d76fde1c864755313c69dac",
  "paper_title": "H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation",
  "paper_authors": [
    "Hongzhe Bi",
    "Lingxuan Wu",
    "Tianwei Lin",
    "Hengkai Tan",
    "Zhizhong Su",
    "Hang Su",
    "Jun Zhu"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "机器人操作的模仿学习面临一个根本挑战：缺乏大规模、高质量的机器人演示数据。近期机器人基础模型通常在跨本体机器人数据集上预训练以扩大数据规模，但不同机器人本体的形态和动作空间差异显著，使统一训练面临严重限制。本文提出 H-RDT（Human to Robotics Diffusion Transformer），通过人类操作数据增强机器人操作能力。核心洞见是：带有配对3D手部姿态标注的大规模第一视角人类操作视频，能够提供捕捉自然操作策略的丰富行为先验，并有利于机器人策略学习。作者引入两阶段训练范式：先在大规模第一视角人类操作数据上预训练，再利用模块化动作编码器和解码器在机器人专属数据上进行跨本体微调。H-RDT 构建于20亿参数的扩散 Transformer 之上，使用流匹配建模复杂动作分布。动作编码器和解码器的模块化设计使其能够通过高效微调，将统一人体本体中的知识迁移到多样化机器人平台。仿真与真实实验、单任务与多任务场景、少样本学习和鲁棒性评估表明，H-RDT 优于从头训练及包括 π0 和 RDT 在内的现有先进方法，在仿真和真实实验中分别较从头训练提升13.9%和40.5%。结果验证了人类操作数据能够作为学习双臂机器人操作策略的强大基础。\n",
  "keywords": [
    "模仿学习",
    "双臂机器人操作",
    "人类操作先验",
    "第一视角视频",
    "跨本体迁移",
    "扩散Transformer",
    "流匹配",
    "少样本学习"
  ],
  "paper_institutions": [
    "清华大学计算机科学与技术系、人工智能研究院、BNRist中心、THBI实验室、清华-博世联合机器学习中心",
    "地平线机器人（Horizon Robotics）"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:17.538921Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n机器人模仿学习受限于高质量遥操作演示稀缺，现有视觉-语言-动作模型和机器人基础模型虽常使用 Open X-Embodiment 等跨本体机器人数据扩大规模，但不同本体的形态、末端执行器和动作空间高度异构，且机器人数据整体规模有限、质量不均，统一训练与泛化仍然困难。H-RDT 针对该问题提出利用带3D手部姿态标注的大规模第一视角人类操作视频，将人类自然操作策略、物体可供性、双手协调和任务分解模式作为可迁移行为先验；其核心设计是把人类动作表示为48维向量，包括双手腕部位姿18维和双手十指指尖位置30维，该表示可作为多数末端执行器控制机器人动作空间的超集，从而减弱运动学结构差异。模型采用20亿参数扩散 Transformer，并设计两阶段训练：第一阶段在完整 EgoDex 数据集上预训练，该数据集包含829小时、33.8万余条轨迹和194种操作任务，选择它是因为统一人体本体可提供远超已有人类视频方法的数据规模并覆盖丰富双手操作模式；第二阶段面向具体机器人进行跨本体微调，迁移视觉编码器、语言编码器和 Transformer 主干，同时重初始化状态适配器、动作适配器和动作解码器，以适配如双臂7自由度机械臂加平行夹爪的14维动作空间。H-RDT 使用流匹配而非传统扩散目标，核心直线插值机制为 a_τ = τa* + (1−τ)z，其中 z 服从标准高斯分布、τ∈[^0] [^1]，网络 vθ 根据视觉、本体状态和语言条件学习向量场，优化目标使 vθ(aτ,τ,c) 接近 z−a*，推理时通过 ODE 积分生成未来动作序列，以提升训练稳定性和推理效率。实验在 RoboTwin 2.0 中选择清洁 Easy 模式和含桌面高度、背景、光照、杂物变化的 Hard 域随机化模式，分别验证常规性能和环境鲁棒性；在真实世界使用 Aloha-Agilex-2.0、双臂 ARX5、UR5+UMI，并在仿真中使用 Aloha-Agilex-1.0 和双臂 Franka-Panda，以验证跨本体迁移。评价指标主要为任务成功率和完整成功率：仿真单任务在 Easy/Hard 模式分别达到68.7%和25.6%，多任务 Hard 模式达到87.2%，较无人类预训练提升20.0个百分点；真实 Aloha 叠毛巾和杯子放杯垫两任务平均成功率为58%，ARX5 上113种每任务仅1至5个演示的少样本抓取放置任务平均成功率为41.6%，UR5+UMI 外卖袋放置四个子任务平均成功率为58.0%；总体上 H-RDT 在仿真和真实世界分别较从头训练提升13.9%和40.5%，并超过 RDT 与 π0，支持了人类先验、模块化适配和流匹配动作生成对多任务、少样本与鲁棒操作的有效性。该方法适用于家庭双臂抓取放置、可变形物体操作、需要左右手选择的空间推理等场景，但仍依赖目标机器人的少量演示进行微调，48维表示更贴合末端执行器控制而非全部灵巧手关节控制，真实性能还受硬件精度、传感器和演示质量约束；未来可进一步探索开放世界任务泛化、更多机器人与灵巧手本体、人类数据配比、适配器结构以及无需机器人数据的更高效迁移方法。\n\n### 关键要点\n\n- H-RDT 将人类动作编码为48维向量，其中双手腕部3D位置与6D姿态共18维、双手十指指尖3D坐标共30维，以表示可跨本体迁移的双手操作信息。\n- 第一阶段在完整 EgoDex 上进行人类数据预训练，数据规模为829小时、33.8万余条轨迹和194种任务，显著大于 EgoMimic 的2千个演示和 HAT 的2.7万个演示。\n- 第二阶段针对具体机器人跨本体微调，视觉编码器、语言编码器和 Transformer 主干继承预训练权重，而状态适配器、动作适配器和动作解码器重新初始化。\n- H-RDT 采用流匹配建模动作序列，通过 a_τ = τa* + (1−τ)z 构造从高斯噪声到目标动作的直线路径，并学习对应向量场。\n- 网络架构包含视觉编码器、语言编码器、模块化动作编码器、LLaMA-3风格 Transformer 主干和模块化动作解码器，图像与语言特征通过交叉注意力注入。\n- 仿真使用 RoboTwin 2.0 双臂基准，Easy 模式为清洁桌面，Hard 模式包含3厘米桌高变化、随机背景、光照变化和物体杂乱，用于测试鲁棒性。\n- 跨本体评估覆盖仿真中的 Aloha-Agilex-1.0、双臂 Franka-Panda，以及真实世界中的双臂 ARX5、Aloha-Agilex-2.0 和 UR5+UMI。\n- 仿真单任务中，H-RDT 在 Easy 和 Hard 模式分别取得68.7%和25.6%的平均成功率；45任务多任务 Hard 模式中取得87.2%，高于 RDT 的28.8%、π0 的48.4%和无人类预训练的67.2%。\n- 在真实 Aloha-Agilex-2.0 上，H-RDT 叠毛巾完整成功率为52%，杯子放杯垫完整成功率为64%，两任务平均成功率为58%。\n- 在双臂 ARX5 的113种少样本抓取放置任务中，每任务仅有1至5个演示，H-RDT 平均成功率为41.6%，高于 RDT 的16.0%、π0 的31.2%和无人类预训练的17.6%。\n- 在 UR5+UMI 外卖袋放置任务中，H-RDT 在右手抓取、右手放置、左手抓取和左手放置四个子任务上平均达到58.0%，优于 RDT 的29.0%、π0 的31.0%和从头训练的16.0%。\n- 方法的主要约束是仍需目标机器人少量演示进行微调，且人类动作表示主要面向末端执行器空间，向高度不同的灵巧手或特殊机构迁移时仍需适配。"
}