# H-RDT：基于人类操作增强的双臂机器人操控技术 毕宏哲 $^{1,2}$、吴凌轩 $^{1}$、林天威 $^{2}$、谭恒凯 $^{1}$、苏志忠 $^{2}$、苏航 $^{1}$、朱军 $^{1}$ $^{1}$清华大学计算机科学与技术系、人工智能研究院、BNRist中心、THBI实验室、清华-博世联合机器学习中心 $^{2}$地平线机器人 ## 摘要 机器人操控领域的模仿学习面临着一个根本性挑战：大规模、高质量的机器人演示数据十分稀缺。近期出现的机器人基础模型通常会先在跨实体机器人数据集上预训练以扩充数据规模，但由于不同机器人实体的形态与动作空间差异较大，统一训练存在显著难度。在本文中，我们提出了H-RDT（Human to Robotics Diffusion Transformer），一种利用人类操作数据来提升机器人操控能力的新方法。我们的核心发现是：带有配对3D手部姿态标注的大规模第一视角人类操作视频，能够提供丰富的行为先验，这些先验可捕捉自然的操作策略，进而助力机器人策略学习。我们引入了两阶段训练范式：（1）在大规模第一视角人类操作数据上预训练；（2）借助模块化动作编码器与解码器，在机器人专属数据上进行跨实体微调。H-RDT基于包含20亿参数的扩散Transformer架构，采用流匹配技术来建模复杂的动作分布。动作编码器与解码器组件的模块化设计，使得通过高效的微调就能将统一的人类实体所习得的知识有效迁移到各类机器人平台。涵盖仿真与真实世界实验、单任务与多任务场景，以及小样本学习与鲁棒性评估在内的广泛测试结果表明，H-RDT的性能优于从零开始训练的方法以及现有最先进的方法，包括$\pi_{0}$和RDT；在仿真与真实世界实验中，其性能分别比从零开始训练的方法提升了13.9%和40.5%。这些结果验证了我们的核心假设：人类操作数据可作为学习双臂机器人操控策略的强大基石。 ## 引言 近期机器人学习领域的进展得益于ACT（Zhao等人，2023）、Diffusion Policy（Chi等人，2023）和3D Diffusion Policy（Ze等人，2024）等专用动作策略，以及RT-2（Brohan等人，2023）、OpenVLA（Kim等人，2024）、RDT（Liu等人，2024）、$\pi_{0}$（Black等人，2024）和$\pi_{0.5}$（Intelligence等人，2025）等视觉-语言-动作（VLA）模型。然而，这些方法都面临着根本性的数据采集难题。机器人演示数据严重依赖遥操作技术（Zhao等人，2023；Aldaco等人，2024），该技术需要昂贵的设备和熟练的操作员；而Universal Manipulation Interface（Chi等人，2024）和运动捕捉系统（Wang等人，2024；Xu等人，2025）等先进的数据采集系统则存在基础设施要求复杂、数据质量参差不齐的问题，限制了其规模化应用。 当前的VLA模型通常会在诸如Open X-Embodiment（O'Neill等人，2024年）和AgiBot World Colosseo（Bu等人，2025年）之类的机器人数据集上进行跨本体预训练。这种方法面临两个关键限制：不同机器人本体之间的形态与动作空间差异较大，导致统一训练颇具挑战性；且现有机器人数据集的规模有限，不同采集环境下的数据质量也参差不齐。这些限制从根本上制约了通用机器人操控所需的数据可用性与泛化能力（Team等人，2024年；O'Neill等人，2024年）。 与之形成鲜明对比的是，人类的操控行为构成了庞大且易于获取的演示数据宝库。近期出现的大规模第一人称视频数据集配备了详细的手部姿态标注，例如包含829小时操控视频的EgoDex（Hoque等人，2025年），为学习丰富的行为先验提供了前所未有的机遇。人类演示自然蕴含了物体可供性、操控策略以及任务分解模式等信息，这些信息有望成为机器人学习的强大归纳偏差。近期已有研究开始探索这一方向：EgoMimic（Kareer等人，2024年）利用第一人称视频，对人类数据与机器人数据进行协同训练；而Humanoid Policy（HAT）（Qiu等人，2025年）则采用可微重定向技术来实现人形机器人的行为建模。 本文提出了H-RDT（Human to Robotics Diffusion Transformer），这是一种系统利用大规模第一人称人类操控数据来提升机器人操控能力的创新方法。我们的方法聚焦于三个具体方面：数据稀缺问题：我们利用带有3D手部姿态标注的大量人类操控视频，来获取能够反映自然操控策略、物体可供性的丰富行为先验。 --- ![Image](images/82589ba471c6fe48eec0013bf7aba0ba9e8089c9b0f50c301b23593186c82c28.jpg) ![Image](images/bb880b7f48194e3a0df717fc0ed1bc2f739cedaa6d55078e5a0abccc1859a543.jpg) ![Image](images/3a0c3d8eaaeaa886aa2f82967a4d46b9a4d00a6af383f3ef2a558f6eeeb60838.jpg) ![Image](images/3090e73606ad4fead93d2f94e5fe289a049f7e8fa5ff772ae46b8d6d79050880.jpg) ![Image](images/b9d8f1a57e449ae65e029be289ef68b2f15218bc5f953762706c1d330d3d017c.jpg) ![Image](images/7a1b20f135d13ba70ed3cd72ce6a4c0377f8e01286b8494c5f4c6e2f5d72cf64.jpg)
Figure 1: Overview of H-RDT. A human-to-robotics diffusion transformer with two-stage training.
任务分解模式。跨本体迁移：我们设计了一种模块化的Transformer架构，配备专门的动作编码器与解码器，从而能够在保留已学操控知识的前提下，实现从人类演示到各类机器人平台的有效知识迁移。训练效率：我们采用两阶段训练范式结合流匹配技术，先基于大规模人类数据进行预训练，再进行跨本体微调，以此实现稳定且高效的政策学习过程。 我们的方法在通过人类操控数据预训练来实现人机知识迁移方面，引入了结构与训练方法的创新。 本研究的主要贡献如下： - 一种系统利用大规模第一人称人类操控数据来提升机器人政策学习的创新框架。 - 一种配备模块化人机迁移组件的扩散Transformer架构，能够实现高效的跨本体知识迁移。 - 通过全面的实证验证，证明该方法在仿真与真实场景中都比现有技术有显著提升。 • 揭示了人类操控先验对于样本高效型机器人学习的价值，尤其是在少样本场景下。 ## 相关工作 ## 基于学习的机器人操控 近年来，模仿学习领域的进步得益于多种专门的行为策略，包括ACT（Zhao等人，2023年）、Diffusion Policy（Chi等人，2023年）以及3D Diffusion Policy（Ze等人，2024年）。这些行为策略专注于为操作任务学习直接的视觉运动控制能力，通过先进的序列建模与生成方法，在灵巧操作方面展现出了令人瞩目的成果。 视觉-语言-动作（VLA）模型的出现标志着向更具通用性的机器人系统迈进的重要范式转变。近期的VLA方法包括RT-2（Brohan等人，2023年）、OpenVLA（Kim等人，2024年）、Robotics Diffusion Transformer（RDT）（Liu等人，2024年）、$\pi_{0}$（Black等人，2024年）、$\pi_{0.5}$（Intelligence等人，2025年）以及其他VLA模型（Zhao等人，2025年；Zhen等人，2024年；Liu等人，2025年；Wen等人，2025b,a）。这些模型在统一架构中融合了视觉理解、语言理解与动作生成能力，借助大规模数据集（O'Neill等人，2024年；Wu等人，2024年；Khazatsky等人，2024年；Fang等人，2023年），实现了指令跟随能力与跨本体泛化能力。 我们的工作以RDT架构为基础，同时引入了新颖的结构与训练方法创新。具体而言，我们采用流匹配（Lipman等人，2022年；Liu，2022年）作为训练范式，该方法相比传统的扩散训练具有更好的稳定性与效率（Esser等人，2024年；Bao等人，2023年）。 --- 更重要的是，我们提出了全新的人到机器人知识迁移机制，该机制能够支持基于人类操作数据的大规模预训练，随后再进行跨本体微调。 ## 从以自我为中心的人的操作中学习 大规模以自我为中心的数据集（Grauman等人，2022年；Damen等人，2018年；Liu等人，2022年；Banerjee等人，2025年；Grauman等人，2024年）包含了数十至数百小时记录的人与物体交互数据，但缺乏灵巧操作学习所需的精确3D手部姿态标注。EgoDex（Hoque等人，2025年）填补了这一空白，它提供了829小时（338k个片段）的以自我为中心的视频，其中包含逐帧的3D手部姿态与语言描述。 EgoMimic（Kareer等人，2024年）和Humanoid Policy（HAT）（Qiu等人，2025年）率先利用了以自我为中心的人类视频，但两者的规模都较为有限：EgoMimic基于2000个人类演示进行训练，而HAT则基于27000个演示——这与H-RDT所使用的338k条轨迹（829小时）相比，规模要小几个数量级。此外，这些研究针对的是单一的人形本体；EgoMimic在联合训练期间需要配对的机器人数据，而HAT的重定位机制则假设了人形运动学特性。相比之下，H-RDT将大规模人类预训练与特定机器人的微调过程解耦，并通过模块化动作适配器实现对任意机器人形态的泛化。其他研究还探索了数据增强技术（Li等人，2025年）以及配对的人机数据采集方法（Xie等人，2025年）。 ## 方法 ## 问题表述 在本节中，我们将介绍H-RDT（Human to Robotics Diffusion Transformer），这是一种利用大规模人类操作数据来提升机器人策略学习的新方法。 我们将机器人操控问题建模为一个条件序列生成问题，其目标是学习一种策略 $\pi_\theta$，以便根据多模态观测数据生成动作序列 $\mathbf{a}_{t:t+H} = \{\mathbf{a}_t, \mathbf{a}_{t+1}, \ldots, \mathbf{a}_{t+H-1}\}$。具体而言，在每个时间步 t，智能体都会接收到来自一个或多个 RGB 摄像头的视觉观测数据 $\mathbf{o}_t \in \mathbb{R}^{H \times W \times 3}$、用于描述机器人当前状态及夹爪状态的本体感知状态 $\mathbf{s}_t \in \mathbb{R}^{d_s}$，以及描述任务的语言指令 $1 \in \mathbb{R}^{L \times d_{\text{lang}}}$。该策略会输出一系列未来动作 $\mathbf{a}_{t:t+H}$，其中每个动作 $\mathbf{a}_i \in \mathbb{R}^{d_a}$ 都代表在预测时域 H 内的机器人控制指令（例如关节位置、末端执行器位姿）。 为了开发出通用的策略，需要进行大规模模仿学习，但针对特定形态的机器人相关数据却十分稀缺。为解决这一问题，现有方法主要依赖于利用来自多种异质形态的机器人的演示数据进行训练（Liu 等人，2024年；Black 等人，2024年；Intelligence 等人，2025年）。然而，由于遥操作成本高昂，数据的总体规模仍然有限。 另一种方法是利用以自我为中心的人的操控数据，这类数据或许能提供源自统一人类形态的机器人，且其中的操控先验可迁移到各类机器人平台上，从而既减少从异质形态机器人学习时产生的冲突，又能实现低成本的数据获取。不过，这种方法面临三大挑战：首先，现有方法处理的人类操控数据规模较小，无法充分发挥人类行为先验在机器人学习中的潜力；其次，人与机器人之间存在显著的形态差异，包括末端执行器类型和正向运动学方面的差异（Qiu 等人，2025年），这使得难以将人类演示中的操控知识有效迁移到目标机器人上；最后，尽管近期的研究已能利用配对的人类数据在特定机器人上实现操控（Kareer 等人，2024年；Qiu 等人，2025年），但如何通过针对特定机器人的数据微调，来构建可高效适配多种异质形态机器人的基础模型，这一问题仍尚未得到充分解决。 ## 概述 为应对上述挑战，我们提出了 H-RDT（Human to Robotics Diffusion Transformer），如图 2 所示，这是一种基于Transformer的架构，通过结构化范式进行训练以从人类数据中学习。为解决人与机器人之间的形态不匹配问题，H-RDT构建了共享的动作表示空间来衔接人类与机器人的形态差异；同时，它采用两阶段训练范式来满足可扩展的跨形态部署需求。最后，H-RDT利用流匹配技术和可扩展的基于Transformer的架构，实现稳定且富有表现力的策略学习。 ## 人类动作表示设计 为解决人与机器人之间的形态差异问题，现有方法要么使用流作为动作的过渡表示（Xu 等人，2024年；Wen 等人，2024年），这种方式仅能提供高层次的物体运动指引，没有明确的动作参数，还需要额外的策略网络将流转换为特定于机器人的控制指令；要么需要对人体姿态与目标机器人之间进行精细的重定位处理，这限制了学习策略的适用性。为此，我们采用了精细的 3D 手部姿态，将动作表示为包含关键双腕灵巧信息的紧凑的 48 维向量： - 双侧手腕姿态（双手的位置（3D）和朝向（6D））：共 18 维，这与机器人的末端执行器姿态完全一致。 • 指尖位置（双手所有手指的3D坐标）：共30个维度 这种表征方式涵盖了大多数以末端执行器姿态为控制量的当前机器人的动作空间，从而能够确保不同运动学结构之间的有效知识蒸馏。这种结构化编码明确体现了实现通用操控所必需的基本操控动力学和空间关系。 ---
Stage 2: Cross-Embodiment Finetune
![Image](images/aef37f2ff0352942225112d7ee594db8fcca90b83c11630d593527166b2207a5.jpg)
Figure 2: H-RDT framework. Our approach consists of two main stages: (1) pre-training on large-scale human manipulation data with 48-dimensional hand pose representations, and (2) cross-embodiment fine-tuning with modular action encoders and decoders adapted to specific robot action spaces.
这种操控方式能够有效缓解实体差异带来的问题，其关键在于聚焦于抓取配置、方向约束以及相对位置动力学等具有普遍适用性的特征。 ## 两阶段训练范式 现有从人类数据中学习机器人策略的研究大多需要严格匹配人类与目标实体之间的关系，因此无法在部署时适配多种实体形态。为解决这一问题，我们采用了精心设计的两阶段训练范式：该范式既能充分利用人类演示数据的价值，又能实现高效的跨实体机器人部署。与传统扩散模型目标函数不同，H-RDT采用流匹配（Lipman等人，2022年）来进行动作生成，具备更优的训练稳定性和推理效率。 第一阶段：人类数据预训练。在第一阶段，我们使用包含48维人类手部动作表征的完整EgoDex数据集对H-RDT进行训练。具体而言，我们的模型基于EgoDex数据集（Hoque等人，2025年）中的194种不同操控任务相关的33.8万条以上轨迹进行训练，这些数据全面覆盖了人类的操控策略、物体交互以及双手协调模式。 第二阶段：跨实体微调。为使预训练模型快速适配跨实体部署需求，第二阶段通过选择性权重迁移和模块化重新初始化，将预训练模型调整为适配特定机器人实体的版本：视觉编码器、语言编码器和Transformer主干网络的权重会从预训练模型中迁移过来，从而保留从人类演示中学习到的多模态表征以及操控先验。状态适配器（MLP $_{state}$）、动作适配器（MLP $_{action}$）以及动作解码器则会被完全重新初始化，以处理目标机器人的动作空间（例如，配备平行夹爪的双7自由度机械臂的动作空间为14维）。 这种选择性迁移策略既保留了从人类演示中学习到的操控语义，又能使其适配各类不同的机器人形态。模块化设计使得针对每个目标实体重新训练动作编码器和解码器时，不会破坏已学到的视觉-语义表征。 ## H-RDT架构 用于动作生成的流匹配技术。与传统扩散训练不同，H-RDT采用流匹配（Lipman等人，2022年）来进行动作生成，相较于传统扩散建模，它具备更优的训练稳定性和推理效率。流匹配通过连续归一化流，学习将简单噪声分布转化为目标动作分布的向量场。 给定目标动作序列$\mathbf{a}_{t:t+H}^{*}$，我们构建一条直线型流路径： $$ \mathbf{a}_{\tau}=\tau\cdot\mathbf{a}_{t:t+H}^{*}+(1-\tau)\mathbf{z} $$ 其中$\mathbf{z} \sim \mathcal{N}(0, \mathbf{I})$为高斯噪声，$\tau \in [0, 1]$用于参数化流时间。神经网络$v_\theta$负责预测 --- 该向量场： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{F M}}=\mathbb{E}_{\tau,\mathbf{z},\mathbf{a}^{*},\mathbf{c}}\left[\|v_{\theta}(\mathbf{a}_{\tau},\tau,\mathbf{c})-(\mathbf{z}-\mathbf{a}_{t:t+H}^{*})\|^{2}\right]}\end{array} $$ 其中，$\mathbf{c} = \{\mathbf{o}_t, \mathbf{s}_t, 1\}$ 表示条件信息，包括多视角 RGB 观测数据 $\mathbf{o}_t$、本体感知信息 $\mathbf{s}_t$ 以及语言指令 1。在推理阶段，我们通过使用确定性步长的常微分方程求解器来积分学习到的向量场，从而采样动作（具体实现细节见附录 B.3）。 网络架构：H-RDT 采用统一的 Transformer 架构，由五个模块化组件构成：视觉编码器、语言编码器、模块化动作编码器、Transformer 主干网络以及模块化动作解码器。 视觉与语言编码器：RGB 观测数据通过预训练的视觉骨干网络 DinoV2（Oquab 等，2023）和 SigLIP（Zhai 等，2023）进行编码，随后通过 MLP 适配器将图像特征投影到维度为 $d_{model}$ 的嵌入空间中。文本指令则使用预训练的 T5-XXL 语言模型（Raffel 等，2020）进行嵌入，并通过类似的适配器完成投影。 模块化动作编码器：本体感知状态 $s_t$ 和含噪声的动作序列 $\mathbf{a}_{t:t+H}^\tau$ 通过模块化 MLP 适配器进行编码： $$ \mathbf{h}_{\mathrm{s t a t e}}=\mathrm{S t a t e A d a p t e r}(\mathbf{s}_{t})\in\mathbb{R}^{d_{\mathrm{m o d e l}}}, $$ $$ \mathbf{h}_{\mathrm{a c t i o n}}=\mathrm{A c t i o n A d a p t e r}(\mathbf{a}_{t:t+H}^{\tau})\in\mathbb{R}^{H\times d_{\mathrm{m o d e l}}}, $$ 其中，$\mathbf{a}_{t:t+H}^{\tau}$ 表示在流匹配训练中使用的、位于流时间 $\tau$ 处的含噪声动作序列，H 则表示预测范围。 Transformer 主干网络：H-RDT 采用了 LLaMA-3 架构风格（Touvron 等，2023），配备了 RMSNorm 层归一化机制和 SwiGLU 激活函数。每个 Transformer 块通过自注意力机制处理拼接后的输入 x = Concat( $h_{state}$, $h_{action}$ )，同时为避免模态不平衡问题，图像和语言特征通过独立的交叉注意力机制注入（Liu 等，2024）。流时间 $\tau$ 会被映射为时间步嵌入，并通过 AdaLN 进行整合（Peebles 和 Xie，2023）。 模块化动作解码器：预测的隐藏状态 $h_{action}$ 通过模块化 MLP 进行解码： $$ \begin{array}{r}{\mathbf{\hat{a}}_{t:t+H}=\mathrm{A c t i o n D e c o d e r}(\mathbf{h}_{\mathrm{a c t i o n}},\mathbf{t}_{\mathrm{e m b}}).}\end{array} $$ 其中，$t_{emb}$ 表示用于流匹配的时间步嵌入，解码器输出的动作会映射到目标机器人的动作空间中。在跨本体微调过程中，模块化动作编码器和解码器会被重新初始化。 ## 实验 ## 实验设置 我们开展了全面的实验，以评估 H-RDT 在仿真和真实世界场景中的有效性。评估涵盖四个关键维度：（1）在多种操作场景下的单任务与多任务性能；（2）在不同机器人平台上的跨本体泛化能力；（3）通过域随机化测试的环境鲁棒性；（4）在有限真实世界演示数据下少样本学习的样本效率。 仿真环境：我们采用了 RoboTwin 2.0 平台（Chen 等，2025），这是一个包含多种家居任务的综合性双臂操作基准测试平台。该平台提供两种评估模式：环境整洁的简易模式，以及包含 3 厘米桌高变化、随机背景、光照变化和物体杂乱等干扰因素的困难模式。 机器人本体：为了验证跨本体迁移能力，我们在仿真和真实世界环境中对多种机器人平台上的 H-RDT 进行了评估。仿真实验涵盖了两种不同的本体：Aloha-Agilex-1.0 和双臂 Franka-Panda。真实世界验证则使用了三种不同平台：双臂 ARX5、Aloha-Agilex-2.0（双臂 Piper）以及 UR5 + UMI 配置。 ## 基线方法与对比实验 我们将H-RDT与几种最先进的方法进行比较： • RDT（Liu等人，2024年）：机器人扩散变换器基准模型 • $\pi_{0}$（Black等人，2024年）：最先进的视觉-语言-动作模型 • 无人类数据训练：我们未使用人类数据预训练的模型 ## 现实世界验证 我们在三种不同的真实机器人平台上评估H-RDT，以验证其跨本体迁移能力和在实际部署场景中的鲁棒性。所有真实世界实验均采用多任务训练方式。 Aloha-Agilex-2.0实验：我们在Aloha-Agilex-2.0平台（双臂Piper机器人）上评估H-RDT在两项双手操作任务中的表现。 任务1：毛巾折叠。这项可变形物体操作任务用于测试模型通过连续折叠操作处理非刚性材料的能力。 任务2：杯子放置到杯垫上。这项空间推理任务要求模型根据物体位置自动选择合适的手：左侧的杯子需用左手抓取，右侧的杯子则需用右手抓取。 这两项任务均采用基于子任务的评分系统来评估逐步完成程度，最终评估则侧重于完全成功的比率。表1和表2展示了各方法的性能对比，每项任务均进行了25次试验。 对于毛巾折叠任务（表1），H-RDT的完全成功率为52%，而RDT为40%，从零开始训练的模型则为0%。未使用人类数据训练的模型甚至无法完成完整的折叠，仅在较低技能水平上取得部分成功；相比之下，RDT和H-RDT展现出了更精细的操作能力。 杯子放置到杯垫上的任务（表2）中，H-RDT的完全成功率为64%，而RDT为28%，未使用人类数据训练的模型仅为20%。H-RDT的失败率最低，且部分成功的实例也更少， ---
Performance LevelRDTw/o humanH-RDT
0.0: Complete failure-7-
0.2: One fold single side-18-
0.5: One fold both sides3-3
0.7: Two fold incomplete12-9
1.0: Two fold complete10-13
Complete success rate40%0%52%
Table 1: Towel folding task results on Aloha-Agilex-2.0 platform with detailed performance breakdown.
Performance LevelRDTw/o humanH-RDT
0.0: Complete failure10146
0.4: Grasped, failed to place863
1.0: Successfully completed7516
Complete success rate28%20%64%
Table 2: Cup to coaster placement task results on Aloha-Agilex-2.0 platform with detailed performance breakdown.
这表明其在需要空间推理以选择合适手臂的任务中表现更为稳健。 总体而言，H-RDT在这两项双手任务中的平均成功率达到58%，而RDT为34%，未使用人类数据训练的模型仅为10%。这一结果证明了人类操作先验在应对各类协调挑战时的有效性，包括可变形物体操作和空间推理任务。 双臂ARX5小样本实验：为了全面验证人类操作先验的优势，我们设计了一项具有挑战性的真实世界实验，该实验结合了极高的任务多样性和数据稀缺性：使用双臂ARX5机器人系统完成113种不同类型的抓取放置任务，每个任务仅提供1-5次演示。这种多任务小样本设置旨在测试模型的样本利用效率极限，并凸显人类行为先验的价值。 EgoDex预训练数据集包含了大量类似于这些任务的抓取与放置操作模式，为如何执行此类操作提供了丰富的先验知识。即便在如此具有挑战性的条件下——连$\pi_{0}$等最先进的模型都难以很好地拟合有限的演示轨迹——H-RDT所依托的人类操作先验仍能带来显著的性能提升。H-RDT的平均成功率达到41.6%，而RDT仅为16.0%，$\pi_{0}$为31.2%，未引入人类先验的H-RDT更是只有17.6%。这一结果充分证明了在数据有限场景下，人类操作先验对于少样本学习的价值。 双UR5 + UMI实验 我们在一个双UR5机器人系统上评估H-RDT的性能，相关演示数据是通过通用操控接口（UMI）（Chi等人，2024年）采集的。UMI是一种数据采集框架，能够通过手持式夹爪实现便携且低成本的人类演示数据收集。 本次评估聚焦于双手取袋放置任务，该任务被拆解为四个连续的子任务：右手抓取、右手放置、左手抓取以及左手放置。 表4展示了不同方法下各子任务的成功率，每项评估均进行了25次试验。 在所有子任务中，H-RDT均表现出持续更优的性能：其平均成功率达到58.0%，而RDT为29.0%，$\pi_{0}$为31.0%，从零开始训练的方法仅为16.0%。具体来看，抓取操作的成功率分别为右手64%、左手60%，相比基线方法绝对提升了27%到42%；这一结果充分证明了人类操作先验在双手协调方面的价值。 ### RoboTwin 2.0上的仿真结果 单任务性能 我们在RoboTwin 2.0基准测试中的13个代表性操控任务上评估单任务性能。每个任务均在干净环境中基于50个演示数据进行训练，并在两种模式下进行评估：简单模式（与训练条件一致的干净桌面环境）和困难模式（包含光照变化、物体杂乱以及桌面高度差异等域随机化现象的极具挑战性环境）。所有任务的详细结果见附录中的表8。 H-RDT在简单模式下的平均成功率达到68.7%，困难模式下为25.6%，相比现有方法均有显著提升。无论是在简单模式还是困难模式下，H-RDT相比从零开始训练（无人类先验）的方法分别高出8.4%，这验证了人类操作预训练的有效性。 多任务性能 我们在RoboTwin 2.0的45个任务上开展多任务实验，训练数据约为2250个在域随机化条件下（困难模式数据）采集的演示样本。表5展示了在困难模式下选取的10个代表性任务的结果。 在多任务场景中，H-RDT的平均成功率达到87.2%，显著优于RDT（28.8%）、$\pi_{0}$（48.4%）以及未引入人类先验的H-RDT（67.2%）。H-RDT相比从零开始训练的方法有20.0%的绝对提升，这一数值远大于单任务场景下的提升幅度，说明当同时学习多种不同任务时，人类操作预训练能带来更大的优势。 为了进一步验证H-RDT的跨本体迁移能力，我们在仿真环境中针对两种不同的机器人本体开展了多任务实验。我们采用上述相同的实验设置，对Aloha-Agilex-1.0和Franka-Panda平台进行了评估。图3展示了这两个平台上的性能对比。 H-RDT在两种本体上均表现出优异的性能：在Aloha-Agilex-1.0上达到87.2%，在Franka-Panda上达到62.9%，其表现显著优于两种平台上的基线方法。附录中的表6给出了Franka-Panda平台的详细任务级结果。这种在不同机器人形态上的一致提升，验证了我们的模块化动作编码器设计具备跨本体泛化能力。 ---
Task CategoryRDT$\pi_{{0}}$w/o humanH-RDT
Pick yellow item to the plate12%16%28%40%
Place banana and carrot in basket24%40%8%44%
Stack two bowls together32%60%40%68%
Place cube in front of highest chips12%0%0%20%
Stack one can on top of the other can0%40%12%36%
Average16.0%31.2%17.6%41.6%
Table 3: Real-world few-shot learning results on manipulation tasks. Each task has 1-5 demonstrations for training. H-RDT demonstrates superior sample efficiency and real-world transfer capabilities.
SubtaskRDT$\pi_0$w/o humanH-RDT
Right hand pick36%40%20%64%
Right hand place32%28%16%56%
Left hand pick28%36%20%60%
Left hand place20%20%8%52%
Average29.0%31.0%16.0%58.0%
Table 4: Performance breakdown on dual UR5 + UMI take-out bag placement task showing success rates for individual subtasks.
TaskRDT$\pi_{{0}}$w/o humanH-RDT
Click Alarmclock30%69%69%94%
Click Bell13%40%77%98%
Dump Bin Bigbin22%33%58%89%
Grab Roller57%71%91%97%
Handover Mic81%97%93%99%
Move Playingcard3%23%44%67%
Open Laptop33%35%88%92%
Open Microwave19%46%32%82%
Press Stapler15%59%71%81%
Stack Bowls Three15%11%49%73%
Average28.8%48.4%67.2%87.2%
Table 5: Multi-task success rates (%) on RoboTwin 2.0 benchmark (Hard mode evaluation). Results show performance after multi-task training on 50 tasks with domain randomized data.
## 分析与讨论 人类预训练的影响：在所有实验设置中，H-RDT相较于未使用人类数据的基线模型均有稳定提升，这验证了我们的核心假设：人类操作数据能提供有价值的归纳偏置。这种优势在少样本真实世界场景中尤为明显，此时人类对物体可操作性和操作策略的认知至关重要。 环境鲁棒性：在RoboTwin 2.0的挑战性条件下，H-RDT同样表现出强劲的性能，尤其是在包含域随机化的困难模式下。该模型能够成功应对光照变化、物体杂乱以及桌面高度差异等环境变动，其表现始终优于基线方法。 样本效率：在少样本真实世界实验中，H-RDT仅需每个任务1-5次演示即可完成学习，其表现显著优于基线模型。这一结果凸显了人类行为先验在减少机器人学习数据需求方面的实用价值。 ![Image](images/ad3c0084eb7cbe7aaeee546f0ac6dd8257ccbf4500d92f9f2fdb6e0359703948.jpg)
Figure 3: Cross-embodiment multi-task performance on RoboTwin 2.0 tasks.
任务多样性与复杂性：真实世界实验表明，H-RDT能够应对各类操作挑战，包括可变形物体操作以及需要空间推理的任务，展现了其在不同操作复杂度下的通用性。 跨平台鲁棒性：我们在仿真和真实世界环境中开展的全面评估显示，H-RDT在多种机器人本体上均表现出稳定的性能，这些本体包括Aloha-Agilex-1.0、双臂Piper、双臂ARX5、双臂Franka-Panda以及双臂UR5+UMI平台。这种跨平台的一致性验证了我们的模块化架构设计和人机知识迁移方法的有效性。 ## 结论 本文提出了H-RDT这一创新方法，它利用带有3D手部姿态标注的大规模第一人称视角人类操作视频来提升机器人的操作能力。我们的核心贡献在于证明：丰富的操作知识可以从人类行为先验中学习，并适配到各类机器人操作任务中。 全面的评估结果显示，H-RDT相比现有最先进方法均有稳定提升，这验证了人类操作先验能为样本高效的机器人学习提供强大的归纳偏置。 --- ## 参考文献 Aldaco, J.; Armstrong, T.; Baruch, R.; Bingham, J.; Chan, S.; Draper, K.; Dwibedi, D.; Finn, C.; Florence, P.; Goodrich, S.; 等. 2024. Aloha 2：一种用于双臂遥操作的低成本改进型硬件。arXiv预印本arXiv:2405.02292。 Banerjee, P.; Shkodrani, S.; Moulon, P.; Hampali, S.; Han, S.; Zhang, F.; Zhang, L.; Fountain, J.; Miller, E.; Basol, S. 等. 2025. Hot3d：基于自中心多视角视频的手部与物体三维跟踪技术。载于计算机视觉与模式识别会议论文集，第7061–7071页。 Bao, F.; Nie, S.; Xue, K.; Cao, Y.; Li, C.; Su, H.; Zhu, J. 2023. 所有内容都值得被转化为文字：用于扩散模型的ViT骨干网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第22669–22679页。 Black, K.; Brown, N.; Driess, D.; Esmail, A.; Equi, M.; Finn, C.; Fusai, N.; Groom, L.; Hausman, K.; Ichter, B. 等. 2024. $\pi_{0}$：一种用于通用机器人控制的视觉-语言-动作流模型。arXiv预印本，arXiv:2410.24164。 Brohan, A.; Brown, N.; Carbajal, J.; Chebotar, Y.; Chen, X.; Choromanski, K.; Ding, T.; Driess, D.; Dubey, A.; Finn, C. 等. 2023. RT-2：将网络知识迁移到机器人控制的视觉-语言-动作模型。arXiv预印本，arXiv:2307.15818。 Bu, Q.; Cai, J.; Chen, L.; Cui, X.; Ding, Y.; Feng, S.; Gao, S.; He, X.; Hu, X.; Huang, X. 等. 2025. Agibot World Colosseo：一个用于可扩展且智能的具身系统的规模化操作平台。arXiv预印本，arXiv:2503.06669。 Chen, T.; Chen, Z.; Chen, B.; Cai, Z.; Liu, Y.; Liang, Q.; Li, Z.; Lin, X.; Ge, Y.; Gu, Z. 等. 2025. RoboTwin 2.0：一个具备强大域随机化能力的可扩展数据生成器与基准测试平台，用于鲁棒的双臂机器人操作。arXiv预印本，arXiv:2506.18088。 Chi, C.; Xu, Z.; Feng, S.; Cousineau, E.; Du, Y.; Burchfiel, B.; Tedrake, R.; Song, S. 2023. 扩散策略：通过动作扩散实现视觉-运动策略学习。《国际机器人研究杂志》，02783649241273668。 Chi, C.; Xu, Z.; Pan, C.; Cousineau, E.; Burchfiel, B.; Feng, S.; Tedrake, R.; Song, S. 2024. 通用操作接口：无需真实机器人即可实现的野外机器人教学。arXiv预印本，arXiv:2402.10329。 Damen, D.; Doughty, H.; Farinella, G. M.; Fidler, S.; Furnari, A.; Kazakos, E.; Moltisanti, D.; Munro, J.; Perrett, T.; Price, W. 等. 2018. 扩展自中心视觉：EPIC-Kitchens数据集。载于欧洲计算机视觉会议（ECCV）论文集，第720–736页。 Esser, P.; Kulal, S.; Blattmann, A.; Entezari, R.; Müller, J.; Saini, H.; Levi, Y.; Lorenz, D.; Sauer, A.; Boesel, F. 等. 2024. 扩展修正流变换器以实现高分辨率图像合成。载于第四十一届国际机器学习会议。 Fang, H.-S.; Fang, H.; Tang, Z.; Liu, J.; Wang, C.; Wang, J.; Zhu, H.; Lu, C. 2023. RH20T：一个用于一次性学习多种技能的综合性机器人数据集。arXiv预印本，arXiv:2307.00595。 Grauman, K.; Westbury, A.; Byrne, E.; Chavis, Z.; Furnari, A.; Girdhar, R.; Hamburger, J.; Jiang, H.; Liu, M.; Liu, X. 等. 2022. Ego4D：基于3000小时自中心视频的全球场景记录。载于IEEE/CVF计算机视觉与模式识别会议论文集，第18995–19012页。 Grauman, K.; Westbury, A.; Torresani, L.; Kitani, K.; Malik, J.; Afouras, T.; Ashutosh, K.; Baiyya, V.; Bansal, S.; Boote, B. 等. 2024. Ego-Exo4D：从第一人称与第三人称视角理解熟练人类活动。载于IEEE/CVF计算机视觉与模式识别会议论文集，第19383–19400页。 霍克, R.; 黄, P.; 尹, D. J.; 西瓦普拉普, M.; 张, J. 2025. EgoDex：从大规模自我中心视频中学习灵巧操作。arXiv预印本arXiv:2505.11709。 英特利吉斯, P.; 布莱克, K.; 布朗, N.; 达尔皮尼安, J.; 达巴利亚, K.; 德里斯, D.; 伊斯梅尔, A.; 埃基, M.; 芬恩, C.; 富赛, N.; 等. 2025. $\pi_{0.5}$：一种具备开放世界泛化能力的视觉-语言-动作模型。arXiv预印本arXiv:2504.16054。 卡里尔, S.; 帕特尔, D.; 普纳米亚, R.; 马图尔, P.; 程, S.; 王, C.; 霍夫曼, J.; 徐, D. 2024. Egomimic：通过自我中心视频扩展模仿学习。arXiv预印本arXiv:2410.24221。 哈扎茨基, A.; 佩尔奇, K.; 奈尔, S.; 巴拉克里希纳, A.; 达萨里, S.; 卡拉姆切蒂, S.; 纳西里亚尼, S.; 斯里拉玛, M. K.; 陈, L. Y.; 埃利斯, K.; 等. 2024. Droid：一个大规模的野外机器人操作数据集。arXiv预印本arXiv:2403.12945。 金, M. J.; 佩尔奇, K.; 卡拉姆切蒂, S.; 肖, T.; 巴拉克里希纳, A.; 奈尔, S.; 拉法约夫, R.; 福斯特, E.; 林, G.; 桑凯蒂, P.; 等. 2024. OpenVLA：一种开源的视觉-语言-动作模型。arXiv预印本arXiv:2406.09246。 李, Z.; 王, J.; 陈, H.; 刘, M.; 等. 2025. H2R：利用数据增强进行人-机器人模仿学习。arXiv预印本arXiv:2501.xxxx。 利普曼, Y.; 陈, R. T.; 本-哈穆, H.; 尼克尔, M.; 黎, M. 2022. 用于生成式建模的流匹配技术。arXiv预印本arXiv:2210.02747。 刘, J.; 陈, H.; 安, P.; 刘, Z.; 张, R.; 顾, C.; 李, X.; 郭, Z.; 陈, S.; 刘, M.; 等. 2025. HybridVLA：在统一的视觉-语言-动作模型中协同使用扩散模型与自回归模型。arXiv预印本arXiv:2503.10631。 刘, Q. 2022. 修正流：一种保持边际的最优传输方法。arXiv预印本arXiv:2209.14577。 刘, S.; 吴, L.; 李, B.; 谭, H.; 陈, H.; 王, Z.; 徐, K.; 苏, H.; 朱, J. 2024. RDT-1B：一种用于双臂操作的扩散基础模型。arXiv预印本arXiv:2410.07864。 刘, Y.; 刘, Y.; 蒋, C.; 吕, K.; 万, W.; 沈, H.; 梁, B.; 傅, Z.; 王, H.; 易, L. 2022. HOI4D：一个用于类别级人机交互的4D自我中心数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集，第21013–21022页。 --- 奥夸布, M.; 达尔塞, T.; 穆塔卡尼, T.; 沃, H.; 萨夫拉涅茨, M.; 哈立德夫, V.; 费尔南德斯, P.; 哈齐扎, D.; 马萨, F.; 埃尔-努比, A.; 等. 2023. DINOv2：无需监督即可学习鲁棒的视觉特征。arXiv预印本arXiv:2304.07193。 奥尼尔, A.; 雷曼, A.; 马杜库里, A.; 古普塔, A.; 帕达尔卡尔, A.; 李, A.; 普利, A.; 古普塔, A.; 曼德尔卡尔, A.; 贾恩, A.; 等. 2024. Open X-Embodiment：机器人学习数据集与RT-X模型：Open X-Embodiment合作项目0。载于2024年IEEE国际机器人与自动化会议（ICRA），第6892–6903页。IEEE出版社。 皮布尔斯, W.; 谢, S. 2023. 基于Transformer的可扩展扩散模型。载于IEEE/CVF国际计算机视觉会议论文集，第4195–4205页。 邱, R.-Z.; 杨, S.; 程, X.; 乔拉, C.; 李, J.; 何, T.; 严, G.; 尹, D. J.; 霍克, R.; 保尔森, L.; 等. 2025. Humanoid Policy~ Human Policy。arXiv预印本arXiv:2503.13441。 拉费尔, C.; 沙泽尔, N.; 罗伯茨, A.; 李, K.; 纳朗, S.; 马特纳, M.; 周, Y.; 李, W.; 刘, P. J. 2020. 探索基于统一文本到文本变换器的迁移学习极限。《机器学习研究杂志》，21(140)：1–67。 团队：O. M.、Ghosh, D.、Walke, H.、Pertsch, K.、Black, K.、Mees, O.、Dasari, S.、Hejna, J.、Kreiman, T.、Xu, C.等。2024年。Octo：一种开源通用机器人策略。arXiv预印本arXiv:2405.12213。 Touvron, H.、Lavril, T.、Izacard, G.、Martinet, X.、Lachaux, M.-A.、Lacroix, T.、Rozière, B.、Goyal, N.、Hambro, E.、Azhar, F.等。2023年。Llama：开放且高效的基础语言模型。arXiv预印本arXiv:2302.13971。 Wang, C.、Shi, H.、Wang, W.、Zhang, R.、Fei-Fei, L.和Liu, C. K.。2024年。Dexcap：用于灵巧操控的可扩展且便携的动作捕捉数据收集系统。arXiv预印本arXiv:2403.07788。 Wen, C.、Lin, X.、Wei, J. S.、Chen, K.和Gao, Y.。2024年。Any-point轨迹建模用于策略学习。arXiv预印本arXiv:2401.00025。 Wen, J.、Zhu, Y.、Li, J.、Tang, Z.、Shen, C.和Feng, F.。2025a。DexVLA：用于通用机器人控制的带插件式扩散专家的视觉-语言模型。arXiv预印本arXiv:2502.05855。 Wen, J.、Zhu, Y.、Li, J.、Zhu, M.、Tang, Z.、Wu, K.、Xu, Z.、Liu, N.、Cheng, R.、Shen, C.等。2025b。Tinyvla：面向机器人操控的快速且数据高效的视觉-语言-动作模型。IEEE机器人与自动化快报。 Wu, K.、Hou, C.、Liu, J.、Che, Z.、Ju, X.、Yang, Z.、Li, M.、Zhao, Y.、Xu, Z.、Yang, G.等。2024年。Robomind：用于机器人操控的多本体智能规范数据基准测试。arXiv预印本arXiv:2412.13877。 Xie, S.、Cao, H.、Weng, Z.、Xing, Z.、Shen, S.、Leng, J.、Qiu, X.、Fu, Y.、Wu, Z.和Jiang, Y.-G.。2025年。Human2Robot：从配对的人机视频中学习机器人动作。arXiv预印本arXiv:2502.16587。 Xu, M.、Zhang, H.、Hou, Y.、Xu, Z.、Fan, L.、Veloso, M.和Song, S.。2025年。DexUMI：将人手用作灵巧操控的通用操控接口。arXiv预印本arXiv:2505.21864。 Xu, M.、Zhang, Z.、Chi, C.和Song, S.。2024年。Flow作为跨域操控接口。arXiv预印本arXiv:2407.15208。 Ze, Y.、Zhang, G.、Zhang, K.、Hu, C.、Wang, M.和Xu, H.。2024年。3D扩散策略。arXiv电子预印本，arXiv–2403。 Zhai, X.、Mustafa, B.、Kolesnikov, A.和Beyer, L.。2023年。用于语言图像预训练的Sigmoid损失函数。arXiv预印本arXiv:2303.15343。 Zhao, Q.、Lu, Y.、Kim, M. J.、Fu, Z.、Zhang, Z.、Wu, Y.、Li, Z.、Ma, Q.、Han, S.、Finn, C.等。2025年。Cot-vla：用于视觉-语言-动作模型的视觉思维链推理。载于计算机视觉与模式识别会议论文集，第1702–1713页。 Zhao, T. Z.、Kumar, V.、Levine, S.和Finn, C.。2023年。利用低成本硬件学习精细的双臂操控。arXiv预印本arXiv:2304.13705。 Zhen, H.、Qiu, X.、Chen, P.、Yang, J.、Yan, X.、Du, Y.、Hong, Y.和Gan, C.。2024年。3D-VLA：一种3D视觉-语言-动作生成式世界模型。arXiv预印本arXiv:2403.09631。