# 人形机器人策略 $\sim$ 人类策略
Ri-Zhao Qiu $^{*1}$、Shiqi Yang $^{*1}$、Xuxin Cheng $^{*1}$、Chaitanya Chawla $^{*2}$、Jialong Li $^{1}$、Tairan He $^{2}$、Ge Yan $^{4}$、David Yoon $^{3}$、Ryan Hoque $^{3}$、Lars Paulsen $^{1}$、Ge Yang $^{5}$、Jian Zhang $^{3}$、Sha Yi $^{1}$、Guanya Shi $^{2}$、Xiaolong Wang $^{1}$、$^{1}$加州大学圣地亚哥分校、$^{2}$卡内基梅隆大学、$^{3}$苹果公司、$^{4}$华盛顿大学、$^{5}$麻省理工学院
图1：本文主张将高质量的人类数据作为跨本体学习的数据源——面向任务的以人为中心的动作数据。我们收集了一个大规模数据集，即物理人形机器人数据（PH²D），其中包含来自消费级VR设备的手部三维姿态信息，这些数据针对与机器人直接对齐的明确操作任务。无需依赖模块化感知系统，我们便能通过端到端方式直接将人类建模为另一种人形本体，从而训练出人类动作Transformer（HAT）操作策略。
摘要：利用多样化数据训练人形机器人的操作策略，能够提升其在不同任务和平台上的鲁棒性与泛化能力。然而，仅依靠机器人演示数据进行学习需要耗费大量人力，且需要昂贵的遥操作数据采集过程，难以规模化推广。本文探索了一种更具可扩展性的数据源——以人为中心的演示数据，将其作为机器人学习的跨本体训练数据。我们从数据与建模两个层面缩小人形机器人与人类之间的本体差异。我们收集了一套以人为中心的任务导向型数据集（PH²D），该数据集与人形机器人操作演示直接对齐。随后我们训练出一种人类-人形机器人行为策略，将其命名为人类动作Transformer（HAT）。HAT的状态-动作空间对人类和人形机器人而言是统一的，且可被微分地映射到机器人动作上。通过与小规模的机器人数据共同训练，HAT无需额外监督即可直接将人形机器人和人类建模为不同的本体。实验表明，人类数据能显著提升HAT的泛化能力与鲁棒性，同时大幅提高数据采集效率。
关键词：机器人操作、跨本体、人形机器人
## 1 引言
近年来，从真实机器人演示中学习的方法在机器人操作领域取得了巨大进展 [^1] [^2] [^3] [^4]。推动这一进展的关键突破之一是软硬件协同设计，通过遥操作技术实现数据采集的规模化 [^5] [^6] [^7] [^8] [^9] [^10]，并直接控制
---
机器人末端执行器 [^11] [^12] [^5] [^6] [^13] [^7]。人们并未局限于在单台机器人上采集数据，而是共同努力整合多样化的机器人数据，训练跨本体的基础策略 [^11] [^14] [^2] [^1] [^3] [^4]，实践表明这类策略能提升跨本体和跨任务的泛化能力。
不过，收集结构化的真实机器人数据既昂贵又耗时。我们距离构建出像计算机视觉[^17]和自然语言处理[^18]领域那样鲁棒且具备泛化能力的模型还有很长的路要走。若仔细观察人形机器人的遥操作过程，会发现其本质是让机器人模仿人类动作。
| Dataset | Human | Robot |
| # Frames | # Demos | # Frames | # Demos |
| DexCap [^15] | ~378k | 787 | NA | NA |
| EgoMimic [^16] | ~432k $^{\dagger}$ | 2,150 | 1.29M $^{\dagger}$ | 1,000 |
| PH $^{2}$D (Ours) | ~3.02M | 26,824 | ~668k | 1,552 |
Table 1: Comparisons of task-oriented egocentric human datasets. Besides having the most demonstrations, PH²D is collected on various manipulation tasks, diverse objects and scenes, with accurate 3D hand-finger poses and language annotations.†: estimated based on reported data collection time with 30 Hz; whereas DexCap [^15] and PH²D report processed frames for training.
这种模仿是通过几何变换或重定位技术来控制机器人的关节和末端执行器。基于这一视角，我们提出以人类为中心的表征方式来建模机器人，机器人动作与人类动作之间仅存在一步转换关系。如果我们能精准捕捉人类的末端执行器和头部姿态，那么以自我为中心的演示数据就能成为更具可扩展性的训练数据源——因为这类数据可以在任何地点高效收集，且无需借助机器人。
在本文中，我们针对机器人操控任务开展了跨人类与人形机器人实体的训练。我们的核心思路是：直接模仿人类行为来建模双手法的人形机器人行为，无需借助可供性[^19] [^20]等学习代理。为实现这一目标，我们首先收集了一套以自我为中心、面向任务的物理人形-人类数据集，简称PH $^{2}$D。我们利用消费级VR设备来采集带有自动且精准的手部姿态及末端执行器（即手）标注的自我中心视频。与现有的人类日常行为数据集[^21] [^22]相比，PH $^{2}$D是面向任务的，因此可直接用于联合训练。随后，我们采用同样的VR硬件进行遥操作，收集规模更小的人形机器人数据以实现更好的对齐。接着，我们训练了人-人形机器人动作转换器（HAT），它能在统一的人类中心状态-动作表征空间中预测未来的手指轨迹。要获得机器人动作，我们只需应用逆运动学和手部重定位技术，即可将人类动作可微地转换为机器人动作以供部署使用。
我们在不同的操控任务上开展了真实机器人评估，并进行了大量的消融研究，旨在探究如何最有效地对齐人类演示与人形机器人演示。我们发现，利用多样化的人类数据进行联合训练，能够提升模型对空间差异和背景干扰的鲁棒性，使其能在机器人数据中未见但人类数据中存在的场景下依然表现良好。我们认为这些发现凸显了利用人类数据开展大规模跨实体学习的潜力。
总结而言，我们的贡献如下：
• 一套名为PH $^{2}$D的数据集，这是大型的、以自我为中心且面向任务的人类-人形机器人数据集，包含精准的手部和腕部姿态信息，可用于建模人类行为（详见表1）。
- 一种跨人类-人形机器人操控策略HAT，它引入了统一的状态-动作空间及其他对齐技术，用于人形机器人操控。
• 通过大量实验和消融研究验证了该策略的鲁棒性和泛化能力，证明了与人类数据联合训练所带来的优势。
## 2 相关工作
机器人操控的模仿学习。近年来，利用直接从多台目标机器人实体上收集的数据来学习机器人策略，展现出了令人瞩目的鲁棒性和灵巧性——
---
模仿学习的数据规模随着近期数据收集技术的进步而显著扩大[^23] [^2] [^24] [^1] [^25] [^26] [^9] [^27] [^28]。如今，人类操作员能够高效收集大量高质量、面向任务的数据[^29] [^9] [^7] [^8]。尽管有这些进展，由于缺乏互联网规模级的训练数据，实现开放世界的泛化仍是一项重大挑战。
从人类视频中学习。由于人类数据的海量存在，从人类视频中学习策略一直是计算机视觉和机器人领域的热门课题。现有研究大致可分为两类：观察对齐或动作对齐。
从人类学习——观察对齐。虽然通过遥操作实际机器人平台可以学习到灵活性极高的策略，但要在不同任务、环境和平台上实现更高水平的泛化，还有很长的路要走。与受益于互联网规模级数据的计算机视觉[^17]和自然语言处理[^18]等领域不同，现实世界中的机器人数据收集受到的限制要大得多。多种方法试图利用互联网规模级的人类视频来训练机器人策略[^30] [^31] [^32] [^33] [^34] [^35]。由于以自我为中心的机器人视角与互联网视频之间存在各种差异（如监督方式和视角不同），大多数现有研究[^19] [^20]采用模块化方法，利用中间表示作为训练的替代物。最具代表性的包括用于物体交互的可供性[^19] [^20]、物体关键点预测[^36] [^37] [^38] [^39] [^40]，或其他类型的物体表示[^41] [^42] [^43]。
从人类学习——动作对齐。除了观察对齐外，将人类演示转移到机器人平台还会因身体结构、驱动方式和控制动态的差异而产生额外挑战。要克服这些差异，就需要对人和机器人的动作进行特定对齐。相关方法包括在以自我为中心的视角中应用掩码[^16]、对齐运动轨迹或流[^44] [^45]、基于物体的动作[^46] [^47]，或借助专用硬件进行手部追踪[^15]。与我们工作最密切相关的是HumanPlus[^48]，它设计了一种从3D人体姿态估计到类人机器人遥操作的重映射方法。与HumanPlus相比，我们方法的创新点在于无需依赖机器人硬件来收集人类数据，可直接收集多样化的人类数据进行联合训练。与HumanPlus不同，我们有意避免对人类演示进行重定位，并设计了能直接使用人类手部姿态作为状态/动作的策略。另一方面，HumanPlus中的“人类影子”重定位是一种仍需依赖机器人的遥操作方法，其数据收集效率低于我们的方法。
跨本体学习。研究表明，跨本体预训练能够提升模型在不同本体上的适应性和泛化能力 [^49] [^50] [^51] [^52] [^53] [^54] [^55] [^56] [^57] [^58] [^59] [^60] [^61]。在使用人类视频数据时，引入中间表示容易引发复合误差。近期的研究尝试利用跨本体机器人数据来采用端到端方法 [^2] [^24] [^1] [^3]，以减少此类感知误差的累积。值得注意的是，这些研究发现这种端到端学习方式能够催生诸如重试等期望行为 [^3]。另一些研究 [^62] [^38] 则强制要求训练阶段的人类演示与测试阶段的机器人部署之间保持视角一致性，从而允许基于人类数据进行学习，但这种方式会牺牲数据收集过程的可扩展性。
同期相关研究。一些同期研究 [^15] [^16] [^63] 也试图利用第一人称视角的人类演示来进行端到端的跨本体策略学习。DexCap [^15] 通过手套配合胸部安装的RGBD摄像头来追踪三维手部姿态，从而采集第一人称视角的人类视频。不过，DexCap依赖三维输入，而一些近期研究 [^3] [^1] 已经证明了二维视觉输入的可扩展性。与我们工作最相关的是EgoMimic [^16]，它同样提议使用可穿戴设备 [^64] 来采集二维视觉输入数据。然而，EgoMimic要求严格的视觉传感器对齐；而我们则证明，利用不同摄像头采集的多样化观测数据能够提升策略的鲁棒性。此外，$PH^{2}D$ 在数据集规模和物体多样性方面也更胜一筹。我们还证明，我们的策略可以在无需严格视觉传感器和启发式规则约束的情况下部署于真实机器人上，这为可扩展的数据收集铺平了道路。
---
## 3 方法
为了收集更多用于训练泛化能力强的机器人策略的数据，近期研究探索了跨本体学习，使策略能够跨越不同的物理形态进行泛化 [^3] [^1] [^4] [^2] [^65] [^14]。本文提出将第一人称视角的人类操作演示作为可扩展的跨本体训练数据源。第3.1节介绍了我们利用消费级VR设备便捷地扩大人类数据收集规模、构建面向任务的第一人称视角人类演示数据集的方法。第3.2节则阐述了为对齐人类数据与机器人数据、以学习类人机器人操作策略而采用的各种处理域差异的技术。
### 3.1 PH $^{2}$D：面向任务的类人机器人-人类数据
尽管已有研究采集了第一人称视角的人类视频 [^16] [^22] [^21] [^15]，但这些研究要么（1）提供的演示主要针对非任务导向型技能（如舞蹈），且未提供用于模仿学习监督的世界坐标系下的三维头部和手部姿态估计 [^21] [^22]，要么（2）需要专门的硬件或机器人设备支持 [^15] [^16]。
为了解决这些问题，我们提出了PH $^{2}$D。PH $^{2}$D通过以下方式解决这两个问题：(1) 收集与机器人执行直接相关的面向任务的人类演示数据；(2) 利用经过精心设计的VR设备SDK（如图2所示）来提供监督；(3) 多样化任务类型、摄像头传感器，并减少全身运动，从而缩小视觉和行为方面的领域差异。
## 适配低成本商用设备随着姿态估计技术[^66]的发展，
Figure 2: Consumer-grade Devices for Data Collection. To avoid relying on specialized hardware for data collection to make our method scalable, we design our data collection process using consumer-grade VR devices.
在系统工程领域，现代移动设备能够提供精确的本地世界坐标系下的3D头部姿态跟踪和3D手部关键点跟踪[^9]，其稳定性足以支持机器人的实时遥操作[^9] [^13]。我们设计了相应的软硬件，以支持在不同设备上便捷地采集数据。不同的摄像头能提供更丰富的视觉多样性。
- Apple Vision Pro + 内置摄像头。我们开发了一款Vision OS应用程序，利用内置摄像头进行视觉观测，并通过Apple ARKit获取3D头部和手部姿态数据。
- Meta Quest 3 / Apple Vision Pro + ZED摄像头。我们基于OpenTelevision[^9]开发了网页应用程序，用于采集3D头部和手部姿态数据。我们还设计了3D打印支架，以便将ZED Mini立体摄像头安装在这些设备上。这种配置不仅成本低廉（<700美元），还能借助立体摄像头增加数据多样性。
数据采集流程：我们让操作人员佩戴VR设备，执行与机器人执行任务重叠的任务（如抓取和倾倒），从而收集面向任务的第一人称视角人类演示数据。针对每次演示，我们会提供语言指令（如“用右手抓取一罐零度可乐”），并按照最接近的时间戳同步本体感知输入和视觉输入数据。
动作领域差异：人类动作与遥操作机器人动作存在两个显著特点：(1) 人类的操控行为通常伴随无意识的全身运动；(2) 人类的灵巧性优于机器人，且完成任务的时间也远短于机器人。我们通过要求数据收集人员保持直立姿势来缩小第一个差异；对于第二个速度差异，我们在训练过程中对人类数据中的平移和旋转进行插值处理（相当于“放慢”动作节奏）。减速因子$\alpha_{slow}$是通过对人类和人形机器人的平均任务完成时间进行归一化得到的，经验数据显示该数值约为4。为保证一致性，我们在所有任务中均使用$\alpha_{slow} = 4$。
---
Figure 3: Overview of HAT. Human Action Transformer (HAT) learns a robot policy by modeling humans. During training, we sample a state-action pair from either human data or robot data. The images are encoded by a frozen DinoV2 encoder [^67]. The HAT model makes predictions in a human-centric action space using wrist 6 DoF poses and finger tips, which is retargeted to robot poses during real-robot deployment.
### 3.2 HAT：人类动作Transformer
HAT通过建模人类行为来学习跨实体的机器人策略。我们证明，通过重定位技术将双臂人形机器人和人类视为不同的实体，能够提升HAT的泛化能力和鲁棒性。
更具体地说，设$\mathcal{D}_{robot} = \{(\mathbf{S}_i, \mathbf{A}_i)\}_{i=1}^N$为通过遥操作从真实双臂人形机器人上采集的数据集[^9]，其中$\mathbf{S}_i$表示第i个演示中的本体感知和视觉观测状态，$\mathbf{A}_i$则表示对应的动作。采集到的$\mathrm{PH}^2\mathrm{D}$数据集$\mathcal{D}_{human} = \{(\tilde{\mathbf{S}}_i, \tilde{\mathbf{A}}_i)\}_{i=1}^M$被用于增强训练过程。需要注意的是，由于人类数据收集效率显著更高，因此假设$M \gg N$是合理的。
我们的目标是设计一种策略 $\pi: \mathbf{S} \to \mathbf{A}$，该策略能够根据机器人在时间 t 时的当前观测数据 $\mathbf{a}_t$ 来预测其未来的动作 $\mathbf{s}_t$。这里的未来动作 $\mathbf{a}_{t+1}$ 通常是指用于多步骤执行的一系列动作（此处对符号的使用略有变通）。我们采用基于Transformer架构的HAT模型来对 $\pi$ 进行建模，该模型能够预测动作序列 [^5]。模型的概览如图3所示。我们还会结合实验分析来探讨HAT的关键设计选择。
统一的状态-动作空间。双臂机器人和人类都拥有两个末端执行器。在我们的研究中，机器人还配备了可活动的2自由度颈部，能够旋转，这与人类进行操作时的自主头部运动类似。因此，我们为双臂机器人和人类设计了统一的状态-动作空间（即 (S, A) ≡ (S̃, Ã)）。具体来说，本体感知观测数据是一个54维向量（包括头部、左手腕和右手腕的6D旋转信息 [^68]；左右手腕以及10个指尖的x/y/z坐标）。在本研究中，由于我们的策略是在配备五指灵巧手的机器人上部署的（如图4所示），因此机器人手部的指尖与人类手部的指尖之间存在一一对应的映射关系。当然，也可以建立单射映射（例如将拇指与其他手指之间的距离映射到平行夹爪的距离）。
视觉领域差异。在利用人类/类人机器人数据进行协同训练时，存在两类领域差异：摄像头传感器和末端执行器外观。由于我们收集人类数据时使用的摄像头与机器人部署时所用摄像头不同，因此会产生色调等摄像头领域的差异。此外，人类和类人机器人的末端执行器外观也有所不同。不过，只要数据量足够大且多样性充足，我们发现并不一定要采用视觉伪影[^16]或生成式方法[^69]这类启发式处理方式来训练人机协作策略——颜色抖动和高斯模糊等基本图像增强手段就能起到有效的正则化作用。
---
| Meth. | H. Data | D. Norm | Passing | Horizontal Grasp | Vertical Grasp | Pouring | Ovr. Succ. |
| I.D. | O.O.D. | I.D. | O.O.D. | I.D. | O.O.D. | I.D. | O.O.D. | I.D. | O.O.D. |
| ACT | ✗ | NA | 19/20 | 36/60 | 8/10 | 7/30 | 7/20 | 15/70 | 8/10 | 1/10 | 42/60 | 59/170 |
| HAT | ✓ | ✗ | 17/20 | 51/60 | 9/10 | 11/30 | 14/20 | 30/70 | 5/10 | 5/10 | 45/60 | 97/170 |
| HAT | ✓ | ✓ | 20/20 | 52/60 | 8/10 | 12/30 | 13/20 | 29/70 | 8/10 | 8/10 | 49/60 | 101/170 |
| Type of Generalization | Background | Texture | Obj. Placement |
Table 2: Success rate of autonomous skill execution. Co-training with human data (H. Data) significantly improves the Out-Of-Distribution (O.O.D.) performance with nearly 100% relative improvement on all tasks on Humanoid A. We also ablate the design choice of using different normalizations (D. Norm) for different embodiments. We designate each task setting to investigate a single type of generalization. Detailed analysis of each type of generalization is presented in Sec. C.
训练。最终策略对人类的策略和机器人的策略均表示为$\pi : f_{\theta}(\cdot) \to \mathbf{A}$，其中$f_{\theta}$是由$\theta$参数化的基于Transformer的神经网络。最终的损失函数如下：
$$ \begin{array}{r}{\mathcal{L}=\ell_{1}(\pi(s_{i}),a_{i})+\lambda\cdot\ell_{1}(\pi(s_{i})_{\mathrm{E E F}},a_{i,\mathrm{E E F}}),}\end{array} $$
其中EEF是左右手腕平移向量的索引，而$\lambda = 2$是一个（不敏感的）超参数，用于平衡损失，以强调末端执行器位置的重要性，而非追求过于精确的指尖关键点。
## 4 实验
硬件平台。我们的实验在两个类人机器人上进行（如图4所示的类人机器人A和类人机器人B），它们配备了6自由度的Inspire灵巧手。类人机器人A是Unitree H1机器人，类人机器人B是采用不同机械臂配置的Unitree H1_2机器人。与人类类似，这两台机器人（1）都配备了可驱动的颈部[^9]，以便利用自我中心视角；（2）没有配备腕部摄像头。除非另有说明，大部分类人机器人数据的收集工作都是在类人机器人A上进行的。我们主要使用类人机器人B来测试跨类人机器人的泛化能力。
(a) Humanoid A
(b) Humanoid B
Figure 4: Hardware Illustration. Most robot data attributes to Humanoid A, a Unitree H1 robot. Humanoid B, a Unitree H1-2 robot with different arm motor configurations, is used to evaluate few-shot cross-humanoid transfer. Detailed comparisons in Sec. D
实现细节。我们采用基于Transformer的架构来预测未来的动作块[^5]，以此来实现策略架构。我们使用预训练的DinoV2 ViT-S模型[^67]作为视觉骨干网络。我们实现了两种变体：(1) ACT：使用动作块Transformer的基线实现[^5]，仅利用机器人数据训练。机器人状态以关节位置的形式表示。(2) HAT：架构与ACT相同，但状态编码器在统一的状态-动作空间中运行。除非另有说明，HAT会同时利用机器人和人类数据进行训练。针对每个任务，都会用大约250到400个机器人演示样本来训练一个检查点。
实验方案。我们在不同的物体集合中收集机器人和人类的演示数据。由于人类演示更容易获取，因此人类演示中的场景通常更加多样化，包括背景、物体类型、物体位置以及人与桌子的相对位置。
我们针对四种不同的灵巧操控任务进行了实验，并研究了分布内和分布外的场景。分布内（I.D.）场景用于测试所学技能，其背景和物体排列与真实机器人数据中呈现的训练演示大致相似。在分布外（O.O.D.）场景中，我们通过引入人类数据中有但机器人数据中不存在的新颖场景来测试模型的泛化能力和鲁棒性。图7展示了不同的操控任务以及我们为每个任务定义的分布外场景。
---
(a) Performance of Humanoid B co-trained with PH $^2$D on horizontal grasping. o1 is seen by Humanoid B. o2 and o3 seen in human data. o4 is unseen in all data.
(b) Co-training consistently outperforms isolated training as Humanoid B demonstrations increase, achieving good success rates even in low-data regimes.
Figure 5: Few-Shot Adaptation. Co-training consistently outperforms isolated training as Humanoid B demonstrations increase, achieving robust success rates even in low-data regimes.
### 4.1 主要评估
人类数据对I.D.测试的影响较小。从表2中可以看出，无论是否与人类数据共同训练，I.D.性能结果都相近。在I.D.场景中，我们严格匹配训练演示中的场景设置，包括背景、物体类型和物体摆放位置。因此，仅用少量Humanoid A数据训练的策略就能在该场景下表现良好。这一发现与近期的研究结果一致[^9] [^7]，即预训练的视觉基础模型[^17] [^67]能够提升模型对光照等外部干扰的鲁棒性。
人类数据能显著改善O.O.D.场景下的泛化能力。模仿学习中的一个常见挑战是过度拟合于分布内的任务场景。因此，对于机器人策略而言，能够超越有限单本体数据中看到的场景设置进行泛化至关重要。为了展示与人类数据共同训练如何减少这种过拟合现象，我们引入了O.O.D.任务场景来评估这种泛化能力。从表2中可以看出，共同训练大幅改善了O.O.D.场景下的表现，在机器人数据未见过的新场景中，性能提升了近100%。具体而言，我们发现人类数据在三个方面改善了泛化能力：背景、物体摆放和外观。为了分离出每个变量的影响，每项任务都专注于表2中所列的特定类型的泛化，详细分析见第C节。
### 4.2 跨异质躯体的小样本迁移
我们在一种不同的人形机器人平台（Humanoid B）上开展了少样本泛化实验，并将其与我们的主要平台Humanoid A进行对比。值得注意的是，Humanoid B的演示数据是在完全独立的环境中收集的，这带来了本体和环境上的差异。我们强调了该方法的两大优势：（1）能够将异构的人体相关数据源（人形机器人和人类）统一到一个可泛化的策略框架中；（2）能够以极少的数据需求快速适配新的本体。
实验1：跨本体协同训练的有效性 仅使用来自Humanoid B的20个演示样本，我们就训练了3种策略——分别基于（i）仅Humanoid B的数据、（ii）Humanoid B + Humanoid A的数据（跨本体）、以及（iii）Humanoid B + Humanoid A + 人类的数据（跨本体且融入人类先验知识）。如图5a所示，协同训练得到的策略（ii）和（iii）在所有任务设置上的表现都显著优于仅基于Humanoid B数据的基线模型，这证明了该方法具备跨本体传递潜在任务结构的能力。
实验2：少样本适配所需的演示数据量 我们进一步量化了实现少样本泛化所需的数据量关系。我们固定Humanoid A和人类数据集不变。
---
| Robot Only – 28/90 | Co-Trained – 35/90 |
| 0 | 0 | 0 | 1 | 2 | 0 |
| 6 | 8 | 2 | 7 | 8 | 6 |
| 4 | 6 | 2 | 2 | 5 | 4 |
Figure 6: Human data has better sampling efficiency. Per-grid vertical grasping successes out of 10 trials with models trained with robot-only data and mixed data. Red boxes indicate where training data is collected.
| Task | State Space | Action Speed | Success |
| Vertical Grasping | ✓ | ✗ | 1/10 |
| ✗ | ✓ | 0/10 |
| ✓ | ✓ | 4/10 |
Table 3: Importance of unifying policy inputs and outputs. We report the number of successes of vertical grasping objects in the upper-left block as illustrated in Fig. 8. Baselines use joint positions as state input or do not interpolate human motions.
针对水平抓取任务，我们在图5中展示了Humanoid B所需的演示数据量对比结果。协同训练模型（Humanoid B + A + 人类）在所有设置下的表现都始终优于仅在Humanoid B上训练的模型，尤其是在数据量极少的情况下表现更为突出。
### 4.3 消融实验
人类数据与人形机器人数据的采样效率。从概念上讲，收集人类数据成本更低，不仅因为采集速度更快，还因为可以在真实场景中进行采集；每次数据采集前的准备工作成本更低；同时也无需为每位操作者配备机器人，从而节省了硬件成本。
我们开展了额外实验来证明：即便在实验室环境中，人类数据在单位时间内的采样效率也更高。具体而言，我们针对垂直抓取任务开展了一项小规模实验。在两种设置下各分配20分钟时间，我们分别收集了（1）60个Humanoid A的演示样本、（2）30个Humanoid A的演示样本以及120个人类演示样本。为了避免混淆数据多样性与数据规模的影响，所有演示样本中的物体放置位置都$\underline{\text{evenly distributed}}$在底部6个单元格内。结果如图6所示：用混合机器人与人类数据训练的策略表现明显更优，这验证了人类数据相较于机器人数据的采样效率优势。每个单元格代表一个$10cm \times 10cm$区域，机器人会在该区域内尝试拾取盒子。
状态-动作设计。在表3中，我们对本体感知状态空间的设计以及输出动作的速度选择进行了消融分析。具体来说，使用同一组机器人与人类数据，我们设置了两个基线模型：1）采用统一的状态-动作空间，但不对人类的动作进行插值处理（即不减慢动作速度）；2）对人类的动作进行插值处理，但为人形机器人（关节位置）和人类（末端执行器表征）采用不同的状态表示。在这两个基线模型的运行过程中，策略表现出了不同的失效模式。如果不对人类的动作进行插值处理，预测出的动作速度会在“类似人类的速度”和“类似遥操作的速度”之间波动，从而导致稳定性不足。如果没有统一的状态空间，策略就会获得区分不同本体的“捷径”，这会导致其在分布内性能持平，但分布外性能却显著变差。
更多消融研究。由于篇幅限制，更多定性可视化和定量消融研究请参阅附录和补充材料。
## 5 结论
本文提出了PH²D，旨在构建大规模的人类任务导向行为数据集，同时提出了训练流程HAT。HAT利用PH²D和机器人数据，展示了如何将人类视为跨具身学习的数据源。我们证明：当人类数据与机器人数据对齐时，可以直接用混合的人形机器人数据训练模仿学习模型，而无需任何训练代理。与仅使用真实机器人数据训练的模型相比，所学策略表现出更好的泛化能力和鲁棒性。
---
## 6 局限性
尽管我们在PH $^{2}$D中也收集了语言指令，但由于我们的重点是探究人类与人形机器人之间的具身差异，当前版本论文的一个局限性在于所采用的策略学习架构相对简单。在不久的将来，我们计划扩展策略学习过程，训练大型语言条件化的跨具身策略，以利用人类演示来探究对新语言的泛化能力。人类数据的采集依赖于现成的VR硬件及其手部追踪SDK。由于这些SDK主要为VR应用而训练，对于某些遮挡严重的动作，手部关键点追踪可能会失败。此外，虽然所提出的方法在概念上可扩展到更多机器人形态，但当前的评估是在配备灵巧手的机器人上进行的。
## 7 致谢
本研究部分得到了NSF CAREER奖IIS-2240014、NSF CCF-2112665（TI-LOS）以及亚马逊、Meta和苹果公司的资助。
---
## 参考文献
[^1]: S. Liu, L. Wu, B. Li, H. Tan, H. Chen, Z. Wang, K. Xu, H. Su, and J. Zhu. Rdt-1b: a diffusion foundation model for bimanual manipulation. arXiv preprint arXiv:2410.07864, 2024.
[^2]: Octo Model Team, D. Ghosh, H. Walke, K. Pertsch, K. Black, O. Mees, S. Dasari, J. Hejna, C. Xu, J. Luo, T. Kreiman, Y. Tan, L. Y. Chen, P. Sanketi, Q. Vuong, T. Xiao, D. Sadigh, C. Finn, and S. Levine. Octo: An open-source generalist robot policy. In Proceedings of Robotics: Science and Systems, 2024.
[^3]: K. Black, N. Brown, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, L. Groom, K. Hausman, B. Ichter, et al. $\pi_{0}$: A vision-language-action flow model for general robot control. arXiv preprint arXiv:2410.24164, 2024.
[^4]: S. Dasari, O. Mees, S. Zhao, M. K. Srirama, and S. Levine. The ingredients for robotic diffusion transformers. arXiv preprint arXiv:2410.10088, 2024.
[^5]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023.
[^6]: Z. Fu, T. Z. Zhao, and C. Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024.
[^7]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024.
[^8]: S. Yang, M. Liu, Y. Qin, R. Ding, J. Li, X. Cheng, R. Yang, S. Yi, and X. Wang. Ace: A cross-platform visual-exoskeletons system for low-cost dexterous teleoperation. arXiv preprint arXiv:2408.11805, 2024.
[^9]: X. Cheng, J. Li, S. Yang, G. Yang, and X. Wang. Open-television: Teleoperation with immersive active visual feedback. In Conference on Robot Learning (CoRL), 2024.
[^10]: T. He, Z. Luo, X. He, W. Xiao, C. Zhang, W. Zhang, K. Kitani, C. Liu, and G. Shi. Omnih2o: Universal and dexterous human-to-humanoid whole-body teleoperation and learning. arXiv preprint arXiv:2406.08858, 2024.
[^11]: S. Dasari, F. Ebert, S. Tian, S. Nair, B. Bucher, K. Schmeckpeper, S. Singh, S. Levine, and C. Finn. Robonet: Large-scale multi-robot learning. arXiv preprint arXiv:1910.11215, 2019.
[^12]: H. Bharadhwaj, J. Vakil, M. Sharma, A. Gupta, S. Tulsiani, and V. Kumar. Roboagent: Generalization and efficiency in robot manipulation via semantic augmentations and action chunking. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 4788–4795. IEEE, 2024.
[^13]: H. Ha, Y. Gao, Z. Fu, J. Tan, and S. Song. Umi on legs: Making manipulation policies mobile with manipulation-centric whole-body controllers. arXiv preprint arXiv:2407.10353, 2024.
[^14]: A. O'Neill, A. Rehman, A. Gupta, A. Maddukuri, A. Gupta, A. Padalkar, A. Lee, A. Pooley, A. Gupta, A. Mandlekar, et al. Open x-embodiment: Robotic learning datasets and rt-x models. arXiv preprint arXiv:2310.08864, 2023.
[^15]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024.
## [^16]: S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu. Egomimic: Scaling imitation learning via egocentric video. arXiv preprint arXiv:2410.24221, 2024. URL
---
[^17]: A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark, et al. Learning transferable visual models from natural language supervision. In ICML. PMLR, 2021.
[^18]: OpenAI. Gpt-4 technical report. Technical report, OpenAI, 2023.
[^19]: R. Mendonca, S. Bahl, and D. Pathak. Structured world models from human videos. In RSS, 2023.
[^20]: S. Bahl, R. Mendonca, L. Chen, U. Jain, and D. Pathak. Affordances from human videos as a versatile representation for robotics. In CVPR, 2023.
[^21]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In CVPR, 2022.
[^22]: D. Damen, H. Doughty, G. M. Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, T. Perrett, W. Price, and M. Wray. Scaling egocentric vision: The epic-kitchens dataset. In ECCV, 2018.
[^23]: T. Z. Zhao, J. Tompson, D. Driess, P. Florence, K. Ghasemipour, C. Finn, and A. Wahid. Aloha unleashed: A simple recipe for robot dexterity. arXiv preprint arXiv:2410.13126, 2024.
[^24]: L. Wang, X. Chen, J. Zhao, and K. He. Scaling proprioceptive-visual learning with heterogeneous pre-trained transformers. arXiv preprint arXiv:2409.20537, 2024.
[^25]: C. Chi, Z. Xu, S. Feng, E. Cousineau, Y. Du, B. Burchfiel, R. Tedrake, and S. Song. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, page 02783649241273668, 2023.
[^26]: R.-Z. Qiu, Y. Song, X. Peng, S. A. Suryadevara, G. Yang, M. Liu, M. Ji, C. Jia, R. Yang, X. Zou, et al. Wildlma: Long horizon loco-manipulation in the wild. arXiv preprint arXiv:2411.15131, 2024.
[^27]: C. Lu, X. Cheng, J. Li, S. Yang, M. Ji, C. Yuan, G. Yang, S. Yi, and X. Wang. Mobile-television: Predictive motion priors for humanoid whole-body control. In ICRA, 2025.
[^28]: Y. Ze, Z. Chen, W. Wang, T. Chen, X. He, Y. Yuan, X. B. Peng, and J. Wu. Generalizable humanoid manipulation with improved 3d diffusion policies. arXiv preprint arXiv:2410.10803, 2024.
[^29]: S. P. Arunachalam, S. Silwal, B. Evans, and L. Pinto. Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5954–5961. IEEE, 2023.
[^30]: A. S. Chen, S. Nair, and C. Finn. Learning generalizable robotic reward functions from "in-the-wild" human videos. arXiv preprint arXiv:2103.16817, 2021.
[^31]: J. Lee and M. S. Ryoo. Learning robot activities from first-person human videos using convolutional future regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 1–2, 2017.
[^32]: K. Lee, Y. Su, T.-K. Kim, and Y. Demiris. A syntactic approach to robot imitation learning using probabilistic activity grammars. Robotics and Autonomous Systems, 61(12):1323–1334, 2013.
## [^33]: A. Nguyen, D. Kanoulas, L. Muratore, D. G. Caldwell, and N. G. Tsagarakis. Translating videos to commands for robotic manipulation with deep recurrent neural networks. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 3782–3788. IEEE, 2018
---
[^34]: J. Rothfuss, F. Ferreira, E. E. Aksoy, Y. Zhou, and T. Asfour. Deep episodic memory: Encoding, recalling, and predicting episodic experiences for robot action execution. IEEE Robotics and Automation Letters, 3(4):4007–4014, 2018.
[^35]: Y. Yang, Y. Li, C. Fermuller, and Y. Aloimonos. Robot learning manipulation action plans by" watching" unconstrained videos from the world wide web. In Proceedings of the AAAI conference on artificial intelligence, volume 29, 2015.
[^36]: H. Bharadhwaj, R. Mottaghi, A. Gupta, and S. Tulsiani. Track2act: Predicting point tracks from internet videos enables diverse zero-shot robot manipulation. In ECCV, 2024.
[^37]: C. Wen, X. Lin, J. So, K. Chen, Q. Dou, Y. Gao, and P. Abbeel. Any-point trajectory modeling for policy learning. arXiv preprint arXiv:2401.00025, 2023.
[^38]: J. Li, Y. Zhu, Y. Xie, Z. Jiang, M. Seo, G. Pavlakos, and Y. Zhu. Okami: Teaching humanoid robots manipulation skills through single video imitation. arXiv preprint arXiv:2410.11792, 2024.
[^39]: N. Das, S. Bechtle, T. Davchev, D. Jayaraman, A. Rai, and F. Meier. Model-based inverse reinforcement learning from visual demonstrations. In Conference on Robot Learning, pages 1930–1942. PMLR, 2021.
[^40]: H. Xiong, Q. Li, Y.-C. Chen, H. Bharadhwaj, S. Sinha, and A. Garg. Learning by watching: Physical imitation of manipulation skills from human videos. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 7827–7834. IEEE, 2021.
[^41]: S. Pirk, M. Khansari, Y. Bai, C. Lynch, and P. Sermanet. Online object representations with contrastive learning. arXiv preprint arXiv:1906.04312, 2019.
[^42]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta. R3m: A universal visual representation for robot manipulation. arXiv preprint arXiv:2203.12601, 2022.
[^43]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang. VIP: Towards universal visual reward and representation via value-implicit pre-training. arXiv preprint arXiv:2210.00030, 2022.
[^44]: L.-H. Lin, Y. Cui, A. Xie, T. Hua, and D. Sadigh. Flowretrieval: Flow-guided data retrieval for few-shot imitation learning. arXiv preprint arXiv:2408.16944, 2024.
[^45]: J. Ren, P. Sundaresan, D. Sadigh, S. Choudhury, and J. Bohg. Motion tracks: A unified representation for human-robot transfer in few-shot imitation learning. arXiv preprint arXiv:2501.06994, 2025.
[^46]: Y. Zhu, A. Lim, P. Stone, and Y. Zhu. Vision-based manipulation from single human video with open-world object graphs. arXiv preprint arXiv:2405.20321, 2024.
[^47]: C.-C. Hsu, B. Wen, J. Xu, Y. Narang, X. Wang, Y. Zhu, J. Biswas, and S. Birchfield. Spot: See (3) pose trajectory diffusion for object-centric manipulation. arXiv preprint arXiv:2411.00965, 2024.
[^48]: Z. Fu, Q. Zhao, Q. Wu, G. Wetzstein, and C. Finn. Humanplus: Humanoid shadowing and imitation from humans. In CoRL, 2024.
[^49]: W. Huang, I. Mordatch, and D. Pathak. One policy to control them all: Shared modular policies for agent-agnostic control. In International Conference on Machine Learning, pages 4455–4464. PMLR, 2020.
## [^50]: L. Y. Chen, K. Hari, K. Dharmarajan, C. Xu, Q. Vuong, and K. Goldberg. Mirage: Cross-embodiment zero-shot policy transfer with cross-painting. arXiv preprint arXiv:2402.19249, 2024
---
[^51]: J. Yang, C. Glossop, A. Bhorkar, D. Shah, Q. Vuong, C. Finn, D. Sadigh, and S. Levine. Pushing the limits of cross-embodiment learning for manipulation and navigation. arXiv preprint arXiv:2402.19432, 2024.
[^52]: J. Yang, D. Sadigh, and C. Finn. Polybot: Training one policy across robots while embracing variability. arXiv preprint arXiv:2307.03719, 2023.
[^53]: F. Ebert, Y. Yang, K. Schmeckpeper, B. Bucher, G. Georgakis, K. Daniilidis, C. Finn, and S. Levine. Bridge data: Boosting generalization of robotic skills with cross-domain datasets. arXiv preprint arXiv:2109.13396, 2021.
[^54]: T. Franzmeyer, P. Torr, and J. F. Henriques. Learn what matters: cross-domain imitation learning with task-relevant embeddings. Advances in Neural Information Processing Systems, 35: 26283–26294, 2022.
[^55]: A. Ghadirzadeh, X. Chen, P. Poklukar, C. Finn, M. Björkman, and D. Kragic. Bayesian meta-learning for few-shot policy adaptation across robotic platforms. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1274–1280. IEEE, 2021.
[^56]: T. Shankar, Y. Lin, A. Rajeswaran, V. Kumar, S. Anderson, and J. Oh. Translating robot skills: Learning unsupervised skill correspondences across robots. In International Conference on Machine Learning, pages 19626–19644. PMLR, 2022.
[^57]: M. Xu, Z. Xu, C. Chi, M. Veloso, and S. Song. Xskill: Cross embodiment skill discovery. In Conference on Robot Learning, pages 3536–3555. PMLR, 2023.
[^58]: Z.-H. Yin, L. Sun, H. Ma, M. Tomizuka, and W.-J. Li. Cross domain robot imitation with invariant representation. In 2022 International Conference on Robotics and Automation (ICRA), pages 455–461. IEEE, 2022.
[^59]: K. Zakka, A. Zeng, P. Florence, J. Tompson, J. Bohg, and D. Dwibedi. Xirl: Cross-embodiment inverse reinforcement learning. In Conference on Robot Learning, pages 537–546. PMLR, 2022.
[^60]: G. Zhang, L. Zhong, Y. Lee, and J. J. Lim. Policy transfer across visual and dynamics domain gaps via iterative grounding. arXiv preprint arXiv:2107.00339, 2021.
[^61]: Q. Zhang, T. Xiao, A. A. Efros, L. Pinto, and X. Wang. Learning cross-domain correspondence for control with dynamics cycle-consistency. arXiv preprint arXiv:2012.09811, 2020.
[^62]: S. Bahl, A. Gupta, and D. Pathak. Human-to-robot imitation in the wild. In RSS, 2022.
[^63]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023.
[^64]: J. Engel, K. Somasundaram, M. Goesele, A. Sun, A. Gamino, A. Turner, A. Talatof, A. Yuan, B. Souti, B. Meredith, et al. Project aria: A new tool for egocentric multi-modal ai research. arXiv preprint arXiv:2308.13561, 2023.
[^65]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirama, L. Y. Chen, K. Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.
[^66]: W. Zhu, X. Ma, Z. Liu, L. Liu, W. Wu, and Y. Wang. Motionbert: A unified perspective on learning human motion representations. In ICCV, 2023.
## [^67]: M. Oquab, T. Darcet, T. Moutakanni, H. Vo, M. Szafraniec, V. Khalidov, P. Fernandez, D. Haza, F. Massa, A. El-Nouby, et al. Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193, 2023
---
[^68]: Y. Zhou, C. Barnes, J. Lu, J. Yang, and H. Li. On the continuity of rotation representations in neural networks. In CVPR, 2019.
## [^69]: T. Yu, T. Xiao, A. Stone, J. Tompson, A. Brohan, S. Wang, J. Singh, C. Tan, J. Peralta, B. Ichter, et al. Scaling robot learning with semantically imagined experience. arXiv preprint arXiv:2302.11550, 2023
---
(a) The robot performs the cup passing task across four different backgrounds. The left side shows the four background variations, while the right side illustrates the two passing directions: (#1 - Right hand passes the cup to the left hand, #2 - Left hand passes the cup to the right hand).
(b) The robot performs the horizontal grasping task with four different items: bottle, box_1, box_2, and can, as shown on the left. The right side illustrates the process: (#1-#3 - The robot grasps the bottle, #4-#5 - The robot places it into the plastic bin).
(c) The robot performs the vertical grasping task. As shown on the left, the Dynamixel box is placed in nine different positions for grasping. The right side illustrates the process: (#1-#3 - The robot grasps the box, #4-#5 - The robot places the box into the plastic bin).
(d) The robot performs the pouring task. The left side shows different settings achieved by varying the robot's rotation and the table's position. The right side illustrates the pouring process: (#1 - Right hand grasps the bottle, #2 - Left hand grasps the cup, #3 - Pouring the drink, #4 - Left hand places the cup down, #5 - Right hand places the bottle down).
Figure 7: Illustrations of tasks used in quantitative evaluations. From top to bottom: cup passing, horizontal grasping, vertical grasping, and pouring.
| Method | Bottle | Box $_{1}$ | Box $_{2}$ | Can | Ovr. Succ. |
| I.D. | H.D. | H.D. | H.D. |
| Without whole-body | 8/10 | 6/10 | 0/10 | 7/10 | 21/40 |
| With whole-body | 9/10 | 3/10 | 3/10 | 3/10 | 18/40 |
Table 4: Ablation of how human whole-body movement in training demonstrations affects policy rollout. We collect the same number of demonstrations on the same set of objects for the grasping task with or without whole-body movement. Since the robot does not have a natural whole-body movement like humans, it negatively influences the manipulation success rate.
## A 更多消融研究——数据采集
自主全身运动。在表4中，我们论证了在人类数据采集过程中最小化身体运动的必要性。人类在操纵过程中往往会无意识地移动上半身（包括肩部和腰部）。然而，现有的人形机器人尚未达到如此高的灵巧度。因此，人类演示中这些难以复现的动作会导致性能下降。我们推测，随着全身运动方法和机械设计的不断发展，这种必要性将会大幅降低。
---
| Method | Grasping (secs) | Pouring (secs) |
| Human Demo | $3.79 \pm 0.27$ | $4.81 \pm 0.35$ |
| Human Demo with VR | $4.09 \pm 0.30$ | $4.90 \pm 0.26$ |
| Humanoid Demo (VR Teleop) | $19.72 \pm 1.65$ | $37.31 \pm 6.25$ |
Table 5: Amortized mean and standard deviation of the time required to collect a single demonstration, including scene resets. The first row shows the time for regular human to complete corresponding tasks in real world. The second row represents our human data when wearing VR for data collection, demonstrating that egocentric human demonstrations provide a more scalable data source compared to robot teleoperation.
但对于目前可用的平台，我们要求操作者在数据集中尽可能减少身体运动。
数据采集效率。在表5中，我们比较了不同设置下的任务完成时间，包括标准人类操纵、佩戴VR设备进行的人类演示以及机器人遥操作。这一分析凸显了任务导向型人类演示作为跨具身学习可扩展数据源的潜力。值得注意的是，佩戴VR设备并不会显著影响人类的操纵速度，因为其完成时间与标准人类演示几乎相同。
在不同的数据采集方案中，我们发现大部分开销产生于将人类动作转换为机器人动作的重新定位过程。这主要是由于7自由度机械臂的延迟和受限工作空间所致，这些是VR遥操作 [^9]、运动追踪 [^48] [^10] 以及虚拟操控 [^8] [^5] 等现有数据采集方法固有的挑战。
除了数据采集速度之外，人类演示相比远程操作还有多项优势。它们提供了一种更安全的替代方案，能降低真实机器人执行任务时的风险。同时，它们也更节省人力，因为无需额外人员监督。此外，人类演示在应用场景上更具灵活性，能够适应各种环境，而无需针对机器人进行专门调整。另外，人类演示的成功率更高，且所需的硬件（如动作捕捉设备或虚拟现实设备）比完整的机器人系统更易获取且成本更低。这些因素共同使得人类数据成为大规模数据采集时更具扩展性的解决方案。
## B 不同实施方案的归一化处理
表2显示，对人类和类人机器人的状态向量及动作向量采用不同的归一化系数时存在细微差异。我们在图8中进一步研究了不同归一化策略对垂直抓取（拾取）任务的影响。值得注意的是，同一种归一化方法取得了最高的整体成功率，但成功率的分布偏向网格的右上区域。
我们推测这是因为人类的工作空间比类人机器人更大。因此，人类数据包含了类人机器人的本体感知信息作为子集，这导致机器人状态-动作空间的分布相对更小。
## C 不同类型泛化能力的深入分析
人类数据能够提升背景泛化能力。我们选择用杯子传递任务来测试背景泛化能力。我们准备了四种不同的桌布作为背景，如图7a所示。从训练数据分布来看，该任务的远程操作数据仅在图7a所示的纸质背景上采集，而人类数据则涵盖了五种以上的不同背景。这种多样化的人类数据集显著增强了联合训练的HAT策略的泛化能力。如表7所示，HAT在所有四种背景下均表现优异，显示出对背景变化的强鲁棒性。此外，整体……
---
| Method | Bottle | $\text{Box}_{1}$ | $\text{Box}_{2}$ | Can | Ovr. Succ. |
| I.D. | H.D. | O.O.D. | O.O.D. |
| ACT | 8/10 | 5/10 | 1/10 | 1/10 | 16/40 |
| HAT | 8/10 | 7/10 | 1/10 | 4/10 | 21/40 |
Table 6: Object Appearance Generalization: In the horizontal grasping task, we evaluated the grasping performance by attempting to grasp each object 10 times and recorded the success rate.
成功率相比未使用人类数据训练的情况提高了近50%，这凸显了利用多样化人类演示的优势。
人类数据能够提升外观泛化能力。为了测试联合训练如何增强对物体纹理扰动的鲁棒性，我们评估了水平抓取策略在新型物体上的表现，如图7b所示。具体而言，我们比较了该策略在瓶子、box_1、box_2和易拉罐上的性能，它们在图7b的第一张图片中从左到右排列。这些物体在颜色和形状上与远程操作数据集中使用的瓶子存在显著差异。
由于抓取是一项相对简单的任务，即便只有50个远程操作数据样本，我们调整后的策略也展现出了强大的学习能力。尽管训练集有限，该策略仍能成功抓取大多数瓶子。为了更突出人类数据的影响，我们选择了更具挑战性的物体进行评估。如表6所示，人类数据显著提升了策略抓取这些更难物体的能力。
值得注意的是，box_1出现在人类数据中，而box_2则没有。尽管如此，我们观察到与人类数据共同训练仍能提升整体性能，甚至对box_2也是如此，尽管其成功率并未提高。这表明，除了对特定物体的直接经验外，人类数据还能帮助策略学习更广泛的视觉先验，从而实现更主动、更稳定的抓取行为。对于box_2而言，虽然其成功率仍然较低——部分原因是它的高度较低且颜色与桌面相近——但经过共同训练的HAT策略出现的分布外（OOD）失败情况更少，且会更积极地搜索可抓取区域。box_2上的失败主要源于抓取不稳定以及物体从手中滑落，而非无法感知或定位该物体。
此外，增加更多人类数据不仅能提升模型在人类训练演示中出现过的物体（如box_1）上的性能，还能增强其对完全陌生物体（如box_2和易拉罐）的泛化能力。我们推测，随着物体数量的增加，HAT开始学习类别间的视觉先验，从而能够更有效地抓取那些训练集中并未明确出现的物体。
人类数据能够改善物体摆放位置的泛化能力。最后，我们引入了真实机器人训练演示中不存在的物体摆放变化，并专门在垂直抓取（拾取）任务中对此进行了研究。在该任务中，我们有意将机器人数据采集限制在部分单元格内的物体摆放位置，而人类的垂直抓取数据则涵盖了更为多样的场景。
为了系统分析人类数据的影响，我们在结构化的$3\times3$网格上评估模型性能，其中每个单元格代表一个用于尝试抓取的$10\,cm \times 10\,cm$区域。每个单元格中的数字表示10次试验中成功拾取的次数。真实机器人训练数据仅来自两个用虚线标出的特定单元格。
我们的遥操作数据分布中有一个关键细节：50次拾取尝试来自右侧网格，而左侧网格仅有10次。这种不平衡解释了为何仅基于遥操作数据训练的策略难以抓取左侧网格中的物体。我们观察到，仅用机器人数据训练的模型无法泛化到未见过的单元格，而结合人类数据的跨本体学习则显著提升了泛化能力，使整体成功率翻倍。
---
Figure 8: Object Placement Generalization. Performance comparisons of models trained with and without human data on vertical grasping (picking). Each cell in the 3×3 grid represents a 10cm × 10cm region where the robot attempts to pick up a box, with numbers indicating successful attempts out of 10. The real-robot data is collected in two cells inside the dashed lines. Notably, our teleoperation data is intentionally imbalanced.
| Method | Paper | Wooden | Red | Green | Ovr. Succ. |
| I.D. | H.D. | O.O.D. | O.O.D. |
| ACT | 19/20 | 14/20 | 12/20 | 10/20 | 55/80 |
| HAT | 20/20 | 16/20 | 18/20 | 18/20 | 72/80 |
Table 7: Background Generalization: In the cup passing task, we evaluate the passing performance by recording the number of failures or retries needed to complete 20 cup-passing trials.
## D 人形机器人A与人形机器人B配置的深入对比
本节将对两种人形机器人平台——人形机器人A和人形机器人B进行详细对比，重点探讨其关节结构及对操控能力的影响。我们的分析仅限于手臂配置，因为本研究并未专门探索身体的其他部位。
尽管这两款人形机器人在形态上相似，但它们的手臂配置却存在显著差异，这给直接的策略迁移带来了障碍。除了电机技术规格（如扭矩和编码器类型，人形机器人B采用绝对式电机位置编码器）上的区别外，它们的机械限制也不同。前四个近端关节——shoulder_pitch、shoulder_roll、shoulder_yaw和elbow——的运动范围（ROM）在两个平台上存在差异。人形机器人B的运动范围始终更宽，这使得它能触及更广泛的可达配置，从而在受限环境中具备更强的操控能力。表8总结了这些共用关节的ROM数值。
在手腕部位可以观察到更为显著的结构差异。类人机器人A仅包含一个远端关节——wrist_roll，其手腕活动范围十分有限。这限制了末端执行器的灵活性，使得手持操作方式只能依赖单一的旋转自由度。相比之下，类人机器人B配备了由三个可独立驱动的关节组成的完整手腕机构：wrist_pitch、wrist_roll和wrist_yaw。这些额外的自由度能够实现末端执行器的全方位定向控制，从而完成需要精确对齐、旋转以及微调物体姿态的任务。
---
| Joint | Humanoid A | Humanoid B |
| shoulder_pitch | $-164^{\circ}$ to $+164^{\circ}$ | $-180^{\circ}$ to $+90^{\circ}$ |
| shoulder_roll | $-19^{\circ}$ to $+178^{\circ}$ | $-21^{\circ}$ to $+194^{\circ}$ |
| shoulder_yaw | $-74^{\circ}$ to $+255^{\circ}$ | $-152^{\circ}$ to $+172^{\circ}$ |
| elbow | $-71^{\circ}$ to $150^{\circ}$ | $-54^{\circ}$ to $182^{\circ}$ |
| wrist_roll | $-175^{\circ}$ to $175^{\circ}$ | $-172^{\circ}$ to $157^{\circ}$ |
Table 8: Joint Range of Motion Comparison between Humanoid A and B (in degrees)