# DexWild：面向野外环境的机器人策略的灵巧人机交互

Tony Tao*、Mohan Kumar Srirama*、Jason Jingzhou Liu、Kenneth Shaw、Deepak Pathak

卡内基梅隆大学

 $^{*}$贡献相同

![Image](images/b9b3f9c6bc40b0d4dbde5f16b513b94740023770abf4c488400e23236660f24e.jpg)

<div style="text-align: center;">Fig. 1: DexWild enables dexterous policies to generalize to new objects, scenes, and embodiments. This is achieved by leveraging large-scale, real-world human embodiment data collected in many scenes and co-trained with a smaller robot embodiment dataset for grounding.</div>

摘要—大规模、多样化的机器人数据集已成为实现灵巧操控策略在新环境中泛化的有前景的途径，但获取这类数据集面临诸多挑战。虽然遥操作能提供高保真的数据集，但其高昂的成本限制了其可扩展性。那么，如果人们能像日常生活中一样用自己的手来收集数据，会怎样呢？在DexWild项目中，一支多元化的数据采集团队利用他们的双手，在多种环境和物体上采集了数小时的交互数据。为了记录这些数据，我们开发了DexWild-System——一种低成本、便携且易于使用的设备。DexWild学习框架同时利用人类和机器人的演示数据进行协同训练，其性能优于仅用单一数据集训练的结果。这种组合能够生成鲁棒的机器人策略，只需极少的额外机器人专属数据，就能适应新环境、新任务和不同实体形态。实验结果表明，DexWild显著提升了性能：在未见过的环境中，其成功率达到68.5%，几乎是通过纯机器人数据训练的策略的四倍；同时它还具备$5.8 \times$更好的跨实体泛化能力。视频结果、代码库及使用说明详见<https://dexwild.github.io>

## 一、引言

机器人学家们长期以来一直梦想着创造出能像人类一样灵活、适应性强的机器人。我们希望机器人能够轻松应对各种不同的物体、环境和实体形态——然而，要实现这种真正通用的机器人行为仍是一项艰巨的挑战。尽管大型语言模型（LLMs）[^53] [^51] [^3]和视觉语言模型（VLMs）[^24] [^48]已取得诸多突破，但它们的成功关键在于依托海量数据集。相比之下，机器人领域面临着一个关键障碍：目前尚不存在用于训练基础模型的大规模、多样化的机器人数据集。

近年来，采集机器人数据集的主要方法是遥操作，它能提供高精度、高质量的动作数据，可供策略直接训练[^8] [^21] [^54]。不过，获取这些数据需要经过高度培训的操作员配合专门的机器人设备。在多样化环境中采集数据还会面临额外挑战，比如需要将机器人物理移动到每个新地点。这种数据采集过程既耗费人力又成本高昂，因此难以扩展到灵巧操控在新环境中泛化所需的数据量。

另一种扩展机器人数据集的方法是利用YouTube等平台上的互联网级视频数据，这些数据提供了现实世界中丰富多样的视觉素材[^15] [^10]。然而，有效利用这些数据存在重大挑战。首先，公开视频往往缺乏捕捉精细手部状态所需的精确性，因为基于视觉的身体检测模块存在噪声且不可靠。此外，这些视频并未按任务类别结构化地划分成独立片段以供特定任务学习—

---

此外，这进一步增加了其在机器人领域直接应用时的复杂性。$^{[18, 1, 40]}$。虽然存在一些采用更精确、结构化数据进行收集的工作，$[60, 2]$，但这些数据的环境多样性不足。我们旨在收集具有高精度跟踪能力和环境多样性的数据，以实现可泛化的灵巧操作行为。

为克服这些障碍，一些研究者尝试通过给用户配备可穿戴式夹持器来收集精准的野外人类演示数据，该夹持器能将人的手部动作直接映射到机器人动作上[^7]。然而，这种方法较为繁琐，不适合自然的日常交互，且收集到的数据局限于特定的实体形态。其他研究[^55]提出使用灵巧手和手套，但这类方法无法应用于野外环境。

在本文中，我们提出了DexWild系统，该系统通过在人类和机器人演示数据上进行协同训练，能够有效学习鲁棒的灵巧操控策略。我们的主要贡献包括：

1) 可扩展的数据收集系统：一种新型的人体形态DexWild系统，能让未经训练的操作员快速在93种不同环境中收集9,290组演示数据，其效率比传统的基于机器人的方法快$4.6 \times$倍。

2) 高效的协同训练框架：一种能最优地结合人类和机器人演示数据的方法，显著提升了策略的泛化能力，使其在新环境中的成功率达到68.5%，这一数值几乎是仅使用机器人数据的策略的四倍。

3) 强大的跨实体形态与跨任务性能：我们的数据收集系统结合协同训练框架，在跨实体形态迁移方面较基准方法提升了$5.8 \times$，同时能在不同任务间实现有效的技能迁移。

### II. 相关工作

### A. 模仿学习的泛化问题

机器人操控策略的泛化能力研究取得了迅速进展，这在很大程度上得益于视觉表征学习和基于大规模数据集的模仿学习的进步。在视觉方面，具身表征学习受益于Ego4D [^15]和EPIC-KITCHENS [^10]等以自我为中心的数据集，近期的一些方法[^27] [^11] [^47] [^39]利用这些数据集来训练可扩展的视觉编码器。不过，这些方法仍需大量的后续机器人演示数据才能训练出控制策略。

与此同时，纯机器人演示数据集在规模和多样性上也有了显著提升[^21] [^8] [^54]，推动了行为克隆研究的发展，也促成了通用型策略架构的出现[^49] [^8] [^22]。尽管这些策略在许多任务中表现出色，但它们往往难以泛化到未见过的物体类别、场景布局或环境条件[^25]。这种缺乏鲁棒性的问题仍是当前系统的关键局限。

### B. 机器人操控的数据生成

克服机器人数据瓶颈已成为机器人学习领域的核心挑战。

一种方法是利用互联网视频来提取动作信息。诸如VideoDex [^40]和HOP [^42]等研究利用大规模人类视频，通过重定位学习动作先验，进而用于启动策略训练。而像LAPA [^57]这样的研究则利用无标签视频生成可用于下游任务的潜在动作表示。尽管这些基于视频的方案拥有丰富的视觉多样性，但它们通常难以捕捉现实世界操控所需的精确、低层次的电机指令。

仿真能够快速大规模生成动作数据。然而，为多种任务创建多样化且逼真的环境，以及解决仿真到现实的差距问题，仍颇具挑战性。近期在仿真中迁移操控策略的成功案例 [^43] 仅限于桌面场景，且缺乏在多样化环境中部署所需的泛化能力。

直接对实体机器人进行遥操作可获得最高保真度，但扩展性较差。近期的研究在固定场景下展现出了令人惊叹的灵巧性和高效学习能力 [^59] [^56] [^41] [^19]，但要收集足够的演示数据以实现跨多样场景的泛化，成本会高得令人却步。

近年来，利用专门采集的高质量人类身体数据而非繁琐的遥操作方法的研究日益增多。我们将在下一节讨论这些方法。

### C. 人体动作跟踪系统

为了从人体动作中获取高质量数据，精准的手部和腕部跟踪至关重要。为避开手部姿态估计的复杂性，一些研究为用户配备手持式机器人夹爪 [^7] [^12] [^46]。虽然这种方法简化了重定位过程，但它将用户限制在特定形态的机器人夹爪上，从而限制了所捕获行为的多样性。此外，许多此类系统依赖基于SLAM的腕部跟踪技术，在特征稀疏的环境或存在遮挡的情况下 [^7] [^23]——比如开抽屉或使用工具时——该技术可能会失效。

其他方法旨在直接从视觉输入中估计手部和腕部姿态 [^29] [^35] [^5] [^45] [^28] [^20] [^32]。这些方法易于部署且无需额外设备，但在遮挡情况下性能会显著下降——而遮挡在操控场景中不可避免。其他腕部跟踪策略，如基于IMU的方法 [^9] [^50] 和外置光学系统 [^30]，也各有局限：IMU轻便易携但容易漂移，光学系统虽精度高却需要繁琐的校准和受控环境。DexWild采用无需校准的Aruco跟踪技术——大幅提升了可靠性并减少了设置时间，因为它仅需一台单目摄像头。

虽然基于视觉的方法通常试图同时跟踪腕部和手指，但许多新近的系统会将二者分离以提高精度。运动学外骨骼手套能够提供高保真的关节测量数据，甚至还能提供触觉反馈 [^58]，但体积庞大且长时间佩戴会感到不适。

---

![Image](images/ab3b906b34d615e43aea115971f6fa3c71d3f7b68ff3ca3dce516f81a761df47.jpg)

<div style="text-align: center;">Fig. 2: Left: DexWild efficiently capture high-fidelity data using an individual's own hands across various environments. Right: Robot hands are equipped with cameras aligned with the human cameras. We test DexWild on two distinct robot hands and robot arms.</div>

以往的研究通常采用基于数据驱动的方法，而DexWild以及先前的工作[^41] [^55]则采用了一种轻量级的手套式解决方案，利用电磁场（EMF）传感来估算指尖位置。这种方法能够实现精确、实时的手部追踪，且对遮挡具有强鲁棒性，同时能轻松适配各种机器人手。

### 三、DEXWILD

许多人认为，利用大规模、高质量的数据集是创建具备泛化能力的灵巧机器人策略的关键[^8] [^49] [^40] [^11]。我们推出的DexWild-System是一款用户友好、保真度高的平台，能够在各类真实场景中高效采集自然的人类手部演示数据。与传统的遥操作方式相比，DexWild-System能够实现$4.6\times$更快的大规模数据采集速度。

基于该系统，我们提出了DexWild——一种模仿学习框架，它会在大规模DexWild-System人类演示数据以及少量机器人演示数据上联合训练。这种方法结合了人类交互的多样性与丰富性，以及机器人实体的现实基础，从而使策略能够在新物体、新环境和不同实体上实现稳健的泛化。图1展示了我们的整体方案。

### A. 数据采集系统

用于灵巧机器人学习的可扩展数据采集系统必须能够在多样化环境中实现自然、高效且高保真的数据采集。为此，我们设计了DexWild-System：这是一款便携、用户友好的系统，只需极少的设置和培训即可捕捉人类的灵巧行为。以往的自然场景数据采集方法通常依赖带传感器的夹爪，而我们旨在打造一种更直观的硬件界面，以模拟人类与世界的自然互动方式。从精细的细微动作到有力的抓取，人类在各类操控任务中都展现出极高的灵巧性。通过借鉴这种内在能力，DexWild-System能够采集到适用于多种机器人实体的丰富多样的数据。

DexWild-System的设计围绕三个核心目标展开：

- 便携性：无需复杂的校准流程，即可在多样化环境中快速开展大规模数据采集。

- 高保真度：精准捕捉对训练精密灵巧策略至关重要的手部与环境交互细节。

• 与实体无关：能够将人类演示无缝迁移到各类机器人手上。

## 便携性

要在多样化的真实场景中采集数据，系统必须具备便携性、鲁棒性，且能被任何人使用。我们正是本着这些目标设计DexWild-System：它重量轻、易于携带，仅需几分钟就能完成设置，从而能够在多个地点开展可扩展的数据采集工作。

如图2所示，DexWild-System仅由三个组件构成：用于估算手腕姿态的单摄像头、用于本地数据采集的电池供电迷你电脑，以及由动作捕捉手套和同步安装的掌部摄像头组成的定制传感器舱。

与传统动作捕捉系统[^60] [^13] [^4] [^52]往往依赖需要校准的复杂外部追踪设置不同，DexWild-System真正实现了无需校准，因此能适应任何场景，即使是没有经验的操作员也能轻松使用。

这是通过采用相对状态-动作表示来实现的，其中每个状态和动作都表示为相对于上一时间步姿态的差异。这样就无需使用全局坐标系，从而允许将跟踪摄像头自由放置——无论是以自我为中心还是以外为中心。此外，手掌摄像头在人和机器人实体中都被固定在特定位置。这确保了不同领域间的视觉观测能够保持一致，从而在部署时无需额外校准。只要外部跟踪摄像头的位置摆放得当，就能捕捉到对学习鲁棒策略有用的补充环境信息。

---

## 高保真度

为了学习灵巧行为，训练数据集中必须包含细粒度、微妙的动作信息。尽管DexWild-System仅由几个便携式组件构成，但我们在数据保真度上绝不妥协。我们的系统能够精准捕捉手部及手腕动作，同时提供高质量的视觉观测数据。

对于手腕和手部追踪，纯视觉方法虽然易于设置，但其在便携性上的优势往往是以精度和鲁棒性的牺牲为代价的——这会导致姿态估计结果噪声较大，进而损害策略学习的效果 [^41] [^14] [^32] [^7]。

在手部姿态估计方面，我们采用了动作捕捉手套，它具备高精度、低延迟且抗遮挡能力强的特点 [^41]。对于手腕追踪，我们在手套上安装ArUco标记点，并通过外部摄像头进行追踪。这种方法避免了基于SLAM的手腕追踪技术的脆弱性——后者在特征稀疏的环境或遮挡较多的任务（如开抽屉）中常常失效。

与许多依赖自我中心式或远距离外部摄像头的数据集不同，我们将两台全局快门摄像头直接安装在手掌上。如图2所示，这些立体摄像头能捕捉到细节丰富、局部化的交互视图，且运动模糊极小、视野宽广。这种宽广的视野使得策略仅需依靠手掌上的摄像头即可运行，无需依赖固定的视角。

## 与实体无关

为确保DexWild数据的长期实用性和通用性，我们希望它能在不同机器人实体中持续发挥作用——即便硬件平台不断演进。实现这一目标需要仔细对齐人类与机器人之间的观测空间和动作空间。

我们首先标准化观测空间。尽管我们安装在手掌上的摄像头视野宽广，但我们特意将其定位为主要聚焦于环境，尽量减少对手部本身的可见度。重要的是，人类和机器人手部的摄像头布置方式是镜像对称的。如图3所示，这种设计能在不同实体间产生视觉上一致的观测结果，从而使策略能够学习到跨人类和机器人领域的通用视觉表征。

在动作空间对齐方面，我们借鉴了先前研究的成果 [^17] [^44]，优化机器人手部运动学，使其指尖位置与人类演示中观察到的位置相匹配。需要注意的是，该方法具有通用性，适用于任何机器人手部实体。它在不同用户间使用固定的超参数，且对手部尺寸的变化具有鲁棒性——因此无需针对用户进行专门调整。

使用人类双手采集数据具有超越易用性的优势。不同演示者手部形态的多样性带来了有益的变化，我们推测这有助于策略学习到更具泛化能力的抓取方法——考虑到人类与机器人手部运动学之间的固有差异，这一点尤为重要。

总而言之，DexWild是一款便携、高质量且以人为中心的系统，任何操作员均可佩戴它来在真实环境中采集人类数据。接下来，我们将说明

![Image](images/d49eead317556af7893f295d2bd20cc0ce57110a5b672ab4384b17f911633c22.jpg)

<div style="text-align: center;">Fig. 3: DexWild aligns the visual observations between humans and robots to bridge the embodiment gap. This incentivizes the model to learn a task-centric rather than embodiment-centric representation.</div>

我们如何利用DexWild采集的数据，使灵巧操控策略能够泛化到真实场景中去。

### B. 训练数据的模态与预处理

灵巧操控的泛化既需要大规模数据，也需要实体层面的适配。基于这一目标，DexWild采集了两类互补的数据集：利用DexWild-System获得的大规模人类演示数据集$D_{H}$，以及规模较小的遥操作机器人数据集$D_{R}$。人类数据具备广泛的任务多样性且易于在真实环境中采集，但缺乏实体层面的对齐；机器人数据虽然规模有限，却能为机器人的动作与观测空间提供关键的适配依据。为了兼顾两者的优势，我们采用固定比例的人类数据与机器人数据在同一批次中联合训练策略$(w_{h}, w_{r})$——通过平衡多样性与实体适配性，从而实现部署时的稳健泛化。

在每次训练迭代中，我们会根据联合训练的权重，从$x_{h}$和$x_{r}$中分别采样包含转换样本$D_{H}$和$D_{R}$的批次。时间步i处的每个转换样本$x_{i}$包含以下内容：

- 观测$o_i$：给定时间步的观测由当前时间步采集的两张同步掌部摄像头图像$I_{pinky}$和$I_{thumb}$，以及按指定步长采样的、时长不超过H的历史状态序列组成，其中包含$\{\Delta p_i, \Delta p_{i-step}, ..., \Delta p_{i-H}\}$。每个$\Delta p$代表相对的历史末端执行器位置。

- 动作$a_{i:i+n-1}$：大小为n的动作块，包含动作$\{a_i, a_{i+1}, \ldots, a_{i+n-1}\}$，其中$a_i$为当前时间步的动作。具体而言，$a_i$是一个26维向量，其组成部分包括：

- $a_{arm}$：一个9维向量，用于描述相对的末端执行器位置（3D）与姿态（6D）。

- $a_{hand}$：一个17维向量，用于描述机器人手部的手指关节位置目标值。

---

![Image](images/2bf589daa03828dacecceaf19b385bc37060a6e2ab71305f9672cd8243a7c9f0.jpg)

<div style="text-align: center;">Fig. 4: Using DexWild-System, humans can effortlessly collect accurate data with their own hands across a wide range of environments. This data is directly used to train any robot hand to perform dexterous manipulation in a human-like way in any environment. We validate this approach on five representative tasks. Please see videos of these tasks on our website at <https://dexwild.github.io</div>>

对于双手任务，观测与动作空间会被复制，同时会将双手间的姿态信息添加到观测中以促进协调。

尽管我们的映射流程已将人类与机器人的轨迹纳入共享的动作空间，但要使人类与机器人数据集能够兼容以实现联合训练，仍需进行几步额外处理：

- 动作归一化：由于人类与机器人数据的分布存在固有差异，需分别对两类数据的动作进行归一化处理。

- 演示数据过滤：由于人类演示是由未经训练的操作员在不受控环境中采集的，我们采用基于启发式的过滤流程来自动检测并移除低质量或无效的轨迹。这一过滤步骤无需人工标注即可显著提升数据集质量。

### C. 策略训练

通过精心设计的硬件、观测与操作接口，我们能够利用简单的行为克隆（BC）目标来训练灵巧的机器人策略 [^31] [^37] [^36]。为了有效利用我们多模态且多样化的数据，训练流程采用了大规模预训练的视觉编码器，并在不同的策略架构上均展现出强劲的性能。

视觉编码器：在DexWild数据上的训练使我们的策略接触到丰富的视觉多样性——涵盖不同场景、物体和光照条件——因此需要一个能够很好地适应这种变异性的编码器。为此，我们采用了预训练的Vision Transformer（ViT）骨干网络，它在野外操控任务中的表现明显优于基于ResNet的编码器 [^16] [^23]。预训练的ViT模型，尤其是那些在大规模互联网数据集上训练得到的模型，在提取丰富且可迁移的特征方面尤为出色 [^27] [^33] [^47] [^11]，因此非常适合我们的应用场景。

策略类别：尽管近期提出了多种模仿学习架构 [^59] [^61]，但我们采用了基于扩散模型的策略。扩散模型特别适合灵巧操控任务，因为它们比高斯混合模型（GMMs）或Transformer等替代方案更能有效地捕捉多模态动作分布。在DexWild中，这一能力尤为重要，因为演示数据来自采用不同策略的多位人类操作者，从而产生了固有的多模态行为。随着数据集规模的扩大，建模这种变异性对于稳健的策略学习至关重要。具体而言，DexWild使用扩散U-Net模型 [^6] 来生成动作序列。

具体来说，训练流程如算法1所示。

```pseudo
// Algorithm 1: DexWild Imitation Learning Procedure

Require: Human dataset $\mathcal{D}_H$, Robot dataset $\mathcal{D}_R$, Co-training weights $\{\omega_h, \omega_r\}$

1: Initialize policy $\pi_\theta$ with ViT encoder $\phi_{\mathrm{vit}}$

2: while not converged do

3: Sample a batch of transitions $\{x_h\}$, $\{x_r\}$ from $\mathcal{D}_H, \mathcal{D}_R$ using weights $\{\omega_h, \omega_r\}$

4: for each transition $x_i$ in the batch $\mathbf{d}\mathbf{o}$

5: Extract observation $o_i$

6: Encode images: $Z_i = \phi_{\mathrm{vit}}(o_i)$

7: Extract ground truth action chunk $a_{i:i+n-1} = \{a_i, \ldots, a_{i+n-1}\}$

8: Sample noise scale $t \sim \mathcal{U}(1, T)$

9: Add noise $\epsilon_t \sim \mathcal{N}(0, \sigma_t)$ to $a_{i:i+n-1}$

10: Predict noise $\hat{\epsilon}_\theta = \pi_\theta(Z_i, a_{i:i+n-1} + \epsilon_t, t)$

11: Compute diffusion loss $\mathcal{L}_\theta = \|\epsilon_t - \hat{\epsilon}_\theta\|_2^2$

12: end for

13: Update policy parameters $\theta$

14: end while

```

我们在训练框架中的一个重要发现是：调整人类数据与机器人数据的权重会显著影响实际应用中的性能。我们将在第V-A节中讨论这些影响。

### 四、实验

我们的实验评估涵盖了在多种环境和机器人上的广泛实际应用，使用了人类演示数据和机器人遥操作数据。下文将介绍我们的数据采集过程、实验设置以及评估任务。

---

![Image](images/c253aa2326561d75e13e4b5487bfa73b3edcda370c9d78b50adae63d737a1c3b.jpg)

<div style="text-align: center;">Fig. 5: We collect data using a diverse set of objects across categories. Spray Bottle Task - 25 Train, 11 Test; Toy Cleanup Task - 64 Train, 9 Test; Pour Task - 35 Train, 5 Test; Florist Task - 6 Train, 2 Test; Clothes Folding Task - 17 Train, 6 Test.</div>

### A. 扩大数据采集规模

我们的硬件系统被部署给10名未经训练的用户，以便在各种真实环境中采集数据。这些环境包括室内和室外场所、白天和夜晚条件、拥挤的食堂和安静的学习区，涉及不同的桌子、物体和光照设置。采集者本身的手型大小和演示风格也各不相同，这使我们能够从广泛的环境和交互模式中学习。

通过数据采集工作，我们构建了两个数据集：$D_{H}$（人类采集的数据）和$D_{R}$（机器人采集的数据）。人类数据集$D_{H}$包含9,290个演示样本，涵盖五项任务：喷雾瓶任务和玩具清理任务各3,000个演示样本（分别来自30种不同环境），倾倒任务621个轨迹样本（来自6种环境），花艺任务1,545个演示样本（来自15种环境），以及衣物折叠任务1,124个演示样本（来自12种环境）。

机器人数据集$D_{R}$包含1,395个演示样本：其中喷雾瓶任务有388个，玩具清理任务有370个，倾倒任务有111个，花艺任务有236个，衣物折叠任务有290个。机器人数据是通过xArm机械臂和LEAP hand V2 Advanced手采集的。我们的训练与测试物体详情见图5。

### B. 评估任务

我们在五种不同类型的操控任务上评估我们的方法，每种任务旨在检验灵巧操控的特定方面：功能性抓取、长时程规划、跨任务迁移、双臂协调以及可变形物体操控。任务可视化效果见图4。

在喷雾瓶任务中，机器人通过手柄抓住喷雾瓶并向目标布料喷洒，以此测试功能性抓取与可供性理解能力。在玩具清理任务中，机器人捡起散落的玩具并将它们放入垃圾桶，以此评估泛化能力与长时程规划能力。倾倒任务要求机器人倾斜瓶子将液体倒入容器，以此展示从喷雾瓶任务中获得的技能迁移能力。在双臂花艺任务中，机器人将花朵在双臂间传递并插入花瓶，以此测试精准的双臂协调能力。最后，在双臂衣物折叠任务中，机器人用双手折叠衣物，以此评估对可变形物体的操控能力。所有任务的完整规格说明与评分标准详见附录VII-A。

这些任务系统地评估了DexWild的功能性抓取能力、对不同物体类型的泛化能力、跨任务的技能迁移能力、双臂间的协调能力以及对可变形物体的适应能力。要成功完成这些任务，策略必须能够适应不同的物体属性、环境条件与任务约束。

### C. 评估环境

在机器人实验中，我们使用了xArm机器人及Franka系统，二者均配备了LEAP手或LEAP hand V2 Advanced [^38] [^41]。除非另有说明，否则均采用xArm机器人与LEAP hand V2 Advanced手。我们在三种场景下评估我们的方法：

1) 域内场景：收集机器人训练数据的环境，使用新物体进行测试。

2) 野外场景：存在于DexWild数据集中但不在机器人训练数据中的环境。

3) 极端野外场景：两个数据集中均未出现的未见过的环境。

### V. 分析与结果

在我们的评估中，我们试图探究以下关键问题：

1) DexWild利用人类数据实现出色的野外性能的效果如何？

2) DexWild能否实现跨任务与机器人形态的策略迁移？

3) 随着DexWild-System数据量的增加，策略性能是否能有效提升？

请访问<https://dexwild.github.io>查看我们的结果视频。

### A. 基于DexWild的零样本野外策略

DexWild能够在新场景中实现强大的策略泛化能力。我们通过在新颖性逐渐增强的环境中评估策略，来检验其泛化能力。如图6所示，仅基于机器人数据训练的策略在领域内环境中表现良好（成功率为64.7%），但在更具挑战性的场景——野外环境和极端野外环境中，性能显著下降（分别为28.5%和22.0%）。这种36个百分点的性能落差表明，仅依赖机器人的策略会过度拟合特定环境特征，无法形成鲁棒且可迁移的特征表示。相比之下，仅基于人类数据训练的策略能够学习到高层次的物体可供性，并能可靠地接近物体，即便是在复杂的场景中也是如此。

---

![Image](images/b4da36d88f6a61234fb30121cbd5a7e1e66e1055905019fbf155052df72b106b.jpg)

<div style="text-align: center;">Fig. 6: How does co-training help with scaling up in the wild performance? We evaluate our policy across three scenarios: (a) In-Domain scenes where robot training data was collected but with novel objects, (b) In-the-Wild scenes present in DexWild but not in robot data, and (c) In-the-Wild Extreme scenes absent from both datasets. Displayed ratio is Robot:Human.</div>

不过，由于缺乏针对机器人的动作映射机制，这些策略难以执行精准的操作，导致在所有场景中的表现都很差（领域内成功率为3.6%，野外环境为7.3%）。

为了结合两种模态的优势，我们采用了一种协同训练策略——同时利用机器人和人类数据进行训练，该方法在以往的研究中已被验证有效 [^8] [^49] [^21] [^20] [^32]。这种策略能促使策略学习到与任务相关的特征，而非过度拟合于特定的实体或环境。我们在每个训练批次中尝试了不同的机器人数据与人类数据比例（从1:1到1:5）。实证分析表明，1:2的比例能在所有场景中取得最优性能：

1) 领域内：79.8% 对比 64.7%（仅基于机器人数据）

2) 野外环境：75.1% 对比 28.5%（仅基于机器人数据）

3) 极端野外环境：62.7% 对比 22.0%（仅基于机器人数据）

有趣的是，进一步增加人类数据的比例（如1:5）反而会导致性能下降（领域内成功率为54.5%，野外环境为50.9%），这表明机器人数据对于实现精细控制仍然不可或缺。

DexWild还能应用于复杂的双臂协调任务。为了验证DexWild是否能将泛化能力拓展到单臂任务之外，我们在需要双手精确协作的双臂任务中对它进行了测试。我们将协同训练得到的策略（1:2比例）与仅基于机器人数据的策略在极端野外环境中进行对比。DexWild策略的平均成功率达到了惊人的68.1%，而仅基于机器人数据的基线策略仅为13%。即便出现失败情况，DexWild策略也会做出有意义的任务执行尝试；而仅基于机器人数据的策略往往会产生杂乱无章或无序的行为。

这些结果证明，DexWild不仅能实现跨环境的鲁棒泛化，还能适配更复杂的操作行为。

### B. 鲁棒的任务间与实体间泛化能力

DexWild能够实现低层次技能在不同任务间的迁移。许多操作任务都共享基础的运动技能——比如提起、定向和旋转物体——这为相关任务间的技能复用打开了大门。例如，打开微波炉和打开橱柜都涉及类似的协调与控制过程。我们利用倾倒任务来评估这种任务间迁移能力，该任务与喷涂任务共享许多运动原语。关键在于，我们并未使用任何机器人数据进行倾倒任务训练，而是将人类（DexWild系统）的倾倒演示与机器人的喷涂演示相结合。这种设置使得模型能够零样本泛化到极端野外环境中的倾倒任务。采用1:2的机器人数据与人类数据协同训练比例时，我们的策略成功率达到94%，远远高于仅用机器人数据（0%）或仅用人类数据（11%）训练的策略。

DexWild能够实现跨机器人形态的迁移。由于DexWild数据并不局限于任何特定形态，因此它天然支持跨平台迁移。这延长了数据的价值——因为为每台新机器人收集特定平台的数据既耗费资源又不切实际。我们在真实世界的极端场景中测试了两种迁移场景：

- 跨机械臂：从xArm迁移到Franka Panda机械臂。我们的成功率达到37.5%，而仅使用机器人本身的基线方法成功率仅为4.5%——提升了$8.3 \times$。

- 跨灵巧手：从LEAP Hand V2 Advanced迁移到最初的LEAP Hand。我们的成功率为65.3%，而基线方法仅为13.3%。这表明DexWild不仅能跨机械臂通用，在灵巧手上也同样适用。

如图7所示，这些结果证明DexWild无需额外的机器人专属数据，就能实现对新任务和硬件形态的零样本泛化，从而成为在多种机器人上开展灵巧策略学习的高效通用框架。

### C. DexWild的可扩展性

策略性能会随着数据集规模的增大而提升。为了了解数据规模对现实场景中策略性能的影响，我们随机抽取了不同规模的完整人类数据集子集，并对生成的策略进行评估。我们固定机器人数据集的规模。如图7所示，数据集规模与平均任务性能之间存在明显的正相关关系——当数据集规模达到20%时，性能为28.7%；而使用完整数据集时，性能可提升至67.8%，提升了$2.36\times$。有趣的是，学习曲线是非线性的，性能提升尤为显著。

---

![Image](images/edbd08ef6b9c1bd689c2647e7abd75c73446725148a53f7f6998441e4aadf881.jpg)

<div style="text-align: center;">Fig. 7: Left: Cross-Task Performance – Evaluating DexWild on the pour task using robot data exclusively from the spray task. Middle: Cross-Embodiment Performance – Testing DexWild policy on the Original LEAP hand and a Franka robot arm. Right: Scaling Performance – Demonstrating improved DexWild performance as dataset size increases. Displayed ratio is Robot: Human.</div>

这一比例处于25%到50%之间，说明存在一个关键阈值，超过该阈值后策略才能可靠地学会可泛化的行为。

重要的是，即便用到100%的数据，性能仍会继续提升，这说明系统尚未达到性能瓶颈。这意味着通过持续收集数据，还能学到更强大的策略。

DexWild-System能够实现快速且可扩展的数据收集。鉴于规模化带来的上述优势，我们通过对比用户研究来评估DexWild-System的数据收集效率，该研究测量每小时演示次数。如图8所示，DexWild-System在五项代表性任务中的平均收集速率达到201次演示/小时——这一数值几乎与使用徒手收集的演示速率相当，且比基于Gello的传统机器人遥操作系统快4.6倍[^41] [^56]，后者的演示速率仅为43次/小时。

1) 缺乏触觉反馈：操作员无法感知物体，因此某些任务的精细操控较为困难。

我们指出了基于Gello的收集方式存在的三个关键局限性，而我们的系统恰好能克服这些问题：

2) 场景重置：环境重置过程繁琐，通常需要第二名操作员协助或暂停数据收集。

3) 硬件设置成本高：机器人体积庞大，在每个新地点都需要花费大量时间进行设置，而DexWild-System便携易用，几分钟内即可完成设置。

![Image](images/e428fa3b1c6569ce7d7032d0ff454587d5211a572f809f9612cc111cbfdecc48.jpg)

<div style="text-align: center;">Fig. 8: DexWild-System offers  $4.6\times$ improvement over robot data collection speed and nearly matches the human bare hands data collection speed.</div>

DexWild不仅展现出随着数据量增加而增强的强扩展性，还提供了一条实用高效的大规模收集多样化高质量数据的路径——这对实现现实世界的泛化至关重要。

### VI. 结论与局限性

我们推出了DexWild——一个可扩展的框架，用于学习灵巧操作策略，该策略能够有效泛化到新任务、新环境和不同机器人本体上。我们还推出了DexWild-System，这是一种便携且以人为中心的数据采集设备，它能显著加快数据集创建速度（比传统机器人遥操作方式快4.6倍）。我们提出了DexWild协同训练方法，该方法利用大规模人类演示数据以及少量机器人数据，即可实现强大的泛化能力——在完全未见过的环境中，其成功率达到68.5%，这一数值几乎是仅使用机器人数据的方法的四倍。此外，DexWild的本体无关设计使其具备出色的跨本体和跨任务迁移能力，从而减少了获取特定机器人数据的需求。

尽管有这些优势，仍存在若干局限性，这也推动了后续的研究方向：首先，我们的方法仍依赖有限数量的遥操作机器人数据来弥合人类动作与机器人动作之间的差距。未来的研究可以探索更优的动作映射技术或在线策略适配方法，从而无需依赖遥操作数据。其次，由于人类通常能顺利完成任务，他们的演示中很少包含错误恢复环节，这导致训练出的策略难以应对意外故障。加入恢复示例或自适应策略有望提升策略在现实世界中的鲁棒性。最后，我们的方法仅使用了视觉和运动学数据，这限制了其在接触密集型任务中的表现。引入触觉或力觉传感技术有望改善对精细交互的处理能力。

总而言之，DexWild在向可扩展、可泛化的机器人操作策略迈进的道路上迈出了重要一步。我们的研究成果凸显了大规模利用人类交互数据的潜力，为打造能在多样化现实环境中运行的真正灵巧且多功能的机器人开辟了令人期待的新途径。

相关视频、代码及硬件说明可在我们的网站<https://dexwild.github.io>上查看。

---

## 致谢

我们要感谢李宇龙、潘恒凯和Sandeep Routray的深入讨论。感谢Andrew Wang为本项目搭建计算环境。也要感谢李宇龙在机器人系统搭建方面给予的帮助。最后，我们谨向潘恒凯、Andrew Wang、Adam Kan、Ray Liu、李明轩、Lukas Vargas、Jose German、Laya Satish、Sri Shasanka Madduri以及数据采集团队表示感谢，感谢他们为收集本项目所需数据所付出的努力。本研究部分得到了ONR MURI N00014-22-1-2773、ONR MURI N00014-24-1-2748、AFOSR FA9550-23-1-0747、AIST CMU基金以及谷歌研究奖的支持。

## 参考文献

[^1]: Shikhar Bahl, Russell Mendonca, Lili Chen, Unnat Jain, and Deepak Pathak. Affordances from human videos as a versatile representation for robotics. 2023. 2

[^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. arXiv preprint arXiv:2411.19167, 2024. 2

[^3]: Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901, 2020.

[^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021.

[^5]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: Teleoperation with immersive active visual feedback. arXiv preprint arXiv:2407.01512, 2024. 2

[^6]: Cheng Chi, Siyuan Feng, Yilun Du, Zhenjia Xu, Eric Cousineau, Benjamin Burchfiel, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. In Proceedings of Robotics: Science and Systems (RSS), 2023. 5, 14

[^7]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In the-wild robot teaching without in-the-wild robots. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2024. 2, 4

[^8]: Open X-Embodiment Collaboration, Abby O'Neill, Abdul Rehman, Abhinav Gupta, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, Albert Tung,

亚历克斯·比利、亚历克斯·赫尔佐格、亚历克斯·伊尔潘、亚历山大·哈扎茨基、阿南特·拉伊、安奇特·古普塔、安德鲁·王、安德烈·科洛博夫、阿尼凯特·辛格、阿尼梅什·加尔格、阿尼鲁达·肯巴维、安妮·谢、安东尼·布罗汉、安东宁·拉芬、阿尔奇特·夏尔马、阿雷费赫·亚瓦里、阿尔汉·贾因、阿什温·巴拉克里希纳、艾扎恩·瓦希德、本·伯吉斯-利默里克、贝姆琼·金、伯恩哈德·舍尔科普夫、布莱克·伍尔夫、布莱恩·伊克特、曹宇、查尔斯·徐、夏洛特·乐、切尔西·芬恩、陈王、陈峰旭、程驰、程光黄、克里斯汀·陈、克里斯托弗·阿吉亚、楚尔·潘、楚源·傅、科琳·德文、许丹飞、丹尼尔·莫顿、丹尼·德里斯、陈达芬、迪帕克·帕塔克、德鲁夫·沙阿、迪特尔·比希勒、迪内什·贾亚拉曼、德米特里·卡拉什尼科夫、多尔萨·萨迪格、爱德华·约翰斯、伊桑·福斯特、刘芳辰、费德里科·切奥拉、费晓、赵飞宇、费利佩·维埃拉·弗鲁杰里、弗里克·斯图尔普、周高月、高拉夫·S·苏卡特梅、高塔姆·萨尔霍特拉、葛燕、冯吉尔伯特、朱利奥·斯基亚维、格伦·贝塞斯、格雷戈里·卡恩、杨广文、王国志、苏浩、方浩树、石浩晨、鲍恒辉、亨尼·本·阿莫尔、亨里克·I·克里斯滕森、古田弘树、霍曼加·巴拉德瓦杰、霍默·沃尔克、方洪杰、何辉、伊戈尔·莫尔达奇、伊莉亚·拉多萨沃维奇、伊莎贝尔·莱尔、梁杰克、贾德·阿布-查克拉、金宰亨、杰明·德雷克、扬·彼得斯、扬·施奈德、许佳欣、杰伊·瓦基尔、珍妮特·博格、杰弗里·宾厄姆、杰弗里·吴、 Jensen Gao、胡嘉恒、吴佳俊、吴家林、孙建凯、罗建兰、顾佳元、谭杰、吴继宏、吴 Jimmy、陆景佩、杨静云、吉滕德拉·马利克、若昂·席尔维里奥、乔伊·赫纳、乔纳森·布赫、乔纳森·汤普森、乔纳森·杨、霍尔迪·萨尔瓦多、约瑟夫·J·林、韩俊赫、王凯元、拉纳·拉奥、卡尔·珀奇、卡罗尔·豪斯曼、基根·戈、基尔塔纳·戈帕拉克里希南、肯·戈德堡、肯德拉·伯恩、肯尼斯·奥斯伦德、川原冢健人、凯文·布莱克、Kevin Lin、张凯文、基安娜·埃萨尼、基兰·莱卡拉、柯尔斯蒂·埃利斯、克里希南·拉纳、克里希南·斯里尼瓦桑、方宽、库纳尔·普拉塔普·辛格、曾国豪、凯尔·哈奇、许凯尔、劳伦特·伊蒂、陈云良、梅雷尔·平托、李飞飞、林 Liam、林希吉、范立昂、奥托·利昂内尔、丽莎·李、韦卢卡、陈Magnum、玛丽昂·勒佩尔、马里乌斯·梅梅尔、滨津正义、玛莎·伊特基纳、马特奥·瓜曼·卡斯特罗、马克斯·斯佩罗、马克西米利安·杜、迈克尔·安、Michael C. Yip、张明通、丁明宇、许敏浩、莫汉·库马尔·斯里拉姆、莫赫特·夏尔马、金茂珍、金野明、金成浩、金泽中、凯尔·哈奇、许凯尔、劳伦特·伊蒂、陈云良、梅雷尔·平托、李飞飞、林 Liam、林希吉、范立昂、奥托·利昂内尔、丽莎·李、韦卢卡、陈Magnum、玛丽昂·勒佩尔、马里乌斯·梅梅尔、滨津正义、玛莎·伊特基纳、马特奥·瓜曼·卡斯特罗、马克斯·斯佩罗、马克西米利安·杜、迈克尔·安、Michael C. Yip、张明通、丁明宇、许敏浩、莫汉·库马尔·斯里拉姆、莫赫特·夏尔马、金茂珍、金野明、金成浩、金泽中、凯尔·哈奇、许凯尔

---

索纳瓦尼、舒布汉姆·图尔西亚尼、宋书然、徐思春、西丹特·哈尔达尔、西达尔特·卡拉姆切蒂、西蒙·阿德博拉、西蒙·吉斯特、索鲁什·纳西里、斯特凡·沙尔、斯特凡·韦尔克、斯蒂芬·田、苏布拉马尼安·拉马莫西、苏迪普·达萨里、苏尼尔·贝尔哈尔、朴成宰、苏拉杰·奈尔、苏维尔·米尔钱达尼、大佐隆之、坦梅·古普塔、原田达也、松岛达也、肖特·肖、托马斯·科拉尔、余天赫、丁天立、托多尔·达夫切夫、赵子豪、特拉维斯·阿姆斯特朗、特雷弗·达雷尔、崔妮蒂·钟、维迪·贾恩、维卡斯·库马尔、文森特·范霍克、詹伟、周文轩、沃尔夫拉姆·布尔加德、陈曦、陈翔宇、王晓龙、朱星浩、耿欣阳、刘希源、梁伟、李宣林、庞彦松、卢瑶、马业成、金艺珍、叶夫根·切博塔尔、周一帆、朱一峰、吴怡琳、徐颖、王一轩、约纳坦·比斯克、窦永强、赵允英、李永云、崔宇辰、曹越、吴岳华、唐玉金、朱宇科、张云楚、蒋云帆、李云双、李云珠、岩泽佑介、松尾裕、马泽涵、许卓、崔子辰、张子辰、付子鹏和林子鹏。《Open X-Embodiment：机器人学习数据集与RT-X模型》，2023年。1, 2, 3, 7

[^9]: Juan Antonio Corrales, Francisco A Candelas, and Fernando Torres. Hybrid tracking of human operators using imu/uwb data fusion by a kalman filter. In Proceedings of the 3rd ACM/IEEE international conference on Human robot interaction, pages 193–200, 2008. 2

[^10]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Epic-kitchens: A large-scale dataset for recognizing, anticipating, and retrieving hand-object interactions. In Proceedings of the European Conference on Computer Vision (ECCV), pages 802–819, 2018.1,2

[^11]: Sudeep Dasari, Mohan Kumar Srirama, Unnat Jain, and Abhinav Gupta. An unbiased look at datasets for visuomotor pre-training. In Conference on Robot Learning. PMLR, 2023. 2, 3, 5, 14

[^12]: Haritheja Etukuru, Norihito Naka, Zijin Hu, Seungjae Lee, Julian Mehu, Aaron Edsinger, Chris Paxton, Soumith Chintala, Lerrel Pinto, and Nur Muhammad Mahi Shafiullah. Robot utility models: General policies for zero-shot deployment in new environments, 2024. 2

[^13]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 3

[^14]: Authors from UC San Diego and MIT. Open-television: An open-source immersive teleoperation system with stereo visual feedback. The Robot Report, 2024. 4

[^15]: Kristen Grauman, Michael Ryoo, Aljoša Smolić, Minh Vo, and et al. Ego4d: Around the world in 3,000 hours

关于以自我为中心的视频。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第11743–11753页，2022年。1, 2

[^16]: Huy Ha, Yihuai Gao, Zipeng Fu, Jie Tan, and Shuran Song. UMI on legs: Making manipulation policies mobile with manipulation-centric whole-body controllers. In Proceedings of the 2024 Conference on Robot Learning, 2024. 5

[^17]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020. 4

[^18]: Yafei Hu, Quanting Xie, Vidhi Jain, Jonathan Francis, Jay Patrikar, Nikhil Keetha, Seungchan Kim, Yaqi Xie, Tianyi Zhang, Zhibo Zhao, et al. Toward general-purpose robots via foundation models: A survey and meta-analysis. arXiv preprint arXiv:2312.08782, 2023. 2

[^19]: Aadhithya Iyer, Zhuoran Peng, Yinlong Dai, Irmak Guzey, Siddhant Haldar, Soumith Chintala, and Lerrel Pinto. OPEN TEACH: A versatile teleoperation system for robotic manipulation. arXiv preprint arXiv:2403.07870, 2024. 2

[^20]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video, 2024. 2, 7

[^21]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024. 1, 2, 7

[^22]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024. 2

[^23]: Fanqi Lin, Yingdong Hu, Pingyue Sheng, Chuan Wen, Jiacheng You, and Yang Gao. Data scaling laws in imitation learning for robotic manipulation. In Conference on Robot Learning (CoRL), 2024. 2, 5

[^24]: Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. In NeurIPS, 2023. 1

[^25]: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, and Roberto Martín-Martín. What matters in learning from offline human demonstrations for robot manipulation. arXiv preprint arXiv:2108.03298, 2021. 2

### [^26]: Mayank Mittal, Calvin Yu, Qinxi Yu, Jingzhou Liu, Nikita Rudin, David Hoeller, Jia Lin Yuan, Ritvik Singh, Yunrong Guo, Hammad Mazhar, Ajay Mandlekar, Buck Babich, Gavriel State, Marco Hutter, and Animesh Garg. Orbit: A unified simulation framework for interactive

---

机器人学习环境。《IEEE机器人与自动化快报》，第8卷第6期：3740–3747页，2023年6月。ISSN 2377-3774。doi: 10.1109/lra.2023.3270034。网址：<http://dx.doi.org/10.1109/LRA.2023.3270034>。14

[^27]: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, and Chelsea Finn. R3M: A universal visual representation for robot manipulation. arXiv preprint arXiv:2203.12601, 2022. 2, 5

[^28]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Hamer: Hand mesh recovery for the egoexo4d hand pose challenge. 2

[^29]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2

[^30]: Alexandra Pfister, Alexandre M West, Shaw Bronner, and Jack Adam Noah. Comparative abilities of microsoft kinect and vicon 3d motion capture for gait analysis. Journal of medical engineering & technology, 38(5):274–280, 2014.

[^31]: Dean A Pomerleau. Alvinn: An autonomous land vehicle in a neural network. Advances in neural information processing systems, 1, 1988. 5

[^32]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J. Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, and Xiaolong Wang. Humanoid policy ~ human policy. arXiv preprint arXiv:2503.13441, 2025. 2, 4, 7

[^33]: Ilija Radosavovic, Tete Xiao, Stephen James, Pieter Abbeel, Jitendra Malik, and Trevor Darrell. Real-world robot learning with masked visual pre-training. CoRL, 2022. 5

[^34]: Nathan D. Ratliff, Jan Issac, Daniel Kappler, Stan Birchfield, and Dieter Fox. Riemannian motion policies, 2018. URL <https://arxiv.org/abs/1801.02854>. 14

[^35]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021. 2

[^36]: Stéphane Ross, Geoffrey Gordon, and Drew Bagnell. A reduction of imitation learning and structured prediction to no-regret online learning. In Proceedings of the fourteenth international conference on artificial intelligence and statistics, pages 627–635. JMLR Workshop and Conference Proceedings, 2011. 5

[^37]: Stefan Schaal. Is imitation learning the route to humanoid robots? Trends in cognitive sciences, 3(6):233–242, 1999. 5

[^38]: Kenneth Shaw, Ananye Agarwal, and Deepak Pathak. Leap hand: Low-cost, efficient, and anthropomorphic hand for robot learning. Robotics: Science and Systems (RSS), 2023. 6

[^39]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. Videodex: Learning dexterity from internet videos. In Karen Liu, Dana Kulic, and Jeff Ichnowski, editors, Proceedings of The 6th Conference on Robot Learning, volume 205 of Proceedings of Machine Learning Research, pages 654–665. PMLR, 14–18 Dec 2023. 2

[^40]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. Videodex: Learning dexterity from internet videos. In Conference on Robot Learning, pages 654–665. PMLR, 2023. 2, 3

[^41]: Kenneth Shaw, Yulong Li, Jiahui Yang, Mohan Kumar Srirama, Ray Liu, Haoyu Xiong, Russell Mendonca, and Deepak Pathak. Bimanual dexterity for complex tasks. In 8th Annual Conference on Robot Learning, 2024. 2, 3, 4, 6, 8, 14

[^42]: Himanshu Gaurav Singh, Antonio Loquercio, Carmelo Sferrazza, Jane Wu, Haozhi Qi, Pieter Abbeel, and Jitendra Malik. Hand-object interaction pretraining from videos, 2024. URL <https://arxiv.org/abs/2409.08273.2>

[^43]: Ritvik Singh, Arthur Allshire, Ankur Handa, Nathan Ratliff, and Karl Van Wyk. Dextrah-rgb: Visuomotor policies to grasp anything with dexterous hands. arXiv preprint arXiv:2412.01791, 2024. 2

[^44]: Aravind Sivakumar, Kenneth Shaw, and Deepak Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube, 2022. 4

[^45]: Aravind Sivakumar, Kenneth Shaw, and Deepak Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube. RSS, 2022. 2

[^46]: Shuran Song, Andy Zeng, Johnny Lee, and Thomas Funkhouser. Grasping in the wild: Learning 6dof closed-loop grasping from low-cost demonstrations. Robotics and Automation Letters, 2020. 2

[^47]: Mohan Kumar Srirama, Sudeep Dasari, Shikhar Bahl, and Abhinav Gupta. HRP: Human affordances for robotic pre-training. In Proceedings of Robotics: Science and Systems, Delft, Netherlands, 2024. 2, 5

[^48]: Andreas Steiner, André Susano Pinto, Michael Tschannen, Daniel Keysers, Xiao Wang, Yonatan Bitton, Alexey Gritsenko, Matthias Minderer, Anthony Sherbondy, Shangbang Long, Siyang Qin, Reeve Ingle, Emanuele Bugliarello, Sahar Kazemzadeh, Thomas Mensch, Ibrahim Alabdulmohsin, Lucas Beyer, and Xiaohua Zhai. PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv preprint arXiv:2412.03555, 2024.

[^49]: OM Team, D Ghosh, H Walke, K Pertsch, K Black, O Mees, S Dasari, J Hejna, C Xu, J Luo, et al. Octo: An open-source generalist robot policy. Proceedings of Robotics: Science and Systems, Delft, Netherlands, 2023. 2, 3, 7

[^50]: Yushuang Tian, Xiaoli Meng, Dapeng Tao, Dongquan Liu, and Chen Feng. Upper limb motion tracking with the integration of imu and kinect. Neurocomputing, 159: 207–218, 2015.

### [^51]: Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Bap-

---

罗齐埃、纳曼·戈亚尔、埃里克·汉布罗、费萨尔·阿扎尔等。《Llama：开放且高效的基础语言模型》。arXiv预印本arXiv:2302.13971，2023年。

[^52]: Valve Corporation. <https://store.steampowered.com/steamvr>. [Virtual reality platform]. 3

[^53]: A Vaswani. Attention is all you need. Advances in Neural Information Processing Systems, 2017. 1

[^54]: Homer Walke, Kevin Black, Abraham Lee, Moo Jin Kim, Max Du, Chongyi Zheng, Tony Zhao, Philippe Hansen-Estruch, Quan Vuong, Andre He, Vivek Myers, Kuan Fang, Chelsea Finn, and Sergey Levine. Bridgedata v2: A dataset for robot learning at scale. In Conference on Robot Learning (CoRL), 2023. 1, 2

[^55]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. In Robotics: Science and Systems (RSS), 2024. 2, 3

[^56]: Philipp Wu, Yide Shent, Zhongke Yi, Xingyu Lin, and Pieter Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators, 2023. 2, 8

[^57]: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, et al. Latent action pretraining from videos. arXiv preprint arXiv:2410.11758, 2024. 2

[^58]: Han Zhang, Songbo Hu, Zhecheng Yuan, and Huazhe Xu. Doglove: Dexterous manipulation with a low-cost open-source haptic force feedback glove. arXiv preprint arXiv:2502.07730, 2025. 2

[^59]: Tony Z. Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. In Proceedings of Robotics: Science and Systems (RSS), 2023. 2, 5, 14

## [^60]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 2, 3

---

## 七、附录

我们的成果视频、重现系统的代码以及硬件说明均可在网站<https://dexwild.github.io>上查看。

## A. 详细任务描述与评分标准

我们评估了五项灵巧操作任务，每项任务旨在测试不同的能力，如功能性抓取、长时程规划、精确度、双手协调以及可变形物体操作。每项任务均根据基于离散完成里程碑的结构化评分细则进行打分。

任务评分标准旨在根据特定的完成里程碑来量化不同机器人任务的性能。每项任务都有一组定义好的动作及其对应的分值。更复杂的或功能上更成功的动作会被赋予更高的分数，而部分完成或失败的尝试则得分较低。这种结构化的评分系统能够确保对任务性能进行一致的评估与比较。

## 喷雾瓶任务

该任务用于测试功能性抓取与物体可利用性理解能力。机器人必须抓住喷雾瓶并将其对准目标布料进行喷洒。

- 0.00：无操作

- 0.15：尝试功能性抓取但失败

-0.25：抓住瓶子

- 0.75：抓住瓶子并对准布料

– 0.75：抓住瓶子并使用功能性抓取方式

– 1.00：抓住瓶子，使用功能性抓取方式，并对准布料

## 玩具清理任务

该任务用于测试长时程规划与泛化能力。机器人必须收集散落的玩具并将它们放入指定的收纳箱。

- 0.00：无操作

- 0.25：尝试抓取但失败

- 0.50：抓取物体

- 1.00：抓取物体，将其放入垃圾桶

### 倾倒液体

该任务用于评估机器人的精准运动控制能力以及从喷瓶任务中习得的控制技能迁移能力。机器人需将瓶子中的液体倒入容器中。

- 0.00：无操作

– 0.15：尝试功能性抓取但失败

-0.25：抓取瓶子

- 0.75：抓取瓶子，将其倒入容器

- 0.75：抓取瓶子，采用功能性抓取方式

– 1.00：抓取瓶子，采用功能性抓取方式，将其倒入容器

### 双手插花任务

该任务用于评估机器人双手的协同控制能力。机器人需拾起花朵，将其递给另一只机械臂，再插入花瓶中。

- 0.00：无操作

- 0.15：尝试抓取但失败

- 0.25：抓取花束

![Image](images/a2e9ac96edbfee12ab432bea082fc56a6d3241626c15d232e9bcf1c35e331e69.jpg)

<div style="text-align: center;">Fig. 9: DexWild-System features a simple and easy-to-use interface for deployment by untrained data collectors.</div>

- 0.75：抓取花束并移交

- 1.00：抓取花束、移交并将其插入花瓶

### 叠衣服任务

该任务用于测试机器人双手对可变形物体的操控能力。机器人需将放置在表面的衣物折叠整齐。

- 0.00：无操作

- 0.25：尝试抓取但失败

– 0.50：单手抓取

– 0.75：双手抓取

### B. 数据收集流程

- 1.00：抓取并折叠

为便于在未受过训练的数据采集员处部署DexWild-System，我们提供了一页纸的操作指南，其中说明了任务要求、物体摆放方式以及系统的启动与关闭方法。DexWild-System包含三个核心组件：腕部追踪摄像头、用于本地数据采集的电池供电迷你电脑，以及配备动作捕捉手套和掌心摄像头的定制传感器模块。在新地点使用时，用户只需戴上动作捕捉手套，并用提供的移动电源为迷你电脑供电即可。若需进行以自身为中心的动作追踪，可使用头带固定追踪摄像头；若需进行以外部为中心的追踪，我们会提供可折叠三脚架。系统启动后，用户可启动我们定制的桌面应用程序，通过蓝牙遥控器或脚踏板来控制录制过程。用户界面（见图9）会显示传感器状态、SLAM录制情况以及数据采集指示灯，还有用于查看追踪摄像头画面和删除上一片段的按钮。数据采集员每个地点需采集100个片段。当天工作结束后，我们会将数据上传至远程服务器进行处理。

### C. 后续数据处理

每个片段都存储在独立的文件夹中，子文件夹则用于整理各项动作和观测结果。Zed Mini摄像头拍摄的用于SLAM和腕部姿态追踪的SVO录像会单独保存，每个文件涵盖五个片段。开始数据处理时，我们会使用Zed SDK解码这些SVO文件，重建摄像头的运动轨迹。

---

我们利用左侧图像和立体深度数据来执行ArUco立方体跟踪以及手腕姿态估计。随后，我们应用过滤流程来评估跟踪质量；如果超过75%的时间内无法可靠地跟踪手腕姿态，则该片段会被丢弃。接下来，我们计算动作分布，并将超出第2和第97百分位的数去除。我们通过插值和高斯滤波来平滑轨迹，以确保动作流畅。随后，在PyBullet中使用逆向运动学技术对手部动作进行重定位，具体方法参见[^41]。为提高效率，整个流程通过Ray实现并行化。

### D. 行为克隆策略架构与训练超参数

我们的行为克隆策略以RGB图像和相对状态历史作为输入。我们通过ViT获取图像观测的标记，通过线性层获取相对状态的标记。ViT的权重初始化自[^11]中的Soup 1M模型。我们决定加入相对状态，因为发现它能显著提升策略的鲁棒性，并实现更平滑的动作。尤其是在双手任务中，我们发现加入双手姿态（左手相对于右手的姿态）能大幅提高任务成功率，比如在Florist任务中。我们实现了Action Chunking Transformer [^59]和Diffusion U-Net [^6]作为策略类，它们可输出一系列动作。网络输出的动作包括相对末端执行器动作和绝对手部关节角度。

我们在表V中列出了使用行为克隆方法进行策略训练时所用的超参数。

### E. 底层运动控制

为确保策略的最佳平滑度与安全性，我们采用了在Isaac Lab [^34]中实现的Riemannian运动策略（RMP）[^26]。该策略能根据末端执行器目标动态生成关节空间目标。RMP还具有实时避碰功能，可防止机械臂之间的自碰撞以及机械臂与桌面之间的碰撞。尽管我们的策略并不依赖RMP来防止碰撞，但能有这样的保障还是令人安心。

### F. 策略类别对比

DexWild能否适配不同的行为克隆策略类别？表1对比了ACT和Diffusion在In-the-Wild和In-the-Wild Extreme环境下的性能。每种策略均在仅机器人环境和基于DexWild数据集的联合训练（1:2）环境下进行评估。值得注意的是，Diffusion策略从DexWild联合训练中获益更多，在所有任务中均取得最高分，尤其在Pour任务中提升显著——该任务要求策略具备跨任务泛化能力。这些结果表明，DexWild联合训练能够增强泛化能力，尤其是与Diffusion这类表达力强的策略架构搭配使用时。

### G. 跨手部扩展结果

DexWild能否在不同机器人手上实现泛化？表II报告了LEAP Hand在In the Wild和In the Wild Extreme条件下的表现。无论哪种情况，DexWild联合训练的效果都明显优于仅机器人基线。这些结果凸显了DexWild即使在使用完全不同的机器人手时，也能在跨实体泛化方面发挥出色效果。

### H. 规模扩展结果

随着DexWild数据量的增加，DexWild的性能会有所提升吗？

表三显示了随着DexWild数据集使用比例从0%增加到100%，模型性能的稳定提升。随着人类演示数据的增多，性能也稳步提高，尤其在数据集使用比例达到25%到50%之间时，性能提升尤为显著。这些结果证明DexWild能够实现可扩展的学习：即便在数据规模相对较小的情况下也能取得显著进步，而更多数据还能进一步改善模型的泛化能力。

### I. 协同训练的扩展结果

DexWild对不同协同训练比例的反应如何？

表四汇总了三项原始指标：(a) 域内性能、(b) 野外场景性能以及(c) 极端野外场景性能。所有测试均在xArm + LEAP Hand V2 Advanced平台上开展。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Task</td><td rowspan="2">Policy Class</td><td colspan="2">In the Wild</td><td colspan="2">In the Wild Extreme</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Robot Only</td><td style='text-align: center; word-wrap: break-word;'>1:2</td><td style='text-align: center; word-wrap: break-word;'>Robot Only</td><td style='text-align: center; word-wrap: break-word;'>1:2</td></tr><tr><td rowspan="2">Spray</td><td style='text-align: center; word-wrap: break-word;'>ACT</td><td style='text-align: center; word-wrap: break-word;'>0.000</td><td style='text-align: center; word-wrap: break-word;'>0.680</td><td style='text-align: center; word-wrap: break-word;'>0.115</td><td style='text-align: center; word-wrap: break-word;'>0.395</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion</td><td style='text-align: center; word-wrap: break-word;'>0.050</td><td style='text-align: center; word-wrap: break-word;'>0.628</td><td style='text-align: center; word-wrap: break-word;'>0.120</td><td style='text-align: center; word-wrap: break-word;'>0.520</td></tr><tr><td rowspan="2">Toy Cleanup</td><td style='text-align: center; word-wrap: break-word;'>ACT</td><td style='text-align: center; word-wrap: break-word;'>0.458</td><td style='text-align: center; word-wrap: break-word;'>0.583</td><td style='text-align: center; word-wrap: break-word;'>0.125</td><td style='text-align: center; word-wrap: break-word;'>0.458</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion</td><td style='text-align: center; word-wrap: break-word;'>0.521</td><td style='text-align: center; word-wrap: break-word;'>0.875</td><td style='text-align: center; word-wrap: break-word;'>0.500</td><td style='text-align: center; word-wrap: break-word;'>0.625</td></tr><tr><td rowspan="2">Pour (Cross Task)</td><td style='text-align: center; word-wrap: break-word;'>ACT</td><td style='text-align: center; word-wrap: break-word;'>0.025</td><td style='text-align: center; word-wrap: break-word;'>0.508</td><td style='text-align: center; word-wrap: break-word;'>0.000</td><td style='text-align: center; word-wrap: break-word;'>0.350</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion</td><td style='text-align: center; word-wrap: break-word;'>0.000</td><td style='text-align: center; word-wrap: break-word;'>0.958</td><td style='text-align: center; word-wrap: break-word;'>0.000</td><td style='text-align: center; word-wrap: break-word;'>0.917</td></tr></table>

<div style="text-align: center;">TABLE I: DexWild Performance on Different Policy Classes</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Task</td><td colspan="2">In the Wild</td><td colspan="2">In the Wild Extreme</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Robot Only</td><td style='text-align: center; word-wrap: break-word;'>1:2</td><td style='text-align: center; word-wrap: break-word;'>Robot Only</td><td style='text-align: center; word-wrap: break-word;'>1:2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spray</td><td style='text-align: center; word-wrap: break-word;'>0.305</td><td style='text-align: center; word-wrap: break-word;'>0.805</td><td style='text-align: center; word-wrap: break-word;'>0.150</td><td style='text-align: center; word-wrap: break-word;'>0.600</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Toy Cleanup</td><td style='text-align: center; word-wrap: break-word;'>0.500</td><td style='text-align: center; word-wrap: break-word;'>0.656</td><td style='text-align: center; word-wrap: break-word;'>0.250</td><td style='text-align: center; word-wrap: break-word;'>0.542</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pour (Cross Task)</td><td style='text-align: center; word-wrap: break-word;'>0.050</td><td style='text-align: center; word-wrap: break-word;'>0.917</td><td style='text-align: center; word-wrap: break-word;'>0.000</td><td style='text-align: center; word-wrap: break-word;'>0.817</td></tr></table>

<div style="text-align: center;">TABLE II: LEAP Hand Performance on In-the-Wild and In-the-Wild Extreme Tasks. Ratio is Robot:Human</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Scale</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>25%</td><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>100%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spray</td><td style='text-align: center; word-wrap: break-word;'>0.060</td><td style='text-align: center; word-wrap: break-word;'>0.260</td><td style='text-align: center; word-wrap: break-word;'>0.605</td><td style='text-align: center; word-wrap: break-word;'>0.565</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Toy Cleanup</td><td style='text-align: center; word-wrap: break-word;'>0.514</td><td style='text-align: center; word-wrap: break-word;'>0.442</td><td style='text-align: center; word-wrap: break-word;'>0.440</td><td style='text-align: center; word-wrap: break-word;'>0.792</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>0.287</td><td style='text-align: center; word-wrap: break-word;'>0.351</td><td style='text-align: center; word-wrap: break-word;'>0.523</td><td style='text-align: center; word-wrap: break-word;'>0.678</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Std</td><td style='text-align: center; word-wrap: break-word;'>0.321</td><td style='text-align: center; word-wrap: break-word;'>0.129</td><td style='text-align: center; word-wrap: break-word;'>0.116</td><td style='text-align: center; word-wrap: break-word;'>0.160</td></tr></table>

<div style="text-align: center;">TABLE III: Performance Scaling with DexWild Dataset Size</div>

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Task</td><td style='text-align: center; word-wrap: break-word;'>Robot</td><td style='text-align: center; word-wrap: break-word;'>1:1</td><td style='text-align: center; word-wrap: break-word;'>1:2</td><td style='text-align: center; word-wrap: break-word;'>1:5</td><td style='text-align: center; word-wrap: break-word;'>Human</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spray</td><td style='text-align: center; word-wrap: break-word;'>0.690</td><td style='text-align: center; word-wrap: break-word;'>0.630</td><td style='text-align: center; word-wrap: break-word;'>0.763</td><td style='text-align: center; word-wrap: break-word;'>0.381</td><td style='text-align: center; word-wrap: break-word;'>0.030</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Toy Cleanup</td><td style='text-align: center; word-wrap: break-word;'>0.604</td><td style='text-align: center; word-wrap: break-word;'>0.792</td><td style='text-align: center; word-wrap: break-word;'>0.833</td><td style='text-align: center; word-wrap: break-word;'>0.708</td><td style='text-align: center; word-wrap: break-word;'>0.042</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>0.647</td><td style='text-align: center; word-wrap: break-word;'>0.711</td><td style='text-align: center; word-wrap: break-word;'>0.798</td><td style='text-align: center; word-wrap: break-word;'>0.545</td><td style='text-align: center; word-wrap: break-word;'>0.036</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Std</td><td style='text-align: center; word-wrap: break-word;'>0.061</td><td style='text-align: center; word-wrap: break-word;'>0.114</td><td style='text-align: center; word-wrap: break-word;'>0.050</td><td style='text-align: center; word-wrap: break-word;'>0.232</td><td style='text-align: center; word-wrap: break-word;'>0.008</td></tr></table>

<div style="text-align: center;">(a) Performance Across Cotrain Ratios for Varying Deployment Conditions. Ratio is Robot:Human</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Task</td><td style='text-align: center; word-wrap: break-word;'>Robot</td><td style='text-align: center; word-wrap: break-word;'>1:1</td><td style='text-align: center; word-wrap: break-word;'>1:2</td><td style='text-align: center; word-wrap: break-word;'>1:5</td><td style='text-align: center; word-wrap: break-word;'>Human</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spray</td><td style='text-align: center; word-wrap: break-word;'>0.050</td><td style='text-align: center; word-wrap: break-word;'>0.625</td><td style='text-align: center; word-wrap: break-word;'>0.628</td><td style='text-align: center; word-wrap: break-word;'>0.393</td><td style='text-align: center; word-wrap: break-word;'>0.063</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Toy Cleanup</td><td style='text-align: center; word-wrap: break-word;'>0.521</td><td style='text-align: center; word-wrap: break-word;'>0.646</td><td style='text-align: center; word-wrap: break-word;'>0.875</td><td style='text-align: center; word-wrap: break-word;'>0.625</td><td style='text-align: center; word-wrap: break-word;'>0.083</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>0.285</td><td style='text-align: center; word-wrap: break-word;'>0.635</td><td style='text-align: center; word-wrap: break-word;'>0.751</td><td style='text-align: center; word-wrap: break-word;'>0.509</td><td style='text-align: center; word-wrap: break-word;'>0.073</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Std</td><td style='text-align: center; word-wrap: break-word;'>0.333</td><td style='text-align: center; word-wrap: break-word;'>0.015</td><td style='text-align: center; word-wrap: break-word;'>0.175</td><td style='text-align: center; word-wrap: break-word;'>0.164</td><td style='text-align: center; word-wrap: break-word;'>0.015</td></tr></table>

<div style="text-align: center;">(b) In-the-Wild Task Performance</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Task</td><td style='text-align: center; word-wrap: break-word;'>Robot</td><td style='text-align: center; word-wrap: break-word;'>1:2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spray</td><td style='text-align: center; word-wrap: break-word;'>0.120</td><td style='text-align: center; word-wrap: break-word;'>0.520</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Toy Cleanup</td><td style='text-align: center; word-wrap: break-word;'>0.500</td><td style='text-align: center; word-wrap: break-word;'>0.625</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Bimanual Florist</td><td style='text-align: center; word-wrap: break-word;'>0.063</td><td style='text-align: center; word-wrap: break-word;'>0.623</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Bimanual Clothes Folding</td><td style='text-align: center; word-wrap: break-word;'>0.198</td><td style='text-align: center; word-wrap: break-word;'>0.740</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>0.220</td><td style='text-align: center; word-wrap: break-word;'>0.627</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Std</td><td style='text-align: center; word-wrap: break-word;'>0.195</td><td style='text-align: center; word-wrap: break-word;'>0.090</td></tr></table>

(c) 极端野外场景任务性能

表四：不同协同训练比例下的性能表现

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td colspan="2">Training Configuration</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Optimizer</td><td style='text-align: center; word-wrap: break-word;'>AdamW</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Base Learning Rate</td><td style='text-align: center; word-wrap: break-word;'>3e-4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Optimizer Momentum</td><td style='text-align: center; word-wrap: break-word;'>$\beta_{{1}}, \beta_{{2}} = 0.95, 0.999$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate Schedule</td><td style='text-align: center; word-wrap: break-word;'>Cosine (diffusers)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warmup Steps</td><td style='text-align: center; word-wrap: break-word;'>2000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Total Steps</td><td style='text-align: center; word-wrap: break-word;'>70000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>256</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Environment Frequency</td><td style='text-align: center; word-wrap: break-word;'>30 Hz</td></tr><tr><td colspan="2">Observation Settings</td></tr><tr><td rowspan="2">Proprioception Horizon</td><td style='text-align: center; word-wrap: break-word;'>1 (Spray, Toy, Pour)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3 (Florist, Clothes)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Image Horizon</td><td style='text-align: center; word-wrap: break-word;'>1 (all tasks)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Observation Resolution</td><td style='text-align: center; word-wrap: break-word;'>224 $\times$224</td></tr><tr><td rowspan="2">Observation Dim</td><td style='text-align: center; word-wrap: break-word;'>9 (Spray, Toy, Pour)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>27 (Florist, Clothes)</td></tr><tr><td rowspan="2">Action Dimension</td><td style='text-align: center; word-wrap: break-word;'>26 (Spray, Toy, Pour)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>52 (Florist, Clothes)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Action Chunk Size</td><td style='text-align: center; word-wrap: break-word;'>48</td></tr><tr><td colspan="2">Action Chunking Transformer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'># Encoder Layers</td><td style='text-align: center; word-wrap: break-word;'>4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'># Decoder Layers</td><td style='text-align: center; word-wrap: break-word;'>6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'># MHSA Heads</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Feed-Forward Dim</td><td style='text-align: center; word-wrap: break-word;'>3200</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hidden Dim (Token Dim)</td><td style='text-align: center; word-wrap: break-word;'>768</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dropout</td><td style='text-align: center; word-wrap: break-word;'>0.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Feature Norm</td><td style='text-align: center; word-wrap: break-word;'>LayerNorm</td></tr><tr><td colspan="2">Diffusion U-Net Policy</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Train Diffusion Steps</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Eval Diffusion Steps</td><td style='text-align: center; word-wrap: break-word;'>16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Down Channels</td><td style='text-align: center; word-wrap: break-word;'>[^256] [^512] [^1024]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Kernel Size</td><td style='text-align: center; word-wrap: break-word;'>3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Groups (GN)</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dropout</td><td style='text-align: center; word-wrap: break-word;'>0.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Feature Norm</td><td style='text-align: center; word-wrap: break-word;'>None</td></tr></table>

<div style="text-align: center;">TABLE V: Full training and architecture settings used across our experiments.</div>