# DexCap：用于灵巧操作的可扩展且便携的动作捕捉数据收集系统

陈王、施浩辰、王伟卓、张若涵、李飞飞、刘凯伦

斯坦福大学

<https://dex-cap.github.io>

![Image](images/7a7a73a849848c7465cfde80886b97ca67d872f2a7e27c2a4b181ac7c38021ee.jpg)

<div style="text-align: center;">(a) DexCap: Portable motion capture system</div>

![Image](images/e8d853f505e345f9c10afebf08035b3982b9b92757b6f1b8028d46a4fbd79af4.jpg)

<div style="text-align: center;">(b) Mocap data and 3D scene</div>

![Image](images/97a45cc500bcce49fadf3aaec90852247463dcd29d67b4b3a23f51002d84caf1.jpg)

<div style="text-align: center;">(c) DexIL: Dexterous imitation learning</div>

<div style="text-align: center;">Fig. 1: DEXCAP facilitates the in-the-wild collection of high-quality human hand motion capture data and 3D observations. Leveraging this data, DEXIL adapts it to the robot embodiment and trains control policy to perform the same task.</div>

摘要—利用人类手部运动数据进行模仿学习，是为机器人赋予类人灵巧性以完成现实世界操作任务的一条极具前景的路径。尽管潜力巨大，但现有手部动作捕捉（mocap）系统的便携性，以及将动作捕捉数据转化为有效机器人策略的复杂性等问题依然突出。为解决这些难题，我们推出了便携式手部动作捕捉系统DEXCAP，以及一种能从人类手部动作捕捉数据中直接训练灵巧机器人技能的新型模仿学习算法DEXIL。DEXCAP基于SLAM与电磁场技术，结合三维环境观测数据，能够实现对手腕和手指运动的精准且抗遮挡的追踪。借助这一丰富的数据集，DEXIL利用逆运动学和基于点云的模仿学习方法，让机器人手能够无缝复现人类动作。除了直接通过人类运动数据学习外，DEXCAP还提供了可选的人在回路校正机制，可在策略执行过程中优化并进一步提升任务表现。通过在六项具有挑战性的灵巧操作任务中进行的广泛评估，我们的方法不仅展现了卓越的性能，还证明了该系统能够从野外采集的动作捕捉数据中有效学习，为未来实现人类级机器人灵巧性所需的数据收集方法铺平了道路。

## 一、引言

打造能够执行日常操作任务的机器人系统是一项由来已久的挑战。我们的生活环境和日常用品均是按照人类手部功能设计的，这对开发未来的家用机器人而言构成了巨大挑战。近期在机器人灵巧性方面的突破，尤其是在多指机械手的高自由度控制领域，展现出了巨大的潜力[1–3]。然而，由于硬件和算法层面的挑战，要让机器人手在操作任务中模拟出人类级别的灵巧性仍尚未解决。

模仿学习（IL）[^4] [^5] 近期在这一目标上取得了显著进展[^6] [^7]，尤其是通过利用人类演示数据进行监督式训练。常用的数据采集方式是远程操控机器人手来执行任务。但由于需要真实的机器人系统且机器人运动速度较慢，这种方式难以大规模推广。另一种方式是在不控制机器人的情况下直接追踪人类的手部运动。当前这类系统主要以单目摄像头为基础的视觉系统。不过，除了追踪算法能否提供对机器人策略学习至关重要的精准三维信息外，这些系统在手与物体交互时经常出现的视觉遮挡问题上也十分脆弱。

相较于基于视觉的方法，获取灵巧操作数据的更好途径是通过动作捕捉（mocap）。动作捕捉系统能够提供精确的3D信息，且对视觉遮挡具有较强鲁棒性。因此，人类操作员可以直接用手与环境互动，这种方式不仅快捷，而且易于扩展——因为无需依赖机器人硬件。为了将手部动作捕捉系统扩展到机器人学习所需的日常任务及环境中的数据采集场景，理想的系统应具备便携性，能够支持长时间的捕捉作业，同时能提供精确的手指和手腕姿态数据以及3D环境信息。大多数手部动作捕捉系统并不具备便携性，且依赖经过精密校准的第三方视角摄像头。虽然电磁场（EMF）手套解决了这一问题，但它们无法追踪世界坐标系下的手腕6自由度姿态，而这一数据对于末端执行器策略学习至关重要。像基于惯性测量单元（IMU）的全身式穿戴设备虽能监测手腕位置，但随时间推移容易出现漂移现象。

### 除了硬件方面的挑战外，利用动作捕捉数据进行机器人模仿学习还面临算法层面的难题。尽管灵巧机器人手使得直接从人类手部数据学习成为可能，但机器人手与人类手之间在尺寸、比例和运动结构上的固有差异，要求人们设计出创新的算法来弥合这些实体差异。

---

为应对这些挑战，我们的研究同时推出了一种新型便携式手部动作捕捉系统DEXCAP，以及一种名为DEXIL的模仿学习算法，该算法能让机器人直接根据人类手部动作捕捉数据来学习灵巧操作策略。

DEXCAP（见图1）是一种便携式手部动作捕捉系统，能够实时（60Hz）追踪手腕的6自由度姿态及手指运动情况。该系统包含用于追踪指关节的动作捕捉手套、安装在每只手套上用以通过SLAM技术追踪手腕6自由度姿态的摄像头，以及佩戴在胸部用于观测3D环境的RGB-D激光雷达摄像头。

除了硬件挑战外，由于缺乏相应的数据采集系统和已采集的数据，针对利用动作捕捉数据进行机器人学习的算法研究一直进展缓慢。以往从人类动作中学习的算法主要聚焦于奖励[^8] [^9]、高层规划[^10] [^11]以及视觉表征[^12] [^13]的学习，这些方法往往需要额外的机器人数据，无法直接用于低层控制。在本研究中，我们认为从人类动作中学习低层控制的主要障碍在于相关数据缺少精确的手部运动3D信息（如6自由度手部姿态、3D手指定位），而这正是DEXCAP所能提供的。

为了利用DEXCAP收集的数据来学习灵巧机器人策略，我们提出了基于动作捕捉数据的模仿学习框架DEXIL。该框架包含两大步骤：数据重定向，以及使用点云输入训练基于生成式的行为克隆策略，此外还包含一个可选的人机交互式运动校正步骤。在数据重定向阶段，我们利用逆向运动学（IK）将机械手指尖定位到与人类指尖相同的3D位置。腕部的6自由度姿态被用作IK的初始值，以确保人类与机器人之间的腕部运动一致。随后，我们将RGB-D观测数据转换为基于点云的表示形式。接着，我们采用基于扩散策略的点云行为克隆算法 [^14]。在那些IK不足以弥补人类与机器人手部之间差异的更具挑战性的任务中，我们提出了一种人机交互式运动校正机制。在策略执行过程中，人类可以佩戴DEXCAP，当机器人出现意外行为时中断其运动，而这些中断数据可进一步用于策略微调。

综上所述，本研究的主要贡献包括：

- DEXCAP：一种新型便携式人手动作捕捉系统，能够为灵巧操控任务实现腕部和手指运动的实时跟踪。

- DEXIL：一种模仿学习框架，利用手部动作捕捉数据直接从人类手部运动中学习灵巧操控技能。

### II. 相关工作

- 人机交互式校正：结合DEXCAP的人机交互式校正机制，能够显著提升机器人在复杂任务中的表现。

### A. 灵巧操控

灵巧操控一直是机器人领域的研究热点[15–19]，由于自由度高，给规划与控制带来了巨大挑战。传统的最优控制方法[17–19]往往需要简化接触条件，但在更复杂的任务中这通常难以实现。近年来，人们开始探索强化学习，以便在仿真环境中学习灵巧策略，且对任务或环境的假设极少[2, 20–29]。所学得的策略能够解决复杂的任务，包括物体内部重新定向[2, 20, 23–25, 28]、双手协同操控 [^26] [^30] 以及长时序操控 [^22] [^27]。然而，由于仿真到现实的差距，将所学策略部署到真实机器人上仍颇具挑战性。另一方面，模仿学习侧重于直接从真实世界的演示数据中学习，这些数据可通过遥操作 [^1] [^6] [^31] [^32] 或人类视频 [^3] [^33] [^34] 获得。DIME [^31] 利用虚拟现实技术来遥操作灵巧手以采集数据；Qin等人 [^35] 利用RGB摄像头追踪手部姿态以实现遥操作；DexTransfer [^36] 利用人类动作捕捉数据指导灵巧抓取；DexMV [^33]、DexVIP [^34] 和VideoDex [^3] 则利用人类视频数据学习运动先验，但往往需要在仿真环境或真实机器人遥操作数据上进行额外训练。我们的工作聚焦于灵巧模仿学习，依托DEXCAP采集基于3D点云观测的高质量手部动作捕捉数据，这些数据可直接用于训练单手或双手机器人的底层位置控制策略。

### B. 手部动作捕捉系统

人手动作捕捉是计算机视觉与图形学领域的一项重要技术。以往的大多数系统基于摄像头、惯性测量单元（IMU）或电磁场（EMF）原理。基于摄像头的系统利用单目摄像头[37–39]、RGB-D摄像头[40–42]、VR头显[^43]，或多视角带标记点的摄像头[^44] [^45]。然而，在存在严重遮挡的场景中，手部运动追踪的质量会迅速下降，而这种场景在物体交互过程中十分常见。其中一些系统还需要使用经过校准的第三方视角摄像头，这类设备既不便于携带也无法扩展。近年来，惯性测量单元（IMU）已被用于野外环境下的人体动作捕捉[46–50]。不过，它们大多专注于全身动作捕捉，无法捕捉精细的手指运动。基于EMF的动作捕捉手套专为捕捉手指运动而设计，广泛应用于灵巧操作遥控领域[51–53]。但这类手套无法追踪以环境为基准的六自由度手掌姿态，也缺少用于训练机器人策略的视觉观测数据。DEXCAP是一种动作捕捉手套系统，旨在收集用于训练视觉-运动操控策略的数据。通过创新的工程设计，我们的系统能够抵御遮挡干扰，捕捉精细的手指运动，利用SLAM技术追踪手掌姿态，还能通过可穿戴式摄像背心记录RGB-D图像以重建场景。

---

![Image](images/8fcda2d3b152dcda89551713f1ff517a7e062bed998765d51d39e78dd3fae447.jpg)

<div style="text-align: center;">(a) DexCap front view</div>

<div style="text-align: center;">(b) DexCap back view</div>

<div style="text-align: center;">(c) Details of the camera setup</div>

<div style="text-align: center;">Fig. 2: Details of the human system. (a) Our setup includes a 3D-printed rack on a chest harness, featuring a Realsense L515 LiDAR camera on top and three Realsense T265 tracking cameras below. (b) An Intel NUC and power bank in a backpack power the system for approximately 40 minutes of data collection. (c) The T265 cameras, initially in a known pose for calibration, are relocated to hand mounts during data collection to monitor palm positions, ensuring consistency through a click-in design. Finger motions are captured by Rokoko gloves, accurately tracking the finger joint positions.</div>

### C. 基于人类演示的机器人学习

模仿学习（IL）使机器人能够成功执行各类操控任务[4, 54–60]。传统的模仿学习算法如DMP和PrMP[61–64]虽然学习样本效率较高，但在处理高维度观测数据方面存在局限。相比之下，基于深度神经网络的新型模仿学习方法能够利用原始图像观测输入来学习策略[^65] [^66]，甚至适用于配备双臂的高自由度机器人系统[^67] [^68]。尽管这些算法效果显著，但模仿学习面临的一个关键挑战是如何扩大训练数据的规模。以往的研究主要依赖遥操作数据[66, 69–77]，但由于需要机器人硬件支持，这类数据的采集成本很高。近年来，利用人类运动数据进行学习逐渐受到更多关注，因为这种方式无需借助机器人硬件即可采集数据[^78]。通过利用人类视频[^11] [^79]和手部轨迹[10, 80–82]，已经取得了令人鼓舞的成果，能够以更少的人工干预来训练策略。不过，这些人类运动数据仅存在于二维图像空间中[^80] [^83] [^84]，无法直接用于训练三维环境中的六自由度操控策略，通常需要额外的遥操作数据来填补这一缺口[^10] [^11] [^79]。最近，人机交互校正算法在机器人学习领域也展现出了良好的应用前景[85–87]。我们的DEXCAP能够同时追踪基于三维点云观测的六自由度手部姿态及手指运动，且便于携带，无需机器人即可采集数据。基于DEXCAP采集的数据，我们提出了DEXIL——一种基于点云的模仿学习算法，用于学习精细的灵巧操控策略，针对更具挑战性的任务还可选择加入人机交互校正步骤。

### D. 用于操控任务的便携式数据采集系统

近期，低成本手持式夹持器的发展取得了令人瞩目的成果，它们能够在无需机器人硬件的情况下收集机器人操控数据[88–94]。所有这些系统都是为平行夹持器的数据采集过程而设计和使用的，而在本研究中，我们旨在收集用于灵巧操控任务的多指手部运动数据（例如使用剪刀和拧开瓶盖）。

### III. 硬件系统：DEXCAP

在本节中，我们将介绍系统设计，包括：(1) 用于数据采集的便携式人手运动捕捉系统DEXCAP（见第III-A节）；(2) 配备灵巧手、用于测试从采集数据中学习到的策略的双臂机器人系统（见第III-B节）。

### A. DexCap

为了捕捉适合训练灵巧机器人策略的精细手部运动数据，DEXCAP的设计围绕四个关键目标展开：(1) 详细的手指运动追踪；(2) 精确的六自由度手腕姿态估计；(3) 在统一的坐标系中与手部动作对齐的3D观测记录；(4) 出色的便携性，以便能在各种现实环境中进行数据采集。我们在不牺牲可扩展性的前提下实现了这些目标——DEXCAP必须易于校准、建造成本低廉，且能稳健地用于野外日常活动的数据采集。

手指运动追踪。我们的系统采用电磁场（EMF）手套，相较于基于视觉的手指追踪系统，它具有显著优势，尤其在对手部与物体交互时常见的视觉遮挡情况的鲁棒性方面。在我们的系统中，手指运动是通过Rokoko动作捕捉手套来追踪的，如图2所示。每只手套的指尖都嵌入了一个微型磁传感器，而信号接收器则安装在手套的背面。每个指尖的3D位置是通过接收器与传感器之间的相对3D位移来测量的。我们在附录中提供了我们的EMF手套系统与不同操控场景下的先进基于视觉的手部追踪方法之间的定性比较。

---

![Image](images/039a4a92e62fa57ec37e4bf9f7c55cbdfb16cd8829f703a81d450302301bd279.jpg)

<div style="text-align: center;">(a) Retargeting with fingertip IK</div>

![Image](images/486acca59b688eddd89b61f3535ac5f74fd7a300235c8566694a97f95a97ab0f.jpg)

<div style="text-align: center;">(b) Bimanual dexterous robot setup</div>

![Image](images/3adf090d37716d4df846e561be1a64ccd3a3d3e604af5be8d6277ac2ed76fb26.jpg)

<div style="text-align: center;">(c) Human-in-the-loop correction setup</div>

<div style="text-align: center;">Fig. 3: Details of the robot system. Mirroring the human system, the robot system reuses the same chest cameras and mount. (a) Once the motion is captured by DexCap, it's retargeted to LEAP hand through discarding pinky finger and IK to match fingertip location. (c) An optional human-in-the-loop correction step can be performed to further refine the motions transferred. Specifically, the human will provide the delta input in real time when the robot system is carrying out the task. Note the hand T265 is only used at correction time, as the robot arm already knows the exact location of fingers.</div>

六自由度手腕姿态追踪。除了手指运动外，了解机器人在3D空间中末端执行器的精确位置对于机器人操控而言至关重要。这就要求DEXCAP在数据采集过程中能够估计并记录人手的六自由度姿态轨迹。虽然基于摄像头和基于IMU的方法常被使用，但各自都存在局限性。基于摄像头的系统往往不便携，且估计手腕朝向的能力有限，因此不太适合操控任务中的数据采集。基于IMU的系统虽然可穿戴，但在长时间录制时会容易出现位置漂移问题。为解决这些挑战，我们开发了基于SLAM算法的六自由度手腕追踪系统，如图2(c)所示。该系统将Intel Realsense T265摄像头安装在每只手套的背面。它结合两个鱼眼摄像头拍摄的图像和IMU传感器信号，利用SLAM算法构建环境地图，从而实现对手腕六自由度姿态的稳定追踪。该设计有三个关键优势：它具备便携性，无需手腕在第三人称摄像头画面中可见即可追踪手腕姿态；SLAM可利用已构建的地图自动校正位置漂移，适合长时间使用；此外，IMU传感器能为后续流程中训练机器人策略提供关键的手腕朝向信息。

记录三维观测数据与校准过程。要获取训练机器人策略所需的数据，不仅需要追踪手部运动，还要记录作为策略输入的三维环境观测结果。如图2(a)所示，我们为此设计了一款可穿戴式摄像背心。它在胸部上方安装了英特尔RealSense L515 RGB-D激光雷达摄像头，以便在采集人类数据期间捕捉相关观测信息。接下来的关键问题是如何有效地将追踪到的手部运动数据与三维观测结果整合起来。为了简化校准流程，我们设计了如图2(c)所示的3D打印摄像头支架，安装在胸部摄像头下方。数据采集开始时，将所有追踪摄像头放入支架插槽中，以确保各摄像头坐标系之间存在固定的变换关系。随后，我们把追踪摄像头从支架中取出，插入每只手套上的摄像头插槽。通过这种方式，就能借助固定的初始变换关系，轻松将手部姿态追踪结果转换到胸部摄像头的观测坐标系中。完整的校准过程详见附录中的图13和补充视频，整个过程仅需约10秒。为了在人类活动过程中确保观测数据的稳定性，我们在激光雷达摄像头下方安装了另一台鱼眼追踪摄像头（图2(c)中用红色标记），凭借其广阔的视野，该摄像头能提供比激光雷达摄像头更可靠的SLAM性能。我们将这台追踪摄像头的初始姿态坐标系定义为所有数据流的世界坐标系。图6展示了将数据转换为世界坐标系下的彩色点云，并与捕捉到的手部运动一同可视化后的结果。

系统便携性。DEXCAP的便携性核心在于一台小巧的迷你电脑（英特尔NUC 13 Pro），它可装入背包中携带，作为数据记录的主要计算单元。这台电脑由一块容量为40000mAh的便携式充电宝供电，能够支持大约40分钟的连续数据采集（见图2(b)）。背包总重量为3.96磅。补充视频显示，穿戴和校准DEXCAP的过程快速简便，耗时不到10秒。此外，DEXCAP的硬件设计采用模块化思路，搭建成本低廉——对摄像头、动作捕捉手套和迷你电脑的品牌或型号没有限制。我们将为搭建者开源相关代码和教学视频，同时提供多种硬件选项。DEXCAP的整体成本被控制在4000美元以内。

### B. 双腕灵巧机器人

为了验证基于DEXCAP数据训练的机器人策略，我们搭建了双腕灵巧机器人实验平台。该平台由两台Franka Emika机械臂组成，每台机械臂都配备了LEAP灵巧机械手（一种拥有16个关节的四指手）[^95]，如图3(b)所示。在进行策略评估时，从背心上拆下用于采集人类数据的胸部激光雷达摄像头，并将其安装在

---

![Image](images/fffbac18737b8dde6b909bf8d2f64b92117dab3dc8785b86ae6d586f3e2309e7.jpg)

<div style="text-align: center;">(a) DexIL overview</div>

<div style="text-align: center;">(b) Human-in-the-loop correction</div>

<div style="text-align: center;">Fig. 4: Algorithm overview. (a) DEXIL first retargets the DEXCAP data to the robot embodiment by first constructing 3D point clouds from RGB-D observations and transforming it into robot operation space. Meanwhile, the hand motion capture data is retargeted to the dexterous hand and robot arm with fingertip IK. Based on the data, a robot policy is learned to output a sequence of future goal positions as the robot actions. (b). DEXCAP also offers an optional human-in-the-loop correction mechanism, where humans apply delta residual action to the policy-generated actions to correct robot behavior. The corrections are stored in a new dataset and uniformly sampled with the original dataset for fine-tuning the robot policy.</div>

位于机械臂之间的支架上。为了简化在人类场景与机器人场景之间切换摄像头系统的流程，我们在摄像头支架背面集成了快拆扣，仅需不到5秒就能完成摄像头更换。如此一来，机器人就能使用与人类数据采集阶段相同的观测摄像头。需要注意的是，在机器人场景中仅使用激光雷达摄像头，无需手腕摄像头。两台机械臂和LEAP机械手的控制频率均为20Hz。我们对两台机械臂采用末端执行器位置控制，对两只LEAP机械手则采用关节位置控制。

### IV. 学习算法：DEXIL

我们的目标是利用DEXCAP记录的人手运动捕捉数据来训练灵巧机器人策略。在此过程中有几个研究问题需要解决：(1) 如何将人手运动映射到机械手上？(2) 当双臂操作环境下的动作空间维度较高时，何种算法能够学习到灵巧的操作策略？(3) 此外，我们还想探究直接基于人体运动捕捉数据进行学习时出现的失败案例及其潜在解决方案。

为应对这些挑战，我们提出了DEXIL——一个利用人手运动捕捉数据训练灵巧机器人的三步框架。第一步是将DEXCAP数据映射到机器人实体的动作与观测空间中（见第IV-A节）。第二步是利用映射后的数据训练基于点云的扩散策略（见第IV-B节）。最后一步是可选的人机交互校正机制，旨在解决策略执行过程中出现的意外行为（见第IV-C节）。

### A. 数据映射

动作映射。如图3(a)所示，由于人手与LEAP手之间存在尺寸差异——后者大约大50% [^95]，因此直接将手指运动转移到机器人硬件上存在困难。第一步就是将人手运动捕捉数据映射到机器人实体上，这需要通过逆运动学（IK）来确定手指位置及六自由度手掌姿态。

以往的研究发现，手指尖是手部与物体交互时最常接触的区域（如HO-3D [^41]、GRAB [^44]、ARCTIC [^45]等研究所示）。受此启发，我们通过逆运动学（IK）匹配指尖位置来实现手指运动的映射。具体而言，我们采用一种能实时生成平滑且精确指尖运动的IK算法[96–98]，以确定机器人手的16维关节位置。这样就能确保机器人指尖与DEXCAP数据中的人类指尖对齐。考虑到LEAP手有四个手指，我们在IK计算中会排除小指的相关信息。此外，动作捕捉数据中记录的六自由度手腕姿态会作为IK算法中手腕姿态的初始参考。图6展示了映射的最终结果。随后，LEAP手的六自由度手腕姿态 $p_t = [\boldsymbol{R}_t | \boldsymbol{T}_t]$ 和手指关节位置 $J_t$ 会被用作机器人的本体感知状态 $s_t = (\boldsymbol{p}_t, J_t)$。我们的实验采用位置控制方式，机器人的动作标签被定义为下一个未来状态 $\boldsymbol{a}_t = \boldsymbol{s}_{t+1}$。

观测后处理。观测与状态重构—

---

演示选项对于训练机器人策略至关重要。我们利用相机参数，将DEXCAP数据中激光雷达摄像头采集的RGB-D图像转换为点云。与RGB-D输入相比，这种额外的转换带来了两大显著优势。首先，由于DEXCAP允许人类在数据采集过程中自然移动躯干，若直接使用RGB-D输入，就必须考虑移动中的摄像头坐标系。通过将点云观测数据转换到统一的世界坐标系——即动作捕捉开始时主SLAM摄像头的坐标系（如图2(c)中标记为红色的主摄像头）——我们便能分离并消除躯干运动的影响，从而获得稳定的机器人观测结果。其次，点云在编辑及与机器人操作空间对齐方面具有灵活性。鉴于野外采集的一些动作可能超出机器人的可达范围，通过调整点云观测数据和运动轨迹的位置，可确保它们在机器人操作范围内可行。基于这些发现，我们将动作捕捉数据中的所有RGB-D帧处理成与机器人空间对齐的点云，并排除与任务无关的元素，如桌面上的点。经过优化的点云数据便成为输入到机器人策略中的观测信息$o_t$，进而驱动机器人策略$\pi$。

### B. 基于点云的扩散策略

借助转换后的机器人状态$s_t$、动作$a_t$以及对应的3D点云观测数据$o_t$，我们将机器人策略学习过程形式化为轨迹生成任务。具体而言，策略模型$\pi$会将点云观测数据$o_t$和机器人的当前本体感知状态$s_t$处理为动作轨迹$(a_t, a_{t+1}, \ldots, a_{t+d})$（如图4所示）。对于包含N个点的点云观测数据$o_t$（存储在$\mathbb{R}^{N \times 3}$中），我们会将其均匀下采样为K个点，并将每个点对应的RGB像素颜色拼接到最终的策略输入$\mathbb{R}^{K \times 6}$中。为了弥合人手与机器人手之间的视觉差异，我们利用正运动学原理，根据本体感知状态$s_t$变换机器人模型的连杆，再将变换后的连杆点云合并到观测数据$o_t$中。训练期间，我们还通过对机器人操作空间内的点云和运动轨迹施加随机二维平移来实现数据增强。

学习灵巧机器人策略时面临的一大挑战，尤其是针对双灵巧臂机器人而言，就是如何处理高维度的动作输出。在我们的设定中，动作输出包括两个7自由度的机器人手臂和两个16自由度的灵巧手，持续d步，这构成了一个高维度的回归问题。类似的挑战在图像生成任务中也有研究，这类任务旨在回归高分辨率帧中的所有像素值。近年来，扩散模型[^99] [^100]凭借其逐步扩散的过程，在建模高维度数据的复杂分布方面取得了成功。在机器人领域，扩散策略[^14]采用了相同的思路，将控制问题形式化为动作生成任务。因此，我们采用扩散策略作为动作解码器，实践表明它在学习灵巧机器人策略方面的表现优于传统的基于MLP的架构。

### C. 人机交互式修正

借助上述设计，DEXIL能够直接利用DEXCAP数据学习复杂的灵巧操作技能（如抓取放置和双手协调），而无需依赖机器人上的数据。不过，我们这种简单的映射方法并未解决人机形态差异的所有方面。例如使用剪刀时，要稳定握住剪刀，就必须将手指深入刀柄。由于手指长度比例不同，仅让指尖与关节运动相匹配，并不能保证对剪刀施加相同的力。

为解决这一问题，我们提出了一种人机交互式动作修正机制，包含两种模式：残差修正模式和遥操作模式。在策略执行期间，人类可通过佩戴DEXCAP实时向机器人提供修正指令。在残差模式下，DEXCAP会测量人类手部相对于策略启动时的初始状态$(\Delta p_t^H, \Delta J_t^H)$的位置变化量$(p_0^H, J_0^H)$。该位置变化量会作为残差动作$a_t^r = (\Delta p_t^H, \Delta J_t^H)$作用于机器人策略动作$a_t = (p_{t+1}, J_{t+1})$，并经过$\alpha$和$\beta$缩放后应用。修正后的机器人动作可表示为$a_t' = (p_{t+1} \oplus \alpha \cdot \Delta p_t^H, J_{t+1} + \beta \cdot \Delta J_t^H)$。我们通过实验发现，将$\beta$设为较小数值（< 0.1）时能获得最佳用户体验，可避免手指移动过快。

当需要大幅调整位置时，踩下脚踏板即可将系统切换为遥操作模式。此时DEXCAP会忽略策略输出结果，直接将人类手腕的位置变化量应用于机器人手腕姿态。机器人的指尖会直接跟随人类指尖移动。换句话说，通过逆运动学计算，机器人指尖会在各自的手腕坐标系中与人类指尖保持同步。用户再次踩下脚踏板后，便可从遥操作模式切回残差修正模式，以修正机器人的失误。

由于机器人已经学习了初始策略，通常只需在策略执行的一小段时间内进行修正，从而大幅减轻人类的操作负担。修正后的动作和观测数据会被存入新数据集$\mathcal{D}'$。训练时，从$\mathcal{D}'$和原始数据集$\mathcal{D}$中以相等概率采样数据，用于微调策略模型，这一过程与IWR [^101]类似。

### V. 实验

我们旨在回答以下研究问题：

Q1：DEXCAP数据的质量如何？

Q2：DEXIL能否不依赖任何机器人上的数据，直接从DEXCAP数据中学习灵巧机器人策略？

Q3：哪些模型架构选择对提升性能至关重要？

Q4：DEXIL能否利用现实场景中的DEXCAP数据进行学习？

Q5：当DEXCAP数据不足时，人机交互式修正能起到什么作用？

---

![Image](images/6a4032187e3dae00b0254570e93454429cfc056f851b470e5aafaaf352123419.jpg)

<div style="text-align: center;">Fig. 5: Experiment Tasks. (a) Sponge Picking: Pick and lift the sponge. (b) Ball Collecting: Pick up a ball and drop it into a basket. (c) Plate Wiping: Use both hands to pick up a plate and sponge, then wipe the plate vertically twice. (d) Packaging: Place items into a box with one hand while using the other to either push or stabilize them, before securely closing the box lid. (e) Scissor Cutting: Secure paper with one hand and use scissors in the other to cut through the paper. (f) Tea Preparing: Grasp the tea bottle with one hand, use the other hand to uncap, then pick up tweezers to extract tea and pour it into the pot.</div>

Q6：整个框架能否应对极具挑战性的双手灵巧操作任务（如使用剪刀和准备茶点）？

### A. 实验设置

a) 任务：我们使用六个难度各异的任务来评估DEXIL在DEXCAP数据上的性能。这些任务从基础的 sponge picking、Ball collecting 和 Plate wiping 等测试单手及双手协调能力的任务，到更复杂的 Packaging 任务（该任务考察双臂协作能力以及使用熟悉和新物体时的泛化能力）。Scissor cutting 任务侧重于评估人在回路中的校正机制在精细工具使用中的有效性，而 Tea preparing 任务则通过需要复杂动作的长时序任务来挑战系统。为了进一步分析性能，我们针对多步骤任务引入了子任务指标，用于衡量任务子目标的完成情况，例如在 Packaging 中将物体放入盒子内，或在 Scissor Cutting 中拿起剪刀。

b) 数据：我们使用了两种类型的数据：(1) 用于捕捉人手运动的DEXCAP数据（“野外数据”指在超过10个场景中收集的混合数据）；(2) 用于调整机器人动作或启用遥操作以纠正错误的人在回路校正数据，这类数据通过脚踏板收集。数据最初以60Hz的频率记录，随后降采样至20Hz以匹配机器人的控制速度，但校正数据直接以20Hz采集。在数据收集方面，前三个任务共收集了30分钟的DEXCAP数据，分别得到251个、179个和102个演示样本。一小时的野外DEXCAP数据为Packaging任务提供了104个演示样本；Scissor Cutting和Tea Preparing任务各获得一小时的DEXCAP数据，分别产生96个和55个演示样本。

c) 基线：我们评估了多个基线模型以确定性能最佳的模型架构，重点利用DEXCAP数据从三个方面展开研究：确定适用于双腕灵巧操作的最佳模仿学习框架。

---

![Image](images/b1357bd6971c8b280fa20d7959b4e9235fe07f03c69ba735d2847829826f56ae.jpg)

<div style="text-align: center;">Fig. 6: Data Retargeting for Tasks. DEXIL effectively retargets human mocap data for activities like plate wiping, scissor cutting, and packaging. The initial column displays the raw point cloud scene. Columns 2-7 offer three views—right, middle, left—with blue background columns depicting human data and yellow for robot hand retargeting. This side-by-side arrangement highlights the precision of our fingertip IK in translating human to robot hand motions.</div>

![Image](images/4a3f185b76c81569e572605865409514542cd6621e9919b9dc1f893bdb71b2b8.jpg)

<div style="text-align: center;">Fig. 7: Compare with vision-based method. We demonstrate that motion capture gloves provide more stable hand pose estimation results compared to vision-based methods and are not affected by visual occlusion.</div>

在BC-RNN [^102] 与扩散策略（DP）[^14] 之间比较操控性能，评估哪种观测类型能最有效地弥补人类手与机器人手之间的视觉差异（对比图像输入 [^14] [^65] 与点云方法 [^103]），并确定哪种编码器最适合处理点云输入——具体通过比较PointNet[^104] 与Perceiver [^105] [^106] 编码器。实现细节详见附录。

d) 指标：每个模型变体在每个任务中均进行20次试验，初始位置随机设定。任务成功率如表I、II、III所示。对于多物体Packaging任务，每个物体需进行5次试验——其中6个训练过的物体共进行30次试验，9个未见过的物体共进行45次试验。

### B. 结果

DEXCAP能够输出高质量的3D动作捕捉数据（Q1）。图6展示了DEXCAP捕捉精细手部动作的能力，它能够在所有视角下将人类动作与物体点云对齐，例如在擦盘和剪纸任务中（蓝色柱状图所示）。如黄色柱状图所示，重新定位后的机械手动作在相同的3D空间中表现出精确的对齐效果。在图7中，我们将DEXCAP与最先进的基于视觉的手部姿态估计方法HaMeR [^39]进行比较，从相似的视角观察它们的性能。我们发现，基于视觉的方法在手指被遮挡时容易受到影响。如图7所示，当发生严重遮挡时，HaMeR要么无法检测到手部（如第二列所示），要么对手指位置的估计不准确（第一、三、四列中均有体现）。相比之下，DEXCAP在这些条件下表现出良好的鲁棒性。除了遮挡问题外，大多数基于视觉的方法都依赖于2D手部估计，这类方法基于2D图像投影损失进行训练。因此，由于它们是基于预设的固定相机内参进行训练的，而这些内参未必与实际实验所用相机匹配，所以这些方法在辨别精确的3D手部位置方面存在固有局限。在图8中，我们展示了DEXCAP的数据采集效率，其速度比传统的遥操作方式快三倍。

DEXCAP采集的数据可直接用于训练灵巧机器人策略（Q2）。表I展示了仅使用DEXCAP数据训练机器人策略的实验结果。通过DEXCAP采集的30分钟手部动作捕捉演示数据，所学习到的策略

---

![Image](images/3511da5dac50120fb5170c6c12a7fd5e791682acc6b1a7bb8dda347dd72f2c71.jpg)

<div style="text-align: center;">(a). Human motion</div>

![Image](images/d51652618b5addcb2e953f446de9521cfcc5ebd7fc0e488aafc5df6de14c9433.jpg)

<div style="text-align: center;">(b). DexCap</div>

![Image](images/229af92ffc703fa0707032a73003d1a24ee41b290a27afd3e18be4e74dff67e6.jpg)

<div style="text-align: center;">(c). Teleoperation</div>

![Image](images/5e0f8839e6104cf9673cf054a66e41e8f4cea8f8ecbbfcafc9dc96c714954d74.jpg)

<div style="text-align: center;">Fig. 8: Data collection throughput comparison. DEXCAP's data collection speed in the Ball collecting task is close to natural human motion and is three times faster than traditional teleoperation.</div>

侧视图

<div style="text-align: center;">Teleoperation</div>

<div style="text-align: center;">Residual correction</div>

![Image](images/095b35ba1e5ab20f3d6c57dd0dc6aa838d68787e8fb9b6ed777930f1ce887387.jpg)

正视图

<div style="text-align: center;">Teleoperation</div>

<div style="text-align: center;">(a) Ball collecting</div>

<div style="text-align: center;">Residual correction</div>

<div style="text-align: center;">(b) Tea preparing</div>

<div style="text-align: center;">Fig. 9: Visualization of human-in-the-loop corrections. DEXCAP supports teleoperation and residual correction for human-in-the-loop adjustments. Teleoperation directly translates human hand movements to the robot end-effector actions, indicated by color-fading trajectories from blue to green (human) and red to yellow (robot) over 20 timesteps. Residual correction adjusts the robot's end-effector based on changes from the human hand's initial pose, enabling minimal movement but requiring more precise control. Users can switch between correction modes with a foot pedal.</div>

在单手抓取与放置（如海绵抓取、球体收集）以及双手协调（如擦盘）任务中，平均任务成功率可高达72%。这一结果凸显了DEXCAP数据在无需机器人端数据的情况下训练灵巧机器人策略的有效性，为机器人灵巧操控的训练开辟了新途径。

基于生成式的算法在输入点云数据时展现出优势（$Q_{3}$）。在表I中，我们比较了多种模型架构的性能。我们首先发现，由于人手与机械手之间的视觉差异，采用完整图像输入的策略完全失效（BC-RNN-img、DP-img）。随后我们尝试在训练和评估过程中用白色圆圈遮挡人手和机械手，这一设置带来了改善，其中DP-img-mask在所有任务中的成功率超过了30%。同时，扩散策略的表现优于基于MLP的BC-RNN策略（平均任务成功率高出25%）。这一结果验证了我们的假设：基于生成式的策略更适合学习灵巧操作策略。尽管取得了令人鼓舞的结果，但遮挡末端执行器会丢失用于手部操作的细节。这一假设在“盘子擦拭”任务中得到了验证——该任务要求机器人利用精细的指部动作从边缘抓起盘子，而该任务的成功率很低。相比之下，我们基于点云的学习算法（DP-point-raw、DP-point、DP-prec）无需对观测数据进行处理，就能实现超过60%的任务成功率。这一结果凸显了使用点云输入的优势：它允许我们将机械手的点添加到观测数据中，而不会丢失原始输入中的细节。我们还发现，即便不添加机械手的点，DP-point-raw的性能也与DP-point相近。这可能是因为点云输入的下采样过程缩小了人类手套与机械手之间的视觉差异。此外，与PointNet相比，采用Perceiver编码器的模型性能更优，尤其是在涉及多个物体的双手任务中（“盘子擦拭”任务的成功率提升了20%）。基于这些发现，我们选用DP-perc作为DEXIL的默认模型架构。

## DEXIL能够完全依靠自然场景下的DEXCAP数据进行学习（Q4）。表II的前三列展示了利用自然场景下的DEXCAP数据训练策略的结果。我们首先注意到，图像输入的基准模型（BC-RNN-img-mask、DP-img-mask）在利用自然场景数据学习时几乎毫无表现。这一观察结果验证了我们的假设：在自然场景数据采集过程中，人体运动导致的视角变化给基于图像的策略学习带来了挑战。我们的DEXIL能将点云输入转换为一致的世界坐标系，从而得到稳定的观测数据，进而取得更好的结果。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td colspan="4">DEXCAP Data Only</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Sponge picking</td><td style='text-align: center; word-wrap: break-word;'>Ball collecting</td><td style='text-align: center; word-wrap: break-word;'>Plate wiping</td><td style='text-align: center; word-wrap: break-word;'>Overall</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-img</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-img-mask [^65]</td><td style='text-align: center; word-wrap: break-word;'>0.25</td><td style='text-align: center; word-wrap: break-word;'>0.10</td><td style='text-align: center; word-wrap: break-word;'>0.10</td><td style='text-align: center; word-wrap: break-word;'>0.15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-point [^103]</td><td style='text-align: center; word-wrap: break-word;'>0.45</td><td style='text-align: center; word-wrap: break-word;'>0.30</td><td style='text-align: center; word-wrap: break-word;'>0.25</td><td style='text-align: center; word-wrap: break-word;'>0.33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-prec [^105]</td><td style='text-align: center; word-wrap: break-word;'>0.50</td><td style='text-align: center; word-wrap: break-word;'>0.30</td><td style='text-align: center; word-wrap: break-word;'>0.35</td><td style='text-align: center; word-wrap: break-word;'>0.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DP-img</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DP-img-mask [^14]</td><td style='text-align: center; word-wrap: break-word;'>0.55</td><td style='text-align: center; word-wrap: break-word;'>0.40</td><td style='text-align: center; word-wrap: break-word;'>0.30</td><td style='text-align: center; word-wrap: break-word;'>0.42</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DP-point-raw</td><td style='text-align: center; word-wrap: break-word;'>0.70</td><td style='text-align: center; word-wrap: break-word;'>0.70</td><td style='text-align: center; word-wrap: break-word;'>0.40</td><td style='text-align: center; word-wrap: break-word;'>0.60</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DP-point</td><td style='text-align: center; word-wrap: break-word;'>0.75</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.50</td><td style='text-align: center; word-wrap: break-word;'>0.63</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours (DP-perc)</td><td style='text-align: center; word-wrap: break-word;'>0.85</td><td style='text-align: center; word-wrap: break-word;'>0.60</td><td style='text-align: center; word-wrap: break-word;'>0.70</td><td style='text-align: center; word-wrap: break-word;'>0.72</td></tr></table>

<div style="text-align: center;">TABLE I: Quantitative results for learning with DEXCAP data.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Packaging</td><td colspan="2">In-the-wild</td><td colspan="2">DEXCAP</td><td colspan="3">30 human corrections</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Unseen</td><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Unseen</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-img-mask [^65]</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.23</td><td style='text-align: center; word-wrap: break-word;'>0.07</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-point [^103]</td><td style='text-align: center; word-wrap: break-word;'>0.33</td><td style='text-align: center; word-wrap: break-word;'>0.23</td><td style='text-align: center; word-wrap: break-word;'>0.16</td><td style='text-align: center; word-wrap: break-word;'>0.40</td><td style='text-align: center; word-wrap: break-word;'>0.27</td><td style='text-align: center; word-wrap: break-word;'>0.22</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DP-img-mask [^14]</td><td style='text-align: center; word-wrap: break-word;'>0.17</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.47</td><td style='text-align: center; word-wrap: break-word;'>0.33</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.70</td><td style='text-align: center; word-wrap: break-word;'>0.47</td><td style='text-align: center; word-wrap: break-word;'>0.40</td><td style='text-align: center; word-wrap: break-word;'>0.83</td><td style='text-align: center; word-wrap: break-word;'>0.57</td><td style='text-align: center; word-wrap: break-word;'>0.42</td><td style='text-align: center; word-wrap: break-word;'></td></tr></table>

<div style="text-align: center;">TABLE II: Quantitative results for the Packaging task.</div>

![Image](images/922718c86b6dad40bb7e926010cdd7d70c33407241e46b2ad92e959cac04b53c.jpg)

![Image](images/512528a2e0ee0812f5a6093732f8ebb165527989b3472e464850e69920d5e15b.jpg)

<div style="text-align: center;">Fig. 10: Objects used in the Packaging task</div>

借助这种稳定的观测数据，模型在子任务中的成功率达到70%，在完整任务设置中也能达到47%。更多关于稳定后的输入点云的可视化效果，请参阅我们的视频资料。通过利用自然场景下的数据训练涉及多个物体的任务策略（见图10），我们的模型已经能够泛化到未见过的物体实例，成功率达到了40%。在评估过程中，我们发现利用自然场景下的DEXCAP数据训练出的策略存在两个主要问题：首先，DEXCAP数据中缺乏力信息，导致右手在左手尝试闭合盒子时难以稳定住盒子；其次，由于人体运动的影响，盒盖偶尔会移出胸部摄像头的视野，阻碍了机器人学习精准抓取盒盖的能力。这些挑战促使我们寻求改进策略。

当DEX-CAP数据不足时，人工干预校正能起到很大的帮助（Q5）。图9展示了使用DEXCAP时的两种人工干预校正模式。用户可以通过踩下脚踏板在这两种模式间切换，整个轨迹会被存储起来并用于策略微调。表II的最后三列显示了将人工干预校正与策略微调相结合以提升模型性能的效果。仅在策略执行过程中进行30次人工校正后，采用图像输入的微调后策略（DP-img-mask）在已训练物体上的任务整体成功率便提升了33%。这一显著提升主要是因为人工校正数据是利用固定摄像头采集的，且采用了与评估时相同的设置。这一结果进一步支持了我们的结论：与移动摄像头下的真实场景相比，基于图像的方法在固定第三人称视角摄像头下学习的效果更好。人工校正还使采用点云输入的方法性能提升了10%。不过我们观察到，对于未见过的物体而言，利用人工校正进行微调对结果的影响较小，这主要是由于校正数据量有限（总共仅30次试验）。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Scissor cutting</td><td colspan="2">DEXCAP Data Only</td><td colspan="2">30 human corrections</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BC-RNN-point [^103]</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.10</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.45</td><td style='text-align: center; word-wrap: break-word;'>0.20</td></tr></table>

<div style="text-align: center;">TABLE III: Quantitative results for the Scissor cutting task.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Tea preparing</td><td colspan="2">DEXCAP Data Only</td><td colspan="2">30 human corrections</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.30</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.25</td></tr></table>

<div style="text-align: center;">TABLE IV: Quantitative results for the Tea preparing task.</div>

评估时采用了相同的设置。这一结果进一步支持了我们的结论：与移动摄像头下的真实场景相比，基于图像的方在固定第三视角摄像头条件下进行学习时更为有效。采用点云输入的方法在经过人工修正后，性能也能提升10%。不过我们观察到，对于未见过的物体而言，利用人工修正数据进行微调对结果的影响较小，这主要是由于修正数据量有限（总共仅30次试验）。

我们的整套框架能够应对极具挑战性的任务（Q6）。DEXIL结合人工干预校正，能够解决诸如剪刀剪切和泡茶这类极具挑战性的任务。表III显示，我们的系统在从容器中取出剪刀的任务上能达到45%的成功率，在剪切胶带的任务上能达到20%的成功率。在我们的补充视频中，还展示了机器人执行长流程的泡茶任务的过程，该任务包括拧开瓶盖以及将茶倒入壶中。表IV呈现了我们的方法（DPperc）在泡茶任务中的评估结果。该子任务定义为成功拧开茶瓶的瓶盖。我们发现，即便仅使用人工动作捕捉数据（纯DEXCAP数据），我们的模型在开盖任务上的成功率也能达到30%。大多数失败情况发生在抓取镊子的环节，这一操作需要对指尖进行高精度控制。在此类情况下，人工干预校正能显著改善性能。经过30次人工校正后，开盖成功率提升了35%，整个任务的成功率也达到了25%。更多关于该任务的定性结果请参阅我们的视频提交材料。这些任务展现了我们的框架在学习极具挑战性的灵巧操作任务方面的巨大潜力。

## 六、结论与局限性

我们提出了DEXCAP——一种便携式手部动作捕捉系统，以及DEXIL——一种能让机器人直接从人类动作捕捉数据中学习灵巧操作的模仿算法。DEXCAP旨在克服遮挡问题，捕捉精细的3D手部动作、记录RGB-D观测数据，并支持在实验室外采集数据。DEXIL利用这些数据来教导机器人复杂的灵巧操作任务，还可选择加入人工干预校正机制以进一步提升性能。DEXCAP和DEXIL在剪刀剪切和泡茶等任务中展现出的出色能力，显著推进了机器人的灵巧性水平。我们希望DEXCAP能够

---

为未来利用便携式设备扩展灵巧操作数据的研究铺平道路。所有硬件设计和代码都将开源。

虽然DEXCAP能够在真实场景中收集高质量的动作捕捉数据，用于学习复杂的灵巧操作任务，但它仍存在若干局限性，有待未来研究解决：(1) 该系统目前的功耗限制了数据采集时间，最多只能持续40分钟。未来的改进将侧重于提升能效，以延长数据采集时间。(2) 我们的学习算法DEXIL利用指尖逆运动学技术，将人类手部动作映射到各类机械手上。但由于人类手部与机械手之间存在尺寸差异（部分机械手指更粗），导致某些任务难以完成，比如弹钢琴。未来的发展将致力于整合机械手设计方面的进步，缩小这种尺寸差异，从而充分展现该系统的潜力。(3) 当前的DEXCAP仅能采集三维观测数据和动作捕捉数据，缺乏力觉感知功能。我们计划探索的一个有前景的方向是采用[^107]中介绍的共形触觉织物，在数据采集过程中获取触觉信息。

## 致谢

### 参考文献

本研究得到了美国国家科学基金会NSF-FRR-2153854以及斯坦福大学以人为本人工智能研究所SUHAI的支持。本项工作还部分得到了美国海军研究办公室MURI项目N00014-21-1-2801的资助。我们感谢蒋云帆、Albert Wu、Paul de La Sayette、王若诚、陈思睿、Josiah Wong、黄文龙、泽彦杰、Christopher Agia、杨静云以及SVL PAIR小组提供的帮助与反馈。同时感谢徐振佳、迟程、朱一峰在机器人控制器调优方面提出的建议。我们特别感谢Kenneth Shaw、Ananye Agrawal、Deepak Pathak开源LEAP Hand。

[^1]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020.

[^2]: Tao Chen, Megha Tippur, Siyang Wu, Vikash Kumar, Edward Adelson, and Pulkit Agrawal. Visual dexterity: In-hand dexterous manipulation from depth. arXiv preprint arXiv:2211.11744, 2022.

[^3]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. Videodex: Learning dexterity from internet videos. CoRL, 2022.

[^4]: Stefan Schaal. Is imitation learning the route to humanoid robots? Trends in cognitive sciences, 3(6):233–242, 1999.

[^5]: Ahmed Hussein, Mohamed Medhat Gaber, Eyad Elyan, and Chrisina Jayne. Imitation learning: A survey of learning methods. ACM Computing Surveys (CSUR), 50(2):1–35, 2017.

[^6]: Irmak Guzey, Ben Evans, Soumith Chintala, and Lerrel Pinto. Dexterity from touch: Self-supervised pretraining of tactile representations with robotic play. arXiv preprint arXiv:2303.12076, 2023.

[^7]: Aravind Sivakumar, Kenneth Shaw, and Deepak Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube. arXiv preprint arXiv:2202.10448, 2022.

[^8]: Laura Smith, Nikita Dhawan, Marvin Zhang, Pieter Abbeel, and Sergey Levine. Avid: Learning multi-stage tasks via pixel-level translation of human videos. arXiv preprint arXiv:1912.04443, 2019.

[^9]: Shikhar Bahl, Abhinav Gupta, and Deepak Pathak. Human-to-robot imitation in the wild. arXiv preprint arXiv:2207.09450, 2022.

[^10]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anand-kumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023.

[^11]: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, and Shubham Tulsiani. Towards generalizable zero-shot manipulation via translating human interaction plans. arXiv preprint arXiv:2312.00775, 2023.

[^12]: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, and Abhinav Gupta. R3m: A universal visual representation for robot manipulation. arXiv preprint arXiv:2203.12601, 2022.

[^13]: Tete Xiao, Ilija Radosavovic, Trevor Darrell, and Jitendra Malik. Masked visual pre-training for motor control. arXiv preprint arXiv:2203.06173, 2022.

[^14]: Cheng Chi, Siyuan Feng, Yilun Du, Zhenjia Xu, Eric Cousineau, Benjamin Burchfiel, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. arXiv preprint arXiv:2303.04137, 2023.

[^15]: J Kenneth Salisbury and John J Craig. Articulated hands: Force control and kinematic issues. The International Journal of Robotics Research, 1(1):4–17, 1982.

[^16]: Matthew T Mason and J Kenneth Salisbury Jr. Robot hands and the mechanics of manipulation. 1985.

[^17]: Igor Mordatch, Zoran Popović, and Emanuel Todorov. Contact-invariant optimization for hand manipulation. In Proceedings of the ACM SIGGRAPH/Eurographics symposium on computer animation, pages 137–144, 2012.

[^18]: Yunfei Bai and C Karen Liu. Dexterous manipulation using both palm and fingers. In 2014 IEEE International Conference on Robotics and Automation (ICRA), pages 1560–1565. IEEE, 2014.

[^19]: Vikash Kumar, Yuval Tassa, Tom Erez, and Emanuel Todorov. Real-time behaviour synthesis for dynamic hand-manipulation. In 2014 IEEE International Conference on Robotics and Automation (ICRA), pages 6808–6815. IEEE, 2014.

### [^20]: Ankur Handa, Arthur Allshire, Viktor Makoviychuk, Aleksei Petrenko, Ritvik Singh, Jingzhou Liu, Denys

---

Makoviichuk、Karl Van Wyk、Alexander Zhurkevich、Balakumar Sundaralingam等人。Dextreme：将灵活的手持操作能力从仿真环境迁移到现实世界。arXiv预印本arXiv:2210.13702，2022年。

[^21]: Tao Chen, Jie Xu, and Pulkit Agrawal. A system for general in-hand object re-orientation. Conference on Robot Learning, 2021.

[^22]: Abhishek Gupta, Justin Yu, Tony Z. Zhao, Vikash Kumar, Aaron Rovinsky, Kelvin Xu, Thomas Devlin, and Sergey Levine. Reset-free reinforcement learning via multi-task learning: Learning dexterous manipulation behaviors without human intervention. In ICRA, pages 6664–6671. IEEE, 2021.

[^23]: Zhao-Heng Yin, Binghao Huang, Yuzhe Qin, Qifeng Chen, and Xiaolong Wang. Rotating without seeing: Towards in-hand dexterity through touch. arXiv preprint arXiv:2303.10880, 2023.

[^24]: Haozhi Qi, Ashish Kumar, Roberto Calandra, Yi Ma, and Jitendra Malik. In-Hand Object Rotation via Rapid Motor Adaptation. In Conference on Robot Learning (CoRL), 2022.

[^25]: Gagan Khandate, Siqi Shang, Eric T Chang, Tristan L Saidi, Johnson Adams, and Matei Ciocarlie. Sampling-based Exploration for Reinforcement Learning of Dexterous Manipulation. In Proceedings of Robotics: Science and Systems, Daegu, Republic of Korea, July 2023. doi: 10.15607/RSS.2023.XIX.020.

[^26]: Binghao Huang, Yuanpei Chen, Tianyu Wang, Yuzhe Qin, Yaodong Yang, Nikolay Atanasov, and Xiaolong Wang. Dynamic handover: Throw and catch with bi-manual hands. arXiv preprint arXiv:2309.05655, 2023.

[^27]: Yuanpei Chen, Chen Wang, Li Fei-Fei, and C Karen Liu. Sequential dexterity: Chaining dexterous policies for long-horizon manipulation. arXiv preprint arXiv:2309.00987, 2023.

[^28]: Johannes Pitz, Lennart Röstel, Leon Sievers, and Berthold Bäuml. Dextrous tactile in-hand manipulation using a modular reinforcement learning architecture. arXiv preprint arXiv:2303.04705, 2023.

[^29]: Kelvin Xu, Zheyuan Hu, Ria Doshi, Aaron Rovinsky, Vikash Kumar, Abhishek Gupta, and Sergey Levine. Dexterous manipulation from images: Autonomous real-world rl via substep guidance. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5938–5945. IEEE, 2023.

[^30]: Toru Lin, Zhao-Heng Yin, Haozhi Qi, Pieter Abbeel, and Jitendra Malik. Twisting lids off with two hands. arXiv:2403.02338, 2024.

[^31]: Sridhar Pandian Arunachalam, Sneha Silwal, Ben Evans, and Lerrel Pinto. Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5954–5961. IEEE, 2023.

[^32]: Sridhar Pandian Arunachalam, Irmak Güzey, Soumith Chintala, and Lerrel Pinto. Holo-dex: Teaching dex-

借助沉浸式混合现实技术实现真实性。载于2023年IEEE国际机器人与自动化会议（ICRA），第5962–5969页。IEEE出版社，2023年。

[^33]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022.

[^34]: Priyanka Mandikal and Kristen Grauman. Dexvip: Learning dexterous grasping with human hand pose priors from video. In Conference on Robot Learning, pages 651–661. PMLR, 2022.

[^35]: Yuzhe Qin, Hao Su, and Xiaolong Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation. IEEE Robotics and Automation Letters, 7(4):10873–10881, 2022.

[^36]: Zoey Qiuyu Chen, Karl Van Wyk, Yu-Wei Chao, Wei Yang, Arsalan Mousavian, Abhishek Gupta, and Dieter Fox. Dextransfer: Real world multi-fingered dexterous grasping with minimal human demonstrations. arXiv preprint arXiv:2209.14284, 2022.

[^37]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019.

[^38]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020.

[^39]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. arXiv preprint arXiv:2312.05251, 2023.

[^40]: Tanner Schmidt, Richard A Newcombe, and Dieter Fox. Dart: Dense articulated real-time tracking. In Robotics: Science and systems, volume 2, pages 1–9. Berkeley, CA, 2014.

[^41]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020.

[^42]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021.

### [^43]: Shangchen Han, Beibei Liu, Randi Cabezas, Christo-

---

pher D Twigg、张培昭、Jeff Petkau、Tsz-Ho Yu、蔡俊荣、Muzaffer Akbay、王铮等人。Megatrack：用于虚拟现实的单色自中心式关节手追踪技术。《ACM图形学汇刊》（ToG），39卷第4期：87–1页，2020年。

[^44]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16, pages 581–600. Springer, 2020.

[^45]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023.

[^46]: Yinghao Huang, Manuel Kaufmann, Emre Aksan, Michael J Black, Otmar Hilliges, and Gerard Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics (TOG), 37(6):1–15, 2018.

[^47]: Yifeng Jiang, Yuting Ye, Deepak Gopinath, Jungdam Won, Alexander W Winkler, and C Karen Liu. Transformer inertial poser: Real-time human motion reconstruction from sparse imus with simultaneous terrain generation. In SIGGRAPH Asia 2022 Conference Papers, pages 1–9, 2022.

[^48]: Xinyu Yi, Yuxiao Zhou, Marc Habermann, Soshi Shimada, Vladislav Golyanik, Christian Theobalt, and Feng Xu. Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13167–13178, 2022.

[^49]: Tom Van Wouwe, Seunghwan Lee, Antoine Falisse, Scott Delp, and C Karen Liu. Diffusion inertial poser: Human motion reconstruction from arbitrary sparse imu configurations. arXiv preprint arXiv:2308.16682, 2023.

[^50]: Fabian C Weigend, Xiao Liu, and Heni Ben Amor. Probabilistic differentiable filters enable ubiquitous robot control with smartwatches. arXiv preprint arXiv:2309.06606, 2023.

[^51]: Lars Fritsche, Felix Unverzag, Jan Peters, and Roberto Calandra. First-person tele-operation of a humanoid robot. In 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids), pages 997–1002. IEEE, 2015.

[^52]: Bin Fang, Di Guo, Fuchun Sun, Huaping Liu, and Yupei Wu. A robotic hand-arm teleoperation system using human arm/hand with a novel data glove. In 2015 IEEE International Conference on Robotics and Biomimetics (ROBIO), pages 2483–2488. IEEE, 2015.

[^53]: Chengxu Zhou, Christopher Peers, Yuhui Wan, Robert Richardson, and Dimitrios Kanoulas. Teleman: Tele-

基于可穿戴式惯性测量单元的动作捕捉技术，用于足式机器人的运动操控。arXiv预印本arXiv:2209.10314，2022年。

[^54]: Sylvain Calinon, Florent D'halluin, Eric L Sauser, Darwin G Caldwell, and Aude G Billard. Learning and reproduction of gestures by imitation. IEEE Robotics & Automation Magazine, 17(2):44–54, 2010.

[^55]: A.J. Ijspeert, J. Nakanishi, and S. Schaal. Movement imitation with nonlinear dynamical systems in humanoid robots. In Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No.02CH37292), volume 2, pages 1398–1403 vol.2, 2002. doi: 10.1109/ROBOT.2002.1014739.

[^56]: Jens Kober and Jan Peters. Imitation and reinforcement learning. IEEE Robotics & Automation Magazine, 17(2):55–62, 2010.

[^57]: Peter Englert and Marc Toussaint. Learning manipulation skills from a single demonstration. The International Journal of Robotics Research, 37(1):137–154, 2018.

[^58]: Chelsea Finn, Tianhe Yu, Tianhao Zhang, Pieter Abbeel, and Sergey Levine. One-shot visual imitation learning via meta-learning. In Conference on robot learning, pages 357–368. PMLR, 2017.

[^59]: Aude Billard, Sylvain Calinon, Ruediger Dillmann, and Stefan Schaal. Robot programming by demonstration. In Springer handbook of robotics, pages 1371–1394. Springer, 2008.

[^60]: Brenna D Argall, Sonia Chernova, Manuela Veloso, and Brett Browning. A survey of robot learning from demonstration. Robotics and autonomous systems, 57(5):469–483, 2009.

[^61]: Stefan Schaal. Dynamic movement primitives-a framework for motor control in humans and humanoid robotics. In Adaptive motion of animals and machines, pages 261–280. Springer, 2006.

[^62]: Jens Kober and Jan Peters. Learning motor primitives for robotics. In 2009 IEEE International Conference on Robotics and Automation, pages 2112–2118. IEEE, 2009.

[^63]: Alexandros Paraschos, Christian Daniel, Jan R Peters, and Gerhard Neumann. Probabilistic movement primitives. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, volume 26. Curran Associates, Inc., 2013. URL <https://proceedings.neurips.cc/paper/2013/file/e53a0a2978c28872a4505bdb51db06dc-Paper.pdf>.

[^64]: Alexandros Paraschos, Christian Daniel, Jan Peters, and Gerhard Neumann. Using probabilistic movement primitives in robotics. Autonomous Robots, 42(3):529–551, 2018.

### [^65]: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, and Roberto Martín-Martín. What matters in learning from offline human demonstra-

---

机器人操控的相关研究。载于2021年第五届机器人学习年会。网址：<https://openreview.net/forum?id=JrsfBJtDFdI>。

[^66]: Peter Florence, Lucas Manuelli, and Russ Tedrake. Self-supervised correspondence in visuomotor policy learning. IEEE Robotics and Automation Letters, 5(2):492–499, 2019.

[^67]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023.

[^68]: Jennifer Grannen, Yilin Wu, Brandon Vu, and Dorsa Sadigh. Stabilize to act: Learning to coordinate for bimanual manipulation. In Conference on Robot Learning, pages 563–576. PMLR, 2023.

[^69]: Tianhao Zhang, Zoe McCarthy, Owen Jow, Dennis Lee, Xi Chen, Ken Goldberg, and Pieter Abbeel. Deep imitation learning for complex manipulation tasks from virtual reality teleoperation. In 2018 IEEE international conference on robotics and automation (ICRA), pages 5628–5635. IEEE, 2018.

[^70]: Ajay Mandlekar, Jonathan Booher, Max Spero, Albert Tung, Anchit Gupta, Yuke Zhu, Animesh Garg, Silvio Savarese, and Li Fei-Fei. Scaling robot supervision to hundreds of hours with roboturk: Robotic manipulation dataset through human reasoning and dexterity. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1048–1055. IEEE, 2019.

[^71]: Liyiming Ke, Ajinkya Kamat, Jingqiang Wang, Tapomayukh Bhattacharjee, Christoforos Mavrogiannis, and Siddhartha S Srinivasa. Telemanipulation with chopsticks: Analyzing human factors in user demonstrations. In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 11539–11546. IEEE, 2020.

[^72]: Chen Wang, Rui Wang, Ajay Mandlekar, Li Fei-Fei, Silvio Savarese, and Danfei Xu. Generalization through hand-eye coordination: An action space for learning spatially-invariant visuomotor control. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 8913–8920. IEEE, 2021.

[^73]: Yifeng Zhu, Abhishek Joshi, Peter Stone, and Yuke Zhu. Viola: Imitation learning for vision-based manipulation with object proposal priors. arXiv preprint arXiv:2210.11339, 2022.

[^74]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022.

[^75]: Philipp Wu, Yide Shentui, Zhongke Yi, Xingyu Lin, and Pieter Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. arXiv preprint arXiv:2309.13037, 2023.

[^76]: Jensen Gao, Annie Xie, Ted Xiao, Chelsea Finn, and Dorsa Sadigh. Efficient data collection for robotic manipulation via compositional generalization. arXiv preprint arXiv:2403.05110, 2024.

[^77]: Toru Lin, Yu Zhang, Qiyang Li, Haozhi Qi, Brent Yi, Sergey Levine, and Jitendra Malik. Learning visuotactile skills with two multifingered hands. arXiv:2404.16823, 2024.

[^78]: Jiafei Duan, Yi Ru Wang, Mohit Shridhar, Dieter Fox, and Ranjay Krishna. Ar2-d2: Training a robot without a robot. arXiv preprint arXiv:2306.13818, 2023.

[^79]: Mengda Xu, Zhenjia Xu, Cheng Chi, Manuela Veloso, and Shuran Song. Xskill: Cross embodiment skill discovery. In Conference on Robot Learning, pages 3536–3555. PMLR, 2023.

[^80]: Jingyun Yang, Junwu Zhang, Connor Settle, Akshara Rai, Rika Antonova, and Jeannette Bohg. Learning periodic tasks from human demonstrations. In 2022 International Conference on Robotics and Automation (ICRA), pages 8658–8665. IEEE, 2022.

[^81]: Jiayuan Gu, Sean Kirmani, Paul Wohlhart, Yao Lu, Montserrat Gonzalez Arenas, Kanishka Rao, Wenhao Yu, Chuyuan Fu, Keerthana Gopalakrishnan, Zhuo Xu, et al. Rt-trajectory: Robotic task generalization via hindsight trajectory sketches. arXiv preprint arXiv:2311.01977, 2023.

[^82]: Haoyu Xiong, Haoyuan Fu, Jieyi Zhang, Chen Bao, Qiang Zhang, Yongxi Huang, Wenqiang Xu, Animesh Garg, and Cewu Lu. Robotube: Learning household manipulation from human videos with simulated twin environments. In Conference on Robot Learning, pages 1–10. PMLR, 2023.

[^83]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018.

[^84]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022.

[^85]: Huihan Liu, Soroush Nasiriany, Lance Zhang, Zhiyao Bao, and Yuke Zhu. Robot learning on the job: Human-in-the-loop autonomy and learning during deployment. arXiv preprint arXiv:2211.08416, 2022.

[^86]: Zhenghao Peng, Wenjie Mo, Chenda Duan, Quanyi Li, and Bolei Zhou. Learning from active human involvement through proxy value propagation. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

### [^87]: Jonathan Spencer, Sanjiban Choudhury, Matthew

---

Barnes、Matthew Schmittle、Mung Chiang、Peter Ramadge和Siddhartha Srinivasa。基于干预的学习。载于2020年机器人科学与系统会议（RSS）。

[^88]: Shuran Song, Andy Zeng, Johnny Lee, and Thomas Funkhouser. Grasping in the wild: Learning 6dof closed-loop grasping from low-cost demonstrations. IEEE Robotics and Automation Letters, 5(3):4978–4985, 2020.

[^89]: Sarah Young, Dhiraj Gandhi, Shubham Tulsiani, Abhinav Gupta, Pieter Abbeel, and Lerrel Pinto. Visual imitation made easy. In Conference on Robot Learning, pages 1992–2005. PMLR, 2021.

[^90]: Kiran Doshi, Yijiang Huang, and Stelian Coros. On hand-held grippers and the morphological gap in human manipulation demonstration. arXiv preprint arXiv:2311.01832, 2023.

[^91]: Felipe Sanches, Geng Gao, Nathan Elangovan, Ricardo V Godoy, Jayden Chapman, Ke Wang, Patrick Jarvis, and Minas Liarokapis. Scalable. intuitive human to robot skill transfer with wearable human machine interfaces: On complex, dexterous tasks. In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 6318–6325. IEEE, 2023.

[^92]: Hongjie Fang, Hao-Shu Fang, Yiming Wang, Jieji Ren, Jingjing Chen, Ruo Zhang, Weiming Wang, and Cewu Lu. Low-cost exoskeletons for learning whole-arm manipulation in the wild. arXiv preprint arXiv:2309.14975, 2023.

[^93]: Nur Muhammad Mahi Shafiullah, Anant Rai, Haritheja Etukuru, Yiqian Liu, Ishan Misra, Soumith Chintala, and Lerrel Pinto. On bringing robots home. arXiv preprint arXiv:2311.16098, 2023.

[^94]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024.

[^95]: Kenneth Shaw, Ananye Agarwal, and Deepak Pathak. LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. In Proceedings of Robotics: Science and Systems, Daegu, Republic of Korea, July 2023. doi: 10.15607/RSS.2023.XIX.089.

[^96]: Daniel Rakita, Bilge Mutlu, and Michael Gleicher. RelaxedIK: Real-time Synthesis of Accurate and Feasible Robot Arm Motion. In Proceedings of Robotics: Science and Systems, Pittsburgh, Pennsylvania, June 2018. doi: 10.15607/RSS.2018.XIV.043.

[^97]: Daniel Rakita, Haochen Shi, Bilge Mutlu, and Michael Gleicher. Collisionik: A per-instant pose optimization method for generating robot motions with environment collision avoidance. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pages 9995–10001. IEEE, 2021.

[^98]: Yeping Wang, Pragathi Praveena, Daniel Rakita, and

Michael Gleicher。Rangedik：一种面向远距离目标任务的基于优化的机器人运动生成方法。第9700–9706页，2023年。

[^99]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International conference on machine learning, pages 2256–2265. PMLR, 2015.

[^100]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, 33:6840–6851, 2020.

[^101]: Ajay Mandlekar, Danfei Xu, Roberto Martín-Martín, Yuke Zhu, Li Fei-Fei, and Silvio Savarese. Human-in-the-loop imitation learning using remote teleoperation. arXiv preprint arXiv:2012.06733, 2020.

[^102]: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, and Roberto Martín-Martín. What matters in learning from offline human demonstrations for robot manipulation. arXiv preprint arXiv:2108.03298, 2021.

[^103]: Yuzhe Qin, Binghao Huang, Zhao-Heng Yin, Hao Su, and Xiaolong Wang. Dexpoint: Generalizable point cloud reinforcement learning for sim-to-real dexterous manipulation. In Conference on Robot Learning, pages 594–605. PMLR, 2023.

[^104]: Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv: Arxiv-1612.00593, 2016.

[^105]: Andrew Jaegle, Felix Gimeno, Andrew Brock, Andrew Zisserman, Oriol Vinyals, and Joao Carreira. Perceiver: General perception with iterative attention. arXiv preprint arXiv:2103.03206, 2021.

[^106]: Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, and Yee Whye Teh. Set transformer: A framework for attention-based permutation-invariant neural networks. arXiv preprint arXiv: Arxiv-1810.00825, 2018.

[^107]: Yiyue Luo, Yunzhu Li, Pratyusha Sharma, Wan Shou, Kui Wu, Michael Foshey, Beichen Li, Tomás Palacios, Antonio Torralba, and Wojciech Matusik. Learning human-environment interactions using conformal tactile textiles. Nature Electronics, 4(3):193–201, 2021.

[^108]: Oussama Khatib. A unified approach for motion and force control of robot manipulators: The operational space formulation. IEEE Journal on Robotics and Automation, 3(1):43–53, 1987.

[^109]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016.

### [^110]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502, 2020

---

### 附录A 实现细节

## A. DEXCAP硬件实现

图11展示了DEXCAP的硬件设计。所有模型均采用PLA材料进行3D打印。胸部摄像头支架上设有四个用于安装摄像头的插槽：顶部安装L515 RGB-D激光雷达摄像头，下方依次排列三台T265鱼眼SLAM跟踪摄像头。激光雷达摄像头和最上方的T265摄像头被牢固地固定在摄像头架上，而下方两台T265摄像头则设计为可拆卸式，可安装在手套背面以实现手部6自由度姿态跟踪。胸部和手套上的摄像头支架均配备锁定机制，防止摄像头意外滑出。在手套上，摄像头支架位于其背面的磁性枢纽上方，确保枢纽与支架之间连接紧密。为了供电和数据存储，用户需背负一个背包，内含一块40000mAh的便携式充电宝以及一台配备64GB内存和2TB固态硬盘的迷你电脑。该系统总重量为3.96磅，经过优化以方便移动，可支持长达40分钟的连续数据采集。该充电宝具备快速充电功能，仅需30分钟即可充满，从而能够支持数小时的大规模数据采集工作。

## B. 数据采集细节

图13及补充视频展示了数据采集会话的初始步骤。起初，所有摄像头均安装在胸部。启动程序后，参与者会在环境中移动数秒，以便SLAM算法构建周围环境的地图。随后，下方的T265摄像头会被移至手套支架上，从而开始数据采集阶段。如提交的视频所示，这一准备阶段大约在15秒内即可完成。

数据采集涵盖四种数据类型，采集速率均为每秒60帧：(1)由顶部T265摄像头追踪的、安装在胸部的激光雷达摄像头的6自由度姿态；(2)由安装在手套上的两台下方T265摄像头捕捉到的手腕6自由度姿态；(3)通过动作捕捉手套检测到的、各手套坐标系内的手指关节位置；以及(4)来自激光雷达摄像头的RGB-D图像帧。顶部T265摄像头的初始姿态为所有数据确立了世界坐标系，从而能够将所有流式数据——RGB-D点云、手部6自由度姿态以及手指关节位置——整合到统一的世界坐标系中。这种配置允许参与者自由移动，便于从数据集中分离并去除人体运动的影响。

数据最初被缓冲在迷你电脑的内存中，在峰值帧率（60 fps）下可支持15分钟的数据采集。一旦内存填满，由于数据存储转移至固态硬盘，数据采集速率会降至20 fps。我们通过实验发现，这种帧率降低可能会影响SLAM跟踪精度，进而导致跟踪结果出现跳变。因此，我们优先利用每次会话最初的

![Image](images/6ca347553a66a44211cb230e73eae9c1ab5d5fabc5f089da1a3ff450dccc42e4.jpg)

<div style="text-align: center;">Fig. 11: Detailed view of chest mount and glove mount The glove mount follows the contour of the hump on the top of the Rokoko glove, and an opening is added to route the USB-C cable to the glove. The angle of the camera is set to 45 degrees facing upwards so that the camera view is less obstructed from the back of the hand. The slide guide has an indentation matching the position of the back plate to ensure the same insertion position across experiments. The chest mount houses 3 identical slots following the contour of the T265. An additional slot is added to fit in the slide plate of the T265.</div>

10分钟来采集高质量数据。采集完成后，利用多线程技术可在3-5分钟内高效地将数据从内存传输至固态硬盘。

在本研究中，我们主要探讨了两类DEXCAP数据：（1）在机器人空间内采集的数据；（2）野外采集的数据。对于第一类数据，我们将胸部摄像头装置固定在两个机械臂之间的支架上。随后将机器人调整至静止状态，从而腾出供人类交互的操作空间。这种布置方式使得可以直接利用DEXCAP在机器人的操作区域内采集数据。此类数据是开展海绵拾取、球体收集、盘子擦拭等基础实验的依据，同时也为剪刀剪切、泡茶等更复杂的任务提供数据支持。对于第二类数据，受试者会佩戴DEXCAP在实验室外采集数据，重点评估该系统利用野外DEXCAP数据进行的零样本学习性能，以及其对未见物体的泛化能力，尤其是在包装任务中的表现。

### C. 数据重定向细节

将采集到的原始DEXCAP数据适配用于训练机器人策略（通常称为重定位）。这包含两个关键步骤：（1）观测数据的重定位；（2）动作数据的重定位。

在观测值重定向环节，首要步骤是将RGB-D输入转换为3D点云，同时保留每个像素的颜色信息。随后将这些点云与以主T265摄像头初始姿态定义的世界坐标系对齐。接着启动点云可视化界面，在同一坐标框架下显示对齐后的输入点云以及机器人操作空间内的点云。通过该界面，用户可利用键盘的方向键调整点云在机器人操作空间中的位置。

---

这种调整过程针对同一地点采集的所有数据仅需执行一次，耗时不到一分钟。将点云与机器人空间对齐后，位于机器人桌面下方的点会被剔除，从而优化用于策略开发的观测数据。

动作重定向的第一步是应用胸部支架上T265摄像头之间的一致变换，将手部关节位置转换到世界坐标系中。随后我们利用此前计算出的点云变换矩阵，将手部关节转换到机器人操作空间。图12展示了这一过程的成果：变换后的手部关节与点云一同以手部骨骼模型的形式呈现。最后阶段采用逆向运动学算法，映射机器人手（LEAP手）与人手之间的指尖位置。我们以手部的6自由度姿态来初始化LEAP手的朝向，以便进行逆向运动学计算。图12展示了逆向运动学的结果，可见机器人手模型与观测点云相融合，进而生成用于训练机器人策略的动作数据。

所有点云观测数据都会被统一下采样至5000个点，并与机器人的本体感知状态和动作一同存储为hdf5文件。我们会手动标注整个录制会话（每段10分钟）中每个任务演示的起始帧和结束帧。任务环境的重置动作不会纳入训练数据集。

### D. 机器人控制器细节

在我们的实验中，位置控制采用分层结构：(1) 在高层，学习到的策略会生成下一步的目标位置，这包括两只机械臂末端执行器的6自由度位姿以及两只手部的16维手指关节位置。(2) 在低层，操作空间控制器（OSC）[^108]会持续将机械臂的轨迹插值到高层指定的目标位置，并将插值后的OSC动作发送给机器人执行。与此同时，手指运动由关节阻抗控制器直接管理。每次机器人动作后，我们都会计算机器人当前本体感知状态与目标位姿之间的距离。如果两者间的距离小于某个阈值，就认为机器人已经到达目标位置，此时会向策略模块查询下一个动作。为防止机器人处于空闲状态，如果它在h步之内未能到达目标位姿，就会重新向策略模块请求后续动作。我们在实验中设定了$h = 10$。通过实践我们发现，对于涉及物体物理接触或施力的任务，这种情况更常发生，此时较小的h值能使机器人运动更加平滑。

### E. 策略模型与训练细节

对于所有基于图像输入的方法，我们采用ResNet-18 [^109]作为图像编码器。对于基于扩散策略的模型，我们使用去噪扩散隐式模型（DDIM）[^110]来进行去噪迭代。对于所有基准方法，输入的时间范围均设为三步。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Default</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate (LR)</td><td style='text-align: center; word-wrap: break-word;'>1e-4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Num Epoch</td><td style='text-align: center; word-wrap: break-word;'>3000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LR Decay</td><td style='text-align: center; word-wrap: break-word;'>None</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Image Encoder</td><td style='text-align: center; word-wrap: break-word;'>ResNet-18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Image Feature Dim</td><td style='text-align: center; word-wrap: break-word;'>64</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RNN Type</td><td style='text-align: center; word-wrap: break-word;'>LSTM</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RNN Horizon</td><td style='text-align: center; word-wrap: break-word;'>3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GMM</td><td style='text-align: center; word-wrap: break-word;'>None</td></tr></table>

<div style="text-align: center;">TABLE V: Hyperparameters - BC-RNN-img</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Default</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate (LR)</td><td style='text-align: center; word-wrap: break-word;'>1e-4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Num Epoch</td><td style='text-align: center; word-wrap: break-word;'>3000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LR Decay</td><td style='text-align: center; word-wrap: break-word;'>None</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Point Cloud Encoder</td><td style='text-align: center; word-wrap: break-word;'>PointNet</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Point Cloud Downsample</td><td style='text-align: center; word-wrap: break-word;'>1000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pooling Type</td><td style='text-align: center; word-wrap: break-word;'>MaxPooling</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UNet Embed Dim</td><td style='text-align: center; word-wrap: break-word;'>256</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UNet Down Dims</td><td style='text-align: center; word-wrap: break-word;'>[^256] [^512] [^1024]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UNet Kernel Size</td><td style='text-align: center; word-wrap: break-word;'>5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion Type</td><td style='text-align: center; word-wrap: break-word;'>DDIM</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion Num Train</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion Num Infer</td><td style='text-align: center; word-wrap: break-word;'>10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Input Horizon</td><td style='text-align: center; word-wrap: break-word;'>3</td></tr></table>

<div style="text-align: center;">TABLE VI: Hyperparameters - DP-point</div>

对于基于点云的方法，输入点云会被均匀下采样为1000个点。我们在表V、VI、VII中列出了每种架构的超参数。

### F. 任务实现

在本节中，我们将介绍各项任务的设计细节。

• 海绵抓取：海绵被随机放置在桌面上一个$40 \times 70$平方厘米的区域内。任务是抓住海绵并将其向上提起超过30厘米。

- 球体收集：球体被随机放置在桌子右侧一个$40 \times 30$平方厘米的区域内，而篮子同样随机放置在左侧相同尺寸的区域内。当球体被抓起并放入篮子中时，任务即告完成。

- 盘子擦拭：该任务的设置与球体收集任务类似，盘子和海绵分别随机放置在桌子右侧和左侧，各自位于$40 \times 30$平方厘米的区域内。目标是用双手分别拿起盘子和海绵，然后利用海绵将盘子擦拭两次。这项任务要求双手协同配合，将盘子置于桌子中央区域以便于擦拭。

- 包装：空纸盒和目标物体被随机放置在桌子上，物体位于右侧$40 \times 30$平方厘米的区域内，纸盒位于左侧$10 \times 10$平方厘米的区域内。这项任务旨在评估模型针对不同物体（包括训练数据集中未出现的未见物体）的泛化能力。成功的条件是：用一只手拿起物体，另一只手将纸盒移至桌子中央；随后将物体放入纸盒中，再用一只手固定住纸盒，另一只手抓住盒盖并移动以将其合上。

---

![Image](images/cdec98059676f71bc758be5427f24f4d2ea0787f902b766e648fbc088c421a99.jpg)

<div style="text-align: center;">Fig. 12: Visualization of collected human data and retargeted robot data. DEXIL successfully adapts human motion capture data for tasks such as plate wiping, scissor cutting, and packaging. We demonstrate the entire workflow of executing these tasks.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Default</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate (LR)</td><td style='text-align: center; word-wrap: break-word;'>1e-4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Num Epoch</td><td style='text-align: center; word-wrap: break-word;'>3000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LR Decay</td><td style='text-align: center; word-wrap: break-word;'>None</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Point Cloud Encoder</td><td style='text-align: center; word-wrap: break-word;'>Perceiver</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Point Cloud Downsample</td><td style='text-align: center; word-wrap: break-word;'>1000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pooling Type</td><td style='text-align: center; word-wrap: break-word;'>MaxPooling</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UNet Embed Dim</td><td style='text-align: center; word-wrap: break-word;'>256</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UNet Down Dims</td><td style='text-align: center; word-wrap: break-word;'>[^256] [^512] [^1024]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UNet Kernel Size</td><td style='text-align: center; word-wrap: break-word;'>5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion Type</td><td style='text-align: center; word-wrap: break-word;'>DDIM</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion Num Train</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Diffusion Num Infer</td><td style='text-align: center; word-wrap: break-word;'>10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Input Horizon</td><td style='text-align: center; word-wrap: break-word;'>3</td></tr></table>

<div style="text-align: center;">TABLE VII: Hyperparameters - Ours (DP-prec)</div>

一个机械臂负责抓取物体，另一个则将盒子移至桌子中央。随后把物体放入盒中，接着用一只手固定盒子，另一只手通过抓握并移动盒盖来关闭盒子。

• 剪刀剪切：将一个容器固定在桌子中央，左侧放置剪刀，右侧放置一条纸带。任务开始时，左手需握住剪刀——将拇指插入一个刀柄，食指和中指插入另一个刀柄。同时，右手握住纸带。随后，剪刀和纸带被抬起并移向中央，由左手操作剪刀来剪切纸带。若剪切长度超过3毫米，则视为任务成功。

- 泡茶：茶桌居中放置且方向固定，桌上配有茶瓶、镊子和茶壶。机器人首先用左手握住茶瓶，右手拧开瓶盖，完成两圈旋转。接着取下瓶盖并将其放在茶桌右侧。随后，右手从茶桌右上角拿起镊子。机器人随后尝试将茶倒入

---

![Image](images/fa79966a513950d35eefbd8707ebe2d20a5aaab6741e1c798e068c37f0f78e48.jpg)

野外环境

![Image](images/a6e766aed408ffda26cc4917a709c2b08f541ac797948acdd1d94a9e2d653dd3.jpg)

<div style="text-align: center;">(a)</div>

![Image](images/c94ed401285bad385e45a9662d779445c0dc4d01677dcf6b1bd9758a59fef275.jpg)

<div style="text-align: center;">(b)</div>

![Image](images/1682caf6c349dbedc5069df903acbfb69c13aff79d470ff45a61a871c31f05ae.jpg)

<div style="text-align: center;">(c)</div>

![Image](images/dd0d05a098ce5b51660e947d821f81def95eb25f5cd271f9ce398ff8a77a4d3f.jpg)

<div style="text-align: center;">(d)</div>

![Image](images/7b1b83443459a8ceb091956440f28a4d1f84cf17eda49507607c117d12fbaadf.jpg)

<div style="text-align: center;">(e)</div>

<div style="text-align: center;">Fig. 13: Preparation of data collection in the wild. The first row illustrates data collection conducted in a laboratory setting, and the second row depicts in-the-wild data collection. (a) Initially, the human data collector moves around in the environment to track 6-DoF wrist poses with SLAM. (b)-(d) Subsequently, the data collector detaches the two cameras from the chest mount and secures them onto the glove mount. (e) With this setup, the human is prepared to begin data collection.</div>

第一人称视角

![Image](images/a6589dd61705670517aae1667018a3827ab0b2725dde30238c03a5095a0fa0a0.jpg)

正面视图

![Image](images/75f1dbef7d16c5d04fc8b2f9e7d862dc521924086043ac34fd5abc0a76bceb8c.jpg)

<div style="text-align: center;">(a)</div>

![Image](images/b738bd67f0c503e4c7e05a938e2b2123473d7ae21bd5b05fa447e335a1b5d480.jpg)

![Image](images/ff39c453041f49f99047f89252a916d81c49682a18e5438189c17f4ef9dfea96.jpg)

<div style="text-align: center;">(b)</div>

![Image](images/99724210884281c4355829d4175918607f62188a4c5d9287dab6cab629e25d2d.jpg)

![Image](images/8a8090dce816347e7ebdde992453d6dd1ead21c5e3566113429ace438c97cff4.jpg)

<div style="text-align: center;">(c)</div>

![Image](images/4becd190db8a9c06504b05cb2c0b90707e03ec3d881b37fb2b51d386ac08a2c8.jpg)

<div style="text-align: center;">(d)</div>

<div style="text-align: center;">Fig. 14: Switching DEXCAP from the human to the robot. We illustrate, from both first-person and front views, the seamless transition of DEXCAP from a human data collector to a bimanual dexterous robot system. This process involves effortlessly detaching the cameras from the chest mount and inserting them into a stationary mount on the robot's table.</div>

用左手将茶瓶中的茶倒入茶壶，同时右手用镊子辅助倒茶过程。最后，机器人将镊子和茶瓶放回桌上的对应位置。如果茶成功倒入茶壶，且茶瓶和镊子都归位，则任务视为成功。若要判定为完全成功，茶瓶必须完全从左手松开。

### G. 人机协作实现方式

DEXCAP采用了两种人机协作校正方法：遥操作和残差校正。这两种方法都可在策略执行期间使用，以收集额外的校正数据，进而优化策略以提升任务性能。这些算法及其实现的详细描述见主论文。在人机协作过程中，我们使用迷你电脑实时传输所有T265跟踪摄像头的数据，随后将这些跟踪信息发送至局域网中配置的Redis服务器。同时，在工作站上运行学习策略的机器人会从Redis服务器接收人类手部的位移增量。这些增量作为残差校正量，被整合到每个机器人动作中。安装在机器人双臂之间中央杆上的RGB-D激光雷达相机连接到工作站，

---

基于SLAM-IMU（我们的方法）的惯性测量单元

![Image](images/2ea25ee5f922b2146ff86ccf540f4e7d9759c7a8e5ee40ab913a9a3119784b68.jpg)

![Image](images/92d8ed6f4378f69af4bbffda17bd29144c7c634e3c34815375b29b2617a99781.jpg)

<div style="text-align: center;">Fig. 15: Compare with IMU-based mocap system. We disable the SLAM mapping and pose-correction features of the T265 tracking camera, forcing it to rely on IMU information to track the pose. The human operator held the camera, started from a fixed location, moved it along a predefined trajectory, and then returned to the starting position. IMU-based method (first row) fails to match the endpoint with the start point, which indicates that there is pose drift during tracking. Our SLAM-IMU method (second row) doesn't drift and captures smooth trajectory during the tracking.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Drifting error (cm)</td><td style='text-align: center; word-wrap: break-word;'>Trajectory 1</td><td style='text-align: center; word-wrap: break-word;'>Trajectory 2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IMU-based</td><td style='text-align: center; word-wrap: break-word;'>$8.0 \pm 3.1$</td><td style='text-align: center; word-wrap: break-word;'>$11.3 \pm 4.7$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SLAM-IMU (Ours)</td><td style='text-align: center; word-wrap: break-word;'>$0.4 \pm 0.2$</td><td style='text-align: center; word-wrap: break-word;'>$0.8 \pm 0.3$</td></tr></table>

<div style="text-align: center;">TABLE VIII: Drifting error of different tracking methods.</div>

用于采集观测数据。我们并非记录机器人的实际位置变化，而是记录发送给机器人控制器的动作指令。这种设计对于涉及与环境及物体物理接触的任务而言至关重要。

## 附录B

## 补充实验结果

### A. 跟踪精度

图15和表VIII分别展示了定性和定量结果。我们发现，基于惯性测量单元的方法在跟踪过程中会出现姿态漂移现象，而我们的SLAM-IMU方法能更精确地跟踪手部姿态，其平均误差仅为0.8厘米，相比之下，基于惯性测量单元的方法误差高达11.3厘米。