# DexUMI：将人类手部作为通用操控接口以实现灵巧操作
徐梦达 $^{*}$，1,2,3 张涵 $^{*}$，1 侯一凡 $^{1}$ 徐振佳 $^{5}$ 范林希 $^{5}$ 曼努埃拉·韦洛索 $^{3,4}$ 宋舒然 $^{1,2}$
$^{1}$ 斯坦福大学，$^{2}$ 哥伦比亚大学，
$^{3}$ 摩根大通人工智能研究院，$^{4}$ 卡内基梅隆大学，$^{5}$ NVIDIA
摘要：我们提出了DexUMI——一种数据收集与策略学习框架，它利用人类手部作为自然接口，将灵巧操作技能迁移到各类机器人手上。DexUMI包含硬件和软件适配模块，旨在缩小人类手部与各类机器人手之间的实体差异。硬件适配通过可穿戴手部外骨骼来弥补运动学差异；它能在数据采集过程中提供直接的触觉反馈，并将人类动作适配为机器人手可执行的动作。软件适配则通过用高保真度的机器人手图像替换视频数据中的人类手部，来缩小视觉差异。我们在两种不同类型的灵巧机器人手硬件平台上开展了全面的真实世界实验，验证了DexUMI的能力，其平均任务成功率达到86%。
## 关键词：灵巧操作、从人类学习、模仿学习
Demo w. DexUMI
Robot Execution
Diverse Skills
Figure 1: DexUMI transfer dexterous human manipulation skills to various robot hand by using wearable exoskeletons and a data processing framework. We demonstrate DexUMI's capability and effectiveness on both underactuated (e.g., Inspire) and fully-actuated (e.g., XHand) robot hand for a wide variety of manipulation tasks. Please see project website for details.
## 1 引言
人类手部在各类任务中展现出极强的灵巧性。设计灵巧机器人手的初衷便是复制这种能力。然而，由于人类手部与机器人手之间存在显著的实体差异，将技能从人类手部迁移到机器人手上仍是一项巨大挑战。这种差异体现在多个方面，比如运动学结构、接触面形状、可用的触觉信息以及视觉外观等方面的不同。
---
让这一挑战更为复杂的是当下种类繁多的灵巧手硬件设计。每种机器人手在自由度、电机范围、驱动机制以及整体尺寸等方面都存在不同的工程权衡。缩小实体差异的解决方案必须能够应对庞大的硬件设计空间。远程操控已成为灵巧手常用的操控接口，但由于空间观测不匹配以及缺乏直接触觉反馈，远程操控往往较为困难。而当人类手部可以直接执行操控任务时，这些问题便不复存在。换句话说，人类手部本身就是更优的操控接口。在本文中，我们提出了以下问题：
我们如何缩小实体差异，从而能将人类手部用作各类机器人手的通用操控接口？
为解答这一问题，我们提出了DexUMI——一个包含硬件和软件适配组件的框架，旨在缩小动作与观测方面的差异。
硬件适配采用可穿戴手部外骨骼的形式。用户佩戴它时即可直接采集操控数据。针对每种目标机器人手，外骨骼均通过硬件优化框架来设计，该框架会优化外骨骼参数（如连杆长度），使其在保持对人类手部友好性的同时，能精准匹配机器人的手指轨迹。硬件适配具有以下优势：
• 直观的演示与直接触觉反馈：与遥操作系统不同，可穿戴式外骨骼不存在空间不匹配问题，允许用户在操控过程中直接接触物体，因此演示过程直观且无需机器人参与即可实现。
• 为机械手记录可行的动作：该外骨骼会将人手动作约束为目标手的运动学特征，确保记录下来的动作具备可转移性。
• 捕捉精确的关节动作：与重定向方法不同，我们的外骨骼可直接从编码器读取精确的关节角度，从而消除因指尖视觉追踪导致的误差。
• 匹配用于学习的触觉信息：大多数用于数据采集的手持式夹持器[1–3]无法记录触觉信息。我们的设计在指尖处增加了额外的触觉传感器，以记录与机械手所记录的相同的触觉信息。
我们的软件适配采用数据处理流程的形式，用以填补人类演示与机器人部署之间的视觉观测差距。该处理流程首先通过视频分割技术从演示视频中移除人手和外骨骼，随后用与目标动作相匹配的机械手及环境背景对视频进行图像修复。这种适配确保了训练阶段与机器人部署阶段的视觉输入一致性，即便人手与机械手存在视觉差异也无妨。
借助硬件和软件适配层，DexUMI能够让我们在极小的运动学和视觉差距下采集各类任务的数据，进而将技能迁移到机器人上。全面的真实世界实验证明了DexUMI在两种不同类型的灵巧手上的应用能力：6自由度的Inspire手 [^4] 和12自由度的XHand [^5]。与遥操作相比，我们的方法可使数据采集效率提升3.2倍；在包括长时序任务以及需要多指接触的复杂任务在内的四类任务中，平均成功率达到86%。
## 2 相关工作
尽管已有大量研究探讨如何在模拟环境中实现学习[6–20]，但我们重点回顾的是真实世界的数据采集方法。
遥操作：遥操作是灵巧操作的一种流行接口。手部控制通过动作捕捉手套 [21–25]、虚拟现实设备 [26–28] 或基于相机的跟踪 [29–35] 实现。大多数方法采用基于优化的重定向，将人类指尖映射到机器人手。尽管重定向可适应不同的机器人平台，但它难以应对人手与机器人手之间根本的形态学差异，尤其是拇指的灵活性 [^36]。Zhou et al. [^37] 的最新工作引入了一种用于直接关节映射的手部外骨骼，但机械结构差异限制了映射精度。此外，遥操作或动觉
---
Figure 2: Exoskeleton Design. The optimized exoskeleton design shares the same joint-to-fingertip position mapping as the target robot hand while maintaining the wearability. The exoskeletons utilize the encoder to precisely capture the joint action and $150^{\circ}$ DFoV camera to record the information-rich visual observation. An iPhone is rigidly mounted to track the wrist pose through the ARKit.
示教方式 [^38] 需要机器人硬件的参与，这限制了数据采集的灵活性。相比之下，DexUMI无需物理机器人就能采集操控数据。
人手视频：从人手视频中学习操控技能是一个颇具吸引力的研究方向。以往的研究已探索过从视频中学习可供性[39–42]或提取人与物体的姿态[43–47]。尽管取得了令人鼓舞的成果，但这些研究大多要么需要额外的真实世界机器人数据，要么需要在模拟环境中学习策略，并且依赖物体姿态等先验信息才能在真实世界中部署该策略。
可穿戴设备：另一类研究致力于设计用于数据采集的可穿戴设备，例如便携式手持夹持器[1–3, 48–57]。这些方法在扩展真实机器人操控技能方面展现出了可观的潜力。不过，这些系统主要针对简单的平行/捏合夹持器，难以适配多指系统。另外，Dexcap [^58] 利用动作捕捉手套来采集接触状态下的数据，但它仍然依赖重定位方法和真实世界的机器人数据。相比之下，我们的方法消除了这些要求，能够利用通过DexUMI采集的数据直接部署策略。最近，Wei和Xu [^59] 以及Fang等人 [^60] 提出了用于灵巧手的手递手系统。这类系统需要实际的机器人手可供人类手部操控。
## 3 硬件适配以弥合具身差异
本节介绍我们的硬件适配方案，这是一种可穿戴外骨骼设计，能够将人类动作适配为机器人可执行的动作。虽然最终的外骨骼设计是针对特定机器人的，但设计框架的原理具有通用性。我们将分两部分介绍该设计框架：机构设计优化（$§3.1$）和传感器集成（$§3.2$）。
### 3.1 外骨骼机构设计
现代机器人手在解剖结构上往往与人类手极为相似，这意味着手部外骨骼会与佩戴它的人类手争夺空间。其中最大的挑战来自拇指——拇指的旋前/旋后运动会占据较大空间，极易导致人类拇指与设计不当的外骨骼发生碰撞。我们的外骨骼设计需实现两个目标：
1. 关节动作映射一致：外骨骼与目标机器人手必须具有相同的关节到指尖位置对应关系$\underline{\text{mapping}}$，包括其$\underline{\text{limits}}$，这样才能实现动作的传递。
2. 可穿戴性：外骨骼必须允许使用者的手进行充分的自然活动。
虽然第一个目标可以用数学方式定义，但可穿戴性这一目标却难以具体表述。我们的解决方案是对外骨骼设计进行参数化，将可穿戴性要求转化为对设计参数的约束条件，然后通过求解优化问题来找到既能满足可穿戴性要求又能保持运动学关系的设计方案。为了让优化过程更贴合实际……
---
在可能的情况下，我们优先保证指尖连杆的精确运动学特性，而对于不太可能与物体接触的连杆，则允许其在运动学上有更大的灵活性。
E.1 设计初始化：我们基于URDF文件，利用参数化的机械手模型来进行设计初始化（见图3）。当无法获取此类详细设计时（例如Inspire-Hand的指部机构），我们会用具有相同自由度的等效通用连杆设计（如四杆连杆）来替代，并通过优化来确定最能匹配观测到的运动学特性的参数。详情请参阅附录。
E.2 双层优化目标：我们的优化目标在于最大化下述相似性：$\max_{\mathbf{p}} S(\mathcal{W}_{\text{exo}}^{\text{tip}}(\mathbf{p}), \mathcal{W}_{\text{robot}}^{\text{tip}})$，其中 $\mathcal{W}_{\text{exo}}^{\text{tip}}$ 和 $\mathcal{W}_{\text{robot}}^{\text{tip}}$ 分别代表外骨骼与机械手的指尖工作空间（即SE(3)中所有可能的指尖姿态集合）。$\mathbf{p} = \{j_1, ..., j_n, l_1, ..., l_m\}$ 是外骨骼的设计参数，包括腕部坐标系（即法兰盘）中的关节位置 $j_i \in \mathbb{R}^3$ 以及连杆长度 $l_j$。函数 $S(\cdot, \cdot)$ 表示两个工作空间之间的相似性度量，用于量化
Figure 3: Mechanism Optimization. To avoid thumb collision between human hand and exoskeleton, the hardware optimization step allows us to move the exoskeleton thumb backward while still preserving the original fingertip and joint mapping in SE(3) space.
外骨骼的指尖姿态分布与机械手的指尖姿态分布的匹配程度。在实际应用中，$S(\cdot,\cdot)$ 是通过从两个工作空间中采样配置来实现最小化的。给定一组K个机械手配置 $\theta_{robot,k}$ 和N个外骨骼配置 $\theta_{exo,n}$：
$$ \begin{aligned}\mathcal{S}(\mathcal{W}_{exo}^{tip}(\mathbf{p}),\mathcal{W}_{robot}^{tip})=-\Big(&\sum_{k=1}^{K}\min_{\boldsymbol{\theta}_{exo}}\|\mathcal{F}_{exo}^{tip}(\mathbf{p},\boldsymbol{\theta}_{exo})-\mathcal{F}_{robot}^{tip}(\boldsymbol{\theta}_{robot,k})\|^{2}\\&+\sum_{n=1}^{N}\min_{\boldsymbol{\theta}_{robot}}\|\mathcal{F}_{exo}^{tip}(\mathbf{p},\boldsymbol{\theta}_{exo,n})-\mathcal{F}_{robot}^{tip}(\boldsymbol{\theta}_{robot})\|^{2}\Big)\end{aligned} $$
其中 $\mathcal{F}_{\mathrm{ex}}^{\mathrm{tip}}$ 和 $\mathcal{F}_{\mathrm{robot}}^{\mathrm{tip}}$ 分别是外骨骼与机械手的正运动学模型。优化第一项可以促使外骨骼通过寻找与采样的机械手配置最接近的外骨骼配置来覆盖机械手的工作空间。第二项要求满足 $\mathcal{W}_{\mathrm{ex}}^{\mathrm{tip}}(\mathbf{p}) \subseteq \mathcal{W}_{\mathrm{robot}}^{\mathrm{tip}}$，以确保外骨骼的指尖工作空间始终处于机械手的能力范围内，从而避免产生超出机械手工作空间的不可达姿态。
E.3 约束条件：我们设定了边界约束 $j_i \in \mathcal{C}_i$ 和 $l_j^{\min} \leq l_j \leq l_j^{\max}$，这些约束是根据经验选定的，旨在确保外骨骼能够舒适地被穿戴。例如，按照MANO [^61] 规范，我们希望将拇指摆动关节沿x轴方向移近腕部，以避免人类拇指的旋前-旋后运动与外骨骼发生碰撞。
### 3.2 传感器集成
外骨骼上的传感器需满足以下设计目标：
1. 采集足够的信息：传感器需要采集策略学习所需的所有信息，包括：机器人的 $\underline{\text{action}}$，如关节角度（S.1）和腕部运动（S.2），以及视觉（S.3）和触觉（S.4）方面的 $\underline{\text{observations}}$。
2. 最小化实体差异：感官信息在人类演示与机器人部署之间应具有最小的分布偏差。
S.1 关节采集与映射。为了精确采集关节动作数据，我们的外骨骼在每个驱动关节处都集成了关节编码器——XHand和Inspirehand均采用电阻式位置编码器。我们选用Alps编码器 [^62]，因其体积小且精度高。由于关节摩擦和电机间隙的存在，外骨骼关节编码器 $\theta_{exo}^{i}$ 与机械手电机 $\mathcal{M}_{robot}^{i}$ 值之间的映射往往是非线性的，因此我们需要为每个关节训练一个简单的回归模型以实现这种映射。为了校准回归模型，我们通过在物理机器人上对每个手指均匀采样K个电机值，从而收集一组配对数据，接着通过叠加机械手与外骨骼的视觉观测结果来确定相应的外骨骼关节
---
Figure 4: Bridging the Visual Gap. To convert the visual observation into policy training data, we first segment the exoskeleton using SAM2 (b) and inpaint the missing background (c). The corresponding joint action (a) is replayed on the dexterous hand to obtain the robot hand image (d). SAM2 is applied to obtain the robot mask (e). The intersection (f) of the exoskeleton mask (b) and robot mask (e) identifies the visible part of the hand during interaction. Finally, we replace pixels in the inpainted background (c) with the visible robot hand (g).
数值。这一过程为我们提供了用于训练回归模型的配对数据集。
S.2 腕部姿态跟踪。我们使用iPhone ARKit来采集6自由度腕部姿态数据，因为智能手机是最易获取的能够提供精确空间跟踪的设备。这种跟踪设备仅用于数据采集阶段，并不用于机器人部署。
S.3 视觉观察。我们在外骨骼和目标机器人灵巧手的腕部下方安装了具有$150^{\circ}$对角视场角（DFoV）的广角摄像头OAK-1 [^63]。选择这种安装位置是为了有效捕捉手与物体的交互情况。关键在于，外骨骼和机器人手在腕部坐标系下的摄像头姿态完全一致，从而保证了训练阶段与部署阶段的视觉一致性。
S.4 触觉感知。可穿戴式外骨骼允许用户直接接触物体并接收触觉反馈。然而，这种人类的触觉反馈无法直接传递给机器人灵巧手。因此，我们在外骨骼上安装触觉传感器来捕捉并转化这些触觉交互信息。为确保传感器读数的一致性，我们在外骨骼上安装的触觉传感器类型与目标机器人手上使用的完全相同。对于XHand，我们使用该手自带的电磁式触觉传感器；对于Inspire-Hand，我们在外骨骼和机器人手上均安装了同一种压阻式触觉传感器——力敏电阻器 [^64]。
## 4 用于弥合视觉差距的软件适配
图4展示了人类演示场景（a）与机器人部署场景（h）之间的视觉差距。为了弥合这一视觉差距，我们开发了一套数据处理流程，将演示图像转化为机器人所看到的画面，就如同机器人手正在采集数据一样。这种适配利用了现成的预训练模型来确保通用性。适配过程分为四个步骤：
V.1 分割人手与外骨骼。首先，我们利用SAM2 [^65] 从观察视频中分割出人手和外骨骼（图4b）。由于SAM2需要初始提示点，我们制定了相应协议：操作人员始终以相同的手势开始操作，这样就能对所有演示视频复用相同的提示点。
V.2 修复环境背景。完成分割后，我们会从图像数据中移除人手和外骨骼的像素。随后使用基于光流的修复方法ProPainter [^66] 来填补缺失的区域（图4c）[67–69]。
V.3 录制对应的机器人手视频。接下来，为了在视频中正确呈现机器人手，我们会在机器人手上重放记录的关节动作，并仅录制包含机器人手的视频（图4d）。此步骤不涉及机器人臂。之后我们再次使用SAM2提取机器人手的像素（图4e）并丢弃背景。需要注意的是，虽然可以训练图像生成模型根据动作输出机器人手图像，但这需要额外的模型训练工作。
---
Figure 5: Policy Rollout: We evaluate DexUMI's capabilities across challenging real-world tasks. The Cube task tests basic picking precision. The Egg Carton task evaluates multi-finger coordination. The Tea Picking task assesses performance on contact-rich manipulation requiring millimeter-level fine-grained fingertip actions. Finally, the Kitchen task tests capabilities on long-horizon high-precision actions to manipulate a knob, move a pan using both the side of thumb and index finger (beyond just fingertips), and utilize tactile sensing for visually challenging salt picking tasks.
V4 合成机器人演示视频。最后一步是将仅含修复后背景的视频与仅含机器人手的视频合并。保持正确的遮挡关系至关重要：机器人手并非总是出现在最上层。我们开发了一种考虑遮挡关系的合成方法，该方法依托于：（1）一致的腕下摄像头设置；（2）外骨骼与机器人手在运动学和形状上的相似性。我们通过求取外骨骼掩码与机器人手掩码的交集来计算可见掩码（图4f）。我们并非简单地覆盖像素，而是只有当像素存在于可见掩码中时，才会用机器人手像素替换修复后的观测视频中的对应像素。这样便保留了从腕下摄像头视角观看时手与物体之间的自然遮挡关系。该方法生成的机器人操作演示视频在视觉上连贯，且保持了正确的空间关系。
模仿学习。我们的模仿学习策略 $p(\mathbf{a}_t | o_t, f_t)$ 以处理后的视觉观测 $o_t$ 和触觉感知 $f_t$ 作为输入。输出是从当前时间 t 开始、长度为 L 的一系列动作 $\{a_t, \ldots, a_{t+L}\}$，记为 $\mathbf{a}_t$。机器人动作 $a_t$ 包括六自由度末端执行器动作以及 N 自由度的手部动作，其中 N 取决于具体的机器人手硬件。
## 5 评估
目标机器人手：我们在两种不同的机器人手上评估 DexUMI 的性能：
- Inspire Hand（IHand）：一种十二自由度（六个主动自由度）的欠驱动手。拇指有两个主动自由度和两个被动自由度，其余每个手指各有一个主动和一个被动自由度。
---
| Method | Inspire Hand | XHand |
| Action | Tactile | Visual | Cube | Carton | Teal | Tea | Kichen |
| tool | leaf | tool | leaf | knob | pan | salt |
| Rel | Yes | Inpaint | 1.00 | 0.85 | 1.00 | 0.85 | 1.00 | 0.85 | 0.95 | 0.95 | 0.75 |
| Abs | Yes | Inpaint | 0.10 | 0.35 | 0.80 | 0.00 | 1.00 | 0.25 | 0.50 | 0.45 | 0.00 |
| Rel | No | Inpaint | 0.95 | 0.90 | 1.00 | 0.90 | 0.95 | 0.80 | 0.95 | 0.95 | 0.15 |
| Abs | No | Inpaint | 0.90 | 0.85 | 0.90 | 0.60 | 1.00 | 0.75 | 0.60 | 0.60 | 0.0 |
| Rel | No | Mask | 0.60 | 0.10 | 0.90 | 0.50 | / | / | / | / | / |
| Rel | No | Raw | 0.20 | 0.05 | 0.85 | 0.05 | / | / | / | / | / |
Table 1: Evaluation Results. We report stage-wise accumulated success rate. The experiments compare different combinations of finger action representation (Absolute vs Relative), tactile feedback (Yes vs No), and visual rendering approaches (Inpaint vs Mask/Raw).
- XHand：一种具有十二个主动自由度的全驱动手。拇指包含三个自由度，食指有三个自由度，其余每个手指各有两个自由度。
任务：我们在四种不同的真实世界任务中评估 DexUMI 的性能：
- 立方体 [IHand]：从桌上拾起一个边长为 2.5 厘米的立方体并将其放入杯中。该任务用于评估 DexUMI 系统的基本操作能力和精确度。
• 鸡蛋盒 [IHand]：用多个手指打开鸡蛋盒：手部需要用食指、中指、无名指和小指对盒盖施加向下的压力，同时用拇指抬起前端的卡扣。
- 茶叶 [IHand & XHand]：从桌上拿起镊子，用它把茶叶从茶壶转移到杯中。主要挑战在于利用多指接触稳定地操控可形变的镊子。
• 厨房任务 [XHand]：该任务包含四个连续步骤：关闭炉灶旋钮；将平底锅从炉灶上移到台面上；从容器中取盐；最后将其撒在平底锅中的食物上。该任务用于测试 DexUMI 在处理长时序任务时的能力，以及对精确动作、触觉感知和非指尖类技能的运用能力。
对比实验：我们评估了策略动作空间选择、触觉感知以及软件适配对系统性能的影响。
- 相对与绝对手指动作：我们比较了手指动作轨迹的形式：绝对位置或由 [^1] 提出的相对轨迹。对于手腕动作，我们始终采用相对位置。
• 有与无触觉感知：我们分别训练包含和不包含触觉传感器输入的策略。
• 有与无软件适配：我们考察了两种未经过软件适配的变体：(1) Mask，即用绿色遮罩替换掉训练时外骨骼或推理时机器人手所占用的像素；(2) Raw，即直接将包含外骨骼的图像原样作为策略输入。
评估流程：在每个评估回合中，测试物体会在初始化时被随机放置在桌上。我们对每项任务进行 20 次评估回合，确保我们的方法与其他基线方法在初始物体配置上保持一致。对于长时序任务，我们在表 1 中报告分阶段累积成功率。
### 5.1 主要发现
DexUMI 框架能够实现高效的灵巧操作策略学习：如表 1 所示，DexUMI 系统在两种机器人手上针对所有四项任务均取得了很高的成功率。该系统能够完成精确操控、长时序任务以及多手指协调接触操作，同时能在各种操控场景中有效泛化。
相对手指轨迹对噪声和硬件缺陷的鲁棒性更强：图1a-b显示，相对手指轨迹在所有任务中均能更稳定地取得更好的效果。图6提供了更多见解：相对轨迹能够提升关键接触事件的可靠性。我们推测造成这种差异的原因有两个：其一，相对动作的分布比绝对动作更简单，因此更容易学习；其二，相对动作会形成一种反应性行为，即增量动作会不断累积直至发生关键事件（例如手指在接触时闭合）。而绝对动作学习的是静态映射关系，一旦映射出现误差就会导致动作停滞。
---
Figure 6: Comparisons. a) The policy outputs relative hand actions yield more precise action and demonstrate better multi-finger coordination. Note, we draw a sketch for the knob closing for better visualization. b) Even with noisy tactile sensor reading, the tactile significantly improves tasks which is visually challenging.
只有相对手指轨迹才能从有噪声的触觉反馈中获益：表1中的一个有趣现象是触觉对结果的影响存在差异。XHand上的触觉传感器在承受高压后会出现漂移且变得不稳定，因此大多数情况下，引入触觉反而会使结果变差。我们观察到，只有采用相对轨迹时，策略才能从这种触觉感知中受益。对于Inspire手而言，我们手动安装的触觉传感器噪声更大（详见第§3.2节），加入触觉传感器作为输入后，所有方法的性能都会下降。不过，采用相对轨迹的策略相比采用绝对轨迹的策略，性能下降幅度仍较小。
触觉反馈能提升具有清晰力曲线的任务性能：我们试图弄清楚哪种任务能从触觉感知中受益。我们以XHand为重点进行研究，因为其触觉传感器能提供更清晰的读数。我们发现，触觉反馈显著提升了拾取盐粒任务的性能。这项任务凸显了触觉的作用，原因在于：1）当手指触碰盐碗时，触觉传感器会给出清晰且幅度较大的读数；2）由于相机视野大多被盐碗遮挡，抓取附近的可视信息极少。在这种情况下，我们发现触觉反馈彻底改变了策略行为。有触觉传感器时，手指总是先插入盐粒中再合拢；没有触觉反馈时，手指有时会在空中尝试抓取盐粒。相反，在操控镊子时触觉信息并无帮助，因为手部动作与力反馈之间缺乏强相关性。握住镊子时，触觉传感器仅会产生极微弱的读数。
DexUMI框架可实现高效的灵巧手数据采集：我们比较了三种方式的数据采集效率：DexUMI、裸手操作以及采茶工具操作任务中的遥操作。同一名操作员用每种方式在15分钟的时段内采集数据。我们根据获取到的成功演示数量计算了采集吞吐量（CT）。如图7所示，虽然DexUMI的效率仍低于直接用手操作，但其效率是传统遥操作方法的3.2倍，大幅缩短了灵巧操作数据采集所需的时间。
Figure 7: Efficiency: Collection throughput (CT) within 15-minute. Though DexUMI still slower than bare hand, it achieves significant higher efficiency than teleportation.
## 6 结论
我们提出了DexUMI，这是一个可扩展且高效的数据采集与策略学习框架，它以人手为接口，将人类手部动作转化为精确的机器人手部动作，同时提供自然的触觉反馈。通过大量具有挑战性的真实世界实验，我们证明了DexUMI在学习用于执行精准、高接触度且长时序任务的灵巧操控策略方面的能力。我们的工作为高效、大规模采集真实世界的灵巧手数据提供了一种超越传统远程操控的新途径。
---
## 7 局限性与未来工作
我们希望从三个不同方面探讨DexUMI的局限性：硬件适配、软件适配以及现有的机械手硬件。
## 硬件适配
- 针对不同机械手外骨骼的设计：尽管DexUMI在欠驱动和全驱动机械手上都表现出良好的泛化能力，但我们的优化框架仍需针对特定硬件进行调优，尤其是在可穿戴性方面。未来的一个研究方向是，基于机械手模型和人手的相关描述，实现完全自动化的优化流程。此外，当设计空间扩大时，我们的硬件优化框架有望利用生成式模型 [^70] 来提升效率和精度。
- 指尖匹配：我们当前的建模仅关注所设计的外骨骼与目标机械手之间的指尖工作空间匹配问题。未来若能进一步建模其余潜在的接触几何形状（如手掌），将会非常有意义。
- 可穿戴性：硬件优化流程使得外骨骼具备可穿戴性，人类能够相对轻松地长时间操作它。不过，通过采用软质材料（例如用于与人手接触部位的TPU）可以进一步改善可穿戴性。另外，受目标机械手的设计和3D打印材料强度的限制，用户在完全伸展某些手指时仍可能会受到限制。
- 触觉传感器的可靠性：实验过程中我们发现，可靠的触觉传感器对于维持外骨骼与对应机械手之间一致的触觉观测、从而缩小实体差异至关重要。在我们的实现中，安装在Inspire手及其外骨骼上的电阻式触觉传感器对其在手指上的安装方式较为敏感。同时，XHand及其外骨骼上的电磁式触觉传感器在承受高压后会出现漂移现象。由于人手产生的力大于机械手，因此人类操作外骨骼时触觉传感器读数经常发生漂移。未来的研究也可以引入其他类型的触觉传感器，例如基于视觉的触觉传感器[71–73]和电容式力/扭矩传感器 [^74]。
- 材料限制：实验表明DexUMI能够捕捉到精细的指尖动作，例如夹取镊子。然而，我们有时发现由于3D打印材料强度的限制，编码器无法精确捕捉人类的动作；有时人类在操作物体时会轻微扭曲外骨骼连杆结构，这种情况下编码器便无法记录这种扭曲现象。
## 软件适配
- 机械手图像：目前我们仍需借助真实的机械手硬件来获取机械手图像。不过，若采用一种以电机数值为输入、输出对应手部姿态图像的图像生成模型，便可消除这一需求。
- 图像修复质量：实验过程中我们发现，当前的软件适配流程已能生成高保真度的机械手图像。不过，我们观察到机械手上的光照效果无法被完全还原，且由于图像修复过程的限制，图像中某些区域会出现模糊现象。
- 摄像头位置：DexUMI目前要求摄像头必须牢固地安装在机器人手/外骨骼上，不支持移动摄像头。不过，收集相关数据并训练图像生成模型是可行的；该模型可接收摄像头与手部之间的相对姿态以及手部姿态信息，从而从任意给定摄像头位置生成对应的手部姿态图像。
## 现有的机器人手硬件
- 精度问题：在实验过程中我们发现，Inspire Hand和XHand由于间隙和摩擦的存在，精度均不足。例如，当Inspire Hand从1000个电机单位移动到500个电机单位时，其指尖位置与从0到500个电机单位移动时的位置存在差异。
---
电机单位。尽管两种情况下所需的电机数值相同，但最终的指尖位置却有所不同。我们在两种机器人手上都观察到了这种现象。因此，在拟合编码器与手部电机值之间的回归模型时，我们通常只能保证“单一方向”上的精度——要么是手部闭合时，要么是手部张开时。这必然会导致图像修复和动作映射过程中出现细微差异。此外，我们发现XHand的电机指令与指尖位置之间的对应关系会随时间推移或每次重启后发生轻微变化。
- 尺寸差异：机器人手与人手之间的尺寸差别可能会引发佩戴性问题。例如，如果机器人手的尺寸是人手的两倍，那么人手和外骨骼都很难达到机器人手所要求的关节配置。
- 协同设计：许多此类佩戴性问题源于现有商用硬件的设计限制。一个有趣的研究方向是探索逆向设计范式：先设计出对人体来说舒适且能完全操作的外骨骼，再以此为基础来设计机器人手。
---
## 致谢
我们感谢Dominik Bauer、Huy Ha、Yinghao Xu、Yihuai Gao、Haoyu Xiong、Maximilian Du、Mandi Zhao、Zhanyi Sun、Zeyi Liu、Chuer Pan、Xiaomeng Xu、Austin Patel、Haochen Shi、Jingxi Xu、Hojung Choi、John So、Cheng Chi和Shuang Li提供的宝贵反馈与富有成效的讨论。我们感谢Zipeng Fu和Chen Wang在Inspire手设置方面给予的帮助。
本研究部分得到了美国国家科学基金会（NSF）奖项#2143601、#2037101和#2132519的支持。我们感谢TRI提供的UR5机器人硬件，NVIDIA提供的Inspire Hand，Robotera提供的XHand，以及苹果公司提供的iPhone硬件。本文所表达的观点和结论仅代表作者立场，并不一定代表资助方的官方政策（无论明示或暗示）。徐梦达的研究得到了摩根大通公司的支持。本文部分由摩根大通人工智能研究小组及其附属机构（“摩根大通”）为提供信息之目的而撰写，并非摩根大通研究部的产品。摩根大通对本文所含信息的完整性、准确性或可靠性不作任何陈述或保证，并不承担任何责任。本文档并非用于投资研究或投资建议，也不是购买或出售任何证券、金融工具、金融产品的推荐、要约或招揽；亦不得用于评估参与任何交易的优劣，且在任何司法管辖区或对任何人而言，若此类招揽行为在该司法管辖区或对该人来说属于违法，则不构成招揽。
## 参考文献
[^1]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. $\underline{\text{arXiv preprint}}$ $\underline{\text{arXiv:2402.10329}}$, 2024.
[^2]: J. Pari, N. M. Shafullah, S. P. Arunachalam, and L. Pinto. The surprising effectiveness of representation learning for visual imitation. $\underline{\text{arXiv preprint arXiv:2112.01511}}$, 2021.
. 关于
---
[^4]: Generic. inspire hand, URL .
[^5]: Generic. Xhand,. URL .
[^6]: O. M. Andrychowicz, B. Baker, M. Chociej, R. Jozefowicz, B. McGrew, J. Pachocki, A. Petron, M. Plappert, G. Powell, A. Ray, et al. Learning dexterous in-hand manipulation. $\underline{\text{The International Journal of Robotics Research}}$, 39(1):3-20, 2020.
[^7]: T. Lin, Z.-H. Yin, H. Qi, P. Abbeel, and J. Malik. Twisting lids off with two hands. $\underline{\text{arXiv}}$ preprint arXiv:2403.02338, 2024.
[^8]: J. Wang, Y. Yuan, H. Che, H. Qi, Y. Ma, J. Malik, and X. Wang. Lessons from learning to spin" pens". $\underline{\text{arXiv preprint arXiv:2407.18902}}$, 2024.
[^9]: L. Sievers, J. Pitz, and B. Bäuml. Learning purely tactile in-hand manipulation with a torque-controlled hand. In $\underline{\text{2022 International conference on robotics and automation (ICRA)}}$, pages 2745-2751. IEEE, 2022.
## [^10]: T. G. W. Lum, M. Matak, V. Makoviychuk, A. Handa, A. Allshire, T. Hermans, N. D. Ratliff, and K. Van Wyk. Dextrah-g: Pixels-to-action dexterous arm-hand grasping with geometric fabrics. arXiv preprint arXiv:2407.02274, 2024
---
[^11]: M. Yang, C. Lu, A. Church, Y. Lin, C. Ford, H. Li, E. Psomopoulou, D. A. Barton, and N. F. Lepora. Anyrotate: Gravity-invariant in-hand object rotation with sim-to-real touch. $\underline{\text{arXiv preprint arXiv:2405.07391}}$, 2024.
[^12]: Y. Han, M. Xie, Y. Zhao, and H. Ravichandar. On the utility of koopman operator theory in learning dexterous manipulation skills. In $\underline{\text{Conference on Robot Learning}}$, pages 106-126. PMLR, 2023.
[^13]: A. Agarwal, S. Uppal, K. Shaw, and D. Pathak. Dexterous functional grasping. $\underline{\text{arXiv preprint}}$ $\underline{\text{arXiv:2312.02975}}$, 2023.
[^14]: A. Handa, A. Allshire, V. Makoviychuk, A. Petrenko, R. Singh, J. Liu, D. Makoviichuk, K. Van Wyk, A. Zhurkevich, B. Sundaralingam, et al. Dextreme: Transfer of agile in-hand manipulation from simulation to reality. In $\underline{\text{2023 IEEE International Conference on Robotics and Automation (ICRA)}}$, pages 5977–5984. IEEE, 2023.
[^15]: Z.-H. Yin, B. Huang, Y. Qin, Q. Chen, and X. Wang. Rotating without seeing: Towards in-hand dexterity through touch. $\underline{\text{arXiv preprint arXiv:2303.10880}}$, 2023.
[^16]: G. Khandate, S. Shang, E. T. Chang, T. L. Saidi, Y. Liu, S. M. Dennis, J. Adams, and M. Ciocarlie. Sampling-based exploration for reinforcement learning of dexterous manipulation. $\underline{\text{arXiv}}$ preprint arXiv:2303.03486, 2023.
[^17]: B. Huang, Y. Chen, T. Wang, Y. Qin, Y. Yang, N. Atanasov, and X. Wang. Dynamic handover: Throw and catch with bimanual hands. arXiv preprint arXiv:2309.05655, 2023.
[^18]: H. Qi, A. Kumar, R. Calandra, Y. Ma, and J. Malik. In-hand object rotation via rapid motor adaptation. In $\underline{\text{Conference on Robot Learning}}$, pages 1722-1732. PMLR, 2023.
[^19]: R. Singh, A. Allshire, A. Handa, N. Ratliff, and K. Van Wyk. Dextrah-rgb: Visuomotor policies to grasp anything with dexterous hands. $\underline{\text{arXiv preprint arXiv:2412.01791}}$, 2024.
[^20]: T. G. W. Lum, A. H. Li, P. Culbertson, K. Srinivasan, A. D. Ames, M. Schwager, and J. Bohg. Get a grip: Multi-finger grasp evaluation at scale enables robust sim-to-real transfer. $\underline{\text{arXiv}}$ preprint $\underline{\text{arXiv:2410.23701}}$, 2024.
[^21]: H. Zhang, S. Hu, Z. Yuan, and H. Xu. Doglove: Dexterous manipulation with a low-cost open-source haptic force feedback glove, 2025. URL .
[^22]: K. Shaw, Y. Li, J. Yang, M. K. Srirama, R. Liu, H. Xiong, R. Mendonca, and D. Pathak. Bimanual dexterity for complex tasks. $\underline{\text{arXiv preprint arXiv:2411.13677}}$, 2024.
[^23]: H. Liu, Z. Zhang, X. Xie, Y. Zhu, Y. Liu, Y. Wang, and S.-C. Zhu. High-fidelity grasping in virtual reality using a glove-based system. In $\underline{\text{2019 International Conference on Robotics and Automation (ICRA)}}$, pages 5180-5186, 2019. doi:10.1109/ICRA.2019.8794230.
[^24]: M. Schwarz, C. Lenz, A. Rochow, M. Schreiber, and S. Behnke. Nimbro avatar: Interactive immersive telepresence with force-feedback telemanipulation. In $\underline{\text{2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}}$, pages 5312–5319. IEEE, 2021.
[^25]: Z.-H. Yin, C. Wang, L. Pineda, F. Hogan, K. Bodduluri, A. Sharma, P. Lancaster, I. Prasad, M. Kalakrishnan, J. Malik, et al. Dexteritygen: Foundation controller for unprecedented dexterity. arXiv preprint arXiv:2502.04307, 2025.
## [^26]: Y. Hu, Y. Guo, P. Wang, X. Chen, Y.-J. Wang, J. Zhang, K. Sreenath, C. Lu, and J. Chen. Video prediction policy: A generalist robot policy with predictive visual representations. $\underline{\text{arXiv}}$ preprint arXiv:2412.14803, 2024
---
[^27]: R. Ding, Y. Qin, J. Zhu, C. Jia, S. Yang, R. Yang, X. Qi, and X. Wang. Bunnyvisionpro: Real-time bimanual dexterous teleoperation for imitation learning. $\underline{\text{arXiv preprint}}$ $\underline{\text{arXiv:2407.03162}}$, 2024.
[^28]: X. Cheng, J. Li, S. Yang, G. Yang, and X. Wang. Open-television: Teleoperation with immersive active visual feedback. In $\underline{\text{8th Annual Conference on}}$ Robot Learning.
[^29]: A. Iyer, Z. Peng, Y. Dai, I. Guzey, S. Haldar, S. Chintala, and L. Pinto. Open teach: A versatile teleoperation system for robotic manipulation. arXiv preprint arXiv:2403.07870, 2024.
[^30]: S. Yang, M. Liu, Y. Qin, R. Ding, J. Li, X. Cheng, R. Yang, S. Yi, and X. Wang. Ace: A cross-platform and visual-exoskeletons system for low-cost dexterous teleoperation. In $\underline{\text{8th Annual Conference on}}$ Robot Learning.
[^31]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. In $\underline{\text{Robotics: Science and Systems}}$, 2023.
[^32]: S. Han, B. Liu, R. Cabezas, C. D. Twigg, P. Zhang, J. Petkau, T.-H. Yu, C.-J. Tai, M. Akbay, Z. Wang, et al. Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. $\underline{\text{ACM Transactions on Graphics (ToG)}}$, 39(4):87-1, 2020.
[^33]: S. P. Arunachalam, S. Silwal, B. Evans, and L. Pinto. Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation. In $\underline{\text{2023 ieee international conference on robotics and automation (icra)}}$, pages 5954–5961. IEEE, 2023.
[^34]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In $\underline{\text{2020 IEEE International Conference on Robotics and Automation (ICRA)}}$, pages 9164–9170, 2020. doi:10.1109/ICRA40945.2020.9197124.
[^35]: Y. Qin, H. Su, and X. Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation. $\underline{\text{IEEE Robotics and Automation Letters}}$, 7(4):10873–10881, 2022. doi:10.1109/LRA.2022.3196104.
[^36]: S. P. Arunachalam, I. Güzey, S. Chintala, and L. Pinto. Holo-dex: Teaching dexterity with immersive mixed reality. In $\underline{\text{2023 IEEE International Conference on Robotics and Automation (ICRA)}}$, pages 5962–5969, 2023. doi:10.1109/ICRA48891.2023.10160547.
[^37]: J. Zhou, B. Liang, J. Huang, I. Zhang, P. Abbeel, and M. Tomizuka. Global-local interface for on-demand teleoperation. $\underline{\text{arXiv preprint arXiv:2502.09960}}$, 2025.
[^38]: Y. Hou, Z. Liu, C. Chi, E. Cousineau, N. Kuppuswamy, S. Feng, B. Burchfiel, and S. Song. Adaptive compliance policy: Learning approximate compliance for diffusion guided control. arXiv preprint arXiv:2410.09309, 2024.
[^39]: A. Kannan, K. Shaw, S. Bahl, P. Mannam, and D. Pathak. Deft: Dexterous fine-tuning for real-world hand policies. $\underline{\text{arXiv preprint arXiv:2310.19797}}$, 2023.
[^40]: P. Mandikal and K. Grauman. Learning dexterous grasping with object-centric visual affordances. In $\underline{\text{2021 IEEE international conference on robotics and automation (ICRA)}}$, pages 6169–6176. IEEE, 2021.
[^41]: Y.-H. Wu, J. Wang, and X. Wang. Learning generalizable dexterous manipulation from human grasp affordance. In $\underline{\text{Conference on Robot Learning}}$, pages 618-629. PMLR, 2023.
### [^42]: A. Gavryushin, X. Wang, R. J. Malate, C. Yang, X. Jia, S. Goel, D. Liconti, R. Zurbrügg, R. K. Katzschmann, and M. Pollefeys. Maple: Encoding dexterous robotic manipulation priors learned from egocentric videos. arXiv preprint arXiv:2504.06084, 2025
---
[^43]: S. Park, S. Lee, M. Choi, J. Lee, J. Kim, J. Kim, and H. Joo. Learning to transfer human hand skills for robot manipulations. $\underline{\text{arXiv preprint arXiv:2501.04169}}$, 2025.
[^44]: Z. Chen, S. Chen, E. Arlaud, I. Laptev, and C. Schmid. Vividex: Learning vision-based dexterous manipulation from human videos. arXiv preprint arXiv:2404.15709, 2024.
[^45]: P. Mandikal and K. Grauman. Dexvip: Learning dexterous grasping with human hand pose priors from video. In $\underline{\text{Conference on Robot Learning}}$, pages 651-661. PMLR, 2022.
[^46]: J. Ye, J. Wang, B. Huang, Y. Qin, and X. Wang. Learning continuous grasping function with a dexterous hand from human demonstrations. $\underline{\text{IEEE Robotics and Automation Letters}}$, 8(5): 2882–2889, 2023.
[^47]: Y. Qin, Y.-H. Wu, S. Liu, H. Jiang, R. Yang, Y. Fu, and X. Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In $\underline{\text{European Conference on Computer Vision}}$, pages 570-587. Springer, 2022.
[^48]: S. Song, A. Zeng, J. Lee, and T. Funkhouser. Grasping in the wild: Learning 6dof closed-loop grasping from low-cost demonstrations. $\underline{\text{Robotics and Automation Letters}}$, 2020.
[^49]: H. Ha, Y. Gao, Z. Fu, J. Tan, and S. Song. Umi on legs: Making manipulation policies mobile with manipulation-centric whole-body controllers. $\underline{\text{arXiv preprint arXiv:2407.10353}}$, 2024.
[^50]: S. Young, D. Gandhi, S. Tulsiani, A. Gupta, P. Abbeel, and L. Pinto. Visual imitation made easy. In $\underline{\text{Conference on Robot learning}}$, pages 1992-2005. PMLR, 2021.
[^51]: K. Doshi, Y. Huang, and S. Coros. On hand-held grippers and the morphological gap in human manipulation demonstration. $\underline{\text{arXiv preprint arXiv:2311.01832}}$, 2023.
[^52]: P. Praveena, G. Subramani, B. Mutlu, and M. Gleicher. Characterizing input methods for human-to-robot demonstrations. In $\underline{\text{2019 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI)}}$, pages 344-353. IEEE, 2019.
[^53]: F. Sanches, G. Gao, N. Elangovan, R. V. Godoy, J. Chapman, K. Wang, P. Jarvis, and M. Liarokapis. Scalable. intuitive human to robot skill transfer with wearable human machine interfaces: On complex, dexterous tasks. In $\underline{\text{2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}}$, pages 6318–6325. IEEE, 2023.
[^54]: M. Seo, H. A. Park, S. Yuan, Y. Zhu, and L. Sentis. Legato: Cross-embodiment imitation using a grasping tool. $\underline{\text{IEEE Robotics and Automation Letters}}$, 10(3):2854–2861, Mar. 2025. ISSN 2377-3774. doi:10.1109/lra.2025.3535182. URL .
[^55]: F. Lin, Y. Hu, P. Sheng, C. Wen, J. You, and Y. Gao. Data scaling laws in imitation learning for robotic manipulation. arXiv preprint arXiv:2410.18647, 2024.
[^56]: F. Liu, C. Li, Y. Qin, A. Shaw, J. Xu, P. Abbeel, and R. Chen. Vitamin: Learning contact-rich tasks through robot-free visuo-tactile manipulation interface. $\underline{\text{arXiv preprint arXiv:2504.06156}}$, 2025.
[^57]: Z. Liu, C. Chi, E. Cousineau, N. Kuppuswamy, B. Burchfiel, and S. Song. Maniwav: Learning robot manipulation from in-the-wild audio-visual data. In $\underline{\text{8th Annual Conference on Robot Learning}}$, 2024.
### [^58]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation, 2024. URL
---
[^59]: D. Wei and H. Xu. A wearable robotic hand for hand-over-hand imitation learning. In $\underline{\text{2024 IEEE International Conference on Robotics and Automation (ICRA)}}$, pages 18113-18119. IEEE, 2024.
[^60]: H.-S. Fang, B. Romero, A. Hu, L. Wang, E. Adelson, and P. Agrawal. Dexo: Hand exoskeleton system for teaching robot dexterous manipulation in-the-wild. 2023. URL .
[^61]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: modeling and capturing hands and bodies together. $\underline{\text{ACM Transactions on Graphics}}$, 36(6):1-17, Nov. 2017. ISSN 1557-7368. doi:10.1145/3130800.3130883. URL .
[^62]: Alps Alpine. Alps alpine rdc506018a rotary position sensor, 2025. URL . Accessed: March 23, 2025.
[^63]: Generic. Oak-1 w ov9792, 2025. URL . Accessed: March 23, 2025.
[^64]: Generic. Zd10-100 force sensitive resistor (fsr) pressure sensor, 2025. URL . Accessed: March 23, 2025.
[^65]: N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Räde, C. Rolland, L. Gustafson, et al. Sam 2: Segment anything in images and videos. $\underline{\text{arXiv preprint arXiv:2408.00714}}$, 2024.
[^66]: S. Zhou, C. Li, K. C. Chan, and C. C. Loy. Propainter: Improving propagation and transformer for video inpainting. In $\underline{\text{Proceedings of the IEEE/CVF international conference on computer vision}}$, pages 10477-10486, 2023.
[^67]: S. Bahl, A. Gupta, and D. Pathak. Human-to-robot imitation in the wild. $\underline{\text{arXiv preprint arXiv:2207.09450}}$, 2022.
[^68]: P. Li, T. Liu, Y. Li, M. Han, H. Geng, S. Wang, Y. Zhu, S.-C. Zhu, and S. Huang. Ag2manip: Learning novel manipulation skills with agent-agnostic visual and action representations. In $\underline{\text{2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}}$, pages 573–580. IEEE, 2024.
[^69]: L. Y. Chen, C. Xu, K. Dharmarajan, M. Z. Irshad, R. Cheng, K. Keutzer, M. Tomizuka, Q. Vuong, and K. Goldberg. Rovi-aug: Robot and viewpoint augmentation for cross-embodiment robot learning. arXiv preprint arXiv:2409.03403, 2024.
[^70]: X. Xu, H. Ha, and S. Song. Dynamics-guided diffusion model for robot manipulator design. $\underline{\text{arXiv preprint arXiv:2402.15038}}$, 2024.
[^71]: W. Yuan, S. Dong, and E. H. Adelson. Gelsight: High-resolution robot tactile sensors for estimating geometry and force. $\underline{\text{Sensors}}$, 17(12):2762, 2017.
[^72]: B. Romero, H.-S. Fang, P. Agrawal, and E. Adelson. Eyesight hand: Design of a fully-actuated dexterous robot hand with integrated vision-based tactile sensors and compliant actuation. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1853–1860. IEEE, 2024.
## [^73]: Y. Liu, X. Xu, W. Chen, H. Yuan, H. Wang, J. Xu, R. Chen, and L. Yi. Enhancing generalizable 6d pose tracking of an in-hand object with tactile sensing. $\underline{\text{IEEE Robotics and Automation}}$ Letters, 9(2):1106–1113, 2023
---
[^74]: H. Choi, J. E. Low, T. M. Huh, G. A. Uribe, S. Hong, K. A. Hoffman, J. Di, T. G. Chen, A. A. Stanley, and M. R. Cutkosky. Coinft: A coin-sized, capacitive 6-axis force torque sensor for robotic applications. arXiv preprint arXiv:2503.19225, 2025.
[^75]: P. Contributors. Placo: A python library for planning and control, 2025. URL . Accessed: May 8, 2025.
[^76]: M. Oquab, T. Darcet, T. Moutakanni, H. Vo, M. Szafraniec, V. Khalidov, P. Fernandez, D. Haza, F. Massa, A. El-Nouby, M. Assran, N. Ballas, W. Galuba, R. Howes, P.-Y. Huang, S.-W. Li, I. Misra, M. Rabbat, V. Sharma, G. Synnaeve, H. Xu, H. Jegou, J. Mairal, P. Labatut, A. Joulin, and P. Bojanowski. Dinov2: Learning robust visual features without supervision, 2024. URL .
[^77]: X. Xu, Y. Yang, K. Mo, B. Pan, L. Yi, and L. Guibas. Jacobinerf: Nerf shaping with mutual information gradients. In $\underline{\text{Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}}$, pages 16498-16507, 2023.
[^78]: C. Chi, S. Feng, Y. Du, Z. Xu, E. Cousineau, B. Burchfiel, and S. Song. Diffusion policy: Visuomotor policy learning via action diffusion. In $\underline{\text{Robotics: Science and Systems}}$, 2023.
### [^79]: X. Xu, D. Bauer, and S. Song. Robopanoptes: The all-seeing robot with whole-body dexterity. arXiv preprint arXiv:2501.05420, 2025
---
### 附录
### A 额外的实验结果
## A.1 图像修复结果
我们在图8中展示了策略训练数据中经软件适配层处理后的视觉观测结果。我们的软件适配通过用高保真机器人手图像修复技术，替换腕部摄像头拍摄的视觉观测中的人手和外骨骼，从而弥合视觉差异。尽管整体图像修复质量较好，但我们发现输出结果仍存在以下不足：
- SAM2的分割效果不完美：在大多数情况下，SAM2能够有效分割人手和外骨骼。不过我们发现SAM2有时会遗漏外骨骼上的一些小区域。
• 图像修复方法的质量问题：我们使用基于流的图像修复技术，将人手和外骨骼像素替换为背景像素。虽然整体质量较高，但某些区域仍较为模糊。我们在策略训练期间对图像添加高斯模糊增强处理，以降低策略对这种模糊现象的敏感度。
• 机器人手硬件的限制：在实验过程中，我们发现Inspire Hand和XHand由于间隙和摩擦的存在，精度均不足。例如，当Inspire Hand从1000电机单位移动到500电机单位时，其指尖位置与从0移动到500电机单位时的位置存在差异。因此，在建立编码器与手部电机值之间的回归模型时，我们通常只能保证“单一方向”上的精度——要么是握紧手，要么是张开手。这不可避免地会导致图像修复和动作映射过程中出现细微差异。
• 光照不一致：与以往研究[^69]一致，我们发现机器人手上的光照可能与机器人实际部署时的光照条件不一致。因此，我们在策略训练期间添加了包括颜色抖动和随机灰度处理在内的图像增强技术，以使学习到的策略对光照条件不那么敏感。
- 3D打印外骨骼变形：人手的力量很大，有时会在操作过程中导致3D打印的外骨骼发生变形。在这种情况下，编码器数值无法反映这种变形现象。因此，机器人手指的位置可能与外骨骼的实际手指位置不一致。
### A.2 相对与绝对动作分布
我们可视化了厨房任务中拇指摆动关节的相对与绝对动作分布。相对动作分布呈简单的单峰形态，而绝对动作分布则呈现多峰形态。
---
Task 1. Cube Pick and Place
c) Pick Up Salt
Figure 8: Inpainting Results. The visual observations in the original collected dataset contain exoskeletons and human hands. The software adaptation layer replaces these pixels with corresponding robot hand images while preserving the natural occlusion relationships during hand-object interactions. Please see project website for details.
### B 评估细节
## B.1 初始状态选择
针对每项任务，我们会手动为环境选取一组初始状态。这些状态下物体被尽可能多样化地放置在环境中，且这组初始状态对所有方法而言都是通用的。为确保一致性，我们会额外安装一个侧置摄像头来记录所有选定初始状态的图像。开始新的评估回合时，我们会将预先录制的初始状态图像与当前初始状态进行叠加显示。我们会仔细调整当前设置，直到其与预先选定的初始状态达到近乎像素级的完美对齐。
---
需要注意的是，由于XHand与Inspire Hand的腕部摄像头相对于机器人法兰盘的位置不同，某些Inspire Hand可完成的初始状态，XHand却无法达成。例如，如果茶杯位于茶壶左侧超过$45^{\circ}$的距离（图像空间内），那么XHand在抓取茶叶后，其腕部摄像头就无法捕捉到茶杯——这是因为XHand的拇指活动范围更大，我们需要将腕部摄像头更多地转向拇指方向才能获得更清晰的视觉信息。因此，在使用工具采茶任务中，XHand与Inspire Hand的初始状态集并不完全相同。不过我们仍会确保两者的初始状态处于相似的分布范围内，并尽可能保持多样性。
对于厨房任务而言，较大的工作空间给固定基座的单臂UR5机器人覆盖多种初始状态带来了挑战，尤其是调味碗的位置，因为炉灶和旋钮的位置是固定的。尽管存在这些限制，我们仍会在运动学可行的工作范围内最大化调味碗放置的多样性。
### B.2 成功标准
立方体抓取：机器人必须拾起红色立方体并将其放入黄色杯中。即便立方体放入后杯子翻倒，该回合仍被视为成功。
鸡蛋盒任务：我们定义任务成功的标准为：盒盖被抬起且盒子与水平面夹角大于$30^{\circ}$，同时鸡蛋盒能稳定地放置在架子上。
使用工具采茶任务包含两项子任务。我们将机器人能够稳稳握住镊子并将其移动到茶壶处的能力定义为工具抓取成功；将机器人利用镊子1）从茶壶中夹取至少一片茶叶，以及2）将夹取的茶叶中至少一半移入杯中的能力定义为采茶成功。如果前一项子任务失败，后续子任务即便能顺利完成，也会自动判定为失败。
厨房操作：这项任务包含三个子任务。我们将旋钮关闭成功定义为机器人手将旋钮从初始位置旋转至少$60^{\circ}$。我们将锅具移动成功定义为机器人将锅从炉灶移到台面上，且在转移过程中不掉落。我们将撒盐任务成功定义为机器人：1）从碗中抓取一些调味料；2）将其撒入锅中。如果前一个子任务失败，后续子任务会自动被视为失败，即便机器人能够顺利完成后面的子任务。
### B.3 策略执行
学习到的策略会预测未来16步的动作，但机器人仅执行前8步，其余动作则被舍弃。该策略的执行频率为10 Hz，而UR5的执行频率为125 Hz。Inspire Hand的执行频率为10 Hz，XHand的执行频率为60 Hz。10 Hz的策略指令会通过线性插值来匹配所需的硬件执行频率。
策略输出的动作包含两个部分：相对UR5末端执行器的动作以及手部动作。学习到的策略给出的相对末端执行器动作，是通过将相对动作与当前UR5在UR5基座坐标系下的绝对位置相加来转换为绝对动作的。对于手部动作，若动作类型为绝对类型，则直接将所需的电机值发送给机械手执行；若手部动作类型为相对类型，我们先读取当前的手部电机位置，将其与相对手部动作相加，再将结果发送以执行。
对于XHand而言，我们发现创建虚拟的当前手部电机位置能比直接从硬件读取当前位置带来更好的性能。与具备自锁功能的Inspire Hand电机不同，XHand的指部在遇到外力（如镊子的回复力）后会出现轻微偏移。10 Hz的策略反应不够灵敏，无法及时调整这种实时偏移。考虑以下场景：机器人手试图闭合镊子以夹取茶叶。当机器人开始执行时，通过调用硬件API获取的当前电机值可能由于镊子的回复力而已经过时（导致手指张得更开）。
---
为解决这一问题，我们通过在评估开始时读取实际的电机位置来初始化虚拟的当前手部电机位置。评估开始后，我们通过加上已执行的相对手部动作来更新这个虚拟手部电机位置。采用这种虚拟手部电机位置的方法后，手指动作受物理偏移的影响更小，从而实现更精确、可靠的抓取操作。
## C 外骨骼设计细节
### C.1 Inspire Hand
像Inspire Hand这样的欠驱动手通常采用闭环运动学结构，例如四杆连杆机构，这类结构无法直接用URDF表示。因此，我们无法直接根据Inspire Hand的URDF模型来初始化其外骨骼设计。我们的方法是捕捉手指的运动学行为——具体来说就是指尖姿态——并使用具有相同自由度（DoFs）的等效通用连杆设计作为手指机构的初始模板。这样优化过程就能确定与观察到的运动学特征最匹配的参数。
为了实现这一目标，我们采用了动作捕捉系统（见图9）来记录指尖在SE(3)空间中的姿态。我们为每根手指和指套打印了标记安装部件，并将其安装在Inspire Hand上。对于食指、中指、无名指和小指——它们各自只有一个自由度——我们从下限值（0）到上限值（1000）均匀采样16个电机指令值，将这些指令发送给手指，并记录相应的指尖姿态。
对于拥有两个自由度的拇指——即摆动和弯曲——我们首先固定摆动值，然后均匀采样弯曲电机的指令值。例如，如图9d所示，我们将摆动电机设置为400，通过改变弯曲电机指令来记录指尖姿态。我们对0、200、400、600、800和1000这些摆动值重复这一过程。
获得指套坐标系下的指尖姿态后，我们采用主论文中公式1所定义的同一双层优化模型来确定每根手指的设计参数。对于五根手指，我们都采用四杆机构作为连杆设计。对于每个采样的设计参数，我们使用PlaCo [^75]模拟指尖姿态。对于拇指而言，我们最小化所有摆动电机值下的总体损失，因为无论摆动电机值如何，拇指的结构配置都应保持一致。
从优化后的设计参数到实际制造，我们采取了三个额外步骤来确保外骨骼面罩能始终完全覆盖真实的Inspire Hand。首先，我们将外骨骼设计中每根手指的最后一个连杆长度在优化值基础上再延长3毫米。这能保证
(a) Index/Middle/Ring/Pinky Markers
(d) Recorded Mocap Trajectories
(b) Thumb Markers
(c) Flange Markers
Figure 9: Inspire Mocap: We use motion capture system to record fingertips trajectories in the flange coordinate. We attached marker on fingers and flange to capture the fingertip pose in flange coordinate.
外骨骼面罩始终能完全覆盖真实Inspire Hand的最后一个连杆。其次，我们增大拇指四杆机构的宽度，以消除摄像头视野中的空隙，从而保持外骨骼面罩的视觉连续性。第三，我们在每个关节处将关节限位保守地收紧$5^{\circ}$，以确保即便由于3D打印的PLA-CF材料强度有限而产生结构变形，面罩仍能继续覆盖真实的Inspire Hand。
---
### C.2 XHand
由于XHand的URDF文件组织良好，每个关节原点都定义在其对应的旋转关节位置，因此我们可以直接从URDF结构中提取连杆长度。若文件中未指定精确数值，我们可以利用URDF文件中的STL网格进行逆向建模，还原各关节附近的几何特征，并在CAD软件中手动测量连杆长度。
URDF文件中也规定了关节限位，在外骨骼设计中通过物理约束连杆运动来防止其超出指定范围旋转。与Inspire Hand外骨骼设计类似，我们在应用这些限位时采取了保守策略，为每个关节设置稍紧的边界。例如，若实际关节旋转范围为$-110^\circ$到$20^\circ$，则对应的外骨骼限位被设定为$-105^\circ$到$15^\circ$。这一预防措施是为了应对3D打印的外骨骼连杆在人施加扭矩下可能发生的变形，这种变形会导致意外的关节偏转。如果没有这个缓冲空间，外骨骼可能会变形超出XHand的物理极限，从而产生形态差异。
在将连杆长度转化为实际的外骨骼设计时，必须考虑两个主要约束条件。首先是可穿戴性。为确保操作人员能够舒适地穿戴外骨骼，结构应尽可能中空，以便手指能无障碍地穿过。第二个约束是材料强度。通过实验测试，我们确定3D打印PLA-CF材料的最佳最小结构宽度为4毫米。因此，在最终设计中，任何承受较大应力的部件都会被加固至至少4毫米厚。
### D传感器详情
### D.1关节编码器
我们的外骨骼在每个关节处都采用了Alps RDC506018A旋转传感器作为编码器。这些是电阻式传感器，其电阻值会随着绝对角度位置的变化而近似线性地改变。
如图10所示，当关节旋转时，ADC线路上的电压会成比例变化。这一模拟电压信号随后会被微控制器单元（MCU）上的模数转换器（ADC）采样。接着，关节角度$\alpha_{joint}$可通过以下公式估算：
$$ \alpha_{joint}=\frac{V_{ADC}}{3.3V}\times360^{\circ} $$
然而，这种简单的分压电路存在一个显著的缺陷：如果电源（本例中为3.3 V）因半导体材料的温度漂移而不稳定，
Figure 10: Joint Encoder Circuit: The rotary sensor acts as a variable resistor with three output pins. As it rotates with the joint, the voltage on the ADC line changes approximately linearly.
或者由于直流-直流转换器和低压差线性稳压器产生的纹波，关节角度读数也会随之偏移。为解决这一问题，我们通过另一个ADC通道同时测量供电电压。在计算关节角度时，我们不再用固定的3.3 V作为除数，而是使用实测的供电电压对传感器电压进行归一化处理：
$$ \alpha_{joint}=\frac{V_{ADC}}{V_{supply}}\times360^{\circ} $$
这种电压归一化过程在MCU上实时运行。计算出关节角度后，MCU会将所有关节数值打包成一个数据包，该数据包包含固定的2字节头部和校验尾。头部简化了解码过程，使接收端能在长度可变的数据流中定位到已知的关键字，而校验码则确保了数据包的完整性。最终的数据包会通过通用异步收发传输器（UART）接口传输给主机计算机。
---
### D.2触觉传感器
对于没有内置触觉传感器的商用灵巧手（例如我们测试中使用的Inspire Hand），我们采用简单且低成本的压阻式力传感器（FSR）作为触觉传感器。未施加外力时，FSR的电阻值为数兆欧姆；而在较大外力作用下，电阻值会降至千欧姆级别。如图11所示，FSR被接入简单的分压电路中以产生模拟电压信号。分压电阻$R_{1}$的选择会与FSR的最小电阻值相近。由于FSR的电阻值与所施加的力大致成反比，因此我们可以用一个常数比例系数k来表示该力：
Figure 11: Voltage Divider Circuit: This simple voltage divider circuit converts the resistance change of the FSR sensor into an analog voltage on the ADC line.
$$ F=k\left(\frac{V_{supply}}{V_{ADC}}-1\right) $$
在我们的实验设置中，同一款FSR传感器被分别安装在灵巧手和外骨骼上。为简化操作，我们直接利用$V_{ADC}$的读数作为触觉输入的替代指标。
对于配备有内置触觉传感器的手部（如XHand），我们会安装与手部所用相同的传感器类型。在我们的系统中，这种传感器是基于磁力的触觉阵列，能够在其表面的120个点上测量三维力。力数据通过SPI通信接口以专有协议输出。通过在嵌入式系统上配置该接口，即可成功将力阵列数据传输给主机。
## E 数据收集与策略训练详情
### E.1 数据收集
我们为Cube Picking任务策略训练收集了310条轨迹，为Egg Carton Opening任务策略训练收集了175条轨迹，为使用工具采茶的任务策略训练（涵盖Inspire Hand和XHand两种机械手）收集了400条轨迹。对于厨房任务，我们收集了覆盖全部四个子任务的370条轨迹，另外还额外收集了100条专注于旋钮关闭操作的轨迹。
对于Inspire Hand而言，所有数据类型——包括来自ARKit的手腕位置数据、手腕处搭载的摄像头采集的策略视觉观测数据、编码器输出的关节角度数据以及触觉反馈数据——均以45帧/秒的速率进行记录。对于XHand，我们将其记录速率设为30帧/秒，因为更高的记录频率会导致触觉传感器读数不稳定。对于每种数据类型，我们都会记录数据到达记录缓冲区时的接收时间戳$t_{receive}$。
我们使用绿色手套采集外骨骼相关数据，因为我们采用绿色PLA-CF材料来3D打印该外骨骼。我们发现颜色一致有助于SAM2获得更好的分割效果。
### E.2 训练数据延迟管理
传感器采集数据的时间与该数据实际到达记录缓冲区的时间之间存在固有延迟。为确保我们的模仿学习策略能够接收到对齐的观测数据（视觉观测数据、触觉传感器读数）以及动作数据（关节编码器读数），我们利用$t_{capture} = t_{receive} - l_{sensor}$来计算实际的数据采集时间，其中$l_{sensor}$表示特定传感器从数据采集到接收的延迟。正如UMI $^{[1]}$中所提出的那样，我们通过读取计算机显示器上显示的滚动二维码来获取当前的计算机系统时间，以此测量iPhone和OAK摄像头的延迟。摄像头与iPhone的延迟计算公式为$l_{camera} = t_{receive} - t_{display} - l_{display}$，其中$l_{display}$代表显示器的刷新率。
通过对比录制的外骨骼图像与动作回放中对应的机械手图像之间的叠加效果，我们可以调整编码器的延迟。如果编码器延迟设置得
---
过高，机械手的手指会在叠加图像中提前执行后续动作。如果编码器延迟设置过低，机械手的手指在叠加图像中会落后于外骨骼手指。我们会不断调整编码器延迟，直到外骨骼手指与机械手手指完全对齐。一旦所有数据的时间戳都调整完毕，我们会对关节角度和触觉读数进行线性插值，从而得到与摄像头时间戳对齐的数据点。最后，我们将数据降采样3倍，以缩短策略训练时间。
### E.3 策略训练
我们使用预训练的DINO-V2 [^76] [^77]来处理视觉观测数据。在将视觉观测数据输入DINO-V2之前，我们会对其进行随机裁剪、色彩抖动、随机灰度处理以及高斯模糊等增强操作。我们将DINO-V2输出的CLS标记与触觉传感器读数拼接起来，作为扩散策略[^78] [^79]的输入。该策略可预测16步机器人动作，既包括6自由度机器人末端执行器相对动作，也包括手部动作（Inspire Hand为6自由度，XHand为12自由度）。针对两种类型的机械手，我们会在所有任务上分别训练模型400个周期。预训练的DINO-V2不会被冻结，它会在策略训练过程中持续更新。