# MANIPTRANS：基于残差学习的高效灵巧双手操作迁移方法

李凯琳 $^{1}$ 李普浩 $^{1,2}$ 刘腾宇 $^{1}$ 李宇阳 $^{1,3}$ 黄思远 $^{1}$

 $^{1}$通用人工智能国家重点实验室，BIGAI

 $^{2}$清华大学自动化系  

 $^{3}$北京大学人工智能研究院

<https://maniptrans.github.io>

![Image](images/d320251b861cc1a8f465e53f8d5223b2cd5df4a01c2a3699958f4f7d35a97867.jpg)

动作捕捉重定向失败

在仿真环境中成功展开

<div style="text-align: center;">Figure 1. MANIPTRANS for Bimanual Dexterous Manipulations. Retargeting methods often struggle with transferring MoCap data to physically plausible motions, while our MANIPTRANS efficiently produces task-compliant, physically accurate motions. It also generalizes across embodiments like Inspire hands [^3], Shadow hands [^1], and articulated MANO hands [^27] [^94].</div>

## 摘要

人类双手在交互中发挥着核心作用，这推动了灵巧机器人操作领域的研究热潮。数据驱动的具身人工智能算法需要精确、大规模且类人的操作序列，而利用传统的强化学习或真实世界遥操作技术很难获取这类数据。为解决这一问题，我们提出了MANIPTRANS——一种新颖的两阶段方法，可高效地将人类的双手技能迁移到仿真环境中的灵巧机械手上。MANIPTRANS首先预训练一个通用轨迹模仿器来模拟手部运动，随后在交互约束下微调特定的残差模块，从而实现复杂双手任务的高效学习与精准执行。实验表明，MANIPTRANS在成功率、保真度和效率方面均优于现有最先进的方法。借助MANIPTRANS，我们将多个手-物体数据集迁移到机械手上，由此构建了DEXMANIPNET——一个包含笔盖佩戴、瓶盖拧开等此前未被探索过的任务的大规模数据集。DEXMANIPNET包含3300个机械手操作片段，且易于扩展，可为灵巧手的策略训练提供有力支持。

进而实现真实世界的部署。

### 1. 引言

近年来，具身人工智能（EAI）发展迅速，研究人员正致力于让人工智能驱动的实体能够与物理或虚拟环境交互。正如人类双手在交互中的关键作用一样，EAI领域的诸多研究也聚焦于灵巧机械手操作[4, 16–22, 41, 46, 50, 56, 57, 61, 63, 64, 66, 68, 70, 73, 75, 79, 80, 102, 111, 113, 116, 127, 128]。在复杂的双手任务中达到类人的熟练程度具有重要的研究价值，也是迈向通用人工智能的关键一步。

因此，为数据驱动的具身智能体训练快速获取精确、大规模且类人的灵巧操作序列[^11] [^12] [^25] [^81] [^130]变得愈发紧迫。部分研究采用强化学习（RL）[^52] [^97]来探索并生成灵巧手部动作[^27] [^67] [^75] [^109] [^119] [^132] [^133]；另一些研究则通过遥操作收集人机配对数据[^26] [^44] [^45] [^80] [^101] [^111] [^125]。但这两种方法均存在局限性：传统RL需要精心设计的、针对特定任务的奖励函数[^76] [^132]，限制了其可扩展性。

---

以及任务复杂度，而遥操作则耗时费力且成本高昂，最终只能得到特定于该实体的数据集。

一种有前景的解决方案是通过模仿学习，将人类操作动作迁移到模拟环境中的灵巧机械手上 [^69] [^78] [^91] [^110] [^136]。这种方法具有多项优势。首先，模仿人类操作轨迹能够创造出自然的手-物交互方式，从而实现更流畅、更类人的动作。其次，丰富的动作捕捉（MoCap）数据集 [^10] [^14] [^32] [^37] [^39] [^55] [^60] [^71] [^72] [^105] [^117] [^123] [^131] 以及手部姿态估计技术 [13, 43, 65, 85, 106, 118, 120–122, 124]，使得从人类演示中提取操作知识变得轻而易举 [^91] [^100]。第三，模拟环境提供了一种成本低廉的验证手段，为机器人实际部署提供了捷径 [^41] [^44] [^49]。

然而，实现精确且高效的迁移并非易事。如图1所示，人类手部与机械手之间的形态差异会导致直接的姿态映射效果不佳。此外，尽管动作捕捉数据相对准确，但误差累积仍可能在高精度任务中引发严重故障。再者，双手操作会引入高维度的动作空间，大大增加了高效策略学习的难度。因此，大多数开创性研究通常仅停留在单手抓取和抬起任务上 [^27] [^109] [^119] [^132]，像拧开瓶盖或盖上笔帽这类复杂的双手活动则鲜有涉及。

在本文中，我们提出了一种简单却高效的方法——MANIPTRANS，它能够在模拟环境中将手部操作技能（尤其是双手动作）迁移到灵巧机械手上，从而实现参考动作的精准跟踪。我们的核心思路是将迁移过程分为两个阶段：第一阶段是专注于手部运动的预训练轨迹模仿阶段；第二阶段则是满足交互约束的特定动作微调阶段。具体而言，我们设计了一个鲁棒的通用模型，该模型能够学会在抗干扰的情况下精准模仿人类的手指动作。基于这一初步模仿结果，我们进一步引入了残差学习模块 [^47] [^49] [^51] [^104]，用于逐步优化机器人的动作，重点解决两个方面的问题：1）确保在物理约束下与物体表面保持稳定接触，从而实现有效的物体操控；2）协调双手动作，以确保复杂双手操作能够精准、高质量地完成。

这种设计具有三重优势：1）在第一阶段，通过大规模预训练专注于动态手部模仿，能够有效缓解形态差异带来的问题。2）在此基础上，第二阶段专注于追踪双手与物体的交互过程，从而精准捕捉细微动作，实现自然且高质量的操作。3）通过将人类手部动作模仿与基于物理的物体交互约束分离，显著降低了动作空间的复杂度，进而提升了训练效率。

基于这一框架，MANIPTRANS能够将任意含噪声的手部动作捕捉数据校正为符合物理规律的运动，无需预先设定特定阶段（如“靠近-抓取-操作”）或针对具体任务设计奖励机制。因此，我们验证了它在各类复杂的单手及双手操作任务中的有效性与高效性，其中包括对关节式物体的操控 [^32] [^34] [^60] [^105] [^131]。借助MANIPTRANS，我们将多个具有代表性的手-物体操作数据集 [^60] [^131] 迁移到Isaac Gym仿真环境中的灵巧机械手上 [^77]，从而构建了DEXMANIPNET数据集；该数据集在运动逼真度与顺应性方面取得了显著提升。目前，DEXMANIPNET包含3.3K个训练片段以及134万帧机械手操作数据，涵盖了此前未被探索的任务，例如笔帽套上、瓶盖拧开以及化学实验操作等。

我们通过实验证明，MANIPTRANS在运动精度与迁移成功率方面均优于基线方法。值得注意的是，即便在普通个人电脑上，它在迁移效率上也超越了以往的最优方法。为了评估其扩展性，我们开展了跨本体实验，将MANIPTRANS应用于不同自由度和形态的灵巧手，仅需少量额外工作便能获得稳定的性能。此外，我们在真实设备上重现了DEXMANIPNET中的双手轨迹，展示了敏捷且自然灵巧的操控能力；据我们所知，以往基于强化学习或遥操作的方法均未能达到此种水平。最后，我们利用几种模仿学习框架对DEXMANIPNET进行了基准测试，凸显了其对于研究界的重要价值。

综上所述，我们的贡献如下：

- 我们提出了MANIPTRANS，这是一个简单却高效的两阶段迁移框架，能够在仿真环境中将人类的双手操控动作精确迁移到灵巧机械手上，确保手部与物体参考运动的精准跟踪。

- 利用该框架，我们构建了DEXMANIPNET——一个大规模、高质量的数据集，涵盖了众多高精度、高顺应性的新型双手操控任务。DEXMANIPNET具备可扩展性，可作为未来策略训练的宝贵资源。

- 实验表明，MANIPTRANS优于以往的最优方法。我们还证明了它在各种灵巧手配置下的普适性，以及其在现实世界部署的可行性。

### 2. 相关工作

## 基于人类演示的灵巧操控

从人类演示中学习操控技能是一种直观且有效的迁移方式。

---

将人类的能力赋予机器人[^6] [^31] [^126] [^129]。模仿学习在实现这种能力迁移方面展现出了巨大潜力[^7] [^23] [^62] [^69] [^78] [^87] [^88] [^107] [^110] [^136] [^139]。近期的研究聚焦于基于物体轨迹引导的强化学习策略学习[^21] [^22] [^70] [^75] [^139]。QuasiSim[^70]通过参数化的准物理模拟器，直接将参考手部动作迁移到机械手上，从而推进了这一方法的发展。不过，这些方法仅适用于较简单的任务，且计算开销较大。最近，针对像双手拧唇这种复杂任务，人们开发了采用特定任务奖励函数的定制化解决方案[^66] [^68]。相比之下，我们的方法能够高效学习复杂的操控任务，而无需进行特定任务的奖励函数设计。

灵巧手数据集 物体操控对于具身智能体而言至关重要。目前存在众多基于MANO的[^94]手-物交互数据集[9, 10, 14, 28, 32, 36, 37, 39, 40, 42, 53, 55, 58–60, 71, 72, 91, 98, 105, 117, 123, 131, 138, 140]。然而，这些数据集往往侧重于与二维图像的姿态对齐，却忽略了物理约束，因此限制了它们在机器人训练中的应用。遥操作技术[^26] [^44] [^45] [^90] [^111] [^115] [^125] [^137]利用AR/VR系统[^15] [^24] [^30] [^50] [^84]或基于视觉的动作捕捉技术[^92] [^111] [^112]在线采集人机匹配数据，以实现实时数据采集并在人工干预下修正。不过，遥操作耗时费力，且由于缺乏触觉反馈，往往会产生生硬、不自然的动作，难以实现精细操控。相比之下，我们的方法能够实现人类演示的离线迁移至机器人。我们的DEXMANIPNET提供了大量易于扩展的人类演示片段。

由于强化学习训练存在样本效率低且耗时久的问题，用于逐步优化动作控制的残差策略学习[^51] [^96] [^104]被广泛应用，以提升训练效率与稳定性。在灵巧手操控领域，多项研究针对特定任务探索了定制的残差策略[^5] [^21] [^29] [^38] [^96] [^116] [^135] [^136]。例如，[^38]在残差策略训练过程中融入了用户输入，而[^49]则根据人类演示学习修正动作。GraspGF[^116]以预训练的基于分数的生成模型作为基础，[^21]将模仿任务拆解为手腕跟随与手指运动控制，并整合了残差手腕控制策略。此外，[^47]利用残差学习构建了专家混合系统[^48]，DexH2R[^136]则将残差学习直接应用于机器人手的重定向动作。我们的方法与此前的研究有所不同：我们先预训练一个融入额外动态信息的手指运动模仿模型，再微调残差策略以适应特定任务的物理约束。这种方法在不同操控任务中更高效且具备更强的泛化能力。

### 3. 方法

我们在图2中概述了所提出的方法。给定参考的人类手-物体交互轨迹，我们的目标是学习一种策略，使灵巧机器人手能够在仿真环境中准确复现这些轨迹，同时满足任务的语义操控约束。为此，我们提出了一种两阶段框架：第一阶段训练通用的手部轨迹模仿模型，第二阶段采用残差模型将初始的粗略运动优化为符合任务要求的动作。

#### 3.1. 预备知识

在不失一般性的前提下，我们将操控迁移问题设定在复杂的双手场景中：左右两只灵巧手$\boldsymbol{d} = \{d_l, d_r\}$旨在复现人类手$\boldsymbol{h} = \{h_l, h_r\}$的行为，它们以协作方式操控两个物体$\boldsymbol{o} = \{o_l, o_r\}$（例如在笔帽套上任务中，一只手握住笔帽，另一只手抓住笔身）。人类演示给出的参考轨迹定义为$\mathcal{T}_h = \{\tau_h^t\}_{t=1}^T$和$\mathcal{T}_o = \{\tau_o^t\}_{t=1}^T$，其中T代表总帧数。每只手对应的轨迹$\tau_h$包含手腕的6自由度位姿$\boldsymbol{w}_h \in \mathbb{SE}(3)$、线速度和角速度$\dot{\boldsymbol{w}}_h = \{v_h, u_h\}$，以及由MANO$\dot{j}_h \in \mathbb{R}^{F \times 3}$定义的手指关节位置[^94]及其对应的速度$\dot{j}_h = \{v_j, u_j\}$；此处F表示包括指尖在内的手部关键点数量。类似地，每个物体对应的轨迹$\tau_o$包含其6自由度位姿$\boldsymbol{p}_o \in \mathbb{SE}(3)$以及相应的线速度和角速度$\dot{\boldsymbol{p}}_o = \{v_o, u_o\}$。为降低空间复杂度，我们将所有平移量相对于灵巧手的手腕位置进行归一化，同时保留原始旋转信息以维持正确的重力方向。

我们将这个问题建模为一个隐马尔可夫决策过程（MDP）$\mathcal{M} = \langle \mathcal{S}, \mathcal{A}, \mathbf{T}, \mathbf{R}, \gamma \rangle$，其中$\mathcal{S}$表示状态空间，$\mathcal{A}$表示动作空间，$\mathbf{T}$表示转移动态，$\mathbf{R}$表示奖励函数，而$\gamma$表示折扣因子。在时刻t，每只灵巧手的动作记为$a^t \in \mathcal{A}$，它包括每只灵巧手关节的目标位置$a_q^t \in \mathbb{R}^K$以实现比例-微分（PD）控制，以及施加在机械腕上的6自由度力$a_w^t \in \mathbb{R}^6$；这一设计与此前的研究[^47] [^109] [^119]类似，其中K表示机械手旋转关节的总数（即自由度）。

我们的方法将传输过程分为两个阶段：1）预训练的单手轨迹模仿模型$\mathcal{I}$；2）残差模块$\mathcal{R}$，用于对粗略动作进行微调以确保任务合规性。不同阶段在时刻t的状态分别定义为$s_{\mathcal{I}}^t \in \mathcal{S}_{\mathcal{I}}$和$s_{\mathcal{R}}^t \in \mathcal{S}_{\mathcal{R}}$，相应的奖励函数分别为$r_{\mathcal{I}}^t = \mathbb{R}(s_{\mathcal{I}}^t, a_{\mathcal{I}}^t)$和$r_{\mathcal{R}}^t = \mathbb{R}(s_{\mathcal{R}}^t, a_{\mathcal{R}}^t)$，具体描述见第3.2节和第3.3节。对于这两个阶段，我们均采用近端策略优化（PPO）[^97]来最大化折扣奖励$\mathbb{E}\left[\sum_{t=1}^{T} \gamma^{t-1} r_{\text{stage}}^t\right]$，这一做法与以往的方法[^19] [^87]一致。

---

![Image](images/a12d21e8878b8f143ec4eda673d0f133cd60d9940c7d3fd236487ac6878edf2b.jpg)

<div style="text-align: center;">Figure 2. Our MANIPTRANS Pipeline. We first pre-train a hand motion imitation model with large-scale human demonstrations, then fine-tune a residual policy to adapt to task-specific physical constraints.</div>

#### 3.2. 手部轨迹模仿

在这一阶段，我们的目标是学习一个通用的手部轨迹模仿模型$\mathcal{I}$，使其能够精准复现人类手指的精细运动。时刻t时每只灵巧手的状态定义为$s_{\mathcal{I}}^t = \{\tau_h^t, s_{\text{prop}}^t\}$，其中包括目标手部轨迹$\tau_h^t$以及当前的本体感知信息$s_{\text{prop}}^t = \{q_d^t, \dot{q}_d^t, w_d^t, \dot{w}_d^t\}$。此处，$q_d^t$和$w_d^t$分别表示关节角度和手腕姿态，以及它们对应的速度。我们旨在利用强化学习训练策略$\pi_{\mathcal{I}}(a^t, s_{\mathcal{I}}^t, a^{t-1})$，以确定相应的动作$a_{\mathcal{I}}^t$。

奖励函数。奖励函数$r_{\mathcal{I}}^t$旨在鼓励灵巧手追踪参考手部轨迹$\tau_h^t$，同时确保运动的稳定性和平滑性。它由三个部分组成：1）手腕追踪奖励$r_{\text{wrist}}^t$：该奖励用于最小化差异：$w_d^t \ominus w_h^t$和$\dot{w}_d^t - \dot{w}_h^t$，其中$\ominus$表示在$\mathbb{SE}(3)$空间中的差异。2）手指模仿奖励$r_{\text{finger}}^t$：该部分鼓励灵巧手紧密跟随参考手指关节位置。我们手动选取灵巧手上与MANO模型对应的F个手指关键点，记为$j_d$。权重$w_f$和衰减率$\lambda_f$是通过经验设定的，以突出指尖部分，尤其是拇指、食指和中指的指尖。相关参数详见附录。这种设计有助于减轻人类手部与机械手之间的形态差异所造成的影响：

 $$ \begin{array}{r}{r_{\mathrm{f i n g e r}}^{t}=\sum_{f=1}^{F}w_{f}\cdot\exp\left(-\lambda_{f}\|j_{d_{f}}^{t}-j_{\boldsymbol{h}_{f}}^{t}\|_{2}^{2}\right)}\end{array} $$

3）平滑度奖励$r_{\text{smooth}}^t$：为了缓解动作生硬的问题，我们引入了平滑度奖励，用于惩罚施加在每个关节上的力矩，该力矩定义为关节速度与扭矩的逐元素乘积，这一做法与[^74]中的方法类似。总奖励定义为：$r_{\mathcal{Z}}^t = w_{\text{wrist}} \cdot r_{\text{wrist}}^t + w_{\text{finger}} \cdot r_{\text{finger}}^t + w_{\text{smooth}} \cdot r_{\text{smooth}}^t$。

训练策略。将手部模仿与物体交互分离能带来额外优势；具体而言，$\pi_{I}$ 无需依赖难以获取的操作数据。我们利用仅包含手部动作的数据集来训练策略，这些数据集包括现有的手部运动数据集[^14] [^36] [^60] [^105] [^131] [^134] [^141]，以及通过插值生成的合成数据[^103]。为了平衡左右手之间的训练数据，我们对这些数据集进行镜像处理；训练时间和更多细节详见附录。为提高效率，我们采用了参考状态初始化（RSI）和提前终止机制[^86] [^87]。一旦灵巧手的关键点$j_{d}$偏离阈值$\epsilon_{finger}$，该训练回合便会提前结束，并重置为随机采样的MoCap状态。我们还运用了课程学习策略[^8]，逐步减小$\epsilon_{finger}$的值，从而最初鼓励广泛探索，随后再专注于精细的手指控制。

#### 3.3. 用于交互的残差学习

在预训练的$\pi_{\mathcal{I}}$基础上，我们使用残差模块$\mathcal{R}$来优化粗略动作，以满足特定任务的要求。

用于交互的状态空间扩展。为了考虑灵巧手与物体之间的相互作用，我们通过加入额外的交互相关信息，将状态空间从仅包含手部相关状态的范围扩展到更大范围 $s_{\mathcal{I}}^{t}$。首先，我们根据动作捕捉数据计算出物体网格 o 的凸包 [^114]，从而在仿真环境中生成可碰撞的物体 $\hat{o}$。为了沿着参考路径 $\mathcal{T}_{o}$ 操控该物体，我们引入了物体的位置 $p_{\hat{o}}$（相对于手腕位置 $w_{d}$）、速度 $\dot{p}_{\hat{o}}$、质心 $m_{\hat{o}}$ 以及重力矢量 $\boldsymbol{G}_{\hat{o}}$。为了更好地编码物体的形状，我们采用了 BPS 表示方法 [^89]。此外，为了提升感知能力，我们利用距离度量来编码手与物体之间的空间关系：$\boldsymbol{D}(j_{\hat{d}}^{t}, p_{\hat{o}}^{t}) = \| j_{\hat{d}}^{t} - p_{\hat{o}}^{t}\|_{2}^{2}$，即计算灵巧手关键点与物体位置之间的平方欧几里得距离。更进一步，我们还明确加入了从仿真中获得的接触力 $\boldsymbol{C}$，用以描述指尖与物体表面之间的相互作用。这种触觉反馈对于稳定抓取和操控至关重要，能够确保在操作过程中实现精准控制。

---

用于执行复杂任务。总之，残差模块所用的扩展交互状态定义为：$s_{\text{interact}}^t = \{\tau_o^t, p_o^t, \dot{p}_o^t, m_o^t, G_o^t, \text{BPS}(o), D(j_d^t, p_o^t), C^t\}$。

残差动作组合策略。给定组合状态$s_{\mathcal{R}}^{t} = s_{\mathcal{I}}^{t} \cup s_{\text{interact}}^{t}$，我们的目标是学习残差动作$\Delta a_{\mathcal{R}}^{t}$，以优化初始模仿动作$a_{\mathcal{I}}^{t}$，从而确保任务合规性。在操控过程的每一步中，我们首先采样模仿动作$a_{\mathcal{I}}^{t} \sim \pi_{\mathcal{I}}(a^{t}|s_{\mathcal{I}}^{t}, a^{t-1})$；基于该动作，我们再采样残差修正量$\Delta a_{\mathcal{R}}^{t} \sim \pi_{\mathcal{R}}(\Delta a^{t}|s_{\mathcal{R}}^{t}, a_{\mathcal{I}}^{t}, a^{t-1})$。最终动作的计算公式为：$a^{t} = a_{\mathcal{I}}^{t} + \Delta a_{\mathcal{R}}^{t}$，其中残差动作会按元素相加。得到的动作$a^{t}$随后会被裁剪，以符合灵巧手的关节限制。训练初期，由于灵巧手的运动已接近参考手部轨迹，因此残差动作预计会趋近于零。这种初始化方式有助于防止模型崩溃并加速收敛。我们通过将残差模块初始化为均值为零的高斯分布，并采用预热策略逐步激活其训练来实现这一点。

奖励函数。我们的目标是以与任务无关的方式，将人类双手操控技能高效迁移到灵巧机器人手上。为此，我们避免了针对特定任务的奖励工程设计——尽管这种设计对单个任务有益，但可能会限制模型的泛化能力。因此，我们的奖励设计保持简单且通用。除了第3.2节中讨论的手部模仿奖励$r_{\mathcal{I}}^{t}$外，我们还引入了两个额外组件：1）物体跟随奖励$r_{object}^{t}$：用于最小化模拟物体与其参考轨迹之间的位置和速度差异，具体表现为$p_{o}^{t} \ominus p_{o}^{t}$和$\dot{p}_{o}^{t} - \dot{p}_{o}^{t}$；2）接触力奖励$r_{contact}^{t}$：当MoCap数据集中的手-物距离低于指定阈值$\xi_{c}$时，该奖励会鼓励产生合适的接触力。奖励定义如下：

 $$ r_{\mathrm{c o n t a c t}}^{t}=w_{\mathrm{c}}\cdot\exp\big(\frac{-\lambda_{\mathrm{c}}}{\sum_{f=1}^{F}\boldsymbol{C}_{d_{f}}^{t}\cdot\mathbb{1}\left(\boldsymbol{D}(\boldsymbol{j}_{h_{f}}^{t},\boldsymbol{p}_{o}^{t}\cdot\boldsymbol{o})<\xi_{\mathrm{c}}\right)}\big) $$

其中$D(j_{h_f}^t, p_o^t \cdot o)$表示指尖$h_f$与变换后的物体表面之间的最小距离，$\mathbb{1}(\cdot)$是指示函数，$C_{d_f}^t$则表示指尖处的接触力。权重$w_c$和衰减率$\lambda_c$是通过实验设定的，用以平衡奖励函数。残差阶段的总奖励定义为$r_{\mathcal{R}}^t = r_{\mathcal{I}}^t + w_{object} \cdot r_{object}^t + w_{contact} \cdot r_{contact}^t$。

训练策略。受先前工作 [^70] [^82] [^83] 的启发，这些工作在训练过程中利用准物理模拟器放松约束并避免局部极小值，我们在残差学习阶段引入了一种放松机制。不同于 [^70] 使用定制模拟，我们直接在 Isaac Gym 环境 [^77] 中调整物理约束，以提高训练效率。具体而言，我们最初将重力常数 $\mathcal{G}$ 设为零，并将摩擦系数 $\mathcal{F}$ 设为较高值。该设置使机器人手在训练早期能够牢固抓取物体，并高效地与参考轨迹对齐。随着训练进行，我们逐渐将 $\mathcal{G}$ 恢复为其真实值，并将 $\mathcal{F}$ 降低到合适值，以近似真实交互。与模仿阶段类似，我们采用 RSI、提前终止和课程学习策略。每个回合通过从预处理轨迹中随机选择一个无碰撞的近物体状态来初始化机器人手。训练期间，如果物体姿态 $p_o^t$ 偏离超过预定义阈值 $\epsilon_{object}$，则该回合提前终止。我们逐步减小 $\epsilon_{object}$，以鼓励更精确的物体操作。此外，我们引入接触终止条件：如果 MoCap 数据表明人手握持牢固（即 $\mathcal{D}(j_{hf}^t, p_o^t \cdot o) < \xi_t$，其中 $\xi_t$ 为终止阈值），则接触力 $C_{df}^t$ 必须非零。不满足该条件将导致提前终止。该机制确保智能体学习控制接触力，从而促进稳定的物体操作。

#### 3.4. DEXMANIPNET数据集

借助MANIPTRANS，我们生成了DEXMANIPNET数据集，该数据集源自两个具有代表性的大规模手-物交互数据集：FAVOR[^60]和OakInk-V2[^131]。FAVOR采用基于VR的遥操作技术并结合人工干预校正，主要聚焦于物体重排等基础任务；而OakInk-V2则利用光学追踪式动作捕捉技术，针对笔盖佩戴、瓶盖拧开等更复杂的交互场景。

由于灵巧机械手缺乏统一标准，我们选用Inspire Hand[^3]作为核心平台，原因在于其灵巧性高、稳定性好、成本低且应用广泛[^24] [^35] [^50]。为解决双手任务的复杂性问题，我们采用了Inspire Hand的12自由度仿真配置，相比其现实世界中的6自由度机制，灵活性更强。我们在第4.4节和第4.5节中展示了MANIPTRANS对其他机械手的适配能力以及其在现实世界中的部署情况。

我们的DEXMANIPNET数据集包含[^131]中定义的61项多样且具有挑战性的任务，涵盖3.3千个机械手操控场景、1.2千个物体，总计134万帧数据，其中包括600段涉及复杂双手任务的序列$\sim$。每个场景都在Isaac Gym仿真环境中精确运行[^77]。相比之下，近期通过自动增强生成的数据集[^50]仅包含9项任务中的60个源人类演示样本。

### 4. 实验

实验中，我们首先介绍数据集设置和评估指标（第4.1节），接着说明实现细节（第4.2节）。随后我们将MANIPTRANS与现有最先进方法进行比较。

---

（第4.3节）展示了跨本体泛化能力（第4.4节），验证了在现实世界中的部署效果（第4.5节），开展了消融实验（第4.6节），并对DEXMANIPNET在学习操作策略方面的性能进行了基准测试（第4.7节）。

#### 4.1. 数据集与评价指标

数据集 为了进行定量评估，我们使用了OakInk-V2的官方验证数据集[^131]，其中约一半为双手任务。为了评估迁移能力，我们手动选取了符合任务完整性和语义相关性的MoCap序列，将其过滤为时长4–20秒、采样率降至60 fps的数据。我们排除了涉及可变形或超大物体的序列，最终得到$\sim$ 80个片段。为了进行定性评估，我们还引入了GRAB [^105]、FAOVR [^60]和ARCTIC [^32]数据集，以展示我们的优势。

评价指标 为了从操作精度、任务合规性和迁移效率等方面评估MANIPTRANS的性能，我们引入了以下评价指标。这些指标借鉴自[^70]，但由于我们的双手任务更为复杂，因此要求更为严格：1) 每帧平均物体旋转与平移误差：$E_r = \frac{1}{T} \sum_{t=1}^{T} (p_{\text{rot}_0} \cdot (p_{\text{rot}_0}^t)^{-1})$和$E_t = \frac{1}{T} \sum_{t=1}^{T} \|p_{\text{ls}_0} t - p_{\text{ls}_0} t\|_2^2$。其中，$p_{\text{rot}}$和$p_{\text{ls}}$分别是6自由度位姿p的旋转和平移分量。误差$E_r$和$E_t$分别以度和厘米为单位报告。2) 平均关节位置误差（单位：厘米）：$E_j = \frac{1}{T,F} \sum_{t=1}^{T} \sum_{f=1}^{F} f_i^T \|f_d_f^t - f_h_f^t\|_2^2$。该指标用于衡量手部关节位置的平均误差。3) 平均指尖位置误差（单位：厘米）：$E_{ft} = \frac{1}{T \cdot M} \sum_{t=1}^{T} \sum_{f=1}^{M} \|f_d_f^t - f_h_f^t\|_2^2$。该指标用于评估指尖t运动的模仿质量，同时考虑了人手与机械手之间的形态差异。此处，单手任务中M取值为5，双手任务中M取值为10。4) 成功率（SR）：如果$E_r$、$E_t$、$E_j$和$E_{ft}$均低于指定阈值：$30^\circ$、3厘米、8厘米和6厘米，则判定此次跟踪尝试成功。对于双手任务，只要有一只手未满足这些条件，轨迹即被视为失败，因此与单手任务相比，成功标准更为严格。

#### 4.2. 实现细节

在MANIPTRANS中，我们手动选取了每只灵巧机械手上的$F = 21$个关键点，这些点对应人手上的指尖、手掌和指骨位置，以此缓解形态差异带来的影响。关于关键点的选取以及奖励项的权重系数w的详细信息见附录。训练时，我们采用了课程学习策略。初始阈值$\epsilon_{\text{finger}}$设为6厘米，随后逐渐降至4厘米。物体对齐阈值$\epsilon_{\text{object}}$在旋转和平移方向上分别起始于$90^\circ$和6厘米，随后逐步降至$30^\circ$和2厘米。我们使用Actor-Critic PPO算法$\mathcal{I}$来训练模仿模块$\mathcal{R}$和残差模块[^97]，训练时间步长为32，小批量大小为1024，折扣因子为$\gamma = 0.99$。优化过程采用Adam优化器[^54]，初始学习率为$5 \times 10^{-4}$，并配有衰减调度器。所有实验均在Isaac Gym [^77]中运行，模拟4096个环境，时间步长为1/60秒，实验所用个人电脑配备NVIDIA RTX 4090 GPU和Intel i9-13900KF CPU。

#### 4.3. 评估结果

正如第2节所讨论的，灵巧手操控技术正在迅速发展，以往的研究在问题建模和任务定义上各有不同。为了进行全面且公平的比较，我们评估了两类方法——强化学习组合方法与基于优化的方法——以展示MANIPTRANS的精确性与高效性。

与强化学习组合方法的比较：由于此前的强化学习组合方法缺乏公开可用的代码，我们重新实现了几种具有代表性的方法：1）仅使用轨迹跟随奖励的纯强化学习方法，采用PPO算法基于[^27]从零开始训练机械手；2）重定位+残差学习，将残差动作应用于通过人体与机器人关键点对齐得到的重定位机械手姿态[^92]。作为简单的基线方法，我们还包括仅重定位而不进行任何学习的方法。

如表1所示，我们的方法在多项指标上均优于所有基线方法，在单手及双手任务中均展现出更高的精确度。这些结果证实，我们的两阶段迁移框架能够有效捕捉细微的手指运动与物体交互信息，从而实现较高的任务成功率与运动保真度。

我们发现，由于灵巧手动作空间的复杂性以及误差累积问题，仅重定位的基线方法几乎无法实施。纯强化学习基线的表现也不尽如人意，因为从零开始探索既耗时又会降低运动精度。与重定位+残差基线相比，我们的方法利用预训练的手部模仿模型，展现出更强的控制能力，能够更精确地按照参考轨迹进行操控。值得注意的是，重定位方法在接触丰富的场景中常常引发碰撞，从而导致残差策略训练过程中的不稳定性。我们在附录中进一步研究了MANIPTRANS的鲁棒性与时间成本，图3展示了相关的定性结果。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>$E_r \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_t \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_j \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{ft} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>SR \uparrow</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Retarget-Only</td><td style='text-align: center; word-wrap: break-word;'>N/A</td><td style='text-align: center; word-wrap: break-word;'>N/A</td><td style='text-align: center; word-wrap: break-word;'>N/A</td><td style='text-align: center; word-wrap: break-word;'>N/A</td><td style='text-align: center; word-wrap: break-word;'>4.6 / 0.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RL-Only</td><td style='text-align: center; word-wrap: break-word;'>9.72</td><td style='text-align: center; word-wrap: break-word;'>1.23</td><td style='text-align: center; word-wrap: break-word;'>2.96</td><td style='text-align: center; word-wrap: break-word;'>2.38</td><td style='text-align: center; word-wrap: break-word;'>34.3 / 12.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Retarget + Residual</td><td style='text-align: center; word-wrap: break-word;'>11.58</td><td style='text-align: center; word-wrap: break-word;'>0.79</td><td style='text-align: center; word-wrap: break-word;'>2.54</td><td style='text-align: center; word-wrap: break-word;'>1.74</td><td style='text-align: center; word-wrap: break-word;'>47.8 / 13.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MANIPTRANS</td><td style='text-align: center; word-wrap: break-word;'>8.60</td><td style='text-align: center; word-wrap: break-word;'>0.49</td><td style='text-align: center; word-wrap: break-word;'>2.15</td><td style='text-align: center; word-wrap: break-word;'>1.36</td><td style='text-align: center; word-wrap: break-word;'>58.1 / 39.5</td></tr></table>

<div style="text-align: center;">Table 1. Quantitative Comparisons with RL-Combined Baselines. The first four metrics are computed only on successfully rolled-out sequences. The SR includes the separated transfer success rates for single/bimanual tasks. The error scores on Retarget Only are not available since it hardly works.</div>

---

![Image](images/ac18f4e26313a5133ef6ef0802815578615e260857ab7f81d9e1f067ad51fcd0.jpg)

<div style="text-align: center;">Figure 3. Qualitative Results of MANIPTRANS. We showcase the transfer results using the Inspire left and right hands on both single-hand tasks (top two rows) and bimanual tasks (bottom row) from the OakInk-V2 [^131] dataset. Notably, the dexterous hands successfully manipulate delicate and slim objects, such as a pen and a flower stem.</div>

![Image](images/6d2d521085906f4ec1bcbd4ed44c79e30c940e2bb5ae3a2bd61b497501c20e04.jpg)

<div style="text-align: center;">Figure 4. Qualitative Comparison with QuasiSim [^70]. MANIPTRANS produces more natural motion of the Shadow hand (purple region) and is applicable to other dexterous hands.</div>

在鲜有研究涉及的任务中，MANIPTRANS展现了自然且精确的操控性能，成功迁移了人类操控技能。关于该方法在关节物体上的应用细节及更多定性结果，详见附录。与基于优化的方法比较：QuasiSim [^70]通过在定制仿真环境中优化来追踪人类动作。目前他们的完整流程尚未发布，其“随机”选取的验证集也不可获取，因此无法直接进行定量比较。于是我们在图4中提供了定性比较结果，展示了MANIPTRANS在类似QuasiSim的场景中将人类动作迁移到Shadow Hand上的能力，且接触更稳定、运动更平滑。值得注意的是，得益于我们的两阶段设计，对于一段包含60帧的未见过的单手操控轨迹（“旋转鼠标”），我们的方法仅需$\sim$15分钟的训练即可获得稳健的结果，而QuasiSim则需要$\sim$40小时的优化时间$^{1}$，这凸显了MANIPTRANS显著的效率优势。

#### 4.4. 跨本体验证

我们验证了MANIPTRANS在不同灵巧手本体上的扩展性。如第3节所述，模仿模块$\mathcal{I}$负责手部关键点追踪，而残差模块$\mathcal{R}$则用于捕捉指尖与物体间的物理交互。我们的框架能够…

![Image](images/4972de5432fb45b6f358a5a234c71e591e0fa3cb95671ab13ba54f7666d655eb.jpg)

<div style="text-align: center;">Figure 5. Cross Embodiments Results: Putting off Alcohol lamp.</div>

由于该方法仅依赖人类手指与机器人关节之间的对应关系，因此具有与具体形态无关的特性，能够以极小的代价适配不同的灵巧手。我们在Shadow Hand [^1]、关节式MANO手 [^27] [^94]、Inspire Hand [^3]以及Allegro Hand [^2]上对MANIPTRANS进行了评估，这些灵巧手的自由度分别为$K = 22$、22、12和16。无需调整网络超参数或奖励权重，MANIPTRANS就能在单手任务（图4）和双手任务（图5）中针对所有形态的灵巧手实现稳定、流畅且精准的性能表现。关于仅有四个手指的Allegro Hand的更多细节，请参阅附录。

#### 4.5. 现实世界部署

如图6所示，我们采用两只7自由度的Realman机械臂 [^93] 以及一对升级版In-spire Hand（配置相同，但增加了触觉传感器）开展实验。为了弥合模拟环境中12自由度机器人手与6自由度真实硬件之间的差距，我们采用了一种基于拟合的方法，用于优化真实机器人的关节角度 $\boldsymbol{q}_d \in \mathbb{R}^6$（记为 $\cdot$），以实现指尖对齐，其公式表示为：$\argmin_{\boldsymbol{q}_d} \frac{1}{T \cdot M} \sum_{t=1}^{T} \sum_{f=1}^{M} \| \boldsymbol{t}_d_{ft}^t - \boldsymbol{t}_{dft}^t \|_2^2$，同时附加了时间平滑损失项：$L_{\text{smooth}} = \frac{1}{T-1} \sum_{t=1}^{T-1} \| \boldsymbol{q}_d^{t+1} - \boldsymbol{q}_d^t \|_2^2$。我们通过求解逆运动学来控制机械臂，使机械臂的法兰盘与灵巧手的手腕对齐 $\boldsymbol{w}_d$。回放过程中，我们并未强制要求严格的时间同步，因为真实机器人无法始终像人类手部那样快速运作。

图6展示了迄今为止我们所知最为精妙的灵巧操作场景。

---

![Image](images/bfd66a18210b4992821e1f5c81a15817c1ae769fb16591259c4455456676f382.jpg)

<div style="text-align: center;">Figure 6. Real-world bimanual manipulation deployment. Purple box: human hand motion; orange box: close-up of dexterous hands. More results are on the website. (Zoom in for details.)</div>

![Image](images/b0da0734e7822004f7a88c1dc7ca85ca3d08b5302be6499b4ff6ab6ea06fa367.jpg)

![Image](images/27670fd8e485dd532d0ff0d19f1a933a477885076d1c94896ea13a40b5886c80.jpg)

<div style="text-align: center;">(a) Tactile ablations training curve.</div>

<div style="text-align: center;">(b) Curve on training strategies.</div>

<div style="text-align: center;">Figure 7. Training Curve of Ablation Studies. We assess tactile feedback in contact-rich tasks (e.g., turning off a lamp) and curriculum learning in complex ones (e.g., capping a pen).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>IBC [^33]</td><td style='text-align: center; word-wrap: break-word;'>BET [^99]</td><td style='text-align: center; word-wrap: break-word;'>DP-UNet [^25]</td><td style='text-align: center; word-wrap: break-word;'>DP-Trans [^25]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>4.69%</td><td style='text-align: center; word-wrap: break-word;'>9.69%</td><td style='text-align: center; word-wrap: break-word;'>18.44%</td><td style='text-align: center; word-wrap: break-word;'>14.69%</td></tr></table>

<div style="text-align: center;">Table 2. Imitating Learning on Bottle Rearrangement Task.</div>

据我们所知，这种操作此前尚未被实现。例如，在“打开牙膏管”的任务中，左手稳定地握住管身，而右手的拇指和食指则灵活地将小盖子掀开——这类动作通过遥操作很难精确捕捉。这凸显了我们该方法在未来现实世界策略学习中的巨大潜力。

#### 4.6. 消融实验

触觉信息作为辅助输入：在第3.3节中，我们以三种方式将触觉信息——具体而言即接触力C——整合到系统中：（1）作为观测输入，（2）作为鼓励接触的奖励组成部分，（3）作为提前终止的条件。消融实验（图7a）中标记为w/o C obs、w/o C reward和w/o C term的结果表明，将C纳入奖励函数能够提升任务成功率，而将C作为观测值则能加快收敛速度。我们还发现，省略C作为终止条件似乎能提升初始训练性能，但却会降低整体收敛速度，这凸显了稳定接触在任务完成中的重要性。

训练策略：我们采用课程学习策略开始训练，具体包括：（1）减弱重力影响，（2）增大摩擦力作用，（3）放宽阈值约束 $\epsilon_{finger}$ 和 $\epsilon_{object}$。消融实验（图7b）中标记为w/o relax-gravity、w/o increased friction和w/o relax-thresholds的结果显示，对于精确、复杂的双手动作而言，在早期阶段忽略重力影响并使用高摩擦系数能够加快收敛速度，并获得更高的总体成功率。若最初不放松阈值约束，网络可能根本无法收敛。

#### 4.7. 用于策略学习的DEXMANIPNET

为了评估DEXMANIPNET的潜力，我们在一项基础策略学习任务——物品重排任务上，对几种具有代表性的模仿学习方法进行了测试。具体而言，我们重点关注将瓶子移动到目标位置的任务。给定瓶子的当前位姿和目标6D位姿、环境状态（包括桌面上的障碍物）以及灵巧手的内部感知信息，策略会生成一系列机械手动作，以拾起瓶子并将其放置到目标位置。

我们评估了四种具有代表性的模仿学习方法：两种基于回归的行为克隆方法——IBC [^33] 和 BET [^99]——以及两种扩散策略方法 [^25]，其骨干网络分别为 UNet [^95] 和 Transformer [^108]。每个策略都在 DEXMANIPNET 中涉及瓶子重排任务的 140 个序列中的 85% 上进行训练，并在其余 15% 上进行评估。我们对每个序列执行 20 次 rollout。若物体最终位置与目标位置的距离在 10 cm 以内，则判定该 rollout 成功。更多细节见附录。

如表2所示，由于任务难度较高且灵巧手的动作空间复杂，所有方法的表现都不尽如人意。尤其是基于回归的行为克隆方法，存在误差累积的问题。这些结果凸显了灵巧操控任务固有的挑战性，这类任务需要精准的手指控制和有效的物体操控能力。我们希望DEXMANIP-NET能推动该领域的发展。

### 5. 结论与讨论

MANIPTRANS是一个两阶段框架，能够高效地将人类的操控技能迁移到灵巧的机械手上。通过利用残差学习将手部动作模仿与物体交互分离，MANIPTRANS克服了形态差异和复杂任务带来的挑战，从而确保动作的高保真度和训练的高效性。实验表明，MANIPTRANS在动作精度和计算效率方面均超越了现有最先进的方法，同时具备跨本体适应性和实际部署的可行性。此外，可扩展的DEXMANIPNET为具身人工智能的发展树立了新的基准。

讨论与局限性尽管MANIPTRANS能够成功处理大多数动作捕捉数据，但仍有部分序列无法被有效迁移。我们认为主要原因有二：1）交互位姿中的噪声过多；2）用于仿真的物体模型不够精确，尤其是针对多关节物体。提升MANIPTRANS的鲁棒性以及生成物理上合理的物体模型，是未来研究的重要方向。

---

## 参考文献

[^1]: ShadowRobot. <https://www.shadowrobot.com/dexterous-hand-series>, 2005. 1, 7

[^2]: Allegro Hands. <https://www.allegrohand.com>, 2013.7

[^3]: Inspire Hands. <https://en.inspire-robots.com/product-category/the-dexterous-hands>, 2019. 1, 5, 7

[^4]: Ananye Agarwal, Shagun Uppal, Kenneth Shaw, and Deepak Pathak. Dexterous functional grasping. In CoRL, 2023. 1

[^5]: Minttu Alakuijala, Gabriel Dulac-Arnold, Julien Mairal, Jean Ponce, and Cordelia Schmid. Residual reinforcement learning from demonstrations. arXiv preprint arXiv:2106.08050, 2021. 3

[^6]: Brenna D Argall, Sonia Chernova, Manuela Veloso, and Brett Browning. A survey of robot learning from demonstration. Robotics and autonomous systems, 2009. 3

[^7]: Sridhar Pandian Arunachalam, Sneha Silwal, Ben Evans, and Lerrel Pinto. Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation. In ICRA, 2023. 3

[^8]: Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th annual international conference on machine learning, 2009. 4

[^9]: Samarth Brahmbhatt, Cush Ham, Charles C. Kemp, and James Hays. ContactDB: Analyzing and predicting grasp contact via thermal imaging. In CVPR, 2019. 3

[^10]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 2, 3

[^11]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022. 1

[^12]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. arXiv preprint arXiv:2307.15818, 2023. 1

[^13]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 2

[^14]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 2, 3, 4

[^15]: Sirui Chen, Chen Wang, Kaden Nguyen, Li Fei-Fei, and C Karen Liu. Arcap: Collecting high-quality human demonstrations for robot learning with augmented reality feedback. arXiv preprint arXiv:2410.08464, 2024. 3

[^16]: Tao Chen, Jie Xu, and Pulkit Agrawal. A system for general in-hand object re-orientation. In CoRL, 2022. 1

[^17]: Tao Chen, Megha Tippur, Siyang Wu, Vikash Kumar, Edward Adelson, and Pulkit Agrawal. Visual dexterity: Inhand reorientation of novel and complex object shapes. Science Robotics, 2023.

[^18]: Tao Chen, Eric Cousineau, Naveen Kuppuswamy, and Pulkit Agrawal. Vegetable peeling: A case study in constrained dexterous manipulation. arXiv preprint arXiv:2407.07884, 2024.

[^19]: Yuanpei Chen, Tianhao Wu, Shengjie Wang, Xidong Feng, Jiechuan Jiang, Zongqing Lu, Stephen McAleer, Hao Dong, Song-Chun Zhu, and Yaodong Yang. Towards human-level bimanual dexterous manipulation with reinforcement learning. NeurIPS, 2022. 3

[^20]: Yuanpei Chen, Chen Wang, Li Fei-Fei, and C Karen Liu. Sequential dexterity: Chaining dexterous policies for long-horizon manipulation. arXiv preprint arXiv:2309.00987, 2023.

[^21]: Yuanpei Chen, Chen Wang, Yaodong Yang, and Karen Liu. Object-centric dexterous manipulation from human motion data. In CoRL, 2024. 3

[^22]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. Vividex: Learning vision-based dexterous manipulation from human videos. arXiv preprint arXiv:2404.15709, 2024. 1, 3

[^23]: Zoey Qiuyu Chen, Karl Van Wyk, Yu-Wei Chao, Wei Yang, Arsalan Mousavian, Abhishek Gupta, and Dieter Fox. Dextransfer: Real world multi-fingered dexterous grasping with minimal human demonstrations. arXiv preprint arXiv:2209.14284, 2022. 3

[^24]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: Teleoperation with immersive active visual feedback. arXiv preprint arXiv:2407.01512, 2024. 3, 5

[^25]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. IJRR, 2023. 1, 8

[^26]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024. 1, 3

[^27]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In CVPR, 2022. 1, 2, 6, 7

[^28]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 3

[^29]: Todor Davchev, Kevin Sebastian Luck, Michael Burke, Franziska Meier, Stefan Schaal, and Subramanian Rammoorthy. Residual learning from demonstration: Adapting dmps for contact-rich manipulation. RA-L, 2022. 3

## [^30]: Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, and Xiaolong

---

Wang. Bunny-visionpro：用于模仿学习的实时双腕灵巧遥操作。arXiv预印本arXiv:2407.03162，2024年。3

[^31]: Peter Englert and Marc Toussaint. Learning manipulation skills from a single demonstration. IJRR, 2018. 3

[^32]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023. 2, 3, 6

[^33]: Pete Florence, Corey Lynch, Andy Zeng, Oscar A Ramirez, Ayzaan Wahid, Laura Downs, Adrian Wong, Johnny Lee, Igor Mordatch, and Jonathan Tompson. Implicit behavioral cloning. In CoRL, 2022. 8

[^34]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, and Srinath Sridhar. Gigahands: A massive annotated dataset of bimanual hand activities. arXiv preprint arXiv:2412.04244, 2024. 2

[^35]: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, and Chelsea Finn. Humanplus: Humanoid shadowing and imitation from humans. arXiv preprint arXiv:2406.10454, 2024. 5

[^37]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 2, 3

[^38]: Guillermo Garcia-Hernando, Edward Johns, and Tae-Kyun Kim. Physics-based dexterous manipulations with estimated hand poses and residual reinforcement learning. In IROS, 2020. 3

[^36]: Daiheng Gao, Yuliang Xiu, Kailin Li, Lixin Yang, Feng Wang, Peng Zhang, Bang Zhang, Cewu Lu, and Ping Tan. Dart: Articulated hand model with diverse accessories and rich textures. NeurIPS, 2022. 3, 4

[^39]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 3

[^40]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, 2022. 3

[^41]: Ankur Handa, Arthur Allshire, Viktor Makoviychuk, Aleksei Petrenko, Ritvik Singh, Jingzhou Liu, Denys Makovichuk, Karl Van Wyk, Alexander Zhurkevich, Balakumar Sundaralingam, et al. Dextreme: Transfer of agile in-hand manipulation from simulation to reality. In ICRA. IEEE, 2023. 1, 2

[^42]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 3

[^43]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 2

[^44]: Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, and

Guanya Shi. Omnih2o：通用且灵巧的人到类人机器人全身遥操作与学习。arXiv预印本arXiv:2406.08858，2024年。1, 2, 3

[^45]: Tairan He, Zhengyi Luo, Wenli Xiao, Chong Zhang, Kris Kitani, Changliu Liu, and Guanya Shi. Learning human-to-humanoid real-time whole-body teleoperation. arXiv preprint arXiv:2403.04436, 2024. 1, 3

[^46]: Binghao Huang, Yuanpei Chen, Tianyu Wang, Yuzhe Qin, Yaodong Yang, Nikolay Atanasov, and Xiaolong Wang. Dynamic handover: Throw and catch with bimanual hands. CoRL, 2023. 1

[^47]: Ziye Huang, Haoqi Yuan, Yuhui Fu, and Zongqing Lu. Efficient residual learning with mixture-of-experts for universal dexterous grasping. arXiv preprint arXiv:2410.02475, 2024. 2, 3

[^48]: Robert A Jacobs, Michael I Jordan, Steven J Nowlan, and Geoffrey E Hinton. Adaptive mixtures of local experts. Neural computation, 1991. 3

[^49]: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, and Li Fei-Fei. Transic: Sim-to-real policy transfer by learning from online correction. In CoRL, 2024. 2, 3

[^50]: Zhenyu Jiang, Yuqi Xie, Kevin Lin, Zhenjia Xu, Weikang Wan, Ajay Mandlekar, Linxi Fan, and Yuke Zhu. Dexmimicgen: Automated data generation for bimanual dexterous manipulation via imitation learning. arXiv preprint arXiv:2410.24185, 2024. 1, 3, 5

[^51]: Tobias Johannink, Shikhar Bahl, Ashvin Nair, Jianlan Luo, Avinash Kumar, Matthias Loskyll, Juan Aparicio Ojea, Eugen Solowjow, and Sergey Levine. Residual reinforcement learning for robot control. In ICRA, 2019. 2, 3

[^52]: Leslie Pack Kaelbling, Michael L Littman, and Andrew W Moore. Reinforcement learning: A survey. Journal of artificial intelligence research, 1996. 1

[^53]: Jeonghwan Kim, Jisoo Kim, Jeongheon Na, and Hanbyul Joo. Parahome: Parameterizing everyday home activities towards 3d generative modeling of human-object interactions. arXiv preprint arXiv:2401.10232, 2024. 3

[^54]: Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015. 6

[^55]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 2, 3

[^56]: Haoming Li, Qi Ye, Yuchi Huo, Qingtao Liu, Shijian Jiang, Tao Zhou, Xiang Li, Yang Zhou, and Jiming Chen. Tpgp: Temporal-parametric optimization with deep grasp prior for dexterous motion planning. In ICRA, 2024. 1

[^57]: Jinhan Li, Yifeng Zhu, Yuqi Xie, Zhenyu Jiang, Mingyo Seo, Georgios Pavlakos, and Yuke Zhu. Okami: Teaching humanoid robots manipulation skills through single video imitation. arXiv preprint arXiv:2410.11792, 2024. 1

[^58]: Kailin Li, Lixin Yang, Haoyu Zhen, Zenan Lin, Xinyu Zhan, Licheng Zhong, Jian Xu, Kejian Wu, and Cewu Lu. Chord: Category-level hand-held object reconstruction via shape deformation. In ICCV, 2023. 3

## [^59]: Kailin Li, Jingbo Wang, Lixin Yang, Cewu Lu, and Bo Dai. Semgrasp: Semantic grasp generation via language aligned discretization. In ECCV, 2024

---

[^60]: Kailin Li, Lixin Yang, Zenan Lin, Jian Xu, Xinyu Zhan, Yifei Zhao, Pengxiang Zhu, Wenxiong Kang, Kejian Wu, and Cewu Lu. Favor: Full-body ar-driven virtual object rearrangement guided by instruction text. AAAI, 2024. 2, 3, 4, 5, 6

[^61]: Puhao Li, Tengyu Liu, Yuyang Li, Yiran Geng, Yixin Zhu, Yaodong Yang, and Siyuan Huang. Gendexgrasp: Generalizable dexterous grasping. In ICRA, 2023. 1

[^62]: Sizhe Li, Zhiao Huang, Tao Chen, Tao Du, Hao Su, Joshua B Tenenbaum, and Chuang Gan. Dexdeform: Dexterous deformable object manipulation with human demonstrations and differentiable physics. ICLR, 2023. 3

[^63]: Yuyang Li, Bo Liu, Yiran Geng, Puhao Li, Yaodong Yang, Yixin Zhu, Tengyu Liu, and Siyuan Huang. Grasp multiple objects with one hand. RA-L, 2024. 1

[^64]: Davide Liconti, Yasunori Toshimitsu, and Robert Katzschmann. Leveraging pretrained latent representations for few-shot imitation learning on a dexterous robotic hand. arXiv preprint arXiv:2404.16483, 2024. 1

[^65]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2

[^66]: Toru Lin, Zhao-Heng Yin, Haozhi Qi, Pieter Abbeel, and Jitendra Malik. Twisting lids off with two hands. arXiv preprint arXiv:2403.02338, 2024. 1, 3

[^67]: Qingtao Liu, Yu Cui, Qi Ye, Zhengnan Sun, Haoming Li, Gaofeng Li, Lin Shao, and Jiming Chen. Dexrepnet: Learning dexterous robotic grasping network with geometric and spatial hand-object representations. In IROS, 2023. 1

[^68]: Qingtao Liu, Qi Ye, Zhengnan Sun, Yu Cui, Gaofeng Li, and Jiming Chen. Masked visual-tactile pre-training for robot manipulation. In ICRA, 2024. 1, 3

[^69]: Wenhai Liu, Junbo Wang, Yiming Wang, Weiming Wang, and Cewu Lu. Force-centric imitation learning with force-motion capture system for contact-rich manipulation. arXiv preprint arXiv:2410.07554, 2024. 2, 3

[^70]: Xueyi Liu, Kangbo Lyu, Jieqiong Zhang, Tao Du, and Li Yi. Parameterized quasi-physical simulators for dexterous manipulations transfer. In ECCV, 2024. 1, 3, 5, 6, 7

[^71]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In CVPR, 2022. 2, 3

[^72]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. arXiv preprint arXiv:2401.08399, 2024. 2, 3

[^73]: Haoran Lu, Ruihai Wu, Yitong Li, Sijie Li, Ziyu Zhu, Chuanruo Ning, Yan Shen, Longzan Luo, Yuanpei Chen, and Hao Dong. Garmentlab: A unified simulation and benchmark for garment manipulation. In NeurIPS, 2024.

[^74]: Zhengyi Luo, Jinkun Cao, Kris Kitani, Weipeng Xu, et al. Perpetual humanoid control for real-time simulated avatars. In ICCV, 2023. 4

[^75]: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, and Weipeng Xu. Grasping diverse objects with simulated humanoids. arXiv preprint arXiv:2407.11385, 2024. 1, 3

[^76]: Zhengyi Luo, Jiashun Wang, Kangni Liu, Haotian Zhang, Chen Tessler, Jingbo Wang, Ye Yuan, Jinkun Cao, Zihui Lin, Fengyi Wang, et al. Smpolympics: Sports environments for physically simulated humanoids. arXiv preprint arXiv:2407.00187, 2024. 1

[^77]: Viktor Makoviychuk, Lukasz Wawrzyniak, Yunrong Guo, Michelle Lu, Kier Storey, Miles Macklin, David Hoeller, Nikita Rudin, Arthur Allshire, Ankur Handa, et al. Isaac gym: High performance gpu-based physics simulation for robot learning. arXiv preprint arXiv:2108.10470, 2021. 2, 5, 6

[^78]: Ajay Mandlekar, Yuke Zhu, Animesh Garg, Jonathan Booher, Max Spero, Albert Tung, Julian Gao, John Emmons, Anchit Gupta, Emre Orbay, et al. Roboturk: A crowdsourcing platform for robotic skill learning through imitation. In Conference on Robot Learning, 2018. 2,3

[^79]: Xiaofeng Mao, Gabriele Giudici, Claudio Coppola, Kaspar Althofer, Ildar Farkhatdinov, Zhibin Li, and Lorenzo Jamone. Dexskills: Skill segmentation using haptic data for learning autonomous long-horizon robotic manipulation tasks. arXiv preprint arXiv:2405.03476, 2024. 1

[^80]: Ji-Heon Oh, Ismael Espinoza, Danbi Jung, and Tae-Seong Kim. Bimanual long-horizon manipulation via temporal-context transformer rl. RA-L, 2024. 1

[^81]: Abby O’Neill, Abdul Rehman, Abhinav Gupta, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, et al. Open x-embodiment: Robotic learning datasets and rt-x models. arXiv preprint arXiv:2310.08864, 2023. 1

[^82]: Tao Pang and Russ Tedrake. A convex quasistatic time-stepping scheme for rigid multibody systems with contact and friction. In ICRA, 2021. 5

[^83]: Tao Pang, HJ Terry Suh, Lujie Yang, and Russ Tedrake. Global planning for contact-rich manipulation via local smoothing of quasi-dynamic contact models. IEEE Transactions on Robotics, 2023. 5

[^84]: Younghyo Park, Jagdeep Singh Bhatia, Lars Ankile, and Pulkit Agrawal. Dexhub and dart: Towards internet scale robot data collection. arXiv preprint arXiv:2411.02214, 2024. 3

[^85]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In CVPR, 2024. 2

[^86]: Xue Bin Peng, Pieter Abbeel, Sergey Levine, and Michiel Van de Panne. Deepmimic: Example-guided deep reinforcement learning of physics-based character skills. ACM TOG, 2018. 4

[^87]: Xue Bin Peng, Ze Ma, Pieter Abbeel, Sergey Levine, and Angjoo Kanazawa. Amp: Adversarial motion priors for stylized physics-based character control. ACM TOG, 2021. 3, 4

## [^88]: Xue Bin Peng, Yunrong Guo, Lina Halper, Sergey Levine, and Sanja Fidler. Ase: Large-scale reusable adversarial skill embeddings for physically simulated characters. ACM TOG, 2022. 3

---

[^89]: Sergey Prokudin, Christoph Lassner, and Javier Romero. Efficient learning on point clouds with basis point sets. In ICCV, 2019. 4

[^90]: Yuzhe Qin, Hao Su, and Xiaolong Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation. RA-L, 2022. 3

[^91]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In ECCV, 2022. 2, 3

[^92]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. In RSS, 2023. 3, 6

[^93]: Realman Robotics. RM Series. <https://www.realman-robotics.com/rm-series123>, 2010.7

[^94]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 2017. 1, 3, 7

[^95]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In MICCAI, 2015. 8

[^96]: Gerrit Schoettler, Ashvin Nair, Jianlan Luo, Shikhar Bahl, Juan Aparicio Ojea, Eugen Solowjow, and Sergey Levine. Deep reinforcement learning for industrial insertion tasks with visual inputs and natural rewards. In IROS, 2020. 3

[^97]: John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017. 1, 3, 6

[^98]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In CVPR, 2022. 3

[^99]: Nur Muhammad Shafiullah, Zichen Cui, Ariuntuya Arty Altanzaya, and Lerrel Pinto. Behavior transformers: Cloning k modes with one stone. NeurIPS, 2022. 8

[^100]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. Videodex: Learning dexterity from internet videos. In CoRL, 2023. 2

[^101]: Kenneth Shaw, Yulong Li, Jiahui Yang, Mohan Kumar Srirama, Ray Liu, Haoyu Xiong, Russell Mendonca, and Deepak Pathak. Bimanual dexterity for complex tasks. arXiv preprint arXiv:2411.13677, 2024. 1

[^102]: Qijin She, Shishun Zhang, Yunfan Ye, Min Liu, Ruizhen Hu, and Kai Xu. Learning cross-hand policies for high-dof reaching and grasping. ECCV, 2024. 1

[^103]: Ken Shoemake. Animating rotation with quaternion curves. In Proceedings of the 12th annual conference on Computer graphics and interactive techniques, 1985. 4

[^104]: Tom Silver, Kelsey Allen, Josh Tenenbaum, and Leslie Kaelbling. Residual policy learning. arXiv preprint arXiv:1812.06298, 2018. 2, 3

[^105]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In ECCV, 2020. 2, 3, 4, 6

[^106]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 2

[^107]: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, and Xue Bin Peng. Maskedmimic: Unified physics-based character control through masked motion inpainting. SIGGRAPH ASIA, 2024. 3

[^108]: A Vaswani. Attention is all you need. NeurIPS, 2017. 8

[^109]: Weikang Wan, Haoran Geng, Yun Liu, Zikang Shan, Yaodong Yang, Li Yi, and He Wang. Unidexgrasp++: Improving dexterous grasping policy learning via geometry-aware curriculum and iterative generalist-specialist learning. In ICCV, 2023. 1, 2, 3

[^110]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023. 2, 3

[^111]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024. 1, 3

[^112]: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, and Xiaolong Wang. Cyberdemo: Augmenting simulated human demonstration for real-world dexterous manipulation. In CVPR, 2024. 3

[^113]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. In ICRA, 2023. 1

[^114]: Xinyue Wei, Minghua Liu, Zhan Ling, and Hao Su. Approximate convex decomposition for 3d meshes with collision-aware concavity and tree search. ACM TOG, 2022. 4

[^115]: Philipp Wu, Yide Shentui, Zhongke Yi, Xingyu Lin, and Pieter Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. arXiv preprint arXiv:2309.13037, 2023. 3

[^116]: Tianhao Wu, Mingdong Wu, Jiyao Zhang, Yunchong Gan, and Hao Dong. Learning score-based grasping primitive for human-assisting dexterous grasping. NeurIPS, 2024. 1, 3

[^117]: Wei Xie, Zhipeng Yu, Zimeng Zhao, Binghui Zuo, and Yanggang Wang. Hmdo: Markerless multi-view hand manipulation capture with deformable objects. Graphical Models, 2023. 2, 3

[^118]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. NeurIPS, 2022. 2

[^119]: Yinzhen Xu, Weikang Wan, Jialiang Zhang, Haoran Liu, Zikang Shan, Hao Shen, Ruicheng Wang, Haoran Geng, Yijia Weng, Jiayi Chen, et al. Unidexgrasp: Universal robotic dexterous grasping via learning diverse proposal generation and goal-conditioned policy. In CVPR, 2023. 1, 2, 3

[^120]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose++: Vision transformer for generic body pose estimation. IEEE TPAMI, 2023. 2

## [^121]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021

---

[^122]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, 2022. 2

[^123]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In CVPR, 2022. 2, 3

[^124]: Lixin Yang, Jian Xu, Licheng Zhong, Xinyu Zhan, Zhicheng Wang, Kejian Wu, and Cewu Lu. Poem: reconstructing hand in a point embedded multi-view stereo. In CVPR, 2023. 2

[^125]: Shiqi Yang, Minghuan Liu, Yuzhe Qin, Runyu Ding, Jialong Li, Xuxin Cheng, Ruihan Yang, Sha Yi, and Xiao-long Wang. Ace: A cross-platform visual-exoskeletons system for low-cost dexterous teleoperation. arXiv preprint arXiv:2408.11805, 2024. 1, 3

[^126]: Jianglong Ye, Jiashun Wang, Binghao Huang, Yuzhe Qin, and Xiaolong Wang. Learning continuous grasping function with a dexterous hand from human demonstrations. RA-I 2023 3

[^127]: Zhao-Heng Yin, Binghao Huang, Yuzhe Qin, Qifeng Chen, and Xiaolong Wang. Rotating without seeing: Towards in-hand dexterity through touch. RSS, 2023. 1

[^128]: Haoqi Yuan, Bohan Zhou, Yuhui Fu, and Zongqing Lu. Cross-embodiment dexterous grasping with reinforcement learning. arXiv preprint arXiv:2410.02479, 2024. 1

[^129]: Kevin Zakka, Philipp Wu, Laura Smith, Nimrod Gileadi, Taylor Howell, Xue Bin Peng, Sumeet Singh, Yuval Tassa, Pete Florence, Andy Zeng, et al. Robopianist: Dexterous piano playing with deep reinforcement learning. CoRL, 2023. 3

[^130]: Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, and Huazhe Xu. 3d diffusion policy: Generalizable visuomotor policy learning via simple 3d representations. In RSS, 2024. 1

[^131]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In CVPR, 2024. 2, 3, 4, 5, 6, 7

[^132]: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, and Jie Song. Graspxl: Generating grasping motions for diverse objects at scale. ECCV, 2024. 1, 2

[^133]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. In 3DV, 2024. 1

[^134]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. A hand pose tracking benchmark from stereo matching. In ICIP, 2017. 4

[^135]: Xiang Zhang, Changhao Wang, Lingfeng Sun, Zheng Wu, Xinghao Zhu, and Masayoshi Tomizuka. Efficient�-to-real transfer of contact-rich manipulation skills with online admittance residual learning. In CoRL, 2023. 3

[^136]: Shuqi Zhao, Xinghao Zhu, Yuxin Chen, Chenran Li, Xiang Zhang, Mingyu Ding, and Masayoshi Tomizuka. Dexh2r: Task-oriented dexterous manipulation from human to robots. arXiv preprint arXiv:2411.04428, 2024. 2, 3

[^137]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. 3

[^138]: Licheng Zhong, Lixin Yang, Kailin Li, Haoyu Zhen, Mei Han, and Cewu Lu. Color-neus: Reconstructing neural implicit surfaces with color. In 3DV, 2024. 3

[^139]: Bohan Zhou, Haoqi Yuan, Yuhui Fu, and Zongqing Lu. Learning diverse bimanual dexterous manipulation skills from human demonstrations. arXiv preprint arXiv:2410.02477, 2024. 3

[^140]: Zehao Zhu, Jiashun Wang, Yuzhe Qin, Deqing Sun, Varun Jampani, and Xiaolong Wang. Contactart: Learning 3d interaction priors for category-level articulated object and hand poses estimation. arXiv preprint arXiv:2305.01618, 2023. 3

[^141]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 4