# 基于单张RGB图像的交互式手部重建的解耦迭代优化框架

任鹏飞 $^{1,2}$ 文超 $^{2}$ 郑晓正 $^{1,2}$ 薛周 $^{2}$

孙海峰 $^{1}$ 齐琪 $^{1}$ 王靖宇 $^{1*}$ 廖建新 $^{1*}$

$^{1}$北京邮电大学网络与交换技术国家重点实验室

$^{2}$字节跳动PICO IDL，北京

<mailto:rpf@bupt.edu.cn>; {wenchao.w, zhengxiaozheng}@bytedance.com; <mailto:xuezhou08@gmail.com>; {hfsun, qiqi8266, wangjingyu, liaojx}@bupt.edu.cn

## 摘要

从单张RGB图像中重建交互式手部是一项极具挑战性的任务。一方面，严重的相互遮挡以及两只手之间相似的局部外观会干扰视觉特征的提取，进而导致估计出的手部网格与图像无法对齐；另一方面，交互式手部之间存在复杂的空间关系，这显著增大了手部姿态的解空间，增加了网络学习的难度。在本文中，我们提出了一种解耦迭代优化框架，旨在实现像素级对齐的手部重建，同时高效建模手部间的空间关系。具体而言，我们定义了两种具有不同特性的特征空间，即2D视觉特征空间和3D关节特征空间。首先，我们从视觉特征图中获取逐关节特征，并利用图卷积网络和Transformer分别在3D关节特征空间中实现手内及手间的信息交互。随后，我们将包含全局信息的关节特征以无混淆的方式投影回2D视觉特征空间，再利用2D卷积进行逐像素增强。通过在这两个特征空间中多次交替增强，我们的方法能够实现准确且鲁棒的交互式手部重建。在InterHand2.6M数据集上，我们的方法性能大幅优于现有的所有双手重建方法。

![Image](images/fe60fddf1c1accbc26fcd17bf4069bfb92e1cd20cc0fb0e806e4a774a83239c4.jpg)

### 1. 引言

3D 手部重建在许多应用中发挥着重要作用，例如虚拟现实（VR）、增强

<div style="text-align: center;">Figure 1. Decoupled Iterative Refinement. Our method extracts the visual feature map from the input RGB image, then iteratively performs visual feature refinement and joint feature interaction in a decoupled manner, and finally uses the enhanced joint feature for interacting hands reconstruction.</div>

现实（AR）、机器人技术等。随着大规模数据集和深度学习的出现，单手姿态估计与重建 [^50] [^18] [^53] [^34] [^52] [^40] [^63] [^6] [^36] [^19] [^5] [^59] [^64] [^1] [^22] [^46] [^2] [^33] [^32] [^9] [^7] [^8] 在过去几年中已取得显著进展。此外，由于双手能够表达更丰富的语义并实现更复杂的操作，交互式双手重建最近受到了广泛关注。以往工作通常依赖于深度相机 [^3] [^38] [^23] [^49] [^37] 或多相机系统 [^45]，这极大地限制了这些方法的应用场景。本文聚焦于从广泛可获取的 RGB 图像中重建交互双手。

与单手重建任务相比，从单张RGB图像中重建交互双手的任务更具挑战性，且尚未得到解决。一方面，交互双手之间的严重相互遮挡会导致大量手部区域无法被观测到；同时，手部外观的相似性又会给视觉特征的提取带来严重的歧义和混淆。因此，自我遮挡和相似性往往会导致估计出的手部网格与输入图像之间出现对齐误差。

---

另一方面，交互双手之间存在复杂的空间关系，姿态求解的自由度大幅增加，这给网络的优化带来了困难。

一些方法试图利用热图[^57]、关节可见性[^20]以及部件分割[^13]等视觉线索来减轻自我遮挡和外观相似带来的干扰。然而，这些方法忽略了交互双手之间的紧密依赖性。为了更好地捕捉双手间的空间关系，Hampali等人[^16]从视觉特征图中提取冗余的节点特征，并利用Transformer来实现两只手节点间的消息传递。不过，他们的方法需要额外的关联过程来确定冗余节点与关节之间的关系，这增加了网络优化的难度。Li等人[^24]提出在手部顶点间进行密集交互，以此建模双手间的空间关系；同时，他们也在手部顶点与像素特征间进行密集交互，从而实现图像与网格的对齐。然而，基于注意力机制的密集交互计算成本较高，且存在过拟合风险。

在本文中，我们将复杂的双手重建任务拆解为空间关系建模问题和像素级对齐问题，这两个问题可分别在专门的空间中以简单高效的方式处理。如图1所示，我们的方法明确定义了两个特征空间：2D视觉特征空间和3D关节特征空间。在3D关节特征空间中，我们用紧凑的关节特征来表示手部信息。我们采用图卷积网络（GCN）[^60]和Transformer[^61]分别来建模两只手的内部及相互关系。在2D视觉特征空间中，我们采用视觉特征图来表示双手信息，并通过无混淆的方式融合关节特征来增强局部视觉特征。我们通过明确的2D-3D坐标投影关系来连接这两个空间。在关节特征空间中进行长距离关系建模的计算开销较低，且能充分利用骨骼结构信息，从而降低网络优化的难度。同时，包含全局信息的关节特征能为局部视觉特征提供强有力的消歧线索，缓解自我遮挡导致的信息丢失以及相似性带来的歧义问题。

实验表明，在InterHand2.6M数据集上[^24]，我们的方法显著优于现有最先进（SOTA）方法。同时，我们也展示了该方法在多个自然场景样本上的定性图像和视频（详见补充材料）[^51] [^54] [^4] [^44]，从中可以看出我们的方法具有很强的泛化能力。代码获取地址为：<https://github.com/PengfeiRen96/DIR>。

我们的贡献可总结如下：

- 我们提出了一种用于重建交互手部的解耦迭代优化框架。该方法在高效建模手部空间关系的同时，能够实现像素级的网格与图像对齐。

- 我们通过紧凑且语义明确的关键点节点来建模两只手的空间关系，这种方式计算开销小，还能充分利用手部骨骼结构的先验知识。

- 我们提出了一种无混淆的方式将关键点特征投影到视觉特征空间，从而缓解因自身相似性导致的歧义，以及因自遮挡造成的视觉线索缺失问题。

- 我们的方法性能大幅优于近期的最先进方法，且在自然场景图像上展现出强大的泛化能力。

### 2. 相关工作

#### 2.1. 单手重建

早期的单手重建工作依赖深度数据 [^18] [^53] [^34] [^50] [^52] [^40]，但随着大规模数据集的出现和深度学习的发展，基于RGB的手部重建取得了巨大进展。早期的基于RGB的研究仅专注于从输入图像中估计手部姿态 [^63] [^47] [^19] [^6]。随着参数化手部模型的提出，一些研究 [^62] [^59] [^5] [^31] [^21] 尝试利用MANO模型直接从RGB图像重建手部。然而，从单张RGB图像中预测手部模型的参数极具挑战性，这给网络优化带来了困难，还容易导致网格与图像对齐不佳的问题 [^48]。为缓解这些问题，一些研究提出使用GCN [^14] [^22] [^11] 或Transformer [^26] [^25] [^10] 直接估计手部网格顶点的坐标。不过，缺乏先验知识的情况下重建手部很容易导致预测的网格坍塌，即便这些方法采用了某些约束项来保证生成的网格平滑。因此，为使估计出的手部模型合理，我们采用了参数化手部模型，并通过迭代的3D空间关系建模和2D特征增强来缓解网格与图像的对齐问题。

#### 2.2. 交互手部重建

双手交互重建是一项极具挑战性的课题。一些开创性工作[^3] [^38] [^23]通过优化参数化手部模型，使其适配观测到的深度数据。

---

能量函数。这些方法往往容易陷入局部最优解，且计算成本较高。一种常用的方法是训练深度神经网络来预测某些视觉特征，例如分割结果$^{[49, 37]}$、像素-网格对应图$^{[37, 54]}$，或是交互手部的密集相对深度图$^{[54]}$，以此缩小手部姿态的搜索空间并降低能量函数的优化难度。然而，这种混合式方法无法以端到端的方式训练，且优化过程仍可能陷入局部最小值。最近，Smith等人$^{[45]}$提出了一种多视角摄像系统，能够重建高保真度的交互手部动作。不过，该方法需要定制专用的硬件，且算法运行耗时较长。

近年来，随着大规模交互式手部数据集InterHand2.6M [^35] 的提出，基于单张RGB图像的三维交互式手部重建取得了显著进展。Moon等人 [^35] 将单手姿态估计方法拓展到双手交互场景，能够同时预测两只手的2.5D热图。一些研究通过引入关节可见性 [^20] 和部件分割 [^13] 等视觉线索来提高交互式手部估计的精度。Rong等人 [^43] 提出了一种两阶段框架来缓解双手之间的碰撞问题。为了降低交互式手部之间的相互干扰，Zhang等人 [^57] 提出利用热图让网络聚焦于特定区域，而Meng等人 [^30] 则采用擦除机制将双手图像转换为两张单手图像。然而，这些方法并未充分建模两只手之间的依赖关系。Hampali等人 [^16] 采用Transformer来建模两只手之间的交互，该方法虽然鲁棒，但仍难以消除估计的手部姿态与图像之间的错位现象。Li等人 [^24] 在进行双手网格间的信息交互时，逐步用图像特征增强网格顶点特征，这有助于实现网格与图像的对齐。不过，执行密集的网格-网格及网格-图像交互在计算上较为复杂，且容易过拟合。

#### 2.3. 像素级对齐

直接从单张RGB图像中估计像素对齐的三维网格颇具挑战性，无论是通过估计参数化模型还是直接预测网格顶点坐标均是如此。Wang等人 [^55] 和Wen等人 [^56] 提出利用相机内参矩阵，根据三维-二维坐标关系从二维图像特征中获取每个三维网格顶点的感知特征。进一步地，Zhang等人 [^58] 和Tang等人 [^48] 将这一策略分别拓展到从视觉特征中提取人体网格和手部网格特征，以获得更精确的网格-图像对齐效果。除了利用坐标关系采样网格特征外，另一种方式 [^26] [^24] 是利用Transformer在图像特征与顶点特征之间执行密集交互。不过，这种方法计算开销较大，且对自遮挡较为敏感（交互关系的正确性会受到特征本身质量的影响）。值得注意的是，上述两种方法仅在三维顶点空间中进行特征增强，忽略了二维特征空间的作用。具体而言，二维卷积运算的局部感受野机制提供了内在的归纳偏置，能够高效且有效地利用局部特征来实现像素级精细化处理。我们的方法将包含全局信息的关节特征投影回二维视觉特征空间，从而为二维卷积提供更强的线索，以实现更精确的像素级对齐。

### 3. 方法

在本文中，我们提出了一种用于从单张RGB图像重建双手交互模型的解耦迭代细化模块。如图2所示，我们采用了编码-解码网络结构。编码器从输入图像中提取多尺度视觉特征，并利用全局特征来估计初始手部网格以及两只手之间的相对偏移量。随后，解码器逐步增强视觉特征图，并细化手部网格和相对偏移量。在解码过程中，我们以解耦的方式迭代地进行双手空间关系建模和视觉特征细化。

#### 3.1. 编码器与初始估计

我们采用在 ImageNet 上预训练的 ResNet-50 [^17] [^12] 作为编码器，从中可以获得多尺度视觉特征 $\{\mathbf{F}_n \in \mathbb{R}^{C_n \times H_n \times W_n}\}_{n=0}^{n=N-1}$，其中 $N, C_n, H_n, W_n$ 分别表示视觉特征尺度的数量、第 n 个特征图的通道维度、高度和宽度。一般而言，直接回归顶点坐标可以获得更高精度的网格预测 [^48] [^26] [^14] [^22]。然而，这种方法容易产生塌陷且不合理的手部网格，因此鲁棒性相对较差。因此，我们利用编码器提取的全局特征直接回归参数化手部模型 MANO [^42] 的参数，然后通过后续的迭代细化来提高初始网格的精度。特别地，两只手应具有各自独特的特征，因此我们采用一个简单而轻量级的注意力模块，从最高层的图像特征图 $\mathbf{F}_{N-1}$ 中分离出两只手的特征。以左手为例，左手全局特征 $\mathbf{G}_{left} \in \mathbb{R}^{C_N-1}$ 可以通过注意力图 $\mathbf{A}_{left} \in \mathbb{R}^{1 \times H_{N-1} \times W_{N-1}}$ 获得，如下所示：

 $$ \mathbf{A}_{{l e f t}}={S i g m o i d}\left({C o n v}_{{l e f t}}\left(\mathbf{F}_{N-1}\right)\right), $$

---

![Image](images/dc1d357458aa36fe4b90b2e60def73236a59cd9068fe466616418f3735fafc0a.jpg)

<div style="text-align: center;">Figure 2. Our framework. We utilize the global features extracted by the encoder to predict the initial hand meshes and the relative offset of the hands. Then, the decoder gradually fuses the multi-scale visual feature maps from the encoder and refines the hand meshes and the relative offset. ‘SA’ and ‘GAP’ represent spatial attention and global average pooling, respectively. ‘FS’ and ‘MFP’ represent joint-wise feature sampling and multi-plane feature projecting, respectively. ‘TF’ represents a multi-layer transformer. In particular, since our method limits the resolution of feature maps to a maximum of  $32 \times 32$ during decoding, we only need to adopt the upsampling in the first refinement stage. In addition, for feature maps from the encoder with a resolution greater than  $32 \times 32$, we change its resolution by downsampling.</div>

 $$ \mathbf{G}_{{l e f t}}={A v g P o o l}\left(\mathbf{A}_{{l e f t}}*\mathbf{F}_{N-1}\right). $$

接着，我们通过全连接（FC）层分别根据 $(\theta_{left} \in \mathbb{R}^{62}$ 和 $\theta_{right} \in \mathbb{R}^{62})$ 估计两只手的模型参数 $(\mathbf{P}_{left} \in \mathbb{R}^{3}$ 和 $\mathbf{P}_{right} \in \mathbb{R}^{3})$ 以及弱透视相机参数 $\mathbf{G}_{left}$ 和 $\mathbf{G}_{right}$。同时，我们通过2D平均池化和全连接层，根据特征 $\mathbf{O} \in \mathbb{R}^{3}$ 预测两只手的相对偏移量 $\mathbf{F}_{N-1}$。

#### 3.2. 解码器与迭代细化

对于双手交互重建而言，建模两只手的3D空间关系以及将估计出的网格与观测到的2D图像对齐是两大挑战。我们以解耦的方式分别在2D图像特征空间和3D关节特征空间中解决这两个问题。在单个细化阶段中，首先根据3D到2D的坐标关系从2D图像特征图中提取关节特征；接着在3D关节特征空间中，我们进行手内及手间的信息交互，以捕捉两只手关节之间复杂的空间依赖关系；最后，我们将包含全局上下文信息的关节级特征以无遮挡的方式投影回2D图像空间，从而为局部视觉特征的细化提供强有力的歧义消除线索。具体而言，我们共设置T个细化阶段。

#### 3.2.1 构建关节特征

在第t个细化阶段，给定来自前一解码层的特征图以及来自对应编码器层的跳过图像特征图$\mathbf{F}_{N-t-2}$，我们将它们拼接起来，并通过一个$\mathbf{F}^{fusion}$卷积层得到融合特征图$1\times1$。接着，与[^48]、[^58]、[^55]、[^39]、[^31]类似，我们通过3D到2D坐标投影以及在每个投影后的关节坐标处进行双线性插值，从$\mathbf{J}^{visual} \in \mathbb{R}^{C \times J}$中提取出逐关节视觉特征$\mathbf{F}^{fusion}$，其中J和C分别代表关节数量和关节特征的通道维度。3D手部关节坐标取自前一阶段预测的3D手部网格。值得注意的是，此处的投影是由估计出的弱透视相机决定的，因此我们的方法无需相机内参。此外，我们通过全连接层将估计的关节坐标编码为坐标特征$\mathbf{J}^{coord} \in \mathbb{R}^{C \times J}$。借助逐关节视觉特征和坐标特征，我们便能获得初始关节特征$\mathbf{J} = \mathbf{J}^{coord} + \mathbf{J}^{visual}$。我们对两只手分别进行关节特征提取；具体而言，我们利用预测出的相对偏移量$\mathbf{O}$来在同一3D空间中移动左手和右手的坐标。

#### 3.2.2 建模3D空间中的空间关系

针对3D空间关系，我们的方法主要聚焦于两个方面：一是单只手的关节依赖性，二是两只手之间的空间上下文关系。

---

首先，单只手的关节之间存在明确的依赖性。利用手部结构的内在依赖性在关节间进行信息交互，可以降低网络优化的难度，并减轻低质量特征的干扰。例如，当某个关节因遮挡而缺乏明显的视觉线索时，我们可以根据其父关节或子关节等相关关节来推断其位置。因此，我们采用GCN [^60]，基于骨骼结构在单只手的关节节点间进行内部信息交互。同时，对于紧密交互的双手而言，两只手的关节之间存在着更为复杂且灵活的空间关系。为此，我们采用多层Transformer [^61]来建模双手关节之间的关系。通过利用GCN和Transformer进行信息交互，我们便能获得包含全局信息的增强关节特征$\mathbf{J} \in \mathbb{R}^{C \times J}$，这些特征将用于MANO参数预测以及后续的视觉特征增强。

关节节点具有清晰的语义，能够在交互过程中充分利用手部骨骼结构，从而降低网络的优化难度。与使用冗余节点来建模双手关系[^16]相比，我们的方法避免了额外的节点到关节的分配过程；与在两只手的网格顶点间进行信息交互[^24]相比，我们的方法计算效率更高，且能避免过拟合问题。

#### 3.2.3 增强2D空间中的视觉特征

得益于局部感受野机制和固有的归纳偏置，二维卷积能够高效且有效地捕捉局部结构。然而，即便堆叠多层卷积层，卷积操作也难以建模长距离关系[^29]。因此，二维视觉特征容易受到自身遮挡或外观相似性的干扰。为缓解这一问题，我们将包含全局信息的联合特征投影回二维图像特征，从而为局部视觉特征提供强有力的歧义消除线索。此外，为防止不同的联合特征被投影到相同或相近的像素位置时引发特征混淆，我们提出了多平面特征投影（MFP）机制。具体而言，我们将每个联合特征独立投影到一个特征图$\mathbf{M}_j \in \mathbb{R}^{C \times H \times W}$，然后将2J个特征图拼接起来作为最终的投影特征图$\mathbf{M} \in \mathbb{R}^{(2J \times C) \times H \times W}$。以往专注于网格-图像对齐的研究[^24] [^48] [^58] [^55]仅从二维图像特征中单向提取顶点特征，并在三维网格空间中进行细化。这些方法并未增强视觉特征，也忽略了像素级细化的作用。

#### 3.3. 损失函数

损失函数由三部分组成，包括MANO损失、偏移损失和像素级损失。

MANO损失。我们对网络预测的手部关节和网格进行监督。与以往的方法[^24]类似，我们对基于根节点的相对三维关节坐标$\mathbf{C}^{3D}$、二维关节坐标$\mathbf{C}^{2D}$、网格顶点的三维坐标$\mathbf{V}^{3D}$以及网格顶点的二维坐标$\mathbf{V}^{2D}$进行如下监督：

 $$ {\cal L}_{j o i n t}=\sum_{i=0}^{T-1}\sum_{j=0}^{J-1}L\mathrm{l}\left({\bf C}_{i,j}^{3D},{\bf C}_{i,j}^{3D,g t}\right)+L\mathrm{l}\left({\bf C}_{i,j}^{2D},{\bf C}_{i,j}^{2D,g t}\right), $$

 $$ {\cal L}_{m e s h}=\sum_{i=0}^{T-1}\sum_{j=0}^{V-1}L\mathrm{1}\left(\mathbf{V}_{i,j}^{3D},\mathbf{V}_{i,j}^{3D,g t}\right)+L\mathrm{1}\left(\mathbf{V}_{i,j}^{2D},\mathbf{V}_{i,j}^{2D,g t}\right), $$

其中$L_1$表示平滑L1损失[^15] [^41]；T、J、V分别表示迭代细化次数、关节数量和网格顶点数量。此外，与以往的方法[^24] [^48] [^32]类似，我们也采用法向一致性损失和边长一致性损失来维持估计网格的平滑性。

偏移损失。准确估计两只手之间的偏移量对于建模手部的空间关系至关重要。因此，我们对两只手的关节偏移量进行监督。

 $$ L_{o f f s e t}=\sum_{i=0}^{T-1}L1(\mathbf{O}_{i},\mathbf{O}_{i}^{g t}) $$

像素级损失。与[^58]类似，我们利用辅助任务进行像素级监督，以提升视觉特征的可靠性。具体而言，我们预测双手分割图和密集对应图[^24] [^37] [^54]，并通过均方误差（MSE）损失对其进行监督。

### 4. 实验

#### 4.1. 实现细节

我们在搭载NVIDIA A100 Tensor Core GPU的单台服务器上训练和评估我们的方法。网络在PyTorch框架下实现。我们使用AdamW优化器[^28]训练网络，初始学习率为$3e^{-4}$，并采用余弦衰减学习率调度策略[^27]。整个训练过程共50个epoch，批量大小为64。我们进行数据增强，包括随机旋转、随机缩放、随机平移、随机水平翻转和运动模糊。我们根据手部顶点的二维坐标裁剪出手部区域，并将其缩放为256×256$\times$。关于网络结构和训练细节的更多信息详见补充材料。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>ID</td><td style='text-align: center; word-wrap: break-word;'>IR</td><td style='text-align: center; word-wrap: break-word;'>GCN</td><td style='text-align: center; word-wrap: break-word;'>TF</td><td style='text-align: center; word-wrap: break-word;'>SFP</td><td style='text-align: center; word-wrap: break-word;'>MHP</td><td style='text-align: center; word-wrap: break-word;'>MFP</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPVPE</td><td style='text-align: center; word-wrap: break-word;'>MIAA</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>12.44</td><td style='text-align: center; word-wrap: break-word;'>12.11</td><td style='text-align: center; word-wrap: break-word;'>7.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>11.30</td><td style='text-align: center; word-wrap: break-word;'>11.03</td><td style='text-align: center; word-wrap: break-word;'>6.60</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>10.94</td><td style='text-align: center; word-wrap: break-word;'>10.75</td><td style='text-align: center; word-wrap: break-word;'>6.42</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>10.98</td><td style='text-align: center; word-wrap: break-word;'>10.80</td><td style='text-align: center; word-wrap: break-word;'>6.45</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>5</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>10.73</td><td style='text-align: center; word-wrap: break-word;'>10.53</td><td style='text-align: center; word-wrap: break-word;'>6.31</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>10.68</td><td style='text-align: center; word-wrap: break-word;'>10.45</td><td style='text-align: center; word-wrap: break-word;'>6.27</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>7</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>ALL</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>10.65</td><td style='text-align: center; word-wrap: break-word;'>10.44</td><td style='text-align: center; word-wrap: break-word;'>6.27</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>10.49</td><td style='text-align: center; word-wrap: break-word;'>10.26</td><td style='text-align: center; word-wrap: break-word;'>6.18</td></tr></table>

<div style="text-align: center;">Table 1. We report the MPJPE (mm), MPVPE (mm) and MIAA (pixel) on InterHand2.6M dataset. 'AM' represents using attention map to split features of the left and right hands. 'IR' stands for adopt iterative refinement. 'SFP' and 'MHP' represent the single-plane feature projection and the multi-plane heatmap projection.</div>

#### 4.2. 数据集

自然场景数据集。我们在RGB2Hands数据集[^54]、EgoHands数据集[^4]、100DOH数据集[^44]以及Tzionas等人提出的数据集[^51]上开展了定性实验。这些数据集包含复杂的手部交互样本、多样的背景、真实的光照条件以及不同的图像质量，能够全面评估我们方法的泛化能力。

InterHand2.6M。我们主要在InterHand2.6M数据集[^35]上开展实验，该数据集提供了带双手网格和关节3D标注的多视角RGB图像。我们没有利用多视角信息，而是将所有图像视为单视角图像。这个数据集极具挑战性，它包含复杂的双手交互姿态，且涵盖了大规模的视角变化。遵循[^24]的做法，我们使用已发布数据的5 FPS版本，且仅选用存在双手交互的样本。具体而言，它包含36.6万张训练图像和26.1万张测试图像。

#### 4.3. 评估指标

首先，我们采用平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）来衡量估计出的手部网格的姿态与形状精度。为了公平比较，我们遵循以往研究[^35] [^16]的做法，在评估时以手腕为基准进行关节对齐，并根据真实骨骼长度对预测结果进行缩放。不过在定性实验中，我们并不进行根关节对齐和缩放处理。其次，我们采用平均相对根位置误差（MRRPE）来评估双手之间的相对平移情况。第三，为了评估网格-图像对齐精度（MIAA），我们计算投影后的真实顶点与预测顶点在图像像素中的2D距离。此外，我们还报告了关键点正确百分比（PCK）以及0到50毫米范围内的曲线下面积（AUC）。

![Image](images/b233d093633f86579bbc79165bb2488b6154f44c21a27b665042a8472ba80074.jpg)

<div style="text-align: center;">Input w/o SR Full Model</div>

![Image](images/4e1209d73fc19cbc456507fbaf8cfdc103ab2326539ec364d8096a6bf22ed684.jpg)

<div style="text-align: center;">Full Model</div>

<div style="text-align: center;">Figure 3. Qualitative ablation study. ‘w/o SR’ means removing the GCN and the transformer from our full model. In addition to the mesh that overlaps the input image, we also show the estimated two-hand mesh from the other viewpoint.</div>

#### 4.4. 消融实验

基础网络。在本节中，我们测试了不同的初始MANO参数预测方式。此处我们的网络未采用迭代细化或解码器结构。如表1所示，基础方法（编号1）直接回归MANO参数和相对偏移量，其表现较差。与[^58]的方法类似，我们基于关节坐标从视觉特征中提取像素对齐特征，并进行两次校正（编号2），这能显著提升网络的性能。在后续实验中，我们默认采用两个细化阶段。

空间关系建模。在本节中，我们评估了建模手内及手间关系对性能的影响。与不建模任何空间关系的情况（编号2）相比，无论是使用图卷积网络（GCN）（编号3）实现单手关节间的信息交互，还是使用Transformer（编号4）建模双手关节间的空间关系，都能带来显著的性能提升。此外，同时采用GCN和Transformer（编号5）可取得最佳性能。

在图3中，我们展示了手部间空间关系（SR）建模的重要性。一方面，忽略两只手的空间交互会导致严重的交叉和碰撞现象，尤其是针对不可见部分（第1行）。另一方面，对于存在可见交互区域但交互姿态复杂的样本，忽略双手间的信息交互也会导致交互关节间的空间关系出现错误（第2行）。

关节特征投影：包含全局信息的关节特征能够为局部视觉特征提供强大的消歧线索。首先，如果将所有关节特征投影到同一个平面上（ID 6），不同关节的特征就会相互混淆，因此与ID 8相比，性能也会在一定程度上下降。将关节坐标转换为多个热图（ID 7）能够避免不同关节之间的混淆，但传递给视觉特征的信息有限（仅有位置信息），所以性能表现并不理想。

---

![Image](images/ec5f460f32be4dc54310c7f2e15930c4e25fc0eb44973b850d4e07c8ee8f9933.jpg)

<div style="text-align: center;">Figure 4. Qualitative Ablation study. ‘w/o MFP’ means removing the MFP process from our full model.</div>

![Image](images/69e217b26655400e7594283f006596257e399484fb7c3dc544fc3023f01289c6.jpg)

<div style="text-align: center;">Figure 5. From left to right, we show that the initial hand meshes are gradually corrected. A more accurate spatial relationship modeling can provide stronger disambiguation cues for 2D feature refinement in 2D visual space; better 2D visual features help to construct more representative joint nodes in 3D joint space.</div>

采用MFP（ID 8）不仅能避免特征混淆，还能很好地保留节点特征的信息，从而取得最佳性能。

在图4中，我们展示了MFP的效果。首先，我们发现采用MFP能够缓解双手之间的自相似性导致的歧义问题（第1行），这表明投影后的双手信息为局部视觉特征提供了强大的消歧线索。其次，当双手之间存在严重的自我遮挡时，投影信息能够增强不可见区域的局部视觉特征，显著提升对遮挡手部位的估计鲁棒性（第2行）。我们还观察到，采用MFP能够帮助网络聚焦于一些容易被忽略的区域，比如暗部区域（第3行）。

迭代优化：在本节中，我们探讨了优化阶段数量对性能的影响。经过1个、2个和3个优化阶段后，MPJPE分别可达到10.95毫米、10.49毫米和10.44毫米，相较于初始估计值分别提升了约12.0%、15.7%和16.1%。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPVPE</td><td style='text-align: center; word-wrap: break-word;'>MIAA</td><td style='text-align: center; word-wrap: break-word;'>MRRPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterNet [^35]</td><td style='text-align: center; word-wrap: break-word;'>14.42</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>30.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterShape [^57]</td><td style='text-align: center; word-wrap: break-word;'>12.54</td><td style='text-align: center; word-wrap: break-word;'>12.26</td><td style='text-align: center; word-wrap: break-word;'>7.40</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>KPT [^16]</td><td style='text-align: center; word-wrap: break-word;'>12.42</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>29.17</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IntagHand [^24]</td><td style='text-align: center; word-wrap: break-word;'>12.40</td><td style='text-align: center; word-wrap: break-word;'>12.09</td><td style='text-align: center; word-wrap: break-word;'>7.11</td><td style='text-align: center; word-wrap: break-word;'>30.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>10.49</td><td style='text-align: center; word-wrap: break-word;'>10.26</td><td style='text-align: center; word-wrap: break-word;'>6.18</td><td style='text-align: center; word-wrap: break-word;'>28.98</td></tr></table>

<div style="text-align: center;">Table 2. We report MPJPE (mm), MPVPE (mm), MIAA (pixel) and MRRPE (mm) on InterHand2.6M.</div>

![Image](images/ac9401d3960dd8f9efbe5d4a0fa4e446b958ce85356f13a3e8d6ab2e61fc16e9.jpg)

<div style="text-align: center;">Figure 6. Comparison with SOTA methods on InterHand2.6M.</div>

采用两阶段优化能够在速度与精度之间取得更好的平衡（31帧/秒），而三阶段优化则能实现更高的性能（23帧/秒）。如图5所示，我们的方法能够有效修正初始估计中网格对齐偏差或双手间空间关系错误的问题。

#### 4.5. 与现有先进方法的对比

我们将我们的方法与现有的先进双手重建方法进行对比，包括InterNet [^35]、InterShape [^57]、IntagHand [^24]以及KeyPoint Transformer（KPT）[^24]。为了保证对比的公平性，我们采用相同的方式重新评估这些方法：即利用腕关节的 Ground Truth 进行手部对齐，再根据预测骨骼长度与Ground Truth骨骼长度的比值对估计结果进行缩放。具体而言，我们使用这些方法发布的源代码和模型权重进行评估。如表3所示，我们的方法显著优于所有双手重建方法。首先，与先进的双手估计方法IntagHand [^24]相比，我们的方法在MPJPE和MPVPE指标上分别提升了15.40%（10.49毫米 vs. 12.40毫米）和15.14%（10.26毫米 vs. 12.09毫米）。其次，由于我们的方法在3D关节特征空间中显式建模了双手的空间关系，因此在MRRPE指标上展现出显著优势。第三，我们的方法具有更好的像素对齐特性，实现了最低的MIAA值。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE (MS)</td><td style='text-align: center; word-wrap: break-word;'>MPVPE (MS)</td><td style='text-align: center; word-wrap: break-word;'>MPJPE (M)</td><td style='text-align: center; word-wrap: break-word;'>MPVPE (M)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterNet [^35]</td><td style='text-align: center; word-wrap: break-word;'>12.79</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.94</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>KPT [^16]</td><td style='text-align: center; word-wrap: break-word;'>9.17</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.61</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterShape [^57]</td><td style='text-align: center; word-wrap: break-word;'>8.88</td><td style='text-align: center; word-wrap: break-word;'>9.15</td><td style='text-align: center; word-wrap: break-word;'>10.51</td><td style='text-align: center; word-wrap: break-word;'>10.95</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IntagHand [^24]</td><td style='text-align: center; word-wrap: break-word;'>8.79</td><td style='text-align: center; word-wrap: break-word;'>9.03</td><td style='text-align: center; word-wrap: break-word;'>10.14</td><td style='text-align: center; word-wrap: break-word;'>10.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>7.51</td><td style='text-align: center; word-wrap: break-word;'>7.72</td><td style='text-align: center; word-wrap: break-word;'>8.70</td><td style='text-align: center; word-wrap: break-word;'>9.06</td></tr></table>

<div style="text-align: center;">Table 3. We report MPJPE-MS (mm), MPVPE-MS (mm), MPJPE-M (mm), MPVPE-M (mm) on InterHand2.6M.</div>

此外，如图6所示，我们的方法在几乎所有误差阈值下都优于以往的方法，且AUC值最高。

同时，我们采用中指的MCP关节进行对齐，并结合缩放处理来计算MPJPE和MPVPE（评估方法与IntagHand [^24]一致），分别将其称为MPJPE-MS和MPVPE-MS。我们还报告了不采用缩放、仅通过MCP对齐得到的MPJPE和MPVPE，分别记为MPJPE-M和MPVPE-M。如表3所示，不同的设置会导致性能出现显著差异。例如，使用中指MCP关节对齐能够显著提升网络性能。不过无论采用何种评估策略，我们的方法在所有指标上的表现都大幅优于现有最先进方法。

此外，我们采用相互穿透体积（IV）来衡量两只手之间的碰撞程度。该数值是通过将手部模型体素化得到的，体素尺寸为0.5厘米。与之前的最先进方法IntagHand [^24]不同，后者并未显式建模手部间的碰撞，而我们的方法得到的IV值更低（4.14立方厘米对比4.37立方厘米）。这表明我们的方法能更好地建模手部间的空间关系。

#### 4.6. 定性结果

我们在图7中展示了该方法在Interhand2.6M数据集上的定性结果。与IntagHand [^24]相比，我们的方法能够避免估计网格的坍塌（第1行、第2行）；即便没有显式的碰撞约束，我们的方法也能更好地避免手部间的不合理交叉（第3行、第4行）。这表明基于关节的信息交互能够帮助模型捕捉关节间的空间关系。同时，我们的方法实现了更好的网格与图像对齐效果（第2行、第3行）。尤其当一只手几乎完全被遮挡时（第5行），我们的方法仍能依据细粒度的视觉线索和全局信息推断出被遮挡手的姿态。我们在补充材料中提供了该方法与IntagHand在实时视频上的对比结果。

我们还在Interhand2.6M数据集上展示了该方法的一些失败案例。如图8所示，对于以下情况：

![Image](images/c6599821e814d4051c53ded2c2dfadc46c624c5e74c22dd29f169e7fddc77da9.jpg)

![Image](images/e16e7229394e864e9a00dd1e8a8e3520a21db26159565b444b9b9aed6fd06adc.jpg)

<div style="text-align: center;">Figure 7. Qualitative results of IntagHand [^24] and our method on InterHand2.6M dataset. Left: frontal view to evaluate the alignment accuracy; Right: another view to observe the plausibility of the estimated two hand meshes.</div>

![Image](images/9e708764e89ab46e5480bf0f655c371e4e5e750c2798c8c09555c4a27feef633.jpg)

![Image](images/c1af3f27492a5bd480c1f005e2b44910b7ac2bf63a0be34cd38d52cb88a9bbf8.jpg)

<div style="text-align: center;">Figure 8. Failure examples on InterHand2.6M [^35]. We highlight the region where the reconstruction is wrong with a yellow circle. 'GT' means the ground truth.</div>

存在严重自遮挡和细粒度交互的情况（第1行），我们的方法无法达到准确的网格与图像对齐，且对双手关系的理解也存在偏差。其次，在严重自遮挡的情况下，若目标关节的可观测像素较少（第2行）或可观测区域较暗（第3行），我们的方法也无法准确重建对应区域。总而言之，当自遮挡、紧密交互、模糊或阴影等多种情况同时或组合出现时，我们的方法可能会失效。

与 [^24] [^57] 类似，我们也展示了通用—

---

![Image](images/94ec84c64d7c13a1dd3de979aa3378b366ed459318379c242c93df2e72e76c68.jpg)

<div style="text-align: center;">Figure 9. Qualitative results on in-the-wild images. Each row from top to bottom corresponds to RGB2Hands dataset $^{[54]}$, the dataset proposed by Tzionas et al. [^51], EgoHands dataset [^4] and 100DOH dataset [^44]. In each part, the left is the input image, the middle is the result of IntagHand [^24], and the right is the result predicted by our method.</div>

我们方法在真实场景图像上的泛化能力。值得一提的是，我们仅使用InterHand2.6M数据集进行训练，并未在合成手部数据集上进行额外的预训练，也未在其他手部数据集上做微调。如图9所示，我们的方法对第三人称或第一人称等不同视角均展现出强大的泛化能力。同时，如第三行和最后一行所示，我们的方法对不同背景和光照条件的适应性也更强。由于我们的方法能够利用全局信息来增强视觉特征，因此对于物体扰动也具有较好的鲁棒性。尤其是与泛化能力较强的IntagHand [^24]相比，我们的方法优势更为明显，特别是在保持手部结构方面表现更佳。更多定性结果详见补充材料。

### 5. 结论

在本文中，我们提出了一种解耦的迭代优化框架，用于从单张RGB图像中重建交互式手部模型。为了高效建模两只手之间的空间依赖关系，我们采用图卷积网络（GCN）和Transformer在三维关节特征空间中实现手内及手间的信息交互。为了使估计的网格模型与观测图像更好地对齐，我们将包含全局信息的关节特征以无混淆的方式投影到视觉特征空间，从而为视觉特征提供强大的去歧义线索，有效缓解自遮挡和相似性干扰问题。消融实验表明，这种解耦的迭代优化方法能够有效解决交互式手部重建中的两大挑战：即复杂手部空间关系的建模以及视觉特征的去混淆。在InterHand2.6M数据集上的定量实验结果显示，我们的方法相比以往的最佳性能方法有着显著优势。同时，在自然场景图像上的实验也证明该方法具有很强的泛化能力。

局限性与未来工作。我们的方法并未显式建模手部之间的碰撞情况，因此即便考虑了手内及手间的关系建模，有时仍会出现手部相互交叉的现象。此外，我们的方法也未充分利用所估计的三维网格信息；网格信息或许有助于更细致地理解手部之间的关系。最后，为了实现更精细的网格-图像对齐，高保真的参数化手部模型可能会发挥重要作用。

## 致谢

本研究部分得到了国家自然科学基金（项目编号：62071067、62171057、62201072）、教育部与中国移动联合基金（MCM20200202）、北京邮电大学-中国移动研究院联合创新中心的支持，部分研究经费来自中国博士后科学基金会资助项目（2023TQ0039）。

---

## 参考文献

[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In CVPR, pages 1067–1076, 2019. 1

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In CVPR, pages 6121–6131, 2020. 1

[^3]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, pages 640–653. Springer, 2012. 1,2

[^4]: Sven Bambach, Stefan Lee, David J Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In ICCV, pages 1949–1957, 2015. 2, 6, 9

[^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019. 1, 2

[^6]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, pages 666–682, 2018. 1,2

[^7]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In ICCV, pages 12929–12938, 2021. 1

[^8]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, pages 20544–20554, 2022. 1

[^9]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In CVPR, pages 13274–13283, 2021. 1

[^10]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. In ECCV, pages 342–359. Springer, 2022. 2

[^11]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In ECCV, pages 769–787. Springer, 2020. 2

[^12]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In CVPR, pages 248–255. Ieee, 2009. 3

[^13]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 3DV, pages 1–10. IEEE, 2021. 2, 3

[^14]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In CVPR, pages 10833–10842, 2019. 2,3

[^15]: Ross Girshick. Fast r-cnn. In ICCV, pages 1440–1448, 2015. 5

[^16]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, pages 11090–11100, 2022. 2, 3, 5, 6, 7, 8

[^17]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, June 2016. 3

[^18]: Weiting Huang, Pengfei Ren, Jingyu Wang, Qi Qi, and Haifeng Sun. Awr: Adaptive weighting regression for 3d hand pose estimation. In AAAI, volume 34, pages 11061–11068, 2020. 1,2

[^19]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In ECCV, pages 118–134, 2018. 1, 2

[^20]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-end detection and pose estimation of two interacting hands. In CVPR, pages 11189–11198, 2021. 2, 3

[^21]: Deying Kong, Linguang Zhang, Liangjian Chen, Haoyu Ma, Xiangyi Yan, Shanlin Sun, Xingwei Liu, Kun Han, and Xiaohui Xie. Identity-aware hand mesh estimation and personalization from rgb images. In ECCV, pages 536–553. Springer, 2022. 2

[^22]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, pages 4990–5000, 2020. 1, 2, 3

[^23]: Nikolaos Kyriazis and Antonis Argyros. Scalable 3d tracking of multiple interacting objects. In CVPR, pages 3430–3437, 2014. 1,2

[^24]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, pages 2761–2770, 2022. 2, 3, 5, 6, 7, 8, 9

[^25]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, June 2021. 2

[^26]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, pages 12939–12948, 2021. 2, 3

[^27]: Ilya Loshchilov and Frank Hutter. Sgdr: Stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983, 2016. 5

[^28]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 5

[^29]: Wenjie Luo, Yujia Li, Raquel Urtasun, and Richard Zemel. Understanding the effective receptive field in deep convolutional neural networks. NIPS, 29, 2016. 5

[^30]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3d interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. 3

[^31]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3d hand pose estimation for whole-body 3d human mesh estimation. In CVPR Workshops, pages 2308–2317, June 2022. 2,4

## [^32]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and

---

基于单张RGB图像的网格估计。载于ECCV会议论文集，第752–768页。Springer出版社，2020年。1, 5

[^33]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In ECCV, pages 440–455. Springer, 2020. 1

[^34]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In CVPR, pages 5079–5088, June 2018. 1,2

[^35]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In ECCV, pages 548–564. Springer, 2020. 3, 5, 6, 7, 8

[^36]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In CVPR, pages 49–59, 2018.

[^37]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. TOG, 38(4):1–13, 2019. 1, 3, 5

[^38]: Iasonas Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Tracking the articulated motion of two strongly interacting hands. In CVPR, pages 1862–1869. IEEE, 2012. 1, 2

[^39]: Lingteng Qiu, Xuanye Zhang, Yanran Li, Guanbin Li, Xiaojun Wu, Zixiang Xiong, Xiaoguang Han, and Shuguang Cui. Peeking into occluded joints: A novel framework for crowd pose estimation. In ECCV, pages 488–504. Springer, 2020. 4

[^40]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Jingyu Wang, Qi Qi, and Jianxin Liao. Mining multi-view information: a strong self-supervised framework for depth-based 3d hand pose and mesh estimation. In CVPR, pages 20555–20565, 2022. 1, 2

[^41]: Pengfei Ren, Haifeng Sun, Qi Qi, Jingyu Wang, and Weiting Huang. Srn: Stacked regression network for real-time 3d hand pose estimation. In BMVC, page 112, 2019. 5

[^42]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. TOG, 36(6), 2017. 3

[^43]: Yu Rong, Jingbo Wang, Ziwei Liu, and Chen Change Loy. Monocular 3d reconstruction of interacting hands via collision-aware factorized refinements. In 3DV, pages 432–441. IEEE, 2021. 3

[^44]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In CVPR, pages 9869–9878, 2020. 2, 6, 9

[^45]: Breannan Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, Jessica K Hodgins, and Takaaki Shiratori. Constraining dense hand surface tracking with elasticity. TOG, 39(6):1–14, 2020. 1, 3

[^46]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation

通过生物力学约束实现。载于ECCV会议论文集，第211–228页。Springer出版社，2020年。1

[^47]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, pages 89–98, 2018. 2

[^48]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In ICCV, pages 11698–11707, 2021. 2, 3, 4, 5

[^49]: Jonathan Taylor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. TOG, 36(6):1–12, 2017. 1, 3

[^50]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. TOG, 33(5):169:1–169:10, 2014. 1,2

[^51]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 118(2):172–193, 2016. 2, 6, 9

[^52]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-supervised 3d hand pose estimation through training by fitting. In CVPR, pages 10853–10862, 2019. 1,2

[^53]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dense 3d regression for hand pose estimation. In CVPR, pages 5147–5156, 2018. 1,2

[^54]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. TOG, 39(6):1–16, 2020. 2, 3, 5, 6, 9

[^55]: Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. Pixel2mesh: Generating 3d mesh models from single rgb images. In ECCV, pages 52–67, 2018. 3, 4, 5

[^56]: Chao Wen, Yinda Zhang, Zhuwen Li, and Yanwei Fu. Pixel2mesh++: Multi-view 3d mesh generation via deformation. In ICCV, pages 1042–1051, 2019. 3

[^57]: Baowen Zhang, Yanggang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In CVPR, pages 11354–11363, 2021. 2, 3, 7, 8

[^58]: Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, and Zhenan Sun. Pymaf: 3d human pose and shape regression with pyramidal mesh alignment feedback loop. In ICCV, pages 11446–11456, 2021. 3, 4, 5, 6

[^59]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, pages 2354–2364, 2019. 1,2

[^60]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N Metaxas. Semantic graph convolutional networks for 3d human pose regression. In CVPR, pages 3425–3435, 2019. 2, 5

## [^61]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3d human pose estimation

---

结合空间与时序Transformer的方法。载于ICCV会议论文集，第11656–11665页，2021年。2, 5

[^62]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, pages 5346–5355, 2020. 2

[^63]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, pages 4903–4911, 2017. 1, 2

[^64]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, pages 813–822, 2019. 1