# 用于单图像双手重建的交互式注意力图模型

李梦成 $^{1}$、安亮 $^{1}$、张宏文 $^{1}$、吴连鹏 $^{2}$、陈峰 $^{1}$、余涛 $^{1}$、刘烨斌 $^{1}$

$^{1}$清华大学 $^{2}$海信集团

## 摘要

图卷积网络（GCN）在单手重建任务中取得了显著成果，但基于GCN的双手交互重建研究尚属空白。本文提出交互式注意力图手模型（IntagHand），这是首个能够从单张RGB图像中重建两只交互手的基于图卷积的网络。为解决双手重建中的遮挡与交互难题，我们在原始GCN的每个上采样步骤中引入了两个基于注意力的创新模块。第一个模块是金字塔图像特征注意力（PIFA）模块，它利用多分辨率特征来隐式实现顶点与图像的对齐；第二个模块是交叉手注意力（CHA）模块，它通过在两只手的顶点间建立密集的交叉注意力，来编码交互手之间的关联性。实验结果表明，在InterHand2.6M基准测试中，我们的模型性能远超现有所有双手重建方法。此外，消融实验验证了PIFA和CHA模块对提升重建精度的有效性。在真实场景图像和实时视频流上的测试结果进一步证明了该网络的泛化能力。我们的代码可在<https://github.com/Dw1010/IntagHand>获取。

### 1. 引言

双手交互重建是实现虚拟现实（VR）、人机交互（HCI）、机器人技术、全息传送、数字医疗等众多工业应用的基础任务之一。近年来，得益于深度神经网络[^3] [^12] [^21] [^49] [^52]以及大规模数据集[^13] [^16] [^25] [^26] [^53] [^54]的支持，单目单手姿态与形状恢复技术取得了巨大进展。然而，双手重建更具挑战性，目前仍未得到解决，原因主要有两点：其一，严重的相互遮挡和外观相似性会干扰特征提取器，导致网络难以将手部姿态与图像特征对齐；其二，在网络设计与训练过程中，难以有效刻画两只手之间的交互关系。

![Image](images/0b6fe8a137cc06535f1a0374088a86b54ed4ad76bff97effc091d4304be6699b.jpg)

<div style="text-align: center;">Figure 1. Illustration of our IntagHand for two-hand reconstruction. Top: results on InterHand2.6M [^25] dataset. Bottom: real-time two-hand motion capture results on live video streams. Our method produces high quality two-hand mesh reconstruction of flexible hand poses under severe occlusions.</div>

基于单目深度的双手跟踪技术[22,27,28,38–40]已经研究多年，并取得了令人瞩目的成果。然而，其能耗和算法复杂度限制了这类基于深度的方法的广泛应用。近期，Wang等人[^40]提出了一种基于单目RGB图像的双手重建方法，该方法通过追踪密集匹配图来实现。不过，这种跟踪过程本身对快速运动极为敏感，且未能充分利用双手交互间的先验知识。自大规模双手数据集InterHand2.6M[^25]发布以来，基于学习的单图像双手重建方法便应运而生。现有方法[^11] [^18] [^25] [^46]要么利用2.5D热图来估计手部关节位置[^11] [^18] [^25]，要么将其用作注意力图来提取稀疏的图像特征[^46]。然而，热图中编码的这种稀疏局部图像特征无法有效建模手部表面的遮挡情况，也难以提取密集的交互上下文信息。相比之下，基于顶点的图卷积网络——

---

在单手重建领域，基于顶点的图卷积网络（GCN）已大获成功[^12] [^23] [^24] [^37]，但在双手场景下却尚未得到验证，前述挑战也仍有待攻克。

在本文中，我们提出了交互式注意力图手模型（IntagHand），这是一种基于GCN的新型单图像双手重建方法。作为基础流程，我们最初采用GCN以由粗到精的方式回归每只手的网格顶点，这与传统的GCN做法类似[^12]。然而，对于双手任务而言，单纯使用双流GCN来生成两只手的顶点，无法利用两只手之间的交互上下文信息，这会导致网络在处理双手相互遮挡的部分时产生混淆。此外，由于缺乏图像特征的反馈，正如[^24] [^47]所指出的，网络难以将顶点与图像特征对齐。为解决这些问题，我们为GCN配备了两种新颖的注意力模块。第一个模块是金字塔图像特征注意力（PIFA）模块，该模块利用Transformer编码器，借助分块后的图像特征来更新潜在的顶点特征。与基于投影的顶点-图像对齐方式不同[^47]，PIFA凭借注意力机制的全局感知能力，帮助每个顶点在所有图像块中寻找对齐点。此外，由于GCN是以由粗到精的方式上采样网格顶点，我们设计了基于编码器-解码器的图像特征提取模块来提取金字塔特征，从而促使高分辨率的网格能够利用细粒度的特征。第二个模块是交叉手注意力（CHA）模块，该模块将交互上下文信息编码到手部顶点特征中。CHA模块允许每只手的顶点对另一只手的顶点特征给予密集的注意力，以此消除双手间的遮挡歧义。得益于GCN结构和这些新颖的基于注意力的模块，IntagHand在InterHand2.6M数据集上的表现大幅优于现有方法[^25]（误差从13.5毫米降至8.8毫米）。此外，我们的方法在实时应用中效率极高，如图1和项目页面所示，它能在自然场景图像和实时视频流中生成对齐效果良好的双手结果。总体而言，我们的贡献可总结如下：

- 我们提出了首个采用基于GCN的网格回归技术的双手重建方法——IntagHand，证明了GCN在双手重建任务中的有效性。

- 我们提出了一种金字塔图像特征注意力（PIFA）模块，利用全局图像块注意力来提取局部遮挡信息，从而实现手部顶点与图像特征之间更好的对齐。

- 我们提出了一种双手注意力（CHA）模块，用于隐式建模双手交互上下文，进而提升紧密交互姿态下的重建精度。

- 我们的方法在InterHand2.6M基准测试中取得了新的最佳结果，大幅超越了现有解决方案。此外，我们还验证了该方法在自然场景图像上的泛化能力。

### 2. 相关工作

#### 2.1. 单手重建

自上个世纪起，手部姿态估计和手势识别便受到了广泛关注[^15] [^42] [^43]。在深度学习时代，从单张图像中估计3D手部骨骼取得了巨大成功[^4] [^26] [^35] [^53]。自从流行的参数化手部模型MANO[^30]以及各种大规模数据集[^16] [^25] [^33] [^54]被提出后，重建手部姿态和形状[^1] [^5] [^12] [^21] [^23] [^24] [^37] [^48] [^49] [^52]便成为了主流方法。在所有这些方法中，最新的基于Transformer的模型[^23] [^24]取得了最佳效果，证明了注意力机制能够学习任意两个顶点之间的非局部关系。这种出色的性能启发我们利用注意力机制来改善网格与图像的对齐，并建模网格间的交互。

#### 2.2. 双手重建

尽管几乎所有的单手重建方法都能扩展到双手重建任务，但鲜有研究能展示双手紧密交互情况下的重建结果。双手重建是人类全身动作捕捉领域的关键挑战之一。以往的身体与手部同步重建方法[^6] [^17] [^31] [^44] [^50] [^51]均采用独立处理每只手的方式，因此无法应对手指缠绕等手部紧密交互场景。近期一种基于多视角追踪的方法[^34]能够重建高质量的交互式手部运动，但其硬件成本高昂且算法耗时较长。无论是否配备深度传感器[^22] [^27] [^28] [^38] [^39]或RGB相机[^40]，基于单目运动学追踪的双手运动估计方法都对快速运动极为敏感，且容易出现追踪失败的情况。不过，这类方法所采用的密集映射策略——即查询手部顶点与图像像素之间的对应关系——为我们利用密集特征实现网格与图像对齐提供了思路。相比之下，基于深度学习的方法如[^11] [^18] [^25] [^32] [^46]则可以直接逐帧重建双手交互情况。遗憾的是，这些方法要么采用2.5D热图来估算手部关节位置[^11] [^25]，要么将其用作注意力图以提取稀疏的图像特征[^46]，要么分别重建每只手后再进行微调[^18] [^31]。由于手部本质上是三维曲面，热图中编码的稀疏局部图像特征可能无法有效捕捉手部表面的遮挡情况以及手部交互上下文。因此，本文——

---

法通常无法获得与图像对齐良好的双手重建结果。

#### 2.3. 卷积网格回归

卷积网格回归（CMR）利用图卷积网络（GCN），从图像特征中以由粗到精的方式直接回归网格顶点，该方法在生成与图像对齐的三维物体 [^7] [^41]、人脸 [^29]、人体 [^20] 或手部 [^12] 方面已被证明卓有成效。典型的CMR流程会将全局图像特征向量通过两个或更多级级联的图卷积与上采样层，从而输出目标物体的每个顶点的三维坐标。与基于关节或旋转参数的方法相比，CMR方法具有更密集且更具语义性的模型表示能力，因此能够以逐顶点的方式更好地对齐图像特征。然而，现有的CMR方法仅构建单一的前向传播过程，缺乏显式的图像特征反馈机制，这限制了其网格与图像的对齐性能，正如 [^47] 所指出的那样。一些近期的单手重建研究 [^24] [^37] 也采用了GCN作为网络结构的一部分；不过，它们摒弃了CMR的由粗到精特性，仅使用单个GCN来增强局部感知能力。

### 3. 问题表述

#### 3.1. 双手网格表示

与先前使用关节或铰接模型作为手部表示的双手重建方法 [^18] [^25] [^32] [^46] 不同，我们仅需要具有双手固定网格拓扑的表面顶点。为方便起见，我们对每只手采用流行的 MANO [^30] 模型的相同网格拓扑，其包含 $N = 778$ 个顶点。为辅助注意力机制，类似于 [^40]，我们为每个顶点定义密集匹配编码作为位置嵌入。具体而言，我们为不同顶点分配不同颜色，同时保持相邻顶点之间的平滑性，记为 $\{c_i \in \mathbb{R}^3, i = 0, 1, ..., N\}$。如图 2 所示，我们的 IntagHand 采用分层架构，使用三个由粗到细的模块重建手部网格，每个模块之后接上采样层。为每个模块构建由粗到细的网格拓扑时，我们利用 [^9] 提出的图粗化方法，构建 $N_b = 3$ 级子网格，顶点数为 $N_0 = 63$, $N_1 = 126$, $N_2 = 252$，并保留相邻层级之间的拓扑关系以用于上采样。在第三个模块之后，使用一个简单的线性层将最终子网格（ $N_2 = 252$）上采样到完整的 MANO 网格（ $N = 778$），从而生成最终的双手顶点。

#### 3.2. 系统概述

我们的系统包含两个主要部分：图像编码器–解码器（Fig. 2 中的红色虚线线框）和交互注意力图（Fig. 2 中的蓝色虚线线框）。给定单张 RGB 图像，我们首先将其输入图像编码器-解码器结构，得到中间全局特征向量 $F_G$ 和若干捆绑特征图 $\{\Phi_t \in \mathbb{R}^{C_t \times H_t \times W_t}, t = 0, 1, \ldots, N_b - 1\}$，其中 t 表示 $t^{th}$ 特征层级对应 $t^{th}$ IntagHand 块，$N_b = 3$ 为块编号，$H_t \times W_t$ 为逐渐增大的特征图分辨率，$C_t$ 为特征通道。随后，IntagHand 接收全局特征向量 $F_G$，并生成左手和右手的顶点。请注意，IntagHand 的每个块由 3 个子模块组成：每只手各有一个图卷积网络（GCN）和一个金字塔图像特征注意力模块（PIFA），以及两只手之间的跨手注意力模块（CHA）。这些模块如 Fig. 2 所示，将分别在 Sec.4.1、Sec.4.2 和 Sec.4.3 中讨论。

### 4. 交互式注意力图

#### 4.1. 用于双手建模的图卷积

为了直接生成双手顶点，我们的IntagHand是在以往的GCN[^12]基础上构建的，将单手流扩展为双手流。不过，与传统的GCN[^12]将隐向量$F_G$转换为更大的、每个顶点不共享的特征不同，我们利用全连接（FC）层$g_h(\cdot)$将$F_G$映射为更紧凑的特征向量$g_h(F_G)$，该向量在顶点间共享；再将$c_i$顶点的密集匹配编码（位置嵌入）$i^{th}$与共享向量拼接，形成每个顶点的特征$F_V^i$（见图2），其表达式可表示为：

 $$ \begin{aligned}F^{i}_{V}&=concat{\left(g_{h}(F_{G}),c_{i}\right)},\\i&=0,1...,N_{0};\quad h=L,R,\end{aligned} $$

其中$F_V^i \in \mathbb{R}^f$是初始图特征，$N_0 = 63$是最粗粒度的子网格顶点数，$f = 512$是特征长度，h表示左手（L）或右手（R）。这种操作属于注意力机制的一部分，能够减小模型规模以实现更快的训练。

通过堆叠$F_V^i$，我们得到$F_V^t \in \mathbb{R}^{N \times f}$、$t = 0$。随后，与[^12]类似，我们在每个[^7]模块中执行切比雪夫谱图CNN $t^{th}(t = 0,1,2)$操作（在图3中简称为GraphConv），将输入顶点特征$F_V^t$转换为$F_{GCN}^t$，具体过程如下：

 $$ F_{G C N}^{t}=\sigma(\sum_{k=0}^{K-1}T_{k}^{t}(\hat{L^{t}})F_{V}^{t}W_{k}^{t}), $$

其中，$\hat{L}^{t}$是缩放后的拉普拉斯矩阵，$T_{k}^{t}$是K阶切比雪夫多项式的$k^{th}$项，$W_{k}^{t}$是可学习的参数，而$\sigma$是非线性激活函数。$F_{GCN}^{t}$表示传递给PIFA的中间特征。

---

![Image](images/a4f920faad40ede9d05d39d3e27347ca01b4a27ddc0658fbae9b016c7f70c674.jpg)

<div style="text-align: center;">Figure 2. Our network structure. Given an RGB image as input, our network first distills a global feature vector  $F_{G}$, a sequence of pyramid image features  $\{\Phi_{t}, t=1,2,3\}$ along with other auxiliary predictions (2D pose, segmentation, dense mapping encoding). Then our model directly regresses the 3D coordinates of two hands surface vertices after three steps of IntagHand blocks and upsampling. Each IntagHand block contains a GCN module, a pyramid image feature attention (PIFA) module and a cross-hand attention (CHA) module.</div>

![Image](images/e3cd58037e2643aba8c49cbdf7d08aff1456780d0e3bb217a04c31993f7125e9.jpg)

<div style="text-align: center;">Figure 3. IntagHand Block. Our IntagHand block is formed by three parts: 1. residual GCN module, 2. pyramid image feature attention (PIFA) module and 3. cross-hand attention (CHA) module.</div>

受ResNet [^14]的启发，我们每两次GraphConv操作后就添加残差连接，以辅助梯度传播并增强学习能力；详见图3。

#### 4.2. 金字塔图像特征注意力模块

仅依靠单一的全局特征$F_G$直接重建模型网格，且没有任何反馈机制，很难保证其与输入图像[^47]的像素对齐。此外，GCN需要更多地关注局部顶点特征[^24]。为解决这些问题，我们逐步将分层图像特征$\{\Phi_t \in \mathbb{R}^{C_t \times H_t \times W_t}, t = 0, 1, 2\}$插入GCN中，利用局部和全局上下文来保证更好的网格-图像对齐效果。需要注意的是，每种图像特征都是编码器特征与解码器中间特征的结合，以便适配更丰富的上下文（见图2）。具体来说，编码器最后一层的输出会经过不同的卷积层处理，以预测类似于[^37]、[^47]所描述的某些2D信息。在我们的实现中，模型会预测：(1)关节热图$\mathcal{H}$；(2)每只手的前景掩码$\mathcal{M}_L$、$\mathcal{M}_R$；(3)每只手的密集匹配编码$\mathcal{D}_L$、$\mathcal{D}_R$。

为了有效利用图像特征，我们在$\Phi_t \in \mathbb{R}^{C_t \times H_t \times W_t}$模块中将图像特征图$N_t \times N_t$均匀划分为$t^{th}$个图像块，每个块的大小为$\frac{H_t}{N_t} \times \frac{W_t}{N_t}$。随后，这些图像块会被展平并通过线性层压缩，得到一系列特征向量$F_t^l \in \mathbb{R}^{(N_t \cdot N_t) \times f}$，其特征维度与顶点特征一致。之后，图像特征$F_l^t$会与顶点特征$F_{GCN}^t$拼接，再输入多头自注意力（MHSA）模块，通过以下公式生成注意力增强后的顶点特征$F_{PIFA}^t$。

 $$ \begin{array}{r}{F_{PIFA}^{t}=\mathrm{M H S A}(\mathrm{c o n c a t}(F_{G C N}^{t},F_{I}^{t})).}\end{array} $$

---

尽管Mesh Graphformer [^24]也采用了图像特征注意力机制（称为“网格特征”），但其在整个网络中使用的都是同一低分辨率图像特征（7×7），而我们的图像特征是多尺度的（8×8 → 16×16 → 32×32）。低分辨率图像特征编码的信息更为紧凑（或更具全局性），而高分辨率特征包含更多语义信息（或局部信息），因为它们更接近输入和输出。因此，金字塔结构能够促使稀疏网格关注全局图像特征，而密集网格则关注局部图像特征，从而实现更好的顶点-图像对齐效果。

为了展示PIFA的功能，我们计算了顶点域与图像域之间的注意力图（详情请参阅ViT [^10]）。将三个模块的PIFA注意力图相加后可以发现，我们的PIFA模块能够区分图像像素中的左右手，并且我们注意到PIFA对交互紧密的区域给予了更多关注。这意味着PIFA模块如我们所预期那样，学会了正确的顶点-图像映射关系。

![Image](images/448c6faa0d217a34d60e3f221f2ea3e482c8898730528450400ee3250c3bde74.jpg)

<div style="text-align: center;">Figure 4. Visualization of attention maps in pseudo color. Six independent examples are shown. In each example, from left to right is input image, PIFA attention map overlaid on image, CHA attention map. For PIFA attention map, the red represents the attention from right hand and the blue represents the left hand. The brighter color means the stronger attention. For CHA attention map, the red means the stronger cross-hand attention. All attention maps have been normalized for better visualization.</div>

#### 4.3. 双手交叉注意力模块

已有研究表明，两只交互手的运动姿态存在相关性[^46]；因此，为双手重建建模手的交互上下文至关重要。我们并未简单地将这种交互表示为一只手的关节在另一只手坐标系中的坐标[^25] [^46]，而是采用对称式双手交叉注意力（CHA）模块来隐式地刻画两只手之间的这种相关性。为简化起见，我们忽略$F_{PIFA}^t$中的t，分别用$F_L$和$F_R$来表示左手和右手的$F_{PIFA}$。

如图3所示，我们首先对每只手单独执行多头部自注意力（MHSA）操作，得到分别表示每只手查询特征、键特征和值特征的$Q_h$、$K_h$、$V_h$（$h \in L, R$）。接着，我们利用一只手的查询特征$Q_h$，通过多头部注意力（MHA，见图3）获取另一只手的键特征$K_h$和值特征$V_h$，具体形式如下：

 $$ \begin{aligned}&F_{R\rightarrow L}=softmax(\frac{Q_{L}K_{R}^{T}}{\sqrt{d}})V_{R},\\&F_{L\rightarrow R}=softmax(\frac{Q_{R}K_{L}^{T}}{\sqrt{d}})V_{L},\\ \end{aligned} $$

其中$F_{R\to L}$和$F_{L\to R}$是编码两只手之间相关性的双手交叉注意力特征，d为归一化常数。随后，这些双手交叉注意力特征会通过逐点多层感知机层$f_p(\cdot)$被合并到手部顶点特征中，公式如下：

 $$ \begin{aligned}\boldsymbol{F}_{L}^{^{\prime}}&=\boldsymbol{f}_{p}(\boldsymbol{F}_{L}+\boldsymbol{F}_{R\rightarrow L}),\\\boldsymbol{F}_{R}^{^{\prime}}&=\boldsymbol{f}_{p}(\boldsymbol{F}_{R}+\boldsymbol{F}_{L\rightarrow R}),\end{aligned} $$

其中$F_{L}^{'}$和$F_{R}^{'}$即为输出的手部顶点特征，它们将作为下一个$F_{V}^{t+1}$模块中两只手的$t+1^{th}$（$t < N_{b}$）。

图4显示，CHA同样会对交互紧密的区域给予更多关注，尤其是指尖部位。这表明CHA模块能够隐式地解决双手之间的相互碰撞问题。

#### 4.4. 损失函数

在训练图像编码器-解码器时，我们采用平滑L1损失来监督2D密集匹配编码，采用均方误差（MSE）损失来监督2D热图。

在训练IntagHand时，我们采用以下三种损失：(1) 顶点损失、(2) 回归关节损失以及(3) 网格平滑损失。

顶点损失。我们采用L1损失来监督手部顶点的3D坐标，采用MSE损失来监督顶点的2D投影：

 $$ L_{V}=\sum_{i=1}^{N}\|V_{h,i}-V_{h,i}^{GT}\|_{1}+\|\Pi(V_{h,i})-\Pi(V_{h,i}^{GT})\|_{2}^{2}, $$

其中$V_{h,i}$是$i^{th}$顶点，h = L或R分别表示左手或右手，$\Pi$为2D投影运算，下文同。为简便起见，此处暂不讨论针对每个子网格应用的顶点损失。

回归关节损失。通过预定义的关节回归矩阵$\mathcal{J}$，即可从预测的手部顶点中回归出手部关节。我们通过以下损失函数来衡量关节误差：

 $$ \begin{aligned}L_{J}&=\sum_{i=1}^{V}\|\mathcal{J}V_{h,i}-\mathcal{J}V_{h,i}^{GT}\|_{1}\\&+\sum_{i=1}^{V}\|\Pi(\mathcal{J}V_{h,i})-\Pi(\mathcal{J}V_{h,i}^{GT})\|_{2}^{2}.\end{aligned} $$

---

网格平滑损失。为确保预测顶点的几何平滑性，我们采用了两种不同的平滑损失。首先，我们对预测网格与真实网格之间的法线一致性进行正则化：

 $$ {\cal L}_{n}=\sum_{f=1}^{F}\sum_{e=1}^{3}\|e_{f,i,h}\cdot n_{f,h}^{G T}\|_{1}, $$

其中，f表示手部网格的面索引，$e_{f,i}(i=1,2,3)$ 是面 f 的三条边，而 $n_{f}^{GT}$ 则是根据真实网格计算出的该面的法向量。其次，我们最小化预测网格与真实网格之间每条边的长度的 L1 距离：

 $$ L_{e}=\sum_{e=1}^{E}\|e_{i,h}-e_{i,h}^{GT}\|_{1}. $$

需要注意的是，图像编解码器和 Intag-Hand 模型是以端到端的方式同步训练的。

### 5. 实验

#### 5.1. 实验设置

实现细节。我们的网络是基于 PyTorch 实现的。我们使用在 ImageNet [^14] 上预训练的 ResNet50 [^8] 作为骨干网络来编码图像特征。遵循 [^45] 的做法，我们的图像解码器利用三个简单的反卷积层来预测 2D 关节热图、2D 分割图和密集映射编码。

训练细节。我们使用 Adam 优化器 [^19] 在 4 块 NVIDIA RTX 2080Ti GPU 上训练模型，每块 GPU 的小批量大小设置为 32。整个训练过程共进行 100 个epoch，耗时 2.5 天，学习率从初始值 $1 \times 10^{-5}$ 开始在 $50^{th}$ epoch 衰减至 $1 \times 10^{-4}$。训练期间会应用包括缩放、旋转、随机水平翻转和颜色抖动在内的数据增强手段。值得注意的是，我们使用带有姿态标注的 MANO 网格对 GCN 的最后一层上采样层进行预训练（见图 2），并在后续训练中固定其权重。

评估指标。为了评估重建手部的姿态和形状精度，我们以毫米为单位比较平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）。为了公平比较，我们遵循 Zhang 等人 [^46] 的方法，在训练时将每只手的中指骨长度缩放为 9.5 厘米，评估时再将其还原为真实的骨骼长度。这一操作是在每只手的根关节对齐之后进行的。我们还报告了正确关键点百分比（PCK）曲线以及 0 到 50 毫米范围内线性阈值下的曲线下面积（AUC），用以比较重建精度。

#### 5.2. 数据集

InterHand2.6M 数据集。作为唯一包含双手网格标注的数据集，本文中的所有网络均在 InterHand2.6M [^25] 数据集 $^{1}$ 上训练。由于我们只关注双手重建任务，因此选取了有人和机器（H+M）标注的交互式双手（IH）数据，并根据 [^25] 提供的 hand_type_valid 标注剔除无效标签。最终，InterHand2.6M 中共有 36.6 万个训练样本和 26.1 万个测试样本被采用。预处理阶段，我们根据手部顶点的 2D 投影裁剪出手部区域，并将其分辨率调整为 $256 \times 256$。

RGB2Hands 和 EgoHands 数据集。RGB2Hands [^40] 数据集包含 4 段涉及不同类型双手交互的视频，而 EgoHands [^2] 数据集则收录了 48 段拍摄两人复杂互动（如下棋）的 Egocentric 视频。这两个数据集均无网格标注，因此我们仅用它们进行定性评估。

#### 5.3. 定性结果

我们在InterHand2.6M数据集上的定性结果[^25]如图5和图6所示。如图5所示，即使在严重遮挡和各种交互场景下，我们的方法也能生成高质量的双手重建结果。与以往的最先进方法[^46]相比，我们的方法能生成更逼真的手指交互效果，且双手之间的相互碰撞现象更少（见图6）。

与现有方法[^11] [^25] [^46]（仅能在穹顶环境下展示结果[^25]）不同，我们进一步验证了该方法在自然场景图像上的泛化能力。如图7所示，我们的方法在普通USB摄像头拍摄的真实数据上表现优异。此外，无需额外训练，我们的模型在RGB2Hands数据集和EgoHands数据集的图像上也能取得出色效果，显示出其在第三人称/第一人称视角条件下应用的潜力。而且，推理时我们的模型在单张NVIDIA RTX 3090 GPU上能达到30fps的帧率，这为未来的实时应用提供了可能。

#### 5.4. 定量比较

我们首先将IntagHand网络与最先进的单手重建方法进行比较，结果如表1所示。在单手重建方法中，每只手都是通过真实边界框从图像中裁剪出来并单独处理的。结果表明，由于严重的遮挡和外观混淆，单独重建每只手的效果较差。

我们进一步将IntagHand与近期的双手重建方法进行比较。其中一种是Moon等人提出的方法[^25]，该方法重新……

---

![Image](images/90583900c70e8785f2e1699bde6a7c0f22af69edcfbfc94eccdc971974769a09.jpg)

![Image](images/1f2314fb1080ac1577e20032c5e4a8a5b1a54a2d4b7ff5c39f5b14a068e716b0.jpg)

![Image](images/3386090c47d5c9b3a7c4a8ddfee10dcb18704429ee30682c4bda7b4172f6edca.jpg)

![Image](images/14f6313730d5872313dd15afdd18231f603cfaa9db414db1f6639a8b8b956a0a.jpg)

<div style="text-align: center;">Figure 5. Qualitative results of our method on InterHand2.6M test dataset. Our method works well under various kinds of interactions. Note that, our method could even produce correct finger-level interactions without explicit collision detection.</div>

![Image](images/8a764ebaa8e00384c8f557a2476da9905a2c3a38823d9de3bf594e58f1f0af5b.jpg)

<div style="text-align: center;">Figure 6. Qualitative comparison with Zhang et al. [^46] on InterHand2.6M dataset. Our method produces more accurate two-hand poses, while Zhang et al. [^46] produces more collisions and miscalculates relative depth between the left and right hands.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPVPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\dagger$ Zimmermann et al. [^53]</td><td style='text-align: center; word-wrap: break-word;'>36.36</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\dagger$ Zhou et al. [^52]</td><td style='text-align: center; word-wrap: break-word;'>23.48</td><td style='text-align: center; word-wrap: break-word;'>23.89</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\dagger$ Boukhayma et al. [^3]</td><td style='text-align: center; word-wrap: break-word;'>16.93</td><td style='text-align: center; word-wrap: break-word;'>17.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\dagger$ Spurr et al. [^36]</td><td style='text-align: center; word-wrap: break-word;'>15.40</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Moon et al. [^25]</td><td style='text-align: center; word-wrap: break-word;'>16.00</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Zhang et al. [^46]</td><td style='text-align: center; word-wrap: break-word;'>13.48</td><td style='text-align: center; word-wrap: break-word;'>13.95</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>8.79</td><td style='text-align: center; word-wrap: break-word;'>9.03</td></tr></table>

<div style="text-align: center;">Table 1. Comparison on InterHand2.6M. † means single hand methods whose results are taken from [^46]. We report MPJPE and MPVPE in mm, the lower the better. Our method outperforms all other methods by a huge margin.</div>

直接回归双手的 3D 骨架。另一种是 Zhang et al. [^46]，它预测两个 MANO [^30] 模型的姿态和形状参数。为公平比较，我们在与我们所用相同的 InterHand2.6M [^25] 子集上运行其发布的源代码（见 Sec. 5.1）。比较结果如 Tab. 1 和 Fig. 8 所示。Tab. 1 清楚表明，我们的方法显著降低了 MPJPE 和 MPVPE。我们将此成功归因于 GCN 的密集网格推理能力以及新颖的基于注意力的模块，它们使网格与输入图像更好地对齐。Fig. 8 中的 PCK 曲线进一步证明了我们方法在所有误差阈值水平下的优越性能。

#### 5.5. 消融实验

基线GCN模型。我们通过直接修改Ge等人[^12]提出的GCN解码器来训练用于双手输出的基线GCN模型（见表2中的“GCN基线”项）。尽管直接利用GCN结构能取得优异的数值性能，但缺少注意力模块时仍存在交互重建不准确的问题。

添加注意力模块。在“GCN基线”模型的基础上，我们首先加入CHA模块来建模交互上下文（+CHA），随后再加入PIFA模块以进一步增强顶点与网格的对齐效果（+CHA +PIFA），具体结果见表2。

---

![Image](images/60e2910d8f0f054dd2a9a299aaf4fbcb5789f53dde6d0ec803a9ca22d056bdc4.jpg)

<div style="text-align: center;">Figure 7. Qualitative results on in-the-wild images. Left 4 cases are real-life data captured using a USB camera. Top right 2 cases are taken from RGB2Hands [^40] videos. Bottom right 2 cases are taken from EgoHands [^2] videos.</div>

![Image](images/8cb254c45c1bfd76e02d5afced0655da7e5b8c88e200eb631cc35d9973dad934.jpg)

<div style="text-align: center;">Figure 8. Comparison on InterHand2.6M dataset. 'Zhang et al' refers to [^46], while 'InterNet' refers to [^25].</div>

通过用CHA模块建模交互上下文，我们的性能提升了超过0.6毫米，这证明了CHA在处理遮挡问题上的有效性。加入PIFA后，我们的方法性能又进一步提升了超过0.5毫米，这证实了PIFA在顶点与图像对齐方面的能力。定性比较结果如图9所示。

是否为金字塔结构？需要注意的是，我们的模型利用了分辨率逐渐递增的金字塔图像特征$(8 \times 8 \to 16 \times 16 \to 32 \times 32)$。若去除金字塔结构，我们在所有三个IntagHand模块中均采用一致的小尺寸$(8 \times 8)$或大尺寸$(32 \times 32)$图像特征（详见表2中的“IFA-8”和“IFA-32”）。与[^24]类似，我们发现使用小尺寸图像特征的效果优于大尺寸图像特征。更多内-

![Image](images/72b6b19de072b5e62ca3faabdf3da54f197ff327e91a503140854268f81bec00.jpg)

<div style="text-align: center;">Figure 9. Qualitative ablation study on InterHand2.6M. 'w/o PIFA' means removing PIFA module from the full model, 'w/o CHA' means removing CHA module. It is shown that PIFA helps to align vertices and image features (top row), and CHA helps to address mutual occlusions (bottom row).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPVPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GCN baseline</td><td style='text-align: center; word-wrap: break-word;'>9.97</td><td style='text-align: center; word-wrap: break-word;'>10.63</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GCN + CHA</td><td style='text-align: center; word-wrap: break-word;'>9.34</td><td style='text-align: center; word-wrap: break-word;'>9.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GCN + CHA + IFA-32</td><td style='text-align: center; word-wrap: break-word;'>8.90</td><td style='text-align: center; word-wrap: break-word;'>9.16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GCN + CHA + IFA-8</td><td style='text-align: center; word-wrap: break-word;'>8.83</td><td style='text-align: center; word-wrap: break-word;'>9.07</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GCN + CHA + PIFA(Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.79</td><td style='text-align: center; word-wrap: break-word;'>9.03</td></tr></table>

<div style="text-align: center;">Table 2. Ablation study of module choice on InterHand2.6M.</div>

容请见下文。重要的是，我们的金字塔结构通过利用全局和局部信息来进行网格回归，进一步提升了重建精度。

### 6. 讨论

结论。我们提出了交互式注意力图手模型（IntagHand），用于从单张RGB图像中重建两只交互的手。具体而言，我们引入了新颖的金字塔图像特征注意力（PIFA）模块来刻画手部网格与图像特征之间的注意力关系，同时设计了新颖的跨手注意力（CHA）模块来编码两只手之间的交互上下文。大量实验证明了我们的网络在InterHand2.6M数据集及自然场景图像上的卓越性能，也验证了PIFA和CHA模块的有效性。

局限性与影响。我们方法的主要局限在于缺乏显式的网格碰撞处理机制，因此偶尔会出现手部网格相互穿插的情况。需要注意的是，我们的方法也可应用于多于两只手的情形，此时需要借助预训练的检测网络来提取手部区域并预测各区域的手数量。只要将相关物体编码为顶点特征，我们的方法也能扩展到其他双向交互场景（如手-物体、人与人等）。

致谢：本文得到了国家自然科学基金项目No.62125107、No.62171255以及国家重点研发计划（2021ZD0113503）的资助。

---

## 参考文献

[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, 2019. 2

[^2]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In ICCV, 2015. 6, 8

[^3]: Adnane Boukhayma, Rodrigo De Bem, and Philip H. S. Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019. 1, 7

[^4]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3D hand pose estimation from monocular rgb images. In ECCV, 2018. 2

[^5]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In CVPR, 2021.

[^6]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Monocular expressive body regression through body-driven attention. In ECCV, 2020. 2

[^7]: Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional neural networks on graphs with fast localized spectral filtering. In NeurIPS, 2016. 3

[^8]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In CVPR, 2009. 6

[^9]: I.S. Dhillon, Yuqiang Guan, and B. Kulis. Weighted graph cuts without eigenvectors a multilevel approach. TPAMI, 2007. 3

[^10]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021. 5

[^11]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 3DV, 2021. 1, 2, 6

[^12]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 1, 2, 3, 7

[^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 1

[^14]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 4, 6

[^15]: Tony Heap and David Hogg. Towards 3D hand tracking using a deformable model. In FG, 1996. 2

[^16]: Hanbyul Joo, Tomas Simon, Xulong Li, Hao Liu, Lei Tan, Lin Gui, Sean Banerjee, Timothy Godisart, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser

Sheikh. Panoptic studio：一种用于社交互动捕捉的大规模多视角系统。TPAMI，2019年。第1、2页。

[^17]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3D deformation model for tracking faces, hands, and bodies. In CVPR, 2018. 2

[^18]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-end detection and pose estimation of two interacting hands. In ICCV, 2021. 1, 2, 3

[^19]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015. 6

[^20]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In CVPR, 2019. 3

[^21]: Dominik Kulon, Riza Alp Güler, Iasonas Kokkinos, Michael Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 1, 2

[^22]: Nikolaos Kyriazis and Antonis Argyros. Scalable 3D tracking of multiple interacting objects. In CVPR, 2014. 1, 2

[^23]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2

[^24]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, 2021. 2, 3, 4, 5, 8

[^25]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3D interacting hand pose estimation from a single rgb image. In ECCV, 2020. 1, 2, 3, 5, 6, 7, 8

[^26]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3D hand tracking from monocular rgb. In CVPR, 2018. 1,2

[^27]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. In SIGGRAPH, 2019. 1, 2

[^28]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Tracking the articulated motion of two strongly interacting hands. In CVPR, 2012. 1, 2

[^29]: Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J Black. Generating 3D faces using convolutional mesh autoencoders. In ECCV, 2018. 3

[^30]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In SIGGRAPH Asia, 2017. 2, 3, 7

[^31]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3D hand and body motion capture by regression and integration. In ICCVW, 2021. 2

[^32]: Yu Rong, Jingbo Wang, Ziwei Liu, and Chen Change Loy. Monocular 3D reconstruction of interacting hands via collision-aware factorized refinements. In 3DV, 2021. 2, 3

[^33]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 2

## [^34]: Breannan Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, Jessica K. Hodgins, and Takaaki Shiratori

---

利用弹性约束实现密集手部表面跟踪。TOG, 2020. 2

[^35]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV, 2020. 2

[^36]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018. 7

[^37]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3D hand-mesh reconstruction. In ICCV, 2021. 2, 3, 4

[^38]: Jonathan Taylor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. TOG, 2017. 1,2

[^39]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 1,2

[^40]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: real-time tracking of 3D hand interactions from monocular гб video. In SIGGRAPH Asia, 2020. 1, 2, 3, 6, 8

[^41]: Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. Pixel2mesh: Generating 3D mesh models from single rgb images. In ECCV, 2018. 3

[^42]: Yangang Wang, Jianyuan Min, Jianjie Zhang, Yebin Liu, Feng Xu, Qionghai Dai, and Jinxiang Chai. Video-based hand manipulation capture through composite motion control. TOG, 2013. 2

[^43]: Yangang Wang, Cong Peng, and Yebin Liu. Mask-pose cascaded cnn for 2d hand pose estimation from single color image. TCSVT, 2018. 2

[^44]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In CVPR, 2019. 2

[^45]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In ECCV, 2018. 6

[^46]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In ICCV, 2021. 1, 2, 3, 5, 6, 7, 8

[^47]: Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, and Zhenan Sun. PyMAF: 3D human pose and shape regression with pyramidal mesh alignment feedback loop. In ICCV, 2021. 2, 3, 4

[^48]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand image understanding via deep multi-task learning. In ICCV, 2021. 2

[^49]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, 2019. 1,2

[^50]: Yuxiang Zhang, Zhe Li, Liang An, Mengcheng Li, Tao Yu, and Yebin Liu. Lightweight multi-person total motion capture using sparse multi-view cameras. In ICCV, 2021. 2

[^51]: Yuxiao Zhou, Marc Habermann, Ikhsanul Habibie, Ayush Tewari, Christian Theobalt, and Feng Xu. Monocular real-time full body capture with inter-part correlations. In CVPR, 2021. 2

[^52]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 1, 2, 7

[^53]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. 1, 2, 7

[^54]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max J. Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 1,2