# 基于单张彩色图像的双手交互3D姿态与形状重建
张宝文 $^{1,2}$ 王洋刚 $^{3}$ 邓晓明 $^{1,2*}$ 张印达 $^{4*}$
谭平 $^{5,6}$ 马翠霞 $^{1,2}$ 王宏安 $^{1,2}$
$^{1}$中国科学院软件研究所 $^{2}$中国科学院大学
$^{3}$东南大学 $^{4}$谷歌 $^{5}$西蒙弗雷泽大学 $^{6}$阿里巴巴
## 摘要
本文提出了一种新颖的深度学习框架，用于从单张彩色图像中重建两只交互手部的3D姿态和形状。以往针对单只手部设计的方法难以直接应用于双手场景，因为双手之间存在严重的相互遮挡，且解空间更大。为了解决遮挡问题以及手部外观相似容易干扰网络的问题，我们设计了手部姿态感知注意力模块，分别提取与每只手部相关的特征。随后，我们利用交互过程中呈现的双手上下文信息，提出了一种上下文感知的级联优化机制，在双手交互上下文的约束下提升每只手部的姿态和形状精度。在主流基准数据集上的大量实验表明，我们的方法能够从单张彩色图像中预测准确的3D手部姿态和形状，并取得了最先进的性能。代码可在项目网页 查看。
### 1. 引言
3D手部姿态与形状重建在诸多应用场景中发挥着重要作用，例如AR/VR [^8] 和机器人技术 [^9]。虽然以往的大多数手部姿态与形状重建研究 [^3] [^41] 均针对单只手部展开，但我们研究了从单张彩色图像中重建两只交互手部的问题，因为这种方式更能精准表达细腻的身体语言 [^39]，也能完成更复杂的任务 [^18] [^25] [^36]。然而，目前关于这一领域的研究还十分匮乏。现有方法通常依赖深度传感器 [^19]、多视角摄像系统 [^8]，或基于跟踪到的运动序列进行优化 [^19] [^8]，但这些方案要么成本较高、能耗较大，要么对跟踪质量和初始化的要求较为苛刻。相比之下，单色摄像头方案的成本和计算开销更低，且应用更为广泛。因此，我们专注于从单张彩色图像中实现双手交互重建（见图1）。
Figure 1. Illustration of interacting hand shape reconstruction from single color image. Our method can get high-quality reconstruction under heavy interhand occlusions.
直接套用为单只手部设计的类似手部重建技术来处理双手场景并非易事。首先，与单只完整的手部相比，由于交互作用，两只手部通常会存在严重的遮挡且紧密接触，更难被解析；两只手部还具有相似的纹理，很容易干扰网络从图像中正确区域提取特征。其次，问题的病态性会随着解空间自由度的加倍而加剧，模型更容易出错，可能会生成姿态和形状不合理的双手，这类姿态和形状人类极少会采用，甚至无法实际呈现。
将为单手设计的类似手部重建技术应用于双手场景并非易事。首先，与单只完整的手相比，由于双手之间的相互作用，它们通常会严重相互遮挡且紧密接触，因此更难以解析。此外，双手具有相似的纹理，这很容易使网络在图像中从错误区域提取特征。其次，随着解空间的自由度翻倍，该问题的姿态不良特性也愈发明显。模型极易出错，可能会生成姿态和形状不合理的双手，而这类姿态和形状人们很少会呈现，甚至根本无法呈现。
近期，Moon等人[^18]提出了一个名为InterHand2.6M的大规模交互手部数据集，并提出了一种交互手部姿态估计方法。不过，针对双手姿态估计问题的特性，并未进行专门的设计，同时也没有对更精细的手部形状重建展开探索。
---
为了应对双手姿态估计问题的特点，我们进行了专门的设计，不过针对更精细的手部形状重建的研究在[^18]中尚未涉及。
为解决上述问题，我们提出了一种用于交互式手部姿态与形状估计的新型深度学习架构（见图2）。该网络由一个用于提取多尺度特征的编码器和一个用于逐层优化预测结果的解码器组成。在编码器中，会估算出每只手的热图，并用以对图像特征进行掩码处理；这种方法能有效从正确的图像区域提取特征，从而为每只手生成精确的预测结果。另一方面，解码器旨在利用两只交互手部之间的上下文信息。我们并非单独优化每只手，而是基于当前对两只手的估计结果来细化每只手的预测。我们的网络会生成注意力图，以减少两只手之间的特征混淆。与传统方法从网络特征中生成注意力图不同，我们提出直接从估算出的手部形状来生成注意力图。为了同时恢复手部骨骼姿态和形状，我们采用了常用的手部统计模型MANO [^27]，分别预测两只手的MANO参数。
1. 我们提出了一种新型深度学习架构，能够从单张彩色图像中估计交互手部的3D姿态以及精细的手部形状。我们的工作也能为多人重建、手-物体交互重建等相关研究提供启发；
2. 为了解决两只手之间的特征歧义问题，我们提出了姿态感知注意力模块，以提取每只手的关键特征；
3. 我们利用交互过程中呈现的双手上下文信息，提出了一种级联细化阶段，能够在交互手部的上下文条件下提升每只手姿态和形状的精度；
4. 大量实验表明，我们的方法在主要数据集上取得了最先进的性能。
### 2. 相关工作
### 2. 相关工作
基于彩色图像的单手姿态与形状重建
由于彩色图像具有普及性强、功耗低等优势，从彩色图像中恢复三维手部姿态备受青睐。以往关于三维手部姿态估计的研究包括 [^42] [^31] [^11] [^38] [^30] [^4] [^5]。大多数基于彩色图像的手部姿态与形状重建方法均采用MANO [^27] 这类参数化模型来表示手部形状，并通过图像学习手部形状模型的参数。Boukhayma等人 [^3] 以二维姿态、三维姿态和手部掩码作为监督信号来训练手部形状网络。Zhang等人 [^40] 也设计了一种手部重建网络，利用预测的二维热图与图像特征来学习MANO参数。Zhou等人 [^41] 则从预测的三维姿态中估算MANO形状参数。Moon等人 [^17] 提出了一种弱监督模型来重建手部形状，该模型无需任何真实的手部网格数据。与这些采用MANO模型的方法不同，Ge等人 [^7] 提出了一种用于手部形状重建的图神经网络，能够很好地捕捉局部几何细节。Han等人 [^8] 提出了一种基于跟踪的方法，利用四台鱼眼黑白摄像头来估计三维手部姿态。为了解决大规模手部重建数据集匮乏的问题，Zimmermann等人 [^43] 推出了一个包含三维手部姿态与形状标注的多视角单手数据集。Kulon等人 [^14] 通过模型拟合标注了一个手部形状数据集。不过，这些手部重建方法均针对单手场景，并未专门处理手部重叠或交互问题。
交互式手部与物体形状重建
手部形状重建与手-物形状重建密切相关。以往的相关研究包括 [^10] [^9] [^21] [^6] [^1]。与手-物形状重建相比，双手交互重建更为困难，因为其目标是重建两只交互的关节型手部，这会导致更多的相互遮挡、变形以及自由度运动。此外，在手-物交互场景中，手部与物体之间存在额外的接触约束，用以建模手-物关系；而对于双手交互重建而言，两只手可能并不接触，从而导致更大的解空间。
交互式手部姿态与形状估计
现有大多数双手重建研究采用多摄像头 [^2] [^8]、单深度摄像头 [^19] [^22] [^33] [^15] [^32] 以及跟踪策略 [^22] [^15] [^35] [^29] 来实现双手重建。由于单张彩色图像具有普及性强的特点，基于单张彩色图像的方法比跟踪方法、多摄像头方法及深度摄像头方法更受青睐。Moon等人 [^18] 提出了用于单手及交互式手部姿态估计的InterHand2.6M数据集，并利用该数据集训练网络来预测两只手的2.5D手部姿态。Lin等人 [^16] 利用合成数据集从单张彩色图像中学习双手姿态。不过，这些方法无法取得令人满意的双手姿态估计结果，也无法重建精细的几何结构——即手部形状。
全身重建：全身重建方法[^39] [^13] [^24] [^28]能够隐式地处理双手重建问题。不过，这些方法要求大部分身体部位可见。现有的全身重建方法并不包含专门用于处理近距离手部交互独特特性的模块。与身体其他部位的交互手部重建比全身重建更具挑战性，因为由于双手相互遮挡，可用于消除重建歧义的身体部位上下文信息更少。
---
Figure 2. Illustration of our interacting hand shape reconstruction network. Our network first predict 2.5D heatmap for the joints of the two hands. Then use three branches to recover MANO model parameters of each hand and the relative transformation of two hands. Finally, refine the hand shape parameters jointly in a cascaded manner to respect the correlation context between the interacting hands.
这类方法包含专门的模块来处理手部紧密交互的独特特性。交互式手部重建比全身重建更具挑战性，因为可用于消除手部遮挡所导致重建歧义的身体部位上下文信息更少。
与上述方法不同，我们提出了一种新颖的深度学习方法，能够从单张彩色图像中预测交互双手的姿态和形状。我们采用姿态感知注意力模块来帮助网络学习与每只手相关的特征。为了解决因双手遮挡而产生的歧义问题，我们利用交互双手之间的上下文信息，通过级联网络来优化两只手的姿态和形状。
#### 3. 方法
在本节中，我们将介绍从单张彩色图像中进行交互双手姿态和形状重建的模型。图2展示了该模型的概览。我们的模型以基于ResNet-50架构的多尺度特征提取器为起点。受InterHand [^18]的启发，我们为两只手分别预测关节热图，并将其注入编码器以进行特征提取。分辨率最低的特征随后被送入网络，以生成两只手的形状、姿态及其相对变换的初始估计值。接着，利用高分辨率的特征，以级联方式共同优化两只手的形状和姿态。这一优化阶段能够学习交互双手之间的上下文信息，有效提升手部重建质量。
#### 3.1. 交互手部表示
我们使用统计手部模型MANO [^27]来表示两只手的手部形状和姿态。手部表面网格$\mathbf{M}$可以通过手部形状参数$\boldsymbol{\beta} \in \mathbb{R}^{10}$和手部姿态参数$\boldsymbol{\theta} \in \mathbb{R}^{16 \times 3}$进行变形。
$$ \mathbf{M}=W(\mathbf{T}(\boldsymbol{\beta},\boldsymbol{\theta}),\mathbf{J}(\boldsymbol{\beta}),\mathbf{W}) $$
其中$W(\cdot)$为蒙皮函数，T为参数化的手部模板形状，$\mathbf{J}(\beta)$为静止姿态下的手部关节位置，$\mathbf{W}$为蒙皮权重矩阵。
对于我们的双手交互场景，目标是预测包括姿态参数和形状参数在内的MANO参数，即$(\beta_{left}, \theta_{left})$和$(\beta_{right}, \theta_{right})$，以及两只手之间的相对平移$\Delta$和缩放比例s。我们方法输出的MANO模型会与每只手的根关节对齐，且两只手的根旋转均位于相机坐标系中。我们利用模型输出的相对平移$\Delta$和缩放比例s，按如下方式合并两只手的手部重建网络所得到的手部姿态结果：
$$ \mathbf{J}_{left,i}^{right}=s(\mathbf{J}_{left,i}^{left}+\Delta) $$
其中$\mathbf{J}_{left,i}^{right}$和$\mathbf{J}_{left,i}^{left}$分别为右手坐标系中的左手关节和左手坐标系中的左手关节。手部形状重建结果也可采用类似方式合并。
#### 3.2. 姿态感知特征提取器
尤其是在双手交互的场景中，为每只手提供相应特征以确保能分别进行精确重建至关重要。传统方法会从网络特征中生成注意力图。诸如堆叠式沙漏模型[^20]和SRNet[^37]之类的2D/2.5D热图估计网络能够直接获取2D注意力图。然而，这些方法无法应用于3D形状估计。
---
Figure 3. Illustration of our feature extraction module using attention map. The feature map is multiplied with attention map and is down-sampled using convolutional layer and average pooling.
为此，我们采用基于注意力图的姿态感知特征提取器，该图可识别每只手的感兴趣区域。将注意力图与特征图的每个通道相乘后，再通过多个卷积层进行下采样。低分辨率特征会被送入全局平均池化层，以提取每只手的特征向量，这些向量将用于手部重建。图3展示了特征提取过程。
$$ \mathbf{A}_{h}=1-\prod_{i=1}^{K}(1-\mathcal{H}_{h_{i}}),\quad h\in\{r i g h t,l e f t\}, $$
我们并非采用黑盒方式进行学习，而是借助逐关节热图来为每只手生成注意力图。注意力图中每个像素的值反映了该处存在手部关节的概率：
其中$\mathcal{H}_{h_i}$表示手h中第i个关节的热图，K为手部关节的总数。
#### 3.3. 交互手部重建
接下来我们将介绍如何利用编码器提取的特征图来预测交互手部的姿态和形状。我们的方法先从初始估计开始，再借助上下文感知模型对结果进行联合优化。
初始估计为了预测交互手部的初始估计结果，我们选取分辨率最低的特征图，从中提取每只手的姿态感知特征向量。为得到注意力图，我们将预测的2.5D热图作为[^18]，把每个关节的2.5D热图在深度维度上拼接起来，再沿通道维度进行最大池化操作。由于相对变换信息需要同时来自两只手，我们直接对其应用平均池化来生成相应特征。随后将这些特征向量分别送入独立的多层感知机，以预测每只手的MANO参数以及相对平移和缩放值。
上下文感知优化接着，我们利用编码器提供的高分辨率特征对初始估计结果进行优化，这些特征包含更多有助于恢复细节的空间信息。
(a) Paired hand poses
(b) Unpaired hand poses
Figure 4. Visual analysis of 2D manifold of paired (a) and unpaired (b) two hand poses. The paired hand poses show clear correlation in 2D space, but the distribution of unpaired hand poses is almost random. The paired hand poses are sampled from InterHand2.6M $^{[18]}$, and the unpaired poses are permuted from the paired ones.
虽然姿态感知特征提取器解决了双手间的歧义问题，并为每只手提供了更具体的特征，但它失去了利用上下文信息对两只手进行联合优化的机会。
事实上，左右手在交互时表现出很强的相关性。为证明这一点，我们对成对和未成对的双手姿态进行了可视化分析（见图4）。成对姿态样本取自InterHand2.6M数据集[^18]，未成对姿态则由成对姿态排列组合而成。受[^26]的启发，我们采用了2D流形表示方法：将每只手的手部姿态（不含根部旋转）通过t-SNE算法[^34]投影到一维流形上，分别作为x、y坐标。我们发现，成对姿态在二维空间中呈现出明显的相关性，而未成对姿态的分布则近乎随机。
受此启发，我们设计了一个级联细化阶段，以联合优化两只手。对于特定的手，我们首先根据前一阶段估计的MANO参数来渲染手部关节热图。每个关节会被投影到输入图像上，并渲染成方差为1.5的二维高斯图。为了渲染手部关节热图，我们通过对齐预测的MANO参数中的3D关节位置与预测的2.5D热图，来获取弱透视相机参数。接着，我们利用这些热图提取与姿态相关的特征，将其与上一阶段为两只手估计的MANO参数拼接起来，再送入多层感知机以生成更新后的MANO参数。为了逐步引入更细致的空间信息，后续的细化阶段会采用来自编码器早期层的更高分辨率的特征。
#### 3.4. 损失函数
我们添加了损失函数，用于监督网络的中间输出和最终输出。具体来说，我们针对注意力图，以及上下文感知细化前后左右手的MANO参数添加了损失项。
---
#### 3.4.1 双手损失
关节偏移损失：为了约束两只手对应关节的相对位置，我们对两只手对应关节的偏移量进行监督。
$$ L_{o}=\sum_{i=1}^{K}||(\mathbf{J}_{right\_{i}}-\mathbf{J}_{left\_{i}})-(\mathbf{J}_{right\_{i}}^{*}-\mathbf{J}_{left\_{i}}^{*})||_{2}^{2} $$
其中 $\mathbf{J}_{right,i}$ 和 $\mathbf{J}_{left,i}$ 分别是两只手第i个关节的估计值，$\mathbf{J}_{right,i}^{*}$ 和 $\mathbf{J}_{left,i}^{*}$ 是真实值。
形状一致性损失：由于同一个人的两只手具有对称性，因此两只手的形状参数应当相近。于是，我们利用 $\beta_{left}, \beta_{right}$ 的L2距离来约束两只手的形状一致性。
$$ L_{J}=\sum_{h\in\{left,right\}}\sum_{i=1}^{K}||\mathbf{J}_{h,i}-\mathbf{J}_{h,i}^{*}||_{1} $$
$$ L_{c}=||\beta_{right}-\beta_{left}||^{2}_{2} $$
#### 3.4.2 单手损失
关节损失：我们采用真实手部关节与预测手部关节之间的L1距离来衡量。
其中 $\mathbf{J}_{h,i}$ 和 $\mathbf{J}_{h,i}^{*}$ 分别是第i个关节的预测位置和真实位置，K为手部关节的数量。
骨骼长度损失：我们采用L2损失来监督预测的骨骼长度。由于我们预测的是经过尺度归一化的手部姿态和骨骼长度（相对于连接中指的掌指关节与腕关节的参考骨骼 $l_{ref}$ 的长度），因此我们使用归一化后的真实骨骼长度与预测骨骼长度之间的欧几里得距离来计算骨骼长度损失。
$$ L_{l}=\sum_{h\in\{left,right\}}\sum_{b}||\frac{l_{h,b}^{*}}{l_{h,ref}^{*}}-l_{h,b}||_{2}^{2} $$
其中 $l_{h,b}^{*}$ 和 $l_{h,ref}^{*}$ 分别是第b根骨骼和参考骨骼的真实长度。
形状损失：我们采用形状损失来约束手部形状参数。
$$ L_{M}=\sum_{h\in\{left,right\}}\mathbf{1}||\beta_{\mathbf{h}}-\beta_{\mathbf{h}}^{*}||_{2}^{2} $$
该损失旨在使预测的MANO形状参数接近真实值。1是一个指示函数，若标注了真实的MANO形状参数则取1，否则取0；$\beta_{right}^{*}$ 和 $\beta_{left}^{*}$ 则是手部形状参数的真实值。
正则化损失：我们采用正则项来约束预测的MANO参数保持在合理范围内。
$$ L_{reg}=\sum_{h\in\{left,right\}}\lambda_{\beta}||\beta_{h}||^{2}_{2}+||\theta_{h}||^{2}_{2} $$
其中，形状正则项 $\|\beta_h\|_2^2$ 用于约束重建出的形状接近平均形状（即 $\beta=0$）；姿态正则项 $\|\theta_h\|_2^2$ 有助于消除关节扭曲现象。损失权重 $\lambda_\beta$ 被设为0.1。
我们网络的总损失函数定义如下：
$$ \begin{aligned}L_{total}=&\lambda_{o}L_{o}+\lambda_{c}L_{c}+\lambda_{J}L_{J}\\&+\lambda_{l}L_{l}+\lambda_{M}L_{M}+\lambda_{reg}L_{reg}\end{aligned} $$
其中 $\lambda_{o}, \lambda_{c}, \lambda_{J}, \lambda_{l}, \lambda_{M}, \lambda_{reg}$ 为损失权重，分别被设为 1、0.01、10、100、0.1 和 0.05。
### 3.5. 实现细节
我们使用 PyTorch [^23] 来实现我们的网络。训练网络时采用 Adam 优化器，学习率设为 $5 \times 10^{-5}$，小批量大小设为 20，训练迭代次数设为 50万次。
我们遵循现有技术 [^18]，利用训练集和测试集中标注的边界框来裁剪手部区域。图像会被缩放至 $256 \times 256$。为了实现尺度不变的形状估计，我们将中指掌指关节到腕关节的距离归一化为 1。测试阶段，我们利用两只手的真实骨骼长度来恢复其尺度；训练阶段，我们不对 $\Delta$ 和 s 进行直接监督，而是利用偏移损失和关节损失来约束它们（详见第 3.4 节）。
#### 4. 实验
我们在两个主要的基准数据集上开展实验，以验证我们方法的性能。我们将该方法与最先进的方法进行比较（详见第 4.2 节），并通过消融研究来评估方法各组件的效果（详见第 4.3 节）。
#### 4.1. 数据集与评估指标
我们在主流的双手重建基准数据集 InterHand2.6M [^18] 和 Haggling [^12] 上评估我们方法的性能。其他近期提出的数据量较少且质量相对较低的双手数据集，例如 RGB2Hands（包含无背景的非真实数据）[^35] 和 Ego3DHands（与现实数据存在域差异的合成数据集）[^16]，均无法满足手部重建评估的要求。
InterHand2.6M [^18] 包含来自多个受试者的 260 万个不同姿势下的单手及交互手部帧。我们采用该数据集中标注的交互手部帧（IH）进行训练和评估。训练集和测试集分别包含 141,497 帧和 125,689 帧。
---
(a) Comparison on InterHand2.6M dataset
(b) Comparison on Haggling dataset
Figure 5. Quantitative comparison of our method to the state-of-the-art methods.
该数据集用于训练和评估。训练集和测试集分别包含141,497帧和125,689帧数据。
Haggling 数据集 [^12] 包含多组讨价还价游戏的视频。视频中的人物手势蕴含大量语义信息。我们选取标注准确的两手交互帧作为训练和测试数据。根据 [^12] 的说明，该数据集被划分为训练集和测试集，其中训练集包含 80,953 帧，测试集包含 24,363 帧。
评估指标 为了评估 3D 手部姿态估计的准确性，我们遵循现有技术 [^18]，采用毫米为单位的平均关节位置误差（MPJPE），同时采用关键点正确百分比（PCK）指标，两者均在根关节对齐后计算。根关节对齐是分别针对左手和右手进行的，如 [^18] 所述。我们还通过不同误差阈值下 PCK 曲线的曲线下面积（AUC）（0-50 毫米）来评估手部姿态性能。为了评估 3D 形状重建的准确性，我们以每只手根关节对齐后，真实值与预测手部形状的对应顶点间的平均误差作为评估指标，该指标被称为 shape-err。在定性结果中，为了可视化，我们将每只手的根关节与相机坐标系中的真实值对齐。
#### 4.2. 与最先进方法的比较
首先，我们将手部姿态性能与最先进的双手姿态估计方法InterHand [^18]，以及单手重建方法进行比较，这些单手重建方法包括Zimmermann等人[^42]、Spurr等人[^31]、Boukhayma等人[^3]以及Zhou等人[^41]。对于双手处理方法InterHand [^18]，我们直接使用其输出的3D姿态在InterHand2.6M数据集上进行评估，但在Haggling数据集上重新训练并测试该模型。对于单手处理方法，我们利用提供的基础真值边界框从数据集中裁剪出每只手，以便进行重新训练和测试。
| InterHand2.6M [^18] | Haggling [^12] |
| MPJPE | shape-err | MPJPE |
| Zimmermann et al. [^42] | 36.364 | - | 22.735 |
| Zhou et al. [^41] | 23.478 | 23.892 | 13.203 |
| Boukhayma et al. [^3] | 16.925 | 17.984 | 42.924 |
| Moon et al. [^18] | 16.888 | - | 22.735 |
| Spurr et al. [^31] | 15.402 | - | 14.430 |
| Ours | 13.071 | 10.398 | 11.419 |
Table 1. Comparison of hand pose error (MPJPE) and shape error (shape-err) on InterHand2.6M and Haggling. Our method outperforms all the other methods. Since Haggling does not provide hand shape annotation, we do not compare the shape error on it.
用于重新训练和测试的真实边界框。
表1和图5展示了在InterHand2.6M和Haggling数据集上的比较结果。我们的方法显著优于所有单手处理方法，推测原因是这些方法无法应对严重的手部遮挡情况。与Moon等人[^18]的方法相比，我们的方法还能降低手部MPJPE数值。
其次，我们将手部形状性能与最先进的单手形状重建方法进行比较，这些方法包括Boukhayma等人[^3]以及Zhou等人[^41]。由于Haggling数据集不包含手部形状标注，我们仅在InterHand2.6M数据集上开展手部形状性能的比较。在形状精度方面，我们的方法也大幅优于所对比的单手重建方法（详见表1）。
图6进一步展示了在InterHand2.6M数据集上的定性比较结果[^18]。同样，我们的方法恢复出的手部姿态和形状明显优于其他方法。图7展示了我们的网络在InterHand2.6M和Haggling数据集上重建交互式手部的定性结果。更多结果可在补充材料中查看。
### 4.3. 消融研究
为了探究我们方法中各关键组件的贡献，我们在InterHand2.6M数据集上开展了消融研究。
---
网格叠加
不同视角
Figure 7. Qualitative results of interacting hand reconstruction with our network on InterHand2.6M (row1-row2) and Haggling (row3). Our method can achieve high-quality reconstruction performance under a variety of viewpoints and different levels of interhand occlusion.
默认情况下，我们的完整模型指的是图2中所展示的包含全部损失函数及完整网络结构的完整网络。我们将其与其他用于获取注意力图的方法进行对比，同时研究了上下文感知细化模块以及级联块的不同输入所带来的影响。
姿态感知特征的影响：在我们的方法中，级联模块预测的MANO参数被用于生成注意力图，进而提取姿态感知特征。我们比较了不同的注意力图生成方式，结果如图8所示。1) “预测的2.5D热图”：利用预测的2.5D热图[^18]来生成注意力图；2) “拟合相机参数”：利用预测的MANO参数生成3D关节点，再渲染这些关节点以生成热图，最后通过公式(3)得到注意力图；3) “无注意力”：采用包含级联块但无注意力模块的网络结构；4) “基线”：采用不含级联块和注意力模块的网络结构。
我们通过移除级联细化模块中的注意力模块来进行对比（见图8，“无注意力”）。实验表明，这种方法的效果不如那些使用渲染热图或预测2.5D注意力图的方法。
实验表明，使用基于预测关节点渲染生成的注意力图有助于提高精度，而且用于计算相机参数以渲染3D关节点的对齐方法（图8，“拟合相机参数”）比网络预测的相机参数（图8，“预测相机参数”）更有效。然而，使用2.5D热图来生成注意力图（图8，“预测的2.5D热图”）会导致精度下降，其主要原因可能是初始的2.5D热图预测精度不高，从而生成的注意力图无法为级联模块提取有效特征。
上下文感知细化模块的影响 为了探究上下文感知细化的有效性，我们进行了如下修改：
---
Figure 8. Comparison of different attention map generation methods. "Baseline": the network without cascaded block or attention module. "No attention": the network with cascaded block but no attention module. "Predicted 2.5D heatmap": the network that generates attention map from the predicted 2.5D heatmap. "Render heatmap": the network that renders the predicted 3D joints on the image to a heatmap and uses it as an attention map. The weak perspective camera parameters to render 3D joints are obtained through alignment ("fit camera parameters") in our full model or network prediction ("predict camera parameters"), respectively.
输入图像
网格叠加（完整模型）
我们的完整模型（不含上下文感知细化模块）
Figure 9. Qualitative study of context-aware refinement. We compare our full model and the model consisting cascaded blocks using MANO parameters of single hand as input.
即我们完整模型中级联模块的输入。具体来说，我们使用待细化的单只手的MANO参数，而非两只手的参数，其他输入保持不变。
| MPJPE | AUC(0-50mm) |
| baseline | 14.218 | 0.734 |
| no attention | 14.095 | 0.735 |
| predicted 2.5D heatmap | 13.464 | 0.746 |
| predict camera parameters | 14.040 | 0.737 |
| high level feature | 13.986 | 0.737 |
| cascaded single MANO parameters | 13.170 | 0.752 |
| our full model | 13.071 | 0.754 |
Table 2. Ablation study of our network on InterHand2.6M. "High level feature" means that the attention map generated by the cascaded block always acts on the top feature of ResNet. "Cascaded single MANO parameters" means that the cascaded block for one hand only inputs the MANO parameters of this hand, which is predicted by the previous cascaded block, and the image feature of this hand. The other notations have the same meaning as Fig. 8.
级联模块的其他输入均保持不变。表2显示，使用两只手的MANO参数比仅使用一只手的效果更好（“我们的完整模型”与“级联单MANO参数”对比）。尽管性能提升幅度较小，但对许多应用场景而言意义重大。例如，交互手部之间的细微手指运动可能代表不同的交互含义，即手部接触或分离。图9展示了定性对比结果，我们发现上下文感知细化模块能显著改善双手交互的重建效果。
网络架构的影响 为了探究不同网络架构的影响，我们将编码器末端最高层特征对应的网络架构性能（表2，“高层特征”）与使用编码器较低层多尺度特征的网络性能进行对比。结果显示，使用多尺度特征的效果优于使用高层特征（“我们的完整模型”与“高层特征”对比）。
## 5. 结论
在这项工作中，我们提出了一种全新的双手交互姿态与形状重建解决方案。为解决双手重建的关键难题，我们设计了姿态感知注意力模块以及利用双手相关性进行上下文感知的级联细化模块。实验表明，我们的方法在主要基准数据集上能够实现最先进的双手交互重建性能。我们的工作可为相关研究领域提供启发，例如从视频或深度数据中进行双手交互重建，以及全身重建。
致谢 本研究部分得到了国家自然科学基金（编号62076061、61473276、61872346）、北京市自然科学基金（4212029、L182052）以及2019年牛顿中国奖（NP2PB/100047）的支持。
---
## 参考文献
[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 2
[^2]: Luca Ballan, Aparna Taneja, Juergen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In Proceedings of the European Conference on Computer Vision, 2012. 2
[^3]: Adnane Boukhayma, Rodrigo de Bem, and P. Torr. 3d hand shape and pose from images in the wild. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10835–10844, 2019. 1, 2, 6, 7
[^4]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. Proceedings of the European Conference on Computer Vision, 2018. 2
[^5]: Xiaoming Deng, Yinda Zhang, Jian Shi, Yuying Zhu, Dachuan Cheng, Dexin Zuo, Zhaopeng Cui, Ping Tan, Liang Chang, and Hongan Wang. Hand pose understanding with large-scale photo-realistic rendering dataset. IEEE Transactions on Image Processing, 30:4275–4290, 2021. 2
[^6]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David Crandall. Hope-net: A graph-based model for hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 2
[^7]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019. 2
[^8]: Shangchen Han, B. Liu, R. Cabezas, Christopher D. Twigg, P. Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Z. Wang, Asaf Nitzan, G. Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics, 39:87, 2020. 1, 2
[^9]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 1,2
[^10]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019. 2
[^11]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. Proceedings of the European Conference on Computer Vision, 2018. 2
[^12]: Hanbyul Joo, Tomas Simon, Mina Cikara, and Yaser Sheikh. Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019. 5, 6
[^13]: H. Joo, T. Simon, and Y. Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8320–8329, 2018. 2
[^14]: Dominik Kulon, Riza Alp Güler, I. Kokkinos, M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4989–4999, 2020. 2
[^15]: Nikolaos Kyriazis and Antonis Argyros. Scalable 3d tracking of multiple interacting objects. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2014. 2
[^16]: Fanqing Lin, Connor Wilhelm, and Tony Martinez. Two-hand global 3d pose estimation using monocular rgb. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 2373–2381, January 2021. 2,5
[^17]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In Proceedings of the European Conference on Computer Vision, 2020. 2
[^18]: Gyeongsik Moon, Shoou-I Yu, H. Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. Proceedings of the European Conference on Computer Vision, 2020. 1, 2, 3, 4, 5, 6, 7
[^19]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera. ACM Transactions on Graphics, 38(4), 2019. 1, 2
[^20]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hour-glass networks for human pose estimation. In Proceedings of the European Conference on Computer Vision, pages 483–499, 2016. 3
[^21]: M. Oberweger, P. Wohlhart, and V. Lepetit. Generalized feedback loop for joint hand-object pose estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(8):1898–1912, 2020. 2
[^22]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Tracking the articulated motion of two strongly interacting hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1862–1869, 2012. 2
[^23]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems, pages 8024–8035. 2019. 5
## [^24]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas
---
以及Michael J. Black。Expressive body capture：从单张图像中重建3D手部、面部和身体。载于IEEE/CVF计算机视觉与模式识别会议论文集，2019年。2
[^25]: Mark Richardson, Matt Durasoff, and Robert Wang. Decoding surface touch typing from hand-tracking. In Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology, pages 686–696, 2020. 1
[^26]: Grégory Rogez, Jonathan Rihan, Srikumar Ramalingam, Carlos Orrite, and Philip HS Torr. Randomized trees for human pose detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2008.
[^27]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. 2, 3, 5
[^28]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv preprint arXiv:2008.08324, 2020. 2
[^29]: Breannan Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, Jessica K Hodgins, and Takaaki Shiratori. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics, 39(6):1–14, 2020. 2
[^30]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In Proceedings of the European Conference on Computer Vision, volume 12362, pages 211–228, 2020. 2
[^31]: A. Spurr, J. Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 89–98, 2018. 2, 6
[^32]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, Arran Topalian, Erroll Wood, Sameh Khamis, Pushmeet Kohli, Toby Sharp, Shahram Izadi, Richard Banks, Andrew Fitzgibbon, and Jamie Shoton. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Transactions on Graphics, 35(4):1–12, 2016. 2
[^33]: Dimitrios Tzionas, L. Ballan, A. Srikantha, Pablo Aponte, M. Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016. 2
[^34]: Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, pages 2579–2605, 2008. 4
[^35]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. ACM Transactions on Graphics, 39(6):1–16, 2020. 2, 5
[^36]: Robert Wang, Sylvain Paris, and Jovan Popović. 6d hands: markerless hand-tracking for computer aided design. In Pro-
第24届ACM用户界面软件与技术年会论文集，第549–558页，2011年。1
[^37]: Yangang Wang, Baowen Zhang, and Cong Peng. Srhandnet: Real-time 2d hand pose estimation with simultaneous region localization. IEEE Transactions on Image Processing, 29:2977–2986, 2019. 3
[^38]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand:rgb-sequence-based 3d hand pose and shape estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2020. 2
[^39]: Zhixuan Yu, Jae Shin Yoon, In Kyu Lee, Prashanth Venkatesh, Jaesik Park, Jihun Yu, and Hyun Soo Park. Humbi: A large multiview dataset of human body expressions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2990–3000, 2020. 1,2
[^40]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2
[^41]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, I. Habible, Christian. Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5345–5354, 2020. 1, 2, 6, 7
[^42]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2017. 2, 6
[^43]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russel, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. 2