# MeMaHand：利用网格与手部模型的交互实现单图像双手重建
王从义 $^{*}$ 朱飞达 $^{*}$ 温世雷 $^{\dagger}$
字节跳动
{kongyi.1990, zhufeida, zhengmin.666}@bytedance.com
## 摘要
现有的手部重建方法通常要么对通用的3D手部模型进行参数化，要么直接预测手部网格位置。由手部形状和旋转姿态组成的参数化表示更为稳定，而非参数化方法则能预测更精确的网格位置。在本文中，我们提出从单张RGB图像中同时重建双手的网格并估计其MANO参数，以充分利用这两类手部表示的优势。为实现这一目标，我们提出了新颖的网格-手部模型交互模块（MMIB），它将网格顶点位置和MANO参数作为两种查询标记。MMIB包含一个用于聚合局部信息的图残差块，以及两个用于建模长距离依赖关系的Transformer编码器。这些Transformer编码器配备了不同的非对称注意力掩码，分别用于建模手内和手间的注意力关系。此外，我们还引入了网格对齐优化模块，以进一步提升网格与图像的对齐程度。在InterHand2.6M基准测试上的大量实验表明，该方法相比现有最先进的手部重建方法取得了令人瞩目的成果。
### 1. 引言
基于视觉的3D手部分析在虚拟现实（VR）和增强现实（AR）等诸多应用中发挥着重要作用。由于复杂的相互交互和遮挡现象，从单张RGB图像中进行双手重建更具挑战性。此外，皮肤外观的相似性也使得网络难以将图像特征与对应的手部对齐。
以往的手部重建研究可分为两类：参数化方法 [^3] [^7] [^32] [^33] 和非参数化方法[4–6, 10, 18–20]。参数化方法通常学习回归MANO模型的姿态和形状参数 [^23]，其中姿态代表关节旋转。
Input Image GT IntagHand Ours
Figure 1. Comparison with the state-of-the-art method IntagHand [^16] for single-image two-hand reconstruction. The integration of parametric and non-parametric hand representations allows us to achieve better performance in hard cases such as severe occlusions and challenging viewpoints.
姿态采用轴角表示形式，形状则代表形状PCA基的系数。MANO先验能够从单目图像中生成合理的手部形状。不过，由于其表达能力有限，它们无法生成细节丰富的手部网格。
随着图卷积网络（GCN）和Transformer技术的快速发展 [^10] [^16] [^18] [^19]，人们发现直接进行网格重建能在真实顶点与预测顶点之间的欧几里得距离上取得最先进的性能。然而，非参数化方法在处理具有挑战性的视角或严重遮挡情况时鲁棒性较差。
在本文中，我们提出了一种新颖的单图像双手重建方法，旨在同时预测网格顶点位置并估计MANO参数，以充分利用这两类手部表示的优势。所提出的网格-手部模型交互手部重建架构（MeMaHand）包含三个模块：1）图像编解码模块，2）
---
网格-MANO交互模块以及网格对齐优化模块。为了提取具有语境意义的图像特征，我们针对手部分割、手部二维关节以及密集映射编码等辅助任务，对经典的图像编解码网络进行预训练。低分辨率特征能够编码更多全局信息，而高分辨率特征则包含更丰富的局部细节。其次，网格-MANO交互模块堆叠了三个网格-MANO交互块（MMIB），用于转换由全局图像特征向量初始化的网格顶点和MANO参数查询。我们发现，嵌入在MANO参数中的手部先验信息，对于在严重遮挡等复杂情况下预测稳定的手部网格具有重要价值。每个MMIB包含一个用于聚合局部信息的图残差块，以及两个用于建模长程依赖关系的Transformer编码器。这些Transformer编码器配备了不同的非对称注意力掩码，分别用于建模手内注意力与手间注意力。每个MMIB之后都会执行上采样操作，以从粗到精的方式对网格顶点标记进行上采样。最后，网格对齐优化模块利用一个MMIB来预测网格顶点和MANO参数的偏移量，从而增强网格与图像的对齐效果。为提高图像证据的可靠性，我们将网格-MANO交互模块预测的网格顶点投影到二维图像平面上，再将这种显式的网格对齐图像特征与Transformer输入标记拼接起来。
整个网络包括预训练的图像特征编解码器，均会联合优化，从而使图像特征更好地适配我们的手部网格重建任务。得益于网格-MANO交互机制与网格对齐优化阶段，大量实验表明：在InterHand2.6M [^22] 数据集上，我们的方法性能优于现有的参数化与非参数化方法。总而言之，我们的贡献如下：
- 我们提出MeMaHand，融合了参数化与非参数化手部表示的优势。网格顶点与MANO参数相互补充，从而在网格恢复与参数回归方面取得更佳性能。
- 我们利用网格-图像对齐反馈循环来提高图像证据的可靠性，通过修正网格与图像之间的错位，从而获得更精确的预测结果。
- 与各类非参数化及参数化方法相比，我们的方法在InterHand2.6M数据集上取得了更优越的性能。
### 2. 相关工作
参数化手部重建。参数化方法[1–3, 7, 11, 12, 23, 32, 33]采用MANO [^23] 这类参数化手部模型，致力于从单张图像中回归姿态与形状参数。当三维标注数据不足时，模型中丰富的先验信息（例如关节旋转的几何动态约束）能够辅助深度模型的学习。研究人员利用弱二维关节监督[^3] 和运动描述数据[^33] 来训练卷积神经网络（CNN），以预测MANO参数。S²HAND [^7] 进一步彻底消除了对人工三维标注的依赖。不过，由于MANO模型的表达能力有限，重建出的网格无法完全呈现多变的三维手部形状的局部细节。
非参数化手部重建。非参数化方法旨在直接重建手部网格[5, 6, 8, 10, 16–21, 26, 29]。为了显式编码网格拓扑结构，采用图卷积网络（GCN）来聚合相邻顶点的特征。设计了分层架构[^10] [^16]，用于从粗到细地生成网格。为了建模长距离依赖关系，引入了多层Transformer编码器，从而能够在不受任何网格拓扑限制的情况下建模全局交互作用[^18] [^19]。最近，IntagHand[^16]在InterHand2.6M数据集上取得了最先进的性能[^22]。然而，我们发现IntagHand在处理具有挑战性的视角或严重遮挡情况时鲁棒性较差，重建出的网格可能会变成不自然的形状。
双手交互式重建。尽管单手重建方法可以扩展到双手重建，但并未考虑左手和右手之间的相关性。此外，对于紧密交互的手部而言，重建性能会有所下降。深度相机[^15]对跟踪精度较为敏感，而多视角图像[^24] [^27]的获取成本较高。基于名为InterHand2.6M的大规模交互式手部数据集[^22]，基于深度学习的单图像方法要么估计手部关节位置[^14] [^22]，要么利用2.5D热图来预测MANO参数[^30]，要么直接重建网格[^16]。总的来说，现有方法仅采用单一特定的手部表示形式。相比之下，我们的方法不仅结合了MANO表示和网格表示的优点，还提出了一种带有非对称注意力掩码的专用Transformer编码器，以实现两者的无缝协作。此外，关节旋转和精确的网格顶点位置可应用于不同场景，例如驱动CG角色或虚拟试穿。
### 3. 方法论
MeMaHand的整体架构如图2所示。给定单张图像I，所提出的方法能够在一次前向传播中同时预测两只手的网格顶点位置$V \in \mathbb{R}^{778 \times 3}$、MANO姿态参数$\theta \in \mathbb{R}^{48}$以及形状参数$\beta \in \mathbb{R}^{10}$。在本节中，我们首先描述MeMaHand的整体架构。
---
Figure 2. The overall architecture of our proposed MeMaHand. We pretrain an image encoder-decoder module on auxiliary tasks to extract multi-scale contextually meaningful image features. The Mesh-Mano interaction module stacks three Mesh-Mano interaction blocks (MMIBs) to predict the mesh vertices positions and MANO parameters simultaneously. The mesh alignment refinement module rectifies the mesh-image misalignment by explicitly utilizing the mesh-align image features.
第3.1节介绍了手部相关内容。随后，我们在第3.2节和第3.3节分别阐述了网格-MANO交互模块和网格对齐优化模块。最后，我们在第3.4节介绍了用于训练网络的模型目标。
#### 3.1. 系统概述
为了提取具有上下文意义的图像特征，我们针对包括手部分割、手部2D关节以及密集映射编码在内的辅助任务，预训练了一个经典的图像编解码器模块。2D图像条件是由真实MANO参数重建出的网格生成的。ResNet50[^13]被用作骨干网络。从图像编码器（E）和解码器（D）中提取出全局平均池化特征$F_{gap}$和多尺度图像特征$\{\phi_i \in \mathbb{R}^{C_i \times H_i \times W_i}, i = 1, 2, 3\}$。
随后，我们提出了网格-MANO交互模块，用于预测左手（L）和右手（R）的网格顶点位置$V_{MMIM}$以及MANO参数$\theta_{MMIM}$、$\beta_{MMIM}$。我们利用全局特征$F_{gap}$来初始化顶点和MANO查询。按照Mesh Graphformer$\{\phi_i^{grid}, i = 1, 2, 3\}$的做法，也将网格采样得到的图像特征[^19]进行标记化处理。
网格对齐优化模块能够进一步改进由网格-手部模型交互模块生成的预测结果。从多尺度特征图中提取的显式网格对齐图像特征$\phi_i$比网格采样图像特征包含更多信息，这有助于修正预测结果。具体细节将在第3.3节中详细说明。
#### 3.2. 网格-手部模型交互模块
网格-MANO交互模块采用由粗到精的方式重建手部网格，该过程包含三个网格-MANO交互块（MMIB）。我们利用图粗化方法[^16]来构建三级子网格，其顶点数量分别为$N_1 = 63$、$N_2 = 126$、$N_3 = 252$。每个MMIB之后都会执行上采样操作，以逆转相邻子网格之间的拓扑关系。最终的完整网格顶点位置$(N = 778)$是通过对最终输出的顶点特征向量应用简单的$1 \times 1$卷积得到的。
图3展示了MMIB的详细结构。在第i层，MMIB的输入标记包含两类查询：顶点查询$f_v^h \in \mathbb{R}^{N_i \times D_i}$和MANO参数查询$f_m^h \in \mathbb{R}^{2 \times D_i}$，其中h表示左手$(L)$或右手$(R)$，$D_i$代表特征维度。因此，总的序列长度为$(2 \times N_i + 4)$。
图残差块。图残差块的设计与[^10]、[^16]类似。我们采用切比雪夫谱图CNN [^9]将顶点标记转换为中间图特征，
$$ \begin{array}{r}{f_{g r a p h}=\mathbf{G r a p h C o n v}(f_{v}^{L},f_{v}^{R}),}\end{array} $$
其中操作GraphConv表示图卷积。
---
Figure 3. The detailed structure of Mesh-Mano Interaction Block (MMIB). MMIB consists of one graph residual block to aggregate local information and two transformer encoders to model long-range dependencies.
更多细节可参见[^9]。为简便起见，我们用$f_{graph}$来表示更新后的左手和右手顶点标记的连接结果。
手部内部Transformer编码器。虽然图CNN在提取局部信息方面效果显著，但在捕捉长距离依赖关系时效率较低。我们使用Transformer编码器来建模不仅存在于远距离顶点之间、也存在于网格顶点与MANO参数之间的依赖关系。分辨率i处的空间图像特征也会按照Mesh Graphformer $\phi_{i}^{grid}$的做法通过网格采样被转化为[^19]。因此，手部内部Transformer编码器的输入标记($TFE_{intra}$)由图特征($f_{graph}$)、MANO查询($f_{m}^{L}, f_{m}^{R}$)以及网格图像特征($\phi_{i}^{grid}$)组成。基于“网格顶点回归能实现更精确的网格重建且MANO参数更稳定”这一观察结果，我们提出了一种排除mano-to-网格注意力在内的非对称注意力掩码，使得MANO参数标记不会直接影响网格顶点标记；而网格-to-mano-to注意力则予以保留。这样一来，网格顶点标记就会受到MANO参数损失的隐性约束。$TFE_{intra}$主要用于建模手部内部的依赖关系，手部之间的注意力也被排除在外。所得到的非对称注意力掩码$M_{intra}$如图3所示。最终，手部内部Transformer编码器的公式表达如下：
$$ f_{i n t r a}=T F E_{i n t r a}([f_{g r a p h},f_{m}^{L},f_{m}^{R},\phi_{i}^{g r i d}],M_{i n t r a}), $$
其中[...]表示连接操作。为简便起见，$f_{intra}$表示更新后的网格顶点和MANO参数标记的连接结果。
顶点与MANO参数特征向量。
手间Transformer编码器。与$TFE_{intra}$不同，手间Transformer编码器（$TFE_{inter}$）专注于建模手与手之间的相关性。图3展示了由此产生的非对称注意力掩码$M_{inter}$。在$TFE_{inter}$中不会使用图像特征令牌。最终，手间Transformer编码器的公式如下：
$$ f_{i n t e r}=T F E_{i n t e r}(f_{i n t r a},M_{i n t e r}), $$
其中$f_{inter}$可进一步拆分为更新后的顶点令牌$\bar{f}_v^L$、$\bar{f}_v^R$以及MANO参数令牌$\bar{f}_m^L$、$\bar{f}_m^R$。
我们提出的MMIB在统一架构中同时预测网格顶点位置和MANO参数。手内和手间的网格-MANO依赖关系由采用不同注意力掩码的两个级联Transformer编码器来建模。经过三个MMIB之后，会应用一个简单的$1 \times 1$卷积层，从输出令牌中获取网格顶点位置和MANO参数。
$$ V_{M M I M}^{h}=C o n v_{v}(\bar{f}_{v}^{h}), $$
$$ \begin{array}{r}{\theta_{M M I M}^{h},\beta_{M M I M}^{h}=C o n v_{m}(\bar{f}_{m}^{h}),}\end{array} $$
其中$h \in \{L, R\}$表示左手或右手。为了解决估计出的网格与图像证据之间明显不对齐的问题，我们提出了一种网格对齐细化模块来修正结果。
#### 3.3. 网格对齐细化模块
为了进一步改善网格与图像的对齐效果，我们受PyMAF [^31]的启发，提出了一种新颖的网格对齐细化模块。具体来说，我们将网格- mano交互模块预测的网格顶点$V_{MMIM}$显式地投影到多尺度图像特征上。为每个对应的顶点令牌将三尺度对齐后的图像特征拼接在一起。随后采用简单的多层感知机（MLP）来降低维度，从而得到融合后的图像特征$\phi_v$。
我们利用一个MMIB来细化网格顶点和MANO参数令牌$\bar{f}_{v}^{h}$、$\bar{f}_{m}^{h}$。为了有效利用对齐后的图像证据，我们对这些令牌做了一些修改。具体来说，我们将图像特征$\phi_{v}$沿通道维度与顶点令牌$\bar{f}_{v}^{h}$拼接在一起。对于MANO参数令牌，我们在拼接前先执行全局平均池化操作以获取全局特征向量$\phi_{m}$。修正后的令牌公式如下：
$$ \hat{f}_{v}^{h},\hat{f}_{m}^{h}=M M I B(\bar{f}_{v}^{h},\bar{f}_{m}^{h},\phi_{v},\phi_{m}). $$
应用一个简单的$1 \times 1$卷积层来获取用于修正的网格顶点位置偏移量和MANO参数偏移量——
---
用于修正。
$$ \begin{align*}V^h=&V^h_{MMIM}+Conv_v(\hat f^h_v),\end{align*} $$
$$ \theta^{h}=\theta_{{M M I M}}^{h}+{C o n v}_{m}(\hat{f}_{m}^{h}), $$
$$ \beta^{h}=\beta_{M M I M}^{h}+C o n v_{m}(\hat{f}_{m}^{h}), $$
其中$V^h$、$\theta^h$和$\beta^h$为最终结果。注意，我们可以堆叠多个MMIB来迭代预测偏移量。在我们的实验中，单个MMIB就足以取得令人满意的结果。PyMAF [^31]会将对齐后的网格特征融合为一个全局特征，这忽略了网格顶点固有的空间关系。相比之下，我们的MMIB采用GCN来建模相邻网格顶点之间的空间关系，而Transformer编码器则负责建模长距离依赖关系。
我们的方法能同时预测网格顶点位置和MANO参数。学习目标可分为三类：网格顶点损失、MANO参数损失以及网格-MANO一致性损失。
#### 3.4. 模型目标
网格顶点损失：采用常用的L1损失来约束顶点位置和二维投影：
$$ \mathcal{L}_{V}=\sum_{h=L,R}\|V^{h}-V_{G T}^{h}\|_{1}+\|\Pi(V_{h})-\Pi(V_{G T}^{h})\|_{1}, $$
其中，$V_{GT}^{h}$ 表示真实的顶点位置，而 $\Pi$ 则表示投影函数。给定顶点位置后，通过乘以预定义的回归矩阵 $\mathcal{J}$ 即可回归出关节位置。关节损失函数定义如下：
$$ \begin{aligned}\mathcal{L}_{J}&=\sum_{h=L,R}\|\mathcal{J}V^{h}-\mathcal{J}V_{GT}^{h}\|_{1}\\&+\sum_{h=L,R}\|\Pi\mathcal{J}(V_{h})-\Pi(\mathcal{J}V_{GT}^{h})\|_{1}.\end{aligned} $$
$$ \mathcal{L}_{N}=\sum_{h=L,R}\sum_{f=1}^{F}\sum_{i=1}^{3}\|e_{f,i}^{h}\cdot n_{f,G T}^{h}\|_{1}, $$
引入面部法向损失以约束表面法向的一致性：
其中，$e_{f,i}^{h}$ 表示手 h 上第 i 条边的信息，$n_{f,GT}^{h}$ 则是来自真实网格的该面的法向量。边缘长度一致性损失用于强制保证边缘长度的一致性：
$$ \mathcal{L}_{E}=\sum_{h=L,R}\sum_{i=1}^{E}\|e_{i}^{h}-e_{i,G T}^{h}\|_{1}, $$
其中，$e_{i}^{h}$ 分别表示手 h 上的第 i 条边，E 则表示总边数。
| Method | Params(M) | Inference Time (ms) |
| InterShape [^30] | 139.6 | 47.77 |
| Intaghand [^16] | 37.28 | 51.86 |
| Ours | 38.31 | 60.52 |
Table 1. Parameters and inference speed on Tesla V100
MANO参数损失：给定真实的MANO参数，采用L1损失来回归这些参数，
$$ \mathcal{L}_{P}=\sum_{h=L,R}\|\theta^{h}-\theta_{G T}^{h}\|_{1}+\|\beta^{h}-\beta_{G T}^{h}\|_{1}. $$
此外，我们基于MANO模型重建手部网格。重建出的网格应与真实网格尽可能接近。
$$ \mathcal{L}_{V,m a n o}=\sum_{h=L,R}\|\mathcal{M}\mathcal{A}\mathcal{N}\mathcal{O}(\theta^{h},\beta^{h})-V_{G T}^{h}\|_{1}. $$
网格-MANO一致性损失：预测的网格与根据MANO参数重建的网格应当彼此一致：
$$ \begin{aligned}\mathcal{L}_{c o n s i s t}=&\sum_{h=L,R}\|\mathcal{M}\mathcal{A}\mathcal{N}\mathcal{O}(\theta^{h},\beta^{h})-V^{h}\|_{1}\\ &+\|\mathcal{J}\mathcal{M}\mathcal{A}\mathcal{N}\mathcal{O}(\theta^{h},\beta^{h})-\mathcal{J}V^{h}\|_{1}.\end{aligned} $$
综上所述，整体训练损失 L 为：
$$ \begin{aligned}\mathcal{L}=&\lambda_{V}\mathcal{L}_{V}+\lambda_{J}\mathcal{L}_{J}+\lambda_{N}\mathcal{L}_{N}+\lambda_{E}\mathcal{L}_{E}\\+&\lambda_{P}\mathcal{L}_{P}+\lambda_{V,m a n o}\mathcal{L}_{V,m a n o}+\lambda_{c o n s i s t}\mathcal{L}_{c o n s i s t}.\end{aligned} $$
其中，$\lambda_{V}=40$、$\lambda_{J}=40$、$\lambda_{N}=5$、$\lambda_{E}=40$、$\lambda_{P}=10$、$\lambda_{V,mano}=10$ 以及 $\lambda_{consist}=40$。整个网络包括预训练的图像特征编解码器都会联合优化，从而使图像特征能更好地适配我们的手部网格重建任务。
### 4. 实验
#### 4.1. 数据集与实现细节
训练数据集：Interhand2.6M [^22] 是一个大规模手部数据集，包含单手及双手交互图像的真实网格标注。我们选取其中的交互手部（IH）数据用于训练和测试。为了公平比较，我们遵循 [^16] 的预处理步骤，最终得到36.6万张训练样本和26.1万张测试样本。
实现细节：图像编码器以ResNet50 [^13] 作为骨干网络。解码器包含四层简单的反卷积层。我们首先在辅助任务上对图像编码器-解码器模块进行预训练，随后使用Adam优化器对整个网络进行联合优化，
---
Figure 4. Qualitative comparison with SOTA parametric method InterShape [^30] and SOTA non-parametric method IntagHand [^16] on InterHand2.6M dataset. Our method performs better on close-interacting two-hand reconstruction (first row). Besides, our method is robust in hard cases such as severe occlusions and challenging viewpoints (second row).
Figure 5. Our method produces accurate hand reconstructions for various two-hand interactions.
| Method | MPJPE $\downarrow$ | MPVPE $\downarrow$ | AUC $\uparrow$ | PROJ2D $\downarrow$ |
| zimmermann et al. [^34] | 36.36 | - | - | - |
| Spurr et al. [^25] | 15.40 | - | - | - |
| InterNet [^22] | 16.00 | - | 0.711 | - |
| Intaghand [^16] | 8.79 | 9.03 | 0.806 | 6.47 |
| Ours | 8.65 | 8.89 | 0.832 | 6.22 |
Table 2. Quantitative comparison with state-of-art non-parametric methods on InterHand2.6M dataset.
学习率设为 $1 \times 10^{-4}$。数据增强方式包括随机旋转、随机平移和随机缩放。批量大小设定为32。使用4块Tesla V100 GPU训练MeMaHand大约需要48小时。
评估指标：采用平均关节位置误差（MPIPE）和平均顶点位置误差（MPVPE）来衡量网格重建精度，单位均为毫米。此外，我们还报告了正确关键点百分比（PCK）曲线以及在0到50毫米阈值范围内的曲线下面积（AUC）。为了评估网格与图像的对齐精度，会将重建网格的顶点投影到二维图像平面上。网格-图像对齐精度通过PROJ2D来衡量，它计算的是投影后的真实顶点与预测顶点在图像像素上的距离。
#### 4.2. 与最先进方法的比较
我们将我们的模型与最先进的非参数化方法（包括InterNet [^22]和Intaghand [^16]）以及参数化方法（包括[^3]、MinimalHand [^33]和InterShape [^30]）进行比较。我们使用官方发布的权重来获取结果。表1中列出了我们的方法与其他SOTA方法的模型参数和推理时间。我们的模型推理时间仅为60.52毫秒，虽与其他SOTA方法相当，但网格重建效果更佳。此外，网格顶点位置以及MANO参数能够在单次前向传播中同时被预测出来。
与非参数化方法的比较：非参数化方法能够直接生成网格顶点坐标，从而表达多变的三维手部形状的局部细节。非参数化方法的定量结果如表2所示。可以看出，我们的方法在所有评估指标上均取得了最佳性能。图6(a)展示了PCK曲线，进一步证明了我们的方法在所有阈值水平下的优越性。
图4展示了与我们最先进的参数化方法IntagHand [^16]的定性比较结果。在双手紧密交互的重建任务中（第一行），我们的方法表现更优。此外，我们观察到在严重遮挡等困难情况下，IntagHand会产生塌陷的网格。
---
(a) Comparison with non-parametric method
(b) Comparison with parametric method
Figure 6. Comparison with the state-of-the-art methods on InterHand2.6M dataset. Left: 3D PCK of non-parametric methods. Right: 3D PCK of parametric methods. The AUC values are shown in parentheses.
| Method | MPJPE $\downarrow$ | MPVPE $\downarrow$ | AUC $\uparrow$ | PROJ2D $\downarrow$ |
| Boukhayma et al. [^3] | 16.93 | 17.98 | 0.672 | - |
| MinimalHand [^33] | 23.48 | 23.89 | 0.543 | - |
| InterShape [^30] | 13.48 | 13.95 | 0.735 | 9.95 |
| Ours | 10.85 | 10.92 | 0.790 | 6.90 |
Table 3. Quantitative comparison with state-of-art parametric methods on InterHand2.6M dataset.
以及具有挑战性的视角下（第二行），我们的方法对此类情况的鲁棒性更强。我们将这一成果归功于MANO表示法的引入，它能够预测稳定的手部网格。更多不同视角的结果如图5所示。
与参数化方法的比较：为了公平比较，我们采用由预测的MANO参数生成的重建手部网格进行评估。定量比较结果列于表3中，PCK曲线则展示在图6(a)中。我们的方法在MANO参数估计方面优于其他SOTA参数化方法。得益于网格-MANO交互模块，MANO标记会以保留空间关系的网格顶点标记为条件。这种依赖关系比竞品方法中使用的单维度全局特征更具信息量 [^3] [^30] [^33]。
从表2和表3中可以发现，由于参数化模型的容量有限，参数化方法InterShape [^30]在关节和顶点位置的统计误差上比非参数化方法IntagHand [^16]更大。不过从图4的第二行可以看出，在这些困难情况下，InterShape能生成合理的手部形状。通过结合参数化与非参数化手部表示的优点，我们的方法在定量和定性评估中均取得了最佳性能。
Figure 7. Two-hand reconstruction of images in the wild, which are taken from the RGB2Hands [^28].
以及定性方面。
#### 4.3. 拓展至自然场景图像
我们进一步展示了在自然场景图像上的手部重建结果。如图7所示，我们的方法在来自RGB2Hands数据集 [^28] 的真实图像上表现优异，这体现了我们方法的泛化能力。需要指出的是，我们的方法旨在单次前向传播中同时预测精确的网格顶点坐标和MANO参数。MANO姿态参数以轴角表示法描述关节旋转，这对计算机图形学中三维手部的动画制作十分有用。针对自然场景中手部的精确网格顶点坐标和MANO参数，能够促进各类人机交互（HCI）应用的发展。
#### 4.4. 消融实验
为了评估所提出模块在框架中的有效性，我们对该方法的多个变体开展了消融实验。所有变体的定量结果如下——
---
| MPJPE $\downarrow$ | MPVPE $\downarrow$ | AUC $\uparrow$ | PROJ2D $\downarrow$ |
| A: w/o MANO token | 8.87 | 9.09 | 0.818 | 6.85 |
| B: w/o Mesh-Align | 8.79 | 9.01 | 0.826 | 6.64 |
| C: Mesh-Align scale-16 | 8.73 | 8.97 | 0.829 | 6.38 |
| D: Mesh-Align scale-64 | 8.77 | 8.99 | 0.826 | 6.58 |
| E: Regress MANO from $F_{gap}$ | 8.83 | 9.04 | 0.828 | 6.86 |
| F: w/o asymmetric attention | 9.17 | 9.37 | 0.822 | 6.67 |
| G: w/o auxiliary tasks | 9.11 | 9.28 | 0.823 | 6.78 |
| Full Model | 8.65 | 8.89 | 0.832 | 6.22 |
Table 4. Comparisons of different variants of our method.
Figure 8. Ablation study on MANO tokens.
Figure 9. Ablation study on mesh alignment refinement.
## 实验结果展示于表4中
MANO令牌的有效性。变体A（不含MANO令牌）代表移除MANO令牌的情况。此时Transformer编码器仅建模网格顶点令牌与图像特征之间的依赖关系。图8展示了定性对比结果：缺少手部先验信息时，当手部部分区域被遮挡，重建出的网格可能会出现失真；相比之下，我们的完整模型能在这些具有挑战性的场景下生成合理的网格。
网格对齐优化模块的有效性。变体B（不含Mesh-Align）代表移除网格对齐优化模块的情况，此时Mesh-Mano交互模块生成的预测结果将直接作为最终输出。变体C和D分别表示提取分辨率为16和64的单尺度图像特征。实验结果表明，不使用网格对齐优化模块或采用单尺度图像特征时，模型性能会有所下降。如图9所示，我们的完整模型能生成对齐效果更好的结果。
MMIB模块的有效性。参数化与非参数化表示已应用多年，但将二者结合并非易事。在变体E中（从$F_{gap}$回归MANO参数），MMIB负责更新顶点令牌；MANO参数是通过简单的全连接层从全局平均池化特征$F_{gap}$中回归得到的，而非通过MMIB模块实现。如表4所示，变体E的性能提升有限。另一方面，我们提出了一种非对称注意力掩码来排除“手部到网格”的注意力机制。为验证这一设计，变体F（不含非对称注意力掩码）代表移除非对称注意力机制，其性能较我们的完整模型有所下滑。
辅助任务预训练的有效性。变体G代表骨干网络在ImageNet上预训练的情况。我们的完整模型性能更优，这说明辅助任务预训练对于提取语义上有意义的图像特征至关重要。辅助的2D图像条件是由Interhand2.6M训练集的真值网格生成的，我们并未使用额外的数据集。
### 5. 结论
本文提出了一种用于从单张图像重建双手网格的新方法MeMaHand。其中，网格-MANO交互模块结合了非参数化与参数化表示的优点；随后，网格对齐优化模块通过显式的网格对齐反馈循环进一步修正重建结果。在InterHand2.6M基准测试上的大量实验表明，我们提出的MeMaHand优于现有的参数化与非参数化方法。
局限性。尽管我们的方法能生成令人满意的结果，但在严重遮挡的情况下仍会出现误差。图10展示了一些失败案例，其中存在物体相互穿透的现象。考虑物理合理性将是我们的后续研究方向。
---
## 参考文献
[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 2
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6121–6131, 2020. 2
[^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 1, 2, 6, 7
[^4]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European Conference on Computer Vision (ECCV), pages 666–682, 2018. 1
[^5]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12929–12938, 2021. 1,2
[^6]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13283, 2021. 1, 2
[^7]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. 1, 2
[^8]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision, pages 769–787. Springer, 2020. 2
[^9]: Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional neural networks on graphs with fast localized spectral filtering. Advances in neural information processing systems, 29, 2016. 3, 4
[^10]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10833–10842, 2019. 1, 2, 3
[^11]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020. 2
[^12]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 2
[^13]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 3,5
[^14]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-end detection and pose estimation of two interacting hands. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11189–11198, 2021. 2
[^15]: Nikolaos Kyriazis and Antonis Argyros. Scalable 3d tracking of multiple interacting objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3430–3437, 2014. 2
[^16]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2761–2770, 2022. 1, 2, 3, 5, 6, 7
[^17]: Guan Ming Lim, Prayook Jatesiktat, and Wei Tech Ang. Mobilehand: Real-time 3d hand shape and pose estimation from color image. In International Conference on Neural Information Processing, pages 450–459. Springer, 2020. 2
[^18]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1954–1963, 2021. 1, 2
[^19]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12939–12948, 2021. 1, 2, 3, 4
[^20]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In European Conference on Computer Vision, pages 752–768. Springer, 2020. 1,2
[^21]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In European Con-ference on Computer Vision (ECCV), 2020. 2
[^22]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision, pages 548–564. Springer, 2020. 2, 5, 6
[^23]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Trans. Graph., 36(6), nov 2017. 1,2
## [^24]: Breannan Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, Jessica K Hodgins, and Takaaki Shiratori. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics (TOG), 39(6):1–14, 2020. 2
---
[^25]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 89–98, 2018. 6
[^26]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 11698–11707, October 2021. 2
[^27]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118(2):172–193, 2016. 2
[^28]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. ACM Transactions on Graphics (ToG), 39(6):1–16, 2020. 7
[^29]: Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. Pixel2mesh: Generating 3d mesh models from single rgb images. In Proceedings of the European conference on computer vision (ECCV), pages 52–67, 2018. 2
[^30]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11354–11363, 2021. 2, 5, 6, 7
[^31]: Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, and Zhenan Sun. Pymaf: 3d human pose and shape regression with pyramidal mesh alignment feedback loop. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11446–11456, 2021. 4,5
[^32]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 1, 2
[^33]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5346–5355, 2020. 1, 2, 6, 7
[^34]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 6