# HandOccNet：抗遮挡的3D手部网格估计网络

朴俊奎 $^{1*}$ 吴永国 $^{1*}$ 文京植 $^{1*}$ 崔弘硕 $^{1}$ 李景武 $^{1,2}$

$^{1}$电子计算机工程系及ASRI实验室，$^{2}$IPAI中心，首尔大学，韩国

<mailto:jkpark0825@snu.ac.kr>、<mailto:namepllet1@gmail.com>、{mks0601, redarknight, kyoungmu}@snu.ac.kr

## 摘要

手部常常被物体严重遮挡，这使得3D手部网格估计任务极具挑战性。以往的研究往往忽略了遮挡区域的信息。然而我们认为，遮挡区域与手部存在强相关性，能够为完整的3D手部网格估计提供极具价值的信息。因此，在本研究中，我们提出了一种新型的3D手部网格估计网络HandOccNet，它能够充分利用遮挡区域的信息作为辅助手段来增强图像特征，使其更加丰富。为此，我们设计了两个连续的基于Transformer的模块：特征注入Transformer（FIT）和自增强Transformer（SET）。FIT会考虑手部与遮挡区域的相关性，将手部信息注入到遮挡区域；SET则利用自注意力机制对FIT的输出进行优化。通过将手部信息注入遮挡区域，我们的HandOccNet在包含复杂手物遮挡情况的3D手部网格基准测试中取得了最先进的性能。相关代码可在<https://github.com/namepllet/HandOccNet>获取。

### 1. 引言

尽管基于单张RGB图像的3D手部网格估计已经取得了令人瞩目的成果[6, 12, 20, 26–30]，但让3D手部网格估计方法具备抗遮挡能力仍是一个未解决的难题。实现抗遮挡系统的一种有前景的方法是使用空间注意力机制。虽然空间注意力机制尚未被用于抗遮挡的3D手部网格估计，但已有几种2D人体姿态估计方法[^8] [^39] [^40]利用此类注意力机制来获得抗遮挡结果。这些方法会先估算出空间注意力图，再将其与特征图相乘，从而告诉网络该关注哪些区域。注意力图通常会在人体区域给出高分，而在遮挡区域给出低分。因此，它会削弱遮挡区域特征的强度，

![Image](images/ac0545ec5f1484da26d3576fb5eaef45ee7ebe3d125ed47c57e7328e0ca05da0.jpg)

<div style="text-align: center;">Figure 1. Example of the operation of the proposed HandOccNet. (a) The output feature map of spatial attention mechanism for the case of severe occlusion, which consists of sparse primary and secondary features. (b) Our feature injection module finds the primary features related to the secondary features, and then injects the information of primary features into the locations of secondary features.</div>

进而使网络聚焦于人体区域。

尽管基于空间注意力的方法在遮挡场景下展现出了不错的效果，但仍存在若干局限性。首先，它们大多应用于2D人体姿态估计领域，其目标是定位2D身体关节坐标。因此，它们的空间注意力机制在抗遮挡3D手部网格估计中的有效性尚未得到证实。尤其是手部具有相当复杂的关节结构，且常被物体严重遮挡，常用的空间注意力机制可能无法产生鲁棒的结果。与那些[^24] [^25]使用深度图的方法不同，从2D图像到3D手部的估计过程中产生的额外深度模糊问题也是另一个瓶颈。其次，当遮挡情况严重时，由于大部分手部区域被遮挡，空间注意力机制的激活会变得稀疏。这些稀疏区域包含的手部信息有限，因此仅依赖

---

这类有限的信息可能会导致错误的结果。

为了克服上述局限，我们提出了HandOccNet——一种用于遮挡鲁棒型3D手部网格估计的新型框架。HandOccNet的核心组件是一种特征注入机制，如图1所示。传统的空间注意力机制会忽略被遮挡区域的特征信息；而我们的特征注入机制则将这些特征作为辅助信息来利用，从而获得更丰富的表征，以实现遮挡鲁棒型3D手部网格估计。主要特征和次要特征分别对应高注意力分数和低注意力分数的特征。我们利用次要特征的信息来定位相关的主要特征，并将主要特征的信息注入到次要特征所在的位置。在此过程中，我们使用“注入”这一术语来强调：次要特征的信息会消失，而主要特征的信息会被填入这些空缺位置。

为了不仅能注入邻近特征，还能注入远距离特征，我们采用了Transformer [^35]，它具备出色的建模特征间相关性的能力，且不受特征间距离的限制。此处所说的特征间距离指的是像素空间中的2D距离。我们构建了两个基于Transformer的模块：特征注入Transformer（FIT）和自增强Transformer（SET）。FIT将主要特征的信息注入到次要特征所在的区域，它以次要特征作为查询向量、主要特征作为键-值对，输出单张特征图；SET则利用标准的自注意力机制来对FIT的输出进行优化。

与用于特征注入的标准Transformer [^35]相比，我们的FIT有两个显著特点。首先，我们的FIT通过两类注意力模块——基于sigmoid的模块和基于softmax的模块——来计算查询向量与键之间的相关图，而标准Transformer仅使用基于softmax的模块。基于softmax的注意力模块会通过softmax函数对每个查询向量与所有键元素的乘积进行归一化。由于softmax在归一化时会考虑所有元素，因此当所有乘积的绝对值都很小但其中某些乘积相对较大时，就可能产生不必要的高相关分数。为防止出现这种不必要的高相关分数，我们额外设计了基于sigmoid的注意力模块；由于sigmoid激活函数在归一化时不会考虑其他元素，因此能够避免这种不希望出现的高相关情况。最终的相关图是通过将基于softmax的模块和基于sigmoid的模块得到的相关图相乘得到的。其次，我们移除了输入查询向量与注意力模块输出之间的残差连接，而标准Transformer会使用这种残差连接。换句话说，FIT仅在计算查询向量与键之间的相关性时才使用查询向量，FIT的输出特征中不包含查询向量的信息；这是因为我们希望用主要特征（值）替换掉次要特征（查询向量）。

我们通过在近期发布的手部-物体交互数据集上开展大量实验，验证了HandOccNet的有效性。这些数据集包括HO-3D [^13]和FPHA [^11]，其中包含各种具有挑战性的手部遮挡情况，能够反映日常生活中手部操纵物体时产生的真实遮挡现象。实验结果表明，与以往最先进的3D手部网格估计方法相比，我们的HandOccNet在3D手部网格估计精度上取得了显著提升。

总而言之，我们的贡献如下：

- 我们提出了HandOccNet，这是一种用于从单张RGB图像中估计遮挡鲁棒性强的3D手部网格的新颖框架。所提出的HandOccNet利用特征注入机制，通过将手部信息适当地注入到被遮挡区域，使特征图对遮挡具有更强的鲁棒性。

- 针对特征注入与优化，我们提出了两个基于Transformer的模块：FIT和SET。FIT在主要特征与次要特征之间的相关性引导下执行注入机制，其中主要特征代表手部区域的特征，次要特征代表被遮挡区域的特征。SET则利用自注意力机制对FIT输出的特征图进行优化。

- 实验表明，在包含严重手部遮挡的手部-物体交互数据集上，我们的框架性能显著优于现有的最先进的3D手部网格估计方法。

### 2. 相关工作

遮挡鲁棒性人体姿态估计。遮挡鲁棒性人体姿态估计主要有三种方法：第一种采用遮挡感知的数据增强技术，第二种利用时间信息，第三种则运用空间注意力机制。

### [^3]: [^18] [^34] applied occlusion-aware data augmentation in the training time. Sarandi et al. [^34] covered partial region of the image with black solid shapes or object segments from Pascal VOC 2012 [^10] to mimic the occlusions. Ke et al. [^18] copy background patch of the input image and paste it to human keypoint region. [^3] [^7] proposed a two stage approach for the 3D pose estimation. They estimate 2D features for given frames and estimate the 3D pose from the 2D information. Cheng et al. [^3] utilized sequential 2D features (2D joint heatmaps) to estimate the consecutive 3D

---

在训练阶段，[^3]会随机将部分估计出的2D关节热图的值设为零，以模拟遮挡情况。这类数据增强方法的局限性在于其产生的遮挡是人为合成的。

[^4]: [^5] utilized temporal information to compensate for the missing information due to the occlusion. Choi et al. [^5] and Cheng et al. [^4] leveraged temporal information for temporally consistent mesh recovery and the occlusion-robust 3D human pose estimation from a video, respectively. [^4] first estimated an incomplete 2D pose sequence, which means several joints are labeled as occluded and their coordinates are set to zero, from the input video. Then they lifted the incomplete 2D pose sequence to complete 3D pose sequence through successive 2D and 3D temporal convolutional networks.

[^8]: [^39] [^40] utilized spatial attention mechanism for the occlusion-robust system. Chu et al. [^8] proposed a multi-context, multi-resolution and hierarchical spatial attention scheme for the 2D human pose estimation. They reweighted the feature map through their spatial attention scheme and boost 2D human pose estimation performance. Zhu et al. [^40] first estimated a spatial attention map and multiply it by the feature map to filter out the features of occluded regions. Then they used inter-feature correlations through a shared structural matrix in order to recover missing features. Zhou et al. [^39] also estimated the spatial attention map to filter out features of occluded regions. Then they recovered features through dilated convolutions.

我们的方法与空间注意力机制相关；不过与上述基于空间注意力机制的方法相比，存在两点主要差异。首先，上述方法大多是为2D人体姿态估计设计的，而这类任务的歧义性低于3D手部网格估计——后者会受到深度歧义以及物体造成的严重遮挡的影响。其次，我们提出了一种新的特征注入机制，即便手部被严重遮挡，也能生成极其丰富的特征。

手部-物体交互场景下的3D手部网格估计。HO-3D [^13]和FPHA [^11]等手部物体交互基准数据集发布后，已有多项研究[13–15,23]围绕这些数据集展开。Hasson等人[^15]提出了能够反映交互手部与物体物理约束的新型损失函数。Hampali等人[^13]通过检测2D关节位置，并最小化损失函数来拟合手部模型（即MANO [^33]）的参数。Hasson等人[^14]利用了相邻帧之间的光度一致性：他们先估计手部与物体的网格并渲染出相应图像，以此回归得到形变流；随后应用像素级损失来强制保证参考帧与经回归流形变后的帧之间具备光度一致性。Liu等人[^23]提出了一种上下文推理模块，通过利用手部与物体之间的交互来增强物体表征。上述方法大多聚焦于建模手部与物体之间的交互关系。而本文首次为遮挡鲁棒性3D手部网格估计引入了新颖的特征注入机制。

Transformer。Transformer [^35] 在自然语言处理 (NLP) 上展现出了优越的结果。最近，视觉研究人员已将 Transformer 应用于各种应用，例如目标检测 [^1]、图像分类 [^9] 和人体纹理估计 [^36]。在 3D 人体姿态与形状估计领域，[^17] [^21] [^37] [^38] 设计了基于 Transformer 的模块。Huang 等人 [^17] 提出了基于 Transformer 的网络，用于从 3D 手部点云估计 3D 手部姿态。Lin 等人 [^21] 采用 Transformer 来建模全局的顶点到顶点的交互，并从单张 RGB 图像重建 3D 人体网格。Zheng 等人 [^38] 使用了空间和时间 Transformer 进行视频中的 3D 人体姿态估计。Yang 等人 [^37] 利用 Transformer 捕捉关键点之间图像特定的空间依赖关系，并估计 2D 人体姿态。最近，Liu 等人 [^23] 提出了一种基于 Transformer 的上下文推理模块。当输入图像中的物体与手交互时，上下文推理模块通过利用手部区域的特征来增强物体区域的特征。增强后的物体特征仅用于 6D 物体姿态估计，而非用于 3D 手部网格估计。Liu 等人 [^23] 与我们的工作最为相关；然而，他们的上下文推理模块仅用于 6D 物体姿态估计。另一方面，我们注入的特征则用于 3D 手部网格估计。

#### 3. HandOccNet

图2展示了我们用于3D手部网格估计的HandOccNet的整体流程。HandOccNet由骨干网络、FIT、SET和回归器组成。

#### 3.1. 骨干网络

骨干网络从手部图像$\mathbf{F}$中提取特征$\mathbf{M}$和必要性图谱$\mathbf{I} \in \mathbb{R}^{512 \times 512 \times 3}$。我们首先将手部图像$\mathbf{I}$输入基于ResNet50[^16]的FPN[^22]，并对FPN的输出进行尺寸调整，从而得到特征图$\mathbf{F} \in \mathbb{R}^{32 \times 32 \times 256}$。接着，我们从特征图$\mathbf{M}$中获取必要性图谱$\mathbf{F}$。我们构建了三层连续的卷积层，再接入Sigmoid函数，无需监督即可估计出必要性图谱$\mathbf{M}$，从而通过学习预测特征的重要性。必要性图谱$\mathbf{M}$根据空间上变化的重要性给出相应得分，这种重要性差异源于特征$\mathbf{F}$中包含的冗余信息（即物体和背景）。借助必要性图谱$\mathbf{M}$，我们将特征图$\mathbf{F}$划分为主要特征$\mathbf{F}_P$和次要特征$\mathbf{F}_S$，且满足和为1的约束：

 $$ \mathbf{F}_{\mathrm{P}}=\mathbf{F}\otimes\mathbf{M}. $$

---

![Image](images/50607bd416ee6d065be59c7fcd53a8e419696107095d64a3d76a9ce327e0dd97.jpg)

<div style="text-align: center;">Figure 2. The overall architecture of HandOccNet, which consists of backbone, F11, SE1, and regressor. Our HandOccNet extracts primary feature  $F_{P}$ and secondary feature  $F_{S}$ using a spatial attention mechanism. Then, it uses FIT to inject the information of the primary feature  $F_{P}$ into the secondary feature  $F_{S}$. SET refines the output of FIT via self-attention mechanism. Finally, regressor produces MANO parameters. The final 3D hand mesh is obtained by forwarding the MANO parameters to MANO layer. The cross mark in a circle represents an element-wise multiplication.</div>

![Image](images/8e832c982a54840b8da09eb4c67272747874fbedca5a4c3b570c9041613d3bab.jpg)

<div style="text-align: center;">Figure 3. The overall pipeline of FIT. FIT injects the primary feature $\mathbf{F}_{P}$ into the secondary feature $\mathbf{F}_{S}$ using softmax-based attention module and sigmoid-based attention module.</div>

 $$ \mathbf{F}_{\mathrm{S}}=\mathbf{F}\otimes(1-\mathbf{M}). $$

$\otimes$表示逐元素乘法。需要注意的是，$\mathbf{F}_P$包含手部区域的信息，主要用于手部网格估计；而$\mathbf{F}_S$包含被遮挡区域的信息，无法直接用于手部网格估计。$\mathbf{F}_P$和$\mathbf{F}_S$会被用作后续FIT的查询、键和值。

#### 3.2. 特征注入Transformer（FIT）

图3展示了FIT的示意图。FIT是一个基于Transformer的模块，它接收两个特征，即$\mathbf{F}_P$和$\mathbf{F}_S$，并通过考虑它们之间的相关性，将$\mathbf{F}_P$的信息注入到$\mathbf{F}_S$中。我们在FIT中采用了两个子模块：基于softmax的注意力模块和基于sigmoid的注意力模块。各模块的不同作用如下所述。

基于softmax的注意力模块。该模块从次要特征$\mathbf{F}_P$中找出主要特征$\mathbf{F}_S$最相关的信息。这可以理解为从遮挡区域中在主要特征$\mathbf{F}_P$里搜索相关的手部信息。某些导致遮挡的物体信息与手部信息具有强相关性，因此$\mathbf{F}_S$能够指示何处应注入主要特征$\mathbf{F}_P$。以往的研究仅利用$\mathbf{F}_P$并抑制$\mathbf{F}_S$以专注于手部信息，而我们则将$\mathbf{F}_S$用作引导并利用$\mathbf{F}_P$。

我们通过两个$q_{\text{soft}}$卷积层从$\mathbf{F}_S$中提取查询向量$k_{\text{soft}}$，从$\mathbf{F}_P$中提取键向量$1 \times 1$。随后我们将查询向量和键向量重塑为维度$\mathbb{R}^{1024 \times 256}$，其中1024代表$\mathbf{F}_P$和$\mathbf{F}_S$的宽度与高度的乘积。借鉴以往Transformer中的注意力机制[^9] [^23] [^35]，基于softmax的注意力模块通过查询向量$\mathbf{C}_{\text{soft}} \in \mathbb{R}^{1024 \times 1024}$与键向量$q_{\text{soft}}$的矩阵乘法结果，经softmax函数生成相关图$k_{\text{soft}}$：

 $$ \mathbf{C}_{\mathrm{s o f t}}=\mathrm{s o f t m a x}(\frac{q_{\mathrm{s o f t}}k_{\mathrm{s o f t}}^{T}}{\sqrt{d_{k_{\mathrm{s o f t}}}}}), $$

其中$d_{k_{\text{soft}}} = 256$表示键向量$k_{\text{soft}}$的特征维度。相关图$C_{\text{soft}}$反映了查询向量$q_{\text{soft}}$的每个像素与键向量$k_{\text{soft}}$之间相关信息的数量。换句话说，$C_{\text{soft}}$可用于确定应使用$F_P$的哪些信息来填补$F_S$的信息。然而，仅使用softmax进行激活在处理整体键信息与特定查询像素不相关的情况时存在局限。例如，如图4e所示，次要特征$F_S$中的某些信息（如背景）可能与整体$F_P$无关，以至于softmax函数前的乘法结果会使键向量$k_{\text{soft}}$的所有元素取值较低，如图4f所示。尽管如此，softmax函数会将一个绝对很小但相对较大的数近似为高分。因此，如图4g所示，一些绝对值很低但相对较高的元素可能会产生不必要的高相关性。为了充分利用图4c中基于高乘法结果（图4b）准确显示相关性的优势，同时解决图4g中出现的问题，我们额外构建了

---

![Image](images/8afd7ecec92dda1c914f4987e788daa846a9249f1d3b48902787e34d887c7f82.jpg)

<div style="text-align: center;">(e) Input image (I) (f) Multiplication result</div>

<div style="text-align: center;">Figure 4. (a) and (e): red points represent example locations of query  $q_{soft}$ overlayed on the input image. (b) and (f): multiplication between the red points of query  $q_{soft}$ (shown in (a) and (e), respectively) and all elements of key  $k_{soft}$. (c) and (g):  $C_{soft}$ calculated from (b) and (f), respectively, by applying a softmax function. (d) and (h): C calculated from element-wise multiplication of sigmoid-based correlation map sig and  $C_{soft}$.</div>

基于sigmoid的注意力模块，用于过滤掉那些不必要的高相关性得分。

基于sigmoid的注意力模块。该模块通过生成每个查询像素与全局键信息之间的相关图，来过滤掉不必要的高相关性。我们采用与提取$k_{\text{sig}}$和$q_{\text{sig}}$相同的过程，提取额外的键-查询对$k_{\text{soft}}$和$k_{\text{soft}}$。随后，该模块按如下方式生成相关图$\mathbf{C}_{\text{sig}} \in \mathbb{R}^{1024 \times 1}$：

 $$ \mathbf{C}_{\mathrm{s i g}}=\mathrm{s i g m o i d}(\mathrm{p o o l}(\frac{q_{\mathrm{s i g}}k_{\mathrm{s i g}}^{T}}{\sqrt{d_{k_{\mathrm{s i g}}}}})), $$

其中，pool表示平均池化操作，用于聚合每个查询$q_{sig}$与键$k_{sig}$所有元素之间的相关性。$d_{k_{sig}} = 256$表示键$k_{sig}$的特征维度。沿键维度的平均池化能够使相关性图$C_{sig}$对噪声相关性更具鲁棒性。我们观察到，在基于sigmoid的注意力模块中移除池化操作会导致HandOccNet在训练过程中发散。

与softmax函数不同，后者会将输入元素归一化为考虑其他输入元素的概率分布，而sigmoid仅专注于将单个元素归一化为概率。因此，由于sigmoid会从乘法结果中的较小数值产生较小的注意力分数，它不会像softmax函数那样出现不希望出现的高相关性问题。我们通过结合基于sigmoid和softmax模块的相关性图$\mathbf{C} \in \mathbb{R}^{1024 \times 1024}$与$\mathbf{C}_{\text{soft}}$，得到最终的相关性图$\mathbf{C}_{\text{sig}}$，如下所示：

 $$ \mathbf{C}=\mathbf{C}_{\mathrm{s o f t}}\otimes\mathbf{C}_{\mathrm{s i g}}. $$

![Image](images/68a537af82e1c4fe615de459f0b1819fc73869142c822d1353837773a881824f.jpg)

<div style="text-align: center;">Figure 5. The overall pipeline of SET. SET refines the feature  $\mathbf{F}_{\mathrm{FIT}}$ with self-attention mechanism.</div>

图4f、4g和4h展示了基于sigmoid的注意力模块所生成的相关性图的有效性。尽管图4f的乘法结果较小，但图4g却显示出高相关性，这表明图4g存在不希望出现的高相关性问题。通过将$C_{sig}$与图4g相乘，我们修正了这种不希望出现的高相关性，如图4h所示。

特征注入。利用相关性图C，我们将手部信息注入到适当的遮挡区域。请注意，我们使用“注入”一词是因为，与典型的Transformer模型[^35]（其在输出中使用带有残差连接的查询信息）不同，这里的查询信息会消失，而值的信息会被注入到空白位置。我们从$v \in \mathbb{R}^{1024 \times 256}$中获取值$\mathbf{F}_P$，它代表了Transformer中由键索引的源信息；这一过程通过$1 \times 1$卷积并展平其空间维度来实现。随后，我们将该值注入到低重要性区域，从而得到残差特征$\mathbf{R}_{\text{FIT}} \in \mathbb{R}^{1024 \times 256}$，如下所示：

 $$ \mathbf{R}_{\mathrm{F I T}}=\mathbf{C}v. $$

之后，我们将$\mathbf{R}_{\text{FIT}}$送入前馈模块。该前馈模块由两层MLP以及输入与输出之间的残差连接组成，还包括层归一化操作。我们进一步在其输出与已包含手部网格估计所需关键信息的原始特征$\mathbf{F}_P$之间添加残差连接。FIT的输出特征$\mathbf{F}_{\text{FIT}} \in \mathbb{R}^{32 \times 32 \times 256}$的生成过程如下：

 $$ \mathbf{F}_{\mathrm{F I T}}=\mathbf{F}_{\mathrm{P}}+\boldsymbol{\psi}(\mathbf{R}_{\mathrm{F I T}})+\boldsymbol{\psi}(\mathbf{M L P}(\mathrm{L N}(\mathbf{R}_{\mathrm{F I T}}))), $$

其中，$\psi$表示重塑函数，用于将输入特征重塑为$\mathbb{R}^{32\times32\times256}$。MLP和LN分别指代MLP模块和层归一化层。

#### 3.3. 自增强Transformer（SET）

SET 的示意图如图 5 所示。SET 通过自注意力机制，从特征 $\mathbf{F}_{\mathrm{FIT}}$ 中参考远距离信息来细化特征 $\mathbf{F}_{\mathrm{FIT}}$。与 FIT 侧重于将主要特征 $\mathbf{F}_{\mathrm{P}}$ 注入次要特征 $\mathbf{F}_{\mathrm{S}}$ 不同，SET 利用 $\mathbf{F}_{\mathrm{FIT}}$ 的自注意力机制，通过从同一个中提取查询 $q'$、键 $k'$ 和值 $v'$

---

特征$\mathbf{F}_{\mathrm{FT}}$经过三层$1 \times 1$卷积层处理。由于SET执行自注意力机制，不存在整体键信息与查询像素无关的情况，因为每个查询像素至少会与自身相关。因此，我们并未采用用于过滤不必要高相关性的基于sigmoid的注意力模块，而是仅使用基于softmax的注意力模块来在SET中获取相关图。SET遵循FIT中基于softmax的注意力模块的处理流程，只是在查询$q'$与相关图和值$v'$的乘积之间加入了残差连接。FIT中的该模块没有这种残差连接，因为其目标是用值“替换”查询以实现特征注入。另一方面，由于SET的目标是增强输入特征而非注入特征，我们参照以往的Transformer模型[^35]添加了残差连接。SET的输出记为$\mathbf{F}_{\mathrm{SET}}$。在我们的实验中，使用两个或更多个SET并未产生明显效果，因为第一个SET就已经实现了充分的增强；因此，我们在FIT之后仅使用一个SET。

### 3.4. 回归器

回归器负责生成MANO姿态和形状参数，将MANO参数传入MANO层即可得到最终的3D手部网格。首先，一个沙漏网络模块[^31]以增强后的特征$\mathbf{F}_{\text{SET}}$作为输入，输出每个关节的2D热图$\mathbf{H}$。接着，四个残差块[^16]会接收增强后的手部特征$\mathbf{F}_{\text{SET}}$与2D热图$\mathbf{H}$的拼接结果。最后，将残差块的输出向量化为2048维向量，再传入全连接层，从而预测MANO姿态参数$\theta \in \mathbb{R}^{48}$和形状参数$\beta \in \mathbb{R}^{10}$。我们将关节回归矩阵与静止姿态下的3D网格相乘，再应用正运动学计算，即可得到最终的3D手部关节坐标以及最终的3D手部网格$\mathbf{V} \in \mathbb{R}^{778 \times 3}$。

为了训练HandOccNet，我们最小化损失函数，该函数是预测值与真实值之间的L2距离的组合$\mathbf{H}, \theta, \beta, \mathbf{V}$和$J^{3D}$。其中$J^{3D}$表示3D手部关节坐标，是通过将关节回归矩阵与3D手部网格$\mathbf{V}$相乘得到的，该矩阵在MANO中有定义。

#### 4. 实验

#### 4.1. 实现细节

所有实现均基于PyTorch完成[^32]。训练时我们采用Adam优化器[^19]，批量大小为24。在HO-3D和FPHA数据集上，每个模型都从初始学习率$10^{-4}$开始，每10个epoch对学习率进行退火处理。其他所有细节可在我们的代码中查看。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Architectures</td><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Identity</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>52.5</td><td style='text-align: center; word-wrap: break-word;'>94.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Residual blocks</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>51.0</td><td style='text-align: center; word-wrap: break-word;'>95.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FIT</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>54.3</td><td style='text-align: center; word-wrap: break-word;'>96.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SET</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>52.6</td><td style='text-align: center; word-wrap: break-word;'>95.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FIT + SET (Ours)</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

<div style="text-align: center;">Table 1. Comparison of models with various architectures on HO-3D.</div>

![Image](images/6c73968977d7f1ff621e4a0898f1ed84f0ab4cecc1a35e4104062623cd39b1d4.jpg)

<div style="text-align: center;">(a) Input image (I)</div>

![Image](images/af229c285c8d88e82da30ae9af2ac2379d6fdc7d71dfe5e7b84a0e2fc4781312.jpg)

![Image](images/af48c87c8b9140b95c161c8afdbc53bf68e332e70e06d034d590aec8c4ce6c81.jpg)

![Image](images/6a63668d05556945c73532e64280b4f9de18e09cd8b8e695bc550c1082b54675.jpg)

<div style="text-align: center;">(b) Wo. FIT and SET</div>

![Image](images/70c29bd730c58a7b056dabe01599f7ae224285faa50cfb917ac36615f42292d8.jpg)

<div style="text-align: center;">(c) W. FIT and SET (Ours)</div>

<div style="text-align: center;">Figure 6. Comparisons between models without and with FIT and SET on HO-3D.</div>

#### 4.2. 数据集与评估指标

HO-3D。HO-3D数据集[^13]是一个包含复杂遮挡情况的手部-物体交互数据集。该数据集提供了带有基于MANO的手部关节和网格的RGB图像，以及相机参数。测试集上的结果可通过在线提交系统进行评估。

第一人称手部动作（FPHA）。FPHA数据集[^11]包含大量记录手与物体交互过程的 Egocentric RGB-D 视频。虽然所有帧都提供了三维手部姿态标注，但仅有一小部分数据子集包含六维物体姿态标注。为了进行公平比较，我们采用了以往研究中所使用的相同训练集和测试集划分方式[^14] [^23]。

评估指标。对于HO3D数据集，我们报告了标准指标，例如来自官方评估服务器的平均关节误差、网格误差（单位：毫米）以及F分数。对于FPHA数据集，我们报告平均关节误差（单位：毫米）。所有指标均在Procrustes对齐之后获取。此外，由于对齐前的结果同样具有重要意义，我们也在补充材料中展示了HO3D数据集在对齐前的关节误差。

---

![Image](images/f12e7093343627e9fbce691e92856bc0618eca63a25ce6f0b1c15eece68bd008.jpg)

![Image](images/1bc1a4c5565922410940505ae8f3a6a4d3298c0fde412005a8f18cbf156d6deb.jpg)

<div style="text-align: center;">(a) Input image (I)</div>

<div style="text-align: center;">(b) Primary feature  $\mathbf{F}_{P}$</div>

![Image](images/621c136be65ba9ed55175ff25e79ad6f91361a2bfb4a5cc7fcb72babf83a97d3.jpg)

![Image](images/60c87cdc2b48eea06abd483453dbbeda1aa386d5a3afc381119d3e7241c66856.jpg)

<div style="text-align: center;">(c) Output of FIT  $(\mathbf{F}_{\mathrm{FIT}})$ (d) Output of SET  $(\mathbf{F}_{\mathrm{SET}})$</div>

#### 4.3. 消融实验

<div style="text-align: center;">Figure 7. Visualization of the feature map. Our FIT successfully injects information into the occluded region and SET makes richer information in the occluded region by self-enhancing.</div>

FIT与SET。表1显示，使用我们的FIT和SET能够持续提升各项指标，这证明了它们的优势。图6进一步表明，当输入图像中存在严重遮挡时，FIT和SET能够提高三维手部网格的估计精度。为了进行对比，我们设计了四种变体。所有变体均采用图2所示的统一主干网络和回归器，仅在主干网络与回归器之间的组件上存在差异。第一种和第二种变体的流程与传统空间注意力机制类似：第一种变体将主要特征直接传递给回归器；第二种变体则将主要特征送入六个残差块[^16]，且未引入任何基于Transformer的模块。它们的结果均不如我们的方法，这表明我们新引入的、基于两个Transformer的特征注入机制具有显著优势。第三种和第四种变体分别仅采用FIT或SET，其结果也逊于我们的方法。这一结果印证了HandOccNet架构中同时结合FIT和SET的有效性。

图7展示了FIT如何增强遮挡区域的特征。最初，图7b中的红色框因遮挡而缺乏手部信息；随后，FIT将手部信息注入遮挡区域，使得遮挡区域（红色框）产生强烈的激活响应，如图7c所示。此外，SET进一步强化了这些信息，从而为鲁棒性更强的三维手部网格估计提供更丰富的表征，如图7d所示。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>FIT architectures</td><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Softmax attn.</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>54.5</td><td style='text-align: center; word-wrap: break-word;'>95.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Softmax attn. + Softmax attn.</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>53.6</td><td style='text-align: center; word-wrap: break-word;'>95.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Softmax attn. + Sigmoid attn. (Ours)</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

FIT的架构。表2表明，FIT中基于Softmax和Sigmoid的注意力模块组合在所有指标上均取得了最佳结果。这种基于Sigmoid的模块能够过滤掉不必要的高相关性，如图4所示。与之相比，像标准Transformer那样仅使用基于Softmax的模块会存在不必要的高相关性问题，进而导致较差的结果。我们还报告了两种基于Softmax的模块组合的结果，该组合的效果甚至不如单独使用一种基于Softmax的模块，这说明单纯堆叠基于Softmax的模块无法解决不必要的高相关性问题。

<div style="text-align: center;">Table 2. Comparison of models with various FIT architectures on HO-3D.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Settings</td><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Residual connection with $q_{soft}$</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>55.0</td><td style='text-align: center; word-wrap: break-word;'>96.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Residual connection with $q_{sig}$</td><td style='text-align: center; word-wrap: break-word;'>9.7</td><td style='text-align: center; word-wrap: break-word;'>9.3</td><td style='text-align: center; word-wrap: break-word;'>53.3</td><td style='text-align: center; word-wrap: break-word;'>95.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Without residual connections (Ours)</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

<div style="text-align: center;">Table 3. Comparison between models that have and do not have residual connections with query in FIT on HO-3D.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>SET architectures</td><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Identity</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>54.3</td><td style='text-align: center; word-wrap: break-word;'>96.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Residual blocks</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>54.4</td><td style='text-align: center; word-wrap: break-word;'>95.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Single Transformer (Ours)</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Two Transformers</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>56.2</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

<div style="text-align: center;">Table 4. Comparison of models with various SET architecture on HO-3D.</div>

基于softmax的滤波器会过滤掉不必要的高相关性，如图4所示。与我们的方法相比，仅使用softmax的传统Transformer模型会受到这种不必要高相关性的影响，从而导致更差的结果。我们还报告了两种基于softmax的滤波器组合后的结果。这种组合产生的结果比单独使用一种基于softmax的滤波器还要差，这表明简单地将多个基于softmax的滤波器堆叠起来并不能解决不必要的高相关性问题。

FIT中的特征注入。表3显示，移除这两条残差连接能取得最佳结果。第一条残差连接是基于softmax的注意力模块查询$q_{soft}$与残差特征$\mathbf{R}_{FIT}$之间的连接；第二条则是基于sigmoid的注意力模块查询$q_{sig}$与残差特征$\mathbf{R}_{FIT}$之间的连接。与标准Transformer不同，我们的FIT不存在查询与残差特征之间的残差连接——该残差连接实际上是相关图与数值的乘积（见公式3）。这是因为我们的FIT旨在将数值信息“注入”到查询所在的位置，因此查询仅用于相关图的计算（见公式1和2）。对比结果表明，残差连接对特征注入有害，会导致性能更差。

SET的架构。表4显示，将SET设计为单个Transformer能取得最佳结果，这也验证了我们对SET的设计选择。为了演示，我们设计了三种具有不同SET架构的变体。第一种变体在SET中未引入任何可学习模块，直接将输入特征$\mathbf{F}_{\mathrm{FIT}}$设为输出特征。

---

![Image](images/9542c8c31a4b067975bcaf2cacee50ac7b821611a2cf6b37c8044a618c15e36a.jpg)

<div style="text-align: center;">Figure 8. Qualitative comparison of the proposed HandOccNet and state-of-the-art 3D hand mesh estimation methods [^14] [^23] on HO-3D.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pose2Mesh [^6]</td><td style='text-align: center; word-wrap: break-word;'>12.5</td><td style='text-align: center; word-wrap: break-word;'>12.7</td><td style='text-align: center; word-wrap: break-word;'>44.1</td><td style='text-align: center; word-wrap: break-word;'>90.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^14]</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>42.8</td><td style='text-align: center; word-wrap: break-word;'>93.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2L-MeshNet [^26]</td><td style='text-align: center; word-wrap: break-word;'>11.2</td><td style='text-align: center; word-wrap: break-word;'>13.9</td><td style='text-align: center; word-wrap: break-word;'>40.9</td><td style='text-align: center; word-wrap: break-word;'>93.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^15]</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>11.0</td><td style='text-align: center; word-wrap: break-word;'>46.0</td><td style='text-align: center; word-wrap: break-word;'>93.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hampali et al. [^13]</td><td style='text-align: center; word-wrap: break-word;'>10.7</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>50.6</td><td style='text-align: center; word-wrap: break-word;'>94.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO [^21]</td><td style='text-align: center; word-wrap: break-word;'>10.4</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>48.4</td><td style='text-align: center; word-wrap: break-word;'>94.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^23]</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>52.9</td><td style='text-align: center; word-wrap: break-word;'>95.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet (Ours)</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

<div style="text-align: center;">Table 5. Comparison with state-of-the-art methods on HO-3D. PA denotes Procrustes Alignment.</div>

$F_{SET}$。与我们的方法对比可知，SET中缺少可学习模块会导致结果比我们的方法更差，这表明额外的特征处理是必要的。第二种变体采用一系列局部特征提取器，由三个残差块组成[^16]。对比结果显示，添加此类局部特征提取器得到的结果比我们的方法更差，甚至不如未引入任何可学习模块的第一种变体。这是因为输入特征$F_{FIT}$中新注入的特征并不具备局部关联性。由于特征注入是由FIT中的Transformer完成的，因此可以注入远距离的特征；这样一来，注入的特征与邻近像素的特征信息可能差异很大。由于这类局部无关联的特征，局部特征提取器难以学习局部模式，从而导致性能更差。第三种变体使用两个Transformer，其效果略逊于我们基于单个Transformer的模块。这是因为单个Transformer已经能够充分增强特征，额外的Transformer对输入特征的增强作用微乎其微。

### 4.4. 与最先进方法的对比

表5和表6显示，我们的HandOccNet分别在HO-3D和FPHA数据集上取得了最佳结果。图8表明，在HO-3D数据集上，我们的HandOccNet相比最先进方法能产生好得多的结果。如图所示，

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>3D joint error</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2L-MeshNet [^26]</td><td style='text-align: center; word-wrap: break-word;'>21.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^14]</td><td style='text-align: center; word-wrap: break-word;'>18.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^23]</td><td style='text-align: center; word-wrap: break-word;'>16.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^15]</td><td style='text-align: center; word-wrap: break-word;'>14.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet (Ours)</td><td style='text-align: center; word-wrap: break-word;'>10.8</td></tr></table>

<div style="text-align: center;">Table 6. Comparison with state-of-the-art methods on FPHA.</div>

我们的HandOccNet即便在严重遮挡情况下也能准确估计手的全局旋转。总体而言，在包含多种手-物体遮挡情况的HO-3D和FPHA数据集上，我们的HandOccNet均优于最先进方法。这些结果与消融研究的结果一致，该研究验证了所提出的特征注入机制。此外，我们在补充材料中展示了在更大数据集Dex-YCB上的对比结果[^2]，以证明HandOccNet的有效性。

### 5. 结论

我们提出了HandOccNet，这是一种对遮挡具有强鲁棒性的新型3D手部网格估计框架。HandOccNet采用一种特征注入机制，通过将主要特征的信息恰当地注入到次要特征的位置，从而使特征图能够抵抗遮挡的影响。为此，我们设计了两个连续的Transformer：FIT和SET。实验结果表明，在包含严重遮挡的3D手部网格基准测试中，我们的方法取得了最先进的性能。

## 6. 致谢

本研究部分得到了韩国政府（MSIT）资助的IITP项目支持[编号2021-0-01343，人工智能研究生项目（首尔国立大学）]。

---

## 参考文献

[^1]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020. 3

[^2]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 8

[^3]: Yu Cheng, Bo Yang, Bo Wang, and Robby T Tan. 3D human pose estimation using spatio-temporal networks with explicit occlusion training. In AAAI, 2020. 2, 3

[^4]: Yu Cheng, Bo Yang, Bo Wang, Wending Yan, and Robby T Tan. Occlusion-aware networks for 3D human pose estimation in video. In ICCV, 2019. 3

[^5]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3D human pose and shape from a video. In CVPR, 2021.

[^6]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV, 2020. 1, 8

[^7]: Hongsuk Choi, Gyeongsik Moon, JoonKyu Park, and Kyoung Mu Lee. Learning to estimate robust 3D human mesh from in-the-wild crowded scenes. In CVPR, 2022. 2

[^8]: Xiao Chu, Wei Yang, Wanli Ouyang, Cheng Ma, Alan L Yuille, and Xiaogang Wang. Multi-context attention for human pose estimation. In CVPR, 2017. 1, 3

[^9]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In ICLR, 2021. 3, 4

[^10]: Mark Everingham and John Winn. The pascal visual object classes challenge 2012 (VOC2012) development kit. In PAS-CAL, 2011. 2

[^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 2, 3, 6

[^12]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 1

[^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 3, 6, 8

[^14]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 3, 6, 8

[^15]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 3, 8

[^16]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 3, 6, 7, 8

[^17]: Lin Huang, Jianchao Tan, Ji Liu, and Junsong Yuan. Hand-transformer: non-autoregressive structured modeling for 3D hand pose estimation. In ECCV, 2020. 3

[^18]: Lipeng Ke, Ming-Ching Chang, Honggang Qi, and Siwei Lyu. Multi-scale structure-aware network for human pose estimation. In ECCV, 2018. 2

[^19]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015. 6

[^20]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 1

[^21]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 3, 8

[^22]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In CVPR, 2017. 3

[^23]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In CVPR, 2021. 3, 4, 6, 8

[^24]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In CVPR, 2018. 1

[^25]: Gyeongsik Moon, Ju Yong Chang, Yumin Suh, and Kyoung Mu Lee. Holistic planimetric prediction to local volumetric prediction for 3D human pose estimation. arXiv preprint arXiv:1706.04758, 2017. 1

[^26]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-pixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, 2020. 1, 8

[^27]: Gyeongsik Moon and Kyoung Mu Lee. NeuralAnnot: Neural annotator for in-the-wild expressive 3D human pose and mesh training sets. arXiv preprint arXiv:2011.11232, 2020.

[^28]: Gyeongsik Moon and Kyoung Mu Lee. Pose2Pose: 3D positional pose-guided 3D rotational pose prediction for expressive 3D human pose and mesh estimation. arXiv preprint arXiv:2011.11534, 2020. 1

[^29]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In ECCV, 2020. 1

[^30]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, 2020. 1

## [^31]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hour-glass networks for human pose estimation. In ECCV, 2016. 6

---

[^32]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. In NeurIPS, 2019. 6

[^33]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. In ACM TOG, 2017. 3

[^34]: István Sárándi, Timm Linder, Kai O Arras, and Bastian Leibe. How robust is 3D human pose estimation to occlusion? arXiv preprint arXiv:1808.09316, 2018. 2

[^35]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017. 2, 3, 4, 5, 6

[^36]: Xiangyu Xu and Chen Change Loy. 3D human texture estimation from a single image with transformers. In ICCV, 2021. 3

[^37]: Sen Yang, Zhibin Quan, Mu Nie, and Wankou Yang. Trans-Pose: Keypoint localization via transformer. In ICCV, 2021.

[^38]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3D human pose estimation with spatial and temporal transformers. In ICCV, 2021.

[^39]: Lu Zhou, Yingying Chen, Yunze Gao, Jinqiao Wang, and Hanqing Lu. Occlusion-aware siamese network for human pose estimation. In ECCV, 2020. 1, 3

[^40]: Meilu Zhu, Daming Shi, Mingjie Zheng, and Muhammad Sadiq. Robust facial landmark detection via occlusion-adaptive deep networks. In CVPR, 2019. 1, 3