# H2ONet：面向实时3D手部网格重建的手部遮挡与朝向感知网络

徐浩$^{1,2}$ 王天宇$^{1}$ 唐潇$^{1}$ 傅志伟$^{1,2,3}$

$^{1}$计算机科学与工程系 $^{2}$医学智能与XR研究所

$^{3}$沈衡工程研究院

香港中文大学

{xuhao,wangty.cwfu}@cse.cuhk.edu.hk, <mailto:xtang@link.cuhk.edu.hk>

{xuhao,wangty,cwfu}@cse.cuhk.edu.hk, <mailto:xtang@link.cuhk.edu.hk>

## 摘要

实时3D手部网格重建是一项极具挑战性的任务，尤其是当手部握有物体时。与以往的方法不同，我们设计了H2ONet来充分利用多帧中的非遮挡信息以提升重建质量。首先，我们将手部网格重建拆分为两个分支：一个用于提取手指级别的非遮挡信息，另一个用于获取全局手部朝向信息，同时采用轻量级结构以保障实时推理能力。其次，我们提出了手指级别的遮挡感知特征融合机制，利用预测的手指级遮挡信息作为引导，对不同时帧的手指级信息进行融合；此外，我们还设计了手部级别的遮挡感知特征融合模块，以从邻近时间帧中获取非遮挡信息。我们在包含复杂手部-物体遮挡情况的Dex-YCB和HO3D-v2数据集上开展了实验，结果表明H2ONet能够实现实时运行，且在手部网格精度和姿态精度方面均达到了最先进的水平。相关代码将在GitHub上发布。

### 1. 引言

从RGB图像中估计3D手部网格是一项基础任务，可应用于诸多场景，例如增强现实[^17] [^52]、行为理解[^26] [^44]等。为了支撑这些应用场景，用户体验至关重要，因此重建结果不仅要准确、鲁棒，还要速度快，即实现实时处理。尽管近期的研究取得了令人瞩目的成果，但同时满足所有要求仍极具挑战性，尤其是当手部被严重遮挡时，比如手部握有物体。

近期，已有多种基于单张RGB图像的三维手部网格重建方法被提出[13, 15, 31, 38–42, 45]。为了减轻遮挡带来的负面影响，一些研究尝试通过采用空间注意力机制来提取对遮挡具有鲁棒性的特征。

![Image](images/ef0b89becc962f0c280ea5a857287d36d62db166783a7ab414a0aded720aac74.jpg)

<div style="text-align: center;">Figure 1. Structural comparison between our H2ONet and previous methods. We decouple 3D hand mesh reconstruction into two branches, one to reconstruct the hand mesh at canonical pose M and the other to regress the global hand orientation R, such that we can fuse finger- and hand-level occlusion-aware features from multiple frames to better exploit the non-occluded information.</div>

在三维手部姿态估计中应用的空间注意力机制 [^14] [^65] [^68]。当遮挡程度较小时，更多地关注未被遮挡的区域有助于提升网络性能。然而，一旦被遮挡区域占据主导地位，性能便会大幅下降，这表明仅依赖手部形状和姿态的先验信息是不够的。此外，注意力机制还会带来额外的计算与内存开销。尽管近期的一些方法 [^8] [^52] 采用了轻量级框架以实现实时推理，但并未考虑遮挡的影响。

另一方面，一些近期的研究[^18] [^57]开始探索将多帧RGB图像作为3D手部网格重建的输入。SeqHAND[^57]采用LSTM作为特征提取器，以记忆连续帧中的手部运动。Liu等人[^35]通过设计帧间损失函数来约束手部形状和姿态的平滑性。不过，他们

---

并没有专门的设计来显式处理遮挡问题。Hasson等人[^18]利用光流引导策略来增强光度一致性。然而，由于他们仅使用了相邻的两帧，因此所利用的额外信息十分有限。此外，尽管多帧输入能提供更多信息，但要有效提取并融合多帧特征以提升重建质量并非易事。

在本文中，我们提出了H2ONet——一种能够感知手部遮挡与朝向的网络，旨在利用多帧图像中的非遮挡信息来重建3D手部网格。我们的目标满足以下要求：(i) 有效利用帧间信息；(ii) 显式减轻遮挡带来的干扰。

首先，由于手部朝向信息与手部形状信息在特征空间中相互混杂，直接融合多帧特征较为困难。为了更好地利用有用信息，我们将手部网格重建任务拆分为两项：一项是针对标准姿态下的手部网格重建，另一项则是手部朝向回归，如图1所示。其主要优势在于：我们无需考虑手部朝向差异就能更好地融合多帧特征，同时还能采用相应策略来缓解手部朝向估计中的不适定问题。

其次，为了处理手部的自身遮挡和物体遮挡问题，我们提出在空间上利用手指间的非遮挡信息，在时间上利用帧间的非遮挡信息。对于前者，我们设计了基于手指级别的遮挡感知特征融合机制，该机制利用预测的手指级遮挡概率来指导多帧中各手指特征的自适应融合。对于后者，我们设计了基于手部级别的遮挡感知特征融合机制，该机制能借助手部级别的遮挡信息来获取帧间的辅助全局信息。

综上所述，我们的主要贡献如下：

- 我们设计了名为H2ONet的、具有双分支架构的手部遮挡与朝向感知网络，以便高效且有效地利用多帧中的非遮挡信息。

- 我们构建了基于手指级别的遮挡感知特征融合模块以及基于手部级别的遮挡感知特征融合模块。前者聚合多帧中未被遮挡的手指级信息以促进手部形状重建；后者则能在手部暂时被遮挡时缓解手部朝向估计中的不适定问题。

- 通过在两个存在严重手部遮挡的数据集上进行定性和定量对比实验，我们证明H2ONet达到了最先进的性能。

### 2. 相关工作

单帧3D手部网格重建。根据输入类型的不同，单帧方法可分为两类：基于深度的方法与基于RGB的方法。

早期的基于深度的方法[^29] [^51] [^53]通过迭代优化将可变形手部网格拟合到深度图像上。近期基于深度学习的方法[^36] [^43] [^56]利用CNN作为强大的特征提取器或参数回归器，以提升性能。

对于基于RGB的方法，大多数研究[1–4, 10, 20, 25, 35, 59, 61–64, 67, 69]直接估计MANO参数[^46]。其他表示方式包括体素网格[^24] [^39] [^42] [^58]、隐式函数[^37]、UV贴图[^7]以及顶点[^9] [^15] [^31] [^33] [^34]。然而，现有研究大多没有明确考虑遮挡问题，当手部被自身或其他物体遮挡时，结果往往不尽如人意。总体而言，最相关且最新的工作是HandOccNet[^45]。它通过设计自注意力模块和交叉注意力模块来处理手-物体数据集中的遮挡问题。不过，当遮挡占据大部分图像空间时，手部姿态和形状的估计会变得严重不适定。

在这项工作中，我们提出充分利用非遮挡信息，首先显式估计手指级别的遮挡情况，进而融合多帧中的手部级信息，以解决遮挡问题。

多帧3D手部网格重建。一些近期的研究开始利用多帧输入进行3D手部网格重建。SeqHAND[^57]采用卷积-LSTM[^49]。Chen等人[^6]设计了一种自监督方法，利用连续帧间的双向手部一致性。总体而言，现有研究主要侧重于提升时间一致性，却忽略了多帧信息融合时的遮挡问题。此外，它们很难保持快速的推理速度，因为它们要么使用大量帧作为输入，要么基于优化过程。在这项工作中，我们预测手指级别的遮挡概率，以自适应地指导多时间帧上的信息融合。

3D手-物体网格重建。手部与物体的联合重建正受到越来越多的关注[^4] [^18] [^19] [^60]。Hasson等人[^18]假设物体模型已知，并利用相邻帧间的光度一致性来改进手-物体重建。随后，他们设计了一种优化方法[^19]，引入接触损失以鼓励接触面的形成，并惩罚视频中手部与物体之间的穿透现象。Karunratanakul等人[^27]提出了一种以符号距离场形式表示的手部隐式表征。近期的研究[^54]也采用了协作学习框架，通过关联损失隐式建模相互遮挡现象。

考虑遮挡的3D人体姿态估计。在人体姿态估计中，处理遮挡有三种常见方法。首先，我们可以在数据增强中模拟遮挡，例如用黑色区域覆盖图像的部分内容[^48]，或将背景补丁复制到未遮挡的人体区域[^28]，或者随机设置所估计的2D热图的一些数值。

---

![Image](images/dc85fd18ef6f625d805b2e1578b0e30375e6cab10e2b5225eacb7556d288d2ab.jpg)

<div style="text-align: center;">Figure 2. The H2ONet architecture: (i) the dual-branch encoder extracts general and task-specific features; (ii) the hand mesh reconstruction module focuses on constructing hand meshes at canonical poses by predicting finger-level occlusions and taking these information as guidance to fuse the multi-frame information; and (iii) the hand orientation regression module predicts the global hand orientation using the predicted hand-level visibility (equivalently, the occlusion) across multiple frames for support the estimation of the hand orientation.</div>

将其置为零[^11]。尽管这些技术能带来一定改进，但由于合成遮挡与真实遮挡之间存在域差异，仍难以解决真实的遮挡问题。

另一种方法是更有效地利用空间信息，例如[^14] [^65] [^68]利用注意力机制[^55]来增强未被遮挡的人体区域的特征，并将信息传递到缺失的部分。不过，注意力机制会增加计算开销，从而难以实现实时性能。

最后，一些研究通过利用视频中的时间信息来弥补被遮挡的信息。Cheng等人[^12]通过时序CNN将估计出的带遮挡标记的2D姿态序列提升到3D。不过，他们主要考虑的是无严重遮挡的单纯人体情况，比如手-物体数据集中的场景。

### 3. 方法

#### 3.1. 概述

图2展示了H2ONet重建3D手部网格的流程，尤其是当手正在握持和操纵物体时。首先，三个RGB帧被输入到双分支编码器中，为后续两个模块提取任务特定的信息。

- 手部网格重建模块首先预测2D关节坐标和手指级遮挡情况，然后利用这些信息来获取并融合特征，再通过解码器重建手部网格（详见第3.2节）。

- 与此同时，手部朝向回归模块以手部级遮挡预测为指导，聚合全局特征，进而回归全局手部朝向（详见第3.3节）。损失函数的细节在第3.4节中介绍。

双分支编码器。我们设计了双分支编码器，用两个共享来自前序网络所提取的通用特征的编码器头来进行特征提取。具体来说，给定输入帧$\mathbf{I} = \{\mathbf{I}_{t-ik} : i \in \{0,1,2\}\}$，其中$\mathbf{I}_t$表示当前帧，$\mathbf{I}_{t-k}$、$\mathbf{I}_{t-2k}$表示前两帧（k为帧间隔），首先采用沙漏块来提取多尺度精细化特征$\mathbf{F}_1$。为了节省计算量，我们按照[^21]的做法，用SENet[^23]和MobileNet[^22]提出的计算效率更高的模块替换了常用的ResNet[^8]模块。之后，我们将$\mathbf{F}_1$分别输入：(i) 手部网格编码器，生成用于重建3D手部网格的特征$\mathbf{F}_M$；以及(ii) 手部朝向编码器，生成用于回归全局手部朝向的特征$\mathbf{F}_O$。

#### 3.2. 手部网格重建

当手在操纵物体时，随着手的移动和旋转，不同手指可能会在遮挡和非遮挡状态之间切换。重建被遮挡的手指属于不适定问题，因此对其的预测结果不如非遮挡手指可靠。基于相邻帧间的变换多为刚性的这一假设，我们提出利用手指级遮挡概率作为引导，来帮助自适应地融合和利用输入帧中非遮挡手指所包含的指尖级信息。

准备手指级遮挡标签。我们的方法会显式预测手指级遮挡情况，但手-物体数据集仅提供手部分割的真实标签。因此，我们设计了一种利用提供的真实标签自动生成遮挡标签的方法，用于模型训练。

图3(a)展示了具体流程。给定一个真实的手部网格，我们首先定位与不同手部部位相关的顶点，即五个手指和手掌，它们分别是

---

这些部分通过不同颜色加以区分。接着，我们在图像视图中用颜色渲染手部网格（图3(a-ii)）以及2D顶点（图3(a-v)）。利用手部分割的基准真值对渲染出的手部网格图像进行掩码处理（图3(a-iii)），便可去除被物体遮挡的手部区域（图3(a-iv)）。随后，针对每个手指，我们将其各个顶点（图3(a-v)）与掩码图像（图3(a-iv)）进行对比，以判断该顶点在图像视图中是否因手部自身或物体而受到遮挡。若被遮挡的顶点数量超过阈值（设为50个），则相应的手指被视为“被遮挡”。就整体手部遮挡而言，若被遮挡的手部像素比例超过50%，则该手部被视为“被遮挡”。

手指级遮挡预测。为了预测每个手指的遮挡情况，我们需要分析与该手指相关的像素特征，并过滤掉无关的背景特征。然而，手部分割需要逐像素进行预测，这会降低计算效率。因此，我们直接利用预测的2D关节坐标，提取关节特征作为手指级遮挡分类器的输入，如图3(b)所示。

另一个问题是，某些2D关节可能彼此距离过近，因此若仅依靠单个手指的特征通过共享网络来预测遮挡，可能会导致混淆。为此，我们设计了一个基础多层感知机（MLP）来从所有手指特征中提取全局特征，并采用五个轻量级的头层MLP来独立预测每个手指的遮挡概率。

考虑遮挡的网格重建。给定来自双分支编码器的特征$\mathbf{F}_{\mathbf{M}}$，我们采用[^8]中的2D关节坐标回归和2D到3D特征映射技术。如图2所示，$\mathbf{F}_{\mathbf{M}}$首先经过几层卷积运算，再输入多层感知机以回归归一化的2D关节位置$\mathbf{J}^{2D}$。接着，我们从$\mathbf{F}_{\mathbf{J}}$中根据$\mathbf{F}_{\mathbf{M}}$索引出2D关节特征$\mathbf{J}^{2D}$，并通过可学习的投影矩阵$\mathbf{F}_{\mathbf{V}}$将其映射到低分辨率的3D顶点特征$\mathbf{P}$，即：

 $$ \mathbf{F}_{\mathbf{V}}=\mathbf{P}\cdot\mathbf{F}_{\mathbf{J}}, $$

其中$\mathbf{F}_{\mathbf{V}} \in \mathbb{R}^{n \times c}$、$\mathbf{P} \in \mathbb{R}^{n \times m}$、$\mathbf{F}_{\mathbf{J}} \in \mathbb{R}^{m \times c}$；$m = 21$表示关节数量；c为特征通道数；n为下采样后手部网格中的顶点数量。

此外，抬升后的顶点特征 $\mathbf{F}_{\mathbf{V}}$ 会被输入到一个四层的基于SpiralConv的 [^32] 解码器中，每层将特征上采样2倍，最终回归出原始分辨率的网格顶点。由于最后一个解码层之前的特征包含的方向信息最少，且其顶点数量已与输出手部网格一致，因此我们将其作为输入，用于融合所有帧的信息。为表述清晰，我们用 $\mathbf{F}_{\mathbf{V}_{t-ik}}$、$i \in \{0,1,2\}$ 来表示第 $(t-ik)$ 帧的解码特征。具体而言，我们在一个分支前进行了拆分。

![Image](images/bed3850aef54ac5aaa316967b0824299f20da979db0553e59ce56725b2e0eef3.jpg)

(iii) 输入的手部分割结果。(v) 投影后的顶点

(a) 手指级遮挡标签制备

<div style="text-align: center;">Figure 3. (a) The procedure of preparing finger-level occlusion labels. (b) The architecture of the finger-level occlusion classifier.</div>

解码器的最后一层会根据预定义的顶点索引，将 $\mathbf{F}_{\mathbf{V}_{t-ik}}$ 分配给不同的手指。由于未被遮挡的手指包含更多信息，因此首先会按照 $(t-ik)$ 帧中每个手指 f 对应的特征，乘以权重 $\mathbf{W}_{t-ik}^f$；该权重是通过对沿帧维度预测的手指级遮挡概率 $\Omega_{t-ik}^f$ 应用 softmax 函数得到的，即

 $$ \mathbf{W}_{t-i k}^{f}=\frac{e^{\omega_{t-i k}^{f}}}{\sum_{j=0}^{N-1}e^{\omega_{t-j k}^{f}}},\quad\mathbf{\Omega}_{t-i k}^{f}=\{\omega_{t-i k}^{d}:d\in\{0,...,D-1\}\}. $$

其中 $N=3$ 表示输入帧的数量；$D=5$ 表示手指的数量；而 $\omega_{t-ik}^{d}$ 则表示第 $(t-ik)$ 帧中第 d 根手指的遮挡概率。接着，对于所有手指而言，混合特征 $\mathbf{F}^{\prime}$ 是通过以下方式获得的：

 $$ \mathbf{F}^{\prime}=\sum_{i=0}^{N-1}\mathbf{W}_{t-i k}\cdot\mathbf{F}_{\mathbf{V}_{t-i k}}. $$

最后，我们进一步通过 $\mathbf{F}'$ 自适应地融合 $\text{MLP}\, q(\cdot)$，从而生成当前帧的每个顶点偏移量 $\Delta\mathbf{M}$，即：

 $$ \begin{aligned}&\mathbf{M}_{t-ik}^{c}=p\left(\mathbf{F}_{\mathbf{V}_{t-ik}}\right),i\in\{0,1,2\}.\\&\Delta\mathbf{M}=q\left(\mathbf{F}^{\prime}\right),\quad\mathbf{M}_{t}^{c}=\Delta\mathbf{M}+\mathbf{M}_{t}^{c},\\ \end{aligned} $$

其中 $p(\cdot)$ 表示基于SpiralConv的解码器，而 $\mathbf{M}_{t-ik}^{c}$ 则表示从输入帧 $\mathbf{I}_{(t-ik)}$ 中得到的规范姿态下的预测网格顶点。

#### 3.3. 手部方向回归

考虑到当前手部有时可能会严重被遮挡，尽管物体姿态能提供一些线索，但它并不总是可靠的。因此，我们提出

---

利用之前帧的信息来补充当前帧的信息。其核心思路是利用最近的非遮挡帧来帮助修正当前手部的估计方向，尤其是当该手部在视图中大部分被遮挡时。为此，对于所有帧，我们首先对提取的特征 $\mathbf{F}_{\mathbf{O}}$ 进行编码并展平，以获得所有帧的全局特征 $\mathbf{G}$。然后，我们利用手部级别的遮挡信息来整合其他帧的数据。

手部级别遮挡预测。我们尝试用两种不同方式来预测手部级别的遮挡 $\Omega^h$。首先，我们在手指级别遮挡分类器的基础上增加了一个分支，该分支的输入已经包含了整只手的全局信息。虽然这种方法在所有数据集上的分类准确率能超过90%，但我们在实验中发现，分类错误情况下的方向回归精度会受到严重影响。

另一种方法是直接利用预测的手指级别遮挡概率，只有当所有手指都被遮挡时，才认为手部被遮挡。具体来说，对于所有帧，它们的全局手部级别遮挡情况为

 $$ \Omega_{t-i k}^{h}=\prod_{d=0}^{D-1}\operatorname{a r g m a x}[\omega_{t-i k}^{d}],\;i\in\{0,1,2\}, $$

其中 $\Omega_{t-ik}^h$ 是第 $(t-ik)$ 帧的预测手部级别遮挡情况，而 $\omega_{t-ik}^d$ 是第 d 根手指的预测遮挡概率；详见第3.2节。这意味着一个更严格的条件，能够减轻分类错误带来的影响。

考虑遮挡的方向回归。基于手部级别的遮挡感知特征融合主要有助于缓解手部高度（或完全）被遮挡时的病态问题。我们设计了一种逐帧查询策略，根据相关的手部级别遮挡预测 $\Omega^h$ 来融合多帧特征。

具体而言，我们按时间逆序（从 $\Omega^h$ 到 $\mathbf{I}_t$）逐帧检查 $\mathbf{I}_{t-2k}$，如果第 $\mathbf{G}_{t-ik}$ 帧未被遮挡，则取特征 $\mathbf{G}'$ 作为输出特征 $(t-ik)$。具体来说，我们将 $\mathbf{G}'$ 的计算分为两步。首先，对于第 $(t-ik)$ 帧，我们计算

 $$ \mathbf{G}_{t-i k}^{\prime}=\left\{\begin{array}{l l}{\mathbf{\Omega}_{t}^{h}\cdot\mathbf{G}_{t}+\left(\prod_{j=0}^{N-1}\left(1-\mathbf{\Omega}_{t-j k}^{h}\right)\right)\cdot\mathbf{G}_{t},}&{\mathrm{i f~}i=0}\\ {\left(\prod_{j=0}^{i-1}\left(1-\mathbf{\Omega}_{t-j k}^{h}\right)\right)\cdot\mathbf{\Omega}_{t-i k}^{h}\cdot\mathbf{G}_{t-i k},}&{\mathrm{o t h e r w i s e}.}\end{array}\right. $$

这里，$\Omega_{t-ik}^h = 0$ 表示第 $(t-ik)$ 帧被预测为“被遮挡”。随后，我们通过 $\mathbf{G}'$ 得到 $\sum_{i=0}^{N-1} \mathbf{G}_{t-ik}'$。注意，如果所有帧都被遮挡，我们会将 $\mathbf{G}' = \mathbf{G}_t$ 设为相应值。

为了进一步获取手部朝向，我们将原始特征 $\mathbf{G}$ 输入到 MLP $f(\cdot)$ 中，以回归所有帧的旋转 6D [^66] 参数，这些参数随后会被转换成 3D 旋转矩阵 $\mathbf{R}$。同时，由于细化当前手部朝向不仅需要辅助帧的信息，还需要当前手部的自身状态，因此我们将补充特征 $\mathbf{G}'$ 和当前帧的特征 $\mathbf{G}_t$ 一起输入到另一个 MLP $g(\cdot)$ 中，以回归旋转偏移量 $\Delta\mathbf{R}$，进而更新 $\mathbf{R}_t$：

 $$ \begin{aligned}\mathbf{R}_{t-ik}&=f\left(\mathbf{G}_{t-ik}\right),i=0,...,N-1.\\\Delta\mathbf{R}&=g\left(\mathrm{cat}\left[\mathbf{G}^{\prime},\mathbf{G}_{t}\right]\right),\quad\mathbf{R}_{t}=\Delta\mathbf{R}\mathbf{R}_{t},\end{aligned} $$

其中 cat [. , .] 表示拼接操作。

最后，我们对 $\mathbf{R}_{t-ik}$ 应用 $\mathbf{M}_{t-ik}^{c}$，从而得到在相机坐标系下的旋转后的手部网格 $\mathbf{M}_{t-ik}^{r}$。此外，我们分别将 $\mathbf{J}_{ct-ik}^{3D}$ 和 $\mathbf{J}_{r-ik}^{3D}$ 与顶点到关节回归矩阵相乘，来计算标准姿态下的 3D 关节坐标 $\mathbf{M}_{t-ik}^{c}$ 以及相机坐标系下的 3D 关节坐标 $\mathbf{M}_{t-ik}^{r}$。该回归矩阵由 MANO 预定义，并被设置为可学习的，以便更好地使手部模型适配特定数据集。需要注意的是，前几帧顶点的 3D 关节坐标仅用于计算损失；出于效率考虑，我们在测试时不会保留其网络结构。

#### 3.4. 损失函数

对于 3D 手部网格重建，我们采用了几种常用的 2D 和 3D 损失函数。首先，使用 L1 损失来约束预测的手部网格与标准姿态下的真实值之间的距离。同样的监督机制也应用于 3D 关节坐标。同时，2D 关节坐标则通过归一化的真实值进行监督。具体来说，我们有 3D 网格损失 $\mathcal{L}_{\mathcal{M}}^{c}$、3D 关节损失 $\mathcal{L}_{3D}^{c}$ 以及 2D 关节损失 $\mathcal{L}_{2D}$，其形式如下：

 $$ \begin{aligned}\mathcal{L}_{\mathcal{M}}^{c}=&\sum_{i=0}^{N-1}||\mathbf{M}_{t-ik}^{c}-\hat{\mathbf{M}}_{t-ik}^{c}||_{1},\mathcal{L}_{\mathcal{J}_{3D}}^{c}=\sum_{i=0}^{N-1}||\mathbf{J}_{c_{t-ik}}^{3D}-\hat{\mathbf{J}}_{c_{t-ik}}^{3D}||_{1},\\&\text{and}\mathcal{L}_{\mathcal{J}_{2D}}=\sum_{i=0}^{N-1}||\mathbf{J}_{t-ik}^{2D}-\hat{\mathbf{J}}_{t-ik}^{2D}||_{1},\end{aligned} $$

其中 c 表示标准姿态，即不涉及全局旋转，上标 hat 表示真实值。同样，这些损失也应用于经过预测朝向旋转后的 3D 网格和关节，因此我们有 $\mathcal{L}_{\mathcal{M}}^{r}$ 和 $\mathcal{L}_{\mathcal{J}_{3D}^{r}}$。为清晰起见，我们直接用 $\mathcal{L}_{\mathcal{M}}=\mathcal{L}_{\mathcal{M}}^{c}+\mathcal{L}_{\mathcal{M}}^{r}$ 和 $\mathcal{L}_{\mathcal{J}_{3D}}=\mathcal{L}_{\mathcal{J}_{3D}}^{c}+\mathcal{L}_{\mathcal{J}_{3D}}^{r}$ 来表示应用旋转前后的 3D 网格和关节损失。

此外，我们还采用法线和边长约束来惩罚异常顶点：

 $$ \begin{align*}\mathcal{L}_{\mathcal{N}}^{\mathrm{c}}&=\sum_{i=0}^{N-1}\sum_{\mathbf{f}\in\mathbf{M}_{c_{t-i}}}\sum_{\mathbf{e}\in\mathbf{f}}||\langle\mathbf{e},\hat{\mathbf{n}}\rangle||_{1},\\ and\mathcal{L}_{\mathcal{E}}^{\mathrm{c}}&=\sum_{i=0}^{N-1}\sum_{\mathbf{f}\in\mathbf{M}_{c_{t-i}}}\sum_{\mathbf{e}\in\mathbf{f}}|||\mathbf{e}|-|\hat{\mathbf{e}}|||_{1},\end{align*} $$

其中 f 表示来自预测手部网格的三角形面，e 和 n 分别表示三角形的边和法向量。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-F@15 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO [^33]</td><td style='text-align: center; word-wrap: break-word;'>7.0</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spurr et al. [^50]</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>86.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>17.3</td><td style='text-align: center; word-wrap: break-word;'>69.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^35]</td><td style='text-align: center; word-wrap: break-word;'>6.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.3</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^45]</td><td style='text-align: center; word-wrap: break-word;'>5.8</td><td style='text-align: center; word-wrap: break-word;'>88.4</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>89.0</td><td style='text-align: center; word-wrap: break-word;'>78.0</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>14.0</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>13.1</td><td style='text-align: center; word-wrap: break-word;'>76.6</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>92.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^8]</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>87.3</td><td style='text-align: center; word-wrap: break-word;'>5.6</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>78.5</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>14.2</td><td style='text-align: center; word-wrap: break-word;'>73.7</td><td style='text-align: center; word-wrap: break-word;'>13.1</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>50.8</td><td style='text-align: center; word-wrap: break-word;'>92.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our H2ONet $^{\dagger}$</td><td style='text-align: center; word-wrap: break-word;'>5.7</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>89.1</td><td style='text-align: center; word-wrap: break-word;'>80.1</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>14.0</td><td style='text-align: center; word-wrap: break-word;'>74.6</td><td style='text-align: center; word-wrap: break-word;'>13.0</td><td style='text-align: center; word-wrap: break-word;'>76.2</td><td style='text-align: center; word-wrap: break-word;'>51.3</td><td style='text-align: center; word-wrap: break-word;'>92.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our H2ONet</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>89.4</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>89.6</td><td style='text-align: center; word-wrap: break-word;'>80.5</td><td style='text-align: center; word-wrap: break-word;'>99.3</td><td style='text-align: center; word-wrap: break-word;'>13.7</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>12.7</td><td style='text-align: center; word-wrap: break-word;'>76.6</td><td style='text-align: center; word-wrap: break-word;'>52.1</td><td style='text-align: center; word-wrap: break-word;'>92.3</td></tr></table>

<div style="text-align: center;">Table 1. Results on the DexYCB dataset. -: the results are unavailable. †: our method only uses single-frame input. The best and second-best results are marked in bold and underlined for better comparison. Our method achieves the best performance on almost all metrics.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td></tr><tr><td rowspan="12">SF</td><td style='text-align: center; word-wrap: break-word;'>Pose2Mesh [^13]</td><td style='text-align: center; word-wrap: break-word;'>12.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.7</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>44.1</td><td style='text-align: center; word-wrap: break-word;'>90.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2L-MeshNet [^39]</td><td style='text-align: center; word-wrap: break-word;'>11.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>13.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>40.9</td><td style='text-align: center; word-wrap: break-word;'>93.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ObMan [^20]</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>11.0</td><td style='text-align: center; word-wrap: break-word;'>77.8</td><td style='text-align: center; word-wrap: break-word;'>46.0</td><td style='text-align: center; word-wrap: break-word;'>93.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3D et al. [^16]</td><td style='text-align: center; word-wrap: break-word;'>10.7</td><td style='text-align: center; word-wrap: break-word;'>78.8</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>79.0</td><td style='text-align: center; word-wrap: break-word;'>50.6</td><td style='text-align: center; word-wrap: break-word;'>94.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO [^33]</td><td style='text-align: center; word-wrap: break-word;'>10.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>48.4</td><td style='text-align: center; word-wrap: break-word;'>94.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^35]</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>79.7</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>80.4</td><td style='text-align: center; word-wrap: break-word;'>52.9</td><td style='text-align: center; word-wrap: break-word;'>95.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2UV-HandNet [^7]</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>80.4</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>79.9</td><td style='text-align: center; word-wrap: break-word;'>50.0</td><td style='text-align: center; word-wrap: break-word;'>94.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Tse et al. [^54]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>48.5</td><td style='text-align: center; word-wrap: break-word;'>94.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^45]</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>56.1</td><td style='text-align: center; word-wrap: break-word;'>96.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon $^{*}$ [^8]</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>53.8</td><td style='text-align: center; word-wrap: break-word;'>95.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^8]</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>81.3</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>81.0</td><td style='text-align: center; word-wrap: break-word;'>53.3</td><td style='text-align: center; word-wrap: break-word;'>95.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our H2ONet $^{\dagger}$</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>82.0</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>55.4</td><td style='text-align: center; word-wrap: break-word;'>96.0</td></tr><tr><td rowspan="4">MF</td><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^18]</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>77.3</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>77.3</td><td style='text-align: center; word-wrap: break-word;'>42.8</td><td style='text-align: center; word-wrap: break-word;'>93.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^19]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.7</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>39.0</td><td style='text-align: center; word-wrap: break-word;'>88.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. $^{\ddagger}$ [^35]</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>81.2</td><td style='text-align: center; word-wrap: break-word;'>53.0</td><td style='text-align: center; word-wrap: break-word;'>95.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our H2ONet</td><td style='text-align: center; word-wrap: break-word;'>8.5</td><td style='text-align: center; word-wrap: break-word;'>82.9</td><td style='text-align: center; word-wrap: break-word;'>8.6</td><td style='text-align: center; word-wrap: break-word;'>82.8</td><td style='text-align: center; word-wrap: break-word;'>57.0</td><td style='text-align: center; word-wrap: break-word;'>96.6</td></tr></table>

<div style="text-align: center;">Table 2. Results on the HO3D-v2 dataset (after PA). SF and MF denote single-frame input and multi-frame input, respectively. *: the model is trained with complement data. -: the results are unavailable from previous papers. †: the model uses multi-frame supervision. †: our method with only a single frame as input. Our method achieves the best performance on all metrics.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^35]</td><td style='text-align: center; word-wrap: break-word;'>30.0</td><td style='text-align: center; word-wrap: break-word;'>49.0</td><td style='text-align: center; word-wrap: break-word;'>28.9</td><td style='text-align: center; word-wrap: break-word;'>50.3</td><td style='text-align: center; word-wrap: break-word;'>23.2</td><td style='text-align: center; word-wrap: break-word;'>68.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^45]</td><td style='text-align: center; word-wrap: break-word;'>24.9</td><td style='text-align: center; word-wrap: break-word;'>53.9</td><td style='text-align: center; word-wrap: break-word;'>24.2</td><td style='text-align: center; word-wrap: break-word;'>55.1</td><td style='text-align: center; word-wrap: break-word;'>26.0</td><td style='text-align: center; word-wrap: break-word;'>72.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^8]</td><td style='text-align: center; word-wrap: break-word;'>25.2</td><td style='text-align: center; word-wrap: break-word;'>53.7</td><td style='text-align: center; word-wrap: break-word;'>24.4</td><td style='text-align: center; word-wrap: break-word;'>55.0</td><td style='text-align: center; word-wrap: break-word;'>26.4</td><td style='text-align: center; word-wrap: break-word;'>72.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our H2ONet $^{*}$</td><td style='text-align: center; word-wrap: break-word;'>23.0</td><td style='text-align: center; word-wrap: break-word;'>56.6</td><td style='text-align: center; word-wrap: break-word;'>22.4</td><td style='text-align: center; word-wrap: break-word;'>57.7</td><td style='text-align: center; word-wrap: break-word;'>26.7</td><td style='text-align: center; word-wrap: break-word;'>73.6</td></tr></table>

<div style="text-align: center;">Table 3. Results on the HO3D-v2 dataset (before PA).*: the model is trained with complement data. Our method achieves the best performance on all metrics.</div>

 $$ \begin{align*}{\cal L}_{\cal O}=-\sum\limits_{i=0}^{N-1}\sum\limits_{d=0}^{D-1}\hat{\omega}^d_{t-ik}\log\omega^d_{t-ik},\end{align*} $$

需要注意的是，这些计算仅针对标准姿态下的手部网格。

另外，对于手指级遮挡预测，我们采用常用的 softmax 交叉熵损失：

其中 $\omega_{t-ik}^{d}$ 表示第 $(t-ik)$ 帧中第 d 根手指的预测遮挡概率。

对于手部朝向回归，我们使用 L2 损失：

 $$ \mathcal{L}_{\mathcal{R}}=\sum_{i=0}^{N-1}||\mathbf{R}_{t-i k}^{T}\hat{\mathbf{R}}_{t-i k}-\mathbb{1}||_{2}, $$

其中 $\mathbb{1}$ 是单位矩阵。

![Image](images/28e5d4882a3aacbe373f3a7014d141d628ffb833e99b74d187e83331dc2ad1a7.jpg)

<div style="text-align: center;">Figure 4. The mesh AUC comparison under different thresholds. Our method performs consistently better than others.</div>

总损失由 $\mathcal{L}_{total} = \mathcal{L}_{\mathcal{M}} + \mathcal{L}_{\mathcal{J}_{3D}} + \mathcal{L}_{\mathcal{J}_{2D}} + \lambda \mathcal{L}_{\mathcal{N}}^{c} + \mathcal{L}_{\mathcal{E}}^{c} + \mathcal{L}_{\mathcal{O}} + \mathcal{L}_{\mathcal{R}}$ 定义，且 $\lambda$ 被设为 0.1。

### 4. 实验

#### 4.1. 实验设置

数据集。我们在实验中使用了两个基准数据集。第一个是Dex-YCB [^5]，这是一个近期发布的大规模3D手-物体交互数据集。它提供了1000个序列（超过582,000帧）的数据，涉及10名受试者从8个独立视角抓取20种不同的物体。我们采用默认的“S0”训练/测试划分方式，分别使用406,888个和78,768个样本进行训练和测试。在该大型数据集上的评估能够检验不同方法的有效性与鲁棒性。第二个数据集是HO3D-v2 [^16]，这是一个广泛使用的3D手-物体交互数据集，分别提供55个和13个序列，对应66,034个和11,524个训练/测试样本。由于其测试集中的真实值并未公开，因此评估只能通过向官方服务器提交结果来完成。

评估指标。我们采用了HO3D-v2官方在线竞赛中规定的评估指标。J-PE/V-PE表示关节/顶点位置误差，用于衡量预测与真实3D手部关节/顶点坐标之间的平均欧几里得距离（单位：毫米）。J-AUC/V-AUC则表示在不同误差阈值下，正确关键点百分比（PCK）曲线下的面积，用于评估关节/顶点的精度。F分数用于衡量预测与真实手部网格顶点之间的召回率与精确度的调和平均值；我们遵循以往的研究，采用F@5mm和F@15mm作为评估指标。需要注意的是，PA指

---

![Image](images/f8796580ffd29be742b5664f742d537ad35f1bbf210a34982d3cde46d77e4487.jpg)

<div style="text-align: center;">Figure 5. Example challenging cases in the two datasets, in which the occlusions dominate the images. H2ONet can still estimate the hand orientations and reconstruct plausible hand meshes.</div>

在Procrustes对齐之后计算出的指标，也就是说会忽略全局旋转与尺度差异的影响。

即忽略全局旋转与尺度差异的影响。实现细节方面，特征编码网络在ImageNet [^47]上预训练。我们采用Adam优化器 [^30]来训练该网络，批量大小为32，运行在NVIDIA RTX 3090上。为了稳定训练过程，我们采用了两阶段策略：首先优化手部网格重建分支，之后再与其他部分联合训练。输入图像会被调整大小为$128 \times 128$，并经过随机缩放、旋转和颜色抖动等增强处理。对于多帧选择，由于Dex-YCB和HO3D-v2的帧率不同，我们将Dex-YCB的帧间隔k设为5，HO3D-v2则设为30。其他所有细节均会在我们的代码中予以说明。

#### 4.2. 与最先进方法的比较

在Dex-YCB上的评估。为了评估手部网格重建的质量，我们首先在Dex-YCB测试集上定量地将我们的方法与最先进的方法进行比较。我们报告了PA前后的性能数据，以便更好地展示H2ONet的有效性；详见表1以及图4中的上方图表。需要注意的是，Dex-YCB是一个非常新的数据集，因此大多数以往的研究并未在其上进行评估。

为了进行详细的比较，我们创建了该方法的单帧版本，在该版本中我们移除了网格重建与旋转估计分支中的多帧信息融合机制。从结果可以看出，单帧版本的H2ONet已经能够取得与最先进方法HandOccNet相当的性能，这证明了我们将网格重建与全局旋转估计解耦这一思路的有效性。此外，完整的多帧版本H2ONet在几乎所有指标上均取得了最佳结果，显示出其对抗遮挡的鲁棒性，同时还能保持实时处理速度；具体细节见第4.3节。一些定性结果展示在图5(a)和图6(a)中，更多结果见于补充材料。最先进的方法MobRecon和HandOccNet在严重遮挡的情况下可能无法准确估计全局旋转或恢复出正确的形状，而我们的H2ONet仍能产生令人满意的结果，这体现了我们针对遮挡情况所设计机制的有效性。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>Pose2Mesh [^13]</td><td style='text-align: center; word-wrap: break-word;'>I2L-MeshNet [^39]</td><td style='text-align: center; word-wrap: break-word;'>ObMan [^20]</td><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^35]</td><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^45]</td><td style='text-align: center; word-wrap: break-word;'>MobRecon [^8]</td><td style='text-align: center; word-wrap: break-word;'>Ours $^{\dagger}$</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FPS</td><td style='text-align: center; word-wrap: break-word;'>22</td><td style='text-align: center; word-wrap: break-word;'>33</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>32</td><td style='text-align: center; word-wrap: break-word;'>30</td><td style='text-align: center; word-wrap: break-word;'>59</td><td style='text-align: center; word-wrap: break-word;'>43</td><td style='text-align: center; word-wrap: break-word;'>35</td></tr></table>

<div style="text-align: center;">Table 4. Running time comparison with other methods. Ours $^{\dagger}$: only a single frame as input. Ours: multi-frame input while being real-time and achieving top performance (see Tabs. 1 to 3)</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Models</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>i)</td><td style='text-align: center; word-wrap: break-word;'>B</td><td style='text-align: center; word-wrap: break-word;'>6.36</td><td style='text-align: center; word-wrap: break-word;'>5.59</td><td style='text-align: center; word-wrap: break-word;'>14.20</td><td style='text-align: center; word-wrap: break-word;'>13.11</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ii)</td><td style='text-align: center; word-wrap: break-word;'>B+D</td><td style='text-align: center; word-wrap: break-word;'>5.65</td><td style='text-align: center; word-wrap: break-word;'>5.45</td><td style='text-align: center; word-wrap: break-word;'>14.02</td><td style='text-align: center; word-wrap: break-word;'>13.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>iii)</td><td style='text-align: center; word-wrap: break-word;'>B+D+MF</td><td style='text-align: center; word-wrap: break-word;'>5.57</td><td style='text-align: center; word-wrap: break-word;'>5.41</td><td style='text-align: center; word-wrap: break-word;'>14.01</td><td style='text-align: center; word-wrap: break-word;'>13.02</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>iv)</td><td style='text-align: center; word-wrap: break-word;'>B+D+MF+FS</td><td style='text-align: center; word-wrap: break-word;'>8.54</td><td style='text-align: center; word-wrap: break-word;'>8.33</td><td style='text-align: center; word-wrap: break-word;'>16.96</td><td style='text-align: center; word-wrap: break-word;'>16.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>v)</td><td style='text-align: center; word-wrap: break-word;'>B+D+MF+FO</td><td style='text-align: center; word-wrap: break-word;'>5.31</td><td style='text-align: center; word-wrap: break-word;'>5.21</td><td style='text-align: center; word-wrap: break-word;'>13.96</td><td style='text-align: center; word-wrap: break-word;'>12.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>vi)</td><td style='text-align: center; word-wrap: break-word;'>B+D+MF+FO+HO</td><td style='text-align: center; word-wrap: break-word;'>5.30</td><td style='text-align: center; word-wrap: break-word;'>5.19</td><td style='text-align: center; word-wrap: break-word;'>13.68</td><td style='text-align: center; word-wrap: break-word;'>12.70</td></tr></table>

<div style="text-align: center;">Table 5. Ablation study on major components.</div>

在HO3D-v2上的评估。为了进一步检验模型的泛化能力，我们在HO3D-v2数据集上开展了相同的实验。由于该数据集测试集的真实标签并未公开，我们从以往论文或官方评估服务器中获取了其他竞争方法的结果。PA前后的实验结果分别如表2和表3所示。我们还给出了不同阈值下的网格AUC对比结果，详见图4下方的子图。与现有方法相比，我们的方法明确考虑了手指级别的遮挡问题，因此表现更优。实验过程中我们发现，由于HO3D-v2数据集中的3D旋转分布有限，我们的手部朝向回归模块常常会对训练集过拟合。为此，我们在Dex-YCB数据集上对模型进行了几轮预训练以缓解这一问题；关于两个数据集间的旋转分布对比，请参阅补充材料。

从实验结果可以明显看出，我们的方法在所有不同阈值下的各项指标上均取得了更高的精度，这充分体现了其有效性与鲁棒性。为了直观对比，我们在图5(b)中展示了存在严重遮挡的输入样本的视觉结果，并在图6(b)中与其他方法进行了比较。即便如此，我们的方法仍能生成合理的形状，同时估算出更准确的全局朝向。

#### 4.3. 效率

表4报告了推理时间。所有方法均在NVIDIA RTX 2080Ti上测试。具体而言，我们将批量大小设为1，排除数据加载时间，并对整个HO3D-v2测试集（11,524帧）的计算时间取平均值。尽管我们的单帧版本比MobRecon稍慢，但性能更优。尤其是我们的完整模型始终能取得最佳性能，且能达到实时处理要求——即便它需要处理的帧数是后者的三倍。

---

![Image](images/90b686c07fe7d56ab4e90167db958b2ad89f7f32e6bc9c6ae2890b9c77e67649.jpg)

<div style="text-align: center;">Figure 6. Qualitative comparison of our method and state-of-the-art 3D hand mesh reconstruction methods [^8] [^45] on different datasets. The first and second rows in each example denote the normal view and another view, respectively, for better comparison.</div>

#### 4.4. 消融研究

我们在Dex-YCB数据集上开展消融研究，以验证H2ONet及其主要组件的有效性。如表5所示，我们将基线模型（B）定义为移除以下主要组件后的模型：双分支结构（D）、多帧输入（MF）、手部重建分支中的手指级遮挡感知特征融合模块（FO），以及手部朝向回归分支中的手部级遮挡感知特征融合模块（HO）。此外，FS表示我们根据真实的遮挡标签，直接选取遮挡程度最低的那一帧的输出作为当前帧的结果。

双分支编码器。双分支编码器结构在我们的框架中发挥着重要作用。对比表5中的前两行数据可以发现，将手部网格重建与全局朝向回归任务解耦后，性能会有显著提升，尤其是PA之后的各项指标，这充分证明了我们双分支设计的有效性。

手指级遮挡感知特征融合。我们首先比较了有无多帧输入时的性能表现。第iii)行表示通过直接拼接来融合多帧特征的模型。对比第iii)行和第ii)行可知，直接融合特征带来的提升微乎其微，这说明在没有引导的情况下，让网络去识别哪些特征部分有用是无效的。此外，对比第iv)行和第iii)行可以发现，直接使用遮挡最少的那一帧的输出会导致性能更差，因为当前未被遮挡的手指在遮挡最少的帧中可能会被遮挡。然而，对比第v)行和第iii)行可知，采用手指级遮挡预测能够提升性能，这证明了自适应整合多帧中未被遮挡信息的有效性。

手部级遮挡感知特征融合。对比第vi)行和第v)行可以看出，引入我们提出的逐帧查询特征融合策略后带来了更大的性能提升，这也证明了我们的手部级遮挡感知融合模块的有效性。需要注意的是，由于该模块不会修改手部形状，因此对PA之后的指标影响甚微。

### 5. 结论

我们提出了H2ONet，这是一种全新的3D手部网格重建方法，它能有效利用手指及多帧中的非遮挡信息来解决遮挡问题。为了更好地融合多帧特征，我们将流程拆分为两个分支：一个用于重建标准姿态下的手部网格，另一个用于回归手部朝向。此外，我们设计了手指级和手部级遮挡感知特征融合机制，以便更好地利用多帧中未被遮挡区域的信息。实验结果证实，H2ONet在两个手-物体基准测试集上均取得了最先进的性能。

局限性。首先，手部的刚体假设可能会限制其在现实世界中的应用场景。其次，训练手部朝向回归分支需要数据集具备多样化的旋转分布。第三，网格顶点偏移在某些情况下可能会产生伪影。

致谢。本研究得到了中国香港特别行政区研究资助局的资助（项目编号：T45-401/22-N），以及香港中文大学申恒工程研究院MMT-p2-21项目的支持。徐浩感谢张雨桐及其家人的关怀与支持。

---

## 参考文献

[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, pages 1067–1076, 2019. 2

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via GAN and mesh model for estimating 3D hand poses interacting objects. In CVPR, pages 6121–6131, 2020. 2

[^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip H.S. Torr. 3D hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019. 2

[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, pages 12417–12426, 2021. 2

[^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021. 6

[^7]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2UV-HandNet: Image-to-UV prediction network for accurate and high-fidelity 3D hand mesh modeling. In ICCV, pages 12929–12938, 2021. 2, 6

[^6]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Temporal-aware self-supervised learning for 3D hand pose and mesh estimation in videos. In WACV, pages 1050–1059, 2021. 2

[^8]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. MobRecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, pages 20544–20554, 2022. 1, 3, 4, 6, 7, 8

[^9]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In CVPR, pages 13274–13283, 2021. 2

[^10]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3D hand reconstruction via self-supervised learning. In CVPR, pages 10451–10460, 2021. 2

[^11]: Yu Cheng, Bo Yang, Bo Wang, and Robby T. Tan. 3D human pose estimation using spatio-temporal networks with explicit occlusion training. In AAAI, pages 10631–10638, 2020. 3

[^12]: Yu Cheng, Bo Yang, Bo Wang, Wending Yan, and Robby T. Tan. Occlusion-aware networks for 3D human pose estimation in video. In ICCV, pages 723–732, 2019. 3

[^13]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV, pages 769–787, 2020. 1, 6, 7

[^14]: Xiao Chu, Wei Yang, Wanli Ouyang, Cheng Ma, Alan L. Yuille, and Xiaogang Wang. Multi-context attention for human pose estimation. In CVPR, pages 1831–1840, 2017. 1, 3

[^15]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, pages 10833–10842, 2019. 1,2

[^16]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, pages 3196–3206, 2020. 6

[^17]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al. MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM TOG, 39(4):87–1, 2020. 1

[^18]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, pages 571–580, 2020. 1, 2, 6

[^19]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 3DV, pages 659–668, 2021. 2, 6

[^20]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019. 2, 6, 7

[^21]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pages 770–778, 2016. 3

[^22]: Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. MobileNets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017. 3

[^23]: Jie Hu, Li Shen, and Gang Sun. Squeeze-and-Excitation networks. In CVPR, pages 7132–7141, 2018. 3

[^24]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, pages 118–134, 2018. 2

[^25]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In ICCV, pages 11107–11116, 2021. 2

[^26]: Hanbyul Joo, Tomas Simon, Mina Cikara, and Yaser Sheikh. Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction. In CVPR, pages 10873–10883, 2019. 1

[^27]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, pages 333–344, 2020. 2

[^28]: Lipeng Ke, Ming-Ching Chang, Honggang Qi, and Siwei Lyu. Multi-scale structure-aware network for human pose estimation. In ECCV, pages 713–728, 2018. 2

[^29]: Sameh Khamis, Jonathan Taylor, Jamie Shotton, Cem Keskin, Shahram Izadi, and Andrew Fitzgibbon. Learning an efficient model of hand shape variation from depth images. In CVPR, pages 2540–2548, 2015. 2

## [^30]: P. Diederik Kingma and Lei Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015. 7

---

[^31]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, pages 4990–5000, 2020. 1, 2

[^32]: Isaak Lim, Alexander Dielen, Marcel Campen, and Leif Kobbelt. A simple approach to intrinsic correspondence learning on unstructured 3D meshes. In ECCVW, 2018. 4

[^33]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, 2021. 2, 6

[^34]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, pages 12939–12948, 2021. 2

[^35]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In CVPR, pages 14687–14697, 2021. 1, 2, 6, 7

[^36]: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. HandVoxNet: Deep voxel-based network for 3D hand shape and pose estimation from a single depth map. In CVPR, pages 7113–7122, 2020. 2

[^37]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy networks: Learning 3D reconstruction in function space. In CVPR, pages 4460–4470, 2019. 2

[^38]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. NeuralAnnot: Neural annotator for 3D human mesh training sets. In CVPRW, 2022. 1

[^39]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-pixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, pages 752–768, 2020. 1, 2, 6, 7

[^40]: Gyeongsik Moon and Kyoung Mu Lee. Pose2Pose: 3D positional pose-guided 3D rotational pose prediction for expressive 3D human pose and mesh estimation. arXiv preprint arXiv:2011.11534, 2020. 1

[^41]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In ECCV, pages 440–455, 2020. 1

[^42]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, pages 548–564, 2020. 1,2

[^43]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM TOG, 38(4):1–13, 2019. 2

[^44]: Evonne Ng, Shiry Ginosar, Trevor Darrell, and Hanbyul Joo. Body2Hands: Learning to infer 3D hands from conversational gesture body dynamics. In CVPR, pages 11865–11874, 2021. 1

[^45]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-robust 3D hand mesh estimation network. In CVPR, pages 1496–1505, 2022. 1, 2, 6, 7, 8

[^46]: Javier Romero, Dimitris Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 36(6):1–17, 2017. 2

[^47]: Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, et al. ImageNet: large scale visual recognition challenge. IJCV, 115(3):211–252, 2015. 7

[^48]: István Sárándi, Timm Linder, Kai O. Arras, and Bastian Leibe. How robust is 3D human pose estimation to occlusion? arXiv preprint arXiv:1808.09316, 2018. 2

[^49]: Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong, and Wang-chun Woo. Convolutional LSTM network: A machine learning approach for precipitation nowcasting. In NeurIPS, volume 28, 2015. 2

[^50]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV, pages 211–228, 2020. 6

[^51]: David Joseph Tan, Thomas Cashman, Jonathan Taylor, Andrew Fitzgibbon, Daniel Tarlow, Sameh Khamis, Shahram Izadi, and Jamie Shotton. Fits like a glove: Rapid and reliable hand shape personalization. In CVPR, pages 5610–5619, 2016. 2

[^52]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3D hand-mesh reconstruction. In ICCV, pages 11698–11707, 2021. 1

[^53]: Jonathan Taylor, Richard Stebbing, Varun Ramakrishna, Cem Keskin, Jamie Shotton, Shahram Izadi, Aaron Hertzmann, and Andrew Fitzgibbon. User-specific hand modeling from monocular depth sequences. In CVPR, pages 644–651, 2014. 2

[^54]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In CVPR, pages 1664–1674, 2022. 2, 6

[^55]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, volume 30, 2017. 3

[^56]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dual Grid Net: Hand mesh vertex regression from single depth maps. In ECCV, pages 442–459, 2020. 2

[^57]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3D hand pose and shape estimation. In ECCV, pages 122–139, 2020. 1, 2

[^58]: Linlin Yang, Shicheng Chen, and Angela Yao. SemiHand: Semi-supervised hand pose estimation with consistency. In ICCV, pages 11364–11373, 2021. 2

[^59]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. BiHand: Recovering hand mesh with multi-stage bisected hourglass networks. In BMVC, 2020. 2

## [^60]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, pages 11097–11106, 2021. 2

---

[^61]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In ICCV, pages 11354–11363, 2021. 2

[^62]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand image understanding via deep multi-task learning. In ICCV, pages 11281–11292, 2021. 2

[^63]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In ICCV, pages 2354–2364, 2019. 2

[^64]: Zimeng Zhao, Xi Zhao, and Yangang Wang. TravelNet: Self-supervised physically plausible hand motion learning from monocular color images. In ICCV, pages 11666–11676, 2021. 2

[^65]: Lu Zhou, Yingying Chen, Yunze Gao, Jinqiao Wang, and Hanqing Lu. Occlusion-aware siamese network for human pose estimation. In ECCV, pages 396–412, 2020. 1, 3

[^66]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, pages 5745–5753, 2019. 5

[^67]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, pages 5346–5355, 2020. 2

[^68]: Meilu Zhu, Daming Shi, Mingjie Zheng, and Muhammad Sadiq. Robust facial landmark detection via occlusion-adaptive deep networks. In CVPR, pages 3486–3496, 2019. 1, 3

[^69]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, pages 813–822, 2019. 2