# 基于神经渲染的RGB密集三维手部姿态估计技术突破

白承烈

帝国理工学院

<mailto:s.baek15@imperial.ac.uk>

金光仁

UNIST

<mailto:kimki@unist.ac.kr>

金泰均

帝国理工学院

<mailto:tk.kim@imperial.ac.uk>

## 摘要

从单张RGB图像中估计三维手部网格是一项极具挑战性的任务，这主要是由于二维到三维映射存在固有歧义，且训练数据有限。我们采用了一种紧凑的参数化三维手部模型来表示可变形且有关节的手部网格。为了实现该模型与RGB图像的匹配，我们从三个方面展开研究并做出贡献：1）神经渲染：受近期人体相关研究启发，我们的手部网格估计器（HME）由神经网络和可微渲染器构成，以二维分割掩码和三维骨骼为监督信号。HME在估计各类手部形状方面表现优异，还能提升姿态估计的精度。2）迭代测试优化：我们的拟合函数是可微的。我们借鉴ICP等迭代模型拟合方法的思路，利用梯度对初始估计结果进行迭代优化。这一思路得到了最新人体研究的有力支持。3）自数据增强：收集用于训练的RGB-网格（或分割掩码）-骨骼三元组数据难度较大。一旦模型成功匹配输入RGB图像，其生成的网格（即形状和关节结构）便具备真实性，我们便可基于估计出的密集手部姿态来扩充视角。通过三个基于RGB的基准测试实验表明，我们的框架在三维姿态估计方面的精度超越了现有最优水平，同时还能还原出密集的三维手部形状。消融实验证明，上述每个技术组件都能显著提升估计精度。

### 1. 引言

从图像中恢复手部姿态和形状能够支撑诸多实际应用，例如将手势作为AR/VR领域的主要交互界面。由于手部空间维度高、姿态和形状变化多、存在自遮挡等问题，该任务极具挑战性 [^52] [^43] [^58] [^65] [^10] [^61] [^40] [^5] [^12] [^63] [^47] [^59] [^37] [^67] [^54] [^53] [^9] [^44] [^31] [^49] [^32] [^20] [^27] [^33] [^7] [^64]。现有大多数方法侧重于从深度图像或RGB图像中恢复稀疏的手部姿态，也就是骨骼关节信息。然而，估计包含三维形状在内的密集手部姿态（如图1所示）具有重要意义，因为它有助于理解人与物体的交互过程 [^7] [^6] [^3] [^1]，也能应用于机器人抓取场景，这类场景中表面接触信息至关重要。

![Image](images/33551901ff68f6ded4f82b7e827f7daf45efb6387a57b9156805ef6cefd9b555.jpg)

<div style="text-align: center;">Figure 1: Dense hand pose estimation examples. Our system estimates 3D shapes, as well as articulations and viewpoints. Left to right: input images, coarse skeletal representations, dense hand pose representations, and recovered hand shapes in a canonical articulation/viewpoint. Dense pose estimation provides a richer description of hands and improves the pose estimation accuracy.</div>

抓取过程中，表面接触至关重要。

基于卷积神经网络（CNN）的判别性方法在从RGB图像[^43] [^68] [^4] [^14] [^29] [^46]或深度图[^65] [^30] [^50] [^58] [^30] [^64] [^28] [^38] [^64] [^2]中估计3D手部姿态方面展现了非常出色的性能。然而，这些预测结果基于粗略的骨骼表示，且通常未考虑显式的运动学和几何网格约束。另一方面，建立个性化手部模型需要采用生成式方法，即优化手部模型以使其适配2D图像[^40] [^33] [^36] [^51] [^49] [^48]。基于优化的方法除了计算复杂外，还容易陷入局部最小值，而且个性化手部模型的校准会与手部形状变化的泛化能力相矛盾。

Sinha等人[^45]研究了如何从深度图像生成3D手部网格。他们学习了深度图与其3D表面之间的直接映射关系；不过所展现的精度有限。Malik等人[^26]将3D手部网格模型与CNN结合，学习深度图与网格模型参数之间的映射关系。他们进一步利用不同视角、形状和关节参数的3D网格进行光线投射，从而生成用于训练CNN的百万级数据集。我们的

---

研究针对类似问题但在RGB领域展开，提出了一种基于可微渲染器的迭代式网格拟合方法[^18]。该方法能在测试阶段利用梯度信息来优化已估计的网格参数。我们的框架还支持间接的2D监督信号（2D分割掩码、关键点），而无需使用3D网格数据。

虽然RGB领域的2D关键点检测技术已经十分成熟[^43]，但从RGB图像中估计3D关键点则没那么简单。近期已经开发出几种相关方法[^68] [^34] [^4] [^14]。尽管[^68]中尝试直接将2D估计结果转换为3D，但最先进的技术中还是通过估计2.5D深度图作为3D转换的线索[^4] [^14]。在本文中，我们采用了一种可变形3D手部网格模型，该模型本身就能完整描述手部形状和关节运动、提供用于恢复深度的3D先验，还具备自我数据增强能力。与纯生成式优化方法（如[^34]）不同，我们提出了一种基于神经渲染器和CNN的方法。

我们的贡献在于通过神经渲染器利用单张RGB图像实现完整的3D密集手部姿态估计器（DHPE）。我们的技术贡献主要包含三个方面：

1) DHPE由卷积层构成，这些卷积层首先从RGB图像中估计2D证据（RGB特征、2D关键点），随后估计3D网格模型参数。由于缺乏RGB/网格配对数据，网络通过2D分割掩码和骨骼作为监督信号来学习如何拟合3D模型，这一思路与近期人体姿态估计领域的研究类似[^57] [^16] [^35]，整个过程借助神经渲染器完成。这种密集的形状估计有助于提升姿态估计的效果。

2) 在测试阶段，我们利用梯度对初始的3D网格估计进行迭代优化。由于测试时缺乏真实标签，这些梯度是通过将估计出的3D网格与预测的2D证据进行比较而得到的自监督信号。以往的研究[^57]在优化步骤中固定了2D骨架/分割掩码，而我们则递归地优化2D骨架，并利用优化后的骨架和特征相似性来生成更精确的2D掩码。

3) 为了应对标注训练数据有限的问题，尤其是针对多样化的形状和视角，我们通过改变形状和视角来提供拟合后的网格及其2D投影RGB图，以此对网络进行微调。纯合成数据会带来合成域与真实域之间的差异，而且为真实图像标注3D网格或2D分割掩码十分困难。一旦模型成功适配输入RGB图像，其生成的网格（即形状和姿态）便接近真实情况。

所提出的方法也可被视为一种混合方法[^23] [^63] [^55]，它结合了判别式方法和生成式方法的优点。

### 2. 相关工作

手部姿态估计。预测手部姿态的研究可分为几类，它们根据输出类型（3D网格、3D骨骼和2D骨骼表示）和输入类型（RGB图像和深度图）而有所不同。

3D手部模型拟合方法。在[^54] [^53] [^41] [^51] [^49] [^48] [^40] [^33]中，3D手部网格表示被用于描述手部姿态。为了从2D图像中恢复3D网格，大多数方法依赖复杂的优化算法，或利用点云来拟合3D网格模型。其中一种较新的方法[^34]以RGB图像为输入，构建了可实时运行的框架；他们的3D网格模型会与估计出的2D骨架相匹配。然而，2D骨架的精度较低，一旦2D骨架估计出现偏差，整体3D拟合便会失败。

从深度图像中恢复3D骨骼表示。从深度图像中估计3D手部骨骼已展现出较高的准确率[^64]。由于深度输入本身蕴含丰富的3D信息，该问题的求解难度相对较低[^52]。此外，深度学习方法[^65] [^30] [^50] [^58] [^30] [^64] [^28] [^38] [^64] [^2]已在该领域得到成功应用，这些方法借助百万级的手部姿态数据集[^65]进行训练。最近，Malik等人[^26]提出了同时估计3D骨骼和网格表示的方法，在3D骨骼估计方面取得了更高的准确率。他们收集了新的百万级深度图与3D网格配对数据集，以全监督方式训练网络。

从RGB图像中估计2D骨骼。从RGB图像中恢复2D骨骼表示的技术已取得显著进步[^43]。与深度域相比，真实的RGB数据较为稀缺，且RGB图像的自动姿态标注仍具挑战性。Simon等人通过混合真实数据与大量合成数据，取得了令人满意的结果[^43]。通过在多摄像头场景下利用标签一致性进行自动标注，进一步提升了准确率[^15]。

从RGB图像中恢复三维骨骼。由于二维到三维的映射过程存在固有不确定性[^14] [^4] [^68]。早期的研究[^68]试图直接学习从RGB图像到三维骨骼的映射关系。近期的方法[^4] [^14]通过隐式重建深度图像（即2.5D表示），并据此估算三维骨骼，从而实现了最先进的精度。而我们则采用三维网格模型，以混合方式来解决这一问题。

用于手部姿态估计的三维表示。与人类面部或身体不同，手部姿态在关节活动和形状变化下会呈现出更广泛的角度变化范围。很难定义一个规范的视角（例如正面视图）。为缓解这一问题，人们提出了诸如投影点云[^9]、D-TSDF[^10]、体素[^28]或点集[^8]等中间三维表示方法。尽管这些方法取得了不错的效果，但它们存在局限性，无法重新生成完整的三维信息。

其他领域中的三维重建。三维重建在该领域有着悠久的发展历史。下面我们将探讨一些基于神经网络的最新方法。

三维体素重建。体素表示在描述物体的三维特征时非常有用 [^62] [^56]。Yan等人 [^62] 提出了一种仅利用二维输入即可重建体素的可微方法。此外，Tulsiani等人 [^56] 提出了一种利用不同视角下拍摄的多张图像来精确重建体素的方法。不过，与网格表示相比，体素表示较为稀疏。

---

![Image](images/d61c77321169a036026528eca56f76cd664b422572ca78e16274a702fde00035.jpg)

<div style="text-align: center;">Figure 2: Schematic diagram of the proposed dense hand pose estimation (DHPE) framework. Our DHPE receives an input RGB image x and estimates the corresponding hand shape and pose as parameters h of the MANO hand model. Training DHPE is guided via 1) an additional projector  $f^{Proj}$ that enables us to provide supervision via 3D skeletons j and foreground segmentation masks m; 2) decomposing the DHPE into the 2D evidence estimator  $f^{E2D}$ and 3D mesh estimator  $f^{E3D}$ which stratifies the training via the intermediate 2D feature estimation step. At testing, once the output mesh parameter  $h'$ is estimated, it is iteratively refined via enforcing its consistency over intermediate 2D evidences  $F(\mathbf{x})$ and  $\mathbf{j}_{2D}$.</div>

为缓解这一问题，Riegler等人 [^39] 提出了一种分层处理方法。

三维网格重建。最近，Güler等人[^11]提出了一种从RGB输入重建人体模型的方法。该方法需要大量由二维图像和三维网格标注组成的配对数据作为完整的三维监督信息。人们还提出了可微渲染器[^25] [^18]，通过可微方式将三维模型投影到图像平面，从而获取二维轮廓、深度图甚至带纹理的RGB图像。借助这种渲染器，重建三维网格[^17]变得容易得多，且无需完整的三维监督信息。基于SMPL模型[^24]的端到端CNN方法也已被提出，用于重建人体的三维网格[^57] [^16] [^35]。然而，手部与人体存在差异：手部的视角变化范围更广（包括以自我为中心的视角和第三人称视角），关节活动度更高且经常被遮挡。此外，可用的带完整三维标注的RGB图像数量相对较少。这些领域差异导致直接将现有方法应用于该领域时效果并不理想。

### 3. 所提出的密集手部姿态估计器

我们的目标是构建一个手部网格估计器（HME）$f^{HME} : \mathcal{X} \to \mathcal{V}$，它将输入的RGB图像$\mathbf{x} \in \mathcal{X}$映射到对应的估计3D手部网格$\mathbf{v} \in \mathcal{V}$。每个输入以大小为$224 \times 224$的RGB像素数组形式给出，而输出网格则对应778个顶点的3D位置，这些顶点编码了1,538个三角形面。我们的HME并非直接生成作为$\mathbf{v}$维原始向量的网格$778 \times 3$，而是估计一个63维的参数向量$\mathbf{h}$来表示$\mathbf{v}$，这一过程采用了MANO 3D手部网格模型[^41]（见第3.2节）。一旦估计出手部网格$\mathbf{v}$（或等效地，其参数$\mathbf{h}$），就可以通过稍后介绍的3D骨架回归器$\mathbf{j}$恢复出由21个3D关节位置组成的对应骨骼姿态$f^{Reg}$。

如果有包含输入图像及其对应真实网格的训练数据库，那么学习HME就可以转化为一个标准的多元回归问题。然而，我们并未发现任何现有的数据库能提供这样的数据对。受现有人体重建研究成功的启发[^57] [^16] [^35]，我们采取了间接方法：学习一个密集手部姿态估计器（DHPE），它结合了HME和一个新的投影算子。该投影算子由一个3D骨架回归器和一个渲染器组成，它们分别能从手部网格v中恢复出3D骨骼姿态（$\mathbf{j} \in \mathcal{T}$）和2D前景手部分割掩码（$\mathbf{m} \in \mathcal{M}$）。表1展示了我们的符号说明，公式1和图2总结了DHPE的分解过程：

 $$ \begin{array}{r}{\underbrace{f^{H M E}=f^{E3D}\circ f^{E2D}}_{\mathcal X\underbrace{\overbrace{f^{E2D}\to\mathcal Z\xrightarrow{f^{E3D}}f}^{}}\mathcal V\xrightarrow{f^{P r o j}=(f^{R e g},f^{R e n})}\mathcal Y}=(\mathcal J,\mathcal M).}\end{array} $$

在MANO模型提供的骨架回归器基础上[^41]，我们的骨架回归器$f^{Reg}$将手部网格v映射到由其21个3D关节位置构成的骨架j。它是一个线性回归器，实现为三个大小为$778 \times 21$的矩阵（详见补充材料第2.1节）。

我们的渲染器$f^{Ren}$通过模拟相机视角x来生成前景手部掩码m。我们采用了Kato等人提出的可微神经渲染器[^18]。

---

<div style="text-align: center;">Table 1: Notational summary</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>y</td><td style='text-align: center; word-wrap: break-word;'>$\mathbf{y} = (\mathbf{j},\mathbf{m}) \in \mathcal{Y} = (\mathcal{J},\mathcal{M}) \subset \mathbb{R}^{(21 \times 3) \times (224 \times 224)}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$f^{DHPE}$</td><td style='text-align: center; word-wrap: break-word;'>dense hand pose estimator $(f^{DHPE} = f^{Proj} \circ f^{HME})$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$f^{Proj}$</td><td style='text-align: center; word-wrap: break-word;'>projection operator $(f^{Proj} = [f^{Reg}, f^{Ren}])$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$f^{Reg}$</td><td style='text-align: center; word-wrap: break-word;'>3D skeleton regressor</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$f^{Ren}$</td><td style='text-align: center; word-wrap: break-word;'>renderer</td></tr></table>

By construction, the projection operator respects the underlying camera (via $f^{Ren}$) and hand shape (via $f^{Reg}$) geometry and it is held fixed throughout the entire training process. This facilitates the training of $f^{HME}$ indirectly via training $f^{DHPE}$. However, even under this setting, the problem still remains challenging as estimating a 3D mesh given an RGB image is a seriously ill-posed problem. Adopting recent human body pose estimation approaches [^35] [^57], we further stratify learning of $f^{DHPE} \colon \mathcal{X} \to \mathcal{Y}$ by decomposing $f^{HME} \colon \mathcal{X} \to \mathcal{V}$ into a 2D evidence estimator $f^{E2D} \colon \mathcal{X} \to \mathcal{Z}$ and a 3D mesh estimator $f^{E3D} \colon \mathcal{Z} \to \mathcal{V}$. Our 2D evidence $\mathbf{z} \in \mathbf{Z}$ consists of a 42-dimensional 2D skeletal joint position vector $\mathbf{j}_{2D}$ (21 positions $\times$ 2; as in [^4] [^14]) and a 2,048-dimensional 2D feature vector $F(\mathbf{x})$ (Eq. 2). The remainder of this section provides details of these two estimators.

#### 3.1. 2D证据估计器 $f^{E2D} = (F, f^{J2D})$

轮廓（或前景掩码）和二维骨架已被广泛用作估计三维人体网格的中层线索[^17] [^35] [^57]。然而，对于手部而言，由于背景杂乱，从RGB图像中准确估计前景掩码颇具挑战性[^21] [^68]。我们发现，直接应用最先进的前景分割算法（如[^68]）往往会遗漏细节，尤其是狭窄的手指区域（详见图4中的示例），这会显著削弱后续网格估计步骤的性能。为克服这一难题，我们转而学习一种二维前景特征提取器——$F: F(x)$能够提取前景区域的纹理与形状信息。

我们的二维特征提取器F通过最小化从整幅图像中提取的特征$\mathbf{x}$与通过真实掩码得到的前景区域特征$\mathbf{x}\odot\mathbf{m}$之间的偏差，来使其专注于前景区域$\mathbf{m}$（见图3d）：F针对每个数据点的训练损失表示为

 $$ L_{Feat}(F)=\|F(\mathbf{x})-F(\mathbf{x}\odot\mathbf{m})\|_{2}^{2}, $$

其中$\odot$表示逐元素乘法。F采用ResNet-50[^13]架构，其输出是一个2048维的向量。

从RGB图像中估计二维骨骼关节已有大量研究。与[^4] [^14]类似，我们将最先进的二维姿态估计网络$f^{J2D}$ [^60] [^68]嵌入到我们的框架中。[^68]的作者提供的初始权重会根据二维关节估计损失进行优化：

 $$ \begin{array}{r}{L_{J2D}(f^{J2D})=\|f^{J2D}(\mathbf{x})-\mathbf{j}_{2D H e a t}\|_{2}^{2}.}\end{array} $$

![Image](images/32c9022b07b6f4ec0ab5cb9b614ef18600a061b13e2965bd96be7df7cf426f3e.jpg)

<div style="text-align: center;">(a)</div>

<div style="text-align: center;">(b)</div>

<div style="text-align: center;">(c)</div>

<div style="text-align: center;">(d)</div>

<div style="text-align: center;">Figure 3: A 2D evidence estimation example. (a) input image x, (b) ground-truth 2D segmentation mask m of x, (c) 2D skeletal position heat map of the finger tip of middle finger overlaid on x, and (d) masked image x⊙m.</div>

$f^{J2D}$的输出是一个大小为$21 \times 32 \times 32$的矩阵，其中包含21个热图（每个关节一个），热图尺寸为$32 \times 32$。$\mathbf{j}_{2DHeat}$是真实热图。根据估计出的热图，通过寻找每个关节的最大值来提取二维骨骼关节$\mathbf{j}_{2D}$。图3(b)展示了二维证据估计的示例。

#### 3.2. 三维网格估计器$f^{E3D} = (f^{J3D}, f^{Ref})$

以二维证据$\mathbf{z}$（2048维特征向量$F(\mathbf{x})$）和$21 \times 3$维二维骨骼$\mathbf{j}_{2D}$作为输入，三维网格估计网络$f^{I3D}$会构建可变形手部网格模型及相机模型的参数。我们使用MANO模型来表示手部网格，该模型基于45维姿态参数$\mathbf{p}$和10维形状参数$\mathbf{s}$ [^41]。原始的MANO框架为了提升计算效率，仅使用$\mathbf{p}$的6维（主成分分析）PCA子空间。但我们的实验表明，要覆盖各种手部姿态，需要用到全部45维特征：我们采用了与SMPL模型相同的线性混合蒙皮公式[^24]。

给定MANO参数p和s，通过将其基于假设的相机c进行条件化来合成网格v。该相机由3D旋转（在四元数空间中）$\mathbf{c}_q \in \mathbb{R}^4$、缩放$\mathbf{c}_s \in \mathbb{R}$和平移$\mathbf{c}_t \in \mathbb{R}^3$组成：首先利用形状参数s组合MANO的PCA基向量来构建初始网格，再根据姿态参数p对骨骼进行旋转，最后通过线性混合蒙皮技术对生成的表面进行变形。最终得到的网格v是根据$\mathbf{c}_q$、$\mathbf{c}_s$和$\mathbf{c}_t$分别对初始网格进行全局旋转、缩放和平移而获得的。整个网格生成过程是可微分的。在该模型下，我们的3D网格估计网络$f^{3D}$被实现为一个包含$2153 \times 63$个权重的单层全连接层，用于估计一个63维的网格参数。

 $$ \mathbf{h}=[\mathbf{p},\mathbf{s},\mathbf{c}_{q},\mathbf{c}_{s},\mathbf{c}_{t}]^{\top}. $$

通过反向投影进行迭代式网格细化。采用Kanazawa等人的方法[^16]，我们并非直接估计h，而是通过递归地对参数偏移量$\Delta h$进行回归，从而迭代细化初始网格估计h(0)：在第t次迭代时，$f^{J3D}$会接收z和当前网格

---

估计值$\mathbf{h}(t)$，并生成新的偏移量$\Delta\mathbf{h}(t)$：

 $$ \mathbf{h}(t+1)=\mathbf{h}(t)+\Delta\mathbf{h}(t). $$

在$t = 0$处，作为$\mathbf{h}(0)$输入的$f^{J3D}$被构造为一个零向量，只有对应姿态参数$\mathbf{p}$的项除外，该项被设为MANO模型的平均姿态。我们将迭代次数固定为3次，因为初步实验表明更多的迭代并不会带来明显的性能提升。

在[^16]中，每个偏移量预测$\Delta\mathbf{h}(t)$仅基于2D特征$F(\mathbf{x})$构建。受到[^4]和[^14]成功的启发，我们额外将2D骨骼关节$\mathbf{j}_{2D}^{\prime}$作为输入。然而，由于估计值$\mathbf{j}_{2D}^{\prime}(0)$（在第0次迭代时获得）并不准确，会导致生成的$\Delta\mathbf{h}(t)$估计值出现误差。随后，这些误差会在迭代过程中不断累积（公式5），从而削弱整个迭代估计过程的优势。我们通过额外的2D姿态细化器$f^{Ref}$来解决这一问题，该细化器通过反向投影估计出的网格$\mathbf{j}_{2D}^{\prime}(t)$来迭代细化2D关节估计值$\mathbf{h}^{\prime}(t)$：在t时刻，$f^{Ref}$会接收估计的网格参数$\mathbf{h}^{\prime}(t)$、2D特征$F(\mathbf{x})$、3D骨架$f^{Reg}(\mathbf{v}^{\prime})$以及$\mathbf{j}_{2D}^{\prime}(t)$，并生成细化的估计值$\mathbf{j}_{2D}^{\prime}(t+1)$。2D姿态细化器$f^{Ref}$被实现为一个大小为$2216\times42$的单层全连接层，它基于真实的2D骨架($\mathbf{j}_{2DGT}$)进行训练：

 $$ \begin{array}{r}{L_{R e f}=\left\|f^{R e f}\left([\mathbf{j}_{2D}^{\prime}(t),F(\mathbf{x}),\mathbf{h}^{\prime}(t),f^{R e g}(\mathbf{v}^{\prime})]\right)-\mathbf{j}_{2D G T}\right\|_{2}^{2}.}\end{array} $$

实验中我们发现：1）同时使用2D特征和2D骨架（图5(e)：‘Ours (w/o Test. ref. and Refiner $f^{Ref}$)’）相比Kanazawa等人基于2D特征的框架[^16]（图5(e)：‘Ours (w/o Test. ref., $f^{Ref}$ and 2D losses ( $L_{Feat}$, $L_{J2D}$)’）能取得更好的性能；2）在辅助的2D关节监督下显式构建细化器$f^{Ref}$（图5(e)：‘Ours (w/o Test. ref.’）能进一步显著提升性能。更重要的是，该细化器在我们的测试细化步骤（第3.4节）中发挥着关键作用，它能通过在整个迭代过程中强制使已预测的3D网格v’与对应的2D关节证据$\mathcal{J}_{2D}^{t}(t)$（以及其他中间结果）保持一致，从而改进该网格（公式11）。

#### 3.3. 联合训练

给定固定的投影算子$f^{E2D} \colon \mathcal{X} \to \mathcal{Z}$，基于包含输入图像以及对应的3D骨骼关节和2D分割掩码$f^{E3D} \colon \mathcal{Z} \to \mathcal{V}$、$f^{Proj} \colon \mathcal{V} \to \mathcal{Y}$的训练集，对2D证据估计器$D = \{(\mathbf{x}_i, \mathbf{y}_i)\}_{i=1}^l \subset \mathcal{X} \times \mathcal{Y}$和3D网格估计器$\mathbf{y}_i = (\mathbf{j}_i, \mathbf{m}_i)$进行训练。由于$f^{E2D}$、$f^{E3D}$和$f^{Proj}$的所有组成函数对于F和$f^{E3D}$的权重而言都是可微分的，因此可以利用标准的梯度下降类算法对其进行优化：我们针对每个训练样本$\mathbf{x}_i, \mathbf{y}_i$的总体损失如下所示（详见公式2和6）：

 $$ \begin{aligned}L(f^{E3D},F)=&L_{Art}(f^{E3D},F)+L_{Lap}(f^{E3D},F)+L_{Feat}(F)\\&+\lambda L_{Sh}(f^{J3D},F)+L_{Ref}(f^{J3D},F).\end{aligned} $$

关节运动损失$L_{Art}$用于衡量由$\mathbf{x}_i$估计出的骨骼与真实骨骼$\mathbf{j}_i$之间的偏差：

 $$ \begin{array}{r}{L_{A r t}=\|[f^{D H P E}(\mathbf{x}_{i})]_{\mathcal{J}}-\widehat{\mathbf{j}_{i}}\|_{2}^{2},}\end{array} $$

其中$[\mathbf{y}]_{\mathcal{J}}$负责提取$\mathbf{j}$的$\mathbf{y} = (\mathbf{j}, \mathbf{m})$分量，而$\widehat{\mathbf{j}}$则像$\mathbf{j}$、[^14]那样对[^68]进行空间归一化：首先，将每个骨骼的中心移动到对应中指的指间关节位置；随后将各坐标轴归一化到单位区间$[0,1]$：$\mathbf{x}, \mathbf{y}$坐标值除以g（即紧致2D手部边界框的高度与宽度最大值之和的1.5倍）。$\mathbf{z}$轴的值则除以$(z_{Root} \times g)/\mathbf{c}_f$，此处$z_{Root}$为中指指间关节的深度值，$\mathbf{c}_f$为相机的焦距。测试阶段，一旦得到归一化后的骨骼数据，便将其逆归一化为原始尺度。相关的补充材料详细说明了这一逆归一化步骤。

我们的形状损失$L_{Sh}$有助于通过投影得到的2D分割掩码间接恢复手部的形状：

 $$\begin{array}{r}{L_{S h}=\left\vert\left[f^{D H P E}(\mathbf{x}_{i})\right]_{\mathcal{M}}-\mathbf{m}_{i}\right\vert_{2}^{2},}\end{array}$$

其中$[\mathbf{y}]_{\mathcal{M}}$负责提取$\mathbf{y} = (\mathbf{j}, \mathbf{m})$的第m个分量。

拉普拉斯正则化项$L_{Lap}$用于保证网格v的空间平滑性。这有助于避免生成不合理的手部网格，正如Kanazawa等人[^17]所指出的那样。

关节运动与形状的层次化恢复。我们发现，若简单地用恒定的形状损失权重$\lambda$来最小化总体损失L（公式7），往往会阻碍训练过程中的收敛（见图5(f)）：我们的算法会同时优化网格（v）和相机（$c = \{c_q, c_s, c_t\}$）参数，而这些参数会使渲染出的2D视图存在过参数化问题——例如，缩放v本身所产生的效果可以被反向缩放$c_s$所抵消。这常常阻碍v与真实2D掩码的对齐，进而导致网络无法正确更新网格参数。因此，我们规定只有当关节运动损失$L_{Sh}$足够小时，才启用形状损失$L_{Art}$：$\lambda$会根据每个数据样本的$L_{Art}$值进行设定：

 $$ \lambda{=}\left\{\begin{array}{r l}{1}&{\mathrm{i f}\left\|\left[[f^{D H P E}(\mathbf{x}_{i})]_{\mathbf{j}}\right]_{2D}-[\mathbf{j}_{i}]_{2D}\right\|_{2}^{2}<\tau}\\ {0}&{\mathrm{o t h e r w i s e},}\end{array}\right. $$

其中$[\mathbf{j}]_{2D}$根据$\mathbf{j}$（公式4）将3D关节坐标$\mathbf{c}$投影到2D视图中。阈值$\tau$经实验设定为15像素。初始时，由于$\lambda$为零，L中主要由$L_{Art}$主导，这有助于将估计出的网格与2D真实数据对齐。随着训练的推进，$L_{Sh}$的作用愈发重要（$\lambda = 1$），从而助力恢复精细的形状。

由于从估计的热图 $\mathbf{j}_{2D}$ 生成二维骨骼 $f^{J2D}(\mathbf{x})$ 的过程不可微分（见公式 3），我们的二维姿态估计网络 $f^{J2D}$ 无法基于损失函数 L 进行训练。因此，我们采用 $L_{J2D}$（公式 3）对其进行并行训练。在这两种情况下，我们都使用标准的 Adam 优化器，并将学习率 $\gamma$ 设置为 $10^{-3}$。

---

#### 3.4. 测试优化

为了便于 HME 的训练，我们构建了一个辅助的 DHPE，它可分解为三个组成函数：$f^{Proj}$、$f^{E2D}$ 和 $f^{E3D}$（见公式 1）。这种分步估计方法的一个重要优势在于，它能够让我们通过将预测得到的输出网格与中间结果进行比较，从而检查并改进该输出网格：在测试阶段，给定测试图像 x 对应的底层网格 v 可先通过应用 $f^{HME} = f^{E3D} \circ f^{E2D} : \mathcal{X} \to \mathcal{V}$ 来估计。如果得到的预测结果 $\mathbf{v}^{\prime}$（等价于 $\mathbf{h}^{\prime}$）是准确的，那么它必然与由 $F(\mathbf{x})$ 生成的中间结果 $\mathbf{j}_{2D}^{\prime}$ 和 $\mathbf{x}$ 相一致。注意到我们的损失函数 L 及其各组成部分对于网格参数 $\mathbf{h}$ 是可微分的，因此我们可以借此来检查并进一步强化这种一致性。将 L 重新解释为在固定 $\mathbf{h}$、$f^{Proj}$ 和 $f^{E2D}$ 的条件下关于 $f^{E3D}$ 的平滑函数，就能通过强制满足这种一致性来优化初始预测结果 $\mathbf{h}^{\prime}(0)$：

 $$ \begin{align*}\mathbf{h}^{\prime}(t+1)=&\mathbf{h}^{\prime}(t)-\boldsymbol{\gamma}\cdot\nabla_{\mathbf{h}}\Big(\Big\|\left[[f^{DHPE}(\mathbf{x})]_{\mathcal{J}}\right]_{XY}-\mathbf{j}^{\prime}_{J2D}\Big\|^{2}_{2}\\&+\lambda\Big\|F(\mathbf{x})-F(f^{Ren}(\mathbf{v}^{\prime})\odot\mathbf{x})\Big\|^{2}_{2}+L_{Lap}\Big),\end{align*} $$

where $[\mathbf{j}]_{XY}$ extracts the x, y-coordinate values of skeleton joints from $\mathbf{j}$. Note that in the first gradient term, we use the 2D skeleton $\mathbf{j}'_{2D}$ since the ground-truth 3D skeleton $\hat{\mathbf{j}}$ is not available at testing. This step benefits from explicitly building the 2D pose refiner $f^{Ref}$ that improves the once estimated 2D joint $\mathbf{j}'_{2D}$ during iterative mesh estimation process (Eq. 5). Also, for the second, shape loss term of the gradient, since the ground-truth segmentation mask $\mathbf{m}$ is not available, we use the segmentation mask rendered via $f^{Ren}$ based on the estimated mesh $\mathbf{v}'$ enforcing self-consistency. The number of iterations in Eq. 11 is fixed at 50. Our testing refinement step takes 250ms (5ms per iteration $\times$ 50 iterations) in addition to the initial regression step which takes 100ms. Figure 5(e) shows the performance variation with varying number of iterations.

#### 3.5. 自监督数据增强

将生成式网格模型（即 MANO）纳入 HME 的训练过程（通过 h；见公式 4）的一个重要优势在于，它能以 HME 为指导生成新数据，随后又能反过来指导 HME。MANO 模型能够对合成的三维手部网格的形状进行显式控制。$^1$ 将其与相机模型结合，我们就能生成三维网格对，以及对应的渲染出的二维掩码和 RGB 图像。

为了渲染 RGB 图像，我们采用了 Kato 等人提出的神经纹理渲染器 $f^{TRen}$ [^18]：训练期间，一旦预测出种子网格 $\mathbf{v}^{S}$，就会调整对应的相机和形状参数 $\mathbf{h}^{S}$ 以生成新的网格 $\{\mathbf{v}_{j}^{N}\}$：形状参数 s 是从覆盖三倍标准差的区间中均匀采样的。

![Image](images/10bb7c591eff95a45785dcaa7836a73bbb3cc450a8c7a5af01092e8c38144718.jpg)

<div style="text-align: center;">Figure 4: Hand segmentation examples. Left to right: input images, ground-truth masks, our results, the results of the state-of-the-art hand segmentation algorithm [^21].</div>

维度方面，对于相机视角而言，沿各$x,y,z-$轴的旋转矩阵会在$[0,2\pi]$上均匀采样。通过$f^{TRen}$渲染出前景手部区域后，会将其放置在从NYU深度数据库获取的随机背景上[^42]。

对于每个新的网格$\mathbf{v}^N$，我们会生成一个三元组$\left(f^{TRen}(\mathbf{v}^N), f^{Ren}(\mathbf{v}^N), f^{Reg}(\mathbf{v}^N)\right)$，以此构成DHPE的新训练样本。我们通过实验发现，当DHPE的训练达到20个周期时，它往往会生成能够真实反映手部形状的初始网格$\{\mathbf{v}_i^S\}$（即便它们可能与对应的输入图像$\{\mathbf{x}_i\}$并不完全匹配）。因此，我们在前20个训练周期结束后才开始数据增强过程。每个小批量中，针对每个初始预测结果$\mathbf{v}^S$会生成三个新数据实例，从而逐步扩大整个训练集规模（相关示例见补充材料）。面部形状估计领域也采用了类似的自监督数据增强方法[^22]。

### 4. 实验

实验设置：我们在3个手部姿态估计数据集上评估算法的性能。立体手部姿态数据集（SHD）提供了12个立体视频序列的帧，每个序列记录单人执行各种手势的画面[^66]，总计包含36,000帧。其中，从10个视频中采样的30,000帧构成训练集，剩余的6,000帧（来自2个视频）用于测试。渲染手部姿态数据集（RHD）包含43,986张合成图像，展示20个不同人物执行39种动作的场景，其中41,258张图像用于训练，剩余的2,728帧留作测试之用[^68]。这两个数据集均在不同的背景和光照条件下采集，且提供了21个关键点的真实2D和3D骨骼位置数据（1个位于手掌，每个手指对应4个关键点），算法精度即基于这些数据进行衡量。Dexter+Object数据集（DO）包含从6个视频序列中采样的3,145帧，记录单人操作物体的场景（见图6(DO))[^47]。该数据集提供了左手5个指尖的真实3D

---

<div style="text-align: center;">Table 2: Performances of different hand segmentation algorithms on RHD (higher is better).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>IOU score</td><td style='text-align: center; word-wrap: break-word;'>Precision</td><td style='text-align: center; word-wrap: break-word;'>Recall</td><td style='text-align: center; word-wrap: break-word;'>F1-score</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>65.13%</td><td style='text-align: center; word-wrap: break-word;'>82.82%</td><td style='text-align: center; word-wrap: break-word;'>75.31%</td><td style='text-align: center; word-wrap: break-word;'>78.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^68]</td><td style='text-align: center; word-wrap: break-word;'>35.40%</td><td style='text-align: center; word-wrap: break-word;'>36.52%</td><td style='text-align: center; word-wrap: break-word;'>92.06%</td><td style='text-align: center; word-wrap: break-word;'>52.29</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^21]</td><td style='text-align: center; word-wrap: break-word;'>52.68%</td><td style='text-align: center; word-wrap: break-word;'>71.65%</td><td style='text-align: center; word-wrap: break-word;'>66.55%</td><td style='text-align: center; word-wrap: break-word;'>69.00</td></tr></table>

骨骼位置数据：整体精度即在这些指尖位置处进行测量。遵循[^68]、[^4]、[^14]中的实验设置，我们结合SHD和RHD的原始训练集，用71,258帧数据训练系统。测试时则分别使用SHD和RHD中剩余的帧以及完整的DO数据集。手部姿态估计的整体精度通过曲线下面积（AUC）以及不同阈值下的正确关键点比例（PCK）来衡量，相关参数对应[^68]、[^4]、[^14]。

为了进行对比，我们选取了七种手部姿态估计算法，其中包括五种基于神经网络（CNN）的算法（RHD数据集对应的[^4]、[^68]；DO数据集对应的[^14]、[^29]；SHD数据集对应的[^29]、[^68]、[^46]），以及两种基于3D模型拟合的算法[^34]、[^19]。

许多现有的基于CNN的算法通过构建中间2D证据来指导学习过程：Zimmermann和Brox的算法[^68]首先从输入的RGB图像中估计2D骨架，随后将估计出的2D骨架映射为3D骨架。Spurr等人的算法[^46]构建了一个由RGB图像与2D/3D骨架共享的潜在空间。Cai等人的算法[^4]训练了一个RGB到深度图的合成器，用于生成中间深度图估计值以指导骨架估计。类似地，Iqbal等人的算法[^14]会从输入的RGB图像中重建深度图。与这些算法不同，我们的算法会构建完整的3D网格来指导骨架估计过程。

Mueller等人[^29]为了解决构建逼真的3D骨架与RGB图像训练数据对这一难题，首先根据骨架生成合成RGB图像，随后通过GAN转换网络将这些图像转化为逼真的图像。而我们的算法专注于密集手部姿态估计，因此会生成RGB图像与对应的3D网格配对数据。

实验结果。图5总结了相关结果。我们的算法大幅提升了Zimmermann和Brox的算法[^68]的性能（见图5(a)）。此外，采用Cai等人的方法$\approx$后，精度也有显著提升（平均误差仅为[^4]4毫米），这证明了与2.5D深度图引导的监督方式相比，我们采用的3D网格引导监督方式的有效性。图5(a)还表明，联合估计形状与姿态（使用公式8和9）比仅估计姿态能获得更高的姿态估计精度。图5(b)（DO数据集）显示，我们的算法明显优于[^14]和[^29]：需要注意的是，与[^29]的比较并不公平，因为他们的网络是在针对DO这类物体交互场景定制的数据库上训练的。图5(c)（SHD数据集）进一步表明，与最先进的基于CNN的算法[^29]、[^68]、[^46]以及3D模型拟合方法（PSO和[^34]）相比，我们的算法取得了显著的性能提升。我们的算法相较于[^29]表现更优，这也证明了我们的数据生成方法的有效性。在该数据集上，我们的算法性能与[^14]相当，但在DO数据集上我们的算法表现优于[^14]。

消融实验。图5(d-e)展示了在DO和RHD数据集上改变我们算法的设计选择所产生的结果：测试优化步骤（第3.4节）对最终性能有显著影响：没有该步骤时（“无测试优化”情况），在DO数据集上的结果明显更差；而在RHD数据集上，“无测试优化”情况的结果与之相近。我们的数据增强策略（第3.5节）也进一步显著提升了精度，优于“无数据增强”情况。图5(d-e)还显示，通过2D损失函数（$L_{J2D}$和$L_{Feat}$；公式2-3）为2D证据估计器提供显式监督，能持续提升整体精度，优于“无2D损失”情况，后者对应Kanazawa等人的迭代估计框架[^16]。图5(f)直观展示了我们的分层形状与关节优化策略（公式10）的有效性：与固定$\lambda$值的情况（“恒定权重”）相比，根据公式10自动调整$\lambda$后，训练样本中关节误差较小（< $\tau$；公式10）的比例更高，进而使得测试误差更快降低。

定性评估。在定性评估中，我们在图6中展示了密集估计结果的示例。图6（RHD）表明了形状损失$L_{Sh}$（公式9）的重要性，这与图5(a,d)中的定量结果相一致。

手部分割性能。由于缺乏真实标签，系统性地评估密集手部姿态估计（包括形状）的性能颇具挑战性。因此，我们基于2D手部分割精度来间接评估其性能。表2展示了依据四种不同的物体分割性能标准测得的结果。与最先进的手部分割网络[^21]、[^68]相比（注意[^21]是针对RHD微调的），我们的算法准确率显著更高。此外，图4显示，最先进的分割网络[^21]会被除手之外的其他肤色物体（如手臂）干扰，而我们的算法通过显式估计3D网格，能够成功忽略这些干扰背景。

### 5. 结论

我们提出了密集手部姿态估计（DHPE）网络，这是一种基于CNN的框架，能够从单张RGB图像中重建3D手部形状和姿态。DHPE可分解为2D证据估计器、3D网格估计器和投影仪。投影仪通过神经渲染器，用2D分割掩码/3D关节提供的间接监督来替代不充分的完整3D监督，从而能够生成新数据。实验中我们证实，划分2D/3D估计器能提升准确率，更新后的2D骨骼有助于自我监督……

---

![Image](images/c70c1c2375f05c2f5172ae19da959bbf69de944938df3e6a3e592608c5ee803d.jpg)

<div style="text-align: center;">(a) Accuracies on RHD</div>

![Image](images/f7bb2c5cecd2ba0f885f2a43da0f5d09e530aa4bef9c6b3c6280cd6a87152693.jpg)

<div style="text-align: center;">(b) Accuracies on DO</div>

![Image](images/6149f3208402a3e8289ed00335941ec1c5c6647879019d213023554e7880a47a.jpg)

<div style="text-align: center;">(c) Accuracies on SHD</div>

![Image](images/8ab98562617810ba728c4cf43bdbee6c2c315707c2eeedbaedeb1d3b7fc0a104.jpg)

<div style="text-align: center;">(d) Ablation study results RHD</div>

![Image](images/60f002fb1a6f72fba9770e209bca746468ad02622d8c458e481ab585e55f80b5.jpg)

<div style="text-align: center;">(e) Ablation study results DO</div>

![Image](images/d8b49fec927ead0af3b49bb4ee8bb180aec1e3aba4129152104a2dac64b50e8f.jpg)

<div style="text-align: center;">(f) Progression of the DHPE accuracies</div>

<div style="text-align: center;">Figure 5: Performances of different algorithms on three benchmark datasets: (a-c) accuracies on RHD, DO, and SHD, respectively; (d-e) evaluation of our algorithm design choices on RHD and DO, respectively; (f) progressions of the testing errors (orange curves) and the ratio of training data instances with small joint estimation errors (<$\tau$ in Eq. 10; blue curves) with $\lambda$ fixed at 0.01 (curves with dot markers) and with $\lambda$ scheduled based on Eq. 10 (curves with cross markers).</div>

![Image](images/bb20e4e920c3b9d66ee64dc901a43c401a83be15baa80623e9f1d6d266a28aaf.jpg)

<div style="text-align: center;">(a)</div>

<div style="text-align: center;">(b)</div>

![Image](images/17c823b582f62da69be6ea5740921c314d3009ab1010d9bf82189898683be9ec.jpg)

<div style="text-align: center;">(c)</div>

<div style="text-align: center;">(d)</div>

![Image](images/35c6344fe46cc971cc72fad14e4fb97e0343e7c4efed573192a639e5781a1dad.jpg)

<div style="text-align: center;">(e)</div>

<div style="text-align: center;">(RHD)</div>

<div style="text-align: center;">(a)</div>

![Image](images/6bf3fd6169201da9f96f5cacb83218f2b2ec88baba5cda400a2c40a031ffc458.jpg)

<div style="text-align: center;">(b)</div>

<div style="text-align: center;">(c)</div>

<div style="text-align: center;">(d)</div>

<div style="text-align: center;">(e)</div>

<div style="text-align: center;">(DO)</div>

<div style="text-align: center;">(a)</div>

![Image](images/f850ee4f67a562f3fe4a279d5d7c2e528c44ba2060538990ed8749b90c5afddb.jpg)

<div style="text-align: center;">(SHD)</div>

<div style="text-align: center;">Figure 6: Example dense hand pose estimation results. (RHD): (a) input images; (b-c) and (d-e) our results obtained without and with the shape loss  $L_{Sh}$ (Eq. 9), respectively; (b,d) dense hand pose estimation results, and (c,e) estimated shapes in canonical hand pose. (DO): (a,c) and (b,d) our results obtained without testing refinement and after applying 20 iterations of testing refinement, respectively; (e) failure and success cases under occlusion. (SHD): (a-b) input images and our results.</div>

……在迭代测试优化中提升3D骨骼估计效果，同时联合估计3D手部形状和姿态能在3D手部骨骼估计与2D手部分割任务中均达到最先进的准确率。

---

## 参考文献

[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Real-time online action detection forests using spatio-temporal contexts. In WACV, 2017. 1

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Augmented skeleton space transfer for depth-based hand pose estimation. In CVPR, 2018. 1, 2

[^3]: Seungryul Baek, Zhiyuan Shi, Masato Kawade, and Tae-Kyun Kim. Kinematic-layout-aware random forests for depth-based action recognition. In BMVC, 2017. 1

[^4]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, 2018. 1, 2, 4, 5, 7

[^5]: Tzu-Yang Chen, Pai-Wen Ting, Min-Yu Wu, and Li-Chen Fu. Learning a deep network with spherical part model for 3D hand pose estimation. In ICRA, 2017. 1

[^6]: Chiho Choi, Sang Ho Yoon, Chin-Ning Chen, and Karthik Ramani. Robust hand pose estimation during the interaction with an unknown object. In ICCV, 2017. 1

[^7]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 1

[^8]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand PointNet: 3D hand pose estimation using point sets. In CVPR, 2018. 2

[^9]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3D Hand pose estimation in single depth images: from single-view CNN to multi-view CNNs. In CVPR, 2016. 1,2

[^10]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 3D convolutional neural networks for efficient and robust hand pose estimation from single depth images. In CVPR, 2017. 1,2

[^11]: Riza Alp Güler, Natalia Neverova, and Iasonas Kokkinos. DensePose: Dense human pose estimation in the wild. In CVPR, 2018. 3

[^12]: Hengkai Guo, Guijin Wang, Xinghao Chen, Cairong Zhang, Fei Qiao, and Huazhong Yang. Region ensemble network: improving convolutional network for hand pose estimation. In ICIP, 2017. 1

[^13]: Kaming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 4

[^14]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018. 1, 2, 4, 5, 7

[^15]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: a massively multiview system for social motion capture. In ICCV, 2015. 2

[^16]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018. 2, 3, 4, 5, 7

[^17]: Angjoo Kanazawa, Shubham Tulsiani, Alexei A. Efros, and Jitendra Malik. Learning category-specific mesh reconstruction from image collections. In ECCV, 2018. 3, 4, 5

[^18]: Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neural 3D mesh renderer. In CVPR, 2018. 2, 3, 6

[^19]: James Kennedy and Russell Eberhart. Particle Swarm Optimization. In IEEE International Conference on Neural Networks, 1995. 7

[^20]: Cem Keskin, Furkan Kıraç, Yunus Emre Kara, and Lale Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In ECCV, 2012. 1

[^21]: Aisha Urooj Khan and Ali Borji. Analysis of hand segmentation in the wild. In CVPR, 2018. 4, 6, 7

[^22]: Hyeongwoo Kim, Michael Zollöfer, Ayush Tewari, Justus Thies, Christian Richardt, and Christian Theobalt. Inverse-facenet: Deep single-shot inverse face rendering from a single image. In CVPR, 2018. 6

[^23]: Philip Krejov, Andrew Gilbert, and Richard Bowden. Combining discriminative and model based approaches for hand pose estimation. FG, 2015. 2

[^24]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ToG, 2015. 3, 4

[^25]: Matthew M. Loper and Micheal J. Black. OpenDR: An approximate differentiable renderer. In ECCV, 2014. 3

[^26]: Jameel Malik, Ahmed Elhayek, Fabrizio Nunnari, Kiran Varanasi, Kiarash Tamaddon, Alexis Heloir, and Didier Stricker. DeepHPS: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth. In 3DV, 2018. 1,2

[^27]: Stan Melax, Leonid Keselman, and Sterling Orsten. Dynamics based 3D skeletal hand tracking. In i3D, 2013. 1

[^28]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In CVPR, 2018. 1,2

[^29]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018. 1,7

[^30]: Markus Oberweger and Vincent Lepetit. DeepPrior++: Improving fast and accurate 3D hand pose estimation. In ICCV Workshop on HANDS, 2017. 1, 2

[^31]: Markus Oberweger, Gernot Riegler, Paul Wohlhart, and Vincent Lepetit. Efficiently creating 3D training data for fine-hand pose estimation. In CVPR, 2016. 1

[^32]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Hands deep in deep learning for hand pose estimation. In Proc. Computer Vision Winter Workshop, 2015. 1

[^33]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Efficient model-based 3D tracking of hand articulations using kinect. In BMVC, 2011. 1, 2

[^34]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single RGB frame for real time 3D hand pose estimation in the wild. In WACV, 2018. 2, 7

[^35]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3D human pose and shape from a single color image. In CVPR, 2018. 2, 3, 4

[^36]: Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, and Jian Sun. Realtime and robust hand tracking from depth. In CVPR, 2014. 1

## [^37]: Kha Gia Quach, Chi Nhan Duong, Khoa Luu, and Tien D. Bui. Depth-based 3D hand pose tracking. In ICPR, 2016. 1

---

[^38]: Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Feature mapping for learning fast and accurate 3D pose inference from synthetic images. In CVPR, 2018. 1, 2

[^39]: Gernot Riegler, Ali Osman Ulusoy, and Andreas Geiger. OctNet: Learning deep 3D representations at high resolutions. In CVPR, 2017. 3

[^40]: Konstantinos Roditakis, Alexandros Makris, and Antonis A. Argyros. Generative 3D hand tracking with spatially constrained pose sampling. In BMVC, 2017. 1,2

[^41]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In SIGGRAPH Asia, 2017. 2, 3, 4

[^42]: Nathan Silberman, Pushmeet Kohli, Derek Hoiem, and Rob Fergus. Indoor segmentation and support inference from RGBD images. In ECCV, 2012. 6

[^43]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 1, 2

[^44]: Ayan Sinha, Chiho Choi, and Karthik Ramani. DeepHand: Robust hand pose estimation by completing a matrix imputed with deep features. In CVPR, 2016. 1

[^45]: Ayan Sinha, Asim Unmesh, Qixing Huang, and Karthik Ramani. SurfNet: Generating 3D shape surfaces using deep residual networks. In CVPR, 2017. 1

[^46]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018. 1,7

[^47]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from RGB-D input. In ECCV, 2016. 1,6

[^48]: Jonathan Talyor, Richard Stebbing, Varun Ramakrishna, Cem Keskin, Jamie Shotton, Shahram Izadi, Aaron Hertzmann, and Andrew Fitzgibbon. User-specific hand modeling from monocular depth sequences. In CVPR, 2014. 1, 2

[^49]: David Joseph Tan, Thomas Cashman, Jonathan Taylor, Andrew Fitzgibbon, Daniel Tarlow, Sameh Khamis, Shahram Izadi, and Jamie Shotton. Fits like a glove: Rapid and reliable hand shape personalization. In CVPR, 2016. 1, 2

[^50]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: structural estimation of 3D articulated hand posture. TPAMI, 2016. 1, 2

[^51]: Danhang Tang, Jonathan Taylor, Pushmeet Kohli, Cem Keskin, Tae-Kyun Kim, and Jamie Shotton. Opening the black box: hierarchical sampling optimization for estimating human hand pose. In ICCV, 2015. 1,2

[^52]: Danhang Tang, Tsz-Ho Yu, and Tae-Kyun Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In ICCV, 2013. 1, 2

[^53]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Toby Sharp, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, Arran Topalian, Erroll Wood, Sameh Khamis, Pushmeet Kohli, Shahram Izadi, Richard Banks, Andrew Fitzgibbon, and Jamie Shotton. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. In SIGGRAPH, 2016. 1,2

[^54]: Anastasia Tkach, Mark Pauly, and Andrea Tagliasacchi. Sphere-meshes for real-time hand modeling and tracking. In SIGGRAPH Asia, 2016. 1, 2

[^55]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. TOG, 2014. 2

[^56]: Shubham Tulsiani, Alexei A. Efros, and Jitendra Malik. Multi-view consistency as supervisory signal for learning shape and pose prediction. In CVPR, 2018. 2

[^57]: Hsiao-Yu Fish Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. Self-supervised learning of motion capture. In NIPS, 2017. 2, 3, 4

[^58]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Crossing nets: dual generative models with a shared latent space for hand pose estimation. In CVPR, 2017. 1,2

[^59]: Chengde Wan, Angela Yao, and Luc Van Gool. Hand Pose Estimation from Local Surface Normals. In ECCV, 2016. 1

[^60]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional pose machines. In CVPR, 2016. 4

[^61]: Min-Yu Wu, Ya Hui Tang, Pai-Wei Ting, and Li-Chen Fu. Hand pose learning: combining deep learning and hierarchical refinement for 3D hand pose estimation. In BMVC, 2017. 1

[^62]: Xinchen Yan, Jimei Yang, Ersin Yumer, Yijie Guo, and Honglak Lee. Perspective transformer nets: Learning single-view 3D object reconstruction without 3D supervision. In NIPS, 2016. 2

[^63]: Qi Ye, Shanxin Yuan, and Tae-Kyun Kim. Spatial attention deep net with partial PSO for hierarchical hybrid hand pose estimation. In ECCV, 2016. 1,2

[^64]: Shanxin Yuan, Guillermo Garcia-Hernando, Bjorn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong Yuan, Xinghao Chen, Guijin Wang, Fan Yang, Kai Akiyama, Yang Wu, Qingfu Wan, Meysam Madadi, Sergio Escalera, Shile Li, Dongheui Lee, Iason Oikonomidis, Antonis Argyros, and Tae-Kyun Kim. Depth-based 3D hand pose estimation: From current achievements to future goals. In CVPR, 2018.1,2

[^65]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Big hand 2.2M benchmark: hand pose data set and state of the art analysis. In CVPR, 2017. 1,2

[^66]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. A hand pose tracking benchmark from stereo matching. In ICIP, 2017. 6

[^67]: Xingyi Zhou, Qingfu Wan, Wei Zhang, Xiangyang Xue, and Yichen Wei. Model-based deep hand pose estimation. In IJCAI, 2016. 1

[^68]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. 1, 2, 4, 5, 6, 7