# 从自然场景图像中估计三维手部形状和姿态

Adnane Boukhayma $^{1}$, Rodrigo de Bem $^{1,2}$, Philip H.S. Torr $^{1}$

$^{1}$ 英国牛津大学

$^{2}$ 巴西里奥格兰德联邦大学

{adnane.boukhayma, rodrigo.andradedebem, philip.torr}@eng.ox.ac.uk

## 摘要

本文提出了首个基于端到端深度学习的算法，能够从自然场景的RGB图像中同时预测三维手部形状和姿态。我们的网络由深度卷积编码器和固定的基于模型的解码器组成。给定输入图像，以及可选地从独立CNN得到的二维关节检测结果，编码器会预测一组手部参数和视角参数。解码器包含两个组件：一个是预先计算好的、可根据手部参数生成三维网格的关节化网格变形手部模型；另一个是由视角参数控制的重投影模块，可将生成的手部模型投影到图像域中。实验表明，在深度学习框架中利用手部模型中编码的形状与姿态先验知识，能在标准基准测试上取得图像三维姿态预测领域的最先进性能，且能生成几何上合理、可信的三维重建结果。此外，我们还发现：利用自然场景图像数据集上的二维关节标注作为弱监督信号，结合有限可用数据集上的三维关节标注作为完全监督信号进行训练，能够很好地泛化到自然场景图像的三维形状与姿态预测任务中。

### 1. 引言

人体手部姿态估计与三维重建是计算机视觉和图形学领域一个由来已久的问题，它在虚拟现实、增强现实以及人机交互等多个领域都有广泛应用 [^35] [^15] [^46] [^13]。随着价格低廉的普通深度相机日益普及，研究文献自然更多地聚焦于通过深度观测来估计三维手部姿态（例如 [^62] [^66] [^10] [^36] [^61]），许多研究也在多视角设置下探讨了这一问题 [^33] [^65] [^41] [^8] [^31] [^50]。若采用单目彩色图像作为输入，由于深度与尺度歧义性增加，该问题本质上会变得难以求解；但这并未阻止一些研究人员 [^4] [^9] [^51] [^57] [^63] [^39] 在过去尝试解决它，尽管成果有限。最近，深度学习在类似任务中取得的空前成功，推动了相关新研究，为基于单张图像的三维手部姿态估计带来了令人鼓舞的结果 [^68] [^27] [^7] [^47] [^14]。不过，这项任务依然极具挑战性：与穿着衣服的人体或面部不同，手部外观几乎一致，且缺乏像眼睛、嘴巴这样的特征性局部特征；与人体相比，手部的姿态变化更为复杂，且可从更广泛的视角进行拍摄。此外，在野外环境中采集的数据集（如MPII+NZSL数据集 [^44]，见图9）中，手部图像通常存在外部遮挡、自身遮挡、杂乱背景以及因运动产生的模糊现象。而且，与场景中的其他物体相比，手部尺寸往往较小，因此围绕手部裁剪出的图像块分辨率较低。

利用深度学习从图像中进行三维手部姿态估计的主要障碍包括：(i) 缺乏标注有可靠三维真实值的大型数据集；(ii) 当前已有的三维标注数据集无法使网络很好地泛化到野外环境中的复杂图像。

针对第一个问题，现有研究主要通过训练合成图像 [^68]、将合成图像转化为逼真的图像以扩充数据集 [^27]，或在训练中利用深度等辅助类型的数据 [^7] [^47]。我们提出了一种不同且简单却高效的方法来缓解上述(i)和(ii)两类挑战，即减少训练中对三维数据的重度依赖：我们并未依靠配有三维关节标注的图像来学习手部几何先验，而是利用近期提出的、基于线性混合蒙皮技术 [^40] 构建的可微articulated mesh变形手部模型 [^18]，并将预测问题重新定义为基于学习的模型拟合任务，该任务可利用三维和二维关节标注进行训练。利用带有二维标注的图像进行训练……

---

![Image](images/d373174cef2e24ba3ca2e15cac61006323c418ac1b47d04e55a45a2d64fed074.jpg)

<div style="text-align: center;">Figure 1: Our pipeline takes as input a hand image and optionally 2D joint heat-maps from an independent CNN. The encoder generates the shape, pose and view parameters. The hand parameters are fed to the hand model that generates a triangulated 3D mesh and its underlying 3D skeleton. The latter are re-projected into the image domain using a weak perspective camera model controlled by the view parameters. This network is trained end-to-end with a combination of weak 2D and full 3D joint supervision. The hand and view parameters are not supervised.</div>

该模型能够访问更大的数据集（例如PANOPTIC [^44]），其中包含了大量自然场景下的标注图像（例如MPII+NZSL [^44]），相比之下，含3D真值的数据集规模较小，因此有助于提升对这类具有挑战性数据的泛化能力。给定一张输入图像，以及可选地从独立CNN获取的2D关节检测结果，深度卷积编码器会预测手部形状、姿态参数和视角参数。基于模型的解码器利用这些参数生成3D三角网格手部模型及其底层骨骼结构，同时将其投影到图像域中（见图1）。

本文的主要贡献如下：本研究首次提出了从单张RGB图像端到端学习3D手部形状和姿态的方法。我们还首次证明，在预计算的线性混合蒙皮[^18]手部模型[^40]中融入分解后的手部形状和姿态先验知识，再结合深度卷积编码器，能够在基于图像的3D姿态预测任务中取得最先进的性能，且无需后续优化处理[^27]就能生成几何上合理且逼真的3D重建结果。我们证明，这种策略结合在自然场景下标注的2D图像数据集上的训练，能够对非受控环境中具有挑战性的图像实现良好的3D手部重建泛化能力。

我们通过3D姿态估计的定量指标以及各种公开数据集上的定性评估来检验我们的工作成果。这些评估集涵盖了手部与物体交互、遮挡和杂乱场景等情况，包含第一人称视角图像、第三人称视角图像以及自然场景图像。即便与训练时利用额外深度信息[^7] [^47]、相机内参[^27] [^34]以及后续优化处理[^27]的方法相比，我们的方法在标准基准测试上仍取得了最先进的结果。在具有挑战性的自然场景图像数据集上，我们的方法也展现出了更优的定性效果（见图9及补充材料）。

### 2. 相关工作

关于基于深度数据[^62] [^66] [^10] [^36] [^61] [^11] [^43] [^45] [^19] [^20] [^24] [^30] [^37] [^48] [^52] [^53] [^59] [^64]、基于图像和深度数据[^26] [^32] [^49] [^28]、立体视觉[^33] [^65] [^41]以及多图像[^8] [^31] [^50]的3D手部姿态和重建研究已有大量文献。本文重点关注仅以单张彩色输入图像为研究对象的相关研究成果。

## 3 基于单张图像的3D手部姿态估计

深度学习之前的研究：在深度学习兴起之前，人们就已尝试通过判别式和生成式方法，从单目彩色输入图像中估计3D手部姿态[^4] [^9] [^51] [^57] [^63] [^39]。不过，这些方法大多性能有限，且对初始化的精细程度以及背景先验知识等有诸多要求。

深度学习：[^68] 的研究首次提出了利用深度学习从单张图像中估计三维手部姿态的方法。他们的方法由三个网络组成，分别用于手部分割、预测二维关节位置，随后再预测三维关节位置。[^27] 的研究表明，由于训练数据大部分为合成数据，上述方法在真实图像上的泛化能力较差。为此，他们（[^27]）提出使用Cycle-GAN [^67] 将带有三维标注的合成手部图像转换为逼真的图像。生成的数据被用于训练回归器，以预测二维和三维手部关节位置。最后一步优化是利用相机内参，将三维骨骼模型与先前的二维及三维预测结果进行拟合。[^34] 中提出的方法则是通过优化过程，将手部模型与最先进的CNN [^44] 检测到的二维关节位置进行拟合。我们同样采用了预定义的手部模型 [^40]，但该模型是在端到端训练的流程中使用的。

深度正则化：近期的研究通过利用训练中的深度图来解决从图像中预测3D手部姿态时的深度歧义问题。[^7] 提出减少

---

对真实数据集中噪声较大的3D标注的依赖，方法是引入一种能从3D关节点预测完整深度图的网络。这种深度正则化器使用真实和合成训练图像的真实深度数据进行训练，而3D预测仅由可靠的合成标签进行监督。[^47] 中的作者采用了多个变分自编码器，它们共享同一个潜空间，每个自编码器分别编码一种手部数据模态（如图像、2D关节点、3D关节点）。他们发现这些辅助自编码器有助于规整潜空间，从而生成更精准的跨模态预测结果（如从图像到3D关节点）。[^14] 表明，即使没有显式的完整深度图监督，预测隐式的2.5D热图表示也能提升3D预测效果。

手部模型：文献中提出了多种手部模型，主要旨在追踪深度和颜色数据。这些模型采用各种技术来描述手部，例如由几何图元组合而成的模型[^32]、高斯函数之和模型[^50]、球体网格模型[^58]，或是控制网格的循环细分模型[^20]。为了更精确地捕捉手部形状，[^32]引入了缩放参数以允许骨骼长度发生变化，而[^54]则会对模型形状进行预校准，使其适配目标手部。[^20]相关研究首次利用扫描数据，通过线性混合蒙皮技术来学习手部形状的变化规律[^18]。最近提出的名为MANO的模型[^40]在此基础上进一步改进，它学会了与姿态相关的校正混合形状[^25]，从而能够同时建模手部形状和姿态，生成更逼真的姿态化网格。本研究采用了MANO模型[^40]。

基于模型的解码器。多项研究提出将深度卷积编码器与生成模型相结合，用作人脸[^56] [^55]及人体[^17] [^60]的3D重建解码器。在这些研究中，解码器通常由参数化模型（如线性人脸模型[^6]、SMPL[^25]）与重投影/渲染模块组成。虽然大多数研究采用固定的解码器，但也有部分研究提出在监督初始化后对它们进行调整[^2] [^22] [^55]。本研究首次提出将CNN编码器与固定的生成式手部模型[^40]相结合，用于解决从图像进行3D手部重建的问题。

### 3. 概述

如图1所示，我们的流程以手部图像为输入，也可选择性地输入来自独立手部检测器的2D关节热图。深度卷积编码器对输入进行处理，生成一组手部形状$\beta$和姿态$\theta$参数，以及一组视角参数R、t和s。这些手部参数会被送入可微分的关节网格变形手部模型中，该模型会生成三角化的3D网格及其底层的3D骨骼。随后，这些输出会通过由视角参数控制的弱透视相机模型被重新投影到图像域中。重投影模块与手部模型共同构成了基于模型的解码器，其参数是固定的，无需训练。编码器使用我们在第6节详细阐述的合成样本进行预训练。需要注意的是，我们的流程训练采用端到端方式，利用2D和3D关节标注数据，无需对手部和视角参数进行监督，仅对手部参数施加正则化约束以确保其数值较小。接下来我们将详细介绍并解释流程中各个部分的功能。

### 4. 手部模型

我们采用了基于人体SMPL模型[^40]开发的MANO手部模型[^25]。它是一种关节网格变形模型，由可微分函数$M(\beta, \theta)$表示，该函数以两组分别控制生成手部形状和姿态的参数$\beta$和$\theta$作为输入：

 $$ M(\beta,\boldsymbol{\theta})=W(T(\beta,\boldsymbol{\theta}),J(\beta),\boldsymbol{\theta},\mathcal{W}), $$

其中W是对模板手部三角化网格T应用的线性混合蒙皮[^18]函数，该网格由包含$K = 16$个关节的运动学树进行绑定。J代表关节位置，它是通过从网格顶点学习的稀疏线性回归器得到的，而$\mathcal{W}$则是混合权重。

为了减少线性混合蒙皮产生的伪影，比如输出过于平滑以及关节处的网格塌陷现象，手部模板T是通过对平均网格$\bar{T}$进行变形得到的，分别加入形状和姿态校正混合形状$S_{n}$和$P_{n}$，具体形式如下：

 $$ T(\boldsymbol{\beta},\boldsymbol{\theta})=\bar{\mathbf{T}}+\sum_{n=1}^{|\boldsymbol{\beta}|}\beta_{n}\mathbf{S}_{n}+\sum_{n=1}^{9K}(R_{n}(\boldsymbol{\theta})-R_{n}(\boldsymbol{\theta}^{*}))\mathbf{P}_{n}, $$

其中$R_n(\boldsymbol{\theta})$是拼接了所有关节的旋转矩阵系数后所得到的向量中，对应姿态$n^{th}$的$\boldsymbol{\theta}$元素，而$\boldsymbol{\theta}^*$则表示静止姿态。模型中的常数$\{\mathbf{\bar{T}}, \mathbf{S}, \mathbf{P}, J, \mathcal{W}\}$是通过对31名受试者做出的约51种手部姿态的手部扫描数据进行拟合而得出的。

在SMPL模型中，姿态向量$\boldsymbol{\theta}$会将各关节的轴角值堆叠起来。为了帮助手部模型生成物理上合理的姿态，[^40]中的作者通过对构建模型时所采集数据中的关节轴角值执行主成分分析，从而将这种姿态表示简化为线性嵌入形式。姿态向量$\boldsymbol{\theta}$包含的是PCA得出的主要系数，而非轴角值。姿态$(\boldsymbol{\theta} \in \mathbb{R}^{10})$保留了10个系数，而用于描述形状的10个系数则为$(\boldsymbol{\beta} \in \mathbb{R}^{10})$。

给定输入的形状和姿态参数，我们可得到由N=778个顶点和1538个面构成的手部网格$M(\beta, \theta)$，以及对应的3D关节$J(\beta, \theta) = R_{\theta}(J(\beta))$。

---

其中$R_{\theta}$是由姿态$\boldsymbol{\theta}$引发的全局刚体变换。由于MANO中的手部骨骼不包含指尖关节，我们会将J与手部网格中对应这些关键点的5个顶点合并。最终的3D关节输出$J(\beta, \boldsymbol{\theta})$共包含21个关键点。

### 5. 相机模型

为了将3D手部网格顶点$M(\beta, \theta)$和3D关节$J(\beta, \theta)$重新投影到2D图像平面上，我们采用了弱透视模型。这种近似方法使得即便没有相机内参，我们也能利用标注好的图像进行训练，比如从YouTube视频中获取的自然场景图像（例如MPII+NZSL数据集）。给定一个全局旋转矩阵$R \in SO(3)$、平移量$t \in \mathbb{R}^2$以及缩放系数$s \in \mathbb{R}^+$，投影公式如下：

 $$ \hat{\mathbf{x}}=s\Pi(R J(\beta,\pmb{\theta}))+t, $$

 $$ \hat{\mathbf{y}}=s\Pi(R M(\beta,\pmb{\theta}))+t, $$

### 6. 编码器

其中$\Pi$为正射投影。

对于输入的手部图像，编码器的目标是预测对应的手部姿态和形状参数$\{\beta, \theta\}$以及相机参数$\{R, t, s\}$。我们使用ResNet-50网络[^12]，并调整其最终的全连接层以输出向量$v = \{R, t, s, \beta, \theta\} \in \mathbb{R}^{26}$。需要注意的是，全局旋转R是用轴角值编码的，因此由3个参数表示。我们还尝试将采用前沿方法[^44]得到的2D手部关节热图作为额外通道输入到手部RGB图像中。

![Image](images/b42e4d9eb0bca7df80e53f7da91ea38fadc2cb1b1173288b3eae831d8ce82e15.jpg)

<div style="text-align: center;">Figure 2: Examples from our synthetic dataset created to pre-train the encoder.</div>

网络预训练：我们对编码器进行预训练，以确保相机和手部参数能收敛到合理的值。为此，我们利用用作解码器的同一生成模型，创建了包含手部图像及其真实相机和手部参数的配对合成数据集。手部几何形状是通过采样姿态$\boldsymbol{\theta} \in [-2, 2]^{10}$和形状$\boldsymbol{\beta} \in [-0.03, 0.03]^{10}$，再施加旋转$\boldsymbol{R}$、平移t和缩放s来获得的。虽然[^40]的研究并未建模手部外观，但作者提供了用于构建几何模型的扫描数据及其对应的配准结果。原始扫描数据包含了每个顶点的3D坐标和RGB值。我们利用配准后的扫描拓扑来创建示例性手部外观：对于配准后网格中的每个顶点，我们赋予其原始对应扫描中最近顶点的RGB值，并在面内部对这些值进行插值。最后，将带有纹理的手部图像渲染在随机背景图像之上。图2展示了该数据集中的示例。

### 7. 训练目标

我们结合了多种损失函数来训练我们的模型：二维关节重投影损失$L_{2D}$、三维关节损失$L_{3D}$、手部掩码损失$L_{mask}$以及模型参数正则化损失$L_{reg}$。

 $$ \begin{array}{r}{L=L_{2D}+\alpha_{3D}L_{3D}+\alpha_{m a s k}L_{m a s k}+\alpha_{r e g}L_{r e g},}\end{array} $$

其中，$\alpha_{3D} = 10^{2}$、$\alpha_{mask} = 10^{2}$和$\alpha_{reg} = 10^{1}$为权重系数。

二维关节重投影损失：该损失确保图像平面中重投影的手部关节与真实的二维手部关节标注相吻合：

 $$ L_{2D}=\|\hat{\mathbf{x}}-\mathbf{x}\|_{1}, $$

这里x是包含真实二维手部关节坐标的向量。我们使用$L_{1}$损失来修正训练数据集中手部标注的不准确性。

三维关节损失：当存在真实的三维手部关节标注时（例如STEREO数据集），该损失会最小化这些标注与手部模型生成的三维手部关节之间的距离：

 $$ L_{3D}=\|R J(\boldsymbol{\beta},\boldsymbol{\theta})-\mathrm{x}_{3\mathrm{D}}\|_{2}^{2}, $$

其中$x_{3D}$是包含真实三维手部关节坐标的向量。

手部掩码损失：我们引入这种新型损失以加速训练收敛并优化手部形状预测。该损失会对那些位于二元掩码中所定义的手部区域之外的重投影手部顶点进行惩罚；该掩码在训练前预先计算好：

 $$ L_{m a s k}=1-\frac{1}{N}\sum_{i}H(\hat{\mathbf{y}}_{i}), $$

这里H是一个考虑遮挡情况的手部掩码：如果像素u位于手部区域内（即便该手部在图像中被遮挡），则$H(u) = 1$；否则为$H(u) = 0$。请注意：

---

![Image](images/52d6772777fa3ffa2c93ef620ba5b69a5e9c1f0e8bef2b2713fce94da1e73569.jpg)

![Image](images/b73fa685bc19e03992e7d6a49772328658fe075b3cbda2902e6b295d8b722d1b.jpg)

![Image](images/96da40518f955a10969cd25df28309e216fc9e06f0719a98860d7590203495c4.jpg)

<div style="text-align: center;">(a)</div>

![Image](images/eb1881dcd5fb394e2c6953c6939cc8772ac7e708d260bd362b0ba7945f77ff1b.jpg)

![Image](images/b92c100d1d6fc1463d18e71db84ab0232e6fea035630dfea54bab8981c9ea028.jpg)

<div style="text-align: center;">(b)</div>

<div style="text-align: center;">(c)</div>

<div style="text-align: center;">Figure 3: GrabCut [^42] hand segmentation initialized with 2D joint annotation. (a) Input image, (b) foreground, background and undecided regions from 2D joints, (c) final segmentation.</div>

利用手部皮肤分割方法（例如[^23]、[^5]）无法获得这类掩码，因为这些方法对遮挡现象较为敏感。

 $$ \begin{array}{r}{L_{r e g}=\|\pmb{\theta}\|_{2}^{2}+\alpha_{\beta}\|\beta\|_{2}^{2},}\end{array} $$

对于训练图像，我们通过GrabCut [^42]算法来获取这些掩码的近似值（见图3）：首先利用二维手部关节标注来初始化前景、背景以及可能属于前景/背景的区域。如图3b所示，我们根据手部骨骼层级结构，通过绘制宽度为1像素的连线来创建初始前景；属于手部表面的关节所构成的三角形内部的像素也会被加入前景。未确定区域被定义为距离前景最多70像素范围内的区域，其余像素则被划分为初始背景。

正则化损失：该损失作用于编码器输出的手部模型参数，通过减小其数值来保证手部重建结果符合物理规律且减少网格扭曲现象：

其中$\alpha_{\beta}=10^{4}$为权重系数。

### 8. 评估

我们在多个数据集上，针对现有最先进的方法，对本方法的三维姿态估计结果进行了定量评估，并对其三维重建效果进行了定性分析。即便无法获取相机内参，且仅利用二维和三维关节标注进行训练，本方法的性能仍优于各类基于深度学习的竞争方法——包括那些在训练中利用额外深度信息或在评估中使用相机内参的方法。尤其在面对模糊、低分辨率、遮挡、视角变化极大以及复杂手部姿态等挑战性场景时，本方法能够生成质量卓越的三维重建结果。

与[^44]类似，输入图像被假定为手部周围固定尺寸的裁剪图像。为实现这一点，我们使用手部关键点检测器[^44]来定位包含手部的最小矩形框，其边长为l。随后以先前检测到的矩形框所在的2D位置为中心，裁剪出边长为2.2l的正方形图像块。得到的裁剪图像会被调整大小，使其宽度和高度均为320像素。如同[^44]中的做法一样，我们采用右手模型，而左手图像则进行水平翻转处理。

最后，我们使用Adam优化器[^21]来训练我们的模型流程（见图1），学习率设为$10^{-4}$，权重衰减参数设为$10^{-5}$。

数据集：我们的训练集由PANOPTIC数据集[^44]构成，该数据集包含14847张图像；MPII+NZSL数据集的训练集[^44]包含1912张图像，其划分方式遵循[^44]中的规定；STEREO数据集的训练集[^65]包含15000张图像，划分方式遵循[^68]中的规定。总计有31729张训练图像，其中15000张（STEREO数据集）包含3D关节标注，其余16729张（PANOPTIC和MPII+NZSL数据集）仅包含2D关节标注。

PANOPTIC数据集[^44]包含了在Panoptic工作室[^16]中从多个视角拍摄的各种姿势的手部图像。MPII+NZSL数据集[^44]结合了来自YouTube视频的、经人工标注的MPII人体姿态数据集[^3]中的图像，以及惠灵顿维多利亚大学的新西兰手语（NZSL）练习集[^38]中的图像。STEREO数据集[^65]展示了第三人称视角下演员用手指数数以及随机移动手部的场景。

在评估阶段，我们使用DEXTER+OBJECT数据集[^49]，该数据集记录了第三人称视角下演员手部与长方体物体的交互情况。为了评估模型对遮挡和杂乱环境的鲁棒性，我们使用了EGODEXTER数据集[^28]，该数据集展示了从自我中心视角下手部与各种物体的交互过程。最后，我们利用MPII+NZSL数据集的测试集[^44]来评估模型在模糊、低分辨率、不同视角以及多种手部姿态等真实场景特征下的性能表现。

评价指标：为了定量评估3D手部姿态估计结果，我们报告3D空间中正确点的百分比（3D PCK），以及当存在真实标注时，估计出的3D关节与真实值之间的平均3D欧几里得距离，距离单位以毫米计。当仅有真实的2D关节标注可用时（如MPII+NZSL数据集），我们报告2D PCK以及估计出的2D投影关节与真实值之间的平均2D欧几里得距离，距离单位以像素计。

与现有方法的对比：我们在图4和图5中，针对STEREO数据集将我们的结果与最先进的3D PCK方法进行了比较，同时展示了3D关节的相关结果。

---

![Image](images/cc2829469817fbb419f486a8bc9b53e5ef0d995a03e1837396c1566fc0ab19e0.jpg)

<div style="text-align: center;">Figure 4: 3D PCK for STEREO.</div>

![Image](images/3e8b9bf8dbc7cdd6612b62ccd5bf0e3fe415299184396344bd61b510794ef4a7.jpg)

<div style="text-align: center;">Figure 5: 3D PCK for STEREO.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Ours RGB</td><td style='text-align: center; word-wrap: break-word;'>Ours RGB+2D</td><td style='text-align: center; word-wrap: break-word;'>Ours 2D</td><td style='text-align: center; word-wrap: break-word;'>2D fit</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3D distance</td><td style='text-align: center; word-wrap: break-word;'>9.76</td><td style='text-align: center; word-wrap: break-word;'>10.18</td><td style='text-align: center; word-wrap: break-word;'>10.46</td><td style='text-align: center; word-wrap: break-word;'>23.21</td></tr></table>

<div style="text-align: center;">Table 1: Average 3D joint distance (mm) to ground-truth for STEREO.</div>

表1中列出了相关误差。图4展示了基于深度学习的方法（Cai等人[^7]、Iqbal等人[^14]、Spurr等人[^47]、Mueller等人[^27]、Zimm等人[^68]），图5则展示了不依赖深度学习的方法（Panteleris等人[^34]、PSO、ICPPSO、CHPR [^65]）。在本实验中，我们在MANO模型的手掌中心添加一个关键点[^40]，该点由多个网格顶点插值而成，以便与STEREO数据集的标注相匹配。我们遵循最初在[^68]中提出的评估协议：用10个序列进行训练，剩余2个序列用于测试，并将预测结果与地面真实手根关节对齐。此外，为了与[^7]、[^47]、[^14]中的方法公平比较，本次实验中对手部图像进行了裁剪，使最终图像尺寸达到手部尺寸的150%。仅使用RGB图像作为输入，我们便取得了领先的结果；尽管部分对比方法在训练时除了图像外还使用了深度数据([^7]、[^14])，还有些方法([^27])会对输出结果进行优化处理，使其手部骨骼与3D及2D关节预测结果相匹配，且这类方法还会将相机内参作为额外输入。

图6展示了在DEXTER+OBJECT数据集上，我们的方法在遮挡和杂乱环境下的性能表现，评价指标为3D PCK；表2则列出了3D关节误差。此外，

![Image](images/d5f680bd199881f426b14cf39382e49d8b48a922497a747910facf37a1d8ca09.jpg)

<div style="text-align: center;">Figure 6: 3D PCK for DEXTER+OBJECT.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Ours RGB</td><td style='text-align: center; word-wrap: break-word;'>Ours RGB+2D</td><td style='text-align: center; word-wrap: break-word;'>Ours 2D</td><td style='text-align: center; word-wrap: break-word;'>2D fit</td><td style='text-align: center; word-wrap: break-word;'>Spurret al.</td><td style='text-align: center; word-wrap: break-word;'>Zimmet al.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3D distance</td><td style='text-align: center; word-wrap: break-word;'>33.16</td><td style='text-align: center; word-wrap: break-word;'>25.53</td><td style='text-align: center; word-wrap: break-word;'>25.93</td><td style='text-align: center; word-wrap: break-word;'>41.18</td><td style='text-align: center; word-wrap: break-word;'>40.20</td><td style='text-align: center; word-wrap: break-word;'>34.75</td></tr></table>

<div style="text-align: center;">Table 2: Average 3D joint distance (mm) to ground-truth for DEXTER+OBJECT.</div>

![Image](images/41469499590017e002b6bcc970335c6b4650dddeec7c25fd060b76bac7cc3b73.jpg)

<div style="text-align: center;">Figure 7: 3D PCK for EGODEXTER.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Ours RGB</td><td style='text-align: center; word-wrap: break-word;'>Ours RGB+2D</td><td style='text-align: center; word-wrap: break-word;'>Ours 2D</td><td style='text-align: center; word-wrap: break-word;'>2D fit</td><td style='text-align: center; word-wrap: break-word;'>Spurret al.</td><td style='text-align: center; word-wrap: break-word;'>Zimmet al.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3D distance</td><td style='text-align: center; word-wrap: break-word;'>51.87</td><td style='text-align: center; word-wrap: break-word;'>45.58</td><td style='text-align: center; word-wrap: break-word;'>45.33</td><td style='text-align: center; word-wrap: break-word;'>56.59</td><td style='text-align: center; word-wrap: break-word;'>56.92</td><td style='text-align: center; word-wrap: break-word;'>52.77</td></tr></table>

<div style="text-align: center;">Table 3: Average 3D joint distance (mm) to ground-truth for EGODEXTER.</div>

图7展示了在EGODEXTER数据集上，我们的方法在自中心视角下以及与各种物体交互时的结果，评价指标为3D PCK；表3则列出了3D关节误差。如图所示，我们的方法在这些场景下均优于其他竞争方法。需要说明的是，除[^14]外，我们展示了所有方法的相对3D姿态估计结果，该文献作者报告的是绝对值。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Ours RGB</td><td style='text-align: center; word-wrap: break-word;'>Ours RGB+2D</td><td style='text-align: center; word-wrap: break-word;'>Ours 2D</td><td style='text-align: center; word-wrap: break-word;'>2D fit</td><td style='text-align: center; word-wrap: break-word;'>Zimm. et al.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2D distance</td><td style='text-align: center; word-wrap: break-word;'>23.04</td><td style='text-align: center; word-wrap: break-word;'>18.95</td><td style='text-align: center; word-wrap: break-word;'>20.65</td><td style='text-align: center; word-wrap: break-word;'>22.36</td><td style='text-align: center; word-wrap: break-word;'>59.40</td></tr></table>

<div style="text-align: center;">Table 4: Average re-projected 2D joint distance (px) to ground-truth for MPII+NZSL</div>

我们预计我们的方法在野外图像数据集上的表现会尤为出色，因为我们的训练集包含此类数据，涵盖了低分辨率、模糊、被遮挡以及视角和姿态复杂的手部图像。

---

![Image](images/96237c33f774b70403737dab8bf9d59a30765f3d4c5550dbeac24158760d08eb.jpg)

<div style="text-align: center;">Figure 8: 2D PCK for MPII+NZSL.</div>

实际上，我们在图8和表4中分别通过2D PCK和2D关节误差，将我们的结果与MPII+NZSL数据集测试集上的[^68]的结果进行了比较。如图所示，我们的表现大幅优于[^68]。图9直观证实了我们的方法在该数据集上的优越性。

与2D拟合方法的比较：当以2D关节检测结果作为输入时，另一种解决3D手部姿态估计问题的方式是在投影后的手部模型关节与图像上检测到的关键点之间进行2D拟合，这一思路与[^34]提出的方法类似。我们对该策略的实现方式是针对弱透视相机参数$\{R, t, s\}$以及手部形状和姿态参数$\{\beta, \theta\}$最小化以下目标函数：

 $$ \begin{aligned}E(\boldsymbol{R},t,\boldsymbol{s},\boldsymbol{\beta},\boldsymbol{\theta})=&\sum_{i}p_{i}\left(s\Pi(\boldsymbol{R}J_{i}(\boldsymbol{\beta},\boldsymbol{\theta}))+t-\mathrm{x}_{i}\right)^{2}\\&+\alpha_{\boldsymbol{\beta}}\|\boldsymbol{\beta}\|_{2}^{2}+\|\boldsymbol{\theta}\|_{2}^{2},\end{aligned} $$

其中$p_i$是由检测CNN $i^{th}$提供的[^44]手部关节估计置信度。与式9中的损失项类似，式10第二行中的正则化项对于确保生成合理的3D手部重建结果至关重要。我们使用Chumpy [^29]框架内的Powell狗腿法[^1]来执行这一优化过程。

我们将这种方法（2D拟合）与我们所提出的方法在数据集STEREO、DEXTER+OBJECT和EGODEXTER上进行对比，其中3D PCK结果分别见图5、图6和图7，3D关节误差分别见表1、表2和表3；同时在数据集MPII+NZSL上，2D PCK结果见图8，2D关节误差见表4。结果表明，对于所有数据集而言，我们的方法均优于基于2D拟合的策略。我们观察到，虽然优化算法在2D任务中（MPII+NZSL）的表现与我们的方法相差不大，但在3D任务中的性能却显著下降。我们的方法得益于在学习框架内解决拟合问题，能够利用视觉线索来预测3D手部位置与姿态，而2D拟合仅依赖2D关节检测信息。在数据集STEREO上，我们的方法在图5中所展示的性能也优于基于2D拟合的方法，该方法使用了与[^34]类似的手部模型以及透视投影模型，相关描述见[^32]。

消融实验：我们评估了仅使用图像（我们的RGB方法）、仅使用来自最先进手部检测器[^44]的2D关节热图（我们的2D方法），以及将两者共同作为输入（我们的RGB+2D方法）之间的差异。我们在数据集STEREO、DEXTER+OBJECT和EGODEXTER上进行对比，其中3D PCK结果分别见图5、图6和图7，3D关节误差分别见表1、表2和表3；同时在数据集MPII+NZSL上，2D PCK结果见图8，2D关节误差见表4。在数据集STEREO上，仅用图像训练可获得最佳性能；而在我们测试的其他数据集中，图像与2D关节热图相结合的训练方式通常是最合适的。

定性分析：图9展示了我们在MPII+NZSL这一具有挑战性的测试集上的3D手部重建结果。如图所示，输入数据（9a）中的手部图像有时会出现模糊、分辨率低、被遮挡、视角多样以及姿态变化复杂等情况。我们将3D网格叠加在输入图像上（9b），并展示其不同视角下的效果（9c、9d）。我们还将我们的手部骨架（9e）与[^68]的2D及3D姿态预测结果（9f、9g）以及[^47]的3D预测结果（9h）进行对比。我们的方法能得到视觉上合理的结果，而[^68]和[^47]中的方法在MPII+NZSL数据集的许多样本上无法给出良好的3D姿态估计。更多示例详见补充材料。

### 9. 结论

我们提出了一种从单张RGB图像预测3D手部姿态与形状的方法。该方法将深度卷积编码器与生成式手部模型作为解码器相结合，并利用带有2D和3D手部关节标注的图像对生成的网络进行端到端训练。编码器会预测手部参数，这些参数会被输入到手部模型中；同时编码器还会预测视角参数，用于将给定的3D手部重新投影到图像域中。我们在3D姿态基准测试上取得了业界领先的结果，并在野外拍摄的具有挑战性的图像集上展现了出色的3D重建能力。正如[^56]和[^55]针对面部研究中所提出的那样，通过在训练中引入光度损失来利用手部外观模型，可进一步提升该方法的性能。这项工作的一个可能扩展方向是，允许对MANO [^40]模型中的某些组件（如校正混合形状S和P，见公式2）在训练过程中进行微调，以提高性能。

## 参考文献

[^1]: <http://chumpy.org>. 7

## [^2]: V. F. Abrevaya, S. Wuhrer, and E. Boyer. Multilinear autoencoder for 3d face model learning. In WACV, 2018. 3

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="4">![Image](images/27aa31a938281c7b0ff6943e249072dc49e12008b61cadf4e13fbace6d53a6aa.jpg)</td><td rowspan="4">![Image](images/b9d9046e4257831abc889cc1a1b534072f3483eb85a472b1cb5e0ff0ce4dbcb2.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f13388bd6cb00981ad5f68d2d5aeecd61a6bb707369546dbf94415667a486963.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/db4433f9c3a960168e3983ad2962dea78691b95e8333b6b7d0ab94362aba1087.jpg)</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/5744e23c442bf116d503941594fdfd57882b85d6832c03612c3ef18fda352645.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b9f68aca3f072177387baa3cae1623f0382c5dc2128aba9d25612fbec00eb30b.jpg)</td><td rowspan="3">![Image](images/1b5b33c77b9e6614a9f4e77c83387ec645b30469a0ffb7dbd0d46718dce24ea8.jpg) ![Image](images/c0dba705aeeb512934957c7aba4eefd2c83e1828eb66e39671e429affced10e2.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/3dfdf1c614d11970348577219954e49c3b771666169fbb8713e868632b228729.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ff5be4cf6a33c8d824649edfd3c52d0ebc9578d2b5792adc5b965e700f95a126.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/c3158c268bf802fac06be51f1bcbff695c13ba9dea7cfa58e352efd4390915c0.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/57f3b731083f6cbb308b183dacb308c3b78458312ef68c57c6d61db27882be89.jpg)</td></tr><tr><td rowspan="2">![Image](images/a3ddb2b4d25cf1429844a3aabf014186b087b76997e6f61447751d45513a6381.jpg)</td><td rowspan="2">[F4]</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/8cabaa12210d4312a39a7884a8f28908d131d92732951782425fe6ff82e464af.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/51c2e89b04c99ba8526461939678a41af1f08ff41455010c30cd7b34aea49d7b.jpg)</td><td rowspan="2">![Image](images/505e4d896c642a3520deb118134a7b3fd02e84795947d2e5e26693e1d648bdad.jpg) ![Image](images/ad771ba873622e348ef0f336830db97bcdf4e4a3053d41ce9459ac64298c1113.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/8cabaa12210d4312a39a7884a8f28908d131d92732951782425fe6ff82e464af.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/6ab7397d2385073114bc43f3fd5ceaad70d5fe009c80f95a2b30aed43b49d5e8.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/297da4b00691ae3f759057a556cf39724249222cba68ce52c31a5617d4d71bb9.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f5823d2372cab4527cd692bf22dba9004c0cf24f4285bf1084e5cb45988fb9dd.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/3797e8a67172ec8df2df81a936bd3a88fc4156939283bb1152cb05a5fbbea8e3.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/a7b2ce671c1dda2ea86c1d085e3f2150ee64f2605593856fc1e7f726edc20975.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/d1422dc1e190599d0116d188283cbd446ef21721f3c168b224195167b7f2f3b9.jpg)</td></tr><tr><td colspan="2">![Image](images/1e09c49c449cbb475f66a748fcfaed2ed6f28c655b9e5a297e50e979c8b9322f.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/62443838e9c3aba192ca8ab61495258d7e6d4d0dec5b21fc4cafef2ea389249a.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/09ece0a9b67b66d616c04d805204b2f402ee68fdf15435d985825310a0f6bdc8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/3f8a4cdc26435d9cf24cb9cd41b68bdb905f295b6720a8e6ea77dab2224258c3.jpg)</td></tr><tr><td colspan="2">![Image](images/fb1b752972c2b832b4c9c1c78734e4b01192c43a26c1c42dec03f5c195f4ee90.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/2d8435d02dba37812fb5d56b2ec643fcab3bf1aad391445113b483bea22422d2.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/1fa0cf2299ee9c9d38e167885ddf60b714e1aebfb251692c5a7d09447b439cc2.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c5968be3af15c8944201025c34a1170bf7908f1b634460b1e3a5a62ac150f22e.jpg)</td></tr><tr><td colspan="2">![Image](images/b5ff7485c08e622bce5bc75e5f4bf16d444262af682a868f5c55b7fa082ab2dc.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/95ee259fd625aa72297a3b593fdb50990d9db4964051231c9745a597b54a7633.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c5968be3af15c8944201025c34a1170bf7908f1b634460b1e3a5a62ac150f22e.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/e0c3fd42803424f987a7f1abd6a4531bd05d76002ebefe717e6b3df266805416.jpg)</td></tr><tr><td colspan="2">![Image](images/865998b1a46ed4b62c3674ca97bb3218fdc8216a8de37ebc8548bc6379abda11.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/865998b1a46ed4b62c3674ca97bb3218fdc8216a8de37ebc8548bc6379abda11.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b60de7bb7eaf24a8c7f322f9ed1d239e4f2686b61aa95cc5172dfe84c5e0ccdb.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/83deb7c04ca6dc2ba0995e35bb5bf6af1213d0a91caae11159d5064d54d944c3.jpg) ![Image](images/dd006c964c6fcd8da4ef6f09fbc6b4299455fc45318e90f30837fbcf53084071.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(a) Input</td><td style='text-align: center; word-wrap: break-word;'>(b) Our mesh</td><td style='text-align: center; word-wrap: break-word;'>(c) Back view</td><td style='text-align: center; word-wrap: break-word;'>(d) Side view</td><td style='text-align: center; word-wrap: break-word;'>(e) Our skeleton</td></tr></table>

<div style="text-align: center;">Figure 9: Our 3D hand reconstruction on examples from the challenging testing set of MPII+NZSL compared to the 3D hand pose predictions of [^68] and [^47].</div>

---

[^3]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In CVPR, 2014. 5

[^4]: V. Athitsos and S. Sclaroff. Estimating 3d hand pose from a cluttered image. In CVPR, 2003. 1, 2

[^5]: S. Bambach, S. Lee, D. J. Crandall, and C. Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In ICCV, 2015. 5

[^6]: V. Blanz and T. Vetter. A morphable model for the synthesis of 3d faces. In Conference on Computer graphics and interactive techniques, 1999. 3

[^7]: Y. Cai, L. Ge, J. Cai, and J. Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, 2018. 1, 2, 6

[^8]: T. E. de Campos and D. W. Murray. Regression-based hand pose estimation from multiple cameras. In CVPR, 2006. 1, 2

[^9]: M. de La Gorce, D. J. Fleet, and N. Paragios. Model-based 3d hand pose estimation from monocular video. IEEE transactions on pattern analysis and machine intelligence, 2011. 1,2

[^10]: L. Ge, Y. Cai, J. Weng, and J. Yuan. Hand pointnet: 3d hand pose estimation using point sets. In CVPR, 2018. 1, 2

[^11]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In CVPR, 2016. 2

[^12]: K. He, X. Zhang, S. Ren, and J. Sun. Identity mappings in deep residual networks. In ECCV, 2016. 4

[^13]: W. Hürst and C. Van Wezel. Gesture-based interaction via finger tracking for mobile augmented reality. Multimedia Tools and Applications, 2013. 1

[^14]: U. Iqbal, P. Molchanov, T. Breuel, J. Gall, and J. Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In ECCV, 2018. 1, 3, 6

[^15]: Y. Jang, S.-T. Noh, H. J. Chang, T.-K. Kim, and W. Woo. 3d finger cape: Clicking action and position estimation under self-occlusions in egocentric viewpoint. IEEE Transactions on Visualization and Computer Graphics, 2015. 1

[^16]: H. Joo, H. Liu, L. Tan, L. Gui, B. Nabbe, I. Matthews, T. Kanade, S. Nobuhara, and Y. Sheikh. Panoptic studio: A massively multiview system for social motion capture. In ICCV, 2015. 5

[^17]: A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik. End-to-end recovery of human shape and pose. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 3

[^18]: L. Kavan and J. Žára. Spherical blend skinning: A real-time deformation of articulated models. In Symposium on Interactive 3D Graphics and Games, 2005. 1, 2, 3

[^19]: C. Keskin, F. Kiraç, Y. E. Kara, and L. Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In ECCV, 2012. 2

[^20]: S. Khamis, J. Taylor, J. Shotton, C. Keskin, S. Izadi, and A. Fitzgibbon. Learning an efficient model of hand shape variation from depth images. In CVPR, 2015. 2, 3

[^21]: D. P. Kingma and J. Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 5

[^22]: S. Laine, T. Karras, T. Aila, A. Herva, S. Saito, R. Yu, H. Li, and J. Lehtinen. Production-level facial performance capture using deep convolutional neural networks. In Symposium on Computer Animation, 2017. 3

[^23]: C. Li and K. M. Kitani. Pixel-level hand detection in egocentric videos. In CVPR, 2013. 5

[^24]: P. Li, H. Ling, X. Li, and C. Liao. 3d hand pose estimation using randomized decision forest with segmentation index points. In ICCV, 2015. 2

[^25]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics (TOG) (Proc. SIGGRAPH Asia), 2015. 3

[^26]: A. Makris and A. Argyros. Model-based 3d hand tracking with on-line hand shape adaptation. 2015. 2

[^27]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In CVPR, 2018. 1, 2, 6

[^28]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In ICCV, 2017. 2, 5

[^29]: J. Nocedal and S. J. Wright. Nonlinear Equations. Springer, 2006. 7

[^30]: M. Oberweger, P. Wohlhart, and V. Lepetit. Training a feedback loop for hand pose estimation. In ICCV, 2015. 2

[^31]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Markerless and efficient 26-dof hand pose recovery. In ACCV, 2010. 1, 2

[^32]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Efficient model-based 3d tracking of hand articulations using kinect. In BMVC, 2011. 2, 3, 7

[^33]: P. Panteleris and A. Argyros. Back to rgb: 3d tracking of hands and hand-object interactions based on short-baseline stereo. Hands17 Workshop ICCV, 2017. 1,2

[^34]: P. Panteleris, I. Oikonomidis, and A. Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. In WACV, 2018. 2, 6, 7

[^35]: T. Piumsomboon, A. Clark, M. Billinghurst, and A. Cockburn. User-defined gestures for augmented reality. In IFIP Conference on Human-Computer Interaction, 2013. 1

[^36]: G. Poier, D. Schinagl, and H. Bischof. Learning pose specific representations by predicting different views. In CVPR, 2018. 1, 2

[^37]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun. Realtime and robust hand tracking from depth. In CVPR, 2014. 2

[^38]: D. A. R. McKee, D. McKee and E. Pailla. Nz sign language exercises. Deaf Studies Department of Victoria University of Wellington. 5

[^39]: J. Romero, H. Kjellström, and D. Kragic. Hands in action: real-time 3d reconstruction of hands in interaction with objects. In ICRA, 2010. 1, 2

[^40]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), 2017. 1, 2, 3, 4, 6, 7

## [^41]: R. Rosales, V. Athitsos, L. Sigal, and S. Sclaroff. 3d hand pose reconstruction using specialized mappings. In ICCV, 2001. 1,2

---

[^42]: C. Rother, V. Kolmogorov, and A. Blake. Grabcut: Interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics (TOG), 2004. 5

[^43]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, et al. Accurate, robust, and flexible real-time hand tracking. In ACM CHI, 2015. 2

[^44]: T. Simon, H. Joo, I. Matthews, and Y. Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 1, 2, 4, 5, 7

[^45]: A. Sinha, C. Choi, and K. Ramani. Deephand: Robust hand pose estimation by completing a matrix imputed with deep features. In CVPR, 2016. 2

[^46]: J. Song, G. Sörös, F. Pece, S. R. Fanello, S. Izadi, C. Keskin, and O. Hilliges. In-air gestures around unmodified mobile devices. In ACM Symposium on User Interface Software and Technology, 2014. 1

[^47]: A. Spurr, J. Song, S. Park, and O. Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018. 1, 2, 3, 6, 7, 8, 11, 12

[^48]: S. Sridhar, F. Mueller, A. Oulasvirta, and C. Theobalt. Fast and robust hand tracking using detection-guided optimization. In CVPR, 2015. 2

[^49]: S. Sridhar, F. Mueller, M. Zollhoefer, D. Casas, A. Oulasvirta, and C. Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 2,5

[^50]: S. Sridhar, H. Rhodin, H.-P. Seidel, A. Oulasvirta, and C. Theobalt. Real-time hand tracking using a sum of anisotropic gaussians model. In 3DV, 2014. 1, 2, 3

[^51]: B. Stenger, P. R. Mendonça, and R. Cipolla. Model-based 3d tracking of an articulated hand. In CVPR, 2001. 1,2

[^52]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. In CVPR, 2015. 2

[^53]: D. Tang, J. Taylor, P. Kohli, C. Keskin, T.-K. Kim, and J. Shotton. Opening the black box: Hierarchical sampling optimization for estimating human hand pose. In ICCV, 2015. 2

[^54]: J. Taylor, R. Stebbing, V. Ramakrishna, C. Keskin, J. Shotton, S. Izadi, A. Hertzmann, and A. Fitzgibbon. User-specific hand modeling from monocular depth sequences. In CVPR, 2014. 3

[^55]: A. Tewari, M. Zollhöfer, P. Garrido, F. Bernard, H. Kim, P. Pérez, and C. Theobalt. Self-supervised multi-level face model learning for monocular reconstruction at over 250 Hz. In CVPR, 2018. 3, 7

[^56]: A. Tewari, M. Zollhöfer, H. Kim, P. Garrido, F. Bernard, P. Pérez, and C. Theobalt. Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction. In iCCV, 2017. 3,7

[^57]: A. Thayananthan, B. Stenger, P. H. Torr, and R. Cipolla. Shape context and chamfer matching in cluttered scenes. In CVPR, 2003. 1, 2

[^58]: A. Tkach, M. Pauly, and A. Tagliasacchi. Sphere-meshes for real-time hand modeling and tracking. ACM TOG, 2016. 3

[^59]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM ToG, 2014. 2

[^60]: H.-Y. Tung, H.-W. Tung, E. Yumer, and K. Fragkiadaki. Self-supervised learning of motion capture. In NIPS, 2017. 3

[^61]: C. Wan, T. Probst, L. Van Gool, and A. Yao. Dense 3d regression for hand pose estimation. In CVPR, 2018. 1, 2

[^62]: X. Wu, D. Finnegan, E. O’Neill, and Y.-L. Yang. Handmap: Robust hand pose estimation via intermediate dense guidance map supervision. In ECCV, 2018. 1, 2

[^63]: Y. Wu, J. Y. Lin, and T. S. Huang. Capturing natural hand articulation. In ICCV, 2001. 1, 2

[^64]: C. Xu and L. Cheng. Efficient hand pose estimation from a single depth image. In ICCV, 2013. 2

[^65]: J. Zhang, J. Jiao, M. Chen, L. Qu, X. Xu, and Q. Yang. 3d hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214, 2016. 1, 2, 5, 6

[^66]: Y. Zhou, J. Lu, K. Du, X. Lin, Y. Sun, and X. Ma. Hbe: Hand branch ensemble network for real-time 3d hand pose estimation. In ECCV, 2018. 1, 2

[^67]: J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In ICCV, 2017. 2

## [^68]: C. Zimmermann and T. Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 1, 2, 5, 6, 7, 8, 11, 12

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/8ec33bf80eaeba8fbd021ceac81278afd49b7d72c72d892a69c596d82da72099.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/d8c01ad7ce326ec8b025c89cd9186f0b55df09e5d679a197c283584a971e8d8c.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/d50822e0c3ea05abe1353cff1ff2848fe99bb21c72de0e56a7de58a43f5a65a7.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c6fcdd51dbc3f72a7725f0c5649cf4ad558491347ff6a9512f129b3965dacbae.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c35c9a07acb45e005174b3e862c53ce49bf2d10c5ddc59f5f209fe80eca95738.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/a22ab4fa8ee22a55da4b7043b3e620b3cad1af41eeeebbd61800c0937310bf7e.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/6646aa24140354a5ebcc994d4e0b5c70f63f89b76b36fc4e2ac2072eb25262d8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/5d0f59abbb6d1163ed7a57422064d4e9e5ddb90e333d47453c15019a47267116.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/1accd8e7013ada6c6fb5d63cd4598e031b66e9f31c2399a73ab60703c033bc69.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/e22d1b5ba306f045857ee4551d0bdb39e83ec78ec7b1f888247edddb7768dc2b.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f224e4bc8912f180856ec63dbc0cd155775099b86926c089b70377f0dda5c0f8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ebfac6da3750dc6fde03a39b85a2dd60b093e737c4047f9a5d205da4d881aefc.jpg)</td><td rowspan="2">![Image](images/f77a1060f963e02a2645403b5d0e1e0b75c4835c4890a8cbe3d922541456d8bd.jpg)</td><td rowspan="2">![Image](images/a57b9c5ee7cf2063b2fc3226499196e126d777d0c00d0939f96df7a5569a7b71.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/cfa3d72003bf4b7d2c17b164a3b793c0bd2a93c89548c2976d374e546fcb2c5f.jpg)</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/12ccb4dadb666cb666d32d00247d751fd2eb69ef84c7562a834e048e00a630a7.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/d179bec167953aad9d096bce4c7af38766934f726724c740a854aa8484e33a58.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/a8459222e741df080314dae2f72243858ff17fb122cf7bca1b044cb866ee1bc6.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/64aaa901bcefd339f5381960976062e3efa364d9159f48ef33b1fb0aef0c19a8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/5f1832ec7936f6f05317e06322b6cb193a7791adb1349fb2842747b16fb78103.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/0557d71b654b5acf478ab8d8d37908475d9413265edd5db13941eee63a3954c3.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/bd48d5026e9e992714d64953f2fe35ca38974f705cc1157930eea88a779542d6.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ed7fbacb74b184738f0adc84f7406350a48fcb7eb1e1381decf568c0d14a9709.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/263ca621842b69b68bde5c66467238d3b8fe9598b8c22a9c5cb6b8615dfeefb6.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/d76354505772555e54ee325e1f550395a733461e1ef2cddc16cd45ced4c3d94d.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/7580d552ed9a4c70aa0ebe85c3a92b68acd7a87828eaec89e11812d49d36d042.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/91ab46bcc0b8d952ff96596fa8bb7000a1469a4e40a3f88494087e56575c4956.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c679edc1f893441ec40dd0bfef46305bee934257e22852020b8df1fc22678476.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ac6166456e89fa91122796354695869cd068d6447081e956504240b938061c8a.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/9e7a47b8a24a8dedfdc896837af0cd80bb086ad96d8b4974e0398520cc94bcb3.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/14235ae73788a35df0ce7db9ff2ac74c8ac7948ca48d7c6641a37d0468d3002f.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c0e26204a90d94374e0d875e84e7e276f2d569e4447cfee63e896629d3a06088.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/e516e348f3cb660521408292b19ce946ff4690c32805fd2ea044f4245169b216.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f1739d7eabd103b59990f335684d85099905d1c492cbfd6a6c7e09fb887e441b.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/58ad34fca5420dcb3f269fd7a489d740717d0c67d31e3ee3a2cde8ce0e07b36a.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/4cdc559ff11451d8d8751e4eec5a2b75e549c022ae6afbdd054aaee91a148c3e.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/1e3815ce352013f9ac014d4607ffce7b582df904615b0d237001159dfbe48426.jpg)</td></tr><tr><td rowspan="3">![Image](images/188cbe4e5978bf582df0c3d0fb6dcc6447ca7ef80539dd8341621e2c6af7d012.jpg)</td><td rowspan="3">![Image](images/052ffddc938a98589f00222f68b0094e858457110f2c9ae2b16e06ca99463c77.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/5ccd58c98cc3d94711f4605074b1b38a7be547528141c7a490674ac74b33a46a.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f275a3ea49362b500ded52fc97ab3e513c18b1626e39adaf9026cbb5be309611.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/807a7f607adfbf414bbc051ea7b32a4aa50911128ff8edde2a496b04e341e11a.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/190677e580b8ee17719191b7cbc55aaf6f41ee21c8b1934f59f94f8e1b32da0d.jpg)</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/325f8f4203176d20ed06e42ee9f99efc1d96a9e9519521f36c984b6984f7bbb7.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f58dbdd7767a50852af7957ca5d27e760c200c3a8d1b2ed2214daf86cf2c9135.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/18f835508689cb5b1936e10e0f5b0bde7b4f205ac65497d5b29b693c006b8269.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/345f56b0be4ff882bb9a3b7a507ba22f675c7565f0ae733a742f17b2bca90a95.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/38d391d2c018ca990941ab7e012b0c19f9ef49b5668b02e2539185ee1e3cb5af.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/9d39adce0d8bd56514761a10cfd2d8c267375d1cb56d970ce9076454a4b51325.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/588300548a0c9f98185e8ec6ab9a2ebe15a11c764ebf28ccc9bf545a4728b899.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/6aab0006b0edf72fe92a30e788625473ef2630b72998d676749bc8153b7391a5.jpg)</td><td style='text-align: center; word-wrap: break-word;'>[F52]</td><td style='text-align: center; word-wrap: break-word;'>[F45]</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ef848a01541f1882b433a98944e84c9d82f197743b6cb96ba38979f557306d7e.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c12dbbdf3c6c9483f0d56e143dd4609e8bd8dbaa7899b9f639dc578a0d9f744a.jpg)</td></tr></table>

<div style="text-align: center;">(a) Input</div>

<div style="text-align: center;">(b) Our mesh</div>

<div style="text-align: center;">(c) Back view</div>

<div style="text-align: center;">(d) Side view</div>

<div style="text-align: center;">(e) Our skeleton</div>

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">![Image](images/715c8933c800ce853ef34437c6c60d25203c784a54a0de0e0805470df5ad1a48.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/30dd8664f527d70b3655558937c663bc511790324779b529d78f6d8e9b5451fb.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/1b299ff5558e8b6420993789e94d1802c9cafe359e550c297e06a66b652dad41.jpg)</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/3b0f2cdb73631480f35b71086ee7c8d50bf79ce668379c68495876fb6a8e8f8a.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c13c8512a6bba4f2d65c5f9de793373f5271e4853a01315dd06aa2e12982c459.jpg)</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>![Image](images/e78f9cd3b03d56629e5425181bddd522f07ae960305c8abd7daf481579a0409d.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/57545658264e74adff7e8187b52b9715f63ddf1aa25f1178d4d34066d2ad52d9.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/e79300f54767f7c3b3d2a54c64df2dc3933a2e06498c47bacc74f1c1378ef87d.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/def1051b4307a3ab8e66ab2d5db9f73a2fec59a8e204a195c193be588ae83a03.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/7fab06aeadaca3231402e315e2ab5e85b8ea0b47161f008ad21bd104a86153a8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b98223ec0ac8edfa724b1a767879e812cfe93a62de4f11c785dc22f1cf04274d.jpg)</td></tr><tr><td rowspan="2">![Image](images/1ceeba021f9cad8ec04ecc69961aff91de171a2420b10092c22c8956950aceec.jpg)</td><td rowspan="2">![Image](images/e4aa90e85639763c0ce0d6146ec2fc59709e0a97497baf564abae51eaa463ef8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/3f0be21b8e18011e06611587fc25ea070b00bf60cc5524d6aff5535dba8e92c9.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/afd88c59e60760fb2ecc1fcfa2157877ef91953d3db25b028be5b280080189a0.jpg)</td><td rowspan="2">![Image](images/e84e382bfae90fd77ba8719605150b83a5afb9e0e9f6ea5b807e60eda87680c7.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/c4bc14d3fca88ab9d605cf7909322e5ae2c86fac8b7064dd79a35be1839a6b96.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/9fc000c2f11d34bf028901e4fa8dfe21a9a976a9780af20cc2d702a49333ff4d.jpg)</td></tr><tr><td rowspan="3">![Image](images/ce3cf2473de10f99f9920c940aa61618d40531dc4471df0081ae342e33056707.jpg)</td><td rowspan="3">![Image](images/292c0a52b3ad0cb125b24e9134a7b7aa03fb2bb1761ce8fbce86d1d6612c04ee.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ea0606b596c059ed5700f3cac4ac1426cb839c9d2e6561fd640f691a30be4163.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/609caafbc335bbd4815acaa12daac3f9abcc5f2559803c4b7f0e4672c2494ac8.jpg)</td><td rowspan="3">![Image](images/ed4725a720335c7bec0a9511912dd6e5be8aab05111d59f1759c1681f553cf1d.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/1b9ebdfe3360e2fbe2c76a7a2b9bcbaedeb50e1a2f77b150595481eda9df1830.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b95446fec333327b888e5c602d40998634bffc5848f6b2c221854eeae7fd0d74.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/cd70deb44e7abc262b8f6de6860194555ae789583851900604d67be18cb1ddfd.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/82b703a0838d9289c6781aec186a923a60efab7cad5305e9d555d187a12032c1.jpg)</td></tr></table>

![Image](images/35dce7526d11ae7bc659f22cb171ce66e2e91c2ebf0e266ebee75e14176d77bb.jpg)

<div style="text-align: center;">(d) Side view</div>

<div style="text-align: center;">(c) Back view</div>

![Image](images/41add278638772fc98aad5647119fec870b39aa94bfbe25c5cfdd0cbcc112709.jpg)

<div style="text-align: center;">(b) Our mesh</div>

<div style="text-align: center;">(a) Input</div>

<div style="text-align: center;">(e) Our skeleton</div>

<div style="text-align: center;">(f) [^68]2D</div>

<div style="text-align: center;">Our 3D hand reconstruction on examples from the challenging testing set of MPII+NZSL compared to the 3D hand pose predictions of [^68] and [^47].</div>