# DeepHPS：通过合成深度数据学习实现3D手部姿态与形状的端到端估计
Jameel Malik $^{1,3}$、Ahmed Elhayek $^{1}$、Fabrizio Nunnari $^{2}$、Kiran Varanasi $^{1}$、Kiarash Tamaddon $^{2}$、Alexis Heloir $^{2}$ 以及 Didier Stricker $^{1}$
$^{1}$AV小组，德国凯泽斯劳滕DFKI研究所
$^{2}$DFKI-MMCI，SLSI小组，德国萨尔布吕肯
$^{3}$巴基斯坦NUST-SEECS
## 摘要
关节式手部姿态与形状估计是基于视觉的应用（如增强现实和动画）中的重要问题。与现有仅针对关节位置进行优化的方法不同，我们提出了一种全监督的深度网络，它能够从单张深度图像中联合估计完整的3D手部网格表示和姿态。为此，我们采用CNN架构来估计参数化表示，即手部姿态、骨骼尺度和复杂的形状参数。随后，嵌入在我们深度框架内的新型手部姿态与形状层会生成3D关节位置和手部网格。训练数据中缺乏涵盖各种手部形状的充足样本，限制了基于学习的方法的泛化性能；而且手动标注真实数据也并非理想之选。因此，我们推出了SynHand5M：一个包含百万级样本的合成数据集，其中配有精确的关节标注、分割掩码以及深度图的网格文件。在基于模型的学习（混合）方法中，我们在该数据集以及NYU和ICVL这两个公开基准测试上均取得了更优的结果。此外，通过采用真实数据与合成数据联合训练的策略，我们能够在3.7毫秒内从真实图像中恢复出3D手部网格和姿态。
### 1. 引言
3D手部姿态估计对于活动识别、人机交互以及用户意图建模等诸多计算机视觉应用而言至关重要。然而，虚拟和增强现实技术的出现使得重建3D手部表面及姿态成为必要。近年来，由于深度学习的显著发展以及低成本商用深度传感器的普及，姿态估计任务取得了巨大进展。不过，由于存在诸多挑战性因素——包括手部形状的巨大差异、视角变化、大量的自由度、受限的参数空间、自身相似性以及遮挡现象——这一问题仍未得到彻底解决。
需要大量训练数据，且这些数据需涵盖上述所有挑战性方面的所有可能变异情况
Figure 1: Real hand pose and shape recovery: We describe a deep network for recovering the 3D hand pose and shape of NYU[^43] depth images by learning from synthetic depth. Note that we infer 3D pose and shape even in cases of missing depth and occluded fingers.
上述要求是基于深度学习的方法实现良好泛化并取得显著精度提升的关键。最近发布的真实数据集[^53]包含了足够数量的标注图像，但其在手部形状变化方面存在很大局限（即仅涉及10名受试者）。由于大规模手动标注此类数据的成本极高，手部表面估计和手部部件分割等关键任务的进展受到了阻碍。在本文中，我们生成了一个合成数据集来解决这些问题。该数据集不仅能让我们创建出形状与视角变化丰富的、近乎无限的训练数据，还能在物体遮挡的情况下生成高精度的标注结果。合成数据集的一个弱点在于其逼真度有限。[^32]和[^18]提出了一种解决方案，即利用生成对抗训练网络来提升合成图像的逼真度。不过，生成逼真的图像与提高卷积神经网络（CNN）模型的识别率并非同一问题。在本文中，我们重点解决后者的问题，尤其关注各种手部形状，包括那些并不常见的极端形状（与[^30]的情况不同）。我们推出了SynHand5M：这是一个全新的百万级合成数据集，包含精确的关节位置、角度、网格文件以及深度帧的分割掩码；详见图示。
---
2. 我们的SynHand5M数据集为先进的手部分析开辟了新途径。
目前，基于CNN的判别性方法是估算深度图像中3D关节位置的最先进技术[^8] [^21] [^4] [^27]。然而，这些方法的主要缺陷在于预测结果较为粗糙，且未明确考虑运动学和几何约束。Sinha等人[^35]提出利用CNN从深度图像或手部关节角度估算3D形状表面，但他们的方法既无法估算手部姿态，也未考虑运动学和物理约束。此外，这些方法对未见过的手部形状的泛化能力较差[^52]。
另一方面，构建个性化手部模型需要采用不同的生成式方法，即通过优化复杂的能量函数来生成手部姿态[^29] [^24] [^26] [^40] [^42]。不过，针对特定人的手部模型校准显然限制了这些方法对不同手部形状的泛化能力。混合方法结合了判别式和生成式方法的优势[^6] [^34] [^23] [^41] [^36] [^50] [^54]。据我们所知，现有研究尚未有工作能在单一深度学习框架中同时估算完整的手部形状表面、骨长及姿态。
在本文中，我们解决了在不同手部形状下泛化3D手部姿态与表面几何估计的问题。我们提出在深度学习网络中嵌入一种新颖的手部姿态与形状层（HPSL），以联合优化3D手部姿态与形状表面。所提出的CNN架构能够同时估计手部姿态参数、骨骼尺度以及形状参数。所有这些参数会被输入到HPSL中，该层不仅实现了新的正向运动学函数，还负责拟合可变形手部模型以及线性混合蒙皮算法，从而生成3D关节位置与3D手部表面；详见图3。整个流程采用端到端的方式进行训练。总而言之，我们的贡献如下：
### 1. 一种能够执行以下功能的新型深度网络层
(a) 利用手部姿态与骨骼尺度参数的新组合来实现正向运动学计算。
(b) 根据手部形状参数与形变目标来重建可变形手部模型。
(c) 运用线性混合蒙皮算法来驱动3D手部表面的动画效果；详见第4.2节。
2. 一种用于同步估计手部姿态与形状的新型端到端框架；详见第3节。
3. 一个规模达500万条数据的新型合成手部姿态数据集，该数据集提供了精确的关节角度真值、3D关节位置、3D网格顶点以及分割掩码；详见第5节。该合成数据集将公开发布。
(a) Dataset components
(b) Shape variations
Figure 2: The SynHand5M dataset contains 5 million images. (a) The dataset ground truth components: hand poses (joints angles and 3D positions), depth maps, mesh files, and hand parts segmentation. (b) Samples illustrating the big variation in shape.
### 2. 相关工作
基于深度的手部姿态估计在计算机视觉领域已经得到了广泛研究。关于该领域的详细概述，我们建议读者参考综述文献[^39]。近期，[^52]对现有技术进行了全面分析与探讨，并指出了未来的挑战。相关方法大致可分为生成式、判别式和混合式三类。在本节中，我们将简要回顾现有的手部姿态基准测试集，随后重点讨论基于CNN的判别式与混合式方法。
现有的基准数据集。现有真实手部数据集的常见缺陷包括：手部形状变化少、真实标注不准确、训练数据量不足、手部姿态的复杂性低（如遮挡现象）、视角覆盖范围有限。最常用的基准数据集有NYU [^43]、ICVL [^41]和MSRA15 [^38]。NYU手部姿态数据集采用基于模型的直接搜索方法来标注真实值，其准确性较高，能够覆盖多种复杂的手部姿态。不过，其训练集仅包含单一手部形状。ICVL数据集采用基于引导式潜在树模型（LTM）的搜索方法，其真实标注大多不够准确；此外，它仅使用一种手部模型 [^53]。MSRA15采用迭代优化方法 [^26] 进行标注，随后再经人工修正；它包含17种手部姿态，但视角覆盖范围较广。该数据集的主要局限在于规模较小且标注准确性较低。近期，Yuan等人 [^53] 提出了一个百万级规模的真实手部姿态数据集，但该数据集的手部形状变化较少（仅涉及10名受试者）。其他一些规模极小的真实手部姿态数据集，如Dexter-1 [^37]、ASTAR [^49]、MSRA14 [^26]，并不适合用于大规模训练。也有不少研究致力于创建合成手部姿态数据集。MSRC [^31] 是一个合成基准数据集，但它仅包含一种手部模型，且姿态空间覆盖范围有限。在 [^35] 和 [^19] 中，研究人员利用中等规模的合成手部数据集来训练CNN模型，但这些数据集并未公开。
---
鉴于收集并标注大规模真实手部姿态数据集难度较大，我们提出了首个百万级规模的合成基准数据集，其中包含超过500万张深度图像，以及关节真实位置、角度、网格文件和分割掩码等信息。
基于CNN的判别性方法。近期的研究，如 [^17]、[^2]、[^47]、[^9]、[^7]、[^27]，其准确率均超过了基于随机决策森林（RDF）的判别性方法 [^31]、[^38]、[^46]、[^48]、[^13]。有几篇论文分别利用RGB或RGB-D数据来预测3D关节位置 [^56]、[^25]、[^33]、[^20]。在 [^7] 中，Ge等人利用3D-CNN直接回归3D关节坐标。近期，[^17] 提出了体素到体素回归框架，该框架利用了体素化后的输入深度与输出3D热图之间的一一对应关系。[^9] 和 [^47] 提出了一种强大的区域集成策略，该策略整合了来自深度输入不同区域的多个回归器的输出。Chen等人 [^2] 在 [^47] 的基础上扩展了迭代式姿态引导的区域集成策略。在 [^35] 中，提出了一种判别性的手部形状估计方法。尽管这些方法的准确率达到了业界领先水平，但它们并未对估计出的姿态施加明确的几何和物理约束；此外，这些方法在未见过的手部形状上仍无法很好地泛化 [^52]。
基于CNN的混合方法。Tompson等人[^43]利用CNN来估计二维热图，随后通过逆运动学恢复手部姿态。在这项工作的基础上，[^6]采用3D-CNN来估计二维热图，之后再回归三维关节位置。Oberweger等人[^23]则利用三个串联在反馈回路中的CNN来回归三维关节位置；该网络由初始姿态估计器、合成器以及最终的姿态更新网络组成。Ye等人[^51]提出了一种结合分层空间注意力机制与分层PSO的混合框架。Wan等人[^44]通过学习共享的隐空间来隐式建模手部骨骼中的依赖关系。在[^55]中，一个带有物理约束和固定手部模型的顺向运动学层被集成到端到端训练框架中。Malik等人[^14]进一步扩展了这项工作，在训练流程中引入了灵活的手部几何结构；该算法能够同时估计骨长与手部姿态。在[^45]中，采用多任务级联网络来预测二维/三维关节热图以及三维关节偏移量。Dibra等人[^5]提出了一种端到端的训练流程，利用无标签数据集来优化手部姿态。上述所有方法都仅将手部姿态估计问题转化为三维关节回归问题。我们认为，鉴于深度输入中蕴含固有的三维表面几何信息，可以在深度学习框架中嵌入可微分的手部姿态与形状层，从而不仅回归三维关节位置，还能得到完整的手部三维网格。
### 3. 方法概述
我们的目标是从单张深度图像$J = 22\,3\,\mathrm{D}$中同时估计$\vartheta = 1193$个手部关节的位置以及手部网格的$D_I$个顶点。图3(b)展示了处于静止姿态下的手部骨骼结构，它包含定义在26个自由度上的J个手部关节。手部根部有6个自由度：其中3个用于全局方向，3个用于全局平移；其余自由度均用于定义关节的活动方式。这26维的姿态向量是针对静止姿态初始化的，记为$\theta_{init}$。任何其他姿态$\Theta$都可以通过对静止姿态添加变化量$\delta\theta$来构建，即$\Theta = \theta_{init} + \delta\theta$。骨长B是通过对我们合成数据集中不同手形的所有骨长取平均值来初始化的；为了增加手部骨骼的灵活性，我们为骨长赋予了6种不同的骨骼比例$\alpha$。我们的手部网格包含$\vartheta$个顶点和1184个面；图3(b)展示了中性状态下的手部表面。我们使用7个手部形状参数$\beta$，这些参数可用于在参考姿态下描述所需手形的表面几何结构；详见第5节。
我们的流程如图3(a)所示。首先，一种新的CNN架构根据深度输入$\delta\theta$来估计$\alpha$、$\beta$和$D_f$。该架构由用于估计$\delta\theta$的PoseCNN以及用于估计$\alpha$和$\beta$的ShapeCNN组成。随后，全新的非线性手部姿态与形状层（HPSL）会执行顺向运动学计算、手部形状表面重建以及线性混合蒙皮操作。该层的输出为三维关节位置和手部表面顶点；这些输出被用于计算关节位置与顶点的标准欧几里得损失，详见公式2。整个流程以全监督的方式端到端训练。
### 4. 手部关节姿态与形状估计
在本节中，我们将讨论流程中的各个组件，这些组件如图3(a)所示。我们会详细解释新颖的手部姿态与形状层（HPSL），因为它是能够同时估计手部姿态和形状表面的核心组件。
#### 4.1. CNN架构
我们的CNN架构包含三个并行的CNN，用于学习$\delta\theta$、$\alpha$以及$\beta$，输入为$D_1$。PoseCNN利用一种最先进的CNN [^9]来估计关节角度$\delta\theta$。不过，该CNN最初是用来回归3D手部关节位置的；详见第2节。关于区域集成网络（REN）的详细内容，请参阅[^9]。在我们的实现中，REN中的最终回归器会输出26维的$\delta\theta$。ShapeCNN由两个较简单的CNN组成，类似于[^22]；它们分别被称为$\alpha$-CNN和$\beta$-CNN。每个CNN都有3个卷积层，核大小分别为5、5、3。前两个卷积层之后是最大池化层，池化层的步长分别为4和2。卷积层会生成8张大小为12×12的特征图。
---
Figure 3: (a) An overview of our method for simultaneous 3D hand pose and surface estimation. A depth image $D_I$ is passed through three CNNs to estimate pose parameters $\delta\theta$, bones scales $\alpha$ and shape parameters $\beta$. These parameters are sent to HPSL which generate the hand joints positions P and hand surface vertices V. (b) Our hand model with 26 DoFs overlaid with the neutral hand shape $b_0$. The bone colors illustrate 6 bone-length scales $\alpha$.
最后，两个全连接（FC）层各有1024个神经元，dropout比率为0.3。在第二个FC层之后，$\alpha$-CNN和$\beta$-CNN中的最终FC层分别输出6维的$\alpha$参数和7维的$\beta$参数。所有层均采用ReLu作为激活函数。
#### 4.2. 手部姿态与形状层（HPSL）
HPSL是一种非线性可微层，嵌入在深度网络中，如图3(a)所示。该层的任务是根据姿态参数$P \in \mathcal{R}^{3 \times J}$、手部骨骼尺度$V \in \mathcal{R}^{3 \times \theta}$以及形状参数$\Theta$，生成3D关节位置$\alpha$和手部网格的顶点$\beta$。该层的功能可以表示为：
$$ (P,V)=\mathbf{H P S L}(\Theta,\beta,\alpha) $$
我们在该层中计算相应的梯度以实现反向传播。3D关节位置和3D顶点位置的损失分别定义为：
$$ L_{J}=\frac{1}{2}\left\|\boldsymbol{P}-\boldsymbol{P}_{G T}\right\|^{2}\quad,\quad L_{V}=\frac{1}{2}\left\|\boldsymbol{V}-\boldsymbol{V}_{G T}\right\|^{2} $$
其中$L_{J}$和$L_{V}$分别是3D关节和顶点的损失。$P_{GT}$和$V_{GT}$分别是3D真实关节位置和网格顶点的向量。该层内的各种功能详情如下：
手部骨骼长度自适应：为了在训练过程中适应数据集中不同手部形状导致的骨骼长度差异，[^14]提出了多种骨骼长度缩放策略。采用类似的方法，我们为手掌部分的骨骼长度指定了单独的缩放参数s_p，并为其他骨骼设置了5种不同的缩放比例，如图3(b)所示。在训练过程中，HPSL会从ShapeCNN中获取缩放参数$\alpha = [s_p, s_1, s_2, s_3, s_4, s_5]$。
可变形手部模型构建：利用ShapeCNN学习得到的形状参数$\beta$，我们在HPSL中通过实现可变形手部模型来重建手部形状表面。可变形手部模型$\Psi \in \mathcal{R}^{3x\theta}$是一组代表特定手部形状的3D顶点。任何可变形手部模型都可以表示为若干主要手部形状分量——即所谓的可变形目标$b_t$ [^11]——的线性组合。我们的主要手部形状分量包括长度、质量、尺寸、手掌长度、手指间距离、手指长度以及手指末端尺寸；它们代表了相对于中性手部形状$b_0$的偏移量，如图3(b)所示的中性手部形状便是其一。每个学习到的形状参数$\beta_t$决定了某一主要形状分量$b_t$在最终手部可变形模型构建中的贡献程度。因此，手部可变形模型$\Psi$可通过以下公式构建：
$$ \Psi(\boldsymbol{\beta})=\mathbf{b_{0}}+\sum_{\mathbf{t=1}}^{7}\beta_{\mathbf{t}}(\mathbf{b_{t}}-\mathbf{b_{0}}) $$
正向运动学与几何蒙皮技术：为了估算3D手部关节位置及表面顶点，我们在HPSL中实现了正向运动学和几何蒙皮功能。由于这一层属于深度网络的一部分，因此计算这些函数的梯度并进行反向传播至关重要。本节其余部分将阐述这些函数的定义及其梯度计算方法。
手部骨骼从参考姿态$\theta_{init}$到当前姿态$\Theta$的形变，可以通过沿运动链对每个关节$j_i$应用简单的刚体变换矩阵来获得。在我们的算法中，这些矩阵会根据骨骼缩放比例$\alpha$以及姿态参数的变化$\delta\theta$进行更新，而这些参数分别由我们的ShapeCNN和PoseCNN模型学习得到。关节$j_i$的运动学方程可表示为：
$$ \begin{aligned}j_{i}&=\mathrm{F}_{j_{i}}(\Theta,\alpha)=\mathbf{M}_{j_{i}}[0,0,0,1]^{T}\\&=\big(\prod_{k\in S_{j_{i}}}[\mathrm{R}_{\phi_{k}}(\theta_{k})]\times[\mathrm{T}_{\phi_{k}}(\alpha B)]\big)[0,0,0,1]^{T}\end{aligned} $$
---
其中，$M_{j_i}$表示从零姿态（即关节位于$[0,0,0,1]$处）到当前姿态的变换矩阵；$S_{j_i}$是指从关节$j_i$到根关节之间的运动链上的所有关节集合，而$\phi_k$则是关节k的旋转轴之一。
为了实现3D手部网格的动画效果，我们采用线性混合蒙皮技术[^12]，根据底层手部骨骼的运动学变换来对顶点集$\vartheta$进行变形。蒙皮权重$\omega_i$定义了骨骼与皮肤之间的绑定关系，其数值反映了各关节对相关顶点的影响程度。通常，每个顶点的权重被假定为凸性的（即$\sum_{i=1}^{n} \omega_i = 1$且$\omega_i > 0$）。顶点$\mathbf{v}_{\times} \in \Psi$的变换可定义为：
$$ \begin{aligned}\mathbf{v}_{\varkappa}&=\Upsilon_{\mathbf{v}_{\varkappa}}(\boldsymbol{\Theta},\boldsymbol{\beta},\boldsymbol{\alpha})=\sum_{i\in P_{\mathbf{v}_{\varkappa}}}\omega_{i}\mathbf{C}_{\mathbf{j_{i}}}\mathbf{v}_{\varkappa}(\boldsymbol{\beta})\\&=\sum_{i\in P_{\mathbf{v}_{\varkappa}}}\omega_{i}\mathbf{C}_{\mathbf{j_{i}}}(\mathbf{b}_{\mathbf{0}}^{\mathbf{v}_{\varkappa}}+\sum_{\mathbf{t}=\mathbf{1}}^{7}\beta_{\mathbf{t}}(\mathbf{b}_{\mathbf{t}}^{\mathbf{v}_{\varkappa}}-\mathbf{b}_{\mathbf{0}}^{\mathbf{v}_{\varkappa}}))\\ \end{aligned} $$
其中，$P_{v\varkappa}$是指影响顶点$v_{\varkappa}$的关节集合，而$C_{ji}$则是每个关节$j_i$从参考姿态$\theta_{init}$到当前动画姿势下实际位置的变换矩阵。$C_{ji}$可表示为：
$$ \mathbf{C}_{\mathbf{j}_{\mathbf{i}}}=\mathbf{M}_{\mathbf{j}_{\mathbf{i}}}\mathbf{M}_{\mathbf{j}_{\mathbf{i}}}^{*-1} $$
其中，$M_{j_i}^{*-1}$表示参考姿态变换矩阵的逆矩阵。
梯度计算：在HPSL的反向传播过程中，我们计算下述方程关于层输入的梯度：
$$ \mathbf{H P S L}(\Theta,\beta,\alpha)=(F(\Theta,\alpha),\Upsilon(\Theta,\beta,\alpha)). $$
重建后的手部可变形模型$\mathbf{v}_{\varkappa} = \mathrm{HPSL}_{\mathbf{v}_{\varkappa}}(\Theta, \beta, \alpha)$中的每个顶点$\Psi$均通过公式5进行变形。因此，其关于形状参数$\beta_t$的梯度可计算如下：
$$ \frac{\partial(\mathrm{H P S L}_{\mathrm{v}_{\mathrm{x}}})}{\partial\beta_{t}}=\sum_{i}\omega_{i}\mathbf{C}_{\mathbf{j}_{\mathbf{i}}}(\mathbf{b}_{\mathbf{t}}^{\mathbf{v}_{\mathrm{x}}}-\mathbf{b}_{\mathbf{0}}^{\mathbf{v}_{\mathrm{x}}})\quad\mathrm{f o r~}t=1,2,\ldots,7 $$
根据公式7，骨骼缩放会影响关节位置和顶点位置。因此，相对于手部缩放参数$\alpha_{s}$的梯度可以计算如下：
$$ \frac{\partial(\mathbf{H P S L})}{\partial\alpha_{s}}=\frac{\partial\mathbf{F}}{\partial\alpha_{s}}+\frac{\partial\Upsilon}{\partial\alpha_{s}}\qquad\mathrm{f o r}\;s=1,2,\ldots,6 $$
为了计算$\mathbf{F}$关于$\alpha_s$的偏导数，我们需要对每个关节相对于其对应的缩放参数求导。关节关于$\alpha_s$的梯度可以通过用其导数替换包含$\alpha_s$的缩放平移矩阵，同时保持其他矩阵不变来求得；详见补充文档中的公式2。同样地，顶点$v_\times$关于$\alpha_s$的梯度可以这样计算：
$$ \begin{align*}\frac{\partial\Upsilon_{\mathbf{v}_{\varkappa}}}{\partial\alpha_{s}}&=\sum_{i}\omega_{i}\frac{\partial\mathbf{C}_{\mathbf{j}\mathbf{i}}}{\partial\alpha_{s}}\mathbf{v}_{\varkappa}\\&=\sum_{i}\omega_{i}[\mathbf{M}_{j_{i}}(\mathbf{M}_{j_{i}}^{*-1})^{\prime}+(\mathbf{M}_{j_{i}})^{\prime}\mathbf{M}_{j_{i}}^{*-1}]\mathbf{v}_{\varkappa}\end{align*} $$
同理，对于姿态参数$\Theta$，我们可得到如下方程：
$$ \frac{\partial(\mathbf{H}\mathbf{P}\mathbf{S}\mathbf{L})}{\partial\theta_{p}}=\frac{\partial\mathbf{F}}{\partial\theta_{p}}+\frac{\partial\Upsilon}{\partial\theta_{p}}\qquad\mathrm{f o r}\;p=1,2,\ldots,26 $$
相应地，关节关于姿态参数$\theta_p$的导数只需用其导数替换$\theta_p$对应的旋转矩阵即可；详见补充文档中的公式5。而顶点$v_\times$关于$\theta_p$的导数计算如下：
$$ \begin{aligned}\frac{\partial\Upsilon_{\mathbf{v}_{\varkappa}}}{\partial\theta_{p}}&=\sum_{i}\omega_{i}\frac{\partial\mathbf{C}_{\mathbf{j}_{\mathbf{i}}}}{\partial\theta_{p}}\mathbf{v}_{\varkappa}\\&=\sum_{i}\omega_{i}[(\mathbf{M}_{j_{i}})^{\prime}\mathbf{M}_{j_{i}}^{*-1}]\mathbf{v}_{\varkappa}\quad for p=1,2,\ldots,26\end{aligned} $$
关于梯度计算的更多细节可在补充文档中找到。
### 5. 合成数据集
创建我们的合成数据集主要有两个目的。首先是在公开基准测试中缺乏真实的手部表面信息时，能够同时恢复完整的手部形状和姿态；详见第6.2节。第二个目的是提供具有足够多样的手部形状和姿态的训练数据，以便对CNN模型进行预训练，从而提高在真实基准测试中的识别率；详见第6.3节。这个问题与生成极其逼真的手部形状不同，后者可以应用基于现实世界统计的手部模型[^30]。然而，真实数据库中的形状变化更具挑战性，例如BigHand2.2M [^53]数据库仅采集自10名用户，而MANO [^30]数据库则由31名用户的贡献构建而成。相比之下，我们生成了更大范围的手部形状变化，这种变化可能在特定的人类用户群体中并不存在。
我们的SynHand5M数据集包含450万张训练图像和50万张测试图像；SynHand5M的组成部分见图2(a)。SynHand5M采用的是Manuel-BastionLAB [^15]生成的手部模型，这是一种作为Blender [^1] 3D创作软件插件发布的过程化全身生成器。我们的虚拟摄像机模拟的是Creative Senz3D交互式手势摄像头[^3]。它生成的图像分辨率为320×240，对角视场角为74度。
---
在默认位置下，手掌正对摄像机，手指向上。我们通过程序化调节控制手部的多个参数，并通过虚拟摄像机渲染视图来生成图像。描述手部模型的参数分为三类：手部形状、姿态和视角。
如果不加限制，手部生成器很容易产生不可能的手部形状。因此，为了界定调节手部形状的合理范围，我们参考了DINED [^16]人体测量数据库。DINED是一个汇集了多个人体测量数据库结果的资料库，其中包括CAESAR表面人体测量调查[^28]。我们手动调整了7个手部形状参数的范围（见第4.2节），以覆盖该数据集中99%的测量人群；更多细节详见补充文档。
为了调节手部姿态，我们操控手部模型的26个自由度；详见图3(b)。对于每一根手指而言，旋转操作作用于所有指骨的屈曲运动以及近节指骨的外展运动。此外，为提升握拳姿态的逼真度，中指、无名指和小指的滚动角度是根据同一指骨的外展角来确定的。旋转范围的设定旨在使手部能从握拳状态变为过度伸展状态，同时兼顾解剖学限制，防止手指陷入掌心。
手部可围绕三个自由度旋转以生成不同的视角：沿其纵轴（即沿手指方向）滚动、绕掌心垂直轴旋转（即在摄像头前滚动），以及绕其横轴旋转（即手腕的屈曲/伸展）。
### 6. 实验与结果
在本节中，我们将介绍所提算法及数据集的实现细节、定量与定性评估结果。我们采用三种评估指标：平均3D关节位置误差（JLE）、3D顶点位置误差（VLE），以及误差在指定毫米阈值内的图像占比。
近期基于CNN的判别性方法，如[^7] [^47] [^17] [^27]，性能优于基于CNN的混合方法；详见第2节。然而，由于这类方法直接回归关节坐标，既不会显式考虑手部形状，也不顾及运动学约束[^55] [^14]。此外，与混合方法相比，判别性方法对未见过的手部形状的泛化能力较差；详见[^52]。我们提出的混合方法虽然在精度上并未超越近期的判别性方法，但不存在上述局限。因此，将其与这些方法进行比较并不公平。不过，我们仍将其与最先进的混合方法进行对比，结果显示性能有所提升。值得注意的是，我们提出了首个能在单个网络中同时回归手部姿态、骨骼长度及形状表面的算法。
(a) ICVL
(b) NYU
Figure 4: Quantitative evaluation. (a) show the results of our algorithm (DeepHPS) on ICVL test set, when trained on ICVL and fine-tuned on ICVL. (b) is the same but with NYU. To fine-tune, we pretrain DeepHPS on our SynHand5M. Our results on ICVL show improved accuracy over the state-of-the-art hybrid methods (e.g. LRF[^41] and DeepModel[^55]). On NYU, the results are better than the state-of-the-art hybrid methods (e.g. DeepPrior[^22], DeepPrior-Refine[^22], Feedback[^23], DeepModel[^55] and Lie-X[^48]). The curves show the number of frames in error within certain thresholds.
#### 6.1. 实现细节
训练时，我们对原始深度数据进行预处理，以实现标准化和深度不变性。我们首先计算深度图像中手部区域的质心。得到的3D手部中心位置（即掌心中心）用于裁剪深度帧。裁剪过程中会用到相机内参（即焦距）以及大小为150的边界框。预处理后的深度图像尺寸为96×96，深度范围为$[-1, 1]$。相机坐标系下的标注数据只需按边界框大小进行归一化，并裁剪至$[-1, 1]$范围内即可。
我们使用Caffe [^10]作为开源深度学习训练框架。整个流程端到端训练直至收敛。学习率设为0.00001，SGD动量参数为0.9。训练期间批量大小设为256。该框架运行在配备Nvidia GeForce GTX 1080 Ti GPU和16GB RAM的台式机上。一次前向传播仅需3.7毫秒即可生成3D手部关节位置和形状表面。为简便起见，我们将该方法命名为DeepHPS。
#### 6.2. 算法评估
在本小节中，我们利用SynHand5M数据集对完整流程进行评估。此外，我们还设计了针对真实数据集与合成数据集的联合训练策略，以展示真实图像中的手部表面重建效果。
合成数据集上的评估：整个流程通过SynHand5M进行端到端的训练，以实现姿态和形状恢复。为了公平比较，我们在SynHand5M上训练基于深度学习的最先进模型[^55] [^14]。与另一种密切相关的方法相比，[^14]能够处理各种手部形状。
---
Figure 5: Real hand pose and shape recovery: More results on hand pose and surface reconstruction of NYU $^{[43]}$ images. Despite of unavailability of ground truth hand mesh vertices, our algorithm produces plausible hand shape.
另一种密切相关的方法是[^55]。定量结果如表1所示。我们的方法在准确性上明显优于对比方法，而且还能重建完整的手部表面。定性结果如图6所示。估计出的22个关节位置会被叠加在深度图像上，而重建的手部表面则通过名为3D View1和3D View2的两种不同视图展示。为了便于观察，View2与真实情况类似。结果表明，即便存在多个手指被遮挡或视角变化较大的情况，我们的DeepHPS模型也能推断出正确的手部形状表面。
NYU真实数据集上的评估：为了能在真实数据和合成数据上共同训练整个流程，我们在SynHand5M和NYU数据集中找到了16个匹配度较高的共同关节位置。这些共同关节与公开对比中使用的14个关节有所不同[^43]。损失函数表达式如下：
$$ L=L_{J}+\mathbb{1}L_{V} $$
其中$\mathbb{1}$是一个指示函数，用于判断网格顶点的真实值是否可用。在我们的设置中，合成图像对应的取值为1，真实图像对应的取值为0。对于真实图像，会禁用来自表面重建部分的反向传播。
样本NYU真实图像上的定性姿态和表面形状结果如图1和图5所示。尽管NYU图像缺乏真实的表面信息且相机噪声较高，但生成的手部表面仍具有合理性；在深度信息缺失或手部部分被遮挡的情况下，该算法也能表现出良好的性能。
#### 6.3. 公开基准测试对比
公开基准测试并未提供真实的手部网格文件。因此，我们提供了在两个真实手部姿态数据集（即NYU和ICVL）上的姿态推断定量结果。对比时，NYU数据集使用14个关节位置[^43]，而ICVL数据集[^41]则使用16个关节位置。
| Method \Error(mm) | 3D Joint Loc. | 3D Vertex Loc. |
| DeepModel [^55] | 11.36 | - |
| HandScales [^14] | 9.67 | - |
| DeepHPS [Ours] | 6.3 | 11.8 |
Table 1: Quantitative Evaluation on SynHand5M: We show the 3D joint and vertex locations errors (mm). Our method additionally outputs mesh vertices and outperforms model based learning methods [^55] [^14].
| Methods | 3D Joint Location Error |
| DeepPrior [^22] | 20.75mm |
| DeepPrior-Refine [^22] | 19.72mm |
| Crossing Nets [^44] | 15.5mm |
| Feedback [^23] | 15.9mm |
| DeepModel [^55] | 17.0mm |
| Lie-X [^48] | 14.5mm |
| DeepHPS:NYU [Ours] | 15.8mm |
| DeepHPS:fine-tuned [Ours] | 14.2mm |
Table 2: Quantitative comparison on NYU [^43]: Our fine-tuned DeepHPS model on the NYU dataset shows the state-of-the-art performance among hybrid methods.
| Methods | 3D Joint Location Error |
| LRF [^41] | 12.57mm |
| DeepModel [^55] | 11.56mm |
| Crossing Nets [^44] | 10.2mm |
| DeepHPS:ICVL [Ours] | 10.5mm |
| DeepHPS:fine-tuned [Ours] | 9.1mm |
Table 3: Quantitative comparison on ICVL [^41]: The DeepHPS model fine-tuned on the ICVL dataset outperforms the state-of-the-art hybrid methods.
我们的DeepHPS算法分别在NYU和ICVL数据集上训练，分别称为DeepHPS:NYU和DeepHPS:ICVL模型。随后，我们用NYU和ICVL数据集对预训练的DeepHPS（在SynHand5M上训练）进行微调，将其称为DeepHPS:fine-tuned模型。训练好的模型在8252张NYU测试图像和1596张ICVL测试图像上的3D关节位置误差分别计算得出。定量结果如图4以及表2和表3所示。DeepHPS:fine-tuned模型相较于DeepHPS:ICVL和DeepHPS:NYU模型，误差分别降低了13.3%和10.12%。
在ICVL和NYU数据集上，我们在关节位置准确性方面取得了优于现有最先进混合方法的成果。
失败案例：我们的框架在深度信息缺失和存在遮挡的情况下表现良好。然而，在严重遮挡且深度信息大量缺失的情况下，它可能无法检测出正确的姿态和形状；详见图7。
---
Figure 6: Synthetic hand pose and shape recovery: We show example estimated hand poses overlaid with the preprocessed depth images from our SynHand5M. We show the reconstructed surface from two different views (yellow) and the ground truth surface (gray). 3D View2 is similar to the ground truth view. Our algorithm infers correct 3D pose and shape even in very challenging condition, like occlusion of several fingers and large variation in view points.
(a)
(b)
Figure 7: Failure case: (a) incorrect pose due to highly occluded hand parts. (b) incorrect pose and shape due to significant missing depth information.
### 7. 结论与未来工作
在这项工作中，我们展示了从单张深度图像中同时恢复手部姿态和形状表面的方法。在训练阶段，我们合成生成了一个大规模数据集，其中包含精确的关节位置、分割掩码以及深度图像对应的手部网格。该数据集将为训练和测试基于CNN的3D手部姿态与形状分析模型提供宝贵的资源。此外，它还能提升CNN模型在手部姿态数据集上的识别率。在我们的算法中，首先通过CNN架构估算出中间参数化表示，随后在深度网络内部嵌入一个新颖的手部姿态与形状层，以输出3D手部关节位置和形状表面。实验结果表明，该方法在准确性上优于现有的混合方法。此外，我们还在真实图像上验证了该方法在恢复手部形状表面方面的良好效果。提升基于CNN的混合方法的性能是一个具有潜力的研究方向，这类方法因其固有的稳定性和可扩展性而具备巨大潜力。未来，我们希望扩展数据集，纳入更多视角、物体交互场景以及RGB图像。另一项未来的工作方向是预测手部表面的精细3D细节，此时现实世界的统计手部模型[^30]或许能提供更优的先验信息。
## 致谢
本研究部分由巴基斯坦国立科技大学、德意志联邦共和国联邦教育和研究部资助，属于DY-NAMICS研究项目（资助编号01IW15003）和VIDETE研究项目（资助编号01IW18002）的一部分。
---
## 参考文献
[^1]: Blender. , March 2018. 5
[^2]: X. Chen, G. Wang, H. Guo, and C. Zhang. Pose guided structured region ensemble network for cascaded hand pose estimation. arXiv preprint arXiv:1708.03416, 2017. 3
[^3]: Creative. Senz3d interactive gesture camera. , March 2018. 5
[^4]: X. Deng, S. Yang, Y. Zhang, P. Tan, L. Chang, and H. Wang. Hand3d: Hand pose estimation using 3d neural network. arXiv preprint arXiv:1704.02224, 2017. 2
[^5]: E. Dibra, T. Wolf, C. Oztireli, and M. Gross. How to refine 3d hand pose estimation from unlabelled depth data? In 3DV, 2017. 3
[^6]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3593–3601, 2016. 2, 3
[^7]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. 3,6
[^8]: H. Guo, G. Wang, and X. Chen. Two-stream convolutional neural network for accurate rgb-d fingertip detection using depth and edge information. In Image Processing (ICIP), 2016 IEEE International Conference on, pages 2608–2612. IEEE, 2016. 2
[^9]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang. Region ensemble network: Improving convolutional network for hand pose estimation. In ICIP, 2017. 3
[^10]: Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the 22nd ACM international conference on Multimedia, pages 675–678. ACM, 2014. 6
[^11]: J. P. Lewis, K. Anjyo, T. Rhee, M. Zhang, F. H. Pighin, and Z. Deng. Practice and theory of blendshape facial models. 4
[^12]: J. P. Lewis, M. Cordner, and N. Fong. Pose space deformation: a unified approach to shape interpolation and skeleton-driven deformation. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pages 165–172. ACM Press/Addison-Wesley Publishing Co., 2000. 5
[^13]: P. Li, H. Ling, X. Li, and C. Liao. 3d hand pose estimation using randomized decision forest with segmentation index points. In Proceedings of the IEEE International Conference on Computer Vision, pages 819–827, 2015. 3
[^14]: J. Malik, A. Elhayek, and D. Stricker. Simultaneous hand pose and skeleton bone-lengths estimation from a single depth image. In 3DV, 2017. 3, 4, 6, 7
[^15]: Manuel Bastioni. v1.5.0. bastioni.com, March 2018. 5
[^16]: J. Molenbroek. Dined, anthropometric database. , 2004. 6
[^17]: G. Moon, J. Y. Chang, and K. M. Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. arXiv preprint arXiv:1711.07399, 2017. 3, 6
[^18]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. arXiv preprint arXiv:1712.01057, 2017. 1
[^19]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. 2017 IEEE International Conference on Computer Vision (ICCV), pages 1163–1172, 2017. 2
[^20]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of International Conference on Computer Vision (ICCV), volume 10, 2017. 3
[^21]: M. Oberweger and V. Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In ICCV workshop, volume 840, page 2, 2017. 2
[^22]: M. Oberweger, P. Wohlhart, and V. Lepetit. Hands deep in deep learning for hand pose estimation. In CVWW, 2015. 3, 6, 7
[^23]: M. Oberweger, P. Wohlhart, and V. Lepetit. Training a feedback loop for hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 3316–3324, 2015. 2, 3, 6, 7
[^24]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Efficient model-based 3d tracking of hand articulations using kinect. In BmVC, volume 1, page 3, 2011. 2
[^25]: P. Panteleris, I. Oikonomidis, and A. Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. arXiv preprint arXiv:1712.03866, 2017. 3
[^26]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun. Realtime and robust hand tracking from depth. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1106–1113, 2014. 2
[^27]: M. Rad, M. Oberweger, and V. Lepetit. Feature mapping for learning fast and accurate 3d pose inference from synthetic images. arXiv preprint arXiv:1712.03904, 2017. 2, 3, 6
[^28]: K. Robinette, H. Daanen, and E. Paquet. The CAESAR project: a 3-D surface anthropometry survey. pages 380–386. IEEE Comput. Soc, 1999. 6
[^29]: K. Roditakis, A. Makris, and A. Antonis. Generative 3d hand tracking with spatially constrained pose sampling. In In BMVC. IEEE, 2017. 2
[^30]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6):245:1–245:17, Nov. 2017. 1, 5, 8
## [^31]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, et al. Accurate, robust, and flexible real-time hand tracking. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, pages 3633–3642. ACM, 2015. 2, 3
---
[^32]: A. Shrivastava, T. Pfister, O. Tuzel, J. Susskind, W. Wang, and R. Webb. Learning from simulated and unsupervised images through adversarial training. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), volume 3, page 6, 2017. 1
[^33]: T. Simon, H. Joo, I. Matthews, and Y. Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), volume 2, 2017. 3
[^34]: A. Sinha, C. Choi, and K. Ramani. Deephand: Robust hand pose estimation by completing a matrix imputed with deep features. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4150–4158, 2016. 2
[^35]: A. Sinha, A. Unmesh, Q. Huang, and K. Ramani. Surfnet: Generating 3d shape surfaces using deep residual networks. In Proc. CVPR, 2017. 2, 3
[^36]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In European Conference on Computer Vision, pages 294–310. Springer, 2016. 2
[^37]: S. Sridhar, A. Oulasvirta, and C. Theobalt. Interactive markerless articulated hand motion tracking using RGB and depth data. In Proceedings of the IEEE International Conference on Computer Vision, pages 2456–2463, 2013. 2
[^38]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 824–832, 2015. 2, 3
[^39]: J. S. Supancic, G. Rogez, Y. Yang, J. Shotton, and D. Ramanan. Depth-based hand pose estimation: data, methods, and challenges. In IEEE international conference on computer vision, pages 1868–1876, 2015. 2
[^40]: A. Tagliasacchi, M. Schröder, A. Tkach, S. Bouaziz, M. Botsch, and M. Pauly. Robust articulated-icp for real-time hand tracking. In Computer Graphics Forum, volume 34, pages 101–114. Wiley Online Library, 2015. 2
[^41]: D. Tang, H. Jin Chang, A. Tejani, and T.-K. Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3786–3793, 2014. 2, 6, 7
[^42]: D. Tang, J. Taylor, P. Kohli, C. Keskin, T.-K. Kim, and J. Shotton. Opening the black box: Hierarchical sampling optimization for estimating human hand pose. In Proceedings of the IEEE International Conference on Computer Vision, pages 3325–3333, 2015. 2
[^43]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG), 33(5):169, 2014. 1, 2, 3, 7
[^44]: C. Wan, T. Probst, L. Van Gool, and A. Yao. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017. 3, 7
[^45]: C. Wan, T. Probst, L. Van Gool, and A. Yao. Dense 3d regression for hand pose estimation. arXiv preprint arXiv:1711.08996, 2017. 3
[^46]: C. Wan, A. Yao, and L. Van Gool. Hand pose estimation from local surface normals. In European Conference on Computer Vision, pages 554–569. Springer, 2016. 3
[^47]: G. Wang, X. Chen, H. Guo, and C. Zhang. Region ensemble network: Towards good practices for deep 3d hand pose estimation. Journal of Visual Communication and Image Representation, 2018. 3, 6
[^48]: C. Xu, L. N. Govindarajan, Y. Zhang, and L. Cheng. Lie-x: Depth image based articulated object pose estimation, tracking, and action recognition on lie groups. International Journal of Computer Vision, pages 1–25, 2017. 3, 6, 7
[^49]: C. Xu, A. Nanjappa, X. Zhang, and L. Cheng. Estimate hand poses efficiently from single depth images. International Journal of Computer Vision, 116(1):21–45, 2016. 2
[^50]: Q. Ye and T.-K. Kim. Occlusion-aware hand pose estimation using hierarchical mixture density network. arXiv preprint arXiv:1711.10872, 2017. 2
[^51]: Q. Ye, S. Yuan, and T.-K. Kim. Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In European Conference on Computer Vision, pages 346–361. Springer, 2016. 3
[^52]: S. Yuan, G. Garcia-Hernando, B. Stenger, G. Moon, J. Y. Chang, K. M. Lee, P. Molchanov, J. Kautz, S. Honari, L. Ge, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In IEEE CVPR, 2018. 2, 3, 6
[^53]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim. Big-hand2. 2m benchmark: Hand pose dataset and state of the art analysis. In Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on, pages 2605–2613. IEEE, 2017. 1, 2, 5
[^54]: Y. Zhang, C. Xu, and L. Cheng. Learning to search on manifolds for 3d pose estimation of articulated objects. arXiv preprint arXiv:1612.00596, 2016. 2
[^55]: X. Zhou, Q. Wan, W. Zhang, X. Xue, and Y. Wei. Model-based deep hand pose estimation. In IJCAI, 2016. 3, 6, 7
[^56]: C. Zimmermann and T. Brox. Learning to estimate 3d hand pose from single rgb images. In International Conference on Computer Vision, 2017. 3