# 基于姿态引导的结构化区域集成网络用于级联手部姿态估计
陈星豪 $^{a}$、王贵金 $^{a,*}$、郭恒凯 $^{b}$、张彩荣 $^{a}$
$^{a}$清华大学电子工程系，北京 100084，中国
$^{b}$字节跳动人工智能实验室，北京，中国
## 摘要
从单张深度图像中估计手部姿态是计算机视觉与人机交互领域的重要研究方向。尽管卷积神经网络的发展推动了该领域的进步，但精准的手部姿态估计仍是一项极具挑战性的任务。在本文中，我们提出了一种名为“姿态引导结构化区域集成网络（Pose-REN）”的新方法，以提升手部姿态估计的性能。该方法在初始估计姿态的引导下，从卷积神经网络的特征图中提取相关区域，生成更优且更具代表性的特征用于手部姿态估计。随后，根据手部关节的拓扑结构，通过树形全连接层对提取的特征区域进行分层整合，从而回归出更精细的手部姿态。最终的手部姿态则通过迭代级联方法获得。在公开手部姿态数据集上的大量实验表明，我们提出的方法性能优于现有最先进的算法。
关键词：手部姿态估计、卷积神经网络、人机交互、深度图像
### 1. 引言
精准的3D手部姿态估计是人机交互与虚拟现实领域最重要的技术之一[^1]，因为它能为物体交互和手势识别提供基础信息[^2] [^3]。近年来，得益于微软Kinect、英特尔RealSense摄像头等深度摄像头的普及[^4] [^5] [^6] [^7]，从单张深度图像中估计手部姿态这一课题受到了广泛研究关注[^8] [^9] [^10] [^11] [^12] [^13] [^14] [^15]。然而，由于严重的自遮挡现象、手部关节的高复杂性、深度图像中的噪声与空洞、视角的巨大差异以及手指间的相似性等因素，手部姿态估计仍是一项极具挑战性的任务。
基于卷积神经网络（CNN）的手部姿态估计已经取得了显著进展。基于CNN的数据驱动方法要么预测手部关节的热图[^16]并从中推断手部姿态，要么直接回归手部关节的3D坐标[^17] [^18] [^7] [^19] [^10] [^20]。无论采用哪种方式，特征对手部姿态估计的性能都至关重要。以往的研究主要侧重于将先验知识融入CNN[^17] [^20]，或利用误差反馈[^18]以及空间注意力设计[^7]。然而，很少有研究关注如何提取更优且更具代表性的CNN特征。Ye等人[^7]利用空间注意力模块来选择特征并将其转换到规范空间；Guo等人[^9] [^51]提出了区域集成网络（REN），该网络将最后一层卷积层的特征图划分为多个空间区域，并在全连接层中将其整合。上述研究均未充分挖掘CNN在手部姿态估计中的最优特征。
在本文中，我们提出了一种名为姿态引导的结构化区域集成网络（Pose-REN）的新方法，以提升手部姿态估计的性能，如图1所示。通过迭代优化过程，我们所提出的方法以先前估计的姿态作为输入，在每次迭代中都能预测出更精确的结果。我们提出了一种在先前预测的手部姿态指导下进行特征提取的新方法，以获取用于手部姿态估计的最优且具代表性的特征。此外，受分层递归神经网络的启发[^21]，我们提出了一种分层方法来根据手部的拓扑结构融合不同关节的特征：属于同一手指的关节特征在第一层被整合，而所有手指的特征则在后续层中融合，最终预测出手部姿态。
我们在三个公开的手部姿态基准数据集上评估了所提出的方法[^22] [^5] [^23]。与现有最先进的方法相比，我们的方法取得了最佳性能。大量的消融分析阐明了框架中不同组件的贡献以及所提方法的鲁棒性。
本文的其余部分安排如下：第2节我们将回顾与我们提出的方法高度相关的前期工作。
---
Figure 1: The framework of our proposed pose guided structured region ensemble network (Pose-REN). A simple CNN (Init-CNN) predicts pose_0 as the initialization of the cascaded framework. Feature regions are extracted from the feature maps generated by a CNN under the guidance of pose_t-1 and hierarchically fused using a tree-like structure. pose_t is the refined hand pose obtained by our proposed Pose-REN and will be used as the guidance in next stage.
第3节我们将详细介绍所提出的姿态引导结构化区域集成网络；第4节提供了在公开数据集上的评估结果以及消融研究；第5节则对本论文进行简要总结。
### 2. 相关工作
在本节中，我们将简要回顾与所提出方法相关的工作。首先，我们会回顾近期基于深度的手部姿态估计算法；由于我们的方法本质上是建立在级联框架之上的，因此也会介绍用于手部姿态估计的级联方法；最后，我们会回顾有关神经网络分层结构的相关工作，因为我们的方法中用到了这种分层结构的连接。
#### 2.1. 基于深度的手部姿态估计
近期的手部姿态估计方法大致可分为三类：判别性方法 [^5] [^22] [^17] [^23] [^24] [^10] [^16] [^25] [^26] [^11] [^9]、生成式方法 [^27] [^28] [^29] [^30] 以及混合式方法 [^31] [^6] [^32] [^33] [^34] [^7] [^20]。关于基于深度的3D手部姿态估计的全面综述与分析可参见 [^4]。
生成式方法利用优化算法将预定义的手部模型拟合到输入数据上，从而得到优化的手部姿态，例如粒子群优化（PSO）[^34]、迭代最近点算法（ICP）[^27]及其组合算法（PSO-ICP）[^35]。以往的研究中采用了手工设计的能量函数来描述手部模型与输入图像之间的距离，比如金色能量 [^34] 和银色能量 [^6]。目前已采用多种手部模型，包括球体模型 [^35]、球体网格模型 [^28]、圆柱体模型 [^27] 以及网格模型 [^34]。生成式方法对于自遮挡区域或缺失区域具有较强的鲁棒性，能够输出合理的手部姿态。不过，它们需要复杂的、耗时的优化过程，且容易陷入局部最优解。
判别性方法直接从带标签的训练数据中学习预测器。该预测器要么预测各手部关节的概率图（热图）[^5] [^16]，要么直接预测3D手部关节坐标 [^17] [^9]。最常用的预测器方法是随机森林 [^36] [^22] [^37] [^6] [^23] 和卷积神经网络 [^5] [^17] [^9] [^10] [^11]。判别性方法无需任何复杂的手部模型，完全以数据为驱动，因此运算速度快，适合实时应用。Guo等人 [^9] [^51] 提出了一种区域集成网络（REN），显著提升了基于单一网络的手部姿态估计性能。区域集成网络将最后一个卷积层的特征图划分为多个空间区域，并在全连接层中将其整合起来。不过，REN采用均匀网格来提取特征区域，且所有特征被同等对待，这种方式无法最有效地利用特征图的空间信息来获取具有高度代表性的特征。
混合式方法试图结合判别性方法和生成式方法，以实现更精准的手部姿态估计。
---
性能方面。有些研究在通过判别方法获得初步结果后，才采用生成式方法[^31] [^33] [^34]。Zhou等人[^20]提出将手部模型融入CNN中，利用手部的约束条件来确保估计姿态的几何合理性。然而，混合方法必须预先定义手部模型的属性，比如骨骼长度。Oberweger等人[^18]提出了一种数据驱动的混合方法，该方法能够根据手部姿态生成深度图像。不过，深度图像的生成很容易受到标注误差的影响。
我们提出的方法本质上属于判别方法范畴，且不依赖任何预定义模型。与以往基于CNN的判别方法相比，我们提出的方法无需任何后处理步骤，就能通过级联框架直接预测手部姿态的3D位置。此外，我们提出的姿态引导结构化区域集成网络（Pose-REN）通过将先前估计的手部姿态的引导信息融入特征图，能够学习到更优的手部姿态估计特征，从而提升方法的性能。
尽管我们提出的 Pose-REN 遵循与 REN [^9] 相同的特征区域集成思想，但 Pose-REN 与 REN [^9] 之间存在若干本质区别：1）不同于使用网格区域特征提取的 REN，所提出的 Pose-REN 充分利用初始估计的手部姿态作为引导信息，从 CNN 中提取更具代表性的特征；如第 4.4.2 节所述，该方法被证明对手部姿态估计问题有很大影响。2）与 REN 采用的简单特征融合不同，我们的 Pose-REN 提出了一种结构化的区域集成策略，能够更好地建模手部不同关节之间的连接和约束。3）Pose-REN 是一个通用框架，可通过使用任何现有方法（例如 Feedback [^18]、DeepModel [^20] 等）来为其生成初始估计，从而轻松与这些方法兼容。
#### 2.2. 级联方法
级联框架已广泛应用于人脸对齐[^38] [^39] [^40]、人体姿态估计[^41] [^42]领域，在手部姿态估计问题上也展现出了良好的性能[^23] [^18] [^7]。
Sun等人[^23]提出了一种利用对视角变换具有不变性的手工设计3D姿态索引特征来迭代优化手部姿态的方法。Oberweger等人[^17]提出了一种后优化方法，以最初估计的手部关节为中心，利用多尺度输入区域独立优化每个关节。这些研究需要训练多个模型来进行优化，并独立预测手部关节的不同部分，而我们提出的方法仅需一个模型就能迭代改进估计的手部姿态。
Oberweger等人[^18]提出了一种用于手部姿态估计的反馈循环框架。该框架先利用判别网络产生初始手部姿态，再通过生成式CNN根据初始手部姿态生成深度图像，最后由更新网络通过比较合成深度图像与输入深度图像来优化手部姿态。不过，深度合成网络对手部姿态的标注误差极为敏感。
叶等人[^7]将级联回归与分层回归整合到CNN框架中，并采用了空间注意力机制。通过空间注意力模块生成的变换特征，对部分手部关节进行迭代优化。在他们的方法中，级联框架中的特征由初始CNN生成，除了空间变换外，在每一轮优化阶段都保持不变。而在我们提出的方法中，每个级联阶段都会利用端到端框架更新特征图，从而有助于学习更有效的手部姿态估计特征。
我们的Pose-REN同样采用了级联框架。与上述现有方法不同，我们提出了一种在先前预测的手部姿态引导下的新型特征提取方法，以从CNN中获取最优且具代表性的特征。此外，Pose-REN利用结构化区域集成策略显式建模不同手部关节之间的约束与关系，这是一种提升手部姿态估计鲁棒性与性能的新颖方法。
#### 2.3. 神经网络的层次结构
杜等人[^21]提出了一种用于基于骨骼的人体动作识别的分层循环神经网络（RNN）。他们将整个骨骼划分为五个部分，分别输入到RNN的不同分支中；通过对骨骼的不同部分进行分层融合来生成更高层次的表征。马达迪等人[^19]提出了一种树状结构的CNN，该结构在不同分支中回归局部姿态，并在最后一层融合所有特征。在他们的结构中，除最早期层共享特征外，不同局部姿态的特征是独立学习的。相比之下，我们的方法在所有关节的卷积层中共享特征，并对特征图中的不同区域进行分层融合，最终估算出手部姿态。共享特征能够更好地表征手部姿态，而特征融合的分层结构则能更好地建模不同手部关节之间的相关性。
### 3. 姿态引导的结构化区域集成网络
在本节中，我们首先于3.1节概述Pose-REN。随后，我们将在3.2节详细阐述在手姿态引导下从特征图中提取区域的过程。3.3节介绍了利用分层结构连接融合特征区域的细节。最后，3.4节和3.5节分别给出了训练策略与实现细节。
---
Figure 2: The scheme of our proposed pose guided region extraction. The green and red dots represent two hand joints from previously estimated hand pose. The rectangles of different colors are the corresponding feature regions extracted from the feature maps.
#### 3.1. 概述
图1展示了我们提出方法的框架。一个简单的CNN（记为Init-CNN）会预测初始手部姿态$pose_{0}$，该姿态被用作级联框架的初始值。所提出的框架以先前估计的手部姿态$pose_{t-1}$和深度图像为输入。深度图像被送入CNN以生成特征图。在输入手部姿态$pose_{t-1}$的引导下，从这些特征图中提取特征区域。我们提出方法的核心理念是：关节位置周围的特征贡献更大，而角落区域等特征的重要性则较低。之后，利用结构化连接将不同关节的特征分层整合，从而回归出优化后的手部姿态$pose_{t}$。虚线矩形中的图像展示了$pose_{t-1}$和$pose_{t}$的放大结果，可以看出网络会逐渐优化手部姿态。
我们的方法旨在通过一个级联框架，从单张深度图像中估计三维手部姿态。具体来说，给定一张深度图像$\mathcal{D}$，即可推断出J个手部关节的三维位置$\mathcal{P} = \{p_i = (p_{xi}, p_{yi}, p_{zi})\}_{i=1}^J$。在阶段$\mathcal{P}^{t-1}$中，给定先前估计得到的手部姿态结果$t-1$后，我们的方法会利用已学习的回归模型$\mathcal{R}$来在阶段t中优化手部姿态。
$$ \mathcal{P}^{t}=\mathcal{R}(\mathcal{P}^{t-1},\mathcal{D}) $$
经过T个阶段后，我们就能得到针对输入深度图像$\mathcal{P}^T$的最终估计手部姿态$\mathcal{D}$。
$$ \mathcal{P}^{T}=\mathcal{R}(\mathcal{P}^{T-1},\mathcal{D}) $$
需要注意的是，在推理阶段的每个细化步骤中，都仅使用同一个模型$\mathcal{R}$；详情请参阅第3.4节。
#### 3.2. 基于姿态的区域提取
我们首先采用带有残差连接的标准卷积神经网络（CNN）来生成特征图。本方法中用于生成特征图的CNN主干架构与[^9]中的基线网络相同，包含6个卷积层和2个残差连接。每个卷积层之后会接入修正线性单元（ReLU）[^43]作为激活函数，每2个卷积层之后会接入一个最大池化层。残差连接则添加在最大池化层之间。
我们将最后一个卷积层输出的特征图记为$\mathcal{F}$，将前一阶段估计得到的手部姿态记为$\mathcal{P}^{t-1} = \{(p_{xi}^{t-1}, p_{yi}^{t-1}, p_{zi}^{t-1})\}_{i=1}^{J}$。我们以$\mathcal{P}^{t-1}$为引导，从$\mathcal{F}$中提取特征区域。具体而言，对于第$i^{th}$个手部关节，我们首先利用深度相机的内参将其实世界坐标投影到图像像素坐标中，如公式3所示。
$$ (p_{ui}^{t-1},p_{vi}^{t-1},p_{di}^{t-1})=proj(p_{xi}^{t-1},p_{yi}^{t-1},p_{zi}^{t-1}) $$
随后，我们使用矩形窗口来裁剪该关节对应的特征区域，该窗口可由元组$(b_{ui}^{t}, b_{vi}^{t}, w, h)$定义，其中$b_{ui}^{t}$和$b_{vi}^{t}$分别是左上角的坐标，w和h则是裁剪后特征区域的宽度和高度。矩形窗口的坐标是通过将原始坐标$(p_{ui}^{t-1}, p_{vi}^{t-1}, p_{di}^{t-1})$归一化并转换为特征图中的坐标而得到的。
关节i对应的提取出的特征区域，就是通过在该矩形窗口内裁剪特征图而获得的：
$$ \mathcal{F}_{i}^{t}=crop(\mathcal{F};b_{ui}^{t},b_{vi}^{t},w,h) $$
其中函数$c r o p(\mathcal{F};b_{u},b_{v},w,h)$表示从$(b_{u},b_{v},w,h)$中提取由矩形窗口$\mathcal{F}$指定的区域。
图2展示了基于姿态的区域提取示例。左侧图像是CNN最后一个卷积层输出的特征图。需要注意的是，特征图通常包含多个通道，此处我们仅取其中一个通道来说明如何根据关节来裁剪区域。绿点和红点分别代表先前估计的手部姿态中的两个关节（掌中心关节和中指近节指骨关节）。绿色和红色矩形即为对应的裁剪窗口。中间和右侧列的图像显示了这两个关节的提取出的特征区域。
#### 3.3. 结构化区域集成
在前一节中，我们介绍了如何利用先前估计的手部姿态作为引导，从特征图中为每个关节提取特征区域。一种直观的特征区域融合方式是将每个区域分别接入全连接$(fc)$层，再将这些层的输出融合起来以回归最终的手部姿态，REN [^9]就采用了这种方式。
人手是一种高度复杂的关节活动物体。因此，不同关节之间存在诸多约束和关联 [^44] [^45]。若独立地用 $f_c$ 层连接特征区域并在最后一层进行融合，则无法充分满足这些约束条件。受分层递归神经网络的启发 [^21]，本文中我们
---
Figure 3: The architecture of the proposed structured region ensemble method. Features from the joints of the same finger (including the palm joint) are fused first. Afterwards, features of different fingers are fused to regress the final hand pose.
采用了分层结构的区域集成策略来更好地建模手关节的约束关系，如图3所示。首先，将一组特征区域 $\{\mathcal{F}_j^t\}_{j=1}^M$ 分别输入到全连接层中。
$$ h_{j}^{l_{1}}=f c(\mathcal{F}_{j}^{t}),\quad j=1,\ldots,M $$
其中，M表示从特征图中提取的区域数量。
接下来，根据手的拓扑结构对 $\{h_j^{l_1}\}_{j=1}^M$ 进行分层整合。具体而言，将属于第i根手指的关节索引记为 $\{l_j^i\}_{j=1}^M$，其中 $M_i$ 是属于第i根手指的关节数量。属于同一手指的所有关节会被拼接起来（记为concate），然后输入到全连接层中，如公式6和公式7所示。
$$ \bar{h}_{i}^{l_{1}}={c o n c a t e}(\{h_{I_{i}^{i}}^{l_{1}}\}_{j=1}^{M_{i}}),\quad i=1,\ldots,5 $$
$$ h_{i}^{l_{2}}=f c(\bar{h}_{i}^{l_{1}}),\quad i=1,\ldots,5 $$
之后，将不同手指的特征 $\{h_i^{l_2}\}_{i=1}^5$ 拼接起来并输入到全连接层，以回归出最终的手部姿态 $\mathcal{P}^t \in \mathbb{R}^{3 \times J}$。
$$ \bar{h}^{l_{2}}=c o n c a t e(\{h_{i}^{l_{2}}\}_{i=1}^{5}) $$
$$ \mathcal{P}^{t}=f c(\bar{h}^{l_{2}}) $$
公式5和公式7中的每个全连接层均包含2048个节点，其后面会接ReLU层和丢弃率为0.5的dropout层。最后一个全连接层会输出一个 $3 \times J$ 向量 $\mathcal{P}^t$，该向量代表了手部姿态的3D坐标。
#### 3.4. 训练
将原始训练集记为
$$ \mathcal{T}^{0}=\{(\mathcal{D}_{i},\mathcal{P}_{i}^{0},\mathcal{P}_{i}^{{g t}})\}_{i=1}^{N_{\mathcal{T}}} $$
其中 $N_{\mathcal{T}}$ 表示训练样本的数量，$\mathcal{D}_{i}$ 表示深度图像，$\mathcal{P}_{i}^{0}$ 表示初始估计的手部姿态，$\mathcal{P}_{i}^{gt}$ 则表示对应的手部姿态真值。
在第t阶段，使用 $\mathcal{R}^{t}$ 训练回归模型 $\mathcal{T}^{t-1}$。借助该模型，我们可以获取训练集中每个样本的精细化手部姿态。
$$ \mathcal{P}_{i}^{t}=\mathcal{R}^{t}(\mathcal{P}_{i}^{t-1},\mathcal{D}) $$
我们将这些精细化后的样本 $\overline{\mathcal{T}^t} = \{(\mathcal{D}_i, \mathcal{P}_i^t, \mathcal{P}_i^{gt})\}_{i=1}^{N_{\mathcal{T}}}$ 添加到训练集中，从而生成增强型训练集 $\mathcal{T}^t$。
$$ \mathcal{T}^{t}=\mathcal{T}^{t-1}\bigcup\overline{\mathcal{T}^{t}} $$
同样，我们在第 $\mathcal{R}^{t+1}$ 阶段使用 $t+1$ 训练模型 $\mathcal{T}^t$，并迭代重复这一过程直至达到最大迭代次数T。训练得到的模型 $\mathcal{R}^T$ 就是推理阶段用于迭代精细化初始手部姿态的最终模型，如公式1和公式2所述。
#### 3.5. 实现细节
我们使用Caffe框架实现了所提出的方法 [^46]。RoI Pooling层 [^47] 被用于辅助实现基于姿态引导的区域提取功能。
我们以 [^9] 中的基线网络作为Init-CNN，为我们的方法生成初始姿态。一般来说，任何现有的手部姿态估计算法都可以作为Pose-REN的初始化方法。我们将在第4.4.4节进一步探讨不同初始化方法的影响，包括预训练模型在推理阶段对其他初始化方法的泛化能力，以及Pose-REN对不同初始化方法的鲁棒性。
预处理。与以往的方法类似[^18] [^9]，我们从输入的深度图像中提取一个固定大小的立方体。该立方体的中心是通过计算手部区域的质心来确定的。提取出的立方体随后会被调整大小为$96 \times 96$的图块，其中的深度值也会被归一化到$[-1, 1]$范围内。此外，立方体外的深度值会根据立方体的大小进行截断处理，以增强对无效深度值的鲁棒性。提取固定大小立方体的目的是确保手部尺寸不受与摄像头距离的影响。
训练。我们首先训练Init-CNN以获取初始手部姿态。之后，我们利用训练好的Init-CNN的权重来初始化Pose-REN并训练该网络。整个网络采用随机梯度下降（SGD）算法进行训练，批量大小为128，动量参数为0.9。同时，网络还采用了0.0005的权重衰减系数。学习率被设定为0.001，每训练25个周期后学习率会除以10。每个阶段模型均训练100个周期，总共分为两个阶段完成训练。
我们遵循了几种已被证明对手部姿态估计非常有效的优秀实践方法[^9]，包括随机数据增强、平滑的$L_{1}$损失函数。至于数据
---
(a) MSRA
(b) NYU
(c) ICVL
Figure 4: The subset of joints used in pose guided region extraction. The joints circled by dash rectangles are used when extracting feature regions under the guidance of previous joints. Totally M = 11 joints are used, including a joint for the palm, two joints for the root and tip of each finger.
在数据增强方面，我们对深度图像应用了[0.9, 1.1]范围内的随机缩放、[-10, 10]像素范围内的随机平移以及[-180, 180]度范围内的随机旋转。我们采用平滑的$L_{1}$损失函数以降低对异常值的敏感度。
参数设置。不同数据集包含的手部关节数量有所不同，例如MSRA数据集中有21个关节，ICVL数据集中有16个关节。为了在模型复杂度和精度之间取得平衡，我们仅选取部分关节作为提取特征区域的引导。具体来说，如图4所示，我们使用了全部关节中的11个。被虚线矩形圈出的关节被用作引导，每个手指对应一个$M_i = 3$，其中包括一个手掌关节、一个手指根部关节以及一个手指尖端关节。需要注意的是，尽管仅利用部分关节（M = 11）作为提取特征的引导，网络仍能预测所有关节的位置。其背后的原理在于：不同特征区域的重叠确保了即便只使用部分关节，也能覆盖几乎所有重要特征。
在我们的实验中，提取区域的大小被设定为 $(w, h) = (7, 7)$。在推理阶段，迭代次数被设为 T = 3，这一内容将在第 4.4.1 节中进一步讨论。
### 4. 实验
在本节中，我们首先介绍实验中所使用的数据集和评估指标。随后，我们会在三个具有挑战性的公开数据集上评估所提出的方法：ICVL 手部姿态数据集 [^22]、NYU 手部姿态数据集 [^5] 以及 MSRA 手部姿态数据集 [^23]。最后，我们进行了大量的消融实验，以探讨所提出方法中不同组件的有效性和鲁棒性。
#### 4.1. 数据集
ICVL手部姿态数据集 [^22]。该数据集是通过英特尔的Creative Interactive Gesture Camera从10名不同受试者中采集的 [^48]。采集到的样本会经过平面内旋转处理，最终用于训练的数据集包含33万个样本。测试集中共有1596个样本，其中702个属于测试序列A，894个属于测试序列B。手部姿态标注包含16个关节，即每个手指3个关节，手掌1个关节。
NYU手部姿态数据集 [^5]。NYU手部姿态数据集是利用三台从不同视角拍摄的Kinect设备采集的。训练集包含来自1名受试者的72757帧图像，测试集包含来自2名受试者的8252帧图像，且测试集中的一名受试者并未出现在训练集中。手部姿态标注包含36个关节。遵循以往研究的协议 [^5] [^17] [^18] [^20] [^9]，我们仅使用正面视角的图像，且在评估时仅采用36个关节中的14个。
MSRA手部姿态数据集 [^23]。MSRA手部姿态数据集包含由英特尔Creative Interactive Camera从9名不同受试者处采集的76500帧图像。评估时采用留一受试者外交叉验证策略。手部姿态标注包含21个关节，即每个手指4个关节，手掌1个关节。该数据集存在较大的视角变化，因此颇具挑战性。
#### 4.2. 评估指标
手部姿态估计中广泛使用的两种评估指标是逐关节误差和成功率。用 $\{p_{ij}\}$ 表示测试帧中预测的关节位置，其中i为帧索引，j为关节索引。$\{p_{ij}^{gt}\}$ 为对应的真实标签。N为测试帧数量，J为单帧中的关节数量。
逐关节误差：所有测试帧中，每个关节的预测关节位置与真实位置之间的平均欧几里得距离。第 $j^{th}$ 个关节的误差计算公式如下：
$$ e r r_{j}=\frac{\sum_{i}(\|p_{i j}-p_{i j}^{g t}\|)}{N} $$
平均关节误差 $err = \frac{\sum_{j} err_{j}}{J}$ 也被用于评估手部姿态估计的整体性能。
成功率：合格帧所占的比例。若某帧的最大关节误差在距离阈值 $\tau$ 之内，则该帧被视为合格帧。距离阈值为 $\tau$ 时的成功率按公式14计算。
$$ r a t e_{\tau}=\frac{\sum_{i}\mathbb{1}(\max_{j}(\|p_{i j}-p_{i j}^{g t}\|)\leq\tau)}{N} $$
其中 $\Im(cond)$ 是一个指示函数，当条件成立时取值为1，否则取值为0。
---
Figure 5: Comparison of our approach with state-of-the-art methods on NYU dataset. Left: the proportion of good frames over different error thresholds. Right: per-joint errors.
Figure 6: Comparison of our approach with state-of-the-art methods on ICVL dataset. Left: the proportion of good frames over different error thresholds. Right: per-joint errors.
Table 1: Quantitative evaluation of different methods on the benchmark NYU dataset for hand pose estimation task. We report 2D average pixel errors and 3D average joint errors in mm.
| Methods | 3D error (mm) | 2D error (pixels) |
| HandsDeep [^17] | 19.73 | 9.81 |
| Feedback [^18] | 15.97 | 8.20 |
| DeepModel [^20] | 16.90 | 8.76 |
| Mask R-CNN [^49] | 27.61 | 8.25 |
| JTSC [^50] | 16.80 | 8.02 |
| Madadi et al. [^19] | 15.60 | - |
| Lie-X [^8] | 14.51 | 7.48 |
| REN (4x6x6) [^9] | 13.39 | 6.78 |
| REN (9x6x6) [^51] | 12.69 | 6.32 |
| Ours | 11.81 | 5.53 |
#### 4.3. 与最先进方法的比较
为了验证我们所提方法的有效性，将其与几种最先进的方法进行了比较，包括潜在随机森林（LRF）[^22]、带优化层的DeepPrior（HandsDeep）[^17]、级联式手部姿态回归（Cascaded）[^23]、反馈循环法（Feedback）[^18]、深度手部模型（DeepModel）[^20]、基于李群的方法（Lie-X）[^8]、多视角CNN（Multiview）[^16]、基于3D-CNN的方法（3DCNN）[^11]、CrossingNets [^10]、局部表面法线法（LSN）[^24]、遮挡感知方法（Occlusion）[^52]、JTSC [^50]、全局到局部CNN（Madadi等人）[^19]，以及采用 $9 \times 6 \times 6$ 区域设置的区域集成网络（REN-9x6x6）[^51]。
需要注意的是，一些最先进方法的报告结果是基于在线提供的预测标签计算得出的 [^22] [^18] [^20] [^9] [^8] [^51] 等。
---
Figure 7: Comparison of our approach with state-of-the-art methods on MSRA dataset. Left: the proportion of good frames over different error thresholds. Right: per-joint errors.
Figure 8: Comparison of mean error distance over different yaw (left) and pitch (right) viewpoint angles on MSRA dataset.
这些结果是从原始论文的图表中估算出来的 [^23] [^24] [^16] [^11] [^10] [^52] [^19]。
由于Mask R-CNN在RGB人体姿态估计方面表现优异，我们也将我们的方法与它进行比较 [^49]。为了公平比较，我们首先对深度图像进行裁剪并将其调整为 $96 \times 96$，这一预处理步骤与我们提出的方法相同。我们采用了与 [^49] 中人体姿态估计任务相似的设置，即以ResNet-50-FPN作为骨干网络。为了将Mask R-CNN应用于基于深度的手部姿态估计，我们首先利用Mask R-CNN检测图像坐标中的2D手部姿态，然后从原始深度图像中推断深度值以恢复3D手部姿态。为了减轻深度图像中噪声和空洞的影响，推断出的深度值被限制在手部的3D立方体内，并且会取9个相邻像素的有效深度值的平均值作为最终的深度坐标。
在NYU数据集上，我们将我们提出的方法与 [^17] [^18] [^20] [^53] [^8] [^10] [^16] [^11] [^51] [^49] 进行比较。图5给出了基于最坏情况标准的成功率以及各关节误差。如图所示，我们提出的方法优于所有最先进的方法。我们进一步在表1中比较了整体的2D和3D平均关节误差。与现有性能最佳的REN方法相比 $0.88mm$，我们的方法使3D误差降低了 [^51]。Mask R-CNN负责2D关键点检测，后续处理用于将2D姿态提升至3D姿态。它在2D误差方面与先前的方法相当。不过，我们的Pose-REN仍优于Mask R-CNN，能将2D误差降低2.7像素。
在ICVL数据集上，我们将我们提出的方法与 [^22] [^20] [^17] [^10] [^24] [^51] 进行比较。图6的结果表明，我们提出的方法以较大优势优于其他方法。与REN方法相比 [^51]，
---
我们的方法将平均误差降低了0.514毫米，相对改进幅度达到7.04%。
在MSRA数据集上，我们与几种最先进的方法 [^23] [^16] [^11] [^24] [^52] [^51] 进行了比较。图7显示了基于最大允许阈值的成功率以及各关节误差。在所有评估方法中，我们的方法取得了最佳性能。按照以往研究的协议 [^23]，我们还报告了分布在偏航角和俯仰角上的平均关节误差，如图8所示。几乎在所有角度下，我们的方法都产生了最小的误差。需要注意的是，当偏航角或俯仰角较小时，LSN方法 [^24] 产生的误差略小。然而，当视角变大时，LSN的性能会迅速下降。这些结果表明，我们的方法对视角变化的鲁棒性更强，而这在手部姿态估计中是一个极具挑战性的问题。
当误差大于约30毫米时，我们方法的有效帧比例相比REN [^51]会略有下降。这主要是由于这些具有挑战性的样本的初始姿态较差所致。就关节级误差而言，我们方法在所有对比方法中表现最佳。
在本节中，我们将通过大量实验来探讨我们方法中不同组件的贡献以及某些参数的影响。
#### 4.4. 消融研究
##### 4.4.1. 迭代次数T的影响
首先，我们来讨论迭代次数T对性能的影响。图10展示了在NYU数据集上采用不同迭代次数时的平均关节误差。迭代次数为0时的误差是初始化阶段的结果。经过一次迭代后，误差迅速下降；随着迭代次数增加，误差逐渐稳定并最终收敛。为了在计算复杂度和性能之间取得更好的平衡，我们将迭代次数设定为T=3。
##### 4.4.2. 姿态引导的区域提取的影响
我们提出的方法的一大贡献在于能够利用前一阶段的手部姿态来指导特征区域的提取。我们将验证这种策略是否有助于提升手部姿态估计的性能。在REN [^9]中，特征区域是通过均匀分布的网格来提取的。我们报告了仅采用一次迭代、且区域数量和区域大小与REN-4x6x6 [^9]及REN-9x6x6 [^51]保持一致时我们方法的性能。在这样的实验设置下，我们方法与REN的参数数量相同，从而确保了公平比较。后缀中的第一个数字表示区域数量，最后两个数字代表区域大小。具体而言，在4x6x6设置中，我们使用掌心关节、拇指、中指和小指的根部关节（记为Our-4x6x6）；
Table 2: Comparing average joint errors of our method with and without structured region ensemble strategy on three datasets. The numbers in the brackets indicate the percentages of error reduction.
| Dataset | Ours w/o structure (mm) | Ours (mm) |
| NYU [^5] | 11.869 | 11.811(-0.5%) |
| ICVL [^22] | 6.932 | 6.793(-2.0%) |
| MSRA [^23] | 8.728 | 8.649(-0.9%) |
在9x6x6设置中，我们使用除拇指的两个关节以及小指的指尖关节外的所有关节（记为Our-9x6x6）。NYU数据集上的成功率曲线和关节级误差如图9所示。无论采用何种区域设置，我们方法的表现均优于采用网格区域集合的REN，这体现了姿态引导的区域提取策略的有效性。
##### 4.4.3. 结构化区域集合的影响
我们将展示我们方法另一个组件——分层结构化区域集合的有效性。我们将我们的方法与一种网络（记为Ours_w/o_structure）进行比较，该网络像REN [^9]中那样采用两个简单的全连接层，而非分层全连接层。为了公平比较，我们将这两个全连接层的维度分别设为2304和2048，以确保我们方法与Ours_w/o_structure的参数数量相近。表2展示了在NYU、ICVL和MSRA数据集上的平均关节误差。可以看出，我们方法的表现优于Ours_w/o_structure，这证明了分层结构化区域集合策略的有效性。
##### 4.4.4. 初始化的影响
在本节中，我们将展示所提出方法在不同初始化条件下的鲁棒性。该方法基于级联框架，以初始手部姿态作为输入，并逐步优化结果。为了探究初始化对方法性能的影响，我们在NYU数据集上开展了多项采用不同初始化方式的实验。
首先，我们讨论初始化在推理阶段的影响。具体而言，我们选取了四种作为初始化的方法：Init-CNN（在[^9]中被提出作为基线网络，也被用作我们方法的初始化）、DeepPrior [^17]、Feedback [^18]以及DeepModel [^20]。不同初始化方式及优化后的结果（例如Ours_init_deepprior）如图11所示。我们可以观察到，我们的方法能够显著提升这些初始化方式的性能。即便面对较为粗糙的初始化（如DeepPrior），经Pose-REN优化后的结果也具备很强的竞争力；而对于其他更优的初始化方式（Feedback、DeepModel），最终结果与我们的方法相近，尽管它们的初始状态略逊于我们的方法。
---
Figure 9: Effect of pose guided region ensemble by comparing our method against grid region ensemble (REN [^9]). Left: the proportion of good frames over different error thresholds. Right: per-joint errors.
Figure 10: Effect of the number of iteration on NYU dataset.
这些结果体现了我们方法对不同初始化条件的鲁棒性。需要注意的是，上述实验中使用的模型均是基于我们的初始化方式（InitCNN）训练的，而推理时采用了不同的初始化方式才得到上述结果。因此，上述结果也证明了我们模型的泛化能力。
此外，我们考虑了以自然姿态（记为meanpose）作为初始化的情形，并探讨了可预期的性能表现。我们使用基于我们的初始化方式训练的模型，以meanpose作为初始化来优化手部姿态。如图12所示，初始的meanpose结果很差，但采用我们的方法后性能得到了显著提升。我们通过实验发现，经过10个阶段后性能便趋于稳定（Ours_init_meanpose），此时平均关节误差仅为17.708毫米，这一数值与表1中所列的一些最先进方法相当。我们进一步以meanpose作为初始化训练模型，并将优化后的结果（Ours_init_meanpose_train）展示在图12中。可以看出，其结果与我们采用更优初始化方式得到的结果十分接近，这表明我们提出的方法对不同初始化条件具有鲁棒性。
如上所述，基于我们的初始化方式训练的模型对其他初始化条件具有很强的泛化能力。此外，对于质量极差的初始化，通过以此初始化方式训练模型，我们提出的方法仍能获得令人满意的结果。
#### 4.5. 定性结果
图13展示了在NYU数据集上的迭代过程示例。第一列显示初始手部姿态的结果，第二至第四列分别展示第1至第3阶段的优化结果，最右侧一列为真实标注结果。我们的方法能够逐步优化估计的手部姿态，经过数次迭代后便可得到精确的结果。
图14展示了三个数据集上的部分定性结果。对于每个数据集而言，第一行对应REN-9x6x6 [^51]的结果，第二行展示我们提出的方法的结果，第三行为真实标注结果。可以看出，即便在某些具有挑战性的样本上，我们的方法表现也优于REN。
### 5. 结论
在本文中，我们提出了一种名为“姿态引导结构化区域集成网络（Pose-REN）”的新方法，用于从单张深度图像中精确估计三维手部姿态。该方法在初步估计的手部姿态引导下，从特征图中提取相关区域，从而获得更优且更具代表性的特征。
---
Figure 11: Performance of our model with different initial hand pose used in inference phase on NYU dataset. Left: the proportion of good frames over different error thresholds. Right: per-joint errors.
Figure 12: Performance of our method when using mean pose as the initialization on NYU dataset. Left: the proportion of good frames over different error thresholds. Right: per-joint errors.
随后，这些特征区域通过采用树状结构连接进行分层整合，该结构能够模拟手部关节的拓扑关系。我们的方法会迭代地优化手部姿态，最终得到精确的估计结果。在公开的手部姿态数据集上进行的实验表明，我们所提出的方法优于所有现有最先进的方法。在未来的工作中，我们打算进一步改进该方法，以实现在手部与其他物体或手相互交互时的鲁棒且精准的三维手部姿态估计。我们希望研究如何将手部检测与手部姿态估计整合到一个统一框架中，该框架可以基于Faster R-CNN $^{[54]}$ 或 Mask R-CNN $^{[49]}$ 等模型。将我们所提出的方法应用于更复杂的姿态估计任务（如人体姿态估计和人脸对齐）也将是一件有趣的事情。
## 致谢
本研究部分得到了国家高技术研究发展计划（863计划）的支持[资助编号：2015AA016304]。
## 参考文献
[^1]: A. Erol, G. Bebis, M. Nicolescu, R. D. Boyle, X. Twombly, Vision-based hand pose estimation: A review, Computer Vision and Image Understanding 108 (1) (2007) 52–73.
[^2]: X. Chen, H. Guo, G. Wang, L. Zhang, Motion feature augmented recurrent neural network for skeleton-based dynamic hand gesture recognition, in: Image Processing (ICIP), 2017 24th IEEE International Conference on, IEEE, 2017, pp. 2881–2885.
## [^3]: Q. De Smedt, H. Wannous, J.-P. Vandeborre, Skeleton-based dynamic hand gesture recognition, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2016, pp. 1–9
---
初始化
阶段1
阶段2
真实值
Figure 13: Qualitative results on NYU dataset of different stages.
[^4]: J. S. Supancic, G. Rogez, Y. Yang, J. Shotton, D. Ramanan, Depth-based hand pose estimation: data, methods, and challenges, in: Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 1868–1876.
[^5]: J. Tompson, M. Stein, Y. Lecun, K. Perlin, Real-time continuous pose recovery of human hands using convolutional networks, ACM Transactions on Graphics (TOG) 33 (5) (2014) 169.
[^6]: D. Tang, J. Taylor, P. Kohli, C. Keskin, T.-K. Kim, J. Shotton, Opening the black box: Hierarchical sampling optimization for estimating human hand pose, in: Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 3325–3333.
[^7]: Q. Ye, S. Yuan, T.-K. Kim, Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation, in: The European Conference on Computer Vision (ECCV), 2016, pp. 346–361.
[^8]: C. Xu, L. N. Govindarajan, Y. Zhang, L. Cheng, Lie-x: Depth image based articulated object pose estimation, tracking, and action recognition on lie groups, International Journal of Computer Vision (2017) 1–25 doi:10.1007/s11263-017-0998-6.
[^9]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, H. Yang, Region ensemble network: Improving convolutional network for hand pose estimation, in: Image Processing (ICIP), 2017 IEEE International Conference on, IEEE, 2017.
[^10]: C. Wan, T. Probst, L. Van Gool, A. Yao, Crossing nets: Dual generative models with a shared latent space for hand pose estimation, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
[^11]: L. Ge, H. Liang, J. Yuan, D. Thalmann, 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1991–2000.
[^12]: Z. Zhang, Microsoft kinect sensor and its effect, IEEE multimedia 19 (2) (2012) 4–10.
[^13]: G. Wang, X. Yin, X. Pei, C. Shi, Depth estimation for speckle projection system using progressive reliable points growing matching, Applied optics 52 (3) (2013) 516–524.
[^14]: C. Shi, G. Wang, X. Yin, X. Pei, B. He, X. Lin, High-accuracy stereo matching based on adaptive ground control points, IEEE Transactions on Image Processing 24 (4) (2015) 1412–1423.
[^15]: L. Keselman, J. I. Woodfill, A. Grunnet-Jepsen, A. Bhowmik, Intel realsense stereoscopic depth cameras, arXiv preprint arXiv:1705.05548.
[^16]: L. Ge, H. Liang, J. Yuan, D. Thalmann, Robust 3d hand
单张深度图像中的姿态估计：从单视图CNN到多视图CNN，载于：IEEE计算机视觉与模式识别会议论文集，2016年，第3593–3601页。
[^17]: M. Oberweger, P. Wohlhart, V. Lepetit, Hands deep in deep learning for hand pose estimation, in: Proceedings of Computer Vision Winter Workshop, 2015, 2015, pp. 21–30.
[^18]: M. Oberweger, P. Wohlhart, V. Lepetit, Training a feedback loop for hand pose estimation, in: Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 3316–3324.
[^19]: M. Madadi, S. Escalera, X. Baro, J. Gonzalez, End-to-end global to local cnn learning for hand pose recovery in depth data, arXiv preprint arXiv:1705.09606.
[^20]: X. Zhou, Q. Wan, W. Zhang, X. Xue, Y. Wei, Model-based deep hand pose estimation, in: Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence (IJCAI-16), 2016, pp. 2421–2427.
[^21]: Y. Du, W. Wang, L. Wang, Hierarchical recurrent neural network for skeleton based action recognition, in: Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 1110–1118.
[^22]: D. Tang, H. Jin Chang, A. Tejani, T.-K. Kim, Latent regression forest: Structured estimation of 3d articulated hand posture, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 3786–3793.
[^23]: X. Sun, Y. Wei, S. Liang, X. Tang, J. Sun, Cascaded hand pose regression, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 824–832.
[^24]: C. Wan, A. Yao, L. Van Gool, Hand pose estimation from local surface normals, in: European Conference on Computer Vision, Springer, 2016, pp. 554–569.
[^25]: J. Valentin, A. Dai, M. Nießner, P. Kohli, P. Torr, S. Izadi, C. Keskin, Learning to navigate the energy landscape, in: 3D Vision (3DV), 2016 Fourth International Conference on, IEEE, 2016, pp. 323–332.
[^26]: Y. Zhang, C. Xu, L. Cheng, Learning to search on manifolds for 3d pose estimation of articulated objects, arXiv preprint arXiv:1612.00596.
[^27]: A. Tagliasacchi, M. Schröder, A. Tkach, S. Bouaziz, M. Botsch, M. Pauly, Robust articulated-icp for real-time hand tracking, in: Computer Graphics Forum, Vol. 34, Wiley Online Library, 2015, pp. 101–114.
[^28]: A. Tkach, M. Pauly, A. Tagliasacchi, Sphere-meshes for real-time hand modeling and tracking, ACM Transactions on Graphics (TOG) 35 (6) (2016) 222.
[^29]: D. Joseph Tan, T. Cashman, J. Taylor, A. Fitzgibbon, D. Tarlow, S. Khamis, S. Izadi, J. Shotton, Fits like a glove: Rapid and reliable hand shape personalization, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 5610–5619.
[^30]: J. Taylor, L. Bordeaux, T. Cashman, B. Corish, C. Keskin, T. Sharp, E. Soto, D. Sweeney, J. Valentin, B. Luff, et al., Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences, ACM Transactions on Graphics (TOG) 35 (4) (2016) 143.
[^31]: P. Krejov, A. Gilbert, R. Bowden, Combining discriminative and model based approaches for hand pose estimation, in: Automatic Face and Gesture Recognition (FG), 2015 11th IEEE International Conference and Workshops on, Vol. 1, IEEE, 2015, pp. 1–7.
[^32]: C. Choi, A. Sinha, J. Hee Choi, S. Jang, K. Ramani, A collaborative filtering approach to real-time hand pose estimation, in: Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 2336–2344.
[^33]: S. Sridhar, F. Mueller, A. Oulasvirta, C. Theobalt, Fast and robust hand tracking using detection-guided optimization, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3213–3221.
## [^34]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, et al
---
ICVL
REN
我们的方法
真实值
REN
MSRA
REN
我们的方法
Figure 14: Qualitative results. For each dataset, three rows show the results from region ensemble network (REN-9x6x6) [^51], our method (Ours) and groundtruth (GT) respectively.
精准、鲁棒且灵活的实时手部跟踪，载于：第33届ACM人机交互年度大会论文集，ACM，2015年，第3633–3642页。
[^35]: C. Qian, X. Sun, Y. Wei, X. Tang, J. Sun, Realtime and robust hand tracking from depth, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1106–1113.
[^36]: D. Tang, T.-H. Yu, T.-K. Kim, Real-time articulated hand pose estimation using semi-supervised transductive regression forests, in: Proceedings of the IEEE international conference on computer vision, 2013, pp. 3224–3231.
[^37]: H. Liang, J. Yuan, D. Thalmann, Parsing the hand in depth images, IEEE Transactions on Multimedia 16 (5) (2014) 1241–1253.
[^38]: S. Zhu, C. Li, C. Change Loy, X. Tang, Face alignment by coarse-to-fine shape searching, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 4998–5006.
[^39]: D. Chen, S. Ren, Y. Wei, X. Cao, J. Sun, Joint cascade face detection and alignment, in: European Conference on Computer Vision, Springer, 2014, pp. 109–122.
[^40]: M. Kowalski, J. Naruniec, T. Trzcinski, Deep alignment network: A convolutional neural network for robust face alignment, arXiv preprint arXiv:1706.01789.
[^41]: A. Toshev, C. Szegedy, Deeppose: Human pose estimation via deep neural networks, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1653–1660.
[^42]: J. Carreira, P. Agrawal, K. Fragkiadaki, J. Malik, Human pose estimation with iterative error feedback, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 4733–4742.
## [^43]: A. L. Maas, A. Y. Hannun, A. Y. Ng, Rectifier nonlinearities improve neural network acoustic models, in: in ICML Workshop
---
深度学习在音频、语音和语言处理中的应用，Citeseer，2013年。
[^44]: J. Lin, Y. Wu, T. S. Huang, Modeling the constraints of human hand motion, in: Human Motion, 2000. Proceedings. Workshop on, IEEE, 2000, pp. 121–126.
[^45]: Y. Wu, T. S. Huang, Hand modeling, analysis and recognition, IEEE Signal Processing Magazine 18 (3) (2001) 51–60.
[^46]: Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, T. Darrell, Caffe: Convolutional architecture for fast feature embedding, arXiv preprint arXiv:1408.5093.
[^47]: R. Girshick, Fast r-cnn, in: Proceedings of the IEEE international conference on computer vision, 2015, pp. 1440–1448.
[^48]: S. Melax, L. Keselman, S. Orsten, Dynamics based 3d skeletal hand tracking, in: Proceedings of Graphics Interface 2013, Canadian Information Processing Society, 2013, pp. 63–70.
[^49]: K. He, G. Gkioxari, P. Dollár, R. Girshick, Mask r-cnn, in: Proceedings of the IEEE international conference on computer vision, 2017.
[^50]: D. Fourure, R. Emonet, E. Fromont, D. Muselet, N. Neverova, A. Trémeau, C. Wolf, Multi-task, multi-domain learning: application to semantic segmentation and pose regression, Neurocomputing 251 (2017) 68–80.
[^51]: G. Wang, X. Chen, H. Guo, C. Zhang, Region ensemble network: Towards good practices for deep 3d hand pose estimation, Journal of Visual Communication and Image Representation. .
[^52]: M. Madadi, S. Escalera, A. Carruesco, C. Andujar, X. Baró, J. González, Occlusion aware hand pose recovery from sequences of depth images, in: Automatic Face & Gesture Recognition (FG 2017), 2017 12th IEEE International Conference on, IEEE, 2017, pp. 230–237.
[^53]: A. Sinha, C. Choi, K. Ramani, Deephand: Robust hand pose estimation by completing a matrix imputed with deep features, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 4150–4158.
[^54]: S. Ren, K. He, R. Girshick, J. Sun, Faster r-cnn: Towards real-time object detection with region proposal networks, in: Advances in neural information processing systems, 2015, pp. 91–99.