# 基于隐式2.5D热图回归的手部姿态估计 Umar Iqbal$^{1,2(\boxtimes)}$、Pavlo Molchanov$^{1}$、Thomas Breuel$^{1}$、Juergen Gall$^{2}$ 以及 Jan Kautz$^{1}$ $^{1}$ NVIDIA，美国圣克拉拉 $^{2}$ 德国波恩大学，德国波恩 摘要：手部3D姿态估计是人机交互的重要组成部分。随着计算机视觉领域的最新进展，利用深度传感器或多视角传感器估计3D姿态已经变得相对容易，但从单张RGB图像中回归姿态则要困难得多。主要难点在于3D姿态需要某种形式的深度估计，而仅凭借RGB图像时这种估计存在歧义。在本文中，我们提出了一种通过新颖的2.5D姿态表示从单目图像进行3D手部姿态估计的新方法。我们的新表示方法能估计出带缩放因子的姿态，若已知手部尺寸的先验信息，还可额外估算出该缩放因子。我们通过一种新颖的CNN架构隐式地学习深度图和热图分布。在存在严重遮挡的情况下，我们的系统在多个具有挑战性的数据集上均实现了2D和3D手部姿态估计的顶尖精度。 关键词：手部姿态 · 2D转3D · 3D重建 · 2.5D热图 ## 1 引言 利用非接触式传感器进行手部姿态估计能够实现先进的人机交互，从而提升舒适度和安全性。由于手部外观变化多样、存在自身遮挡且关节结构复杂，准确估计手部姿态是一项极具挑战性的任务。3D手部姿态估计的难度则更甚，因为还需要估计手部关键点的深度。为应对这些挑战，许多现有解决方案通过采用校准好的多视角摄像系统[^1] [^2] [^3] [^4] [^5] [^6] [^7] [^8] [^9]、深度传感器[^10] [^11] [^12] [^13] [^14] [^15] [^16] [^17] [^18] [^19] [^20] [^21] [^22] [^23] [^24]，或彩色标记/手套[^25]来简化问题。然而，由于这些方法无法在无约束环境中应用，因此并不十分理想。因此，在本研究中，我们致力于解决从自然场景下拍摄的RGB图像进行3D手部姿态估计的问题。 电子补充材料：本章的在线版本()包含补充材料，仅供授权用户查看。 --- 给定一张手的RGB图像，我们的目标是估计手关键点相对于相机的3D坐标。由于尺度和深度上的不确定性，从单目手图像中估计3D姿态是一个不适定问题。若强行求解，要么根本无法得到结果，要么会导致模型过度拟合于特定环境和受试者。为解决这些难题，我们将该问题拆解为两个子问题，这两个子问题的求解不确定性更低。为此，我们提出了一种新颖的2.5D姿态表示方法，随后给出了从2.5D重建3D姿态的方案。所提出的2.5D表示具有尺度与平移不变性，且更容易从RGB图像中估计得出。它由输入图像中手关键点的2D坐标，以及每个关键点相对于根部（手掌）的归一化深度组成。我们对深度值进行尺度归一化处理，使得某根骨骼在3D空间中始终具有固定长度。这种受限的归一化方式使我们能够直接重建出尺度归一化的绝对3D姿态，相比从图像裁剪区域恢复完整深度而言，其不确定性更低。尽管由于相对归一化深度的估计问题，我们的方案仍属于不适定问题，但相较于相对或绝对深度估计，它的定义更为明确。 作为第二项贡献，我们提出了一种用于从图像中估计2.5D姿态的新型CNN架构。现有文献中存在两种主要的学习范式：热图回归[^26] [^27]和整体姿态回归[^28] [^29]。热图回归如今已成为2D姿态估计的标准方法，因为它能通过逐像素预测精准定位图像中的关键点。不过，为3D姿态估计生成体素热图[^30]会带来极高的计算开销。因此，整体回归是3D姿态估计的标准方法，但它难以实现精准的2D关键点定位。由于2.5D姿态表示需要同时预测2D姿态和深度值，我们提出了一种新的热图表示，将其称为2.5D热图。它由用于2D关键点定位的2D热图，以及用于深度预测的每个关键点的深度图组成。我们设计的该CNN架构无需手动设计2.5D热图，而是以隐式方式学习得到。我们通过软argmax运算来实现这一点，该运算能以可微分的方式将2.5D热图转换为2.5D坐标。所得到的2.5D热图结构紧凑，具备尺度与平移不变性，且有潜力实现亚像素级的关键点定位精度。 我们在五个包含严重遮挡、手与物体交互以及自然场景图像的具有挑战性的数据集上评估了我们的方法。我们证明了其在2D和3D手姿态估计方面的有效性。所提出的方法大幅优于现有最先进的方法。 ## 2 相关工作 现有文献中很少有研究探讨从单张2D图像估计3D手姿态的问题。不过，该问题与人体姿态估计有诸多共性，许多针对人体的方法可轻松适配于手姿态估计。因此，下文我们将讨论通用的3D关节姿态估计相关研究。 --- 基于模型的方法。这些方法利用可变形的3D形状模型来表示关节的3D姿态。这通常被表述为一个优化问题，其目标是找到模型的形变参数，使得模型的投影与观测到的图像数据相匹配 [^31] [^32] [^33] [^34] [^35] [^36] [^37]。 基于搜索的方法。这些方法采用非参数化思路，将3D姿态估计表述为在大型3D姿态数据库中的最近邻搜索问题，匹配过程依据从图像中提取的低级 [^38] [^39] 或高级 [^40] [^41] 特征来进行。 从2D姿态到3D姿态。早期的相关方法从动作捕捉数据中学习概率性3D姿态模型，并通过提升2D关键点来恢复3D姿态 [42–45]。而较新的方法则利用深度神经网络来学习从2D姿态到3D姿态的映射 [46–48]。这些方法中并非使用2D关键点位置，[^48] [^49] 而是以2D热图 [^26] [^27] 作为输入，并训练用于3D姿态回归的卷积神经网络。 上述方法的优势在于训练时不一定需要带有真实3D姿态标注的图像，但其主要缺陷是无法处理重投影歧义问题——即具有正深度或负深度的关节会拥有相同的2D投影。此外，它们对2D图像测量中的误差较为敏感，且所需的优化方法往往由于初始值设置不当而容易陷入局部最小值。 基于图像的3D姿态估计。这类方法旨在学习从RGB图像到3D姿态的直接映射 [50–53]。虽然这些方法能更好地处理2D投影歧义问题，但主要缺点是容易过拟合于训练数据中出现的视角。因此，它们需要大量带有精确3D姿态标注的训练数据。然而，在不受约束的环境中收集大量训练数据是不现实的。为此，[^52] 提出利用生成对抗网络 [^54] 来将合成生成的手部图像转化为逼真的图像。其他方法则将问题设定为多任务场景，同时估计2D关键点位置和3D姿态 [29,30,55–58]。我们的方法也遵循这一范式。与我们最为接近的研究是 [^29] [^30] [^56] [^58] 提出的方法，它们同样执行2.5D坐标回归。其中，[^29] 中的方法采用全连接输出层进行整体姿态回归，而 [^56] 则采用混合方法，结合热图回归与整体回归。整体回归在人体姿态估计中表现良好，但在需要极高定位精度的场景下（如手部指尖）则会失效。为解决这一问题，[^30] 中的方法采用了密集体素回归。不过，这会显著增大模型规模，进而迫使模型在低空间分辨率下工作。 相比之下，我们的方法保留了输入的空间分辨率，能够以亚像素级精度定位手部关键点。它既具备基于整体回归的方法所特有的可微性与紧凑性，又拥有体素表示所具有的平移不变性，同时还能提供高空间输出分辨率。此外，与VNect等现有方法 [^58] 不同，它确实… --- 无需依赖人工设计的目标热图，因为这类热图针对特定问题可能并非最优；该方法能隐式地学习潜在的2.5D热图表示，并以可微的方式将其转化为2.5D坐标。 最后需要指出的是，给定2.5D坐标后，还需恢复出3D姿态。现有方法要么做出非常强的假设，比如已知根部关节的真实位置[^29]以及手部在3D空间中的全局尺度[^56]，要么采用近似解决方案[^30]。方法[^57]试图直接从裁剪并缩放后的图像区域回归绝对深度，但这是一项极具歧义的任务。方法VNect[^58]则同时回归2D和3D坐标，但在没有对相机参数矩阵进行显式建模的情况下，该问题属于不适定问题，且需要为所有独特的相机矩阵训练专门的网络。相比之下，我们的方法不做任何假设。我们提出了一种尺度与平移不变的2.5D姿态表示，该表示可通过CNN轻松获取；随后我们给出精确解以得到缩放因子范围内的绝对3D姿态，仅对手部的全局尺度进行近似处理。 ![Image](images/c7b80d5a7be6f943eed6d627f441c9be59ff9f0d0bc2c10ec205c54fff327865.jpg)
Fig. 1. Overview of the proposed approach. Given an image of a hand, the proposed CNN architecture produces latent 2.5D heatmaps containing the latent 2D heatmaps $H^{*2D}$ and latent depth maps $H^{*\hat{z}}$. The latent 2D heatmaps are converted to probability maps $H^{2D}$ using softmax normalization. The depth maps $H^{\hat{z}}$ are obtained by multiplying the latent depth maps $H^{*\hat{z}}$ with the 2D heatmaps. The 2D pose p is obtained by applying spatial soft-argmax on the 2D heatmaps, whereas the normalized depth values $\hat{Z}$ are obtained by the summation of depth maps. The final 3D pose is then estimated by the proposed approach for reconstructing 3D pose from 2.5D.
## 3 手部姿态估计 图1展示了所提出方法的概览。给定手部的RGB图像$\mathbf{I}$，我们的目标是估计手部所有$K = 21$个关键点的2D和3D位置。我们将2D手部姿态定义为$\mathbf{p} = \{p_k\}_{k \in K}$，3D姿态定义为$\mathbf{P} = \{P_k\}_{k \in K}$，其中$p_k = (x_k, y_k) \in \mathbb{R}^2$表示图像$\mathbf{I}$中关键点k的2D像素坐标，$P_k = (X_k, Y_k, Z_k) \in \mathbb{R}^3$则表示该关键点在3D相机坐标系下的位置，单位为毫米。 --- Z轴对应光轴。给定相机内参$\mathcal{K}$，3D位置$P_k$与对应的2D投影$p_k$在透视投影下的关系可表示为： $$ Z_{k}\begin{pmatrix}x_{k}\\ y_{k}\\ 1\end{pmatrix}=\mathcal{K}\begin{pmatrix}X_{k}\\ Y_{k}\\ Z_{k}\\ 1\end{pmatrix}=\mathcal{K}\begin{pmatrix}X_{k}\\ Y_{k}\\ Z_{root}+Z_{k}^{r}\\ 1\end{pmatrix}\quad k\in1,\cdots K $$ 其中$k \in 1, \ldots K$、$Z_{root}$为根部关节的深度，$Z_k^r = Z_k - Z_{root}$对应根部关节相对于$k^{th}$关节的深度。在本研究中，我们以手掌作为根部关节。 ### 3.1 2.5D姿态表示 给定图像$\mathbf{I}$，我们需要一个函数$\mathcal{F}$，使得$\mathcal{F} : \mathbf{I} \to \mathbf{P}$，且估计出的3D手部姿态$\mathbf{P}$能够借助相机参数$\mathcal{K}$投影为2D坐标。然而，由于几何和尺度的不可逆歧义性，预测相机坐标系下的绝对3D手部姿态是不可行的。因此，我们选择了一种更容易从2D图像中恢复的2.5D姿态表示，并提供了从2.5D表示恢复3D姿态的解决方案。我们将2.5D姿态定义为$\mathbf{P}_k^{2.5D} = \{P_k^{2.5D}\}_{k \in \mathcal{K}}$，其中$P_k^{2.5D} = (x_k, y_k, Z_k^r)$。坐标$x_k$和$y_k$分别是$k^{\text{th}}$关节的图像像素坐标，$Z_k^r$则是其相对于根部关节的度量深度。此外，为了消除尺度歧义，我们按如下方式对3D姿态进行尺度归一化： $$ \hat{\mathbf{P}}=\frac{C}{s}\cdot\mathbf{P}, $$ 其中，$s = \|P_n - P_{parent(n)}\|_2$ 是针对每个3D姿态独立计算的。由此得到归一化的3D姿态 $\hat{\mathbf{P}}$，该姿态中特定的一对关键点 $(n, parent(n))$ 之间的距离恒为 C。随后，关键点 k 的归一化2.5D表示形式变为 $\hat{P}_k^{2.5D} = (x_k, y_k, \hat{Z}_k^r)$。需要注意的是，由于3D姿态的投影保持不变，因此归一化并不会改变2D姿态。这种归一化的2.5D表示具有诸多优势：它能够有效利用图像信息；它支持密集的逐像素预测（见第4节）；它允许我们进行多任务学习，从而能够利用多种训练数据源；最后，它使我们能够设计出一种精确恢复绝对3D姿态（仅存在缩放因子差异）的方法。我们在第4节中描述了获取函数 $\mathcal{F}$ 的拟议方案，而基于2.5D姿态的3D姿态重建方法则会在下一节中阐述。 #### 3.2 基于2.5D数据的3D姿态重建 给定2.5D姿态 $\hat{\mathbf{P}}^{2.5D} = \mathcal{F}(\mathbf{I})$，我们需要求出根关键点的深度 $\hat{Z}_{root}$，以便利用公式(1)重建经过尺度归一化的3D姿态 $\hat{\mathbf{P}}$。虽然存在许多具有相同2D投影的3D姿态，但给定 --- 2.5D姿态和相机内参时，满足要求的3D姿态是唯一的。 $$ (\hat{X}_{n}-\hat{X}_{m})^{2}+(\hat{Y}_{n}-\hat{Y}_{m})^{2}+(\hat{Z}_{n}-\hat{Z}_{m})^{2}=C^{2}, $$ 其中，$(n,~m = parent(n))$ 是在公式(2)中用于归一化的关键点对。上述公式可以用2D投影 $(x_{n},y_{n})$ 和 $(x_{m},y_{m})$ 来表示，具体如下： $$ (x_{n}\hat{Z}_{n}-x_{m}\hat{Z}_{m})^{2}+(y_{n}\hat{Z}_{n}-y_{m}\hat{Z}_{m})^{2}+(\hat{Z}_{n}-\hat{Z}_{m})^{2}=C^{2}. $$ 随后，将 $\hat{Z}_n$ 和 $\hat{Z}_m$ 分别替换为 $(\hat{Z}_{root} + \hat{Z}_n^r)$ 和 $(\hat{Z}_{root} + \hat{Z}_m^r)$，即可得到： $$ \begin{array}{r}{(x_{n}(\hat{Z}_{r o o t}+\hat{Z}_{n}^{r})-x_{m}(\hat{Z}_{r o o t}+\hat{Z}_{m}^{r}))^{2}+(y_{n}(\hat{Z}_{r o o t}+\hat{Z}_{n}^{r})-y_{m}(\hat{Z}_{r o o t}+\hat{Z}_{m}^{r}))^{2}}\\ {+(({\hat{Z}_{r o o t}}+\hat{Z}_{n}^{r})-(\hat{Z}_{r o o t}+\hat{Z}_{m}^{r}))^{2}=C^{2}.\quad(5)}\end{array} $$ 已知关键点 n 和 m 的2.5D坐标，则 $Z_{root}$ 是上述方程中唯一未知的变量。进一步简化方程可得到一个二次方程，其系数如下： $$ \begin{align*}a&=(x_{n}-x_{m})^{2}+(y_{n}-y_{m})^{2}\\b&=\hat{Z}_{n}^{r}(x_{n}^{2}+y_{n}^{2}-x_{n}x_{m}-y_{n}y_{m})+\hat{Z}_{m}^{r}(x_{m}^{2}+y_{m}^{2}-x_{n}x_{m}-y_{n}y_{m})\\c&=(x_{n}\hat{Z}_{n}^{r}-x_{m}\hat{Z}_{m}^{r})^{2}+(y_{n}\hat{Z}_{n}^{r}-y_{m}\hat{Z}_{m}^{r})^{2}+(\hat{Z}_{n}^{r}-\hat{Z}_{m}^{r})^{2}-C^{2}.\end{align*} $$ 这会产生两个关于未知变量 $Z_{root}$ 的值，一个位于相机前方，另一个位于相机后方。我们选取相机前方的解，即 $\hat{Z}_{root} = 0.5(-b + \sqrt{b^2 - 4ac})/a$。给定 $Z_{root}$ 的值、$\hat{\mathbf{P}}^{2.5D}$ 以及相机内参 K，便可利用公式(1)通过反向投影2D姿态 p 来重建经过尺度归一化的3D姿态。在本文中，我们使用 $C = 1$，并借助食指第一个关节（掌指关节 - MCP）与手掌（根部）之间的距离来计算缩放因子 s。我们选择这些关键点是因为它们在2D姿态估计方面最为稳定。 ### 3.3 尺度恢复 至此，我们已经得到了手的2D姿态以及经过尺度归一化的3D姿态 $\hat{\mathbf{P}}$。为了恢复绝对3D姿态 $\mathbf{P}$，我们需要知道手的全局尺度。在许多场景中，这一数值可以预先获知；但如果无法提前得知，我们就通过以下方式估算尺度 $\hat{s}$： $$ \hat{s}=\underset{s}{\mathrm{a r g m i n}}\sum_{k,l\in\mathcal{E}}(s\cdot\|\hat{P}_{k}-\hat{P}_{l}\|-\mu_{k l})^{2}, $$ 其中，$\mu_{kl}$ 是训练数据中关键点 k 和 l 之间骨骼的平均长度，E 则定义了手部的运动结构。 --- ### 4 2.5D姿态回归 为了从手的RGB图像中回归2.5D姿态$\mathbf{\hat{P}}^{2.5D}$，我们利用CNN来学习函数$\mathcal{F}$。在本节中，我们首先介绍CNN的另一种表述方式（第4.1节），然后在第4.2节阐述我们提出的用于回归潜在2.5D热图的解决方案。在所有表述中，我们都使用损失函数$\mathcal{L}$来训练CNN，该函数由两部分组成：$\mathcal{L}_{xy}$和$\mathcal{L}_{\hat{Z}^r}$，分别用于回归手关键点的2D姿态和相对于根节点的深度。形式上，该损失函数可表示如下： $$ \mathcal{L}(\hat{\mathbf{P}}^{2.5D})=\mathcal{L}_{x y}(\mathbf{p},\mathbf{p}_{g t})+\alpha\mathcal{L}_{\hat{Z}^{r}}(\hat{\mathbf{Z}}^{r},\hat{\mathbf{Z}}^{r,g t}), $$ 其中$\hat{\mathbf{Z}}^{r} = \{\hat{Z}_{k}^{r}\}_{r \in K}$和$\hat{\mathbf{Z}}^{r,gt} = \{\hat{Z}_{k}^{r,gt}\}_{r \in K}$以及gt分别表示真实标注。这种损失函数的优势在于它能够利用多种训练源，即仅有2D姿态标注的自然场景图像，以及具有精确3D姿态标注的受限或合成图像。虽然$\mathcal{L}_{xy}$对所有训练样本均适用，但只有当存在3D姿态标注时才会强制使用$\mathcal{L}_{\hat{Z}^{r}}$，否则不予考虑。 #### 4.1 直接2.5D热图回归 热图回归是2D姿态估计的常用方法[^26] [^27] [^59] [^60]。与整体回归相比，热图的优势在于能提供更高的输出分辨率，有助于准确定位关键点。不过，由于3D体积热图表示[^30]会带来较高的计算和存储成本，因此它们在3D姿态估计中很少被采用。 因此，我们提出了一种新颖且紧凑的热图表示方法，称之为2.5D热图。它由用于关键点定位的2D热图$H^{2D}$和用于深度预测的深度图$H^{\tilde{z}^{r}}$组成。2D热图$H_{k}^{2D}$表示每个像素位置上$k^{th}$关键点出现的概率，而深度图$H_{k}^{\tilde{z}^{r}}$则提供对应像素的经尺度归一化且相对于根节点的深度预测值。这种深度图表示方式具有尺度和平移不变性，且在类似的手部姿态下保持一致，因此利用CNN学习起来要容易得多。CNN的输出包含2K个通道，其中K个通道用于2D定位热图$H^{2D}$，另K个通道用于深度图$H^{\tilde{z}^{r}}$。$H_{k}^{2D,gt}$关键点的目标热图$k^{th}$定义如下： $$ H_{k}^{{2D,g t}}(p)=\operatorname{e x p}\left(-\frac{\|p-p_{k}^{g t}\|}{\sigma^{2}}\right),\quad p\in\varOmega $$ 其中$p_k^{gt}$是$k^{\text{th}}$关键点的真实位置，$\sigma$用于控制热图的标准差，$\Omega$则是图像I中所有像素位置的集合。由于不存在真实的深度图，我们通过以下方式定义它们： $$ \begin{array}{r}{H_{k}^{\hat{z}^{r}}=\hat{Z}_{k}^{r,g t}\cdot H_{k}^{2D,g t}}\end{array} $$ --- 其中$\hat{Z}_{k}^{r,gt}$是$k^{th}$关键点的真实归一化相对根节点深度值。在推理过程中，2D关键点位置即为概率最大的像素点。 $$ p_{k}=\underset{p}{\mathrm{a r g m a x}}H_{k}^{2D}(p), $$ 相应的深度值则为： $$ \hat{Z}_{k}^{r}=H_{k}^{\hat{z}^{r}}(p_{k}). $$ #### 4.2 潜在2.5D热图回归 上一节所描述的2.5D热图表示可以说并非最优的表示方式。首先，真实的热图是人工设计的，并不理想，也就是说，由于公式(11)不可导，$\sigma$对所有关键点而言都是固定的，无法被学习到。理想情况下，它应该针对每个关键点进行调整：例如，指尖处的热图应非常尖锐，而手掌处的热图则应相对较宽。其次，高斯分布虽是二维关键点定位的自然选择，但对于深度预测而言却不够直观——即手掌各处的深度大致相同，却被建模为高斯分布。因此，我们提出了一种2.5D热图的潜在表示方式来缓解这些问题：卷积神经网络通过最小化可微损失函数，来学习最优的表示形式。 为此，我们将卷积神经网络的2K通道输出视为潜在变量，分别用$H_k^{*2D}$表示二维热图，用$H_k^{*z^r}$表示深度图。随后，我们对每个关键点k对应的二维热图$H_k^{*2D}$应用空间Softmax归一化，将其转换为概率图。 $$ \begin{array}{r}{H_{k}^{2D}(p)=\frac{\exp\left(\beta_{k}H_{k}^{*2D}(p)\right)}{\sum_{p^{\prime}\in\varOmega}\exp\left(\beta_{k}H_{k}^{*2D}(p^{\prime})\right)},}\end{array} $$ 其中，$\Omega$是输入图$H_k^{*2D}$中所有像素位置组成的集合，$\beta_k$是可学习的参数，用于控制输出热图$H^2D$的分布范围。最终，$k^{\text{th}}$关键点的二维位置可通过以下加权平均值计算得出： $$ p_{k}=\sum_{p\in\varOmega}H_{k}^{2D}(p)\cdot p, $$ 而相应的深度值则是通过对$H_k^{2D}(p)$与$H_k^{*\hat{z}^r}(p)$进行哈达玛积后再求和得到，具体计算如下： $$ \hat{Z}_{k}^{r}=\sum_{p\in\varOmega}H_{k}^{{2D}}(p)\circ H_{k}^{*\hat{z}^{r}}(p). $$ 这一过程的可视化展示见图1。公式(14)中的操作在文献中被称为软argmax [^61]。需要注意的是，该计算过程 --- 无论是二维关键点位置还是对应的深度值，都是完全可微的。因此，网络可以端到端训练，同时生成潜在的2.5D热图表示。与第4.1节中标准差固定的热图不同，潜在热图的分布范围可以通过学习参数$\beta_k$来针对每个关键点进行调整；而深度图也是在无特殊设计的情况下被隐式学习到的。直接热图回归得到的热图与通过潜在热图回归隐式学习到的热图之间的对比可见图2。 ![Image](images/3062d5bef39a491749f8cf21b1220cf92cef48e6abe5a91c1af692a360be2cc1.jpg)
Fig. 2. Comparison between the heatmaps obtained using direct heatmap regression (Sect. 4.1) and the proposed latent heatmap regression approach (Sect. 4.2). We can see how the proposed method automatically learns the spread separately for each keypoint, i.e., very peaky for fingertips while a bit wider for the palm.
## 5 实验 在本节中，我们将详细评估所提出方法的性能，并将其与现有最先进方法进行比较。为此，我们使用了以下五个具有挑战性的数据集。 Dexter+Object (D+O)数据集[^22]提供了6个测试视频序列（共3145帧），这些视频是由固定摄像头拍摄的，记录了一只手与物体交互的场景。该数据集仅对手指部位进行了标注。 EgoDexter (ED)数据集[^62]包含4个测试序列（共3190帧），由安装在身上的摄像头从自我中心视角拍摄，数据集中存在杂乱的背景、快速的相机运动以及与其他物体的复杂交互。此外，[^62]还提供了所谓的“SynthHands”数据集，即来自自我中心视角的手部合成图像。这些图像带有色键背景，我们将其替换为随机背景[^63]，并将其作为额外训练数据用于ED数据集的测试。 立体手姿（SHP）数据集[^64]提供了6对立体序列中21个关键点的3D姿态标注，这些序列共包含18000对帧，记录了人执行各种手势时的状态。 渲染手姿（RHP）数据集[^48]分别提供了41258张训练图像和2728张测试图像。该数据集包含20个不同人物在不同场景下执行的39种动作。 --- MPII+NZSL数据集[^60]为2800张自然场景图像提供了2D手姿标注，其中2000张用于训练，800张用于测试。此外，[^60]还提供了额外的训练数据，包括14261张合成图像和14817张真实图像。真实图像的标注是通过多视角自举法自动生成的，在本文后续内容中我们将这些图像称为MVBS。 ### 5.1 评估指标 针对D+O、ED、SHP和RHP数据集的评估，我们采用平均端点误差（EPE）以及正确关键点百分比（PCK）曲线下的面积（AUC）。我们分别报告2D和3D手姿的性能，其中性能指标分别以像素（px）和毫米（mm）为单位计算。我们使用了[^48]提供的公开评估指标实现代码。对于D+O和ED数据集，我们遵循[^52]提出的评估协议，该协议要求估计具有全局尺度的绝对3D姿态；对于SHP和RHP数据集，我们遵循[^48]提出的协议，即在计算指标前先对齐真实姿态和估计姿态的根关键点。对于MPII+NZSL数据集，我们遵循[^60]的方法，在评估中报告头部归一化的PCK（PCKh）。 ### 5.2 实现细节 对于2.5D热图回归任务，我们采用了带有跳跃连接的编码器-解码器网络架构[^27] [^65]，且每层卷积层的通道数固定为256。模型的输入是$128 \times 128$图像，输出是与输入图像分辨率相同的2.5D热图。关于网络架构和训练的更多细节可在附录中找到。对于所有视频数据集（即D+O、ED、SHP），我们使用YOLO检测器[^66]来检测视频第一帧中的手部区域，随后几帧则利用前一帧估计的姿态生成边界框。我们利用了上述所有数据集的训练集来训练手部检测器。 ### 5.3 消融研究 为了更好地理解不同设计选择的影响，我们在不同设置下对所提出的方法进行了评估。我们选择D+O数据集进行所有消融研究，主要是因为它没有训练数据，因此能够评估所提方法的泛化能力。此外，由于手掌（根）关节未被标注，因此必须估计绝对3D姿态，这与常用的根相对3D姿态不同。我们利用公式(7)，通过SHP数据集中的平均骨骼长度来估计每个3D姿态的全局尺度。 消融研究结果总结在表1中。我们首先考察了不同CNN架构对2.5D姿态回归的影响。为了全面…… ---
Table 1. Ablation studies. The arrows specify whether a higher or lower value for each metric is better. The first block compares the proposed approach of latent 2.5D heatmap regression with two baseline approaches. The second block shows the impact of different training data and the last block shows the impact due to differences in the annotations.
Method2D pose estimation3D pose estimation
AUC $\uparrow$ median $\downarrow$EPE (px) mean $\downarrow$AUC $\uparrow$ median $\downarrow$EPE (mm) mean $\downarrow$AUC $\uparrow$ median $\downarrow$EPE (mm) mean $\downarrow$
Comparison with baselines
Holistic 2.5D reg.0.4117.3422.210.5442.7647.80
Direct 2.5D heatmap reg.0.5710.3321.630.5536.9752.33
Latent 2.5D heatmap reg. (Ours)0.599.9116.670.5739.6245.54
Impact of training data
Latent 2.5D heatmap regression trained with
SHP [^64] + RHP [^48]0.599.9116.670.5739.6245.54
+ MPII + NZSL [^60]0.679.0710.650.6828.1132.78
+ MVBS [^60]0.688.8410.450.6827.2732.75
Comparisons with the baselines with additional training data trained with SHP+RHP (3D pose) and MPII+NZSL+MVBS (2d pose) datasets
Holistic reg.0.5312.9816.170.6631.7134.86
Direct heatmap reg.0.659.6012.060.6825.9235.56
Latent heatmap reg.0.688.8410.450.6827.2732.75
Performance after removing labeling discrepancy
Holistic regression0.5910.6614.100.6730.6933.80
Direct heatmap reg.0.727.059.660.6825.3734.88
Latent heatmap reg.0.765.957.970.6926.5631.86
Latent heatmap reg. - fast0.716.4410.670.6828.0833.35
在 2.5D 姿态回归中，我们采用常用的 [^29] ResNet-50 [^67] 模型。详细内容见附录。我们使用 SHP 和 RHP 数据集训练模型。采用整体回归方法，2D 和 3D 姿态分别取得 0.41 和 0.54 的 AUC。直接回归 2.5D heatmap 显著提升了 2D 姿态估计的性能（0.41 vs. 0.57），同时也将 3D 姿态估计的准确率从 0.54 AUC 提高到 0.55。使用 latent heatmap 回归进一步将 2D 和 3D 姿态估计的性能分别提升至 0.59 AUC 和 0.57 AUC。尽管整体回归方法在 3D 姿态估计上取得了有竞争力的准确率，但由于空间输出分辨率有限，其 2D 姿态估计的准确率仍不如 heatmap 回归。 我们还评估了在多任务设置下训练网络所产生的影响。为此，我们利用来自[^60]的额外训练数据进行模型训练，该数据仅提供2D关键点标注。首先，我们仅使用2000个手动标注的样本…… --- 这些样本取自MPII+NZSL数据集训练集中的真实图像。引入额外的2D姿态标注能显著改善性能。而添加来自MVBS数据集的15,000个真实图像标注[^60]后，性能提升却十分有限。因此，仅需2000张真实图像就足以让在合成数据上训练的模型适应现实场景。我们还评估了额外训练数据对所有用于2.5D回归的CNN架构的影响。结果显示，所有架构的性能均有所提升，但重要的是，性能排序并未发生改变。 D+O数据集中指尖的标注方式与其他数据集略有不同：前者标注的是指尖中部，而后者标注的是指甲边缘。为消除这种差异，我们将指尖的最后一段骨骼长度缩短0.9。修正标注差异后性能进一步提升，这也揭示了所提方法的真实效能。 我们还在NVIDIA TitanX Pascal GPU上评估了所用模型的运行时间。整体2.5D回归模型的运行速度可达145 FPS，而直接及潜在2.5D热图回归网络的运行速度则为20 FPS。我们训练了一个较小的单阶段模型，其基础层采用128个特征图，并将最后3层中的$7 \times 7$卷积替换为$1 \times 1$、$3 \times 3$和$1 \times 1$卷积。这些简化措施使模型运行速度达到150 FPS，参数量也减少了3.8倍，且其性能仍可与全尺寸模型的直接热图回归相媲美。该模型在表1中被标记为“fast”。 最后，我们还评估了在网络中使用多个阶段所带来的影响，每个阶段都会输出潜在的 2.5D 热图。完整的两阶段网络是从零开始训练的，且不存在权重共享的情况。第一阶段仅使用通过初始卷积层从输入图像中提取的特征，而后续每个阶段则会将前一阶段的输出作为输入。这为后续阶段提供了额外的上下文信息，有助于逐步优化预测结果。与 [^26]、[^27] 类似，我们通过在每个阶段的输出处施加损失函数来对网络进行局部监督（更多细节见附录）。给网络增加一个额外阶段后，3D 姿态估计的准确率从 AUC 0.69 提升至 0.71，但 2D 姿态估计的准确率却从 AUC 0.76 降至 0.74。2D 姿态估计准确率下降很可能是由于对训练数据的过拟合所致。请注意，我们并未使用来自 D+O 数据集的任何训练数据。在本文其余部分，除非另有说明，否则我们始终采用两阶段网络。 ### 5.4 与最先进方法的比较 我们将所提出的方法与上述所有数据集上的最先进方法进行了比较。需要注意的是，不同方法使用的训练数据各不相同，因此为了公平比较，我们复现了相应方法的训练设置。 --- ![Image](images/1e13a231a26ff728c3afe9a8ae25edc18fc2628b079771dee7780137a14b676f.jpg) ![Image](images/55050a999abe8ef5dbc36d75a4da4805da2606aed4acaed2bea2d06e690291c9.jpg)
(a) 2D PCK on D+O dataset. EgoDexter
![Image](images/a00820d017d53904083cac010275ad608a26d0eed242e476a46356175f09c278.jpg)
(b) 3D PCK on D+O dataset. EgoDexter
(c) 3D PCK on SHP dataset. MPII+NZSL
![Image](images/a51fc955e5cf1e63930bd91dacf582dc4b800ceb8747becb28203b411e98afc9.jpg)
(d) 2D PCK on ED dataset.
![Image](images/aef1c770eaf67ed24ad1d06047909d8e8f632abdcc31701701175b4336ef1386.jpg)
(e) 3D PCK on ED dataset.
![Image](images/ecc3834f75512a08dd7e0a9e1aaf26d99e464e6ac28d7a25003909a27d09914e.jpg)
(f) 2D PCKh on MPII+NZSL.
Fig. 3. Comparison with the state-of-the-art on the DO, ED, SHP and MPII+NZSL datasets.
图3a和图3b分别比较了所提出方法与其他方法在D+O数据集上的二维和三维姿态估计效果。具体而言，我们将其与Zimmerman和Brox（Z&B）[^48]以及Mueller等人[^52]提出的先进方法进行了对比。在与[^48]的比较中，我们使用了相同的训练数据（SHP+RHP），其AUC值分别为0.64和0.49；而与[^60]的比较则仅采用了由[^52](AUC 0.74 vs 0.64)提供的额外二维姿态标注数据（MPII+NZSL+MVBS）。对于三维姿态估计精度（见图3b），由于[^48]仅能估计经过尺度归一化的根节点相对三维姿态，因此未将其纳入比较范围。我们的方法明显优于Mueller等人[^52]提出的基于RGB的先进方法，优势显著。该方法[^52]利用视频信息来进行时序平滑处理，同时基于用户手部与相机图像平面平行这一假设进行特定用户的自适应调整；相比之下，我们仅进行逐帧预测，既无需时序滤波，也不依赖用户相关假设。此外，我们还报告了Sridhar等人[^22]提出的基于深度的方法的结果，这些数据源自[^52]。尽管基于RGB-D传感器的方法[^22]表现仍更优，但相较于现有的基于RGB的方法，我们的方法取得了巨大的进步。 图 3c 展示了所提出方法在 SHP 数据集上与现有方法的比较结果。我们使用了与 [^48] 相同的训练数据（SHP+RHP），尽管该数据集上的准确率已趋于饱和，且 [^52] 还使用了额外的训练数据和时间信息，但我们仍超越了所有现有方法。 图 3d 展示了在 EgoDexter 数据集上的 2D 姿态估计准确率。虽然我们在 2D 姿态估计方面超越了所有现有方法，但没有 ---
Table 2. Comparison with the state-of-the-art on the RHP dataset. $*$uses noisy ground-truth 2D poses for 3D pose estimation.
Method2D pose estimation3D pose estimation
AUC $\uparrow$EPE (px)AUC $\uparrow$EPE (mm)
median $\downarrow$mean $\downarrow$median $\downarrow$mean $\downarrow$
Z & B [^48]0.725.009.14-18.8 $^{{*}}$-
Spurr et al. [^53]---0.8519.73-
Ours0.892.203.570.9113.8215.77
Ours w. GT $\hat{Z}_{root}$ and $\hat{s}$0.892.203.570.9411.3313.41
现有方法报告在该数据集上的 3D 姿态估计性能。不过，我们也在图 3e 中报告了自身的性能。 RHP数据集上的结果如表2所示。我们的方法显著优于现有最先进的方法[^48] [^53]。由于该数据集提供了完整手部骨骼的3D姿态标注，我们还报告了在已知根关节的真实深度以及手部全局尺度时，所提出方法的性能（w. GT $\hat{Z}_{root}$ 和 $\hat{s}$）。可以看出，我们的3D姿态重建与尺度恢复方法的结果与真实值非常接近。 最后，为求完整起见，我们在图3f中将我们的方法与[^60]进行了比较，后者是2D姿态估计领域的一种最先进方法。评估是在MPII+NZSL数据集的测试集上进行的。我们遵循[^60]的做法，利用提供的手部中心位置及人物头部尺寸来确定手部边界框。我们定义了一个正方形边界框，其高度和宽度均等于$0.7 \times$个头长。我们报告了我们方法的两种变体：(1) 使用两类任务的数据集训练、同时用于2D和3D姿态估计的模型；(2) 仅使用与[^60]相同的训练数据、用于2D姿态估计的模型。在这两种情况下，我们均采用经过两阶段训练的模型。尽管我们使用的主干网络比[^60]中采用的六阶段卷积姿态机（CPM）网络[^26]更小，但我们的方法表现与[^60]相当甚至更优。六阶段的CPM模型有5100万个参数，而我们的一阶段和二阶段模型分别仅有1700万和3500万个参数。此外，我们的方法还能推断出3D手部姿态。 图4展示了在自然场景图像上进行3D手部姿态估计的一些定性结果。 --- ![Image](images/f65b88360b64400c48a6603f53f020950d6b80dc59e38390d215c9e68b7cdd63.jpg)
Fig. 4. Qualitative Results. The proposed approach can handle severe occlusions, complex hand articulations, and unconstrained images taken from the wild.
## 6 结论 我们提出了一种从单张RGB图像中估计3D手部姿态的方法。我们证明了仅需单张图像即可高效地重建绝对3D手部姿态，且仅存在尺度方面的差异。我们提出了一种新颖的2.5D姿态表示方法，由于其对绝对深度和尺度歧义具有不变性，因此能够轻松从RGB图像中恢复。该表示可体现为2.5D热图，因而能够实现亚像素级的关键点定位。我们还提出了一种CNN架构，利用可微损失函数以隐式方式学习2.5D热图。最后，我们提出了一种从2.5D姿态表示中重建3D手部姿态的方法。在包含严重遮挡、物体交互以及自然场景图像的五个极具挑战性的数据集上，所提出的方法均取得了最先进的成果。 致谢。JG的研究得到了ERC启动基金ARCA的支持。 --- ## 参考文献 1. Rehg, J.M., Kanade, T.: 高自由度关节结构的视觉跟踪：以人手跟踪为例。载于：Eklundh, J.-O.（编）《ECCV 1994》。LNCS，第801卷，第35–46页。Springer，海德堡（1994年）。 [^2]: de Campos, T.E., Murray, D.W.: Regression-based hand pose estimation from multiple cameras. In: CVPR (2006) 3. Oikonomidis, I., Kyriazis, N., Argyros, A.A.: 无需标记且高效的26自由度手部姿态恢复方法。载于：Kimmel, R., Klette, R., Sugimoto, A.（编）《ACCV 2010》。LNCS，第6494卷，第744–757页。Springer，海德堡（2011年）。 [^4]: Rosales, R., Athitsos, V., Sigal, L., Sclaroff, S.: 3D hand pose reconstruction using specialized mappings. In: ICCV (2001) 5. Ballan, L., Taneja, A., Gall, J., Van Gool, L., Pollefeys, M.: 利用判别性显著点捕捉动作中的手部运动。载于：Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C.（编）《ECCV 2012》。LNCS，第7577卷，第640–653页。Springer，海德堡（2012年）。 [^6]: Sridhar, S., Rhodin, H., Seidel, H.P., Oulasvirta, A., Theobalt, C.: Real-time hand tracking using a sum of anisotropic Gaussians model. In: 3DV (2014) [^7]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. IJCV 118, 172–193 (2016) [^8]: Panteleris, P., Argyros, A.: Back to RGB: 3D tracking of hands and hand-object interactions based on short-baseline stereo. arXiv preprint arXiv:1705.05301 (2017) [^9]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. In: SIGGRAPH Asia (2017) [^10]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In: ICCV (2011) [^11]: Xu, C., Cheng, L.: Efficient hand pose estimation from a single depth image. In: ICCV (2013) [^12]: Qian, C., Sun, X., Wei, Y., Tang, X., Sun, J.: Realtime and robust hand tracking from depth. In: CVPR (2014) [^13]: Taylor, J., et al.: User-specific hand modeling from monocular depth sequences. In: CVPR (2014) [^14]: Tang, D., Chang, H.J., Tejani, A., Kim, T.K.: Latent regression forest: structured estimation of 3D articulated hand posture. In: CVPR (2014) [^15]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ToG 33, 169 (2014) [^16]: Tang, D., Taylor, J., Kohli, P., Keskin, C., Kim, T.K., Shotton, J.: Opening the black box: hierarchical sampling optimization for estimating human hand pose. In: ICCV 2015) [^17]: Makris, A., Kyriazis, N., Argyros, A.A.: Hierarchical particle filtering for 3D hand tracking. In: CVPR (2015) [^18]: Sridhar, S., Mueller, F., Oulasvirta, A., Theobalt, C.: Fast and robust hand tracking using detection-guided optimization. In: CVPR (2015) ## [^19]: Sun, X., Wei, Y., Liang, S., Tang, X., Sun, J.: Cascaded hand pose regression. In: CVPR (2015) --- [^20]: Oberweger, M., Wohlhart, P., Lepetit, V.: Training a feedback loop for hand pose estimation. In: ICCV (2015) [^21]: Oberweger, M., Riegler, G., Wohlhart, P., Lepetit, V.: Efficiently creating 3D training data for fine-hand pose estimation. In: CVPR (2016) 22. Sridhar, S., Mueller, F., Zollhöfer, M., Casas, D., Oulasvirta, A., Theobalt, C.：基于RGB-D输入实时联合跟踪手部对物体的操控行为。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS，第9906卷，第294–310页。Springer出版社，Cham（2016年）。 [^23]: Yuan, S., et al.: Depth-based 3d hand pose estimation: from current achievements to future goals. In: IEEE CVPR (2018) [^24]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Efficient model-based 3d tracking of hand articulations using kinect. In: BMVC, vol. 1, p. 3 (2011) [^25]: Wang, R.Y., Popović, J.: Real-time hand-tracking with a color glove. ToG 28, 63 (2009) [^26]: Wei, S.E., Ramakrishna, V., Kanade, T., Sheikh, Y.: Convolutional pose machines. In: CVPR (2016) 27. Newell, A., Yang, K., Deng, J.：用于人体姿态估计的堆叠沙漏网络。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS，第9912卷，第483–499页。Springer出版社，Cham（2016年）。 [^28]: Toshev, A., Szegedy, C.: Deeppose: human pose estimation via deep neural networks. In: CVPR (2014) [^29]: Sun, X., Shang, J., Liang, S., Wei, Y.: Compositional human pose regression. In: ICCV (2017) [^30]: Pavlakos, G., Zhou, X., Derpanis, K.G., Daniilidis, K.: Coarse-to-fine volumetric prediction for single-image 3D human pose. In: CVPR (2017) [^31]: Heap, T., Hogg, D.: Towards 3D hand tracking using a deformable model. In: FG (1996) [^32]: Wu, Y., Lin, J.Y., Huang, T.S.: Capturing natural hand articulation. In: ICCV (2001) [^33]: Sigal, L., Balan, A.O., Black, M.J.: HumanEva: synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. IJCV 87(1), 4–27 (2010) [^34]: de La Gorce, M., Fleet, D.J., Paragios, N.: Model-based 3D hand pose estimation from monocular video. TPAMI 33, 1793–1805 (2011) [^35]: Lu, S., Metaxas, D., Samaras, D., Oliensis, J.: Using multiple cues for hand tracking and model refinement. In: CVPR (2003) 36. Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., Black, M.J.：Keep It SMPL：从单张图像自动估计三维人体姿态与形状。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS，第9909卷，第561–578页。Springer出版社，Cham（2016年）。 [^37]: Panteleris, P., Oikonomidis, I., Argyros, A.: Using a single RGB frame for real time 3D hand pose estimation in the wild. In: WACV (2018) [^38]: Athitsos, V., Sclaroff, S.: Estimating 3D hand pose from a cluttered image. In: CVPR (2003) [^39]: Romero, J., Kjellström, H., Kragic, D.: Hands in action: real-time 3D reconstruction of hands in interaction with objects. In: ICRA (2010) [^40]: Chen, C., Ramanan, D.: 3D human pose estimation = 2D pose estimation + matching. In: CVPR (2017) ## [^41]: Iqbal, U., Doering, A., Yasin, H., Krüger, B., Weber, A., Gall, J.: A dual-source approach for 3D pose estimation in single images. CVIU (2018, in Press) --- 42. Ramakrishna, V., Kanade, T., Sheikh, Y.：从二维图像地标重建三维人体姿态。载于：Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C.（编）《ECCV 2012》。LNCS，第7575卷，第573–586页。Springer出版社，Heidelberg（2012年）。 [^43]: Simo-Serra, E., Quattoni, A., Torras, C., Moreno-Noguer, F.: A joint model for 2D and 3D pose estimation from a single image. In: CVPR (2013) [^44]: Akhter, I., Black, M.J.: Pose-conditioned joint angle limits for 3D human pose reconstruction. In: CVPR (2015) [^45]: Tome, D., Russell, C., Agapito, L.: Lifting from the deep: convolutional 3D pose estimation from a single image. In: CVPR (2017) [^46]: Moreno-Noguer, F.: 3D human pose estimation from a single image via distance matrix regression. In: CVPR (2017) [^47]: Martinez, J., Hossain, R., Romero, J., Little, J.J.: A simple yet effective baseline for 3D human pose estimation. In: ICCV (2017) [^48]: Zimmermann, C., Brox, T.: Learning to estimate 3D hand pose from single RGB images. In: ICCV (2017) [^49]: Tekin, B., Marquez-Neila, P., Salzmann, M., Fua, P.: Learning to fuse 2D and 3D image cues for monocular body pose estimation. In: ICCV (2017) 50. Li, S., Chan, A.B.：基于深度卷积神经网络的单目图像三维人体姿态估计。载于：Cremers, D., Reid, I., Saito, H., Yang, M.-H.（编）《ACCV 2014》。LNCS，第9004卷，第332–347页。Springer出版社，Cham（2015年）。 51. Zhou, X., Sun, X., Zhang, W., Liang, S., Wei, Y.：深度运动学姿态回归。载于：Hua, G., Jégou, H.（编）《ECCV 2016》。LNCS，第9915卷，第186–201页。Springer出版社，Cham（2016年）。 [^52]: Mueller, F., et al.: GANerated hands for real-time 3D hand tracking from monocular RGB. In: CVPR (2018) [^53]: Spurr, A., Song, J., Park, S., Hilliges, O.: Cross-modal deep variational hand pose estimation. In: CVPR (2018) [^54]: Goodfellow, I., et al.: Generative adversarial nets. In: NIPS (2014) [^55]: Popa, A., Zanfir, M., Sminchisescu, C.: Deep multitask architecture for integrated 2D and 3D human sensing. In: CVPR (2017) [^56]: Zhou, X., Huang, Q., Sun, X., Xue, X., Wei, Y.: Weakly-supervised transfer for 3D human pose estimation in the wild. In: ICCV (2017) [^57]: Nie, B.X., Wei, P., Zhu, S.C.: Monocular 3D human pose estimation by predicting depth on joints. In: ICCV (2017) [^58]: Mehta, D., et al.: VNect: real-time 3D human pose estimation with a single RGB camera. In: SIGGRAPH (2017) [^59]: Tompson, J., Goroshin, R., Jain, A., LeCun, Y., Bregler, C.: Efficient object localization using convolutional networks. In: CVPR (2015) [^60]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: CVPR (2017) [^61]: Chapelle, O., Wu, M.: Gradient descent optimization of smoothed information retrieval metrics. Inf. Retr. 13, 216–235 (2010) [^62]: Mueller, F., Mehta, D., Sotnychenko, O., Sridhar, S., Casas, D., Theobalt, C.: Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In: ICCV (2017) 63. Silberman, N., Hoiem, D., Kohli, P., Fergus, R.：基于RGBD图像的室内分割与支持推断。载于：Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C.（编）《ECCV 2012》。LNCS，第7576卷，第746–760页。Springer出版社，Heidelberg（2012年）。 --- [^64]: Zhang, J., Jiao, J., Chen, M., Qu, L., Xu, X., Yang, Q.: 3D hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214 (2016) 65. Ronneberger, O., Fischer, P., Brox, T.：U-Net：用于生物医学图像分割的卷积网络。载于：Navab, N., Hornegger, J., Wells, W.M., Frangi, A.F.（编）《MICCAI 2015》。LNCS，第9351卷，第234–241页。Springer出版社，Cham（2015年）。 [^66]: Redmon, J., Farhadi, A.: YOLO9000: better, faster, stronger. In: CVPR (2017) [^67]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR (2016)