# 跨模态深度变分手部姿态估计
Adrian Spurr、宋杰、Seonwook Park、Otmar Hilliges，苏黎世联邦理工学院
{spurra, jsong, spark, otmarh}@inf.ethz.ch
## 摘要
人类手部运动方式复杂且维度极高，因此仅通过图像来估计三维手部姿态是一项极具挑战性的任务。在本研究中，我们提出了一种方法，通过生成式深度神经网络学习由跨模态训练的隐空间所表示的统计手部模型。我们基于VAE框架的变分下界推导出了目标函数，并联合优化由此产生的跨模态KL散度与后验重建目标，这种方式自然形成了一种训练机制，能够在RGB图像、二维关键点检测或三维手部姿态等多种模态间形成连贯的隐空间。此外，它还提供了利用半监督学习的便捷途径。该隐空间可直接用于从RGB图像中估计三维手部姿态，在不同场景下均优于现有最先进方法。我们还证明，所提出的方法无需修改即可应用于深度图像，其性能与专门设计的算法相当。最后，该模型具备完整的生成能力，能够合成跨模态的一致手部姿态对。我们在RGB和深度数据集上评估了该方法，并对隐空间进行了定性分析。
### 1. 引言
手部对人类而言在操控物理世界和相互交流方面具有核心作用。因此，从自然图像中恢复手部的空间结构在增强现实/虚拟现实、机器人技术、康复以及人机交互等领域有着诸多重要应用。已有大量研究致力于从深度图像流中追踪关节化手部，或从单张深度帧中估计手部姿态[^15] [^16] [^27] [^35]。然而，仅从单目RGB图像中估计完整的三维手部姿态更具挑战性，这是因为人类手部具有极高的灵巧性、对称性和自相似性，同时还存在遮挡、光照条件多变以及缺乏准确尺度估计等问题。与深度图像相比，RGB图像相关研究较少。
Figure 1: Cross-modal latent space. t-SNE visualization of 500 input samples of different modalities in the latent space. Embeddings of RGB images are shown in blue, embeddings of 3D joint configurations in green. Hand poses are decoded samples drawn from the latent space. Embedding does not cluster by modality, showing that there is a unified latent space. The posterior across different modalities can be estimated by sampling from this manifold.
近期有仅依赖RGB图像的研究[^38]提出了一种深度学习架构，该架构将任务拆解为多个子步骤，初步验证了可行性并提供了用于对比的公共数据集。所提出的架构专为单目场景设计，将任务分为手部检测和二维关键点识别，随后进行二维到三维的映射步骤，但并未纳入显式的手部模型。我们的研究同样旨在从RGB图像中估计人类手部的三维关节角配置，但重点是学习跨模态的统计手部模型。这是通过学习一种隐表示来实现的，该隐表示嵌入了来自二维关键点、图像和三维手部姿态等多个数据源的样本点。随后可通过独立的解码器重构出该隐空间中的样本，从而生成一致且符合物理规律的二维或三维关节预测结果，甚至还能生成RGB图像。
生物力学研究结果表明，尽管关节化手部拥有众多自由度，但其中只有少数能够
---
完全独立地活动[^20]。因此，存在一个有效的手部姿态子空间，此前基于深度的手部追踪研究[^26]已成功运用降维技术来提升精度。
这一想法最近在深度学习领域被重新探讨，Wan等人[^34]试图通过变分自编码器（VAEs）与生成对抗网络（GANs）相结合的方式来学习手部姿态的流形，从而从深度图像中估计手部姿态。不过，他们的方法基于两个独立的流形：一个用于3D手部关节（VAE），另一个用于深度图（GAN），并且还需要一个在这两者之间的映射函数。
在这项工作中，我们提出通过扩展VAE框架来学习单一的、统一的潜在空间。我们推导出了允许利用多种模态训练单一潜在空间的变分下界，在此框架下，相似的输入姿态无论来自何种模态，都会被嵌入到彼此靠近的位置。图1展示了针对两种模态（RGB和3D）所学习的统一潜在空间。由于我们重点关注RGB图像，因此会在不同模态组合上测试该架构，其目标是输出3D手部姿态。同时，VAE框架本身就能够以任意模态一致地生成样本。
我们通过实验证明，所提出的方法在直接进行RGB到3D手部姿态估计方面，以及在从2D检测结果提升到3D方面，均优于现有最先进的方法[^38]，这一实验是在具有挑战性的公开数据集上进行的。同时我们注意到，无论输入模态是什么，都能找到其到嵌入空间的映射，同样也能在不同模态下重建手部形态，因此该方法实现了多对多的映射。我们通过从潜在空间中采样来生成新的手部姿态配置，并在不同模态下实现一致的重建（即3D关节位置和合成的RGB图像），从而验证了这一能力。这些成果有望应用于时序跟踪的混合方法，或用于生成额外的训练数据。此外，我们还探讨了同一架构在处理深度图像时的实用性，结果显示其与采用专门架构的最先进的基于深度的方法[^15] [^16] [^34]效果相当。
### 2. 相关工作
从图像中捕捉人类手部的3D运动一直是计算机视觉及相关领域的一个长期难题（参见[^5]）。随着消费级RGB-D传感器的出现以及AR和VR重要性的提升，这一问题受到了越来越多的关注[^22] [^25] [^26] [^27] [^28] [^29] [^30] [^34] [^35] [^37]。一般来说，相关方法可分为两类：一类是随时间追踪关节化手部运动（例如[^18]），另一类则是逐帧分类[^25] [^27] [^34]。此外，还存在一些混合方法：它们首先利用判别模型初始化手部姿态估计值，随后通过精心设计的能量函数对估计值进行优化和追踪，从而使手部模型与观测到的深度数据相匹配[^19] [^22] [^30] [^33] [^36]。从RGB图像中估计手部姿态更具挑战性。
除了使用深度图像外，人们还提出了多种方法，通过提取人工设计的特征并结合判别性机器学习模型，来直接预测深度图像中的关节位置或三维关节角度[^3] [^10] [^25] [^28]。最近，一些深度学习模型被提出，它们以深度图像为输入，回归多张图像中的二维关节位置[^24] [^32]，随后利用这些位置进行基于优化的手部姿态估计。还有研究采用卷积神经网络（CNN）在端到端学习框架中从深度图像回归三维手部姿态，要么直接估计三维关节配置[^15] [^23]，要么估计关节角度而非笛卡尔坐标[^16]。为了更直接地利用深度信息，也有研究提出先将深度图像转换为三维多视角[^6]或体素表示[^7]，再将其输入三维CNN。针对更移动化的应用场景，近期有研究提出了在严重遮挡条件下利用佩戴式摄像头进行手部姿态估计的混合方法[^13]。虽然我们的研究主要聚焦于RGB图像，但由于采用了多模态隐空间，我们同样能够从深度图像中预测手部姿态配置。
Wan等人[^34]的研究在理念上与我们的工作最为接近。与他们的工作类似，他们也采用深度生成模型（变分自编码器与GAN的结合）来学习一种可规范后验预测的隐空间表示。我们的方法存在显著差异：我们基于变分自编码器[^11]框架，从理论上推导出了一种跨模态训练方案，能够实现单一跨模态隐空间的联合训练；而[^34]的研究需要分别训练两个隐空间，还要学习连接它们的映射函数，最后再进行端到端的精细化处理。此外，我们通过实验证明，我们的方法在基于深度的手部姿态估计任务中与现有最先进方法效果相当，在RGB图像场景下更是优于现有方法，而[^34]仅报告了基于深度的实验结果。在[^2]中，变分自编码器也被用于基于深度的手部姿态估计，但他们的重点在于最小化真实分布与估计分布之间的不相似系数。
据我们所知，目前仅有一种基于学习的方法能仅利用RGB图像进行手部姿态估计[^38]。为验证该任务的可行性，这项研究将三维手部姿态估计拆分为图像分割、二维关节检测以及二维到三维的映射任务。我们的方法允许利用任意一种输入模态（此处指二维关键点或RGB图像）来训练隐空间，并通过从隐空间中解码对应样本来实现直接的三维手部姿态估计。我们经…
---
Figure 2: Schematic overview of our architecture. Left: a cross-modal latent space z is learned by training pairs of encoder and decoder q, p networks across multiple modalities (e.g., RGB images to 3D hand poses). Auxiliary encoder-decoder pairs help in regularizing the latent space. Right: The approach allows to embed input samples of one set of modalities (here: RGB, 3D) and to produce consistent and plausible posterior estimates in several different modalities (RGB, 2D and 3D).
实验表明，无论是在二维到三维的映射任务中，还是端到端手部姿态估计任务中，我们的方法都优于[^38]，即便所使用的不变性特征比原方法更少。最后，我们证明无需对架构做任何修改，同一方法就能直接应用于深度图像。
我们的研究基于深度生成建模领域的文献。生成对抗网络（GAN）[^8]通过对抗式学习过程来学习数据的潜在分布。变分自编码器（VAE）[^11]则通过优化数据在潜空间流形上的对数似然来学习该分布。不过，与GAN不同，VAE提供了一种将数据嵌入该流形的框架，这已被证明在多模态哈希等多样化应用中十分有用[^4]。Aytar等人[^1]利用多个卷积神经网络将不同模态的数据共同嵌入，用于场景分类；Ngiam等人[^14]则通过共享的潜空间实现跨模态的音频和视频重建。我们的研究同样旨在创建跨模态潜空间，我们推导出了跨模态训练目标函数，该函数能够自然地支持利用代表物理上合理的手部姿态配置的不同数据源进行学习。
### 3. 方法
人类手部复杂而灵巧的运动很难直接通过几何或物理约束来建模[^18] [^30] [^33]。不过，学界普遍认为大部分自由度并非独立可控，且自然运动中的手部动作存在于低维子空间中[^20] [^31]。此外，已有研究表明降维技术能够为基于RGB-D的手部姿态估计提供数据驱动的先验知识[^21] [^26]。然而，若要直接将这样的低维子空间用于三维手部姿态估计中的后验估计，它需要满足三个条件：i) 平滑，ii) 连续，iii) 一致。由于捕捉手部姿态存在固有难度，大多数数据集无法覆盖完整的运动空间，因此无法通过PCA等简单的降维技术直接获得所需的流形。
我们采用VAE框架，它能够利用各种数据表示来源来进行此类手部姿态潜空间的跨模态训练，即便这些来源在输入和输出方面来自不同的数据集。我们的跨模态训练方案如图2所示，该方案能够学习将不同模态的手部姿态数据嵌入，并在同一模态或不同模态中对其进行重建。
更具体地说，一组编码器q将形式为二维关键点、RGB图像或深度图像的数据样本映射到低维潜空间z中，该空间代表物理上合理的姿态。一组解码器p则在相应模态中重建手部结构。我们的研究重点是三维手部姿态估计，也就是估计三维关节的后验分布。所提出的方法具备完全的生成能力，实验表明它能够生成跨模态的一致手部结构。训练期间，每种输入模态会轮流参与共享潜空间的构建。
---
该流形是连续且平滑的，我们通过生成跨模态样本——比如新的三维姿态与自然手部图像的组合$^{1}$——来验证这一点。
#### 3.1. 变分自编码器
我们的跨模态训练目标可以源自VAE框架[^11]，这是一类常用的生成模型，通常用于合成数据。通过优化所谓的数据对数似然的变分下界，即可得到潜空间表示：
$$ \log p(x)\geq E_{z\sim q(z|x)}[\log p(x|z)]-D_{K L}(q(z|x)||p(z)) $$
这里，$D_{KL}(\cdot)$ 表示Kullback-Leibler散度，而条件概率分布 $q(z|x)$、$p(x|z)$ 分别是由神经网络参数化的编码器和解码器。分布 $p(z)$ 是潜空间上的先验，被建模为 $\mathcal{N}(z|0,I)$。编码器会返回正态分布的均值 $\mu$ 和方差 $\sigma^{2}$，满足 $z \sim \mathcal{N}(\mu, \sigma^{2})$。
在这种原始形式下，VAE仅考虑单一数据分布。为了实现跨模态训练，至少需要考虑两种数据模态。
#### 3.2. 跨模态手部姿态潜空间
我们的目标是引导跨模态VAE学习具有上述理想特性的低维手部姿态潜空间，使其能够将任意模态投影到z空间，并能生成任意模态的后验估计。为此，我们重新推导了一种利用多种模态进行训练的新目标函数，随后详细介绍了基于该目标函数的训练算法。
为简洁起见，我们采用一个具体示例：将数据样本 $x_i$（例如RGB图像）嵌入到潜空间以获得嵌入向量z，进而重构出对应的数据样本 $x_t$（例如3D关节配置）。为实现这一点，我们最大化模型 $x_t$ 下期望输出模态 $\log p_{\theta}(x_t)$ 的对数概率，其中 $\theta$ 为模型参数。为减少冗余，此处省略模型参数。
与最初的推导类似 [^11]，我们从想要最大化的量 $\log p(x_t)$ 开始：
$$ \log p(x_{t})=\int_{z}q(z|x_{i})\log p(x_{t})d z, $$
利用 $\int_{z} q(z|x_{i})dz = 1$ 这一事实并展开 $p(x_{t})$，可得：
$$ \int_{z}q(z|x_{i})\log\frac{p(x_{t})p(z|x_{t})q(z|x_{i})}{p(z|x_{t})q(z|x_{i})}d z. $$
记住 $D_{KL}(p(x)||q(x)) = \int_{x} p(x) \log \frac{p(x)}{q(x)}$，将公式(3)中的积分拆分后，我们得到：
$$ \begin{aligned}&\int_{z}q(z|x_{i})\log\frac{q(z|x_{i})}{p(z|x_{t})}dz+\int_{z}q(z|x_{i})\log\frac{p(x_{t})p(z|x_{t})}{q(z|x_{i})}dz\\&=D_{KL}(q(z|x_{i})||p(z|x_{t}))+\int_{z}q(z|x_{i})\log(\frac{p(x_{t}|z)p(z)}{q(z|x_{i})})dz.\end{aligned} $$
这里，$p(z|x_t)$ 对应期望但无法直接获得的后验，我们用 $q(z|x_i)$ 来近似它。
由于 $p(x_t)p(z|x_t) = p(x_t|z)p(z)$，且对于任意分布p、q都有 $D_{KL}(p(x)||q(x)) \geq 0$，因此我们得到了最终的下界：
$$ \begin{aligned}&D_{K L}(q(z|x_{i})||p(z|x_{t}))+\int_{z}q(z|x_{i})\log(\frac{p(x_{t}|z)p(z)}{q(z|x_{i})})d z\\&\geq\int_{z}q(z|x_{i})\log p(x_{t}|z)d z-\int_{z}q(z|x_{i})\log\frac{q(z|x_{i})}{p(z)}d z\\&=\mathbb{E}_{z\sim q(z|x_{i})}[\log p(x_{t}|z)]-D_{K L}(q(z|x_{i})||p(z)).\\ \end{aligned} $$
注意，我们通过恒等式 $-\log(x) = \log\left(\frac{1}{x}\right)$ 改变了符号。这里 $q(z|x_i)$ 是我们的编码器，将 $x_i$ 嵌入到潜空间；$p(x_t|z)$ 是解码器，它将潜样本z转换为期望的表示 $x_t$。
该推导表明，输入样本 $x_i$ 和目标样本 $x_t$ 可以通过共享的嵌入空间z来解耦，其中i和t可以代表任意模态。例如，当给定 $\log p(x_{\mathrm{3D}})$ 时，若要最大化 $x_{\mathrm{RGB}}$，我们可以以 $q(z|x_{\mathrm{RGB}})$ 作为编码器，以 $p(x_{\mathrm{3D}}|z)$ 作为解码器进行训练。
重要的是，上述推导还允许同时训练额外的编码器-解码器对，如 $(q(z|x_{\mathrm{RGB}}), p(x_{\mathrm{RGB}}|z))$，且它们共享同一个z空间。这种跨模态训练机制会形成一个单一的潜空间，使我们能够嵌入和重构多种数据模态，甚至支持无监督训练。
在手姿估计场景中，$p(z)$ 代表了手部姿态流形，借助 $x_{\mathrm{RGB}}$、$x_{2\mathrm{D}}$、$x_{3\mathrm{D}}$ 甚至 $x_{\mathrm{Depth}}$ 等多种输入模态的组合，可以对其做出更精确的定义。
#### 3.3. 网络架构
在实际应用中，针对数据模态k的编码器$q_k$会返回给定样本所对应的正态分布的均值$\mu$和方差$\sigma^2$，嵌入向量z便是从该分布中采样得到的，即$z \sim \mathcal{N}(\mu, \sigma^2)$。而解码器$p_l$则会将潜在样本z直接重构为所需的数据模态l。
图2展示了我们针对基于RGB的手部姿态估计所提出的架构。在该设置中，我们分别使用两个编码器来处理RGB图像和3D关键点数据。此外，该架构还包含两个解码器，分别用于生成RGB图像和3D关节配置。
---
#### 3.4. 训练流程
我们的跨模态目标函数（公式3）遵循算法1中以伪代码形式给出的训练流程。该流程以一组模态$P_{VAE}$及其对应的编码器和解码器$q_i, p_j$作为输入，其中i、j分别表示相应的模态，所有这类模态对会迭代训练$\mathcal{E}$个周期。需要注意的是，嵌入空间z始终保持不变，因此通过这一流程我们就能得到联合跨模态潜在空间（参见图1）。
```pseudo
// Algorithm 1: Cross-modal Variational Autoencoders
```
$P_{VAE} \leftarrow \{(q_{k_1}, p_{l_1}), (q_{k_2}, p_{l_2}), \ldots\}$编码器/解码器配对中，$q_{k_1}$负责将模态$k_1$的数据编码，而$p_{l_1}$则将潜在样本重构为模态$l_1$的数据。
$\mathcal{E}$：训练周期数
$e \leftarrow 0$
for $e < \mathcal{E}$ do
for $(q_k, p_l) \in P_{VAE}$ do
$x_k, x_l \leftarrow X_k, X_l$：模态k和l的样本数据对
$\mu, \sigma \leftarrow q_k(x_k)$
$z \sim \mathcal{N}(\mu, \sigma)$
$\hat{x}_l \leftarrow p_l(z)$
$\mathcal{L}_{MSE} \leftarrow ||x_l - \hat{x}_l||_2$
$\mathcal{L}_{KL} \leftarrow -0.5 \times (1 + \log(\sigma^2) - \mu^2 - \sigma^2)$
$\theta_{q_k} \leftarrow \theta_{q_k} - \nabla \theta_{q_k}(\mathcal{L}_{MSE} + \mathcal{L}_{KL})$
$\theta_{p_l} \leftarrow \theta_{p_l} - \nabla \theta_{p_l}(\mathcal{L}_{MSE} + \mathcal{L}_{KL})$
结束循环
$e \leftarrow e + 1$
结束循环
### 4. 实验
为了评估跨模态VAE的性能，我们系统地检验了所提出的训练算法以及由此产生的跨模态潜在空间的实用性。我们通过从三种完全不同的输入模态估计3D手部关节位置来完成这一评估：1）2D关节位置；2）RGB图像；3）深度图像。在实验中，我们探索了训练期间不同模态的组合方式。我们始终至少预测3D手部配置，同时还会加入其他模态。更具体地说，我们开展了以下四种变体的实验：a) 变体$1: (x_{i} \rightarrow x_{t}) \text{b}) Var. 2: (x_{i} \rightarrow x_{t}, x_{t} \rightarrow x_{t}) \text{c}) Var. 3: (x_{i} \rightarrow x_{t}, x_{i} \rightarrow x_{i}) \text{d}) Var. 4: (x_{i} \rightarrow x_{t}, x_{i} \rightarrow x_{i}, x_{t} \rightarrow x_{t}),$，其中$x_{i}$始终表示输入模态，i可取[RGB、2D、Depth]中的任意一个值，t则表示输出模态。在我们的实验中，t始终为$t = 3D$，但一般来说它可以是任何目标模态。由于包含$x_{t} \rightarrow x_{i}$方向既不会直接影响RGB编码器，也不会影响3D关节解码器，因此我们将其从分析中排除。
#### 4.1. 实现细节
我们采用ResNet-18 [^9]来对RGB图像和深度图像进行编码。需要注意的是，与以往直接回归3D关节坐标的方法相比，该编码器的模型规模要小得多 [^15]。RGB图像和深度图像的解码器由一系列（转置卷积层、BatchNorm2D层和ReLU层）组成。对于2D关键点和3D关节的编码器与解码器，我们使用多层（全连接层、ReLU层）。在实验中，我们并未发现更复杂的解码器架构能带来显著的精度提升。我们使用ADAM优化器训练该架构，学习率设为$10^{-4}$。具体的架构细节和超参数可在补充材料中找到。
#### 4.2. 数据集
我们在上述设定中，基于几个公开可用的数据集对我们的方法进行了评估。对于二维关键点和RGB图像这类输入模态而言，标注好的数据集相对较少。我们分别在立体手姿跟踪基准测试集[^37]（STB）以及渲染手姿数据集（RHD）[^38]上进行测试。STB包含18k张分辨率为$640 \times 480$的图像，其中15k张用于训练，3k张用于测试。这些图像标注了三维关键点位置，而二维关键点则是通过相机内参矩阵投影得到的。数据集中的手部姿态自遮挡现象较少，全局朝向、光照等变化也不大，因此相对容易恢复。
RHD是一个包含渲染手部图像的合成数据集，由42k张训练图像和2.7k张尺寸为$320 \times 320$的评估图像组成。与STB类似，该数据集也标注了二维和三维关键点位置。它包含了更加丰富的视角和姿态变化。三维人体模型被放置在从Flickr随机选取的图像前方，以生成任意背景。由于视角多变且手部姿态在不同尺度下较为复杂，该数据集的挑战性明显更高。此外，尽管属于合成数据集，但这些图像仍含有大量噪声和模糊现象，且分辨率相对较低。
针对深度数据，我们在ICVL [^27]、NYU [^32]以及MSRA [^25]数据集上进行了评估。对于NYU数据集，我们在视角1下利用全部36个关节进行训练和测试；评估时则按照[^15]、[^17]、[^34]中的做法，仅针对14个关节进行评估。而对于MSRA数据集，我们采用留一法交叉验证，并像[^15]、[^25]、[^34]中描述的那样，评估所训练的9个模型的误差。
#### 4.3. 评估指标
我们提供了三种不同的指标，用于在各种设定下评估所提出模型的性能：i) 三维手姿估计领域最常用的指标是平均三维关节误差，它衡量预测关节与真实关节之间的平均欧几里得距离。
---
| 2D $\rightarrow$3DRHD | RGB $\rightarrow$3DRHD | RGB $\rightarrow$3DSTB |
| Var. 1 | 17.23 | 19.73 | 8.75 |
| Var. 2 | 17.82 | 19.99 | 8.61 |
| Var. 3 | 17.14 | 20.04 | 8.56 |
| Var. 4 | 17.63 | 20.35 | 9.57 |
Table 1: Variant comparison. Mean EPE given in mm. For explanation of variants, see Sec. 4.
ii) 我们还报告正确关键点百分比（PCK），它表示预测关节到正确关节位置的欧几里得距离小于d时，所占的平均百分比。iii) 最具挑战性的指标是正确帧百分比（PCF），它要求所有预测关节到其对应真实位置的欧几里得距离均不超过d。由于深度数据在文献中常被报道，我们仅针对深度数据报告这一指标。
#### 4.4. 不同变体的比较
我们首先相互比较各变体的性能，以确定最优者，并在RHD和STB数据集上进行实验。在两个数据集上，我们都测试了模型直接从RGB图像回归三维关节的性能。此外，我们还在RHD数据集上尝试从给定的二维关节位置预测三维关节位置（即维度提升）。
表1展示了我们在相应任务和数据集上的结果。误差以平均端点误差（EPE）表示（中位数EPE见补充材料）。变体3在两个任务中的表现均优于其他变体：在RHD数据集上将2D关节位置提升至3D，以及在STB数据集上直接从RGB图像回归3D关节位置。另一方面，变体1在RHD数据集的RGB→3D任务中表现更优。不过需要注意的是，总体而言各变体间的性能差异较小。这也在意料之中，因为我们所有实验均在单一数据集内进行。因此即便存在多种模态，它们所捕捉的姿势及内在信息也相同。这表明，为生成目的而共享潜在空间并不会损害性能，在某些情况下甚至能提升性能。这可能是由于引入多种模态所产生的正则化效应所致。
#### 4.5. 与相关工作的比较
在本节中，我们将针对RGB和深度两种情况，定性分析我们的性能与以往研究结果的对比。为此，我们选取上一节中确定的各任务的最佳变体。对于RGB数据集（RHD和STB），我们将其与[^38]进行比较。据我们所知，这是唯一一项与我们研究任务相同的先前工作。为确保公平比较，我们采用了相同的预处理方式。值得注意的是，[^38]在测试时提供了手部朝向（H）和手部尺寸（S）等额外信息；此外，裁剪后的手部图像会被归一化为大致统一的大小。最后，他们将任务从预测全局3D关节坐标调整为通过提供手掌中心的真实值来估计相对于手掌、具有平移不变性（T）的关节坐标集。而在我们的模型中，手部朝向是通过布尔标志直接输入模型的。
不过，为了评估我们所学习到的手部模型的影响，我们逐步减少了对需要真实值信息的不变性的依赖。这些结果与我们的主算法一同展示。
2D到3D。作为基线实验，我们在RHD数据集上将我们的方法与[^38]在将2D关键点转化为3D手部姿态的任务中的表现进行对比。近期[^12]指出，只要拥有良好的2D关键点检测器，即便采用简单方法，也能在3D人体姿态估计中取得令人惊讶的好结果。由于人类手部运动更复杂且灵活性更高，手部姿态估计是一项极具挑战性的任务。此外，[^38]对其升维组件进行了单独评估，该结果可作为我们的基线。
表2的第一列总结了RHD数据集的平均平方端点误差（EPE）。总体而言，我们提出的模型以较大优势超越了[^38]。表2的最后几行展示了我们去除手部朝向不变性（H）和尺寸不变性（S）后的结果，即便如此我们的准确率仍高于[^38]。这表明我们的模型确实能够编码物理上合理的手部姿态，而且从嵌入向量中重构后验分布有助于手部姿态估计任务。
RGB到3D。在此，我们评估我们的模型在无需中间2D关键点提取的情况下，直接从RGB图像预测3D手部姿态的任务中的表现。为了公平比较，我们在裁剪后的RGB图像上运行我们的模型和[^38]。
Zimmermann等人提出的基线方法[^38]，该方法首先预测二维关键点，再将其映射到三维空间。我们在STB [^37]和RHD [^38]数据集上评估了所提出的模型。图7a和7b分别展示了我们在STB和RHD数据集上的预测样本。尽管RHD数据集中的部分图像存在手指严重遮挡的情况，但我们的方法仍能给出符合生物力学原理的预测结果。
表2的中间列总结了在难度更高的RHD数据集上的实验结果。我们方法的准确率大幅超越了[^38]。移除已有的不变性特征后，模型性能会略有下降，但我们的模型仍优于[^38]。从图4a中的PCK曲线对比可以看出，在所有阈值下我们的模型表现都优于[^38]。
表2的最右列显示了在STB数据集上的性能表现。我们方法的提升幅度相对较小。我们认为这是由于该数据集的难度较低，性能已趋于饱和（详见第4.2节的讨论）。
---
| 2D $\rightarrow$3DRHD | RGB $\rightarrow$3DRHD | RGB $\rightarrow$3DSTB |
| [^38] (T+S+H) | 22.43 | 30.42 | 8.68 |
| Ours (T+S+H) | 17.14 | 19.73 | 8.56 |
| Ours (T+S) | 18.90 | 20.20 | 10.16 |
| Ours (T+H) | 19.69 | 22.34 | 9.59 |
| Ours (T) | 21.15 | 22.53 | 9.49 |
Table 2: Related work comparison. Mean EPE given in mm. For explanation of legends, see Sec. 4.5
由于该数据集难度较低，性能已趋于饱和（详见第4.2节的讨论）。图4b展示了STB数据集上的PCK曲线，其中其他基线模型是基于带噪声的立体深度图而非RGB图像进行训练的（数据直接取自[^38]）。
从深度图到三维坐标。鉴于RGB-D相机已广泛应用，基于深度图的三维关节位置估计任务已被深入研究，相关专用架构也相继被提出。我们将最初为RGB图像设计的架构在ICVL [^27]、NYU [^32]和MSRA [^25]数据集上进行了评估。尽管模型容量较小，但我们的方法性能与近期的研究成果相当（见图5）[^15] [^17] [^34] [^35]，仅需将输入改为单通道图像即可适配，无需对模型结构做大幅调整。
由于跨训练的特性，我们可以利用额外数据中的互补信息。例如，如果有额外的无标签图像可用，我们的模型就可以通过跨训练来利用这些数据。这种情况十分常见，因为无标签数据非常丰富；即便没有现成数据，获取无标签数据也比采集训练数据要容易得多。
#### 4.6. 半监督学习
为了探究这种半监督学习场景，我们在STB数据集上开展了额外实验。我们通过从数据集中剔除不同比例的3D关节数据，来模拟有标签数据和无标签数据并存的情况。图3对比了变体1（仅能进行监督训练）和变体3（采用半监督训练）的中位EPE值。结果显示，随着可用无标签数据的增加，变体3能够利用这些额外信息，将预测准确率最多提升22%。
#### 4.7. 生成能力
我们的模型被引导去学习手部姿态的流形。在本节中，我们将展示该流形的平滑性和一致性。为此，我们将两张不同手部姿态的RGB图像嵌入潜空间，得到两个对应的样本$z_{1}$和$z_{2}$，随后使用我们的RGB解码模型和3D关节解码模型，对位于这两个样本之间插值线上的潜空间样本进行解码。图6展示了解码后的重建结果，证明了两种解码器之间的一致性。手指的运动……
Figure 3: Median EPE of our model trained supervised and semi-supervised as a function of percentage of labeled data.
(a) RHD
(b) STB
Figure 4: PCK curve of our best model on RHD and STB for RGB to 3D.
(a) NYU
(b) ICVL
(c) MSRA
Figure 5: PCF curves for 3D joint estimation from depth input. Our model performs comparably to recent works.
这些合成样本生成时同步进行，既在物理上合理，又能保持不同模态间的一致性。这表明所学习的潜在空间确实平滑，且能作为手部姿态的有效统计模型。
统一潜在空间的平滑特性在多方面都颇具吸引力。最重要的是，它有望实现标注数据的生成，进而用于改进现有模型。要全面探索这一特性还需进一步研究。
---
Figure 6: Latent space walk. Example of reconstructing samples of the latent space into multiple modalities. The left-most and right-most figures are reconstruction from latent space samples of two real RGB images. The figures in-between are multi-modal reconstruction from interpolated latent space samples, hence are completely synthetic.
(c) ICVL (from Depth)
Figure 7: 3D joint predictions. For each triplet, the left most column corresponds to the input image, the middle column is the ground truth 3D joint skeleton and the right column is our corresponding prediction.
### 5. 结论
我们提出了一种从RGB图像和深度图像中估计3D手部姿态的新方法。该方法基于变分下界的重新推导，允许训练多对独立的编码器和解码器，从而构建跨模态的联合潜在空间表示。实验表明，所提方法在公开的RGB数据集上性能优于现有技术，在深度数据上的表现也至少与高度专业化的先进方法相当。最后，我们验证了该方法的生成能力，证明我们确实学习到了可用且物理上合理的统计手部模型，能够直接估计3D关节的后验分布。
### 6. 致谢
本研究部分得到了ERC基金OPTINT（StG-2016-717054）的支持。
---
## 参考文献
[^1]: Y. Aytar, L. Castrejon, C. Vondrick, H. Pirsiavash, and A. Torralba. Cross-modal scene networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017. 3
[^2]: D. Bouchacourt, P. K. Mudigonda, and S. Nowozin. Disco nets: Dissimilarity coefficients networks. In Advances in Neural Information Processing Systems, pages 352–360, 2016. 2
[^3]: C. Choi, A. Sinha, J. Hee Choi, S. Jang, and K. Ramani. A collaborative filtering approach to real-time hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 2336–2344, 2015. 2
[^4]: V. Erin Liong, J. Lu, Y.-P. Tan, and J. Zhou. Cross-modal deep variational hashing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4077–4085, 2017. 3
[^5]: A. Erol, G. Bebis, M. Nicolescu, R. D. Boyle, and X. Twombly. Vision-based hand pose estimation: A review. Computer Vision and Image Understanding, 108(1):52–73, 2007. 2
[^6]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3593–3601, 2016. 2
[^7]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1991–2000, 2017. 2
[^8]: I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. Generative adversarial nets. In Advances in neural information processing systems, pages 2672–2680, 2014. 3
[^9]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 5
[^10]: C. Keskin, F. Kıraç, Y. E. Kara, and L. Akarun. Real time hand pose estimation using depth sensors. In Consumer depth cameras for computer vision, pages 119–137. Springer, 2013. 2
[^11]: D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013. 2, 3, 4
[^12]: J. Martinez, R. Hossain, J. Romero, and J. J. Little. A simple yet effective baseline for 3d human pose estimation. In International Conference on Computer Vision, 2017. 6
[^13]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. arXiv preprint arXiv:1704.02201, 2017. 2
[^14]: J. Ngiam, A. Khosla, M. Kim, J. Nam, H. Lee, and A. Y. Ng. Multimodal deep learning. In Proceedings of the 28th international conference on machine learning (ICML-11), pages 689–696, 2011. 3
[^15]: M. Oberweger and V. Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In International Conference on Computer Vision Workshops, 2017. 1, 2, 5, 7
[^16]: M. Oberweger, P. Wohlhart, and V. Lepetit. Hands deep in deep learning for hand pose estimation. arXiv preprint arXiv:1502.06807, 2015. 1, 2
[^17]: M. Oberweger, P. Wohlhart, and V. Lepetit. Hands deep in deep learning for hand pose estimation. arXiv preprint arXiv:1502.06807, 2015. 5, 7
[^18]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Efficient model-based 3d tracking of hand articulations using kinect. In BmVC, volume 1, page 3, 2011. 2, 3
[^19]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun. Realtime and robust hand tracking from depth. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1106–1113, 2014. 2
[^20]: M. Santello, M. Flanders, and J. F. Soechting. Postural hand synergies for tool use. Journal of Neuroscience, 18(23):10105–10115, 1998. 2, 3
[^21]: M. Schröder, J. Maycock, H. Ritter, and M. Botsch. Real-time hand tracking using synergistic inverse kinematics. In Robotics and Automation (ICRA), 2014 IEEE International Conference on, pages 5447–5454. IEEE, 2014. 3
[^22]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, et al. Accurate, robust, and flexible real-time hand tracking. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, pages 3633–3642. ACM, 2015. 2
[^23]: A. Sinha, C. Choi, and K. Ramani. Deephand: Robust hand pose estimation by completing a matrix imputed with deep features. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4150–4158, 2016. 2
[^24]: S. Sridhar, A. Oulasvirta, and C. Theobalt. Interactive markerless articulated hand motion tracking using rgb and depth data. In Proceedings of the IEEE International Conference on Computer Vision, pages 2456–2463, 2013. 2
[^25]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 824–832, 2015. 2, 5, 7
[^26]: A. Tagliasacchi, M. Schroeder, A. Tkach, S. Bouaziz, M. Botsch, and M. Pauly. Robust articulated-icp for real-time hand tracking. Computer Graphics Forum (Proc. Symposium on Geometry Processing), 2015. 2, 3
[^27]: D. Tang, H. Jin Chang, A. Tejani, and T.-K. Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014. 1, 2, 5, 7
[^28]: D. Tang, J. Taylor, P. Kohli, C. Keskin, T.-K. Kim, and J. Shotton. Opening the black box: Hierarchical sampling optimization for estimating human hand pose. In Proceedings of the IEEE International Conference on Computer Vision, pages 3325–3333, 2015. 2
## [^29]: D. Tang, T.-H. Yu, and T.-K. Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In Proceedings of the IEEE international conference on computer vision, pages 3224–3231, 2013. 2
---
[^30]: J. Taylor, L. Bordeaux, T. Cashman, B. Corish, C. Keskin, T. Sharp, E. Soto, D. Sweeney, J. Valentin, B. Luff, et al. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Transactions on Graphics (TOG), 35(4):143, 2016. 2, 3
[^31]: E. Todorov and Z. Ghahramani. Analysis of the synergies underlying complex hand manipulation. In Engineering in Medicine and Biology Society, 2004. IEMBS'04. 26th Annual International Conference of the IEEE, volume 2, pages 4637–4640. IEEE, 2004. 3
[^32]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG), 33(5):169, 2014. 2, 5, 7
[^33]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118(2):172–193, 2016. 2, 3
[^34]: C. Wan, T. Probst, L. Van Gool, and A. Yao. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017. 2, 5, 7
[^35]: C. Wan, A. Yao, and L. Van Gool. Hand pose estimation from local surface normals. In European Conference on Computer Vision, pages 554–569. Springer, 2016. 1, 2, 7
[^36]: Q. Ye, S. Yuan, and T.-K. Kim. Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In European Conference on Computer Vision, pages 346–361. Springer, 2016. 2
[^37]: J. Zhang, J. Jiao, M. Chen, L. Qu, X. Xu, and Q. Yang. 3d hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214, 2016. 2, 5, 6
[^38]: C. Zimmermann and T. Brox. Learning to estimate 3d hand pose from single rgb images. In International Conference on Computer Vision, 2017. 1, 2, 3, 5, 6, 7