# HandVoxNet：基于深度体素的单深度图3D手部形状与姿态估计深度网络
Jameel Malik $^{1,2,3}$
Sk Aziz Ali $^{1,2}$
Ibrahim Abdelaziz $^{1,2}$
Ahmed Elhayek $^{2,4}$ Soshi Shimada $^{5}$
Vladislav Golyanik $^{5}$
Christian Theobalt $^{5}$ Didier Stricker $^{1,2}$
$^{1}$凯泽斯劳滕工业大学$^{2}$凯泽斯劳滕DFKI研究所$^{3}$巴基斯坦国立科技大学$^{4}$沙特阿拉伯穆罕默德六世理工大学$^{5}$萨尔兰MPII研究所
## 摘要
从单张深度图进行3D手部形状与姿态估计是一个新兴且极具挑战性的计算机视觉问题，具有广泛的应用前景。当前最先进的方法通过2D卷积神经网络直接从2D深度图像中回归3D手部网格，但由于图像中的透视畸变，会导致估计结果出现伪影。
相比之下，我们提出了一种采用弱监督方式训练的、基于3D卷积的新型架构。该方法的输入为3D体素化深度图，我们采用了两种手部形状表示方式：第一种是精度较高但无法保留网格拓扑结构与顶点数量的3D体素化网格；第二种表示方式为3D手部表面，其精度稍低，但不存在第一种表示方式的局限性。我们通过将手部表面与体素化手部形状对齐，结合了这两种表示方式的优势。大量实验表明，在SynHand5M数据集上，所提方法相比现有最优方法性能提升了47.8%。此外，我们针对体素化深度图设计的增强策略进一步提高了真实数据上的3D手部姿态估计精度。与现有方法相比，我们的方法在NYU和BigHand2.2M数据集上生成的手部形状在视觉上更合理、更逼真。
### 1. 引言
基于深度学习的3D手部姿态估计问题近年来已被广泛研究[^33]，近期的研究成果在公开基准测试中取得了很高的准确率[^32] [^18] [^22]。从单张深度图同时估计3D手部姿态与形状是一个新出现的计算机视觉问题，它比单纯的姿态估计更具挑战性，因为为真实图像标注形状信息既费时又繁琐。其他突出的挑战还包括手部形状多变、遮挡现象、自由度（DOF）高以及形状自相似性等问题。
Figure 1: Hand shape and pose estimation with HandVoxNet. A 3D voxelized depth map and accurately regressed heatmaps of 3D joints (left block) are used to estimate two hand shape representations (middle block). To combine the advantages of these representations, we accurately register the shape surface to the voxelized shape (right block). Our architecture with 3D convolutions establishes a one-to-one mapping between voxelized depth map, voxelized hand shape and heatmaps of 3D joints.
密集的3D手部网格是一种比稀疏的3D关节更丰富的表示方式，在计算机视觉与图形学领域有诸多应用[^27] [^23] [^17]。
随着深度学习领域的最新进展，已有一些研究[^35] [^7] [^17] [^13] [^14]提出了用于同时估计手部姿态和形状的算法。Malik等人[^14]开发了一种基于2D CNN的方法，可直接从2D深度图估计形状。由于他们所用手部模型的表示能力有限，恢复出的形状会存在伪影[^7] [^17]。即便将逼真的统计手部模型（即MANO）[^23]嵌入到深度网络中[^7] [^35]，也会出现同样的问题。与这些基于模型的方法[^35] [^14]不同，Ge等人[^7]提出了一种更精确、基于直接回归的方法，仅需单目RGB图像即可实现。最近，Malik等人[^17]又开发了另一种基于单张深度图的直接回归方法。上述所有方法都使用2D CNN来处理深度图，尽管深度图本质上是3D数据。用2D CNN根据深度图的2D表示来估计3D手部姿态或形状，这一过程具有高度非线性，会导致
---
估计结果中出现透视畸变[^18]。V2V-PoseNet[^18]是首个利用深度图的3D体素化网格来估计3D关节热图、从而避免透视畸变的研究。不过，要将该方法扩展为通过直接回归网格顶点的3D热图来实现形状估计，在实践中并不可行。
在这项工作中，我们提出了首个给定体素化深度图便能同时估计3D形状和3D姿态的3D CNN架构（见图1）。为此，我们引入了基于3D卷积的新型架构，用于估计两种不同的手部形状表示（第3~5节）。第一种表示是体素化网格上的手部形状，它由全新的体素到体素网络估计得出，该网络建立了体素化深度图与体素化形状之间的一一映射关系。不过，所估计的体素化形状无法保留手部网格的拓扑结构和顶点数量。因此，我们还通过体素到表面网络来估计手部表面（第二种表示）。由于该网络不建立一一映射关系，所估计的手部表面精度较低，但能保留手部拓扑结构。为了结合两种表示的优势，我们提出了将手部表面拟合到体素化形状的配准方法。由于缺乏真实的手部形状标注数据，我们采用了两个基于3D CNN的合成器，它们作为弱监督来源，能从我们的形状表示中生成体素化深度图（见图2）。为提高手部姿态估计的鲁棒性和精度，我们对体素化深度图进行了3D数据增强处理（第4.2节）。
我们开展了消融实验，并在真实和合成数据集上对所提出的方法进行了广泛评估。在SynHand5M数据集上，我们的方法将手部形状估计的准确率提升了47.8%[^14]，且性能优于现有最先进方法。与最先进方法相比，我们的方法在NYU和BigHand2.2M数据集上生成的手部形状在视觉上更合理、更逼真（第6节）。总结来说，我们的贡献如下：
1. 首个基于体素的手部形状和姿态估计方法，包含以下创新组件：
(i) 基于体素到体素3D CNN的网络。
(ii) 基于体素到表面3D CNN的网络。
(iii) 基于3D CNN的体素化深度图合成器。
(iv) 手部形状注册组件。
2. 一种基于深度图体素化网格的新型3D数据增强策略。
### 2. 相关工作
现在我们来讨论现有的手部姿态与形状估计方法。此外，我们简要介绍与基于深度的手部姿态估计最相关的研究成果。
深度学习中的手部姿态与形状估计。Malik等人[^14]提出了首个利用单张深度图像进行手部姿态与形状估计的深度神经网络。为此，他们开发了一种基于模型的手部姿态与形状层，并将其嵌入到其深度网络中。由于在网络中优化复杂的手部形状参数存在困难，他们的方法会产生伪影。Ge等人[^7]开发了一种基于直接回归的算法，用于从单张RGB图像中估计手部姿态与形状。他们指出，由于训练数据量较少且用于形状恢复的线性基有限，统计可变形手部模型（即MANO [^23]）的表达能力可能会受到限制。Zhang等人[^35]采用了类似的基于MANO模型的方法，利用单目RGB图像进行估计。最近，Malik等人[^17]提出了一种利用单张深度图像的结构化弱监督深度学习方法。上述所有方法均采用2D CNN，并将深度图视为2D数据。因此，深度网络很可能会在姿态和形状估计中产生透视失真[^18]。相比之下，我们提出了首个基于3D卷积的架构，该架构在体素化深度图与体素化手部形状之间建立了一一对应关系。这种一一对应关系能够更精确地重建手部形状。
基于深度的手部姿态估计。总体而言，基于深度学习的手部姿态估计方法可分为两类。第一类是判别性方法，它们利用CNN直接估计手部关节位置[^4] [^3] [^32] [^21] [^22] [^18] [^10] [^6] [^12]。第二类是混合方法，它们将手部结构显式地纳入深度网络中[^16] [^30] [^8] [^19] [^15]。与混合方法相比，判别性方法的准确率更高。体素到体素的方法[^18]强大且高效，因为它利用3D卷积来学习3D体素化深度图与手部关节3D热图之间的一一对应关系。值得注意的是，深度图的体素化表示最适合用于3D数据增强，以提高估计的鲁棒性和准确性。一些方法会对深度图[^19] [^28]或体素化深度图[^18]进行数据增强。在本研究中，我们将体素到体素的方法与我们的流程相结合，此外还对体素化深度图进行新型3D数据增强。我们的3D数据增强策略有助于在真实数据集上显著提升3D姿态估计的准确率。
### 3. 方法概述
给定单张输入深度图像，我们的目标是估计N个3D手部关节位置$\mathcal{J} \in \mathcal{R}^{3 \times N}$（即3D姿态）以及$K = 1193$个3D顶点位置$\mathcal{V} \in \mathcal{R}^{3 \times K}$（即3D形状）。
---
Figure 2: Overview of our approach for 3D hand shape and pose recovery from a 3D voxelized depth map. V2V-PoseNet estimates 3D joints heatmaps (i.e., pose). Hand shape is obtained in two phases. First, V2V-ShapeNet and V2S-Net estimate the voxelized shape and shape surface, respectively. Thereby, V2V-SynNet and S2V-SynNet synthesize the voxelized depth acting as sources of weak-supervision. They are excluded during testing. In the second phase, shape registration accurately fits the shape surface to the voxelized shape.
图2展示了所提出方法的概览。利用相机内参和固定的立方体尺寸，输入的深度图像被转换为大小为$V_D$的体素化网格（即$88 \times 88 \times 88$）。在进行手部姿态估计时，将$V_D$作为输入提供给体素到体素姿态回归网络（即V2V-PoseNet），该网络可直接估算出3D关节热图$\{\mathcal{H}_j\}_{j=1}^N$。每个3D关节热图都表示为$44 \times 44 \times 44$体素化网格。我们将$V_D$调整至$44 \times 44 \times 44$体素网格大小（即$V_D'$），并将其与估算出的$\mathcal{H}_j$进行拼接，以此作为形状估计网络的输入。我们把这种拼接后的输入称为$\mathcal{I}_S$。
体素化的手部形状（即$64 \times 64 \times 64$网格尺寸）通过基于3D CNN的体素到体素形状回归网络（即V2V-ShapeNet）直接进行回归，该网络以$\mathcal{I}_S$作为输入。值得注意的是，V2V-ShapeNet建立了体素化深度图与体素化形状之间的一一映射关系。因此，它能生成精确的体素化形状表示，但无法保留手部网格的拓扑结构以及网格顶点的数量。为了回归手部表面，将$\mathcal{I}_S$输入到基于3D CNN的体素到表面回归网络（即V2S-Net）中。由于$\mathcal{I}_S$与手部表面之间的映射并非一一对应，因此其精度较低。体素到体素合成器（即V2V-SynNet）和表面到体素合成器（即S2V-SynNet）分别连接在V2V-ShapeNet和V2S-Net之后。这些合成器用于重构$V_D$，并在训练期间充当弱监督源；测试阶段则不使用它们。为了结合两种形状表示的优势，我们将估算出的手部表面与估算出的体素化手部形状进行配准。对于合成数据，我们采用基于3D CNN的DispVoxNet [^25]；对于真实数据，则采用非刚性引力法（NRGA）[^1]。
### 4. 所提出的HandVoxNet方法
在本节中，我们通过阐述各组件的功能和有效性来介绍所提出的HandVoxNet方法。我们开发了一种高效的解决方案，能够通过基于3D CNN的深度网络生成合理的手部形状。为此，我们的方法充分利用了精准估算出的3D关节热图这一强大的姿态先验，以及体素化深度图。鉴于获取精确的真实手部形状真值既困难又费时，我们开发了一种弱监督网络，以便从标注精确的合成数据中学习以实现真实手部形状的估计。此外，我们对体素化深度图进行的3D数据增强能够进一步提升3D手部姿态估计的准确性和鲁棒性。
#### 4.1. 3D手部形状估计
如前所述，利用2D CNN从2D深度图估计3D手部形状是一种高度非线性的映射过程。这要求网络执行透视畸变不变的估计，从而给形状学习带来困难。为解决这一局限，我们开发了全体素化的深度网络，该网络能有效利用估算出的3D姿态和体素化深度图来生成合理的3D手部形状。我们提出的3D形状估计方法包含两个主要阶段：第一阶段，估算形状表面和体素化手部形状；第二阶段，采用基于3D CNN的配准方法处理合成数据，采用基于NRGA的拟合过程处理真实数据，从而将估算出的形状表面与估算出的体素化手部形状进行配准。
体素化形状估计。我们的思路是通过基于3D CNN的网络来估算体素化形式的3D手部形状——
---
它能让网络以最小化透视畸变几率的方式估算形状。受近期研究[^17]中提出的思路启发，我们将稀疏的3D关节视为密集3D形状的潜在表示。不过在本研究中，我们将3D姿态与深度图相结合，从而能更精确地描述手部形状。此外，我们采用了更精准且实用的3D姿态和2D深度图像表示方式，分别是3D关节热图和体素化深度图。V2V-ShapeNet模块如图2所示，它可被视为3D形状解码器：
$$ \hat{\mathcal{V}}_{S}\sim\operatorname{D e c}(\mathcal{H}_{j}\oplus\mathbf{V}_{\mathrm{D}}^{\prime})=p(\mathcal{V}_{S}|\mathcal{I}_{S}) $$
其中$p(\mathcal{V}_{S}|\mathcal{I}_{S})$为解码后的分布。该解码器会学习将体素化的手部形状$\hat{\mathcal{V}}_{S}$尽可能还原为真实的体素化手部形状$\mathcal{V}_{S}$。V2V-ShapeNet是一种基于3D CNN的架构，可直接估算体素化形状中每个体素属于背景（即0）还是形状体素（即1）的概率。用于体素化形状重建的逐体素二元交叉熵损失$\mathcal{L}_{\mathcal{V}_{S}}$表示为：
$$ \mathcal{L}_{\mathcal{V}_{S}}=-\big(\mathcal{V}_{S}\log(\hat{\mathcal{V}}_{S})+(1-\mathcal{V}_{S})\log(1-\hat{\mathcal{V}}_{S})\big) $$
其中$\mathcal{V}_{S}$和$\tilde{\mathcal{V}}_{S}$分别为真实的体素化手部形状和估算出的体素化手部形状。V2V-ShapeNet的架构详见补充材料。
由于缺乏真实手部形状的标注数据，因此弱监督对于有效学习真实手部形状至关重要。基于此，我们提出了一种基于3D CNN的V2V-SynNet（见图2），它在训练阶段充当弱监督来源。测试时该模块会被移除。V2V-SynNet会根据估算出的体素化形状表示来合成体素化深度图。用于体素化深度图重建的逐体素二元交叉熵损失$\mathcal{L}_{\mathrm{VD}}^{v}$表示为：
$$ \mathcal{L}_{\mathbf{V}_{\mathrm{D}}}^{\mathbf{v}}=-\big(\mathbf{V}_{\mathrm{D}}\log\big(\hat{\mathbf{V}}_{\mathrm{D}}\big)+\big(1-\mathbf{V}_{\mathrm{D}}\big)\log\big(1-\log\big(\hat{\mathbf{V}}_{\mathrm{D}}\big)\big) $$
其中$V_{D}$和$\hat{V}_{D}$分别为真实的体素化深度图和重建后的体素化深度图。V2V-SynNet的架构详见补充材料。
形状表面估计。为了提升形状配准效果，形状表面的手部姿态与体素化形状需保持一致。为实现配准，我们采用了V2S-Net深度网络来直接回归V。基于前述的手部形状解码相似原理，$\mathcal{I}_S$被作为输入提供给该网络，而解码输出即为重建后的手部网格（见图2）。手部形状表面重建损失$\mathcal{L}_{\mathcal{V}_T}$采用标准的欧几里得损失表示：
$$ \mathcal{L}_{\mathcal{V}_{T}}=\frac{1}{2}\left\|\hat{\mathcal{V}}_{T}-\mathcal{V}_{T}\right\|^{2}, $$
其中$\mathcal{V}_T$和$\hat{\mathcal{V}}_T$分别为对应的真实手部形状表面和重建后的手部形状表面。如前所述，在缺乏真实手部形状标注的情况下，网格顶点的弱监督由S2V-SynNet提供。此时，输入到S2V-SynNet的是呈3D坐标形式的$\hat{\mathcal{V}}_T$。S2V-SynNet的损失函数$\mathcal{L}_{\mathrm{VD}}^{\mathrm{s}}$与公式(3)类似。关于S2V-SynNet和V2S-Net的更多细节详见补充材料。
基于CNN的形状配准。得益于全连接层，V2S-Net能够估算手部形状，同时保留点的顺序和数量。不过，丢失局部空间信息也是全连接层的一个缺点。与全连接层不同，大量研究表明全卷积网络在几何回归任务中表现优异 [^24] [^9] [^18] [^31]。然而，通过3D卷积层估算体素化手部形状会导致点的数量不一致且顺序错乱。因此，理想的架构应当是一种既能估算手部形状又不丢失局部空间信息、同时能保留手部形状拓扑结构的网络。为实现这一点，我们利用DispVoxNets流程将V2S-Net估算出的形状与FCN估算出的概率形状表示（V2V-ShapeNet）进行配准 [^25]。
原始的DispVoxNets流程包含两个阶段：全局位移估算阶段和细化阶段。细化阶段用于消除点集表面的粗糙度。与原始方法不同，我们用拉普拉斯平滑算法替换了细化阶段 [^29]。之所以可行，是因为我们假设网格拓扑结构已知，且我们的流程能够保留该拓扑结构。
在DispVoxNet流程中，手部表面形状 $\hat{V}_T$ 首先被转换为体素化网格 $\hat{V}_T'(i.e., 64 \times 64 \times 64$（体素化网格尺寸）。DispVoxNet会估算参考形状 $64^3 \times 3$ 与体素化手部表面 $\hat{V}_S$ 之间每个体素的维度为 $\hat{V}_T^1$ 的位移。位移损失 $\mathcal{L}_{\text{Disp}}$ 的计算公式如下：
$$ \mathcal{L}_{D i s p.}=\frac{1}{Q^{3}}\left\|\mathbf{d}-D_{v n}(\hat{\mathcal{V}}_{S},\hat{\mathcal{V}}_{T}^{^{\prime}})\right\|^{2}, $$
其中Q和d分别为体素网格尺寸和真实位移。由于难以获取体素化形状 $\hat{V}_S$ 与手部表面 $\hat{V}_T$ 之间的位移d，因此需先计算 $V_T$ 与 $\hat{V}_T$ 之间的位移，再将其离散化以得到d。关于真实体素化网格计算的更多细节，请参阅 [^25]。
基于NRGA的形状配准。在我们基于体素的3D手部形状和姿态估算流程中（见图2），DispVoxNet [^25] 组件在其源到目标位移场学习阶段需要形状标注数据。这些标注数据仅适用于合成数据集。
---
这就导致DispVoxNet在真实数据集上的性能存在域间隙。为弥合这一差距，我们应用NRGA [^1] 来通过将 $\hat{V}_T$ 与 $\hat{V}_S$ 配准以改善其效果。与其他方法相比，我们选择NRGA来执行这种可变形对齐任务 [^20] [^2]，因为它能保留输入手部表面的局部拓扑结构，且对噪声具有较强鲁棒性。尽管NRGA是一种点云对齐方法，但它提供了放宽手部网格顶点邻近区域形变幅度的选项。原始的NRGA会为每个顶点估算一个刚性变换 $v \in \hat{V}_T$，并在由该顶点的邻域顶点构成的子空间中扩散这些变换。它会在模板（在本例中为 $\hat{V}_T$）上构建k-d树，并将邻域顶点选为k个最近邻（通常占模板总点数的0.1%–0.2%）。我们对NRGA进行了修改以适应表面到体素的操作，即不用最近邻，而是使用 $\hat{V}_T$ 中4环内的相连顶点。更多细节请参阅我们的补充材料。
#### 4.2. 3D中的数据增强
我们的手部形状估计方法依赖于所估算的3D姿态的准确性。因此，手部姿态估计方法必须既准确又稳健。训练数据增强有助于提升深度网络的性能[^19]。现有的手部姿态估计方法[^19] [^28]采用二维数据增强技术，这主要是因为这些方法将深度图视为二维数据。而将深度图以体素形式表示后，就能方便地在三个维度上进行数据增强。在本文中，我们提出了一种新的3D数据增强策略，该策略能够提升手部姿态估计的准确性和稳健性（详见第6.3节）。
在V2V-PoseNet的训练过程中，我们利用欧拉变换，对$(i,j,k)$和$V_D$的每个3D坐标$\mathcal{H}_j$施加沿x、y、z轴的同步旋转：
$$ [\hat{i},\hat{j},\hat{k}]^{\mathrm{T}}=[\mathbf{R o t}_{\mathrm{x}}(\theta_{\mathrm{x}})]\times[\mathbf{R o t}_{\mathrm{y}}(\theta_{\mathrm{y}})]\times[\mathbf{R o t}_{\mathrm{z}}(\theta_{\mathrm{z}})][i,j,k]^{\mathrm{T}}, $$
其中$(\hat{i},\hat{j},\hat{k})$为变换后的体素坐标。$\mathrm{Rot}_{x}(\theta_{x}),\mathrm{Rot}_{y}(\theta_{y})$和$\mathrm{Rot}_{z}(\theta_{z})$分别是绕x轴、y轴和z轴的$3\times3$旋转矩阵。$\theta_{x}$、$\theta_{y}$和$\theta_{z}$的值分别在$[-40^{\circ},+40^{\circ}]$、$[-40^{\circ},+40^{\circ}]$和$[-120^{\circ},+120^{\circ}]$范围内随机选取。除了三维旋转外，按照[^18]的方法，我们还在$[+0.8,+1.2]$和$[-8,+8]$范围内分别进行缩放和平移操作。
### 5. 网络训练
$V_{D}$是通过将原始深度图像像素投影到3D空间中生成的。随后，以手掌中心位置为中心、大小为300的立方体被用来提取手部区域的点。手部区域的3D点坐标被离散化在[^1]到[^88]的范围内。最终，为了获得$V_{D}$，体素
| Methods | 3D V Err. (mm) |
| V2S-Net (w/o $\mathcal{H}_{j}$) | 8.78 |
| V2S-Net (w/o $V'_{D}$) | 3.54 |
| V2S-Net (with $\mathcal{H}_{j} \oplus V'_{D}$) | 3.36 |
| Methods | 3D S Err. |
| V2V-ShapeNet (w/o $\mathcal{H}_{j}$) | 0.007 |
| V2V-ShapeNet (w/o $V'_{D}$) | 0.016 |
| V2V-ShapeNet (with $\mathcal{H}_{j} \oplus V'_{D}$) | 0.005 |
Table 1: Ablation study on inputs (i.e., $\mathcal{H}_j$ and $\mathrm{V}_D'$) to V2S-Net and V2V-ShapeNet. We observe that combining both inputs is useful for these two networks.
对于手部区域的3D点坐标，其值被设为1；其余情况则设为0。根据[^18]的描述，$\mathcal{H}_j$是以3D高斯分布的形式生成的。与生成$V_D$的方式类似，通过对手部网格进行体素化处理来得到$V_S$。$V_T$是通过将网格顶点在$[-1, +1]$范围内进行归一化而创建的。我们进行这种归一化操作时，先将顶点减去手掌中心坐标，再将其除以立方体尺寸的一半。
我们分别在NYU [^18]、BigHand2.2M [^28]和SynHand5M [^34]数据集上训练V2V-PoseNet [^14]，训练过程中采用了第4.2节所述的3D数据增强技术。对于SynHand5M数据集，我们分别使用RMSProp作为优化方法、批量大小为8且学习率为$LR = 2.5 \times 10^{-4}$来训练V2S-Net和V2V-ShapeNet（包括合成器S2V-SynNet和V2V-SynNet）。在训练好姿态网络和形状网络后，我们将这些网络整合到流水线中（见图2），并利用合成数据以及真实数据与合成数据混合的数据集以端到端的方式进行微调。总损失$\mathcal{L}_T$的计算方式如下：
$$ \mathcal{L}_{\mathrm{T}}=\mathcal{L}_{\mathcal{H}}+\mathbb{1}\mathcal{L}_{\mathcal{V}_{S}}+\mathbb{1}\mathcal{L}_{\mathcal{V}_{T}}+\mathcal{L}_{\mathrm{V}_{\mathrm{D}}}^{\mathrm{v}}+\mathcal{L}_{\mathrm{V}_{\mathrm{D}}}^{\mathrm{s}} $$
其中，$\mathcal{L}_{\mathcal{H}}$ 表示热图损失 [^18]，而 $\mathbb{1}$ 代表指示函数层。该层仅当数据为合成数据时，才会通过标志值（合成数据为1，真实数据为0）将估计结果传递给损失层；对于真实数据，它会阻止反向传播过程中的梯度流动。在微调阶段，我们采用批量大小为6、学习率为 $2.5 \times 10^{-5}$ 的RMSProp优化器。由于SynHand5M数据集提供了真实的几何真值，DispVoxNet仅在该数据集上进行训练。训练过程中使用了学习率为 [^11] 的Adam优化器 $3.0 \times 10^{-4}$。训练持续至 $\mathcal{L}_{\mathrm{Disp}}$ 收敛，此时批量大小为12。所有模型均在配备Nvidia Titan X GPU的台式工作站上训练至收敛。
### 6. 实验
我们对整个流程进行了定性和定量评估，包括在完全标注的SynHand5M [^14] 数据集上开展消融研究。我们进行定性评估
---
Figure 3: Qualitative results on SynHand5M [^14] dataset. Estimated hand pose overlay (1 $^{st}$ col), voxelized shape (2 $^{nd}$ col), hand surface (3 $^{rd}$ col), final shape (4 $^{th}$ col), and the overlays of hand surface and final shapes with ground truth (gray color) are illustrated.
| Methods | 3D $\mathcal{V}$ Err. (mm) |
| DeepHPS [^14] | 11.8 |
| WHSP-Net [^17] | 5.12 |
| ours (w/o synthesizers) | 2.92 |
| ours (with synthesizers) | 2.67 |
Table 2: Comparison with the state of the arts on SynHand5M [^14]. Our full method, with V2V-SynNet and S2V-SynNet synthesizers, outperforms the WHSP-Net approach [^17] by 47.85%.
在NYU [^28] 和BigHand2.2M [^34] 数据集上评估真实手部形状恢复效果。此外，我们还研究了我们的3D数据增强对V2V-PoseNet [^18] 的影响。
#### 6.1. 数据集与评估指标
尽管基于深度的手部姿态数据集有很多 [^34] [^5] [^26]，但只有少数数据集（即BigHand2.2M [^34]、NYU [^28]、SynHand5M [^14]）能提供充足的训练数据和标注，且这些标注能反映真实手部的关节位置。NYU真实基准数据集为训练集（$T_N$）和测试集分别提供了72757张和8252张RGBD图像的关节标注；其手部模型包含42个自由度，因此可将该数据集与近期出现的基准数据集（如BigHand2.2M）结合使用。BigHand2.2M是一个百万级真实基准数据集，在姿态估计方面，它为来自10名受试者的95.6万张训练集（$T_B$）深度图像提供了精确的关节标注；其手部模型包含21个关节位置，与真实手部骨骼结构相符，该数据集的测试集规模达到29.6万张。BigHand2.2M数据集未提供手掌中心的标注，因此我们通过计算掌骨关节和腕关节位置的平均值来获取手掌中心位置。SynHand5M数据集包含500万张同时标注了3D手部姿态和形状的深度图像，其训练集（$T_S$）和测试集规模分别为450万张和50万张。BigHand2.2M的关节标注与SynHand5M完全兼容。
| Components | runtime, sec |
| V2V-PoseNet | 0.011 |
| V2V-ShapeNet | 0.0015 |
| V2S-Net | 0.0038 |
| DispVoxNet (GPU + CPU) $^{{*}}$ | 0.162 |
| NRGA (CPU) | 59 - 70 |
Table 3: Runtime: (first four rows) forward-pass of deep networks on GPU. “*” shows that Laplacian smoothing runs on CPU.
我们使用三项评估指标：(i) 所有测试帧上的平均3D关节位置误差（3D $\mathcal{J}$ 误差）；(ii) 所有测试帧上的平均顶点位置误差（3D $\mathcal{V}$ 误差）；以及(iii) 所有测试数据上的平均体素化形状误差（即每个体素的二元交叉熵）（3D $\mathcal{S}$ 误差）。
#### 6.2. 手部形状估计评估
Hand5M、NYU和BigHand2.2M基准测试。
合成手形重建。我们按照第5节所述训练方法，在完全标注的SynHand5M数据集上训练整个流程。我们开展了两项消融实验以验证设计选择的有效性。第一项实验是仅使用输入$V_T$（即不使用$V_S$）和合成器来回归$V'_D$与$\mathcal{H}_j$。类似实验也分别采用$\mathcal{H}_j$（即不使用$V'_D$）和$\mathcal{I}_S$（即使用$\mathcal{I}_S \oplus V'_D$）作为独立输入，送入V2V-ShapeNet与V2S-Net中。结果汇总于表1，清晰显示出将体素化深度图与3D热图拼接起来的优势。第二项消融实验旨在观察在完整形状估计网络中以$\mathcal{I}_S$为输入时，V2V-SynNet与S2V-SynNet所产生的影响。我们分别使用及不使用各自的合成器来训练V2S-Net与V2V-ShapeNet（见图2）。定量结果以及与SynHand5M测试集上最先进方法的对比情况汇总于表2。使用合成器的我们的方法比不使用合成器的方法效果更好，与最近的WHSP-Net相比，准确率提升了47.8% [^17]。补充材料中展示了若干体素化深度图的合成样本。形状表示与姿态的定性结果如图3所示。DispVoxNet能将估计的手部表面贴合到估计的体素化手部形状上，从而将手部表面重建准确率提高了20.5%（即从3.36毫米提升至2.67毫米）。值得注意的是，我们的手部表面估计准确率高于WHSP-Net（参见表1和表2），这清楚地表明了采用基于3D CNN的网络进行网格顶点回归的有效性。
真实手形重建。为了估计合理的真实手形表示，合成器是必不可少的（见图2）。对于NYU手部表面与体素化形状而言……
---
(a) Voxelized shape
(b) Shape surface
(c) Ours (final shape)
(d) DeepHPS [^14]
(e) WHSP-Net [^17]
Figure 4: Shape reconstruction of NYU [^28] dataset: (a), (b) and (c) show the 2D overlays and 3D visualizations of estimated voxelized hand shape, shape surface, and the final shape after registration, respectively. (d) and (e) show the corresponding results of hand shapes from DeepHPS [^14] and WHSP-Net [^17] methods. Our approach produces visually more accurate hand shapes than the existing approaches.
(a)
(b)
(c)
(d)
(e)
Figure 5: Shape reconstruction of BigHand2.2M [^34] dataset: (a) the 2D pose overlay; (b), (c) recovered voxelized shape and shape surface, respectively; (d) the overlays of shape surface and registered shape; (e) the final hand shape.
为了恢复真实手形，我们选取两个数据集中共有的22个位置相近的关节点，将NYU与SynHand5M的训练集合并（即$\mathbf{T}_{\mathrm{NS}} = \mathcal{T}_{\mathrm{N}} + \mathcal{T}_{\mathrm{S}}$）。不过需注意，这两个数据集中的共同关节位置仍不完全一致。V2S-Net与V2V-ShapeNet能够恢复出合理的手形表示，而基于NRGA的方法则能实现成功的配准（如图4(a)、(b)和(c)所示）。观察发现，体素化形状的估计精度高于手部表面，进而通过对齐进一步细化了手部表面。采用类似的训练策略，我们将BigHand2.2M与SynHand5M数据集合并并打乱顺序（即$\mathbf{T}_{\mathrm{BS}} = \mathcal{T}_{\mathrm{B}} + \mathcal{T}_{\mathrm{S}}$）。BigHand2.2M的估计手形表示样本如图5所示。
(a) Depth (b) 3D Pose
(c) DispVoxNet [^25]
(d) NRGA [^1]
Figure 6: Failure case: our method is unable to produce plausible shapes in cases of severe occlusion and missing depth information.
| Methods | 3D $\mathcal{J}$ Err. (mm) |
| DeepHPS [^14] | 6.30 |
| WHSP-Net [^17] | 4.32 |
| V2V-PoseNet [^18] | 3.81 |
| our HandVoxNet (full method) | 3.75 |
Table 4: 3D hand pose estimation results on SynHand5M [^14] dataset. We compare the accuracy of our full method (i.e., Hand-VoxNet) with state-of-the-art methods.
我们对NYU数据集上的重建手形与最先进方法进行了定性比较。为了更清晰地展示形状重建精度，我们将手部网格叠加在对应的深度图像上（如图4-(d)和(e)所示）。基于模型的DeepHPS [^14]会出现伪影，基于回归的WHSP-Net方法 [^17]会产生透视畸变且形状尺寸不正确。相比之下，HandVoxNet恢复出的手形在视觉上更为合理（图4-(c)）。表3列出了我们流程中各组件的运行时间。失败案例：当手部部分严重遮挡或深度图中信息缺失时，我们的方法无法估计出合理的手形（见图6）。
---
| Dataset | Method | 3D $\mathcal{J}$ Err. (mm) |
| NYU | V2V-PoseNet [^18] | 9.22 |
| V2V-PoseNet (our 3D augm.) | 8.72 |
| BigHand2.2M | V2V-PoseNet [^18] | 9.95 |
| V2V-PoseNet (our 3D augm.) | 9.27 |
Table 5: 3D hand pose estimation results on NYU [^28] and BigHand2.2M [^34] datasets using our 3D data augmentation.
深度图中缺失的信息（见图6）。
Figure 7: Samples of NYU [^28] depth images with 2D overlay of the estimated 3D hand pose. Our method produces more accurate results compared to WHSP-Net [^17] and DeepHPS [^14] methods.
#### 6.3. 手部姿态估计评估
在我们的方法中，手部形状估计的准确性取决于3D姿态估计的准确性（详见第4节）。因此，手部姿态估计必须既稳健又精确。为此，我们对体素化深度图进行了新的3D数据增强处理，从而进一步提升了在真实数据集上的3D手部姿态估计准确性。值得注意的是，我们的重点是开发一种用于同步估计手部姿态和形状的有效方法。不过为了完整性，我们展示了在SynHand5M、NYU以及BigHand2.2M数据集上进行的手部姿态估计结果与对比情况。
SynHand5M数据集：由于该数据集本身包含较大的视角变化，我们并未对SynHand5M的训练数据进行增强处理[^14]。我们在SynHand5M数据集上训练我们的完整模型以及V2V-PoseNet[^18]。测试集上的定量结果如表___所示。
第4节中我们发现，从形状回归流程反向传播的信息确实有效，能够提升3D姿态估计的准确性。与WHSP-Net方法相比，我们的准确性提高了13.19%[^17]。
NYU和BigHand2.2M数据集：V2V-PoseNet[^18]是一种强大的姿态估计方法，它利用了手部姿态和深度图的3D数据表示形式。得益于我们的3D数据增强策略（详见第4.2节），我们提升了
Figure 8: We study the impact of our 3D data augmentation on the pose estimation accuracy of V2V-PoseNet [^18] on NYU [^28] dataset. The graph shows mean errors for individual hand joints.
与原始的V2V-PoseNet模型相比，在NYU和BigHand2.2M数据集上，我们的准确性分别提高了5.42%和6.83%（见表5）。图8展示了各个手部关节的平均误差。我们发现指尖部位的估计准确性有显著提升。图7则展示了定性结果以及与现有最先进手部姿态估计方法的对比情况。
### 7. 结论与未来工作
我们开发了首个基于体素的从单张深度图恢复3D手部形状和姿态的流程，该流程利用3D卷积建立了手部姿态与形状估计之间的有效关联。这种关联能够提升两种估计的准确性，这一点已通过实验得到验证。我们以3D体素化深度图和精确估计的关节3D热图作为输入，来重建两种手部形状表示，即3D体素化形状和3D形状表面。为了结合这两种形状表示的优势，我们采用了配准方法，即DisVoxNet和NRGA，它们能够将形状表面精确地贴合到体素化形状上。
实验评估进一步表明，我们在体素网格上采用的3D数据增强策略能够提升真实数据上的3D手部姿态估计准确性。与以往的方法相比，Hand-VoxNet生成的真实图像中的手部形状在视觉上更为准确。所有这些结果都表明，体素化深度图、体素化形状以及关节3D热图之间的一一对应关系，对于实现准确的手部形状和姿态恢复至关重要。
在未来的工作中，生成逼真的合成数据集可以进一步优化从真实图像中重建手部形状的效果。通过在GPU上并行化处理，也可以提升所用配准方法的运行时间。
致谢：本研究得到了德国联邦教育和研究部的资助，属于VIDETE项目（资助编号01IW18002）以及ERC Consolidator Grant 770784的一部分。
---
## 参考文献
[^1]: Sk Aziz Ali, Vladislav Golyanik, and Didier Stricker. Nrga: Gravitational approach for non-rigid point set registration. In International Conference on 3D Vision (3DV), 2018. 3, 5, 7
[^2]: Brian Amberg, Sami Romdhani, and Thomas Vetter. Optimal step nonrigid icp algorithms for surface registration. In Computer Vision and Pattern Recognition (CVPR), 2007. 5
[^3]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In International Conference on Computer Vision (ICCV), 2019. 2
[^4]: Yujin Chen, Zhigang Tu, Liuhao Ge, Dejun Zhang, Ruizhi Chen, and Junsong Yuan. So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning. In International Conference on Computer Vision (ICCV), 2019. 2
[^5]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Computer Vision and Pattern Recognition (CVPR), 2018. 6
[^6]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Computer Vision and Pattern Recognition (CVPR), 2017. 2
[^7]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Computer Vision and Pattern Recognition (CVPR), 2019. 1,2
[^8]: Liuhao Ge, Zhou Ren, and Junsong Yuan. Point-to-point regression pointnet for 3d hand pose estimation. In European Conference on Computer Vision (ECCV), 2018. 2
[^9]: Vladislav Golyanik, Soshi Shimada, Kiran Varanasi, and Didier Stricker. Hdm-net: Monocular non-rigid 3d reconstruction with learned deformation model. In International Conference on Virtual Reality and Augmented Reality (EuroVR), 2018. 4
[^10]: Hengkai Guo, Guijin Wang, Xinghao Chen, Cairong Zhang, Fei Qiao, and Huazhong Yang. Region ensemble network: Improving convolutional network for hand pose estimation. In International Conference on Image Processing (ICIP), 2017. 2
[^11]: Diederick P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015. 5
[^12]: Jameel Malik, Ahmed Elhayek, Sheraz Ahmed, Faisal Shafait, Muhammad Malik, and Didier Stricker. 3dairsig: A framework for enabling in-air signatures using a multi-modal depth sensor. Sensors, 18(11):3872, 2018. 2
[^13]: Jameel Malik, Ahmed Elhayek, Fabrizio Nunnari, and Didier Stricker. Simple and effective deep hand shape and pose regression from a single depth image. Computers & Graphics, 85:85–91, 2019. 1
[^14]: Jameel Malik, Ahmed Elhayek, Fabrizio Nunnari, Kiran Varanasi, Kiarash Tamaddon, Alexis Heloir, and Didier Stricker. Deephps: End-to-end estimation of 3d hand pose
通过从合成深度数据中学习来塑造形状。发表于2018年国际3D视觉会议（3DV）。1,2,5,6,7,8
[^15]: Jameel Malik, Ahmed Elhayek, and Didier Stricker. Simultaneous hand pose and skeleton bone-lengths estimation from a single depth image. In International Conference on 3D Vision (3DV), 2017. 2
[^16]: Jameel Malik, Ahmed Elhayek, and Didier Stricker. Structure-aware 3d hand pose regression from a single depth image. In International Conference on Virtual Reality and Augmented Reality (EuroVR), 2018. 2
[^17]: Jameel Malik, Ahmed Elhayek, and Didier Stricker. Whspnet: A weakly-supervised approach for 3d hand shape and pose recovery from a single depth image. Sensors, 19(17):3784, 2019. 1, 2, 4, 6, 7, 8
[^18]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Computer Vision and Pattern Recognition (CVPR), 2018. 1, 2, 4, 5, 6, 7, 8
[^19]: Markus Oberweger and Vincent Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In International Conference on Computer Vision Workshops (ICCVW), 2017. 2, 5
[^20]: Chavdar Papazov and Darius Burschka. Deformable 3d shape registration based on local similarity transforms. Computer Graphics Forum, pages 1493–1502, 2011. 5
[^21]: Georg Poier, Michael Opitz, David Schinagl, and Horst Bischof. Murauer: Mapping unlabeled real data for label austerity. In Winter Conference on Applications of Computer Vision (WACV), 2019. 2
[^22]: Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Feature mapping for learning fast and accurate 3d pose inference from synthetic images. In Computer Vision and Pattern Recognition (CVPR), 2018. 1,2
[^23]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), 36(6):245, 2017. 1,2
[^24]: Soshi Shimada, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. Ismo-gan: Adversarial learning for monocular non-rigid 3d reconstruction. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2019. 4
[^25]: Soshi Shimada, Vladislav Golyanik, Edgar Tretschk, Didier Stricker, and Christian Theobalt. Dispvoxnets: Non-rigid point set alignment with supervised learning proxies. In International Conference on 3D Vision (3DV), 2019. 3, 4, 7
[^26]: James S Supancic, Grégory Rogez, Yi Yang, Jamie Shotton, and Deva Ramanan. Depth-based hand pose estimation: data, methods, and challenges. In International Conference on Computer Vision (ICCV), 2015. 6
[^27]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Toby Sharp, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, et al. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Transactions on Graphics (TOG), 35(4):143, 2016. 1
## [^28]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands
---
利用卷积网络实现。发表于《ACM图形学汇刊》（TOG），第33卷第5期：169页，2014年。2, 5, 6, 7, 8
[^29]: Jörg Vollmer, Robert Mencl, and Heinrich Mueller. Improved laplacian smoothing of noisy surface meshes. In Computer Graphics Forum, pages 131–138, 1999. 4
[^30]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dense 3d regression for hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^31]: Jiajun Wu, Chengkai Zhang, Tianfan Xue, Bill Freeman, and Josh Tenenbaum. Learning a probabilistic latent space of object shapes via 3d generative-adversarial modeling. In Neural Information Processing Systems (NeurIPS), 2016. 4
[^32]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In International Conference on Computer Vision (ICCV), 2019. 1, 2
[^33]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In Computer Vision and Pattern Recognition (CVPR), 2018. 1
[^34]: Shanxin Yuan, Qi Ye, Björn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In Computer Vision and Pattern Recognition (CVPR), 2017. 5, 6, 7, 8
[^35]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In International Conference on Computer Vision (ICCV), 2019. 1,2