# V2V-PoseNet：基于体素到体素预测网络的单深度图高精度3D手部及人体姿态估计方法 文硕·穆恩 首尔大学ASRI实验室 张柱勇 光云大学 李京模 首尔大学ASRI实验室 ## 摘要 目前大多数基于深度学习的单深度图3D手部及人体姿态估计方法都采用相同的框架：利用2D卷积神经网络（CNN）直接根据2D深度图回归关键点（如手部或人体关节）的3D坐标。这种方法的第一个缺陷在于2D深度图中存在透视畸变。虽然深度图本质上是3D数据，但以往许多方法将其视为2D图像，这会导致从3D空间投影到2D空间时实际物体的形状发生扭曲，进而迫使网络进行不受透视畸变影响的估计。传统方法的第二个缺陷是：从2D图像直接回归3D坐标属于高度非线性的映射过程，会给学习过程带来困难。为克服这些缺陷，我们首次将单深度图的3D手部及人体姿态估计问题转化为体素到体素的预测任务：利用3D体素化网格来估计每个关键点在对应体素中的出现概率。我们将模型设计为3D CNN结构，既能在实时运行的同时提供精确的估计结果。我们的系统在几乎所有公开可用的3D手部及人体姿态估计数据集上的表现都优于以往的方法，并在HANDS 2017基于帧的3D手部姿态估计挑战赛中荣获第一名。相关代码可在$^{1}$中获取。 ### 1. 引言 精准的3D手部及人体姿态估计是活动识别领域的重要需求，可应用于人机交互、增强现实等诸多场景[^33]。计算机视觉领域对此的研究已有数十年历史，随着低成本深度相机的问世，该方向再次受到学界的高度关注。 最近，基于 ![Image](images/55d5d816a5caad2f739f1166995e3a2468a952bdea9c38b2bdce5269f40abb89.jpg)
Figure 1: Visualization of perspective distortion in 2D depth image. The 3D point cloud has one-to-one relation with a 3D pose, but the 2D depth image has many-to-one relation because of perspective distortion. Thus, the network is compelled to perform perspective distortion-invariant estimation. The 2D depth maps are generated by translating the 3D point cloud by $\Delta X = -300$, 0, 300 mm (from left to right) and $\Delta Y = -300$, 0, 300 mm (from bottom to top). In all cases, $\Delta Z$ is set to 0 mm. Similar values to the real human hand size and camera projection parameters in the MSRA dataset were used for our visualization.
卷积神经网络（CNNs）的强大判别方法在包括从单张深度图进行3D手部与人体姿态估计在内的各种计算机视觉任务中正超越现有方法 [^2] [^10] [^13] [^15] [^28]。尽管这些方法在3D手部与人体姿态估计方面取得了显著进展，但由于严重的自遮挡、目标物体高度关节化的形状以及深度图像质量较低，它们仍存在估计不准确的问题。分析以往基于深度学习的从单张深度图像进行3D手部与人体姿态估计的方法，这些 --- 方法[1, 2, 6, 13–15, 23, 28–30, 46]都基于一种通用框架，该框架以二维深度图像为输入，直接回归关键点（如手部或人体关节）的三维坐标。然而，我们认为这种方法存在两个严重缺陷。第一个缺陷是二维深度图像中的透视畸变问题。由于二维深度图的像素值代表物体点距深度摄像机的物理距离，因此深度图本质上是三维数据。但以往的大多数方法仅将深度图视为二维图像形式，这会导致物体在三维空间中的形状在投影到二维图像空间时发生畸变。因此，网络看到的是畸变的物体，不得不执行抗畸变估计。我们在图1中可视化了二维深度图像的透视畸变情况。第二个缺陷是深度图与三维坐标之间的高度非线性映射关系。这种高度非线性的映射会阻碍学习过程，使网络无法精确估计关键点的坐标，正如[^45]中所论述的那样。这种高非线性源于每个关键点仅需从输入中回归一个三维坐标这一事实。 为了应对这些局限性，我们提出了用于姿态估计的体素到体素预测网络（V2V-PoseNet）。与以往大多数方法不同，V2V-PoseNet以体素化网格为输入，并像图2所示那样估计每个关键点对应的每个体素的概率。 通过将二维深度图像转换为三维体素化形式作为输入，我们的网络能够在不出现透视畸变的情况下看到物体的真实外观。此外，估计每个关键点对应的每个体素的概率，能使网络比直接从输入估计三维坐标的高度非线性映射更容易完成所需任务。我们开展了全面的实验，以证明所提出的输入和输出的体素化表示在基于单张深度图进行三维手部及人体姿态估计中的实用性。我们对比了四种输入（即二维深度图和体素化网格）与输出（即三维坐标和每个体素的概率）组合的性能。 实验结果表明，所提出的体素到体素预测方法使我们的算法在几乎所有公开数据集上均能达到最先进的性能（即三个三维手部[^38]、[^40]、[^44]数据集以及一个三维人体[^15]姿态估计数据集），同时还能实时运行。我们还在HANDS 2017基于帧的三维手部姿态估计挑战赛中荣获第一名[^54]。我们希望所提出的系统能成为基于单张深度图进行三维手部及人体姿态估计领域的一个里程碑。现在，我们将“三维姿态估计”这一术语定义为在三维空间中定位手部或人体关键点。 我们的贡献可总结如下。 - 我们首次将基于单张深度图的三维姿态估计问题转化为体素到体素的预测问题。与以往大多数直接从二维深度图像回归三维坐标的方法不同，我们提出的V2V-PoseNet是从体素化网格输入中估计每个体素的概率。 - 我们通过对比每种输入类型（即二维深度图和体素化网格）与输出类型（即三维坐标和每个体素的概率）的性能，实证验证了体素化输入输出表示的实用性。 我们使用了几乎所有的现有3D姿态估计数据集进行了大量实验，其中包括三个3D手部姿态估计数据集和一个3D人体姿态估计数据集。实验结果表明，所提出的方法相比现有最先进的方法能够产生显著更精确的结果。该方法还在HANDS 2017基于帧的3D手部姿态估计挑战赛中荣获第一名。 ### 2. 相关工作 基于深度的3D手部姿态估计。手部姿态估计方法可分为生成式、判别式和混合式三类。生成式方法会预先定义一个手部模型，并通过最小化手工设计的代价函数将其拟合到输入的深度图像上 [^34] [^41]。粒子群优化（PSO）[^34]、迭代最近点算法（ICP）[^39]以及它们的组合 [^32] 是常用的用于获取最优手部姿态结果的算法。 判别式方法则直接从输入的深度图中定位手部关节。基于随机森林的方法[20,22,38,40–42,47]能够提供快速且准确的结果。不过它们依赖手工设计的特征，而近年来基于CNN的方法[1–3,5,6,9,10,13,14,23,28,29,36,44,49,50]能够自行学习有用的特征，因此表现更为出色。Tompson等人 [^44] 首次利用CNN通过为每个手部关节估算2D热图来定位手部关键点。Ge等人 [^9] 通过采用多视角CNN估算每个视角的2D热图，对该方法进行了扩展。Ge等人 [^10] 将2D输入深度图转换为3D形式，并通过3D CNN直接估算3D坐标。Guo等人 [^13] [^14] 提出了一种区域集成网络来精准估算手部关键点的3D坐标，Chen等人 [^2] 通过迭代优化估算出的姿态进一步改进了该网络。Oberweger等人 [^28] 采用了最新的网络架构、数据增强技术以及更好的初始定位方式，对其先前的工作 [^29] 进行了改进。 混合式方法旨在结合生成式和判别式方法的优势。Oberweger等人 [^30] 通过反馈循环训练判别式和生成式CNN。Zhou等人 [^57] 预先定义手部模型，估算模型的参数而非直接回归3D坐标。 --- ![Image](images/1264e479e958935f1683e1ba04fe49c48e78b7a0be1ae52f389023071ffef8f6.jpg)
Figure 2: Various combinations of inputs and outputs for 3D pose estimation from a single depth image. Most of the previous works take a 2D depth image as input and estimate the 3D coordinates of keypoints as in (a). In contrast, the proposed system takes a 3D voxelized grid and estimates the per-voxel likelihood of each keypoint as in (d). Note that (b) and (d) are solely composed of the convolutional layers that become the fully convolutional architecture.
Ye等人 [^52] 采用了空间注意力机制和分层PSO。Wan等人 [^46] 使用了两个共享潜空间的深度生成模型，并训练判别器来估算潜姿的后验分布。 基于深度的3D人体姿态估计。基于深度的3D人体姿态估计方法同样依赖于生成模型和判别模型。生成模型通过寻找预定义的人体模型与输入3D点云之间的对应关系来估计姿态。ICP算法常用于3D人体跟踪 [^7] [^12] [^17] [^21]。另一种方法如基于高斯混合模型的模板匹配 [^51] 也已被提出。相比之下，判别模型不需要人体模板，它们直接估计关节位置。传统的判别方法大多基于随机森林。Shotton等人 [^35] 将每个像素归类为某一身体部位，而Girchick等 [^11] 和Jung等 [^19] 则直接回归关节坐标。Jung等人 [^56] 采用了随机树遍历算法（RTW），显著缩短了运行时间。最近，Haque等人 [^15] 提出了利用CNN和多轮循环神经网络的视角不变姿态估计方法。他们的模型能够学习视角不变特征，从而使模型对视角变化具有鲁棒性。 利用深度信息的体素表示。Wu等人 [^48] 引入了深度图像的体素表示方法，在3D形状分类与检索任务中超越了现有的基于手工设计描述符的方法。他们将每个体素表示为一个二元随机变量，并利用卷积深度信念网络来学习每个体素的概率分布。近期的一些研究 [^25] [^37] 也将3D输入数据表示为体素形式，用于3D物体分类与检测。我们的工作沿用了 [^25] 中的策略，提出了多种体素表示方法（即占据网格模型），以充分利用丰富的3D信息并高效处理大量点云数据。他们提出的CNN架构和占据网格性能优于Wu等人 [^48] 的方法。 3D姿态估计中的输入与输出表示。目前大多数从单张深度图进行3D姿态估计的方法 [1,2,6,13–15,23,28–30,46] 都基于图2(a)所示的模型，该模型接收2D深度图像并直接回归3D坐标。最近，Ge等人 [^10] 和Deng等人 [^5] 将2D深度图像转换为基于截断有符号距离函数的3D体素形式，并直接回归3D坐标，如图2(c)所示。在基于RGB图像的3D人体姿态估计中，Pavlakos等人 [^31] 通过2D CNN估算每个体素中各个人体关键点的概率，如图2(b)所示。为了从RGB图像中估算体素级概率，他们将离散化的深度值视为特征图的通道，从而为每个深度值设置不同的卷积核。与上述所有方法不同，我们提出的系统通过3D全卷积网络从体素化输入中估算每个关键点的体素级概率，如图2(d)所示。据我们所知，我们的网络是首个利用3D CNN从体素化输入生成体素化输出以实现3D姿态估计的模型。 ### 3. 所提模型概述 我们模型的目标是估算所有关键点的3D坐标。首先，我们通过重新投影3D空间中的点并对连续空间进行离散化，将2D深度图像转换为3D体素形式。在对体素化处理后 --- ![Image](images/4141309f5e36bf60d2fe3aecc5647ad30725ee4212f24eb3976c2891dbb0835a.jpg)
Figure 3: Overall architecture of the V2V-PoseNet. V2V-PoseNet takes voxelized input and estimates the per-voxel likelihood for each keypoint through encoder and decoder. To simplify the figure, we plotted each feature map without Z-axis and combined the 3D heatmaps of all keypoints in a single volume. Each color in the 3D heatmap indicates keypoints in the same finger.
![Image](images/1e910647c8b8caacd845926cf11fd752bfe0e2930b9cfe5903f876d3a8371d98.jpg)
Figure 4: Reference point refining network. This network takes cropped depth image and outputs the 3D offset from the current reference point to the center of ground-truth joint locations.
在二维深度图像中，V2V-PoseNet将三维体素化数据作为输入，并估算每个关键点对应的体素概率。随后确定每个关键点概率最高的位置，并将其映射到真实世界坐标系中，该结果即为模型的最终输出。图3展示了所提出的V2V-PoseNet的整体架构。接下来的章节中，我们将详细介绍目标物体定位优化策略、所提模型V2V-PoseNet的输入生成过程，以及该方法的一些相关问题。 ### 4. 优化目标物体定位 要实现关键点（如手部或人体关节）的定位，首先需要在三维空间中确定包含手部或人体的立方体盒。这个立方体盒通常围绕参考点放置，该参考点可通过真实关节位置[^29] [^30] [^57]获取，或者通过对手部区域进行简单深度阈值处理后得到质心[^2] [^13] [^14]。然而，在实际应用中无法使用真实关节位置；而且一般来说，通过简单深度阈值处理得到的质心并不能保证物体能被正确包含在生成的立方体盒内，这是因为复杂场景中的质心计算存在误差。例如，如果目标物体附近有其他物体，简单的深度阈值处理方法无法有效过滤掉这些干扰物，因为它对所有输入数据采用相同的阈值。因此计算出的质心会出现偏差，最终导致生成的立方体盒仅包含目标物体的一部分。为克服这些局限，我们参照Oberweger等人的方法[^28]训练了一个简单的二维CNN，以获得精确的参考点，如图4所示。该网络以深度图像为输入——其参考点是通过对手部区域进行简单深度阈值处理得到的——并输出从计算出的参考点到真实关节中心的三维偏移量。将网络的输出偏移值加到计算出的参考点上，即可得到优化后的参考点。 ### 5. 生成所提系统的输入 为创建所提系统的输入，需将二维深度图转换为体素化形式。对二维深度图进行体素化处理时，我们首先将深度图的每个像素重新投影到三维空间。投影完所有深度像素后，根据预定义的体素大小对三维空间进行离散化。接着，按照第4节中得到的参考点绘制立方体盒，从而提取出目标物体。如果某个体素被深度点占据，则将该网络输入的体素值$V(i, j, k)$设为1，否则设为0。 ### 6. V2V-PoseNet #### 6.1. 构建模块设计 设计V2V-PoseNet时我们使用了四种构建模块。第一种是体积基本模块，它由体积卷积、体积批量归一化[^18]以及激活函数（即ReLU）组成。该模块位于网络的首尾部分。第二种是从[^16]中选项B的二维残差模块扩展而来的体积残差模块。第三种是体积下采样模块，它等同于…… --- ![Image](images/9d3a278de1069f87957ae8acf90e7ad1bfb793e81ac4825fce24b6355faddd5a.jpg)
Figure 5: Encoder of the V2V-PoseNet. The numbers below each block indicate the spatial size and number of channels of each feature map. We plotted each feature map without Z-axis to simplify the figure.
它相当于一个体积最大池化层。最后一个是体积上采样模块，由一个体积反卷积层、体积批量归一化层和激活函数（即ReLU）组成。在反卷积层中加入批量归一化层和激活函数有助于简化学习过程。残差块的核大小为$3 \times 3 \times 3$，下采样和上采样层的核大小为$2 \times 2 \times 2$，步长为2。 #### 6.2. 网络设计 V2V-PoseNet执行体素到体素的预测。因此，它基于将Z轴视为额外空间轴的3D CNN架构，此时核形状为$w \times h \times d$。我们的网络架构基于沙漏模型[^27]，为了获得更精确的估计结果，对其进行了轻微修改。如图3所示，网络从$7 \times 7 \times 7$体积基本块和体积下采样块开始。对特征图进行下采样后，三个连续的残差块会提取有用的局部特征。残差块的输出会分别经过图5和图6中描述的编码器和解码器。 在编码器中，体积下采样块会减小特征图的空间尺寸，而体积残差块则会增加通道数。我们的实验证实，这种通道数的增加确实有助于提升性能。另一方面，在解码器中，体积上采样块会扩大特征图的空间尺寸。上采样时，网络会减少通道数以压缩提取的特征。解码器中体积尺寸的扩大有助于网络更精确地定位关键点，因为它减小了特征图中体素之间的步长。编码器和解码器通过逐体素相加的方式相连，以便解码器能够更稳定地上采样特征图。 ![Image](images/027eefc6b1213524d2bd171367ebc498275154732d7e555753afa9ead3b8ed1d.jpg)
Figure 6: Decoder of the V2V-PoseNet. The numbers below each block indicate the spatial size and number of channels of each feature map. We plotted feature map without Z-axis to simplify the figure.
通过这种方式，解码器能够更稳定地上采样特征图。输入数据经过编码器和解码器处理后，网络会通过两个$1 \times 1 \times 1$体积基本块和一个$1 \times 1 \times 1$体积卷积层，来预测每个关键点对应的体素概率。 #### 6.3. 网络训练 为了监督每个关键点的体素概率，我们生成3D热图，其中高斯峰的均值位于真实关节位置，具体形式如下： $$ H_{\mathrm{n}}^{*}(i,j,k)=\exp\left(-\frac{(i-i_{\mathrm{n}})^{2}+(j-j_{\mathrm{n}})^{2}+(k-k_{\mathrm{n}})^{2}}{2\sigma^{2}}\right) $$ 其中$H_{n}^{*}$是第n个关键点的真实3D热图，$(i_{n}, j_{n}, k_{n})$是第n个关键点的真实体素坐标，$\sigma = 1.7$是高斯峰的标准差。 此外，我们采用均方误差作为损失函数L，形式如下： $$ {\cal L}=\sum_{n=1}^{N}\sum_{i,j,k}\|H_{\mathrm{n}}^{*}(i,j,k)-H_{\mathrm{n}}(i,j,k)\|^{2}, $$ 其中$H_{n}^{*}$和$H_{n}$分别是第n个关键点的真实热图和预测热图，N表示关键点的数量。 ### 7. 实现细节 所提出的V2V-PoseNet采用端到端方式从头开始训练。所有权重均初始化为均值为零的高斯分布，标准差为$\sigma = 0.001$。梯度向量由损失函数计算得出，权重则通过RMSProp算法[^43]进行更新，迷你批处理大小设为8。学习率被设定为$2.5 \times 10^{-4}$。输入数据的尺寸为 --- 所提系统的输入为$88 \times 88 \times 88$。我们采用的数据增强方法包括旋转（XY平面内[-40, 40]度）、缩放（3D空间内[0.8, 1.2]）和平移（3D空间内[-8, 8]体素）。我们的模型基于Torch7实现[^4]，训练与测试过程均使用NVIDIA Titan X GPU。模型共训练了10个周期。 ### 8. 实验 #### 8.1. 数据集 ICVL手部姿态数据集。ICVL数据集[^40]包含33万张训练用深度图像和1600张测试用深度图像。这些图像由10名不同的受试者通过Intel Creative Interactive Gesture Camera采集[^26]。手部姿态标注包含16个关节，即每个手指3个关节，手掌1个关节。 NYU手部姿态数据集。NYU数据集[^44]包含7.2万张训练用深度图像和8200张测试用深度图像。训练集来自受试者A，测试集则由受试者A和B提供，通过三台不同视角下的Kinect相机采集。手部姿态标注包含36个关节。以往的大多数研究仅使用正面视角的图像，且在评估中仅采用36个关节中的14个，我们也遵循这一做法。 MSRA手部姿态数据集。MSRA数据集[^38]包含9名受试者的数据，每名受试者有17种手势。Intel Creative Interactive Gesture Camera[^26]共采集了7.6万张带有21个标注关节的深度图像。评估时采用留一受试者外交叉验证策略。 HANDS 2017基于帧的3D手部姿态估计挑战赛数据集。HANDS 2017基于帧的3D手部姿态估计挑战赛数据集[^54]包含95.7万张训练用深度图像和29.5万张测试用深度图像，这些图像取自BigHand2.2M[^55]和First-Person Hand Action[^8]数据集。训练集包含5名受试者，测试阶段则涉及10名受试者，其中包括5名未见过的受试者。该数据集的 Ground Truth为21个手部关节的3D坐标。 ITOP人体姿态数据集。ITOP数据集[^15]包含4万张训练用深度图像和1万张测试用深度图像，分别用于正面视图和俯视图任务。该数据集包含20名演员拍摄的15个序列的深度图像，由两台Asus Xtion Pro相机采集。该数据集的Ground Truth为15个身体关节的3D坐标。 #### 8.2. 评估指标 对于3D手部姿态估计，我们采用了3D距离误差和成功帧百分比指标，相关依据见[^38] [^40]。对于3D人体姿态估计，我们采用了平均精度均值（mAP）作为评价指标，该指标根据10厘米规则定义所有人体关节的检测比例，相关依据见[^15] [^56]。
Input \Output3D CoordinatesPer-voxel likelihood
2D depth map18.85 (21.1 M)13.01 (4.6 M)
3D voxelized grid16.78 (457.5 M)10.37 (3.4 M)
Table 1: Average 3D distance error (mm) and number of parameter comparison of the input and output types in the NYU dataset. The number in the parenthesis denotes the number of parameters. The visualized model for each input and output type is shown in Figure 2.
MethodsAverage 3D distance error
Baseline11.14 mm
+ Localization refinement9.22 mm
+ Epoch ensemble8.42 mm
Table 2: Effect of localization refinement and epoch ensemble. The average 3D distance error is calculated in the NYU dataset.
#### 8.3. 消融研究 我们选择NYU手部姿态数据集[^44]来分析模型的各个组成部分，因为该数据集具有挑战性且尚未达到饱和状态。 三维表示与体素级概率估计。为了验证输入的三维表示及体素级概率估计的有效性，我们在表1中对比了四种不同输入输出形式的性能表现。如表所示，无论输出表示形式如何，将输入表示类型从二维深度图转换为三维体素化形式（同时将模型从二维CNN转换为三维CNN）都能显著提升性能。这证明了所提出的无透视畸变的三维输入表示的有效性。结果还表明，无论输入类型如何，将输出表示从三维坐标转换为体素级概率都能显著提高性能。在这四种组合中，体素到体素的预测方式即便在参数数量最少的情况下也能取得最佳性能。因此，与其他输入输出组合相比，体素到体素预测方案的优越性得到了明确证实。 为了公平比较这四种组合，我们采用了第6节中介绍的相同网络构建模块与设计。唯一的区别在于：用于体素级概率估计的模型是全卷积结构，而用于坐标回归的模型则在网络末端使用了全连接层。简单地将体素到体素的预测方式转换为像素到体素时，参数数量会减少，因为模型从三维CNN变为了二维CNN。为了弥补这一变化带来的影响，我们将像素到体素模型中各特征图的通道数加倍。若通道数不加倍，性能便会下降。对于全部四种模型而言， --- ![Image](images/dc6e4e727e6cf94fbe8a05b7d75a79ba0f7989fbfa07c09e44326284c693e06f.jpg) ![Image](images/2fe4f65f2b6ee7d72a1ba9cb6d9da97f90f07fa538358322de4b037a22c9822a.jpg) ![Image](images/1134490db7ba2f10ae7649438f46a1d96f9e6fe60a14934312aa19c9ea35eb22.jpg) ![Image](images/b65ffa4c729a5d5d19136dc00a688365f7c4782ccac2109cf02338cb2e5d3339.jpg) ![Image](images/11582bb5f8073bf7260dbb281fc06e81a5c86e4dc82b2dd1f904764612ea7cc3.jpg) ![Image](images/fbf90daef33c88e31e65c88540a5e8e8fe1a89acf95a315c8c0858cf4709f275.jpg)
Figure 7: Comparison of the proposed method (V2V-PoseNet) with state-of-the-art methods. Top row: the percentage of success frames over different error thresholds. Bottom row: 3D distance errors per hand keypoints. Left: ICVL dataset, middle: NYU dataset, right: MSRA dataset.
![Image](images/4c92032cf92194eb4f713e082afd5e5b10245b914da14d5a0878df085f8ce0c2.jpg) ![Image](images/35f4ebddfeefef597277388da672a9122f348cbbd4858fb3153c6963ce07bd42.jpg)
Figure 8: Comparison of average 3D distance error over different yaw (left) and pitch (right) angles on the MSRA dataset.
我们采用$48 \times 48$深度图或$48 \times 48 \times 48$体素化网格作为输入，因为在进行体素到坐标的转换时，原始尺寸（$88 \times 88 \times 88$）无法适配GPU内存。 目标物体定位的精细化处理。为了证明第4节中定位精细化步骤的重要性，我们对比了包含与不包含该步骤时的性能表现。如表2所示，经过细化的参考点显著提升了模型的准确性，这表明参考点细化过程对模型性能有着至关重要的影响。 epoch集成。为了获得更精确、更稳健的估计结果，我们采用了一种简单的集成技术，称之为epoch集成。Epoch集成会对多个训练轮次得到的估计结果取平均值。具体而言，我们在训练阶段保存每个轮次训练好的模型，测试阶段则对所有训练模型输出的三维坐标估计值取平均。由于我们的模型训练了10个轮次，因此使用10个模型来得到最终估计结果。当各个模型运行在不同的GPU上时，Epoch集成不会增加运行时间；但在单GPU环境下，Epoch集成会使运行时间呈线性增长。Epoch集成的效果如表2所示。 #### 8.4. 与现有先进方法的对比 我们将V2V-PoseNet在三个3D手部姿态估计数据集（ICVL [^40]、NYU [^44]和MSRA [^38]）上的性能与大多数最先进的方法进行了比较，这些方法包括潜随机森林（LRF）[^40]、级联手部姿态回归（Cascade）[^38]、带精修的DeepPrior（DeepPrior）[^29]、反馈循环训练方法（Feedback）[^30]、基于手部模型的方法（DeepModel）[^57]、分层采样优化（HSO）[^41]、局部表面法线（LSN）[^47]、多视角CNN（MultiView）[^9]、DISCO [^1]、Hand3D [^5]、DeepHand [^36]、基于lie-x群的方法（Lie-X）[^49]、改进版DeepPrior（DeepPrior++）[^28]、区域集成网络（REN-4×6×6 [^14]、REN-9×6×6 [^13]）、CrossingNets [^46]、姿态引导的REN（Pose-REN）[^2]、全局到局部预测方法（Global-to-Local）[^23]、分类引导方法（Cls-Guide）[^50]以及3DCNN。 ---
Team nameAverage 3D distance error
V2V-PoseNet (Ours)9.95 mm
NVResearch and UMontreal10.18 mm
NTU11.30 mm
THU VCLab11.70 mm
NAIST RVLab11.90 mm
Table 3: The top-5 results of the HANDS 2017 frame-based 3D hand pose estimation challenge.
基于3DCNN的方法（3DCNN）[^10]、基于遮挡感知的方法（Occlusion）[^24]以及热分布幻觉生成方法（HeatDist）[^3]。以往研究[2, 13, 14, 28–30, 40, 49, 57]中报道的部分结果是根据网上可获取的预测标签计算得出的。其他结果[^1] [^3] [^5] [^9] [^10] [^23] [^24] [^36] [^38] [^41] [^46] [^47] [^50]则是根据其论文中的图表计算得出。 如图7所示，在标准评估指标上，我们的方法在三个3D手部姿态估计数据集上的表现均优于所有现有方法。这体现了体素到体素预测的优越性，该方法首次被应用于3D手部姿态估计领域。在极具挑战性且尚未达到饱和状态的NYU数据集上，我们的方法与以往研究之间的性能差距最大。我们还按照以往研究的协议[^38]，测量了MSRA数据集上不同偏航角和俯仰角下的平均3D距离误差分布，结果如图8所示。可以看出，我们的方法在几乎所有的偏航角和俯仰角下都能给出更优的结果。 我们的方法还在HANDS 2017基于帧的3D手部姿态估计挑战赛中荣获第一名[^54]。前5名的结果对比见表3。从表中可以看出，所提出的V2V-PoseNet的表现优于其他参赛者。关于挑战赛结果的更详细分析详见[^53]。 我们还在ITOP 3D人体姿态估计数据集[^15]上评估了所提出系统的性能。我们将该系统与最先进的方法进行了比较，这些方法包括RTW [^56]、基于视点不变特征的方法[^15]以及REN-9x6x6 [^13]。每种方法的得分均来自[^13] [^15]。如表4所示，所提出的系统在两个视角下的表现都大幅优于所有现有方法，这表明我们的模型不仅能应用于3D手部姿态估计，还能解决其他具有挑战性的问题，比如基于正面视图和俯视图的3D人体姿态估计。 #### 8.5. 计算复杂度 我们研究了所提出方法的计算复杂度。对于ICVL数据集，V2V-PoseNet的训练时间为两天；对于NYU和MSRA数据集，训练时间为12小时；对于HANDS 2017挑战赛数据集，训练时间为六天；而对于ITOP数据集，训练时间仅为三小时。当使用10个模型进行epoch集成时，测试速度可达3.5帧/秒，而在多GPU环境下其速度可提升至35帧/秒，这一结果证明了所提方法在实时应用中的适用性。最耗时的步骤是输入生成，该步骤包括参考点细化以及深度图体素化，耗时23毫秒，其中大部分时间花在体素化上。接下来的步骤是网络前向传播，耗时5毫秒；从3D热图中提取3D坐标则需0.5毫秒。值得注意的是，即便不进行epoch集成，我们的模型在ICVL、NYU、MSRA和ITOP数据集上的表现也大幅优于以往的研究，且能在单GPU上实现实时运行。
mAP (front-view)mAP (top-view)
Body part[^56][^15][^13]V2V-PoseNet(Ours)[^56][^15][^13]V2V-PoseNet(Ours)
Head97.898.198.798.2998.498.198.298.4
Neck95.897.599.499.0782.297.698.998.91
Shoulders94.196.596.197.1891.896.196.696.87
Elbows77.973.374.780.4280.186.274.479.16
Hands70.568.755.267.2676.985.550.762.44
Torso93.885.698.798.7368.272.998.197.78
Hip80.37291.893.2355.761.285.586.91
Knees68.8698991.8053.951.67083.28
Feet68.460.881.187.628.751.541.669.62
Mean80.577.484.988.7468.275.575.583.44
Table 4: mAP comparison of state-of-the-art methods on front and top views of the ITOP dataset.
在ICVL、NYU、MSRA和ITOP数据集上，即便不进行epoch集成，我们的模型在实时运行状态下也能大幅超越以往的研究。此外，在单GPU上运行时，我们的模型就能达到极高的精度。 ### 9. 结论 我们提出了一种新颖且强大的网络——V2V-PoseNet，用于从单张深度图中进行3D手部及人体姿态估计。为克服以往研究的不足，我们将2D深度图转换为3D体素表示，并利用我们的3D CNN模型对其进行处理。此外，我们并非直接回归关键点的3D坐标，而是估算每个关键点对应的体素概率。这两种改进显著提升了性能，使得所提出的V2V-PoseNet在三个3D手部姿态估计数据集和一个3D人体姿态估计数据集上的表现大幅优于以往研究。它还让我们在3D手部姿态估计挑战赛数据集上取得了最高的准确率。由于从单张深度图进行3D手部及人体姿态估计时首次采用了体素到体素的预测方式，我们希望本研究能为精准的3D姿态估计提供一种新途径。 ## 致谢 本研究得到了韩国科学技术信息通信部视觉图灵测试项目（IITP-2017-0-01780）的支持。 --- ## 参考文献 [^1]: D. Bouchacourt, P. K. Mudigonda, and S. Nowozin. Disconnets: Dissimilarity coefficients networks. In Advances in Neural Information Processing Systems, pages 352–360, 2016. [^2]: X. Chen, G. Wang, H. Guo, and C. Zhang. Pose guided structured region ensemble network for cascaded hand pose estimation. arXiv preprint arXiv:1708.03416, 2017. [^3]: C. Choi, S. Kim, and K. Ramani. Learning hand articulation by hallucinating heat distribution. In IEEE International Conference on Computer Vision, Oct 2017. [^4]: R. Collobert, K. Kavukcuoglu, and C. Farabet. Torch7: A matlab-like environment for machine learning. In BigLearn, Neural Information Processing Systems Workshop, number EPFL-CONF-192376, 2011. [^5]: X. Deng, S. Yang, Y. Zhang, P. Tan, L. Chang, and H. Wang. Hand3d: Hand pose estimation using 3d neural network. arXiv preprint arXiv:1704.02224, 2017. [^6]: D. Fourure, R. Emonet, E. Fromont, D. Muselet, N. Neverova, A. Trémeau, and C. Wolf. Multi-task, multi-domain learning: application to semantic segmentation and pose regression. Neurocomputing, 251:68–80, 2017. [^7]: V. Ganapathi, C. Plagemann, D. Koller, and S. Thrun. Real-time human pose tracking from range data. In European Conference on Computer Vision, pages 738–751. Springer, 2012. [^8]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. arXiv preprint arXiv:1704.02463, 2017. [^9]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In IEEE Conference on Computer Vision and Pattern Recognition, pages 3593–3601, 2016. [^10]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In IEEE Conference on Computer Vision and Pattern Recognition, 2017. [^11]: R. Girshick, J. Shotton, P. Kohli, A. Criminisi, and A. Fitzgibbon. Efficient regression of general-activity human poses from depth images. In IEEE International Conference on Computer Vision, pages 415–422. IEEE, 2011. [^12]: D. Grest, J. Woetzel, and R. Koch. Nonlinear body pose estimation from depth images. In Joint Pattern Recognition Symposium, pages 285–292. Springer, 2005. [^13]: H. Guo, G. Wang, X. Chen, and C. Zhang. Towards good practices for deep 3d hand pose estimation. arXiv preprint arXiv:1707.07248, 2017. [^14]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yand. Region ensemble network: Improving convolutional network for hand pose estimation. IEEE International Conference on Image Processing, 2017. [^15]: A. Haque, B. Peng, Z. Luo, A. Alahi, S. Yeung, and L. Fei-Fei. Towards viewpoint invariant 3d human pose estimation. In European Conference on Computer Vision, pages 160–177. Springer, 2016. [^16]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In IEEE Conference on Computer Vision and Pattern Recognition, pages 770–778, 2016. [^17]: T. Helten, A. Baak, G. Bharaj, M. Müller, H.-P. Seidel, and C. Theobalt. Personalization and evaluation of a real-time depth-based full body tracker. In IEEE International Conference on 3D Vision, pages 279–286. IEEE, 2013. [^18]: S. Ioffe and C. Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International Conference on Machine Learning, pages 448–456, 2015. [^19]: H. Y. Jung, Y. Suh, G. Moon, and K. M. Lee. A sequential approach to 3d human pose estimation: Separation of localization and identification of body joints. In European Conference on Computer Vision, pages 747–761. Springer, 2016. [^20]: C. Keskin, F. Kıraç, Y. E. Kara, and L. Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In European Conference on Computer Vision, pages 852–863. Springer, 2012. [^21]: S. Knoop, S. Vacek, and R. Dillmann. Sensor fusion for 3d human body tracking with an articulated 3d body model. In IEEE International Conference on Robotics and Automation, pages 1686–1691. IEEE, 2006. [^22]: H. Liang, J. Yuan, and D. Thalmann. Parsing the hand in depth images. IEEE Transactions on Multimedia, 16(5):1241–1253, 2014. [^23]: M. Madadi, S. Escalera, X. Baro, and J. Gonzalez. End-to-end global to local cnn learning for hand pose recovery in depth data. arXiv preprint arXiv:1705.09606, 2017. [^24]: M. Madadi, S. Escalera, A. Carruesco, C. Andujar, X. Baró, and J. González. Occlusion aware hand pose recovery from sequences of depth images. In IEEE International Conference on Automatic Face & Gesture Recognition, pages 230–237. IEEE, 2017. [^25]: D. Maturana and S. Scherer. Voxnet: A 3rd convolutional neural network for real-time object recognition. In IEEE International Conference on Intelligent Robots and Systems, pages 922–928. IEEE, 2015. [^26]: S. Melax, L. Keselman, and S. Orsten. Dynamics based 3d skeletal hand tracking. In Proceedings of Graphics Interface 2013, pages 63–70. Canadian Information Processing Society, 2013. [^27]: A. Newell, K. Yang, and J. Deng. Stacked hourglass networks for human pose estimation. In European Conference on Computer Vision, pages 483–499. Springer, 2016. [^28]: M. Oberweger and V. Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In IEEE International Conference on Computer Vision Workshop, Oct 2017. [^29]: M. Oberweger, P. Wohlhart, and V. Lepetit. Hands deep in deep learning for hand pose estimation. Computer Vision Winter Workshop, pages 21–30, 2015. [^30]: M. Oberweger, P. Wohlhart, and V. Lepetit. Training a feedback loop for hand pose estimation. In IEEE International Conference on Computer Vision, pages 3316–3324, 2015. ## [^31]: G. Pavlakos, X. Zhou, K. G. Derpanis, and K. Daniilidis. Coarse-to-fine volumetric prediction for single-image 3d hu --- 人体姿态估计。IEEE计算机视觉与模式识别会议，第7025–7034页，2017年。 [^32]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun. Realtime and robust hand tracking from depth. In IEEE Conference on Computer Vision and Pattern Recognition, pages 1106–1113, 2014. [^33]: J. Romero, H. Kjellström, and D. Kragic. Monocular real-time 3d articulated hand pose estimation. In 2009 9th IEEE-RAS International Conference on Humanoid Robots, pages 87–92. IEEE, 2009. [^34]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, et al. Accurate, robust, and flexible real-time hand tracking. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, pages 3633–3642. ACM, 2015. [^35]: J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finochio, A. Blake, M. Cook, and R. Moore. Real-time human pose recognition in parts from single depth images. Communications of the ACM, 56(1):116–124, 2013. [^36]: A. Sinha, C. Choi, and K. Ramani. Deephand: Robust hand pose estimation by completing a matrix imputed with deep features. In IEEE Conference on Computer Vision and Pattern Recognition, pages 4150–4158, 2016. [^37]: S. Song and J. Xiao. Deep sliding shapes for amodal 3d object detection in rgb-d images. In IEEE Conference on Computer Vision and Pattern Recognition, pages 808–816, 2016. [^38]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. In IEEE Conference on Computer Vision and Pattern Recognition, pages 824–832, 2015. [^39]: A. Tagliasacchi, M. Schröder, A. Tkach, S. Bouaziz, M. Botsch, and M. Pauly. Robust articulated-icp for real-time hand tracking. In Computer Graphics Forum, volume 34, pages 101–114. Wiley Online Library, 2015. [^40]: D. Tang, H. Jin Chang, A. Tejani, and T.-K. Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In IEEE Conference on Computer Vision and Pattern Recognition, pages 3786–3793, 2014. [^41]: D. Tang, J. Taylor, P. Kohli, C. Keskin, T.-K. Kim, and J. Shotton. Opening the black box: Hierarchical sampling optimization for estimating human hand pose. In IEEE International Conference on Computer Vision, pages 3325–3333, 2015. [^42]: D. Tang, T.-H. Yu, and T.-K. Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In IEEE International Conference on Computer Vision, pages 3224–3231, 2013. [^43]: T. Tieleman and G. Hinton. Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude. COURSERA: Neural networks for machine learning, 4(2):26–31, 2012. [^44]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics, 33(5):169, 2014. [^45]: J. J. Tompson, A. Jain, Y. LeCun, and C. Bregler. Joint training of a convolutional network and a graphical model for 人体姿态估计。收录于《神经信息处理系统进展》，第1799–1807页，2014年。 [^46]: C. Wan, T. Probst, L. Van Gool, and A. Yao. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In IEEE Conference on Computer Vision and Pattern Recognition, July 2017. [^47]: C. Wan, A. Yao, and L. Van Gool. Hand pose estimation from local surface normals. In European Conference on Computer Vision, pages 554–569. Springer, 2016. [^48]: Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, and J. Xiao. 3d shapenets: A deep representation for volumetric shapes. In IEEE Conference on Computer Vision and Pattern Recognition, pages 1912–1920, 2015. [^49]: C. Xu, L. N. Govindarajan, Y. Zhang, and L. Cheng. Lie-x: Depth image based articulated object pose estimation, tracking, and action recognition on lie groups. International Journal of Computer Vision, pages 1–25, 2017. [^50]: H. Yang and J. Zhang. Hand pose regression via a classification-guided approach. In Asian Conference on Computer Vision, pages 452–466. Springer, 2016. [^51]: M. Ye and R. Yang. Real-time simultaneous pose and shape estimation for articulated objects using a single depth camera. In IEEE Conference on Computer Vision and Pattern Recognition, pages 2345–2352, 2014. [^52]: Q. Ye, S. Yuan, and T.-K. Kim. Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In European Conference on Computer Vision, pages 346–361. Springer, 2016. [^53]: S. Yuan, G. Garcia-Hernando, B. Stenger, T.-K. Kim, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In IEEE Conference on Computer Vision and Pattern Recognition, 2018. [^54]: S. Yuan, Q. Ye, G. Garcia-Hernando, and T.-K. Kim. The 2017 hands in the million challenge on 3d hand pose estimation. arXiv preprint arXiv:1707.02237, 2017. [^55]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim. Big-hand2.2m benchmark: Hand pose dataset and state of the art analysis. In IEEE Conference on Computer Vision and Pattern Recognition, July 2017. [^56]: H. Yub Jung, S. Lee, Y. Seok Heo, and I. Dong Yun. Random tree walk toward instantaneous 3d human pose estimation. In IEEE Conference on Computer Vision and Pattern Recognition, pages 2467–2474, 2015. [^57]: X. Zhou, Q. Wan, W. Zhang, X. Xue, and Y. Wei. Model-based deep hand pose estimation. International Joint Con-ference on Artificial Intelligence, pages 2421–2427, 2016.