# JGR-P2O：基于关节图推理的像素到偏移量预测网络，用于从单张深度图像进行3D手部姿态估计 方林浦 $^{1}$、刘星燕 $^{1}$、刘力 $^{2}$、徐航 $^{3}$、康文雄 $^{1(\boxtimes)}$ $^{1}$ 华南理工大学，广州，中国 $^{2}$ 奥卢大学机器视觉与信号分析中心，芬兰奥卢 $^{3}$ 华为诺亚方舟实验室，中国香港 摘要：当前最先进的基于单张深度图像的3D手部姿态估计方法均基于密集预测，包括体素到体素预测、点对点回归以及逐像素估计。尽管这类方法性能优异，但存在若干固有问题，例如精度与效率之间的平衡较差，以及采用局部卷积进行特征表示学习的方式较为简单。本文提出了一种新颖的基于逐像素预测的方法来解决上述问题。其核心思路有两点：(a) 显式建模关节之间的依赖关系以及像素与关节之间的关系，以实现更好的局部特征表示学习；(b) 将密集的逐像素偏移量预测与直接关节回归统一起来，支持端到端训练。具体而言，我们首先提出一个基于图卷积网络（GCN）的关节图推理模块，用以建模关节间的复杂依赖关系并增强每个像素的表征能力。随后，我们在图像平面和深度空间内密集估计所有像素到关节的偏移量，再通过对所有像素预测结果的加权平均来计算关节位置，完全省去了复杂的后处理操作。所提出的模型以高效的二维全卷积网络（FCN）为骨干，参数数量仅约140万。在多个3D手部姿态估计基准测试上的大量实验表明，该方法在保持极高效率的同时，达到了新的最先进精度——在单块NVIDIA 1080Ti GPU上运行速度可达约110帧/秒。（本研究部分得到了国家自然科学基金项目61976095的支持，部分得到了广东省科技计划项目2018B030323026的支持。本研究还得到了芬兰科学院的部分资助。）代码可在 获取。 --- 关键词：3D手部姿态估计 · 深度图像 · 图神经网络 ## 1 引言 基于视觉的3D手部姿态估计旨在从输入的手部图像中定位3D空间中的手部关节，它是非接触式人机交互应用的核心技术之一，例如虚拟现实、增强现实以及机器人抓取 [^11] [^23]。近年来，随着微软Kinect、英特尔RealSense等消费级深度相机的普及，以及深度学习技术在计算机视觉领域取得突破，该领域取得了显著进展 [^6] [^8] [^20] [^22] [^48]。然而，由于手部关节活动复杂度高、不同手指间存在严重遮挡、深度图像质量较差等因素，实现精准且实时的3D手部姿态估计仍是一项极具挑战性的任务。 在本文中，我们聚焦于从单张深度图像中进行3D手部姿态估计的问题。目前，解决这一任务的最先进方法依赖于深度学习技术，尤其是深度卷积神经网络（CNN）。主要原因有两点：一方面，公开可用且带有完整标注的3D手部姿态大型数据集[^34] [^37] [^39] [^49]为这些对数据需求量大的方法提供了大量的训练数据；另一方面，结构设计精良的CNN能为具有挑战性的视觉学习任务提供非常有效的解决方案，并且在包括3D手部姿态估计在内的各类计算机视觉任务中，其表现明显优于传统方法。 性能最优的基于深度学习的方法属于检测类方法，它们将3D手部姿态参数表示为体素热图或扩展的3D热图，同时结合偏移向量场，再通过全卷积网络（FCN）或PointNet[^30] [^31]以密集预测的方式对其进行估计。与那些直接将深度图像映射到3D手部姿态参数的回归类方法不同——后者深受高度非线性映射问题的困扰，检测类方法通过姿态参数重参数化能够学习到更好的特征表示，已被证明在人体姿态估计[^4] [^29]和手部姿态估计[^10] [^22] [^43]中更为有效。 通过对以往的检测类方法进行分析，我们发现它们存在若干固有缺陷，而这些缺陷可通过改进来提升性能。首先，它们在精度与效率之间难以取得良好的平衡。例如，V2V[^22]方法采用3D CNN来估计体素热图，这类模型参数规模庞大且计算效率低下；而基于像素级和点级预测的方法[^10] [^43]则利用2D CNN或PointNet的优势来回归密集的3D估计结果。尽管这类方法效率更高，但实证表明其估计精度较低，而且复杂的后处理操作仍会降低计算效率。其次，这类方法包含不可微的后处理操作，比如取最大值、选取邻近点等，这阻碍了端到端的完全训练，还会产生不可避免的量化误差。此外，模型训练时所采用的 --- 非自适应高斯热图或关节中心热图可能并非最优选择。最后，每个元素（如体素、像素或点）的特征表示仅通过局部卷积学习得到，忽略了全局上下文信息。然而，建模关节之间的依赖关系以及元素与关节之间的关系，有助于学习更丰富的上下文信息和更优的局部特征表示。 为解决这些问题，我们提出了一种新颖的基于关节图推理的像素到偏移量预测网络（JGR-P2O），用于三维手部姿态估计。该网络旨在直接从单张深度图像中回归关节位置。具体而言，我们将三维手部姿态分解为关节在二维图像平面上的坐标以及深度值，并以集成的方式估计这些参数，充分利用深度图像的2.5D特性。所提出的方法包含两个关键模块：基于GCN的关节图推理模块和像素到偏移量预测模块。关节图推理模块旨在为每个像素学习更好的特征表示，这对密集预测至关重要。首先，通过汇总局部特征中编码的全局信息来生成关节特征；其次，通过图推理建模关节间的依赖关系，从而获得更强的关节特征表示；最后，将演化后的关节特征映射回局部特征，从而增强局部特征表示。像素到偏移量预测模块则密集地估计所有像素在图像平面和深度空间中对关节的偏移量，再通过对所有像素预测结果的加权平均来计算关节在图像平面空间和深度空间中的位置。通过这种方式，我们摒弃了[^10]和[^43]中所采用的复杂后处理操作，这不仅提升了计算效率，还增强了估计的鲁棒性。 需要注意的是，我们的JGR-P2O能够直接从单张深度图像中获取关节位置，无需额外的后处理操作。它生成中间的密集偏移量向量场，且能在关节位置的直接监督下实现端到端的训练，兼具基于检测的方法和基于回归的方法的优势。该方法还显式地建模了关节间的依赖关系以及像素与关节之间的关系，以增强局部特征表示。整个模型采用高效的二维FCN骨干网络实现，参数数量仅约1.4M。在有效性和效率方面，它通常都优于以往的基于检测的方法。总体而言，所提出的方法为以往基于检测的方法所面临的问题提供了有效的解决方案。 综上所述，本文的主要贡献如下： 我们利用深度图像的2.5D特性，提出了一种可端到端训练的像素到偏移量模块，将密集的像素级偏移量预测与直接关节回归统一起来。 我们提出了一种基于GUN的关节图推理模块，用于显式建模关节间的依赖关系以及像素与关节之间的关系，以增强局部特征表示。 我们在多个最常用的三维手部姿态估计基准数据集上进行了大量实验（即ICVL [^37]、NYU [^39]和MSRA [^34]）。 --- 实验结果证明，所提出的方法仅需约1.4M参数即可达到新的最先进精度，且在单块NVIDIA 1080Ti GPU上运行速度可达约110 fps，效率极高。 ## 2 相关工作 本文主要研究从单张深度图像中估计3D手部姿态的问题。针对这一问题的方法可分为判别性方法[^7] [^9] [^34] [^44]、生成式方法[^14] [^32] [^40]以及混合方法[^25] [^27] [^28] [^38] [^42] [^47] [^50]。在本节中，我们重点讨论与本研究密切相关的基于深度学习的判别性和混合方法。这些方法可进一步分为基于回归的方法、基于检测的方法以及分层结构化方法。更多详细综述请参考[^35] [^36] [^48]。此外，我们还介绍了一些与我们的方法相关的基于GCN的研究。 基于回归的方法。基于回归的方法[^3] [^7] [^9] [^12] [^25] [^26]旨在直接回归3D手部姿态参数，如3D坐标或关节角度。Oberweger等人[^25] [^26]利用瓶颈层来学习用于约束手部姿态的姿态先验。Guo等人[^12]提出了一种树结构的区域集成网络（REN），用于直接回归关节的3D坐标。与其他使用深度图像作为输入的研究不同，另一些研究侧重于3D输入表示，以充分利用深度信息。Ge等人[^7] [^9]采用3D CNN和PointNet[^30] [^31]来直接估计3D手部关节位置，二者分别使用3D体素表示和3D点云作为输入。尽管这种方法较为简单，但全连接层内的全局回归方式会导致高度非线性的映射，从而可能降低估计性能。而我们的方法采用密集预测方式，从像素到关节回归偏移量，有效保留了局部空间上下文信息。 基于检测的方法。基于检测的方法[^8] [^10] [^22] [^43]通过为每个关节设置热图，以密集的局部预测方式工作。早期的研究[^8] [^39]首先基于估计的2D热图在2D平面上检测关节位置，再通过复杂的基于优化的后处理将其转换为3D坐标。近期的研究[^10] [^22] [^43]则直接从3D热图中检测3D关节位置，后处理过程更为简单。Moon等人[^22]提出了一种用于3D手部及人体姿态估计的体素到体素预测网络（V2V）。Wan等人[^43]和Ge等人[^10]将3D手部姿态表述为3D热图和单位向量场，并分别通过密集的逐像素和逐点回归来估计这些参数。尽管性能优异，但这些方法仍存在一些缺点，比如精度与效率之间的权衡较差，以及局部特征表示能力不足。借助我们提出的像素到偏移量预测模块和基于GCN的关节图推理模块，我们的方法能够有效解决这些问题。 分层结构化方法。这类方法旨在将手部各部分的相关性或姿态约束融入模型中。分层方法 --- ![Image](images/6868209ff8316397aac3f812c31cf15ce9436b6de9dfa7e1cef1ab4e7021a186.jpg)
Fig. 1. An overview of our JGR-P2O. The abbreviations C, P, R indicate convolutional layer with BN and ReLU, pooling layer and residual module respectively. Given a hand depth image, the backbone module first extracts the intermediate local feature representation $\tilde{X}$, which is then augmented by the proposed GCN-based joint graph reasoning module producing the augmented local feature representation $\tilde{X}$. Finally, the proposed pixel-to-offset prediction module predicts three offset maps for each joint where each pixel value indicates the offset from the pixel to the joint along one of the axes in the UVZ coordinate system. The joint's UVZ coordinates are calculated as the weighted average over all the pixels' predictions. Two kinds of losses, coordinate-wise regression loss $L_{coordinate}$ and pixel-wise offset regression loss $L_{offset}$, are proposed to guide the learning process. We stack together two hourglasses to enhance the learning power, feeding the output from the previous module as the input into the next while exerting intermediate supervision at the end of each module.
[^2]: [^6] [^20] divide the hand joints into different subsets and use different network branches to extract local pose features for each subset. Then all the local pose features are combined together forming the global hand pose representation for final pose estimation. Structured methods [^20] [^25] [^26] [^50] impose physical hand motion constraints into the model, which are implemented by embedding constraint layers in the CNN model [^25] [^26] [^50] or adding specific items in the loss function [^50]. Different from these methods, the proposed GCN-based joint graph reasoning module aims at augmenting the local feature representation by learning the dependencies among joints and the relations between the pixels and the joints. 相关的基于GCN的研究。图卷积网络（GCN）将CNN推广到图结构数据。该领域的方法通常分为两类：以构建频率滤波器为起点的基于频谱的方法[^5] [^15]，以及将卷积推广为对节点邻居组的局部操作算子的基于空间的方法[^21] [^41]。近期，一些研究利用GCN进行3D姿态估计[^1]和基于骨骼的动作识别[^16] [^33] [^46]。还有一些研究[^18] [^19]采用基于GCN的方法来增强用于密集预测的局部特征表示。受这些研究的启发，我们也将手部关节之间的连接定义为图，并应用GCN来学习它们之间的依赖关系。此外，我们设计了几种不同的关节图结构以便开展全面的对比研究。 --- ![Image](images/95778527677ef1be99c2f185a1c260bb7cb552e23d82007faf24a581305d89db.jpg)
Fig. 2. Flowchart of our proposed GCN-based joint graph reasoning module. Given the intermediate feature representation $\mathbf{X}$ extracted from the backbone module, it first generates the joints' feature representation $\mathbf{F}$ by a pixel-to-joint voting mechanism where each joint is represented as the weighted average over all the local features. Then we define the connections between joints as a graph and map the joints' features to the corresponding graph nodes. The joints' features are propagated within the graph by graph reasoning, obtaining the enhanced joints' feature $\mathbf{F}^e$. Next, the $\mathbf{F}^e$ is mapped back to local features by a joint-to-pixel mapping mechanism that is the inverse operation of the pixel-to-joint voting, generating the joint context representations for all pixels. Finally, the original feature representation and the joint context representation are fused together obtaining enhanced local feature representation.
## 3 所提出的方法 ### 3.1 概述 所提出的JGR-P2O将3D手部姿态估计问题转化为密集的像素到偏移量预测任务，充分利用了深度图像的2.5D特性。它以深度图像为输入，直接输出图像平面上的关节位置（即uv坐标）以及深度空间中的位置（即z坐标）。JGR-P2O的整体架构如图1所示。我们采用高效的沙漏网络[^24]作为骨干网络来提取中间的局部特征表示。随后，所提出的关节图推理模块会对关节之间的依赖关系以及像素与关节之间的关系进行建模，从而增强中间局部特征表示。最后，像素到偏移量模块会估算从像素到关节的偏移量，并将所有像素的预测结果聚合起来以获得最终的关节位置。遵循[^24]中的做法，我们将两个沙漏网络堆叠在一起以提升学习能力：将前一个模块的输出作为下一个模块的输入，同时在每个模块的末端施加中间监督。 ### 3.2 基于GCN的关节图推理模块 受符号图推理（SGR）[^19] 的启发，我们提出联合图推理模块，以增强用于 --- 每个像素的中间局部特征表示，这对局部预测至关重要。给定从主干网络提取的特征图，我们首先通过汇总编码在局部特征中的全局上下文信息来生成关节特征。具体而言，关节通过像素到关节投票机制表示为所有局部特征的加权平均。然后定义一个关节到关节的无向图 $\boldsymbol{G} = \langle \mathcal{N}, \boldsymbol{\mathcal{E}} \rangle$，其中 $\mathcal{N}$ 中的每个节点对应一个关节，每条边 $e_{i,j} \in \mathcal{E}$ 编码两个关节之间的关系。并在 $\boldsymbol{G}$ 定义的结构下传播关节特征，以捕获关节之间的依赖关系，从而进一步增强其表示能力。最后，演化后的关节特征通过关节到像素映射机制映射回局部特征，得到逐像素的关节上下文表示，并将其与原始局部特征相结合，以增强局部特征表示。该模块的详细流程见图 2。 像素到关节投票机制。我们旨在基于局部特征中编码的全局上下文信息来获取关节的视觉表示。具体而言，每个关节都有其具有信息量的像素，这些像素的表示会被聚合以形成该关节的特征。在本文中，我们通过像素到关节投票机制来计算关节特征。给定骨干网络之后的特征图$\mathbf{X} \in \mathbb{R}^{H \times W \times C}$，其中H、W和C分别表示特征图的高度、宽度和通道数。首先，计算像素到关节的投票权重如下： $$ \boldsymbol{W}=\boldsymbol{\varPhi}\left(\phi\left(\boldsymbol{X}\right)\right), $$ 其中$\phi(\cdot)$是由$1 \times 1$卷积实现的变换函数，$\Phi$是空间Softmax归一化操作，而$\mathbf{W} \in \mathbb{R}^{H \times W \times N}$是投票张量，其第k个通道$\mathbf{W}_k \in \mathbb{R}^{H \times W}$代表关节k的投票矩阵。接着，关节k的特征表示被计算为所有变换后的像素级表示的加权平均值： $$ \mathbf{f}_{k}=\sum_{i}w_{k i}\varphi\left(\mathbf{x}_{i}\right), $$ 其中$\mathbf{x}_i$是像素$p_i$的表示，$\boldsymbol{\varphi}(\cdot)$是由$1 \times 1$卷积层实现的变换函数，而$w_{ki}$作为$\mathbf{W}_k$中的元素，是像素$p_i$的投票权重。我们还将所有N个关节的整体表示定义为$\mathbf{F} = [\mathbf{f}_1^T; \ldots; \mathbf{f}_N^T]$。 图推理。给定关节特征以及定义的关节间无向图$\pmb{G}$，自然可以利用GCN来建模关节间的依赖关系，并进一步增强关节的特征表示。遵循[^15]中定义的GCN，我们对所有关节的表示$\pmb{F}$进行矩阵乘法操作，从而得到演化后的关节特征$\pmb{F}^{e}$： $$ \mathbf{F}^{e}=\sigma\left(\mathbf{A}^{e}\mathbf{F}\mathbf{W}^{e}\right), $$ --- 其中$\mathbf{W}^e \in \mathbb{R}^{C \times C}$是可训练的变换矩阵，$\mathbf{A}^e \in \mathbb{R}^{N \times N}$是根据$\mathcal{E}$中的边连接定义的连接权重矩阵，$\sigma(\cdot)$是非线性函数（本文中我们对$\sigma(\cdot)$使用ReLU函数）。为了展示基于GCN的关节图推理模块的泛化能力，本文尝试了三种不同的方法来构建图结构（即$\mathbf{A}^e$的定义）。 骨架图。最直观的方法是根据手部骨骼中关节间的物理连接，将边连接定义为硬权重（即{0,1}）。随后，连接权重矩阵被定义为如[^15]中的规范化形式：$\mathbf{A}^e = \tilde{\mathbf{D}}^{-\frac{1}{2}} (\mathbf{A} + \mathbf{I}_N) \tilde{\mathbf{D}}^{-\frac{1}{2}}$，其中$\mathbf{A}$是手部骨骼中定义的邻接矩阵，$\mathbf{I}_N$是单位矩阵，而$\tilde{\mathbf{A}} = \mathbf{A} + \mathbf{I}_N$定义了带有自连接的无向图。$\tilde{\mathbf{D}}$是$\tilde{\mathbf{A}}$的对角节点度矩阵，其元素为$\tilde{\mathbf{D}}_{ii} = \sum_j \tilde{\mathbf{A}}_{ij}$。 特征相似性。两个关节间的连接权重可以计算为它们视觉表示的相似性：$a_{ij}^{e} = \frac{exp(\upsilon(\mathbf{f}_{i})^{T} \psi(\mathbf{f}_{j}))}{\sum_{j=1}^{N} exp(\upsilon(\mathbf{f}_{i})^{T} \psi(\mathbf{f}_{j}))}$，其中$\upsilon$和$\psi$是由两个全连接层实现的两个线性变换函数。注意，每个样本通过这种数据依赖的方法学习到的图都是独一无二的。 参数化矩阵。通过这种方式，$A^{e}$被定义为一个参数化矩阵，其元素会在训练过程中与其他参数一同优化，也就是说，图完全根据训练数据来学习。 关节到像素的映射。进化后的关节特征可用于增强局部特征表示。具体来说，首先通过将进化后的关节特征映射回局部特征来计算像素级的关节上下文表示，然后将其与原始的像素级表示相结合，以得到增强的局部特征表示。我们采用像素到关节投票的逆操作，即关节到像素映射，来计算像素级的关节上下文表示。对于像素$p_i$，我们首先计算其关于关节k的上下文表示：$\mathbf{c}_{ik} = w_{ik} \mathbf{f}_k^e$，其中$\mathbf{f}_k^e$是关节k的进化特征，而$w_{ik}$是从关节k到像素$p_i$的映射权重，该权重与公式(2)中的投票权重$w_{ki}$相同。随后，利用集合$\{\mathbf{c}_{ik}; k = 1, \ldots N\}$的平均值来计算像素$p_i$的最终像素级关节上下文表示： $$ \mathbf{c}_{i}=\rho\left(\frac{1}{N}\sum_{k}\mathbf{c}_{i k}\right), $$ 其中$\rho$是由带有BN和ReLU的$1 \times 1$卷积实现的变换函数。 局部特征增强。最后，我们将原始特征表示$\mathbf{x}_i$与关节上下文表示$\mathbf{c}_i$进行聚合，从而得到像素$p_i$的增强特征表示： --- $$ \bar{\mathbf{x}}_{i}=\tau\left([\mathbf{c}_{i}^{T},\mathbf{x}_{i}^{T}]^{T}\right), $$ 其中$\tau$是用于融合原始特征表示和关节上下文表示的变换函数，它由带有BN和ReLU的$1 \times 1$卷积实现。所有像素的增强特征组合在一起便构成了增强特征图$\bar{X}$，该特征图将作为像素到偏移量预测模块的输入。 ### 3.3 像素到偏移量预测模块 深度图像由像素的二维图像平面坐标和深度值（即UVZ坐标）组成，这些是确定手部关节位置最直接的信息。在本文中，我们同样将三维手部姿态分解为关节的二维图像平面坐标和深度值，并以集成的方式估计这些参数。更具体地说，一个像素的UVZ坐标及其到关节的偏移向量可以确定该关节在UVZ坐标系中的位置。也就是说，我们无需直接预测关节的UVZ坐标，而是可以间接估算从像素到关节的偏移向量，因为像素的UVZ坐标可直接从深度图像中获取。为了实现稳健的估计，我们汇总所有像素的预测结果以确定关节的位置。正式而言，对于某个关节k，我们为每个像素预测三个偏移值，这些偏移值代表从像素到关节k在UVZ坐标系中的偏移向量，从而生成三张偏移图。随后，通过对所有像素的预测结果取加权平均，即可得到关节k的UVZ坐标$(u_{jk}, v_{jk}, z_{jk})$： $$ \left\{\begin{aligned}u_{j_{k}}&=\sum_{i}w_{k i}\left(u_{p_{i}}+\Delta u_{k i}\right)\\ v_{j_{k}}&=\sum_{i}w_{k i}\left(v_{p_{i}}+\Delta v_{k i}\right),\\ z_{j_{k}}&=\sum_{i}w_{k i}\left(z_{p_{i}}+\Delta z_{k i}\right)\end{aligned}\right. $$ 其中$(u_{p_i}, v_{p_i}, z_{p_i})$表示像素$p_i$的UVZ坐标，$(\Delta u_{ki}, \Delta v_{ki}, \Delta z_{ki})$代表从像素$p_i$到关节k的预测偏移值。$w_{ki}$是像素$p_i$的归一化预测权重，用于表示该像素在确定关节k位置时的重要性，其取值与3.2.1节中介绍的投票权重相同。像素到偏移量预测模块由$1 \times 1$卷积层实现，该层以增强的局部特征表示$\bar{\mathbf{X}}$作为输入，直接输出针对所有N个关节的3N张偏移图。 请注意，我们的P2O模块比A2J的估计方案简单得多[^45]。在A2J方案中，设计了两个不同的分支分别用于估计关节的UV坐标和Z坐标。此外，A2J利用高层特征图中的单一特征来预测一组锚点的多种估计结果，这可能会干扰模型的表征学习过程，同时还会增加参数数量。实验结果也证明了我们的方法优于A2J。 --- ![Image](images/9b3a5c9f6e182bc132353bc3d8ecdb87be6ffff96a77e2d1eb4868acfe719a43.jpg)
Fig. 3. The flowchart of the attention-based baseline model. The JGR module is replaced with an attention module to calculate the weights of pixels for locating the joints. The attention module consists of a $3 \times 3$ Residual block, a $1 \times 1$ Conv layer, and a spatial softmax operation. We also add a $3 \times 3$ Residual block to the original pixel-to-offset prediction module. This figure only depicts the one-stage version of the attention-based baseline model. In practice, we employ the two-stage version for comparison.
### 3.4 训练策略 预测得到的关节坐标按照公式(6)计算。根据真实的3D手部姿态，我们可以构建逐坐标回归损失： $$ L_{c o o r d i n a t e}=\sum_{k}\sum_{c}L_{\delta}\left(c_{j_{k}}-c_{j_{k}}^{*}\right), $$ 其中$c_{jk}$是关节k的预测UVZ坐标之一，$c_{jk}^*$是对应的真实坐标。我们选择Huber损失函数$L_\delta$作为回归损失函数，因为它相比平方误差损失函数对数据中的异常值更不敏感。此外，我们还可以通过构建逐像素偏移回归损失来显式监督偏移图的生成过程： $$ {\cal L}_{o f f s e t}=\sum_{k}\sum_{i}\sum_{c}L_{\delta}\left(\Delta c_{k i}-\Delta c_{k i}^{*}\right), $$ 其中$\Delta c_{ki}$是从像素$p_i$到关节k沿UVZ坐标系某一轴方向的偏移值，$\Delta c_{ki}^*$是对应的真实偏移值。逐像素偏移回归损失可视为学习更优局部特征表征的正则化项。注意，我们将真实坐标和偏移值归一化到范围$[-1,1]$内，像素的UV坐标和Z坐标（即深度值）也分别归一化到范围$[0,1]$和$[-1,1]$内。因此，估计得到的偏移图和关节坐标也是归一化后的版本。我们使用与预测偏移图分辨率相同的下采样输入深度图像来计算这些参数。遵循[^24]的做法，我们通过堆叠多个结构相同的沙漏模块来提升网络架构的学习能力：将前一个模块的输出作为输入送入下一个模块，同时在每个模块的末端施加中间监督。整个网络的最终损失定义如下： ---
Table 1. Comparison of different graph structures in the proposed JGR module. #Params indicates the number of parameters of the whole model.
Graph structuresMean error (mm)#Params
Skeleton graph8.291.37M
Feature similarity8.451.43M
Parameterized matrix8.361.37M
Table 2. Effectiveness of individual components of the proposed method.
ComponentMean error (mm)
P2OOffset lossJGR
✓10.83
✓✓$10.54^{-0.29}$
✓✓✓$8.29^{-2.25}$
$$ {\cal L}=\sum_{s=1}^{S}L_{c o o r d i n a t e}^{(s)}+\beta L_{o f f s e t}^{(s)}. $$ 其中$L_{(coordinate)}$和$L_{(offset)}$分别是第s阶段的逐坐标回归损失和逐像素偏移回归损失，$\beta = 0.0001$是用于平衡这两种损失的权重因子，S=2表示堆叠的沙漏模块总数。整个网络架构在该损失的监督下进行端到端训练。 ## 4 实验 ### 4.1 数据集与设置 我们在三个常见的3D手部姿态估计数据集上评估所提出的JGR-P2O模型：ICVL数据集[^37]、NYU数据集[^39]以及MSRA数据集[^34]。ICVL数据集包含33万张训练用深度图像和1.5千张测试用深度图像，这些图像由Intel Realsense相机拍摄而成。每张图像的真实手部姿态包含$N = 16$个关节。NYU数据集是由三台不同视角的微软Kinect相机采集的，每个视角分别包含7.2万张训练用深度图像和8千张测试用深度图像；每个标注的手部姿态包含36个关节。遵循大多数以往研究的做法，我们在所有实验中仅使用第1个视角以及$N = 14$个关节进行训练和测试。MSRA数据集包含由9名受试者以17种手势拍摄的7.6万张训练用图像，该数据集采用英特尔的Creative Interactive Camera采集；每张图像标注的手部姿态包含$N = 21$个关节。我们采用留一受试者交叉验证策略[^34]来进行评估。 我们采用两种最常用的指标来评估3D手部姿态估计的性能。第一个指标是平均3D距离误差（单位：毫米） ---
Table 3. Comparison of different numbers of stacked hourglass module.
#HourglassesMean error (mm)#Params
18.630.72M
28.291.37M
38.272.02M
Table 4. Comparison with different baselines on NYU.
ModelMean error (mm)#Params
Baseline with attention module8.721.42M
Baseline with DHM module8.691.37M
Ours8.291.37M
该误差是对所有关节及所有测试图像求平均值得到的。第二个指标是成功帧的百分比，即最差关节3D距离误差低于某一阈值的帧数占比。 所有实验均在一台配备四块NVIDIA 1080Ti GPU的服务器上利用Tensorflow框架开展。对于输入到JGR-P2O的数据，我们采用与[^25]中提出的类似的方法从原始图像中裁剪出手部区域，并将其缩放至$96 \times 96$的固定尺寸。裁剪后的图像的深度值会被归一化到[-1, 1]区间。训练时，我们采用Adam优化器，权重衰减参数为0.00005，批量大小为32，用以优化所有模型。训练过程中采用了在线数据增强技术，包括平面内旋转（[-180, 180]度）、3D缩放（[0.9, 1.1]）以及3D平移（[-10, 10]毫米）。初始学习率设为0.0001，每训练一个周期学习率就按0.96的比例递减。针对ICVL训练集我们训练8个周期，针对其他训练集则训练58个周期。 ### 4.2 消融研究 我们首先开展消融研究，以证明所提出的JGR-P2O模型中各个组件的有效性。由于NYU数据集比其他两个数据集更具挑战性，因此消融研究在NYU数据集上进行。 不同图结构的对比。表1报告了所提出的关节图推理模块中不同图结构的性能表现。可以看出，不同的图结构能够获得相近的估计精度，这表明所提出的关节图推理模块具有很强的泛化能力。在后续实验中，我们选择骨架图作为关节图推理模块的默认图结构，因为它更具可解释性且性能最优。 单个组件的有效性。表2中的结果展示了每个组件在与其他组件组合时对估计性能的提升程度。最简单的基线模型由骨干网络和P2O模块组成，在表2中记为P2O，该模型通过对所有像素的预测结果取平均值来估计 --- ![Image](images/b394ac0e7d3ec2a9d49cbd136c15d6bf107a07c73b56609093b73bbc1dde5aea.jpg) ![Image](images/f011eba881af6c114e3abf720ad07215f8c98584c19db719f78538bf63f1e664.jpg) ![Image](images/d8f71207328f6cc401861c62a5d13b924eb00c9c96b523d881e1a28426740789.jpg)
Fig. 4. Comparison with previous state-of-the-art methods. The percentages of success frames over different error thresholds are presented in this figure. Left: ICVL dataset, Middle: NYU dataset, Right: MSRA dataset.
关节位置，其估计误差最大。在训练中加入像素级偏移回归损失后，估计误差降低了0.29毫米。最终，JGR模块使估计误差大幅降低了2.25毫米。 沙漏模块的数量。表3报告了使用不同数量沙漏模块的结果。可以看出，仅使用一个沙漏时，所提出的JGR-P2O在NYU数据集上的平均3D距离误差相对较低（8.63毫米）。增加沙漏数量可以提高估计精度，但使用三个沙漏带来的提升微乎其微。在本文中，我们仅堆叠两个沙漏以平衡精度与效率。 ### 4.3 与不同基准模型的比较 为了验证所提出的JGR和P2O模块的有效性，我们将它们与相关基准方法进行比较。结果如表4所示。 JGR与注意力机制对比。为了验证所提出的JGR模块的有效性，我们设计了一个基于注意力的基准模型，该模型中用注意力模块替换JGR模块，用以计算定位关节的像素权重。基准模型的流程图见图3。如表4所示，JGR模块在NYU数据集上将平均3D距离误差降低了0.43毫米，且参数更少，性能优于注意力模块。这表明JGR模块确实有助于更好地学习局部特征。 P2O与可微分热图（DHM）对比。为了证明所提出的P2O模块的有效性，我们将我们的模型与用[^13]中提出的DHM模块替换P2O模块的模型进行比较。DHM隐式地学习关节的深度图和热图分布，而我们的P2O则显式地估计像素到关节的偏移量。从表4可以看出，我们的P2O模块将NYU数据集上的平均3D距离误差从8.69毫米降低至8.29毫米，优于DHM模块，这证明了所提出P2O模块的优越性。 ---
Table 5. Comparison with previous state-of-the-art methods on the ICVL, NYU and MSRA dataset. Mean error indicates the average 3D distance error. Type DR and DP indicate the direct regression-based method and dense prediction-based method, respectively. #Params indicates the parameter quantity of the whole network. Speed indicates the running speed during testing.
MethodMean error (mm)Type#ParamsSpeed (fps)
ICVLNYUMSRA
DeepModel [^50]11.5617.04-DR--
DeepPrior [^26]10.4019.73-DR--
DeepPrior++ [^25]8.1012.249.50DR-30.0
REN-4x6x6 [^12]7.6313.39-DR--
REN-9x6x6 [^12]7.3112.699.70DR--
Pose-REN [^2]6.7911.818.65DR--
3DCNN [^9]-14.19.60DR104.9M215
HandPointNet [^7]6.9410.548.50DR2.58M48.0
SHPR-Net [^3]7.2210.787.76DR--
CrossInfoNet [^6]6.7310.087.86DR23.8M124.5
DenseReg [^43]7.3010.27.20DP5.8M27.8
Point-to-Point [^10]6.309.107.70DP4.3M41.8
V2V-PoseNet [^22]6.288.427.59DP457.5M3.5
Point-to-Pose Voting [^17]-8.99-DP-80.0
A2J [^45]6.468.61-DP44.7M105.1
JGR-P2O (Ours)6.028.297.55DP1.4M111.2
### 4.4 与最先进方法的比较 我们将所提出的JGR-P2O与基于深度学习的最先进方法进行比较，其中包括基于密集预测的方法：密集回归网络（DenseReg）[^43]、Point-to-Point [^10]、Point-to-Pose Voting [^17]、A2J [^45]以及V2V [^22]；以及基于直接回归的方法：基于模型的方法（DeepModel）[^50]、DeepPrior [^26]、改进的DeepPrior（DeepPrior++）[^25]、区域集成网络（Ren-4x6x6和Ren-9x6x6 [^12]）、姿态引导的REN（Pose-Ren）[^2]、3DCNN [^9]、HandPointNet [^7]、SHPR-Net [^3]以及CrossInfoNet [^6]。不同误差阈值下的成功帧百分比及平均3D距离误差分别如图4和表5所示。 可以看出，基于密集预测的方法通常优于基于直接回归的方法。如表5所示，我们的方法在ICVL和NYU数据集上均取得了最低的平均估计误差（分别为6.02毫米和8.29毫米）。图4也显示，当误差阈值低于30毫米和50毫米时，我们的方法在ICVL和NYU数据集上的成功帧比例最高。我们的方法在MSRA数据集上的估计误差为7.55毫米，仅比DenseReg [^43]的估计误差（7.20毫米）高出0.35毫米，排名第二。 --- 表5还显示，与最先进的基于密集预测的方法相比，我们的方法具有最小的模型尺寸和最快的运行速度。具体而言，我们网络的总参数量仅为1.4M，且我们的方法运行速度达到111.2 fps，其中包括在NVIDIA 1080Ti GPU上读取和预处理图像所需的2.0 ms，以及网络推理所需的7.0 ms。 更多实验分析，包括定性结果，可在补充材料中找到。 ## 5 结论 在这项工作中，我们提出了一种用于从单张深度图像中估计3D手部姿态的新预测网络（JGR-P2O）。在JGR-P2O中，基于GCN的关节图推理模块能够通过显式建模关节间的依赖关系以及像素与关节间的关系，来帮助学习更好的局部特征表示；而像素到偏移量预测模块则将密集的逐像素偏移量预测与直接关节回归统一起来以实现端到端训练，从而充分利用深度图像的2.5D特性。大量实验证明了JGR-P2O在准确性和效率方面的优越性。 ## 参考文献 [^1]: Cai, Y., et al.: Exploiting spatial-temporal relationships for 3D pose estimation via graph convolutional networks. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 2272–2281 (2019) [^2]: Chen, X., Wang, G., Guo, H., Zhang, C.: Pose guided structured region ensemble network for cascaded hand pose estimation. Neurocomputing 395, 138–149 (2019) [^3]: Chen, X., Wang, G., Zhang, C., Kim, T.K., Ji, X.: SHPR-Net: deep semantic hand pose regression from point clouds. IEEE Access 6, 43425–43439 (2018) [^4]: Chu, X., Yang, W., Ouyang, W., Ma, C., Yuille, A.L., Wang, X.: Multi-context attention for human pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1831–1840 (2017) [^5]: Defferrard, M., Bresson, X., Vandergheynst, P.: Convolutional neural networks on graphs with fast localized spectral filtering. In: Advances in Neural Information Processing Systems, pp. 3844–3852 (2016) [^6]: Du, K., Lin, X., Sun, Y., Ma, X.: CrossInfoNet: multi-task information sharing based hand pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 9896–9905 (2019) [^7]: Ge, L., Cai, Y., Weng, J., Yuan, J.: Hand PointNet: 3D hand pose estimation using point sets. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 8417–8426 (2018) ## [^8]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: Robust 3D hand pose estimation in single depth images: from single-view CNN to multi-view CNNs. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3593–3601 (2016) --- [^9]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: 3D convolutional neural networks for efficient and robust hand pose estimation from single depth images. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1991–2000 (2017) 10. Ge, L., Ren, Z., Yuan, J.：用于3D手部姿态估计的点对点回归PointNet。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS，第11217卷，第489–505页。Springer, Cham（2018年）。 [^11]: Guleryuz, O.G., Kaeser-Chen, C.: Fast lifting for 3D hand pose estimation in AR/VR applications. In: 2018 25th IEEE International Conference on Image Processing (ICIP), pp. 106–110. IEEE (2018) [^12]: Guo, H., Wang, G., Chen, X., Zhang, C.: Towards good practices for deep 3D hand pose estimation. arXiv preprint arXiv:1707.07248 (2017) 13. Iqbal, U., Molchanov, P., Breuel, T., Gall, J., Kautz, J.：通过潜在2.5D热图回归进行手部姿态估计。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS，第11215卷，第125–143页。Springer, Cham（2018年）。 [^14]: Khamis, S., Taylor, J., Shotton, J., Keskin, C., Izadi, S., Fitzgibbon, A.: Learning an efficient model of hand shape variation from depth images. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2540–2548 (2015) [^15]: Kipf, T.N., Welling, M.: Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907 (2016) [^16]: Li, M., Chen, S., Chen, X., Zhang, Y., Wang, Y., Tian, Q.: Actional-structural graph convolutional networks for skeleton-based action recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3595–3603 (2019) [^17]: Li, S., Lee, D.: Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 11927–11936 (2019) [^18]: Li, Y., Gupta, A.: Beyond grids: learning graph representations for visual recognition. In: Advances in Neural Information Processing Systems, pp. 9225–9235 (2018) [^19]: Liang, X., Hu, Z., Zhang, H., Lin, L., Xing, E.P.: Symbolic graph reasoning meets convolutions. In: Advances in Neural Information Processing Systems, pp. 1853–1863 (2018) [^20]: Madadi, M., Escalera, S., Baró, X., Gonzalez, J.: End-to-end global to local CNN learning for hand pose recovery in depth data. arXiv preprint arXiv:1705.09606 (2017) [^21]: Monti, F., Boscaini, D., Masci, J., Rodola, E., Svoboda, J., Bronstein, M.M.: Geometric deep learning on graphs and manifolds using mixture model CNNs. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5115–5124 (2017) [^22]: Moon, G., Yong Chang, J., Mu Lee, K.: V2V-PoseNet: voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5079–5088 (2018) ## [^23]: Mueller, F., Mehta, D., Sotnychenko, O., Sridhar, S., Casas, D., Theobalt, C.: Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 1284–1293 (2017) --- 24. Newell, A., Yang, K., Deng, J.：用于人体姿态估计的堆叠沙漏网络。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS，第9912卷，第483–499页。Springer, Cham（2016年）。 [^25]: Oberweger, M., Lepetit, V.: DeepPrior++: improving fast and accurate 3D hand pose estimation. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 585–594 (2017) [^26]: Oberweger, M., Wohlhart, P., Lepetit, V.: Hands deep in deep learning for hand pose estimation. arXiv preprint arXiv:1502.06807 (2015) [^27]: Oberweger, M., Wohlhart, P., Lepetit, V.: Training a feedback loop for hand pose estimation. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 3316–3324 (2015) [^28]: Oberweger, M., Wohlhart, P., Lepetit, V.: Generalized feedback loop for joint hand-object pose estimation. IEEE Trans. Pattern Anal. Mach. Intell. 42, 1898–1912 (2019) [^29]: Pavlakos, G., Zhou, X., Derpanis, K.G., Daniilidis, K.: Coarse-to-fine volumetric prediction for single-image 3D human pose. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7025–7034 (2017) [^30]: Qi, C.R., Su, H., Mo, K., Guibas, L.J.: PointNet: deep learning on point sets for 3D classification and segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 652–660 (2017) [^31]: Qi, C.R., Yi, L., Su, H., Guibas, L.J.: PointNet++: deep hierarchical feature learning on point sets in a metric space. In: Advances in Neural Information Processing Systems, pp. 5099–5108 (2017) [^32]: Remelli, E., Tkach, A., Tagliasacchi, A., Pauly, M.: Low-dimensionality calibration through local anisotropic scaling for robust hand model personalization. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 2535–2543 (2017) [^33]: Shi, L., Zhang, Y., Cheng, J., Lu, H.: Two-stream adaptive graph convolutional networks for skeleton-based action recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 12026–12035 (2019) [^34]: Sun, X., Wei, Y., Liang, S., Tang, X., Sun, J.: Cascaded hand pose regression. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 824–832 (2015) [^35]: Supancic, J.S., Rogez, G., Yang, Y., Shotton, J., Ramanan, D.: Depth-based hand pose estimation: data, methods, and challenges. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 1868–1876 (2015) [^36]: Supančič, J.S., Rogez, G., Yang, Y., Shotton, J., Ramanan, D.: Depth-based hand pose estimation: methods, data, and challenges. Int. J. Comput. Vis. 126(11), 1180–1198 (2018) [^37]: Tang, D., Jin Chang, H., Tejani, A., Kim, T.K.: Latent regression forest: structured estimation of 3D articulated hand posture. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3786–3793 (2014) [^38]: Tang, D., et al.: Opening the black box: hierarchical sampling optimization for hand pose estimation. IEEE Trans. Pattern Anal. Mach. Intell. 41, 2161–2175 (2018) ## [^39]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM Trans. Graph. (ToG) 33(5), 169 (2014) --- [^40]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. Int. J. Comput. Vis. 118(2), 172–193 (2016) [^41]: Veličković, P., Cucurull, G., Casanova, A., Romero, A., Lio, P., Bengio, Y.: Graph attention networks. arXiv preprint arXiv:1710.10903 (2017) [^42]: Wan, C., Probst, T., Van Gool, L., Yao, A.: Crossing nets: combining GANs and VAEs with a shared latent space for hand pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 680–689 (2017) [^43]: Wan, C., Probst, T., Van Gool, L., Yao, A.: Dense 3D regression for hand pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5147–5156 (2018) 44. Wan, C., Yao, A., Van Gool, L.：基于局部表面法线的手部姿态估计。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS，第9907卷，第554–569页。Springer, Cham（2016年）。 [^45]: Xiong, F., et al.: A2J: anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 793–802 (2019) [^46]: Yan, S., Xiong, Y., Lin, D.: Spatial temporal graph convolutional networks for skeleton-based action recognition. In: Thirty-Second AAAI Conference on Artificial Intelligence (2018) 47. Ye, Q., Yuan, S., Kim, T.-K.：用于分层混合手部姿态估计的带部分PSO的空间注意力深度网络。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS，第9912卷，第346–361页。Springer, Cham（2016年）。 [^48]: Yuan, S., et al.: Depth-based 3D hand pose estimation: from current achievements to future goals. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2636–2645 (2018) [^49]: Yuan, S., Ye, Q., Garcia-Hernando, G., Kim, T.K.: The 2017 hands in the million challenge on 3D hand pose estimation. arXiv preprint arXiv:1707.02237 (2017) [^50]: Zhou, X., Wan, Q., Zhang, W., Xue, X., Wei, Y.: Model-based deep hand pose estimation. arXiv preprint arXiv:1606.06854 (2016)