# A2J：基于单张深度图像的三维关节姿态估计锚点至关节回归网络

熊富 $^{1*}$、张博深 $^{1*}$、肖阳 $^{1\dagger}$、曹志国 $^{1}$、于泰东 $^{1}$、周天翼 $^{2}$、袁军松 $^{3}$

 $^{1}$ 华中科技大学人工智能与自动化学院，多谱信息处理技术国家重点实验室

 $^{2}$ 新加坡科技研究局，高性能计算研究院

 $^{3}$ 纽约州立大学布法罗分校计算机科学与工程系：xiongfu、zhangbs、Yang_Xiao、zgcao、<mailto:taidongyu@hust.edu.cn>、<mailto:joey.tianyi.zhou@gmail.com>、<mailto:jsyuan@buffalo.edu>

## 摘要

针对深度图像中的三维手部和身体姿态估计任务，本文提出了一种名为锚点至关节回归网络（A2J）的新型基于锚点的方法，该方法具备端到端学习能力。在A2J中，能够捕捉全局-局部空间上下文信息的锚点被密集地设置在深度图像上，作为关节的局部回归器。这些锚点通过集成方式预测关节位置，从而提升模型的泛化能力。本文提出的三维关节姿态估计范式不同于现有的基于编码器-解码器的全卷积网络（FCN）、三维卷积神经网络以及基于点集的方法。为了发现针对特定关节的有效锚点，本文还为A2J提出了锚点候选生成流程。同时，本文采用二维卷积神经网络（即ResNet-50）作为骨干网络来驱动A2J，无需使用耗时的三维卷积或反卷积层。在3个手部数据集和2个身体数据集上的实验验证了A2J的优越性。此外，A2J的运行速度很快，在单块NVIDIA 1080Ti GPU上可达到约100帧/秒。

### 1. 引言

随着低成本深度相机的出现，基于单张深度图像的三维手部和身体姿态估计受到了计算机视觉领域的广泛关注，其在人机交互和增强现实等场景中有着广泛的应用前景 [^32] [^33]。尽管近期该领域取得了显著进展 [^20] [^42] [^26] [^18] [^19] [^7] [^33] [^50] [^41] [^3]，但由于姿态变化剧烈、不同关节间的相似性高、自遮挡等问题，它仍是一项具有挑战性的任务 [^20] [^42] [^37]。

![Image](images/f32c66150f2526896d2d367a52c40798922ceba51823e4c9bbb6996942073c11.jpg)

<div style="text-align: center;">Figure 1. The main idea of anchor-based 3D pose estimation paradigm within A2J. The densely set anchor points predict the positions of joints with weighted aggregation. The different joints possess the different informative anchor points of high weights (i.e., > 0.02), which reveals A2J's adaptive characteristics.</div>

目前大多数先进的三维手部和身体姿态估计方法都依赖于深度学习技术，但它们仍存在一些缺陷。首先，基于编码器-解码器的全卷积网络方法 [^2] [^43] [^27] [^4] [^42] [^41] [^26] 通常是针对不同关节使用非自适应的真实高斯热图进行训练，且计算开销较大。同时，其中大多数方法无法针对三维姿态估计任务进行完整的端到端训练 [^35]。其次，三维卷积神经网络 [^16] [^10] [^26] 由于卷积参数数量庞大，难以通过繁琐的体素化流程进行训练。此外，基于点集的方法 [^14] [^17] 需要一些额外耗时的预处理操作（如点采样）。

因此，我们试图解决三维手部和身体姿态估计问题……

---

我们采用一种新颖的基于锚点的方法来解决估计问题，该方法被称为Anchor-to-Joint回归网络（A2J）。所提出的A2J网络具备端到端学习能力。A2J的核心思想是通过聚合多个锚点的估计结果来预测3D关节位置，这一思路借鉴了集成学习理念以提升泛化能力。具体而言，锚点可视为从不同视角和距离指向关节的局部回归器；它们被密集地设置在深度图像上，以共同捕捉全局与局部的空间上下文信息。每个锚点都会对所有关节位置的回归做出贡献，但权重各不相同。通过聚合所有锚点的输出即可定位关节位置。由于不同关节可能共享相同的锚点，因此能够很好地保持它们之间的关节特性。

对于某个特定关节而言，并非所有锚点都能发挥同等作用。为此，我们提出了一种锚点筛选机制，通过权重分配来识别出针对该关节具有信息量的锚点。在训练过程中，我们同时考虑了锚点的估计误差以及这些有效锚点的空间布局因素。特别地，被选中的有效锚点会被鼓励均匀分布在对应关节周围，以此缓解过拟合现象。所提出的基于锚点的3D姿态估计范式的主要思路如图1所示。可以看出，不同关节通常拥有不同的有效锚点。此外，可见的“食指指尖”关节所拥有的有效锚点较少；而不可见的“食指中段”关节以及位于相对平坦区域的“手掌”关节则拥有更多有效锚点，以便捕捉更丰富的空间上下文信息。这实际上体现了A2J的自适应特性。

从技术层面讲，A2J网络由3个分支组成，这些分支由2D CNN骨干网络（即ResNet-50 [^21]）驱动，且不包含反卷积层。具体而言，这3个分支分别负责预测锚点与关节之间的平面偏移量、估计关节的深度值，以及筛选具有信息量的锚点。选择基于2D CNN构建A2J用于3D姿态估计的原因主要有三点：（1）深度图像中已包含3D信息，使用2D CNN仍能揭示原始深度图像数据的3D特征；（2）与3D CNN和点集网络相比，2D CNN可以在大规模数据集（如ImageNet [^9]）上进行预训练，从而有助于提升其对深度图像的视觉模式捕捉能力；（3）2D CNN运行效率较高，无需进行耗时的3D卷积运算及预处理步骤（如体素化和点采样）。

我们在3个手部数据集（即HANDS 2017 [^48]、NYU [^37]和ICVL [^36]）以及2个人体姿态数据集（即ITOP [^20]和K2HPD [^42]）上对A2J进行了实验，以验证其优越性。实验表明，无论是在3D手部还是人体姿态估计任务中，A2J在效果和效率方面均普遍优于现有最先进方法。同时，A2J能够在单块NVIDIA 1080Ti GPU上以约100 FPS的高速在线运行。

本文的主要贡献包括：

- A2J：一种基于锚点的回归网络，用于从单张深度图像中进行3D手部和人体姿态估计，具备端到端学习能力；

• 提出了一种有效的锚点筛选方法，该方法同时考虑了关节位置预测误差与锚点的空间布局因素；

- 采用不含反卷积层的2D CNN来驱动A2J，以确保其具备较高的运行效率。

A2J的代码可在<https://github.com/zhangboshen/A2J>获取。

### 2. 相关工作

现有的3D手部与人体姿态估计方法主要可分为非深度学习类和基于深度学习的两大类。目前最先进的非深度学习类方法[^33] [^22] [^13] [^46]通常遵循两步技术流程：先提取手工设计的特征，再进行分类或回归。其主要缺陷在于手工设计的特征往往代表性不足，这导致非深度学习方法的效果不如基于深度学习的方法。由于所提出的A2J属于深度学习范畴，接下来我们将分别从2D和3D深度学习两个角度介绍并探讨这一范式。

基于2D深度学习的方法。得益于端到端的工作方式，深度学习技术在视觉模式表征方面具有强大的拟合能力。2D CNN在2D姿态估计领域已取得巨大成功[^38] [^4] [^27] [^43] [^44]。近期它也被引入3D领域，采用全局回归[^18] [^19] [^29] [^28] [^7] [^15] [^20]或局部检测[^37] [^25] [^42] [^41] [^39]的方式。由于全连接层内的全局特征聚合操作，全局回归方式无法很好地保留局部空间上下文信息。性能表现优异的基于局部检测的范式通常选择通过编码器-解码器模型（如FCN）来解决这一问题，为各个关节设置局部热图。不过，热图设置对不同关节而言仍不具备适应性，而且反卷积操作十分耗时。此外，大多数基于编码器-解码器的方法无法完全进行端到端训练[^44]。

基于3D深度学习的方法。为了更有效地利用深度图像中的3D特性来提升性能，近期的研究趋势是采用3D深度学习技术。相关研究大致可分为基于3D CNN和基于点集的两大类。基于3D CNN的方法[^16] [^10] [^26]会将深度图像体素化，转化为三维表示形式（例如占用网格模型[^24]）。随后会执行3D卷积或反卷积操作来提取3D视觉特征。

---

![Image](images/919350ad309c9556a1e504550354d901c0dfa2d4be5a4af252d39807862e71c7.jpg)

<div style="text-align: center;">Figure 2. The main technical pipeline of A2J. A2J consists of backbone network and 3 functional branches. The backbone network is built on ResNet-50. And, the 3 branches are in-plain offset prediction branch, depth estimation branch, and anchor proposal branch.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Symbol</td><td style='text-align: center; word-wrap: break-word;'>Definition</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A</td><td style='text-align: center; word-wrap: break-word;'>Anchor point set.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>a</td><td style='text-align: center; word-wrap: break-word;'>Anchor point $a \in A$.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>J</td><td style='text-align: center; word-wrap: break-word;'>Joint set.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>j</td><td style='text-align: center; word-wrap: break-word;'>Joint $j \in J$.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>K</td><td style='text-align: center; word-wrap: break-word;'>Number of joints.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>S(a)</td><td style='text-align: center; word-wrap: break-word;'>In-plain position of anchor point a.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>P_j(a)</td><td style='text-align: center; word-wrap: break-word;'>Response of anchor a towards joint j.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>O_j(a)</td><td style='text-align: center; word-wrap: break-word;'>Predicted in-plain offset towards joint j from anchor point a.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>D_j(a)</td><td style='text-align: center; word-wrap: break-word;'>Predicted depth value of joint j by anchor point a.</td></tr></table>

<div style="text-align: center;">Table 1. Symbol definition within A2J.</div>

不过，由于卷积参数数量庞大，3D CNN相对较难调优。同时，3D体素化操作也会给内存存储和运行时间带来较大的计算负担。另一种3D深度学习方式是点集网络[^6] [^30]，它将深度图像转换为点云作为输入。然而，该方法需要执行一些耗时的步骤（例如点采样和KNN搜索）[^6] [^30]，这会削弱运行效率。

因此，A2J属于基于2D深度学习的类别。它利用密集锚点以集成方式捕捉全局-局部的空间上下文信息，无需使用计算开销大的反卷积层。2D CNN被用作骨干网络以保证高运行效率，同时也旨在迁移RGB领域的知识。

### 3. A2J：锚点-关节回归网络

A2J的主要技术流程如图2所示，A2J中的符号定义见表1。A2J由2D骨干网络（即ResNet-50）以及3个功能分支组成：平面内偏移估计分支、深度估计分支和锚点提议分支。这3个分支分别预测$O_j(a)$、$D_j(a)$和$P_j(a)$。

在A2J中，锚点会以$S_t = 4$像素的步长在输入深度图像上密集设置，以捕捉全局-局部的空间上下文信息，如图3所示。本质上，每个锚点都作为局部回归器，通过平面内偏移预测分支和深度估计分支来预测所有关节的3D位置。

![Image](images/331107c9be3605a0abd4968a6120544b194c59d4a6232650e0ec3ff969dcb370.jpg)

<div style="text-align: center;">Figure 3. The densely set anchor points on depth image. They will serve for predicting the positions of all joints in ensemble way.</div>

对于某个关节而言，最终的位置是通过汇总所有锚点的输出结果来确定的。由于并非所有锚点对特定关节的贡献程度都相同，因此会通过锚点提议分支为锚点分配权重，从而识别出具有信息量的锚点。最终，关节j的平面内位置和深度值可以表示为所有锚点输出的加权平均值：

 $$ \left\{\begin{array}{l}{\hat{S}_{j}=\displaystyle\sum_{a\in A}\tilde{P}_{j}\left(a\right)\left(S\left(a\right)+O_{j}\left(a\right)\right)}\\ {\hat{D}_{j}=\displaystyle\sum_{a\in A}\tilde{P}_{j}(a)D_{j}(a)}\\ \end{array}\right., $$

其中$\hat{S}_j$和$\hat{D}_j$分别表示关节j的估计平面内位置和深度值；$\tilde{P}_j(a)$可视为锚点a相对于关节j在所有锚点中的归一化权重，它通过softmax计算获得：

 $$ \tilde{P}_{j}(a)=\frac{e^{P_{j}(a)}}{\sum\limits_{a\in A}e^{P_{j}(a)}}. $$

值得注意的是，满足$\tilde{P}_{j}(a) > 0.02$条件的锚点a会被视为关节j的信息量丰富的锚点。所选出的这些信息量丰富的锚点能够体现出A2J的自适应特性，如图1所示。关节位置估计损失和锚点周围损失用于指导A2J的端到端训练。在两者的共同监督下，会挑选出围绕关节分布的信息量丰富的锚点，以增强模型的泛化能力。接下来，我们将详细介绍所提出的A2J回归网络及其学习过程。

---

#### 3.1. A2J回归网络

此处将分别详细介绍A2J中的3个功能分支和骨干网络。

#### 3.1.1 平面内偏移和深度估计分支

本质上，这两个分支的作用是预测关节的3D位置。由于平面内位置估计和深度估计的属性不同，我们选择将它们分开处理。具体来说，一个分支用于估计锚点与关节之间的$O_j(a)$，另一个分支用于估计关节的$D_j(a)$。如图4所示，它们基于骨干网络中回归主干的输出特征图来提取语义特征。随后设置了4个$3 \times 3$中间卷积层（包含BN和ReLU操作），以便在不缩小平面内尺寸的前提下聚合更丰富的局部上下文信息。由于特征图的平面内尺寸是输入深度图像的$16 \times$下采样结果（详见3.1.3节），且锚点设置的步长为$S_t = 4$（如图3所示），因此一个特征图点对应深度图像上的$4 \times 4 = 16$个锚点。接着设置一个输出卷积层，其平面内尺寸与特征图一致，按列方向对应全部16个相关锚点。假设存在K个关节，那么平面内偏移估计分支的输出通道数为$16 \times K \times 2$，深度估计分支的输出通道数为$16 \times K \times 1$。

#### 3.1.2 锚点提议分支

该分支通过权重分配（如公式2所示）来发现特定关节的信息性锚点。如图5所示，锚点预测分支基于骨干网络中公共主干的输出特征图，以获取较为精细的特征。正如3.1.1节介绍的两个分支一样，该分支设置了4个中间卷积层和1个输出卷积层，用于预测锚点的$P_j(a)$，同时不损失平面尺寸信息。因此，该分支的输出层具有$16 \times K \times 1$个通道。

#### 3.1.3 骨干网络架构

我们采用在ImageNet上预训练的ResNet-50 [^21]作为骨干网络。具体而言，第0至3层对应图2中的公共主干，第4层则对应回归主干。为使ResNet-50更适用于姿态估计，我们对其进行了一些修改：首先，将第4层的卷积步长设为1。这样一来，第4层的输出特征图在平面尺寸上仅为输入深度图像的$16\times$下采样结果。与下采样率为$32\times$的原始ResNet-50相比，这种方式能保留更多精细的空间信息。同时，

![Image](images/8a84830d0216bd587f35a882cf2e966c2c3610b6daf7e9de1d066b64daf65c94.jpg)

<div style="text-align: center;">Figure 4. In-plain offset and depth estimation branches. They both contain 4 intermediate convolutional layers with 256 channels, and 1 output convolutional layer (with  $16 \times K \times 2$ or  $16 \times K \times 1$ channels). W and H indicate width and height of the input depth image. d means dimensionality.</div>

![Image](images/9ca68cdb447bf6bc03e8b492ed1d1c4c6ccec119e66c4fb30bec0179a40e278c.jpg)

<div style="text-align: center;">Figure 5. Anchor proposal branch with 4 intermediate convolutional layers with 256 channels, and 1 output convolutional layer with  $16 \times K \times 1$ channels. W and H indicate width and height of the input depth image. d means dimensionality.</div>

第4层内的卷积操作被修改为扩张卷积，扩张率为2，以扩大感受野。

#### 3.2 A2J的学习流程

为生成A2J的输入，我们遵循[^26]的方法，利用中心点从深度图像中裁剪出手部的区域；对于人体姿态，我们遵循[^11]的方法，利用边界框裁剪出身体区域。对于关节j而言，平面目标$T_j^i$表示根据裁剪区域转换后的像素坐标下的2D真实值。为使$T_j^i$和深度目标$T_j^d$的数值量级可比，我们对关节j的真实深度$Z_j$进行如下转换：

 $$ T_{j}^{d}=\mu(Z_{j}-\theta), $$

其中$\mu$和$\theta$为转换参数。对于手部姿态，$\mu$设为1，$\theta$设为中心的深度值；对于人体姿态，$\mu$设为50，$\theta$设为0，因为我们没有深度中心信息。测试时，预测结果会被映射回世界坐标系。随后对A2J进行训练，

---

训练过程受两种损失函数的联合监督：关节位置估计损失和信息性锚点包围损失。接下来，我们将详细阐述这两种损失函数。

#### 3.2.1 关节位置估计损失

在A2J中，锚点作为局部回归器，以集成方式预测关节的3D位置。这一目标损失可表示为：

 $$ \begin{align*}l o s s_{1}&=\alpha\sum_{j\in J}L_{\tau_{1}}(\sum_{a\in A}\tilde{P}_{j}(a)(S(a)+O_{j}(a))-T^{i}_{j})\\&+\sum_{j\in J}L_{\tau_{2}}(\sum_{a\in A}\tilde{P}_{j}(a)D_{j}(a)-T^{d}_{j}),\end{align*} $$

其中$\alpha = 0.5$是用于平衡平面偏移和深度估计任务的系数；$T_j^i$和$T_j^d$分别为关节j的平面和目标深度位置；$L_\tau(\cdot)$是由$_{L1}$给出的平滑的[^31]类损失函数：

 $$ L_{\tau}(x)=\left\{\begin{array}{l l}{\frac{1}{2\tau}x^{2},}&{\mathrm{f o r~}|x|<\tau,}\\ {|x|-\frac{\tau}{2},}&{\mathrm{o t h e r w i s e}.}\end{array}\right. $$

在公式4中，由于深度值相对噪声较大，故将$\tau_1$设为1，$\tau_2$设为3。

#### 3.2.2 信息性锚点包围损失

为提升A2J的泛化能力，我们希望选出的信息性锚点能位于关节周围，从而能够同时从多个视角观察关节。因此，我们定义了信息性锚点包围损失如下：

 $$ l o s s_{2}=\sum_{j\in J}L_{\tau_{1}}(\sum_{a\in A}\tilde{P}_{j}(a)S(a)-T_{j}^{i}). $$

为了展示其有效性，我们在图6中分别展示了使用与不使用该方法的手部及人体姿态情况下的信息锚点空间布局。可以看出，信息锚点包围损失能够有效缓解视角偏差问题。其定量有效性也将在第4.3.1节中得到验证。

#### 3.2.3 端到端训练

上述两种损失函数共同监督A2J的端到端学习过程，其公式如下：

 $$ l o s s=\lambda l o s s_{1}+l o s s_{2}, $$

其中，loss表示总的损失；$\lambda = 3$是用于平衡$loss_{1}$与$loss_{2}$的权重因子。

![Image](images/726d33ad53ab3a388734ad4faa051fccd3d395c7de290314ef313bac0684b1df.jpg)

![Image](images/e64fb312b036d0d5e12cf215109c65240fabe9b664eb56d71f85db4418cbc7a4.jpg)

无包围损失

<div style="text-align: center;">(a) Hand cases from NYU dataset</div>

![Image](images/0d30d6d1bf52de623e063609a1ef7a3e8e82df4370bb04667b5c5fa922b6fdfe.jpg)

![Image](images/11ed43449d356191b081ae94c76a48df288a33d309e5f8786b756e1ad9f6ea07.jpg)

<div style="text-align: center;">(b) Body cases from ITOP front-view dataset</div>

<div style="text-align: center;">Figure 6. Effectiveness of anchor point surrounding loss. Grey dot denotes anchor point. Red dot indicates informative anchor point. Green arrow represents in-plain offset. Yellow square corresponds to ground-truth joint.</div>

### 4. 实验

#### 4.1. 实验设置

#### 4.1.1 数据集

HANDS 2017数据集[^48]。它包含从BigHand 2.2M[^49]和First-Person Hand Action[^48]数据集中采样的95.7万张训练深度图像和29.5万张测试深度图像。其真实标签为21个手部关节的3D坐标。

NYU手部姿态数据集[^37]。它包含7.2万张训练深度图像和8200张测试深度图像，对36个手部关节进行了3D标注。遵循[^7]、[^19]、[^18]、[^26]的做法，我们选取正面视图下的14个关节用于评估。

ITOP人体姿态数据集[^20]。它包含4万张训练深度图像和1万张测试深度图像，涵盖正面视图和俯视视图序列。每张深度图像都标注了人体的15个3D关节位置。

ICVL手部姿态数据集[^36]。它包含2.2万张训练深度图像和1500张测试深度图像。通过平面旋转操作，样本量扩充至33万。该数据集标注了16个手部关节。

K2HPD人体姿态数据集[^42]。它包含约10万张深度图像。以平面方式标注了19个人体关节。

#### 4.1.2 评估指标

对于手部姿态，采用平均3D距离误差和成功帧百分比指标[^26]作为评估标准。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>AVG</td><td style='text-align: center; word-wrap: break-word;'>SEEN</td><td style='text-align: center; word-wrap: break-word;'>UNSEEN</td><td style='text-align: center; word-wrap: break-word;'>FPS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Vanora [^47]</td><td style='text-align: center; word-wrap: break-word;'>11.91</td><td style='text-align: center; word-wrap: break-word;'>9.55</td><td style='text-align: center; word-wrap: break-word;'>13.89</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>THU VCLab [^8]</td><td style='text-align: center; word-wrap: break-word;'>11.70</td><td style='text-align: center; word-wrap: break-word;'>9.15</td><td style='text-align: center; word-wrap: break-word;'>13.83</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Oasis [^14]</td><td style='text-align: center; word-wrap: break-word;'>11.30</td><td style='text-align: center; word-wrap: break-word;'>8.86</td><td style='text-align: center; word-wrap: break-word;'>13.33</td><td style='text-align: center; word-wrap: break-word;'>48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RCN-3D [^47]</td><td style='text-align: center; word-wrap: break-word;'>9.97</td><td style='text-align: center; word-wrap: break-word;'>7.55</td><td style='text-align: center; word-wrap: break-word;'>12.00</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>V2V $^{*}$ [^26]</td><td style='text-align: center; word-wrap: break-word;'>9.95</td><td style='text-align: center; word-wrap: break-word;'>6.97</td><td style='text-align: center; word-wrap: break-word;'>12.43</td><td style='text-align: center; word-wrap: break-word;'>3.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.57</td><td style='text-align: center; word-wrap: break-word;'>6.92</td><td style='text-align: center; word-wrap: break-word;'>9.95</td><td style='text-align: center; word-wrap: break-word;'>105.06</td></tr></table>

<div style="text-align: center;">Table 2. Performance comparison on HANDS 2017 dataset [^48]. "SEEN" and "UNSEEN" denote the cases whether the test subjects are involved in training set. "AVG" indicates the result over all subjects. And, "*" means the ensemble of 10 models.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>Mean error (mm)</td><td style='text-align: center; word-wrap: break-word;'>FPS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DISCO [^1]</td><td style='text-align: center; word-wrap: break-word;'>20.7</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hand3D [^10]</td><td style='text-align: center; word-wrap: break-word;'>17.6</td><td style='text-align: center; word-wrap: break-word;'>30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DeepModel [^51]</td><td style='text-align: center; word-wrap: break-word;'>17.04</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>JTSC [^12]</td><td style='text-align: center; word-wrap: break-word;'>16.8</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Global-to-Local [^23]</td><td style='text-align: center; word-wrap: break-word;'>15.60</td><td style='text-align: center; word-wrap: break-word;'>50</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Lie-X [^45]</td><td style='text-align: center; word-wrap: break-word;'>14.51</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>REN-4x6x6 [^18]</td><td style='text-align: center; word-wrap: break-word;'>13.39</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>REN-9x6x6 [^18]</td><td style='text-align: center; word-wrap: break-word;'>12.69</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DeepPrior++ [^28]</td><td style='text-align: center; word-wrap: break-word;'>12.24</td><td style='text-align: center; word-wrap: break-word;'>30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pose-REN [^7]</td><td style='text-align: center; word-wrap: break-word;'>11.81</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandPointNet [^14]</td><td style='text-align: center; word-wrap: break-word;'>10.5</td><td style='text-align: center; word-wrap: break-word;'>48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DenseReg [^39]</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>27.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>V2V [^26]</td><td style='text-align: center; word-wrap: break-word;'>9.22</td><td style='text-align: center; word-wrap: break-word;'>35</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>P2P [^17]</td><td style='text-align: center; word-wrap: break-word;'>9.045</td><td style='text-align: center; word-wrap: break-word;'>41.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.61</td><td style='text-align: center; word-wrap: break-word;'>105.06</td></tr></table>

<div style="text-align: center;">Table 3. Performance comparison on NYU dataset [^37]. "Mean error" indicates the average 3D distance error.</div>

对于人体姿态，采用检测关节百分比（PDJ）[^42]、[^20]以及基于10厘米规则的平均精度均值（mAP）[^42]、[^20]作为评估指标。

#### 4.1.3 实现细节

A2J网络基于PyTorch实现。输入的深度图像会被裁剪并调整至固定分辨率（手部为$176 \times 176$，人体为$288 \times 288$）。数据增强环节会执行随机平面旋转以及平面和深度维度的随机缩放操作。此外，还有50%的概率会随机添加高斯噪声以实现数据增强。我们选用Adam作为优化器，所有情况下学习率均设为0.00035，权重衰减系数为0.0001。A2J在NYU数据集上训练34个周期，每10个周期学习率衰减为原来的0.1；在ICVL和HANDS 2017数据集上训练17个周期，每7个周期学习率衰减为原来的0.1。对于两个人体数据集，训练周期设为26个，每10个周期学习率衰减为原来的0.1。

#### 4.2. 与现有最先进方法的比较

HANDS 2017数据集：我们特别将A2J与当前最先进的3D手部姿态估计方法进行了比较[^47] [^8] [^14] [^26]。性能对比结果列于表2中。可以看出：

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>Mean error (mm)</td><td style='text-align: center; word-wrap: break-word;'>FPS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LRF [^36]</td><td style='text-align: center; word-wrap: break-word;'>12.58</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DeepModel [^51]</td><td style='text-align: center; word-wrap: break-word;'>11.56</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hand3D [^10]</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CrossingNets [^40]</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>90.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cascade [^34]</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>JTSC [^12]</td><td style='text-align: center; word-wrap: break-word;'>9.16</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DeepPrior++ [^28]</td><td style='text-align: center; word-wrap: break-word;'>8.1</td><td style='text-align: center; word-wrap: break-word;'>30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>REN-4x6x6 [^18]</td><td style='text-align: center; word-wrap: break-word;'>7.63</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>REN-9x6x6 [^18]</td><td style='text-align: center; word-wrap: break-word;'>7.31</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DenseReg [^39]</td><td style='text-align: center; word-wrap: break-word;'>7.3</td><td style='text-align: center; word-wrap: break-word;'>27.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pose-REN [^7]</td><td style='text-align: center; word-wrap: break-word;'>6.79</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandPointNet [^14]</td><td style='text-align: center; word-wrap: break-word;'>6.935</td><td style='text-align: center; word-wrap: break-word;'>48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>P2P [^17]</td><td style='text-align: center; word-wrap: break-word;'>6.328</td><td style='text-align: center; word-wrap: break-word;'>41.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>V2V $^{{*}}$ [^26]</td><td style='text-align: center; word-wrap: break-word;'>6.286</td><td style='text-align: center; word-wrap: break-word;'>3.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td><td style='text-align: center; word-wrap: break-word;'>6.461</td><td style='text-align: center; word-wrap: break-word;'>105.06</td></tr></table>

<div style="text-align: center;">Table 4. Performance comparison on ICVL dataset [^36]. “Mean error” indicates the average 3D distance error.</div>

• 在这个具有挑战性的百万级数据集上，无论从有效性还是效率角度而言，A2J都始终优于其他方法。这充分验证了我们所提出方法的优越性；

• 值得注意的是，对于“未见过的”测试样本，A2J的性能显著优于其他算法，差距至少为2.05。这一现象本质上体现了A2J的泛化能力；

• V2V $^{*}$是A2J最强的竞争者，但它需要集成10个模型。因此，相较于仅使用单个模型的A2J，其运行速度要慢得多。

NYU和ICVL数据集：我们专门在这两个数据集上将A2J与当前最先进的3D手部姿态估计方法进行比较[^36] [^1] [^34] [^28] [^51] [^12] [^10] [^45] [^19] [^18] [^40] [^7] [^23] [^39] [^14] [^17] [^26]。实验结果以平均3D距离误差的形式展示在表3和表4中。同时，不同误差阈值下的成功帧百分比以及各关节的误差也在图7中给出。我们可以总结出：

• 在大多数情况下，A2J在准确性和效率方面均优于其他方法。唯一的例外是，在ICVL数据集上，A2J在准确性方面略逊于V2V $^{*}$和P2P，但其运行效率却高得多；

- 就有效性与效率之间的良好平衡而言，A2J本质上优于当前最先进的3D手部姿态估计方法。

ITOP数据集：我们也在该数据集上将A2J与当前最先进的3D人体姿态估计方法进行比较[^33] [^50] [^5] [^20] [^18] [^41] [^26]。性能对比结果列于表5中。可以看出：

- 除了V2V*外，A2J在前视图和顶视图跟踪任务中均显著优于其他算法。前视图情况下的性能差距至少为3.1，顶视图情况下至少为5。这表明A2J不仅适用于3D手部任务，也适用于3D人体姿态估计；

• 虽然A2J的性能略逊于V2V*，但V2V*实际上是由10个模型集成而成的。因此，与仅使用单个模型的A2J相比，

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="8">mAP (front-view)</td><td colspan="7">mAP (top-view)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RF [^33]</td><td style='text-align: center; word-wrap: break-word;'>RTW [^50]</td><td style='text-align: center; word-wrap: break-word;'>IEF [^5]</td><td style='text-align: center; word-wrap: break-word;'>VI [^20]</td><td style='text-align: center; word-wrap: break-word;'>CMB [^41]</td><td style='text-align: center; word-wrap: break-word;'>REN-9x6x6 [^18]</td><td style='text-align: center; word-wrap: break-word;'>V2V $^{*}$ [^26]</td><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td><td style='text-align: center; word-wrap: break-word;'>RF [^33]</td><td style='text-align: center; word-wrap: break-word;'>RTW [^50]</td><td style='text-align: center; word-wrap: break-word;'>IEF [^5]</td><td style='text-align: center; word-wrap: break-word;'>VI [^20]</td><td style='text-align: center; word-wrap: break-word;'>REN-9x6x6 [^18]</td><td style='text-align: center; word-wrap: break-word;'>V2V $^{*}$ [^26]</td><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Head</td><td style='text-align: center; word-wrap: break-word;'>63.8</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>96.2</td><td style='text-align: center; word-wrap: break-word;'>98.1</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>98.7</td><td style='text-align: center; word-wrap: break-word;'>98.29</td><td style='text-align: center; word-wrap: break-word;'>98.54</td><td style='text-align: center; word-wrap: break-word;'>95.4</td><td style='text-align: center; word-wrap: break-word;'>98.4</td><td style='text-align: center; word-wrap: break-word;'>83.8</td><td style='text-align: center; word-wrap: break-word;'>98.1</td><td style='text-align: center; word-wrap: break-word;'>98.2</td><td style='text-align: center; word-wrap: break-word;'>98.4</td><td style='text-align: center; word-wrap: break-word;'>98.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Neck</td><td style='text-align: center; word-wrap: break-word;'>86.4</td><td style='text-align: center; word-wrap: break-word;'>95.8</td><td style='text-align: center; word-wrap: break-word;'>85.2</td><td style='text-align: center; word-wrap: break-word;'>97.5</td><td style='text-align: center; word-wrap: break-word;'>98.5</td><td style='text-align: center; word-wrap: break-word;'>99.4</td><td style='text-align: center; word-wrap: break-word;'>99.07</td><td style='text-align: center; word-wrap: break-word;'>99.20</td><td style='text-align: center; word-wrap: break-word;'>98.5</td><td style='text-align: center; word-wrap: break-word;'>82.2</td><td style='text-align: center; word-wrap: break-word;'>50.0</td><td style='text-align: center; word-wrap: break-word;'>97.6</td><td style='text-align: center; word-wrap: break-word;'>98.9</td><td style='text-align: center; word-wrap: break-word;'>98.91</td><td style='text-align: center; word-wrap: break-word;'>98.91</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Shoulders</td><td style='text-align: center; word-wrap: break-word;'>83.3</td><td style='text-align: center; word-wrap: break-word;'>94.1</td><td style='text-align: center; word-wrap: break-word;'>77.2</td><td style='text-align: center; word-wrap: break-word;'>96.5</td><td style='text-align: center; word-wrap: break-word;'>75.9</td><td style='text-align: center; word-wrap: break-word;'>96.1</td><td style='text-align: center; word-wrap: break-word;'>97.18</td><td style='text-align: center; word-wrap: break-word;'>96.23</td><td style='text-align: center; word-wrap: break-word;'>89.0</td><td style='text-align: center; word-wrap: break-word;'>91.8</td><td style='text-align: center; word-wrap: break-word;'>67.3</td><td style='text-align: center; word-wrap: break-word;'>96.1</td><td style='text-align: center; word-wrap: break-word;'>96.6</td><td style='text-align: center; word-wrap: break-word;'>96.87</td><td style='text-align: center; word-wrap: break-word;'>96.26</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Elbows</td><td style='text-align: center; word-wrap: break-word;'>73.2</td><td style='text-align: center; word-wrap: break-word;'>77.9</td><td style='text-align: center; word-wrap: break-word;'>45.4</td><td style='text-align: center; word-wrap: break-word;'>73.3</td><td style='text-align: center; word-wrap: break-word;'>62.7</td><td style='text-align: center; word-wrap: break-word;'>74.7</td><td style='text-align: center; word-wrap: break-word;'>80.42</td><td style='text-align: center; word-wrap: break-word;'>78.92</td><td style='text-align: center; word-wrap: break-word;'>57.4</td><td style='text-align: center; word-wrap: break-word;'>80.1</td><td style='text-align: center; word-wrap: break-word;'>40.2</td><td style='text-align: center; word-wrap: break-word;'>86.2</td><td style='text-align: center; word-wrap: break-word;'>74.4</td><td style='text-align: center; word-wrap: break-word;'>79.16</td><td style='text-align: center; word-wrap: break-word;'>75.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hands</td><td style='text-align: center; word-wrap: break-word;'>51.3</td><td style='text-align: center; word-wrap: break-word;'>70.5</td><td style='text-align: center; word-wrap: break-word;'>30.9</td><td style='text-align: center; word-wrap: break-word;'>68.7</td><td style='text-align: center; word-wrap: break-word;'>84.4</td><td style='text-align: center; word-wrap: break-word;'>55.2</td><td style='text-align: center; word-wrap: break-word;'>67.26</td><td style='text-align: center; word-wrap: break-word;'>68.35</td><td style='text-align: center; word-wrap: break-word;'>49.1</td><td style='text-align: center; word-wrap: break-word;'>76.9</td><td style='text-align: center; word-wrap: break-word;'>39.0</td><td style='text-align: center; word-wrap: break-word;'>85.5</td><td style='text-align: center; word-wrap: break-word;'>50.7</td><td style='text-align: center; word-wrap: break-word;'>62.44</td><td style='text-align: center; word-wrap: break-word;'>59.35</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Torso</td><td style='text-align: center; word-wrap: break-word;'>65.0</td><td style='text-align: center; word-wrap: break-word;'>93.8</td><td style='text-align: center; word-wrap: break-word;'>84.7</td><td style='text-align: center; word-wrap: break-word;'>85.6</td><td style='text-align: center; word-wrap: break-word;'>96.0</td><td style='text-align: center; word-wrap: break-word;'>98.7</td><td style='text-align: center; word-wrap: break-word;'>98.73</td><td style='text-align: center; word-wrap: break-word;'>98.52</td><td style='text-align: center; word-wrap: break-word;'>80.5</td><td style='text-align: center; word-wrap: break-word;'>68.2</td><td style='text-align: center; word-wrap: break-word;'>30.5</td><td style='text-align: center; word-wrap: break-word;'>72.9</td><td style='text-align: center; word-wrap: break-word;'>98.1</td><td style='text-align: center; word-wrap: break-word;'>97.78</td><td style='text-align: center; word-wrap: break-word;'>97.82</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hips</td><td style='text-align: center; word-wrap: break-word;'>50.8</td><td style='text-align: center; word-wrap: break-word;'>90.3</td><td style='text-align: center; word-wrap: break-word;'>83.5</td><td style='text-align: center; word-wrap: break-word;'>72.0</td><td style='text-align: center; word-wrap: break-word;'>87.9</td><td style='text-align: center; word-wrap: break-word;'>91.8</td><td style='text-align: center; word-wrap: break-word;'>93.23</td><td style='text-align: center; word-wrap: break-word;'>90.85</td><td style='text-align: center; word-wrap: break-word;'>20.0</td><td style='text-align: center; word-wrap: break-word;'>55.7</td><td style='text-align: center; word-wrap: break-word;'>38.9</td><td style='text-align: center; word-wrap: break-word;'>61.2</td><td style='text-align: center; word-wrap: break-word;'>85.5</td><td style='text-align: center; word-wrap: break-word;'>86.91</td><td style='text-align: center; word-wrap: break-word;'>86.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Knees</td><td style='text-align: center; word-wrap: break-word;'>65.7</td><td style='text-align: center; word-wrap: break-word;'>68.8</td><td style='text-align: center; word-wrap: break-word;'>81.8</td><td style='text-align: center; word-wrap: break-word;'>69.0</td><td style='text-align: center; word-wrap: break-word;'>84.4</td><td style='text-align: center; word-wrap: break-word;'>89.0</td><td style='text-align: center; word-wrap: break-word;'>91.80</td><td style='text-align: center; word-wrap: break-word;'>90.75</td><td style='text-align: center; word-wrap: break-word;'>2.6</td><td style='text-align: center; word-wrap: break-word;'>53.9</td><td style='text-align: center; word-wrap: break-word;'>54.0</td><td style='text-align: center; word-wrap: break-word;'>51.6</td><td style='text-align: center; word-wrap: break-word;'>70.0</td><td style='text-align: center; word-wrap: break-word;'>83.28</td><td style='text-align: center; word-wrap: break-word;'>79.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Feet</td><td style='text-align: center; word-wrap: break-word;'>61.3</td><td style='text-align: center; word-wrap: break-word;'>68.4</td><td style='text-align: center; word-wrap: break-word;'>80.9</td><td style='text-align: center; word-wrap: break-word;'>60.8</td><td style='text-align: center; word-wrap: break-word;'>83.8</td><td style='text-align: center; word-wrap: break-word;'>81.1</td><td style='text-align: center; word-wrap: break-word;'>87.60</td><td style='text-align: center; word-wrap: break-word;'>86.91</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>28.7</td><td style='text-align: center; word-wrap: break-word;'>62.4</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>41.6</td><td style='text-align: center; word-wrap: break-word;'>69.62</td><td style='text-align: center; word-wrap: break-word;'>58.34</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>mean</td><td style='text-align: center; word-wrap: break-word;'>65.8</td><td style='text-align: center; word-wrap: break-word;'>80.5</td><td style='text-align: center; word-wrap: break-word;'>71.0</td><td style='text-align: center; word-wrap: break-word;'>77.4</td><td style='text-align: center; word-wrap: break-word;'>83.3</td><td style='text-align: center; word-wrap: break-word;'>84.9</td><td style='text-align: center; word-wrap: break-word;'>88.74</td><td style='text-align: center; word-wrap: break-word;'>88.0</td><td style='text-align: center; word-wrap: break-word;'>47.4</td><td style='text-align: center; word-wrap: break-word;'>68.2</td><td style='text-align: center; word-wrap: break-word;'>51.2</td><td style='text-align: center; word-wrap: break-word;'>75.5</td><td style='text-align: center; word-wrap: break-word;'>75.5</td><td style='text-align: center; word-wrap: break-word;'>83.44</td><td style='text-align: center; word-wrap: break-word;'>80.5</td></tr></table>

<div style="text-align: center;">Table 5. Performance comparison on ITOP 3D body pose estimation dataset [^20].</div>

![Image](images/a0a5ec0d2cb0d1b6da5b07b90b1e8a9b9f5d1dc6dcc436eadc9323e57e31b8cc.jpg)

![Image](images/2bcae7c351d35dc980a7b30930f70c6f5b1375631e1b509a61786d56735f6eef.jpg)

![Image](images/6325f53e9fc8a446780a78adb57643f180dc3d938b697b64c1f08734fd6d6c62.jpg)

![Image](images/4ee67535f20c18173bd786d03a83b2e7e834d8a82f5b7667ba569b7cf6591552.jpg)

<div style="text-align: center;">Figure 7. Comparison of A2J with state-of-the-art methods. Left: the percentage of success frames over different error thresholds. Right: 3D distance errors per hand keypoints. Top: NYU dataset. Bottom: ICVL dataset.</div>

其运行效率要低得多。

K2HPD数据集：由于该人体姿态数据集仅提供像素级的平面真实值，因此相应地移除了A2J中的深度估计分支。我们也将A2J与当前最先进的方法进行比较[^2] [^43] [^27] [^42] [^41]。性能对比结果见表6。可以看出：

• 无论对应何种PDJ阈值，A2J始终能以较大优势胜过其他方法。平均而言，性能差距至少为10.8。这表明A2J同样适用于2D场景；

• 值得注意的是，随着PDJ阈值的降低，A2J的优势会显著扩大。这反映出A2J本质上优于更精确的人体姿态估计方法。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>PHR [^2]</td><td style='text-align: center; word-wrap: break-word;'>CPM [^43]</td><td style='text-align: center; word-wrap: break-word;'>SH [^27]</td><td style='text-align: center; word-wrap: break-word;'>IEML [^42]</td><td style='text-align: center; word-wrap: break-word;'>CMB [^41]</td><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PDJ (0.05)</td><td style='text-align: center; word-wrap: break-word;'>26.8</td><td style='text-align: center; word-wrap: break-word;'>30.0</td><td style='text-align: center; word-wrap: break-word;'>41.0</td><td style='text-align: center; word-wrap: break-word;'>43.2</td><td style='text-align: center; word-wrap: break-word;'>52.5</td><td style='text-align: center; word-wrap: break-word;'>76.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PDJ (0.10)</td><td style='text-align: center; word-wrap: break-word;'>70.3</td><td style='text-align: center; word-wrap: break-word;'>58.5</td><td style='text-align: center; word-wrap: break-word;'>73.7</td><td style='text-align: center; word-wrap: break-word;'>64.1</td><td style='text-align: center; word-wrap: break-word;'>84.2</td><td style='text-align: center; word-wrap: break-word;'>94.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PDJ (0.15)</td><td style='text-align: center; word-wrap: break-word;'>84.7</td><td style='text-align: center; word-wrap: break-word;'>87.8</td><td style='text-align: center; word-wrap: break-word;'>84.6</td><td style='text-align: center; word-wrap: break-word;'>88.1</td><td style='text-align: center; word-wrap: break-word;'>91.7</td><td style='text-align: center; word-wrap: break-word;'>97.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PDJ (0.20)</td><td style='text-align: center; word-wrap: break-word;'>91.3</td><td style='text-align: center; word-wrap: break-word;'>93.6</td><td style='text-align: center; word-wrap: break-word;'>89.0</td><td style='text-align: center; word-wrap: break-word;'>91.0</td><td style='text-align: center; word-wrap: break-word;'>95.1</td><td style='text-align: center; word-wrap: break-word;'>98.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>68.3</td><td style='text-align: center; word-wrap: break-word;'>67.5</td><td style='text-align: center; word-wrap: break-word;'>72.1</td><td style='text-align: center; word-wrap: break-word;'>71.6</td><td style='text-align: center; word-wrap: break-word;'>80.9</td><td style='text-align: center; word-wrap: break-word;'>91.7</td></tr></table>

<div style="text-align: center;">Table 6. Performance comparison on K2HPD dataset [^42].</div>

#### 4.3. 消融实验

#### 4.3.1 组件有效性分析

我们在NYU [^37]（手部）和ITOP [^20] 数据集（身体）上开展了A2J的组件有效性分析。我们将探究锚点提议分支、信息性锚点周围损失函数，以及平面偏移与深度估计分支的配置所带来的效果。相关结果列于表7中。可以看出：

• 若不采用锚点提议分支，性能会显著下降，尤其是身体姿态估计方面。这验证了我们的观点：并非所有锚点对特定关节的贡献程度都相同。实际上，锚点的适应性正是A2J提升性能的关键特性；

• 若不采用信息性锚点周围损失函数，性能也会下降，尤其是身体姿态估计方面。这表明信息性锚点的空间布局是影响模型泛化能力的重要考量因素；

• 若将平面偏移与深度值的估计任务放在同一个分支中执行，性能会在一定程度上下降。这可能是由于平面偏移与深度值具有不同的物理特性所致。

#### 4.3.2 基于锚点的范式有效性验证

为了验证基于锚点的3D姿态估计范式的有效性，我们将A2J与基于全局回归的方法 [^38] 以及基于FCN的方法 [^44] 进行对比。由于FCN模型通常用于预测平面关节位置，因此本次消融实验在仅包含平面真实标注的K2HPD数据集 [^42] 上进行。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Component</td><td style='text-align: center; word-wrap: break-word;'>error / mAP</td></tr><tr><td rowspan="4">NYU\n(hand)</td><td style='text-align: center; word-wrap: break-word;'>w/o anchor proposal branch</td><td style='text-align: center; word-wrap: break-word;'>10.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o informative anchor point surrounding loss</td><td style='text-align: center; word-wrap: break-word;'>9.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Estimate IPO and DV using one branch</td><td style='text-align: center; word-wrap: break-word;'>8.95</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.61</td></tr><tr><td rowspan="4">ITOP\nfront-view\n(body pose)</td><td style='text-align: center; word-wrap: break-word;'>w/o anchor proposal branch</td><td style='text-align: center; word-wrap: break-word;'>80.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o informative anchor point surrounding loss</td><td style='text-align: center; word-wrap: break-word;'>86.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Estimate IPO and DV using one branch</td><td style='text-align: center; word-wrap: break-word;'>87.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td><td style='text-align: center; word-wrap: break-word;'>88.0</td></tr></table>

<div style="text-align: center;">Table 7. Component effectiveness analysis within A2J. "IPO" indicates in-plain offset, and "DV" denotes depth value.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Paradigm</td><td style='text-align: center; word-wrap: break-word;'>Global regression [^38]</td><td style='text-align: center; word-wrap: break-word;'>FCN model [^44]</td><td style='text-align: center; word-wrap: break-word;'>A2J (Ours)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PDJ (0.05)</td><td style='text-align: center; word-wrap: break-word;'>61.5</td><td style='text-align: center; word-wrap: break-word;'>70.4</td><td style='text-align: center; word-wrap: break-word;'>76.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FPS</td><td style='text-align: center; word-wrap: break-word;'>145.12</td><td style='text-align: center; word-wrap: break-word;'>45.48</td><td style='text-align: center; word-wrap: break-word;'>93.78</td></tr></table>

<div style="text-align: center;">Table 8. Performance comparison among the different paradigms on K2HPD dataset [^42].</div>

基于平面的真实标注数据。全局回归方法利用2D CNN对深度图像进行编码，再通过全连接层回归平面人体关节位置。FCN模型的构建遵循 [^44] 的设计。为公平比较，它们均采用ResNet-50 [^21] 作为骨干网络，与A2J保持一致。评估标准为PDJ（0.05）。性能对比结果列于表8中。可以看出：

• 在使用相同的ResNet50骨干网络时，我们提出的基于锚点的范式明显优于另外两种范式。我们认为主要有两个原因：首先，与基于全局回归的方法相比，A2J能更好地保留局部空间上下文信息；同时，与FCN模型相比，A2J针对特定关节具备锚点适应性；

• A2J的运行速度比FCN模型快，但慢于全局回归方式。不过，它相对于全局回归范式的性能优势十分显著，实际上在有效性与效率之间取得了更好的平衡。

#### 4.3.3 预训练的有效性验证

我们选择基于2D CNN构建A2J的原因之一是它可以在大规模RGB视觉数据集（如ImageNet）上进行预训练，从而实现知识迁移。为验证这一点，我们比较了在NYU（手部）和ITOP（身体）数据集上，经过ImageNet预训练的A2J与未经过预训练的A2J的性能差异。性能对比结果列于表9中。可以看出，无论是手部还是身体姿态估计场景，在ImageNet上对A2J进行预训练确实有助于提升其性能。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Pre-train</td><td style='text-align: center; word-wrap: break-word;'>From scratch</td><td style='text-align: center; word-wrap: break-word;'>ImageNet pre-training</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NYU (error)</td><td style='text-align: center; word-wrap: break-word;'>10.08</td><td style='text-align: center; word-wrap: break-word;'>8.61</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ITOP front-view (mAP)</td><td style='text-align: center; word-wrap: break-word;'>87.3</td><td style='text-align: center; word-wrap: break-word;'>88.0</td></tr></table>

<div style="text-align: center;">Table 9. Effectiveness of pre-training A2J on ImageNet.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Backbone</td><td style='text-align: center; word-wrap: break-word;'>ResNet-18</td><td style='text-align: center; word-wrap: break-word;'>ResNet-34</td><td style='text-align: center; word-wrap: break-word;'>ResNet-50</td></tr><tr><td rowspan="2">NYU</td><td style='text-align: center; word-wrap: break-word;'>error</td><td style='text-align: center; word-wrap: break-word;'>9.32</td><td style='text-align: center; word-wrap: break-word;'>9.01</td><td style='text-align: center; word-wrap: break-word;'>8.61</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FPS</td><td style='text-align: center; word-wrap: break-word;'>192.25</td><td style='text-align: center; word-wrap: break-word;'>144.63</td><td style='text-align: center; word-wrap: break-word;'>105.06</td></tr><tr><td rowspan="2">ITOP front-view</td><td style='text-align: center; word-wrap: break-word;'>mAP</td><td style='text-align: center; word-wrap: break-word;'>87.1</td><td style='text-align: center; word-wrap: break-word;'>87.8</td><td style='text-align: center; word-wrap: break-word;'>88.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FPS</td><td style='text-align: center; word-wrap: break-word;'>167.19</td><td style='text-align: center; word-wrap: break-word;'>122.47</td><td style='text-align: center; word-wrap: break-word;'>93.78</td></tr></table>

<div style="text-align: center;">Table 10. Performance comparison among the backbones.</div>

#### 4.3.4 骨干网络对比

我们对不同骨干网络之间的性能差异进行了进一步研究。如表10所示，我们对比了三种骨干网络（即ResNet-18、ResNet-34和ResNet-50）的性能。可以总结出以下几点：

• 网络越深，性能往往越好，但运行效率相对较低。不过不同骨干网络之间的性能差距并不大；

• 值得注意的是，即便使用ResNet-18，A2J仍能普遍取得最先进的性能，且运行速度极快，可达192.25 FPS。这一结果凸显了A2J在要求高实时性的应用场景中的适用性。

#### 4.4. 定性评估

图8展示了A2J在NYU [^37]数据集和ITOP（正面视图）[^20]数据集上的一些定性结果。可以看出，A2J在3D手部姿态和人体姿态估计方面均表现良好。出现误差的情况主要是由于严重的自遮挡和大幅度的姿态变化导致的。

#### 4.5. 运行速度分析

A2J进行3D手部姿态估计的平均在线运行速度为105.06 FPS，其中读取并变换图像耗时1.5毫秒，网络前向传播及后处理耗时8.0毫秒，该测试是在单块NVIDIA 1080Ti GPU上完成的。3D人体姿态估计的运行速度为93.78 FPS，其中读取并变换图像耗时0.4毫秒，网络前向传播及后处理耗时10.2毫秒。这些数据都体现了A2J的实时运行能力。

### 5. 结论

本文提出了一种针对单张深度图像的基于锚点的3D关节姿态估计方法，命名为A2J。在A2J中，会在深度图像上密集设置锚点，以捕捉全局与局部的空间上下文信息，并以集成的方式预测关节位置。同时，还会提取具有代表性的锚点来揭示……

---

![Image](images/191da93e6ba6e8ab00c56ede6bdb1dd07de457233db1482c5aa92fe7e6395734.jpg)

<div style="text-align: center;">(a) Qualitative results on NYU dataset</div>

![Image](images/54460001ff89fd1a21462a71261423055202bfaeeb2fca54d6d12accdea2a7f8.jpg)

<div style="text-align: center;">(b) Qualitative results on ITOP front-view dataset</div>

<div style="text-align: center;">Figure 8. Qualitative results of A2J. Ground-truth is shown in red, and the predicted pose is in yellow.</div>

A2J针对不同关节的自适应特性。A2J基于2D CNN构建，无需使用计算开销较大的反卷积层。大量实验结果表明，A2J在有效性和效率两方面均具备优势。在未来的工作中，我们将探索更有效的锚点融合方式。

## 致谢

本研究得到了国家重点研发计划（项目编号：2018YFB1004600）、国家自然科学基金（项目编号：61876211和61602193）、中央高校基本科研业务费（项目编号：2019kfyXKJC024）、湖北省国际科技合作计划（项目编号：2017AHB051）以及布法罗大学启动经费的共同支持。周天一研究员的研究得到了新加坡政府研究、创新与企业2020计划（先进制造与工程领域）下项目A1687b0033和A18A1b0045的资助。我们也要感谢匿名审稿人为提升本文质量提出的宝贵建议。

## 参考文献

[^1]: Diane Bouchacourt, Pawan K Mudigonda, and Sebastian Nowozin. Disco nets: Dissimilarity coefficients networks. In Proc. Advances in Neural Information Processing Systems (NIPS), pages 352–360, 2016. 6

[^2]: Adrian Bulat and Georgios Tzimiropoulos. Human pose estimation via convolutional part heatmap regression. In Proc. European Conference on Computer Vision (ECCV), pages 717–732, 2016. 1,7

[^3]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In Proc. IEEE International Conference on Computer Vision (ICCV), 2019. 1

[^4]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 7291–7299, 2017. 1,2

[^5]: Joao Carreira, Pulkit Agrawal, Katerina Fragkiadaki, and Jitendra Malik. Human pose estimation with iterative error feedback. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4733–4742, 2016. 6,7

[^6]: R Qi Charles, Hao Su, Mo Kaichun, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 77–85, 2017. 3

[^7]: Xinghao Chen, Guijin Wang, Hengkai Guo, and Cairong Zhang. Pose guided structured region ensemble network for cascaded hand pose estimation. arXiv preprint arXiv:1708.03416, 2017. 1, 2, 5, 6

[^8]: Xinghao Chen, Guijin Wang, Hengkai Guo, and Cairong Zhang. Pose guided structured region ensemble network for cascaded hand pose estimation. arXiv preprint arXiv:1708.03416, 2017. 6

[^9]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 248–255, 2009. 2

[^10]: Xiaoming Deng, Shuo Yang, Yinda Zhang, Ping Tan, Liang Chang, and Hongan Wang. Hand3d: Hand pose estimation using 3d neural network. arXiv preprint arXiv:1704.02224, 2017. 1, 2, 6

[^11]: Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, and Cewu Lu. Rmpe: Regional multi-person pose estimation. In Proc. IEEE International Conference on Computer Vision (ICCV), pages 2334–2343, 2017. 4

[^12]: Damien Fourure, Rémi Emonet, Elisa Fromont, Damien Muselet, Natalia Neverova, Alain Trémeau, and Christian Wolf. Multi-task, multi-domain learning: application to semantic segmentation and pose regression. Neurocomputing, 251:68–80, 2017. 6

## [^13]: Varun Ganapathi, Christian Plagemann, Daphne Koller, and Sebastian Thrun. Real-time human pose tracking from range data. In Proc. European Conference on Computer Vision (ECCV), pages 738–751, 2012. 2

---

[^14]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 8417–8426, 2018. 1, 6

[^15]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3593–3601, 2016. 2

[^16]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), volume 1, page 5, 2017. 1, 2

[^17]: Liuhao Ge, Zhou Ren, and Junsong Yuan. Point-to-point regression pointnet for 3d hand pose estimation. In Proc. European Conference on Computer Vision (ECCV), pages 475–491, 2018. 1, 6

[^18]: Hengkai Guo, Guijin Wang, Xinghao Chen, and Cairong Zhang. Towards good practices for deep 3d hand pose estimation. arXiv preprint arXiv:1707.07248, 2017. 1, 2, 5, 6, 7

[^19]: Hengkai Guo, Guijin Wang, Xinghao Chen, Cairong Zhang, Fei Qiao, and Huazhong Yang. Region ensemble network: Improving convolutional network for hand pose estimation. In Proc. IEEE International Conference on Image Processing (ICIP), pages 4512–4516, 2017. 1, 2, 5, 6

[^20]: Albert Haque, Boya Peng, Zelun Luo, Alexandre Alahi, Serena Yeung, and Li Fei-Fei. Towards viewpoint invariant 3d human pose estimation. In Proc. European Conference on Computer Vision (ECCV), pages 160–177, 2016. 1, 2, 5, 6, 7, 8

[^21]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016. 2, 4, 8

[^22]: Li He, Guijin Wang, Qingmin Liao, and Jing-Hao Xue. Depth-images-based pose estimation using regression forests and graphical models. Neurocomputing, 164:210–219, 2015.

[^23]: Meysam Madadi, Sergio Escalera, Xavier Baró, and Jordi Gonzalez. End-to-end global to local cnn learning for hand pose recovery in depth data. arXiv preprint arXiv:1705.09606, 2017. 6

[^24]: Daniel Maturana and Sebastian Scherer. Voxnet: A 3d convolutional neural network for real-time object recognition. In Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 922–928. IEEE, 2015. 2

[^25]: Gyeongsik Moon, Ju Yong Chang, Yumin Suh, and Kyoung Mu Lee. Holistic planimetric prediction to local volumetric prediction for 3d human pose estimation. arXiv preprint arXiv:1706.04758, 2017. 2

[^26]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5079–5088, 2018. 1, 2, 4, 5, 6, 7

[^27]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hourglass networks for human pose estimation. In Proc. European Conference on Computer Vision (ECCV), pages 483–499, 2016. 1, 2, 7

[^28]: Markus Oberweger and Vincent Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In Proc. IEEE International Conference on Computer Vision Workshop (ICCVW), volume 840, page 2, 2017. 2, 6

[^29]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Hands deep in deep learning for hand pose estimation. arXiv preprint arXiv:1502.06807, 2015. 2

[^30]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Proc. Advances in Neural Information Processing Systems (NIPS), pages 5099–5108, 2017. 3

[^31]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Proc. Advances in Neural Information Processing Systems (NIPS), pages 91–99, 2015. 5

[^32]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Monocular real-time 3d articulated hand pose estimation. In Proc. IEEE-RAS International Conference on Humanoid Robots (ICHR), pages 87–92, 2009. 1

[^33]: Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, and Andrew Blake. Real-time human pose recognition in parts from single depth images. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1297–1304, 2011. 1, 2, 6, 7

[^34]: Xiao Sun, Yichen Wei, Shuang Liang, Xiaoou Tang, and Jian Sun. Cascaded hand pose regression. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 824–832, 2015. 6

[^35]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In Proc. European Conference on Computer Vision (ECCV), 2018. 1

[^36]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3786–3793, 2014. 2, 5, 6

[^37]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics, 33(5):169, 2014. 1, 2, 5, 6, 7, 8

[^38]: Alexander Toshev and Christian Szegedy. Deeppose: Human pose estimation via deep neural networks. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1653–1660, 2014. 2, 8

[^39]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dense 3d regression for hand pose estimation. pages 5147–5156, 2018. 2, 6

## [^40]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 6

---

[^41]: Keze Wang, Liang Lin, Chuangjie Ren, Wei Zhang, and Wenxiu Sun. Convolutional memory blocks for depth data representation learning. In Proc. International Joint Conference on Artificial Intelligence (IJCAI), pages 2790–2797, 2018. 1, 2, 6, 7

[^42]: Keze Wang, Shengfu Zhai, Hui Cheng, Xiaodan Liang, and Liang Lin. Human pose estimation from depth images via inference embedded multi-task learning. In Proc. ACM on Multimedia Conference (ACM MM), pages 1227–1236, 2016. 1, 2, 5, 7, 8

[^43]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional pose machines. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4724–4732, 2016. 1, 2, 7

[^44]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In Proc. European Conference on Computer Vision (ECCV), 2018. 2, 8

[^45]: Chi Xu, Lakshmi Narasimhan Govindarajan, Yu Zhang, and Li Cheng. Lie-x: Depth image based articulated object pose estimation, tracking, and action recognition on lie groups. International Journal of Computer Vision, 123(3):454–478, 2017. 6

[^46]: Mao Ye, Xianwang Wang, Ruigang Yang, Liu Ren, and Marc Pollefeys. Accurate 3d pose estimation from a single depth image. In Proc. IEEE International Conference on Computer Vision (ICCV), pages 731–738, 2011. 2

[^47]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2636–2645, 2018. 6

[^48]: Shanxin Yuan, Qi Ye, Guillermo Garcia-Hernando, and Tae-Kyun Kim. The 2017 hands in the million challenge on 3d hand pose estimation. arXiv preprint arXiv:1707.02237, 2017. 2, 5, 6

[^49]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4866–4874, 2017. 5

[^50]: Ho Yub Jung, Soochahn Lee, Yong Seok Heo, and Il Dong Yun. Random tree walk toward instantaneous 3d human pose estimation. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2467–2474, 2015. 1, 6, 7

[^51]: Xingyi Zhou, Qingfu Wan, Wei Zhang, Xiangyang Xue, and Yichen Wei. Model-based deep hand pose estimation. In Proc. International Joint Conference on Artificial Intelligence (IJCAI), 2016. 6