Figure 1: Weight maps produced during aggregation for (a) standard detection-based methods and (b) our method, followed by their estimation results and (c) corresponding ground truth labels under situations where the target joint (index fingertip) is visible (top row) or occluded (middle row) and when there exists self-similarity among fingers (bottom row). Figure is best viewed in color.
全连接层会扁平化特征图并破坏其中的空间结构，导致难以学习从图像空间到关节空间的高度非线性映射。
基于检测的方法会生成密集的估计结果，例如热图（Li和Lee，2019；Xiao、Wu和Wei，2018）或偏移向量场（Wan等人，2018；Ren等人，2019），随后在权重图的引导下，通过不可学习的信息聚合过程（如取argmax操作或均值漂移估计）来推断关节坐标。全卷积网络架构能够保留提取的特征图的空间结构，并更好地利用深度图像中的局部证据。然而，信息聚合被当作后处理步骤，与网络训练分离，这就导致了训练阶段与推理阶段之间的差距。此外，基于检测的方法还会强制网络学习固定范围的权重分布，并严格限制后处理的信息聚合过程。
---
具体而言，对于基于热图的方法，真实值热图是由固定大小的高斯斑点生成的。而基于偏移向量场的方法必须严格限定候选点的数量（Wan等人，2018）或分布范围（Ge、Ren和Yuan，2018），以防止与目标关节无关的点影响估计精度。上述过程会降低网络的泛化能力，当目标关节附近的深度值严重缺失时，估计结果也会变得不稳定。
在本文中，我们提出了一种简单却有效的自适应加权回归（AWR）方法，能够在单次计算中统一这两种互补的研究路径。在自适应权重图的引导下，AWR通过对其内所有像素进行离散积分，来聚合密集表示中的不同区域。这一操作是可微分的，因此能够嵌入网络以实现端到端训练，并能对关节坐标施加直接监督，从而协调网络监督与输出之间的关系。所推断出的关节坐标是连续的，且能达到任意精度。此外，权重图中的权重分布可以自适应调整，在关节监督的引导下实现更精确、更稳健的性能。如图1所示，当目标关节可见且易于区分时，AWR的权重分布会像传统的基于检测的方法一样，更多地集中在关节周围的像素上，这有助于充分利用局部证据。当由于遮挡或手指间高度相似而导致目标关节附近的深度值严重缺失时，权重分布会扩散开来以捕捉相邻关节的信息。这种机制使得网络在面对关节附近深度值严重缺失的情况时更具鲁棒性。因此，AWR通过可学习的聚合方式显著提升了网络的精度和鲁棒性，同时兼具基于回归的方法和基于检测的方法的优势。
此前，在人体姿态估计（Sun等人，2018）或手部姿态估计（Xiong等人，2019；Zhang和Zhang，2019）中，已有利用密集表示中的不同区域来推导关节坐标的思路。不过，Sun等人（2018）针对人体姿态估计的研究侧重于RGB图像，此类表示方法忽略了本质上属于2.5D的深度图像的3D几何特性。而Xiong等人（2019）以及Zhang和Zhang（2019）针对手部姿态估计的研究则局限于特定类型的网络结构、密集表示和输入模态，其有效性和普适性尚未得到广泛验证。我们通过实验证明，这种简单却有效的网络能够通过自适应加权回归提升精度和鲁棒性。这为未来在3D手部姿态估计领域的研究提供了启发与思路。
我们开展了全面的探索性实验，以证明所提出的AWR在各种实验设置下的有效性与普适性，这些实验设置涵盖了不同类型的密集表示、输入模态、网络架构，以及不同的输入和密集表示尺寸。实验表明，AWR能够提升网络的性能。
Figure 2: The pipeline of our method and arrangements for comprehensive explorations. Figure is best viewed in color.
无论是在准确性还是鲁棒性方面，AWR都带来了显著提升。我们的方法流程及实验安排如图2所示。在包括NYU（Tompson等人，2014年）、ICVL（Tang等人，2014a年）、MSRA（Sun等人，2015年）以及HANDS 2017（Yuan等人，2017年）在内的四个公开数据集上，我们所提出的方法均优于以往的最先进方法。
我们的主要贡献是提出了一种自适应加权回归（AWR）方法，通过离散积分来聚合密集表示。AWR将密集表示与手部关节回归统一起来，从而能够对关节坐标进行直接监督，缩小训练阶段与推理阶段之间的差距。我们开展了全面的探索性实验，验证了AWR对网络准确性和鲁棒性的提升作用，以及其在各种实验设置下的普适性。整个网络结构简单却高效，在四个公开数据集上均取得了最先进的性能。代码可在获取。
## 2 方法论
我们将手部姿态估计建模为嵌入了密集表示的回归问题，以此充分发挥基于回归的方法和基于检测的方法的优势。我们利用全卷积2D CNN生成密集表示，使网络能够保留提取的特征图的空间结构，并更好地利用深度图像中的局部模式。随后，采用可学习且自适应的加权操作来聚合密集表示中不同区域的空间信息。该操作具有两大优势：其一，对关节坐标添加直接监督，以协调训练与推理过程；其二，通过自适应地聚合密集表示中相关区域的空间信息，增强网络的鲁棒性和泛化能力。
### 2.1 自适应加权回归
自适应加权回归（AWR）通过对其上所有像素进行离散积分来推导关节坐标，进而聚合密集表示中的不同区域，这一过程由自适应权重图引导。权重图对AWR而言至关重要，因为它们能帮助网络更关注与目标关节相关的区域。
---
为了实现准确且鲁棒的估计，权重图需具备以下两个特性。首先，在聚合过程中，由于目标关节周围的点能给出更精确的关节坐标预测（Li和Lee，2019年），这些点的权重应更高。热图或偏移量中包含的距离信息可视为这一特性的自然体现。其次，当手部关节周围的深度值严重缺失时，权重分布应扩散到更多相关区域，以考虑各手部关节之间的相关性，进而增强网络的鲁棒性。大多数基于检测的方法在后期处理阶段才进行信息聚合，但后期处理过程不可学习，生成的权重图无法适配不同场景，从而削弱了网络应对遮挡或手指间严重相似性问题的泛化能力。
我们提出了一种自适应加权回归操作，用于将密集的空间表示转换为关节坐标。这是一种离散积分操作，可描述如下：
$$ p_{j}=\sum_{i=1}^{n}w_{j}(p_{ij})\times j(p_{ij}) $$
其中，$p_{ij}$ 表示关节 j 的密集表示中的 n 个像素之一；$j(p_{ij})$ 表示从点 $p_i$ 恢复的手部关节坐标；$w_j(p_{ij})$ 表示权重图中点 $p_{ij}$ 的值，该值通过 softmax 函数进行归一化。这种操作具有可微性且计算简单，同时能将密集表示与手部关节坐标统一起来。
### 2.2 全面探索
这种操作是可学习的，支持端到端训练，从而缩小训练与推理之间的差距。得益于密集表示和关节坐标监督机制，我们的方法能够自适应地聚合密集表示中的空间信息。此外，该方法简单、高效，在计算和存储方面产生的开销微乎其微。
本研究的主要目的是探究自适应加权回归（AWR）方法的有效性与普适性。因此，我们在多种实验设置下开展了广泛探索，包括密集表示类型、输入模态、网络架构以及输入和密集表示的尺寸。
密集表示类型：我们研究了姿态估计中目前最常用的几种密集表示类型，并选取了六种来观察 AWR 的性能。首先，遵循 Li 和 Lee（2019）的方法，我们通过堆叠目标关节的 x、y、z 坐标来构建一种简单的密集表示。具体而言，每个关节对应一个包含三个通道的姿态图，每个通道分别存储该关节的 x、y 或 z 坐标值。由于姿态热图无法反映像素到目标关节的距离信息，因此需在无监督条件下学习权重图，以指导局部证据的聚合。这种表示方式被记为“P”。
热图是人体和姿态估计中最常用的表示方式，尤其是概率热图，其中每个像素代表其属于特定关节的概率。由于概率热图仅能反映关节坐标的二维特性，而三维热图的计算成本较高，因此我们引入深度图或深度偏移图来编码深度信息。具体来说，深度图和深度偏移图与概率热图分辨率相同，分别用于表示目标关节的深度值或从当前像素到目标关节的深度偏移量。我们将概率热图与深度图结合的形式称为“H1”，另一种则称为“H2”。
近期的研究（Xiong 等人，2019）利用锚点与手部关节之间的二维偏移量来表示关节的二维位置。由于偏移量的差异较大，我们进一步将其分解为二维方向单位向量场和接近度热图，分别反映深度图像中每个像素到目标关节的二维方向和接近程度。同样，二维偏移量无法提供深度预测信息。因此，我们同时预测每个像素的深度值或从当前像素到目标关节的深度偏移量，它们分别被记为“O1”和“O2”。
偏移量的表示是连续的，且能达到任意的局部化精度。但是，将平面预测与深度坐标预测分开，仅利用二维距离来生成接近度热图的做法，在一定程度上忽略了深度图像的三维特性。如（Ren等人，2019年；Wan等人，2018年）所使用的三维偏移量，会预测三维方向单位向量场和接近度热图，从而反映三维方向以及每个像素到目标手部关节的接近程度。它们将三个坐标的预测统一起来，充分利用了深度图像中存在的三维空间信息。在实验部分，我们将三维偏移量称为“O3”。
偏移量表示的公式$\phi(p_{i}, p_{j})$如式2所示。
$$ \phi(p_{i},p_{j})=\left\{\begin{array}{l l}{1_{H a n d}(p_{i})\times(p_{i}-p_{j}),}&{||p_{i}-p_{j}||\leq k}\\ {0,}&{\mathrm{o t h e r w i s e}}\\ \end{array}\right. $$
其中$p_i$和$p_j$分别表示深度图像中像素以及目标手部关节的深度、二维或三维坐标；k代表深度图像中像素到目标手部关节的最大距离，$1_{Hand}(p_i)$是一个指示函数。若$p_i$属于手部区域，则$1_{Hand}(p_i)$的值为1，否则为0。
对于二维和三维偏移量，它们可进一步分解为二维或三维方向单位向量$V(p_{i}, p_{j})$以及接近度热图$S(p_{i}, p_{j})$。
$$ \begin{aligned}S(p_{i},p_{j})&=\left\{\begin{array}{ll}1_{Hand}(p_{i})\times\frac{k-||p_{i}-p_{j}||}{k},&||p_{i}-p_{j}||\leq k\\0,&otherwise\end{array}\right.\\V(p_{i},p_{j})&=\left\{\begin{array}{ll}1_{Hand}(p_{i})\times\frac{p_{i}-p_{j}}{||p_{i}-p_{j}||},&||p_{i}-p_{j}||\leq k\\0,&otherwise\end{array}\right.\end{aligned} $$
输入模态。为了充分利用深度图像中的三维几何信息，近期的研究人员倾向于将深度图像转换为三维体素（Moon、Chang和Lee，2018b）或点云（Moon、Chang和Lee，2018a；Ge、Ren和Yuan，2018），再应用三维CNN或PointNet（Qi等人，2017）。我们采用了三种不同的输入模态，以便在实验中验证AWR的通用性。
---
这三种输入模态分别为深度图像、体素和点云。对于体素，我们遵循（Moon、Chang和Lee，2018b）中的流程，即将深度图像转换为占用体素，并应用三维沙漏网络结构；不过我们的网络输出的是到手部关节的三维偏移量，这些偏移量会进一步分解为三维方向单位向量和三维接近度热图。我们选取与目标关节距离在15个体素以内的体素作为候选体素，用以恢复关节坐标。对于点云，我们采用与（Ge、Ren和Yuan，2018）类似的网络结构来预测三维偏移量；但为了与其他输入模态进行公平比较，我们不对点云进行预处理，也不将点云转换为有向包围盒（OBB）坐标或细化指尖部分。
网络架构。我们使用简单的二维CNN网络，它仅包含主干网络，如Resnet（He等人，2016年）或HourGlass（Newell、Yang和Deng，2016年），用于提取特征图。随后应用若干反卷积层来提高提取出的特征图的分辨率，再通过几个卷积头生成密集表示。由于不同类型的密集表示可能由具有不同物理特性的独立组分构成，因此我们使用独立的卷积头来生成它们。具体而言，对于O3，使用两个卷积头分别输出方向单位向量场和接近度热图；而对于O1和O2，我们会增加一个卷积头来生成深度图或深度偏移图。对于H1和H2，应用两个卷积头分别输出概率热图和深度图或深度偏移图。对于P，两个卷积头分别输出姿态图和权重图，其中权重图由网络在无监督的情况下自适应学习得到。
我们研究了几种骨干网络，以证明AWR的有效性和普适性。具体而言，我们考察了Resnet（He等人，2016年）和多阶段Hourglass（Newell、Yang和Deng，2016年）的网络设计，以及Resnet18、50、101的网络深度。结果表明，AWR能够与各种网络结构良好地结合。
输入与密集表示尺寸。基于标准检测方法的表现会受到输入及密集表示分辨率的影响。为了获得更高的准确率，需要更大的输入和密集表示尺寸。我们尝试了不同的输入深度图像及密集表示尺寸，以验证我们的方法对分辨率变化的鲁棒性。结果显示，即便在较小的输入和密集表示分辨率下，我们的方法仍能取得相当不错的效果，这使得该方法在计算资源受限的实际应用中更具优势。
### 2.3 实现细节
我们的方法包含两种监督机制：密集表示监督与关节坐标监督。我们首先仅利用密集表示监督对网络进行预训练，随后再结合两种监督机制对网络进行微调。我们发现这种流程比同时采用两种监督机制训练效果更好。我们认为原因在于前者能生成适应性更强的权重图。遵循以往的研究（Ren等人，2019年），我们针对关节坐标监督采用平滑L1损失函数，因为它相比L2损失对异常值更不敏感。不过，不同类型的密集表示所对应的损失函数也有所不同。我们尝试了平滑L1损失与L2损失，以找出更合适的损失类型，结果发现在处理偏移量时平滑L1损失表现更佳，而处理热图时L2损失则更稳定。
我们的方法基于PyTorch实现，采用Adam（Kingma和Ba，2015年）优化器，初始学习率为0.001，权重衰减为0.0005。批量大小设为32。我们先用初始学习率训练网络，待性能达到瓶颈后再降低学习率。与（Ren等人，2019年）的研究一致，我们首先训练一个独立的小型2D CNN来获取手部中心位置，并从深度图像中提取手部区域；随后采用世界坐标系下的数据增强策略以防止网络过拟合，包括随机旋转（$[-180, 180]$）、随机平移（$[-10, 10]$）以及随机缩放（$[0.9, 1.1]$）。
## 3 实验
### 3.1 数据集与评估指标
我们在四个公开可用的手部姿态数据集上开展实验：NYU数据集（Tompson等人，2014年）、ICVL数据集（Tang等人，2014a年）、MSRA数据集（Sun等人，2015年）以及HANDS 2017数据集（Yuan等人，2017年）。NYU数据集分别包含72K帧训练数据和8K帧评估数据，每帧包含36个关节的3D真实坐标。遵循（Ge、Ren和Yuan，2018年）的先前研究，我们对14个手部关节的子集应用了我们的方法。ICVL数据集包含330K帧训练数据以及2个各含800帧的测试序列，该数据集由10名不同受试者提供，每帧有16个手部关节标注。MSRA数据集包含76.6K帧数据，每帧有21个手部关节标注；我们对MSRA数据集采用留一受试者交叉验证策略。HANDS 2017数据集是目前规模最大的数据集，包含957K帧训练数据和295K帧测试数据，每帧有21个手部关节标注。
由于NYU数据集对手部姿态的覆盖较为广泛，且其测试集标签已公开，我们选择在NYU数据集上开展探索性实验，以验证所提出的AWR方法在不同实验设置下的有效性与普适性。其余三个数据集则主要用于与以往的前沿方法进行比较。
我们使用两种常用的指标来评估所提方法。第一个指标是所有测试帧上的单关节及所有关节的平均误差；关节误差通过预测关节与真实关节之间的欧几里得距离来计算。第二个指标是良好帧在所有测试帧中所占的比例：只有当每个关节的误差都低于设定阈值时，该帧才被认定为良好帧。
### 3.2 探索性研究
密集表示类型。如表1所示，无论采用何种密集表示方式，基于聚合操作的方法始终优于基于检测的方法，这表明该操作能够提升估计精度。
---
Table 1: Results of six types of dense representation trained with only dense representation supervision (Dense), only joint supervision (Joint) and both supervisions (Both) on NYU dataset. R represents directly regressing joint coordinates using Resnet50.
| Representation | Mean Error (mm) |
| Dense | Joint | Both |
| R | - | 8.82 | - |
| P | 9.58 | 8.49 | 8.49 |
| H1 | 8.70 | 8.13 | 7.95 |
| H2 | 8.12 | 8.04 | 7.66 |
| O1 | 8.19 | 7.92 | 7.86 |
| O2 | 8.05 | 8.02 | 7.58 |
| O3 | 7.87 | 7.75 | 7.48 |
通过集成学习，该方法能有效提升精度，且对所有给出的表示类型都适用。图3显示，在所有阈值下，基于AWR的方法所得到的优质帧比例均优于基于检测的方法，这说明AWR显著增强了网络的鲁棒性。此外，我们还有几点观察结果：首先，仅采用联合监督的基于聚合操作的方法，由于中间表示和自适应权重图的存在，其效果优于直接回归关节坐标（R）的方法。其次，由于深度偏移能够编码2.5D手部表面的三维几何信息，基于深度偏移的方法始终比直接预测绝对深度值的方法表现更好（$H2 > H1$、$O2 > O1$）。最后，在这些表示方式中，3D偏移（$O3$）的表现最佳，因为它们编码了丰富的空间结构信息，且采用了更合理的三维距离度量方式。
如表1所示，直接进行密集关节回归的效果不如直接回归关节坐标（$P\_Dense < R$）；但在自适应加权的帮助下，性能得到了大幅提升（$P\_Joint > R$、$P\_Both > R$）。由此我们可以得出两个结论：1）不同位置的点具有不同的估计精度，简单对所有点的估计结果取平均会降低最终估计的精度（$P\_Dense < R$）；2）自适应聚合不同区域的结果能够有效提升估计精度（$P\_Joint > R$），因为这两种方法除了$P\_Joint$会生成额外的中间密集表示并利用AWR对其进行集成外，网络架构几乎完全相同。
输入与密集表示尺寸。表2中的结果表明，更大的输入尺寸和密集表示尺寸能带来更高的精度。方法（f,d）与方法（g,e）对比显示：当输入尺寸与密集表示尺寸按相同比例增减时，基于AWR的方法（Both）性能下降，而基于检测的方法（Dense）性能却有所提升，这反映出基于AWR的方法对密集表示尺寸的敏感度高于输入尺寸。我们认为，由于基于AWR的方法的精度与聚合过程中候选点的数量相关，当密集表示尺寸减小时，候选点数量会急剧减少，进而损害估计结果。但总体而言，基于AWR的方法性能仍优于基于检测的方法。
Figure 3: The proportion of good frames of directly regressing method (R), probability heatmaps with depth offset maps based method (H2) and 3D offsets (O3) based method using only dense representation supervision (Dense) or both dense representation and joint supervision (Both). Figure is best viewed in color.
在较小的输入输出尺寸下，基于AWR的方法仍能优于基于检测的方法，这使得我们的方法在现实应用中更具优势。
网络架构。在本实验中，我们首先尝试了不同的网络设计（Resnet（He等人，2016年）和HourGlass（Newell、Yang和Deng，2016年））。如表2所示，AWR的性能优于仅采用密集表示监督的方法，并且在单阶段2D CNN以及级联网络架构中表现良好（方法b、i、j），这表明它能够轻松嵌入到不同网络架构中以提升性能。对于级联网络而言，随着阶段数的增加，性能会有所提升，但计算复杂度也会随之增加。
接着我们测试了Resnet的深度。表2中的方法a、b、c显示，随着网络深度的增加，两类方法的关节平均误差均稳步下降。具体而言，$a_{Both}$相比$b_{Dense}$和$c_{Dense}$已经取得了更好的结果，且计算与存储成本要低得多，这说明简单的网络通过集成学习就能获得强大的性能，进一步体现了我们方法的优越性。
输入模态。我们测试了三种常用的输入模态，包括深度图像、体素和点云。如表3所示，在所有三种输入模态下，AWR都能带来一致的性能提升，这证明了聚合操作在不同坐标和空间下的有效性与通用性。
我们还对3D偏移量的核大小进行了实验，即公式3中的k值。如表4所示，应用AWR后，该网络对核大小变化的鲁棒性比基于检测的方法更强，因为引入关节监督赋予了权重图一定的适应性。随着核大小的增加，AWR方法的准确率略有提升。不过，由于较大的核大小需要更多的训练轮次和时间才能收敛，为了在训练时间和准确率之间取得平衡——
---
Table 2: Results of networks trained with only dense supervision (Dense) and both joint and dense supervision (Both) under various experimental settings on NYU dataset.
| Method | Backbone | Input Size | Dense Size | Params (Flops) | Mean Error (mm) |
| Dense | Both |
| a | Resnet-18 | $128 \times 128$ | $64 \times 64$ | 15M (3.8G) | 8.53 | 7.75 |
| b | Resnet-50 | $128 \times 128$ | $64 \times 64$ | 34M (7.2G) | 7.87 | 7.48 |
| c | Resnet-101 | $128 \times 128$ | $64 \times 64$ | 53M (12.1G) | 7.81 | 7.37 |
| d | Resnet-50 | $128 \times 128$ | $32 \times 32$ | 33M (6.1G) | 8.07 | 7.68 |
| e | Resnet-50 | $128 \times 128$ | $16 \times 16$ | 32M (5.8G) | 8.24 | 7.85 |
| f | Resnet-50 | $96 \times 96$ | $48 \times 48$ | 34M (4.05G) | 8.14 | 7.59 |
| g | Resnet-50 | $96 \times 96$ | $24 \times 24$ | 32.95M (3.42G) | 8.32 | 7.76 |
| h | Resnet-50 | $96 \times 96$ | $12 \times 12$ | 31.9M (3.26G) | 8.37 | 8.01 |
| i | Hourglass-1stage | $128 \times 128$ | $64 \times 64$ | 230M (43.7G) | 7.89 | 7.78 |
| j | Hourglass-2stage | $128 \times 128$ | $64 \times 64$ | 460M (86.5G) | 7.44 | 7.18 |
Table 3: Results of three types of input modalities trained with only dense representation supervision (Dense) and both joint and dense representation supervision (Both).
| Input Modality | Mean Error (mm) |
| Dense | Both |
| Voxels | 11.40 | 8.60 |
| Point clouds | 10.6 | 10.52 |
| Depth image | 7.87 | 7.48 |
Table 4: Impact on hyperparameters of offsets representation trained with only dense representation supervision (Dense) and both dense representation and joint supervisions (Both).
| Kernel Size | 0.5 | 1 | 1.5 | 2 |
| Dense | 8.3mm | 7.87mm | 7.95mm | 8.03mm |
| Both | 7.49mm | 7.48mm | 7.46mm | 7.45mm |
我们在大多数实验中将核大小设为1。
表1、2和3表明，无论表示类型、网络架构、输入与密集表示尺寸或输入模态如何，基于AWR的方法始终优于仅采用密集表示监督训练的方法。此外，AWR还增强了对偏移量表示超参数的鲁棒性，简化了超参数搜索过程。这些结果充分说明了AWR的有效性与通用性，也凸显了集成学习的重要性。
### 3.3 与最先进方法的比较
我们首先在HANDS 2017数据集上将自己的方法与其他方法进行比较（Yuan等人，2017年）。由于HANDS 2017数据集并未公开测试集标签，我们仅使用关节平均误差指标进行评估，并将我们的方法与Vanora（Yuan等人，2018年）、THU VCLab（Chen等人，2018a）、oasis（Moon、Chang和Lee，2018a）、RCN3D（Yuan等人，2018年）、V2V-PoseNet（Moon、Chang和Lee，2018b）以及A2J（Xiong等人，2019年）进行比较。表5中的结果显示，我们基于Resnet18的方法已经大幅超越了以往的最先进方法；而基于Resnet50的方法更是将平均关节误差进一步降低了0.36毫米。关节平均误差的最佳结果为7.48毫米。对于已见和未见的手部物体，关节平均误差分别为5.21毫米和9.36毫米，这反映了我们所提出方法的有效性与良好的泛化能力。需要注意的是，在比较过程中，我们将“Ours-Resnet18”和“Ours-Resnet50”分别指代以Resnet18和Resnet50为骨干网络的我们的方法。
Table 5: Comparison with state-of-the-art methods on HANDS 2017 dataset. "SEEN" and "UNSEEN" denotes whether or not that the hand subject has been seen in the training set. "AVG" denotes all-joint mean error in millimeters over all test frames.
| Method | SEEN | UNSEEN | AVG |
| Vanora | 9.55 | 13.89 | 11.91 |
| THU VCLab | 9.15 | 13.83 | 11.70 |
| oasis | 8.86 | 13.33 | 11.30 |
| RCN-3D | 7.55 | 12.00 | 9.97 |
| V2V-PoseNet | 6.97 | 12.43 | 9.95 |
| A2J | 6.92 | 9.95 | 8.57 |
| Ours-Resnet18 | 5.76 | 9.57 | 7.84 |
| Ours-Resnet50 | 5.21 | 9.36 | 7.48 |
表5显示，基于ResNet18的方法已经大幅超越以往的最优方法。而基于ResNet50的方法更是将平均关节误差进一步降低了0.36毫米，最佳平均关节误差达到了7.48毫米。对于已见和未见的手部物体，平均关节误差分别为5.21毫米和9.36毫米，这充分体现了所提方法的有效性与良好的泛化能力。需要注意的是，在对比中，我们将采用ResNet18作为骨干网络的方法称为“Ours-Resnet18”，采用ResNet50作为骨干网络的方法称为“Ours-Resnet50”。
我们还在NYU（Tompson等人，2014年）、ICVL（Tang等人，2014a年）和MSRA（Sun等人，2015年）数据集上，将我们的方法与大多数最先进的方法进行了比较，这些方法包括潜在回归森林（LRF）（Tang等人，2014b年）、区域集成网络（REN-9×6×6）（Wang等人，2018年）、姿态引导的区域集成网络（Pose-REN）（Chen等人，2018a年）、密集3D回归（DenseReg）（Wan等人，2018年）、基于回归的3D卷积网络（3DCNN）（Ge等人，2017年）、体素到体素预测网络（V2V）（Moon、Chang和Lee，2018b）、密集点对点回归PointNet（P2P）（Ge、Ren和Yuan，2018年）、基于点集的姿态估计（HandPointNet）（Moon、Chang和Lee，2018a年），以及基于点云的语义手部姿态回归。
---
Figure 4: Comparison with state-of-the-art methods on NYU, ICVL and MSRA dataset. The all-joint and per-joint mean error (top row) and the proportions of good frames over different thresholds (bottom row)). Left: NYU dataset, middle: ICVL dataset, right: MSRA dataset. Figure is best viewed in color.
分割网络（SHPR-Net）（Chen等人，2018b年）和多任务信息共享网络（CrossInfoNet）（Du等人，2019年）。
如图4所示，无论是采用单关节误差或所有关节平均误差，还是良好帧的比例来衡量，我们的方法在三个3D手部姿态估计数据集上的表现都优于所有现有方法。具体而言，在NYU数据集（Tompson等人，2014年）上，我们基于ResNet18的方法已经比性能优异的V2V-PoseNet高出0.67毫米，同时存储消耗和计算成本更低。在良好帧比例方面，我们的三种方法在所有阈值下均优于其他方法。在ICVL数据集（Tang等人，2014a年）上，我们基于ResNet50的方法比其他方法具有更高的精度；在良好帧比例方面，当阈值小于12毫米或大于20毫米时，它的表现最佳，而在两者之间仅略逊于V2V-PoseNet。由于我们的方法使用边长为250毫米的立方体从深度图像中提取手部区域，而V2V-PoseNet（Moon、Chang和Lee，2018b）则使用更小的200毫米尺寸来更精确地定位手部，因此这种细微的性能差异是可以接受的。在MSRA数据集（Sun等人，2015年）上，我们的方法达到了与DenseReg（Wan等人，2018年）相当的精度，且优于其他方法；在15毫米阈值下，我们方法的良好帧比例最佳，但在此之后相对较差。不过，正如Oberweger等人（2016年）所指出的，ICVL（Tang等人，2014a年）和MSRA（Sun等人，2015年）数据集中的部分真实标签标注有误，这限制了我们方法的学习能力，导致与其他方法相比改进有限。
对比结果显示了我们的方法在精度和鲁棒性方面优于其他最先进的方法，也证明了引入AWR后，简单的基线网络就能取得强大的性能。
## 4 结论
我们提出了一种自适应加权回归方法，用于从单张深度图像中快速、准确地估计3D手部姿态。为了克服基于检测和基于回归的方法的现有缺陷，同时发挥两者的优势，我们通过离散积分其中所有像素来聚合密集表示的不同部分，从而在自适应权重图的引导下获得关节坐标。这一操作是可学习的，能够轻松嵌入到不同的网络架构中。它显著提升了网络的估计精度，以及其对目标关节周围深度值缺失、手指间存在严重相似性情况的鲁棒性。我们开展了全面的探索实验，以说明AWR带来的持续改进以及在各种实验设置下的通用性。利用简单的基线方法就能取得强大的性能，这使得我们的方法在实际应用中极具优势。我们的方法在NYU、ICVL、MSRA和HANDS 2017手部姿态数据集上均取得了最先进的性能。
---
## 参考文献
陈X、王G、郭H、张C. 2018a. 基于姿态引导的结构化区域集成网络用于级联手部姿态估计。《神经计算》杂志。
陈X、王G、张C、金T.-K.、季X. 2018b. SHPR-Net：从点云中进行的深度语义手部姿态回归。IEEE Access第6卷：43425–43439页。
杜K、林X、孙Y、马X. 2019. CrossInfonet：基于多任务信息共享的手部姿态估计。载于IEEE计算机视觉与模式识别会议（CVPR）论文集。
葛L、梁H、袁J、塔尔曼D. 2017. 用于从单幅深度图像高效且鲁棒地估计手部姿态的3D卷积神经网络。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第5679–5688页。
葛L、任Z、袁J. 2018. 用于3D手部姿态估计的点对点回归PointNet。载于欧洲计算机视觉会议（ECCV）论文集，$\Delta89\_505$。
何K、张X、任S、孙J. 2016. 用于图像识别的深度残差学习。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第770–778页。
金马D. P.、巴J. 2015. Adam：一种随机优化方法。载于国际智能系统会议（海报展示）。
李S、李D. 2019. 基于点对姿态投票的手部姿态估计，采用残差置换等变层。载于IEEE计算机视觉与模式识别会议（CVPR）论文集。
文G、张J. Y.、李K. M. 2018a. Hand PointNet：使用点集进行3D手部姿态估计。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第8417–8426页。
文G、张J. Y.、李K. M. 2018b. V2V-PoseNet：用于从单幅深度图精确估计3D手部及人体姿态的体素到体素预测网络。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第5079–5088页。
纽厄尔A、杨K、邓J. 2016. 用于人体姿态估计的堆叠沙漏网络。载于欧洲计算机视觉会议（ECCV）论文集，第483–499页。
奥伯韦格M、里格勒G、沃尔哈特P、勒佩蒂V. 2016. 高效创建用于精细手部姿态估计的3D训练数据。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第2636–2645页。
齐C. R.、易L.、苏H.、吉巴斯L. J. 2017. PointNet++：在度量空间中对点集进行深度层次特征学习。载于神经信息处理系统会议与研讨会（NIPS）论文集，第5099–5108页。
任P、孙H、王J、齐Q、黄W. 2019. SRN：用于实时3D手部姿态估计的堆叠回归网络。载于英国机器视觉会议（BMVC）论文集。
孙X、魏Y、梁S、唐X、孙J. 2015. 级联手部姿态回归。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第824–832页。
孙X、肖B、魏F、梁S、魏Y. 2018. 整体人体姿态回归。载于欧洲计算机视觉会议（ECCV）论文集，第536–553页。
唐D.、张H. J.、Tejani A.和Kim T.-K. 2014a。潜在回归森林：三维关节手部姿态的结构化估计。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第3786–3793页。
唐D.、张H. J.、Tejani A.和Kim T.-K. 2014b。潜在回归森林：三维关节手部姿态的结构化估计。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第3786–3793页。
Tompson J.、Stein M.、LeCun Y.和Perlin K. 2014。利用卷积网络实现人体手部的实时连续姿态恢复。ACM图形学交易（TOG）第33卷第5期：169:1–169:10。
万C.、Probst T.、Gool L. V.和姚A. 2018。用于手部姿态估计的密集三维回归。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第5147–5156页。
王G.、陈X.、郭H.和张C. 2018。区域集成网络：深度三维手部姿态估计的良好实践。第55卷：404–414页。
肖B.、吴H.和魏Y. 2018。人体姿态估计与跟踪的简单基线方法。载于欧洲计算机视觉会议（ECCV）论文集，第472–487页。
熊F.、张B.、肖Y.、曹Z.、余T.、周J. T.和袁J. 2019。A2j：基于锚点到关节回归网络，从单张深度图像进行三维关节姿态估计。载于IEEE国际计算机视觉会议（ICCV）论文集。
袁S.、叶Q.、Garcia-Hernando G.和Kim T.-K. 2017。“百万手部”挑战赛之三维手部姿态估计项目2017。CoRR abs/1707.02237。
袁S.、Garcia-Hernando G.、Stenger B.、Moon G.、张J. Y.、李K. M.、Molchanov P.、Kautz J.、Honari S.和葛L. 2018。基于深度的三维手部姿态估计：从现有成果到未来目标。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第2636–2645页。
张X.和张F. 2019。像素级回归：通过空间形式表示和可微解码器进行三维手部姿态估计。CoRR abs/1905.02085。