# TRIHORN-NET：一种用于精确深度基3D手部姿态估计的模型 穆罕默德·雷扎伊 德克萨斯大学阿灵顿分校 拉齐耶·拉斯戈* 塞姆南大学 *通讯作者 瓦西里斯·阿西索斯 德克萨斯大学阿灵顿分校 ## 摘要 近期，3D手部姿态估计方法取得了显著进展。然而，其估计精度往往远达不到特定实际应用的要求，因此仍有很大的提升空间。本文提出了TriHorn-Net这一新型模型，该模型通过特定的创新来提升深度图像上的手部姿态估计精度。第一项创新是将3D手部姿态估计分解为在深度图像空间中对2D关节位置的估计，以及借助两张互补注意力图对其对应深度的估计。这种分解方式避免了难度更高的深度估计任务在预测层面和特征层面干扰UV估计过程。第二项创新是PixDropout，据我们所知，这是首个针对手部深度图像的基于外观的数据增强方法。实验结果表明，所提出的模型在三个公开基准数据集上的表现均优于现有最先进的方法。我们的实现代码可在获取。 关键词：3D手部姿态估计、深度图像、精度、2D关节、注意力机制。 ## 1 引言 手部是人类与外界互动的重要工具。精准的手部姿态估计在人机交互（HCI）、增强现实（AR）、虚拟现实（VR）以及手势识别等领域有着广泛应用[^1] [^14] [^25]。随着商用深度相机愈发精准且价格低廉，进而得到更广泛的应用，基于深度的3D手部姿态估计[^2] [^4] [^26] [^32] [^33] [^35] [^37] [^38]和手部分割技术[^39] [^40]也取得了显著进步。不过，由于手部外观变化极大、存在严重的自遮挡现象、噪声干扰、维度高以及手部各部位之间的相似性，3D手部姿态估计仍是一项极具挑战性的任务[^32] [^34] [^35] [^13]。 随着深度神经网络（DNNs）的发展[?]，基于DNN的手部姿态估计技术迅速取代了以往的方法，如[^61] [^49]，并取得了令人瞩目的成果。这些方法大致可分为两类：1）基于回归的方法；2）基于检测的方法。基于回归的方法[^34] [^19] [^18]会将手部深度图像编码为单一全局特征，进而直接用于估计手部关节位置。基于检测的方法则采用密集预测策略，利用分层特征为每个关节计算逐像素的预测结果。总体而言，基于检测的方法的表现往往优于基于回归的方法[^2]，因为基于回归的方法使用单一全局特征进行估计，无法充分保留用于精准映射到3D手部姿态所需的细粒度空间信息。 尽管基于检测的方法性能更优，但它们仍存在若干缺陷。Moon等人[^13]利用3D CNN实现了高准确率，但该方法需要付出巨大的计算和内存代价。最近出现了一类新的基于检测的方法，它们采用密集像素或点偏移预测的思路：即密集估计所有像素（或点）到关节的偏移量，再通过所有对应偏移值的加权平均来计算关节位置。尽管这类方法性能出色，[^6] [^5]却使用不可学习的信息聚合操作（如argmax运算或均值漂移估计）来从热图或偏移向量场中计算关节坐标。不过，这种信息聚合操作仅被当作后处理步骤。 --- 由于该步骤不属于训练阶段，因此会导致训练与推理之间存在差距。[^37] [^34]需要复杂的后处理操作，比如选取邻近点，这不可避免地会产生量化误差，使得整个流程无法端到端求导。JGR-P2O[^27]通过预测像素级偏移量和权重图，再利用加权平均计算关节位置，从而部分解决了这些问题；但它仍受限于此类方法的共同缺陷：当目标关节附近的深度值大量缺失时，估计结果会变得不稳定，进而导致性能下降。 为解决上述问题，我们提出了一种用于3D手部姿态估计的新颖模型，我们将其命名为TriHorn-Net。TriHorn-Net包含一个编码器网络，用于将输入的手部深度图像编码为高分辨率的特征体；还有三个独立的分支，它们以手部特征体为输入，共同估算3D手部姿态。前两个分支会计算出两张逐关节注意力图，随后将它们融合。这两张注意力图具有互补性：一张引导网络的注意力集中在出现关节的像素上，另一张则引导网络的注意力集中在那些能为关节深度估计提供有用线索的非关节像素上。通过对UV分支生成的注意力图施加空间softmax层处理后得到的热图进行2D监督[^3]，可以明确促使这些注意力图聚焦于关节像素。这种方法可视为典型的基于密集像素级关节预测的检测类方法。注意力增强分支计算出的注意力图不受任何约束，因此能够自由聚焦于对关节深度估计最相关的手部像素。深度分支则会生成包含关节深度信息的像素级特征向量。所提出的模型利用融合后的逐关节注意力图作为指引，为每个关节从相关像素中汇聚特征；为每个关节汇聚相关特征后，再通过权重共享的线性层来估算对应的深度值。 我们还提出了PixDropout，这是一种针对基于深度的手部姿态估计方法的简单却有效、基于外观的数据增强函数。该函数通过对给定样本的手部表面像素按比例均匀采样，将其转化为背景像素（即将它们的数值替换为恒定的背景值）来实现增强。我们通过实验证明，PixDropout不仅能在所提方法中提升性能，在基于回归的方法中也能带来性能改善。 所提出的模型是端到端可微分的，不包含任何后处理步骤或数据预处理操作，例如将深度图转换为点云[^26] [^34] [^44]，或是体素化体积[^13]。我们在三个公开可用的数据集上对所提模型进行了评估，分别是ICVL [^16]、MSRA [^15]和NYU [^39]，这些数据集都是用于评估3D手部姿态估计方法的具有挑战性的基准测试集。结果表明，所提模型在所有这些基准测试中均优于现有最先进的方法。 综上所述，我们的贡献如下： • 我们提出了一种新型的神经网络架构TriHorn-Net，能够实现精确的3D手部姿态估计。 - 我们提出了一种新颖的公式，能够有效将手部姿态估计分解为2D关节位置及其深度的估计。 - 我们提出了PixDropout，据我们所知，它是首个用于基于深度的手部姿态估计方法的基于图像的数据增强函数。 • 我们开展了大量实验，证明所提方法优于现有最先进的方法。我们的实现代码可在获取。 ## 2 相关工作 ### 2.1 3D手部姿态估计 手部姿态估计一直是计算机视觉领域的一个长期难题。在深度学习技术广泛应用之前，许多方法依赖于手工设计的特征、优化方法和距离度量。Athitsos等人[^47]利用边缘图和Chamfer匹配来进行3D手部姿态估计。其他方法则采用粒子群优化（PSO）[^48] [^49]等优化方法。深度学习兴起后，基于DNN的方法迅速取代了传统方法。基于DNN的方法最常见的两种输入数据模态为：1）RGB图像；2）深度图像。虽然基于RGB图像的DNN 3D手部姿态估计是一个相对较新的研究领域，但近期已受到广泛关注[^50] [^51] [^52] [^53] [^54] [^58] [^57] [^56] [^55]。不过，由于我们的方法是基于深度的，因此此处重点介绍其他基于深度的方法。 过去十年间，基于深度的手部姿态估计方法取得了显著进展。这些方法可分为三类：生成式方法[^62] [^43] [^59] [^42]、判别式方法[^61] [^64]以及混合方法[^48] [^17] [^65]。Oberweger等人[^19]利用CNN来估计由PCA系数表示的手部姿态。 --- 与其在2.5D空间中进行处理，几种方法[^20] [^13]会将2.5D深度图像转换为3D体素，并采用3D CNN来估计3D手部姿态。Fang等人[^27]提出了一种基于图CNN的方法，用于计算像素到关节的偏移量，再利用加权平均法来确定手部关节的位置。最近还出现了另一类研究方法，它们利用点云处理领域的最新成果，将深度图像转换为点云，再借助点云处理网络来进行手部姿态估计[^34] [^35] [^6] [^26] [^44] [^46]。 TriHorn-Net的灵感来源于基于密集像素级预测的方法，但在一些重要方面与之有所不同。它提出了一种新颖的手部姿态估计框架，该框架将手部姿态估计分解为2D关节位置的估计以及其深度值的估计。虽然它利用了典型的像素级预测方法来估计2D关节位置，但它打破了传统做法：它估计的是像素级特征向量（而非直接预测结果），并且采用权重共享层（而非专用层）来估计关节的深度值。大量实验证明了所提出框架的有效性。 所提出的模型与A2J[^33]类似，都采用不同的分支来估计关节的图像坐标及其深度值。不过，它在估计关节位置时所采用的方法存在根本差异。A2J[^33]依赖在深度图像空间中放置的固定数量、规则排列的点（称为锚点），以此来预测关节的UVD偏移量；而所提出的方法则通过像素级概率估计来计算关节的图像坐标UV，再利用这些UV估计值来指导关节深度值的估计。 ### 2.2 数据增强 数据增强方法旨在通过随机生成新颖且逼真的样本，来增加训练数据的量和多样性。近年来，视觉[^10] [^11]、自然语言处理[^12]以及语音[^8] [^9]领域的数据增强方法取得了显著进展。在图像领域，通过对现有样本应用一系列变换来生成新样本。这些变换大致可分为两类：1）几何变换；2）外观变换。近期已有多种用于RGB图像数据增强的外观变换方法被提出，比如颜色抖动、直方图均衡化和对比度调整。然而，由于深度图像本身特性的差异，其中大多数方法并不适用于深度图像，这就导致基于深度的手部姿态估计方法所能使用的数据增强函数大多局限于随机旋转、平移和缩放等几何变换。 在本文中，我们提出了PixDropout——一种简单却有效的外观变换方法，可作为数据增强函数应用于深度图像。它的设计灵感源自Dropout [^7]。Dropout [^7]会随机选取并丢弃神经网络层中的神经元，而我们所提出的PixDropout则会随机丢弃输入深度图像中手部表面的部分像素。PixDropout与[^28]和[^29]中提出的RGB图像增强方法最为相似：这些方法会随机采样输入图像的矩形区域并将其遮蔽，以模拟图像识别任务中的遮挡情况。不过与[^28]和[^29]不同的是，PixDropout并不施加任何空间先验约束（例如它采样的是单个像素而非矩形区域）。实验结果表明，尽管PixDropout结构简单，但它对于基于深度的手部姿态估计方法而言是一种有效的数据增强手段。 ## 3 方法论 3D手部姿态估计任务的定义如下：给定一张输入深度图像$D_I \in \mathbb{R}^{H \times W}$，任务是估算一组预定义手部关节$P \in \mathbb{R}^{J \times 3}$在相机坐标系中的3D位置。其中H和W分别表示输入深度图像的高度和宽度，J表示需要估算的关节总数。本节将详细介绍所提出的模型。 如图1所示，TriHorn-Net包含两个阶段。在第一阶段，输入深度图像会经过编码器网络f的处理。编码器提取并整合手部的低层和高层特征，输出高分辨率的特征体积，该特征体积会被传递至三个独立的分支。UV分支会计算每个关节的注意力图，每张注意力图都聚焦于对应关节所在的像素区域。通过让注意力图经过特殊的softmax层[^3]并计算热图，可以强制实现这一特性。第二个分支被称为注意力增强分支，它同样会计算每个关节的注意力图，但不受任何约束，从而能够自由学习在不同场景下对估算关节深度值最重要的手部像素。该注意力图会通过融合操作来增强UV分支计算出的注意力图，这种融合操作由基于每个关节的可学习参数控制的线性插值来实现。最终，融合后的注意力图不仅关注关节像素，还会关注那些不属于关节但包含对估算关节深度值有用的信息的手部像素。随后，融合后的注意力图被用作 --- ![Image](images/7664df65062f873727545cddf88c04be9ac405363a36de5544d9ecf8498aa521.jpg)
Figure 1: An overview of the 1riHorn-Net architecture. It consists of an encoder that encodes the hand depth image into a high resolution feature volume, which serves as the input to three separate branches. The UV branch and the attention enhancement branch compute two per-joint attention maps $Att_{uv}$ and $Att_{enh}$ respectively. $Att_{uv}$ is focused on joint pixels, whereas $Att_{enh}$ attention map has the flexibility to shift the network's attention to hand pixels that are most relevant for joint depth estimation. $Att_{uv}$ and $Att_{enh}$ are fused via a linear interpolation controlled by per-joint learned parameters $\beta_j$. For estimating the joints' depths, the network uses the fused attention maps $Att_{fused}$ to pool features from the depth feature map $\mathfrak{D}$ computed by the depth branch. The pooled feature vector for each joint is input to a weight-sharing linear layer to estimate its depth value.
指导从深度分支计算出的深度特征图中池化特征。最后，使用权重共享的线性层，根据为每个关节计算出的特征向量来估算关节深度值。 特征池化是通过点积运算来实现的。这种特征池化方式随后配合跨所有关节共享的估算层，借鉴自Transformer网络[^68]。这种方法打破了传统手部姿态估计方法的惯例——传统方法会为估算每个关节的位置使用专门的层。我们在第4.3节中证明，TriHorn-Net的优势源于其所提出估算框架，即将手部姿态估计分解为2D关节位置的估算，以及借助两张独立的注意力图来估算对应的深度值。 ### 3.1 编码器 编码器被定义为从输入深度图像到输出特征体积的非线性映射 $f : \mathbb{R}^{H \times W} \to \mathbb{R}^{c \times h \times w}$，其中 h、w 和 c 分别表示输出特征体积的高度、宽度以及通道数。虽然任何现成的网络架构都可以用作这种非线性映射，但我们的经验表明，为了最大化精度，编码器网络应具备强大的特征提取与融合能力，尤其是针对不同尺度的特征。这是因为手部朝向、手指排列以及相邻关节之间的关系等特征，在深度图像中往往需要在不同尺度下才能被有效识别。我们在第 4.3 节中证明：只要满足上述对不同尺度特征进行提取和融合的要求，所提出的模型对编码器网络架构的选择并不敏感。我们采用 Hourglass 网络 [^36] 作为编码器；该网络利用跳跃连接以及反复进行的自下而上、自上而下处理过程，来提取并整合不同尺度上的特征。 ### 3.2 UV 分支 该分支以编码器输出的特征体积作为输入，计算出每个关节的注意力图 $Att_{uv} \in \mathbb{R}^{J \times h \times w}$。我们用 $Att_{uv}^j \in \mathbb{R}^{h \times w}$ 来表示与 $j^{th}$ 关节相对应的注意力图。通过对其施加二维监督，可以明确引导 $Att_{uv}^j$ 聚焦于出现 $j^{th}$ 关节的像素位置。为此，首先通过空间 Softmax 层 $Att_{uv}^j$ 对注意力图 [^3] 进行归一化处理，从而得到对应的热图 $H_j^{2D} = \sigma(Att_{uv}^j)$，具体过程如下： $$ H_{j}^{2D}(x,y)=\frac{exp(Att_{uv}^{j}(x,y))}{\sum\limits_{u_{i},v_{i}\in\Omega}exp(Att_{uv}^{j}(u_{i},v_{i}))} $$ --- 上述公式中，$\sigma$ 表示空间 Softmax 层。热图 $H_{j}^{2D}$ 反映了 $j^{th}$ 关节出现在各像素位置的可能性。$\Omega$ 代表注意力图 $Att_{uv}^{j}$ 的空间域。$j^{th}$ 关节的二维位置是通过类似于 [^67] 和 [^3] 的积分运算得出的，具体如下： $$ (\bar{U}^{j},\bar{V}^{j})=\sum_{u_{i}}\sum_{v_{i}}(u_{i},v_{i})H_{j}^{2D}(u_{i},v_{i}) $$ 上述公式中，$(\bar{U}^j, \bar{V}^j)$ 表示在深度图像空间中 $j^{th}$ 关节的估计坐标。通过对所有属于 $Att_{uv}^j$ 的注意力图 $j \in 1, 2, ..., J$ 施加监督，使其最小化如下定义的平均 L1 距离： $$ \ell_{u v}=\frac{1}{2J}\sum_{j=1}^{J}|\bar{U}^{j}-U^{j}|+|\bar{V}^{j}-V^{j}| $$ 上述公式中，$(U^j, V^j)$ 表示 $j^{th}$ 关节的真实二维位置。需要注意的是，$(\bar{U}^j, \bar{V}^j)$ 也用于报告在深度图像空间中 $j^{th}$ 关节的估计坐标。 ### 3.3 注意力增强分支 该分支旨在计算出更为灵活的注意力图，以增强 UV 分支生成的注意力图 $Att_{uv}$，从而有助于关节深度值的估计。具体而言，它以编码器输出的特征体积作为输入，计算出每个关节的注意力图 $\text{Att}_{enh} \in \mathbb{R}^{J \times h \times w}$。$\text{Att}_{enh}^j \in \mathbb{R}^{h \times w}$ 表示与 $j^{th}$ 关节相对应的注意力图。与 $\text{Att}_{uv}$ 不同，该注意力图并未受到外部约束（监督）的限制，因此能够自由学习在不同场景下哪些手部像素对于估计各关节的深度值最为重要。 ### 3.4 深度分支 与通常计算逐像素深度偏移或预测的做法不同，所提出的模型会计算密集的逐像素深度特征向量。具体而言，该分支以编码器输出的特征体作为输入，生成密集的深度特征图$\mathfrak{D} \in \mathbb{R}^{D \times h \times w}$。D代表深度特征向量的维度，在我们的实验中将其设为$D = 64$。在深度特征图$(x, y)$中，位于特殊位置$\mathfrak{D}$处的深度特征向量记为$\mathfrak{D}(x, y) \in \mathbb{R}^D$，它被设计成能够包含有关关节深度值的信息；这些信息源自深度特征体中特殊位置$(x, y)$的感受野内所包含的输入深度图像像素。用于估算每个关节深度值的最终特征向量，是通过对所有深度特征向量取加权平均得到的，而每个深度特征向量所对应的权重则由相应的融合注意力图来确定。 ### 3.5 注意力融合 两个注意力图$Att_{uv}^{j}$和$Att_{enh}^{j}$具有互补性：$Att_{uv}^{j}$会将网络注意力引导至出现$j^{th}$关节的像素上，而$Att_{enh}^{j}$则帮助网络关注那些可能包含用于估计$j^{th}$关节深度值的有用信息的非关节像素。这两个注意力图的融合方式如下： $$ A t t_{f u s e d}^{j}=\sigma(\beta_{j}A t t_{u v}^{j}+(1-\beta_{j})A t t_{e n h}^{j}) $$ 此处，$\beta_j \in [0, 1]$表示用于控制各注意力图对融合注意力图$Att_{fused}^j$贡献程度的学习参数。所提出的模型利用$Att_{fused}^j$作为指引，从包含与$j^{th}$关节深度最相关信息的像素中汇聚特征。图2展示了一些定性示例，说明两个注意力图$Att_{uv}^{j}$和$Att_{enh}^{j}$是如何在形成最终融合注意力图$Att_{fused}^j$时发挥互补作用，从而为后续的深度值估计特征汇聚提供指引。 ### 3.6 深度值估计 $j^{th}$关节的深度值是根据从包含与其深度最相关信息的像素中汇聚得到的特征向量来估计的，这一过程由$Att_{fused}^{j}$进行指引，具体过程如下： $$ F_{j}=A t t_{f u s e d}^{j}\circ\mathfrak{D}=\sum_{x}\sum_{y}A t t_{f u s e d}^{j}(x,y)\mathfrak{D}(x,y) $$ --- ![Image](images/795f0b57e8773fa3c547505fb826d6560bcdb0a94c93159a24c64a7f422c6eba.jpg)
Figure 2: Qualitative examples of how the two attention maps complement each other to guide feature pooling for depth estimation. Each row shows an example including the input depth image, the $Att_{uv}^{j}$ and $Att_{fused}^{j}$ attention maps computed by the first and second branches respectively, and the resulting fused attention map $Att_{fused}^{j}$. The red dot in the input depth image marks the ground-truth joint location for which the attention maps are computed.
其中，$F_j \in \mathbb{R}^D$表示$j^{th}$关节的汇聚特征向量。随后，用单个线性层来估计$j^{th}$关节的深度值，该深度值记为$\bar{Z}_j$，计算公式如下： $$ \bar{Z}_{j}=F_{j}\pmb{W}+\pmb{b} $$ 其中，$\boldsymbol{W} \in \mathbb{R}^D$和$\boldsymbol{b} \in \mathbb{R}$表示线性层的权重。注意，这个线性层在所有关节间是共享的。这不仅提高了参数效率，还能促使深度特征向量呈现出类似集成学习的行为，因为每个向量都必须收集所有关节的深度信息。这种先通过注意力机制进行特征汇聚、再使用共享层的做法，灵感来源于Transformer网络中所采用的机制[^68]。 关节深度值的估计由以下损失项进行监督： $$ \ell_{d}=\frac{1}{J}\sum_{j=1}^{J}|\bar{Z}_{j}-Z_{j}| $$ 其中，$Z_{j}$表示$j^{th}$关节的真实深度值。 ### 3.7 端到端训练 所提出的模型支持端到端微分计算，其训练过程通过最小化由前几节讨论的两个损失项构成的损失函数来实现，该函数表述如下： $$ \mathcal{L}=\ell_{u v}+\lambda\ell_{d} $$ 其中 $\lambda$ 是一个用于平衡 $\ell_{uv}$ 和 $\ell_d$ 的权重因子。我们在实验中将 $\lambda = 1$ 设为特定值。 ### 3.8 PixDropout 所提出的数据增强函数 PixDropout 被定义为一个函数 $\mathcal{T}_{\alpha} : \mathbb{R}^{H \times W} \to \mathbb{R}^{H \times W}$，其中的参数 $\alpha \in [0,1]$ 用于控制增强的强度。第一步，我们从范围 $\gamma$ 内均匀采样一个概率值 $[0, \alpha]$。第二步，我们从手部表面均匀采样一组像素 $\mathcal{Q}$，每个像素被选中的概率为 $\gamma$。通过丢弃这些选定的像素，即可得到增强后的深度图像 $\tilde{D}_I = \mathcal{T}_{\alpha}(D_I)$，具体计算如下： $$ \hat{D}_{I}(p)=\begin{cases}C&\text{if}p\in\mathcal{Q}\\D_{I}(p)&\text{otherwise}\end{cases} $$ 其中 p 表示深度图像中的任意像素。C 代表赋予背景（非手部）像素的常量值。 ## 4 实验 ### 4.1 实现细节 输入深度图像的预处理方法包括：首先按照 [^41] 的方法从深度图像中裁剪出手部区域，然后将其缩放为固定尺寸 $128 \times 128$。深度值会被归一化到 [-1, 1] 范围内。在 ---
Table 1: The performance of the models with and without (w/o) PixDropout as augmentation function on ICVL [^16]. The numbers indicate the mean distance error (mm)
Modelwith PixDropoutw/o PixDropout
TriHorn-Net5.735.90
ResNet-507.717.81
Table 2: Impact of using different attention maps for depth feature pooling on the performance on ICVL [^16]
Attention MapError (mm)
$Att_{uv}$5.91
$Att_{enh}$6.03
Fused Attention5.73
为了追求最高的准确率，编码器输出的特征图需具备较高的空间维度。为了在计算复杂度和性能之间取得平衡，我们将其设为输入深度图像维度的一半。训练时我们采用 Adam [^66] 优化器，并配合余弦学习率衰减策略 [^31]。初始学习率和权重衰减分别设为 $10^{-3}$ 和 $10^{-5}$。数据增强方面，我们采用了平面旋转（$[-180, 180]$ 度）、3D缩放（$[0.9, 1,1]$）以及3D平移（$[-8, 8]$ 毫米）等几何变换，同时还将所提出的 PixDropout 作为外观变换方式。所有实验中我们均将 $\alpha = 0.15$ 设为特定值。模型在 ICVL 数据集上训练 40 个周期，在 NYU 数据集上训练 40 个周期，在 MSRA 数据集上训练 60 个周期。所有实验均基于 PyTorch 框架 [^30] 实现，并在配备一块 NVIDIA 1080Ti GPU 的单台服务器上完成。 ### 4.2 数据集与评估指标 ICVL 数据集。ICVL 数据集 [^16] 提供了 22K 帧训练图像和 1.6K 帧测试图像。每帧图像的真实标注包含 J = 16 个关节，其中包括 1 个手掌关节和每个手指各 3 个关节。我们并未使用该数据集中额外的 30 万帧增强图像（由原始训练图像经平面旋转得到）。 MSRA 数据集。MSRA 数据集 [^15] 包含了来自 9 名受试者的超过 76K 帧图像。每名受试者有 17 种手势，每种手势约有 500 帧带分割标记的手部深度图像。每帧图像的真实标注包含 J = 21 个关节，其中包括 1 个手腕关节和每个手指各 4 个关节。遵循 [^15] 采用的协议，我们采用留一受试者外交叉验证策略在该数据集上评估所提出的方法。 NYU 数据集。NYU 数据集 [^39] 是通过微软 Kinect 传感器从三个不同视角采集的。每个视角包含 72K 帧训练图像和 8K 帧测试图像。按照常规协议，我们仅使用第一个视角的数据，且只采用总共 36 个标注关节中的 J = 14 个关节，用于训练和测试。 评估指标。我们采用两种最常用的3D手部姿态估计评估指标：平均距离误差（单位：毫米）和成功率。平均距离误差衡量的是在整个测试集上，所有关节处估计坐标与真实坐标之间的平均欧几里得距离。成功率则定义为平均距离误差小于某一特定阈值时的帧数所占比例。 ### 4.3 消融实验 互补注意力图的使用影响。我们研究了在所提模型中采用两种互补注意力图所带来的影响。具体而言，我们针对用于深度特征池化的注意力图，考察了模型在三种情况下的性能。第一种情况仅使用由UV分支计算出的注意力图，并从网络中移除注意力增强分支；第二种情况仅使用由注意力增强分支计算出的$Att_{enh}$；第三种情况则采用融合这两种互补注意力图的所提方法。如表2所示，使用第二个可自由学习的注意力图来增强由UV分支计算出的注意力图，能得到最佳的性能表现。 不同注意力融合方法的有效性。我们研究了所提模型中注意力融合方法的有效性。我们使用三种不同的注意力融合方法来构建所提模型：1）拼接；2）求和；3）所提策略。对于拼接方式，先将两个注意力图拼接起来，再经过若干卷积层得到融合后的注意力图。在第二种实验中，两个注意力图通过逐元素相加的方式简单融合。所提策略是 ---
Table 3: Comparison of different choices for the encoder network architecture on ICVL [^16]. #Params indicates the number of the model parameters
Encoder ArchitectureError (mm)#Params
HRnet [^69]5.917.22M
ResDeconv [^70]6.0427.24M
Hourglass [^36]5.737.81M
Table 4: Comparison of different attention fusion approaches on ICVL [^16]
ApproachError (mm)
Concatenation5.98
Summation5.84
Ours5.73
求和方式的扩展，其中每个注意力图对融合后注意力图的贡献由可学习参数控制。如表4所示，所提策略的表现最佳。 不同编码器网络架构的影响。我们分析了不同编码器网络架构对模型性能的影响。具体来说，我们使用了三种具有代表性的架构：1）Hourglass网络[^36]；2）HRNet [^69]；3）ResNetDeconv [^70]。尽管机制不同，Hourglass网络和HRNet都通过直接跳跃连接，将早期层提取的低级特征直接传递到深层；而ResNetDeconv则先将输入下采样为低分辨率特征图，再通过反卷积头将其上采样回原分辨率。如表3所示，Hourglass网络和HRNet均取得了业界领先的结果。尽管ResNetDeconv不具备同等的多尺度特征提取与融合能力，但其性能仍优于现有方法。这些观察结果表明，所提模型对编码器网络架构的选择具有鲁棒性，其卓越的性能源自我们新颖的姿态估计建模方式。 ### 4.4 PixDropout的有效性 为了验证所提出的数据增强函数PixDropout的有效性，我们进行了两项独立的对比实验。我们比较了应用PixDropout与否时模型的性能差异；同时，我们也采用基于回归的方法重复了这一对比实验。具体而言，我们使用了ResNet-50网络[^63]，将其最后一个全连接层替换为两个全连接层来估计手部姿态。如表1所示，PixDropout不仅在所提出的模型中提升了性能，在性质不同的其他模型中也同样表现出色，这证明了其作为基于深度数据的手部姿态估计方法增强函数的有效性。 ### 4.5 与现有最先进方法的对比 我们将所提出的模型与现有最先进的方法进行对比，这些方法中既包括基于密集检测的方法，也包括基于回归的方法。这些方法包括基于模型的方法（DeepModel）[^60]、DeepPrior [^19]、改进的DeepPrior（DeepPrior++）[^41]、区域集成网络（Ren-4x6x6 [^22]、Ren-9x6x6 [^23]）、Pose-Ren [^24]、Generalized-Feedback [^45]、密集回归网络（DenseReg）[^37]、A2J [^33]、CrossInfoNet [^32]以及JGR-P2O。 ![Image](images/3d76facb5619759a8376ba8644a01b5d920ead72ede70c9f57518d9b6b9db5ca.jpg) ![Image](images/07d274fc6f922c96065a629b6d6571150c94cd845efc7ef93bfa47f8cdaa97b0.jpg) ![Image](images/fac3e6b5ea9a6eb87ba5b0901c45b262e44f9272154e9bd225536c949e4f1f62.jpg)
Figure 3: Comparison with the state-of-the-art methods on ICVL [^16] (Left), NYU [^39] (Middle), and MSRA [^15] (Right) datasets. The per-joint mean error is used for comparison (R: root, T: tip).
--- ![Image](images/be50e8eb07c8d6dfa27548e5bc03f641a62d91d8732c9274c8fa7ae099ddb2bb.jpg) ![Image](images/f10ca91d13a641174f9aad7d2aeaa9761a03fa0c0faf172d84db8672bc54a70d.jpg) ![Image](images/8d8d4bbadeb2a55674cdbcc79604e8ee5dc86c29738cf978584d02c6f938f564.jpg)
Figure 4: Comparison with the state-of-the-art methods on ICVL [^16] (Left), NYU [^39] (Middle), and MSRA [^15] (Right) datasets. Success rates over different error thresholds is used for comparison.
Table 5: Comparison with the state-of-the-art methods on ICVL [^16] (Left), NYU [^39] (Middle), and MSRA [^15] (Right). “Error” indicates the mean distance error in (mm)
MethodsErrorMethodsError
DeepModel [^60]11.56DeepPrior [^19]19.73MethodsError
DeepPrior [^19]10.4DeepModel [^60]17.04REN-9x6x6 [^23]9.79
DeepPrior++ [^41]8.13DCNN [^20]14.13DCNN [^20]9.58
REN-4x6x6 [^22]7.63REN-4x6x6 [^22]13.39DeepPrior++ [^41]9.5
REN-9x6x6 [^23]7.31REN-9x6x6 [^23]12.69Pose-REN [^24]8.65
DenseReg [^37]7.3DeepPrior++ [^41]12.24HandPointNet [^34]8.5
SHPR-Net [^21]7.22Pose-REN [^24]11.81HandInfoNet [^32]7.86
HandPointNet [^34]6.94Generalized-Feedback [^45]10.89CrossInfoNet [^32]7.76
Pose-REN [^24]6.79SHPR-Net [^21]10.78SHPR-Net [^21]7.7
CrossInfoNet [^32]6.73HandPointNet [^34]10.54Point-to-Point [^35]7.7
NARHT [^46]6.47DenseReg [^37]10.2V2V-PoseNet [^13]7.59
AJ2J [^33]6.46CrossInfoNet [^32]10.08JGR-P2O [^27]7.55
Point-to-Point [^35]6.3NARHT [^46]9.8NARHT [^46]7.55
V2V-PoseNet [^13]6.28Point-to-Point [^35]9.1HandFoldingNet [^44]7.34
JGR-P2O [^27]6.02AJ2J [^33]8.61DenseReg [^37]7.23
HandFoldingNet [^44]5.95HandFoldingNet [^44]8.58Ours7.13
Ours5.73JGR-P2O [^27]8.29
Ours7.68
[^27]、3DCNN [^20]、SHPR-Net [^21]、HandPointNet [^34]、Point-to-Point [^35]、NARHT [^46]、HandFoldingNet [^44]以及V2V [^13]。图4和图3分别展示了ICVL、NYU和MSRA数据集上的成功率以及各关节平均误差（毫米）。表5总结了这三个数据集上基于平均距离误差的性能表现。结果表明，所提出的方法在这三个基准数据集上的表现均显著优于现有最先进的方法，其在ICVL、NYU和MSRA数据集上的平均距离误差分别达到了5.73毫米、7.68毫米和7.13毫米。 ## 5 结论 在本文中，我们提出了TriHorn-Net——一种用于从单张深度图像进行3D手部姿态估计的新型且强大的神经网络。该网络通过引入一种新颖的框架，将3D手部姿态估计分解为图像坐标空间中2D关节位置的估计，以及对应深度值的估计，这一过程由来自两个独立分支计算出的互补注意力图融合而成的注意力图引导，从而提升了手部姿态估计的精度。在三个具有挑战性的基准测试上的实验结果表明，尽管该网络架构简单且在测试时无需优化策略，但其性能仍优于现有最先进的方法。我们还为基于深度数据的手部姿态估计方法提出了一种简单的数据增强方法，实验结果也证实了该方法的有效性。 ## 参考文献 [^1]: Rastgoo, R., Kiani, K., Escalera, S. & Sabokrou, M. Sign Language Production: A Review. Proceedings Of The IEEE/CVF Conference On Computer Vision And Pattern Recognition Workshops. pp. 3451-3461 (2021) [^2]: Yuan, S., Garcia-Hernando, G., Stenger, B., Moon, G., Yong Chang, J., Mu Lee, K., Molchanov, P., Kautz, J., Honari, S., Ge, L., et al. Depth-based 3d hand pose estimation: From current achievements to future goals. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 2636-2645 (2018) ## [^3]: Iqbal, U., Molchanov, P., Gall, T., Kautz, J. Hand pose estimation via latent 2.5 d heatmap regression. Proceedings Of The European Conference On Computer Vision (ECCV). pp. 118-134 (2018) --- [^4]: Malik, J., Abdelaziz, I., Elhayek, A., Shimada, S., Ali, S., Golyanik, V., Theobalt, C. & Stricker, D. HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map. Proceedings Of The IEEE/CVF Conference On Computer Vision And Pattern Recognition. pp. 7113-7122 (2020) [^5]: Ren, P., Sun, H., Qi, Q., Wang, J. & Huang, W. SRN: Stacked Regression Network for Real-time 3D Hand Pose Estimation.. BMVC. pp. 112 (2019) [^6]: Li, S. & Lee, D. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. Proceedings Of The IEEE/CVF Conference On Computer Vision And Pattern Recognition. pp. 11927-11936 (2019) [^7]: Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I. & Salakhutdinov, R. Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research. 15, 1929-1958 (2014) [^8]: Hannun, A., Case, C., Casper, J., Catanzaro, B., Diamos, G., Elsen, E., Prenger, R., Satheesh, S., Sengupta, S., Coates, A. & Others Deep speech: Scaling up end-to-end speech recognition. ArXiv Preprint arXiv:1412.5567. (2014) [^9]: Park, D., Chan, W., Zhang, Y., Chiu, C., Zoph, B., Cubuk, E. & Le, Q. Specaugment: A simple data augmentation method for automatic speech recognition. ArXiv Preprint arXiv:1904.08779. (2019) [^10]: Krizhevsky, A., Sutskever, I. & Hinton, G. Imagenet classification with deep convolutional neural networks. Advances In Neural Information Processing Systems. 25 (2012) [^11]: Cubuk, E., Zoph, B., Mane, D., Vasudevan, V. & Le, Q. Autoaugment: Learning augmentation policies from data. ArXiv Preprint arXiv:1805.09501. (2018) [^12]: Yu, A., Dohan, D., Luong, M., Zhao, R., Chen, K., Norouzi, M. & Le, Q. Qanet: Combining local convolution with global self-attention for reading comprehension. ArXiv Preprint arXiv:1804.09541. (2018) [^13]: Moon, G., Chang, J. & Lee, K. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 5079-5088 (2018) [^14]: Rastgoo, R., Kiani, K. & Escalera, S. Sign language recognition: a deep survey. Expert Systems With Applications. 164 (2021) [^15]: Sun, X., Wei, Y., Liang, S., Tang, X. & Sun, J. Cascaded hand pose regression. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 824-832 (2015) [^16]: Tang, D., Jin Chang, H., Tejani, A. & Kim, T. Latent regression forest: Structured estimation of 3d articulated hand posture. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 3786-3793 (2014) [^17]: Tang, D., Taylor, J., Kohli, P., Keskin, C., Kim, T. & Shotton, J. Opening the black box: Hierarchical sampling optimization for estimating human hand pose. Proceedings Of The IEEE International Conference On Computer Vision. pp. 3325-3333 (2015) [^18]: Poier, G., Opitz, M., Schinagl, D. & Bischof, H. Murauer: Mapping unlabeled real data for label austerity. 2019 IEEE Winter Conference On Applications Of Computer Vision (WACV). pp. 1393-1402 (2019) [^19]: Oberweger, M., Wohlhart, P. & Lepetit, V. Hands deep in deep learning for hand pose estimation. ArXiv Preprint arXiv:1502.06807. (2015) [^20]: Ge, L., Liang, H., Yuan, J. & Thalmann, D. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 1991-2000 (2017) [^21]: Chen, X., Wang, G., Zhang, C., Kim, T. & Ji, X. Shpr-net: Deep semantic hand pose regression from point clouds. IEEE Access. 6 pp. 43425-43439 (2018) [^22]: Guo, H., Wang, G., Chen, X., Zhang, C., Qiao, F. & Yang, H. Region ensemble network: Improving convolutional network for hand pose estimation. 2017 IEEE International Conference On Image Processing (ICIP). pp. 4512-4516 (2017) [^23]: Wang, G., Chen, X., Guo, H. & Zhang, C. Region ensemble network: Towards good practices for deep 3D hand pose estimation. Journal Of Visual Communication And Image Representation. 55 pp. 404-414 (2018) [^24]: Chen, X., Wang, G., Guo, H. & Zhang, C. Pose guided structured region ensemble network for cascaded hand pose estimation. Neurocomputing. 395 pp. 138-149 (2020) ## [^25]: Rastgoo, R., Kiani, K. & Escalera, S. Hand sign language recognition using multi-view hand skeleton. Expert Systems With Applications. 150 (2020) --- [^26]: Chen, Y., Tu, Z., Ge, L., Zhang, D., Chen, R. & Yuan, J. So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning. Proceedings Of The IEEE International Conference On Computer Vision. pp. 6961-6970 (2019) [^27]: Fang, L., Liu, X., Liu, L., Xu, H. & Kang, W. JGR-P2O: joint graph reasoning based pixel-to-offset prediction network for 3D hand pose estimation from a single depth image. European Conference On Computer Vision. pp. 120-137 (2020) [^28]: DeVries, T. & Taylor, G. Improved regularization of convolutional neural networks with cutout. ArXiv Preprint arXiv:1708.04552. (2017) [^29]: Zhong, Z., Zheng, L., Kang, G., Li, S. & Yang, Y. Random erasing data augmentation. Proceedings Of The AAAI Conference On Artificial Intelligence. 34, 13001-13008 (2020) [^30]: Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L. & Others PyTorch: An imperative style, high-performance deep learning library. Advances In Neural Information Processing Systems. 32 pp. 8026-8037 (2019) [^31]: Loshchilov, I. & Hutter, F. Sgdr: Stochastic gradient descent with warm restarts. ArXiv Preprint arXiv:1608.03983. (2016) [^32]: Du, K., Lin, X., Sun, Y. & Ma, X. Crossinfonet: Multi-task information sharing based hand pose estimation. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 9896-9905 (2019) [^33]: Xiong, F., Zhang, B., Xiao, Y., Cao, Z., Yu, T., Zhou, J. & Yuan, J. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. Proceedings Of The IEEE International Conference On Computer Vision. pp. 793-802 (2019) [^34]: Ge, L., Cai, Y., Weng, J. & Yuan, J. Hand pointnet: 3d hand pose estimation using point sets. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 8417-8426 (2018) [^35]: Ge, L., Ren, Z. & Yuan, J. Point-to-point regression pointnet for 3d hand pose estimation. Proceedings Of The European Conference On Computer Vision (ECCV). pp. 475-491 (2018) [^36]: Newell, A., Yang, K. & Deng, J. Stacked hourglass networks for human pose estimation. European Conference On Computer Vision. pp. 483-499 (2016) [^37]: Wan, C., Probst, T., Van Gool, L. & Yao, A. Dense 3d regression for hand pose estimation. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 5147-5156 (2018) [^38]: Baek, S., In Kim, K. & Kim, T. Augmented skeleton space transfer for depth-based hand pose estimation. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 8330-8339 (2018) [^39]: Tompson, J., Stein, M., Lecun, Y. & Perlin, K. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions On Graphics (ToG). 33, 1-10 (2014) [^40]: Bojja, A., Mueller, F., Malireddi, S., Oberweger, M., Lepetit, V., Theobalt, C., Yi, K. & Tagliasacchi, A. Handseg: An automatically labeled dataset for hand segmentation from depth images. 2019 16th Conference On Computer And Robot Vision (CRV). pp. 151-158 (2019) [^41]: Oberweger, M. & Lepetit, V. Deepprior++: Improving fast and accurate 3d hand pose estimation. Proceedings Of The IEEE International Conference On Computer Vision Workshops. pp. 585-594 (2017) [^42]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M. & Gall, J. Capturing hands in action using discriminative salient points and physics simulation. International Journal Of Computer Vision. 118, 172-193 (2016) [^43]: Romero, J., Tzionas, D. & Black, M. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions On Graphics (ToG). 36, 245 (2017) [^44]: Cheng, W., Park, J. & Ko, J. HandFoldingNet: A 3D Hand Pose Estimation Network Using Multiscale-Feature Guided Folding of a 2D Hand Skeleton. Proceedings Of The IEEE/CVF International Conference On Computer Vision. pp. 11260-11269 (2021) [^45]: Oberweger, M., Wohlhart, P. & Lepetit, V. Generalized feedback loop for joint hand-object pose estimation. IEEE Transactions On Pattern Analysis and Machine Intelligence. 42, 1898-1912 (2019) [^46]: Huang, L., Tan, J., Liu, J. & Yuan, J. Hand-transformer: non-autoregressive structured modeling for 3D hand pose estimation. European Conference On Computer Vision. pp. 17-33 (2020) ## [^47]: Athitsos, V. & Sclaroff, S. Estimating 3D hand pose from a cluttered image. 2003 IEEE Computer Society Conference On Computer Vision And Pattern Recognition, 2003. Proceedings.. 2 pp. II-432 (2003) --- [^48]: Sharp, T., Keskin, C., Robertson, D., Taylor, J., Shotton, J., Kim, D., Rhemann, C., Leichter, I., Vinnikov, A., Wei, Y. & Others Accurate, robust, and flexible real-time hand tracking. Proceedings Of The 33rd Annual ACM Conference On Human Factors In Computing Systems. pp. 3633-3642 (2015) [^49]: Oikonomidis, I., Kyriazis, N. & Argyros, A. Efficient model-based 3D tracking of hand articulations using Kinect.. BmVC. 1, 3 (2011) [^50]: Zimmermann, C. & Brox, T. Learning to estimate 3d hand pose from single rgb images. Proceedings Of The IEEE International Conference On Computer Vision. pp. 4903-4911 (2017) [^51]: Tang, X., Wang, T. & Fu, C. Towards accurate alignment in real-time 3d hand-mesh reconstruction. Proceedings Of The IEEE/CVF International Conference On Computer Vision. pp. 11698-11707 (2021) [^52]: Zhou, Y., Habermann, M., Xu, W., Habibie, I., Theobalt, C. & Xu, F. Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data. Proceedings Of The IEEE/CVF Conference On Computer Vision And Pattern Recognition. pp. 5346-5355 (2020) [^53]: Ge, L., Ren, Z., Li, Y., Xue, Z., Wang, Y., Cai, J. & Yuan, J. 3d hand shape and pose estimation from a single rgb image. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 10833-10842 (2019) [^54]: Baek, S., Kim, K. & Kim, T. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 1067-1076 (2019) [^55]: Spurr, A., Iqbal, U., Molchanov, P., Hilliges, O. & Kautz, J. Weakly supervised 3d hand pose estimation via biomechanical constraints. Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XVII 16. pp. 211-228 (2020) [^56]: Moon, G. & Lee, K. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16. pp. 752-768 (2020) [^57]: Moon, G., Shiratori, T. & Lee, K. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. European Conference On Computer Vision. pp. 440-455 (2020) [^58]: Zhang, X., Huang, H., Tan, J., Xu, H., Yang, C., Peng, G., Wang, L. & Liu, J. Hand Image Understanding via Deep Multi-Task Learning. Proceedings Of The IEEE/CVF International Conference On Computer Vision. pp. 11281-11292 (2021) [^59]: Tkach, A., Tagliasacchi, A., Remelli, E., Pauly, M. & Fitzgibbon, A. Online generative model personalization for hand tracking. ACM Transactions On Graphics (ToG). 36, 1-11 (2017) [^60]: Zhou, X., Wan, Q., Zhang, W., Xue, X. & Wei, Y. Model-based deep hand pose estimation. ArXiv Preprint arXiv:1606.06854. (2016) [^61]: Keskin, C., Kiraç, F., Kara, Y. & Akarun, L. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. European Conference On Computer Vision. pp. 852-863 (2012) [^62]: Khamis, S., Taylor, J., Shotton, J., Keskin, C., Izadi, S. & Fitzgibbon, A. Learning an efficient model of hand shape variation from depth images. Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition. pp. 2540-2548 (2015) [^63]: He, K., Zhang, X., Ren, S. & Sun, J. Identity mappings in deep residual networks. European Conference On Computer Vision. pp. 630-645 (2016) [^64]: Liang, H., Yuan, J. & Thalmann, D. Parsing the hand in depth images. IEEE Transactions On Multimedia. 16, 1241-1253 (2014) [^65]: Taylor, J., Bordeaux, L., Cashman, T., Corish, B., Keskin, C., Sharp, T., Soto, E., Sweeney, D., Valentin, J., Luff, B. & Others Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Transactions On Graphics (TOG). 35, 1-12 (2016) [^66]: Kingma, D. & Ba, J. Adam: A method for stochastic optimization. ArXiv Preprint arXiv:1412.6980. (2014) [^67]: Sun, X., Xiao, B., Wei, F., Liang, S. & Wei, Y. Integral human pose regression. Proceedings Of The European Conference On Computer Vision (ECCV). pp. 529-545 (2018) ## [^68]: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A., Kaiser, L. & Polosukhin, I. Attention is all you need. Advances In Neural Information Processing Systems. 30 (2017) --- [^69]: Wang, J., Sun, K., Cheng, T., Jiang, B., Deng, C., Zhao, Y., Liu, D., Mu, Y., Tan, M., Wang, X. & Others Deep high-resolution representation learning for visual recognition. IEEE Transactions On Pattern Analysis And Machine Intelligence. 43, 3349-3364 (2020) [^70]: Xiao, B., Wu, H. & Wei, Y. Simple baselines for human pose estimation and tracking. Proceedings Of The European Conference On Computer Vision (ECCV). pp. 466-481 (2018)