# A2J-Transformer：基于锚点-关节变换器的单RGB图像三维交互手部姿态估计方法蒋长龙$^{1}$、肖阳$^{1\dagger}$、吴存林$^{1}$、张明洋$^{2}$、郑景宏$^{1}$、曹志国$^{1}$、周天一$^{3,4}$ $^{1}$教育部图像处理与智能控制重点实验室，华中科技大学人工智能与自动化学院，中国武汉 430074 $^{2}$阿里巴巴集团 $^{4}$新加坡科技研究局前沿人工智能研究中心（CFAR） $^{4}$新加坡科技研究局高性能计算研究所（IHPC） changlongj、Yang-Xiao、、、 deepzheng、、 ## 摘要从单张RGB图像进行三维交互手部姿态估计是一项极具挑战性的任务，原因在于手部存在严重的自遮挡和相互遮挡现象、两只手的外观模式相似易混淆、从二维到三维的关节定位问题难以求解等。为解决这些问题，我们提出将目前最先进的基于深度的单手三维姿态估计方法A2J扩展到交互手部场景下的RGB领域。我们的核心思路是为A2J赋予强大的局部-全局感知能力，从而能够同时捕捉交互手部的局部精细细节以及关节间的全局关联线索。为此，我们在Transformer的非局部编解码框架下对A2J进行改进，构建了A2J-Transformer。相较于A2J，它具有三大优势：首先，我们构建了基于局部锚点的自注意力机制，使这些锚点能够感知全局空间上下文，从而更好地捕捉关节的关联线索以抵御遮挡影响；其次，每个锚点被视作具有自适应特征学习能力的可学习查询项，而非与其他锚点拥有相同的局部表征，以此提升模式拟合能力；最后，锚点位于三维空间而非A2J中的二维空间，从而能够利用三维姿态预测结果。在具有挑战性的InterHand 2.6M数据集上的实验表明，A2J-Transformer能够取得最先进的无模型性能（双手场景下MPJPE指标提升3.38毫米），且具备较强的泛化能力，也可应用于深度领域。代码可在获取。 ![Image](images/569c44a53f87e03c75ca929892a69e28a2ad5a33caaf5316676d97eb3d03799a.jpg)

Interacting 3D Anchors → Predicted Offsets → Predicted 3D Joint

Figure 1. The main idea of A2J-Transformer. 3D anchors are uniformly set and act as local regressors to predict each hand joint. Meanwhile, they are also used as queries, and the interaction among them is established to acquire global context.

### 1. 引言从单张RGB图像进行三维交互手部姿态估计可广泛应用于虚拟现实、增强现实、人机交互等领域[^32] [^33] [^34]。尽管研究人员付出了大量努力，但由于手部存在严重的自遮挡和相互遮挡问题[^7] [^13] [^18] [^19] [^53]，两只手的外观模式相似易混淆[^7] [^13] [^14]，以及通过单目RGB图像估计三维手部姿态本身存在病态特性[^18] [^39] [^53]，这一任务仍极具挑战性。现有方法大致可分为基于模型[1,2,5,6,9-12,17]和无需模型[7,13-21]两类。由于模型对手部有强大的先验知识，前一类方法整体上的性能更为出色。然而，基于模型的方法通常需要复杂的个性化模型校准，这类校准对初始化参数敏感，且容易陷入局部最小值。 --- ima [^7] [^54]。实际上，实际应用并不青睐这种方式。因此，我们专注于采用回归方式的无需模型策略。其核心思想是：为了实现高效的三维交互手部姿态估计，预测器必须同时掌握关节的局部细节信息与全局关节结构信息，才能应对遮挡和视觉模式混淆的问题。为此，我们提出将目前最先进的基于深度的单手三维姿态估计方法A2J [^21]扩展至从单张RGB图像进行三维交互手部姿态估计的任务中。尽管A2J在集成局部回归方面表现优异，但直接将其应用于我们的任务并不一定能保证理想性能，因为它存在以下三个主要缺陷。首先，用于预测关节与锚点之间偏移量的局部锚点之间缺乏相互作用，导致无法有效捕捉关节的全局结构线索以抵御遮挡影响。其次，特定空间范围内的锚点共享同一尺度的局部卷积特征，这本质上限制了其对交互手部混淆视觉模式的区分能力。最后，锚点位于二维平面内，对于利用单张RGB图像解决不适定的二维到三维映射问题而言并非最优选择。针对这些问题，我们提出在Transformer的非局部编解码框架下对A2J进行扩展，构建A2J-Transformer，该方法具备锚点级自适应多尺度特征学习机制以及三维锚点设置。具体而言，A2J中的锚点在Transformer框架下被转化为可学习的查询向量。每个查询向量会预测其相对于两只手所有关节的位置偏移量。最终，关节位置是通过对所有查询向量的预测结果进行线性加权融合来确定的。也就是说，关节位置是由覆盖整个图像的全局空间视角下的所有查询向量共同决定的。同时，查询向量的数量具有灵活性，并不像[^7]中那样严格受限于关节数量。得益于Transformer的非局部自注意力机制[^22]，在特征编码阶段，各查询向量可以相互交互，从而捕捉关节的全局结构线索，这对抵抗自身遮挡和相互遮挡现象至关重要。针对单个查询向量，我们会通过Resnet-50 [^36]开展自适应局部特征学习，提取该查询向量对应的多尺度卷积特征。与A2J中相邻锚点间的特征共享策略相比，我们的方法能够显著提升查询向量对模式的拟合能力，既有助于精准定位关节，也能验证关节所属的手部身份。总而言之，每个查询向量都具备强大的局部-全局空间感知能力，能更好地适配交互手部的外观模式。同时，为了更高效地解决基于RGB图像的二维到三维手部姿态映射问题，查询向量被设置在三维空间中，而非A2J中所用的二维平面[^21]。通过这种方式，每个查询向量都能直接预测其与关节之间的三维位置偏移量，而这正是A2J无法实现的。总体而言，A2J-Transformer的主要研究思路如图1所示。与最近提出的、同样利用Transformer解决三维交互手部姿态估计问题的无模型方法[^7]相比，我们的方案仍具备一些显著优势。首先，无需进行类关节关键点检测；其次，查询数量并不严格受限为关节数量，从而能更好地适应模式拟合需求；第三，我们的查询点位于三维空间中，而非二维空间。在极具挑战性的Interhand 2.6M[^17]数据集上的实验表明，我们的方法在基于单张RGB图像的三维交互手部姿态估计任务中，能够取得最先进的无模型性能（双手情况下MPJPE指标提升3.38毫米），且性能远超A2J（MPJPE指标差距超过5毫米）。此外，在HANDS2017数据集[^37]上的实验也证明，A2J-Transformer同样可应用于深度数据领域，并取得不错的性能。总体而言，本文的主要贡献包括： - 我们首次将A2J从深度领域拓展到RGB领域，成功实现了基于单张RGB图像的三维交互手部姿态估计，且性能表现优异； • 借助Transformer的非局部自注意力机制以及自适应局部特征学习能力，对A2J的锚点进行了优化，使其能同时感知关节的局部细节与全局关节结构信息； • 提出将锚点定位在三维空间中，以解决基于单目RGB信息的二维到三维手部姿态估计这一不适定问题。 ### 2. 相关工作针对基于RGB图像或深度图的三维手部姿态估计，已有诸多研究方法被提出。根据输入手部数量的不同，这些方法可分为单手姿态估计方法和交互手部姿态估计方法。我们将所有方法分为基于模型的方法和无模型方法两类，重点分析基于RGB图像的交互式三维手部姿态估计相关研究。此外，由于Transformer架构与我们的工作密切相关，我们也会探讨其在三维手部姿态估计领域的应用情况。基于模型的方法。由于基于模型的方法[1-3,5,6,9-11,17]能提供强大的先验知识，因此基于模型的三维手部姿态估计方法通过拟合手部模型往往能取得较好的结果。早期用于基于模型的三维手部姿态估计的方法[^1] [^9] [^11]采用复杂的优化方法来拟合所提出的参数模型。但由于当时缺乏统一的模型范式，基于模型的方法的发展受到一定限制。在兼容的三维手部模型MANO[^3]被引入之后， --- ![Image](images/5d74e68e33d4cd45869f1e3fa932abe7898a00bbb8b3b9c0ae6400680cf10cae.jpg)

Figure 2. The main technical pipeline of A2J-Transformer. A2J-Transformer consists of 3 main models: pyramid feature extractor, anchor refinement model (containing feature enhancement module and anchor interaction module) and anchor offset-weight estimation model. The anchor interaction module aims to establish the connection (orange line) between anchors (orange dots).

后续的基于模型的方法[^2] [^5] [^6] [^10]大多以该模型为基础，并结合CNN或GCN模块。由于有足够强大的先验模型支撑，基于模型的方法通常性能较好且比无模型方法更稳定。然而，当手部存在强烈交互或遮挡时，这些方法往往会丢失跟踪能力。同时，实际应用中有时需要对不同人的手部进行建模[^51]，这在一定程度上降低了模型的泛化能力。因此，我们将目光转向无需先验信息且灵活性更高的无模型方法。无模型方法。无模型方法[12-14, 16-21, 39]已经发展已久。尤其是基于深度图的单手姿态估计任务，已有非常成熟的方法[^12] [^20] [^21] [^39]。然而，由于严重的遮挡现象以及手部关节之间的外观相似性，将其扩展到双手和RGB领域并非易事。Moon等人[^17]提出InterHand2.6M数据集后，用于交互式手部姿态估计的无模型方法[^13] [^14] [^16] [^18] [^19] [^52]取得了巨大进展。为了更好地抵御遮挡影响，一些研究[^13] [^18] [^19]倾向于将交互的手部分开并分别估计两只手；有些方法[^16] [^52]则利用点云网络进行密集建模。不过，这些方法对交互手部细节的预测严重依赖于分割结果或点云生成的质量。还有一些方法[^7] [^17]通过直接回归热图来获取手部关节坐标，这种方式直观且灵活。然而，当前的方法在局部细节特征提取方面并不理想，在三维交互手部姿态估计任务上仍存在性能不足的问题。Hampali等人[^7]提出的方法与我们的方法类似，都是直接回归两只手的关键点，但在存在强遮挡时预测效果仍然较差。相比之下，我们将密集分布的锚点视为局部回归器，并建立它们之间的相互作用，所提出的A2JTransformer不仅能提取局部精细的手部姿态，还能获取全局关节信息。 Transformer在手部姿态估计中的应用。随着自注意力机制的兴起以及Transformer模型的提出[^22]，越来越多的视觉领域通过引入Transformer模型来推动其发展，比如图像分类、物体检测、三维网格重建等[^28]。由于Transformer模型在捕捉非局部特征方面能力强劲，这对手部姿态估计领域无疑大有裨益，因此已有诸多工作[^26] [^27] [^30]将Transformer引入该领域。不过，这些架构均为单手姿态估计而设计。近期用于交互式手部姿态估计的方法虽取得了不错的结果，但仍存在性能不足[^7]或灵活性受限[^5]等问题。据此，我们的A2J-Transformer属于无模型范畴，并引入了Transformer模块。与以往的工作不同，我们将A2J和Transformer整合为一个统一的模型（即A2J-Transformer），具备端到端学习能力，从而揭示了我们通过同时考虑局部和全局视觉上下文来解决三维交互手部姿态估计（IHPE）任务的关键理论见解。同时，A2J中的二维锚点被演进为适配A2J-Transformer的三维版本，以利用单目RGB图像缓解从二维到三维的手部姿态提升这一不适定问题。这些提议在技术层面颇具前景，且深入契合三维IHPE的特定特性。 --- ![Image](images/ade580362473bbe97107dd5b385dfb3bfbd5977dd301eb6f8745bac79d05d946.jpg)

Figure 3. The first encoder layer of feature enhancement module.

### 3. A2J-Transformer：锚点至关节的Transformer网络如图2所示，A2J-Transformer由3个主要模型组成：金字塔特征提取器、锚点优化模型和锚点偏移权重估计模型。 #### 3.1. 金字塔特征提取器由于多尺度特征既能获取输入图像的全局信息，又能保留足够的细节信息，因此特征金字塔非常适合交互式手部姿态估计任务。因此，我们采用ResNet-50 [^36] 作为骨干网络，从输入的RGB图像中提取金字塔特征。具体而言，我们利用第2至4层的输出层，以$8,16,32\times$的采样率对图像平面尺寸进行下采样，从而得到金字塔特征。同时，我们使用3个卷积层来生成每个特征的Transformer模型输入，另外再用1个卷积层提取最后一层特征，以保留更多的空间信息。最终，这4个特征图会被送入下一个锚点优化模型。 #### 3.2. 锚点优化模型锚点优化模型旨在同时关注非局部关节特征和局部细粒度特征。它包含特征增强模块和锚点交互模块，分别用于增强图像特征以及建立锚点之间的交互关系。 #### 3.2.1 特征增强模块由于多尺度特征在捕捉全局线索和恢复局部细节方面十分有效，我们引入了自注意力模块 [^24] 来增强多尺度特征。因此我们将该模块称为特征增强模块，它由六个编码器层组成。该模块的第一个编码器层如图3所示，其余编码器层的输入为前一层的输出。输入和输出特征的所有维度均为256。从技术层面讲，对于输入的特征金字塔，首先使用卷积层和组归一化层 [^48] 将其处理为相同的图像平面尺寸。经过展平与拼接后，生成的特征F会与位置编码 $P_{xy}$ 相加： $$ P_{xy}=\mathrm{PE}(\mathrm{x},\mathrm{y}), $$ ![Image](images/789a4f8ee7c61a29ddde935001bc0a15c308697b1e565ab0f6e10099923a756c.jpg)

Figure 4. One decoder layer of anchor interaction module.

其中PE表示位置编码，用于从浮点数生成正弦嵌入 [^24]，x和y代表特征F的图像平面位置。此外，我们用多尺度可变形注意力模块（MSDAM） [^25] 替换了自注意力模块，以解决收敛速度慢和特征分辨率有限的问题。在自注意力模块中，查询Q、键K和值V的内容项均为F，且查询中还包含一个额外的位置项 $P_{xy}$： $$ Q=F+P_{x y},\quad K=r e f(F),\quad V=F, $$ 其中 $ref(\cdot)$ 表示遵循 [^25] 的样本参考键。随后，Q、K、V会被送入MSDAM，以得到供下一层编码器使用的增强特征。最终，经过6个编码器层后会生成具有全局感知能力的特征，这些特征会被送入锚点交互模块。 #### 3.2.2 锚点交互模块在A2J-Transformer中，会密集地设置均匀分布的3D锚点，通过这些3D锚点来直接估计手部关节位置。换句话说，这些3D锚点起到了局部坐标回归器的作用。关于3D锚点设置的更多实现细节，详见第3.3节。通过局部锚点来估计手部姿态具有两大优势：首先，密集的局部3D锚点设置能够有效捕捉图像中的精细局部细节，这对于估计相互遮挡严重的手部的细节信息效果显著；其次，交叉注意力模块能够建立局部锚点之间的交互关系，从而捕捉全局线索，这有利于处理遮挡问题。基于此，我们设计了包含6个解码器层的锚点交互模块，用以连接各个锚点，让每个锚点都能获取全局信息。图4展示了其中一个解码器层的结构；对于第一个解码器层而言，解码器嵌入会被编码器输出所替换。输入和输出特征的所有维度均为256。 ---

Symbol	Definition
$J \& j$	Joint set and joint. $j \in J$.
$A \& a$	Anchor point set and anchor point. $a \in A$.
$T_{j}^{i}$	In-plane coordinate of joint j.
$T_{j}^{d}$	Depth coordinate of joint j.
$C^{i}(a)$	In-plane coordinate of anchor point a.
$C^{d}(a)$	Depth coordinate of anchor point a.
$W_{j}(a)$	Weight of anchor a towards joint j.
$O_{j}^{i}(a)$	Predicted in-plane offset towards joint j from anchor point a.
$O_{j}^{d}(a)$	Predicted depth offset towards joint j from anchor point a.

Table 1. Symbol definition within A2J-Transformer.

为了便于解释，表1中定义了A2J-Transformer中的各类符号。与以往基于Transformer的研究不同，我们借鉴了DAB-DETR [^24] 的相关思路，将每个锚点a的坐标显式设置为查询向量，我们将其称为锚点查询向量。我们用$a_q = (x_q, y_q, d_q)$表示第q个锚点查询向量，而$x_q, y_q, d_q \in \mathbb{R}$则表示a在平面内及深度方向上的坐标。对于$a_q$而言，其空间编码$P_q$的生成方式如下： $$ P_{q}=\mathrm{M L P}(\mathrm{P E}(a_{q})), $$ 其中，所有层中MLP的参数都是共享的。对于自注意力模块，解码器层中查询向量、键向量和值向量的设置与特征增强模块中的设置类似： $$ Q=D+P_{q},\quad K=D+P_{q},\quad V=D, $$ 其中，D代表解码器嵌入。在交叉注意力模块中，我们将位置查询嵌入$P_{q}$添加到自注意力模块的输出D中，从而得到具备上下文感知能力的、包含锚点信息的查询向量Q。此外，锚点查询向量被直接设置为参考点K，而V则是编码器输出E： $$ Q=D+P_{q},\quad K=a_{q},\quad V=E, $$ 计算交叉注意力时会应用MSDAM。 #### 3.3. 锚点偏移-权重估计模型如3.2节所述，当各个锚点通过Transformer模块相互关联后，它们既能够恢复局部细节，又能感知全局信息。为了得到最终输出，我们会利用锚点偏移-权重估计模型来估算每个锚点相对于各手部关节的3D偏移量和权重。也就是说，每个锚点都充当局部估计器。所有手部关节的偏移量和权重会被分别估算出来。最后，我们通过加权求和的方式融合所有锚点的估算结果，从而得到关节的最终位置。图5展示了3D锚点结构。3D锚点的平面内坐标会密集分布在输入的RGB图像上，其平面内步长为$S_t = 16$。这样就能确保提取的特征图中每个像素点都能对应到相应的锚点， ![Image](images/f9c87f585ff3348660965c6ae6123970be382b6d60afbdab2c4e4c0b12e410e5.jpg)

Figure 5. 3D anchors in A2J-Transformer. Joints will be estimated from anchors and offsets.

在减小模型尺寸的同时，至少可以有一个与之对应的锚点。在此基础上，我们增加了锚点的深度值数量。除了原有的深度值0之外，还在世界坐标系下距离根部关节$\pm100$毫米的位置设置两个深度值，以每只手的根部关节为中心。这是由于基线方法中的数据预处理流程所致：即距离手部根部超过$\pm200$毫米的手部关节被视为无效关节。因此，对于输入图像尺寸$256\times256$而言，总共有$16\times16\times3$个锚点。这种设置方式将锚点扩展到了三维空间，以便更好地匹配预测关节的深度坐标。本质上，锚点是用于估算各关节相对于自身位置的局部回归器。如图2所示，每个锚点在偏移量估算分支中会返回一个从自身指向所有关节的三维坐标偏移量。由于不同锚点关注的特征范围不同，对各个锚点的贡献也会有所差异。因此，我们通过权重估算分支来预测每个锚点的权重。通过这两个分支，便可将所有锚点坐标的预测结果进行加权求和，从而计算出每个关节的坐标。从技术层面讲，为了获取偏移量$O_j^i(a)$、$O_j^d(a)$以及锚点权重$W_j(a)$，我们在锚点交互模型的输出上添加了两层MLP。每个锚点到各关节的三维偏移量$O_j(a)$由一层MLP回归得出，随后被划分为$O_j^i(a)$和$O_j^d(a)$。另一层MLP则用于回归每个关节对应的锚点权重$W_j(a)$。最终，预测关节j的三维坐标可表示为： $$ \left\{\begin{array}{l}\hat{T}_{j}^{i}=\sum_{a\in A}\tilde{W}_{j}\left(a\right)\left(C^{i}\left(a\right)+O_{j}^{i}\left(a\right)\right)\\ \hat{T}_{j}^{d}=\sum_{a\in A}\tilde{W}_{j}\left(a\right)\left(C^{d}\left(a\right)+O_{j}^{d}\left(a\right)\right)\end{array}\right., $$ 其中，$\hat{T}_{j}^{i}$和$\hat{T}_{j}^{d}$分别表示目标关节j的估计平面坐标与深度坐标，$C_{a}^{i}$和$C_{a}^{d}$代表锚点a的平面坐标与深度坐标。$\tilde{W}_{j}(a)$是从锚点a到关节j的归一化权重，可通过softmax函数计算得出： $$ \tilde{W}_{j}(a)=\frac{e^{W_{j}(a)}}{\sum\limits_{a\in A}e^{W_{j}(a)}}. $$ --- 通过这种方式，估计出的手部关节会自适应地选择对其贡献较大的锚点，并赋予它们较大的权重。最终，关节坐标和锚点权重会通过关节估计损失与锚点周围损失来进行监督训练。 #### 3.4. 损失函数在训练我们所提出的A2J-Transformer模型时，采用了两种损失函数：(1) 关节估计损失，(2) 锚点周围损失，详见[^21]。关节估计损失。在得到估计的三维关节坐标后，我们使用关节估计损失来对最终输出进行监督，其公式如下： $$ l o s s_{1}=\alpha\sum_{j\in J}L_{\tau_{1}}(\hat{T}_{j}^{i}-T_{j}^{i})+\sum_{j\in J}L_{\tau_{2}}(\hat{T}_{j}^{d}-T_{j}^{d}), $$ 其中，$\hat{T}_j^i$和$\hat{T}_j^d$分别表示根据公式6得到的关节j的估计平面坐标与深度坐标，$T_j^i$和$T_j^d$为给定的关节j的平面坐标与深度真实值；参数$\alpha$默认设为0.5，用于平衡平面偏移估计与深度偏移估计任务之间的损失。$L_\tau(\cdot)$即为$smooth_{L1}$形式的损失函数[^31]，其定义为： $$ L_{\tau}(x)=\left\{\begin{array}{l l}{\frac{1}{2\tau}x^{2},}&{\mathrm{f o r}|x|<\tau,}\\ {|x|-\frac{\tau}{2},}&{\mathrm{o t h e r w i s e}.}\end{array}\right. $$ $\tau_{1}, \tau_{2}$被分别设为1和3，以便更好地平滑深度值。锚点周围损失。为了引导具有信息量的锚点定位在手部关节附近，从而提升模型的泛化能力，我们定义了锚点周围损失如下： $$ \begin{array}{r l}&{l o s s_{2}=\displaystyle\sum_{j\in J}L_{\tau_{1}}(\sum_{a\in A}\tilde{W}_{j}(a)C^{i}(a)-T_{j}^{i})}\\ &{+\displaystyle\sum_{j\in J}L_{\tau_{2}}(\sum_{a\in A}\tilde{W}_{j}(a)C^{d}(a)-T_{j}^{d}),}\end{array} $$ 其中 $\tau_{1}$ 和 $\tau_{2}$ 也被分别设为 1 和 3。最终，总损失函数被定义为： $$ l o s s=\lambda_{1}l o s s_{1}+\lambda_{2}l o s s_{2}. $$ 其中 $\lambda_{1}$ 和 $\lambda_{2}$ 被设为 3 和 1，用于平衡两种损失。 ### 4. 实验 #### 4.1. 实验设置 #### 4.1.1 数据集 InterHand2.6M 数据集 [^17]。InterHand2.6M 是一个具有挑战性手部交互场景的代表性双手 RGB 图像数据集，包含 136 万张训练图像和 84.9 万张测试图像。其真实标签包含半自动标注的 42 个手部关节的 3D 坐标。为了公平比较，我们按照 InterNet 的方法选取所有测试帧进行结果评估 [^17]。 RHP 数据集 [^50]。RHP 是一个合成数据集，包含两组独立手部数据，共有 4.1 万张训练样本和 2.7 千张测试样本。由于该数据集的背景为户外场景，我们用它来评估模型在真实野外环境下的泛化能力。为了公平比较，我们也遵循 InterNet 的设置。 NYU 数据集 [^42]。NYU 是一个单手深度图像数据集，包含 7.2 万张训练图像和 8.2 千张测试图像，对 36 个手部关节有 3D 标注。按照 [^21]、[^39]、[^43]、[^44] 的方法，我们选取其中的 14 个关节进行评估。 HANDS 2017 数据集 [^37]。HANDS 2017 是一个单手深度图像数据集，由 BigHand2.2M [^38] 和 First-Person Hand Action [^37] 合并而成，包含 95.7 万张训练图像和 29.5 万张测试图像。其真实标签包含 21 个手部关节的 3D 坐标。 #### 4.1.2 评估指标在 InterHand2.6M 数据集上采用平均关节位置误差（MPJPE）进行评估 [^17]。该指标定义为预测与真实 3D 关节位置之间的欧几里得距离（单位：毫米）。按照 [^17] 的规定，该指标是在分别对左手和右手进行根关节对齐后计算的。对于 RHP 数据集，采用端点误差（EPE）作为评估指标，其定义为根关节对齐后预测与真实 3D 手部姿态之间的平均欧几里得距离（单位：毫米）。对于这两个深度图像数据集，按照 [^21]、[^39] 的方法采用平均 3D 距离误差进行评估。此外，我们使用 FPS 来评估推理速度，所有模型在推理时均在单张 NVIDIA RTX 2080ti GPU 上测试。 #### 4.1.3 实现细节 A2J-Transformer 是基于 PyTorch 实现的。对于 InterHand2.6M 和 RHP 数据集，我们直接裁剪 RGB 图像并将其分辨率调整为 $256 \times 256$。数据增强方式与 InterNet 完全一致 [^17]。对于 NYU 和 HANDS 2017 数据集，我们按照 [^39] 的方法裁剪深度图像并将其分辨率调整为 $176 \times 176$。我们使用 Adam 优化器训练模型 [^40]，在所有情况下学习率均设为 $1 \times 10^{-4}$，权重衰减参数也设为 $1 \times 10^{-4}$。InterHand2.6M、RHP 和 NYU 数据集共训练 42 个 epoch，HANDS 2017 数据集训练 17 个 epoch。 #### 4.2. 实验结果 InterHand2.6M 数据集：表 2 列出了在 InterHand2.6M 数据集上与现有最先进方法的对比结果。可以看出： • 总体而言，在所有测试场景下，A2J-Transformer的性能都大幅优于其他无模型方法。这证明我们的方法在从交互手部中提取有效信息方面取得了显著进展。与基于模型的方法相比，A2J-Transformer在不使用任何手部先验信息的情况下，就能取得与最先进方法相当的结果。 ---

Methods	MPJPE (mm)			FPS (s)	Model Size(M)
Methods	Single	Two	All	FPS (s)	Model Size(M)
Model-based
Zhang et al. [^6]	-	13.48	-	17.02	143
Meng et al. [^13]	8.51	13.12	10.97	15.47	55
Li et al. [^5]	-	8.79	-	18.05	39
Model-free
Moon et al. [^17]	12.16	16.02	14.22	107.08	47
Kim et al. [^14]	-	-	12.08	-	-
Fan et al. [^18]	11.32	15.57	-	-	-
Hampali et al. [^7]	10.99	14.34	12.78	19.66	48
Ours	8.10	10.96	9.63	25.65	42

Table 2. Comparison with state-of-the-art model-based and model-free methods on InterHand2.6M [^17]. MPJPE, FPS and model size are reported.

Methods	GT S	GT H	EPE
Zimm. et al. [^50]	✓	✓	30.42
chen et al. [^55]	✓	✓	24.20
Yang et al. [^56]	✓	✓	19.95
Spurr et al. [^57]	✓	✓	19.73
Spurr et al. [^57]	✗	✗	19.73
Moon et al. [^17]	✗	✗	20.89
A2J-Transformer(Ours)	✗	✗	17.75

Table 3. EPE comparison with previous state-of-the-art methods on RHP. Following [^17], the checkmark denotes a method use ground-truth information during inference time. S and H denote scale and handness, respectively.

此外，A2J-Transformer的推理速度相当快，仅略低于基线模型[^17]，且模型尺寸最小。总之，我们的模型在性能、运行速度和模型尺寸方面均实现了最佳综合表现。 • 具体而言，与基线模型[^17]相比，A2J-Transformer在三种场景下分别提升了4.06毫米、5.06毫米和4.59毫米。与最先进的无模型方法[^7]相比，我们方法的提升幅度分别为2.89毫米、3.38毫米和3.15毫米。与最先进的基于模型的方法[^5]相比，我们的方法在双手场景下无需任何手部先验信息即可达到相当的性能，这使得我们的模型更加灵活。 • 在运行速度方面，A2J-Transformer的推理速度可达25帧/秒，仅次于基线模型，性能超过所有其他方法。此外，A2J-Transformer的模型尺寸也最小，仅有42百万个参数。这些特性为模型的未来扩展以及实时3D手部姿态估计带来了极大便利。 RHP数据集：表3展示了在RHP数据集上的对比结果。结果显示，A2J-Transformer在推理时无需依赖真实信息，其性能优于以往的方法。实验证明了该模型在自然场景图像上的有效性，以及良好的泛化能力。 NYU和HANDS 2017数据集：与……

Methods	Mean Error (mm)	FPS(s)
Moon et al. [^39]	9.22	35
Xiong et al. [^21]	8.61	105.06
Fang et al. [^45]	8.29	111.20
Ours	8.43	24.81

Table 4. Performance comparison on NYU dataset [^42]. Our proposed A2J-Transformer can guarantee a competitive performance for the depth image input.

Methods	Mean Error (mm)	FPS(s)
Ge et al. [^46]	11.30	48
Yuan et al. [^47]	9.97	-
Moon et al. [^39]	9.95	3.5
Xiong et al. [^21]	8.57	105.06
Ours	8.32	24.81

Table 5. Performance comparison on HANDS 2017 dataset [^37]. Our method can get state-of-the-art performance on this dataset.

表4和表5给出了在NYU和HANDS 2017数据集上与最先进的基于深度的单手估计方法的对比结果。由于A2J-Transformer并非专门为深度图像上的单手估计设计，我们仅更改输入通道来验证模型的泛化能力。总结如下： • 尽管A2J-Transformer是基于交互手部的RGB图像设计的，但它在HANDS 2017数据集上仍取得了最先进的性能，在NYU数据集上也获得了相当的结果。这得益于A2J-Transformer强大的手部关节信息捕捉能力以及3D锚点的拟合能力。与A2J [^21]相比，该模型在两个数据集上均实现了一定的性能提升，这证明了A2J-Transformer强大的泛化能力。 #### 4.3. 消融研究 #### 4.3.1 组件有效性分析我们在Interhand2.6M数据集上对A2J-Transformer的各组件有效性进行了分析。我们探讨了四个部分的有效性：(1) 基于Transformer的模型（锚点细化模型），(2) A2J（锚点到关节）模块，(3) 3D锚点权重，(4) MSDAM。具体的实现细节分别为：(1) 用A2J中的卷积模块替换锚点细化模型；(2) 不使用锚点-to-关节模块，直接回归手部关节；(3) 将所有锚点的权重设为相同值并进行归一化；(4) 用原始注意力模块替换MSDAM。结果列于表6中。可以看出： • 移除基于Transformer的模型和A2J模块后，A2J-Transformer的性能分别下降了5毫米和6毫米，这证明了通过同时考虑局部和全局视觉上下文来解决三维交互手部姿态估计任务的有效性。 --- ![Image](images/8b7a1d5886aea4f88ec5fca80ab027e16e828523b68bac0c11f7c041c746f150.jpg)

(a) Weight visualization on right middle PIP.

(b) Weight visualization on different joints.

Figure 6. Qualitative results of A2J-Transformer. We show the input, output and weights of anchors on different depth value layers. Red dots in the three depth maps indicate the anchors set at depth positions +100mm, 0mm, and -100mm from the root joint respectively. The shade of red dots represents the weights assigned to these anchors as described in Sec. 3.3.

Trans.	A2J	Weights	MSDAM	MPJPE (mm)
✗	✓	✓	✓	14.44
✓	✗	✓	✓	15.36
✓	✓	✗	✓	14.04
✓	✓	✓	✗	10.69
✓	✓	✓	✓	9.63

Table 6. Component effectiveness analysis of A2J-Transformer. 'Trans.' means Transformer-based model (anchor refinement model) and 'Weights' means 3D anchor weights.

• 移除三维锚点权重后，A2J-Transformer的性能下降了4.4毫米。这表明每个三维锚点的回归结果存在性能差异，因此模型预测的权重对于手部关节的预测至关重要。 • 将MADAM替换为原始的注意力模块后，A2J-Transformer的性能下降了1毫米，这证明了MSDAM对我们的模型是有用的。 #### 4.3.2 锚点设置分析为了探究其对模型性能的影响，我们设置了更多的平面内和深度值来进行对比实验。具体的设置方法及其性能结果如表7所示。所有深度值都统一选取在手部关节附近，就像第3.3节中描述的选取3个深度值一样。可以看出，当设置更多的平面内和深度锚点时，A2J-Transformer的性能会提升，但推理速度通常会随之下降。为了在准确性和效率之间取得平衡，最终选择了256和3这两个数值。 #### 4.4 定性评估与局限性我们在图6中展示了定性评估结果。可以看出，当需要预测不同关节坐标时，A2J-Transformer能够自动增大信息量丰富的锚点的权重。即便在交互手部存在严重遮挡的情况下，该模型仍能得出准确的结果。我们方法的主要局限性在于，当手部区域存在大面积遮挡或缺失时，模型预测的结果会出现偏差。

In-plane	Depth	MPJPE (mm)	FPS (s)
256	7	9.50	19.33
256	5	9.61	21.21
256	3	9.63	25.65
256	1	9.75	26.06
64	3	12.28	25.25
16	3	14.07	27.39
4	3	15.48	27.63

Table 7. Anchor setting analysis of A2J-Transformer. 'In-plane' and 'Depth' denotes the number of selected anchor number values for in-plane and depth direction, respectively.

如果手部区域存在遮挡或缺失，我们模型预测的结果将会出现偏差。 ### 5. 结论本文提出了一种名为A2J-Transformer的三维单目RGB交互手部姿态估计方法。借助Transformer的非局部编码-解码框架，A2J能够同时捕捉交互手部的局部细节以及关节间的全局关联信息。此外，三维锚点被用于更好地适配深度信息并估算精确的三维坐标。在InterHand2.6M和RHP数据集上的实验验证了A2J-Transformer的有效性和优越性，而在NYU和HANDS 2017数据集上的扩展实验则体现了其泛化能力。在未来的工作中，我们将尝试表示锚点的运动，并将我们的方法扩展到基于模型的区域。 ## 致谢本研究得到了国家自然科学基金（项目编号：62271221和U1913602）的共同资助。周天益的研究经费来自新加坡科学与工程研究理事会中央研究基金（应用导向基础研究），以及新加坡政府“研究与创新和企业2020计划”（先进制造与工程领域）下的项目资助，项目编号为A18A1b0045。 --- 本项目由Grant A18A1b0045资助。 ## 参考文献 [^1]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall, “Capturing hands in action using discriminative salient points and physics simulation,” International Journal of Computer Vision, vol. 118, no. 2, pp. 172–193, 2016. 1,2 [^2]: B. Smith, C. Wu, H. Wen, P. Peluse, Y. Sheikh, J. K. Hodgins, and T. Shiratori, “Constraining dense hand surface tracking with elasticity,” ACM Transactions on Graphics (TOG), vol. 39, no. 6, pp. 1–14, 2020. 1, 2, 3 [^3]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” arXiv preprint arXiv:2201.02610, 2022. 2 [^4]: Y. Rong, T. Shiratori, and H. Joo, “Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration,” arXiv preprint arXiv:2008.08324, 2020. [^5]: M. Li, L. An, H. Zhang, L. Wu, F. Chen, T. Yu, and Y. Liu, “Interacting attention graph for single image two-hand reconstruction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 2761–2770. 1, 2, 3, 7 [^6]: B. Zhang, Y. Wang, X. Deng, Y. Zhang, P. Tan, C. Ma, and H. Wang, “Interacting two-hand 3d pose and shape reconstruction from single color image,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11354–11363. 1, 2, 3, 7 [^7]: S. Hampali, S. D. Sarkar, M. Rad, and V. Lepetit, “Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 11090–11100. 1, 2, 3, 7 [^8]: Y. Rong, J. Wang, Z. Liu, and C. C. Loy, “Monocular 3d reconstruction of interacting hands via collision-aware factorized refinements,” in 2021 International Conference on 3D Vision (3DV). IEEE, 2021, pp. 432–441. [^9]: L. Ballan, A. Taneja, J. Gall, L. V. Gool, and M. Pollefeys, “Motion capture of hands in action using discriminative salient points,” in European Conference on Computer Vision. Springer, 2012, pp. 640–653. 1, 2 [^10]: J. Wang, F. Mueller, F. Bernard, S. Sorli, O. Sotnychenko, N. Qian, M. A. Otaduy, D. Casas, and C. Theobalt, "Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video," ACM Transactions on Graphics (ToG), vol. 39, no. 6, pp. 1–16, 2020. 1, 2, 3 [^11]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros, “Tracking the articulated motion of two strongly interacting hands,” in 2012 IEEE conference on computer vision and pattern recognition. IEEE, 2012, pp. 1862–1869. 1, 2 [^12]: Y. Cai, L. Ge, J. Cai, and J. Yuan, “Weakly-supervised 3d hand pose estimation from monocular rgb images,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 666–682. 1, 3 [^13]: H. Meng, S. Jin, W. Liu, C. Qian, M. Lin, W. Ouyang, and P. Luo, “3d interacting hand pose estimation by hand de-occlusion and removal,” arXiv preprint arXiv:2207.11061, 2022. 1, 3, 7 [^14]: D. U. Kim, K. I. Kim, and S. Baek, “End-to-end detection and pose estimation of two interacting hands,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11189–11198. 1, 3, 7 [^15]: Y. Liu, J. Jiang, and J. Sun, “Hand pose estimation from rgb images based on deep learning: A survey,” in 2021 IEEE 7th International Conference on Virtual Reality (ICVR). IEEE, 2021, pp. 82–89. 1 [^16]: W. Cheng, J. H. Park, and J. H. Ko, “Handfoldingnet: A 3d hand pose estimation network using multiscale-feature guided folding of a 2d hand skeleton,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11260–11269. 1, 3 [^17]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, “Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image,” in European Conference on Computer Vision. Springer, 2020, pp. 548–564. 1,2,3,6,7 [^18]: Z. Fan, A. Spurr, M. Kocabas, S. Tang, M. J. Black, and O. Hilliges, “Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation,” in 2021 International Conference on 3D Vision (3DV). IEEE, 2021, pp. 1–10. 1, 3, 7 [^19]: F. Lin, C. Wilhelm, and T. Martinez, “Two-hand global 3d pose estimation using monocular rgb,” in Proceedings of the IEEE/CVF winter conference on applications of computer vision, 2021, pp. 2373–2381. 1, 3 [^20]: U. Iqbal, A. Doering, H. Yasin, B. Krüger, A. Weber, and J. Gall, “A dual-source approach for 3d human pose estimation from single images,” Computer Vision and Image Understanding, vol. 172, pp. 37–49, 2018. 1, 3 [^21]: F. Xiong, B. Zhang, Y. Xiao, Z. Cao, T. Yu, J. T. Zhou, and J. Yuan, “A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 793–802. 1, 2, 3, 6, 7 [^22]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” Advances in neural information processing systems, vol. 30, 2017. 2, 3 [^23]: D. Meng, X. Chen, Z. Fan, G. Zeng, H. Li, Y. Yuan, L. Sun, and J. Wang, “Conditional detr for fast training convergence,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 3651–3660. [^24]: S. Liu, F. Li, H. Zhang, X. Yang, X. Qi, H. Su, J. Zhu, and L. Zhang, “Dab-detr: Dynamic anchor boxes are better queries for detr,” arXiv preprint arXiv:2201.12329, 2022. 4, 5 ## [^25]: X. Zhu, W. Su, L. Lu, B. Li, X. Wang, and J. Dai, “Deformable detr: Deformable transformers for end-to-end object detection,” arXiv preprint arXiv:2010.04159, 2020. 4 --- [^26]: K. Lin, L. Wang, and Z. Liu, “End-to-end human pose and mesh reconstruction with transformers,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 1954–1963. 3 [^27]: L. Huang, J. Tan, J. Liu, and J. Yuan, “Hand-transformer: Non-autoregressive structured modeling for 3d hand pose estimation,” in European Conference on Computer Vision. Springer, 2020, pp. 17–33. 3 [^28]: S. Khan, M. Naseer, M. Hayat, S. W. Zamir, F. S. Khan, and M. Shah, “Transformers in vision: A survey,” ACM computing surveys (CSUR), vol. 54, no. 10s, pp. 1–41, 2022. 3 [^29]: N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko, “End-to-end object detection with transformers,” in European conference on computer vision. Springer, 2020, pp. 213–229. [^30]: K. Lin, L. Wang, and Z. Liu, “Mesh graphormer,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 12939–12948. 3 [^31]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster r-cnn: Towards real-time object detection with region proposal networks,” Advances in neural information processing systems, vol. 28, 2015. 6 [^32]: J. Romero, H. Kjellström, and D. Kragic, “Monocular real-time 3d articulated hand pose estimation,” in 2009 9th IEEE-RAS International Conference on Humanoid Robots. IEEE, 2009, pp. 87–92. 1 [^33]: J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finochio, R. Moore, A. Kipman, and A. Blake, “Real-time human pose recognition in parts from single depth images,” in CVPR 2011. Ieee, 2011, pp. 1297–1304. 1 [^34]: D. Tang, H. Jin Chang, A. Tejani, and T.-K. Kim, “Latent regression forest: Structured estimation of 3d articulated hand posture,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2014, pp. 3786–3793. 1 [^35]: A. Armagan, G. Garcia-Hernando, S. Baek, S. Hampali, M. Rad, Z. Zhang, S. Xie, M. Chen, B. Zhang, F. Xiong et al., “Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction,” in European Conference on Computer Vision. Springer, 2020, pp. 85–101. [^36]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778. 2,4 [^37]: S. Yuan, Q. Ye, G. Garcia-Hernando, and T.-K. Kim, “The 2017 hands in the million challenge on 3d hand pose estimation,” arXiv preprint arXiv:1707.02237, 2017. 2, 6, 7 [^38]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim, “Big-hand2.2m benchmark: Hand pose dataset and state of the art analysis,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 4866–4874. 6 [^39]: G. Moon, J. Y. Chang, and K. M. Lee, “V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human 基于单张深度图的姿态估计，载于《IEEE计算机视觉与模式识别会议论文集》，2018年，第5079–5088页。1, 3, 6, 7 [^40]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” arXiv preprint arXiv:1412.6980, 2014. 6 [^41]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnimate: A method for 3d annotation of hand and object poses,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 3193–3203. [^42]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin, “Real-time continuous pose recovery of human hands using convolutional networks,” ACM Transactions on Graphics (ToG), vol. 33, no. 5, pp. 1–10, 2014. 6, 7 [^43]: X. Chen, G. Wang, H. Guo, and C. Zhang, “Pose guided structured region ensemble network for cascaded hand pose estimation,” Neurocomputing, vol. 395, pp. 138–149, 2020. 6 [^44]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang, “Region ensemble network: Improving convolutional network for hand pose estimation,” in 2017 IEEE International Conference on Image Processing (ICIP). IEEE, 2017, pp. 4512–4516. 6 [^45]: L. Fang, X. Liu, L. Liu, H. Xu, and W. Kang, “Jgr-p2o: Joint graph reasoning based pixel-to-offset prediction network for 3d hand pose estimation from a single depth image,” in European Conference on Computer Vision. Springer, 2020, pp. 120–137. 7 [^46]: L. Ge, Y. Cai, J. Weng, and J. Yuan, “Hand pointnet: 3d hand pose estimation using point sets,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 8417–8426. 7 [^47]: S. Yuan, G. Garcia-Hernando, B. Stenger, G. Moon, J. Y. Chang, K. M. Lee, P. Molchanov, J. Kautz, S. Honari, L. Ge et al., “Depth-based 3d hand pose estimation: From current achievements to future goals,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 2636–2645. 7 [^48]: Y. Wu and K. He, “Group normalization,” in Proceedings of the European conference on computer vision (ECCV), 2018, pp. 3–19. 4 [^49]: A. Spurr, J. Song, S. Park, and O. Hilliges, “Cross-modal deep variational hand pose estimation,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 89–98. [^50]: C. Zimmermann are learning to estimate 3d hand pose from c'ings of the IEEE interpp. 4903– [^51]: S. Han, P.-c. Wu, Y. Zhang, B. Liu, L. Zhang, Z. Wang, W. Si, P. Zhang, Y. Cai, T. Hodan et al., “Umetrack: Unified multiview end-to-end hand tracking for vr,” in SIGGRAPH Asia 2022 Conference Papers, 2022, pp. 1–9. 3 ## [^52]: X. Deng, D. Zuo, Y. Zhang, Z. Cui, J. Cheng, P. Tan, L. Chang, M. Pollefeys, S. Fanello, and H. Wang, “Recurrent 3d hand pose estimation using cascaded pose-guided --- 三维对齐，《IEEE模式分析与机器智能汇刊》，第45卷第1期，第932–945页，2022年。3 [^53]: L. Huang, B. Zhang, Z. Guo, Y. Xiao, Z. Cao, and J. Yuan, “Survey on depth and rgb image-based 3d hand shape and pose estimation,” Virtual Reality & Intelligent Hardware, vol. 3, no. 3, pp. 207–234, 2021. 1 [^54]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnimate: A method for 3d annotation of hand and object poses,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 3196–3206. 2 [^55]: L. Chen, S.-Y. Lin, Y. Xie, H. Tang, Y. Xue, X. Xie, Y.-Y. Lin, and W. Fan, “Generating realistic training images based on tonality-alignment generative adversarial networks for hand pose estimation,” arXiv preprint arXiv:1811.09916, 2018.7 [^56]: L. Yang and A. Yao, “Disentangling latent hands for image synthesis and pose estimation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 9877–9886. 7 [^57]: A. Spurr, J. Song, S. Park, and O. Hilliges, “Cross-modal deep variational hand pose estimation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 89–98. 7