# AHRNET：基于注意力机制和热图的手部姿态估计与网格恢复模型周峰$^{1}$、沈培$^{1}$、戴炬$^{2*}$、蒋娜$^{3}$、胡勇$^{4}$、赖宇坤$^{5}$、Paul L. Rosin$^{5}$ $^{1}$华北理工大学 $^{2}$鹏城实验室 $^{3}$首都师范大学 $^{4}$北京航空航天大学虚拟现实技术与系统国家重点实验室 $^{5}$卡迪夫大学 ## 摘要由于存在自遮挡、视角变化以及手部关节的复杂性，从单张RGB图像中估计三维手部姿态并恢复完整的手部表面网格是一项极具挑战性的任务。在本文中，我们提出了一种新颖的框架，将注意力机制与热图回归相结合，以准确且高效地预测三维关节位置并重建手部网格。我们采用了一种池化注意力模块，该模块能够学习聚焦于输入图像中的相关区域，从而提取更优的特征来处理遮挡问题，同时大幅降低计算成本。多尺度二维热图提供了空间约束，用于指导三维顶点预测。通过利用稀疏二维监督与密集网格回归的互补优势，我们的方法能够精确重建出细节逼真的手部网格。在标准基准测试上的大量实验表明，所提出的方法有效提升了三维手部姿态估计和网格恢复的性能。可复现的实验方案可在获取。关键词——手部姿态、网格恢复、深度学习、人机交互、热图 ### 1. 引言从单张RGB图像中进行手部姿态估计和表面重建，能够支撑人机交互[^1] [^2] [^3] [^4] [^5]、增强/虚拟现实[^6] [^7]以及机器人技术[^8]等诸多应用场景。然而，由于手部关节复杂、存在自遮挡现象以及视角变化多样，这项任务仍颇具挑战性。尽管基于数据驱动的深度学习方法已取得令人瞩目的成果，但如何在有限的二维监督下高效预测精准的三维手部关节并重建逼真的表面网格，仍然是一个待解决的难题。以往基于模型的方法采用带关节的手部模型，并通过优化模型参数来匹配观测结果。不过，这些方法往往无法捕捉到手部几何结构的细微细节。而近期基于数据驱动的方法则利用神经网络和大规模数据集，学习从输入图像到三维手部姿态及形状的直接映射关系。尽管这些方法能生成更逼真的输出结果，但在处理被遮挡的关节、有限训练数据以及计算限制等方面仍存在困难。 ![Image](images/8d8a18d1974be416c59990e820cf169ab0976f691135477b5bf0cc5c0804766b.jpg)

(a)

(b)

Fig. 1. A simple game interaction scene. (a) A scene in which the linear blend skinning model of the hand is driven by the predicted 3D joint points of the hand in the video to interact with the object at low FPS. (b) Interactive scene at high FPS. At low FPS, there is a possibility that the prediction of the 3D joint points of the hand in a certain frame is inaccurate, resulting in abnormal hand deformation when driving the linear blend skinning model of the hand, as highlighted by the example in the red circle where the finger deforms abnormally. Best viewed in color.

利用网络和大型数据集来学习从输入图像到3D手部姿态和形状的直接映射关系。尽管这些方法能够生成更逼真的输出，但在处理被遮挡的关节、有限的训练数据以及计算限制方面仍存在困难。近年来，受自然语言处理领域Transformer架构演进的推动，视觉Transformer（ViT）[^9]成功将Transformer架构引入计算机视觉领域。这一突破性进展为计算机视觉研究带来了全新的视角与方法。在这一趋势下，基于Transformer的模型催生了包括物体检测、语义分割和视频理解在内的各类计算机视觉任务，并取得了令人瞩目的成果。目前，大量研究采用这种方法来解决手部姿态估计和网格重建等任务，取得了显著成效[^10] [^11]。METRO [^10]是通过Transformer实现人体网格恢复的开创性工作，展现出相较于其他方法的显著优势。不过，它对计算资源的需求较大。为解决这一问题，FastMETRO [^11] --- ![Image](images/d90c44d61ddfc3c70dbf33a797bf02458743e5b77220747afa8a5c473f9acea6.jpg)

Fig. 2. The overall architecture of our AHRNET for 3D hand pose estimation. The light blue background shows the multi-scale heatmap module. The high-resolution feature map obtained by the high-resolution feature extraction module is passed to four different branches, namely the global feature branch, the joint heatmap branch, the vertex heatmap branch and the attention feature branch. The figure on the right shows the multi-scale heatmap module structure. Best viewed in color.

提出了一种新型的Transformer编码器-解码器架构，通过解耦各组件间的交互来突破性能瓶颈。尽管基于Transformer的方法已展现出良好的效果，但在有效处理手部姿态估计和网格恢复等任务时仍面临挑战。在本文中，我们提出了一种用于手部姿态估计和网格恢复的注意力与热图回归网络（AHRNet）。我们还构建了一个简单的游戏场景来测试并验证算法的有效性与效率，如图1所示。主要贡献可总结如下： - 我们提出了用于3D手部姿态估计的新型AHRNet，该模型在公共数据集上的性能可与现有最先进方法相媲美，同时效率更高。 - 在网络架构方面，我们利用多尺度热图和多层Transformer编码器-解码器模块来提升性能。 - 为提高交互效率，我们采用了高分辨率特征提取模块来大幅提升算法效率，从而为用户提供更佳的虚拟交互体验。 ### 2. 我们的方法基于RGB图像的三维手部姿态估计任务$I \in \mathbb{R}^{H \times W}$旨在从给定的RGB图像中估算手部在相机坐标系下的三维关节位置$P \in \mathbb{R}^{J \times 3}$，其中H和W分别表示输入手部图像的高度和宽度，J为手部关节总数，通常为21个。在RGB图像中准确估算每个手指关节的相对深度坐标是一项极具挑战性的任务。基于回归的方法首先提取与关节相关的特征，而基于检测的方法则利用卷积神经网络从提取的特征中生成热图，进而精准获取手部关节位置。我们提出的方法结合了基于回归和基于检测的思路。首先，我们使用回归方法预测手部的三维顶点坐标和三维关节坐标，随后通过相机参数（缩放比例、平移x、平移y）将它们分别投影到二维图像上。同时，我们利用多尺度热图（顶点热图和关节热图）来监督这两种投影过程，并从输入的RGB图像中提取的特征中获取与投影相关的信息。这些特征被用于进一步预测手部的三维顶点和三维关节位置。所提方法的细节如图2所示，它主要由三个模块组成：高分辨率特征提取模块、多尺度热图模块以及多层Transformer编码器-解码器模块。 #### 2.1. 高分辨率特征提取模块尽管Swin-Transformer等框架[^12]能够提取出合理的特征表示，但随着层数的增加，特征的分辨率会持续降低。实验分析表明，高分辨率图像特征有助于Transformer回归人体关节和网格顶点的3D坐标。为了获取高分辨率特征图，我们需要聚合来自不同层的不同分辨率特征。具体来说，我们将每个模块输出的低分辨率图像特征上采样以获得高分辨率特征，再将其与上一个模块输出的高分辨率特征相加，从而得到融合后的高分辨率特征。接下来，我们对这些融合后的特征进行处理，最终得到所需的高分辨率特征。 --- 高分辨率的图像特征有助于Transformer回归人体关节和网格顶点的3D坐标。为了获取高分辨率的特征图，我们需要聚合来自不同层的不同分辨率的特征。具体来说，我们将每个模块中的低分辨率图像特征上采样以获得高分辨率特征，然后将其与上一个模块中的高分辨率特征相加，从而得到融合后的高分辨率特征。接下来，我们对这些融合后的特征进行处理，以得到最终的高分辨率特征。 #### 2.2. 多尺度热图模块通过高分辨率特征提取模块，我们获得了全局特征和高分辨率特征，随后将其分别传入顶点热图分支、关节热图分支以及注意力特征分支。这些分支的结构如图2右侧所示。我们采用Resblock模块[^13]来处理高分辨率特征。首先，将尺寸为$D \times \frac{H}{4} \times \frac{H}{4}$×$D = 64$的高分辨率特征图输入Resblock模块。对于顶点热图分支，Resblock模块中的顶点数$N_1$被设置为195，代表3D手部顶点的数量；对于关节热图分支，顶点数$N_2$被设置为21，代表3D手部关节的数量；注意力图特征的维度$N_3$则被设置为512。通过该网络，我们可得到顶点热图特征$f_v \in N_1 \times \frac{H}{4} \times \frac{H}{4}$（$N_1 = 195$）、关节热图特征$f_j \in N_2 \times \frac{H}{4} \times \frac{H}{4}$（$N_2 = 21$）以及注意力图特征$f_a \in N_3 \times \frac{H}{4} \times \frac{H}{4}$（$N_3 = 512$）。接下来，将顶点热图特征与关节热图特征拼接起来，再与经转置处理后的注意力图特征矩阵通过Softmax层相乘，从而得到双尺度热图特征$f_s$。这些特征将作为后续Transformer模块的顶点查询项和关节查询项。此外，顶点热图特征会通过全连接层转换为维度为$(1, B, 512)$的特征，用作初始的弱透视相机参数查询项（cam-queries）。 #### 2.3. 多层Transformer编码器-解码器模块受[^10]中提出的渐进式降维方案以及[^11]中提出的新型Transformer编码器-解码器架构的启发，我们设计了用于回归最终3D手部顶点和3D关节的渐进式降维Transformer编码器-解码器架构。在解码器中，我们将全局特征用作Key和Value，而将特征$f_s$用作查询项。通过在解码器中引入交叉注意力模块，我们能够有效捕捉手部关节与网格顶点之间的非局部关系。最终，我们可同时得到关节特征$X_j \in \mathbb{R}^{N_2 \times 2D}$和顶点特征$X_v \in \mathbb{R}^{N_1 \times 2D}$。此外，我们还采用了[^14]中提出的渐进式注意力掩码方案，该方案在学习过程中会更侧重于不同距离阈值内的顶点和关节。 #### 2.4. 损失函数该方法在训练时采用了五种损失函数，包括顶点损失$L_{vert}$、3D关节损失$L_{j3d}$、2D关节损失$L_{j2d}$、顶点热图损失$L_{v\_hp}$以及关节损失$L_{j\_hp}$。这五种损失函数均已在以往的研究中被提出并应用[^10] [^11] [^14]。顶点损失$L_{vert}$利用$L_1$损失函数来计算预测顶点与真实顶点之间的差异。3D关节损失$L_{j3d}$采用均方误差（MSE）损失函数，用以计算预测关节与真实关节之间的差异，以及由预测顶点回归得到的3D关节与真实关节之间的差异。2D关节损失$L_{j2d}$同样使用$L_1$损失函数，来计算根据相机内参由预测顶点投影得到的2D关节点与真实2D关节点之间的差异；它还会计算根据预测3D关节经相机参数投影得到的2D关节点与真实2D关节点之间的差异。在计算差异时，顶点热图损失$L_{v\_hp}$会运用二元交叉熵损失和Dice损失[^14]。$L_{j\_hp}$的计算过程与上述描述一致。最终，我们的总体损失函数定义如下： $$ \begin{aligned}L_{total}=&W_{vert}\times L_{vert}+W_{j3d}\times L_{j3d}+W_{j2d}\times L_{j2d}\\&+W_{v\_hp}\times L_{v\_hp}+W_{j\_hp}\times L_{j\_hp}\end{aligned} $$ 其中$W_{vert}$、$W_{j3d}$、$W_{j2d}$、$W_{v\_hp}$、$W_{j\_hp}$为平衡因子，分别被设定为0.01、0.1、0.01、0.5和0.5。 ### 3. 实验与讨论 #### 3.1. 实现细节我们AHRNet的所有实验均使用Adam优化器，在Geforce 4090 GPU上以8的批量大小通过PyTorch进行训练。我们记录了PyTorch保存的METRO[^10]、Fast METRO[^11]以及我们的AHRNet的模型参数。METRO和Fast METRO的参数规模分别为230.4M和153.0M，而我们的模型为52.3M。因此，所提出的模块并未给对比模型带来显著的参数增量。在训练时间方面，METRO和Fast METRO每次迭代分别耗时约$1.05 \times 10^3$毫秒和$0.9 \times 10^3$毫秒，而我们的AHRNet耗时$0.72 \times 10^3$毫秒；在推理时间方面，当批量大小为1时，METRO和Fast METRO每次迭代分别耗时约$0.51 \times 10^2$毫秒和$0.46 \times 10^2$毫秒，我们的AHRNet则约为$0.3 \times 10^2$毫秒。 #### 3.2. 与最先进方法的比较为了验证所提出的AHRNet的有效性，我们将其与最先进的方法进行对比，并在表1中报告了在FreiHand数据集上的结果。类似地， --- ![Image](images/f7bb61f9255dede7cf68406c55d311be913b9dce325d0196934b179973881ea1.jpg)

(a) (b) (c) (d) (e)

Fig. 3. (a) is the visualization of the 3D joint points and meshes of the Freihand dataset; (b) is the visualization of the two-dimensional joint points of the RHD dataset; (c) is the visualization of hand images captured by ourselves; to gain a more comprehensive understanding of our method, we conduct additional experiments with complex backgrounds, varying lighting as shown in (d); (e) gives the qualitative results with and without these three modules corresponding to Table 3, from top to bottom gives the result with $A_{1}$, (b) is with $A_{2}$, (c) is with $A_{2} + G$, and (d) is our AHRNet. The detail improvement please refer to the red dash circle.

如[^15]所述，我们增加了模块数量以提升性能。最后两行分别对应小型模型和大型模型。从表1可以看出，我们的模型取得了6.7 PA-MPJPE的成绩。对比结果显示，我们的模型性能几乎与之相当，但帧率更高。我们还在表2中提供了RHD和DO数据集上的对比结果。尽管某些方法在性能方面优于我们提出的方法[^16] [^17]，但它们要么无法获取高质量的手部网格数据，要么处理速度较慢，无法满足虚拟环境中交互任务的需求。我们认为，我们的AHRNet既能提取合理且强大的特征，又更加高效。在FreiHand、RHD和DO数据集上的对比实验验证了该方法优越性。 #### 3.3. 消融实验为了更深入地理解所提出的三个模块，我们在表3和图3(e)中针对FreiHand数据集开展了包含/不包含这些模块的定量与定性消融实验。由于多尺度热图模块与多层Transformer编解码器模块是以多级方式协同工作的，我们将其逐一添加到基线模型中。最终，基于多尺度热图模块，本文取得了最佳的准确率与性能表现。为了验证AHRNet的可行性与有效性，我们还开展了一系列定性实验——

Table 1. Performance comparison on the FreiHand dataset with state-of-the-arts.

Methods	FPS	Params	FLOPs	PA-MPJPE $\downarrow$	F@15 mm
FreiHAND [^18]	-	-	-	-	0.935
Pose2Mesh [^19]	-	-	-	7.7	0.969
I2LMeshNet [^20]	-	-	-	7.4	0.973
METRO [^10]	19.55	183.8M	41.47G	6.8	0.981
FastMETRO [^11]	21.88	133.9M	30.56G	6.5	0.982
Our AHRNet-cls-S12	42.02	27.68M	33.07G	7.2	0.978
Our AHRNet-cls-S24	32.29	37.24M	34.69G	6.7	0.981

Table 2. Performance comparison on RHD dataset and DO with state-of-the-arts.

Methods	AUC of PCK $\uparrow$	AUC of PCK $\uparrow$
Zhang et al [^21]	0.901	0.825
Rong [^22]	0.934	-
Cui-GCN [^23]	0.933	0.77
Gu [^24]	0.936	-
Our AHRNet	0.943	0.942

Table 3. Ablation study on FreiHand dataset. $A_{1}$ denotes the multi-layer transformer encoder-decoder module, $A_{2}$ denotes the high-resolution feature extraction module, G denotes the multi-scale heatmap module.

Methods	PA-MPJPE $\downarrow$	F@15 mm
a. Baseline	7.24	0.978
b. Baseline + $A_{{1}}$	7.06	0.979
c. Baseline + $A_{{2}}$	7.13	0.979
d. Baseline + $A_{{2}}$ + G	6.86	0.980
e. Baseline + $A_{{1}}$ + $A_{{2}}$ + G	6.74	0.981

如图3所示。 ### 4. 结论在本文中，我们提出了一种用于从单目RGB图像中估计3D手部姿态并恢复网格的新颖注意力与热图融合网络AHRNet。该框架的核心在于在多个网络阶段融入多尺度热图与注意力掩码。热图提供2D空间约束以指导3D姿态回归，而注意力掩码则用于建模复杂的顶点关系以应对遮挡问题。通过将计算资源集中在关键图像区域，这些模块大幅提升了效率，实现了实时性能。通过在FreiHand等公开基准测试上的实验，我们证明该方法在准确率方面达到了可媲美最先进水平的性能，同时效率提升了1.5倍。 ## 致谢本研究得到了国家自然科学基金（62102208）、北京市自然科学基金（4232023）、北京市教委科研计划项目（KM202310009002）的支持，部分研究内容还得到了北京航空航天大学云南创新研究院云鼎科技计划（2021年）以及云南省重点研发计划（202103AN080001-003）的资助。 --- ### 5. 参考文献 [^1]: James M Rehg and Takeo Kanade, “DigitEyes: Vision-based hand tracking for human-computer interaction,” in IEEE Workshop on MNAO. IEEE, 1994, pp. 16–22. [^2]: Tsung-Han Tsai, Chih-Chi Huang, and Kung-Long Zhang, “Design of hand gesture recognition system for human-computer interaction,” Multimedia tools and applications, vol. 79, pp. 5989–6007, 2020. [^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim, "Pushing the envelope for RGB-based dense 3d hand pose estimation via neural rendering," in CVPR, 2019, pp. 1067–1076. [^4]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid, “Learning joint reconstruction of hands and manipulated objects,” in CVPR, 2019, pp. 11807–11816. [^5]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Danilidis, “Convolutional mesh regression for single-image human shape reconstruction,” in CVPR, 2019, pp. 4501–4510. [^6]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al., “MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality,” TOG, pp. 87–1, 2020. [^7]: André Zenner and Antonio Krüger, “Estimating detection thresholds for desktop-scale hand redirection in virtual reality,” in IEEE VR. IEEE, 2019, pp. 47–55. [^8]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox, “DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system,” in ICRA, 2020, pp. 9164–9170. [^9]: Alexey Dosovitskiy, Lucas Beyer, and etc. Kolesnikov, Alexander, “An image is worth $16 \times 16$ words: Transformers for image recognition at scale,” in ICLR, 2020. [^10]: Kevin Lin, Lijuan Wang, and Zicheng Liu, “End-to-end human pose and mesh reconstruction with transformers,” in CVPR, 2021, pp. 1954–1963. [^11]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh, “Cross-attention of disentangled modalities for 3d human mesh recovery with transformers,” in ECCV, 2022. [^12]: Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo, “Swin transformer: Hierarchical vision transformer using shifted windows,”发表于ICCV 2021会议，第10012–10022页。 [^13]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, “Deep residual learning for image recognition,” in CVPR, 2016, pp. 770–778. [^14]: Jeonghwan Kim, Mi-Gyeong Gwon, Hyunwoo Park, Hyukmin Kwon, Gi-Mun Um, and Wonjun Kim, “Sampling is matter: Point-guided 3d human mesh reconstruction,” in CVPR, 2023, pp. 12880–12889. [^15]: Ce Zheng, Xianpeng Liu, Guo-Jun Qi, and Chen Chen, "POTTER: Pooling attention transformer for efficient human mesh recovery," in CVPR, 2023, pp. 1611–1620. [^16]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou, “Weakly-supervised mesh-convolutional hand reconstruction in the wild,” in CVPR, 2020, pp. 4990–5000. [^17]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu, “Monocular real-time hand shape and motion capture using multimodal data,” in CVPR, 2020, pp. 5346–5355. [^18]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis, “Learning to reconstruct 3d human pose and shape via model-fitting in the loop,” in ICCV, 2019, pp. 2252–2261. [^19]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee, “Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose,” in ECCV. Springer, 2020, pp. 769–787. [^20]: Gyeongsik Moon and Kyoung Mu Lee, “I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image,” in ECCV. Springer, 2020, pp. 752–768. [^21]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng, “End-to-end hand mesh recovery from a monocular RGB image,” in ICCV, 2019, pp. 2354–2364. [^22]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo, “FrankMocap: A monocular 3d whole-body pose estimation system via regression and integration,” in ICCV, 2021, pp. 1749–1759. [^23]: Yuan Cui, Moran Li, Yuan Gao, Changxin Gao, Fan Wu, Hao Wen, Jiwei Li, and Nong Sang, “Camera distance helps 3d hand pose estimated from a single RGB image,” Graphical Models, vol. 127, pp. 101179, 2023. [^24]: Kerui Gu, Linlin Yang, Michael Bi Mi, and Angela Yao, “Bias-compensated integral regression for human pose estimation,” TPAMI, vol. 45, pp. 10687–10702, 2023.