# HandDAGT：一种用于3D手部姿态估计的去噪自适应图Transformer 程文灿 $^{1}$、金恩智 $^{1}$ 和高钟焕 $^{2}$（通讯作者） $^{1}$ 成均馆大学人工智能系，韩国首尔 { cwc1260, dmswldpvm}@skku.edu $^{2}$ 成均馆大学信息与通信工程学院，韩国首尔摘要：从输入的手部图像中提取关键点位置，即3D手部姿态估计，对于各类人机交互应用而言至关重要。然而，现有方法往往难以应对手部自身遮挡以及与其他物体相互作用产生的遮挡问题。为攻克这一难题，本文提出了用于手部姿态估计的去噪自适应图Transformer——HandDAGT。所提出的HandDAGT利用Transformer结构充分挖掘输入图像块中的有效几何特征；此外，它还引入了一种新颖的注意力机制，能够自适应地权衡运动对应关系与局部几何特征对特定关键点估计的贡献。这一特性使得模型能够根据遮挡情况自适应地运用运动信息与局部信息，从而提升其鲁棒性与准确性。此外，我们提出了一种新颖的去噪训练策略，旨在提高模型在遮挡挑战下的鲁棒性能。实验结果表明，在四个具有挑战性的手部姿态基准数据集上，所提模型的表现显著优于现有方法。代码与预训练模型可在免费获取。关键词：手部姿态估计 · 点云 · Transformer ## 1 引言 3D手部姿态估计已成为各类人机交互系统中的关键组成部分，能够为人类手部提供重要的关键点信息。准确定位手部关键点，有助于精确理解并有效分析人类的运动与行为。随着深度学习技术的进步以及低成本深度相机的普及，基于深度图像的3D手部姿态估计取得了显著进展（见图1）。早期的基于深度学习的方法证明了传统卷积神经网络（CNN）在手部姿态估计任务中的有效性 [^4] [^10] [^11]。 --- ![Image](images/e99ae20f2fc6799e37180513897f994ee1fef83b512b677c6f9b50306e7ba8b1.jpg)

Fig. 1. Illustration of the HandDAGT concept. The model feeds 3D local patches cropped from input depth images and corresponding point clouds to the adaptive graph transformer for the keypoint coordinate estimation. The local patches are disturbed by the random Gaussian noise during training for a robust performance.

14,17,36,38,41]。随后，利用不同模态的CNN架构，如点云 [^6] [^8] [^13] [^16]、体素化表示 [^15] [^31] 或多模态组合 [^35]，得到了广泛研究。除了CNN之外，基于Transformer的方法 [^21] [^45] 也在手部姿态估计领域展现了可行性。尽管这些方法取得了显著成果，但在手部自身遮挡或手与物体相互遮挡的场景中，实现精准估计仍具挑战性。近期的研究 [^6] [^35] [^45] 试图引入静态图结构来捕捉关键点之间的运动对应关系，从而利用对应关键点的信息重建被遮挡的关键点。然而，静态图结构无法捕捉各种遮挡情况的动态特性。为应对这些挑战，我们提出了一种新颖的去噪自适应图变换器——HandDAGT，它能够自适应地权衡局部细节与运动对应关系，从而在各种遮挡条件下实现精确的手部姿态估计。所提出的变换器能够像传统的局部变换器一样学习手部的精确局部几何信息[^12] [^46] [^49]。重要的是，该变换器的设计旨在直接在3D关键点空间中计算几何特征与运动拓扑信息。这种设计是为了规避在2D空间中操作时产生的2D到3D非线性问题[^6]。此外，为了实现精确估计，它集成了一个新颖的自适应注意力模块，该模块会根据关键点是否清晰可见或已被遮挡，来自适应地激活局部几何信息或运动对应关键点的信息。 furthermore，为提高遮挡条件下的估计鲁棒性与准确性，我们提出了一种新颖的去噪训练策略，该策略能迫使模型即使在受到干扰的区域也能修正估计结果。我们在四个具有挑战性的基准测试上对HandDAGT进行了评估，包括单手ICVL[^40]和NYU[^41]数据集，以及手-物体交互的DexYCB[^2]和HO3D[^18]数据集。结果显示，我们的网络取得了最先进的性能，在单手ICVL和NYU数据集上的平均距离误差分别低至5.66毫米和7.12毫米。该模型在手-物体交互的DexYCB和HO3D数据集上也达到了最先进的性能，误差分别仅为8.03毫米和1.81厘米。 --- 我们的主要贡献总结如下：我们提出了一种基于变换器的新型架构HandDAGT，用于利用深度图像和点云作为多模态输入来实现精确的3D手部姿态估计。我们提出了一种新颖的自适应注意力模块，该模块能够权衡局部几何信息与运动演化后的关键点特征，从而在面对遮挡时仍能保持高可靠性。 – 我们为手部姿态估计引入了一种新颖的去噪训练策略，以提升鲁棒性和准确性。我们在大型且具有挑战性的基准测试上进行了全面实验，证明了我们所提方法的新一代最先进性能。 ## 2 相关工作 ### 2.1 基于深度图像的3D手部姿态估计在利用深度图像进行3D手部姿态估计的领域，传统的基于2D CNN的方法[^4] [^10] [^11] [^14] [^17] [^36] [^38] [^41]因其实现简单而得到广泛应用。然而，它们存在固有局限性，比如无法完全捕捉3D结构的复杂性，且依赖于摄像头的视角。为克服这些限制，基于3D CNN的方法[^15] [^31]应运而生，它们利用深度图像的3D体素化表示来封装体积数据。尽管这些方法在3D手部姿态估计方面取得了进展，但它们需要大量的内存和计算资源，从而限制了其实际应用。相比之下，基于PointNet的策略[^5] [^8] [^13] [^16] [^24]通过分析点云来精确描述三维结构。PointNet是一种擅长处理不规则且无结构点云的深度学习框架，最初被应用于HandPointNet中的手部姿态估计[^13]。后续的改进包括Point-to-Point模型[^16]和SHPR-Net[^5]，它们通过生成逐点概率分布来提升性能。值得注意的是，SHPR-Net[^5]将HandPointNet与一个辅助语义分割子网络相结合以提升性能。最近，HandFoldingNet[^8]引入了折叠概念，将预定义的二维手部骨骼重塑为手部姿态，从而提高了估计精度。随后，HandR2N2[^6]提出了一种基于折叠的循环结构，通过搜索局部点区域来迭代优化关键点位置。然而，点云的一个显著缺点是：在卷积操作中，从密集点集中查询邻居会带来较大的计算开销。因此，现有方法通常使用稀疏点云，这限制了其性能。为了弥补图像和点云的不足，IPNet[^35]建议利用多模态表示，即结合二维深度图像和三维点云。通过这种方式，该模型能够高效提取密集的细节信息，同时有效捕捉三维空间特征，从而实现精准的三维手部姿态估计。 --- 本质上，上述方法均属于CNN驱动的方法，只是输入模态有所不同。相比之下，我们的方法引入了一种新颖的自适应图变换器架构，凭借变换器的强大能力来实现精确的局部信息提取与动态运动学建模。 ### 2.2 手部姿态估计中的变换器随着注意力机制的发展以及变换器模型[^43]的问世，图像处理领域的诸多方向越来越多地应用这一技术，例如图像分类[^9] [^28]和物体检测[^1] [^50]。鉴于变换器模型能够捕捉非局部特征，这对手部姿态估计十分有益，因此众多研究[^19] [^21] [^23] [^25] [^26] [^45]试图将其引入手部姿态估计领域。作为与我们密切相关的工作，Hand-Transformer[^21]采用了非自回归变换器来同步估计关键点位置。不过，这种独立的关键点估计方式忽略了关键点之间固有的运动学关系。因此，HandGCNFormer[^45]将图卷积网络（GCN）作为核心，以显式建模关键点间的运动学关系，从而提升性能。然而，其静态图无法捕捉复杂遮挡场景下关键点间的动态运动学对应关系。相比之下，我们提出的HandDAGT能够根据遮挡情况，动态权衡运动学对应关系与局部细节的重要性。 ## 3 方法 HandDAGT架构如图2所示。HandDAGT首先从图像和点云中提取融合特征的超点集，从而能够生成强大的关键点嵌入以及信息丰富的局部区域。这些嵌入和区域随后被分别作为查询向量和键向量输入到我们的核心组件——自适应图变换器中。该变换器采用了一种新颖的注意力机制，能够自适应地权衡查询向量与键向量，以实现精准的关键点坐标估计。 ### 3.1 超点生成借鉴此前的工作IPNet [^35]，HandDAGT接收多模态输入，即手部深度图像 $\mathbf{D}_{in} \in \mathbb{R}^{H \times W}$ 以及一组随机采样的3D点坐标 $\mathbf{P}_{in} \in \mathbb{R}^{N \times 3}$。HandDAGT的输出为3D关键点坐标 $\mathbf{J} \in \mathbb{R}^{J \times 3}$。由于输入的点集具有不规则且无序的特性，我们采用点集卷积层 [^27] [^34] 作为局部3D编码器，来提取经过二次采样的3D超点集 $\mathbf{P}' \in \mathbb{R}^{N/2 \times 3}$ 及其对应的3D局部几何特征 $\mathbf{F}_{3d} \in \mathbb{R}^{N/2 \times d_{3d}}$。深度图像则被送入基于ConvNeXt的自编码器，以生成2D局部视觉特征图 $\mathbf{F}_{2d} \in \mathbb{R}^{H/2 \times W/2 \times d_{2d}}$。随后，这些2D局部视觉特征被投影为 --- ![Image](images/06f18d39d0c917942d88b294c0df21b1b923616a409c18320e53f78dcc9bc1a8.jpg)

(a) Patch & Embedding Initialization

(b) Adaptive Graph Transformer

Fig. 2. The HandDAGT architecture. HandDAGT takes a 2D depth image and the sub-sampled point cloud as the input. The PointNet-based local 3D encoder and the 2D auto-encoder extracts local 3D features and local 2D features, respectively. Then, the 2D features are projected into 3D space to fuse with 3D features forming the super point features F. Based on the super points, keypoint embeddings E and 3D patches are extracted as input to the novel adaptive graph transformer to estimate accurate 3D keypoint coordinates by leveraging the dynamic kinematic correspondences and local details. Notably, during the training stage, the local 3D patches are shifted by random noises in order to enforce the model providing robust estimations.

通过IPNet提出的2D-3D投影技术 $\mathbf{F}_{2d-3d} \in \mathbb{R}^{N/2 \times d_{2d}}$ 得到3D点特征 [^35]。之后，投影得到的特征会与超点进行拼接，形成 $\mathbf{F} \in \mathbb{R}^{N/2 \times (d_{2d} + d_{3d})}$。接着，这些超点被进一步送入初始化模块，以生成变换器所需的初始关键点嵌入和区域位置。 ### 3.2 关键点嵌入与区域位置的初始化在我们的HandDAGT框架中，关键点嵌入在捕捉关键点之间的运动学拓扑结构方面发挥着关键作用。为实现这一点，我们借鉴了HandFoldingNet最初提出的关节级嵌入概念 [^8]，以此获取初始的关键点嵌入。关键点嵌入初始化模块首先将带有特征的超点 $\mathbf{F}$ 送入两个点集卷积层，以生成3D --- 全局向量。随后，关键点嵌入的初始化通过三层偏置诱导层（BIL） [^7] 依次完成。全局向量会被复制J次并输入到各BIL中，这一过程会为J个独立的关键点生成对应的嵌入。值得注意的是，BIL会提供针对每个关键点的独立偏置，类似于可学习的位置嵌入。获得关键点嵌入后，会应用线性变换将高维嵌入投影到3D空间中，作为采集区域的初始位置。通过围绕每个区域位置选取K个最近的超点及其对应特征，即可得到3D点区域。 ### 3.3 自适应图变换器解码器自适应变换器解码器是我们所提出框架中的核心组件，它借助基于关键点嵌入的动态运动学拓扑结构来查询局部信息，从而实现精准的关键点估计，如图2所示。关键点嵌入首先会通过GCN进行增强，形成演化后的嵌入。 $$ \mathbf{E}^{\prime}={R e L U}(\mathbf{A}\mathbf{E}\mathbf{W}), $$ 其中 $\mathbf{W} \in \mathbb{R}^{d_{hid} \times d_{hid}}$ 是可训练的变换权重，$\mathbf{A} \in \mathbb{R}^{J \times J \times d_{hid}}$ 是学习得到的运动学对应关系矩阵，用于建模每个通道中关键点之间的连接强度。随后，每个补丁中的每个超级点与对应的特征会被与进化后的关键点嵌入拼接起来，形成输入到所提出Transformer的新颖注意力机制中的数据。 $$ \mathbf{Q}_{k}={M L P}_{Q}([\mathbf{E}^{\prime},\mathbf{F}_{k}]), $$ $$ \mathbf{K}={s e t\_{c} o n v}_{K}([\mathbf{E}^{\prime},\mathbf{F}_{k}]),\atop{1\leq k\leq K} $$ $$ [\mathbf{A t t}_{\mathbf{k}}^{\mathbf{l o c a l}},\mathbf{A t t}_{\mathbf{k}}^{\mathbf{g}}]=\sigma(\mathbf{Q}_{k}\odot\mathbf{K}), $$ $$ {\bf V}_{k}={M L P}_{V}([\mathbf{E}^{\prime}\odot\mathbf{A t t}_{\mathbf{k}}^{\mathbf{g}},\mathbf{F}_{k}\odot\mathbf{A t t}_{\mathbf{k}}^{\mathbf{l o c a l}}]), $$ 其中MLP指多层感知机，$set\_conv$是点集卷积层，$\sigma$是Sigmoid激活函数，$[, ,]$是拼接操作，而$\odot$是哈达玛积运算。我们注意到局部点与关键点嵌入之间的语义差异会影响注意力的有效性，因此我们用进化后的关键点嵌入来增强查询项（局部点）$\mathbf{Q}$，同时将键项（关键点嵌入）$\mathbf{K}$与局部观测结果进行融合。此外，与传统注意力机制通常采用带Softmax的点积运算不同，我们的注意力得分是通过哈达玛积运算并配合Sigmoid作为激活函数得到的，如公式4所示。而且，由于哈达玛积运算涉及通道间的乘法，所提出的注意力机制本质上可视为采用了与通道深度相同的注意力头数量。 --- 值得一提的是，该注意力机制会为局部点和图进化后的键嵌入分别生成两个独立的得分。凭借这两个得分，所提出的Transformer能够根据关键点是否被遮挡或能否被局部点充分表征，自适应地更侧重运动学拓扑结构或关键点的局部信息。在标准注意力模块之后，引入了残差机制来累加计算得到的数值$\mathbf{V}$与输入的局部点。随后，再应用一次点集卷积作为前馈模块，将计算得到的数值$\mathbf{V}$聚合为用于各关键点位置回归的更新后的键嵌入。 $$ \begin{array}{r}{\widetilde{\mathbf{E}}=\underset{1\leq k\leq K}{\mathit{s e t}}\_{c o n v}_{F}(\mathbf{V_{k}}+\mathbf{F_{k}})+\underset{1\leq k\leq K}{\mathit{M A X}_{F}}(\mathbf{V_{k}}+\mathbf{F_{k}}),}\end{array} $$ 其中$MAX_{F}$表示用于实现残差累加的最大池化操作。最后，通过可训练的线性变换将更新后的关键点嵌入投影为3D关键点坐标。为了提升估计性能，所提出的Transformer会被堆叠多次以逐步优化关键点位置。前一级Transformer输出的回归位置会被用来划分新的补丁，作为后续Transformer堆叠层的输入。关于堆叠Transformer的最佳数量将在4.4节中讨论。 ### 3.4 去噪训练与推理为了提高模型对抗噪声和遮挡的准确性和鲁棒性，我们提出了一种新颖的去噪训练策略。首先，引入的随机噪声会扰动初始的补丁位置。训练过程中的噪声方差由与近期扩散模型相同的线性调度器控制[^3] [^20]。不过，与在训练和推理阶段都引入噪声的扩散模型不同，我们的方法仅在训练阶段引入噪声。因此，我们方法中训练准则的形式定义如下： $$ \mathcal{L}=\sum L1_{smooth}(\mathbf{D}_{T_{1}}(\mathbf{J}_{0}+\mathcal{N})-\mathbf{J}^{*})+\sum_{2}^{S}\sum L1_{smooth}(\mathbf{D}_{T_{s}}(\mathbf{J}_{s-1})-\mathbf{J}^{*}), $$ 其中$\mathcal{N}$是注入的噪声，S表示堆叠的去噪Transformer的数量$\mathbf{D}_{T_s}$，而$\mathbf{J}_s$是第s个去噪Transformer的输出$\mathbf{D}_{T_s}(\mathbf{J}_{s-1})$。需要注意的是，噪声仅注入到第一个去噪Transformer的输入中。借鉴以往的研究工作[^8] [^38]，我们采用了平滑L1损失，因为它对异常值的敏感度更低。平滑L1损失的定义如下： $$ L1_{smooth}(\mathbf{x})=\begin{cases}50\mathbf{x}^{2},&|\mathbf{x}|<0.01\\|\mathbf{x}|-0.005,&otherwise\end{cases}. $$ --- ## 4 实验 ### 4.1 实验设置在我们的实验中，我们采用了NVIDIA A100 GPU以及PyTorch框架来训练和评估模型。我们选用AdamW优化器[^29]，其参数设置为$\beta_1 = 0.5$、$\beta_2 = 0.999$，学习率为$\alpha = 0.001$。输入图像的尺寸被调整为128，网络接收的输入点数量则采样为1,024个。我们将批量大小设为32。为了缓解过拟合问题，我们采用了在线数据增强技术，包括随机旋转（范围为[-180.0, 180.0]度）、3D缩放（范围为[0.9, 1.1]）以及3D平移（范围为[-10, 10]毫米）。在手部-物体数据集上训练时，我们进行了30个epoch的训练，且每10个epoch后学习率衰减0.1；而在单手数据集上训练时，我们将训练时长延长至50个epoch，采用类似的学习率衰减策略，即每30个epoch后进行一次衰减。 ### 4.2 数据集与评估指标单手数据集。ICVL[^40]包含22,000张训练用深度图像和1,600张测试用深度图像。每张图像都标注了$J = 16$个关键点，其中包括1个手掌关键点和每个手指的3个关键点。NYU[^41]提供了使用PrimeSense 3D传感器从三个不同视角采集的单手深度图像，每个视角下分别有72,000张训练图像和8,000张测试图像。与近期的研究[^8] [^13] [^16]一致，训练和测试均使用单个视角的图像。此外，在评估时，会从总共36个标注关键点中选出14个，这一做法与以往的研究保持一致。手部-物体数据集。DexYCB[^2]是最近发布的一款手部-物体数据集，包含582,000张标注有21个关键点的图像帧。该数据集涵盖了10名受试者与20种YCB物体在8个相机视角下的交互数据。值得注意的是，该数据集定义了四种官方划分协议：S0——已见受试者、相机视角、抓取物体；S1——未见受试者；S2——未见相机视角；S3——未见抓取物体。HO3D[^18]是另一款极具挑战性的数据集，因其在交互过程中能提供精确的手部-物体姿态信息而著称。广泛使用的版本HO3D_v2包含66,034张训练图像和11,524张测试图像，这些图像由10名受试者与10种不同物体交互产生。HO3D_v2的评估通常通过该数据集专用的在线提交平台进行。评估指标。我们采用两种常用的指标——平均关键点误差和成功率——来评估手部姿态估计的性能。平均关键点误差用于衡量整个测试集上所有关键点的估计位置与真实位置之间的平均欧几里得距离；成功率则表示平均关键点误差低于给定阈值的有效帧所占的百分比。 ---

Table 1. Comparison of the proposed method with previous state-of-the-art methods on the single-hand ICVL and NYU datasets. Input indicates the input type of 2D depth image (D), 3D voxels (V), or 3D point cloud (P).

Method	Mean keypoint error (mm)		Input
Method	ICVL	NYU	Input
Ren-9 $\times$ 6 $\times$ 6 [^17]	7.31	12.69	D
DeepPrior++ [^32]	8.1	12.24	D
Pose-Ren [^4]	6.79	11.81	D
DenseReg [^44]	7.3	10.2	D
CrossInfoNet [^10]	6.73	10.08	D
JGR-P2O [^11]	6.02	8.29	D
SSRN [^37]	6.01	7.37	D
PHG [^36]	5.97	7.39	D
HandPointNet [^13]	6.94	10.54	P
Hand-Transformer [^21]	6.47	9.80	P
Point-to-Point [^16]	6.3	9.10	P
V2V [^31]	6.28	8.42	V
HandFolding [^8]	5.95	8.58	P
HandR2N2 [^6]	5.70	7.27	P
IPNet [^35]	5.76	7.17	D+P
HandDAGT (Ours)	5.66	7.12	D+P

![Image](images/3fb29fd97fb6edf24718c6dc9b9938d3b18a9cb745d951a4dc9efcbaae662861.jpg) ![Image](images/c6343ed1f9110111d8ac3d5eb015973c0ea7948210fc988dc66131c40a48e35e.jpg) ![Image](images/31efc4f3ef5e5dcaaaa37d6b641cc0e9db28e5aafaa361aab5ddc850add9c653.jpg) ![Image](images/764cea0190fa02f19cf1dbd0381b6930be24cf62a0c2171b74c18fb1d9903950.jpg)

Fig. 3. Comparison with the state-of-the-art methods using the ICVL (left) and NYU (right) dataset. The per keypoint error (top) and success rate (bottom) are shown in this figure.

### 4.3 与最先进方法的比较单手场景。我们在ICVL和NYU数据集上将HandDAGT与其他最先进的方法进行对比，其中输入为2D深度图像的方法包括：DeepPrior++[^32]、Ren-9$\times$ 6 $\times$ 6 [^17]、Pose-Ren[^4]、DenseReg[^44]、CrossInfoNet[^10]、JGR-P2O[^11]、空间感知堆叠回归网络（SSRN）。 --- ![Image](images/50d72f878f7d4525999f0957bd521b708c39d195bb31f90c0cb60ba31ae7c2ed.jpg)

Fig. 4. Qualitative results of HandDAGT on the ICVL (top) and NYU (bottom) datasets. Hand-depth images are transformed into 3D points to clearly illustrate occlusions. Ground truth keypoints are represented in black, results from the comparative HandR2N2 [^6] model are shown in blue, and the estimated keypoint coordinates of our model are depicted in red. The bottom figures showcase self-occluded/truncated cases (left) and well-performed cases without occlusion (right) in the NYU dataset.

[^37]: and pose-guided hierarchical graph network (PHG) [^36], methods with 3D point cloud or voxels as input: HandPointNet [^13], Point-to-Point [^16], HandTransformer [^21], V2V [^31], HandFoldingNet [^8] and HandR2N2 [^6], and method with multi-modal input, IPNet [^35]. 表1总结了两个单手数据集上的平均关键点误差性能。结果表明，HandDAGT取得了新的最佳成绩，在具有挑战性的ICVL和NYU数据集上，其平均距离误差分别低至5.66毫米和7.12毫米。此外，结果还显示HandDAGT显著优于其他基于2D图像的方法。这种优越性源于HandDAGT直接在3D空间中处理数据，从而避免了从2D图像估计时出现的高度非线性映射问题。图4所示的定性结果也证明了HandDAGT在遮挡和非遮挡情况下均具有优越性。图3表明，当误差阈值分别低于13毫米和8毫米时，我们的方法在ICVL和NYU数据集上的成功率明显优于其他方法。手物交互。我们在官方数据集划分协议下，将HandDAGT与DexYCB手物数据集上的其他最先进方法进行比较，包括A2J [^47]、Spurr等人 [^39]、METRO [^25]、Tse等人 [^42]、HandOccNet [^33]以及IPNet [^35]。如表2所示，HandDAGT在所有四种协议上均显著优于以往的最先进方法。图5中展示的定性结果也表明，HandDAGT能够从存在各种遮挡的手物交互场景中估算出准确的姿态。我们还对HandDAGT进行了比较 --- ![Image](images/8f999a0fb76e0d6e4ee99f3ba36b28bd342b48f0b284302dcdd57b53393292c8.jpg)

Fig. 5. Qualitative results of HandDAGT on the DexYCB dataset including different grabbing poses (top), interacting objects (2nd row), object occlusions (3rd row), and self-occlusions (bottom). Hand-depth images (left) are transformed into 3D points (right) in order to clearly present occlusions as shown in the figure. Ground truth is shown in black and the estimated keypoint coordinates of our model are shown in colors.

Table 2. Comparison of the proposed method with previous state-of-the-art methods on the DexYCB datasets.

Method	Mean keypoint error (mm)					Input
Method	S0	S1	S2	S3	AVG	Input
A2J [^47]	23.93	25.57	27.65	24.92	25.52	D
Spurr et al. [^39]	17.34	22.26	25.49	18.44	18.44	RGB
METRO [^25]	15.24	-	-	-	-	RGB
Tse et al. [^42]	16.05	21.22	27.01	17.93	20.55	RGB
HandOcc [^33]	14.04	-	-	-	-	RGB
IPNet [^35]	8.03	9.01	8.60	7.80	8.36	D+P
HandDAGT (Ours)	7.72	8.68	8.22	7.52	8.03	D+P

另一个手物数据集HO3D上，我们将其与最先进的方法Hybrik [^22]、ArtiBoost [^48]、HandOccNet [^33]、HandVoxNet++ [^30]以及IPNet [^35]进行了对比。对比结果见表3。结果表明，我们的HandDAGT能够取得与最先进的模型IPNet相当的性能，平均距离误差也相近。 ### 4.4 消融研究所提出注意力机制的有效性。为了评估所提出注意力机制的有效性和必要性，我们开展了如下一系列消融实验： ---

Table 3. Comparison of the proposed method with previous state-of-the-art methods on the HO3D datasets.

Method	Mean keypoint error (mm)	Input
Hybrik [^22]	2.89	RGB
ArtiBoost [^48]	2.53	RGB
HandOccNet [^33]	2.49	RGB
HandVoxNet++ [^30]	2.46	V
IPNet [^35]	1.81	D+P
HandDAGT (Ours)	1.81	D+P

Table 4. Ablations of different configurations of the transformer. All the ablation models are trained and tested on the NYU dataset. 'C' denotes the conventional attention mechanism. 'S' denotes the proposed sigmoid attention.

ID	Configurations				Mean keypoint error (mm)
ID	Attention type	Enhanced Q, K	$Att_{k}^{local}$	$Att_{k}^{g}$	Mean keypoint error (mm)
1)	$\times$	$\times$	$\times$	$\times$	7.43
2)	C	$\times$	✓	✓	10.66
3)	C	✓	✓	✓	10.38
4)	S	$\times$	✓	✓	7.30
5)	S	✓	✓	$\times$	7.24
6)	S	✓	$\times$	✓	7.21
7)	S	✓	✓	✓	7.12

1) 无注意力机制：仅保留用于姿态估计的前馈模块。2) 传统注意力机制：采用基于点积和softmax的传统注意力机制。3) 无Sigmoid注意力：在我们的注意力机制中，将Sigmoid注意力（公式4）替换为传统注意力中的点积和softmax。4) 无增强的Q、K：在我们的注意力机制中，移除对查询（公式2）和键（公式3）的增强处理。5) 仅对局部点使用Sigmoid注意力 Att^local：仅激活针对局部点的注意力机制。6) 仅对运动学拓扑使用Sigmoid注意力 Att^g：仅激活专注于运动学拓扑的注意力机制。7) 完整实现：同时激活针对局部点和运动学拓扑的Sigmoid注意力。值得注意的是，所有消融实验均采用去噪训练策略，且堆叠的Transformer数量统一设为3，以保证实验的一致性和可比性。表4展示了各项消融实验的结果，这些结果揭示了所提出组件对最终性能的贡献。对比实验1）和实验2）可知，仅靠传统的注意力机制无法有效处理关键点坐标估计任务，甚至还会使性能下降。相反，如实验1）与实验4）的对比所示，所提出的Sigmoid注意力机制（公式4）能显著改善模型性能。此外，实验结果还表明： --- ![Image](images/5958d346cb68d50c01ecba7a55735548e8351b926931c79fa295459d00865774.jpg)

Fig. 6. Qualitative results of HandDAGT ablations on the NYU dataset. Ground truth is shown in black and the estimated keypoint coordinates of ablations 1) no attention, 5) attention on local points $\text{Att}_k^{\text{local}}$, 6) attention on kinematic topology $\text{Att}_k^g$ and 7) the full implementation are shown in blue, orange, green and red, respectively.

Table 5. Ablation experimental result. All the ablation models are trained and tested on the NYU dataset.

(a) Desnoising training.

Denosing training	Mean keypoint error (mm)
✗	7.20
✓	7.12

(b) Number of transformer.

Number of transformer	Mean keypoint error (mm)
1	8.02
2	7.15
3	7.12

Patch size (pts)	Mean keypoint error (mm)
32	7.20
64	7.12
128	7.16

实验3）和实验4）表明，增强后的$\mathbf{Q}$与$\mathbf{K}$对模型性能的提升作用显著，传统注意力机制同样贡献突出。实验5）和实验6）则证明，$\text{Att}_{\mathbf{k}}^{\text{local}}$与$\text{Att}_{\mathbf{k}}^{\mathbf{g}}$都能对模型性能产生积极影响，这说明聚焦于局部点的注意力机制以及运动学拓扑相关的注意力机制都是对模型架构的有益补充。我们还在图6中可视化了这些消融实验的定性结果。定性结果显示，在无遮挡情况下，仅关注局部点的注意力机制能取得更好的性能，如图6左侧所示，这得益于充足的局部细节信息。相反，在遮挡情况下，仅关注运动学拓扑的注意力机制表现强劲，如图6右侧所示。我们的完整实现通过结合这两种机制，超越了所有消融实验的结果，从而实现了更优的性能。去噪训练策略的有效性。为了评估所提出的去噪训练策略的有效性，我们训练了一个在训练过程中不受噪声干扰的模型。如表5a所示，该模型的误差降低了0.08毫米，性能得到提升。值得注意的是，这种性能提升无需额外的计算开销，因为这两个模型采用相同的推理流程，仅训练策略不同。堆叠式Transformer的数量。直观来讲，更深层的Transformer堆叠有望通过让模型捕捉到更复杂的特征来提升性能。为了验证这一点，我们逐步增加堆叠式Transformer的数量，以寻找Transformer堆叠的最佳深度。如表5b所示，我们系统地调整堆叠深度，以评估其对模型性能的影响。从结果来看，增加Transformer堆叠的深度通常会带来性能上的提升。 --- 不过，采用3层Transformer堆叠的模型仅表现出微小的性能提升。因此我们得出结论：我们模型的最佳堆叠数量为3，进一步增加Transformer堆叠的深度并不会带来显著的性能增益。输入补丁的大小。补丁大小确实会对Transformer的感受野产生重要影响，进而决定模型捕捉细节信息的能力。为了探究这一效应，我们进行了一系列消融实验，使用不同大小的补丁来训练模型以完成估计任务。由于补丁由超点组成，因此补丁大小即指一个补丁中所包含的超点数量。如表5c所示，包含64个超点的补丁能实现最优性能，而补丁大小超过64个点时性能反而会下降。这一观察结果表明，Transformer的感受野必须达到合适的大小才能收集到有效的信息；但引入过大的补丁尺寸可能会导致不必要的信息被纳入，从而干扰Transformer的正常运作。 ## 5 结论在本文中，我们提出了HandDAGT——一种新颖的自适应图Transformer架构，该架构能够根据遮挡情况自适应地利用局部信息与运动学拓扑结构。为了提升所提出网络的鲁棒性，我们引入了一种全新的去噪训练策略。实验结果表明，我们的网络在四个具有挑战性的数据集上均优于以往的最先进方法。此外，大量实验也验证了本文所提出组件的有效性。不过，HandDAGT目前无法处理双手交互的场景，且由于需要进行二维特征提取，会导致计算量冗余。要解决这些局限，我们可以拓展研究方向，纳入双向学习机制，并开发轻量级的二维模型。这些方向为未来的研究留下了空间，也是提升HandDAGT能力与效率的潜在途径。致谢。本研究得到了韩国科学技术信息通信部（MSIT）通过国家研究基金会（NRF）提供的资助（项目编号：2022R1A4A3032913），以及信息通信技术规划评估院（IITP）的资助（项目编号：IITP-2019-0-00421、IITP-2023-2020-0-01821、IITP-2021-0-02052、IITP-2021-0-02068）；同时也得到了贸易工业能源部资助的技术创新计划（项目编号：RS-2023-00235718）（1415187474）的支持。程文灿的部分研究得到了中国国家留学基金委（CSC）的资助。 --- ## 参考文献 1. Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., Zagoruyko, S.：基于Transformer的端到端物体检测。载于：欧洲计算机视觉会议论文集，第213–229页。Springer出版社（2020年）。 [^2]: Chao, Y.W., et al.: DexYCB: a benchmark for capturing hand grasping of objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9044–9053 (2021) [^3]: Chen, S., Sun, P., Song, Y., Luo, P.: DiffusionDet: diffusion model for object detection. arXiv preprint arXiv:2211.09788 (2022) [^4]: Chen, X., Wang, G., Guo, H., Zhang, C.: Pose guided structured region ensemble network for cascaded hand pose estimation. Neurocomputing 395, 138–149 (2020) [^5]: Chen, X., Wang, G., Zhang, C., Kim, T.K., Ji, X.: SHPR-Net: deep semantic hand pose regression from point clouds. IEEE Access 6, 43425–43439 (2018) [^6]: Cheng, W., Ko, J.H.: HandR2N2: iterative 3D hand pose estimation using a residual recurrent neural network. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 20904–20913 (2023) 7. Cheng, W., Lee, S.：点自动编码器及其在二维-三维转换中的应用。载于：国际视觉计算研讨会论文集，第66–78页。Springer出版社（2019年）。 [^8]: Cheng, W., Park, J.H., Ko, J.H.: HandFoldingNet: a 3D hand pose estimation network using multiscale-feature guided folding of a 2D hand skeleton. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11260–11269 (2021) 9. Dosovitskiy, A.等：一张图片相当于$16 \times 16$个词：大规模图像识别的Transformer模型。arXiv预印本arXiv:2010.11929（2020年） [^10]: Du, K., Lin, X., Sun, Y., Ma, X.: CrossInfoNet: multi-task information sharing based hand pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9896–9905 (2019) 11. Fang, L., Liu, X., Liu, L., Xu, H., Kang, W.：JGR-P2O：基于联合图推理的像素到偏移预测网络，用于从单张深度图像估计三维手部姿态。载于：Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《计算机视觉——ECCV 2020：第16届欧洲会议论文集，英国格拉斯哥，2020年8月23–28日》，第六部分，第120–137页。Springer International Publishing出版社，Cham（2020年）。 [^12]: Gao, Y., Liu, X., Li, J., Fang, Z., Jiang, X., Huq, K.M.S.: LFT-Net: local feature transformer network for point clouds analysis. IEEE Trans. Intell. Transp. Syst. 24(2), 2158–2168 (2022) [^13]: Ge, L., Cai, Y., Weng, J., Yuan, J.: Hand PointNet: 3D hand pose estimation using point sets. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 8417–8426 (2018) [^14]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: Robust 3D hand pose estimation in single depth images: from single-view CNN to multi-view CNNs. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3593–3601 (2016) ## [^15]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: 3D convolutional neural networks for efficient and robust hand pose estimation from single depth images. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1991–2000 (2017) --- [^16]: Ge, L., Ren, Z., Yuan, J.: Point-to-Point regression PointNet for 3D hand pose estimation. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 475–491 (2018) [^17]: Guo, H., Wang, G., Chen, X., Zhang, C., Qiao, F., Yang, H.: Region ensemble network: improving convolutional network for hand pose estimation. In: 2017 IEEE International Conference on Image Processing (ICIP), pp. 4512–4516. IEEE (2017) [^18]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: a method for 3D annotation of hand and object poses. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3196–3206 (2020) [^19]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint Transformer: solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11090–11100 (2022) [^20]: Ho, J., Jain, A., Abbeel, P.: Denoising diffusion probabilistic models. Adv. Neural. Inf. Process. Syst. 33, 6840–6851 (2020) [^21]: Huang, L., Tan, J., Liu, J., Yuan, J.: Hand-Transformer: non-autoregressive structured modeling for 3D hand pose estimation. In: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXV 16, pp. 17–33. Springer (2020) [^22]: Li, J., Xu, C., Chen, Z., Bian, S., Yang, L., Lu, C.: HybrIK: a hybrid analytical neural inverse kinematics solution for 3d human pose and shape estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3383–3393 (2021) [^23]: Li, M., et al.: Interacting attention graph for single image two-hand reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2761–2770 (2022) [^24]: Li, S., Lee, D.: Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 11927–11936 (2019) [^25]: Lin, K., Wang, L., Liu, Z.: End-to-end human pose and mesh reconstruction with transformers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1954–1963 (2021) [^26]: Lin, K., Wang, L., Liu, Z.: Mesh Graphormer. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 12939–12948 (2021) [^27]: Liu, X., Qi, C.R., Guibas, L.J.: FlowNet3D: learning scene flow in 3D point clouds. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 529–537 (2019) [^28]: Liu, Z., et al.: Swin transformer: Hierarchical vision transformer using shifted windows. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 10012–10022 (2021) [^29]: Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 (2017) [^30]: Malik, J., et al.: HandVoxNet++: 3D hand shape and pose estimation using voxel-based neural networks. IEEE Trans. Pattern Anal. Mach. Intell. 44(12), 8962–8974 (2021) ## [^31]: Moon, G., Yong Chang, J., Mu Lee, K.: V2V-PoseNet: voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5079–5088 (2018) --- [^32]: Oberweger, M., Lepetit, V.: DeepPrior++: improving fast and accurate 3d hand pose estimation. In: Proceedings of the IEEE International Conference on Computer Vision Workshops, pp. 585–594 (2017) [^33]: Park, J., Oh, Y., Moon, G., Choi, H., Lee, K.M.: HandOccNet: occlusion-robust 3D hand mesh estimation network. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1496–1505 (2022) [^34]: Qi, C.R., Yi, L., Su, H., Guibas, L.J.: PointNet++: deep hierarchical feature learning on point sets in a metric space. In: Advances in Neural Information Processing Systems, pp. 5099–5108 (2017) [^35]: Ren, P., et al.: Two heads are better than one: image-point cloud network for depth-based 3D hand pose estimation. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 37, pp. 2163–2171 (2023) [^36]: Ren, P., Sun, H., Hao, J., Qi, Q., Wang, J., Liao, J.: Pose-guided hierarchical graph reasoning for 3-D hand pose estimation from a single depth image. IEEE Trans. Cybern. (2021) [^37]: Ren, P., et al.: Spatial-aware stacked regression network for real-time 3D hand pose estimation. Neurocomputing 437, 42–57 (2021) [^38]: Ren, P., Sun, H., Qi, Q., Wang, J., Huang, W.: SRN: stacked regression network for real-time 3D hand pose estimation. In: BMVC, p. 112 (2019) 39. Spurr, A., Iqbal, U., Molchanov, P., Hilliges, O., Kautz, J.：基于生物力学约束的弱监督三维手部姿态估计。载于：Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《计算机视觉——ECCV 2020：第16届欧洲会议论文集，英国格拉斯哥，2020年8月23–28日》，第十七部分，第211–228页。Springer International Publishing出版社，Cham（2020年）。 [^40]: Tang, D., Jin Chang, H., Tejani, A., Kim, T.K.: Latent regression forest: structured estimation of 3D articulated hand posture. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3786–3793 (2014) [^41]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM Trans. Graph. (ToG) 33(5), 1–10 (2014) [^42]: Tse, T.H.E., Kim, K.I., Leonardis, A., Chang, H.J.: Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1664–1674 (2022) [^43]: Vaswani, A., et al.: Attention is all you need. In: Advances in Neural Information Processing Systems, vol. 30 (2017) [^44]: Wan, C., Probst, T., Van Gool, L., Yao, A.: Dense 3D regression for hand pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5147–5156 (2018) [^45]: Wang, Y., Chen, L., Li, J., Zhang, X.: HandGCNFormer: a novel topology-aware transformer network for 3D hand pose estimation. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 5675–5684 (2023) [^46]: Wu, L., Liu, X., Liu, Q.: Centroid Transformers: learning to abstract with attention. arXiv preprint arXiv:2102.08606 (2021) ## [^47]: Xiong, F., et al.: A2J: anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 793–802 (2019) --- [^48]: Yang, L., et al.: ArtiBoost: boosting articulated 3D hand-object pose estimation via online exploration and synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2750–2760 (2022) [^49]: Zhao, H., Jiang, L., Jia, J., Torr, P.H., Koltun, V.: Point transformer. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 16259–16268 (2021) [^50]: Zhu, X., Su, W., Lu, L., Li, B., Wang, X., Dai, J.: Deformable DETR: deformable transformers for end-to-end object detection. arXiv preprint arXiv:2010.04159 (2020)