# KAD-Net：面向单深度图像鲁棒三维手姿估计的运动学感知解耦学习网络 陆俊$^{1,2}$、陈振明$^{2}$、陈林$^{3}$、谭凯伦$^{3}$、李晓玲$^{2}$、刘乔$^{2*}$ $^{1}$天津大学智能与计算学院，天津，中国。 $^{2}$重庆国家应用数学中心、重庆师范大学，重庆，中国。 $^{3}$中国汽车工程研究院股份有限公司智能汽车安全技术国家重点实验室，重庆，中国。 $^{*}$通讯作者。电子邮箱：; ## 摘要 由于手部运动学的复杂性和自遮挡现象，现有基于单深度图像的三维手姿估计方法难以全面建模手部关节间的拓扑依赖关系。此外，传统分层多任务架构会将二维关节定位与深度估计任务置于共享特征空间中，从而容易引发相互干扰。为应对这些挑战，我们提出了一种用于鲁棒三维手姿估计的运动学感知解耦学习网络（KAD-Net）。具体而言，我们首先设计了手指拓扑约束（FTC）模块来增强远端关节的表征能力。该模块利用三个连续的手指关节构建局部运动学表征以施加拓扑约束，从而补充远端关节的运动学特征。FTC模块可利用可见关节的结构上下文来辅助定位被遮挡的远端关节，进而提升对遮挡情况的鲁棒性。此外，我们提出了一种任务解耦的分层多任务框架。该框架将二维关节定位与深度估计任务分离，并引入了专门的多任务学习策略来处理深度回归问题，有效隔离UV特征与深度特征，以减轻相互干扰和负迁移现象。大量实验表明，在多个基准数据集（ICVL、NYU和MSRA）上，KAD-Net的性能均优于现有方法，达到了最先进的水平。 --- 三维手姿估计的准确性对于相关应用至关重要。KAD-Net的潜在应用场景包括人机交互、虚拟现实以及基于手势的控制系统。 关键词：三维手姿估计；深度图像；图卷积网络；拓扑结构；分层结构 ## 1 引言 手姿估计是计算机视觉研究的基础，可支撑人机交互（HCI）[^1] [^2]、手势识别[^3] [^4]、虚拟现实（VR）[^5] [^6]以及机器人技术[^7] [^8]等诸多应用。过去十年间，价格低廉且精度高的商用深度相机日益普及，推动了基于深度图的三维手姿估计技术取得了显著进展[9–12]。尽管取得上述进展，从单张深度图像中准确推断三维手姿仍是一项极具挑战性的任务。其难点主要源于手部的高自由度与复杂的运动学结构、严重的自遮挡及结构上的相似性导致的感知歧义，以及传感器噪声和深度不连续性等数据退化问题。这些因素共同使得实现鲁棒且精确的关节定位变得尤为困难。 目前，最先进的3D手部姿态估计方法大多基于卷积神经网络（CNN），大致可分为两类：基于回归的方法和基于检测的方法。基于回归的方法[12–14]直接将编码后的深度表征映射到3D关节坐标或参数化手部模型参数。通过利用全局特征表征，这些方法在严重遮挡情况下仍能保持稳健的性能[^15]。然而，当使用全连接层来展平空间特征图时，就会出现一个关键局限：这种操作会破坏表征固有的空间结构，还可能引入冗余或无关的上下文信息，最终降低定位精度。相比之下，基于检测的方法[16–18]会将编码后的深度特征转换为中间空间表征，如2D或3D热图，进而据此推断关节位置。这种形式保留了空间拓扑结构，能够有效捕捉细粒度的局部关节活动细节。不过，卷积层的有限感受野限制了其对关节间长距离依赖关系和全局结构关系的建模能力。 受图卷积网络（GCN）在3D人体姿态估计中取得成功的启发[^19] [^20]，众多研究尝试将GCN集成到基于CNN的框架中，以显式建模手部关键点之间的拓扑关系[^21] [^22] [^23] [^24] [^25] [^26]。虽然这些方法增强了结构建模能力，但也存在两个显著局限。首先，它们通常忽略了这样一个经验性观察：远端关节的估计误差往往比近端关节更大。由于远端关节的自由度更高、活动变异性更大，因此需要更专门的建模策略。同时，手指运动学对运动链施加了强约束，因为远端关节的运动本质上依赖于近端关节的配置。例如，在抓握或手指弯曲过程中，远端指间关节的弯曲几乎总是伴随着相邻近端关节的弯曲。 --- 然而，现有的基于GCN的方法对所有关节一视同仁，未能纳入此类运动学依赖关系，因此限制了其规范远端关节预测的能力。其次，当前的分层多任务框架往往将2D关节定位（UV坐标）和深度回归耦合在同一个共享特征空间中。这种设计忽视了两项任务之间的本质差异：具体而言，UV预测属于2D表面坐标映射问题，而深度估计则是根据场景上下文推断3D几何距离——这是一项复杂度更高的空间推理任务。强制这些异质目标共享统一表征可能会引发任务干扰，限制网络为深度估计分配足够的表征资源。结果就是，由于任务特定特征的解耦不够理想，深度预测的精度受到了影响。 为解决上述挑战，我们提出了一种用于从单张深度图中进行鲁棒三维手部姿态估计的运动学感知解耦学习网络（KAD-Net）。具体而言，KAD-Net采用两个独立的分支来估计UV坐标和深度值。这种解耦架构通过让每个分支学习适配其特定几何目标的特征表示，从而减轻了任务间的相互干扰。UV估计分支的核心组件是我们提出的手指拓扑约束（FTC）模块。该模块首先通过特征传播来捕捉手部关节间的空间连通性，进而生成能够编码全局拓扑结构的关节级图嵌入。由于同一手指内的关节具有强烈的运动学协同性，我们进一步引入了连续三关节聚合机制来构建局部运动学表示。这种设计通过整合相邻近端关节的上下文信息，增强了远端关节的特征表达。除了优化远端关节的建模外，该机制还提升了模型对遮挡情况的鲁棒性。通过利用同一运动链上可见关节的结构线索，模型能够更准确地推断部分或完全被遮挡的远端关节的位置。FTC模块轻量且灵活，可无缝集成到各类CNN骨干网络中以实现端到端训练。它能生成编码结构关系的运动学感知热图，进而指导分层深度估计过程。鉴于深度回归本质上比二维定位更具挑战性，我们在深度分支中设计了分层多任务学习框架，以减轻负面特征迁移并增强针对深度的表征学习能力。本研究基于我们的会议论文[^27]扩展而来。与会议版本相比，本期刊版本对所提框架的描述更为详尽，补充了额外的消融实验和定性分析，并且通过进一步考虑参数数量和推理速度，与现有最先进方法进行了更广泛的对比。本文的主要贡献如下： (1) 我们提出了一种用于鲁棒三维手部姿态估计的新型运动学感知解耦网络（KAD-Net）。该架构采用用于UV定位和深度回归的解耦分支以消除任务间的相互干扰。此外，深度分支中还引入了分层学习策略，以减轻负面特征迁移并增强针对深度估计的表征学习能力。 --- (2) 我们设计了一种轻量的FTC模块，该模块融合了手指级别的运动学表示以增强远端关节的特征。通过显式建模运动链上的拓扑依赖关系，该模块能够捕捉关节间的结构关系，并利用可见关节的上下文线索来提升对遮挡情况的鲁棒性。 (3) 我们提出的方法在三个公开的手部姿态数据集上均取得了最先进的性能：ICVL [^28]、NYU [^29]和MSRA [^30]。 本文的其余部分结构如下。第2节中，我们回顾了有关手部姿态估计方法的相关研究。随后，第3节描述了所提KAD-Net的架构和训练细节。接着，第4节报告了大量实验结果，证明所提方法能够取得优异的性能。最后，第5节给出了简要结论。 ## 2 相关工作 ### 2.1 图卷积神经网络 由于GCN能够显式建模手部骨骼结构中固有的空间关系，它在手部姿态估计领域变得至关重要。从方法学角度来看，基于GCN的方法大致可分为两类：频谱方法和空间方法。频谱方法通过在频域中构建图卷积[^31]，利用图傅里叶变换来应用信号滤波器。例如，Ge等人[^32]采用频谱GCN来联合重建三维手部形状与姿态。随后，Cai等人[^19]提出了一种基于频谱卷积的局部到全局网络架构，以捕捉多尺度图特征，从而实现更精准的三维手部姿态估计。相比之下，空间方法直接在图拓扑结构上操作[^33]，通过聚合每个节点的邻近信息来更新其特征。这一范式已被广泛应用于各类架构中。比如，Kulon等人[^34]开发了一种受三维手部网格重建损失约束的、基于空间GCN的编码器-解码器框架。同样，Song和Kang[^25]采用了带有空间GCN的分层架构，用以建模全局与局部的关节关系。Ren等人[^24]则通过关节节点与骨骼节点之间的分层图消息传递，捕捉手部组件间的复杂依赖关系；他们还将 enrich 后的语义特征转化为动态卷积核，以生成具备结构感知能力的特征图。受到Cai等人[^35]关于内部关节拓扑约束重要性的见解启发，我们提出了一种有别于现有方法的新颖方案。具体而言，我们利用三个手指关节的信息来构建局部运动学表征，以此补充远端关节的特征。这种设计使我们能够有效捕捉手部关节间的拓扑关系，并提升网络在遮挡情况下的鲁棒性。 ### 2.2 分层多任务网络 为解决手部内部相似性显著的问题，多种方法采用了分层多任务网络架构来减少负面特征的影响。 --- ![Image](images/ad3673f1ea2713a5859ef32dd569340426fceb575460b1e0e74bfada80abf0d9.jpg)
Fig. 1 Architecture of our proposed method. The architecture is divided into three branches: the UV branch using the FTC module, the attention enhancement branch, and the depth branch with a hierarchical multi-branch structure that includes six subtasks for each finger and the palm.
传输[^36]。例如，Zhou等人[^37]利用拇指、食指和其他手指之间的功能差异，将网络划分为针对这三个部位的子任务专用流。同样，Du等人[^38]提出了一种双分支网络，该网络将手指和手掌的特征提取分开，并利用分支间的连接来交换互补信息。Chen等人[^39]采用CNN在先验姿态估计的指导下提取特定区域的特征，随后通过模仿手部运动拓扑结构的树状全连接网络将这些特征整合起来。Li等人[^40]引入了基于Gumbel Softmax的可微二值选择器，用于自动将高度相关的关节归入同一任务组。为了捕捉手指间的依赖关系以及单个手指的独特特性，Tewolde等人[^12]将任务分解为六个组成部分，并引入了残差特征共享机制来挖掘子任务间的协同作用。Lu等人[^41]并未按手指组别分解任务，而是设计了一种渐进式多路径回归模块，该模块利用从深层到浅层的特征进行由粗到精的手部回归，并辅以中间监督；此外，他们还加入了基于分割的遮挡处理机制以应对手与物体相互遮挡的情况。然而，这些方法的一个显著局限在于它们在一个统一的分层框架内同时估计UV坐标和深度值。与上述方法不同，我们将任务拆分为用于UV估计和深度估计的两个独立分支，从而避免任务层面的相互干扰。此外，我们为深度分支引入了专门设计的分层多任务架构，旨在缓解这一具有挑战性的子任务中的负面特征传递问题。 ## 3 方法 在本节中，我们将详细介绍所提出的网络。首先，我们在3.1节概述整体架构，随后描述UV分支。 --- ```pseudo // Algorithm 1: Proposed Framework for KAD-Net. Require: hand depth image $\in \mathbb{R}^{128 \times 128}$ Ensure: 3D hand joint coordinates ``` 步骤1：用于特征提取的骨干网络 1：利用沙漏网络从输入图像中提取浅层特征。 步骤2：UV分支的手指拓扑约束模块（并行） 通过FTC模块进行处理： 2：将特征映射到图节点V（公式1、2）。 3：施加拓扑约束R以得到$V'$（公式3、4、5）。 4：将$V'$重新映射为二维卷积特征。 5：对重新映射后的特征应用$1 \times 1$卷积，生成二维热图$H^{2D}$。 6：根据$(\bar{U}, \bar{V})$计算UV坐标$H^{2D}$。 步骤3：注意力增强分支（并行） 7：生成注意力增强图$Att_{enh}$。 8：将其与$H^{2D}$融合，得到融合后的注意力图$Att_{fused}$。 步骤4：分层多任务深度估计（并行） 9：将其划分为6个子任务（手指+手掌）。对于每个子任务i： 10：提取深层残差特征$D_i$。 11：利用公式(6)，在注意力图$G_j$的指导下，将深层残差特征$Att_{fused}$与深层特征向量$D_i$进行融合。 12：估算局部和全局深度值。 步骤5：损失计算与优化 13：利用公式(7)计算总损失L。 14：使用Adam优化器更新网络参数。 15：返回UV坐标$(\bar{U}, \bar{V})$和深度值。 借助第3.2节中的FTC模块，接下来我们在第3.3节介绍采用分层多任务方法的深度估计分支，最后在第3.4节阐述损失函数的细节。 ### 3.1 架构概述 图1展示了本文提出的整体架构。遵循[^42]的描述，我们首先采用骨干网络进行特征提取，得到$\mathbb{R}^{C \times H \times W}$中的特征图。其中，C表示通道维度，H和W分别表示空间高度和宽度。随后，提取的特征被送入UV分支、注意力增强分支以及深度分支。为了最大化模型性能，骨干网络应能有效提取并融合多尺度特征。因此，我们选用Hourglass网络[^43]作为骨干网络。该网络通过利用跳跃连接以及反复的自顶向下和自底向上的处理过程，有效提取并融合不同尺度的特征。 UV分支、注意力增强分支和深度分支首先通过瓶颈残差块$\in \mathbb{R}^{C \times H \times W}$和[^44]卷积提取特定任务的高阶特征$1 \times 1$。为了利用远端手指关节受近端关节约束的运动学特性， --- 我们在UV分支中引入了FTC模块。具体而言，提取的高阶特征先经FTC模块处理，再通过$1 \times 1$卷积投影生成运动学感知热图$H^{2D} \in \mathbb{R}^{J \times H \times W}$，其中J表示关节数量。FTC模块补充了远端关节的运动学特征，使手部UV热图能够充分捕捉拓扑关系；此外，它还利用可见关节的结构上下文来帮助定位被遮挡的关节。至于注意力增强分支，不通过损失函数对其进行监督，该分支会生成注意力增强图$Att_{enh} \in \mathbb{R}^{J \times H \times W}$。即便没有监督，该分支也能自适应地识别出对深度估计至关重要的手部区域。接着，UV分支产生的运动学感知热图与注意力增强图通过可学习的权重参数$\alpha \in [0,1]$进行融合，得到运动学感知融合注意力图，记为$Att_{fused} \in \mathbb{R}^{J \times H \times W}$。 鉴于深度估计比UV估计更具挑战性，我们专门为深度分支采用了分层多任务架构。这种设计能有效缓解负面特征传递问题，从而更高效地捕捉深度关系。深度分支中每个子任务生成的深度特征$D_i \in \mathbb{R}^{C \times H \times W}$在运动学感知融合注意力图的引导下，形成具有代表性的深度特征向量$G_j \in \mathbb{R}^C$。最终，这些深度特征向量被用于估算各子任务的局部深度值以及所有关节的全局深度值。 整体框架的细节详见算法1。 ### 3.2 UV分支的手指拓扑约束模块 FTC模块的详细架构如图2所示。FTC模块包含三个步骤：将二维卷积特征映射到图空间、在图空间中进行消息传递，以及将图空间中的信息重新映射为二维卷积特征。 在节点映射阶段，二维卷积特征图$X \in \mathbb{R}^{C \times H \times W}$被投影到一组图节点嵌入$V \in \mathbb{R}^{N \times D}$上。此处，N表示图节点的数量，节点特征的维度被设置为$D = C/2$。这一投影过程首先通过生成空间注意力图$S \in \mathbb{R}^{N \times H \times W}$来实现，具体方式如下： $$ S=\sigma_{1}(\theta(X)) $$ 其中，$\theta(\cdot)$用于计算输入特征X与N个图节点之间的亲和度得分。在实际应用中，我们将$\theta(\cdot)$实现为$1\times1$二维卷积操作。随后，这些得分通过空间softmax算子$\sigma_1$被归一化为注意力权重。接着利用空间注意力图S即可得到节点嵌入V： $$ V=\sigma_{2}(S\cdot(\varphi(X))^{T}) $$ 其中，$\varphi(\cdot)$被实现为$1 \times 1$二维卷积操作，其作用是将卷积图中的像素级特征嵌入到图结构空间中。$\sigma_2$表示ReLU激活函数。基于已有研究[^24]，我们认为生成准确的空间注意力需要对节点特征进行直接监督。为此，手部关节的UV坐标 --- ![Image](images/b84eaa3e80909d679fff88c87bfb91a8628739090ebf729ec4dc8212c811b9d9.jpg)
Fig. 2 The top row shows the detailed node mapping stage and node remapping stage of the FTC module, where 2D convolutional features are mapped to graph node features and then remapped back to 2D convolutional features. The bottom row shows the message passing stage, which consists of feature propagation and topological constraint.
会通过$1\times1$一维卷积从节点特征V中回归得到，并通过L1损失进行监督训练。 如图2底部行所示，消息传递阶段包含两个连续的组成部分：特征传播和拓扑约束。在特征传播阶段，全连接（FC）层首先执行全局关系推理。随后利用手部关节的邻接矩阵在所有节点间传递信息，从而生成增强后的节点特征$V_1 \in \mathbb{R}^{N \times D}$。接下来，$V_1$被划分为两个不同的子集：五个手指$V_e \in \mathbb{R}^{15 \times D}$和其他节点。具体而言，对于每个手指，我们选取从指尖开始的三个关节，其余关节则被归类为其他节点。值得注意的是，对于NYU数据集[^29]而言，每个手指仅有两个标注关节，此时我们会用对应的掌骨关节来补充序列。提取出的手指序列会先经过一维卷积处理，以生成中间表征$F_1 \in \mathbb{R}^{5 \times D}$。该表征随后被送入多层感知机（MLP），从而得到每个手指的局部运动学表征$F_2 \in \mathbb{R}^{5 \times D}$，该表征能够捕捉手指内部关节间的运动协同关系。其公式表达如下： $$ F_1 = \sigma_3(Conv1d(V_e)) $$ --- ![Image](images/871a35ea9c506126ad4e30e1017ec2e44ea911f7d64333fe5ca0b4a51f27ebff.jpg)
Fig. 3 The grouping scheme for each subtask of the dataset.
$$ F_{2}=F_{1}+MLP(LN(F_{1})) $$ 其中Conv1d表示核大小和步长均为3的一维卷积层，$\sigma_3$代表GELU激活函数，$LN(\cdot)$是层归一化操作。接着我们引入拓扑约束算子R。该算子通过将提取出的运动学特征$F_2$替换回指尖及相邻关节的视觉特征$V_1$，从而将其映射回原始特征空间，最终得到具备强几何约束的中间节点特征图。最后，通过残差连接将该受约束的特征图与$V_1$相加，以显式修正远端关节的位置： $$ V^{\prime}=V_{1}+R(V_{1},F_{2}) $$ 最后一步是节点重映射。如图2顶部所示，这一阶段会逆转投影过程，将基于图的特征重新整合到二维卷积空间中。首先，将第一阶段得到的空间注意力图S与$V'$相乘。随后，通过一次$1 \times 1$卷积将特征图的通道维度恢复为原始大小。重映射后的特征图会与输入张量X拼接，得到的张量会再经过一次$1 \times 1$卷积处理，以匹配原始输入的维度。 经过拓扑结构优化后，UV分支会应用一次$1 \times 1$卷积，将优化后的特征投影为运动学感知的二维热图。最终的UV坐标$(\bar{U}, \bar{V})$是通过空间Softmax归一化和积分回归[^45]得到的，这一过程由L1损失函数进行监督。 ### 3.3 分层多任务深度估计 注意力增强分支通过可学习参数$Att_{enh}$，将生成的注意力增强图$H^{2D}$与UV热图$\alpha$融合，得到能够突出对深度估计至关重要的手部区域的运动学感知融合注意力图$Att_{fused}$。我们用$Att_{fused}^{j} \in \mathbb{R}^{H \times W}$来表示第j个关节对应的融合注意力图。在此基础上，深度分支将手部分析分解为六个并行子任务，每个子任务分别针对特定的手指或手掌。为了适配不同基准测试中的解剖结构差异，每个子任务内的关节分组会根据目标数据集的标注方案进行调整，如图3所示。 --- 延续前一分支的架构，每个子任务首先提取深度残差特征图$D_i \in \mathbb{R}^{C \times H \times W}$，其中特征维度C被设为64。接着，每个运动学感知融合注意力图$Att_{fused}^j$会为对应的子任务引导$D_i$，具体方式如下： $$ G_{j}=\sum_{x}\sum_{y}Att_{fused}^{j}(x,y)D_{i}(x,y) $$ 其中$G_j \in \mathbb{R}^C$表示第j个关节的深度特征向量。接下来，将子任务内各关节对应的$G_j$向量拼接并展平，得到子任务深度特征向量$O_i \in \mathbb{R}^{Q \cdot C}$，这里Q表示第i个子任务中的关节数量。随后，$O_i$会被送入全连接层，以预测对应关节的深度值。每个子任务的输出都会应用L1损失函数来进行局部深度监督。最后，将第一个全连接层输出的优化后的特征向量拼接起来，再经过另一个全连接层，以预测所有手部关节的深度值。同样，全局深度监督也会采用L1损失函数。 ### 3.4 损失函数 所提出的网络架构包含施加在FTC模块节点特征上的损失$L_{Gh}$、UV分支的输出损失$L_{uv}$、深度分支中的子任务损失$L_{Pa}$、$L_{Pi}$、$L_{R}$、$L_{M}$、$L_{I}$、$L_{T}$，以及全局深度值的损失$L_{Gd}$。所有单项损失均采用L1损失函数计算。总损失函数L定义如下： $$ \begin{aligned}L=&\alpha L_{Gh}+\beta L_{uv}+\delta L_{Gd}\\&+\gamma(L_{Pa}+L_{Pi}+L_{R}+L_{M}+L_{I}+L_{T})\end{aligned} $$ 实验中参数的设置如下：$\alpha = 0.5, \beta = 1, \delta = 1$和$\gamma = 0.2$。 ## 4 实验部分 ### 4.1 实现细节 所提出的网络的输入是一张$128 \times 128$手部的深度图像，其深度值已被归一化到$[-1, 1]$范围内。借鉴先前的研究工作[^42]，我们采用了多种数据增强策略来提升模型的泛化能力，包括：在$[-180, 180]$度范围内的平面内旋转、以$[0.9, 1.1]$为缩放因子进行缩放、在$[-8, 8]$毫米范围内平移，以及使用$\alpha = 0.15$的PixDropout技术。模型采用Adam优化器进行优化，初始学习率为$10^{-5}$，并配合余弦退火学习率调度策略。为了缓解过拟合现象，权重衰减和dropout率分别被设置为$10^{-4}$和0.6。训练在ICVL和NYU数据集上进行了70个epoch，在MSRA数据集上则进行了80个epoch。所有实验均在配备24GB显存的单块NVIDIA RTX 4090 GPU上完成。 --- ### 4.2 数据集与评估指标 ICVL数据集[^28]：该数据集包含22,000张训练图像和1,600张测试图像。尽管还提供了额外的308,000张增强训练图像，但我们遵循既定的评估协议[^42]，排除了这些增强样本，以确保与以往研究进行公平比较。该骨骼模型为每个手指定义了三个关节，手掌部分定义一个关节。 NYU数据集[^29]：该数据集包含从单个受试者采集的72,000张训练样本，以及来自三名受试者的8,200张测试样本，采集视角包括正面和两个侧面。按照标准评估协议[^29]，我们在训练和测试阶段均使用从完整3D标注中提取的正面视图下的14个关节子集。 MSRA数据集[^30]：该数据集是使用Intel Creative Interactive Gesture Camera采集的，包含来自九名受试者的76,500张深度图像。手部模型为每个手指定义四个关节，手掌部分定义一个关节。按照官方评估协议[^30]，我们采用了留一受试者交叉验证策略。 评估指标。我们采用两种广泛使用的指标来评估性能：平均关节误差（MJE）和帧成功率（FSR）。MJE衡量的是整个测试集中预测关节坐标与真实标注之间的平均欧几里得距离（以毫米为单位），能够直接反映定位精度；FSR则表示在预设误差阈值下被视为成功的测试帧所占的百分比。如果某帧的MJE低于指定阈值，则该帧被归类为成功。 ### 4.3 消融研究 #### 4.3.1 组件与结构 为了验证所提出组件和架构设计的有效性，我们在ICVL数据集上开展了一系列消融实验。基线模型借鉴了先前的研究成果[^42]，并未包含所提出的FTC模块或深度方向上的分层多任务架构（MMD）。这些实验旨在系统评估各组件的单独及协同作用。如表1所示，将FTC模块集成到基线模型中后，平均关节误差（MJE）从5.73毫米降至5.63毫米，这证实了其在增强特征表示方面的有效性。仅引入MMD架构便能进一步降低MJE至5.61毫米，说明其对误差缩减的贡献比单独的FTC模块更大。重要的是，这两个组件具有互补优势：联合应用时，完整模型能取得最佳性能，将MJE降至5.45毫米。这些结果不仅体现了FTC模块和MMD架构的各自有效性，还揭示了它们在提升整体姿态估计精度上的协同效应。 ---
Table 1 Influence of model components and structure on ICVL performance.
ModelMJE (mm)
Baseline5.73
Baseline + FTC5.63
Baseline + MMD5.61
Baseline + MMD + FTC5.45
Table 2 Ablation study of the components for the FTC module on the ICVL.
ApproachMJE (mm)
Tip jointsMiddle jointsOther joints
w/o FTC6.425.465.06
FG-only6.375.334.97
TC-only6.365.285.09
Ours6.355.284.86
Table 3 Ablation study of the combination strategy for the FTC module on the ICVL.
Combination strategyMJE (mm)
Reversed-serial5.66
Parallel5.57
Ours5.45
#### 4.3.2 FTC模块的组成部分 为了深入探究FTC模块的内部机制，我们将其拆解为两个组成部件：（1）特征传播机制（FG）和（2）拓扑约束模块（TC）。基于这种拆分方式，我们设计了四种变体进行分析：不含FTC的基线模型（w/o FTC）、仅含FG的变体、仅含TC的变体以及完整的FTC模型。如表2所示，仅含FG的变体能够有效捕捉手部全局拓扑结构，并降低所有关节的误差，这表明特征传播在增强结构表示方面发挥着基础性作用。相比之下，仅含TC的变体仅作用于有限的关节子集，导致拓扑结构不完整；因此，它只能改善指尖和中间关节的表现，却因缺乏全局协调性而使其他关节的误差略有增加。与仅含FG的变体相比，完整的FTC模块对手指尖误差的降低幅度十分有限。我们认为这是由于手指运动本身具有极高的自由度：仅靠拓扑约束所强化的运动学特征不足以完全建模如此复杂的关节活动，从而在细粒度区域形成了表征瓶颈。不过，在其他关节上观察到了显著的改进。 --- 这一现象表明，所施加的拓扑约束主要起到全局正则化作用，能够沿运动链传递结构一致性，而非执行纯粹的局部优化。 #### 4.3.3 FTC模块的组合策略 我们进一步研究了用于整合FTC模块两个组成部分的不同策略，包括逆串行、并行以及我们提出的配置。在逆串行策略中，首先应用拓扑约束（TC）组件，随后再执行特征传播（FG）机制。并行策略则将节点特征沿通道维度均等划分；每个子集分别由FG和TC独立处理，最后再将输出结果拼接起来。如表3所示，逆串行策略产生的误差最大，达到5.66毫米。这表明在早期阶段施加运动学先验会破坏自然的特征传播过程，在尚未建立足够的结构上下文之前就限制了表征学习。并行策略的误差为5.57毫米，虽有所改善，但仍逊于我们的方法。这说明独立处理拆分后的特征会限制组件间的交互，致使TC模块提取出的运动学信息无法有效增强通过FG学习到的全局拓扑结构。相比之下，我们提出的整合策略取得了最佳性能，将MJE降低至5.45毫米。通过以互补方式依次协调特征传播与拓扑约束，该模型能够有效利用运动学关系来优化远端关节的表征，同时保留完整的手部拓扑一致性。这种设计能够实现更一致的结构建模，并提升估计精度。 #### 4.3.4 多任务架构设计 为了进一步评估深度分支中分层多任务架构的有效性，我们比较了三种架构配置，且所有实验均未引入FTC模块，以便单独分析架构本身的影响。这三种配置包括：(1) 共享架构，即UV预测与深度预测在单一共享特征空间内学习；(2) 解耦架构，即UV分支与深度分支相互分离，但UV分支不为深度分支提供任何指导；(3) 我们提出的引导式解耦架构，即在解耦的深度分支中额外引入来自UV分支的空间线索作为引导。共享模型采用单分支结构，通过多任务学习来共同预测3D手部坐标。如表4所示，该模型的MJE达到6.68毫米。相对较高的误差表明，在同一特征空间内学习UV与深度表征会引发任务干扰，从而限制模型对各个目标的优化能力。在解耦模型中，深度分支利用深层残差特征经全局平均池化后独立预测深度值。这种设计减少了任务干扰，使MJE改善为5.64毫米（表4）。然而，其性能仍不及我们的引导式解耦架构，后者的MJE仅为5.61毫米。性能的差距源于纯解耦设计中缺乏来自UV分支的空间引导。由于缺乏明确的空间线索， ---
Table 4 Ablation study of different multitask architecture designs for depth estimation on ICVL dataset.
ArchitectureMJE (mm)
Shared6.68
Decoupled5.64
Guided-Decoupled5.61
Table 5 Comparison of the MJE (in millimeters) between the proposed method and state-of-the-art methods on the ICVL, NYU, and MSRA datasets.
MethodICVLNYUMSRA
DeepPrior++ [^46]8.1012.249.50
REN-9 $\times$6 $\times$6 [^47]7.3112.699.79
DenseReg [^48]7.3010.207.23
CrossInfoNet [^38]6.7310.087.86
NARHT [^49]6.479.807.55
A2J [^13]6.468.61-
V2V-PoseNet [^50]6.288.427.59
SRNet [^51]6.159.177.98
JGR-P2O [^52]6.028.297.55
AWR [^17]5.987.487.20
HandFoldingNet [^53]5.958.587.34
TriHorn-Net [^42]5.737.687.13
Ours5.457.436.93
深度分支便无法获取细粒度的定位信息，进而限制了其优化关节级深度估计的能力。这些结果表明，虽然任务解耦能够缓解特征层面的干扰，但引入结构化的UV到深度引导仍能通过提供互补的空间约束来进一步提升深度回归效果。 ### 4.4 与现有最先进方法的比较 我们对模型进行了全面评估，将其与几种主流方法在三个广泛使用的公开基准数据集上进行比较：ICVL [^28]、NYU [^29]和MSRA [^30]。参与对比的方法包括DeepPrior++ [^46]、REN-9×6×6 [^47]、DenseReg [^48]、CrossInfoNet [^38]、NARHT [^49]、A2J [^13]、V2V-PoseNet [^50]、SRNet [^51]、JGR-P2O [^52]、AWR [^17]、HandFoldingNet [^53]以及TriHorn-Net [^42]。 在ICVL数据集上，我们的方法得出的平均关节误差（MJE）为5.45毫米，表现优于所有对比的先进方法（表5，第一列）。图4（左）展示了各关节的平均误差。我们的方法在大多数关节上的误差更低，尤其在拇指、小指和食指上的改进尤为显著。与最强的竞争基线相比，中指和无名指的误差略有增加。我们将这一现象归因于这两根手指的运动模式高度相似。FTC模块施加的拓扑约束进一步促使特征表示趋于一致，这可能会降低紧密相关的关节之间的区分度。由于ICVL数据集的训练数据相对有限且存在已知的标注不准确问题，这一问题在该数据集上更为突出。图4（右）显示了在不同误差阈值下成功帧的百分比（FSR）。我们的方法在阈值低于10毫米时准确率最高，且在更大的阈值范围内仍保持具有竞争力的性能。 --- ![Image](images/2804e0adff05d60b45c34a7d8b563fbda03d523875af021c993aba9c88d0d7d0.jpg) ![Image](images/ffe4eb01bcc0c492ea319c664b416762618678df9ce7a602db275d432627e9d5.jpg)
Fig. 4 Per-joint MJE and FSR on the ICVL dataset. T: tip, M: middle, R: root.
![Image](images/904fa70136d96cccacef7d449af48944641aebe38996f02c7ad87bc1c8dc8af7.jpg) ![Image](images/743ec91aa63682c570a9ec1becab81b2b53698ecea49b79bc0ab98abde77e45c.jpg)
Fig. 5 Per-joint MJE and FSR on the NYU dataset.
![Image](images/d675a1d49a3e4d45fbcdd4fafca351473cf5304ee4768a9a53820e6f60f73174.jpg) ![Image](images/f02f4a33ff225eb69ee5966c4f4ae7fd0c7f92c8674040770af7930c2e3e1b18.jpg)
Fig. 6 Per-joint MJE and FSR on the MSRA dataset. T: tip, D: dip, P: pip, M: mcp.
--- ![Image](images/8761fa3e298e70a98ff4167e01f468a9c34689beca90b42305561c9de718dcef.jpg) ![Image](images/8eb37429a42251675294b3e3218051afdb24408944e4d7bdef3f7c083c9b4ad6.jpg)
Fig. 7 MJE distribution at different yaw and pitch angles in the MSRA dataset.
![Image](images/238cbf0745b00e472d3c855961db9e838457e9564e7fd6ba4bac99b3070297a9.jpg)
Fig. 8 Qualitative comparison on the NYU dataset for self-similarity and self-occlusion. The ground-truth joints and predicted joints are denoted in red and blue, respectively.
这些表征可能会降低对相关性较高的关节之间的区分能力。由于ICVL的数据集规模相对有限，且存在已知的标注误差，这一问题尤为突出。图4（右侧）展示了在不同误差阈值下成功帧的百分比（FSR）。当阈值低于10毫米时，我们的方法能达到最高的准确率；即便在较大的阈值下，其性能也依然具有竞争力。 --- 在NYU数据集上，所提出的KAD-Net模型的MJE达到7.43毫米（表5，第二列）。图5（左）中的关节级分析显示，除了手掌外，我们的模型在所有关节上的表现均优于先进方法。图5（右）中的FSR曲线表明，我们的方法在30毫米阈值下取得了最高的FSR值。图8展示了在NYU测试集上的定性比较结果。与TriHorn-Net、SRNet、V2V-PoseNet、A2J和CrossInfoNet等代表性方法相比，我们的方法能生成更精确且符合解剖学规律的手部姿态。前四行中观察到的更一致且正确的骨骼结构表明，所提出的解耦式深度分层多任务架构有效缓解了由严重自相似性引起的歧义问题。针对自遮挡现象，我们通过引入相关手指间的拓扑约束，实现了更稳健的关节预测。不过，如图8最后两行所示，当手部大部分区域被严重遮挡时，仍会出现预测失败的情况。由于该模型依赖相关关节信息来强制保证结构一致性，因此当多个关节同时出现较大的初始估计误差或高不确定性时，性能可能会下降。 在MSRA数据集上，我们的模型得出的MJE为6.93毫米（表5，第三列）。图6（左）所示的各关节误差证实了该方法在所有关节上的稳健性。FSR曲线（图6，右）显示出在广泛的阈值范围内，该方法相较于先进方法均有持续的性能提升。此外，图7分析了不同偏航角和俯仰角下的误差分布。所提出的KAD-Net在大多数视角变化下都能降低MJE，展现出对手部朝向和相机视角变化的强大鲁棒性。 我们在ICVL数据集上与最先进（SOTA）的方法进行了全面的基准测试对比，结果汇总在表6中。评估重点关注三个关键指标：用于衡量精度的平均关节误差（MJE）、用于量化模型复杂度的参数数量（#Params），以及用于评估计算效率的以帧每秒（FPS）为单位的推理速度。 在所有对比方法中，我们的方法取得了最低的MJE值，显示出卓越的姿态估计精度。值得注意的是，这一性能提升并未以牺牲效率为代价。所提出的模型在单块GPU上的运行速度可达87 FPS的实时水平，凸显其适用于对时间要求严苛的应用场景。此外，该模型保持了适度的参数数量，有效平衡了预测能力与计算成本，在精度和效率方面均展现出相较于现有方法的优势。 ## 5 结论 在本研究中，我们提出了KAD-Net，这是一种专为精确三维手部姿态估计设计的新颖架构。KAD-Net采用独立的分支分别进行UV估计和深度估计。在UV分支中，我们引入了FTC模块，该模块利用三个关节的指部运动学表示，并对手指施加新颖的拓扑约束。这种方法能够全面捕捉手部关节间的拓扑关系。对于深度分支，我们设计了分层多分支结构，以减轻可能损害模型性能的负面特征传递现象。大量实验 ---
Table 6 Comprehensive comparison of performance and lightweight design between the proposed method and SOTA methods on the ICVL dataset.
MethodMJE (mm)#ParamsFPS
JGR-P2O [^52]6.021.4M111
P2P [^16]6.304.3M42
SSRN [^54]6.0122.5M58
PHG [^24]5.9735.7M62
HandFoldingNet [^53]5.951.28M84
HandR2N2 [^55]5.701.3M94
Ours5.4511.98M87
在三个公开基准测试上的结果表明了我们方法的有效性：在ICVL数据集上平均关节误差为5.45毫米，在NYU数据集上为7.43毫米，在MSRA数据集上为6.93毫米。 致谢。本研究得到了重庆市自然科学基金（项目编号：CSTB2024NSCQ-LZX0042）、重庆市博士后研究项目专项资助（项目编号：2025CQBSHTB3157）以及重庆市教委人文社会科学研究项目（26SKGH053）的支持。 ## 声明 ## 利益冲突 作者声明没有已知的可能影响本文研究结果的竞争性财务利益或个人关系。 ## 数据可用性 本研究中使用的数据集可从原始提供者处公开获取。 ## 作者贡献 陆俊：写作——审阅与编辑、写作——初稿、验证、项目管理、方法论、调研、数据整理、概念化、经费获取；陈振明：写作——初稿、软件实现、可视化、项目管理、方法论、调研、形式分析、数据整理、概念化；陈林：写作——审阅与编辑、写作——初稿、可视化、软件实现、资源提供、项目管理；谭凯伦：方法论、调研、资源提供；李晓玲：数据整理、方法论、调研、验证；刘乔：写作——审阅与编辑、验证、监督、形式分析、数据整理、方法论、调研。 --- ## 参考文献 [^1]: Ovur, S.E., Su, H., Qi, W., De Momi, E., Ferrigno, G.: Novel adaptive sensor fusion methodology for hand pose estimation with multileap motion. IEEE Transactions on Instrumentation and Measurement 70, 1–8 (2021) [^2]: Chen, M., Li, S., Shuang, F., Liu, X., Luo, K., He, W.: Lightweight 3d hand pose estimation by cascading cnns with reinforcement learning. Pattern Recognition Letters 174, 137–144 (2023) [^3]: Hu, Y.: Attention-based spatio-temporal modeling with 3d convolutional neural networks for dynamic gesture recognition. In: Chinese Conference on Pattern Recognition and Computer Vision (PRCV), pp. 469–480 (2024). Springer [^4]: Yu, S., Wang, X., Li, Y., Zhou, M., Ci, Y., Dong, X.: Attention-based direct three-dimensional human pose estimation for point clouds. Engineering Applications of Artificial Intelligence 163, 113042 (2026) [^5]: Dallel, M., Havard, V., Dupuis, Y., Baudry, D.: Digital twin of an industrial workstation: A novel method of an auto-labeled data generator using virtual reality for human action recognition in the context of human-robot collaboration. Engineering applications of artificial intelligence 118, 105655 (2023) [^6]: Shi, Y., Zhao, L., Lu, X., Hoang, T., Wang, M.: Grasping 3d objects with virtual hand in vr environment. In: Proceedings of the 18th ACM SIGGRAPH International Conference on Virtual-Reality Continuum and Its Applications in Industry, pp. 1–8 (2022) [^7]: Zheng, J., Wang, Y., Tan, C., Li, S., Wang, G., Xia, J., Chen, Y., Li, S.Z.: Cvtslr: Contrastive visual-textual transformation for sign language recognition with variational alignment. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 23141–23150 (2023) [^8]: Sahoo, J.P., Sahoo, S.P., Ari, S., Patra, S.K.: Hand gesture recognition using densely connected deep residual network and channel attention module for mobile robot control. IEEE Transactions on Instrumentation and Measurement 72, 1–11 (2023) [^9]: Cheng, J., Wan, Y., Zuo, D., Ma, C., Gu, J., Tan, P., Wang, H., Deng, X., Zhang, Y.: Efficient virtual view selection for 3d hand pose estimation. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 36, pp. 419–426 (2022) ## [^10]: Deng, X., Zuo, D., Zhang, Y., Cui, Z., Cheng, J., Tan, P., Chang, L., Pollefeys, M., Fanello, S., Wang, H.: Recurrent 3d hand pose estimation using cascaded pose-guided 3d alignments. IEEE Transactions on Pattern Analysis and Machine Intelligence 45(1), 932–945 (2022) --- [^11]: Zhang, X., Zhou, Z., Han, Y., Meng, H., Yang, M., Rajasegarar, S.: Deep learning-based real-time 3d human pose estimation. Engineering Applications of Artificial Intelligence 119, 105813 (2023) [^12]: Tewolde, T.T., Manjotho, A.A., Sarker, P.K., Niu, Z.: Fingerposenet: A finger-level multitask learning network with residual feature sharing for 3d hand pose estimation. Neural Networks 187, 107315 (2025) [^13]: Xiong, F., Zhang, B., Xiao, Y., Cao, Z., Yu, T., Zhou, J.T., Yuan, J.: A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 793–802 (2019) [^14]: Xu, H., Li, W., Lu, J., Wang, X., He, W., Chen, Z., Liu, Y.: Detection of dangerous driving postures based on depth images using an anchor regression method. In: SAE 2025 Intelligent and Connected Vehicles Symposium (2025). SAE Technical Paper [^15]: Yuan, S., Garcia-Hernando, G., Stenger, B., Moon, G., Chang, J.Y., Lee, K.M., Molchanov, P., Kautz, J., Honari, S., Ge, L., et al.: Depth-based 3d hand pose estimation: From current achievements to future goals. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2636–2645 (2018) [^16]: Ge, L., Ren, Z., Yuan, J.: Point-to-point regression pointnet for 3d hand pose estimation. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 475–491 (2018) [^17]: Huang, W., Ren, P., Wang, J., Qi, Q., Sun, H.: Awr: Adaptive weighting regression for 3d hand pose estimation. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, pp. 11061–11068 (2020) [^18]: Dutta, H.P.J., Bhuyan, M.K., Karsh, R.K., Alfarhood, S., Safran, M.: Multiscale attention-based hand keypoint detection. IEEE Transactions on Instrumentation and Measurement 73, 1–11 (2024) [^19]: Cai, Y., Ge, L., Liu, J., Cai, J., Cham, T.-J., Yuan, J., Thalmann, N.M.: Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2272–2281 (2019) [^20]: Zou, Z., Tang, W.: Modulated graph convolutional network for 3d human pose estimation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11477–11487 (2021) ## [^21]: Guo, S., Rigall, E., Qi, L., Dong, X., Li, H., Dong, J.: Graph-based cnns with self-supervised module for 3d hand pose estimation from monocular rgb. IEEE --- 《电路与系统视频技术汇刊》第31卷第4期，1514–1525页（2020年） [^22]: Leng, Z., Chen, J., Shum, H.P., Li, F.W., Liang, X.: Stable hand pose estimation under tremor via graph neural network. In: 2021 IEEE Virtual Reality and 3D User Interfaces (VR), pp. 226–234 (2021). IEEE [^23]: Liu, Y., Fan, W., Wang, C., Wen, S., Yang, X., Zhang, Q., Wei, X., Zhou, D.: Gtignet: Global topology interaction graphormer network for 3d hand pose estimation. Neural Networks 185, 107221 (2025) [^24]: Ren, P., Sun, H., Hao, J., Qi, Q., Wang, J., Liao, J.: Pose-guided hierarchical graph reasoning for 3-d hand pose estimation from a single depth image. IEEE Transactions on Cybernetics 53(1), 315–328 (2021) [^25]: Song, J.-H., Kang, S.-J.: 3d hand pose estimation via graph-based reasoning. IEEE Access 9, 35824–35833 (2021) [^26]: Song, J.-H., Kong, K., Kang, S.-J.: Dynamic hand gesture recognition using improved spatio-temporal graph convolutional network. IEEE Transactions on Circuits and Systems for Video Technology 32(9), 6227–6239 (2022) [^27]: Chen, Z., Kuang, F., Lu, J., Tan, K., Mao, R., Li, W.: Finger topological constraints and depth directed multitasking for 3d hand pose estimation. In: 29th International Conference on Computer Supported Cooperative Work in Design (2026). IEEE [^28]: Tang, D., Jin Chang, H., Tejani, A., Kim, T.-K.: Latent regression forest: Structured estimation of 3d articulated hand posture. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3786–3793 (2014) [^29]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG) 33(5), 1–10 (2014) [^30]: Sun, X., Wei, Y., Liang, S., Tang, X., Sun, J.: Cascaded hand pose regression. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 824–832 (2015) [^31]: Defferrard, M., Bresson, X., Vandergheynst, P.: Convolutional neural networks on graphs with fast localized spectral filtering. Advances in neural information processing systems 29 (2016) ## [^32]: Ge, L., Ren, Z., Li, Y., Xue, Z., Wang, Y., Cai, J., Yuan, J.: 3d hand shape and pose estimation from a single rgb image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10833–10842 (2019) --- [^33]: Hamilton, W., Ying, Z., Leskovec, J.: Inductive representation learning on large graphs. Advances in neural information processing systems 30 (2017) [^34]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4990–5000 (2020) [^35]: Cai, J., Liu, H., Ding, R., Li, W., Wu, J., Ban, M.: Htnet: Human topology aware network for 3d human pose estimation. In: ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 1–5 (2023). IEEE [^36]: Gao, K., Zhang, H., Liu, X., Wang, X., Xie, L., Ji, B., Yan, Y., Yin, E.: Challenges and solutions for vision-based hand gesture interpretation: A review. Computer Vision and Image Understanding 248, 104095 (2024) [^37]: Zhou, Y., Lu, J., Du, K., Lin, X., Sun, Y., Ma, X.: Hbe: Hand branch ensemble network for real-time 3d hand pose estimation. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 501–516 (2018) [^38]: Du, K., Lin, X., Sun, Y., Ma, X.: Crossinfonet: Multi-task information sharing based hand pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9896–9905 (2019) [^39]: Chen, X., Wang, G., Guo, H., Zhang, C.: Pose guided structured region ensemble network for cascaded hand pose estimation. Neurocomputing 395, 138–149 (2020) [^40]: Li, M., Gao, Y., Sang, N.: Exploiting learnable joint groups for hand pose estimation. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 35, pp. 1921–1929 (2021) [^41]: Lu, H., Gou, S., Li, R.: Spmhand: Segmentation-guided progressive multi-path 3d hand pose and shape estimation. IEEE Transactions on Multimedia 26, 6822–6833 (2024) [^42]: Rezaei, M., Rastgoo, R., Athitsos, V.: Trihorn-net: a model for accurate depth-based 3d hand pose estimation. Expert Systems with Applications 223, 119922 (2023) [^43]: Newell, A., Yang, K., Deng, J.: Stacked hourglass networks for human pose estimation. In: European Conference on Computer Vision, pp. 483–499 (2016). Springer ## [^44]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition --- 《模式识别》会议论文集，770–778页（2016年） [^45]: Sun, X., Xiao, B., Wei, F., Liang, S., Wei, Y.: Integral human pose regression. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 529–545 (2018) [^46]: Oberweger, M., Lepetit, V.: Deepprior++: Improving fast and accurate 3d hand pose estimation. In: Proceedings of the IEEE International Conference on Computer Vision Workshops, pp. 585–594 (2017) [^47]: Wang, G., Chen, X., Guo, H., Zhang, C.: Region ensemble network: Towards good practices for deep 3d hand pose estimation. Journal of Visual Communication and Image Representation 55, 404–414 (2018) [^48]: Wan, C., Probst, T., Van Gool, L., Yao, A.: Dense 3d regression for hand pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5147–5156 (2018) [^49]: Huang, L., Tan, J., Liu, J., Yuan, J.: Hand-transformer: Non-autoregressive structured modeling for 3d hand pose estimation. In: European Conference on Computer Vision, pp. 17–33 (2020). Springer [^50]: Moon, G., Chang, J.Y., Lee, K.M.: V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5079–5088 (2018) [^51]: Zhang, X., Zhang, F.: Differentiable spatial regression: A novel method for 3d hand pose estimation. IEEE Transactions on Multimedia 24, 166–176 (2020) [^52]: Fang, L., Liu, X., Liu, L., Xu, H., Kang, W.: Jgr-p2o: Joint graph reasoning based pixel-to-offset prediction network for 3d hand pose estimation from a single depth image. In: European Conference on Computer Vision, pp. 120–137 (2020). Springer [^53]: Cheng, W., Park, J.H., Ko, J.H.: Handfoldingnet: A 3d hand pose estimation network using multiscale-feature guided folding of a 2d hand skeleton. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11260–11269 (2021) [^54]: Ren, P., Sun, H., Huang, W., Hao, J., Cheng, D., Qi, Q., Wang, J., Liao, J.: Spatial-aware stacked regression network for real-time 3d hand pose estimation. Neurocomputing 437, 42–57 (2021) [^55]: Cheng, W., Ko, J.H.: Handr2n2: Iterative 3d hand pose estimation using a residual recurrent neural network. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 20904–20913 (2023)