检查更新 打开 # 基于Swin Transformer和CNN的手部姿态3D估计方法 党荣 $^{1,2}$ 与冯刚 $^{1}$ 现有的手势姿态估计方法通常存在局限性，比如对手部特征的特征提取方式单一，且忽略了关节之间的长距离拓扑关系，从而限制了其预测精度。为解决这些问题，本研究提出了一种以深度图像为输入的手势姿态估计方法。首先，利用卷积网络提取粗略的手势特征，同时借助Swin Transformer模块通过空间信息捕捉关节间的拓扑关系及全局特征。随后采用U形网络对特征进行分层处理，保留不同分辨率下的局部关节信息，并将其与全局特征相融合。此外，引入二维高斯热图来表示关键点的分布情况，从而提升网络对目标特征回归的监督效果。后端网络最终输出关键点的坐标。我们在新构建的数据集上对该方法进行了评估，结果显示其平均平方误差较基线模型降低了7.012–4.776毫米。实验结果表明，与当前主流的姿态估计网络相比，所提出的方法具有更优越的性能。 自然且直观的基于手势的交互方式是提升人机交互体验的重要途径，在虚拟现实（VR）、增强现实（AR）、智能座舱、手语识别以及远程协作等领域有着广泛的应用 $^{1-4}$。手部姿态估计是指根据输入的视觉数据（如RGB图像或深度图）来恢复手部关节的三维空间位置的过程。具体而言，姿态估计的目标是利用计算机视觉方法获取手部位置和方向的精确信息，这对于实现自然的人机交互至关重要 $^{5}$。例如，通过手部姿态估计，用户可以通过手势在虚拟环境中与物体交互，或完成手语识别等任务 $^{6}$。实现这些应用的关键在于稳健且精准的手部姿态估计技术，其目标是从输入的视觉数据（如RGB图像和深度图）中恢复预定义手部关键点的3D坐标。这类技术使用户能够以自然、直观的方式与计算机及设备交互，从而获得更加智能、便捷且用户友好的交互体验 $^{7}$。 例如，Oikonomidis等人提出了一种多视角方法，该方法采用粒子群优化算法来最小化投影的二维手部模型特征与从输入序列中提取的特征之间的差异$^{8}$。这种方法有效地将物理约束作为关键参考信息纳入考量，从而显著提升了在遮挡背景条件下的估计精度。此外，随着深度学习在人机交互领域取得巨大成功，Tompson等人将卷积神经网络应用于手部姿态估计$^{9}$。他们通过卷积神经网络生成二维热图，并利用逆向运动学原理来预测手关节的坐标。Ye等人进一步提出了一种基于运动学分层策略的手部姿态估计方法$^{10}$。他们将该策略整合到基于空间注意力的判别方法的输入空间，以及基于分层粒子群优化的生成方法的优化过程中，从而在一定程度上提高了姿态校准的精度。 尽管手部姿态估计领域已取得显著进展，但现有方法仍面临若干共同挑战：(1)提取的特征往往多样性不足，且未能有效融合从全局结构到局部细节的多尺度手势信息；(2)手部固有的空间拓扑结构，尤其是非相邻关节之间的长距离依赖关系（如手指间的协同运动约束）未被充分利用。这些问题直接阻碍了姿态估计精度的进一步提升。 $^{1}$天津大学建筑学院，天津 300073，中国。$^{2}$中国建筑设计研究院有限公司，北京 100045，中国。电子邮箱： --- 为应对这些挑战，本文提出了一种基于Swin Transformer和卷积神经网络的手部姿态估计方法，旨在同时克服单特征提取的局限性以及对拓扑依赖关系的忽视问题。主要贡献如下： - 首先利用卷积网络提取粗略的手部手势特征，随后将其传入Swin Transformer模块，该模块专注于手关节的拓扑依赖关系。这种设计旨在通过注意力计算捕捉富含空间信息的全局特征。 - 设计了U形网络，采用残差结构来传递分层信息，从而能够提取不同分辨率下局部手关节的多尺度特征。这些局部特征会与全局特征相融合。此外，还引入了用于编码手关节位置概率分布的二维高斯热图，以便更好地指导网络回归目标特征。 - 最后，使用激光雷达设备收集并标注高质量、多样化的基于深度图的三维手部姿态数据。这些数据与MSRA数据集$^{11}$一起被整合起来，构建成新的实验数据集。 本文余下部分的结构安排如下：“相关工作”章节介绍了相关研究；“方法”章节详细阐述了所提出的三维手部姿态估计模型；“实验结果与分析”章节介绍了实验设置并分析了结果。最后，“结论”章节对全文进行总结，并指出了未来的研究方向。 ## 相关工作 目前，从手势建模的角度来看，手部姿态估计方法可分为三类：基于生成模型的方法、基于判别模型的方法和基于混合模型的方法 $^{12}$。 基于生成模型的估计方法通常利用优化算法将手部的运动轨迹与动力学层面的预测相结合，随后提取输入信息，整合模型的形状特征以最小化匹配误差，从而获得精确的姿态参数 $^{13}$。钱等人通过构建手的几何模型对该方法进行了改进 $^{14}$。他们采用迭代最近点（ICP）模型通过局部优化来加速收敛，并利用粒子群优化（PSO）算法进行随机优化。通过在参数空间中扩大搜索范围，他们有效避免了陷入无效的局部最优解。张等人采用了多任务学习框架，同时估计三维（3D）手部姿态、手部掩码以及基于网格的人体手部轮廓（MANO）网格 $^{15}$。陈等人提出了I2UVHandNet，该方法先将低分辨率的MANO 3D手部网格展开到2D UV平面上，再通过超分辨率网络层提升其分辨率，最后将其重建为高分辨率的MANO网格 $^{16}$。不过，这类生成方法需要构建复杂的手部模型并结合深度网络模型，才能在一致的时间范围内找到最相似的姿态参数，因此实时性能方面存在挑战。 另一方面，基于判别模型的估计方法的核心思想是利用机器学习或深度学习模型，直接从单帧图像或深度数据中推断手部关节的位置或姿态。这些方法不依赖预定义的手部模型或模板，而是通过在大量标注数据上的训练，直接学习从输入到输出的映射关系。葛等人 $^{17}$ 提出了一种基于图卷积网络的端到端可训练手部网格生成方法。张等人提出了一种由三部分组成的端到端手部姿态估计方法：第一部分估计手部关节的2D热图，第二部分以这些热图为输入迭代回归手部模型参数，第三部分则根据这些参数生成对应的手部模型 $^{18}$。为了应对手部姿态估计中精度与效率平衡的挑战，范等人引入了自适应计算高效（ACE）网络，该网络利用基于高斯核的门控模块在轻量级网络和复杂网络之间动态切换 $^{19}$。帕夫拉科斯等人提出了HaMeR（手部网格恢复）方法，该方法能够从单目输入中重建3D手部模型。具体而言，它采用了基于Transformer的架构，相比现有技术显著提升了手部分析的精度和鲁棒性 $^{20}$。 Rezaei $^{21}$提出了TriHorn-Net，这是一种新型模型，它将3D手部姿态估计任务分解为两个子任务——即在深度图像空间中估计2D关节位置（UV坐标），以及借助两个互补的注意力图来估计相应的深度值——从而显著提升了基于深度图像的手部姿态估计精度。Wen等人$^{22}$开发了一种基于Transformer的时间建模框架，构建了级联的双Transformer编码器分层网络：第一个编码器利用短期时间线索实现高效的手部姿态估计；第二个编码器则将每帧的姿态信息与物体交互特征相结合，以实现对更长时间跨度内动作的识别。 然而，由于这类方法仅能预测2D位置，因此在关节遮挡场景下其性能表现欠佳。基于混合方法的估计技术主要将构建的手部模型视为生成手部坐标的前提条件，或作为回归目标的判别性约束。例如，Keskin等人$^{23}$在合成深度图像上开展实验，试图利用局部模式搜索算法从不同结果中预测手部关节坐标。Sridhar等人$^{24}$提出了一种创新的检测引导优化策略，以提升姿态估计的鲁棒性与速度。随后，Sridhar等人$^{25}$提出了一种适用于快速姿态优化的3D关节高斯混合对齐策略，用于解决手部与物体接触产生的遮挡问题。Panteleris等人$^{26}$则提出了一种三步式手部姿态估计方法：首先，利用现有且有效的手部检测器来定位并分割手部； --- 其次，利用预训练的OpenPose判别性网络模型来估计手部关节的2D位置；最后，通过非线性最小二乘法将2D姿态拟合为3D姿态。 尽管现有方法已取得一定进展，但它们普遍存在特征表达能力有限、全局拓扑建模能力不足的问题。本文提出的方法将Swin Transformer与CNN相结合，旨在解决这些缺陷。 ## 方法 图1展示了所提模型的整体设计，该模型的设计包含多个手势特征提取步骤。首先，将手部区域的深度图像输入卷积特征提取网络，通过$7 \times 7$卷积层提取粗略的手势特征，再利用池化单元和瓶颈残差模块进一步优化这些特征。接下来，特征会并行通过两个分支进行处理：一个分支采用U-Net来获取局部关节特征，另一个分支则利用Swin Transformer编码器捕捉全局特征。两个分支输出的特征图会被融合，同时引入包含关节分布信息的高斯热图来对提取的特征进行监督与校正。这一过程会重复两次以进一步精炼提取出的手势特征，最终得到精确的三维关节坐标。 ## 全局拓扑信息提取 为了更好地理解手部关节在手部姿态估计任务中的相互关系（即它们在空间中的相对位置和连接），本研究引入了Swin Transformer来提取手部关节的拓扑信息。与传统的Vision Transformer机制相比，Swin Transformer采用了基于窗口的多头自注意力机制（W-MSA），该机制将输入特征划分为更小的块。通过利用多级注意力机制和跨层融合，模型能够更高效地处理长距离依赖信息，从而将不同层次捕获的局部手部特征信息整合为全局表示。这种结构在一定程度上也降低了计算复杂度。Swin Transformer编码器的具体架构如图2所示。 图2展示了Swin Transformer编码器的具体结构。第一部分是W-MSA，第二部分是移位窗口多头自注意力机制（SW-MSA）。每个组件均由层归一化层、注意力模块以及多层感知机（MLP）组成。整体结构包括输入部分、补丁划分模块，以及用于提取手势特征的四个阶段。Swin Transformer通过其窗口化多头自注意力机制有效捕捉手部关节之间的长距离依赖关系。输入特征被划分为较小的块（窗口），自注意力计算在各自窗口内进行，从而显著降低了计算成本。移位窗口机制允许信息在不同层之间传递，有助于实现不同尺度下手部关节特征的有效融合。这种多尺度注意力对于准确的手势姿态估计至关重要。具体过程如下： 首先，将大小为$48 \times 48$的特征图输入到Swin Transformer模块中，此时窗口大小被设置为$4 \times 4$。此时，图像被划分为$12 \times 12$个窗口，并在每个窗口内执行自注意力计算，从而将区域内的像素转换为一维向量，用作有效的输入序列。随后，通过MLP进行线性嵌入以引入残差连接，目的是根据特征维度对特征进行投影。如图2所示，经过模块内的W-MSA处理后，得到的手部特征图会进入另一个SW-MSA结构，在该结构中，窗口位置会在x和y方向上分别偏移2个像素，以实现不同窗口间的信息交换。 剩下的三个阶段通过补丁合并操作来调整特征图的大小和通道数，同时Swin Transformer模块会执行一系列线性变换和注意力机制运算。 ![Image](images/5f3e6b69fb0d8dd6055fa5c09805fca41c3cf753d65eb429841e51ef26e7d501.jpg)
Figure 1. The overall gesture estimation network structure.
--- ![Image](images/3950c8745688f16b6efcf8b999222e6b35d1a2f904af9176905581ce8a68618d.jpg)
Figure 2. Design of the swin transformer encoder-decoder structure.
每个阶段都会修改张量维度，以捕捉不同层次的手部特征，从而帮助模型全局理解特征信息。最后，输出结果会经过层归一化层处理，以保持特征分布的一致性并获得相应结果。设$\hat{z}^{l}$和$z^{l+1}$分别表示窗口输出特征，$\hat{z}^{l}$和$z^{l+1}$分别表示MLP输出特征。Swin Transformer模块的计算过程可由公式(1)、(2)、(3)和(4)表示： $$ \hat{z}^{l}=W-M S A\left(L N(z^{l-1})\right)+z^{l-1}, $$ $$ z^{l}=M L P\left(L N(\hat{z}^{l})\right)+\hat{z}^{l}, $$ $$ \begin{array}{r}{\hat{z}^{l+1}=S W-M S A\left(L N(z^{l})\right)+z^{l},}\end{array} $$ $$ z^{l+1}=M L P\left(L N(\hat{z}^{l+1})\right)+\hat{z}^{l+1}. $$ 此外，在最终输出层之前，Swin Transformer会在不同层级生成特征图，这些特征图涵盖了从细粒度到粗粒度的多尺度特征。在标准Transformer中，自注意力机制的计算复杂度会随着序列长度的增加而呈平方级增长。对于图像而言，若将单个像素直接视为一个序列，则会带来巨大的计算负担。Swin Transformer通过将图像划分为多个不重叠的局部窗口，并在这些窗口内独立计算自注意力，从而有效降低了计算成本。 为了促进不同窗口之间的信息交换并捕捉更广阔的上下文，引入了移位窗口机制。在相邻层之间，窗口的位置会发生偏移，从而导致相邻层之间存在重叠区域。这种设计不仅保持了较低的计算负荷，还能实现窗口间信息的有效整合。基于这些原理，Swin Transformer通过基于块的处理、自注意力机制以及多尺度层次化建模，能够捕捉手势姿态估计图像中的细微特征和空间依赖关系，为手势姿态估计提供强大的建模能力。 ## 局部关节特征信息聚合 在某些图像处理任务中，神经网络会被堆叠起来以逐步提取特征信息。在浅层网络中，模型主要学习低阶特征；随着网络深度的增加，由于特征图分辨率的降低，网络所学习到的信息也变得更加抽象。然而，对于手部姿态估计这类需要提取细粒度特征的任务来说，不同关节的关键信息可能存在于分辨率各异的特征图中。因此，通过聚合这些分布在不同分辨率上的特征，就能捕捉到更精确的信息来指导网络的学习过程。受Newell团队提出的沙漏网络$^{27-29}$的启发，本研究设计了一种U形编码器-解码器，通过渐进式的下采样和上采样操作，从不同分辨率的特征图中提取多尺度特征信息。图3展示了这种U形编码器-解码器的结构。 --- ![Image](images/a8d5738389995d52bbd6d2cdfa0aa5f936c2a84b955dcd890a435700976f1f72.jpg)
Figure 3. U-shaped network structure design.
图3展示了U-Net的结构设计，该结构通过下采样和上采样操作，从不同分辨率的特征图中提取并聚合多尺度特征。在该网络的组成部分中，B-RE代表瓶颈残差结构，POOL代表最大池化结构，UP代表上采样结构。瓶颈残差模块和池化层的引入，使网络能够学习不同尺度下的手势细节特征。在上采样阶段，特征图的分辨率得以恢复，同时同一分辨率下的低级手势特征会通过跳跃连接与经过残差处理的高级特征相结合。这种多分辨率特征聚合过程对于准确的手势姿态估计至关重要。 在自上而下的过程中，瓶颈残差结构和最大池化结构会成组出现。网络从高分辨率的特征图开始，将分辨率降低为原来的1/2。在每一步中，特征的细节信息都会得到增强，同时特征通道的数量也会相应翻倍。在自下而上的过程中，瓶颈残差结构和上采样结构同样成组出现。在这一阶段，需要对前一层输出结果进行2倍的上采样，目的是恢复特征图的原始分辨率。在此步骤中，还需要通过跳跃连接，加入由B-RES模块在同一分辨率下处理得到的低级手势特征。 与此同时，网络从低分辨率的特征图开始，特征通道数呈指数级增长，随后又按2的倍数递减，最终恢复到初始状态。此时所得到的特征，是从四种不同分辨率下聚合而成的手势特征信息。本研究采用的上采样方法是双线性插值法。该方法通过考虑四个相邻像素的权重来估算目标像素的值，从而对输入特征图中的每个像素进行插值，生成尺寸更大的特征图，进而实现图像的无缝上采样，并在很大程度上还原特征图的原始信息。 瓶颈残差模块（B-RES）是一种用于构建深度学习领域深度神经网络的模块，它是在传统残差网络（ResNet）结构基础上的改进。通过增加瓶颈层，该模块为网络引入了更多的深度和非线性变换，使网络能更好地适应多尺度特征的提取，并具备更强的灵活性。在U形网络中，特征通道数的变化也呈现U形趋势，先增加后减少，所获取的特征也有所不同。引入瓶颈残差结构有助于网络更有效地传递残差信息：它不仅能够保存和传输全局与局部信息，还能捕捉并聚合不同尺度的手部特征信息。这种结构还能在一定程度上降低计算复杂度，使网络更轻量，更便于实际部署。 对于多分辨率特征图而言，与普通残差模块相比，瓶颈残差模块在手势特征提取方面能发挥更有效的作用。图4展示了瓶颈残差结构与传统结构的对比，其中Conv表示通过$1 \times 1$、$3 \times 3$和$1 \times 1$卷积核构建的卷积操作。这种方式有效减少了网络中的参数数量，使模型更轻量，且更能处理多尺度特征。瓶颈残差结构首先在第一个$1 \times 1$卷积层中减少输入特征通道数，接着在第二个$3 \times 3$卷积层中进行更深入的特征提取，最后在第三个$1 \times 1$卷积层中恢复特征的深度。 因此，它能够在保持特征图尺寸不变的同时提取更丰富、更复杂的特征信息。此外，在考虑多分辨率特征图时，梯度传播的效果尤为重要。在不同尺度下提取特征时，梯度的稳定传播有助于网络更好地学习不同尺度的特征表示。瓶颈残差结构通过残差连接直接将输入传递到输出端，这有助于缓解梯度消失问题，使网络更易于训练。 ## 手势热图监督 在手势姿态估计任务中，最终需要通过已建立的模型来获取代表手关节关键点位置的三维信息。在此过程中， --- ![Image](images/8ee7cb42513f2f873cda026b2e4168dbc625f19dc072cb0a4b0bb5d56101e6d9.jpg)
Figure 4. Comparison of residual structures.
![Image](images/25426dc2ed05f9ba4c203449f2ffd4277b816dfaec5abcdb4910edf523720849.jpg)
Figure 5. Example of heatmap-based supervision module operation.
通常会使用完全可微的模型进行训练。输入数据与目标值之间的误差可直接用于优化模型参数，这简化了训练过程并提高了训练效率。由于这种端到端的权重更新模式，前向和反向传播速度相对较快。然而，尤其是对于手势姿态估计这类任务，不同用户以及不同环境下的手势形状和姿态可能存在显著差异。因此，缺乏空间泛化能力可能会导致模型在实际应用中表现不佳。 受参考文献$^{30}$的启发，本研究生成了以手姿关节点位置为中心的二维高斯分布。高斯分布的方差通常通过预设参数来控制。强度值最高的像素即代表关键点的位置，周围像素的强度值则逐渐降低。通过将所有关键点生成的高斯分布叠加，便可得到每个像素的热图值。因此，通过寻找热图中置信值最高的位置，就能更准确地定位手姿中的关键点。同时，根据分布中的峰值还能保留关节点之间的拓扑连接关系。这样一来，模型能够同时处理多个关键点，从而更好地理解手姿的结构和动态特征，做出更精确的预测。 图5展示了热图监督模块的结构设计。输入是一个包含关键点分布信息的二维矩阵，其中每个像素的强度值代表了关键点的置信度。卷积核的作用是在关键点热图上滑动，利用$1 \times 1$卷积将输入特征通道数增加到256。所学习的权重随后被用于识别和捕捉手势关键点的模式与特征。接着，通过$3 \times 3$卷积得到的特征会经过$1 \times 1$卷积运算，最终输出大小为$24 \times 24$、通道数对应手势关键点数量的高斯热图。 这会从输入特征中提取手势关键点的模式和特征。对于每个关键点u，存在一个项$u \in R^2$。此时，我们可以计算出$\tilde{u} = \frac{u}{R}$。随后，所有真实的关键点会被分解为热图，记为$\mathbf{H} \in [0, 1]^{\frac{W}{R} \times \frac{H}{R} \times c}$。高斯热图的数学表示由公式(5)给出： $$ H_{n}(u,v)=\exp\left(-\frac{\left(u-u_{n}\right)^{2}+\left(v-v_{n}\right)^{2}}{2\sigma^{2}}\right), $$ --- 其中$(u_{n}, v_{n})$代表关节位置坐标，而$\sigma$是高斯函数的标准差。该值在关节位置处最大，随着距离关节位置的增加而逐渐减小。 ## 损失函数 本研究采用的损失函数遵循手势姿态估计方法中常用的方式，由两部分组成：热图回归损失和关节点回归损失。 热图回归损失：计算由图像的真实信息生成的高斯热图与根据模型预测的关节点生成的高斯热图之间的均方误差。计算公式如公式6所示： $$ {\cal L}_{h t}=\sum_{m=1}^{M}\sum_{n=1}^{N}\sum_{u,v}\parallel{\cal H}_{n}^{m^{*}}(u,v)-{\cal H}_{n}^{m}(u,v)\parallel^{2}, $$ 其中$H_{n}^{m^{*}}(u, v)$表示模型在第n个关节点位置生成的第m个高斯热图，$H_{n}^{m}(u, v)$表示根据真实信息在第n个关节点位置生成的第m个高斯热图；N代表检测到的手部区域中关节点的总数，M则表示堆叠融合后的特征。 关节点回归损失：计算标注的真实关节点坐标与网络模型预测的关节点坐标之间的均方误差。计算公式如公式7所示： $$ L_{j}=\sum_{n=1}^{N}\parallel J_{n}^{*}-J_{n}\parallel^{2}, $$ 其中$J_{n}^{*}$表示第n个关节点的预测坐标，$J_{n}$表示标注手势中第n个关节点的坐标。通过对这两个损失函数加权得到总体损失，计算公式如公式8所示： $$ {\cal L}=\alpha\times{\cal L}_{h t}+{\cal L}_{j}, $$ 其中$\alpha$表示权重值，$L_{ht}$表示热图回归损失，$L_{j}$表示关节点回归损失。 ## 实验与结果分析 本节详细阐述了为验证所提方法而开展的实验及结果分析。具体而言，子节“数据集”描述了实验中使用的数据集，子节“评估指标”概述了评估指标，子节“实验设置”介绍了实验环境配置，子节“与现有方法的对比实验”对实验结果进行了全面分析，子节“消融实验”则详细说明了所提方法的消融实验情况。 ## 数据集 本研究使用的实验数据集分为两部分，如图6所示。右侧是微软亚洲研究院构建的MSRA数据集，它包含由9名受试者在不同视角和光照条件下做出的多种手势所产生的76,375张深度图像，且每张图像都准确标注了21个手部关节的3D坐标。 该数据集的科学设计体现在其严谨的采集协议上：所有手势动作均涵盖日常交互中常见的姿势，包括握持、捏合和展开，同时考虑了手尺寸和肤色的差异，以确保数据的代表性与多样性。如下所示 ![Image](images/a333c098080b9039cfb8e29e9b4d41818030f0bd4fa6a39dfe2afb6421a15065.jpg)
Figure 6. Examples from the LiDAR and MSRA datasets.
---
DatasetData volumeAnnotation dimensionApplicable tasksFeatures
MSRA76k3DHand pose estimationHigh-precision depth data
RHD44k2D/3DSynthetic data researchSynthetic data, no real noise
FreiHAND130k3DReal-time hand gesture estimationContains dynamic sequences
Table 1. Comparison results between MSRA and other datasets.
![Image](images/5c08d6103d28de6d93ea7907fa6be59f5f18b0163c8cb78f6be79c9dd82dd47a.jpg)
Figure 7. Annotation of the 21 joints of the hand and the finger labels.
在下表中可以看出，由于MSRA数据集具有真实世界的采集环境（非合成数据）、高精度标注（亚毫米级精度）以及大量的样本量，因此成为验证3D手部姿态估计算法性能的首选基准。 此外，该数据集所包含的深度信息使其特别适合研究现实场景中的棘手问题，如遮挡和光照变化，从而为开发高效的手部交互系统提供了重要的实验平台。这些特性共同构成了使用MSRA数据集的坚实科学依据。表1展示了MSRA数据集与其他数据集之间的对比分析结果。 图6左侧展示的是我们自行采集的激光雷达数据，这些数据包含了我们使用CS30固态激光雷达传感器采集的八种手势数据。此外，我们采用了21个关节的标注方法来对这些手势进行标注。纳入这些数据的主要目的是弥补标准MSRA数据集中远距离和小目标样本的不足，进而提升所提出模型的鲁棒性和泛化性能。 为了确保后续实验数据标签的清晰与简洁，我们对21个关节的标注信息进行了简化。手的五个手指——即小指、无名指、中指、食指和拇指——分别用P、R、M、I和T表示。每个手指由指尖（TIP）和其他三个关节：DIP、PIP和MCP来表示。手腕中心则用Wrist表示。为了便于在实验图表中说明，TIP、DIP、PIP和MCP进一步简化为数字1–4，而Wrist则用C表示。图7展示了手部标注信息。 ## 评估指标 本研究采用了两种常用的手部3D姿态评估指标：平均关节位置误差（MPJPE）和关键点正确率（PCK），阈值范围设定为0到80毫米，用以评估所提方法的有效性。其中，PCK指的是正确预测的3D关节所占的百分比。 (1) MPJPE计算的是模型预测的关节坐标与真实坐标之间的平均欧几里得距离，单位为毫米（mm）。计算公式如式（9）所示： $$ \mathrm{MPJPE}={\frac{1}{\mathrm{T}}}{\frac{1}{\mathrm{N}}}\sum_{t=1}^{T}\sum_{i=1}^{N}||J_{i}^{(t)}-{\hat{J}}_{i}^{(t)}||_{2}, $$ 其中，MPJPE表示平均关节位置误差；T表示样本数量；N表示关节点数量；$J_{i}^{(t)}$ 表示第t幅图像标注中第i个关节的位置信息；$\hat{J}_{i}^{(t)}$ 表示第t幅图像中第i个关节的预测位置信息。 (2) PCK定义为预测的关键点落在给定距离阈值内、相对于真实关节坐标的比例。计算公式如式（10）所示： --- $$ \mathrm{P C K}_{\mathrm{i}}^{k}=\frac{\sum\delta\left(\frac{d_{i}}{d^{d e f}}\leq T_{k}\right)}{\sum_{\mathrm{k}}1}s, $$ 其中，$T_{K}$ 为阈值，$d_{i}$ 为第i个关节点的预测值与真实值之间的欧几里得距离，$d^{def}$ 为归一化因子。 ## 实验设置 本研究的实验在Ubuntu 16.04操作系统上进行，硬件环境包括Intel(R) Xeon(R) Platinum 8255C CPU（主频2.50 GHz）、40 GB GPU显存以及RTX 3080 GPU。所使用的深度学习框架为PyTorch 1.7.1，搭配CUDA 10.2版本。模型的初始学习率设为0.001，动量参数设为0.9。训练总轮数设置为300次，批量大小为64。高斯函数的标准差$\sigma$被设定为2，损失函数中的权重$\alpha$则设为1。所有实验均采用Adam优化器及其默认超参数，训练、验证和测试过程均在相同的超参数设置下开展。 ## 与现有方法的对比实验 为了评估所提出的手部姿态估计算法的性能，我们开展了一系列对比实验。我们选取了五种具有代表性的主流手部姿态估计算法——即DeepModel $^{31}$、REN $^{32}$、DeepPrior++ $^{33}$、PoseREN $^{34}$和DenseReg $^{35}$作为基准算法。这些算法在其各自领域均表现出优异的性能，为本对比实验提供了可靠的参考依据。实验重点关注两个关键性能指标：手势关节点的平均误差以及平均预测帧率。通过这两个维度的对比，我们可以直观地了解本文所提算法相较于其他主流方法的优势。实验结果如表2所示。 通过数据对比可以发现：在本文所用数据集上，与DeepModel、REN、DeepPrior+、PoseREN和DenseReg算法相比，本文所提方法的MPJPE值显著低于其他主流手势姿态估计算法；具体而言，与DeepModel、REN、DeepPrior+、PoseREN和DenseReg算法相比，所提算法的平均关节点误差分别降低了1.655毫米、0.638毫米、0.871毫米、1.605毫米和0.206毫米。此外，与DenseReg算法相比，所提算法的平均关节点误差降低了约2.9%。 这一结果直接证明了所提方法在预测手部关节点位置时的高精度特性，有效降低了估计误差。尽管在平均预测帧率方面，所提方法略逊于DeepModel和REN模型，但这一差距仍在合理且可接受的范围之内。在确保高精度的同时，所提算法并未过度牺牲计算效率，仍能满足实时或准实时应用的需求。因此，综合考量算法在精度和实时性方面的表现，本文所提出的手势姿态估计算法展现出显著的优势。 为了更全面地展示我们方法的预测精度，图8详细比较了所提方法在PCK 0–80毫米范围内的性能，对比算法包括DeepModel、REN、DeepPrior++、PoseREN和DenseReg。图中，x轴表示手部关键点估计所允许的偏移误差，y轴则表示该误差范围内3D关键点的估计精度，通过计算曲线下面积即可评估各模型的性能。如图8所示，整体PCK曲线与前述表格中的数据一致。所提方法在0–80毫米误差阈值范围内保持了较高的PCK值，且随着阈值范围的扩大，其优势愈发明显。 值得注意的是，在0–15毫米的低误差阈值范围内，DenseReg和PoseREN方法在某些方面略优于所提方法。这是因为这两种方法对局部特征回归的优化更为直接。然而，在更具实际意义的15–80毫米误差阈值范围内，所提方法始终显著优于其他基线方法。这一现象表明，Swin Transformer建模的全局拓扑关系以及U-Net融合的多尺度局部特征，使模型在面对手势变化和部分遮挡等挑战时仍能保持更高的精度，且与真实值的偏差更小。作为
AlgorithmAverage joint point error (mm)Average prediction frame rate (fps)
DeepModel $^{31}$8.676215
REN $^{32}$7.65948
DeepPrior++ $^{33}$7.89230
PoseREN $^{34}$8.62636.7
DenseReg $^{35}$7.22727.8
Ours7.02138
Table 2. Performance comparison of different algorithms.
--- ![Image](images/02fc5729448be7ed302f315e9d3a47f5c6c4cbc78b37b2158408310464b60703.jpg)
Figure 8. Comparison of PCK curves for different methods.
NumberModel schemeMean squared error of all joints (mm)
1Baseline15.698
2Baseline +A12.357
3Baseline +B13.596
4Baseline +A+B11.157
5Baseline +A+B+C10.922
Table 3. Ablation experiment results.
结果，所提方法在更宽松的容忍度范围内维持更高精度的能力上展现出核心竞争优势。 ## 消融实验 为了全面评估所提方法中各关键模块对手部关节点估计精度的贡献，我们开展了一系列消融实验。这些实验围绕三个核心模块展开：全局特征提取模块（A）、多分辨率局部特征聚合模块（B）以及热图监督模块（C）。此外，实验中采用的基线模型为基本的卷积网络，包含卷积层、最大池化层以及用于特征提取的若干瓶颈残差模块；随后应用回归头直接输出手部的3D坐标，该模型未纳入模块A、B或C。我们将所提方法调整为不同的网络结构进行测试。为确保实验的准确性，训练过程中使用了相同的参数，且所有实验均在自制数据集上进行。消融实验的结果如表3所示。 从表中可以看出，所提方法中的每个关键模块都对提升手部关节点估计精度有显著贡献。具体而言，与基准模型相比，全局特征提取模块和多分辨率局部特征模块均在一定程度上降低了手部关节点的估计误差。此外，当同时采用全局特征提取模块和多分辨率局部特征模块时，得到的误差值最低，降低了4.541，这证明了所提模型在手势姿态估计中的有效性。另外，借助热图监督模块，图像中预测关节点与背景的区分度更高，能够引导网络自主学习，进一步降低关节点预测误差，这也体现了该方法的有效性。 图9展示了消融实验中各关节点平均误差的直方图。通过这种方式，可以清晰地看出模型在不同配置下的性能差异。 为了更直观地展示所提方法在现实应用中的性能优势，我们对LiDAR数据集和MSRA基准数据集上的网络预测结果进行了可视化对比。图10展示了我们自定义LiDAR数据集上的可视化结果，其中绿色代表 --- ![Image](images/b24352011624318537941114314201b20fa2663b0a2544fa21a98f06d8164d3f.jpg)
Figure 9. Results of the ablation experiment.
![Image](images/b271ceead729a56d1d3d0a49978d0d07eb82e503de15e71f0b8e8a3b1ca063b9.jpg)
Figure 10. Visualization results of hand joint prediction on the self-collected dataset.
真实标注，蓝色则表示预测结果。从图中可以明显看出，所提出的网络在不同手势姿态下都能给出良好的关节位置估计。例如，在第一行的第二幅图像和第四幅图像中，手指关节之间存在部分遮挡，但我们的方法仍能准确估计关节位置。 在第二行第一幅图像中，抓取手势导致除拇指和食指外的其余三根手指显得更小且光照不足，但我们的方法仍能够准确估计相应的关节位置。这些结果表明，即使在手指特征不明显的挑战性场景中——比如部分遮挡或光照不佳的情况——我们的方法依然表现出强大的鲁棒性和准确性，能够精确预测手部关节位置。 图11进一步展示了所提方法在MSRA数据集上的手势姿态估计结果，其中红色代表真实标注，绿色表示预测结果。可视化结果清楚地表明，该方法能够在处理手部姿态中的严重自遮挡问题的同时，在MSRA数据集上保持较高的准确性和稳定性。 例如，在第一行的第三幅图像中，虽然关节并未被遮挡，但由于光照问题，拇指和小指的掌指关节及腕关节在深度上出现了偏差。即便如此，我们的方法仍能准确估计关节位置。在第二行第一幅图像和第二幅图像中，由于手势特性，一些关节会发生重叠和遮挡，但我们的方法仍能提供准确的关节位置估计。因此，MSRA数据集的可视化实验进一步验证了所提方法在手势姿态估计任务中的有效性，凸显了其在公开数据集上的强大泛化能力。 --- ![Image](images/951ea6cdc8024910257358e7b6bd6eff95056f20422f0b19076f3c6e7a6fceef.jpg)
Figure 11. Visualization results of hand joint prediction on the MSRA dataset.
## 结论 本研究针对手部三维姿态估计中的常见难题，如特征提取能力不足以及关节拓扑关系建模不够完善等问题，提出了一种基于Swin Transformer和CNN的手势姿态估计新方法。该方法以手部区域的深度图像为输入，利用Swin Transformer和CNN分别捕捉全局特征和局部关节特征；经过特征融合后，再施加二维高斯热图监督来优化特征提取过程，从而显著提升了其准确性和鲁棒性。 实验结果表明，在自定义数据集和MSRA数据集上，我们的方法均优于现有的主流基于深度的手势姿态估计算法。尤其是在手指特征不明显或背景更为复杂的挑战性场景中，该方法展现出强大的鲁棒性和准确性。与传统手势姿态估计方法相比，我们的方法有效解决了手部关节之间长距离拓扑关系建模不足的问题，显著提升了模型在各种应用场景中的适应性。 尽管该方法在单手场景下表现良好，但在涉及手与物体交互及严重遮挡的复杂环境中仍存在一定的局限性。未来的研究将致力于提升算法在交互式手势及手-物遮挡场景下的性能，进一步增强模型的鲁棒性与实时适应能力，以应对更复杂的交互任务。 ## 数据可用性 本研究分析所使用的数据集并未公开提供，因为这些数据集是由两个研究团队共同生成的；不过，如有合理需求，可向通讯作者申请获取。 ## 代码可用性 与本研究核心结果相对应的代码版本已被存档，可通过Zenodo存储库访问。其DOI链接为：.. 收稿日期：2025年9月15日；录用日期：2026年2月24日 在线发表日期：2026年3月2日 ## 参考文献 1. Qi, J., Ma, L., Cui, Z. & Yu, Y. 面向人机交互的基于计算机视觉的手势识别技术综述。《复杂智能系统》第10卷，第1581–1606页。（2024年）。 2. Zhou, H., Wang, D., Yu, Y. & Zhang, Z. 基于手势识别的人机交互技术研究进展。《电子学》第12卷，第1–19页。（2023年）。 3. Wang, T., Zheng, P., Li, S. & Wang, L. 面向以人为中心的智能制造的多模态人机交互技术综述。《先进智能系统》第6卷，第1–29页。（2024年）。 4. Ding, Y., Mao, R., Du, G. & Zhang, L. Clothes-eraser：用于换衣行人重识别的衣物感知可控解耦方法。《信号、图像与视频处理》第18卷，第4337–4348页。（2024年）。 5. Xie, Y., Hong, C., Zhuang, W., Liu, L. & Li, J. Hogformer：用于三维人体姿态估计的高阶图卷积Transformer。《国际机器学习与网络杂志》第16卷，第599–610页。（2025年）。 6. Lee, J., Kim, J., Kim, S. H. & Choi, S.-I. 利用Shaf增强三维手部姿态估计：包含前臂的合成手部数据集。《应用智能》第54卷，第9565–9578页。（2024年）。 7. Adapa, S. K., Panapana, P., Boddu, J. S., Gathram, R. B. & Atyam, M. L. N. 基于人体手势控制的多人游戏应用。《系统设计与应用智能》第45卷，第4561页。（2024年）。 8. Oikonomidis, I., Kyriazis, N. & Argyros, A. A. 通过建模遮挡与物理约束实现与物体交互的手部全自由度跟踪。载于2011年国际计算机视觉会议论文集，第1–8页。 9. Tompson, J.、Stein, M.、Lecun, Y.和Perlin, K. 利用卷积网络实现人手姿态的实时连续恢复。ACM Trans. Graph. 33, 1–10. （2014年）。 10. Ye, Q.、Yuan, S.和Kim, T.-K. 结合空间注意力深度网络与部分粒子群优化算法，用于分层混合手姿估计。Comput. Vis. ECCV 346–361，2016年。（2016年）。 11. Sun, X.、Wei, Y.、Liang, S.、Tang, X.和Sun, J. 级联式手姿回归方法。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第1–9页（2015年）。 12. Kun, G.等. 基于视觉的手势识别面临的挑战与解决方案：综述。Comput. Vis. Image Underst. 248, 104095。（2024年）。 --- 13. Yuanzhe, L.等. 连接组生成模型的参数估计：准确性、可靠性及快速参数拟合方法。NeuroImage 270, 119962。（2023年）。 14. Qian, C.、Sun, X.、Wei, Y.、Tang, X.和Sun, J. 基于深度图像的实时鲁棒手部追踪技术。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第1106–1113页（2014年）。 15. Zhang, X.等. 基于深度多任务学习的手部图像理解技术。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第11281–11292页（2021年）。 16. Chen, P.等. I2uv-handnet：用于精确且高保真3D手网格建模的图像到UV预测网络。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第12929–12938页（2021年）。 17. Ge, L.等. 从单张RGB图像中估计3D手部形状与姿态。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第10833–10842页（2019年）。。 18. Zhang, X.、Li, Q.、Mo, H.、Zhang, W.和Zheng, W. 从单目RGB图像中端到端恢复手网格。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第2354–2364页（2019年）。 19. Fan, Z.、Liu, J.和Wang, Y. 用于单目3D手姿估计的自适应高效计算网络。Comput. Vis. ECCV 127–144，2020年。（2020年）。 20. Pavlakos, G.等. 利用Transformer重建3D手部模型。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9826–9836页（2024年）。。 21. Mohammad, R.、Razieh, R.和Vassilis, A. Trihorn-net：一种用于精确基于深度的3D手姿估计的模型。Expert Syst. Appl. 223, 119922。（2023年）。 22. Wen, Y.等. 用于从第一人称视角RGB视频中估计3D手姿并识别动作的层次化时序Transformer模型。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第21243–21253页（2023年）。 23. Keskin, C.、Kraç, F.、Kara, Y. E.和Akarun, L. 利用深度传感器实现实时手姿估计。载于2011年IEEE国际计算机视觉研讨会（ICCV Workshops）论文集，第1228–1234页（2011年）。 24. Sridhar, S.、Mueller, F.、Oulasvirta, A.和Theobalt, C. 利用检测引导的优化技术实现快速且鲁棒的手部追踪。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第3213–3221页（2015年）。 25. Sridhar, S.、Mueller, F.、Zollhöfer, M.、Casas, D.、Oulasvirta, A.和Theobalt, C.。基于RGB-D输入实时联合跟踪操作物体的手部动作。载于《计算机视觉——ECCV 2016》第294–310页（2016年）。 26. Panteleris, P.、Oikonomidis, I.和Argyros, A.。利用单张RGB图像实现野外环境下的实时3D手部姿态估计。载于《2018年IEEE应用计算机视觉冬季会议（WACV）》第436–445页（2018年）。 27. Bao, L.、Yang, Z.、Wang, S.、Bai, D.和Lee, J.。基于多尺度残差密集块与带块连接的级联U-Net的真实图像去噪方法。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）研讨会论文集》第448–449页（2020年）。 28. Ju, M.、Luo, J.、Wang, Z.和Luo, H.。采用注意力机制的自适应特征融合用于多尺度目标检测。《神经计算与应用》第33卷，第2769–2781页。（2021年）。 29. Luo, Y.、Xu, Z.、Liu, P.、Du, Y.和Guo, J.。结合分形沙漏网络与骨骼关节成对亲和力信息实现多人姿态估计。《多媒体工具与应用》第78卷，第7341–7363页。（2019年）。 30. Tompson, J.、Stein, M.、Lecun, Y.和Perlin, K.。利用卷积网络实现人手姿态的实时连续恢复。《ACM图形学交易》第33卷，第1–10页。（2014年）。 31. Zhou, X.、Wan, Q.、Zhang, W.、Xue, X.和Wei, Y.。基于模型的深度手部姿态估计。载于《第25届人工智能国际联合会议论文集》第2421–2427页（2016年）。 32. Ge, L.、Liang, H.、Yuan, J.和Thalmann, D.。单张深度图像中的鲁棒3D手部姿态估计：从单视图CNN到多视图CNN。载于《IEEE计算机视觉与模式识别会议（CVPR）论文集》第3593–3601页（2016年）。 33. Oberweger, M.和Lepetit, V.。Deepprior++：提升快速精准的3D手部姿态估计性能。载于《IEEE国际计算机视觉会议（ICCV）研讨会论文集》第585–594页（2017年）。 34. Xinghao, C.、Guijin, W.、Hengkai, G.和Cairong, Z.。基于姿态引导的结构化区域集成网络用于级联式手部姿态估计。《神经计算》第395卷，第138–149页。（2020年）。 35. Wan, C.、Probst, T.、Van Gool, L.和Yao, A.。用于手部姿态估计的密集3D回归方法。载于《IEEE计算机视觉与模式识别会议（CVPR）论文集》第5147–5156页（2018年） ## 作者贡献 R.D.构思并设计了本研究。R.D.和G.F.开展了实验并收集数据。R.D.实现了模型并进行分析。G.F.协助解读结果并编辑手稿。所有作者审阅并批准了最终手稿。 ## 经费支持 本研究得到了文化和旅游部旅游信息融合处理与数据权属保护重点实验室的经费支持（项目编号：2024TPDP01）。 ## 声明 ## 利益冲突 作者声明不存在利益冲突。 ## 补充说明 有关材料索取或咨询事宜，请联系R.D.。 转载和授权信息可在 查看。 出版方声明：Springer Nature 对于已发表地图中的管辖权声明及机构归属保持中立。 --- 开放获取 本文依据知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议发布，允许任何非商业用途下的分享、传播和复制，但需注明原作者及来源，提供知识共享许可协议的链接，并说明是否对授权材料进行了修改。根据此许可，您无权分享本文或其部分内容的改编版本。除非在相关材料的署名行中另有说明，否则本文中的图片或其他第三方材料均包含在文章的知识共享许可范围内。若材料未纳入文章的知识共享许可范围，且您的预期用途不符合法律法规规定或超出许可范围，则需直接获得版权所有者的许可。如需查看该许可副本，请访问 。 © 作者们 2026