文章 # 面向受损点云的鲁棒三维手部姿态估计的自适应曲线引导卷积方法 佘立煌、孙浩楠 ${}^{*}$、邹辉、梁汉泽、郭向丽、陈烨侯 东北大学计算机科学与工程学院，沈阳 110169，中国；（L.S.）；（H.Z.）；（H.L.）；（X.G.）；（Y.C.） $^{*}$ 通讯作者： ## 摘要 查看更新 学术编辑：Chiman Kwan 三维手部姿态估计在人机交互和计算机视觉领域取得了显著进展；然而，现实世界中的手部点云往往存在局部遮挡、传感器噪声和环境干扰等结构畸变问题，这些问题会大幅降低传统基于点云方法的性能。为应对这些挑战，本研究提出了一种基于曲线拟合的框架，用于从受损点云中实现鲁棒的三维手部姿态估计，该框架集成了自适应采样（AS）模块和手部曲线引导卷积（HCGC）模块。AS模块会根据局部密度和解剖学重要性动态选取具有结构信息的关键点，从而减轻畸变区域的采样偏差；而HCGC模块会沿手指生成引导曲线，并采用动态动量编码和交叉抑制策略来保持解剖结构的连续性并捕捉细粒度的几何特征。在MSRA、ICVL和NYU数据集上的大量实验表明，在固定缺失点比例介于30%到50%以及存在噪声干扰的情况下，我们的方法始终优于现有最先进的方法，其平均鲁棒性曲线面积（RCA）达到30.8，性能优于TriHornNet等先进方法。值得注意的是，尽管该框架是针对受损点云优化的，但其在完整数据集上也能取得具有竞争力的精度，这表明增强的鲁棒性并不会牺牲通用性能。这些结果证实，自适应曲线引导的局部结构建模为现实场景下的三维手部姿态估计提供了可靠且通用的解决方案，也凸显了其在点云质量无法得到保障的实际应用中的部署潜力。 收稿日期：2025年9月23日 修回日期：2025年10月17日 接受日期：2025年10月19日 发表日期：2025年10月22日 引用格式：佘立煌、孙浩楠、邹辉、梁汉泽、郭向丽、陈烨侯. 面向受损点云的鲁棒三维手部姿态估计的自适应曲线引导卷积方法. 《电子学》2025年，第14卷，4133页. 版权所有：© 2025 作者。 授权方：瑞士巴塞尔MDPI出版社。 本文为开放获取文章， 依据知识共享 署名许可协议的相关条款 和条件发布。 ( （许可证编号：licenses/by/4.0/）。 关键词：三维手部姿态估计；受损点云；曲线引导卷积；自适应采样；鲁棒几何建模 ### 1. 引言 3D手部姿态估计作为人机交互与计算机视觉领域的核心技术，在虚拟现实、增强现实以及机器人操控方面具有重要价值。相较于传统的2D图像识别技术，3D点云数据具有固有的无序性和对刚性变换的不变性，因此无论发生旋转、平移或缩放，都能给出一致的结果。这使得系统能够直接获取手部的几何结构与空间拓扑信息，从而显著提升姿态估计的精度与鲁棒性。然而在实际应用中，手部点云数据常常会受到结构畸变的影响，比如部分遮挡、噪声干扰以及分布不均等问题，这些均由传感器噪声、遮挡现象和环境干扰所致。此类畸变会严重削弱现有模型的泛化能力。具体而言，手指区域点云的随机缺失这类局部遮挡现象会破坏手部的拓扑连接；而传感器抖动引入的高斯噪声等干扰则会破坏局部几何一致性，进而导致现有模型中关节定位与骨骼重建出现显著偏差。如何从受损的点云中实现高精度的3D手部姿态估计，已成为该领域亟待解决的技术难题。 --- 这种分布上的偏差由传感器噪声、遮挡以及环境干扰引起。这些失真会严重削弱现有模型的泛化能力。具体而言，诸如手指区域点云被随机移除之类的局部遮挡会破坏手部的拓扑连接，而传感器抖动引入的高斯噪声等干扰则会破坏局部几何一致性，从而导致现有模型在关节定位与骨骼重建方面出现显著偏差。从受损的点云中实现高精度的三维手部姿态估计，已成为该领域亟待解决的技术难题。 近年来，基于深度学习的点云方法推动了3D结构建模的发展。Global框架如PointNet [^1]通过最大池化操作来捕捉整体形状，但在表征局部细节方面的能力有限；而分层聚合（PointNet++ [^2]）、注意力机制（PCT [^3]）以及图卷积等操作则改善了局部结构的表达效果。包括用于提升对抗鲁棒性的CausalPC [^4]、用于快速图去噪的FGBD [^5]，以及采用多视角融合技术的SVDFormer [^6]在内的近期方法，仍缺乏曲线建模能力，因而难以对含噪手部点云中的局部几何结构进行修复。大多数方法，如HandPointNet [^7]，是针对理想化的点云设计的，在现实世界的畸变环境下性能会大幅下降。此外，针对受损点云的标准化评估指标十分匮乏，这阻碍了定量比较与技术发展。 为应对这些挑战，本研究提出了一种基于曲线拟合的受损点云三维手姿估计框架，如图1所示。与通用的三维点云处理方法不同，该框架专门针对存在畸变的场景下的手姿估计问题，并采用了更为复杂的机制来捕捉局部结构特征。手指的弯曲形状以及关节处的曲率变化蕴含着丰富的姿态语义信息，这些信息可通过曲线建模有效提取。受基于曲线的点云形状分析方法的启发[^8]，本研究创新性地引入了自适应采样（AS）模块和手部曲线引导卷积（HCGC）模块；这与现有研究中普遍采用的曲线学习范式有所不同，避免了过度依赖全局特征聚合或静态结构建模。AS模块能够根据密度信息动态优化关键点的选取，从而减轻畸变区域的采样偏差。HCGC模块通过引导式行走算法生成描述手指几何形状的假设曲线，并结合动态动量编码与交叉抑制策略来增强局部结构建模的稳定性；这两点都是针对手部特有的拓扑连续性（如手指关节曲率、手指间遮挡现象）而设计的改进，是通用曲线框架所无法实现的。这些曲线在点云的同构图上定向行进，能够捕捉几何形状与结构信息，从而在噪声干扰和局部数据缺失的情况下实现稳健的手姿估计。 此外，为了量化模型对现实世界中各种畸变的适应能力，本研究采用了一种轻量级的评估方案：从现有数据集中选取部分样本，将手指区域按照30%到50%的固定缺失点比例进行部分损坏处理，以模拟传感器遮挡或环境干扰的情况。基于这一设置，本研究采用了两项评估指标：鲁棒性曲线面积（RCA）和鲁棒性增益（RG），分别用于衡量在不同畸变程度下模型的整体性能退化情况以及相对于基准模型的改进程度。实验结果表明，所提出的方法在多种畸变严重程度下均展现出比现有最先进方法更强的鲁棒性，同时在完整数据集上的精度也保持在了具有竞争力的水平。 --- ![Image](images/0b76e3c63091f53c6c6fe22d71d1aa3765e8622e043dbb283db3936ca4028838.jpg) ![Image](images/a6b6bee4bd0681eb6d606ea5099e1b1b4e2a6f205e67105a63539d8dcdfbf77f.jpg)
Figure 1. This figure compares the pose estimation performance of the conventional approach (HandPointNet, (left)) and the proposed method (right) under local point cloud missing conditions. For the conventional approach: Static Farthest Point Sampling (FPS) leads to sparse distribution of sampling points, avoiding missing regions, resulting in lost joint predictions and broken skeletal lines. Proposed method: Adaptive Sampling (AS) dynamically optimizes the distribution of sampling points, covering low-density regions (e.g., fingertips and joints), combined with curve fitting strategies to restore continuous finger geometric morphology, accurately predicting joint positions and generating smooth skeletal lines. The experimental results demonstrate that the curve fitting method effectively compensates for the impact of point cloud missing, significantly improving the robustness of hand pose estimation.
## 我们的贡献可总结如下 - 我们将自适应采样技术引入三维手姿估计领域，使网络能够从受损点云中动态选取具有信息量的关键点。这一策略能够突出结构关键区域并抑制冗余信息，从而显著增强模型在真实手部扫描数据中应对数据缺失和传感器畸变的能力。 - 我们提出了一种利用曲线引导来建模手部结构几何连续性的卷积模块，并将其与基于图的上下文聚合相结合。这种曲线引导的表示方法能够保留精细的指尖轨迹信息，而图卷积则能捕捉关节与表面之间的长距离依赖关系。这种协同作用有效补偿了结构畸变，提升了受损手部点云中的特征完整性。 - 我们提出了一种评估协议，通过从现有数据集中移除固定百分比的点来模拟现实世界中的畸变情况，缺失点比例范围为30%到50%。我们采用RCA和RG这两项指标，对模型在不同畸变程度下的鲁棒性进行全面的定量评估，同时确保模型在完整点云上的性能保持一致。 ### 2. 相关工作 #### 2.1. 基于点云的3D手部姿态估计 近年来，得益于深度学习的进步以及RGB-D传感器（如英特尔RealSense D455，美国加州圣克拉拉市英特尔公司）和三维点云数据的普及，三维手部姿态估计技术取得了快速发展。早期方法依赖手工设计的特征、模型拟合以及传统的机器学习策略[9–14]，虽然提供了初步解决方案，但对遮挡、背景杂乱和光照变化较为敏感。在这些开创性工作之后，人们又引入了更为先进的结构，包括用于基于深度的手部姿态估计的三维卷积神经网络[^15]、体素到体素预测网络（V2V-PoseNet）[^16]，以及密集三维回归框架[^17]。近期的改进进一步在弱监督学习中融入了生物力学约束。 --- 学习[^18]、用于降低标注噪声的生成性损失[^19]，以及为提升精度而采用的高效虚拟视图选择方法[^20]。尽管这些方法取得了显著进展，但仍受限于传感器噪声、深度歧义以及缺失区域的问题。 与此同时，基于点云的方法受到了越来越多的关注，因为它们能够直接利用手部的三维几何信息。Ge等人[^7]提出了HandPointNet，将PointNet扩展为从原始点云中回归手部关节坐标；随后又提出了Point-to-Point Regression PointNet[^21]以实现更精确的关节定位。Tang等人[^22]引入了分层采样优化机制以提高对形变的鲁棒性，而Chen等人[^23]设计了SHPR-Net来融入语义特征。除了PointNet之外，像PointCNN[^24]这样的卷积架构进一步推动了局部特征的学习，Zhao等人[^25]则通过PointWeb增强了邻域间的交互作用。基于序列的模型如Point2Sequence[^26]利用注意力机制来捕捉点与点之间的上下文关系。Malik等人[^27]借助合成数据进行训练，Rezaei等人[^28]提出了TriHorn-Net以改善基于深度的估计效果。更先进的设计包括：Li等人[^29]采用排列等变层来实现从点到姿态的投票；Wu等人[^30]设计了Capsule-HandNet以编码结构关系；Du等人[^31]采用了多任务信息共享机制；Zhao等人[^32]则利用Point Transformer进行长距离特征建模。 近期的研究进一步拓展了这些边界。Wu等人[^33]提出了Point Transformer V3，该模型提升了骨干网络在处理各类点云学习任务时的效率和表征能力。Cheng等人[^34]则引入了HandDiff——一种基于扩散的框架，能够利用图像和点云两种模态共同优化3D手部姿态，从而对严重噪声和缺失区域展现出极强的鲁棒性。Wang等人[^35]提出的UniHOPE是一种统一模型，可同时处理仅含手部的姿态估计以及手-物体姿态估计任务，在交互场景中表现出强大的泛化能力，且在遮挡情况下仍能保持稳定的性能。此外，PCDM[^36]采用条件扩散建模技术来补全和优化受损的点云，为几何修复提供了强大的生成式先验。总体而言，这些方法代表了当前鲁棒性3D手部姿态估计领域的最前沿，它们解决了数据不完整、噪声和遮挡等难题，为该领域的未来发展奠定了坚实基础。 尽管取得了这些进展，当前基于点云的方法在输入数据严重受损的情况下仍面临巨大挑战：缺失区域和噪声会阻碍关节位置的精确回归。这促使研究者将曲线拟合等结构先验融入其中——这类先验能够填补空缺、规整噪声观测结果，并维持解剖学上的一致性。因此，基于曲线拟合的策略尤其适用于从受损点云中鲁棒地估计3D手部姿态，可与现有的深度学习框架形成互补。 #### 2.2. 用于点云学习的自适应采样 采样是点云处理流程中的基础操作，因为所选的点子集直接决定了网络能够观测和利用的局部几何线索。最远点采样（FPS）等传统采样方案能提供相对均匀的空间覆盖，已被广泛应用于分层点云网络（如PointNet++[^2]）中，但它们对语义信息不敏感，且易受离群点和局部数据缺失的影响。为克服这些局限，近期研究探索了面向任务的自适应采样策略，以引导采样过程聚焦于信息量丰富的区域。动态邻域构建与特征驱动的聚合方式（例如DGCNN[^37]）通过调整感受野来改善局部表征；而针对大规模或噪声较多的点集设计的方法（如RandLA-Net[^38]）则结合了高效的随机采样与注意力机制的局部聚合，以保留关键的几何信息。 --- 基于特征引导采样的思路，PointASNL[^39]提出了显式的AS模块，该模块根据局部密度和学习到的特征线索对初始样本集进行重新加权并调整其位置，从而优化样本分布。在通用形状基准测试中，该方法对噪声和部分观测结果的鲁棒性得到了显著提升。 在受损的手部姿态点云场景下，手指关节或指尖弧线等解剖学轮廓可能部分或完全缺失，因此我们采用了PointASNL中实用的AS公式作为采样骨干。其运作机制针对手部姿态进行了优化：采样过程会偏向解剖学上的关键部位，同时保留轮廓连续性，从而确保在密度较低但语义重要的区域仍能保持足够的点密度。在我们的框架中，这种自适应采样与后续的曲线引导特征建模相辅相成，增强了对现实手势数据中结构退化现象的鲁棒性。 #### 2.3. 曲线拟合、结构化遍历与几何感知聚合 在点云中捕捉几何连续性并非仅仅局限于局部邻域聚合：将点沿路径或曲线进行结构化的思路正受到越来越多的关注。一个典型的例子是CurveNet [^8]，它提出了一种曲线实例卷积（CIC）模块，该模块能够沿着基于点图构建的曲线进行分组和聚合。这种基于曲线的分组方式比纯径向邻域更能准确捕捉细长的边界或关节结构。与此同时，像GeoHi-GNN [^40] 这样的几何感知图方法能够学习对局部几何特征敏感的分层图表示，从而更好地为复杂曲面拟合特征权重。而诸如Nerve [^41] 之类的边缘与曲线提取方法则能直接从点云中估算出参数化边缘或曲线，从而实现结构化的几何预测，而非逐点预测。 不过，在严重退化的情况下，将曲线拟合或结构化遍历方法应用于手势估计仍颇具挑战性。这类研究大多假设点云较为完整，或至少存在适度噪声，并未考虑解剖结构的连续性缺失问题。尤其是曲线构建步骤往往没有为手指关节或关键弯曲处设定优先级，且聚合机制通常会在数据缺失时直接忽略这些信息，而非对其进行补偿。为解决这些问题，我们提出的HGCC模型明确集成了对关节敏感的分数计算机制、基于动量的曲线描述符，以及尊重解剖连续性的曲线聚合机制。借此，该模型能够从破碎的手部点云中更好地恢复具有区分度的几何信号，从而提升现实场景下的姿态估计精度。 ### 3. 方法论 #### 3.1. 网络架构 本研究旨在设计一种能够高效处理受损手部手势点云的鲁棒网络。在实际应用中，获取的点云往往包含缺失区域和结构畸变。由于手指具有复杂的曲率变化和关节差异，因此提取符合这些类曲线状解剖结构的特征至关重要。借助曲线引导的表征方式，网络可以沿着手指轮廓进行特征提取，进而捕捉对区分不同手势而言至关重要的弯曲与拉伸模式。 图2展示了所提出网络的整体框架。模型以原始深度图像为输入，通过手势分割过程将其转换为三维点云。为了标准化输入，点云会被归一化到有向边界框坐标系下。这一步骤能够增强模型对手势方向变化的鲁棒性。随后，采用最远点采样法对归一化后的点云进行下采样，保留1024个点以保证输入尺寸的一致性。 --- 训练期间会采用额外的数据增强手段，包括在z轴方向上进行的范围不超过$[-37.5^{\circ}, 37.5^{\circ}]$的随机旋转、0.9到1.1之间的缩放因子，以及不超过$[-10\ mm, 10\ mm]$的平移操作。这些增强措施能够提升模型的泛化能力，并强化其对噪声和畸变的鲁棒性。 ![Image](images/dd6fa11d33b6ee3f2af682d3d74f049fb054b832842482c233d643b18fb5c377.jpg)
Figure 2. This figure illustrates the network architecture of the curve fitting-based 3D hand pose estimation. The input depth image undergoes hand segmentation and point cloud preprocessing, followed by the AS module and 8 Hand-Curve Guide Convolution (HCGC) layers, with the number of layers empirically set to 8. The AS module employs a density-aware strategy to dynamically select key points and combines K-Nearest Neighbors (KNN) and attention mechanisms to extract robust local features. The HCGC module generates curves describing the geometric morphology of fingers through a curve-grouping algorithm and optimizes the curve paths using dynamic momentum encoding and cross-suppression strategies. Finally, multi-layer features are aggregated through max pooling, and the joint 3D coordinates are regressed by a fully connected layer.
该网络分为三个主要阶段。首先，采用AS模块来选择信息量丰富的点并生成可靠的局部特征，这有助于模型处理噪声较大且不完整的点云数据。其次，架构的核心基于HCGC模块，这些模块能够学习符合手指解剖结构的曲线型表征，从而捕捉局部和全局几何特征。最后，聚合后的特征会通过带有堆叠模块的残差学习框架进行处理，随后经过全局池化操作和回归头，输出手指关节在定向边界框坐标系中的三维坐标。 综上所述，所提出的网络集成了自适应采样、曲线引导的特征学习以及残差聚合技术，能够在输入数据受损的复杂条件下实现可靠的手部姿态估计。 #### 3.2. 自适应采样模块 FPS在点云处理中被广泛应用，但由于其对异常值较为敏感，在处理存在缺失区域或畸变的真实手部点云时往往会导致效果不佳。为解决这一问题，所提出的AS模块采用了受PointASNL [^39]启发的动态采样策略，能够根据局部密度变化自适应地选择信息量丰富的点。通过整合归一化和注意力机制，它可以从不完整或带噪声的输入中提取可靠的几何特征，为后续的曲线型表征提供稳定的基础。 如图3所示，首先通过FPS采样得到一组均匀分布的初始点 $P_s \in \mathbb{R}^{N_s \times 3}$。对于每个具有特征 $x_i$ 的点 $f_i$，通过K近邻（KNN）查询来确定其邻域 $N(x_i)$。自注意力机制会对特征进行更新，更新公式如下： $$ f_{i,k}=A\big(R(x_{i,k},x_{i,j})\gamma(x_{i,j}),\forall x_{i,j}\in N(x_{i})\big), $$ 其中R表示关系函数，$\gamma$ 是线性变换，A用于聚合邻域信息。关系函数由带Softmax归一化的点积相似度定义： --- $$ R(x_{i,k},x_{i,j})=Softmax\left(\frac{\varphi(f_{i,k})^{T}\cdot\theta(f_{i,j})}{\sqrt{D^{\prime}}}\right), $$ 其中 $\varphi$ 和 $\theta$ 是独立的线性投影。 ![Image](images/538627062e888264f7c6a42f7f8682f40771baf22270548ca8aa5a42bca5789d.jpg)
Figure 3. Architecture of the AS module. The module adaptively selects key points in the point cloud by combining KNN and attention mechanisms. Positions and features of sampled points are refined through dynamic weighting, enhancing local geometric feature extraction under noise or missing data.
为了进一步优化采样过程，逐点多层感知机（MLP）会为坐标和特征计算自适应权重。更新后的位置和特征是通过对邻域进行加权求和得到的： $$ x_{i}^{*}=W_{p}^{T}X,\quad f_{i}^{*}=W_{f}^{T}F, $$ 其中 $W_{p}$ 和 $W_{f}$ 是经过Softmax归一化的权重，X和F分别表示邻域坐标和特征。 AS模块的一项关键创新在于它能够突出解剖学上重要的区域。在手部点云中，手指和关节处的曲率较高，且容易出现数据缺失现象。低密度区域或高曲率区域的点会获得更高的采样权重。曲率 $\kappa_{i}$ 是通过邻域协方差矩阵的特征值来近似计算的： $$ \kappa_{i}=\frac{\lambda_{\max}}{\sum_{j=1}^{3}\lambda_{j}}, $$ 其中 $\lambda_{j}$ 是 $N(x_{i})$ 的协方差矩阵的特征值。 最后，对相对位置信息进行自适应归一化，可减轻手部尺寸、方向和姿态差异带来的影响。结合注意力驱动的特征提取技术，这种设计使AS模块能够捕捉手指弯曲和伸展等精细几何细节，同时保持对噪声和畸变的鲁棒性。 #### 3.3. 手部曲线引导卷积 HGCC模块构成了所提出网络的核心计算单元，专门用于处理受损的手部点云数据，如图4所示。虽然HGCC的设计灵感来源于CurveNet中的CIC模块[^8]，但为了更好地适应手部姿态估计任务，我们对其进行了多项改进。具体而言，曲线构建过程经过调整，以明确维持手指关节处的解剖学连续性，从而确保每条曲线都能有效反映手指的自然弯曲与伸展状态。此外，聚合阶段也经过优化，以减轻缺失或受损点的影响，这类问题在现实世界的手部扫描数据中十分常见。 --- ![Image](images/f985db6f51eb2be831f3e5c8fcb64960fa4820cc0317b0ffad128f40690cf670.jpg)
Figure 4. Detailed architecture of the HCGC module. The module receives input point features, performs local graph construction, and generates curves using the Curve Grouping (CG) stage. The CG stage explicitly incorporates joint-sensitive scoring, Top-K selection, and an iterative curve generation process with momentum-based descriptors to ensure anatomical continuity and robustness to missing points. The Curve Aggregation (CA) stage integrates features along the generated curves to produce the final curve-aware representation.
该网络在残差框架内堆叠了多个HGCC模块[^42]，从而能够从局部几何特征逐步提取到全局手部姿态信息。正式而言，对于输入点云$P = \{p_i\}_{i=1}^N$以及对应的特征$F = \{f_i\}_{i=1}^N$， $$ F^{(l+1)}=F^{(l)}+H C G C(F^{(l)},P), $$ 其中$HCGC(\cdot)$代表单个模块的处理结果。 每个HGCC模块都包含两个核心组件：曲线分组（CG）与曲线聚合（CA）。CG利用可学习的遍历策略，在同源点云图上构建曲线，该策略会根据几何邻近性以及关节级连续性动态选择邻居节点；这一设计相比CurveNet有了显著改进，因为后者构建的曲线缺乏明确的解剖学约束。CA则通过注意力机制沿这些曲线聚合特征，着重强化具有区分度的手指表征，同时抑制来自缺失或噪声点的干扰信息。为了进一步提升鲁棒性，在曲线构建过程中，对关节处的点赋予更高的权重，而保持连续性的注意力机制则确保聚合过程遵循解剖学顺序。通过在残差框架内堆叠多个HGCC模块，可实现稳定的梯度流动与分层特征学习，既能捕捉精细的局部交互信息，又能把握全局手部结构，即便面对严重受损的点云数据，也能恢复出具有语义意义的曲线，从而为3D关节回归提供可靠的基础。 ##### 3.3.1. 曲线分组阶段 CG阶段会在手部点云上构建曲线，以维持解剖学连续性与局部几何结构（见图4和图5）。与主要依赖空间邻近性的CurveNet CIC模块不同，我们的方法还纳入了关节级重要性考量，并提升了对缺失点的鲁棒性。 最初，Top-K选择机制会依据联合敏感分数来识别出得分较高的点，将其作为曲线生成的起始位置。Top-K值决定了基于联合敏感分数所选定的起始点的数量。该参数在关键解剖区域的覆盖范围和计算效率之间取得了平衡：较大的K值能增加捕捉到所有相关关节的可能性，但会增加计算成本；而较小的K值则侧重于最关键的那些点。 --- 对于每个点特征$f_i \in F$，其联合敏感分数的计算方式如下： $$ s_{i}={M L P}(f_{i})\cdot w_{i}^{joint}, $$ 其中，$w_{i}^{joint}$是一个可学习的权重，用于优先关注解剖关键点，比如手指关节和指尖。起始点集合$S_{1}$的确定方式如下： $$ S_{1}=T o p K(\{s_{i}\}_{i=1}^{N}), $$ 这样就能确保曲线的起始点集中在手部结构上重要的区域。 ![Image](images/3d5bb4dbca9e7f0c84e63c3be923999a9a15f3d161b8670fedbe56ec6247d648.jpg)
Figure 5. CG process in HCGC. Curves are generated iteratively from selected starting points using a learnable walking strategy. This preserves anatomical continuity and captures local geometric features.
从每个起始点$s_i \in S_1$出发，会利用可学习的行走策略$\pi(\cdot)$迭代生成曲线。该策略会根据特征相似性和解剖重要性，从邻近候选点$s_{i+1}$中选出下一个点$s_j \in N(s_i)$： $$ s_{i+1}=\pi(s_{i})=\sum_{j=1}^{k}G u m b e l{S o f t m a x}(\alpha_{j})\cdot s_{j}, $$ $$ \alpha_{j}=M L P([f_{j},r_{i}])\cdot w_{j}^{joint}, $$ 其中 $r_{i}$ 是当前曲线描述符，用于编码累积的曲线信息。Gumbel-Softmax算子能够实现对邻近点的可微选择，而关节敏感型加权机制则确保那些对应关键解剖位置的点更有可能被包含在曲线中。这种设计提高了在存在缺失或噪声点的情况下曲线生成的鲁棒性。 为了保持平滑性和解剖连续性，曲线描述符会通过基于动量的编码方式动态更新： $$ \beta={S o f t m a x}({M L P}([r_{i-1},s_{i}])), $$ $$ r_{i}=\beta r_{i-1}+(1-\beta)s_{i}, $$ 其中 $\beta$ 是一个可学习的系数，$r_{i-1}$ 是之前的曲线描述符，而 $s_{i}$ 是当前点的特征。这种策略使得每条曲线都能遵循手指的自然运动轨迹，同时积累历史信息以指导后续步骤。 为防止曲线相互重叠或偏离预期的解剖路径，会应用交叉抑制机制。对于每条曲线，会先确定其支持向量 $\vec{c}_{i}$，该向量代表…… --- 随后计算其整体方向，并对候选邻近向量 $\vec{q}_{j}$ 进行评估。抑制因子的计算公式为： $$ d_{j}=c l i p(\cos\theta+1), $$ $$ \alpha_{j}=d_{j}\cdot\alpha_{j}, $$ 其中 $\theta$ 表示 $\vec{c}_i$ 与 $\vec{q}_j$ 之间的夹角，而 $\text{clip}(\cdot)$ 会将数值限制在 [^0] 和 [^1] 范围内。这一设计确保了曲线遵循手指的自然方向，并减少了交点数量。 总体而言，CG阶段融合了关节敏感型评分机制、基于动量的描述符以及具有解剖学意识的曲线生成方法，从而生成能够捕捉局部几何特征、保留解剖结构且对损坏或不完整的点云具有鲁棒性的曲线。这确保了后续的CA阶段能够接收到在几何和解剖意义上均有意义的曲线，以实现有效的特征聚合。 ##### 3.3.2. 曲线聚合阶段 一旦在CG阶段生成了曲线，CA模块就会沿这些曲线整合特征，以生成增强的局部和全局表征，如图6所示。每条曲线 $C_i$ 包含了沿行走路径的一系列点特征，而全部曲线集合则用 $C = \{C_1, ..., C_n\}$ 表示。为了捕捉曲线内部的结构细节以及曲线之间的关系，该模块首先沿曲线集应用注意力池化操作： $$ f_{inter},f_{intra}=AP(C), $$ 其中AP表示沿多个方向应用的注意力池化操作，由此产生曲线间特征向量 $f_{inter}$ 和曲线内特征向量 $f_{intra}$。这两个向量分别代表了曲线之间的全局上下文信息以及每条曲线内部的局部结构信息。 ![Image](images/3dca58a485ad7fafbb0e04d624ebe9ff684b5c0da588a25c9ce3ee0ab0c919f7.jpg)
Figure 6. Detailed process of the CA stage in HCGC. Input curve features are first processed by Attentive Pooling (AP) to extract inter-curve and intra-curve information, followed by dimensionality reduction via parallel MLPs. The features are then mapped through learned linear transformations and fused using a linear fusion layer to generate the final curve-aware representation. The design emphasizes joint-sensitive weighting and anatomical continuity, ensuring robust feature extraction from corrupted point clouds.
为降低计算复杂度并为后续的融合操作提供便利，$f_{inter}$ 和 $f_{intra}$ 会分别通过独立的多层感知机进行降维处理： $$ \begin{array}{r}{\widehat{f}_{\mathrm{i n t e r}}={M L P}(f_{\mathrm{i n t e r}}),\quad\widehat{f}_{\mathrm{i n t r a}}={M L P}(f_{\mathrm{i n t r a}}).}\end{array} $$ 随后通过学习得到的线性变换来计算特征映射。 $$ M_{\mathrm{i n t e r}}=\hat{f}_{\mathrm{i n t e r}}\cdot W_{\mathrm{i n t e r}}+b_{\mathrm{i n t e r}},\quad M_{\mathrm{i n t r a}}=\hat{f}_{\mathrm{i n t r a}}\cdot W_{\mathrm{i n t r a}}+b_{\mathrm{i n t r a}}, $$ --- 接着通过softmax归一化操作生成用于曲线融合的权重。与原始的CurveNet聚合方法不同，我们的方法强调关节敏感型加权机制，并动态考虑每条曲线的解剖学重要性，从而确保那些代表关键区域（如指尖或关节）的曲线能对最终特征做出更大贡献。 最后，将曲线间特征和曲线内特征进行融合，以生成全面的曲线感知表征。 $$ f_{\mathrm{f u s e d}}=W_{\mathrm{f u s e}}\left[f_{\mathrm{i n t e r}},f_{\mathrm{i n t r a}}\right]+b_{\mathrm{f u s e}}, $$ 其中，$[\cdot,\cdot]$ 表示特征拼接。这一线性融合层通过可训练的权重矩阵 $W_{fuse}$ 和偏置项 $b_{fuse}$，自适应地平衡曲线间特征与曲线内特征的贡献，最终生成能够同时编码细粒度局部几何信息以及跨曲线全局上下文依赖的统一表征。 为了进一步提升对缺失或畸变点的鲁棒性，融合后的特征会可选地被AS模块进一步细化。这种细化过程能动态调整关键点的位置与特征，尤其是在低密度或结构复杂的区域，从而提高这些特征在后续全局聚合中的可靠性。 通过这种设计，CA模块在原有CurveNet聚合机制的基础上，显式地纳入了解剖学连续性、关节敏感加权以及基于AS的细化机制。这确保了网络能够生成适用于手部姿态估计的鲁棒且具区分性的特征表征，即便在输入点云不完整或存在噪声的情况下，也能有效捕捉细粒度的局部细节与整体手部结构。 #### 3.4. 评估指标 现实世界中的手部点云往往存在多种畸变，包括遮挡和背景残留，这些难以被完全模拟。因此，本研究重点关注最常见的畸变类型：局部点云缺失。 我们在广泛使用的3D手部姿态数据集上评估模型，包括MSRA [^43]、ICVL [^44] 和NYU [^12]，这些数据集涵盖了多样化的手势与多个视角。预测精度通过平均关节位置误差（MPJPE）来衡量： $$ MPJPE=\frac{1}{N}\sum_{i=1}^{N}\frac{1}{J}\sum_{j=1}^{J}\left\|P_{j}^{(i)}-\hat{P}_{j}^{(i)}\right\|_{2}, $$ 其中，N为测试样本数，J为关节数量，$P_{j}^{(i)}$ 和 $\hat{P}_{j}^{(i)}$ 分别表示关节的真实坐标与预测坐标。 为了评估模型在不同程度的 corruption 下的鲁棒性，我们绘制了以畸变严重程度为自变量的MPJPE曲线，从而得到误差-畸变曲线。整体鲁棒性通过该曲线下的面积来量化，并以其相对于干净数据下的性能进行归一化，计算公式如下： $$ RCA=\frac{1}{R}\sum_{r=1}^{R}\frac{MPJPE_{corrupted}(r)-MPJPE_{clean}}{MPJPE_{clean}}, $$ 其中，R表示畸变级别的数量，$MPJPE_{corrupted}(r)$ 代表在畸变级别r下的误差。为便于理解，本文中报告的所有RCA值均乘以100，且均为无量纲数值。因此，RCA值越小，说明性能退化程度越低，模型的鲁棒性越强。 采用RCA作为评价指标，能够从整体上衡量模型在不同程度点云corruption下的鲁棒性，而无需依赖单点评估结果。通过总结多个缺失点比例下的性能趋势，RCA能够同时反映准确性和稳定性。 --- 在逐渐严苛的条件下，这种评价方式尤为适用。对于现实世界的手部姿态估计任务而言，缺失点的范围和分布往往动态变化，因此RCA比传统的单级别指标更能真实反映模型的实用鲁棒性。 最后，为了提供相对于基线的比较指标，我们定义RG如下： $$ RG=RCA_{baseline}-RCA_{proposed}, $$ 其中，$RCA_{baseline}$ 和 $RCA_{proposed}$ 分别为基线和所提模型的鲁棒性曲线面积。若RG为正值，则说明所提模型在不同畸变严重程度下实现了更好的鲁棒性提升。 RCA和RG共同为模型在不同程度的点云损坏情况下的性能评估提供了可靠依据，既能反映相对性能退化情况，也能体现相较于基线的改进。这确保了算法在实际场景中的鲁棒性能够得到全面评估。 ### 4. 实验 #### 4.1. 数据集、实验设置与评价指标 我们在三个基准数据集上对所提出的3D手部姿态估计框架进行评估：MSRA、ICVL和NYU。MSRA包含超过9万帧带有21个关节标注的数据，能够捕捉复杂的手势动作；ICVL提供了33万帧训练数据，标注了16个关节，涵盖多位用户的数据；NYU则包含72757帧训练数据和8252帧测试数据，标注了14个关节，这些数据是通过结构光深度传感器采集的。图7展示了标注手部关节的空间分布情况。这些数据集能够全面评估模型在不同手部姿态和视角下的准确性、泛化能力和鲁棒性。 ![Image](images/0c4a2254b50eac68cb96ad43ab0beb48baa90b222d432bd0d5a9cf428a0eab61.jpg)
MSRA
![Image](images/38781c451014c772e4b3c42cd9e108f7c7c9104b78fdb07dc0ebdd6ef30f0570.jpg)
ICVL
![Image](images/6562367c789ef1cb66bed0aa99a05a00fb319b8502deb86a0ba417e06c429e4e.jpg)
NYU
Figure 7. Spatial distribution of annotated hand joints in the MSRA (left), ICVL (middle), and NYU (right) datasets.
该网络采用Adam优化器[^45]进行训练，初始学习率为0.001，批量大小为32，权重衰减系数为0.0005。输入点云会被均匀采样为每帧1024个点；在手部几何仿射模块中，K值被设为64，用于计算最近邻以捕捉局部几何关系。此外，曲线引导卷积模块中用于识别具有结构信息的关键点的Top-K选择机制会针对每个数据集单独配置：MSRA对应K=20，ICVL对应K=25，NYU对应K=30。Top-K值的选取基于平均点云密度和手势复杂度，旨在确保能充分覆盖高质量的起始点，同时不会引入过多的计算开销。需要注意的是，这个Top-K参数与KNN中用于局部特征聚合的K值有所不同。 为了提升模型的泛化能力并缓解过拟合现象，我们采用了在线数据增强技术，包括围绕z轴的随机旋转（范围在$\pm37.5^{\circ}$内）、各向同性的3D缩放（范围为[0.9, 1.1]）以及沿各轴的3D平移（范围在$[-10, 10]$毫米内）。训练过程 --- 在MSRA数据集上进行了120个epoch的训练，在ICVL数据集上训练500个epoch，在NYU数据集上训练250个epoch，以确保不同规模和复杂度的数据集上都能充分收敛。 为了了解模型的计算效率，我们还测量了模型的复杂度和推理速度。对于包含1024个点的单手点云，HCGCNet每次前向传播大约需要25 GFLOPs的计算量。在NVIDIA RTX 4090 GPU（NVIDIA Corporation，美国加州圣克拉拉）上，每个样本的平均推理时间约为12毫秒。这些结果表明，所提出的框架在鲁棒性和效率之间取得了良好的平衡，适用于实时3D手部姿态估计。所有的FLOPs计算仅考虑前向操作，所有测量结果均基于全分辨率输入点云。 #### 4.2. 姿态估计可视化 为了定性评估所提方法在完整手部点云上的表现，图8展示了在MSRA、ICVL和NYU数据集上的姿态估计结果。每个数据集均以三行展示：原始点云、真实标注结果以及我们网络预测的关节位置。 ![Image](images/c6d26cc9f57d38a0a8b1af72d4bdcc5e6b38d43770864c30c94e2307a4a92655.jpg)
Figure 8. Visualization of pose estimation on intact hand point clouds. The first row shows the original hand point clouds, the second row presents the ground truth annotations, and the third row illustrates the predicted 3D joint positions by the proposed network for the MSRA (left), ICVL (middle), and NYU (right) datasets.
视觉检查结果显示，预测的三维关节位置与真实值高度吻合，能够准确重建各种手势下的手部骨骼结构，包括手掌张开、拳头紧握以及复杂的手指交互情况。该网络能够有效捕捉精细的手指关节活动及关节间关系，保持解剖结构的连续性，同时维持一致的骨骼长度。值得注意的是，即使在指尖和拇指根部等容易出现预测误差的复杂区域，该方法也表现出良好的性能。 该网络在三个数据集上对视角和手部形状的变化均展现出较强的鲁棒性。此外，预测的关节轨迹平滑且连贯，没有出现突兀的偏差，体现出优异的局部几何保真度。这些观察结果证实：在无噪声或数据点缺失的情况下，所提出的框架能够可靠地以高精度估计手部姿态，并保留细微的解剖细节，为后续评估其在受损点云场景下的鲁棒性奠定了坚实基础。 --- #### 4.3. 对受损点云的鲁棒性 为了评估所提出网络在真实点云失真情况下的鲁棒性，我们分析了缺失比例分别为30%、40%和50%的固定水平数据点缺失情况。图9展示了MSRA、ICVL和NYU数据集的结果，图中显示了原始点云以及叠加了HandPointNet和所提网络预测结果的受损点云。与现有方法相比，HandPointNet在部分数据丢失情况下会出现明显的失真现象，常常产生破碎的骨骼结构或显著的关节偏差。相比之下，我们的方法通过结合自适应采样与曲线引导的特征建模，有效减轻了数据点缺失带来的影响。生成的曲线能够引导网络保持解剖结构的连续性，维持连贯的手指形状，即便在点云严重退化的情况下也能实现精确的关节定位。定量分析结果进一步证实：所提出的网络能够持续降低误差，且在所有失真水平上均优于基线方法。 ![Image](images/e2829c0f5c469ca71e6e02f86ffb520caceb5b76fc08eca3de12402e8edff1e1.jpg) 原始数据 HandPointNet（30%） 我们的方法（30%） HandPointNet（40%） 我们的方法 (40%) HandPointNet（50%） 我们的方法 (50%)
Figure 9. Visual comparison of 3D hand pose estimation under varying point cloud distortions. Each row corresponds to one dataset: MSRA (first row), ICVL (second row), and NYU (third row). The first column shows the original hand point clouds. Subsequent columns overlay the prediction results of HandPointNet (red) and our method (blue) on corrupted point clouds with 30%, 40%, and 50% missing points.
为了进一步验证所提框架的抗噪能力，我们加入了标准差分别为$\sigma = 0.02$、$\sigma = 0.03$和$\sigma = 0.04$的高斯扰动，以模拟深度相机中常见的传感器噪声和空间抖动现象。如图10所示，随着噪声强度的增加，两种方法的预测结果均会出现更大的偏差，但HandPointNet的预测结果偏差更为显著，表现为关节模糊且手指方向不稳定。相比之下，我们的方法能够保持更平滑、解剖结构更一致的形状，且位置偏移更小。这种鲁棒性得益于曲线引导的表征方式，它促进了局部几何规则性，减少了特征聚合过程中的噪声传播。 这些视觉和定量分析结果共同表明：所提出的框架不仅能在完整点云上精确重建手部姿态，还能在不同程度的局部失真下保持较高的鲁棒性。动态关键点选择与曲线引导的特征补全机制的融合，对于保持结构完整性以及提升在各类手势和数据集上的泛化能力至关重要。 --- ![Image](images/1fb74f873397f7b4e1f3c5ecf3dd5c3515f2a0ae5534da74af09f4ea0bd2c90b.jpg)
Figure 10. Visual comparison of 3D hand pose estimation under Gaussian noise with different standard deviations ( $\sigma=0.02$, $\sigma=0.03$, and $\sigma=0.04$). Each row corresponds to one dataset: MSRA (first row), ICVL (second row), and NYU (third row). The first column shows the original clean point clouds. Subsequent columns overlay the prediction results of HandPointNet (red) and our method (blue) under increasing noise intensity.
#### 4.4. 对比分析 我们首先在完整点云上评估基于曲线拟合的3D手部姿态估计方法。如表1所示，所提出的方法在MSRA数据集上的平均关节误差为7.43毫米，在ICVL数据集上为6.56毫米，在NYU数据集上为10.07毫米，表现具有竞争力。图11和图12进一步展示了该方法的性能：图11给出了各方法的平均关节误差，而图12则呈现了在相同误差阈值内高质量估计结果所占的比例。 ![Image](images/38475b444cf2ca041b9f30957dd22738e6bad6b8d71824b42c108db0e64e4a3a.jpg) ![Image](images/6a4985a47ca0be13b708ce1e5d2ff38dde3ded8966e6295e615543c08e89fb68.jpg) ![Image](images/ebab0422f118db13a30ec4ce46f39c05b881b6642cbe08f2fe198eee0a98ea6d.jpg)
Figure 11. Comparison of average joint errors of the proposed method and state-of-the-art methods on intact point clouds across three datasets: MSRA (left), ICVL (middle), and NYU (right). The proposed method demonstrates competitive performance, achieving comparable or slightly better average joint errors while maintaining accurate 3D hand pose estimations.
![Image](images/a1096c6a5f355f3fb9f80aa2e04699c82b67e3bbbc29e73ef714b7d647d300d6.jpg) ![Image](images/cb5cf86e4445ca8302507028db486f9ea5f2226521f7284b2ff98d10db139c34.jpg) ![Image](images/ab735fea4bf79480e4beebefa4126062d24a89cc0d1a8fa004ade9dc9d7a6db8.jpg)
Figure 12. This figure presents a model quality analysis, evaluating the proportion of high-quality estimations. For each method, the estimation results are assessed within the same error range across the three datasets: the MSRA dataset (left), the ICVL dataset (middle), and the NYU dataset (right). The proposed method achieves a higher proportion of high-quality estimation results in all datasets, proving its robustness and reliability in 3D hand pose estimation.
---
Table 1. Comparison of average error distances of existing methods on the MSRA, ICVL, and NYU datasets.
MethodologiesMSRA (mm)ICVL (mm)NYU (mm)
DeepModel-11.5617.04
DeepPrior--20.75
DeepPrior++--12.24
3DCNN9.58-14.11
Ren-4x6x6-7.6313.39
HandPointNet8.516.9410.54
Ren-9x6x69.797.3112.69
Pose-REN8.656.7911.81
DenseReg7.237.2410.21
V2V-PoseNet-6.288.42
SHPR-Net7.767.2210.78
DeepHPS--14.42
Point-to-Point7.716.339.05
CrossInfoNet7.866.7310.08
TriHorn-Net7.135.747.68
Ours7.436.5610.07
这些结果证实，与现有方法相比，我们的方法能够生成精确的预测结果，且可靠估计结果的比例更高。我们的方法达到了具有竞争力的精度：在MSRA和ICVL数据集上的误差仅分别比TriHorn-Net高出0.30毫米和0.82毫米；在NYU数据集上的差距较大（2.39毫米），这是因为该数据集的遮挡情况更为严重。不过，我们的主要研究重点是针对受损或部分缺失的点云，在此场景下所提出的方法展现出了卓越的鲁棒性。即便在严重失真的情况下，该方法也能始终维持准确的关节定位与连贯的骨骼结构，体现出其在不同数据集和手势上的强大泛化能力。 为了定量评估鲁棒性，我们针对30%、40%和50%的固定缺失点比例，将现有方法的RCA值和RG值与所提出的方法进行了比较（见表2）。HandPointNet和TriHorn-Net等基线模型表现出更高的RCA值，反映出它们对缺失点更为敏感。相比之下，我们的方法在所有数据集上均取得了更低的RCA值；RG值进一步证明了其在失真条件下保持高质量估计的能力，尤其是在MSRA数据集上。这些结果证实，自适应采样结合手部曲线引导能够有效缓解由结构失真引起的特征偏差，同时在完整点云上仍能保持具有竞争力的性能。综合来看，这项分析凸显了所提出方法的双重优势：在完整点云上精度高，在现实中的受损场景下鲁棒性更强，从而证实了其在真实3D手部姿态估计应用中的实用价值。 为了进一步评估随机扰动下的鲁棒性，表3总结了各种方法在具有不同标准差的高斯噪声作用下的RCA值。总体而言，随着噪声强度的增加，所有模型的性能都会逐渐下降，这反映出基于深度的点云对空间抖动固有的敏感性。我们的方法在这三个数据集上始终展现出相对较强的性能，尽管相较于TriHorn-Net和Point-to-Point等表现最优的基线模型，其优势较为有限。这种适度但稳定的提升表明，曲线引导的表征有助于保持局部几何一致性，并减轻噪声条件下的误差累积。这些结果补充了表2中的发现，证实我们的方法不仅能抵御缺失点导致的损坏，在真实的传感器噪声环境下也能保持可靠的精度，体现出其在3D手部姿态估计领域的广谱鲁棒性。 ---
Table 2. Robustness Curve Area (RCA) and Robustness Gain (RG) values of state-of-the-art methods and the proposed method on the MSRA, ICVL, and NYU datasets under fixed missing-point ratios of 30%, 40%, and 50%. Lower RCA indicates stronger robustness, and higher RG indicates greater improvement over baselines.
MethodMSRAICVLNYUAverage
3DCNN50.240.545.845.5
Ren-9x6x648.338.143.243.2
Pose-REN45.636.440.140.7
DenseReg40.835.238.538.2
SHPR-Net42.734.937.338.3
Point-to-Point38.933.636.436.3
CrossInfoNet43.537.239.740.1
TriHorn-Net33.231.534.333.0
HandPointNet49.435.639.841.6
Our Method28.730.733.130.8
RG20.74.96.710.8
Table 3. RCA values of state-of-the-art methods and the proposed method under different levels of Gaussian noise on the MSRA, ICVL, and NYU datasets. Lower RCA indicates stronger robustness to noise-induced perturbations.
MethodMSRAICVLNYUAverage
3DCNN24.621.823.123.2
Ren-9x6x623.820.722.322.3
Pose-REN22.519.921.221.2
DenseReg20.719.120.019.9
SHPR-Net21.118.619.519.7
Point-to-Point19.818.319.019.0
CrossInfoNet22.219.520.420.7
TriHorn-Net18.917.618.318.3
HandPointNet23.419.320.120.9
Our Method18.418.117.918.1
RG5.01.22.22.8
#### 4.5. 关键模块消融研究 为了系统评估我们框架中各个关键组件的贡献，我们在MSRA、ICVL和NYU数据集上开展了全面的消融研究。实验分为两大类（见表4）：AS模块，以及包含动态动量编码和交叉抑制等曲线引导细化策略的HCGC模块。 AS模块会根据局部密度和解剖学重要性动态选择具有结构信息的关键点，从而减轻畸变区域的采样偏差。若用传统的FPS采样替换AS模块，在MSRA、ICVL和NYU数据集上，平均关节误差会分别增加0.65毫米、0.69毫米和1.55毫米。这表明自适应选择能让网络更好地捕捉局部几何特征，尤其是在手指关节复杂或存在部分遮挡的区域，从而显著提升在具有挑战性的点云条件下的鲁棒性和准确性。 我们进一步分析了HGCC模块的效果，该模块集成了曲线分组、曲线聚合、动态动量编码和交叉抑制功能。若不采用曲线引导的传统特征提取方法，所有数据集上的性能都会显著下降。仅引入曲线分组就能通过捕捉手指沿线的局部结构信息来部分改善性能。而完整的HGCC模块则涵盖了 --- 曲线分组、曲线聚合以及细化策略，能够持续实现最低的误差。这凸显出基于曲线的局部特征提取与细化对于建模连续的解剖学模式、保留关节关系，以及在遮挡或噪声环境下准确估计手部姿态至关重要。这种优势在NYU数据集上尤为明显，该数据集中的严重遮挡现象对姿态估计构成了巨大挑战。
Table 4. Ablation study results on MSRA, ICVL, and NYU datasets. Lower values indicate better performance. Horizontal lines separate the ablation groups.
ConfigurationMSRA (mm)ICVL (mm)NYU (mm)
AS Module Ablation
FPS Sampling8.087.2511.62
AS Module7.436.5610.07
HCGC Module Ablation
Traditional Feature Extraction9.528.1212.28
Curve Grouping Only8.537.3311.24
Full HCGC Module7.436.5610.07
总体而言，这些消融实验定量证明了所提出框架中的每个组件都发挥着关键作用：AS模块提升了采样质量和局部特征表示能力，而集成有曲线引导细化功能的HGCC模块则能有效捕捉细微的几何变化。二者的协同作用确保了在完整和受损点云上都能取得优异的性能，从而证实了所提方法在不同数据集上的鲁棒性和泛化能力。 ### 5. 结论 本研究提出了一种基于曲线拟合的3D手部姿态估计新框架，专门适用于受损和畸变的点云数据。与传统的点云方法不同，后者在传感器噪声或数据缺失的情况下往往表现不佳，而我们的方法通过显式建模局部几何结构并利用曲线引导的特征聚合，突出了鲁棒性优势。基于曲线的推理机制使网络能够捕捉连续的解剖学模式，即便在严重受损的点云中也能保留手指关节结构和关节关系。 所提出的框架包含两个关键组件：AS模块和HGCC模块。AS模块会动态选择具有结构信息的关键点，以减轻畸变区域的采样偏差；HGCC模块则利用曲线构建、动量编码和交叉抑制策略，沿着具有解剖学意义的路径引导特征聚合。这种设计能够高效捕捉局部结构特征，从而在存在缺失或噪声点的情况下实现准确的关节定位，而这正是现实场景中手势捕捉面临的关键挑战。 在MSRA、ICVL和NYU数据集上进行的大量实验表明，在各种数据损坏场景下——包括部分点云缺失和传感器噪声——我们的框架始终能优于现有最先进的方法。定量评估结果显示，与基线方法相比，所提出的方法具有更低的误差率和更强的鲁棒性。具体而言，在缺失点比例介于30%到50%之间的受损MSRA数据集上，我们的方法平均RCA值达到30.8，这一表现优于TriHorn-Net等先进方法；即便在严重退化的情况下，该方法仍能保持稳定的关节定位能力。同时，在完整点云上，该方法在MSRA数据集上的平均关节误差为7.43毫米，在ICVL数据集上为6.56毫米，在NYU数据集上为10.07毫米，这一结果证实增强的鲁棒性并未以牺牲精度为代价。可视化结果进一步证实：AS模块能够有效选取具有结构信息的关键点，而HCGC模块即便在失真情况下也能保留连贯的骨骼结构。消融实验也验证了各个组件对整体性能的贡献。 --- 这些结果共同表明：所提出的基于曲线拟合的局部结构建模方法，为在不同点云质量条件下实现可靠的、具备泛化能力的真实3D手部姿态估计提供了有效解决方案。 尽管该方法性能优异，但仍存在固有局限性。在手部大部分区域完全被遮挡或点云极为稀疏的极端场景下，某些细微的关节运动可能无法被精确还原。此外，训练过程中未出现过的极为特殊的手部姿态仍可能带来挑战。在未来的工作中，我们计划探索利用连续帧中的时序信息来进一步提升动态场景下的鲁棒性，研究自监督或领域自适应学习方法以应对未见过的姿态，并将该框架拓展至多手交互或手-物体交互场景。这些研究方向旨在增强所提方法的泛化能力和实际应用价值，同时延续本研究中所展现出的强大基础鲁棒性。 作者贡献：概念化：L.S.、H.S.、H.Z.、H.L.、X.G.和Y.C.；方法论设计：L.S.、H.S.、H.Z.、H.L.、X.G.和Y.C.；软件开发：L.S.、H.S.、H.Z.、H.L.、X.G.和Y.C.（负责模型实现）；文稿审阅与编辑：L.S.、H.S.、H.Z.、H.L.、X.G.和Y.C.（所有作者均对稿件早期版本提出了修改意见）；监督工作：L.S.。所有作者均已阅读并同意发表该稿件。 经费支持：本研究由中国辽宁省教育厅高等学校基本科研业务费资助（项目编号：LJKZ0011），以及辽宁省科技创新项目资助（项目编号：2021JH1/1040011）。 数据获取说明：本研究中使用的数据可在[FigShare]平台通过[10.6084/m9.figshare.30184705]链接免费获取。 致谢：作者衷心感谢辽宁省教育厅高等学校基本科研业务费以及辽宁省科技创新项目所提供的支持。所有实验均使用公开可用的数据集进行，作者对提供这些宝贵资源的机构表示诚挚谢意。 利益冲突：作者声明不存在利益冲突。资助方并未参与本研究的设计、数据收集、分析或解读，也未参与手稿撰写或发表决定。作者没有需要报告的相关财务或非财务利益，且与任何在本手稿讨论的主题或材料方面拥有财务或非财务利益的机构或实体均无关联或参与。 ## 缩写词 本手稿中使用了以下缩写词： AS 自适应采样 HCGC 手工曲线引导卷积 CIC 曲线实例卷积 FPS 最远点采样 KNN 最近邻算法 CG 曲线分组 CA 曲线聚合 AP 注意力池化 MPJPE 关节位置误差均值 RCA 鲁棒性曲线面积 RG 鲁棒性增益 --- ## 参考文献 [^1]: Qi, C.R.; Su, H.; Mo, K.; Guibas, L.J. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 652–660. [^2]: Qi, C.R.; Yi, L.; Su, H.; Guibas, L.J. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Proceedings of the Advances in Neural Information Processing Systems 30 (NIPS 2017), Long Beach, CA, USA, 4–9 December 2017. [^3]: Guo, M.H.; Cai, J.X.; Liu, Z.N.; Mu, T.J.; Martin, R.R.; Hu, S.M. Pct: Point cloud transformer. Comput. Vis. Media 2021, 7, 187–199. [CrossRef] [^4]: Huang, Y.; Zhang, M.; Ding, D.; Jiang, E.; Wang, Z.; Yang, M. Causalpc: Improving the robustness of point cloud classification by causal effect identification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 17-21 June 2024; pp. 19779–19789. [^5]: Watanabe, R.; Nonaka, K.; Pavez, E.; Kobayashi, T.; Ortega, A. Fast graph-based denoising for point cloud color information. In Proceedings of the ICASSP 2024—IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Seoul, Republic of Korea, 14–19 April 2024; pp. 4025–4029. [^6]: Zhu, Z.; Chen, H.; He, X.; Wang, W.; Qin, J.; Wei, M. Svdformer: Complementing point cloud via self-view augmentation and self-structure dual-generator. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France, 2–3 October 2023; pp. 14508–14518. [^7]: Ge, L.; Cai, Y.; Weng, J.; Yuan, J. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 8417–8426. [^8]: Xiang, T.; Zhang, C.; Song, Y.; Yu, J.; Cai, W. Walk in the cloud: Learning curves for point clouds shape analysis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 11–17 October 2021; pp. 915–924. [^9]: Erol, A.; Bebis, G.; Nicolescu, M.; Boyle, R.D.; Twombly, X. Vision-based hand pose estimation: A review. Comput. Vis. Image Underst. 2007, 108, 52–73. [CrossRef] [^10]: Oikonomidis, I.; Kyriazis, N.; Argyros, A. Efficient model-based 3d tracking of hand articulations using kinect. In Proceedings of the British Machine Vision Conference, Dundee, UK, 29 August–2 September 2011. [^11]: Keskin, C.; Kıraç, F.; Kara, Y.E.; Akarun, L. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In Proceedings of the Computer Vision–ECCV 2012: 12th European Conference on Computer Vision, Florence, Italy, 7–13 October 2012; Proceedings, Part VI 12; Springer: Berlin/Heidelberg, Germany, 2012; pp. 852–863. [^12]: Tompson, J.; Stein, M.; Lecun, Y.; Perlin, K. Real-time continuous pose recovery of human hands using convolutional networks. ACM Trans. Graph. ToG 2014, 33, 1–10. [CrossRef] [^13]: Oberweger, M.; Wohlhart, P.; Lepetit, V. Hands deep in deep learning for hand pose estimation. arXiv 2015, arXiv:1502.06807. [^14]: Oberweger, M.; Lepetit, V. Deepprior++: Improving fast and accurate 3d hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision Workshops, Venice, Italy, 22–29 October 2017; pp. 585–594. [^15]: Ge, L.; Liang, H.; Yuan, J.; Thalmann, D. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 1991–2000. [^16]: Moon, G.; Chang, J.Y.; Lee, K.M. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 5079–5088. [^17]: Wan, C.; Probst, T.; Van Gool, L.; Yao, A. Dense 3d regression for hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 5147–5156. [^18]: Spurr, A.; Iqbal, U.; Molchanov, P.; Hilliges, O.; Kautz, J. Weakly supervised 3d hand pose estimation via biomechanical constraints. In Proceedings of the European Conference on Computer Vision, Glasgow, UK, 23–28 August 2020; Springer: Berlin/Heidelberg, Germany, 2020; pp. 211–228. [^19]: Wang, J.; Mueller, F.; Bernard, F.; Theobalt, C. Generative Model-Based Loss to the Rescue: A Method to Overcome Annotation Errors for Depth-Based Hand Pose Estimation. In Proceedings of the 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG), Buenos Aires, Argentina, 16–20 November 2020; IEEE: New York, NY, USA, 2020; pp. 101–108. [CrossRef] [^20]: Cheng, J.; Wan, Y.; Zuo, D.; Ma, C.; Gu, J.; Tan, P.; Wang, H.; Deng, X.; Zhang, Y. Efficient virtual view selection for 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, Virtual, 22 February–1 March 2022; Association for the Advancement of Artificial Intelligence: Washington, DC, USA, 2022; Volume 36, pp. 419–426. ## [^21]: Ge, L.; Ren, Z.; Yuan, J. Point-to-point regression pointnet for 3d hand pose estimation. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 475–491 --- [^22]: Tang, D.; Ye, Q.; Yuan, S.; Taylor, J.; Kohli, P.; Keskin, C.; Kim, T.K.; Shotton, J. Opening the black box: Hierarchical sampling optimization for hand pose estimation. IEEE Trans. Pattern Anal. Mach. Intell. 2018, 41, 2161–2175. [CrossRef] [PubMed] [^23]: Chen, X.; Wang, G.; Zhang, C.; Kim, T.K.; Ji, X. Shpr-net: Deep semantic hand pose regression from point clouds. IEEE Access 2018, 6, 43425–43439. [CrossRef] [^24]: Li, Y.; Bu, R.; Sun, M.; Wu, W.; Di, X.; Chen, B. Pointcnn: Convolution on x-transformed points. In Proceedings of the Advances in Neural Information Processing Systems 31 (NeurIPS 2018), Montreal, QC, Canada, 3–8 December 2018. [^25]: Zhao, H.; Jiang, L.; Fu, C.W.; Jia, J. Pointweb: Enhancing local neighborhood features for point cloud processing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 5565–5573. [^26]: Liu, X.; Han, Z.; Liu, Y.S.; Zwicker, M. Point2sequence: Learning the shape representation of 3d point clouds with an attention-based sequence to sequence network. In Proceedings of the AAAI Conference on Artificial Intelligence, Honolulu, HI, USA, 27 January–1 February 2019; Volume 33, pp. 8778–8785. [^27]: Malik, J.; Elhayek, A.; Nunnari, F.; Varanasi, K.; Tamaddon, K.; Heloir, A.; Stricker, D. Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth. In Proceedings of the 2018 International Conference on 3D Vision (3DV), Verona, Italy, 5–8 September 2018; IEEE: New York, NY, USA, 2018; pp. 110–119. [^28]: Rezaei, M.; Rastgoo, R.; Athitsos, V. TriHorn-net: A model for accurate depth-based 3D hand pose estimation. Expert Syst. Appl. 2023, 223, 119922. [CrossRef] [^29]: Li, S.; Lee, D. Point-to-Pose Voting Based Hand Pose Estimation Using Residual Permutation Equivariant Layer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 15–20 June 2019; pp. 11927–11936. [CrossRef] [^30]: Wu, Y.; Ma, S.; Zhang, D.; Sun, J. 3D Capsule Hand Pose Estimation Network Based on Structural Relationship Information. Symmetry 2020, 12, 1636. [CrossRef] [^31]: Du, K.; Lin, X.; Sun, Y.; Ma, X. Crossinfonet: Multi-task information sharing based hand pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 9896–9905. [^32]: Zhao, H.; Jiang, L.; Jia, J.; Torr, P.H.; Koltun, V. Point transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 11–17 October 2021; pp. 16259–16268. [^33]: Wu, X.; Jiang, L.; Wang, P.S.; Liu, Z.; Liu, X.; Qiao, Y.; Ouyang, W.; He, T.; Zhao, H. Point transformer v3: Simpler faster stronger. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–22 June 2024; pp. 4840–4851. [^34]: Cheng, W.; Tang, H.; Gool, L.V.; Jeon, J.H.; Ko, J.H. HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 16–22 June 2024; pp. 2274–2284. [CrossRef] [^35]: Wang, Y.; Xu, H.; Heng, P.A.; Fu, C.W. Unihope: A unified approach for hand-only and hand-object pose estimation. In Proceedings of the Computer Vision and Pattern Recognition Conference, Denver, CO, USA, 3–7 June 2025; pp. 12231–12241. [^36]: Zhang, C.; Qi, Z.; Yuan, W.; Qi, W.; Yang, Z.; Su, Z. PCDM: Point Cloud Completion by Conditional Diffusion Model: C. Neural Process. Lett. 2025, 57, 51. [CrossRef] [^37]: Wang, Y.; Sun, Y.; Liu, Z.; Sarma, S.E.; Bronstein, M.M.; Solomon, J.M. Dynamic graph cnn for learning on point clouds. ACM Trans. Graph. TOG 2019, 38, 1–12. [CrossRef] [^38]: Hu, Q.; Yang, B.; Xie, L.; Rosa, S.; Guo, Y.; Wang, Z.; Trigoni, N.; Markham, A. Randla-net: Efficient semantic segmentation of large-scale point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13-19 June 2020: pp. 11108-11117. [^39]: Yan, X.; Zheng, C.; Li, Z.; Wang, S.; Cui, S. Pointasnl: Robust point clouds processing using nonlocal neural networks with adaptive sampling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 5589–5598. [^40]: Li, N.; Li, X.; Zhou, J.; Jiang, D.; Liu, J.; Qin, H. GeoHi-GNN: Geometry-aware hierarchical graph representation learning for normal estimation. Comput. Aided Geom. Des. 2024, 114, 102390. [CrossRef] [^41]: Zhu, X.; Du, D.; Chen, W.; Zhao, Z.; Nie, Y.; Han, X. Nerve: Neural volumetric edges for parametric curve extraction from point cloud. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 13601–13610. [^42]: He, K.; Zhang, X.; Ren, S.; Sun, J. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 770–778. ## [^43]: Sun, X.; Wei, Y.; Liang, S.; Tang, X.; Sun, J. Cascaded hand pose regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7–12 June 2015; pp. 824–832 --- [^44]: Tang, D.; Jin Chang, H.; Tejani, A.; Kim, T.K. Latent regression forest: Structured estimation of 3d articulated hand posture. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 23–28 June 2014; pp. 3786–3793. [^45]: Kingma, D.P.; Ba, J. Adam: A method for stochastic optimization. arXiv 2014, arXiv:1412.6980. 免责声明/出版商说明：所有出版物中所包含的陈述、观点和数据仅代表各作者及贡献者的个人立场，并不代表MDPI和/或编辑部的观点。对于因文中提及的任何理念、方法、说明或产品而导致的人身伤害或财产损失，MDPI和/或编辑部概不负责。