{
  "paper_id": "7f50bd1ee640e4ffbfddccb00dbc3ff8",
  "paper_title": "Adaptive Curve-Guided Convolution for Robust 3D Hand Pose Estimation from Corrupted Point Clouds",
  "paper_authors": [
    "Lihuang She",
    "Haonan Sun",
    "Hui Zou",
    "Hanze Liang",
    "Xiangli Guo",
    "Yehou Chen"
  ],
  "publication_date": "2025-10-22",
  "publication_venue": "Electronics, 2025, 14(21): 4133",
  "abstract": "三维手部姿态估计在人机交互和计算机视觉领域已取得显著进展，但真实场景中的手部点云常因部分遮挡、传感器噪声和环境干扰而出现结构畸变，导致传统点云方法性能明显下降。为此，本文提出一种基于曲线拟合的鲁棒三维手部姿态估计框架，集成自适应采样（AS）模块和手部曲线引导卷积（HCGC）模块。AS模块根据局部密度与解剖重要性动态选择具有结构信息的关键点，缓解畸变区域的采样偏差；HCGC模块沿手指生成引导曲线，并采用动态动量编码和交叉抑制策略保持解剖连续性、捕获细粒度几何特征。在MSRA、ICVL和NYU数据集上的大量实验表明，在30%至50%固定缺失比例的局部点移除以及噪声干扰下，该方法持续优于现有先进方法，平均鲁棒曲线面积（RCA）为30.8，优于TriHornNet等方法。尽管该框架面向受损点云优化，但在完整数据集上也取得了具有竞争力的精度，表明鲁棒性增强并未损害一般性能。\n",
  "keywords": [
    "3D手部姿态估计",
    "受损点云",
    "曲线引导卷积",
    "自适应采样",
    "鲁棒几何建模"
  ],
  "paper_institutions": [
    "东北大学计算机科学与工程学院，中国沈阳 110169"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:25.762899Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现实场景中深度传感器生成的手部点云常因遮挡、抖动和环境干扰出现局部缺失、高斯噪声与密度不均，而PointNet、PointNet++、注意力或图卷积方法以及HandPointNet等多面向理想点云，缺少沿手指解剖曲线进行结构修复的能力，且缺乏统一的畸变评估协议。为此，论文提出HCGCNet：先将深度图分割并归一化到有向包围盒坐标系，再采样为1024点；AS模块通过KNN、自注意力和逐点MLP重加权位置与特征，并依据局部密度、邻域协方差特征值近似的曲率以及解剖重要性，提高关节、指尖等低密度高曲率区域的采样权重；随后堆叠8个HCGC层，以核心残差机制 F^(l+1)=F^(l)+HCGC(F^(l),P) 分层学习局部到全局特征。HCGC的曲线分组通过关节敏感评分和Top-K选择起点，利用Gumbel-Softmax进行可微行走，结合动态动量描述符保持手指连续性，并通过方向余弦交叉抑制减少曲线重叠和偏离；曲线聚合则利用注意力池化提取曲线内与曲线间特征，经MLP降维后线性融合。实验选用MSRA、ICVL和NYU以覆盖不同关节标注、视角和手势复杂度，KNN近邻数设为64，Top-K分别设为20、25、30，采用Adam优化器、初始学习率0.001、批大小32、权重衰减0.0005，并进行z轴旋转、0.9至1.1缩放和±10 mm平移增强；在30%、40%、50%局部点缺失以及σ=0.02、0.03、0.04高斯噪声下，以MPJPE、RCA和RG衡量精度衰减与相对增益。完整点云上平均关节误差分别为7.43 mm、6.56 mm和10.07 mm；缺失条件下平均RCA为30.8，低于TriHorn-Net的33.0，平均RG为10.8；噪声条件下平均RCA为18.1、RG为2.8。消融显示移除AS会使三数据集误差分别增加0.65 mm、0.69 mm和1.55 mm，完整HCGC显著优于传统特征提取和仅曲线分组。模型约需25 GFLOPs，在NVIDIA RTX 4090上单样本推理约12 ms，适用于点云质量不稳定的VR/AR、人机交互和机器人操作等实时场景；但在手部大面积完全遮挡、点云极度稀疏或训练未见的异常姿态下仍可能失效，未来可引入时序信息、自监督或域适应学习，并扩展到多手及手物交互场景。\n\n### 关键要点\n\n- AS模块先由FPS获得初始点，再通过KNN、自注意力和逐点MLP重定位并加权邻域坐标与特征，以降低噪声和缺失造成的采样偏差。\n- 该采样将低密度、高曲率以及手指关节、指尖等解剖关键区域作为重点，使网络在畸变区域仍保留足够的结构线索。\n- HCGC以残差方式堆叠8层，核心关系为 F^(l+1)=F^(l)+HCGC(F^(l),P)，可在稳定梯度传播的同时分层聚合局部到全局特征。\n- 曲线分组阶段用关节敏感评分和Top-K选择起点，Top-K在MSRA、ICVL、NYU中分别设为20、25、30，以平衡关节覆盖与计算开销。\n- 曲线行走利用Gumbel-Softmax在邻域中进行可微选择，并结合特征相似度和解剖权重，使曲线能沿手指自然弯曲方向延伸。\n- 动态动量编码累积历史曲线描述符，交叉抑制依据曲线方向与候选方向的夹角降低重叠和偏离，二者共同增强缺失条件下的解剖连续性。\n- 曲线聚合阶段通过注意力池化得到曲线内和曲线间特征，经独立MLP降维后线性融合，突出关节、指尖等判别性区域。\n- 实验在MSRA、ICVL、NYU三个基准上进行，输入统一为1024点，KNN近邻数K=64，并采用z轴旋转、0.9至1.1缩放和±10 mm平移增强。\n- 鲁棒性协议模拟手指区域30%、40%、50%固定比例点缺失，另添加标准差0.02、0.03、0.04的高斯噪声，以贴近遮挡和传感器抖动。\n- 完整点云上，方法在MSRA、ICVL、NYU的平均关节误差分别为7.43 mm、6.56 mm、10.07 mm，保持了与先进方法竞争的精度。\n- 缺失实验中所提方法平均RCA为30.8，低于TriHorn-Net的33.0，平均RG为10.8；噪声实验中平均RCA为18.1、RG为2.8，说明性能衰减更小。\n- 消融表明AS替换为FPS后三数据集误差分别增加0.65 mm、0.69 mm、1.55 mm，完整HCGC也优于仅曲线分组和传统特征提取，但极端遮挡、极度稀疏和未见异常姿态仍是应用约束。"
}