{
  "paper_id": "8369e9f82431bacf926f31ed88c1514c",
  "paper_title": "SHPR-Net: Deep Semantic Hand Pose Regression From Point Clouds",
  "paper_authors": [
    "Xinghao Chen",
    "Guijin Wang",
    "Cairong Zhang",
    "Tae-Kyun Kim",
    "Xiangyang Ji"
  ],
  "publication_date": "2018-08-06",
  "publication_venue": "IEEE Access",
  "abstract": "三维手部姿态估计是人机交互中的重要问题。多数现有基于深度的手部姿态估计方法通过二维或三维卷积神经网络处理二维深度图或三维体积。本文提出一种从点集进行手部姿态估计的深度语义手部姿态回归网络SHPR-Net，它由语义分割子网络和手部姿态回归子网络组成。语义分割网络为点集中的每个点分配语义标签；姿态回归网络通过输入融合与晚期融合策略结合语义先验，并回归最终手部姿态。网络还从点集中学习两个变换矩阵，分别用于变换输入点云和逆变换输出姿态，从而增强对几何变换的鲁棒性。在NYU、ICVL和MSRA手部姿态数据集上的实验表明，SHPR-Net取得了与先进方法相当的高性能。本文还表明该方法可自然扩展到多视角深度数据的手部姿态估计，并在NYU数据集上取得进一步提升。\n",
  "keywords": [
    "人机交互",
    "手部姿态估计",
    "深度学习",
    "机器学习",
    "点云"
  ],
  "paper_institutions": [
    "Department of Electronic Engineering, Tsinghua University",
    "Department of Electrical and Electronic Engineering, Imperial College London",
    "Department of Automation, Tsinghua University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:20.832277Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向人机交互、虚拟现实/增强现实所需的三维手部姿态估计，本文解决基于深度图的二维CNN输入输出域不一致、三维体素量化与显存开销，以及已有Hand PointNet依赖PCA朝向归一化和指尖后处理、未充分利用点与关节关系的问题。作者提出端到端SHPR-Net：SegNet执行逐点语义分割，RegNet回归三维关节；语义概率在RegNet输入层拼接，并在最后全连接阶段进行晚期融合；两个mini-PointNet（T-Net）从原始点云预测Tin和Tout，分别将点云变换到潜在规范空间、将预测姿态逆变换回原空间，并用L_im=||TinTout-I||²约束二者互逆，整体以L_total=L_reg+αL_im+βL_seg联合优化。实验选用ICVL、MSRA、NYU三个公开深度基准，以覆盖不同相机、受试者、手势、关节标注和视角条件；采用240mm立方体裁剪、Poisson Disk采样至4096点、坐标归一化到[-1,1]、在线旋转/缩放/平移增强，并在TensorFlow上用Adam训练，批大小32、初始学习率0.001、每10轮乘0.7、共100轮，用以验证模块在复杂姿态、噪声和视角变化下的泛化能力。评价指标为所有测试帧的平均三维关节误差以及所有关节均落在阈值内的合格帧比例；结果ICVL为7.22mm、MSRA为7.76mm、NYU单视角为10.78mm，整体与先进方法相当，NYU三视角融合降至9.37mm，支持语义融合、输入输出协同变换和多视角点云融合的有效性。该方法可用于手势识别和手部交互，但受手部裁剪、点采样、深度噪声、遮挡及多相机标定精度约束，三视角融合也会因标定不完美引入额外噪声；未来可设计更契合手部点云与关节关系的骨干网络。\n\n### 关键要点\n\n- SHPR-Net直接以点云为输入并端到端预测三维手部姿态，整体由语义分割网络SegNet和姿态回归网络RegNet组成，实验采用PointNet++作为点集特征提取骨干。\n- 训练所需的逐点语义标签由标注关节自动生成，即把每个点分配给距离最近的手部关节，SegNet据此用交叉熵损失学习逐点语义概率。\n- RegNet同时使用输入融合和晚期融合：输入阶段拼接点坐标与语义概率，全连接阶段再融合经全连接层变换的语义特征。\n- 两个T-Net分别预测三维输入变换矩阵Tin和输出变换矩阵Tout，使点云进入潜在规范空间，并将回归出的姿态变换回原始坐标空间。\n- 单位阵损失L_im=||TinTout-I||²显式约束Tout接近Tin的逆矩阵，避免普通输入变换在姿态回归任务中造成输入输出几何关系不一致。\n- 总训练目标为L_total=L_reg+αL_im+βL_seg，其中姿态回归使用smooth L1损失，所有实验设置α=0.001、β=0.001。\n- 预处理将深度像素转为世界坐标点云，用240mm立方体裁出手部区域，经Poisson Disk采样得到4096个点，并将点和姿态坐标归一化到[-1,1]。\n- ICVL包含330k训练样本和1596个测试样本、16个关节；NYU包含72k训练样本和8252个测试样本、评估使用14个关节；MSRA包含76k帧、9名受试者、17种手势和21个关节，并采用留一受试者交叉验证。\n- 在NYU三视角数据的变换消融中，无变换平均误差为15.07mm，输入与输出变换并加入单位阵损失后降至11.39mm，而仅加入输入或特征变换的收益有限甚至会退化。\n- 语义信息在PointNet骨干上将NYU三视角平均误差从11.39mm降至10.69mm，在PointNet++骨干上从10.31mm降至9.37mm；输入点数从512增至4096时误差由10.05mm降至9.37mm。\n- 将两个侧视角点云投影并融合到前视角后，PointNet++的NYU误差从10.78mm降至9.37mm，但融合点云会因相机标定不完美和深度噪声而带有更重噪声，因此多视角效果受标定与数据质量约束。"
}