{
  "paper_id": "9f30544b221a2ab0962ed9628dffaaa6",
  "paper_title": "SO-HandNet: Self-Organizing Network for 3D Hand Pose Estimation with Semi-supervised Learning",
  "paper_authors": [
    "Yujin Chen",
    "Zhigang Tu",
    "Liuhao Ge",
    "Dejun Zhang",
    "Ruizhi Chen",
    "Junsong Yuan"
  ],
  "publication_date": "",
  "publication_venue": "2019 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "三维手部姿态估计最近取得了显著进展，卷积神经网络在其中发挥了关键作用。然而，现有多数基于卷积神经网络的手部姿态估计方法高度依赖训练集，而在训练数据中标注三维手部姿态既费力又耗时。受自组织网络SO-Net中的点云自编码器启发，本文提出SO-HandNet，旨在以半监督方式利用未标注数据获得准确的三维手部姿态估计。该方法利用手部特征编码器从手部点云中提取多层特征并进行融合，再由手部姿态估计器回归三维手部姿态；同时设计手部特征解码器，从编码特征中恢复输入点云。由于手部特征编码器和解码器无需三维手部姿态标注即可训练，因此该方法能够在训练阶段充分利用未标注数据。在四个具有挑战性的基准数据集上的实验验证，所提出的SO-HandNet能够通过半监督学习取得优越的三维手部姿态估计性能。\n",
  "keywords": [
    "三维手部姿态估计",
    "半监督学习",
    "点云",
    "自组织网络",
    "深度图像",
    "手部特征编码器",
    "手部特征解码器",
    "Chamfer距离"
  ],
  "paper_institutions": [
    "Wuhan University",
    "Nanyang Technological University",
    "State University of New York at Buffalo",
    "China University of Geosciences"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:16.511609Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图三维手部姿态估计中现有卷积或三维卷积方法高度依赖逐帧关节标注、三维体素表示内存和计算开销较大，而已有半监督生成方法存在流形映射难训练、合成数据与真实数据存在域差异、未能充分利用深度图三维信息等问题，论文提出SO-HandNet。该方法将单张手部深度图根据相机内参转换为三维点云，采样1024个点并归一化到有向包围盒坐标系，同时使用点的三维坐标和表面法向量，以降低手部朝向差异并提升层次化点特征提取的稳定性。手部特征编码器借助8×8自组织映射和k近邻关联建模点云空间分布，生成点特征、节点特征和全局特征；手部姿态估计器融合全局与节点特征并回归三维关节坐标；手部特征解码器在训练阶段通过全连接分支和反卷积分支重建点云。其核心半监督机制为：无标注样本使用Loss_t1=Loss_D优化手部特征编码器和解码器，标注样本使用Loss_t2=λLoss_E+Loss_D优化整个网络，其中Loss_D是衡量重建点云与输入点云差异的双向Chamfer距离，Loss_E是预测关节与真实关节之间的欧氏姿态损失。论文在ICVL、MSRA、NYU和HANDS 2017四个公开基准上进行验证，选用这些数据集可检验不同关节数、不同受试者、不同视角和大规模数据下的泛化能力；评价指标包括所有测试帧的逐关节平均三维误差以及最大关节误差低于阈值的好帧比例。结果显示，ICVL全标注条件下本文方法平均误差为7.7mm，仅次于V2V-PoseNet的6.3mm，但测试模型仅16.6M参数并达到约58fps，显著优于V2V-PoseNet的457.5M参数和3.5fps；在ICVL上仅使用25%、50%、75%标注数据时，半监督训练相比使用相同标注量的监督训练分别改善13.2%、11.7%和0.7%，在HANDS 2017上使用10%标注数据时平均误差由40.03mm降至24.65mm，并在多个误差阈值上取得优于Crossing Nets等半监督方法的好帧率。这些结果支持自组织空间分布建模、节点特征融合和点云重建能够增强低标注场景下的几何表征能力。该方法适用于人机交互、计算机图形学、虚拟现实和增强现实等实时深度感知场景，主要约束是需要深度相机及内参、点云采样与法向量计算、有向包围盒归一化，实验未使用数据增强，且解码器只参与训练不参与测试；后续可进一步探索跨数据集泛化、严重自遮挡与手物交互、降低解码器训练开销，以及同合成数据或弱标注信息结合。\n\n### 关键要点\n\n- 方法输入为单张手部深度图，先将其转换为三维点云，再采样1024个点并归一化到有向包围盒坐标系，网络输入同时包含三维坐标和表面法向量。\n- 手部特征编码器基于自组织映射进行层次化特征提取，实验采用8×8映射和k=3的点到节点k近邻搜索，以显式建模点云空间分布。\n- 手部姿态估计器融合编码器产生的多层特征；在ICVL上的自比较表明，全局特征加节点特征的v1融合效果最好，加入点特征反而轻微损害性能。\n- 手部特征解码器包含全连接和反卷积两个并行分支，前者独立生成点以描述复杂结构，后者利用空间连续性生成几何更一致的点。\n- 无标注训练样本只计算点云Chamfer损失并优化编码器和解码器，标注样本同时计算Chamfer损失和关节欧氏姿态损失以优化整个网络。\n- 实验使用ICVL、MSRA、NYU和HANDS 2017四个公开数据集，分别覆盖16、21、14和21个关节等不同评测设定。\n- 评价指标包括逐关节及所有关节的平均三维欧氏误差，以及最大关节误差低于给定阈值的好帧所占比例。\n- 在ICVL上使用25%、50%、75%标注数据时，半监督训练相比同标注量监督训练分别带来13.2%、11.7%和0.7%的性能改善。\n- 在HANDS 2017数据集上仅使用10%标注数据时，半监督模型15轮后的平均误差为24.65mm，优于全监督模型的40.03mm。\n- 全标注ICVL实验中本文方法平均误差为7.7mm，虽高于V2V-PoseNet的6.3mm，但测试阶段仅需16.6M参数、速度约58fps，更适合实时应用。"
}