{
  "paper_id": "fbd4ec3f3265e8b141f37fa1f305c583",
  "paper_title": "Self-supervised 3D hand pose estimation through training by fitting",
  "paper_authors": [
    "Chengde Wan",
    "Thomas Probst",
    "Luc Van Gool",
    "Angela Yao"
  ],
  "publication_date": "2019-06",
  "publication_venue": "CVPR 2019",
  "abstract": "本文提出一种从深度图进行三维手部姿态估计的自监督方法。网络先用合成数据初始化，再在无标注真实深度图上通过最小化一组数据拟合项进行微调。方法以一组球体近似手部表面，设计可微手部渲染器，通过比较渲染深度图与输入深度图对齐估计结果；同时引入包含数据驱动项在内的先验，约束估计结果的运动学可行性。该方法无需大量标注训练样本，却可达到与当前监督方法相当的高精度，从而推进手部姿态估计的无监督学习。\n",
  "keywords": [
    "自监督学习",
    "三维手部姿态估计",
    "深度图",
    "模型拟合",
    "可微渲染",
    "全卷积网络",
    "多视角一致性",
    "变分自编码器",
    "运动学先验"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "National University of Singapore",
    "KU Leuven"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:00.544052Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图三维手部姿态估计中真实三维标签需动作捕捉、多视角跟踪或人工清洗，而合成数据又存在明显域漂移的问题，本文提出一种无需人工标注的自监督训练框架。相关工作通常依赖监督式全卷积网络、合成预训练或模型跟踪，本文则将判别式网络与无监督模型拟合耦合：先用在线生成的2000万张合成深度图初始化hourglass全卷积网络，并以随机噪声缓解渲染伪影，再在无标签真实深度图上把网络输出的41个球心三维坐标送入可微球体渲染器，通过比较渲染深度与输入深度反向传播网络参数，而非逐帧优化姿态。网络输出二维投影热图与隐深度图，并以softmax加权积分恢复三维坐标，退火因子α设为10；手部表面由手掌11个、每根手指6个共41个半径固定的球体表示，渲染采用正交光线求交和z向最小池化，即G(M)=min_j g(m^(j))。自监督损失包含模型到数据、数据到模型、多视角一致性等数据项，以及VAE、骨长和碰撞先验项，核心机制为L(θ)=L_m2d+λ1L_d2m+λ2L_multiview+λ3L_VAE+λ4L_bonelength+λ5L_collision。实验选用NYU手部姿态数据集，因为它是当时唯一公开的校准多视角深度数据集，包含3台同步PrimeSense相机采集的72757×3个训练帧和8252×3个测试帧，真实标签仅用于计算相机外参；另用2万张合成深度图检验泛化能力。评价采用所有关节和帧的平均三维位置误差，以及所有关节预测均低于某一阈值的成功帧比例。结果显示，纯合成网络在合成测试集上平均误差为6.76mm，但在NYU真实数据上升至27.85mm，加噪声后降至22.65mm；单视角自监督可降至17.79mm，完整多视角模型降至12.62mm，双堆叠模型为12.3mm，20mm阈值成功率为40.7%，增加约10%数据后平均误差为12.31mm、成功率升至44.3%。该方法在大于30mm阈值的成功帧比例上优于若干监督方法，并大幅领先已有无监督方法，但在20mm以内的严格标准和平均误差上仍不及FeatureMapping等最优监督模型，平均误差为12.6mm对7.4mm。其优势来自FCN球心检测、可微稠密拟合、多视角消歧和运动学先验；限制是需要校准多相机、不适用于自视角或用户大范围移动，球体近似难以表达细小几何误差，先验也不构成严格运动学约束。未来可结合域适应、个性化精细网格或逆运动学后处理，适用于AR、人机交互等深度手势理解场景，同时推理只需一次前向传播，效率高于逐帧优化的模型跟踪。\n\n### 关键要点\n\n- 方法将手部表面近似为41个半径固定的球体，其中手掌11个、每根手指6个，并把姿态估计直接转化为球心三维坐标估计。\n- 姿态网络采用单堆叠hourglass全卷积架构，输出二维热图和隐深度图，再通过softmax加权积分恢复x、y、z坐标，α设为10。\n- 可微渲染器对球体执行正交光线求交，并在所有球体间进行z向最小池化，从而生成可反向传播的渲染深度图。\n- 模型到数据项使用渲染深度与输入深度的L1距离，对输入深度图中的空洞较稳健；数据到模型项则以ICP式最近球面对齐处理未被渲染图解释的输入点。\n- 多视角监督假设相机已校准，通过跨视角投影评估拟合损失，并以各视角球心在标准坐标系中的中位数作为鲁棒平均，缓解手部自遮挡歧义。\n- 先验项包括预先训练且训练中固定的VAE姿态先验、骨长范围约束和球体自碰撞惩罚，用于提升估计姿态的运动学可行性。\n- 网络初始化阶段在线生成2000万张不同姿态和视角的合成深度图，并使用加随机噪声的合成数据作为后续自监督微调的起点。\n- NYU数据集包含3台校准同步PrimeSense深度相机的72757×3个训练帧和8252×3个测试帧；实验中真实标注仅用于相机外参，不用于人工姿态监督。\n- 纯合成模型在未见合成数据上平均误差仅6.76mm，但在真实NYU数据上达27.85mm，噪声增强后降至22.65mm，揭示了显著的合成到真实域漂移。\n- 消融实验显示单视角自监督平均误差为17.79mm，完整多视角模型为12.62mm；加入额外单视角数据可将20mm阈值成功率从22.5%提升到35.0%。\n- 完整方法在大于30mm阈值的成功帧比例上超过多种监督方法，并大幅领先先前无监督方法，但在20mm以下严格阈值和平均关节误差上仍弱于顶尖监督模型。"
}