{
  "paper_id": "9e5e44c58c73ae7a4daa0df2f2bbb728",
  "paper_title": "DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth",
  "paper_authors": [
    "Jameel Malik",
    "Ahmed Elhayek",
    "Fabrizio Nunnari",
    "Kiran Varanasi",
    "Kiarash Tamaddon",
    "Alexis Heloir",
    "Didier Stricker"
  ],
  "publication_date": "",
  "publication_venue": "2018 International Conference on 3D Vision (3DV)",
  "abstract": "关节化手部姿态与形状估计是增强现实、动画等视觉应用中的重要问题。与仅优化关节位置的现有方法不同，本文提出一种全监督深度网络，从单张深度图像中联合估计完整的三维手部网格表示和姿态。该方法使用CNN估计手部姿态、骨骼尺度和复杂形状参数，再通过嵌入深度框架的新型手部姿态与形状层生成三维关节位置和手部网格。为解决训练数据中手部形状变化不足以及真实数据人工标注不理想的问题，作者构建了SynHand5M百万级合成数据集，提供精确的关节标注、分割掩码和深度图对应的网格文件。在该数据集及NYU、ICVL两个公开基准上，方法在基于模型的混合方法中取得了更优结果；结合真实与合成数据的联合训练策略后，可在3.7毫秒内从真实图像恢复三维手部网格与姿态。\n",
  "keywords": [
    "三维手部姿态估计",
    "手部形状估计",
    "深度图像",
    "卷积神经网络",
    "手部姿态与形状层",
    "合成数据集",
    "前向运动学",
    "线性混合蒙皮"
  ],
  "paper_institutions": [
    "AV group, DFKI Kaiserslautern, Germany",
    "DFKI-MMCI, SLSI group, Saarbruecken, Germany",
    "NUST-SEECS, Pakistan"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:59.538566Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张深度图像中三维手部姿态与完整表面几何难以联合恢复、现有判别式方法多直接回归关节而缺乏运动学与几何约束、混合方法又常依赖固定或个性化手模型且对未见手形泛化不足的问题，本文提出全监督端到端框架DeepHPS。研究背景是真实数据集普遍存在手形变化少、网格顶点和分割标注昂贵、NYU与ICVL等基准缺少手部网格真值等限制；因此作者构建SynHand5M合成数据集，含450万训练图和50万测试图，提供关节角度、三维关节位置、网格顶点、手部部件分割和深度图，并通过7个形状参数、26个姿态自由度和3个视角自由度产生大范围变化，形状范围依据DINED人体测量数据调节以覆盖约99%的被测人群。方法先由基于REN的PoseCNN回归26维姿态增量δθ，再由两个较简单的ShapeCNN分别回归6维骨骼尺度α和7维形状参数β；新型可微手部姿态与形状层HPSL执行骨骼长度适配、可变形手模型重建、前向运动学和线性混合蒙皮，其核心形状机制可写为Ψ(β)=b0+Σ_{t=1}^{7}β_t(b_t−b0)，最终输出22个三维关节和1193个网格顶点，并以关节与顶点欧氏损失端到端监督。实验采用Caffe，深度块以手掌中心裁剪为96×96并归一化到[-1,1]，批量256，学习率1e-5，SGD动量0.9，在GTX 1080 Ti上单次前向仅3.7毫秒；这些设置验证了合成预训练对真实基准泛化的价值以及可微结构层联合约束姿态和表面的能力。评价指标包括三维关节位置误差、三维顶点位置误差和阈值内帧占比：在SynHand5M上DeepHPS关节误差为6.3毫米、顶点误差为11.8毫米，优于DeepModel的11.36毫米和HandScales的9.67毫米；在NYU上微调后误差为14.2毫米，在ICVL上微调后为9.1毫米，均优于当时代表性混合方法，并较直接在NYU、ICVL训练分别改善10.12%和13.3%。真实图像训练时使用合成与真实数据联合策略和16个共同关节，顶点损失仅在合成样本启用，因而能在NYU缺少网格真值且存在噪声、深度缺失和手指遮挡时给出合理的手形与姿态。该技术适用于增强现实、动画、人机交互、活动识别和用户意图建模等场景；主要约束是严重遮挡或大量深度缺失时可能失败，未来可扩展更广视角、物体交互、RGB图像以及精细手部表面细节，并进一步提升CNN混合方法的精度。\n\n### 关键要点\n\n- DeepHPS从单张深度图像同时估计22个三维手部关节和1193个手部网格顶点，手模型包含26个自由度。\n- PoseCNN基于Region Ensemble Network回归26维姿态增量，α-CNN和β-CNN分别输出6维骨骼尺度与7维形状参数。\n- 可微的HPSL集成骨骼长度适配、可变形手模型重建、前向运动学和线性混合蒙皮，并为反向传播计算相应梯度。\n- SynHand5M包含500万张合成深度图，训练/测试划分为450万/50万，并附带关节角度、三维关节、网格和部件分割真值。\n- 合成数据使用Manuel BastioniLAB手模型和模拟Creative Senz3D相机，渲染分辨率为320×240、对角视场角74度。\n- 7个形状参数的范围依据DINED等人体测量数据调节，目标是覆盖约99%的测量人群，同时避免生成不可能的手形。\n- 训练前将深度图以手掌中心和150毫米边界框裁剪为96×96，深度与标注均归一化到[-1,1]范围。\n- 在SynHand5M上，DeepHPS取得6.3毫米关节误差和11.8毫米顶点误差，优于DeepModel和HandScales并额外恢复完整网格。\n- 在NYU和ICVL上，合成预训练后微调的模型分别取得14.2毫米和9.1毫米关节误差，优于所列混合方法。\n- 真实与合成联合训练通过指示函数控制顶点损失，真实图像只反向传播关节损失，合成图像同时监督关节和顶点。\n- 模型在GTX 1080 Ti上单次前向需3.7毫秒，但在严重遮挡或大量深度信息缺失时仍可能给出错误姿态或形状。"
}