{
  "paper_id": "fdee408885feb4c09757795966b5a5ce",
  "paper_title": "Analyzing the Synthetic-to-Real Domain Gap in 3D Hand Pose Estimation",
  "paper_authors": [
    "Zhuoran Zhao",
    "Linlin Yang",
    "Pengzhan Sun",
    "Pan Hui",
    "Angela Yao"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文首次系统研究单目RGB三维手部姿态估计中的合成到真实域差距。尽管高真实感合成数据已使人脸识别和人体姿态估计仅依赖合成训练即可达到先进水平，但手部因严重自遮挡、物体遮挡、深度模糊、姿态与外观差异等因素仍存在明显域差。作者提出可控的高质量手部数据合成管线，结合NIMBLE手部模型、真实姿态分布、多样纹理、HDR动态背景与光照，并通过分解和组合前臂、物体等图像成分来分析各因素对预测的影响。研究在FreiHAND、Dex-YCB、HO3D-v2和MOW等数据集上评估，使用PA-MPJPE和PA-MPVPE衡量关节与顶点误差。实验表明，整合关键成分后，仅用合成数据训练的模型可接近真实数据训练精度，合成与真实混合训练还能提升域内和跨域泛化；研究同时指出骨架拓扑标签适配、物体遮挡先验和振幅谱增强的重要性。\n",
  "keywords": [
    "三维手部姿态估计",
    "合成到真实域差距",
    "合成数据",
    "手部图像合成",
    "振幅谱增强",
    "物体遮挡",
    "前臂",
    "手部骨架拓扑"
  ],
  "paper_institutions": [
    "The Hong Kong University of Science and Technology (Guangzhou), China",
    "Communication University of China, China",
    "National University of Singapore, Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:21.122216Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目RGB三维手部姿态估计对人机交互、AR/VR和计算机视觉应用十分关键，但真实三维标签采集昂贵，合成数据虽可免费生成标签，却不像人脸识别和人体姿态估计那样已能仅靠合成训练达到先进水平。针对手部仍存在显著合成到真实域差距的问题，本文开展首个系统性研究，构建可完全控制渲染要素的高质量合成管线，并从外观、姿态、物体遮挡和骨架拓扑四个方面分解合成图像。管线采用比MANO网格更精细的NIMBLE模型，输入姿态、形状和纹理参数生成几何与外观，从FreiHAND和Dex-YCB等真实数据拟合目标姿态，使用38个照片级纹理资产、669个室内外HDRI场景、动态光照和与目标数据集一致的相机参数，在Blender Cycles中渲染，从而在受控条件下验证各成分如何影响泛化。作者使用Grounding DINO和SAM从真实图像分割前臂与物体，并按核心组合机制 I_syñ = (1 - M_obj - M_arm) ⊙ I_syn + M_obj ⊙ I_real + M_arm ⊙ I_real 将其合入合成图像；实验以S²HAND为主要分析模型，并复现CMR、METRO、MeshGraphormer和simpleHand，采用PA-MPJPE与PA-MPVPE评估。结果显示，仅用SynFrei训练的五种方法分别达到真实数据训练性能的97%、91%、88%、91%和84%，域差约0.1厘米，SynDex上S²HAND也取得0.87厘米对0.86厘米的相近结果；前臂有助于定位腕部，振幅谱增强可在保持手部结构相位的同时提升频域鲁棒性，背景与纹理多样性、数据规模和真实姿态占比均在早期有效后出现饱和，加入物体遮挡可改善真实交互场景，VAE遮挡先验能修复高遮挡下的关节预测，而骨架拓扑不一致会使误差从1.02厘米升至1.28厘米，必须进行标签适配。真实与合成数据混合训练在FreiHAND、Dex-YCB、HO3D-v2、RHD和MOW上均改善域内及跨域表现，说明合成数据可作为真实数据的有效补充；未来可继续改进相机视角、背景变换、皮肤色调建模，并解决ControlNet等生成模型所产手部与网格提示不对齐的问题，以面向遮挡严重、物体未见、室内外环境变化和标签拓扑差异等实际约束。\n\n### 关键要点\n\n- 本文是首个针对三维手部姿态估计合成到真实域差距的系统性研究，通过可控渲染管线建立手部图像成分与预测结果之间的关联。\n- 合成管线采用NIMBLE手部模型，该模型具有5,990个顶点、9,984个三角面和25个关节，几何细节多于常用MANO模型。\n- 训练姿态通过两阶段拟合从MANO网格迁移到NIMBLE网格，并以FreiHAND和Dex-YCB的真实姿态分布为主要目标，以减少姿态分布干扰。\n- 渲染使用38个不同年龄、性别和种族的照片级手部纹理资产、669个室内外HDRI场景、动态光照和Blender Cycles光线追踪引擎。\n- 前臂和交互物体不直接重新渲染，而是用Grounding DINO检测边界框、SAM生成分割掩码，再从真实图像组合到合成图像中。\n- 实验使用FreiHAND和Dex-YCB作为目标真实数据集，HO3D-v2测试未见交互物体的跨数据集能力，MOW评估野外场景泛化。\n- 评价指标为Procrustes对齐后的PA-MPJPE和PA-MPVPE，分别以厘米衡量平均关节位置误差和平均顶点位置误差。\n- 仅用SynFrei训练时，S²HAND、CMR、METRO、MeshGraphormer和simpleHand分别达到真实数据训练性能的97%、91%、88%、91%和84%。\n- 移除前臂会使模型容易把手臂误判为腕部，移除振幅谱增强会使SynFrei和SynDex的PA-MPJPE分别增加0.09厘米和0.02厘米。\n- 合成数据规模在达到8×32,560帧后收益趋缓，背景和纹理多样性约在使用全部资产的50%时饱和，即约300个HDRI场景已较充足。\n- 仅使用5%的真实姿态合成数据即可达到约80%的最终性能，使用40%时可达97%，说明核心姿态配合多样外观足以学习有效手部表示。\n- 不做骨架标签适配会使PA-MPJPE从1.02厘米升至1.28厘米，而真实数据与合成数据混合训练可在多个域内和跨域测试集上持续降低误差。"
}