{
  "paper_id": "d0f1b5a51c650ccaad8d370b245eb671",
  "paper_title": "A Dual-Branch Self-Boosting Framework for Self-Supervised 3D Hand Pose Estimation",
  "paper_authors": [
    "Pengfei Ren",
    "Haifeng Sun",
    "Jiachang Hao",
    "Qi Qi",
    "Jingyu Wang",
    "Jianxin Liao"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Image Processing",
  "abstract": "尽管深度神经网络推动了3D手部姿态估计的发展，但多数基于学习的方法需要大量耗时的标注数据。本文提出一种用于从深度图像进行自监督3D手部姿态估计的双分支自提升框架。首先，采用简单有效的图像到图像翻译技术，从合成数据生成逼真深度图像以进行网络预训练；其次，提出双分支网络，以解耦方式执行3D手部模型估计和像素级姿态估计。通过部件感知模型拟合损失，网络可根据手部模型与未标注真实图像之间的细粒度差异进行更新；通过分支间损失，两个互补分支可在自监督学习中持续相互提升。此外，采用精炼阶段更好地利用估计手部模型中的先验结构信息，以获得更准确、鲁棒的估计。该方法无需配对多视角图像即大幅超越以往自监督方法，并取得与强监督方法相当的结果；利用其再生的姿态标注还可显著提升基于骨架的手势识别性能。\n",
  "keywords": [
    "3D手部姿态估计",
    "自监督训练",
    "3D手部模型",
    "手势识别"
  ],
  "paper_institutions": [
    "北京邮电大学",
    "北京邮电大学网络与交换技术国家重点实验室"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:15.720821Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图像3D手部姿态估计中真实3D标注采集昂贵、合成数据与真实深度图存在域差距，以及现有自监督方法在单分支中耦合模型参数回归与像素级姿态回归而损害精度或灵活性、且常需配对多视角数据的问题，论文在自监督方法通常采用“合成数据预训练—未标注真实数据微调”的研究背景下提出双分支自提升框架DSF。该框架先从BigHand2.2M随机采样41.3万个手部姿态，借助MANO模型和可微渲染生成带精确关节与网格标注的合成深度图，并在线增强形状、尺度和全局旋转；再以CycleGAN进行无配对图像翻译，其深度一致损失在手内掩膜区域随机选取15%像素约束深度差，在手外掩膜区域抑制背景伪影，同时通过姿态引导信息丢弃模拟真实深度孔洞。微调阶段，像素级估计分支PWE用3D热图和单位3D方向向量场进行密集回归并以AWR解码关节，模型参数估计分支MPE回归MANO的姿态、形状、尺度等参数；核心部件感知数据到模型项可写为 L_pd2m = Σ_j Σ_{i∈I_j^xyz} min_{v∈V_j} Smooth_L1(I_{j,i}^xyz, V_{j,v})，即依据PWE产生的关节语义分割和网格蒙皮权重，只拉近相同语义的深度点与网格顶点，从而感知关节级细粒度偏差。分支间损失中PWE直接向MPE提供关节伪标签，M2P则依据模型到数据、数据到模型和部件拟合阈值筛选可靠关节，避免不准确伪标签造成训练崩溃；自适应碰撞损失用半径可随关节与网格距离调整的球体减少手指自交，精炼阶段再把模型关节和渲染深度重参数化为像素级特征，与前期PWE特征共同输入第二阶段。实验选择NYU作为主要定量数据集，因为它具有多视角和较准确标注；ICVL与MSRA因标注错误较多仅作定性分析，SHREC与DHG用于验证再生骨架对下游手势识别的价值，并以Kinect V2测试新场景；手部图像被裁剪为128×128、深度归一化至[-1,1]，翻译网络使用Adam，姿态网络使用AdamW，预训练和微调均训练约15个epoch，微调时混入合成数据以稳定优化。采用平均关节误差AJE、成功率SR、跨视角平均关节误差CAJE和自交体积评估，DSF-MPE在NYU上的AJE为10.45 mm，较此前最优自监督方法MM-SV的16.96 mm降低38.4%，也低于使用配对多视角数据的SM-MV的12.26 mm；在未参与训练的View 2和View 3上，误差分别降至13.31 mm和13.89 mm，支持其跨视角泛化能力。手势识别中DG-STA-DSF在SHREC 14类、28类上分别取得96.8%和95.0%，在DHG 14类、28类上分别取得96.3%和95.9%，其中DHG 28类较DG-STA基线提升7.9个百分点。运行时仅使用PWE可达200 FPS，双分支同时运行可达105 FPS，加入精炼阶段仍可达27 FPS。未来需要重点改进复杂姿态叠加局部深度缺失时的失效问题；实际应用还受手部区域裁剪、深度相机噪声和单目深度歧义约束，适用于人机交互、VR/AR、手语理解和手势识别等需要免标注适配新设备、新主体与新视角的场景。\n\n### 关键要点\n\n- DSF将3D手部姿态估计解耦为PWE和MPE两个分支：前者以全卷积结构回归3D热图与方向向量场，后者回归MANO模型的姿态、形状和尺度参数。\n- 合成训练数据由BigHand2.2M中的41.3万个姿态驱动MANO模型并可微渲染获得，同时带有精确的3D关节和网格标注。\n- 图像翻译模块以CycleGAN为基础，并通过手内、手外掩膜构成的深度一致损失减少手部深度偏移和背景伪影。\n- 姿态引导信息丢弃机制会在所选关节附近按3D距离移除深度像素，以模拟真实深度图中的孔洞并增强数据多样性。\n- 部件感知模型拟合损失只匹配具有相同关节语义的深度点和网格顶点，比普通最近点匹配更能反映食指等局部关节的偏移。\n- 分支间损失包含PWE到MPE和MPE到PWE两项，其中MPE向PWE提供的伪标签需通过全局与部件拟合阈值筛选。\n- 自适应碰撞损失在手部网格中放置半径可自适应调整的球体，并惩罚不应发生的球体重叠，以降低手指自交。\n- 精炼阶段将MPE估计的关节和渲染深度重参数化为热图、方向场等像素级特征，与PWE特征融合后输出更准确的姿态和模型。\n- NYU用于主要定量评估并测试三个视角，ICVL和MSRA因标注错误较多主要用于定性分析，SHREC和DHG用于手势识别验证。\n- 在NYU上，DSF-MPE以10.45 mm的AJE大幅超越MM-SV的16.96 mm，也优于使用配对多视角数据的SM-MV的12.26 mm。\n- 使用DSF再生骨架后，DG-STA在SHREC和DHG上的识别精度均显著提升，DHG 28类设置达到95.9%。\n- DSF在RTX 3090上可实现200 FPS、105 FPS或27 FPS的不同配置速度，但在复杂姿态伴随局部深度缺失时仍可能失败，且测试时需要手部区域裁剪。"
}