{
  "paper_id": "30eb5f9a0b89d8b0524a0c42585d73d1",
  "paper_title": "GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB",
  "paper_authors": [
    "Franziska Mueller",
    "Florian Bernard",
    "Oleksandr Sotnychenko",
    "Dushyant Mehta",
    "Srinath Sridhar",
    "Dan Casas",
    "Christian Theobalt"
  ],
  "publication_date": "2018-06",
  "publication_venue": "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文解决仅基于单目RGB序列进行实时三维手部跟踪这一高难度问题。该跟踪方法将卷积神经网络与三维运动学手部模型相结合，能够很好地泛化到未见过的数据，对遮挡和变化的相机视角具有鲁棒性，并产生解剖学合理且时间平滑的手部运动。为训练CNN，作者提出一种新的合成训练数据生成方法，其基础是几何一致的图像到图像翻译网络。具体而言，使用神经网络将合成图像翻译为“真实”图像，使生成图像遵循与真实手部图像相同的统计分布。为训练翻译网络，作者将对抗损失、循环一致性损失与几何一致性损失相结合，以在翻译过程中保留手部姿态等几何属性。实验表明，该手部跟踪系统在具有挑战性的仅RGB视频上优于当前最先进方法。\n",
  "keywords": [
    "三维手部跟踪",
    "单目RGB",
    "实时跟踪",
    "GeoConGAN",
    "图像到图像翻译",
    "生成对抗网络",
    "卷积神经网络",
    "运动学骨架拟合",
    "遮挡鲁棒性",
    "合成数据域适应"
  ],
  "paper_institutions": [
    "MPI Informatics",
    "Saarland Informatics Campus",
    "Stanford University",
    "Univ. Rey Juan Carlos"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:37.507130Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度相机或多视角系统成本高、部署受限，而现有单目RGB方法多只能输出二维关节或根节点相对三维位姿、在遮挡和深度模糊下不可靠的问题，本文提出首个可从无约束单目RGB视频跟踪全局三维手部姿态的实时系统。其核心是先用几何一致的图像到图像翻译网络GeoConGAN缩小合成域与真实域差异：该网络以CycleGAN的synth2real和real2synth双向映射、对抗损失和循环一致性损失为基础，并引入基于剪影交叉熵的几何一致性损失，使翻译后图像仍保持手部姿态，从而继承合成图像廉价且精确的三维关节标注。训练数据包括绿幕采集的7名不同肤色与手形受试者、28,903张640×480网络摄像头真实图像，以及融合SynthHands第一视角和自行渲染第三视角的合成图像；白底前景分割可降低翻译学习难度，背景与物体掩膜用于后续数据增强，最终形成超过26万帧带三维关节标注的RGB数据。RegNet约440,000个训练样本中60%为GANerated图像、其余为合成图像，用于验证域迁移对真实泛化的作用。RegNet基于ResNet50改造的10个残差块，联合回归21个关节的二维热图和根节点相对三维坐标，并通过可微ProjLayer将中间三维结果正交投影为二维高斯热图以融合两类预测；随后将预测拟合到含腕根和20个指关节的运动学骨架，核心机制为最小化能量 E(Θ)=E_2D(Θ)+E_3D(Θ)+E_limits(Θ)+E_temp(Θ)，其中二维项依据相机内参数约束投影并恢复全局平移，三维项约束根相对关节以消除深度模糊，关节角限制保证解剖合理性，时间项约束常速运动，全局旋转还通过正交Procrustes问题从当前三维预测初始化。实验在Stereo、Dexter+Object、EgoDexter等公开数据上采用PCK评估：Stereo消融中纯合成训练的3D PCK@50mm约0.55，GANerated训练提升至约0.80，ProjLayer还能进一步提升精度；按10序列训练、2序列测试的协议，该方法优于现有方法，即使未在Stereo上训练也超过部分方法；在Dexter+Object与EgoDexter上二维PCK显著优于Zimmermann和Brox，尤其在物体遮挡场景。普通桌面摄像头实时采集和YouTube社区视频的定性结果验证了其在VR/AR、人机交互等无约束场景的可用性。本文同时指出，与手部外观相似的背景、靠近或交互的多只手会导致检测不稳定，且RGB方法在Dexter+Object上平均误差约5 cm，仍高于RGB-D方法约2 cm；显式分割、交互手或多人手跟踪以及进一步缩小精度差距是后续探索方向。\n\n### 关键要点\n\n- GeoConGAN在CycleGAN的对抗损失和循环一致性损失之外增加几何一致性损失，通过剪影约束确保合成到真实的图像翻译不改变手部姿态。\n- 真实手部图像集在绿幕环境下采集，包含7名不同肤色和手形受试者的28,903张640×480网络摄像头图像，并采用白底前景分割。\n- 合成数据结合SynthHands第一视角图像和自行渲染的第三视角图像，具有精确三维关节真值，并提供背景和物体掩膜用于增强。\n- RegNet基于含10个残差块的ResNet50结构，联合预测21个手部关节的二维热图和根节点相对三维坐标。\n- ProjLayer将中间三维预测正交投影并生成二维高斯热图，使二维与三维预测在网络内部相互约束，消融实验表明该层可提高精度。\n- RegNet使用约440,000个样本训练，其中60%为GANerated图像；三维真值以中指MCP关节为原点，并将腕到中指MCP的距离归一化为1。\n- 运动学骨架拟合同时优化二维投影误差、根相对三维误差、关节角限制和时间平滑项，以获得全局三维、解剖合理且时间稳定的姿态。\n- 系统通过30帧二维预测估计用户特定骨长；单目RGB存在全局尺度模糊，只有提供一根骨骼的公制长度才能得到公制三维结果。\n- 在Stereo数据集上，纯合成训练的3D PCK@50mm约为0.55，GANerated训练约为0.80；按10序列训练、2序列测试的协议，本文方法优于现有方法。\n- 在Dexter+Object和EgoDexter上，本文方法的二维PCK优于Zimmermann和Brox；由于缺少根关节标注，这些数据集无法报告三维PCK。\n- 方法可在普通RGB摄像头实时运行并处理YouTube社区视频，但在手部颜色接近背景、多只手靠近或相互交互时仍可能跟踪失败。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}