{
  "paper_id": "52fdf08d770dc4032bb03d6920582994",
  "paper_title": "Cross-modal Deep Variational Hand Pose Estimation",
  "paper_authors": [
    "Adrian Spurr",
    "Jie Song",
    "Seonwook Park",
    "Otmar Hilliges"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition",
  "abstract": "人类手部运动复杂且高维，仅凭图像估计三维手部姿态颇具挑战。本文提出通过生成式深度神经网络学习一个由跨模态训练潜空间表示的统计手部模型。方法从VAE框架的变分下界推导目标函数，联合优化由此产生的跨模态KL散度与后验收重建目标，自然形成一种训练机制，使RGB图像、2D关键点检测或三维手部构型等多种模态共享一致的潜空间，并直接支持半监督学习。该潜空间可用于从RGB图像估计三维手部姿态，在不同设置下优于现有方法；同一方法无需修改即可用于深度图像，并达到与专用方法相当的性能。模型还具有完全生成能力，可合成跨模态一致的手部构型。作者在RGB和深度数据集上评估了该方法，并对潜空间进行了定性分析。\n",
  "keywords": [
    "手部姿态估计",
    "跨模态学习",
    "变分自编码器",
    "潜空间",
    "生成模型",
    "RGB图像",
    "深度图像",
    "半监督学习",
    "深度学习"
  ],
  "paper_institutions": [
    "ETH Zurich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:27.474953Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目RGB图像中三维手部姿态因手部高维灵巧运动、自相似与对称性、遮挡、光照变化及缺乏准确尺度而难以估计的问题，本文在生物力学表明手部自然运动位于低维有效子空间、而现有RGB方法通常将检测与二维到三维提升拆分且缺少显式手部模型的背景下，提出一种跨模态变分自编码器，通过共享潜空间z统一嵌入RGB、2D关键点、3D关节位置和深度图像；其核心机制是由变分下界得到的跨模态目标 E_{z~q(z|x_i)}[log p(x_t|z)] - D_KL(q(z|x_i)||p(z))，其中q(z|x_i)将任意输入模态编码为高斯后验，p(x_t|z)将潜变量重建为任意目标模态，联合重建项与KL散度可使相似姿态不受模态影响地相互靠近并支持多对多映射、无监督辅助编码解码对和半监督训练。实验选用RHD与STB检验RGB和2D到3D能力：RHD为含42k训练图和2.7k评估图的合成数据集，视角、姿态、尺度、背景、噪声、模糊和遮挡更复杂，STB含15k训练图和3k测试图、遮挡与变化较少，二者共同验证方法在困难和较易RGB场景中的表现；深度实验使用ICVL、NYU和MSRA，以检验同一架构不经专用设计能否泛化到深度输入。实现上采用较小的ResNet-18编码RGB和深度图像，转置卷积构成图像解码器，线性层与ReLU构成2D/3D编解码器，并以ADAM、学习率1e-4训练；四种编解码组合用于验证额外自重建或目标模态重建的正则化作用。评价采用平均三维关节端点误差EPE、PCK以及深度任务常用的PCF，结果显示RHD上2D到3D最佳误差为17.14 mm、RGB到3D为19.73 mm，分别优于Zimmermann和Brox的22.43 mm与30.42 mm，STB上RGB到3D为8.56 mm并略优于8.68 mm，深度结果在NYU、ICVL和MSRA上与专用方法相当，半监督设置利用无标签图像可使预测准确率最高改善约22%，潜空间插值还能生成同步且物理合理的RGB与3D姿态。这些结果支持共享潜空间既能正则化姿态后验、又不损害判别性能的创新点；未来可进一步探索用生成样本扩充标注数据、服务混合式时序跟踪，实际场景包括AR/VR、机器人、康复和人机交互，但仍受数据集运动覆盖、遮挡、尺度、合成图像域差异以及STB性能饱和等因素约束。\n\n### 关键要点\n\n- 方法从VAE变分下界推导出跨模态目标，使输入模态x_i和目标模态x_t通过共享潜变量z解耦。\n- 多个编码器可分别处理RGB、深度、2D关键点和3D关节，多个解码器则从同一z重建不同模态。\n- 训练时迭代优化各编码解码对，损失由输出重建MSE和约束后验接近标准正态先验的KL散度组成。\n- RGB与2D实验在RHD和STB上进行，RHD更具视角、姿态、尺度、噪声和遮挡挑战，STB则相对简单。\n- 深度实验覆盖ICVL、NYU和MSRA，并遵循NYU使用14个评估关节、MSRA留一交叉验证等协议。\n- 研究使用平均3D端点误差、PCK和深度任务的PCF作为主要评价指标。\n- 变体比较显示辅助模态带来的整体差异较小，Var.3在RHD的2D到3D和STB的RGB到3D上最佳，说明共享潜空间不会损害性能并可起正则化作用。\n- 在RHD上，本文方法将2D到3D误差从22.43 mm降至17.14 mm，将RGB到3D误差从30.42 mm降至19.73 mm。\n- 在STB上，本文RGB到3D误差为8.56 mm，略优于对比方法的8.68 mm，但较小提升反映该数据集可能已接近性能饱和。\n- 同一架构只需将输入改为单通道深度图即可用于深度姿态估计，并在多个深度基准上与专用深度方法表现相当。\n- 半监督实验中，带图像自重建的Var.3能够利用无标签数据，在STB上随无标签数据增加最高获得约22%的准确率改善。\n- 潜空间插值可同步生成一致的RGB图像和3D关节姿态，表明流形平滑且具有物理合理性，但方法仍受遮挡、尺度、数据覆盖和合成图像噪声等条件限制。"
}