{
  "paper_id": "9dec85b9a3497bc8b3a8cdd6fdf71008",
  "paper_title": "HandDGP: Camera-Space Hand Mesh Prediction with Differentiable Global Positioning",
  "paper_authors": [
    "Eugene Valassakis",
    "Guillermo Garcia-Hernando"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2024 (Lecture Notes in Computer Science)",
  "abstract": "从单张RGB图像预测相机空间手部网格，对于在三维虚拟和增强世界中实现真实手部交互至关重要。以往工作通常将任务分为两个阶段：先根据裁剪的手部图像预测相对坐标网格，再在独立阶段将预测结果提升到相机空间，这往往会丢失宝贵的上下文和尺度信息。为避免这些线索丢失，论文提出将两个阶段统一为解决2D-3D对应问题的端到端方案。该方案通过新的可微全局定位模块，使梯度能够从相机空间输出反向传播到网络其余部分。论文还引入图像规整步骤，使训练数据集和输入图像如同由同一相机采集，以缓解问题固有的尺度-深度歧义。在三个公共基准上与多个基线和前沿方法的评估验证了该框架的有效性。\n",
  "keywords": [
    "相机空间手部网格估计",
    "基于RGB图像的手部与身体姿态形状",
    "3D到2D尺度歧义",
    "可微求解器"
  ],
  "paper_institutions": [
    "Niantic"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:30.362384Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究从单张RGB图像预测相机空间手部网格的问题，该能力对游戏、混合现实办公、遥操作、虚拟试穿以及三维虚实交互至关重要，但受手部关节结构、自遮挡、标注困难和单目2D-3D尺度深度歧义制约。已有方法通常先预测根节点相对网格，再通过RootNet、PnP/DLT或测试时优化等独立步骤提升到相机空间，学习被限制在相对空间，容易丢失上下文和尺度信息并造成误差累积。论文提出HandDGP，将相对网格学习与三维提升统一为端到端框架：网络基于MobRecon式结构输出2D关键点、根相对3D顶点和关键点置信度，再通过关节回归器获得与2D点对应的根相对3D关键点；可微全局定位模块依据针孔投影构造线性方程组 At=B，并以加权最小二乘求解相机空间根平移，核心机制为 v_i^cs=v_i^rel+t，闭式解为 t*=(A^T W^2 A)^-1 A^T W^2 B，从而使相机空间损失的梯度能够回传到2D-3D对应预测。论文还提出图像和相机参数规整，将训练与推理图像变换到统一规范相机空间，并将主点设为手部裁剪中心，推理后再映射回原始相机空间，以缓解尺度-深度歧义且不改变三维根平移。实验选用FreiHAND作为标准手部网格基准，用HO3D-v2检验严重手物遮挡，用Human3.6M并通过将MANO替换为SMPL验证向身体网格预测的迁移能力；采用CS-MJE/CS-MVE、Procrustes对齐后的RS-MJE/RS-MVE以及PCK AUC等指标。完整方法在FreiHAND、HO3D-v2和Human3.6M上的CS-MVE分别为46.3、50.3和162.0 mm，均优于消融版本和对比方法，其中FreiHAND较CMR改善2.6 mm，支持端到端梯度传播、图像规整和关键点置信度加权的有效性；图像规整会使相对空间误差略升约0.6 mm，但可换来约4 mm的相机空间改善。该方法的主要约束是单目绝对几何估计本质上是病态问题，模糊、视角变化、自遮挡和手物遮挡仍可能导致平移误差及手形补偿，未来需要利用场景几何、物体线索和新数据集发展上下文感知方法，突破仅裁剪孤立手部的性能天花板。\n\n### 关键要点\n\n- HandDGP将根相对手部网格预测与相机空间提升合并为端到端训练，而不是把根平移作为独立后处理。\n- DGP以2D关键点、由网格顶点经关节回归器得到的根相对3D关键点、相机内参和关键点置信度为输入，求解手部根节点在相机坐标系中的三维平移。\n- 对每个2D-3D对应，针孔投影可整理为关于平移向量 t 的线性约束；所有对应构成 At=B，DGP用可微最小二乘求解，使相机空间损失可以回传到2D和3D预测。\n- 权重解码器为每个关键点输出0到1之间的置信度，并在加权最小二乘中降低遮挡或不确定对应点的影响；移除预测权重后相机空间误差会上升。\n- 图像规整将训练图像和输入图像变换到统一规范相机空间，按焦距比例缩放并将主点设到手部裁剪中心，推理后再把预测映射回原始相机空间。\n- 框架沿用MobRecon的2D关键点和3D顶点解码流程并增加权重解码器，训练同时使用相对空间损失以及相机空间平移、关键点重投影和顶点投影损失。\n- 评估覆盖FreiHAND、HO3D-v2和Human3.6M，分别用于检验标准手部网格、严重手物遮挡以及从手部MANO模型迁移到身体SMPL模型的能力。\n- CS-MJE和CS-MVE以毫米为单位测量相机空间关节和顶点欧氏误差，RS-MJE和RS-MVE则通过Procrustes对齐衡量根相对重建质量。\n- 完整方法在三个基准上的CS-MVE分别为46.3、50.3和162.0 mm；相比无DGP的规整版本，CS-MVE分别降低2.7、35.1和17.3 mm。\n- 在FreiHAND上，HandDGP较CMR的CS-MVE降低2.6 mm；但图像规整会轻微损害相对空间指标，且单目尺度深度歧义、模糊、自遮挡和手物遮挡仍会造成三维平移误差。"
}