{
  "paper_id": "15dab1d8fac7cce4d49c6b54bbc19fcf",
  "paper_title": "End-to-end Hand Mesh Recovery from a Monocular RGB Image",
  "paper_authors": [
    "Xiong Zhang",
    "Qiang Li",
    "Hong Mo",
    "Wenbo Zhang",
    "Wen Zheng"
  ],
  "publication_date": "2019",
  "publication_venue": "CVPR 2019",
  "abstract": "In this paper, we present a HAnd Mesh Recovery (HAMR) framework to tackle the problem of reconstructing the full 3D mesh of a human hand from a single RGB image. In contrast to existing research on 2D or 3D hand pose estimation from RGB or/and depth image data, HAMR can provide a more expressive and useful mesh representation for monocular hand image understanding. In particular, the mesh representation is achieved by parameterizing a generic 3D hand model with shape and relative 3D joint angles. By utilizing this mesh representation, we can easily compute the 3D joint locations via linear interpolations between the vertexes of the mesh, while obtaining the 2D joint locations with a projection of the 3D joints. To this end, a differentiable re-projection loss can be defined in terms of the derived representations and the ground-truth labels, thus making our framework end-to-end trainable. Qualitative experiments show that our framework is capable of recovering appealing 3D hand mesh even in the presence of severe occlusions. Quantitatively, our approach also outperforms the state-of-the-art methods for both 2D and 3D hand pose estimation from a monocular RGB image on several benchmark datasets.",
  "keywords": [
    "手部网格恢复",
    "单目RGB图像",
    "3D手部姿态估计",
    "参数化手部模型",
    "MANO",
    "端到端训练",
    "重投影损失"
  ],
  "paper_institutions": [
    "Y-tech, Kwai",
    "State Key Laboratory of VR, Beihang University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:29.066486Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对从单张RGB图像重建人手完整3D网格的问题，提出端到端的HAMR（HAnd Mesh Recovery）框架。与以往依赖深度相机或多视角图像的2D/3D手部姿态估计研究（如多视角自举、逆运动学求解、几何一致性规则、跨模态变分方法）以及单目人脸/人体网格恢复研究（3DMM、SMPL）不同，HAMR通过参数化通用3D手部模型MANO定义网格表示，核心机制为 M(β,θ)=W(T(β,θ),J(β),θ,W)，其中 T(β,θ)=T̄+B_S(β)+B_P(θ)，β为形状参数、θ为相对3D关节角度；由此3D关节位置可通过网格顶点线性插值获得，2D关节位置由弱透视相机模型投影3D关节得到，进而定义可微分重投影损失使框架端到端可训练。框架由2D姿态估计模块（Stacked Hourglass网络）、迭代回归模块（回归相机参数θ_cam与网格参数θ_mesh）与网格恢复部分组成，并辅以轮廓一致性损失（利用逆图形学渲染掩码与真实轮廓对齐）、手指几何约束、相机参数监督与热图中间监督，总损失为各项加权和。实验在RHD（合成数据集，41258训练/2728测试样本，用于大规模多样化评估）、STB（真实立体手部跟踪基准，用于真实场景验证）与Dexter（含物体交互与遮挡，用于跨数据集泛化评估）上进行，采用PyTorch实现、RMSprop优化器（初始学习率2×10^-4）在GeForce GTX TITAN Xp GPU上端到端训练。评估指标为不同阈值下PCK的AUC：HAMR在更复杂多样的RHD上达到当时最优，在性能饱和的STB上与最优方法相当，在Dexter上大幅超越现有方法，验证了参数化手部模型对解决透视歧义与遮挡问题的关键作用；消融研究进一步确认网格模型、相机监督、几何损失与轮廓约束各自的贡献。未来可沿手部网格恢复与姿态估计方向继续推进。该方法适用于人机交互、虚拟/增强现实等仅有单目RGB图像的现实场景，但受限于高质量3D手部标注数据匮乏及合成数据到真实图像的域偏移问题。\n\n### 关键要点\n- 提出HAMR框架，从单张RGB图像端到端恢复人手完整3D网格，并将2D与3D手部姿态估计作为副产品统一输出。\n- 采用MANO参数化手部模型，以形状参数β（PCA系数，刻画手指粗细与手掌厚度等属性）和姿态参数θ（K个关节的相对3D旋转，Rodrigues向量表示）定义网格表示。\n- 3D关节位置由网格顶点线性插值计算，2D关节位置通过弱透视投影获得，二者与真实标注构成可微分重投影损失，使框架能利用大量不完整标注的2D/3D训练样本。\n- 框架由三部分组成：2D姿态估计模块采用Stacked Hourglass网络输出64个热图（多于21个关节以缓解透视歧义）；迭代回归模块以图像特征与当前参数为输入迭代精化相机与网格参数；网格恢复部分生成最终网格与关节位置。\n- 引入轮廓一致性损失L_seg，利用逆图形学技术从重建网格渲染掩码并以L1损失惩罚其与真实轮廓的错位，防止网格仅拟合关节位置而忽略手部表面。\n- 设计手指几何约束（相邻四关节共面且旋转方向一致），经拉格朗日乘子法转化为正则项L_geo，但消融实验显示其改进有限，因为参数化模型已隐含手部固有几何属性。\n- 训练数据包括RHD（合成，41258训练/2728测试样本）、STB（六种背景的真实序列）与Dexter（物体交互序列，用于跨数据集泛化评估），数据增强含缩放0.9-1.2、旋转±60°、颜色抖动与高斯噪声。\n- 实现细节：PyTorch端到端训练，RMSprop优化器，初始学习率2×10^-4并在验证损失平台期以0.7因子衰减，超参数λ_3D=1000、λ_2D=1、λ_geo=1、λ_cam=0.1、λ_ht=100、λ_seg=10，运行于GeForce GTX TITAN Xp GPU。\n- 定量评估采用AUC of PCK指标：在复杂多样的RHD上取得当时最优结果，在性能饱和的STB上与所有对比方法相当，在Dexter上大幅超越多数最优方法。\n- 跨数据集泛化实验（RHD与STB训练、Dexter无微调测试）中，2D姿态估计AUC优于对比方法，且在手指被遮挡或高动态范围光照下仍能重建高质量网格。\n- 消融研究验证：引入参数化网格模型显著提升手部姿态估计性能，相机参数监督、几何损失与轮廓约束均带来一定改进。\n- 方法适用于人机交互与虚拟/增强现实等仅有单目RGB图像的现实场景，但面临高质量3D手部标注数据缺乏与合成数据域偏移的约束。"
}