{
  "paper_id": "6a9225601979748d1c2465f1dfe2e57b",
  "paper_title": "Reconstructing Hands in 3D with Transformers",
  "paper_authors": [
    "Georgios Pavlakos",
    "Dandan Shan",
    "Ilija Radosavovic",
    "Angjoo Kanazawa",
    "David Fouhey",
    "Jitendra Malik"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "We present an approach that can reconstruct hands in 3D from monocular input. Our approach for Hand Mesh Recovery, HaMeR, follows a fully transformer-based architecture and can analyze hands with significantly increased accuracy and robustness compared to previous work. The key to HaMeR's success lies in scaling up both the data used for training and the capacity of the deep network for hand reconstruction. For training data, we combine multiple datasets that contain 2D or 3D hand annotations. For the deep model, we use a large scale Vision Transformer architecture. Our final model consistently outperforms the previous baselines on popular 3D hand pose benchmarks. To further evaluate the effect of our design in non-controlled settings, we annotate existing in-the-wild datasets with 2D hand keypoint annotations. On this newly collected dataset of annotations, HInt, we demonstrate significant improvements over existing baselines. We will make our code, data and models publicly available upon publication. We make our code, data and models available on the project website: https://geopavlakos.github.io/hamer/",
  "keywords": [
    "3D手部重建",
    "手部网格恢复",
    "Transformer",
    "Vision Transformer (ViT-H)",
    "MANO参数化手模型",
    "HaMeR",
    "HInt数据集",
    "单目图像",
    "2D/3D关键点标注",
    "真实场景姿态估计"
  ],
  "paper_institutions": [
    "UT Austin",
    "University of Michigan",
    "UC Berkeley",
    "New York University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:24.256186Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决从单目图像（含视频帧）中恢复三维手部网格的问题。以往方法（如FrankMocap、METRO、MeshGraphormer）受限于受控环境采集的小规模数据与较低模型容量，在真实场景中精度与鲁棒性不足。受NLP大语言模型（GPT-3/GPT-4）与视觉大模型（CLIP、SAM、HMR2.0）中“简单高容量模型+海量数据”趋势的启发，作者提出HaMeR——一种完全基于Transformer的手部网格恢复方法：输入RGB图像划分为patch后送入ViT-H主干网络，再由一个Transformer解码器头回归MANO参数化手模型的参数，其核心机制为学习映射 f(I)=Θ={θ, β, π}（θ∈R^48为姿态参数、β∈R^10为形状参数、π为相机参数），并通过投影 x=π(X)=Π_K(X+t) 将3D关节重投影到图像平面以施加2D监督。训练数据整合FreiHAND、HO3D、MTC、RHD、InterHand2.6M、H2O3D、DexYCB、COCO-WholeBody、Halpe与MPII NZSL共10个含2D或3D手部标注的数据集，合计270万样本（为FrankMocap训练集的4倍），之所以如此选择是因为大规模数据与高容量架构（ViT-H）的结合是性能跃升的关键，二者的独立与联合作用均通过消融实验得到验证；损失函数结合3D参数与关节监督、2D重投影损失以及对抗损失（对形状β、姿态θ及各关节角分别训练判别器），确保仅有2D标注时也能恢复自然手部姿态。为评估非受控场景，作者标注了HInt数据集（40.4K只手、21个2D关键点及遮挡标签、86.7%的手处于自然接触状态），来源涵盖YouTube视频、Epic-Kitchens VISOR与Ego4D自我中心视角，以补充现有基准在数据多样性与真实交互上的不足。在FreiHAND与HO3Dv2基准上，HaMeR以PA-MPJPE 6.0mm/7.7mm、PA-MPVPE 5.7mm/7.9mm、F@15mm 0.990/0.980等指标取得最优；在HInt上PCK@0.05较先前方法提升2-3倍，验证了数据与模型双重扩展带来的精度与鲁棒性创新。未来方向包括与遮挡鲁棒（HandOccNet）、高速推理及概率化（AMVUR）等正交方法结合，并应用于机器人、动作识别与手语理解等真实场景；约束方面，HInt仅能评估2D重投影精度，测试时需先检测手部边界框，且训练数据仅5%来自真实场景图像。\n\n### 关键要点\n- 方法核心：HaMeR采用完全Transformer化设计，ViT-H主干处理图像patch后由Transformer解码器回归MANO参数（姿态θ∈R^48、形状β∈R^10）与相机参数，实现单目3D手部网格重建。\n- 数据扩展：整合FreiHAND、HO3D、InterHand2.6M、DexYCB、COCO-WholeBody等10个含2D/3D手部标注的数据集，共270万训练样本，规模为FrankMocap的4倍，其中仅5%来自真实场景图像。\n- 损失设计：结合3D损失（参数与关节的L1/L2监督）、2D重投影损失（x=Π_K(X+t)）与对抗损失（对形状、姿态及各关节角训练判别器），保证仅有2D标注时也能恢复自然手部。\n- HInt数据集：为40.4K只手标注21个2D关键点及“存在”与“遮挡”标签，来源为New Days（12.0K）、VISOR（5.3K）、Ego4D（23.2K），86.7%的手处于自然接触状态，是首个提供2D手部关键点遮挡标注的数据集。\n- 标注质量：一致性检验显示90.5%的遮挡标签与100%的存在标签一致，94.6%的可见关键点偏移距离在0.25倍手掌长度以内；Ego4D子集中9.3K只手来自连续序列，可支持时序任务评估。\n- 3D基准结果：在FreiHAND上取得PA-MPJPE 6.0mm、PA-MPVPE 5.7mm、F@5mm 0.785、F@15mm 0.990；在HO3Dv2上取得AUC_J 0.846、PA-MPJPE 7.7mm、AUC_V 0.841、F@15mm 0.980，均达到当时最优。\n- 真实场景结果：在HInt基准上，全关节PCK@0.05分别为49.4（New Days）、44.4（VISOR）、40.3（Ego4D），较先前方法提升2-3倍，遮挡关节上的相对提升尤为显著。\n- 消融实验：从ResNet50+小数据的基础设计出发，单独扩大训练数据（4倍）或改用ViT-H高容量架构均可带来一致提升，二者结合的HaMeR以大幅优势取得最佳结果，验证了双重扩展的关键作用。\n- HInt训练效果：将HInt训练集纳入训练后，VISOR与Ego4D等自我中心数据上的性能明显提升（如VISOR全关节PCK@0.05从44.4升至56.5），弥补了此前真实场景自我中心手部标注的缺失。\n- 实现细节：测试时以手部边界框为输入，仅训练右手网络，左手通过镜像输入图像与输出网格处理；虽为单帧方法，应用于视频帧时仍能恢复时间上平滑一致的重建结果。\n- 适用约束：HInt仅能通过2D重投影评估3D方法；FreiHAND与HO3D等受控基准已趋饱和、改进幅度有限，真实场景评估更能反映不同视觉条件、视角与交互下的鲁棒性。\n- 应用前景：作者期望HaMeR的鲁棒性与精度能推动其在机器人、动作识别和手语理解等依赖3D手部估计的应用中落地，代码、数据与模型已公开。"
}