{
  "paper_id": "3567f7e6b870aaa9a24fe943302fe97e",
  "paper_title": "HGGT: Robust and Flexible 3D Hand Mesh Reconstruction from Uncalibrated Images",
  "paper_authors": [
    "Yumeng Liu",
    "Xiao-Xiao Long",
    "Marc Habermann",
    "Xuanze Yang",
    "Cheng Lin",
    "Yuan Liu",
    "Yuexin Ma",
    "Ligang Liu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "从图像中恢复高保真3D手部几何是计算机视觉中的一项关键任务，对机器人、动画和VR/AR等领域具有重要价值。可扩展的应用既要求精度又要求部署灵活性，需要能够利用来自互联网的海量非结构化图像数据，或能够在无需复杂标定的消费级RGB相机上部署。然而，当前方法面临两难境地：单视角方法易于部署，但受深度歧义和遮挡的影响；相反，多视角系统可以解决这些不确定性，但通常需要固定的、已标定的设置，限制了其实际应用。为弥合这一差距，我们从直接从视觉数据中学习显式几何的3D基础模型中汲取灵感。通过将任意视角的手部重建重新表述为视觉-几何接地任务，我们提出了一种前馈架构，首次在文献中从未标定视角联合推断3D手部网格和相机位姿。大量评估表明，我们的方法优于最先进的基准，并对非标定、野外场景展现出强大的泛化能力。",
  "keywords": [
    "3D手部网格重建",
    "非标定多视角",
    "前馈架构",
    "VGGT",
    "MANO模型",
    "相机位姿估计",
    "混合数据训练",
    "合成数据集",
    "视觉几何接地"
  ],
  "paper_institutions": [
    "University of Science and Technology of China",
    "Nanjing University",
    "Max-Planck-Institut für Informatik",
    "Macau University of Science and Technology",
    "Hong Kong University of Science and Technology",
    "ShanghaiTech University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:33:53.406481Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从非标定多视角图像中恢复高保真3D手部网格的问题：单视角方法（如HaMeR）易于部署但受深度歧义与遮挡制约，多视角方法（如POEM）虽能消除这些不确定性却依赖固定且已标定的相机设置，限制了实际应用。受DUSt3R、MASt3R、VGGT等3D基础模型启发，作者提出HGGT（Hand Geometry Grounding Transformer）——首个免标定多视角手部几何恢复的前馈框架，其核心机制为：VGGT聚合器提取多视角图像token与初始相机token后，可学习的手部token与相机token作为查询（Q），以编码的多视角图像特征为键值（K/V），经4个堆叠交叉注意力块迭代精炼，从而将手部几何表示与相机视角解耦；随后手部头部通过轻量MLP回归MANO参数（θ∈R^48、β∈R^10、t∈R^3）生成778个顶点与21个关节，相机头部为每个视角预测9维编码p_s=[T_s, q_s, f_s]（平移、四元数旋转、视场）。训练采用混合数据策略：约270万张野外单视角图像（HaMeR整理，含FreiHAND、HO3D、COCO WholeBody等）提供环境与光照多样性，约43.8万帧真实多视角数据（POEM整理，含DexYCB、HO3D、OakInk、ARCTIC、InterHand2.6M）提供高保真3D几何监督，以及基于GraspXL抓取交互、Objaverse物体与DART皮肤纹理渲染的合成数据集（85,683个训练集、每集10视角、共856,830张图像）弥补真实采集固定机位的视角多样性缺失，驱动模型学习内在几何不变性。模型约14亿参数，在8块NVIDIA A100上以PyTorch训练80,000次迭代约5天（AdamW、权重衰减0.05、BF16混合精度），并通过梯度累积与恒定图像预算B=⌊N_img/S⌋平衡单视角与多视角异构目标。评估采用MPJPE、MPVPE（毫米）及PCK曲线下面积（AUC），在根相对与Procrustes对齐设置下报告：HGGT在HO3D上PA-MPVPE为3.30mm、PA-MPJPE为3.33mm，甚至超过使用真值相机的POEM v2-large（4.59/4.13mm），且在免标定设置下全面超越VGGT+POEM基线，验证了联合推理架构与混合数据策略的有效性；消融实验进一步表明完全解冻VGGT骨干（MPJPE从26.41降至10.03mm）与引入合成数据（MPVPE从15.30降至9.98mm）是关键贡献。未来方向包括从非标定视角恢复度量尺度深度与集成端到端高效检测模块；当前局限为依赖现成2D检测器（ViTPose，额外约1.2秒/帧）且相机参数定义于归一化坐标空间。该方法面向机器人、动画与VR/AR等需在消费级RGB相机上灵活部署的真实场景，并在严重运动模糊与重度遮挡（8视角中仅2个可见）下保持鲁棒，推理仅需0.23秒/帧。\n\n### 关键要点\n\n- 提出首个免标定多视角手部几何恢复前馈框架HGGT，统一transformer架构联合估计相机位姿与手部网格，消除预标定或迭代优化的需求。\n- 核心机制：可学习手部token与相机token作为查询，经4个交叉注意力块从多视角图像特征中聚合几何线索，将手部几何表示与相机视角解耦，确保鲁棒估计。\n- 手部头部直接回归MANO参数（姿态θ∈R^48、形状β∈R^10、平移t∈R^3），经可微MANO层生成778×3顶点与21×3关节；相机头部为每个视角预测9维编码（平移3维、四元数旋转4维、视场2维）。\n- 训练数据混合三类来源：约270万张野外单视角图像（HaMeR整理）、约43.8万帧真实多视角数据（POEM整理，含DexYCB、HO3D、OakInk、ARCTIC、InterHand2.6M）与85,683个合成多视角图像集，分别提供环境多样性、几何监督与视角随机化。\n- 合成数据集基于GraspXL预计算抓取交互，使用Objaverse物体与DART真实感皮肤纹理渲染以最小化合成到真实的域差距，每集含10个渲染视角，共856,830张训练图像，并提供手部姿态、物体与手部掩码及深度图标注。\n- 训练采用梯度累积策略在单视角（S=1）与多视角（S∈[2,24]）步骤间交替累积梯度以模拟联合批次，遵循VGGT协议维持恒定图像预算并动态调整批大小B=⌊N_img/S⌋。\n- 实现细节：模型约14亿参数，8块NVIDIA A100 GPU，AdamW优化器（权重衰减0.05），80,000次迭代约5天，微批次32图像/GPU，4步梯度累积，学习率从1e-8线性预热至1e-6后余弦衰减。\n- 损失函数包含手部损失（MANO参数与3D关节，用指示函数处理缺失标注）、相机损失（仅多视角样本激活，含SO(3)测地距离）、重投影对齐损失与负深度惩罚，并对4个交叉注意力块施加指数递增（γ=0.6）的中间监督。\n- 主要结果：在HO3D-Mv上HGGT的PA-MPVPE为3.30mm、PA-MPJPE为3.33mm，超过使用真值相机的POEM v2-large（4.59/4.13mm）；在免标定设置下于DexYCB、InterHand、ARCTIC等多数基准上超越VGGT+POEM与Ours+POEM组合。\n- 消融实验：完全解冻VGGT骨干（1.37B可训练参数）相比冻结全部24层将HO3D上MPJPE从26.41mm降至10.03mm；加入合成数据将MPVPE从15.30mm降至9.98mm，归因于完美标注与多样姿态视角的正则化作用。\n- 直接将现成VGGT应用于多视角手部图像效果差（HO3D上MPVPE达56.07mm），因其相机估计被静态高纹理背景主导，无法捕捉小而弱纹理手部区域的细粒度几何一致性。\n- 局限与效率：依赖外部2D检测器（ViTPose）定位手部（额外约1.2秒/帧），且无法从非标定图像恢复腕部绝对度量深度；HGGT推理仅需0.23秒/帧，在严重运动模糊与重度遮挡（8视角中仅2个可见右手）下仍保持鲁棒。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}