{
  "paper_id": "49d017c0bfa546cebc824b6fb865bc91",
  "paper_title": "MaskHand: Generative Masked Modeling for Robust Hand Mesh Reconstruction in the Wild",
  "paper_authors": [
    "Muhammad Usama Saleem",
    "Ekkasit Pinyoanuntapong",
    "Mayur Jagdishbhai Patel",
    "Hongfei Xue",
    "Ahmed Helmy",
    "Srijan Das",
    "Pu Wang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "从单张RGB图像重建3D手部网格因复杂的关节运动、自遮挡和深度歧义而极具挑战性。传统判别式方法学习从2D图像到单一3D网格的确定性映射，往往难以应对2D到3D映射中固有的歧义。为解决这一挑战，我们提出MaskHand，一种新颖的用于手部网格恢复的生成式掩码模型，通过学习歧义2D到3D映射过程的概率分布并从中采样来合成合理的3D手部网格。MaskHand包含两个关键组件：(1) VQ-MANO，将3D手部关节编码为潜在空间中的离散姿态token；(2) 上下文引导掩码Transformer，随机掩码姿态token，并在损坏的token序列、图像上下文和2D姿态线索条件下学习其联合分布。学习到的分布便于推理时的置信度引导采样，产生低不确定性和高精度的网格重建。在基准和真实世界数据集上的广泛评估表明，MaskHand在3D手部网格重建中实现了最先进的精度、鲁棒性和真实感。项目网站：https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html",
  "keywords": [
    "手部网格重建",
    "生成式掩码建模",
    "VQ-VAE",
    "MANO",
    "置信度引导采样",
    "3D手部姿态估计",
    "概率建模",
    "Transformer"
  ],
  "paper_institutions": [
    "University of North Carolina at Charlotte"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:36:40.177012Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张RGB图像重建3D手部网格因复杂关节运动、自遮挡和深度歧义而极具挑战，而传统判别式方法（如METRO、MeshGraphormer、HaMeR）学习从2D图像到单一3D网格的确定性映射，难以处理遮挡、手物交互和极端视角下的固有歧义；现有生成式方法HHMR基于扩散模型，无法为各重建假设显式关联置信度。为此，本文提出MaskHand——首个利用生成式掩码建模的3D手部网格恢复框架，通过学习歧义2D到3D映射的概率分布并采样来合成高置信度的合理网格。其核心机制为：VQ-MANO利用VQ-VAE将MANO姿态参数θ∈R^48量化为64个离散姿态token（量化公式 ẑ_i=argmin_{c_k∈C}‖z_i−c_k‖_2 将连续嵌入映射至最近码本条目），上下文引导掩码Transformer则以余弦掩码比率 γ(τ)=cos(πτ/2) 随机掩码token，并在损坏token序列、图像特征与2D姿态线索条件下最小化负对数似然 L_mask=−E[Σ_{i∈[1,L]} log p(y_i|Y_M̄,X_2D,X_img)] 以学习token分布；推理时采用置信度引导迭代采样，保留高置信度token、重掩码不确定token，逐步精化重建。训练方面，tokenizer采用DexYCB、InterHand2.6M、MTC和RHD以覆盖多样手部姿态与交互，主模型遵循HaMeR设置在FreiHAND、HODv2、MTC、RHD、InterHand2.6M、H2O3D、DexYCB、COCO Wholebody、Halpe及MPII NZSL的混合数据上训练（FreiHAND与DexYCB评估则分别仅用其对应训练集），以验证数据集无关的泛化能力与真实手物交互下的鲁棒性。评估采用PA-MPJPE、PA-MPVPE、F@5mm/F@15mm、AUC_J、AUC_V、PCK及AITI等指标：HO3Dv3零样本评估中PA-MPJPE降低19.5%（至7.0mm）、PA-MPVPE降低15.7%，支持其数据集无关重建能力；FreiHAND上PA-MPJPE为5.5mm、F@5mm达0.801（均优于HaMeR与HHMR），验证高保真恢复；DexYCB上MPJPE降低9.1%、MPVPE降低10.9%，确认手物交互鲁棒性；HInt零样本遮挡关节评估中PCK@0.05在NewDays、VISOR、Ego4D上分别提升8.1%、21.2%、27.8%，且在80%和90%手部掩码下仍保持强性能，直接支持生成式掩码建模与置信度引导采样两项创新。进一步探索包括将图像编码器替换为CLIP文本编码器实现文本到网格生成（在ASL数据集上以Hausdorff距离0.0221、Chamfer距离9.73×10⁻⁵、PA-MPVPE 12.2mm评估）及无条件网格生成。该方法适用于机器人、人机交互、动画和AR/VR等真实场景，但需应对遮挡、极端视角与光照变化等约束，且迭代采样次数增加会提升精度却增加推理成本（AITI从1次迭代的0.04s增至5次的0.12s，NVIDIA RTX A5000）。\n\n### 关键要点\n\n- MaskHand是首个将生成式掩码建模用于鲁棒3D手部网格重建的框架，显式学习2D到3D概率映射，并通过从学习到的分布中采样合成高置信度、合理的3D网格。\n- VQ-MANO采用VQ-VAE将MANO姿态参数θ∈R^48离散化为64个姿态token，其上采样机制（16个MANO姿态扩展为64个token）增强空间细节并提升网格恢复精度，码本通过指数移动平均和周期性重置更新。\n- 上下文引导掩码Transformer由多尺度图像编码器（ViT-H/16）与掩码图transformer解码器组成，后者包含图形化解剖姿态精炼（GAPR）和上下文注入掩码合成器两个模块。\n- GAPR通过带固定手部骨架邻接矩阵的GCN处理OpenPose 2D关键点，与VQ-MANO姿态token融合后经可学习邻接矩阵的图transformer块精炼，并集成SE块以确保解剖一致的手部重建。\n- 上下文注入掩码合成器采用可变形交叉注意力，使每个姿态token聚焦于可学习参考点周围的采样点而非整个特征图，平衡计算效率与空间精度，并利用[MASK]token合成遮挡或未观测的手部区域。\n- 训练采用差分掩码建模：以余弦掩码比率γ(τ)=cos(πτ/2)随机掩码token并最小化负对数似然，同时通过期望近似差分采样（softmax(logits)×codebook得到平均量化特征）实现端到端训练，总损失结合掩码预测、3D关节、2D投影和MANO参数损失。\n- 推理采用置信度引导迭代采样：从全[MASK]序列出发，每轮随机采样预测token后将最低置信度token按余弦衰减调度重掩码，逐步精化模糊区域并提升预测置信度。\n- 训练数据涵盖DexYCB、InterHand2.6M、MTC、RHD（tokenizer）及FreiHAND、HODv2、H2O3D、COCO Wholebody、Halpe、MPII NZSL等（主模型），以覆盖多样手部姿态、手物交互和真实场景，验证泛化能力。\n- 在HO3Dv3零样本评估中，MaskHand将PA-MPJPE降低19.5%（至7.0mm）、PA-MPVPE降低15.7%（至7.0mm），F@5达0.663、AUC_J/AUC_V均达0.860，优于AMVUR、SPMHand等方法。\n- 在FreiHAND上达到PA-MPJPE 5.5mm、PA-MPVPE 5.4mm、F@5mm 0.801、F@15mm 0.991，在DexYCB上MPJPE降低9.1%（至11.7mm）、MPVPE降低10.9%（至11.2mm），均超越HaMeR、HHMR等SOTA方法。\n- 在HInt零样本遮挡关节评估中，PCK@0.05在NewDays、VISOR、Ego4D上分别提升8.1%、21.2%、27.8%，且在80%和90%手部区域被掩码的极端条件下仍保持强性能，证明其对严重遮挡的鲁棒性。\n- 迭代采样次数从1增至5可将PA-MPVPE从7.2降至7.0mm（HO3Dv3）、5.6降至5.4mm（FreiHAND），但AITI从0.04s增至0.12s（NVIDIA RTX A5000），存在精度与推理效率的权衡；此外框架可扩展至文本条件3D手部合成（ASL数据集上PA-MPVPE 12.2mm）。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}