{
  "paper_id": "76af5cef968cd2dadde2f428cc70b06c",
  "paper_title": "A Simple Baseline for Efficient Hand Mesh Reconstruction",
  "paper_authors": [
    "Zhishan Zhou",
    "Shihao Zhou",
    "Zhi Lv",
    "Minqiang Zou",
    "Yao Tang",
    "Jiajun Liang"
  ],
  "publication_date": "",
  "publication_venue": "CVPR",
  "abstract": "手部网格重建近年来受到广泛关注，研究者提出了多种方法与技术。部分方法包含复杂组件和设计，虽然有效，却可能使模型复杂化并损害效率。本文将网格解码器解耦为令牌生成器和网格回归器。通过大量消融实验发现，令牌生成器应选择具有判别性和代表性的点，而网格回归器需要分多个阶段将稀疏关键点上采样为稠密网格。基于这些功能，模型可以用最少的计算资源实现高性能。本文据此提出一个简单而有效的基线，在保持实时效率的同时大幅优于现有先进方法，并在多个数据集上取得SOTA结果：在FreiHAND上PA-MPJPE为5.8mm、PA-MPVPE为6.1mm；在DexYCB上PA-MPJPE为5.5mm、PA-MPVPE为5.5mm。速度方面，使用HRNet时达到33 FPS，使用FastViT-MA36时达到70 FPS。代码将公开。\n",
  "keywords": [
    "手部网格重建",
    "单目RGB",
    "令牌生成器",
    "网格回归器",
    "关键点引导采样",
    "级联上采样",
    "MetaFormer",
    "实时推理"
  ],
  "paper_institutions": [
    "Jiiov Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:06.178466Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单目手部网格重建中复杂解码器组件增加模型复杂度、浪费计算资源并限制实时部署的问题，在FastMETRO、MobRecon、PointHMR、MeshGraphormer等工作的基础上，将网格解码器抽象为令牌生成器和网格回归器，并通过从最简结构逐步加入常用组件的消融实验揭示二者的核心结构：令牌生成器的关键是在合适分辨率上采样有判别性和代表性的点，网格回归器的关键是分阶段把稀疏关键点上采样为稠密网格。整体机制可表示为 $R(T(X_b))$，其中骨干网络提取图像特征 $X_b$，令牌生成器预测21个二维关键点并在 $H/8 \\times W/8$ 分辨率上进行点采样，网格回归器由三级解码层组成，单层计算为 $H_k(X_k)=U_k(MF_k(P_k(X_k)))$，将令牌数按21→84→336→778逐级扩展，并通过可学习位置嵌入 $X_k=X_k+emb_k$ 调节空间关系。实验以FreiHAND为主要基准并开展系统消融，以大规模手物数据集DexYCB验证泛化能力；实现上基于PyTorch，采用ImageNet预训练的HRNet64和FastViT-MA36，使用AdamW训练100个epoch，学习率由$5e-4$在50个epoch后降至$5e-5$，在8张RTX2080Ti上每卡batch size为32，且不使用TTA和TensorRT，以公平检验精度、速度和参数效率。训练采用顶点、三维关节和二维关节的L1监督，权重分别为10、10和1。结果表明，HRNet版本在FreiHAND上达到PA-MPJPE 5.8mm、PA-MPVPE 6.1mm、33 FPS，FastViT-MA36版本达到5.7mm、6.0mm和70 FPS，非骨干参数仅1.9M；在DexYCB上达到PA-MPJPE 5.5mm、PA-MPVPE 5.5mm、MPJPE 12.4mm、MPVPE 12.1mm，证明该简单结构在精度、速度和跨数据集泛化上的优势。该方法适用于实时单手捕捉等人机交互、AR/VR或机器人视觉场景，但论文未对遮挡等难题做专门优化，自遮挡、物体遮挡、极端光照、复杂交互和分布外情况仍是未来需要针对性设计的方向。\n\n### 关键要点\n\n- 论文将现有手部网格解码器统一分解为令牌生成器和网格回归器，并用消融实验识别二者的核心结构。\n- 令牌生成器预测21个二维关键点，并在 $H/8 \\times W/8$ 的高分辨率特征图上进行关键点引导点采样。\n- 对FastViT等分类风格骨干使用4倍反卷积上采样，对HRNet等分割风格骨干则直接使用对应分辨率的中间特征。\n- 网格回归器最佳配置包含三级解码层，输入令牌数为21、84、336，输出最终778个顶点令牌。\n- 每个解码层依次包含降维层、MetaFormer块和上采样层，形式为 $H_k(X_k)=U_k(MF_k(P_k(X_k)))$。\n- 论文在每个输出张量上加入可学习位置嵌入，无需手工拓扑规则或额外计算开销即可注入空间关系。\n- 训练损失由三维关节、二维关节和顶点L1损失组成，权重分别为10、1和10，因为二维关节主要用于引导采样。\n- FreiHAND包含130240个训练样本和3960个测试样本，DexYCB包含406888个训练样本和78768个测试样本。\n- 在FreiHAND上，FastViT-MA36版本达到PA-MPJPE 5.7mm、PA-MPVPE 6.0mm、F@05为0.772和70 FPS。\n- 在DexYCB上，方法达到PA-MPJPE 5.5mm、PA-MPVPE 5.5mm，并将非对齐MPJPE和MPVPE分别降至12.4mm和12.1mm。\n- 与METRO、MeshGraphormer和FastMETRO相比，该方法非骨干参数仅1.9M，同时精度更高，参数减少一到两个数量级。\n- 方法明确面向单手手势重建，在自遮挡、物体遮挡、极端光照、交互和分布外场景中仍可能失败。"
}