{
  "paper_id": "fe2e208683d5c2fe3ce6cd8d2269ea94",
  "paper_title": "M3DHMR: Monocular 3D Hand Mesh Recovery",
  "paper_authors": [
    "Yihong Lin",
    "Xilai Wang",
    "Xianjia Wu",
    "Songju Lei",
    "Jianqiao Hu",
    "Xiandong Li",
    "Wenxiong Kang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE International Joint Conference on Biometrics (IJCB)",
  "abstract": "单目三维手部网格恢复因手部高自由度、二维到三维歧义和自遮挡而具有挑战性。现有方法要么效率较低，要么在直接预测三维网格顶点位置方面不够直接。为此，论文提出 M3DHMR 流水线，用于从单张图像直接估计手部网格顶点位置。该方法利用二维线索辅助三维任务，并采用由若干动态螺旋卷积（DSC）层和一个感兴趣区域（ROI）层组成的新型螺旋解码器；DSC 层根据顶点位置自适应调整权重，在空间和通道维度提取顶点特征，ROI 层利用物理信息，在每个预定义手部区域内分别细化网格顶点。在 FreiHAND 上的大量实验表明，M3DHMR 显著优于现有实时方法，代码已开放。\n",
  "keywords": [
    "单目三维手部网格恢复",
    "手部姿态估计",
    "动态螺旋卷积",
    "感兴趣区域层",
    "图卷积",
    "实时三维重建",
    "相机空间网格恢复",
    "FreiHAND"
  ],
  "paper_institutions": [
    "South China University of Technology",
    "Huawei Cloud",
    "Nanjing University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:31.116247Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目RGB图像中手部高自由度、2D到3D映射歧义和自遮挡导致的网格顶点定位难题，论文梳理了基于MANO等参数模型方法形状参数难优化、基于Transformer的顶点方法精度较高但难以实时、以及CMR与MobRecon等实时绝对坐标方法仍需提升精度的研究背景，提出M3DHMR直接恢复相机空间手部网格。该流水线以两级堆叠hourglass编码图像并回归2D关节点，通过网格采样获得姿态特征，再以可学习矩阵完成核心升维 F^m = M · F^p，随后由多个DSC层由粗到细生成多尺度顶点特征，并由ROI层结合手腕根节点估计输出相机空间坐标；DSC用K个共享尺寸的螺旋卷积核和两个卷积层加softmax生成归一化权重，按顶点位置自适应聚合空间与通道信息，ROI则将手分为手掌、拇指、食指、中指、无名指和小指六区，用扩张螺旋卷积仅在区域内细化以抑制跨区域低相关顶点影响。实验选用FreiHAND，因为它包含130240张训练图像和3960个评估样本，来自真实复杂姿态、自遮挡与物体遮挡场景，且同时标注高精度3D关键点和网格，可检验真实场景与实时相机空间恢复能力；训练采用batch size 32、Adam、38轮、初始学习率0.001并在第30轮除以10，配合随机缩放、旋转、平移和颜色抖动，基于PyTorch在单张RTX3090训练、RTX2080Ti推理。评价使用PA-MPJPE（PJ）、PA-MPVPE（PV）、5/15mm阈值F-score和FPS，ResNet34版M3DHMR在实时方法中取得6.5mm PJ、6.6mm PV、0.739 F@5、0.980 F@15和28 FPS，ResNet18版取得6.6mm、6.7mm、0.734、0.978和42 FPS，消融还证明K=8时DSC与ROI组合最优，支持自适应权重和分区细化两项创新。方法适用于VR/AR、人机交互和手势认证，可修复磨损污染或采集受限样本并补全不完整生物特征数据，但仍受单目深度模糊、遮挡和速度-精度权衡约束；未来计划引入VAE、扩散模型等数据分布先验缓解深度模糊。\n\n### 关键要点\n\n- M3DHMR以单张RGB图像为输入，先由两级堆叠hourglass网络生成编码特征并预测2D关节点，再用螺旋解码器回归根节点相对三维网格顶点，并借助CMR式根节点估计得到相机空间绝对坐标。\n- DSC层为每个卷积中心枚举0至n环邻域，设置K个同尺寸卷积核，通过两个卷积层和softmax得到和为1的核权重，从而随顶点位置动态调整螺旋卷积。\n- ROI层按形状和运动特性将手划分为手掌、拇指、食指、中指、无名指、小指六个物理区域，并利用扩张螺旋卷积的大感受野在各区域内部分别细化顶点。\n- 训练损失包括3D网格L1、2D姿态L1、法向、边长、3D一致性和2D一致性六项，用于保持表面法向、惩罚飞点并约束多视角预测一致。\n- FreiHAND含130240个训练样本和3960个评估样本，覆盖复杂姿态、自遮挡和物体遮挡，并且是论文所述唯一同时提供高精度3D关键点与网格模型标注的数据集。\n- 实验使用batch size 32、Adam优化器训练38轮，学习率从0.001开始并在第30轮除以10，增强方式含随机框缩放、旋转、平移和颜色抖动。\n- 消融实验中完整模型在核大小8时达到PJ 6.6mm、PV 6.7mm、F@5 0.734和F@15 0.978；移除ROI或DSC均使指标下降，说明二者互补。\n- DSC核数K在2、4、8、16中以K=8最佳；K过小自适应表达不足，K过大则可能过度关注细节而损害泛化。\n- 与实时方法相比，ResNet34版M3DHMR取得最低6.5mm PJ、最低6.6mm PV和最高0.739 F@5，F@15为0.980，速度为28 FPS；ResNet18版速度为42 FPS。\n- 定性结果显示方法可处理复杂姿态、自遮挡、物体遮挡、截断和弱光，但论文明确指出深度模糊仍未完全解决，后续将研究VAE和扩散模型等生成式先验。"
}