{
  "paper_id": "3b9c556d1e1f76827fcd9d12a9a9664b",
  "paper_title": "AHRNET: ATTENTION AND HEATMAP-BASED REGRESSOR FOR HAND POSE ESTIMATION AND MESH RECOVERY",
  "paper_authors": [
    "Feng Zhou",
    "Pei Shen",
    "Ju Dai",
    "Na Jiang",
    "Yong Hu",
    "Yu-Kun Lai",
    "Paul L. Rosin"
  ],
  "publication_date": "",
  "publication_venue": "ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)",
  "abstract": "Estimating 3D hand pose and recovering the full hand surface mesh from a single RGB image is a challenging task due to self-occlusions, viewpoint changes, and the complexity of hand articulations. In this paper, we propose a novel framework that combines an attention mechanism with heatmap regression to accurately and efficiently predict 3D joint locations and reconstruct the hand mesh. We adopt a pooling attention module that learns to focus on relevant regions in the input image to extract better features for handling occlusions, while greatly reducing the computational cost. The multi-scale 2D heatmaps provide spatial constraints to guide the 3D vertex predictions. By exploiting the complementary strengths of sparse 2D supervision and dense mesh regression, our method accurately reconstructs hand meshes with realistic details. Extensive experiments on standard benchmarks demonstrate that the proposed method efficiently improves the performance of 3D hand pose estimation and mesh recovery. The reproducible recipes are available at https://github.com/SDiannn/AHRNET-Heatmap.",
  "keywords": [
    "Hand Pose",
    "Mesh Recovery",
    "Deep Learning",
    "Human-computer Interaction",
    "Heatmap"
  ],
  "paper_institutions": [
    "North China University of Technology",
    "Peng Cheng Laboratory",
    "Capital Normal University",
    "State Key Laboratory of Virtual Reality Technology and Systems, Beihang University",
    "Cardiff University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:34.718117Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张RGB图像估计3D手部姿态并恢复完整手部表面网格是人机交互、增强/虚拟现实与机器人应用中的关键任务，但自遮挡、视角变化与手部关节的复杂articulation使其极具挑战。早期基于模型的方法通过优化铰接手模型参数拟合观测，难以捕捉精细几何细节；近期基于Transformer的方法（如METRO、FastMETRO）虽输出更逼真，却面临计算资源消耗大、遮挡关节处理困难与训练数据受限等问题。为此，本文提出结合注意力机制与热图回归的AHRNet框架，由三大模块构成：高分辨率特征提取模块将各层低分辨率特征上采样后与前级高分辨率特征求和融合，缓解骨干网络层数加深导致的分辨率下降；多尺度热图模块通过顶点热图分支（N1=195）、关节热图分支（N2=21）与注意力特征分支（N3=512）经Resblock处理，将顶点与关节热图特征拼接后与经Softmax的转置注意力图矩阵相乘得到双尺度热图特征f_s作为Transformer查询，顶点热图特征另经全连接层变换为(1,B,512)的弱透视相机参数查询；多层Transformer编码器-解码器模块以全局特征为Key/Value、f_s为查询，借助交叉注意力捕获关节与网格顶点间的非局部关系，并采用渐进式注意力掩码聚焦不同距离阈值内的顶点与关节。训练核心机制为五项损失的加权总损失：L_total = W_vert×L_vert + W_j3d×L_j3d + W_j2d×L_j2d + W_v_hp×L_v_hp + W_j_hp×L_j_hp，平衡因子分别设为0.01、0.1、0.01、0.5、0.5。实验在FreiHand、RHD与DO三个标准基准上进行（涵盖合成与真实场景以验证准确性与泛化能力），采用PyTorch实现、Adam优化器、批大小8、GeForce 4090 GPU训练。结果显示，AHRNet在FreiHand上取得6.7mm PA-MPJPE与0.981 F@15mm，与最优方法几乎一致，但参数量仅52.3M（METRO为230.4M、FastMETRO为153.0M），推理时间约0.3×10²ms（对比0.51×10²ms与0.46×10²ms），FPS达32.29，效率提升约1.5倍，支撑了池化注意力与多尺度热图在降本增效上的创新；在RHD与DO上AUC of PCK分别达0.943与0.942，优于对比方法；消融实验证明三模块逐级叠加使PA-MPJPE从7.24mm降至6.74mm。作者还构建了游戏交互场景，用预测3D关节点驱动线性混合蒙皮手模型，演示低FPS下手指异常变形问题，凸显实时性约束；未来可进一步探索复杂背景、光照变化下的鲁棒性与实时虚拟交互应用，但需注意部分性能更优的方法因缺乏高质量网格数据或速度慢而不适用于虚拟环境交互任务。\n\n### 关键要点\n\n- 提出AHRNet框架，将注意力机制与热图回归结合，从单张RGB图像同时预测3D关节位置并恢复手部网格，在公开数据集上达到与最先进方法相当的性能且效率更高。\n- 高分辨率特征提取模块将低分辨率特征上采样后与前级高分辨率特征求和融合，解决Swin-Transformer等骨干网络层数增加导致特征分辨率持续下降的问题，助力Transformer回归3D关节与网格顶点坐标。\n- 多尺度热图模块包含顶点热图分支（N1=195）、关节热图分支（N2=21）与注意力特征分支（N3=512），顶点与关节热图特征拼接后与经Softmax的转置注意力图矩阵相乘得到双尺度热图特征，作为后续Transformer的顶点查询与关节查询。\n- 多层Transformer编码器-解码器模块以全局特征为Key/Value、双尺度热图特征为查询，通过交叉注意力捕获手部关节与网格顶点间的非局部关系，并采用渐进式注意力掩码方案聚焦不同距离阈值内的顶点与关节。\n- 训练采用五个损失函数（顶点损失、3D关节损失、2D关节损失、顶点热图损失、关节热图损失），总损失为各损失的加权和，平衡因子分别设为0.01、0.1、0.01、0.5、0.5。\n- 实验基于PyTorch实现，使用Adam优化器、批大小8、GeForce 4090 GPU训练，并在FreiHand、RHD、DO三个标准基准数据集上评估，验证方法的准确性与效率。\n- 在FreiHand数据集上，AHRNet-cls-S24取得6.7mm PA-MPJPE与0.981 F@15mm，与FastMETRO（6.5mm）几乎一致，但FPS达32.29，远高于METRO的19.55与FastMETRO的21.88。\n- 模型参数量仅52.3M，显著低于METRO的230.4M与FastMETRO的153.0M；推理时间约0.3×10²ms，优于两者的0.51×10²ms与0.46×10²ms，整体效率提升约1.5倍。\n- 在RHD与DO数据集上，AHRNet的AUC of PCK分别达到0.943与0.942，优于Zhang等、Cui-GCN等对比方法。\n- 消融实验显示，逐级加入多层Transformer编码器-解码器模块、高分辨率特征提取模块与多尺度热图模块后，PA-MPJPE从基线的7.24mm逐步降至6.74mm，F@15mm从0.978升至0.981。\n- 作者构建了简单游戏交互场景，用预测的3D关节点驱动手的线性混合蒙皮模型，演示低FPS下手指异常变形问题，凸显高效率对虚拟交互的重要性。\n- 部分性能更优的方法因无法获取高质量手部网格数据或处理速度慢而不适用于虚拟环境交互任务；AHRNet还在复杂背景与光照变化条件下进行了额外实验验证鲁棒性。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}