{
  "paper_id": "97a058e758951b0097ad23bd8d05b64a",
  "paper_title": "3D-AMTA: Occlusion-Aware Real-Time 3D Hand Pose Estimation with Auto Mask and Token-Specific Attention",
  "paper_authors": [
    "Dongfang Zhao",
    "Menghe Zhang",
    "Yangwen Liang",
    "Shuangquan Wang",
    "Kee-Bong Song",
    "Donghoon Kim"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "由于遮挡和高自由度关节活动，从单张RGB图像理解手部运动极具挑战性。本文提出3D-AMTA，一个带有自动掩码和Token特定注意力的基于Transformer的框架，用于遮挡感知的3D手部姿态估计（HPE）。我们提出两项新颖的架构增强：面向高遮挡场景的自动掩码，以及面向细粒度手部关节活动的Token特定注意力。这些模块可无缝集成到基于Transformer的架构中，增强交互系统的实时性能。为了在机器人和嵌入式平台上实现高效部署，我们提出3D-AMTA-Mobile，一个针对设备端处理优化的轻量级变体。它在NVIDIA RTX 2080Ti-GPU上达到267 FPS的同时保持高精度，非常适合资源受限的机器人应用。在FreiHAND和HO3D上的广泛评估表明，我们的方法在准确性、效率和推理速度方面始终优于现有最先进方法。这些进步为交互式机器人和基于AR的遥操作提供了鲁棒的手部感知。",
  "keywords": [
    "3D手部姿态估计",
    "遮挡感知",
    "Transformer",
    "自动掩码",
    "Token特定注意力",
    "实时推理",
    "手部网格重建",
    "移动端部署"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:51.544888Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张RGB图像进行3D手部姿态估计（HPE）因遮挡和高自由度关节活动而极具挑战：现有CNN、GCNN与Transformer方法（如Graphormer）中的标准注意力会不加区分地聚合特征，使遮挡区域的误差传播至整个手部表征，且多数方法忽略真实场景中的非对齐手部姿态问题。本文提出基于Transformer的遮挡感知框架3D-AMTA，其核心机制为Token特定注意力——不同于标准自注意力对所有token共用同一权重矩阵（V_t = X_t W^V），其为每个token分配独特权重矩阵 V_t = X_t W_t^V，以自适应变换特征并捕捉细粒度关节变化；同时设计Auto Mask模块，通过置信度估计自动生成遮挡掩码（以平均置信度为阈值），并借助MANO模板的图邻接矩阵动态更新掩码，在编码前抑制不可靠特征。为支持资源受限平台部署，还提出轻量变体3D-AMTA-Mobile（VAN-B0骨干、2至4层编码器、渐进特征压缩512→256→64→16）。方法在FreiHAND与HO3Dv3数据集上评估——两者均包含复杂关节活动、多视角和重度遮挡的真实场景，可验证遮挡鲁棒性与非对齐泛化能力；训练采用L1损失（3D顶点）与L2损失（3D/2D关节和顶点）、AdamW优化器、8块NVIDIA A100 GPU。指标方面，3D-AMTA在FreiHAND对齐类别达到PJ 0.58cm、PV 0.59cm、F@5 0.772、F@15 0.987，优于HaMuCo、MobRecon与Graphormer；在HO3Dv3非对齐类别达到PJ 2.30cm、F@5 0.308，优于Graphormer（PJ 2.80cm）；Mobile版本以12.65M参数、1.30 GFLOPs在RTX 2080Ti上实现267 FPS，验证了Auto Mask与Token特定注意力对精度和效率的双重贡献（消融显示TA降低PJ误差0.013cm、AM进一步降低0.02cm，且AM宜用于前两个编码器）。未来方向包括视频手部跟踪的时序建模、扩展至人机交互与遥操作。实际应用面向机器人抓取、AR遥操作和智能手机端（VisibleHands应用支持前后摄像头与多样光照），但需应对深度歧义、尺度变化和嵌入式算力等约束。\n\n### 关键要点\n\n- 3D-AMTA采用CNN骨干（HRNet-w64）提取图像特征，结合MANO手部模板输入12层Token特定注意力编码器（每层4个MHSA头），从单张RGB图像估计3D手部关节与网格顶点。\n- Auto Mask模块通过置信度估计生成每个关节/顶点的置信分数，以全部置信度的平均值为阈值生成掩码，屏蔽被遮挡关节/顶点对应的token，使模型基于其他token估计其位置。\n- 掩码通过MANO模板提取的图邻接矩阵动态更新（m' = A^J m）：只要存在至少一个有效相邻token即可恢复更新，若干更新阶段后掩码完全有效。\n- Token特定注意力为每个token分配独特变换权重矩阵，区别于标准自注意力对所有token共用W^V，在多层堆叠Transformer中自适应处理不同token类型以捕捉多样手势变化。\n- 3D-AMTA-Mobile以VAN-B0替换HRNet-w64骨干，编码器从2层渐增至4层，隐藏维度渐进压缩（512→256→64→16），模型仅12.65M参数、1.30 GFLOPs，在RTX 2080Ti上达267 FPS。\n- 在FreiHAND对齐类别下，3D-AMTA达到PJ 0.58cm、PV 0.59cm、F@5 0.772、F@15 0.987，优于HaMuCo（0.62/0.67）、MobRecon（0.61/0.63）和Graphormer（0.59/0.60）。\n- 在HO3Dv3非对齐类别下，3D-AMTA达到PJ 2.30cm、PV 2.20cm、F@5 0.308、F@15 0.774，优于Graphormer（PJ 2.80cm）和Keypoint-T（PJ 2.48cm），体现尺度与空间感知能力。\n- 训练设置：3D顶点用L1损失，3D/2D关节与顶点用L2损失，AdamW优化器，先以学习率1e-4训练150个epoch、再以1e-5训练50个epoch，batch size为32，使用8块NVIDIA A100 GPU。\n- 消融研究显示Token特定注意力使关节估计误差降低0.013cm且在第三、四编码器应用效果最佳；Auto Mask模块进一步降低0.02cm误差且在前两个编码器应用最优，过度掩码会抑制有价值的token并降低性能。\n- 相机内参和手腕位置（或骨长）被融入token表征，在深度歧义具有挑战性的野外图像中改善尺度一致的3D重建。\n- 智能手机应用VisibleHands演示了3D-AMTA在设备端的手部重建能力，支持前后摄像头和多样光照条件下的用户任务。\n- 未来工作包括面向视频手部跟踪的时序建模以提升动态交互中的一致性与鲁棒性，以及扩展至人机交互和遥操作、推进时域优化与设备端效率。"
}