{
  "paper_id": "0577dd524ceac992e0faf5385f839272",
  "paper_title": "A2J-Transformer: Anchor-to-Joint Transformer Network for 3D Interacting Hand Pose Estimation from a Single RGB Image",
  "paper_authors": [
    "Changlong Jiang",
    "Yang Xiao",
    "Cunlin Wu",
    "Mingyang Zhang",
    "Jinghong Zheng",
    "Zhiguo Cao",
    "Joey Tianyi Zhou"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "针对单张RGB图像中双手自遮挡与相互遮挡、双手外观相似以及2D到3D关节定位病态等问题，本文将深度单手方法A2J扩展到RGB交互手场景，提出A2J-Transformer。其核心是在Transformer非局部编解码框架中把锚点转化为可学习查询，通过锚点间自注意力获取全局关节铰接线索，通过逐锚点自适应多尺度特征增强局部细节与模式拟合能力，并将锚点从2D平面扩展到3D空间以直接回归三维偏移。在InterHand2.6M上的实验表明，该方法取得最优的无模型性能，双手场景MPJPE较此前最优无模型方法降低3.38 mm，并可迁移到深度域；代码已开源。\n",
  "keywords": [
    "3D交互手部姿态估计",
    "单张RGB图像",
    "A2J-Transformer",
    "Transformer",
    "三维锚点",
    "自注意力",
    "多尺度可变形注意力",
    "无模型方法",
    "InterHand2.6M"
  ],
  "paper_institutions": [
    "Key Laboratory of Image Processing and Intelligent Control, Ministry of Education, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 430074, China",
    "Alibaba Group",
    "Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore",
    "Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:44.593783Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单张RGB图像中的3D交互手部姿态估计，该任务面临严重自遮挡与双手互遮挡、双手外观模式相似以及单目2D到3D提升病态等困难；已有基于模型的方法虽有手模型先验，但通常依赖复杂个性化标定、对初始化敏感且易陷入局部最优，而原始A2J作为深度单手方法又存在锚点缺少交互、邻近锚点共享局部卷积特征、锚点仅位于2D平面等不足。为此，作者提出无模型回归方法A2J-Transformer，以ResNet-50构建多尺度金字塔特征，通过含6层特征增强编码器和6层锚点交互解码器的锚点细化模型同时获取局部精细特征与全局铰接关系，并将均匀分布的3D锚点作为可学习anchor query；每个锚点预测到双手所有关节的3D偏移及关节专属权重，最终以加权机制\\(\\hat{T}_j=\\sum_{a\\in A}\\tilde{W}_j[C(a)+O_j(a)](a)\\)融合全部锚点，其中权重由softmax归一化。研究选用InterHand2.6M验证RGB交互手性能，用RHP考察无真值尺度和手性条件下的野外泛化，用NYU与HANDS2017验证向深度单手域的迁移能力；RGB输入裁剪为256×256，深度输入裁剪为176×176，采用Adam优化器、学习率和权重衰减均为1e-4，并按数据集训练42或17个epoch。评价采用根关节对齐后的MPJPE、EPE、平均3D距离误差及FPS；在InterHand2.6M上全部、单手、双手场景MPJPE分别达到9.63、8.10、10.96 mm，双手场景比此前最优无模型方法改善3.38 mm，速度为25.65 FPS、模型仅42M参数，RHP无真值辅助EPE为17.75 mm，HANDS2017平均误差8.32 mm，NYU为8.43 mm，消融结果支持Transformer、A2J锚点回归、自适应权重和MSDAM的有效性。该方法可服务于虚拟现实、增强现实和人机交互，未来可探索锚点运动表示并向基于模型方向扩展，但在手部大面积遮挡或缺失时仍会产生偏差，增加锚点数量也会以降低推理速度为代价。\n\n### 关键要点\n\n- A2J-Transformer采用无模型回归路线，整体包含ResNet-50金字塔特征提取器、锚点细化模型和锚点偏移-权重估计模型三部分。\n- 锚点细化模型由6层特征增强编码器和6层锚点交互解码器组成，隐藏维度均为256，并使用多尺度可变形注意力缓解收敛慢与特征分辨率受限。\n- 对256×256输入，3D锚点按面内步长16均匀分布，并在每只手根关节相对深度-100、0、+100 mm处设置三层，共16×16×3个锚点。\n- 每个3D锚点作为可学习查询，预测其到双手全部关节的面内与深度偏移，同时预测针对各关节的融合权重。\n- 关节坐标由全部锚点加权得到：\\(\\hat{T}_j=\\sum_{a\\in A}\\tilde{W}_j[C(a)+O_j(a)](a)\\)，其中\\(\\tilde{W}_j(a)\\)由softmax归一化。\n- 训练使用关节估计损失和锚点环绕损失，平滑L1阈值分别设为面内1、深度3，总损失权重为3:1，面内损失平衡系数α默认为0.5。\n- InterHand2.6M包含136万训练图像和84.9万测试图像及42个3D关节标注；RHP用于野外泛化测试，NYU和HANDS2017用于深度域验证。\n- RGB实验将图像裁剪为256×256，深度实验裁剪为176×176；优化器为Adam，学习率和权重衰减均为1e-4，InterHand2.6M、RHP和NYU训练42轮，HANDS2017训练17轮。\n- InterHand2.6M上全部、单手、双手MPJPE分别为9.63、8.10、10.96 mm，双手场景比Hampali等方法低3.38 mm，推理速度为25.65 FPS，模型大小为42M参数。\n- RHP在推理时不使用真值尺度和手性的情况下EPE为17.75 mm；HANDS2017平均误差8.32 mm，NYU平均误差8.43 mm，体现了跨数据域和跨输入模态的泛化能力。\n- 消融实验中，移除Transformer、A2J模块、锚点权重或MSDAM后，MPJPE分别恶化至14.44、15.36、14.04和10.69 mm；增加锚点数量可提升精度但通常会降低FPS。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}