{
  "paper_id": "998e37c1524e948422ca03b830e383da",
  "paper_title": "HandDAGT: A Denoising Adaptive Graph Transformer for 3D Hand Pose Estimation",
  "paper_authors": [
    "Wencan Cheng",
    "Eunji Kim",
    "Jong Hwan Ko"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2024 (Lecture Notes in Computer Science)",
  "abstract": "从输入手部帧中提取关键点位置的三维手部姿态估计对多种人机交互应用至关重要。然而，现有方法往往难以应对手部自遮挡以及手与交互物体之间遮挡的动态变化。为解决这一问题，本文提出用于手部姿态估计的去噪自适应图Transformer HandDAGT。该方法利用Transformer结构从输入局部块中充分挖掘有效几何特征，并引入新型注意力机制，针对特定关键点自适应加权运动学对应关系与局部几何特征，使模型能够根据遮挡情况灵活利用运动学信息和局部信息，从而提升鲁棒性与精度。此外，本文提出一种新型去噪训练策略，以增强模型在遮挡挑战下的鲁棒性能。实验结果表明，所提模型在四个具有挑战性的手部姿态基准数据集上显著优于现有方法，代码和预训练模型已公开发布。\n",
  "keywords": [
    "手部姿态估计",
    "点云",
    "Transformer"
  ],
  "paper_institutions": [
    "Department of Artificial Intelligence, Sungkyunkwan University, Seoul, South Korea",
    "College of Information and Communication Engineering, Sungkyunkwan University, Seoul, South Korea"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:13.368102Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对深度图三维手部姿态估计中手部自遮挡、手物交互遮挡使关键点定位不稳定的问题；已有CNN、点云、多模态融合及静态图Transformer方法或受限于二维到三维的非线性映射，或因静态图结构无法适应不同遮挡形态下动态变化的关键点关系。作者提出HandDAGT，以手部深度图和随机采样的1024个三维点为多模态输入，通过点集卷积局部三维编码器与ConvNeXt自编码器分别提取几何和视觉特征，再经二维到三维投影拼接形成超点特征，并初始化关键点嵌入及三维局部patch；其核心自适应图Transformer先用GCN基于学习到的逐通道运动关系矩阵生成演化嵌入，再通过核心注意力机制 [Att_local, Att_g]=σ(Q_k⊙K) 分别为局部点和运动拓扑生成sigmoid权重，使关键点可见、局部细节充分时更关注几何信息，而关键点被遮挡时更多借助运动学对应点恢复姿态，随后堆叠多层Transformer并依据上一层坐标重新分组patch以逐步优化回归结果。训练阶段只向第一层Transformer的patch位置注入由线性调度器控制的随机高斯噪声，推理阶段不引入噪声，并采用对异常值较不敏感的smooth L1损失，从而在不增加推理计算的情况下增强遮挡鲁棒性。实验基于NVIDIA A100 GPU和PyTorch，使用AdamW优化器、batch size 32、输入分辨率128、1024个输入点以及随机旋转、三维缩放和平移增强；选择ICVL、NYU、DexYCB和HO3D_v2是因为它们分别覆盖单手、手物交互、多视角、不同主体/物体未见协议等复杂场景，可验证模型在自遮挡、物体遮挡和泛化条件下的有效性。评价指标为平均关键点欧氏误差与成功率，结果显示HandDAGT在ICVL和NYU上分别取得5.66 mm和7.12 mm的最低平均误差，在DexYCB四种官方协议上取得8.03 mm的平均误差，在HO3D上达到1.81 cm，并持平或优于先前SOTA；消融进一步证明局部注意力、运动拓扑注意力、增强Q/K、去噪训练、3层Transformer堆叠和64个超点patch的完整配置最优。该方法可服务于人机交互、动作理解和手物操作分析等真实场景，但目前不能处理双手交互，且二维特征提取存在冗余计算，未来可通过双向学习扩展双手场景并开发轻量级二维模块。\n\n### 关键要点\n\n- HandDAGT采用深度图像加三维点云的多模态输入，结合二维密集视觉细节和三维空间几何特征，避免单纯二维回归中的非线性映射问题。\n- 超点生成模块使用点集卷积将1024个输入点下采样为512个超点，并用ConvNeXt自编码器提取二维特征后投影到三维空间进行拼接。\n- 关键点嵌入初始化模块借鉴关节级嵌入和带偏置层，为每个关键点生成具有身份信息的嵌入，并线性投影出用于收集局部patch的初始三维位置。\n- 自适应图Transformer通过GCN建模关键点间的逐通道运动学连接，再将演化后的关键点嵌入与局部超点特征共同用于查询、键和值的构造。\n- 所提注意力不使用常规softmax点积，而采用Hadamard乘积加sigmoid，同时产生局部几何注意力Att_local和运动拓扑注意力Att_g。\n- 局部注意力在无遮挡、局部观测充分时更有效，运动拓扑注意力在关键点被遮挡时更有帮助，完整模型通过二者自适应组合取得最佳效果。\n- 去噪训练只在训练时扰动第一层输入patch，噪声方差采用类似扩散模型的线性调度，推理时不加噪，NYU上误差由7.20 mm降至7.12 mm。\n- 训练使用AdamW优化器，学习率为0.001，β1为0.5、β2为0.999，并采用随机旋转、0.9至1.1倍缩放和±10 mm平移等在线增强。\n- ICVL包含22000个训练帧和1600个测试帧、16个关键点；NYU单视角实验使用14个评估关键点；DexYCB包含582000帧、21个关键点和四种官方划分；HO3D_v2包含66034个训练图像和11524个测试图像。\n- 在单手基准上，HandDAGT以5.66 mm和7.12 mm的平均关键点误差在ICVL和NYU上创造新的最优结果，并在低阈值成功率上优于对比方法。\n- 在手物基准上，HandDAGT在DexYCB四个协议平均误差为8.03 mm，在HO3D上达到1.81 cm，显示其对物体遮挡和交互姿态的适应能力。\n- 方法的已知限制是不能处理交互双手，且二维特征提取带来额外计算；未来方向包括双向学习、双手扩展和轻量级二维模型设计。"
}