{
  "paper_id": "df7e2fa0d5ec0fab830e573841d0e0a8",
  "paper_title": "Keypoint Fusion for RGB-D Based 3D Hand Pose Estimation",
  "paper_authors": [
    "Xingyu Liu",
    "Pengfei Ren",
    "Yuanyuan Gao",
    "Jingyu Wang",
    "Haifeng Sun",
    "Qi Qi",
    "Zirui Zhuang",
    "Jianxin Liao"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "以往三维手部姿态估计方法主要依赖 RGB 或深度单一模态，对双模态综合利用的研究尚不充分。RGB 与深度数据具有互补性，可通过融合增强三维手部姿态估计的鲁棒性，但现有融合方法存在密集特征融合冗余和视觉特征歧义两个问题：像素级特征交互计算成本高，并会对无效像素进行无效计算；颜色纹理相似、深度空洞及手部快速运动引起的噪声又会干扰跨模态相关性建模。本文提出面向 RGB-D 三维手部姿态估计的 Keypoint-Fusion，在关键点这类稀疏但信息丰富的空间区域进行跨模态融合，并显式提取更可靠的信息作为消歧证据：深度模态为 RGB 特征像素提供三维几何信息，RGB 模态则补充因深度噪声丢失的精确边缘信息。该方法在两个具有挑战性的手部数据集上达到先进性能，并相较以往单模态方法显著降低了误差。\n",
  "keywords": [
    "三维手部姿态估计",
    "RGB-D",
    "关键点融合",
    "多模态融合",
    "跨模态交互",
    "特征消歧"
  ],
  "paper_institutions": [
    "State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:10.970592Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对 RGB 方法受颜色纹理相似和几何信息不足影响、深度方法受边缘噪声与深度空洞影响的问题，本文在多传感器融合已广泛用于语义分割和三维目标检测却未在 RGB-D 手部姿态估计中充分研究的背景下，提出 Keypoint-Fusion：先用两个并行二维 CNN 骨干提取特征并从深度特征预测初始三维姿态，再通过关键点特征聚合模块 KFAM 在初始关节周围聚合局部特征，其中 RGB 分支以热图权重和深度生成的几何邻接权重共同聚合特征，核心机制可表示为 $K_{RGB}=FC((\\alpha W_{hm}+(1-\\alpha)W_{geo})F^{RGB}_{2d})$，深度分支则将 RGB 特征投影到三维点云空间并与点云特征融合，以补充深度空洞和运动噪声造成的边缘缺失，随后在稀疏关节特征上进行模态内自注意力与模态间交叉注意力，建模长距离关节依赖并避免逐像素密集交互。实验选用包含手物交互、多视角、遮挡与运动挑战的 DexYCB 和 HO-3D 数据集，DexYCB 含约 582K 帧并提供 S0 至 S3 四种划分，HO-3D 含 66,034 张训练图像和 11,524 张测试图像，适合验证复杂场景泛化能力；实现上基于 PyTorch 和 NVIDIA RTX 4090，DexYCB 使用 ResNet-18 骨干、训练 15 个 epoch，HO-3D 使用两个 ConvNeXt-T 骨干、训练 25 个 epoch，采用 AdamW、初始学习率 $8e^{-4}$、$128\\times128$ 裁剪及随机旋转、缩放和平移。以 MPJPE、PA-MPJPE 和尺度平移对齐后 MPJPE 评估，Keypoint-Fusion 在 DexYCB 四个划分上均取得最低误差，S0 从 IPNet 的 8.03mm 降至 6.94mm，降低约 13.6%，四划分平均为 7.54mm，PA-MPJPE 为 4.79mm；在 HO-3D 上取得 1.79cm 和对齐后 1.87cm 的最佳结果，支持了跨模态消歧与稀疏关键点融合的有效性，单阶段即可将 DexYCB 基线从 11.23mm 降至 7.23mm，且推理时间由密集融合基线的 16.19ms 降至 12.47ms。该方法面向增强现实、交互媒体和人机交互等需要高频手部运动与手物交互的真实场景，但依赖同步、标定的 RGB-D 传感器和相机内参，且初始关节位置会影响聚合效果，未来可进一步探索无标定或轻量化部署、更严重遮挡下的鲁棒性，以及与更多传感器或时间信息的结合。\n\n### 关键要点\n\n- Keypoint-Fusion 使用两个并行二维 CNN 骨干分别提取 RGB 和深度特征，并从深度特征图预测二维热图与初始三维手部姿态。\n- RGB KFAM 联合热图权重 $W_{hm}$ 和由真实三维距离计算的几何邻接图 $W_{geo}$，为每个关节聚合局部 RGB 特征。\n- 几何邻接图通过特征像素到预测关节的三维欧氏距离倒数生成，可区分视觉上相邻但真实深度不同的像素。\n- 深度 KFAM 将 RGB 特征投影到三维点云空间，并与深度点云特征加权融合，以补充深度空洞和噪声造成的边缘信息损失。\n- 跨模态交互只在稀疏关节特征上进行：深度关键点先经 Transformer 编码器做模态内自注意力，再由 RGB 特征作为查询、深度特征作为键和值进行交叉注意力。\n- KFAM 被设计为迭代串行模块，每个阶段可细化手部姿态，使后续聚合基于更准确的关节位置。\n- DexYCB 数据集包含约 582K 个 RGB-D 帧、10 名受试者、20 种物体和 8 个视角，并提供按序列、受试者、视角和物体划分的 S0 至 S3。\n- HO-3D 数据集包含 66,034 张训练图像和 11,524 张测试图像，测试结果通过在线提交服务器评估。\n- 在 DexYCB 上，Keypoint-Fusion 的 S0 MPJPE 为 6.94mm，四划分平均为 7.54mm，PA-MPJPE 为 4.79mm，均优于对比方法。\n- 在 HO-3D 上，该方法取得 1.79cm 的 MPJPE 和 1.87cm 的尺度平移对齐后 MPJPE，为表中最佳结果。\n- 效率与消融实验表明，稀疏关键点融合比密集融合基线更快、更准，且几何邻接图、热图权重、RGB 边缘补充和姿态细化均对性能有贡献。"
}