{
  "paper_id": "534313db62be0ac98207b48f27466e02",
  "paper_title": "HandJoKe: Joint-Guided Keypoint Denoising Transformer for Depth-Based 3D Hand Pose Estimation",
  "paper_authors": [
    "Ji Gan",
    "Lei Chen",
    "Ping Hu",
    "Jiaxu Leng",
    "Weisheng Li",
    "Xinbo Gao"
  ],
  "publication_date": "2025-08-13",
  "publication_venue": "IEEE Transactions on Circuits and Systems for Video Technology",
  "abstract": "现有基于深度的三维手部姿态估计方法通常从二维深度图像或三维点云估计手部关节，多模态融合方法仍研究不足。先前方法因缺少显式先验引导和跨维度交互不足，难以学习几何辅助特征与精确关节关联，在手部遮挡时尤为明显。本文提出联合引导关键点去噪 Transformer（HandJoKe），在显式关节引导下，仅用若干去噪步骤即可迭代融合来自二维深度图像和三维点云的关键点特征并估计手部姿态。该方法聚焦局部信息丰富的手部区域，而非背景像素和无关点，从而以较低计算冗余获得更强学习能力；联合引导去噪估计策略在二维和三维空间实现几何促进的跨模态关键点交互，迭代去噪还可根据前次去噪姿态更新特征，更好定位混淆关节。在 NYU、ICVL、DexYCB 和 HO3D 四个公开挑战性基准上的实验表明，HandJoKe 取得了当前最优性能。\n",
  "keywords": [
    "3D hand pose estimation",
    "denoising transformer",
    "multi-modal fusion",
    "cross-dimensional interaction"
  ],
  "paper_institutions": [
    "School of Computer Science and Technology, Chongqing University of Posts and Telecommunications",
    "Key Laboratory of Image Cognition, Chongqing University of Posts and Telecommunications",
    "School of Computer Science and Engineering, University of Electronic Science and Technology of China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:31.278100Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度相机三维手部姿态估计中二维深度图像与三维点云互补潜力未被充分利用、直接全图或全点融合会在背景像素和无关点间产生冗余交互，而 IPNet、HandDAGT 和 HandDiff 等跨模态方法又存在早期投影后主要在三维空间精炼、缺少显式几何引导或去噪步数过多等问题，本文提出 HandJoKe。其核心是图像-点云关键点聚合与联合引导去噪估计：先用 ConvNeXt 自编码器和 PointNet++ 提取特征，通过 K 近邻反距离投影构建超点，再依据当前关节从二维热图和三维半径邻域聚合关键点，并融合全局嵌入；随后关节经图卷积生成 scale、shift 和 gate，调制多头注意力与自适应图卷积。核心迭代机制为 $J^{(t+1)}=\\mathcal{T}(\\widetilde{K}^{(t)},J^{(t)})$，初始 $J^{(0)}$ 由三维超点全局嵌入经多层感知机估计，随后在二维和三维空间反复更新跨模态关键点并去噪。实验选择 NYU、ICVL、DexYCB 和 HO3D，分别覆盖单手、多视角、手物抓取与严重遮挡场景；其中 NYU 含 73K 训练帧和 8.3K 测试帧并评估 14 个关节，ICVL 含 22K 训练帧和 1.6K 测试帧及 16 个关节，DexYCB 约 582K 帧并使用 S0–S3 四种划分，HO3D_v2 约 80K 帧，这些数据可检验普通单手、手物交互、未见视角或主体及未见物体等泛化能力。实现基于 PyTorch 和 NVIDIA RTX 4090，输入为 128×128 深度图与 1024 个采样点，采用 AdamW、学习率 0.0005 以及旋转、缩放和平移增强；NYU、DexYCB 和 HO3D 使用 $T=3,B=3$，较小的 ICVL 使用 $T=1,B=2$。以 MPJPE 为指标，HandJoKe 在 NYU、ICVL、DexYCB 平均和 HO3D 上分别达到 6.97mm、5.53mm、7.65mm 和 1.75mm，在 HO3D 使用标注裁剪区域时可达 1.33mm，优于 HandDAGT、HandDiff 等方法，支撑了关键点低冗余融合、显式关节引导和少步数迭代去噪的创新。消融显示全局-局部交互、注意力、关节引导和迭代去噪可逐步降低误差；该方法适用于 AR/VR、游戏等人机交互场景，但受手物遮挡、复杂姿态、初始关节质量、精度-速度权衡以及小数据集过拟合等约束，未来可进一步扩展到动态环境中的多手交互。\n\n### 关键要点\n\n- HandJoKe 使用由同一深度数据获得的二维深度图和三维点云，三维点通过相机内参反投影生成，两种模态分别提供二维像素布局和三维几何信息。\n- 二维分支采用基于 ConvNeXt 的自编码器生成深度特征图，三维分支采用 PointNet++ 处理随机采样的 1024 个点并生成点特征。\n- 超点映射对每个三维点寻找 K 个近邻二维像素，按反距离权重聚合二维特征，再与原生三维点特征拼接，实现早期跨模态互补。\n- 双模态关键点选择以当前估计的三维关节为条件：二维分支通过关节热图加权聚合局部特征，三维分支在关节半径邻域内加权聚合超点特征。\n- 二维热图分支还使用投影得到的二维关节坐标进行监督，其目的不是替代三维任务，而是帮助提取更准确的二维关键点特征。\n- 全局-局部交互对二维特征图和三维超点特征做全局池化，经偏置层调制后与各关节局部关键点特征相加并拼接，补充全局拓扑信息。\n- 联合引导模块用图卷积编码当前关节的运动学拓扑，生成 scale、shift 和 gate，对跨模态特征、多头自注意力输出进行调制，并通过自适应图卷积残差增强。\n- 迭代过程先由采样器根据 $J^{(t)}$ 得到 $\\widetilde{K}^{(t)}$，再由去噪 Transformer 预测 $J^{(t+1)}$；初始关节由三维超点全局嵌入经多层感知机生成。\n- NYU 和 ICVL 用于评测单手姿态，DexYCB 的 S0–S3 划分分别检验默认设置、未见主体、未见视角和未见抓取物体，HO3D 则通过官方平台评测手物交互。\n- 训练使用 AdamW、批量大小 32、60 个 epoch（NYU/ICVL）或 30 个 epoch（DexYCB/HO3D），并采用 [-180,180] 度旋转、[0.8,1.2] 缩放和 [-10,10] 平移增强。\n- HandJoKe 在 NYU、ICVL、DexYCB 平均和 HO3D 上的 MPJPE 分别为 6.97mm、5.53mm、7.65mm 和 1.75mm，DexYCB 四个划分均优于先前方法。\n- 关键点融合在训练批量为 4 时三维步设置占用 5.1GB 显存，而全数据融合会超出 RTX 4090 的 24GB 显存；完整模型在 NYU 上可达 52.7 FPS，但 ICVL 上增加迭代或层数容易过拟合。"
}