{
  "paper_id": "6766aa96a21272baefacd35ce831ec45",
  "paper_title": "HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud",
  "paper_authors": [
    "Wencan Cheng",
    "Hao Tang",
    "Luc Van Gool",
    "Jong Hwan Ko"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "从输入手部帧中提取关键点位置，即三维手部姿态估计，是多种人机交互应用中的关键任务。本质上，三维手部姿态估计可视为以输入帧为条件的三维点子集生成问题。得益于基于扩散的生成模型近期取得的重大进展，手部姿态估计也可以利用扩散模型高质量地估计关键点位置。然而，直接部署现有扩散模型来解决手部姿态估计并非易事，因为它们无法实现复杂的排列映射和精确定位。基于这一动机，本文提出 HandDiff，一种基于扩散的手部姿态估计模型，以手形图像-点云为条件，迭代去噪得到准确的手部姿态。为恢复关键点排列和精确位置，本文进一步引入关节级条件和局部细节条件。实验结果表明，所提出的 HandDiff 在四个具有挑战性的手部姿态基准数据集上显著优于现有方法。代码和预训练模型公开于 <https://github.com/cwc1260/HandDiff>。\n",
  "keywords": [
    "三维手部姿态估计",
    "扩散模型",
    "深度图",
    "点云",
    "多模态条件",
    "关节级条件",
    "局部特征",
    "运动关系建模",
    "DDIM"
  ],
  "paper_institutions": [
    "Department of Artificial Intelligence, Sungkyunkwan University",
    "CVL, ETH Zurich",
    "Carnegie Mellon University",
    "INSAIT, Sofia Un. St. Kliment Ohridski",
    "College of Information and Communication Engineering, Sungkyunkwan University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:43.284992Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单帧深度输入中恢复手部关键点三维坐标的问题，其成果可服务于机器人、游戏、增强现实和虚拟现实等人机交互场景。已有回归与检测方法多为确定性映射，在自遮挡、手物遮挡等病态情况下难以表达不确定性；基于扩散的三维人体姿态方法又通常采用先检测二维关键点再升维的两阶段方案，去噪质量受预训练二维先闻约束，而现有三维点云扩散模型依赖全局条件且具有排列等变性，难以区分具体关节并实现精确对齐。为此，论文首次将扩散模型引入手部姿态估计，提出 HandDiff：它以深度图和对应三维点云为多模态条件，从随机高斯噪声开始迭代恢复关节坐标。该设计结合二维密集视觉细节与三维结构信息，可避免体素方法的高内存开销，并缓解仅使用稀疏点云导致的细节不足。模型利用 ConvNeXt 自编码器提取二维局部特征和全局向量，利用 PointNet++ 分层编码器提取三维局部几何特征和全局向量；三层 bias-induced layer 将复制的全局特征映射为每个关节独立的关节级条件。去噪器围绕噪声关节采样二维和三维近邻特征，拼接关节指示向量、时间步嵌入与关节级条件，通过运动对应感知图卷积和残差精修器预测干净姿态，其核心前向扩散机制可表示为 q(J^(t)|J^(0)) = √(ᾱ_t)J^(0) + √(1−ᾱ_t)ε，其中 ε~N(0,I)。实验基于 PyTorch 和 NVIDIA TITAN RTX，输入为 128 尺寸深度图与 1024 个采样点，二维/三维特征维度为 128，关节级条件维度为 512，批大小为 64，扩散总步数为 500，并采用旋转、缩放、平移增强及 smooth L1 损失训练 30 个 epoch；推理使用 DDIM 以更少步数加速，并对多个初始假设的结果取平均。论文在 ICVL、MSRA、NYU 和 DexYCB 上评估，前三者覆盖典型单手姿态与不同标注/视角设置，DexYCB 则检验手物遮挡以及未见主体、视角和物体的泛化能力；评价指标包括平均关节误差和成功率。HandDiff 在 ICVL、MSRA、NYU 上分别取得 5.72 mm、6.53 mm、7.38 mm 的平均关节误差，在 DexYCB 的 S0、S1、S2、S3 划分上分别取得 7.66 mm、8.73 mm、8.40 mm、7.53 mm，平均误差为 8.07 mm，这些结果支持了关节级条件、局部细节条件、运动对应建模和多假设聚合的有效性。消融还表明单独使用局部条件会因排列等变而严重失效，二维加三维条件优于任一单模态，10 个推理步在 NYU 上可达到约 7.44 mm，单假设、10 步时每帧约需 98 ms 和 2.2 GB 显存。该方法适用于深度传感器下的单手及手物交互场景，但依赖深度/点云输入，且目前不能处理双手交互；未来可探索二部图学习和基于骨架的分析以扩展到交互双手并进一步增强性能。\n\n### 关键要点\n\n- HandDiff 将三维手部姿态估计建模为以深度图和点云为条件的三维点子集生成问题，从噪声分布迭代去噪恢复手部关节坐标。\n- 二维分支采用 ConvNeXt 自编码器提取局部视觉特征和全局向量，三维分支采用 PointNet++ 提取局部几何特征和全局三维向量。\n- 关节级条件由三层 bias-induced layer 生成，通过关节独立偏置使同一全局特征能够映射为不同关节的潜在表示。\n- 局部特征采样器在每个噪声关节周围查询三维近邻点和二维近邻像素，并将邻域坐标转换为以关节为原点的相对坐标以消除平移差异。\n- 运动对应感知聚合块使用通道级运动矩阵执行图卷积，并通过四次重复块、最大池化和残差精修器输出去噪后的关节坐标。\n- 训练时对真实关节坐标按扩散链加噪，并用 smooth L1 损失同时监督去噪器预测的关节分布和关节级条件初始化得到的坐标。\n- 推理时从单位高斯分布采样多个姿态假设，利用 DDIM 在少于训练总步数的时间步中迭代去噪，最后平均所有假设得到最终姿态。\n- ICVL、MSRA 和 NYU 分别使用 16、21 和选定的 14 个关节进行单手评估，DexYCB 则包含 21 个关节、手物交互及四种官方泛化划分。\n- 在三个单手基准上，HandDiff 的平均关节误差分别为 5.72 mm、6.53 mm 和 7.38 mm，其中在 ICVL 和 MSRA 上达到新的最优结果。\n- 在 DexYCB 上，HandDiff 在 S0、S1、S2、S3 和平均结果上均优于此前方法，平均误差为 8.07 mm，显示出对手物遮挡的鲁棒性。\n- 消融实验显示局部条件单独使用时误差高达 49.58 mm，而加入关节指示、关节级条件、运动对应和多假设后可逐步降至 7.66 mm。\n- 方法的主要约束是依赖深度/点云输入且无法处理双手交互，论文指出未来可通过二部图学习和骨架分析解决该问题。"
}