{
  "paper_id": "c8b8cf2c2da938b2b213c5dd96233829",
  "paper_title": "Dense 3D Regression for Hand Pose Estimation",
  "paper_authors": [
    "Chengde Wan",
    "Thomas Probst",
    "Luc Van Gool",
    "Angela Yao"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition",
  "abstract": "本文提出一种从单幅深度帧进行三维手部姿态估计的简单有效方法。与以往基于整体三维回归的先进方法不同，该方法进行密集逐像素估计。其核心是精心设计姿态参数化，以同时利用深度图的二维和三维特性：将姿态参数分解为逐像素的二维热力图、三维热力图和单位三维方向向量场。二维/三维关节热力图及三维关节偏移由多任务网络级联估计并端到端训练。逐像素估计可直接转化为投票机制，再使用均值漂移变体聚合局部投票，并在设计上保证三维姿态与逐像素二维、三维估计的一致性。方法高效且准确，在 MSRA 和 NYU 手部数据集上大幅超越以往先进方法；在 ICVL 数据集上取得与近饱和结果相近的精度，并优于多种其他方法。代码已在线公开。\n",
  "keywords": [
    "三维手部姿态估计",
    "深度图",
    "密集三维回归",
    "逐像素估计",
    "热力图",
    "单位方向向量场",
    "均值漂移",
    "多任务学习",
    "全卷积网络"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "University of Bonn",
    "KU Leuven"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:12.539661Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究从单幅深度图像估计三维手部姿态的问题。以往整体三维回归直接将深度图映射为关节坐标，虽然能建模关节相关性，却面临图像到姿态跨域学习困难、平移敏感、手部边界框位置敏感以及难以组合不同手指局部姿态等缺陷；二维检测与三维回归的简单耦合无法保证重投影一致，而三维卷积体素检测参数多、工作分辨率低，并且难以处理手部严重自遮挡造成的歧义。为此，作者提出结合逐像素检测与密集回归的方法，将深度图同时视为嵌入三维空间的二维表面和三维点集，把每个关节的三维偏移重参数化为三维热力图 S、单位方向向量场 V 以及二维投影热力图 R，核心机制为在关节半径 θ 内 S=θ−||p−pj||、V=(p−pj)/||p−pj||，超出范围则置零。网络以堆叠 Hourglass 全卷积结构为骨干，通过多任务级联同时估计 R、S、V，并对每个堆叠施加 L2 损失进行端到端训练；推理时由 P=D+θ(1−S)⊙V 恢复候选关节位置，选取 K 个最高热力图响应点，再用加权均值漂移聚合局部投票，同时强制最终三维关节与二维、三维逐像素估计达成共识。实验在 NYU、MSRA 和 ICVL 三个公开数据集上进行：NYU 姿态覆盖广且含噪声，被用于消融和基线分析；MSRA 包含多名受试者与多种手势，采用留一受试者协议；ICVL 姿态变化较小且结果接近饱和。评价指标为所有关节和帧的平均三维误差，以及所有关节误差均低于某阈值的帧比例。结果显示，NYU 上平均误差为 10.2mm，20mm 和 30mm 阈值成功率分别达到 58% 和 79.2%；MSRA 上平均误差为 7.2mm，20mm 和 30mm 阈值成功率分别超过 81% 和 91%；ICVL 上平均误差为 7.3mm，接近近饱和的最优结果。默认采用两个网络堆叠、K=5、σ=40mm，在单张 NVIDIA Titan X 上每帧约 36ms、即 27.8FPS，验证了偏移重参数化、密集投票和二维—三维一致性设计对精度与鲁棒性的贡献。该方法适用于深度传感器支持的实时人机交互、增强现实/虚拟现实和机器人感知等场景，但依赖深度输入，严重自遮挡与深度噪声仍会导致失败；未来可进一步扩展到 RGB 输入以及手抓物体的姿态估计。\n\n### 关键要点\n\n- 方法输入为单幅深度图，将其同时视为二维表面和三维点集，避免使用参数庞大且限制分辨率的三维卷积体素表示。\n- 对每个关节，网络预测二维投影热力图 R、三维热力图 S 和单位三维方向向量场 V；S 表示邻近程度，V 表示从深度点指向关节的方向。\n- 采用 Hourglass 全卷积网络作为骨干，并堆叠两个结构相同的模块；前一阶段的估计会输入后一阶段，同时使用中间监督。\n- 训练损失对每个堆叠、每个关节的 R、S、V 均计算 L2 误差，实现检测与回归的多任务端到端学习。\n- 推理时先由 P=D+θ(1−S)⊙V 恢复候选关节坐标，再选取热力图响应最高的 5 个点，通过核宽 40mm 的加权均值漂移得到最终关节。\n- NYU 数据集包含约 72K 训练帧和 8K 测试帧，实验仅使用视角 1 并评估 14 个关节；由于手部未预先裁剪，先使用一个单层 Hourglass 检测器确定裁剪中心。\n- NYU 消融中，直接三维坐标回归到“二维检测加三维坐标回归”的平均误差仅改善 0.16mm，说明简单耦合二维检测不能消除整体三维回归的固有缺陷。\n- 不做重参数化而直接回归三维偏移时，不掩盖损失会导致训练无法收敛；将偏移分解为热力图和方向向量并对远离点置零，使训练更稳定。\n- 在 NYU 上，所提方法平均三维误差为 10.2mm，20mm 与 30mm 阈值成功率分别为 58% 和 79.2%，显著优于此前先进方法。\n- MSRA 包含 76.5K 图像、9 名受试者和 17 种手势，按留一受试者协议评估；所提方法平均误差为 7.2mm，20mm 和 30mm 阈值成功率分别超过 81% 和 91%。\n- ICVL 包含 22K 训练帧和 1.5K 测试帧，作者未使用官方提供的 160K 平面旋转增强帧；所提方法平均误差为 7.3mm，接近近饱和的 6.8mm 并优于多数方法。\n- 两堆叠模型在单张 NVIDIA Titan X 上平均运行时间为 36ms/帧、约 27.8FPS；严重自遮挡和深度噪声是主要失败因素，后续计划扩展到 RGB 和抓取物体场景。"
}