{
  "paper_id": "d67eb671c11dfe197c6d74809b351d8a",
  "paper_title": "DeepPrior++: Improving Fast and Accurate 3D Hand Pose Estimation",
  "paper_authors": [
    "Markus Oberweger",
    "Vincent Lepetit"
  ],
  "publication_date": "2017",
  "publication_venue": "IEEE International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "DeepPrior是一种基于深度学习的简单方法，可根据深度图预测手部关节的三维位置。自2015年初发表以来，它已被若干出色工作超越。本文表明，通过加入ResNet层、数据增强和更好的初始手部定位等简单改进，在NYU、ICVL和MSRA三个主要基准上可取得与更复杂近期方法相当或更优的性能，同时保留原方法的简洁性。新实现已发布于 <https://github.com/moberweger/deep-prior-pp> 。\n",
  "keywords": [
    "三维手部姿态估计",
    "深度图像",
    "深度学习",
    "卷积神经网络",
    "ResNet",
    "PCA姿态先验",
    "数据增强",
    "手部定位"
  ],
  "paper_institutions": [
    "Institute for Computer Graphics and Vision, Graz University of Technology, Austria",
    "Laboratoire Bordelais de Recherche en Informatique, Université de Bordeaux, France"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:00.532673Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单张深度图快速、准确估计三维手部关节位置的问题，该技术对人机交互和增强现实应用具有重要意义；即使使用结构光或飞行时间深度传感器，手部仍因自由度高、自相似和自遮挡而难以估计。原始DeepPrior于2015年提出，将三维手部姿态的PCA先验嵌入CNN并直接回归关节位置，结构简单但随后被许多更复杂方法超越，这些方法往往需要数十个预测器、3D CNN、多个生成网络、运行时复杂优化或用户特定三维手模型。DeepPrior++保留原方法的直接回归框架，通过三项简单改进提升性能：用改编的ResNet增强特征提取，进行旋转、缩放、平移的在线数据增强，并训练一个小型CNN精炼初始手部定位；其核心机制仍是网络回归低维PCA系数c，再由公式`J = μ + Uc`重构三维关节坐标，其中U由增强姿态的主成分构成并可通过反向传播联合优化。实验在NYU、ICVL和MSRA三个公开基准上进行：NYU包含超过72k训练帧和8k测试帧，采用结构光深度图，噪声和缺失值较多且训练/测试用户不同，适合检验复杂姿态与跨用户泛化；ICVL由飞行时间相机采集，图像质量高但姿态变化有限且标注存在误差，可揭示数据集性能饱和；MSRA约76k帧、覆盖9名受试者，采用留一受试者交叉验证，用于验证不同手形的适应能力。所有实验使用30维PCA先验，输入为128×128、归一化到[-1,1]的深度块，采用ADAM优化器、学习率0.0001、训练100个周期，并在全连接层使用0.3的Dropout，在Intel i7和GTX 980 Ti上训练约10小时。评价指标包括平均三维关节误差以及所有关节均低于给定距离阈值的帧占比；DeepPrior++在NYU、ICVL和MSRA上分别取得12.3mm、8.1mm和9.5mm的平均误差，在NYU显著优于REN等方法，在MSRA比表中次优方法低约3mm，并在NYU另一协议中使超过90%的帧误差小于10mm。消融实验表明，完整数据增强将NYU误差从19.9mm降至12.3mm，手部定位精炼使定位误差从28.1mm降至8.6mm，ResNet相比原架构进一步降低误差且仍可在单GPU上超过30fps。这说明仔细优化基础流程即可让简单方法达到或超过复杂方法；未来可继续提升手部定位精度，并探索非线性、分解式或更具表达力的姿态先验。该方法适用于实时人机交互和增强现实场景，不需要用户特定三维手模型，但实际部署仍受深度噪声、缺失值、检测偏差、用户手形差异以及ResNet相对原模型速度下降等约束。\n\n### 关键要点\n\n- DeepPrior++仍从单张深度图提取以手部为中心的固定尺寸立方体，将其缩放为128×128并把深度归一化到[-1,1]，缺失或过远的深度值置为1，再由单个网络回归三维关节。\n- 主干网络改编自50层ResNet，移除全局平均池化并加入两个全连接层；四个残差模块的滤波器数量分别为64、128、256、256，两个全连接层均使用0.3的Dropout。\n- 在线数据增强包括[-180°,180°]均匀随机平面旋转、均值为1且方差为0.02的随机缩放，以及方差为5mm的随机三维平移，并同步变换三维关节标注。\n- 增强在训练时在线进行，使网络每个周期看到不同样本，总计产生超过1000万个训练样本，有助于防止过拟合并提升对旋转、手形和定位偏差的鲁棒性。\n- PCA先验由100万个经过旋转、缩放和平移增强的三维姿态计算；若只增强训练数据而不增强先验，NYU平均误差会从12.3mm升至21.7mm。\n- 手部定位先沿用深度质心法，再用一个包含卷积、池化、全连接和Dropout的小型回归CNN预测中指掌指关节位置以修正裁剪中心，实时跟踪时还可复用上一帧位置。\n- NYU数据集使用单视角结构光深度图和14个关节，DeepPrior++平均三维误差为12.3mm，优于REN的13.4mm、Lie-X的14.5mm和原始DeepPrior的19.8mm。\n- ICVL数据集包含高质量飞行时间深度图和16个关节，作者仅从约22k个真实帧开始训练，DeepPrior++平均误差为8.1mm，但相近的误差曲线表明该数据集可能接近性能饱和。\n- MSRA数据集约76k帧、来自9名受试者，采用留一受试者交叉验证，DeepPrior++平均误差为9.5mm，比表中次优方法低约3mm，显示其跨用户泛化能力。\n- 实验采用平均三维关节误差和所有关节均低于给定欧氏距离阈值的帧占比；在NYU与基于模型方法的比较协议中，DeepPrior++使超过90%的帧误差小于10mm。\n- ResNet版本在单块GPU上可超过30fps，虽低于原始网络的100fps但仍满足实时要求；其主要实际约束包括深度噪声、缺失值、手部定位偏差和不同用户的手形差异。"
}