{
  "paper_id": "a0b5dcc3eb7897fca3ad5aa7ff5a01d2",
  "paper_title": "V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map",
  "paper_authors": [
    "Gyeongsik Moon",
    "Ju Yong Chang",
    "Kyoung Mu Lee"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition",
  "abstract": "现有基于深度学习的单深度图三维手部与人体姿态估计方法大多将2D深度图输入2D卷积神经网络，并直接回归手部或人体关节等关键点的3D坐标。该框架存在两个缺陷：深度图本质上是3D数据，但被当作2D图像处理时会因3D到2D投影产生透视畸变，迫使网络进行透视畸变不变估计；同时，从2D图像直接回归3D坐标是高度非线性映射，增加学习难度。为此，本文首次将单深度图3D姿态估计转化为体素到体素预测，使用3D体素化网格并估计每个关键点的逐体素似然。所设计的3D CNN模型能够实时运行并给出精确估计，在几乎所有公开3D手部和人体姿态估计数据集上优于先前方法，并在HANDS 2017基于帧的3D手部姿态估计挑战中获得第一名。\n",
  "keywords": [
    "3D手部姿态估计",
    "3D人体姿态估计",
    "单深度图",
    "体素到体素预测",
    "3D卷积神经网络",
    "逐体素似然",
    "3D热图",
    "实时姿态估计"
  ],
  "paper_institutions": [
    "ASRI, Seoul National University",
    "Kwangwoon University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:49.284919Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单深度图3D手部与人体关键点定位中2D投影导致透视畸变、直接回归3D坐标形成高度非线性映射的问题，本文在现有2D CNN直接坐标回归和少量3D体素坐标回归方法的背景下，提出V2V-PoseNet：先将深度像素重投影到3D空间并离散为占据体素网格，再通过基于hourglass改进的3D全卷积编解码网络估计每个关键点的逐体素似然，同时训练一个2D参考点细化网络，输出从简单深度阈值参考点到真值关节中心的3D偏移，以获得更可靠的目标立方体。其核心机制是在真值体素坐标处生成高斯3D热图 \\(H_n^*(i,j,k)=\\exp(-((i-i_n)^2+(j-j_n)^2+(k-k_n)^2)/(2\\sigma^2))\\)，其中 \\(\\sigma=1.7\\)，并用所有关键点、所有体素上的均方误差 \\(L=\\sum_n\\sum_{i,j,k}\\|H_n^*-H_n\\|^2\\) 监督训练，最后取每个关键点最大响应位置并映射回真实世界坐标。实验选择具有挑战性且远未饱和的NYU数据集进行消融，以公平验证2D深度图/3D体素输入与3D坐标/逐体素似然输出四种组合，并在ICVL、NYU、MSRA、HANDS 2017和ITOP上覆盖手部、人体、正面/顶面视角及跨测试主体设置；实现中输入尺寸为88×88×88，使用RMSProp、批大小8、学习率2.5×10^-4、旋转/缩放/平移增强、Torch7和NVIDIA Titan X，从零端到端训练10轮。评价指标包括手部平均3D距离误差与成功帧比例、人体基于10 cm规则的mAP；NYU消融中体素到体素方案误差为10.37 mm且仅3.4M参数，优于2D深度图到3D坐标的18.85 mm和21.1M参数，定位细化将误差从11.14 mm降至9.22 mm，轮次集成进一步降至8.42 mm，HANDS 2017挑战以9.95 mm平均误差排名第一，ITOP正面和顶面mAP分别达到88.74和83.44，这些结果支持无透视畸变的3D输入和更易学的稠密体素似然输出两项关键创新。该方法可用于人机交互、增强现实和活动识别等场景，主要约束是依赖深度相机、需要较准确的目标定位、占用显存与计算资源，并且杂乱场景、自遮挡和视角变化仍会影响精度；未来可探索降低体素化开销、单GPU高效集成、增强遮挡与杂乱环境鲁棒性等方向。\n\n### 关键要点\n\n- 方法将每个深度像素重投影到3D空间并离散为体素网格，体素被任意深度点占据时取值为1，否则为0，从而避免2D深度图中的透视畸变。\n- V2V-PoseNet以3D CNN处理体素输入，采用改进hourglass结构，通过3D残差块、下采样、上采样和跳跃连接输出每个关键点的逐体素似然。\n- 参考点细化网络接收裁剪深度图，回归当前参考点到真值关节中心的3D偏移，解决简单深度阈值在杂乱场景中定位不准的问题。\n- 训练标签是以真值关节体素坐标为峰值的3D高斯热图，标准差设为1.7，损失函数为所有关键点和体素位置的均方误差。\n- 实验使用ICVL、NYU、MSRA、HANDS 2017四个手部数据集和ITOP人体数据集，涵盖不同关节数、受试者、视角和跨主体评测协议。\n- 在NYU四种输入输出组合对比中，3D体素加逐体素似然取得10.37 mm平均误差，且参数量仅3.4M，为四种方案中最佳。\n- 定位细化使NYU平均误差从11.14 mm降至9.22 mm，保存并平均10个轮次模型的轮次集成可进一步降至8.42 mm。\n- V2V-PoseNet在ICVL、NYU和MSRA上的成功帧比例和各关节3D距离误差均优于对比方法，并在MSRA不同偏航和俯仰角下大多保持最优。\n- 在HANDS 2017基于帧的挑战中，该方法以9.95 mm平均3D距离误差排名第一，优于第二名的10.18 mm。\n- 在ITOP人体数据集上，方法正面视角mAP为88.74，顶面视角mAP为83.44，证明其同样适用于3D人体姿态估计。\n- 系统在使用10个模型集成时为3.5 fps，多GPU环境可达到约35 fps；输入生成耗时23 ms，网络前向5 ms，主要瓶颈是深度图体素化。"
}