{
  "paper_id": "d3a5f0c8fe66c593fc389361858c49e3",
  "paper_title": "Hand Pose Estimation via Latent 2.5D Heatmap Regression",
  "paper_authors": [
    "Umar Iqbal",
    "Pavlo Molchanov",
    "Thomas Breuel",
    "Juergen Gall",
    "Jan Kautz"
  ],
  "publication_date": "2018",
  "publication_venue": "European Conference on Computer Vision (ECCV) 2018",
  "abstract": "估计手的3D姿态是人机交互的重要组成部分。随着计算机视觉的发展，使用深度或多视角传感器估计3D姿态变得更加容易，但从单张RGB图像回归姿态仍困难得多。主要难点在于3D姿态需要某种形式的深度估计，而仅给定RGB图像时深度具有歧义。本文提出一种新颖的2.5D姿态表示，用于从单目图像估计3D手部姿态。该表示估计的姿态相差一个缩放因子；若给定手的大小先验，还可额外估计该因子。我们利用新颖的CNN架构隐式学习深度图和热图分布。在多个具有严重遮挡的挑战性数据集上，该系统在2D和3D手部姿态估计方面均达到最先进精度。\n",
  "keywords": [
    "手部姿态",
    "2D到3D",
    "3D重建",
    "2.5D热图"
  ],
  "paper_institutions": [
    "NVIDIA",
    "University of Bonn"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:33.497231Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张RGB图像估计3D手部姿态时深度与尺度本质歧义、自遮挡和手物交互严重，而深度相机、多视角系统或标记手套又限制无约束场景应用的问题，论文梳理了基于模型、检索、2D提升3D以及图像直接回归等路线，指出2D提升3D难以区分正负深度且对2D误差敏感，整体回归不利于指尖精确定位，三维体热图则带来高计算与存储开销。为此，作者提出尺度和平移不变的2.5D姿态表示 P̂_k^2.5D=(x_k,y_k,Ẑ_k^r)，其中x、y为图像坐标，Ẑ^r为相对于掌心根节点并按指定骨骼长度归一化的深度；归一化令食指第一MCP关节到掌心的距离C=1。网络采用带跳跃连接的编码-解码CNN，输出2K个潜在通道，经可学习β的空间softmax得到概率图，再以soft-argmax机制 p_k=Σ_p H_k^2D(p)·p 获得亚像素2D位置，并以 Ẑ_k^r=Σ_p H_k^2D(p)∘H_k^{*ẑ^r}(p) 获得深度，整个过程可微、无需手工设计高斯热图。给定2.5D点和相机内参，利用归一化骨骼长度建立关于根节点深度的二次方程并取相机前方解，可精确反投影得到仅差全局尺度的3D姿态；尺度未知时用训练集平均骨长最小化误差恢复，若有手型尺寸先验则可获得绝对3D姿态。实验在Dexter+Object、EgoDexter、Stereo Hand Pose、Rendered Hand Pose和MPII+NZSL五个数据集上进行，分别覆盖严重遮挡、手物交互、自我中心、立体/合成数据和野外图像，其中D+O无训练数据且根节点未标注，可检验跨数据集泛化和绝对姿态恢复能力；实现中输入128×128图像并保持同分辨率输出，卷积层使用256通道，视频首帧用YOLO检测手部，后续帧依据前一帧姿态生成检测框。评价采用2D/3D平均端点误差、PCK曲线下面积AUC以及MPII+NZSL的头部归一化PCKh；消融显示潜在热图在D+O上以SHP+RHP训练获得2D AUC 0.59、3D AUC 0.57，优于整体回归的0.41、0.54和直接热图回归的0.57、0.55，加入MPII+NZSL与MVBS的2D标注后升至0.68、0.68，消除指尖标注差异后达到0.76、0.69，证明可学习热图扩散、多源训练和标注一致性的作用。在RHP上，方法取得2D AUC 0.89、平均EPE 3.57 px和3D AUC 0.91、平均EPE 15.77 mm，使用真值根深度与尺度时3D AUC达0.94、EPE 13.41 mm；在D+O上同训练设置2D AUC为0.64对Z&B的0.49，增加2D数据后为0.74对Mueller等的0.64，3D也大幅优于现有RGB方法但仍落后RGB-D方法，并在SHP、EgoDexter和MPII+NZSL上取得领先或相当结果。该工作适用于自然人机交互、AR/VR、可穿戴视角和手物交互等场景，主要约束是单目绝对尺度无法仅凭图像唯一确定、3D重建需要相机内参和手部裁剪，且当前逐帧预测未利用时间平滑；未来可探索更可靠的弱先验尺度恢复、时序与上下文融合、强遮挡建模以及轻量化高速模型。\n\n### 关键要点\n\n- 2.5D姿态由2D像素坐标和相对于掌心的尺度归一化深度组成，归一化使用食指第一MCP关节与掌心之间的骨骼并令其3D长度C=1，2D投影不因归一化改变。\n- 给定2.5D坐标、相机内参与归一化骨骼长度，根节点深度满足一个二次方程；算法在相机前、后两个解中选择前方解，从而反投影得到尺度归一化的绝对3D姿态。\n- 若全局尺度未知，系统依据训练数据中各骨骼平均长度，最小化预测骨长与平均骨长的误差来估计尺度；若已知手尺寸先验，则可恢复真实绝对3D坐标。\n- 潜在2.5D热图回归为每个关键点输出一个2D潜在热图通道和一个深度通道，通过可学习β的softmax、soft-argmax和深度图加权求和完成端到端预测，并能为指尖和掌心学习不同热图扩散范围。\n- 训练损失包含2D坐标损失和根相对深度损失，深度损失仅在有3D标注时启用，因此可混合使用仅有2D标注的野外图像与含3D标注的受限或合成图像。\n- 五个评测数据集包括仅标注指尖的D+O、自我中心且含手物交互的EgoDexter、含21个关键点3D标注的SHP、合成RHP，以及提供野外2D标注和MVBS数据的MPII+NZSL。\n- 网络为带跳跃连接的编码-解码结构，输入128×128图像并输出同分辨率2.5D热图；D+O、ED和SHP等视频数据在首帧用YOLO检测手部，后续帧由前一帧姿态产生边界框。\n- D+O被用于消融且不提供训练数据；在仅用SHP+RHP时，潜在热图的2D/3D AUC为0.59/0.57，加入MPII+NZSL和MVBS后升至0.68/0.68，修正指尖标注定义后达到0.76/0.69。\n- RHP数据集上，本文方法2D AUC为0.89、平均EPE为3.57 px，3D AUC为0.91、平均EPE为15.77 mm；给定真值根深度和全局尺度时，3D AUC和平均EPE分别为0.94和13.41 mm。\n- 在D+O上，本文方法在相同训练设置下2D AUC以0.64超过Z&B的0.49，使用额外2D数据后以0.74超过Mueller等的0.64；其3D结果显著优于RGB对比方法，但仍低于引用的RGB-D方法。\n- 完整潜在热图模型在NVIDIA TitanX Pascal上约20 FPS，整体回归约145 FPS；简化的fast模型可达150 FPS、参数量减少3.8倍，代价是部分精度下降。\n- 方法不依赖时间滤波或用户手面平行假设，可逐帧预测，但单目图像不能唯一确定全局尺度，且由2.5D重建3D需要相机内参和可靠手部检测或裁剪。"
}