{
  "paper_id": "6d8f39c77875b1b8edd5c3f00796b930",
  "paper_title": "Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs",
  "paper_authors": [
    "Liuhao Ge",
    "Hui Liang",
    "Junsong Yuan",
    "Daniel Thalmann"
  ],
  "publication_date": "",
  "publication_venue": "2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "Articulated hand pose estimation plays an important role in human-computer interaction. Despite the recent progress, the accuracy of existing methods is still not satisfactory, partially due to the difficulty of embedded high-dimensional and non-linear regression problem. Different from the existing discriminative methods that regress for the hand pose with a single depth image, we propose to first project the query depth image onto three orthogonal planes and utilize these multi-view projections to regress for 2D heat-maps which estimate the joint positions on each plane. These multi-view heat-maps are then fused to produce final 3D hand pose estimation with learned pose priors. Experiments show that the proposed method largely outperforms state-of-the-art on a challenging dataset. Moreover, a cross-dataset experiment also demonstrates the good generalization ability of the proposed method.",
  "keywords": [
    "3D hand pose estimation",
    "depth image",
    "multi-view CNNs",
    "heat-maps",
    "human-computer interaction",
    "convolutional neural networks"
  ],
  "paper_institutions": [
    "Institute for Media Innovation, Nanyang Technological University, Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:56.876310Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单张深度图像中的鲁棒3D手部姿态估计问题，该问题因手部运动维度高、姿态变化大而难以建立从图像特征到关节姿态参数的高效映射，是虚拟/增强现实等人机交互应用的关键环节。现有数据驱动方法中，直接回归3D位置的CNN非线性程度高、泛化能力差，而Tompson等人的单视角CNN热图方法仅利用2D信息、深度信息未充分利用且依赖预定义手部模型拟合。为此作者提出多视角CNN回归框架：先将深度图像的3D点云投影到由PCA构建的定向包围盒（OBB）坐标系的三个正交平面（x-y、y-z、z-x），每个视角的投影图像分别输入结构相同的多分辨率CNN生成21个手部关节的2D热图，再基于MAP估计融合三视角热图，其核心公式为 Φ* = argmax P(Φ|Ixy)P(Φ|Iyz)P(Φ|Izx)（s.t. Φ∈Ω），各视角概率由热图强度给出，并通过训练数据PCA学习的手部姿态低维子空间约束（Φ=Σαm·em+u，取35个主成分）以闭式解 α*=A⁻¹b 消除歧义估计并重建最优3D关节位置。实验选用文献中最具挑战性的公开数据集（9名受试者×17种手势，留一法交叉验证）以验证与最先进方法的比较，并在跨数据集设置（训练于该数据集、测试于另一数据集）下检验泛化能力；CNN在Torch7框架下以SGD训练（批大小64、学习率0.2、动量0.9、权重衰减0.0005、50轮约12小时、双Tesla K20 GPU并行训练三视角网络）。评估采用各关节平均误差距离和最坏情况准确率两项指标：精细融合方法平均误差约13mm，在20mm和30mm误差容限下好样本比例分别比级联回归方法高约10%和15%，对所有偏航/俯仰视角角平均误差更小，整体流程14.1ms、实时速度超过70fps，验证了多视角信息利用与隐式姿态先验约束的有效性；跨数据集实验中无需标定手部模型、真值初始化或时序信息即优于FORTH、PSO和ICP方法。未来可探索提高热图分辨率以改善小误差容限下的精度及更广泛的真实场景部署；实际应用需注意深度图分辨率导致投影图像粗糙（需中值滤波与开运算处理）、热图分辨率较低，以及跨数据集性能仍逊于使用标定模型与时序信息的ICP-PSO方法等约束。\n\n### 关键要点\n\n- 提出多视角CNN回归框架：将深度图像的3D点云投影到OBB坐标系的三个正交平面，每个视角独立训练多分辨率CNN生成21个手部关节的2D热图，融合后恢复完整3D关节位置，无需模型拟合。\n- 相比单视角CNN，多视角热图同时编码关节在三个平面的位置分布，避免2D位置轻微偏差导致的大深度估计误差，并能借助其他视角热图消除单视角多热点歧义。\n- 核心机制为MAP估计 Φ* = argmax P(Φ|Ixy)P(Φ|Iyz)P(Φ|Izx)，假设三视角投影在给定关节位置下条件独立且先验等概率，各视角后验概率由对应热图强度给出。\n- 多视角融合将三视角概率乘积Q近似为3D高斯分布，并将手部姿态约束在训练数据PCA学习的低维子空间（35个主成分），通过闭式解 α* = A⁻¹b 求最优系数后反投影重建关节位置，隐式编码手部运动约束而无需手动定义手部尺寸参数。\n- CNN采用多分辨率架构：输入投影图像缩放至96×96并经局部对比度归一化，再降采样为48×48和24×24三路卷积，特征图拼接后经两层全连接输出18×18像素的21个热图，三视角网络结构与参数完全相同。\n- 训练设置：Torch7框架，SGD优化与MSE损失，批大小64、学习率0.2、动量0.9、权重衰减0.0005，训练50轮防止过拟合，在双Intel Xeon处理器、64GB内存和双Nvidia Tesla K20 GPU上约12小时，三视角CNN可并行训练。\n- 数据与评估：在最具挑战性的公开数据集（9名受试者、每人17种手势）上留一法交叉验证（8名训练、1名测试，重复9次），指标为各关节平均误差距离和最坏情况准确率（所有关节均在误差容限内才算好样本）。\n- 自比较结果：两种多视角回归方法显著优于单视角回归；精细融合平均误差约13mm且优于粗略融合（简单平均三视角坐标），仅在较大误差容限下最坏情况准确率略低于粗略融合。\n- 与最先进方法比较：在20mm和30mm误差容限下好样本比例分别比级联回归方法高约10%和15%，对所有偏航和俯仰视角角平均误差更小，俯仰角标准差0.64mm优于对方的0.79mm；也显著优于需模型拟合的单视角CNN方法。\n- 运行效率：整个流程14.1ms（多视角投影2.6ms、CNN前向传播6.8ms、多视角融合4.7ms），实时速度超过70fps；投影与融合在CPU上无并行执行，CNN前向传播在GPU上三视角并行。\n- 跨数据集实验：训练于9名受试者数据集、直接测试于另一6名受试者数据集，无需标定手部模型、真值初始化或时序信息，平均误差22.8mm，优于FORTH（28.6mm）、PSO（23.6mm）和ICP（26.1mm），但逊于使用标定模型与时序信息的ICP-PSO（15.3mm）和ICP-PSO*（9.2mm），验证了良好的泛化能力。\n- 适用约束与局限：热图分辨率较低导致误差容限小于15mm时好样本比例略低于级联回归方法；深度图分辨率限制使三平面投影较粗糙，需中值滤波和开运算处理；跨数据集场景更具挑战性。"
}