{
  "paper_id": "4314b059e2ac86ec9475199bbd7b1d66",
  "paper_title": "Point-to-Point Regression PointNet for 3D Hand Pose Estimation",
  "paper_authors": [
    "Liuhao Ge",
    "Zhou Ren",
    "Junsong Yuan"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2018 (Lecture Notes in Computer Science)",
  "abstract": "Convolutional Neural Networks (CNNs)-based methods for 3D hand pose estimation with depth cameras usually take 2D depth images as input and directly regress holistic 3D hand pose. Different from these methods, our proposed Point-to-Point Regression PointNet directly takes the 3D point cloud as input and outputs point-wise estimations, i.e., heat-maps and unit vector fields on the point cloud, representing the closeness and direction from every point in the point cloud to the hand joint. The point-wise estimations are used to infer 3D joint locations with weighted fusion. To better capture 3D spatial information in the point cloud, we apply a stacked network architecture for PointNet with intermediate supervision, which is trained end-to-end. Experiments show that our method can achieve outstanding results when compared with state-of-the-art methods on three challenging hand pose datasets.\n",
  "keywords": [
    "3D hand pose estimation"
  ],
  "paper_institutions": [
    "Institute for Media Innovation, Interdisciplinary Graduate School, Nanyang Technological University",
    "Snap Inc.",
    "Department of Computer Science and Engineering, State University of New York at Buffalo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:22.866088Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度相机三维手姿估计中直接整体回归非线性强、二维热图难以升维、三维CNN体素化计算开销大以及像素级估计易受背景干扰等问题，本文面向虚拟现实与增强现实中的自然手部交互，提出Point-to-Point Regression PointNet。相关方法多以二维深度图像为输入，而该方法利用深度图本质上是物体可见表面三维点集的特点，先分割手部并转换为点云，采样1024个点、建立有向包围盒并归一化，再以三维坐标和表面法向作为输入。网络采用两个分层PointNet模块堆叠的结构并进行端到端训练和中间监督，输出点云上的热图和单位向量场，分别表示每个点到手部关节的接近程度与方向；其核心机制是由“估计偏移 = r(1−热图)×单位向量”恢复逐点偏移，再选取热图响应最高的25个候选点，以热图值加权融合得到关节三维位置。训练目标的邻域由64近邻与半径80 mm/Lobb的球查询共同界定，后处理还在候选估计发散度超过7.5 mm/Lobb时改用附加全连接层的直接回归结果，并使用30个主成分的PCA模型约束手形。实验在NYU、ICVL和MSRA三个具有挑战性的公开数据集上进行，采用每关节平均误差距离和最差关节误差低于阈值的合格帧比例作为指标，使用PyTorch、Adam优化器、批量大小32并训练60轮；结果表明该方法在NYU和ICVL上几乎所有误差阈值均优于现有方法，在MSRA上整体具有竞争力但高阈值处受标注误差等影响，平均速度为41.8 fps、模型大小17.2 MB，可满足实时交互需求。其主要约束包括关节附近深度缺失、手指自遮挡、点云候选发散以及数据集标注噪声，后续可从缺失深度补偿、时序点云建模和噪声标注鲁棒学习等方向继续探索。\n\n### 关键要点\n\n- 预处理将手部深度图转换为三维点云，采样1024个点，通过有向包围盒消除朝向影响，并将坐标归一化到-0.5至0.5。\n- 训练表示只在关节邻域内生效，邻域搜索结合K=64的K近邻和半径80 mm/Lobb的球查询，以同时控制邻域点数和空间尺度。\n- 热图表示点到关节的接近程度，单位向量场表示点到关节的方向；二者将方差较大的偏移回归分解为更易学习的目标。\n- 网络由两个结构相同的分层PointNet模块堆叠而成，第一模块的热图、单位向量场和点特征被拼接后输入第二模块。\n- 两个堆叠模块均接受中间监督，损失同时约束预测热图、预测单位向量场与对应真值之间的误差。\n- 推理时选取热图值最大的25个点，由各点坐标和恢复的偏移形成候选关节位置，再以热图值为权重进行加权平均。\n- 当25个候选在x、y、z坐标上的标准差之和超过7.5 mm/Lobb时，方法改用附加三层全连接网络得到的直接回归结果。\n- PCA后处理使用训练集真值得到的30个主成分，将估计手姿投影到低维关节空间，以补充显式结构约束。\n- NYU包含72757个训练帧和8252个测试帧并评估14个关节，ICVL包含22059个训练帧和1596个测试帧并评估16个关节，MSRA采用9名受试者交叉留一测试并评估21个关节。\n- 模型基于PyTorch实现，使用Adam优化器、初始学习率0.001、批量大小32，30轮后学习率除以10，60轮后停止训练。\n- 在NYU和ICVL上，该方法在几乎所有误差阈值上优于DenseReg、Pose-REN等方法，并取得最小的整体平均误差；在MSRA上低阈值表现更好，但高阈值处不及DenseReg。\n- 完整流程平均每帧耗时23.9 ms，约41.8 fps，模型大小17.2 MB；深度缺失、自遮挡和MSRA部分标注误差是主要失效来源。"
}