{
  "paper_id": "f5eaeb1f3c42e3b8bbcb922ce02ae5da",
  "paper_title": "Hand PointNet: 3D Hand Pose Estimation using Point Sets",
  "paper_authors": [
    "Liuhao Ge",
    "Yujun Cai",
    "Junwu Weng",
    "Junsong Yuan"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition",
  "abstract": "Convolutional Neural Network (CNN) has shown promising results for 3D hand pose estimation in depth images. Different from existing CNN-based hand pose estimation methods that take either 2D images or 3D volumes as the input, our proposed HandPointNet directly processes the 3D point cloud that models the visible surface of the hand for pose regression. Taking the normalized point cloud as the input, our proposed hand pose regression network is able to capture complex hand structures and accurately regress a low dimensional representation of the 3D hand pose. In order to further improve the accuracy of fingertips, we design a fingertip refinement network that directly takes the neighboring points of the estimated fingertip location as input to refine the fingertip location. Experiments on three challenging hand pose datasets show that our proposed method outperforms state-of-the-art methods.",
  "keywords": [
    "3D手姿态估计",
    "点云",
    "PointNet",
    "深度图像",
    "指尖精化",
    "OBB归一化",
    "深度学习"
  ],
  "paper_institutions": [
    "Institute for Media Innovation, Interdisciplinary Graduate School, Nanyang Technological University",
    "School of Electrical and Electronic Engineering, Nanyang Technological University",
    "Department of Computer Science and Engineering, State University of New York at Buffalo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:17.835926Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n3D手姿态估计因姿态维度高、手部全局朝向变化大、手指自相似与严重自遮挡而面临精度与鲁棒性难题；现有基于CNN的方法或以2D图像为输入而无法充分利用深度图中的3D空间信息，或将稀疏点云栅格化为3D体素（如3D CNN限于32³低分辨率）而浪费计算并丢失手部细节。受PointNet直接在点集上进行3D分类与分割的启发，本文提出HandPointNet，首次直接以建模手部可见表面的3D点云作为深度网络输入来回归3D关节位置：分割后的手部深度图被转换为点集并下采样至N=1024点，在定向包围盒（OBB）中归一化——其核心机制为对输入点3D坐标做PCA确定OBB轴向，按 p^obb=(R_obb^cam)^T·p^cam 与 p^nor=(p^obb−p̄^obb)/L_obb 将点变换至OBB坐标系、零均值化并缩放至单位尺寸——使手部全局朝向更一致，从而无需额外网络即可对朝向变化鲁棒；归一化点的3D坐标附加估计的表面法线后输入含三层集合抽象的分层PointNet，从局部到全局提取手部特征并回归F=2×M维低维姿态表示（由训练集关节位置PCA投影获得）以施加手姿态约束，再经PCA重建关节位置；针对指尖误差较大的问题，进一步设计指尖精化网络，以估计指尖位置的K=256个最近邻点为输入，用基础PointNet回归精化后的指尖位置。方法在NYU（72K训练/8K测试帧、14关节）、MSRA（76K帧、9受试者留一交叉验证、21关节）与ICVL（22K训练/1.6K测试帧、16关节）三个具有挑战性的公开数据集上评估——它们覆盖不同受试者、手势数量与关节标注，可验证方法的泛化能力与各组件贡献；实现基于PyTorch框架与Nvidia GTX1080 GPU，采用Adam优化器（初始学习率0.001、batch size 32、正则强度0.0005、60轮训练）。以逐关节平均误差距离与好帧比例（最差关节误差低于阈值、更严格）为指标，该方法在三个数据集上均优于16种最先进方法（NYU上15–20mm阈值好帧比例比REN与DeepPrior++高约15%，MSRA上比3D CNN与DeepPrior++高约10%），消融实验分别验证了OBB归一化、分层PointNet架构与指尖精化三项创新的有效性；运行速度超48fps（平均20.5ms）、模型仅10.3MB（3D CNN约420MB），支持了点云直接处理在精度与效率上的优势。未来可探索更复杂场景下的鲁棒性、更高效的点云特征提取与端到端朝向处理；该方法适用于VR/AR等实时人机交互场景，但依赖深度相机输入与手部分割，实时性约束限制了采样点数与近邻搜索规模，且指尖精化仅适用于伸直手指。\n\n### 关键要点\n\n- 方法核心：HandPointNet首次直接以3D点云（而非2D图像、多视图投影或3D体素）作为深度网络输入，通过分层PointNet从局部到全局捕获手部结构并回归3D关节位置。\n- OBB归一化：对输入点3D坐标做PCA确定定向包围盒轴向，将点云变换至OBB坐标系并零均值化、缩放至单位尺寸，使手部全局朝向更一致，无需额外网络即可提升对朝向变化的鲁棒性。\n- 低维姿态表示：因人手自由度低于3×M维关节空间，网络输出F=2×M维低维表示（由训练集关节位置PCA投影获得），以施加手姿态约束、缓解不可行姿态估计。\n- 指尖精化网络：对伸直手指取估计指尖位置周围K=256个最近邻点，经OBB归一化后输入基础PointNet回归精化位置；训练时对真值指尖加半径15mm的3D随机偏移以增强对不精确估计的鲁棒性。\n- 数据集设置：NYU（72K训练/8K测试帧，估计14关节，RDF分割并随机手臂长度增强）、MSRA（76K帧，9受试者留一交叉验证取平均，21关节，无数据增强）、ICVL（22K训练/1.6K测试帧，16关节，随机手臂长度与拉伸因子增强）。\n- 实现细节：输入点附加由30个近邻点PCA拟合局部平面估计的3D表面法线；分层PointNet含三层集合抽象（512/128个局部区域、每区域64点、128/256维局部特征、1024维全局特征）；Adam优化器，初始学习率0.001，batch size 32，正则强度0.0005，60轮训练后停止。\n- 评估指标：采用逐关节平均误差距离与好帧比例（最差关节误差低于阈值）两项指标，其中好帧比例更为严格。\n- 消融实验：N=1024与2048精度几乎相同而N=512略低，兼顾精度与实时性选择N=1024；OBB归一化显著优于无旋转的球归一化；分层PointNet优于基础PointNet；指尖精化在三个数据集上均降低多数指尖及整体平均误差。\n- 对比结果：与16种最先进方法（REN、DeepPrior++、3D CNN、多视图CNN等）比较，在大多数误差阈值上占优，并在三个数据集上均取得最小的整体平均误差距离。\n- 运行效率：平均每帧20.5ms（点采样与法线计算8.2ms、回归网络前向9.2ms、近邻搜索2.8ms、精化网络0.3ms），实时速度超48fps；模型大小10.3MB（回归网络9.2MB+精化网络1.1MB），远小于3D CNN的约420MB。\n- 应用与约束：适用于VR/AR等实时人机交互场景，但依赖深度相机输入与手部分割，实时性要求限制了采样点数（1024）与近邻搜索点数上限（6000），且指尖精化仅针对伸直手指。"
}