{
  "paper_id": "f1cb5eb03d8783fc2d46f0614fa2ca32",
  "paper_title": "Point-to-Pose Voting based Hand Pose Estimation using Residual Permutation Equivariant Layer",
  "paper_authors": [
    "Shile Li",
    "Dongheui Lee"
  ],
  "publication_date": "",
  "publication_venue": "2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "近来，基于三维输入数据的手部姿态估计方法展现出最先进性能，因为三维数据比深度图像能捕获更多空间信息。然而，基于三维体素的方法需要大量内存，基于PointNet的方法则需要繁琐的预处理，例如为每个点搜索K近邻。本文提出一种新颖的面向无序点云的深度学习手部姿态估计方法。该方法以1024个三维点为输入，且不需要额外信息。作者以置换等变层（PEL）为基本单元，并针对手部姿态估计任务提出残差网络版本的PEL。此外，本文提出基于投票的机制，将各个点的信息融合为最终姿态输出。除姿态估计外，该投票机制还可在没有分割真值的情况下提供点云分割结果。方法在NYU数据集和Hands2017Challenge数据集上进行评估，优于近期最先进方法，其中在Hands2017Challenge数据集上的姿态精度在当时为最佳。\n",
  "keywords": [
    "手部姿态估计",
    "无序点云",
    "置换等变层",
    "残差网络",
    "点对姿态投票",
    "手部部件分割",
    "深度学习",
    "三维计算机视觉"
  ],
  "paper_institutions": [
    "Technical University of Munich",
    "German Aerospace Center"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:34.962228Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图方法难以充分利用三维空间信息、模型易受相机参数影响，三维体素方法内存开销大，而PointNet类点云方法依赖法向量估计、K近邻搜索等繁琐预处理且末端最大池化可能丢失姿态细节的问题，本文在生成式、判别式与混合方法的研究背景下，提出一种属于判别式深度学习的无序点云手部姿态估计方法。该方法以1024个三维点为输入，不需要法向量、近邻图或分割标注；预处理采用视角归一化，将手部质心视线方向旋转到相机z轴，以缓解自遮挡使同一姿态标签对应不同观测点的一对多问题。特征提取由27个置换等变层组成三个残差块，每个点的特征同时依赖自身输入和各维全局最大值，因此对点的输入顺序保持等变，并通过捷径连接与批归一化构建深层网络。在点对姿态投票阶段，每个点预测姿态及对应各姿态维度的重要性权重，最终以核心加权机制 y_j = Σ_n(G_nj · ŷ_nj) / Σ_n G_nj 融合所有点的预测；检测版先预测离散分布再积分，回归版则直接预测坐标。由权重G还可按每点最大贡献维度将点归入手掌、拇指、食指、中指、无名指、小指或低权重背景，从而在无分割真值条件下获得手部部件分割。实验选用Hands2017Challenge和NYU：前者规模大且测试集包含未见手形，用于检验跨手形泛化，后者是标准基准并提供三视图，用于比较单视图与多视图训练；实现基于TensorFlow和单块GTX1060，使用Adam优化器，前半训练用256点、其后用512点，并进行平移、缩放和绕z轴旋转增强，检测版设r=15mm、B=60。评价采用平均关节误差，NYU还采用正确帧比例；回归版在Hands2017Challenge取得9.82mm平均误差、已见手形7.15mm、未见手形12.04mm，在投稿时为官方测试集最低整体误差，在NYU单视图和三视图分别达到8.99mm和8.35mm，这些结果支持残差PEL能够高效提取点特征、投票加权能够保留并融合多点信息且无需最大池化。模型回归版38MB、检测版44MB，1024点时每帧运行10.7ms和12.5ms，适用于人机交互中的手势识别与人类示教抓取学习等场景；主要约束包括输入需由深度像素转为点云、视角归一化依赖质心与旋转计算、自遮挡和未见手形仍会增大误差，以及点数增加在1024后性能饱和。未来可探索改进损失与热向量表示、手物交互中自动去除物体影响，并将ResidualPEL与投票机制推广到人体姿态和物体姿态估计。\n\n### 关键要点\n\n- 网络直接接受任意顺序的三维点集，标准测试使用1024个点，不需要表面法向量、K近邻搜索、kd树或定向包围盒等PointNet类方法常见预处理。\n- 视角归一化通过旋转使手部质心视线对齐相机z轴，减少同一姿态因观察方向不同而产生的一对多映射，并在Hands2017Challenge上带来约1.5mm的误差下降。\n- 残差置换等变网络包含27个PEL，分成3个各含9层的残差块，并使用捷径连接和批归一化；每点通过自身特征与全局最大值交换信息。\n- 检测版投票为每个点的每个姿态维度预测B个离散区间分布和重要性权重，其中r设为15mm、B设为60，再对加权分布积分得到姿态。\n- 回归版投票让每个点直接预测三维姿态，并用重要性权重对所有点的预测作加权平均，实验中其精度略高于检测版。\n- 重要性权重G无需分割真值即可学习，按每点权重最大的姿态维度可将其分配给手掌、不同手指或低权重背景。\n- Hands2017Challenge训练集含957032张深度图、测试集含295510张深度图，测试手形包含5个已见和5个未见对象，官方评价指标为平均关节误差。\n- 在Hands2017Challenge上，回归版取得9.82mm整体平均误差、7.15mm已见手形误差和12.04mm未见手形误差，投稿时为官方测试集最低整体误差。\n- NYU数据集包含72757张训练图像和8252张测试图像，实验按惯例评估14个关节；单视图回归误差为8.99mm，三视图训练后降至8.35mm。\n- 网络虽然主要用512个点训练，但测试时可使用256至2048个点；256点仍可保持较低误差，精度在1024点后基本饱和。\n- 回归版和检测版模型分别占38MB和44MB，在GTX1060上处理1024点分别需10.7ms和12.5ms，减少点数可进一步提速但会带来小幅精度损失。"
}