{
  "paper_id": "1e428e9949b38ad80b2302cfc4cdd6de",
  "paper_title": "Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation",
  "paper_authors": [
    "Ziwei Yu",
    "Linlin Yang",
    "Shicheng Chen",
    "Angela Yao"
  ],
  "publication_date": "",
  "publication_venue": "BMVC 2021",
  "abstract": "本文研究如何从单张RGB图像重建人体手部的三维点云并估计三维姿态。作者提出一种新颖的局部与全局点云重建流程，该流程利用三维手部模板，同时学习用于姿态估计的潜在表示。为验证方法，作者构建了一个多视角手部姿态数据集，以获取真实世界中完整的手部三维点云。在新数据集和四个公开基准上的实验表明，该模型在三维姿态估计上优于竞争方法，并能重建外观逼真、完整的三维手部点云。\n",
  "keywords": [
    "三维手部姿态估计",
    "点云重建",
    "局部与全局表示",
    "单张RGB图像",
    "手部模板",
    "MANO",
    "MVHand",
    "Chamfer距离",
    "Earth Mover距离"
  ],
  "paper_institutions": [
    "National University of Singapore, Singapore",
    "University of Bonn, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:11.411604Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向增强现实、虚拟现实等人机交互场景，解决单张RGB图像中手部高自由度、严重自遮挡导致的三维形状与姿态估计困难；现有基于MANO的参数化网格容易过度平滑，非参数网格又依赖大量难采集的标注网格，而已有点云方法通常只能恢复相机朝向的不完整表面。为此，作者提出由RGB编码器、点云解码器和三维姿态解码器组成的联合框架：ResNet-18将256×256图像编码为512维潜在向量，三层MLP回归21个三维关节，受FoldingNet启发的解码器则把模板点折叠为完整手部点云。方法的核心是定制三维手部模板，并按手掌、拇指和其余四指进行语义分组，同时在全局完整点云和各局部组件上计算Chamfer距离与Earth Mover距离，即L_pc=Σ_i(d_CD^{L_i}+d_EMD^{L_i})+d_CD^G+d_EMD^G，从而兼顾手指细节与整体几何。对于缺少点云标注的公开数据，作者通过拟合MANO参数并在网格表面采样生成伪真值；对于真实数据，则提出四视角RGB-D数据集MVHand，用四台Intel RealSense D415在约50厘米处采集83K帧、4名受试者的数据，并由深度图融合、去噪和降采样得到完整点云，以验证模型在真实密集且含噪点云上的泛化能力。训练先用ADAM以学习率0.001、权重衰减1e-6、批量32优化点云重建，再以0.0001的学习率微调编码器并训练姿态解码器。实验采用MPJPE、PCK AUC、CD和EMD评估；完整模型在RHD、STB、FreiHand、YouTube3D和MVHand上的MPJPE分别为13.38、6.71、9.60、18.50和14.50毫米，RHD与STB的PCK AUC表现领先，且去除点云重建后平均误差约高20%，局部三维模板在CD和EMD上也 consistently 优于二维网格和普通三维手部模板，支持了模板初始化与局部—全局监督的有效性。该方法的适用约束包括多数实验针对单手场景、YouTube3D缺少尺度并需以40毫米参考骨长评估、MVHand因1038个点计算成本过高而省略EMD，以及真实深度点云仍含噪声与遮挡；未来工作将探索利用点云进一步解决手部自遮挡问题。\n\n### 关键要点\n\n- 框架将单张RGB图像编码为共享潜在表示，并同时解码出21个三维手部关节和完整三维手部点云。\n- 点云解码器基于FoldingNet，将预定义模板点根据潜在特征折叠变形为目标手部表面。\n- 作者设计了遵循规范手部形状的三维模板，以减少二维网格模板所需的折叠幅度并简化学习。\n- 局部重建为手掌和五根手指分别设置语义组件，再结合全局CD与EMD，增强手指等高细节区域的重建质量。\n- 对RHD、STB、FreiHand和YouTube3D等无完整点云标注的数据，论文通过拟合MANO并在网格表面采样生成点云监督信号。\n- 新构建的MVHand包含四视角RGB与深度图、三维关节、拟合MANO参数、手部掩码及相机内外参，用于真实完整点云验证。\n- 评估指标包括三维姿态的MPJPE和PCK AUC，以及点云重建的Chamfer距离与Earth Mover距离。\n- 完整模型在STB上达到6.71毫米MPJPE，在FreiHand上达到9.60毫米，在MVHand上达到14.50毫米，整体优于无重建变体。\n- 消融实验显示移除点云解码器后所有数据集误差均上升，平均约增加20%，说明点云重建能改善姿态潜在表示。\n- 模板消融表明局部三维初始化在CD和EMD上总体优于二维网格和全局三维手部初始化。\n- 方法的限制包括真实深度数据噪声、YouTube3D尺度缺失、MVHand的EMD计算成本高，以及当前主要面向单手姿态设置。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}