{
  "paper_id": "5167e881f6579e420a652506ae36899e",
  "paper_title": "LiDAR-HMR: 基于LiDAR的三维人体网格恢复",
  "paper_authors": [
    "Bohao Fan",
    "Wenzhao Zheng",
    "Jianjiang Feng",
    "Jie Zhou"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人体网格恢复（HMR）在许多应用中具有重要价值。研究涉及多种传感器的HMR是必要的，因为它使得在不同场景中获取人体网格成为可能。与基于RGB图像的HMR不同，基于LiDAR的HMR在以往的工作中受到的关注较少。从稀疏点云估计人体姿态和网格的主要挑战在于LiDAR点云的稀疏性、噪声和不完整性。为了解决这些挑战，我们提出了一种基于LiDAR的三维人体网格恢复算法，称为LiDAR-HMR。该算法涉及估计人体的稀疏表示（三维人体姿态），并逐步重建身体网格。为了更好地利用点云的三维结构信息，我们提出了一种点云到SMPL的流水线，利用原始点云特征来引导重建。在四个公开数据集上的实验结果证明了LiDAR-HMR的有效性。",
  "keywords": [
    "3D human pose estimation",
    "human mesh recovery (HMR)",
    "point cloud processing"
  ],
  "paper_institutions": [
    "Tsinghua University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:26.387757Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对基于单一帧稀疏LiDAR点云的三维人体姿态估计与网格恢复问题，提出了一种名为LiDAR-HMR的算法。现有方法大多依赖RGB图像或密集点云，而LiDAR点云具有稀疏、不完整、自遮挡和噪声等特性，导致传统参数回归方法难以有效利用局部细节。LiDAR-HMR采用点云到SMPL的稀疏到密集重建流水线，首先通过姿态回归网络（PRN）利用投票机制和自注意力细化模块估计模板姿态，接着由网格重建网络（MRN）利用原始点云特征逐步重建人体网格，最后引入可微分的MeshIK模块从网格顶点回归SMPL姿态和形状参数。算法在Waymo、Human-M3、SLOPER4D和LiDAR Human26M四个公开数据集上进行实验，使用MPJPE、MPVPE和MPERE等指标评估，相比现有方法在精度和计算效率上均取得了最优或相当的结果，并且对光照变化鲁棒。未来可探索引入更多人体先验、处理极端稀疏场景以及拓展到多模态任务。核心机制在于将点云特征直接引入网格重建过程，并通过特征传播模块保持跨分辨率的一致性，同时利用MeshIK将非参数化的网格输出转化为具有语义的SMPL参数。\n### 关键要点\n- 首次提出基于单帧稀疏LiDAR点云的三维人体姿态估计和网格恢复方法LiDAR-HMR。\n- 采用稀疏到密集的重建流水线，通过姿态回归网络（PRN）和网格重建网络（MRN）逐步恢复人体网格。\n- 姿态回归网络使用PointTransformer-v2提取点云特征，并通过投票机制和自注意力细化模块估计模板姿态。\n- 网格重建网络利用原始点云特征引导各分辨率下的网格细化，且通过特征传播模块保持不同分辨率间的对应关系。\n- 提出可微分模块MeshIK，利用局部匹配和奇异值分解从网格顶点回归SMPL姿态和形状参数，提升网格合理性和语义性。\n- 在四个公开数据集（Waymo、Human-M3、SLOPER4D、LiDAR Human26M）上进行实验，涵盖多种户外场景。\n- 对于缺少网格标注的Waymo和Human-M3数据集，使用Smplify-Cloud方法生成伪标签，并验证了伪标签质量。\n- 提出的MPERE指标专门衡量网格局部细节的重建质量，弥补了MPVPE的不足。\n- 消融实验表明，投票模块、细化模块、点云特征引入以及特征传播均对性能有积极贡献。\n- LiDAR-HMR在光照不佳（如夜间）场景下依然能实现准确重建，优于RGB方法。\n- 网络吞吐率约为7.5 fps，可满足常见LiDAR系统的实时应用需求。\n- 极端稀疏或身体部分缺失时仍存在失败案例，未来可考虑引入时间连续性约束或更多人体先验。"
}