{
  "paper_id": "cde9e69bf108b9991a29ab3951af77cc",
  "paper_title": "Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR",
  "paper_authors": [
    "Peishan Cong",
    "Yiteng Xu",
    "Yiming Ren",
    "Juze Zhang",
    "Lan Xu",
    "Jingya Wang",
    "Jingyi Yu",
    "Yuexin Ma"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "通常，基于单目相机的3D多人姿态估计中深度估计是病态且模糊的。由于LiDAR能够捕获远距离场景中的准确深度信息，它通过提供丰富的几何特征，既有利于个体全局定位，也有利于3D姿态估计。受此启发，我们提出了一种基于单目相机和单个LiDAR的3D多人姿态估计方法，适用于大规模场景，易于部署且对光照不敏感。具体而言，我们设计了一种有效的融合策略，以充分利用多模态输入数据（包括图像和点云），并充分利用时间信息引导网络学习自然、连贯的人体运动。不依赖任何3D姿态标注，我们的方法利用点云的固有几何约束进行自我监督，并利用图像上的2D关键点进行弱监督。在公共数据集和我们新收集的数据集上的大量实验证明了我们方法的优越性和泛化能力。项目主页：<https://github.com/4DVLab/FusionPose.git>。",
  "keywords": [
    "3D multi-person pose estimation",
    "large-scale scenes",
    "LiDAR",
    "monocular camera",
    "weakly supervised",
    "image-to-point attention fusion",
    "temporal information"
  ],
  "paper_institutions": [
    "ShanghaiTech University",
    "Shanghai Engineering Research Center of Intelligent Vision and Imaging"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:22.103058Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对大规模场景下基于单目相机和单个LiDAR的3D多人姿态估计问题，提出了FusionPose方法。由于单目相机深度估计本质上是病态的，而LiDAR能提供精确的深度信息，因此结合两者可互补。该方法设计了图像到点注意力融合（IPAFusion）模块，通过交叉注意力机制自动学习图像和点云之间的对应关系，无需精确标定，充分利用图像的全局语义特征和点云的局部几何特征。同时，利用时间信息引导的姿态估计器，通过运动块和一致性块学习连续帧中的动态约束和高维特征一致性，以增强姿态的连续性和合理性。在训练中，利用点云的几何约束（如倒角距离）进行自我监督，并利用2D关键点进行弱监督，完全不需要3D姿态标注。在HybridCap、3DPW、STCrowd以及新收集的LiCamPose数据集上进行了大量实验，结果表明FusionPose在PCK、MPJPE和CD等指标上均优于现有方法，且与全监督训练的性能相当。此外，还验证了IPAFusion优于其他融合方法，并对各损失函数进行了消融研究，证明了运动块、一致性块和CD_agu损失的有效性。方法对点云稀疏性和遮挡具有鲁棒性，但在严重外部遮挡下依赖于检测和跟踪的准确性。核心机制表现为通过交叉注意力融合图像和点云特征，以及利用运动映射和一致性损失增强时间维度上的姿态估计。\n\n### 关键要点\n- 提出了一种基于单目相机和单个LiDAR的多模态3D多人姿态估计方法FusionPose，适用于大规模场景且无需3D姿态标注。\n- 设计IPAFusion模块，利用交叉注意力自动学习图像和点云的对应关系，避免了传感器标定误差的影响，并有效融合全局语义和局部几何特征。\n- 利用时间信息引导的姿态估计器，包含运动块和一致性块，分别通过运动映射损失和高维特征一致性损失来增强连续姿态的合理性和连贯性。\n- 自我监督方面，采用点云倒角距离（CD）损失，并通过线性插值增强关键点，以更贴合点云形状。\n- 弱监督方面，利用2D关键点（通过图像2D姿态估计获得）投影损失来约束3D姿态。\n- 在HybridCap、3DPW和LiCamPose数据集上，FusionPose的PCK（阈值150mm）分别达到95.9、83.5和79.7，MPJPE分别为75.3mm、97.7mm和106.8mm，优于纯相机、纯LiDAR及现有融合方法。\n- 与全监督版本（FusionPose*）相比，弱监督版本在大多数指标上接近甚至更好，证明了弱监督策略的有效性。\n- 在消融实验中，IPAFusion相比Point-RGB、PixelFusion、LocalFusion和GlobalFusion等融合方法，在HybridCap上PCK提升超过10个百分点（从80.3提高到90.7）。\n- 各损失项（运动损失、一致性损失、投影损失、CD_agu损失）的逐步添加均带来性能提升，最终模型在HybridCap上PCK从90.7提升至95.9。\n- 鲁棒性分析显示，随机遮挡60%点云时PCK仅小幅下降（如在LiCamPose上从79.8降至78.7），对点云稀疏性也有较好的适应性。\n- 新收集的LiCamPose数据集包含8,980帧同步多模态数据，以及38,490帧无注释数据，涵盖多种动作和场景。\n- 局限性在于方法依赖检测和跟踪结果，严重遮挡时可能失效，且距离增大时点云变稀疏会影响精度。"
}