{
  "paper_id": "759f7d048b9fb0d180a170fe50ac1447",
  "paper_title": "A Comparative Study of 3D Person Detection: Sensor Modalities and Robustness in Diverse Indoor and Outdoor Environments",
  "paper_authors": [
    "Malaz Tamim",
    "Andrea Matic-Flierl",
    "Karsten Roscher"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Accurate 3D person detection is critical for safety in applications such as robotics, industrial monitoring, and surveillance. This work presents a systematic evaluation of 3D person detection using camera-only, LiDAR-only, and camera-LiDAR fusion. While most existing research focuses on autonomous driving, we explore detection performance and robustness in diverse indoor and outdoor scenes using the JRDB dataset. We compare three representative models — BEVDepth (camera), PointPillars (LiDAR), and DAL (camera-LiDAR fusion) — and analyze their behavior under varying occlusion and distance levels. Our results show that the fusion-based approach consistently outperforms single-modality models, particularly in challenging scenarios. We further investigate robustness against sensor corruptions and misalignments, revealing that while DAL offers improved resilience, it remains sensitive to sensor misalignment and certain LiDAR-based corruptions. In contrast, the camera-based BEVDepth model showed the lowest performance and was most affected by occlusion, distance, and noise. Our findings highlight the importance of utilizing sensor fusion for enhanced 3D person detection, while also underscoring the need for ongoing research to address the vulnerabilities inherent in these systems.\n",
  "keywords": [
    "3D Vision",
    "3D Object Detection",
    "Person Detection and Localization",
    "Robustness",
    "Sensor Corruptions",
    "Camera and LiDAR-based Perception",
    "Sensor Fusion",
    "Indoor and Outdoor Environments",
    "Domain Adaptation"
  ],
  "paper_institutions": [
    "Fraunhofer Institute for Cognitive Systems IKS"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:30:40.453342Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对三维行人检测在非自动驾驶场景（如机器人、工业监控和安防）中的准确性与鲁棒性问题，系统比较了纯相机（BEVDepth）、纯 LiDAR（PointPillars）以及相机-LiDAR 融合（DAL）三种代表性方法。现有研究多集中于自动驾驶，而本文使用包含校园室内外多样化场景的 JRDB 数据集，在遮挡、距离和传感器噪声等条件下评估模型。实现上，三种模型均基于官方代码并针对 JRDB 单类行人检测做最小修改，使用 21,704 个训练样本、6,189 个验证样本和 27,661 个测试样本，在两张 NVIDIA L40 GPU 上以 batch size 16 训练；BEVDepth 采用 Lift-Splat-Shoot 将深度从 0 到 50m 按 0.5m 离散化并投影到 256×256 BEV 网格，PointPillars 使用 0.16×0.16×4.0m 的柱体体素化，DAL 则通过将图像特征与 3D 框回归任务解耦来减少过拟合。评估使用 JRDB 官方的 AP@IoU=0.3 和 AP@IoU=0.5 指标，结果显示融合模型 DAL 在测试集上达到 AP0.3 73.18% 和 AP0.5 24.73%，显著优于单模态模型；在远距离、重遮挡以及多数传感器损坏下，DAL 的鲁棒性更强，但对 LiDAR 时间错位和部分 LiDAR 噪声仍敏感，而 BEVDepth 性能最低且受遮挡、距离和噪声影响最大。未来工作建议研究 BEVFusion 等更多模型并在更广泛数据集上验证，以进一步推广结论；实际部署中需考虑传感器校准、时间同步、点云覆盖和噪声环境等约束。\n\n### 关键要点\n\n- 本文使用 JRDB 2022 官方划分，训练、验证和测试样本分别为 21,704、6,189 和 27,661，并只保留距离机器人 25 米内且包含超过 10 个点的 3D 标注框进行评估。\n- 三种基线模型分别代表相机-only、LiDAR-only 和相机-LiDAR 融合：BEVDepth、PointPillars 和 DAL，均基于官方实现并针对单类行人检测进行最小修改。\n- BEVDepth 使用五个同步相机视图，将深度从 0 到 50 米按 0.5 米间隔离散化，并通过 Lift-Splat-Shoot 投影到 256×256 的 BEV 网格。\n- PointPillars 将点云体素化为 0.16×0.16×4.0 米的垂直柱体，在 [-39.68, 39.68] 米范围内进行单类行人检测。\n- DAL 融合五个相机视图与 LiDAR 点云，并将图像特征与 3D 框回归任务解耦，这是其抵抗相机损坏的重要机制。\n- 在 JRDB 测试集上，DAL 的 AP0.3 为 73.18%、AP0.5 为 24.73%，优于 PointPillars（58.08%、17.56%）和 BEVDepth（24.84%、2.70%）。\n- 距离评估中，BEVDepth 从近到远的 AP0.3 相对下降约 74%，而 PointPillars 和 DAL 分别下降约 24% 和 34%，表明 LiDAR 和融合方法在远距离检测上更稳健。\n- 遮挡评估中，BEVDepth 在重遮挡下 AP0.3 相对下降 87%，PointPillars 和 DAL 分别下降 69% 和 54%；在重遮挡下 DAL 的 AP0.5 达到 7.75%，为三者最高。\n- 在距离与遮挡联合的最困难场景（远距离且重遮挡）中，DAL 的 AP0.3 为 29.61%，PointPillars 的 AP0.5 为 2.50%，而 BEVDepth 几乎失效。\n- 鲁棒性实验中，LiDAR FOV 损失对 PointPillars 和 DAL 影响最大，严重度 3 时 AP0.3 分别降至 9.96% 和 16.67%；LiDAR 时间错位使 DAL 降至 20.78%，而相机时间错位和空间错位影响很小。\n- 相机高斯噪声使 BEVDepth 的 AP0.3 在严重度 3 时降至 1.82%，但 DAL 在各类相机损坏下 AP0.3 始终约 64%，因为其定位主要依赖 LiDAR。\n- AP0.5 在鲁棒性评估中波动较大且无一致趋势，说明更严格的 IoU 阈值对小的定位误差过于敏感，可能不适合作为鲁棒性评估的主要指标。"
}