# 三维人体检测的比较研究：传感器模态和在各种室内和室外环境中的鲁棒性
Malaz Tamim $^{*}$ $^{ID}$ $^{a}$, Andrea Matic-Flierl $^{*}$ $^{ID}$ $^{b}$ 和 Karsten Roscher $^{ID}$ $^{c}$
德国慕尼黑，法unhofer认知系统研究所 IKS，Hansastr. 32, 80686
{malaz.tamim, andrea.matic-flierl, karsten.roscher}@iks.fraunhofer.de
关键词：
三维视觉、三维物体检测、人体检测和定位、鲁棒性、传感器损坏、基于摄像头和激光雷达的感知、传感器融合、室内和室外环境、领域自适应
## 摘要
准确的三维人体检测对于诸如机器人、工业监控和监控等应用中的安全性至关重要。本研究系统地评估了使用仅摄像头、仅激光雷达和摄像头-激光雷达融合的三维人体检测。虽然大多数现有研究侧重于自动驾驶，但我们探索了在各种室内和室外场景中使用 JRDB 数据集的检测性能和鲁棒性。我们比较了三个具有代表性的模型——BEVDepth（摄像头）、PointPillars（激光雷达）和 DAL（摄像头-激光雷达融合），并分析了它们在不同遮挡和距离水平下的行为。我们的结果表明，基于融合的方法始终优于单模态模型，尤其是在具有挑战性的场景中。我们进一步研究了对传感器损坏和不一致性的鲁棒性，结果表明，虽然 DAL 提供了更好的抗性，但它仍然对传感器不一致以及某些基于激光雷达的损坏敏感。相比之下，基于摄像头的 BEVDepth 模型表现最差，并且受遮挡、距离和噪声的影响最大。我们的研究结果强调了利用传感器融合来增强三维人体检测的重要性，同时也强调了需要进一步研究来解决这些系统中固有的漏洞。
## 1 绪论
三维人体检测是计算机视觉中的一项关键任务，在各个领域越来越受到关注。虽然现有的研究和模型开发大多集中在汽车应用上，但这些技术在其他领域（如机器人和工业安全）的应用潜力很大。确保人类在这些环境中的安全不仅需要准确的检测，还需要在具有挑战性的条件下（如遮挡）保持鲁棒的性能。
现代三维检测系统通常使用摄像头和激光雷达传感器的数据。摄像头提供丰富的语义信息，从而实现细粒度的分类和上下文理解。激光雷达提供精确的几何数据，并且在数据隐私方面具有优势，因为它不捕获可识别的视觉特征。传感器融合旨在结合两种模态的检测优势。
然而，将这些系统应用于非汽车领域会带来一组不同的挑战。一个核心问题是领域差距：在户外环境中训练的模型，例如道路和交叉路口，可能无法很好地推广到其他环境中的数据集。室内场景或非汽车户外环境通常在空间布局、表面材料、照明条件以及存在的物体类型方面存在差异。这些变化会显着影响相机和激光雷达数据的特性，从而影响检测算法如何解释和响应场景。结果是，当模型应用于其原始域之外时，性能可能会下降，这凸显了在更多样的数据集上进行专门评估的必要性。
---
在安全关键型应用中，评估行人检测系统的准确性至关重要，但其可靠性在各种条件下的表现也同样重要。现实世界的部署通常涉及传感器噪声、校准错误和遮挡等挑战，所有这些都会显着影响检测性能。对这些因素的鲁棒性至关重要，以确保一致且可靠的运行，尤其是在人类安全受到威胁时。一些研究调查了这些方面，特别是在汽车领域。这提出了一个问题，即当前方法在具有不同传感条件和场景特征的其他领域中的表现如何。
为了弥补这一差距，我们使用相机、激光雷达及其融合，对 3D 人员检测方法进行系统评估，重点是 JRDB 数据集（Martín-Martín et al., 2023）、(Le et al., 2024)，该数据集提供了在大学校园中由移动机器人捕获的各种室内和室外场景。我们研究了每种模式在不同条件下的表现，例如遮挡、人员距离和传感器噪声，从而为 3D 检测系统在自动驾驶之外的应用提供了新的见解。
我们的主要贡献如下：
我们的主要贡献如下：
- 我们对使用相机、激光雷达和相机-激光雷达融合方法的 3D 人员检测进行比较分析，使用代表性的模型，这些模型适用于 JRDB 数据集中包含的各种室内和室外场景。
- 我们对各种模式进行了全面评估，检查了人员距离和遮挡级别的 3D 检测性能。
- 我们模拟了各种类型的传感器噪声，并进行了系统的鲁棒性分析，以评估这些合成腐蚀对检测性能的影响，分别评估每种模式以及融合方法的检测性能。
## 2 相关工作
### 2.1 3D 对象检测
基于相机的 3D 检测方法具有成本低且 RGB 图像具有丰富语义信息的优点。然而，仅使用图像估计准确的深度仍然具有挑战性，尤其是对于单目方法。相比之下，多视方法通过利用多个同步视图来增强空间推理。BEVDepth (Li et al., 2023) 通过在训练期间集成激光雷达监督的深度估计来改进这一点，从而仅使用相机输入即可实现强大的性能。
基于 LiDAR 的方法可以提供准确的深度数据，但其应用通常受到 LiDAR 传感器成本高昂的限制。 这些方法可以分为四类（Song et al., 2024）：(1) 基于视角的算法，(2) 基于点的算法，(3) 基于体素的算法，以及 (4) 基于点-体素的算法。 PointPillars (Lang et al., 2019) 是一种特别高效的基于体素的方法：它将点云组织成垂直的“柱”，并对 2D 卷积进行操作以提取特征，从而实现高速度和高精度。
传感器融合方法结合了不同模态的优点，但会增加系统复杂性，需要精确的校准、同步以及更多的计算资源。 存在多种方法，具有不同的融合策略。 例如，BEVFusion (Liu et al., 2023) 将 LiDAR 和图像特征投影到共享的 BEV 表示中。 在此基础上，DAL (Detecting As Labeling) 将图像特征与回归任务解耦，从而减少过拟合现象（Huang et al., 2025）。
### 2.2 三维人体检测
有几项研究系统地调查了不同传感器模态在三维人体检测中的性能，包括遮挡和不同距离的影响。（Corral-Soto 和 Bingbing, 2020）分析了 RGB 和 LiDAR 数据的早期融合，发现模态特定的优势取决于物体的距离和光照条件。（Fei et al., 2020）介绍了 SemanticVoxels (Fei et al., 2020)，该方法融合了 LiDAR 数据和语义分割，并研究了其在不同遮挡水平下的性能。
这些研究主要位于汽车领域，但最近的一些研究开始探索其他领域。（Blanch
---
et al., 2024）将汽车三维检测模型应用于视频监控，但仍然依赖于驾驶数据集。（Linder et al., 2021）使用自定义的仓库数据集研究工业环境中的人体检测。 他们提出了一种具有 RGB-D 监督的迁移学习策略，以提高三维 LiDAR 检测的准确性。 此外，(Jia et al., 2022) 对最先进的 2D 和 3D LiDAR 驱动的人体检测方法在 JRDB 数据集上进行了全面的比较，强调了 LiDAR 模态之间准确性、鲁棒性和效率之间的权衡。 类似于他们的工作，我们也在 JRDB 数据集上研究人体检测，但重点是系统地比较相机仅限、LiDAR 仅限和相机-LiDAR 融合方法的性能和鲁棒性。
### 2.3 三维检测模型的鲁棒性
对传感器和环境噪声的鲁棒性对于在现实世界应用中实现可靠的三维对象检测至关重要。 最近的研究引入了汽车基准测试，如 KITTI-C、nuScenes-C、Waymo-C (Dong et al., 2023)，以及 nuScenes-R 和 Waymo-R (Yu et al., 2023)，模拟各种腐败类型以评估模型稳定性。 这些研究一致表明，在汽车数据集上，多模态方法优于单模态模型，并且 LiDAR-相机融合提供最高的鲁棒性，但仍然容易受到 LiDAR 中断的影响。 (Song et al., 2024) 的综述进一步强调了在准确性、延迟之外的重要性，即鲁棒性。
尽管有这些贡献，但在室内、非汽车环境中对传感器模态性能的系统评估仍然有限。 尤其缺乏研究，这些研究能够严格评估相机仅限、LiDAR 仅限和相机-LiDAR 融合方法在这些领域中的可靠性和鲁棒性，特别是在遮挡和传感器噪声等具有挑战性的条件下。
## 3 腐蚀
为了评估各种噪声源对3D人物检测性能的影响，我们应用了由(Dong et al., 2023)设计的合成扰动。这些扰动被人工添加到数据集，以模拟现实传感器缺陷和自主驾驶中常见的环境挑战。这些扰动源于对相机和激光雷达系统在实际部署中遇到的实际故障模式的经验观察，因此具有代表性。在这些扰动中，我们研究了选定的扰动，重点关注传感器噪声和校准误差，以研究每种模态对检测结果的影响。每种扰动类型都模拟了三个严重程度级别，对应于(Dong et al., 2023)中定义的1、3和5级别。相机和激光雷达图像的代表性示例如图1所示。将解释这些扰动及其技术实现。
### 3.1 传感器级扰动
传感器噪声是由内部和外部因素引起的，例如传感器振动、反射材料和照明条件。高斯噪声的特点是数据中的随机波动。对于激光雷达，这代表了测距不准确。在我们的研究中，我们将高斯噪声添加到所有点，严重程度分别为0.02米、0.06米和0.10米。在相机图像中，高斯噪声源于相机缺陷或低光照条件。它通过图像增强进行建模。
其他传感器扰动仅应用于激光雷达。 cutout模拟激光雷达数据部分缺失的场景，例如由于表面反射问题。此扰动通过将一个帧的点云数据划分为50组点，然后随机删除2、5或10组点来实施。 crosstalk噪声发生在多个激光雷达传感器在紧密 proximity 运行时。它通过对一组点应用高斯噪声来模拟。所选点的比例设置为0.4%、1.2%和2%。密度降低描述了激光雷达点密度降低的场景。这通过从激光雷达帧中随机删除指定百分比的点来实现，百分比设置为6%、18%和30%。视场（FOV）损失表示传感器视场受限制的情况，例如由于遮挡。这通过删除特定角度范围内的点组来模拟。以下角度范围被认为是三个严重程度级别：$(-75^{\circ}, 75^{\circ})$、$(-45^{\circ}, 45^{\circ})$、$(-105^{\circ}, 105^{\circ}$。
---
Figure 1: Visualization of typical camera and LiDAR corruptions. The top row shows one of the five camera views of the multi-view setup in JRDB; the bottom row shows the corresponding $360^{\circ}$ LiDAR point cloud with ground-truth boxes in red. Modalities are annotated as C (camera) and L (LiDAR).
### 3.2 传感器错位
我们评估两种类型的传感器错位。空间错位发生在激光雷达和相机传感器的相对位置随时间变化时，例如由于传感器振动。这通过向校准矩阵添加高斯噪声来模拟，噪声级别设置为旋转矩阵的0.02、0.06和0.10，以及平移矩阵的0.002、0.006和0.010。
时间错位发生在不同传感器的采集数据存在延迟时，导致用于检测的相机和激光雷达帧出现不一致。我们通过使用过时的数据从一个传感器，同时保持其他传感器的当前数据来模拟时间错位。这些延迟使用固定的2、6和10帧偏移量进行建模。对于此扰动，我们考虑两种实现方式：一种情况下延迟相机图像，另一种情况下延迟激光雷达帧。
### 3.3 恶劣天气
虽然我们的主要关注点是传感器噪声和对准问题，但我们还包括两种天气相关的图像失真：雾和阳光。由于传感器失真只包含一种相机级别的失真，即高斯噪声，因此天气相关的失真为研究相机级别上的更多噪声效应提供了一种有用的方法。与 (Dong et al., 2023) 相比，我们仅为相机建模天气效果，而不为 LiDAR 建模。
雾虽然在室内环境中不太常见，但可以作为烟雾或其他能降低能见度的颗粒物的类似效应。它通过在图像上应用灰度掩码层来模拟，掩码层的透明度设置为 10%、30% 和 50%。阳光通过调整图像的亮度、对比度来模拟。
## 4 实验设置
本节描述了 JRDB 数据集，以及我们在研究中使用的训练配置和评估指标。
### 4.1 JRDB 数据集
JackRabbit 数据集 (JRDB) (Martín-Martín et al., 2023), (Le et al., 2024) 是一个多模态数据集，使用社会移动机械臂在大学校园采集，包含各种室内和室外场景，并提供来自 RGB 和 LiDAR 传感器的 360° 覆盖。该数据集包含 54 个序列，总长度为 64 分钟。每个序列都带有超过 240 万个 2D 边界框以及相关的 3D 立方体。记录的场景捕捉了不同人群密度下的人类姿势。此外，注释反映了人员遮挡的多个级别，分为完全可见、大部分可见、严重遮挡和完全遮挡。在所有实验中，我们使用官方的 JRDB 2022 分割，用于训练有 21,704 个样本，用于验证有 6,189 个样本，用于测试有 27,661 个样本。
### 4.2 训练设置
在本工作中，我们使用 BEVDepth、PointPillars 和 DAL 作为我们三种模态（C、L 和 C+L，分别）的基线模型。我们基于所有三个模型的官方实现，对图像预处理和超参数进行了一些小的修改，以使其适应 JRDB 和单类人员检测。所有实验都在两个 NVIDIA L40 GPU 上使用全局批次大小 16 进行。以下小节详细介绍了我们在设置中使用的特定于模型的配置和设置。
---
#### 4.2.1 BEV Depth
我们采用 BEVDepth (Li et al., 2023) 框架，该框架使用 Lift-Splat-Shoot 视图变换器，将深度离散化为 0 到 50 米，步长为 0.5 米，并将多视图图像特征投影到 BEV 表示中。所有相机图像都经过去畸变处理，以消除镜头畸变效应，我们使用来自五个同步视图的完整 $480 \times 752$ 分辨率，这共同提供了 $360^\circ$ 的覆盖范围。BEV 网格在 x 和 y 方向上跨度为 $[-40, 40]$ 米，单元格大小为 0.3125 米，从而形成一个 $256 \times 256$ 网格。检测配置为单个类别（行人）。训练运行 20 个 epoch，使用 AdamW (学习率 $5 \times 10^{-5}$，权重衰减 0.01) 并在线性预热下采用步长调度。
#### 4.2.2 PointPillars
对于仅使用 LiDAR 进行的检测，我们采用 Point-Pillars (Lang et al., 2019) 架构。原始点云被分块到垂直柱中，柱的大小为 $0.16 \times 0.16 \times 4.0$m，范围在 $[-39.68, -39.68, -2]$m 到 $[39.68, 39.68, 2]$m 之间。训练使用 AdamW 优化器（学习率 $1 \times 10^{-3}$，权重衰减 0.01）进行 20 个 epoch，并采用循环学习率和动量调度。
#### 4.2.3 DAL
网络架构与原始 DAL 设计（Huang 等，2025 年）相同。 主要区别在于数据预处理和训练超参数，我们根据 JRDB 数据集和我们的硬件配置进行了调整。
类似于 BEVDepth，所有相机图像都经过失真校正，并且以全传感器分辨率作为网络输入，以保留精细细节。 将五个同步的相机视图与 LiDAR 点云融合，覆盖 3D 范围 $[-40, -40, -2]$ 米至 $[40, 40, 2]$ 米。 深度从 0 米到 50 米以 0.5 米的步长进行离散化，BEV 网格跨越 $256 \times 256$ 个单元格，对应于 $[-40, 40]$ 米的 x-y 范围，每个单元格大小为 0.3125 米。 垂直方向 $[-2, 2]$ 米被划分为四个 bin。 LiDAR 点云以 $0.05 \times 0.05 \times 0.2$ 米的体素大小进行体素化。 在训练过程中，我们使用循环学习率调度和 AdamW 优化器（学习率 $5 \times 10^{-5}$，权重衰减 0.01），共进行 15 个 epoch。
### 4.3 评估指标
我们根据 JRDB 基准，使用平均精度 (AP)（Martin-Martín 等，2023 年）评估 3D 检测性能。 考虑两个 3D 边界框的阈值：一个交并比 (IoU) 阈值为 0.3，另一个更严格的阈值为 0.5。 遵循官方 JRDB 评估协议，仅包括那些包含 10 个以上点并且位于机器人 25 米范围内的 3D 边界框。
## 5 结果
在本节中，我们展示了相机仅用 BEVDepth (C)、LiDAR 仅用 PointPillars (L) 以及融合相机和 LiDAR 数据的 DAL 的结果。 首先，我们比较不同模态的性能，然后分析不同距离和遮挡水平下的性能，最后进行鲁棒性研究。
### 5.1 3D 检测性能
表 1 和表 2 显示了 BEVDepth、PointPillars 和 DAL 在 JRDB 验证集和测试集上获得的 AP 值。 基于融合的 DAL 在两个 IoU 阈值下始终优于单模态模型，AP $_{0.3}$ 为 73.18%，AP $_{0.5}$ 为 24.73%，在 JRDB 测试集上。 BEVDepth 的性能最低，这与基于相机的 3D 检测性能的预期一致。 在所有模型中，我们观察到从 AP0.3 到 AP0.5 的性能明显下降，这反映了在更严格的 IoU 约束下，预测的 3D 边界框与地面真实 3D 边界框在空间对齐方面难以实现高精度。
Table 1: 3D detection performance of BEVDepth, PointPillars, and DAL on the JRDB 2022 validation set.
| Method | Modality | $AP_{0.3}$ | $AP_{0.5}$ |
| BEVDepth | C | 30.06 | 3.21 |
| PointPillars | L | 51.47 | 17.97 |
| DAL | C+L | 64.56 | 21.60 |
虽然我们的实现不旨在实现最先进的性能，但它们为以下部分的分析提供了一个稳定且具有代表性的基线。 此外，
---
Table 2: 3D detection performance of BEVDepth, PointPillars, and DAL on the JRDB 2022 test set.
| Methods | Modality | $AP_{0.3}$ | $AP_{0.5}$ |
| BEVDepth | C | 24.84 | 2.70 |
| PointPillars | L | 58.08 | 17.56 |
| DAL | C+L | 73.18 | 24.73 |
最近发布的 DCCLA 模型（Guang 等，2025 年）在 JRDB 2022 测试集上实现了 AP $_{0.3}$ 为 76.28%，代表了该数据集的当前上限。 然而，BEVDepth、PointPillars 和 DAL 被故意选择为性能和可重复性之间的权衡，并且仅进行了最小的超参数调整。
### 5.2 距离和遮挡的变化
为了评估在真实条件下，人检测模型在距离、遮挡及其综合影响下的鲁棒性，我们对 JRDB 验证集进行了全面的评估。
我们分析了在三个距离类别下的检测性能：近距离（0-3 米）、中距离（3-7 米）和远距离（7-25 米）。这些类别是这样选择的，以便每个类别都包含 JRDB 验证集中约三分之一的真实样本。
#### 5.2.1 基于距离的评估
图2展示了不同距离类别下使用$AP_{0.3}$和$AP_{0.5}$得到的评估结果。不出所料，检测精度随距离增加而下降。BEVDepth的精度下降幅度最大，从近距到远距，其$AP_{0.3}$相对降幅约为74%（从58.50%降至15.35%），而PointPillars和DAL的相对降幅适中，分别约为24%和34%。这突显了基于融合的方法，尤其是激光雷达方法在远距离检测中的相对鲁棒性。对于$AP_{0.5}$，BEVDepth与其他模型的性能差距相比$AP_{0.3}$明显拉大。在远距范围内，BEVDepth的$AP_{0.5}$仅降至0.64%。PointPillars和DAL分别以17.43%和19.19%保持了相当的性能。
#### 5.2.2 基于遮挡的评估
接下来，我们评估了在不同遮挡水平下的检测性能，使用 JRDB 的标注将真实样本分为
Figure 2: Comparison of AP $_{0.3}$ (top) and AP $_{0.5}$ (bottom) by distance categories: near, mid, and far for BEVDepth, PointPillars, and DAL.
无遮挡、部分遮挡和严重遮挡类别。图 3 显示了在不同遮挡水平下的评估结果。与距离类似，性能随着遮挡水平的增加而下降。对于 BEVDepth，性能下降明显，与无遮挡情况相比，相对下降了 87%。PointPillars 和 DAL 更加稳健，相对下降分别为 69% 和 54%，这突出了基于融合的 DAL 模型的稳定性。
对于 AP $_{0.5}$，BEVDepth 和其他两个模型的性能差异比 AP $_{0.3}$ 更加明显。总体而言，BEVDepth 表现出明显的局限性，在部分和严重遮挡情况下，AP $_{0.5}$ 均低于 1%。DAL 表现最佳，在严重遮挡情况下，实现了 7.75% 的 AP $_{0.5}$。
#### 5.2.3 综合评估
我们还研究了距离和遮挡的综合影响，如图 4 所示。在最有利的条件下（无遮挡和近距离），所有模型都达到了最高的 $AP_{0.3}$：BEVDepth 为 67.76%，PointPillars 为 75.28%，DAL 为 88.86%。然而，在更具挑战性的条件下，性能下降明显。在远距离和严重遮挡的情况下，BEVDepth 仅为 0.55%，而 DAL 仍然保持了相对较好的性能，为 29.61%。
---
Figure 3: Comparison of AP $_{0.3}$ (top) and AP $_{0.5}$ (bottom) across unoccluded, partially occluded, and heavily occluded categories for BEVDepth, PointPillars, and DAL.
在 $AP_{0.5}$ 方面，BEVDepth 在所有距离范围内均在部分和严重遮挡的情况下表现不佳，$AP_{0.5}$ 值均低于 1%。PointPillars 在近距离和中距离表现优于 DAL，而在远距离，它们的性能相当。值得注意的是，在部分遮挡的远距离情况下，PointPillars 略优于 DAL。在最困难的情况下（远距离和严重遮挡），DAL 和 PointPillars 分别实现了 3.38% 和 2.50% 的 $AP_{0.5}$，而 BEVDepth 仍然无效。
### 5.3 鲁棒性研究
为了评估3D检测的鲁棒性，我们将第3节中定义的扰动应用于JRDB验证集，并评估模型的性能。 评估针对三种严重程度级别重复进行，使用的模型是在未扭曲的JRDB训练集上训练的。 表3总结了$AP_{0.3}$的结果。
#### 5.3.1 基于激光雷达的扰动
基于激光雷达的扰动仅会影响PointPillars和DAL。Cutout在所有严重程度等级下均会造成中等程度的性能下降，而FOV丢失情况下的性能退化更为显著，在严重程度为3时，PointPillars和DAL的AP $_{0.3}$得分分别降至9.96%和16.67%。这表明这两个模型都高度依赖空间覆盖
Table 3: Robustness study with AP $_{0.3}$ on the JRDB validation set across LiDAR (L), camera (C), and cross-modal (C+L) corruptions at severities 1–3. PointPillars (L), BEVDepth (C), and DAL (C+L) are reported; “None” denotes the uncorrupted baseline, while dashes denote corruptions that are not applicable to a given model.
| Corruption | Level | PointPrimars (L) | BEV Depth (C) | DAL (C+L) |
| None | - | 51.47 | 30.06 | 64.27 |
| Cutout (L) | 1 | 42.15 | - | 63.30 |
| 2 | 39.68 | - | 61.55 |
| 3 | 36.71 | - | 55.78 |
| FOV Loss (L) | 1 | 27.11 | - | 41.41 |
| 2 | 17.85 | - | 29.27 |
| 3 | 9.96 | - | 16.67 |
| Density | 1 | 42.77 | - | 64.27 |
| Decrease | 2 | 42.12 | - | 64.17 |
| (L) | 3 | 41.18 | - | 63.93 |
| Gaussian | 1 | 43.33 | - | 62.98 |
| Noise | 2 | 40.16 | - | 27.93 |
| (L) | 3 | 29.39 | - | 12.80 |
| LiDAR | 1 | 27.44 | - | 63.65 |
| Crosstalk | 2 | 13.28 | - | 62.37 |
| (L) | 3 | 8.09 | - | 60.94 |
| Gaussian | 1 | - | 9.09 | 64.27 |
| Noise | 2 | - | 4.55 | 64.23 |
| (C) | 3 | - | 1.82 | 64.21 |
| Sunlight (C) | 1 | - | 27.49 | 64.28 |
| 2 | - | 27.03 | 64.28 |
| 3 | - | 26.03 | 64.26 |
| Fog (C) | 1 | - | 19.18 | 64.12 |
| 2 | - | 12.55 | 64.10 |
| 3 | - | 9.09 | 64.01 |
| Temporal | 1 | - | - | 64.25 |
| Misalignment | 2 | - | - | 64.21 |
| Camera (C+L) | 3 | - | - | 64.18 |
| Temporal | 1 | - | - | 54.23 |
| Misalignment | 2 | - | - | 31.93 |
| LiDAR (C+L) | 3 | - | - | 20.78 |
| Spatial | 1 | - | - | 64.40 |
| Misalignment | 2 | - | - | 64.24 |
| (C+L) | 3 | - | - | 64.01 |
激光雷达传感器。与之相反，密度降低对DAL的影响极小，AP $_{0.3}$始终保持在63%以上。令人惊讶的是，PointPillars在所有严重程度等级下的AP $_{0.3}$约为41-42%，而其在未损坏验证集上的性能要高得多（51.47%）。这与Dong等人（2023）的观察结果不同，该研究中基于激光雷达的模型在密度降低时仅出现极小的性能损失。我们的实验设置与他们的存在两个重要差异：数据集领域不同，且我们仅考虑单类（行人）检测。不过，要明确这是否是导致上述结果的原因，还需要开展更多研究。
在低噪声级别时，PointPillars表现出逐渐下降的趋势，从43.33%下降到29.39%。 然而，DAL在严重程度3时出现急剧下降，从62.98%降至仅12.80%。 令人惊讶的是，DAL最初的性能优于PointPillars。
---
Distance + Occlusion Comparison — AP0.3
Distance + Occlusion Comparison — AP0.5
Figure 4: Comparison of AP $_{0.3}$ (top) and AP $_{0.5}$ (bottom) across combined distance and occlusion categories for BEVDepth, PointPillars, and DAL.
在低噪声水平下表现尚可，但性能下降速度更快。激光雷达串扰也会大幅降低PointPillars的性能，在3级严重程度下，$AP_{0.3}$为8.09%，而DAL几乎未受影响。
#### 5.3.2 基于摄像头的扰动
对于BEVDepth模型，基于相机的图像扰动产生了严重的影响。高斯噪声导致性能大幅下降，$AP_{0.3}$ 的准确率降至仅为1.82%，在严重程度级别3。雾也显著降低了性能。相比之下，阳光的影响相对较小。BEVDepth模型的性能从30.06%（未失真）降至严重程度级别3时的26.03%。三个严重程度级别之间的微小变化表明，扰动的影响更多地取决于图像中是否存在阳光，而不是其强度。这可能是由于局部亮度变化和眩光影响图像的特定区域。
DAL的性能在所有基于摄像头的扰动中保持稳定，AP $_{0.3}$始终约为64%。 这可以归因于DAL的架构，其中图像特征被排除在3D边界框回归任务之外。 因此，定位主要由激光雷达输入驱动，这使得DAL对摄像机失真具有很强的抵抗力。 未来的工作应该研究使用图像特征在回归任务中进行的模型，例如BEVFusion，在JRDB上的性能。
#### 5.3.3 传感器对准
传感器对齐不佳只会影响融合模型，因为它们依赖于准确的跨模态校准。 相机的时间对齐（即延迟的图像帧）和空间对齐的影响很小，AP $_{0.3}$ 始终保持在 64% 以上，无论严重程度如何。 这再次反映了图像特征在 DAL 的定位过程中的有限作用。 然而，LiDAR 帧的时间对齐会导致性能显著下降，AP $_{0.3}$ 降至 20.78%。 这凸显了 LiDAR 数据在准确 3D 检测中的时间一致性的重要性。
##### 5.3.4 AP $_{0.5}$ 观测结果
虽然 $AP_{0.3}$ 揭示了在各种损坏类型和严重程度水平下鲁棒性的明显趋势，但 $AP_{0.5}$ 的结果更不稳定。 没有出现一致的模式，性能波动很大。 这表明，更严格的 IoU 阈值可能对小的定位误差过于敏感，使其不太可靠，无法用于 3D 检测任务中的鲁棒性评估。
---
## 6 结论
我们使用三个具有代表性的模型（BEVDepth（仅使用摄像头）、PointPillars（仅使用 LiDAR）和 DAL（摄像头-LiDAR 融合））对 JRDB 数据集中的 3D 人员检测进行了系统评估。 DAL 的性能优于单模态方法，尤其是在遮挡、远距离检测和传感器噪声等挑战性条件下。 虽然它具有卓越的性能和鲁棒性，但它仍然对传感器不对齐和某些 LiDAR 噪声敏感。 相比之下，基于摄像头的 BEVDepth 的性能最低，并且受这些挑战影响最大。 这些发现为理解超出自动驾驶领域的 3D 人员检测奠定了基础，并且代表了开发用于工业安全监控等应用的可靠 3D 人员检测系统的有前景的一步。 在未来的工作中，研究其他模型（如 BEVFusion）以及在更广泛的数据集上评估性能将非常重要。 这将有助于进一步概括发现，并识别模型在各种真实场景中的优势和局限性。
## 致谢
我们感谢使用 Undermind 进行文献回顾支持，以及 Fraunhofer internal FHGenie 和 Microsoft 365 Copilot 用于编辑和写作辅助，例如措辞改进。
## 参考文献
Blanch, M. R., Li, Z., Escalera, S., and Nasrollahi, K. (2024). LiDAR-Assisted 3D Human Detection for Video Surveillance. In 2024 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW), pages 123–131.
Corral-Soto, E. R. and Bingbing, L. (2020). Understanding Strengths and Weaknesses of Complementary Sensor Modalities in Early Fusion for Object Detection. In 2020 IEEE Intelligent Vehicles Symposium (IV), pages 1785–1792.
Dong, Y., Kang, C., Zhang, J., Zhu, Z., Wang, Y., Yang, X., Su, H., Wei, X., and Zhu, J. (2023). Benchmarking Robustness of 3D Object Detection to Common Corruptions in Autonomous Driving. In 2023 IEEE/CVF Confer-
ence on Computer Vision and Pattern Recognition (CVPR), 1022–1032页。
Fei, J., Chen, W., Heidenreich, P., Wirges, S., and Stiller, C. (2020). SemanticVoxels: Sequential Fusion for 3D Pedestrian Detection using LiDAR Point Cloud and Semantic Segmentation. In 2020 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), pages 185–190.
Guang, J., Wu, S., Hu, Z., Zhang, Q., Wu, P., and Liu, J. (2025). Dccla: 基于 LiDAR 的 3D 行人检测的密集交叉连接与线性注意力. IEEE Transactions on Circuits and Systems for Video Technology, 35(5):4535–4548.
Huang, J., Ye, Y., Liang, Z., Shan, Y., and Du, D. (2025). 检测即标注：重新思考 3D 物体检测中的 LiDAR-相机融合. In Computer Vision – ECCV 2024, volume 15080, pages 439–455. Springer Nature Switzerland, Cham.
Jia, D., Hermans, A., and Leibe, B. (2022). 移动机器人在基于 2D 与 3D LiDAR 的行人检测. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 3604–3611.
Lang, A. H., Vora, S., Caesar, H., Zhou, L., Yang, J., and Beijbom, O. (2019). PointPillars: 用于从点云中进行物体检测的快速编码器. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12689–12697.
Le, D. T., Gou, C., Datta, S., Shi, H., Reid, I., Cai, J., and Rezatofighi, H. (2024). JRDB-PanoTrack: 用于拥挤的人类环境中的全景分割和跟踪机器人开放世界数据集. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 22325–22334.
Li, Y., Ge, Z., Yu, G., Yang, J., Wang, Z., Shi, Y., Sun, J., and Li, Z. (2023). BEV Depth: 用于多视角 3D 物体检测的可靠深度获取. Proceedings of the AAAI Conference on Artificial Intelligence, 37(2):1477–1485.
Linder, T., Vaskevicius, N., Schirmer, R., and Arras, K. O. (2021). 机器人中基于人类检测的跨模态分析：工业案例研究. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 971–978.
Liu, Z., Tang, H., Amini, A., Yang, X., Mao, H., Rus, D. L., and Han, S. (2023). BEVFusion: 基于统一的鸟瞰图表示的多元任务多元传感器融合. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 2774–2781.
Martín-Martín, R., Patel, M., Rezatofighi, H., Shenoi, A., Gwak, J., Frankel, E., Sadeghian, A., and Savarese, S. (2023). JRDB: 关于人类在建筑环境中机器人视觉感知的开放数据集和基准. IEEE
---
《模式分析与机器智能汇刊》，45(6):6748–6765。
Song, Z., Liu, L., Jia, F., Luo, Y., Jia, C., Zhang, G., Yang, L., and Wang, L. (2024). 具有鲁棒性意识的自动驾驶 3D 物体检测：综述与展望. IEEE Transactions on Intelligent Transportation Systems, 25(11):15407–15436.
Yu, K., Tao, T., Xie, H., Lin, Z., Liang, T., Wang, B., Chen, P., Hao, D., Wang, Y., and Liang, X. (2023). 3D 物体检测的 LiDAR-相机融合鲁棒性基准. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 3188–3198.