# 三维人体检测对比研究：传感器模态在多样室内外环境中的鲁棒性分析
Malaz Tamim $^{*}$ $^{ID}$ $^{a}$, Andrea Matic-Flierl $^{*}$ $^{ID}$ $^{b}$ 与 Karsten Roscher $^{ID}$ $^{c}$
德国慕尼黑弗劳恩霍夫认知系统研究所IKS，汉斯大街32号，邮编80686
{malaz.tamim, andrea.matic-flierl, karsten.roscher}@iks.fraunhofer.de
关键词：
三维视觉、三维目标检测、人体检测与定位、鲁棒性、传感器干扰、基于相机和激光雷达的感知、传感器融合、室内外环境、域自适应
## 摘要
准确的三维人体检测对机器人、工业监测、安防监控等应用的安全至关重要。本文针对仅使用相机、仅使用激光雷达，以及相机-激光雷达融合三种方案的三维人体检测开展了系统性评估。现有研究大多聚焦于自动驾驶领域，本文则利用JRDB数据集，探究了不同方法在多样室内外场景中的检测性能与鲁棒性。我们对比了三种代表性模型——BEVDepth（相机方案）、PointPillars（激光雷达方案）以及DAL（相机-激光雷达融合方案），并分析了它们在不同遮挡和距离水平下的表现。研究结果表明，基于融合的方法性能始终优于单模态模型，在挑战性场景中优势尤为明显。我们进一步研究了不同模型对传感器干扰和失准的鲁棒性，结果发现尽管DAL的抗干扰能力有所提升，但它对传感器失准和某些激光雷达相关干扰仍然敏感。与之相对，基于相机的BEVDepth模型性能最低，受遮挡、距离和噪声的影响最大。我们的研究结果凸显了利用传感器融合提升三维人体检测性能的重要性，同时也强调需要持续开展研究，解决这类系统固有的缺陷。
## 1 引言
三维人体检测是计算机视觉领域的核心任务，在各个领域受到越来越多的关注。现有大多数研究和模型开发都聚焦于汽车领域应用，但这类技术在机器人、工业安全等其他领域也有着明确的应用潜力。要在这些场景中保障人员安全，不仅需要准确的检测能力，还要求模型在遮挡等挑战性条件下仍能保持鲁棒的性能。
现代三维检测系统通常会使用来自相机和激光雷达传感器的数据。相机能够提供丰富的语义信息，支持细粒度分类和上下文理解。激光雷达则能提供精准的几何数据，并且由于它不会采集可识别的视觉特征，在数据隐私方面具备优势。传感器融合的目标就是结合两种模态各自的检测优势。
然而，将这些系统适配到非汽车领域会带来一系列独特的挑战。核心问题在于领域差距：在道路、交叉口这类户外环境训练得到的模型，往往无法很好地泛化到不同场景下收集的数据集上。室内场景或非汽车户外环境通常在空间布局、表面材质、光照条件以及存在的物体类型方面存在差异。这些差异会显著影响相机和LiDAR数据的特征，进而影响检测算法对场景的解读和响应。因此，当模型被应用于原始训练域之外的场景时，性能可能会下降，这凸显出
---
在更多样化数据集上开展专门评估的需求。
在安全至关重要的应用中，不仅需要评估行人检测系统的准确率，还必须评估其在多样条件下的可靠性。实际部署中往往会面临传感器噪声、标定误差、遮挡等挑战，这些因素都会显著影响检测性能。对这些干扰因素的鲁棒性是保证系统稳定、可靠运行的关键，在涉及人身安全的场景中尤为重要。已有多项研究针对这些方面开展了探究，且多数集中在汽车领域。这也就导致，当前方法在其他具有不同感知条件和场景特征的领域中的表现如何，目前仍未有定论。
为了填补这一空白，我们针对基于相机、LiDAR以及二者融合的三维人体检测方法开展了系统评估，研究重点围绕JRDB数据集（Martín-Martín et al., 2023），（Le et al., 2024）展开，该数据集包含了移动机器人在大学校园内采集的多样化室内外场景。我们探究了每种模态在遮挡、行人距离、传感器噪声等不同条件下的表现，从而为三维检测系统在自动驾驶场景之外的鲁棒性和适用性提供了新的见解。
本文的主要贡献如下：
- 我们利用仅基于相机、仅基于LiDAR以及相机-LiDAR融合这三类方法的代表性模型，在JRDB数据集中包含的多样化室内外场景上开展了三维人体检测的对比分析。
- 我们跨不同模态开展了全面评估，测试了三维检测在行人距离、遮挡程度等不同条件下的检测性能。
- 我们模拟了多种类型的传感器噪声，在这些合成干扰下开展了系统的鲁棒性分析，评估了其对每种单模态方法以及融合方法检测性能的影响。
## 2 相关工作
### 2.1 3D 目标检测
基于相机的3D检测方法因成本低、RGB图像包含丰富语义信息而受到青睐。然而，仅从图像估计准确深度仍然颇具挑战，单目方法尤其如此。相比之下，多视图方法通过利用多个同步视图增强了空间推理能力。BEVDepth（Li et al., 2023）通过在训练过程中引入LiDAR监督的深度估计改进了这一方向，在推理时仅使用相机输入就能实现出色的性能。
基于LiDAR的方法可提供精准的深度数据，但其应用往往受限于LiDAR传感器高昂的成本。这类方法可分为四类（Song et al., 2024）：(1) 基于视图的方法，(2) 基于点的方法，(3) 基于体素的方法，(4) 基于点-体素的方法。PointPillars（Lang et al., 2019）是一种效率极高的基于体素的方法：它将点云组织为垂直的"柱体"，并应用二维卷积提取特征，兼具高速度与高精度。
传感器融合方法结合了不同模态的优势，但会提升系统复杂度，需要精准校准、同步以及更多的计算资源。目前已有多种采用不同融合策略的方法。例如，BEVFusion（Liu et al., 2023）将LiDAR特征和图像特征投影到共享的BEV表征中。在此基础上，DAL（Detecting As Labeling）将图像特征与回归任务解耦，从而减少过拟合（Huang et al., 2025）。
### 2.2 三维行人检测
已有多项研究系统探究了不同传感器模态在三维行人检测任务中的性能，包括遮挡和不同距离对性能的影响。Corral-Soto和Bingbing（2020）分析了RGB与LiDAR数据的早期融合，揭示了不同模态的优势会随目标距离和光照条件变化。Fei et al.（2020）提出了SemanticVoxels（Fei et al., 2020），该方法将LiDAR数据与语义分割相融合，并研究了其在不同遮挡程度下的性能。
这些工作主要聚焦于自动驾驶领域，但近年来已有部分研究开始探索其他领域。(Blanch
---
et al., 2024) 将自动驾驶领域的三维检测模型适配到视频监控任务中，但仍依赖驾驶场景数据集。Linder et al.（2021）利用自定义仓库数据集研究了工业环境中的行人检测任务。他们提出了一种采用RGB-D监督的迁移学习策略，以提升基于LiDAR的三维检测效果。最后，Jia et al.（2022）在JRDB数据集上对当前最优的基于LiDAR的二维和三维行人检测方法进行了全面对比，总结了不同LiDAR模态方案在准确率、鲁棒性和效率之间的权衡。与他们的研究类似，我们同样针对JRDB数据集开展行人检测研究，但我们的重点是系统比较仅用相机、仅用LiDAR以及相机-LiDAR融合三种方案的性能与鲁棒性。
### 2.3 三维检测模型的鲁棒性
对传感器噪声和环境噪声的鲁棒性是实际应用中实现可靠三维目标检测的必要条件。近年来研究人员推出了多个自动驾驶基准测试集，如KITTI-C、nuScenes-C、Waymo-C（Dong et al., 2023），以及nuScenes-R和Waymo-R（Yu et al., 2023），这些基准通过模拟各类数据损坏来评估模型的稳定性。这些研究一致表明，在自动驾驶数据集上多模态方案的性能优于单模态模型，LiDAR-相机融合方案的鲁棒性最高，但该方案仍对LiDAR异常敏感。Song et al.（2024）的综述进一步强调，除准确率和延迟外，鲁棒性同样十分重要。
尽管已有这些研究成果，但针对室内非自动驾驶环境下不同传感器模态性能的系统性评估仍然十分有限。具体而言，目前缺少研究对这类场景下仅相机、仅LiDAR、相机-LiDAR融合三种方案的可靠性与鲁棒性进行严谨评估，尤其是在遮挡、传感器噪声等挑战性条件下。
## 3 数据损坏
为评估各类噪声源对3D人体检测性能的影响，我们采用了(Dong et al., 2023)设计的人工生成干扰。这些干扰被人为添加到数据集中，以模拟自动驾驶领域普遍存在的真实传感器缺陷与环境挑战。这些干扰源自对相机与LiDAR系统实际故障模式的经验观测，能够代表部署过程中遇到的实际鲁棒性问题。我们从中选取部分干扰展开研究，重点关注传感器噪声与标定误差，以此分析每种模态对检测结果的影响。每种干扰类型都模拟了三个严重程度等级，分别对应(Dong et al., 2023)中定义的第1、第3和第5级。相机与LiDAR图像的代表性示例如图1所示，下文将介绍各类干扰及其技术实现方案。
### 3.1 传感器级干扰
传感器噪声由内部和外部因素引发，例如传感器振动、反射材质与光照条件。高斯噪声的特征是数据存在随机波动。对于LiDAR而言，高斯噪声对应测距误差。在本研究中，我们将高斯噪声添加到所有点上，严重程度分别为0.02m、0.06m、0.10m。在相机图像中，高斯噪声源自相机缺陷或低光照条件，我们通过图像增广对其建模。
其余传感器干扰仅应用于LiDAR。Cutout模拟部分LiDAR数据缺失的场景，例如由表面反射率问题导致的数据缺失。该干扰的实现方式是将一帧点云划分为50个点组，随后随机丢弃其中2组、5组或10组。串扰噪声出现在多个LiDAR传感器近距离工作的场景中，建模方式为对一部分点添加高斯噪声。串扰噪声选中点的比例设置为0.4%、1.2%、2%。密度降低描述LiDAR点密度下降的场景，实现方式是从LiDAR帧中随机删除指定比例的点，比例设置为6%、18%、30%。视场(FOV)损失代表传感器视场受限的情况，例如由遮挡导致的受限。我们通过删除特定角度范围内的点组来模拟该情况。三个严重等级对应的角度范围如下：$(-75^{\circ}, 75^{\circ})$, $(-45^{\circ}, 45^{\circ})$, $(-105^{\circ}, 105^{\circ}$.
---
Figure 1: Visualization of typical camera and LiDAR corruptions. The top row shows one of the five camera views of the multi-view setup in JRDB; the bottom row shows the corresponding $360^{\circ}$ LiDAR point cloud with ground-truth boxes in red. Modalities are annotated as C (camera) and L (LiDAR).
### 3.2 传感器失准
我们评估了两类传感器失准。空间失准指LiDAR与相机的相对位置随时间发生变化，例如由传感器振动导致的变化。我们通过对标定矩阵添加高斯噪声对该情况建模，噪声水平设置为：旋转矩阵为0.02、0.06、0.10，平移矩阵为0.002、0.006、0.010。
时间失准源自不同传感器的数据采集存在延迟，导致用于检测的相机帧与LiDAR帧不一致。我们通过保持一个传感器的数据为最新、使用另一个传感器的过时数据来模拟时间失准。这些延迟通过2帧、6帧和10帧的固定偏移建模。我们为该干扰设计了两种实现方案：一种是延迟相机图像，另一种是延迟LiDAR帧。
### 3.3 天气
尽管我们的主要研究重点是传感器噪声和失准，但我们也加入了两种天气干扰：雾和阳光。由于传感器干扰仅包含一种相机层级的干扰，即高斯噪声，因此天气干扰为研究相机层级更多噪声的影响提供了有效途径。与(Dong等人，2023)不同的是，我们仅对相机的天气影响进行建模，不对激光雷达(LiDAR)建模。
雾虽然在室内环境中相关性较低，但可用于模拟烟雾或其他会降低能见度的颗粒物的影响。我们通过在图像上添加不透明度分别为10%、30%、50%的灰色蒙版层来模拟雾效果，通过调整图像的亮度和对比度对阳光影响进行建模。
## 4 实验设置
本节将介绍JRDB数据集，以及我们研究中使用的训练配置和评估指标。
### 4.1 JRDB 数据集
JackRabbit数据集（JRDB）(Martín-Martín等人，2023)、(Le等人，2024)是在大学校园中使用社交移动机械臂采集的多模态数据集。它包含多种室内和室外场景，由RGB相机和LiDAR传感器提供360°覆盖范围。该数据集共包含54个序列，总时长为64分钟。每个序列标注了超过240万个2D边界框以及对应的3D长方体框。采集的场景涵盖了不同人群密度下的多种人体姿态。此外，标注中体现了不同程度的人体遮挡，分为完全可见、大部分可见、严重遮挡和完全遮挡四类。在所有实验中，我们使用官方的JRDB 2022划分，训练集、验证集和测试集分别包含21704个、6189个和27661个样本。
### 4.2 训练设置
本文使用BEVDepth、PointPillars和DAL作为三种模态（分别对应C、L和C+L）的基线模型。我们基于这三个模型的官方实现进行开发，仅对图像预处理和超参数调优做了少量修改，使其适配JRDB数据集和单类行人检测任务。所有实验均在两块NVIDIA L40 GPU上运行，全局批量大小为16。以下小节将详细介绍我们设置中各模型的具体配置。
---
#### 4.2.1 BEV Depth
我们采用(Li等人，2023)提出的BEVDepth框架，该框架使用Lift-Splat-Shoot视图转换器，以0.5m为步长将0至50m范围的深度离散化，并将多视图图像特征投影为BEV（鸟瞰图）表示。所有相机图像都经过去畸变处理以消除镜头畸变的影响，我们使用五个同步视图的完整$480 \times 752$分辨率，这些视图共同提供$360^\circ$覆盖范围。BEV网格在x轴和y轴方向覆盖$[-40, 40]$m，单元大小为0.3125m，最终得到尺寸为$256 \times 256$的网格。检测配置为单类（行人）检测。使用AdamW优化器训练20个轮次，采用带线性热身的阶梯式学习率调度，超参数为（学习率$5 \times 10^{-5}$，权重衰减0.01）。
#### 4.2.2 PointPillars
对于纯激光雷达检测任务，我们采用(Lang等人，2019)提出的Point-Pillars架构。原始点云被体素化为大小为$0.16 \times 0.16 \times 4.0$m的垂直柱体，探测范围为$[-39.68, -39.68, -2]$ m 至 $[39.68, 39.68, 2]$ m。使用AdamW优化器训练20个轮次，采用循环学习率和动量调度，超参数为（学习率$1 \times 10^{-3}$，权重衰减0.01）。
#### 4.2.3 DAL
该网络架构与原始DAL设计（Huang等人，2025）完全一致。主要差异在于数据预处理和训练超参数，我们针对JRDB数据集和本文所用的硬件设置对这些部分进行了适配。
与BEVDepth类似，我们对所有相机图像进行去畸变处理，并保留完整传感器分辨率作为网络输入，以保存细粒度细节。五路同步相机视角与覆盖三维范围$[-40, -40, -2]$ m至$[40, 40, 2]$ m的激光雷达点云进行融合。深度从0 m到50 m以0.5 m步长进行离散化，BEV网格共包含$256 \times 256$个单元，对应$[-40, 40]$ m的x-y范围，单元大小为0.3125 m。垂直方向$[-2, 2]$ m被划分为四个分箱。激光雷达点以$0.05 \times 0.05 \times 0.2$ m的体素大小完成体素化。训练过程中，我们使用循环学习率调度和AdamW优化器训练15个epoch，学习率为$5 \times 10^{-5}$，权重衰减为0.01。
### 4.3 评估指标
我们根据JRDB基准，采用平均精度（AP）评估三维检测性能（Martin-Martín等人，2023）。我们针对三维边界框考虑了两种交并比（IoU）阈值：0.3，以及更严格的0.5。遵循JRDB官方的评估协议，仅将包含超过10个点且位于距离机器人25米范围内的三维边界框纳入评估。
## 5 实验结果
本节我们展示仅使用相机的BEVDepth（C）、仅使用激光雷达的PointPillars（L），以及融合相机与激光雷达数据的DAL（C+L）的实验结果。我们首先对比不同模态的性能，随后分析不同距离和遮挡水平下的性能，最后开展鲁棒性研究。
### 5.1 三维检测性能
表1和表2分别展示了BEVDepth、PointPillars和DAL在JRDB验证集和测试集上得到的AP值。基于融合策略的DAL在两种IoU阈值下的性能始终优于单模态模型，在JRDB测试集上，AP$_{0.3}$为73.18%，AP$_{0.5}$为24.73%。BEVDepth取得的性能最低，这对于基于相机的方法的三维检测任务而言也符合预期。在所有模型中，我们都观察到从AP0.3到AP0.5的性能出现了显著下降，这反映出在更严格的IoU约束下，要让预测三维边界框与真值三维边界框实现高度空间对齐存在不小难度。
Table 1: 3D detection performance of BEVDepth, PointPillars, and DAL on the JRDB 2022 validation set.
| Method | Modality | $AP_{0.3}$ | $AP_{0.5}$ |
| BEVDepth | C | 30.06 | 3.21 |
| PointPillars | L | 51.47 | 17.97 |
| DAL | C+L | 64.56 | 21.60 |
尽管我们的实现目标并非达到当前最优性能，但这些实现为后续章节的研究提供了稳定且具有代表性的基准。作为参考，
---
Table 2: 3D detection performance of BEVDepth, PointPillars, and DAL on the JRDB 2022 test set.
| Methods | Modality | $AP_{0.3}$ | $AP_{0.5}$ |
| BEVDepth | C | 24.84 | 2.70 |
| PointPillars | L | 58.08 | 17.56 |
| DAL | C+L | 73.18 | 24.73 |
近期发布的DCCLA模型（Guang等人，2025）在JRDB 2022测试集上取得了76.28%的AP$_{0.3}$，是目前该数据集上的性能上限。但BEVDepth、PointPillars和DAL是我们在成熟性能与可复现性之间权衡后特意选择的方案，仅需要极少的超参数调优。
### 5.2 不同距离与遮挡
为评估行人检测模型在真实场景下的鲁棒性，我们在JRDB验证集上开展了全面评估，重点研究不同距离、不同遮挡水平以及二者的组合效应对性能的影响。
我们分析了三个距离区间的检测性能：近距离（0–3米）、中距离（3–7米）和远距离（7–25米）。我们采用该划分方式，确保每个区间大约包含JRDB验证集中三分之一的真值样本。
#### 5.2.1 基于距离的评估
图2展示了不同距离区间下使用$AP_{0.3}$和$AP_{0.5}$得到的评估结果。不出所料，检测精度随距离增加而下降。BEVDepth的下降幅度最大，从近到远的$AP_{0.3}$相对下降约74%（从58.50%降至15.35%），而PointPillars和DAL的相对下降幅度中等，分别约为24%和34%。这凸显了基于融合的方法，尤其是激光雷达方案在远距离检测中的相对鲁棒性。与$AP_{0.5}$相比，在$AP_{0.3}$指标下，BEVDepth与其他模型的性能差距显著拉大。在远距离区间，BEVDepth的$AP_{0.5}$仅为0.64%。PointPillars和DAL则保持了相当的性能，分别为17.43%和19.19%。
#### 5.2.2 基于遮挡的评估
接下来我们评估了不同遮挡程度下的检测性能，利用JRDB的标注将真值样本划分为
Figure 2: Comparison of AP $_{0.3}$ (top) and AP $_{0.5}$ (bottom) by distance categories: near, mid, and far for BEVDepth, PointPillars, and DAL.
无遮挡、部分遮挡和重度遮挡三个类别。图3展示了不同遮挡程度下的评估结果。和距离的影响类似，检测性能随遮挡程度增加而下降。BEVDepth的性能下降幅度极大，相较于无遮挡场景相对下降了87%。Point-Pillars和DAL的鲁棒性更强，相对下降幅度分别为69%和54%，尤其凸显了基于融合的DAL模型的稳定性。
在AP $_{0.5}$指标下，BEVDepth与另外两个模型的性能差异比AP $_{0.3}$指标下更为显著。整体来看，BEVDepth存在明显局限性，在部分遮挡和重度遮挡场景中，其AP $_{0.5}$均低于1%。DAL取得了最高性能，在重度遮挡场景下的AP $_{0.5}$达到了7.75%。
#### 5.2.3 联合评估
我们还研究了距离和遮挡的联合影响，结果如图4所示。在最理想的条件下（无遮挡且近距离），所有模型都达到了自身最高的$AP_{0.3}$：BEVDepth为67.76%，PointPillars为75.28%，DAL为88.86%。然而，在更具挑战性的条件下，性能急剧下降。在远距离重度遮挡类别中，BEVDepth的性能降至仅0.55%，而DAL仍保持了29.61%的相对强劲性能。
---
Figure 3: Comparison of AP $_{0.3}$ (top) and AP $_{0.5}$ (bottom) across unoccluded, partially occluded, and heavily occluded categories for BEVDepth, PointPillars, and DAL.
在$AP_{0.5}$指标下，BEVDepth在所有距离区间的部分遮挡和重度遮挡场景中均持续失效，$AP_{0.5}$值均低于1%。DAL在近距离和中距离区间的性能优于PointPillars，而在远距离区间两者性能相当。值得注意的是，在远距离部分遮挡场景下，PointPillars略优于DAL。在最困难的场景（远距离重度遮挡）中，DAL和PointPillars的$AP_{0.5}$分别达到3.38%和2.50%，而BEVDepth依然没有有效性能。
### 5.3 鲁棒性研究
为了评估3D检测的鲁棒性，我们将第3节介绍的扰动方法应用到JRDB验证集上，评估模型性能。我们使用在未失真JRDB训练集上训练得到的相同模型，对三个严重等级都重复开展了评估。表3总结了$AP_{0.3}$的结果。
#### 5.3.1 基于LiDAR的扰动
基于LiDAR的扰动仅影响PointPillars和DAL。Cutout在所有严重等级下都会造成中等幅度的性能下降，而FOV丢失会导致更明显的性能退化，在严重等级3时，PointPillars和DAL的AP $_{0.3}$得分分别降至9.96%和16.67%。这表明两种模型都高度依赖
Table 3: Robustness study with AP $_{0.3}$ on the JRDB validation set across LiDAR (L), camera (C), and cross-modal (C+L) corruptions at severities 1–3. PointPillars (L), BEVDepth (C), and DAL (C+L) are reported; “None” denotes the uncorrupted baseline, while dashes denote corruptions that are not applicable to a given model.
| Corruption | Level | PointPrimars (L) | BEV Depth (C) | DAL (C+L) |
| None | - | 51.47 | 30.06 | 64.27 |
| Cutout (L) | 1 | 42.15 | - | 63.30 |
| 2 | 39.68 | - | 61.55 |
| 3 | 36.71 | - | 55.78 |
| FOV Loss (L) | 1 | 27.11 | - | 41.41 |
| 2 | 17.85 | - | 29.27 |
| 3 | 9.96 | - | 16.67 |
| Density | 1 | 42.77 | - | 64.27 |
| Decrease | 2 | 42.12 | - | 64.17 |
| (L) | 3 | 41.18 | - | 63.93 |
| Gaussian | 1 | 43.33 | - | 62.98 |
| Noise | 2 | 40.16 | - | 27.93 |
| (L) | 3 | 29.39 | - | 12.80 |
| LiDAR | 1 | 27.44 | - | 63.65 |
| Crosstalk | 2 | 13.28 | - | 62.37 |
| (L) | 3 | 8.09 | - | 60.94 |
| Gaussian | 1 | - | 9.09 | 64.27 |
| Noise | 2 | - | 4.55 | 64.23 |
| (C) | 3 | - | 1.82 | 64.21 |
| Sunlight (C) | 1 | - | 27.49 | 64.28 |
| 2 | - | 27.03 | 64.28 |
| 3 | - | 26.03 | 64.26 |
| Fog (C) | 1 | - | 19.18 | 64.12 |
| 2 | - | 12.55 | 64.10 |
| 3 | - | 9.09 | 64.01 |
| Temporal | 1 | - | - | 64.25 |
| Misalignment | 2 | - | - | 64.21 |
| Camera (C+L) | 3 | - | - | 64.18 |
| Temporal | 1 | - | - | 54.23 |
| Misalignment | 2 | - | - | 31.93 |
| LiDAR (C+L) | 3 | - | - | 20.78 |
| Spatial | 1 | - | - | 64.40 |
| Misalignment | 2 | - | - | 64.24 |
| (C+L) | 3 | - | - | 64.01 |
激光雷达传感器。相比之下，密度降低对DAL的影响极小，其AP $_{0.3}$始终保持在63%以上。令人惊讶的是，PointPillars在所有严重等级下的AP $_{0.3}$约为41-42%，而它在未失真验证集上的性能要高得多（51.47%）。这与(Dong et al., 2023)中的观察结果不同，该研究中基于LiDAR的模型在密度降低下仅出现极小的性能损失。我们和他们的实验设置有两个关键区别：数据集领域不同，且我们仅考虑单类（行人）检测。但要确认是否正是该差异导致了我们观察到的这一结果，还需要更多研究。
在高斯噪声干扰下，PointPillars的性能从43.33%逐渐下降到29.39%。而DAL的性能却出现骤降，在严重等级3时从62.98%跌至仅12.80%。有意思的是，DAL最初的性能是优于PointPillars的。
---
Distance + Occlusion Comparison — AP0.3
Distance + Occlusion Comparison — AP0.5
Figure 4: Comparison of AP $_{0.3}$ (top) and AP $_{0.5}$ (bottom) across combined distance and occlusion categories for BEVDepth, PointPillars, and DAL.
在低噪声水平下，但它的性能恶化速度更快。LiDAR串扰也会大幅降低PointPillars的性能，严重等级3时其$AP_{0.3}$仅为8.09%，而DAL基本不受影响。
#### 5.3.2 基于相机的扰动
对于BEVDepth而言，基于相机的扰动造成了严重影响。高斯噪声导致性能大幅下滑，严重等级3时$AP_{0.3}$跌至仅1.82%。雾也会大幅降低性能。与之相反，阳光的影响相对较小。BEVDepth的性能从未失真时的30.06%降至严重等级3时的26.03%。三个严重等级之间的性能差异很小，这说明该扰动的影响更多取决于图像中是否存在太阳，而非阳光的强度。这可能是因为局部亮度效应和眩光仅影响图像的特定区域。
在所有基于相机的扰动下，DAL的性能几乎保持稳定，AP $_{0.3}$始终维持在64%左右。这可以归因于DAL的架构：在该架构中，图像特征不参与3D边界框回归任务。因此，定位任务主要由LiDAR输入驱动，这使得DAL对相机失真基本不敏感。未来工作应当在JRDB上研究类似BEVFusion的模型，因为BEVFusion在回归任务中会使用图像特征。
#### 5.3.3 传感器失准
传感器失准仅会影响融合模型，因为这类模型依赖精准的跨模态校准。相机的时间失准（即图像帧延迟）和空间失准影响极小，在所有严重等级下，AP $_{0.3}$ 均保持在64%以上。这再次反映出图像特征在DAL定位过程中作用有限。然而，激光雷达帧的时间失准会导致性能大幅下降，AP $_{0.3}$ 降至20.78%。这凸显了激光雷达数据时间一致性对精准3D检测的重要性。
##### 5.3.4 AP $_{0.5}$ 观测结果
尽管$AP_{0.3}$ 展现了不同干扰类型和严重程度下清晰的鲁棒性变化趋势，但$AP_{0.5}$ 的结果更加不稳定，未呈现出一致规律，性能波动十分显著。这表明更严格的IoU阈值可能对微小的定位误差过于敏感，导致其在3D检测任务的鲁棒性评估中可靠性较低。
---
## 6 结论
我们基于JRDB数据集，使用三种代表性模型开展了3D人体检测的系统性评估：仅使用相机的BEVDepth、仅使用激光雷达的PointPillars，以及相机-激光雷达融合模型DAL。DAL的性能优于单模态方法，在遮挡、远距离检测、传感器噪声等挑战性条件下优势尤为明显。尽管DAL拥有更出色的性能和鲁棒性，但它仍然对传感器失准和特定激光雷达噪声较为敏感。与之相反，基于相机的BEVDepth性能最低，受这些挑战的影响最大。这些发现为理解自动驾驶以外领域（如室内环境）的3D人体检测提供了基础，也为开发适用于工业安全监测等应用的可靠3D人体检测系统迈出了前景可观的一步。未来工作中，研究更多模型（如BEVFusion）并在更广泛的数据集上评估性能十分重要。这将有助于进一步推广研究结论，明确不同真实场景下各模型的优势与局限。
## 致谢
我们感谢Undermind为文献综述提供支持，也感谢弗劳恩霍夫内部工具FHGenie和Microsoft 365 Copilot为编辑写作（如措辞优化）提供协助。
## 参考文献
Blanch, M. R., Li, Z., Escalera, S., and Nasrollahi, K. (2024). 激光雷达辅助视频监控3D人体检测。见：2024 IEEE/CVF冬季计算机视觉应用会议研讨会（WACVW），第123–131页。
Corral-Soto, E. R. and Bingbing, L. (2020). 理解目标检测早期融合中互补传感器模态的优势与劣势。见：2020 IEEE智能车辆研讨会（IV），第1785–1792页。
Dong, Y., Kang, C., Zhang, J., Zhu, Z., Wang, Y., Yang, X., Su, H., Wei, X., and Zhu, J. (2023). 自动驾驶场景下3D目标检测对常见干扰的鲁棒性基准测试。见：2023 IEEE/CVF 会
议计算机视觉与模式识别会议（CVPR），第1022–1032页。
Fei, J., Chen, W., Heidenreich, P., Wirges, S., and Stiller, C. (2020). SemanticVoxels：基于激光雷达点云与语义分割的3D行人检测顺序融合方法。见：2020 IEEE智能系统多传感器融合与集成国际会议（MFI），第185–190页。
Guang, J.、Wu, S.、Hu, Z.、Zhang, Q.、Wu, P.、Liu, J. (2025). DCCLA：面向基于激光雷达的三维行人检测的带线性注意力的密集交叉连接. 《IEEE电路与系统视频技术汇刊》, 35(5):4535–4548.
Huang, J.、Ye, Y.、Liang, Z.、Shan, Y.、Du, D. (2025). 检测即标注：重新思考三维目标检测中的激光雷达-相机融合. 收录于《计算机视觉——ECCV 2024》，第15080卷，页码439–455. 施普林格自然出版集团（瑞士），沙蒙.
Jia, D.、Hermans, A.、Leibe, B. (2022). 移动机器人上基于二维与三维激光雷达的行人检测对比研究. 收录于2022年IEEE/RSJ智能机器人与系统国际会议（IROS），页码3604–3611.
Lang, A. H.、Vora, S.、Caesar, H.、Zhou, L.、Yang, J.、Beijbom, O. (2019). PointPillars：面向点云目标检测的快速编码器. 收录于2019年IEEE/CVF计算机视觉与模式识别会议（CVPR），页码12689–12697.
Le, D. T.、Gou, C.、Datta, S.、Shi, H.、Reid, I.、Cai, J.、Rezatofighi, H. (2024). JRDB-PanoTrack：拥挤人类环境下的开放世界全景分割与跟踪机器人数据集. 收录于2024年IEEE/CVF计算机视觉与模式识别会议（CVPR），页码22325–22334.
Li, Y.、Ge, Z.、Yu, G.、Yang, J.、Wang, Z.、Shi, Y.、Sun, J.、Li, Z. (2023). BEV Depth：面向多视图三维目标检测的可靠深度获取方法. 《AAAI人工智能会议论文集》, 37(2):1477–1485.
Linder, T.、Vaskevicius, N.、Schirmer, R.、Arras, K. O. (2021). 机器人人体检测的跨模态分析：一项工业案例研究. 收录于2021年IEEE/RSJ智能机器人与系统国际会议（IROS），页码971–978.
Liu, Z.、Tang, H.、Amini, A.、Yang, X.、Mao, H.、Rus, D. L.、Han, S. (2023). BEVFusion：基于统一鸟瞰图表示的多任务多传感器融合. 收录于2023年IEEE机器人与自动化国际会议（ICRA），页码2774–2781.
Martín-Martín, R.、Patel, M.、Rezatofighi, H.、Shenoi, A.、Gwak, J.、Frankel, E.、Sadeghian, A.、Savarese, S. (2023). JRDB：建筑环境中人类第一视角机器人视觉感知的数据集与基准. IEEE
---
《模式分析与机器智能汇刊》, 45(6):6748–6765.
Song, Z.、Liu, L.、Jia, F.、Luo, Y.、Jia, C.、Zhang, G.、Yang, L.、Wang, L. (2024). 自动驾驶中的鲁棒性感知三维目标检测：综述与展望. 《IEEE智能交通系统汇刊》, 25(11):15407–15436.
Yu, K.、Tao, T.、Xie, H.、Lin, Z.、Liang, T.、Wang, B.、Chen, P.、Hao, D.、Wang, Y.、Liang, X. (2023). 三维目标检测激光雷达-相机融合的鲁棒性基准测试. 收录于2023年IEEE/CVF计算机视觉与模式识别会议研讨会（CVPRW），页码3188–3198.