# 移动机器人上基于2D与3D LiDAR的行人检测对比
Dan Jia
Alexander Hermans
Bastian Leibe
摘要——行人检测是在人员密集环境中导航的移动机器人的一项核心任务。LiDAR传感器凭借其精准的深度测量与较大的视场，是完成该任务的理想方案。目前现有两类LiDAR传感器：扫描单个平面的2D LiDAR，以及可扫描多个平面、进而形成三维空间信息的3D LiDAR。二者在行人检测任务上的表现究竟如何？为解答这一问题，我们使用公开的大规模JackRabbit数据集，结合当前最先进的基于2D和3D LiDAR的行人检测器（分别为DR-SPAAM和CenterPoint）开展了一系列实验。我们的实验覆盖多个维度，从基础性能与速度对比，到对定位精度、不同距离和场景杂乱程度下鲁棒性的细致分析。实验所得结论明确了2D与3D LiDAR作为行人检测信息源的优缺点，对于设计需要在近人环境中作业的移动机器人（例如服务机器人或社交机器人）而言极具参考价值。
## 一、引言
人体检测是众多机器人应用中的一项重要任务，涵盖了在人口密集环境中以及人机交互过程中的安全自主导航场景。LiDAR传感器非常适合用于人体检测，这得益于其准确的深度测量、长探测距离以及大视野。在驾驶场景中，已有许多成功的基于3D LiDAR的目标检测方法[^53]、[^46]、[^48]、[^4]、[^23]、[^40]、[^38]、[^47]、[^49]，行人通常是这些方法需要检测的目标类别之一。与此同时，在移动机器人场景中，已有研究利用2D LiDAR传感器的距离扫描成功实现了人体检测[^2]、[^32]、[^24]、[^5]、[^20]、[^21]。
在这项工作中，我们针对基于2D LiDAR和3D LiDAR的人体检测开展了对比研究。充分了解这两类传感器之间的性能差异（检测准确率与运行时间），对做出合理充分的机器人设计决策具有重要意义[^28]。我们专门聚焦近年来应用相关性日益提升的社交机器人、服务机器人所面临的场景。$^{1}$ 我们以当前最先进的CenterPoint [^49]和DR-SPAAM [^20]分别作为基于3D LiDAR和2D LiDAR的检测方法的代表，在大规模公开可用的JackRabbit数据集[^31]上开展了一系列实验，对比了这两类传感器之间的性能差异。
我们的实验表明，基于3D LiDAR的CenterPoint检测精度优于基于2D LiDAR的DR-SPAAM，但仅考虑传感器数据中可见的人员时，两种方法性能相当。在以检测附近人员（这类人员大多可见）为核心需求的应用场景中，2D LiDAR传感器往往已广泛配置在许多移动机器人上，用于建图和安全防护，足以满足检测需求。此外，基于2D LiDAR的DR-SPAAM还具备推理速度更快的优势，这对板载计算能力或电量有限的移动机器人十分有利。而通用人员检测任务更适合通过3D LiDAR传感器完成，这类传感器可扫描三维感知空间（不像2D LiDAR仅局限于单个扫描平面），因此对遮挡的鲁棒性更强。我们的实验还表明，两种方法都能输出定位精准的检测结果，对密集人群的鲁棒性也相近。对正负预测结果的进一步分析显示，数量可观的人员仅能被其中一个检测器检测到，这意味着当最高可靠性是核心设计目标时，应当选择集成式方案。
Fig. 1: Scans from a 3D and a 2D LiDAR sensor with person bounding boxes annotations. The vast difference between the scans are apparent, but how do these two sensors compare, when it comes to person detection? Understanding how these sensors affect this task is crucial for designing robots that are intended to operate around humans.
### II. 相关工作
基于3D激光雷达数据的行人检测器可估计场景中行人的三维边界框。大多数此类检测器为多类别检测设计，依托自动驾驶数据集[^16]、[^6]、[^42]、[^22]开发，其中行人是待检测的类别之一。现有基于深度学习的方法大致可分为两类。单阶段检测器[^14]、[^53]、[^46]、[^23]、[^52]、[^29]、[^44]、[^9]、[^47]、[^50]、[^49]、[^51]、[^18]采用骨干
---
网络，这类检测器要么基于点[^34]、[^43]，要么基于体素[^53]、[^23]、[^17]、[^11]处理场景，直接从提取的特征生成边界框。两阶段检测器[^39]、[^33]、[^48]、[^40]、[^10]、[^38]额外引入边界框细化阶段，该阶段对候选框内的特征进行池化，生成优化后的预测结果。此外，也存在使用手工设计特征的行人检测方法[^45]，这类方法的性能通常不如端到端学习的检测器。
KITTI 数据集 [^16] 是为基于LiDAR的三维目标检测器提供标准化测试基准的先驱，但如今它已被更新、规模更大的数据集超越，其中包括nuScenes数据集 [^6] 和Waymo开放数据集 [^42]。然而，这些驾驶数据集与移动机器人场景存在差异：在移动机器人场景中，机器人在距离人类很近的环境中移动（例如JackRabbit数据集 [^31]）。
此外，还有不少三维方法主要是基于RGB-D相机扫描静态室内场景采集得到的数据集开发的 [^41], [^8], [^12], [^1]。尽管理论上其中部分方法调整后可用于检测LiDAR数据中的人体，但本工作并未对这些方法开展实验。
本工作选用CenterPoint [^49] 作为基于LiDAR的三维检测器的代表性方法。在撰写本文时，它在nuScenes基准测试 [^6] 上排名第二（排名更高的方法 [^18] 未公开源代码），因此它代表了当前三维检测领域可获取的最先进水平。
基于二维LiDAR数据的行人检测器聚焦于估计场景中行人的质心，参数化为LiDAR扫描平面上的x、y坐标。长期以来，这项任务在机器人领域一直备受关注，因为它对移动智能体在人类活动环境中自主导航至关重要。早期方法[^15]、[^36]、[^37]依靠人工设计的启发式规则检测团块，并在连续扫描中跟踪这些团块，利用运动信息作为检测线索。后续研究[^2]、[^32]、[^24]改进了检测阶段，将启发式规则替换为基于手工特征的学习分类器（例如AdaBoost），但仍依靠基于运动的滤波来获得高质量检测结果[^24]、[^32]。
最新研究进展[^4]、[^5]、[^20]、[^21]采用深度学习技术，将一维CNN应用于距离数据，不再需要基于运动的滤波。这类方法中的首个方案是DROW检测器[^4]，它最初设计用于检测助行设备，后续被扩展以支持行人检测[^5]。当前最先进的方法是DR-SPAAM检测器[^20]、[^21]，该方法为DROW检测器引入了时间聚合范式，整合连续LiDAR扫描的信息来提升检测性能。
与我们研究最为相近的是Linder等人的最新研究[^28]，该研究对比了多种不同的基于2D、3D和RGB-D的行人检测器。他们对比了大量不同时期的检测器，而我们仅将实验范围限定为两种当前最先进的（开源）方法，并在规模更大、公开可用且多样性更强的JackRabbit数据集上开展实验[^31]。他们在基于2D和3D激光雷达的行人检测方向得到的结论与我们一致，但我们对两类方法的差异进行了更深入的探究，针对这两类传感器在行人检测任务中的表现对比得到了更多有趣的额外见解。
### III. 行人检测器
本文的实验分别采用了分别基于3D激光雷达和2D激光雷达的最先进检测器CenterPoint [^49]和DR-SPAAM [^20]。我们在此仅简要概述这两种检测器的核心思路，感兴趣的读者可查阅对应的原始论文获取完整详细的介绍。
CenterPoint [^49] 以体素化三维点云作为输入，采用VoxelNet [^53] 或PointPillars [^23] 在鸟瞰图（BEV）平面提取二维特征图。基于提取得到的特征，中心头会生成热图，对应BEV平面上边界框中心的x、y位置。该中心头由边界框中心投影到BEV平面生成的二维高斯进行监督，同时搭配焦点损失 [^26]。此外，回归头用于得到x、y中心偏移细化、中心高程、边界框尺寸和方向（用正弦和余弦值编码）。这些回归头在真值中心位置使用L1损失进行监督。本文实验采用带有VoxelNet骨干网络的CenterPoint模型。
DR-SPAAM [^20] 以极坐标编码的二维激光雷达扫描的距离分量作为输入。预处理步骤会提取小角度窗口（称为切片区）内的点，每个窗口经过归一化后输入一维卷积神经网络。该网络包含两个分支：分类分支用于判断窗口中心是否靠近行人，回归分支用于回归窗口中心到行人x、y中心位置的偏移量。分类分支采用二元交叉熵损失监督，回归分支仅对正样本窗口使用L2损失监督。最终，所有窗口的预测结果会经过基于距离的非极大值抑制后处理，得到最终检测结果。
### 四、实验设置
### A. 数据集
我们的主要实验使用JackRabbit Dataset and Benchmark（JRDB）[^31]开展，此外我们还在部分预训练实验中使用了nuScenes数据集[^6]。
JRDB [^31]包含54组序列，由移动机器人JackRabbit在大学校园的室内、室外环境中移动采集得到。这些序列被划分为27组训练验证序列和27组测试序列。该机器人配备了两台3D LiDAR传感器（Velodyne 16 Puck LITE），分别安装在机器人的上部和下部，每台生成的扫描大约包含18000个点。环境中的人物都标注有3D边界框，总标注量约为180万个。
---
分布于整个数据集中。截至撰写本文时，JRDB是唯一一个聚焦移动机器人场景，同时还提供带有3D人物标注的LiDAR点云的大规模数据集。
此外，JackRabbit还配备了两台2D LiDAR传感器（SICK LMS500-20000），分别朝向前后方向。它们安装在小腿高度位置，扫描结果被合并为单张$360^{\circ}$扫描，共包含1091个点。Jia等人[^21]使用这些扫描，通过将其与3D标注同步对齐来评估基于2D LiDAR的行人检测器。在本文工作中，我们遵循相同的数据准备流程，使用了JRDB的2D LiDAR扫描。我们报告的所有结果均基于通过标准训练-验证划分得到的JRDB验证集。
nuScenes数据集[^6]包含1000条采集自行驶车辆的短序列，每条序列时长约20秒。这些序列被划分为训练集、验证集和测试集，分别包含700、150、150条序列。该数据集使用32线LiDAR采集，以20Hz的频率生成每帧约含30000个点的扫描结果。与JRDB相比，这些扫描覆盖范围更大，点云稀疏程度也显著更高。每间隔10帧（帧间隔0.5秒）会标注3D边界框，总共有10个标注类别，其中之一为行人。在训练和推理过程中，常用做法是合并未标注扫描得到密度更高的点云[^6]，[^54]，[^47]，[^49]。
### B. 训练设置
对于CenterPoint，我们大多沿用[^49]中的相同超参数。我们遵循相同的训练流程和数据增强方案，使用AdamW优化器[^30]，但将网络训练40个epoch，批大小设为32，最大学习率为$1e^{-3}$，权重衰减为0.01，动量范围为0.85至0.95。对于输入点云的体素化，我们发现针对户外场景的默认设置在JRDB上并非最优。我们测试了两种设置：第一种使用nuScenes的参数：体素网格尺寸为(0.1m, 0.1m, 0.2m)，检测范围限制为x轴和y轴[-51.2m, 51.2m]，z轴[-5m, 3m]。此外，我们还使用了更细粒度的体素化，网格尺寸为(0.05m, 0.05m, 0.2m)，检测范围限制为x轴和y轴[-25.6m, 25.6m]，z轴[-2m, 8m]。缩小体素尺寸和检测范围的原因在于，JRDB中的场景通常比nuScenes中的场景规模更小。
在对在nuScenes上预训练的网络进行微调时，我们将训练时长缩短为10个epochs。该方案得到的性能与在预训练网络基础上完成完整40 epoch训练计划的性能一致。由于nuScenes为每个点提供了额外的时间增量和反射率特征，我们无法直接对原作者提供的checkpoint进行微调。我们改为在nuScenes上重新训练网络，仅使用点的x、y、z坐标作为输入特征，采用[^49]中的默认训练超参数，再对该网络进行微调。
训练DR-SPAAM时，我们遵循[^21]中的流程，使用相同的预处理和后处理超参数，以批量大小6训练网络20个epochs。原始DR-SPAAM仅预测行人的x、y位置，不提供任何与边界框相关的信息。为了和基于3D激光雷达的方法进行比较，我们尝试修改回归分支，额外预测边界框的宽度、长度和方向。宽度和长度被参数化为$\log(w/\bar{w})$和$\log(l/\bar{l})$，其中$\bar{w} = 0.5$和$\bar{l} = 0.9$分别代表JRDB训练集中框的平均宽度和平均长度。方向按照[^49]中的方法用正弦值和余弦值参数化。尺寸和方向回归均使用L2损失进行监督，方向的权重因子为0.2。此外，假设行人身高不会出现显著差异，我们尝试利用预测得到的BEV框和训练集中的平均高度生成3D边界框。我们没有尝试从2D激光雷达数据回归框的高度。
### C. 评估指标
遵循目标检测领域的通用标准，我们采用平均精度（Average Precision, AP）作为主要评估指标，并使用三种评估变体：$AP_{box}$、$AP_{BEV}$和$AP_{centroid}$，每种变体对检测结果与真值框的匹配规则有不同要求。对于$AP_{box}$，当检测框与真值框的三维交并比（3D IoU）高于0.3时即可判定匹配（遵循JRDB约定 [^31]）。$AP_{BEV}$放宽了要求，仅对鸟瞰图框采用二维交并比（2D IoU）判定标准，去掉了与框高度、高程相关的要求。$AP_{centroid}$仅关注中心定位，当检测框与真值框的x、y位置差小于0.5m时即可判定匹配 [^24]，[^5]，[^20]，去掉了对框尺寸和方向的要求。在所有三种变体中，一个真值框仅能与一个检测结果匹配。
由于真值框对三维和二维激光雷达传感器的可见性存在差异，我们在两种设置下分别计算上述三种平均精度。第一种设置中，我们仅针对包含至少10个三维激光雷达点的真值框评估检测结果。这对应JRDB的默认评估流程，因此我们将其称为默认评估。第二种设置我们称之为二维可见设置，我们仅针对在框x、y质心0.5m半径范围内包含至少5个二维激光雷达点的真值框评估检测结果。这两种评估设置能够让我们检验检测器在两种传感器下的性能，同时排除人物完全对传感器不可见（因而无法被检测）这类无关因素的干扰。
### 五、实验结果
#### A. 基于二维激光雷达与三维激光雷达的检测性能对比
CenterPoint与DR-SPAAM的性能对比如表I所示。在默认评估设置下，DR-SPAAM落后于在JRDB数据集上训练（采用细粒度体素化）的CenterPoint，差距显著，分别达到31.9% AP $_{box}$ 和 26.3% AP $_{BEV}$（AP $_{box}$ 的差距更大，因为DR-SPAAM
---
| | $AP_{{box}}$ | $AP_{{BEV}}$ | $AP_{{centroid}}$ |
| | Default | 2D-visible | Default | 2D-visible | Default | 2D-visible |
| CenterPoint | trained on nuScenes | 26.3 | 26.0 | 30.9 | 28.5 | 35.3 | 32.1 |
| + JRDB fine-tuning | 58.2 | 64.2 | 61.2 | 67.1 | 69.5 | 75.0 |
| trained on JRDB | 60.0 | 68.2 | 62.6 | 69.9 | 67.9 | 75.1 |
| trained on JRDB (fine-grained voxelization) | 66.0 | 75.0 | 67.1 | 76.5 | 70.1 | 78.1 |
| + nuScenes pretraining | 70.0 | 78.6 | 71.4 | 80.7 | 74.9 | 82.7 |
| DR-SPAAM | BEV | $34.1^{{*}}$ | $58.2^{{*}}$ | 40.8 | 67.3 | 46.6 | 74.8 |
| Centroid only | - | - | - | - | 47.6 | 77.2 |
TABLE I: Performance of different CenterPoint and DR-SPAAM variants on the JRDB validation set. $*$:3D Bounding boxes are obtained using predicted BEV boxes and the average box height from the training set.
无法估计边界框的高度。然而，当针对对二维激光雷达可见的真值进行评估时，这一差距缩小至9.2% AP $_{BEV}$。对于AP $_{centroid}$，DR-SPAAM和CenterPoint仅相差3.3%。仅回归质心的DR-SPAAM（正如其在 [^20] 中的原始设计）性能得到进一步提升，与仅使用JRDB训练的CenterPoint仅存在0.9% AP $_{centroid}$ 的微小性能差距。
这些数据表明，当仅关注可见人员的质心位置时，使用二维或三维激光雷达的检测器性能相近，尽管检测器输入之间存在巨大的信息差距（仅对腿部进行简单平面扫描 vs 对全身进行完整表面扫描）。因此，对于行人避障或跟随这类任务，二维激光雷达就足够了。然而，通用检测更适合使用基于三维激光雷达的检测器，因为在二维激光雷达的扫描平面中，行人很容易被完全遮挡，进而无法被检测到。在设计机器人时，应当根据任务需求来选择二维还是三维激光雷达。
此外，表I的第一行表明，自动驾驶场景与移动机器人场景之间存在较大的域差异。目前已有许多针对驾驶场景的预训练3D LiDAR基检测器，但它们在涉及与人近距离接触的机器人任务上往往难以取得良好性能。幸运的是，通过微调并适配合适的体素大小，可以弥合这一域差异。这些结果凸显了使用与部署阶段实际遇到的数据相似的训练数据的重要性。对于2D LiDAR传感器，由于其很少应用于户外驾驶场景，因此无法直接估计这种域差异的影响。
### B. 检测器详细对比
本节剩余部分将聚焦于CenterPoint和DR-SPAAM在特定方面的对比。我们使用每种检测器的最优变体（在nuScenes上预训练、在JRDB上通过细粒度体素化微调的CenterPoint，以及仅保留质心的DR-SPAAM）开展对比，以AP $_{centroid}$作为评价指标。
1) 定位精度：AP $_{centroid}$默认使用的0.5米真值关联半径无法体现不同检测结果的定位效果优劣。为进一步评估定位精度，我们开展评估时采用
Fig. 2: AP $_{centroid}$ evaluated at different ground truth association radii. The CenterPoint curves are slightly steeper at the start, suggesting a better localization of the detections.
不同的关联半径，并在图2中绘制了性能的变化趋势。请注意，本次评估中，曲线的变化趋势比绝对性能更值得关注。
经过快速增长后，性能逐渐趋于饱和，说明大多数检测都能达到合理的准确率。CenterPoint和DR-SPAAM之间的主要差异是小关联半径下曲线的斜率。CenterPoint的性能在此区间增长更快，说明其检测结果的定位精度略优。此外，当关联半径达到$\sim0.3$m后，CenterPoint的曲线就已接近饱和，表明其定位误差存在一个上限。而DR-SPAAM的曲线此时仍略有上升，说明它的部分检测结果定位精度较差。需要注意的是，标注本身也存在微小误差。因此，使用过小的关联半径（例如小于0.1m）得到的检测评分无法提供有效信息。
2）基于距离的评估：激光雷达数据的密度随距传感器的距离变化显著，这会对检测器的性能产生影响。因此我们额外开展了滑动窗口评估，在该评估中，我们仅考虑不同距离下位于传感器附近2m窗口范围内的真值标注。为得到有意义的评估结果，我们还将检测结果约束在评估窗口内或其附近
---
Fig. 3: AP $_{centroid}$ evaluated within a 2m window at different distances from the sensor. The top and middle plot shows how the performance develops across the distance for the default and 2D-visible evaluation respectively. The bottom plot shows the number of annotations within the windows for both evaluations.
评估窗口，以避免统计不必要的假阳性。我们具体将窗口向前后各拓展0.5m（即关联半径），仅考虑落在这个更大窗口内的检测结果。这种做法仍会引入额外的假阳性，但也会增加真阳性的数量，本质上是精确率和召回率之间的权衡。因此，整体性能低于表I中报告的结果，但我们在这里关注的重点是两个检测器之间的相对性能。
图3的顶部和中间子图展示了本次实验中探测器性能的变化规律。在所有评估中，性能在最初数米范围内最优，随距离增加而下降。在默认评估中，CenterPoint在整个距离范围内的性能明显更稳定，而DR-SPAAM的性能在远距离的下降幅度更大。这说明CenterPoint更擅长应对点密度的大幅变化，这可能是因为物体仍可被多束LiDAR光束观测到，而2D LiDAR仅使用单束光束。在2D可见目标评估中，两个探测器的性能在整个距离范围内出乎意料地相似，这表明
Fig. 4: Evaluation split up by how crowded it is around annotations. While the performance for larger group sizes decreases a little, the effect is less pronounced than might be expected. We additionally plot how many groups of a specific size are present in the data, showing that JRDB is indeed fairly crowded.
对于可见行人，两个探测器具备相近的距离鲁棒性。
图3的底部子图展示了两种评估设置下各个距离窗口内包含的真实标注数量。从中可以明显看出，从2米开始，就有大量行人无法被2D LiDAR扫描观测到，因此无法被检测。绝大多数标注都分布在初始12米范围内。在此之后，无论是默认评估还是2D可见目标评估，剩余标注都寥寥无几，评估的参考价值也随之降低。这凸显了JRDB数据集与自动驾驶数据集之间的另一项差异：在自动驾驶数据集中，通常能在远得多的距离处观测到行人。
3) 人群的影响：人们通常在彼此互动的过程中被观测，这往往会导致相互之间距离很近。这种情况会产生大量遮挡，进而可能提升正确检测独立个体的任务难度。为了探究检测性能如何随场景目标密度变化，我们在每个真值标注周围1.5m半径范围内统计其中包含多少其他标注。我们按照该“群体大小”对所有标注进行分类，并针对不同规模分别开展评估。图4展示了该实验的结果。尽管总体检测性能似乎随群体规模增大而下降，但检测器并未在群体规模较大时完全失效，且该影响在两种检测器上的表现非常相似。图4还表明，JRDB数据集中有大量人员是在
---
| Desktop (TITAN RTX) | Laptop (RTX 2080) | Jetson AGX Xavier |
| CenterPoint | 32.4 | 19.8 | 6.0 |
| DR-SPAAM | 59.1 | 37.1 | 8.9 |
TABLE II: Detector inference speed (frames per second) on three different platforms.
| Subsampling factor | $AP_{{centroid}}$ (Default) | $AP_{{centroid}}$ (2D-visible) | FPS |
| 1 | 47.6 | 77.3 | 8.9 |
| 2 | 46.5 | 76.5 | 18.2 ( $\times 2.0$) |
| 3 | 45.2 | 75.9 | 26.6 ( $\times 3.0$) |
| 4 | 43.7 | 74.9 | 32.5 ( $\times 3.7$) |
| 5 | 42.0 | 73.3 | 36.4 ( $\times 4.1$) |
TABLE III: DR-SPAAM performance and inference speed (frames per second) on Jetson AGX Xavier with different spatial subsampling.
至少一名其他人员的周边被观测到，这使得该数据集的真实度远高于部分早期数据集——在那些旧数据集中，往往只能在空旷场景中观测到单个行人。
4) 运行时间：运行时间是部署检测器时一项典型的实际约束条件。尤其在机器人应用中，计算资源通常十分有限，我们无法依赖高性能桌面GPU。表II展示了参评检测器在三种不同平台上的运行时间：高性能台式机、配备中端GPU的笔记本电脑，以及低功耗的Jetson AGX Xavier。本次测量包含预处理（例如计算抠图、体素化）和后处理（例如非极大值抑制）步骤，推理过程未使用批处理。换言之，这些数值反映了检测器部署后的端到端运行时间。DR-SPAAM和CenterPoint在高性能桌面或笔记本GPU上都能实现实时性能，但无法在嵌入式GPU上达成该效果。总体来看，DR-SPAAM的速度约为CenterPoint的两倍，这一速度差距在Jetson AGX上更小。²
得益于基于抠图的设计，DR-SPAAM可以通过对扫描结果下采样来提升运行速度，同时不会显著降低检测性能$^{[20]}$。表III展示了Jetson AGX上采用不同下采样因子的DR-SPAAM的性能与运行时间。采用3倍下采样时，DR-SPAAM可以26.6 FPS的速度运行，仅损失1.4%的AP。在机载计算资源受限的应用场景中，与精度更高但速度更慢的CenterPoint相比，DR-SPAAM在性能和运行时间之间实现了更优的权衡。
### C. 定性结果
图5展示了两种检测器的若干定性结果。这些结果是通过能得到等错误率（EER）的检测阈值获得的，等错误率即指在该阈值下精确率等于召回率。我们展示了两种检测器都检测到行人、仅其中一种检测到行人、以及两种都未检测到行人的情况。我们特别关注真正例和假负例，因为这些情况理应包含行人。无论是CenterPoint还是DR-SPAAM预测得到的质心，都能很好地定位到实际行人所在位置。方向估计的误差有时会导致CenterPoint的检测框对齐不准，但它与真值框的重叠度通常足够高。
尽管目前为止的数据表明CenterPoint的性能通常优于DR-SPAAM，但我们在这里也发现，确实存在仅两种检测器中的一种能检测到行人的情况。虽然图5展示了部分检测器失效原因十分明确的案例，例如点缺失或部分遮挡，但大多数仅某一种检测器失效的案例中明显存在行人，无法解释为什么该检测器未能检出。值得注意的是，许多被两种检测器都漏检的真值边界框中，确实看起来并不包含行人，这说明这些很可能是标注错误。
为了说明这些并非精心挑选的少数特例，表IV准确统计了这四种不同情况的发生频率。尽管仅CenterPoint单独检测到行人的情况更多，但仅被DR-SPAAM检测到的行人数量也不少，占比显著。这表明，当两种传感器都可用时，将两种方法集成是一种值得研究的思路。
### 六、讨论
我们使用两种最先进的基于LiDAR的检测器完成了所有实验，尽管我们本可以尝试适配CenterPoint使其在二维LiDAR数据上运行，从而实现更直接的对比。但这需要大量调优才能确保CenterPoint在二维LiDAR上获得具有代表性的性能，而我们的目标并非开发新型基于二维LiDAR的检测器。相反，本文我们依赖一种现有且经过良好调优的前沿方法。通过我们的检测器评估，我们为使用二维和三维LiDAR传感器在JRDB上的行人检测性能设定了下界，该性能将在未来的发展中得到进一步提升。
除了基于LiDAR的行人检测，还可以考虑其他传感器模态。具体而言，基于图像的行人检测器拥有悠久的发展历史。尽管如今大多数基于深度学习的检测器通常将行人作为众多检测类别之一 [^35], [^7], 在此之前就已经存在大量专门针对行人的检测器 [^13], [^3]。此外，基于RGB-D的行人检测器常被用于机器人领域，这类检测器额外具备可估算行人位置的优势 [^19], [^25], [^27]。尽管这两类基于图像的检测器都能实现鲁棒的行人检测，但它们存在缺点：大多数相机的视场相当有限，这一点也在 [^28] 中有所展示。基于图像的检测器很可能仍会是行人检测的可行方案，但单个LiDAR传感器就足以覆盖完整的周围区域，而这通常
---
(a) Detected by both detectors
(b) Detected by DR-SPAAM only
(c) Detected by CenterPoint only
(d) Missed by both detectors
Fig. 5: Qualitative results from both detectors evaluated at equal error rates. Green boxes represent the ground truth, yellow boxes/spheres are detections by CenterPoint and DR-SPAAM respectively. The blue and red spheres are the 3D and 2D LiDAR points. These examples are picked from the less crowded areas to avoid visual clutter. Note that in many cases where one of the detectors fails, the data seems to be sufficient for a detection to be possible.
| Total GT | Detected by |
| Both | CenterPoint | DR-SPAAM | None | |
| Default | 189 579 | 95 711 (50.5%) | 53 136 (28.0%) | 7 212 (3.8%) | 33 520 (17.7%) | |
| 2D-visible | 96 039 (50.7%) | 71 619 (74.6%) | 12 432 (12.9%) | 5 263 (5.5%) | 6 725 (7.0%) | |
TABLE IV: Detection statistics obtained using an equal error rate threshold for both CenterPoint and DR-SPAAM. The majority of persons is detected by both detectors, whereas a significant amount is only detected by one of the two.
需要多个相机，会显著增加计算需求。
### 七、结论
本文研究了面向移动机器人的、基于2D LiDAR与3D LiDAR的行人检测技术差异。为此，我们在JackRabbit数据集 [^49] 上，对当前性能最优的CenterPoint [^20] 和DR-SPAAM [^31] 检测器进行了直接对比。研究发现，当仅考虑可见行人时，基于2D和3D LiDAR的检测器性能相近，但2D LiDAR更容易出现行人无法被传感器感知的情况（因此无法完成检测）。尽管3D LiDAR整体为行人检测提供了更鲁棒的解决方案，2D LiDAR在性能与运行时间之间取得了更优的权衡，这对于机载计算能力有限的移动机器人而言是一项有利特性。
针对检测器的进一步分析表明，两种检测器的检测结果整体定位准确，且受人群的影响并不显著。由于有相当数量的行人仅能被两种检测器中的一种检出，若计算资源允许，集成这两种检测器是进一步提升检测性能的可行方向。尽管人们通常会认为基于3D LiDAR的行人检测更具优势，但两种传感器针对可见行人的性能与鲁棒性相近这一结果多少有些出人意料。我们认为，这些研究结论对于需要在行人周边导航的机器人选择传感器和检测器具有重要参考价值。
致谢：我们感谢Timm Linder和Jen Jen Chung提供的宝贵反馈。本项目由欧盟H2020项目“CROWDBOT”（779942）资助。大部分实验在亚琛工业大学CLAIX 2018 GPU集群（rwth0485）上完成。
## 参考文献
[^1]: Iro Armeni, Sasha Sax, Amir R Zamir, and Silvio Savarese. Joint 2D-3D-Semantic Data for Indoor Scene Understanding. arXiv:1702.01105, 2017.
[^2]: Kai O Arras, Oscar Martínez Mozos, and Wolfram Burgard. Using Boosted Features for the detection of People in 2D Range Data. In ICRA, 2007.
[^3]: Rodrigo Benenson, Markus Mathias, Radu Timofte, and Luc Van Gool. Pedestrian detection at 100 frames per second. In CVPR, 2012.
[^4]: Lucas Beyer $^{*}$, Alexander Hermans $^{*}$, and Bastian Leibe. DROW: Real-Time Deep Learning based Wheelchair Detection in 2D Range Data. RA-L, 2(2):585–592, 2016.
## [^5]: Lucas Beyer, Alexander Hermans, Timm Linder, Kai Oliver Arras, and Bastian Leibe. Deep Person Detection in 2D Range Data. RA-L, 3(3):2726–2733, 2018.
---
[^6]: Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuScenes: A multimodal dataset for autonomous driving. In CVPR, 2020.
[^7]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-End Object Detection with Transformers. In ECCV, 2020.
[^8]: Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGB-D Data in Indoor Environments. In 3DV, 2017.
[^9]: Q. Chen, L. Sun, Z. Wang, Kui Jia, and A. Yuille. Object as Hotspots: An Anchor-Free 3D Object Detection Approach via Firing of Hotspots. In ECCV, 2020.
[^10]: Yilun Chen, Shu Liu, Xiaoyong Shen, and Jiaya Jia. Fast Point RCNN. In ICCV, 2019.
[^11]: Christopher Choy, JunYoung Gwak, and Silvio Savarese. 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. In CVPR, 2019.
[^12]: Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes. In CVPR, 2017.
[^13]: Navneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human Detection. In CVPR, 2005.
[^14]: Martin Engelcke, Dushyant Rao, D. Wang, C. Tong, and I. Posner. Vote3Deep: Fast object detection in 3D point clouds using efficient convolutional neural networks. In ICRA, 2017.
[^15]: Ajo Fod, Andrew Howard, and Maja J. Mataric. A laser-based people tracker. In ICRA, 2002.
[^16]: A Geiger, P Lenz, C Stiller, and R Urtasun. Vision meets robotics: The KITTI dataset. IJRR, 32(11):1231–1237, 2013.
[^17]: Benjamin Graham, Martin Engelcke, and Laurens van der Maaten. 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks. In CVPR, 2018.
[^18]: Yihan Hu, Zhuangzhuang Ding, Runzhou Ge, Wenxin Shao, Li Huang, Kun Li, and Qiang Liu. AFDetV2: Rethinking the Necessity of the Second Stage for Object Detection from Point Clouds. In AAAI, 2022.
[^19]: Omid Hosseini Jafari, Dennis Mitzel, and Bastian Leibe. Real-Time RGB-D based People Detection and Tracking for Mobile Robots and Head-Worn Cameras. In ICRA, 2014.
[^20]: Dan Jia, Alexander Hermans, and Bastian Leibe. DR-SPAAM: A Spatial-Attention and Auto-regressive Model for Person Detection in 2D Range Data. In IROS, 2020.
[^21]: Dan Jia, Mats Steinweg, Alexander Hermans, and Bastian Leibe. Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera. In ICRA, 2021.
[^22]: R. Kesten, M. Usman, J. Houston, T. Pandya, K. Nadhamuni, A. Ferreira, M. Yuan, B. Low, A. Jain, P. Ondruska, S. Omari, S. Shah, A. Kulkarni, A. Kazakova, C. Tao, L. Platinsky, W. Jiang, and V. Shet. Lyft Level 5 Perception Dataset 2020. , 2019.
[^23]: Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. PointPillars: Fast Encoders for Object Detection From Point Clouds. In CVPR, 2019.
[^24]: Angus Leigh, Joelle Pineau, Nicolas Olmedo, and Hong Zhang. Person tracking and Following with 2D Laser Scanners. In ICRA, 2015.
[^25]: Benjamin Lewandowski, Jonathan Liebner, Tim Wengefeld, Steffen Mueller, and Horst Michael Gross. A Fast and Robust 3D Person Detector and Posture Estimator for Mobile Robotic Application. In ICRA, 2019.
[^26]: Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Kaiming He. Focal Loss for Dense Object Detection. In ICCV, 2017.
[^27]: Timm Linder, Kilian Y Pfeiffer, Narunas Vaskevicius, Robert Schirmer, and Kai O Arras. Accurate detection and 3D localization of humans using a novel YOLO-based RGB-D fusion approach and synthetic training data. In ICRA, 2020.
[^28]: Timm Linder, Narunas Vaskevicius, Robert Schirmer, and Kai O Arras. Cross-Modal Analysis of Human Detection for Robotics: An Industrial Case Study. In IROS, 2021.
[^29]: Zhe Liu, Xin Zhao, Tengteng Huang, Ruolan Hu, Yu Zhou, and Xiang Bai. TANet: Robust 3D Object Detection from Point Clouds with Triple Attention. In AAAI, 2020.
[^30]: Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In ICLR, 2019.
[^31]: Roberto Martin-Martin*, Mihir Patel*, Hamid Rezatofighi*, Abhijeet Shenoi, JunYoung Gwak, Eric Frankel, Amir Sadeghian, and Silvio Savarese. JRDB: A Dataset and Benchmark for Visual Perception for Navigation in Human Environments. PAMI, 2021.
[^32]: Caroline Pantofaru. ROS leg_detector package. , 2010. Accessed 2018-02-22.
[^33]: Charles R Qi, Or Litany, Kaiming He, and Leonidas J Guibas. Deep Hough Voting for 3D Object Detection in Point Clouds. In ICCV, 2019.
[^34]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J. Guibas. PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. In NeurIPS, 2017.
[^35]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In NeurIPS, 2015.
[^36]: Matthias Scheutz, J. McRaven, and Gyorgy Cserey. Fast, reliable, adaptive, bimodal people tracking for indoor environments. In IROS, 2004.
[^37]: Dirk Schulz, Wolfram Burgard, Dieter Fox, and Armin B. Cremers. People Tracking with Mobile Robots Using Sample-Based Joint Probabilistic Data Association Filters. IJRR, 22(2):99–116, 2003.
[^38]: Shaoshuai Shi, Chaoxu Guo, L. Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection. In CVPR, 2020.
[^39]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. PointRCNN: 3D Object Proposal Generation and Detection From Point Cloud. In CVPR, 2019.
[^40]: Shaoshuai Shi, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network. PAMI, 2020.
[^41]: Shuran Song, Samuel P. Lichtenberg, and J. Xiao. SUN RGB-D: A RGB-D scene understanding benchmark suite. In CVPR, 2015.
[^42]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, et al. Scalability in perception for autonomous driving: Waymo open dataset. In CVPR, 2020.
[^43]: H. Thomas, C. Qi, Jean-Emmanuel Deschaud, B. Marcotegui, F. Goulette, and L. Guibas. KPConv: Flexible and Deformable Convolution for Point Clouds. In ICCV, 2019.
[^44]: Yue Wang, A. Fathi, Abhijit Kundu, David A. Ross, C. Pantofaru, T. Funkhouser, and J. Solomon. Pillar-based Object Detection for Autonomous Driving. In ECCV, 2020.
[^45]: Zhi Yan, Tom Duckett, and Nicola Bellotto. Online Learning for 3D LiDAR-based Human Detection: Experimental Analysis of Point Cloud Clustering and Classification Methods. Autonomous Robots, 44(2):147–164, 2020.
[^46]: Bo Li Yan Yan, Yuxing Mao. SECOND: Sparsely Embedded Convolutional Detection. Sensors, 2018.
[^47]: Zetong Yang, Yanan Sun, Shu Liu, and Jiaya Jia. 3DSSD: Point-based 3D Single Stage Object Detector. In CVPR, 2020.
[^48]: Zetong Yang, Yanan Sun, Shu Liu, Xiaoyong Shen, and Jiaya Jia. STD: Sparse-to-Dense 3D Object Detector for Point Cloud. In ICCV, 2019.
[^49]: Tianwei Yin, Xingyi Zhou, and Philipp Krähenbühl. Center-based 3D Object Detection and Tracking. In CVPR, 2021.
[^50]: Wu Zheng, Weiliang Tang, Sijin Chen, Li Jiang, and Chi-Wing Fu. CIA-SSD: Confident IoU-Aware Single-Stage Object Detector From Point Cloud. In AAAI, 2021.
[^51]: Wu Zheng, Weiliang Tang, Li Jiang, and Chi-Wing Fu. SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud. In CVPR, 2021.
[^52]: Y. Zhou, P. Sun, Y. Zhang, Dragomir Anguelov, J. Gao, Tom Ouyang, J. Guo, J. Ngiam, and Vijay Vasudevan. End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds. In CoRL, 2019.
[^53]: Yin Zhou and Oncel Tuzel. VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection. In CVPR, 2017.
[^54]: Benjin Zhu, Zhengkai Jiang, Xiangxin Zhou, Zeming Li, and Gang Yu. Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection. arXiv:1908.09492, 2019.