# 基于激光雷达的 3D 人体检测，用于视频监控 Miquel Romero Blanch $^{1,2}$ Zenjie Li $^{2}$ Sergio Escalera $^{1,3}$ Kamal Nasrollahi $^{2,3}$ 巴塞罗那大学和计算机视觉中心 $^{1}$ Milestone Systems $^{2}$ Aalborg Universitet $^{3}$ ## 摘要本研究探讨了使用激光雷达技术的 3D 物体检测，特别是针对视频监控中的行人检测。虽然激光雷达在自动驾驶领域已得到广泛应用，但在视频监控中的应用尚不充分。我们将最先进的自动驾驶模型应用于视频监控，其中 CenterPoint 表现最佳。通过优化诸如体素大小和扫描合并之类的超参数，可以提高行人检测性能。整合更大范围的数据有助于在视频监控场景中实现泛化。本研究表明了在视频监控中进行行人检测的可行性，并强调了与领域自适应和高分辨率激光雷达传感器的高成本相关的挑战。代码：。 ### 1. 引言近年来，视频监控已成为公共安全和保障的重要手段。然而，传统的 2D 物体检测在估计深度和处理复杂场景方面存在局限性。为了解决这些问题，激光雷达传感器因其精确性而在视频监控中越来越受到关注。激光雷达传感器使用激光束创建环境的详细 3D 点云。激光雷达通常与自动驾驶相关联，但其应用范围更广。激光雷达增强了视频监控场景的理解和隐私保护。与捕获可识别图像的摄像头不同，激光雷达生成匿名点云，从而解决了隐私问题，尤其是在公共场所。激光雷达的兴起是由于自动驾驶领域的进步。大多数现有的用于 3D 物体检测的大型数据集，如 nuScenes [^2] 和 Waymo [^15]，主要关注自动驾驶场景。考虑到这一限制，我们的研究探索了最初为自动驾驶设计的最先进模型，并将它们应用于视频监控，重点是行人检测。本研究的主要贡献如下： - 评估用于行人检测的 3D 物体检测模型：该目标涉及对最先进的模型进行广泛的评估和比较，包括 SECOND [^16]、PointPillar [^7] 和 CenterPoint [^18]。将考虑性能指标，如准确性和速度。 - 用于视频监控的 3D 物体检测评估：该研究旨在利用来自自动驾驶场景的数据，创建一个尽可能接近视频监控挑战的评估环境，特别是针对人体检测。从这种方法中获得的见解将为开发用于实际视频监控的 3D 物体检测系统提供信息。 • 开发一种用于优化 3D 人体检测的流水线：该研究旨在设计和实现一种专门的流水线，用于优化 3D 对象检测模型（如图 1 所示），特别是用于人体检测。该流水线将包含各种超参数、配置和数据预处理技术，以提高检测人类的准确性和可靠性。 ### 2. 相关工作近年来，基于 LiDAR 的 3D 对象检测取得了显著进展，改变了自动驾驶、机器人和视频监控等行业。本节回顾了 3D 对象检测的最新进展，重点介绍了与视频监控应用相关的技术。基于 LiDAR 的 3D 对象检测的特点是能够提供精确且密集的空间信息，从而实现准确的环境感知。在该领域，已经出现了三种主要范式：基于点的、基于体素的和多模态方法。 --- ![Image](images/ebdb62bf2ede7729936bcd2cdab792ace0fd0cd2b387ef7f79dc85b89be80254.jpg)

Figure 1. The presented optimized pipeline leverages state-of-the-art techniques to achieve peak performance in pedestrian detection. It is designed with a voxel-based approach, taking into account the challenges presented by the nuScenes dataset. Through this pipeline, we aim to comprehensively explore the impact of various hyperparameters and uncover the rationale behind our results.

#### 2.1. 基于点云的 3D 对象检测使用 LiDAR 传感器点云进行 3D 对象检测可以分为两个主要类别：基于点的和基于体素的方法。 #### 2.1.1 基于点的算法基于点的技术直接处理无序的点云数据，由 PointNet [^9] 率先提出。PointNet 引入了一种 3D 深度学习架构，可以处理诸如对象分类、分割以及后续的对象检测等任务。PointRCNN [^11] 扩展了这种方法，采用两阶段框架，包括提案生成和在标准坐标系中对提案进行细化，以获得最终的检测结果。虽然基于点的算法可以保持精确的点位置，并提供灵活的感受野，但它们通常会花费大量计算来组织不规则的点数据，这使得它们不太适合大规模点云。基于点的处理中的另一个新兴趋势是使用图神经网络 (GNN) 来隐式地学习排列不变表示。GNN 非常适合点云，因为点云可以自然地表示为图。例如，PointGNN [^12] 通过在从点云构建的局部邻域图中进行推理，从而迭代地总结其相邻点的语义信息。 #### 2.1.2 基于体素的方法现在，大多数现有方法倾向于将点云数据转换为一种结构化表示，通常是 3D 体素网格，以实现高效的处理。体素化提供了一种网格表示，允许使用 3D 卷积神经网络 (CNN) 进行对象检测。第一个采用这种方法的开创性工作是 VoxelNet [^20]，它将点云划分为 3D 体素，并使用 3D 卷积对场景特征进行编码。但是，其计算成本使其难以用于实时应用。 SECOND [^16] 提出了一种更高效的方法，该方法建议使用 3D 稀疏卷积来解决由于点云稀疏性而导致的空体素数量问题，从而在准确性和速度方面提高了 VoxelNet 的性能。因此，SECOND 至今仍然是一个非常成熟的基线模型。另一方面，PointPillars [^7] [^14] 提出了一种替代的体素化方法，通过将点云划分为柱形体，从而减少了内存消耗，并实现了高效的训练和推理。它采用一个轻量级的 2D CNN 来提取特征，然后使用一个稀疏卷积网络进行目标检测。当时提出的所有方法都使用了基于锚点的检测头。直到 CenterPoint [^18] 引入了一种基于中心的体素化方案，该方案提高了 3D 目标检测的效率和准确性。通过将对象表示为 3D 中心点，它在各种基准测试中实现了卓越的性能，同时保持较低的计算开销。与此同时，PillarNet [^10] 选择扩展 PointPillars 的概念，并提出了一种更强大的编码器网络，用于有效的柱特征学习，以及一个颈部网络，用于空间-语义特征融合，以及 CenterPoint 提出的相同检测头。因此，他们设计了第一个实时且高性能的基于柱的 3D 检测方法。 #### 2.2. 多模态 3D 目标检测在自动驾驶的背景下，激光雷达传感器通常与多个摄像头传感器一起使用，这些传感器提供整个场景的 RGB 数据。这促使人们提出了使用多模态方法的想法，这些方法可以在牺牲隐私的前提下进行更稳健的估计。 --- 这种方法已被证明有助于检测行人，因为它提供了更密的信息。 MVX-Net [^13] 提出了一种早期融合方法，将 RGB 和点云模态结合起来，利用开创性的 VoxelNet 架构，并从预训练的 2D Faster R-CNN 中提取图像特征。一个主要的问题是激光雷达点和图像像素之间的关联，这在很多时候具有挑战性，因为存在诸如激光雷达故障或图像质量差等外部因素。BEVFusion [^8] 提出了一种新颖但简单的框架，该框架将摄像头和激光雷达特征融合到一个共享的 BEV 空间中，而不是将一种模态映射到另一种模态，从而保留了摄像头的语义密度和激光雷达的几何结构，以解决可能的故障。同时，TransFusion [^1] 也提出了一种稳健的激光雷达摄像头融合解决方案，采用了一种软关联机制来处理图像质量差的问题。具体来说，其实现包括一个卷积骨干网络和一个基于 Transformer 解码器的检测头。 #### 3.1. 数据 ### 3. 方法论本节介绍了将要考虑的数据集和模型。此外，还定义了一个与视频监控相关的基准测试协议。视频监控对于公共安全和保障至关重要，它涉及监控视频流，以检测行人、车辆等物体，通常发生在室内空间，如购物中心和停车场。不幸的是，缺乏带有行人标注的室内数据集，这给我们的 3D 物体检测研究带来了挑战。为了克服这一限制，我们将研究范围扩展到主要用于自动驾驶的室外数据集。此外，LiDAR 设备在我们的研究中起着至关重要的作用，因为它们的空间和时间分辨率会影响物体检测。空间分辨率由发射的光束决定，影响细节捕捉，而时间分辨率由扫描频率决定，影响数据及时性和动态性。我们的研究考察了这些分辨率方面，以符合我们创建高效检测模型的总体目标，这些模型是专门为视频监控设计的。 #### 3.1.1 室外数据集自动驾驶技术的兴起导致了大量用于 LiDAR 3D 物体检测的室外数据集。这些数据集包含高质量的行人标注，使其对视频监控应用非常有价值。 ![Image](images/c65d7983ed3c8de459cdcc4c7ee2cd84864ad0c3acfea2cfd82f9620443a5d95.jpg)

Figure 2. Correlation between points and distance to the sensor for pedestrian detections in nuScenes dataset.

在我们的搜索中，我们仔细评估了表 1 中列出的流行的自动驾驶数据集，以确定最适合我们视频监控研究的数据集。我们的评估考虑了诸如标注质量、多样性、场景变化以及用于多模态方法的 RGB 图像等关键因素。经过全面评估，nuScenes 数据集 [^2] 成为视频监控的首选数据集。它提供了细致的标注，包括行人的 3D 边界框、方向和速度。值得注意的是，nuScenes 与我们的目标 LiDAR 设置非常吻合，具有较低的空间分辨率（32 个光束），但具有较高的时间分辨率（20Hz 采集频率）。这种与我们目标配置的相似性使 nuScenes 成为开发和测试适用于实际部署场景的模型的理想选择。为了提高其可用性，我们利用多个连续的 LiDAR 扫描，创建更密集的表示。这些密集表示范围具体延伸至 20 米，如图 2 所示，这对于视频监控至关重要。此外，低空间分辨率 LiDAR 设备的成本效益也增加了 nuScenes 的吸引力，这与实际部署考虑因素非常吻合。虽然像 KITTI [^5] 和 Waymo [^15] 这样的数据集广受认可，但 KITTI 的规模有限，而 Waymo 由于许可限制而存在挑战。nuScenes 的细微之处，以及其方便的迷你数据集用于实验，巩固了其作为我们首选数据集的地位。 #### 3.1.2 室内数据集最初，我们的重点是用于行人检测的室内数据集。但是，由于缺乏带有行人标注的此类数据集，我们不得不转向室外替代方案。 ---

Dataset	Year	Size					Diversity
Dataset	Year	Train	Val	Test	3D boxes	PC frames	RGB images	Scenes	Classes	Night/Rain
KITTI [^5]	2012	7k	-	7k	200K	15K	15k	50	3	No
Argoverse [^3]	2019	275k	105k	87k	993K	44k	490k	113	15	Yes
Lyft L5 [^6]	2019	136k	-	164k	1.3M	46k	46k	366	9	No
nuScenes [^2]	2019	168k	36k	36k	1.4M	400k (40k) $^{{*}}$	1.4M	1000	10	Yes
Waymo [^15]	2020	611k	152k	200k	112M	200k	1M	1150	3	Yes

Table 1. Statistics from the datasets studied. *nuScenes only has 40k annotated frames from the 400k total frames available.

尽管如此，我们认识到室内场景在视频监控中的重要性。诸如 SUN-RGBD [^14] 和 ScanNet [^4] 之类的室内数据集很有价值，但缺乏所需的特定行人标注。相反，来自林肯大学的 L-CAS 数据集 [^17] 更好地满足我们的要求。该室内数据集使用具有 16 个光束的 LiDAR 设备，并且紧密模拟现实世界的室内监控场景。然而，L-CAS数据集存在一个局限性：它缺乏对许多行人的标注，尤其是那些距离较远的行人。 #### 3.1.3 其他点云采集系统除了激光雷达，还存在其他点云采集系统，包括结构光扫描仪、立体相机和雷达。结构光扫描仪虽然可以准确地捕捉3D物体的形状，但其工作范围有限，不适合大型监控区域。同样，立体相机受到视野范围的限制以及计算需求的限制，阻碍了它们在全面视频监控应用中的有效性。雷达虽然可以在某些场景下应用，但由于其工作范围可能非常有限，因此存在形状准确性和分辨率的问题。考虑到这些因素以及现有数据集主要集中在激光雷达数据上，可以清楚地看到，激光雷达设备为3D目标检测提供了最具前景的途径。 #### 3.2. 模型体素化方法已成为3D目标检测任务中一种流行的选择，正如在最先进部分中所研究的，因为它们能够使用规则的体素网格有效地表示3D数据。这些方法为2D卷积神经网络（CNN）到3D CNN的自然扩展提供了基础。通过将3D空间离散为体素并以结构化的方式编码数据，基于体素的模型可以高效地处理3D点云，同时受益于成熟且优化的3D CNN操作。这在不牺牲推理速度的情况下实现了令人印象深刻的准确性，这使得它们非常适合实时应用，例如视频监控中的行人检测。除了体素化，将点云组织成垂直柱的柱编码正在被研究作为一种有效的替代方案。基于柱的模型直接在2D空间中运行，无需3D骨干网络。为了优化行人检测，考虑了两种检测头：传统的基于锚点的方法计算密集，而较新的基于中心的 approach 直接预测 BEV 空间中的对象中心。这种探索旨在确定最有效的方法，以在各种室内和室外场景中实现准确且高效的行人检测。因此，在我们的行人检测实验中，我们选择了研究的最先进的四个模型：SECOND [^16]、CenterPoint [^18]、带有柱编码的 CenterPoint 和 PillarNet [^10]。这些模型使用一致的点云编码方案，包括 x、y、z 坐标和强度等维度。包含强度对于目标检测至关重要，因为它提供了激光脉冲反射率的信息。此外，添加了一个时间戳维度以适应每个样本的多个扫描，这有助于处理场景的时间性，并提高对象动态和运动捕获。通过这种时间维度，预计可以自然地估计运动补偿。总而言之，我们的模型研究涵盖了体素化方法、柱编码以及两种检测头方法（基于锚点和基于中心的方法），以开发一种最先进的行人检测系统，与 3D 目标检测研究的最新进展相一致。 #### 3.3. 评估协议该基准测试协议旨在将 3D 目标检测任务应用于视频监控。它在 Tab. 2 中定义的各种距离范围内评估模型，重点关注约 20 米的距离，这与视频监控相关。评估指标是行人平均精度 (mAP)，已针对 3D 目标检测进行调整。 --- 该方法使用 nuScenes 的方法 [^2]，该方法使用 2D 中心距离阈值替换传统的交并比 (IoU)，以确保无论对象大小或方向如何，都能进行准确的评估。该协议旨在为模型在视频监控环境中的全面评估提供支持。

pedestrian mAP
0-10 (m)	0-20 (m)	0-30 (m)	0-40 (m)	0-50 (m)

Table 2. Metric and evaluation ranges defined by the benchmarking protocol.

此外，该协议还考虑了几个关键的超参数： • 训练范围：这定义了训练标注的最大范围，将其限制在特定距离内（例如，30 米）。 - 体素大小：它确定用于点云处理的体素大小。 • 每个样本的扫描次数：这会通过指定样本中连续扫描的次数来影响点云密度，从而增加时间维度。 • 使用的类别：它定义了模型是否仅使用行人数据进行训练，或是否包含所有可用类别。这些超参数在优化视频监控模型的性能方面起着至关重要的作用。根据我们对最先进模型的探索和实验，我们开发了一个优化的流程（图 1），用于在视频监控场景中检测行人。 ### 4. 实验在本节中，我们详细概述了用于全面评估我们的行人检测方法的各种实验。我们的实验探索涵盖了两个主要数据集：nuScenes 数据集和 L-CAS 数据集，将进行定性分析。 SOTA 模型比较和调整。在该方法中研究的四个最先进的模型，用于评估行人检测，重点是根据基准测试协议概述系统地改变超参数。这些超参数包括体素大小、扫描次数、训练范围和类别数。实验首先使用 mini nuScenes 数据集进行高效的超参数网格搜索，然后使用完整的数据集进行训练，以获得最佳结果。多模态。 BEVFusion 框架用于在共享的鸟瞰图 (BEV) 空间中组合相机和 LiDAR 数据。与传统方法不同，这些方法会将一种模态映射到另一种模态，BEVFusion 能够保留相机数据的语义丰富性，同时保留 LiDAR 的几何结构。预计这种融合可以提高精度，尤其是在检测行人时，因为它提供了比仅使用 LiDAR 更密集的表示。该实验使用 Swin Transformer 进行图像编码，使用来自 nuImages 数据集的预训练权重。使用最佳的 LiDAR 编码模型，该模型来自先前的实验。定性分析。由于 L-CAS 数据集缺乏足够的标注，因此主要采用定性分析。对模型性能的这种视觉检查可以深入了解其室内检测能力。值得注意的是，虽然对 nuScenes 数据集也进行了定性分析，但由于缺少标注，因此 L-CAS 的主要方法仍然是定性分析。认识到在不同激光雷达设备的数据集之间进行适配所面临的挑战。发现，在一种数据集上预训练模型，并期望在另一种数据集上实现无缝性能是不切实际的，因为存在这些差异。为了解决这个问题，选择了来自 nuScenes 的性能最佳的模型，并使用 L-CAS 数据集对其进行微调，同时认识到领域自适应的复杂性。 #### 4.1. 结果 SOTA 模型的比较和调优。通过模型比较和超参数调优，在表 3 中获得了几项宝贵的见解： • 训练范围的影响：将训练范围扩展到 50 米对结果产生了积极影响，表明更广泛的训练范围可以提高模型的泛化能力，尤其是在与视频监控相关的指标方面。 - 扫描次数的考虑：令人惊讶的是，每样本使用 5 次扫描比建议的 10 次扫描表现更好，这表明过多的扫描次数可能并不必要，尤其是在近距离检测中。 - 最佳体素尺寸：在所有测试模型中，较小的体素尺寸由于具有更好的表示能力而更受欢迎，但会以增加推理时间为代价。 ---

Training range (m)	Max sweeps	Voxel size	Classes	pedestrian mAP
Training range (m)	Max sweeps	Voxel size	Classes	0-10 (m)	0-20 (m)	0-30 (m)	0-40 (m)	0-50 (m)
50	5	[0.08, 0.08, 0.2]	pedestrian	0.8991	0.8763	0.8272	0.8087	0.7811
30	5	[0.08, 0.08, 0.2]	pedestrian	0.8977	0.8724	0.807	0.7249	0.6547
20	5	[0.08, 0.08, 0.2]	pedestrian	0.8473	0.8137	0.5624	0.4608	0.4088
50	10	[0.08, 0.08, 0.2]	pedestrian	0.8282	0.7949	0.7601	0.7379	0.702
50	5	[0.08, 0.08, 0.2]	pedestrian	0.8991	0.8763	0.8272	0.8087	0.7811
50	1	[0.08, 0.08, 0.2]	pedestrian	0.8835	0.841	0.779	0.7325	0.6922
50	5	[0.16, 0.16, 0.2]	pedestrian	0.7298	0.7405	0.71	0.6895	0.6587
50	5	[0.1, 0.1, 0.2]	pedestrian	0.868	0.8526	0.8013	0.78	0.7533
50	5	[0.08, 0.08, 0.2]	pedestrian	0.8991	0.8763	0.8272	0.8087	0.7811
50	5	[0.08, 0.08, 0.2]	all	0.8558	0.822	0.7805	0.7636	0.7366
50	5	[0.08, 0.08, 0.2]	pedestrian	0.8991	0.8763	0.8272	0.8087	0.7811

Table 3. CenterPoint validation results on the mini nuScenes dataset on different hyperparameter configurations. This table only presents a portion of the grid search that was conducted for the experiments on one of the selected models. The behaviour found for the rest of the models was the same. The optimal hyperparameters found are 50m training range, 5 sweeps, 0.08 voxel size and only using pedestrian class. Blue text indicates the variations of one hyperparameter in the optimal configuration.

- 单类训练：仅使用行人数据训练的模型始终优于多类训练，这突出了专用行人数据集在视频监控任务中的可行性。 • 模型性能和表示：使用体素表示的 CenterPoint 表现出最高的性能，优于 SECOND 以及使用柱表示的模型。 Pillar-Net 声称其结果优于 CenterPoint 的说法并未得到此行人基准的证实。在表 4 中，使用体素表示的 CenterPoint 是性能最佳的模型，通过优化超参数，其 mAP@0-20m 分数为 0.8763。计划在整个数据集上进行进一步训练，以探索其全部潜力。但是，需要注意的是，由于测试集中 ground truth 的局限性，直接与使用此测试集基准的 state-of-the-art 进行比较具有挑战性。采用了另一种方法，即比较从在整个数据集上训练的预训练模型的结果。在最佳 CenterPoint 配置和整个数据集上进行全面训练后，如表 5 所示，可以发现扩展的训练数据集显着提高了模型的泛化能力。这一观察结果强调了数据集大小在实现卓越模型性能中的重要性。此外，优化后的模型表现出值得注意的性能，甚至超过了 state-of-the-art 模型的绝大多数预训练权重，这凸显了体素尺寸超参数在模型优化中的关键作用，尽管实现理想的体素尺寸受到硬件资源限制的影响。多模态。我们的研究结果表明，较小的窗口尺寸可以获得更好的性能，表明其具有更高的表示能力，并且使用 7 个像素的窗口尺寸获得了最佳结果。将结果与单模态方法进行比较，在 10 米和 20 米范围内存在微小的提升，如表 6 所示。这表明，在视频监控的背景下，多模态确实具有优势，尤其是在较近的实例中。值得注意的是，距离传感器更近的实例通常在 RGB 图像中更清晰，并且具有更高的点密度，这可能有助于提高检测效果。然而，对于更远的距离，我们没有观察到显著的改进，即使性能仍然与单模态设置相当。我们的假设是，在较近的距离，LiDAR 和 RGB 数据之间可以更清晰地捕捉和对齐物体，从而促进了这些范围内检测性能的提升。总而言之，在 mini nuScenes 数据集上进行的跨模态实验结果表明，取得了适度的改进。然而，值得注意的是，这些改进不如一些最先进的跨模态模型的报告结果那样显著。这可能是因为 mini 数据集在捕捉跨模态的全部潜力以及使用 LiDAR 编码器方面存在局限性。 ---

Model	Training range (m)	Max sweeps	Voxel size	Classes	pedestrian mAP			Inference time (ms)
Model	Training range (m)	Max sweeps	Voxel size	Classes	0-10 (m)	0-20 (m)	0-30 (m)	Inference time (ms)
SECOND CenterPoint	50	5	[0.08, 0.08, 0.2]	pedestrian	0.8084	0.8134	0.7406	300
SECOND CenterPoint	50	5	[0.08, 0.08, 0.2]	pedestrian	0.8991	0.8763	0.8272	261
CenterPoint-P	30	5	[0.1, 0.1, 0.2]	pedestrian	0.8696	0.8125	0.7351	93
PillarNet	50	5	[0.08,0.08,0.2]	pedestrian	0.8384	0.8075	0.7443	168

Table 4. Hyperparameter optimization results for every selected model. Configuration with the best validation results from the mini nuScenes dataset are shown for every selected model. Experiments are executed on a Nvidia RTX A2000 12GB.

Model	Training range (m)	Max sweeps	Voxel size	Classes	pedestrian mAP
Model	Training range (m)	Max sweeps	Voxel size	Classes	0-10 (m)	0-20 (m)	0-30 (m)
CenterPoint (Ours)	50	5	[0.08, 0.08, 0.2]	pedestrian	0.9737	0.9491	0.9161
CenterPoint	-	10	[0.1, 0.1, 0.2]	all	0.94905	0.93841	0.91349
CenterPoint	-	10	[0.08, 0.08, 0.2]	all	0.9636	0.9525	0.9241
CenterPoint-P	-	10	[0.2, 0.2, 0.8]	all	0.93763	0.91727	0.88813
SECOND	-	10	[0.1, 0.1, 0.2]	all	0.92078	0.91754	0.8921

Table 5. Validation results from the mini nuScenes dataset. Comparison of our optimized CenterPoint model against the available pretrained weights of the state of the art. All the models in this table were trained with the full nuScenes dataset.

Model	pedestrian mAP
Model	0-10 (m)	0-20 (m)	0-30 (m)
CenterPoint	0.8991	0.8763	0.8272
BEVFusion	0.9084	0.8835	0.8297

Table 6. Validation results from the mini nuScenes dataset. Comparison between the top-performing single-modality model and the top-performing configuration (window size=7) trained on the multi-modality framework.

针对单模态进行了优化，而不是为跨模态融合而设计的。定性分析。在 nuScenes 数据集的定性分析中，该研究重点关注性能最佳的 CenterPoint 模型的输出。分析结果表明，置信度阈值参数对模型的性能有显着影响。当使用较低的置信度阈值 0.1 时，会明显出现虚假检测。另一方面，将置信度阈值提高到 0.4 会大大减少虚假检测的数量，表明提高阈值可以提高检测精度。同时，观察到方向估计的质量不是最佳的，而且不够精确，这突出了在行人检测中准确预测方向的挑战。另一方面，考虑到 L-CAS 数据集所带来的约束，其定性分析采用了在 L-CAS 数据集上完全微调的性能最佳的 CenterPoint 模型。尽管该数据集存在标注错误等挑战，但仍有几项值得注意的观察结果。该模型表现出在没有相应地面真值标注的情况下，也能准确检测行人的能力（如图 3b 所示）。此外，在将紧靠的行人标注为单个组的情况下，该模型能够成功地识别这些分组的行人，并将它们视为独立的个体（如图 3a 所示）。 #### 4.2. 消融研究总而言之，虽然 L-CAS 数据集由于标注错误而存在挑战，但它也显示出解决室内 LiDAR 数据分析中新挑战的潜力，突出了其对未来增强和深度学习方法的价值。在消融研究中，我们调查了标注简化对行人检测模型性能的影响。该研究涉及对 nuScenes 标注的三项关键修改，旨在了解特定属性对最佳 3D 检测结果的重要性。 - 无方向：我们移除了方向信息，以评估其在检测精度中的重要性。 - 无速度：我们排除了速度数据，以研究其在准确检测中的作用。 --- ![Image](images/4d872f99b51a1dc58abea3002ed4bc3908d106df0ffbf902b6c364fd67327d1c.jpg)

(a) Close pedestrians are sometimes annotated as a singular group.

![Image](images/728d7f7f7c6734c79e3e6c3ffcb893ee9aad4902e9e8637d11fc0aa6f1554334.jpg)

(b) Missing annotations sometimes are accurately detected.

Figure 3. Qualitative results in the L-CAS dataset. Blue boxes indicate ground truth, and green indicates our detection. Open3D [^19] is used for visualization.

• 圆柱形检测：行人框被简化为圆柱形，以减少框参数的数量。由于行人的宽度和长度通常非常相似，因此这些参数被简化为一个直径。实验结果表明，预测行人的方向和速度并不能显著提高行人检测的性能，无论模型是否使用所有类别的数据进行训练，或者仅使用行人数据进行训练。这一结论是基于使用 CenterPoint 模型和特定 hvner 参数的实验得出的。在 mini 数据集中估计行人的方向和速度具有挑战性，如图 7 所示。这些困难解释了为什么集成速度和方向信息并没有带来行人检测性能的显著提升。观察到不同属性组合之间的差异很小，这可能归因于随机变化。该研究使用两个主要指标来评估模型中方向和速度预测的准确性和精度：平均绝对方向误差 (mAOE) 和平均绝对速度误差 (mAVE)。此外，该研究还指出，使用圆柱形边界框并没有带来显著的性能变化。这一观察结果表明，在未来的数据集标注中，可以考虑使用简化的边界框，而不会影响检测的准确性。 ### 5. 结论这项工作展示了基于体素的模型在 3D 对象检测中的有效性，尤其是在视频监控中的行人检测中。使用稀疏卷积，与最先进的研究一致，是一种成功的方法。值得注意的是，我们已经确定了专为行人检测设计的优化超参数配置，打破了

Orientation	Velocity	ped. mAP	ped. mAOE	ped. mAVE
False	False	0.7904	-	-
False	True	0.7896	-	0.9187
True	False	0.7889	1.638	-
True	True	0.7719	1.518	0.9102

Table 7. Validation result from the mini nuScenes dataset at the range of 20 meters. Showcasing mAP, mAOE and mAVE for pedestrian depending on the annotation simplification. The higher mAP the better, while the lower mAOE and mAVE the better.

与自动驾驶的传统设置不同的方法。我们使用 nuScenes 数据集的探索表明，在无需复杂标注的情况下，可以有效地进行行人检测，这表明有可能创建一种专为视频监控应用程序设计的全新数据集。此外，我们的多模态研究表明，在关键监控范围内可以获得轻微的性能提升，这需要进一步的研究。人工智能伦理，尤其是在监控中，至关重要。 RGB 系统可能会侵犯隐私，而 LiDAR 提供了空间数据，而不会损害匿名性。 LiDAR 的准确距离数据有助于人群控制、入侵检测和场景理解，从而提高安全性和决策能力。未来的研究应侧重于增强 L-CAS 数据集中的标注，以便更好地应用于视频监控深度学习模型。创建一个专为监控需求定制的数据集是另一个有前景的方向，尽管 LiDAR 传感器成本很高。致谢。这项工作部分由西班牙项目 PID2022-136436NB-I00 以及 ICREA Academia 项目资助。 --- ## 参考文献 [^1]: Xuyang Bai, Zeyu Hu, Xinge Zhu, Qingqiu Huang, Yilun Chen, Hongbo Fu, and Chiew-Lan Tai. Transfusion: Robust lidar-camera fusion for 3d object detection with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1090–1099, 2022. 3 [^2]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. Nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11621–11631, 2020. 1, 3, 4, 5 [^3]: Ming-Fang Chang, John Lambert, Patsorn Sangkloy, Jag-jeet Singh, Slawomir Bak, Andrew Hartnett, De Wang, Peter Carr, Simon Lucey, Deva Ramanan, et al. Argoverse: 3d tracking and forecasting with rich maps. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 8748–8757, 2019. 4 [^4]: Angela Dai, Angel X Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5828–5839, 2017. 4 [^5]: Andreas Geiger, Philip Lenz, Christoph Stiller, and Raquel Urtasun. Vision meets robotics: The kitti dataset. The International Journal of Robotics Research, 32(11):1231–1237, 2013. 3, 4 [^6]: John Houston, Guido Zuidhof, Luca Bergamini, Yawei Ye, Long Chen, Ashesh Jain, Sammy Omari, Vladimir Iglovikov, and Peter Ondruska. One thousand and one hours: Self-driving motion prediction dataset. In Conference on Robot Learning, pages 409–418. PMLR, 2021. 4 [^7]: Alex H Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12697–12705, 2019. 1, 2 [^8]: Tingting Liang, Hongwei Xie, Kaicheng Yu, Zhongyu Xia, Zhiwei Lin, Yongtao Wang, Tao Tang, Bing Wang, and Zhi Tang. Bevfusion: A simple and robust lidar-camera fusion framework. arXiv preprint arXiv:2205.13790, 2022. 3 [^9]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. 2 [^10]: Guangsheng Shi, Ruifeng Li, and Chao Ma. Pillarnet: Real-time and high-performance pillar-based 3d object detection. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part X, pages 35–52. Springer, 2022. 2, 4 [^11]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Point-cnn: 3d object proposal generation and detection from point cloud. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 770–779, 2019. 2 [^12]: Weijing Shi and Raj Rajkumar. Point-gnn: Graph neural network for 3d object detection in a point cloud. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1711–1719, 2020. 2 [^13]: Vishwanath A Sindagi, Yin Zhou, and Oncel Tuzel. Mvxnet: Multimodal voxelnet for 3d object detection. In 2019 International Conference on Robotics and Automation (ICRA), pages 7276–7282. IEEE, 2019. 3 [^14]: Shuran Song, Samuel P Lichtenberg, and Jianxiong Xiao. Sun rgb-d: A rgb-d scene understanding benchmark suite. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 567–576, 2015. 4 [^15]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, et al. Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2446–2454, 2020. 1, 3, 4 [^16]: Yan Yan, Yuxing Mao, and Bo Li. Second: Sparsely embedded convolutional detection. Sensors, 18(10):3337, 2018. 1, 2, 4 [^17]: Zhi Yan, Tom Duckett, and Nicola Bellotto. Online learning for human classification in 3d lidar-based tracking. In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 864–871. IEEE, 2017. 4 [^18]: Tianwei Yin, Xingyi Zhou, and Philipp Krahenbuhl. Center-based 3d object detection and tracking. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11784–11793, 2021. 1, 2, 4 [^19]: Qian-Yi Zhou, Jaesik Park, and Vladlen Koltun. Open3D: A modern library for 3D data processing. arXiv:1801.09847, 2018. 8 [^20]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4490–4499, 2018. 2