# 基于塔吊激光雷达的人员检测和跟踪 $1^{st}$ Nilusha Jayawickrama 工程学院 阿尔托大学 芬兰埃斯波 $2^{nd}$ Henrik Toikka 电气工程学院 阿尔托大学 芬兰埃斯波 第三届 里斯托·奥亚拉 工程学院 阿尔托大学 芬兰埃斯波 摘要—本文研究了在工业室内工作场所使用安装在顶置起重机上的激光雷达进行的人体检测和跟踪。顶视视角引入了与常见车辆为中心的激光雷达基准之间很大的领域差异，并且缺乏合适的公开训练数据。因此，我们整理了一个特定于现场的顶置激光雷达数据集，其中包含 3D 人体边界框标注，并采用统一的训练和评估协议调整了选定的 3D 检测器。我们进一步集成了使用 AB3DMOT 和 SimpleTrack 的轻量级基于检测的跟踪方法，以随时间保持人员身份。我们使用距离分层评估报告了检测性能，以量化传感系统的实际工作范围。最佳调整的检测器配置在 5.0 米的水平半径内实现了高达 0.84 的平均精度 (AP)，并在 1.0 米处提高到 0.97，其中 VoxelNeXt 和 SECOND 成为该范围内最可靠的骨干网络。所获得的结果有助于弥合标准驾驶数据集与顶置传感用于人体检测和跟踪之间的领域差距。我们还报告了延迟测量结果，强调了实际的实时可行性。最后，我们将在 GitHub 上发布我们的数据集和实现，以支持进一步的研究。 关键词—激光雷达、人员检测、多目标跟踪、俯视传感、鸟瞰图、室内 ## I. 引言 随着自动化在工业环境中应用的日益普及，确保在与此类系统近距离工作的工人安全已成为一项关键挑战。 在工厂和仓库等工业环境中，未能可靠地检测附近的人员可能导致严重的人身伤害、设备损坏和高昂的运营中断。 一种缓解这些风险的合适方法是在工作空间中集成准确检测和定位人员的能力，以便下游组件（如监控系统或防碰撞模块）能够做出适当的反应。 因此，可靠的人员检测是工业自动化和半自动化的安全决策和态势感知的基础。 各种方法已经在之前的研究中得到研究。在自动驾驶中，行人检测模型已被广泛探索[^1]，并且有证据表明这些模型可以通过微调用于其他环境，例如室内环境[^2] [^3]。基于摄像头的检测是一种常见的选择，但最近，仅使用激光雷达的三维检测（从点云中）已被广泛采用。特别是，一个俯视激光雷达（OLiDAR）是工业环境中实现人员安全和自动化的一个有吸引力的选择，因为该环境中人员和机器在近距离工作。激光雷达在这种环境中的一些主要优点是它对光照不敏感，提供直接的三维几何信息，并且由于它不会像视频流一样捕获身份（ID）细节，因此更具隐私保护性。然而，激光雷达的一些难题包括在小目标（如人）上的点云稀疏，以及与距离和入射角相关的点密度变化。此外，还缺乏可公开使用的俯视激光雷达数据集，这些数据集可用于检测或跟踪实现。 本文介绍了一个俯视 LiDAR 人员检测基准，用于室内工作场所监控，该基准是对合适的 3D LiDAR 检测器进行适应和评估，并基于特定地点的自标注数据集。 具体来说，我们针对俯视视角重新训练了多个机器学习模型，并在一致的评估协议下比较了它们的准确性和运行时特性。 示例结果见图 1。 此外，我们分析了性能与目标距离的关系，以指示传感系统的实际工作范围，该系统已安装在起重机环境中。 因此，本文的主要贡献包括：（i）针对工业起重机工作场所中的俯视 LiDAR 视角，对相关的 LiDAR 模型进行迁移学习和评估，用于人员检测；（ii）一个特定于地点的 3D 标注的人体目标点云数据集；以及（iii）基于距离分层的评估，以展示检测可行性和潜在工作范围。 ### II. 相关工作 ### A. 基于 LiDAR 的检测 已经研究了各种方法，用于基于 LiDAR 数据的可靠 3D 空间检测。 最早探索的类别是投影方法，其中将 3D 点云投影到 2D 表示，然后使用 2D CNN 进行对象检测。 大多数方法是 ---
(a) PointPillars
(b) SECOND
![Image](images/64d261c3e2485e22e3e655f9836267c4c594c6f1e42633fc8bd4f4eaf80803b9.jpg)
(c) PV-RCNN
(d) VoxelNeXt
(f) PointPillars
(g) SECOND
(e) Voxel RCNN
(h) PV-RCNN
(i) VoxelNeXt
(j) Voxel RCNN
Fig. 1: Qualitative predictions from the adapted detection modules for two sample frames, comprising two ((a)-(e)) and four ((f)-(j)) human targets respectively.
通常采用基于正面视图 (FV) 的投影方法，具有代表性的模型包括 FVNet [^4] 和 LaserNet [^5]. 这些技术的主要缺点是透视投影引入的高尺度变化、投影引起的局部邻域扭曲（因为 2D 像素邻接并不总是对应于 3D 点邻接），以及对遮挡的敏感性，这会阻碍准确的定位，特别是对于小物体或远距离物体。 因此，基于投影的方法逐渐被基于体素和基于点的​​方法所取代。 体素网格方法侧重于将 3D 空间结构化为体素网格表示，并应用 3D 卷积 (CNN) 以实现检测。VoxelNet [^6]，通常被认为是影响最大的体素网格方法，引入了一个框架，该框架将原始点云的体素特征编码与 3D CNN 相结合，用于对象检测。尽管 VoxelNet 具有有效性，但由于其计算量很大，因此，后续开发的模型，如 SECOND (SEC) [^7]，用稀疏卷积替换了密集卷积。为了进一步提高准确性和效率，不断涌现出新的基于体素的架构：(i) Voxel RCNN [^8] 将感兴趣区域 (RoI) 池化应用于特征提取，(ii) CIA-SSD [^9] 结合了一个轻量级特征学习网络和对鸟瞰图 (BEV) 网格上的置信度细化，以提高检测可靠性，以及 (iii) VoxelNeXt [^10] 提供了一个完全稀疏的流程，完全避免了密集转换。此外，[^11] 中的工作介绍了 PointPillars，它将点云离散化为垂直柱，而不是完整的 3D 体素。这会生成一个 2D 伪图像，其中每个柱都使用轻量级的学习特征提取器进行编码，从而使模型仅使用 2D CNN 进行检测。 基于点的算法旨在直接处理原始点云以进行逐点特征提取，无需任何投影或体素化，并依赖于对局部和全局几何关系进行建模。流行的代表性模型包括：(i) PointRCNN [^12]，它使用自下而上的方法从原始点云生成建议，(ii) Point-GNN，它将原始点云编码为图，并使用图神经网络进行边界框预测 [^13]，以及 (iii) Pointformer [^14]，它使用 Transformer 从原始点学习特征，从而获得更丰富的上下文并捕获长程依赖关系。尽管具有很高的几何精度，但基于点的算法的一个关键局限性是，它们通常需要更复杂的处理，因为点云具有不规则的结构，因此需要更复杂的邻域查询。 大多数研究人类目标的性能的模型主要集中在易受攻击的道路使用者检测和监控应用 [^15] [^16]。早期的方法通过利用几何特征和点云聚类来解决人员检测问题，但通常在密集人群中面临挑战。更近期的模型旨在更好地定位和维护动态场景中人类目标的 ID，这些模型强调准确性和速度之间的权衡，以平衡实时性能与充分捕获人类几何结构的能力 [^17]。 ### B. 多目标跟踪模型 多目标跟踪 (MOT) 模型通过在连续帧之间关联检测结果来估计多个对象的时间轨迹和 ID [^18]。 大多数经典跟踪方法都依赖于运动滤波（例如卡尔曼滤波），结合数据关联策略，如匈牙利匹配、最近邻或距离匹配以及 IoU 门控 [^19]。AB3DMOT --- [^20]: is a widely adopted model that works by tracking 3D bounding boxes using a Kalman filter (KF) motion model and IoU-based association. Similarly, SimpleTrack [^21] relies on classical MOT design choices within the same tracking-by-detection family, showing that careful selection of motion and association components can yield a simple yet effective baseline. Despite being early techniques in the field, these models remain widely used in real-time systems as a result of being lightweight and computationally efficient. The key drawback however is that there is no learning from temporal context, and therefore the approach is unable to recognize patterns beyond simple physics. 近年来，多目标跟踪（MOT）领域出现了许多进步，这些进步利用深度学习来提高关联和ID保持能力，通常是通过学习检测特征嵌入、运动表示或相似性度量，这些度量超越了简单的几何邻近性[^19] [^22]。基于自监督和无监督学习的方法的最新研究试图在没有ID注释的情况下学习数据关联[^23] [^24] [^25]。然而，这些方法仍处于发展阶段，因此缺乏成熟的基准测试。此外，直接将基于深度学习的跟踪技术从图像领域扩展到点云领域仍然存在挑战，这主要是由于点云数据的非规则和稀疏性。 ### C. 研究空白 虽然之前的研究在基于LiDAR的3D目标检测和多目标跟踪方面取得了显著进展，但大多数已发表的研究都在自动驾驶应用中进行基准测试，并对通用目标类别进行了广泛的评估。在检测和跟踪来自俯视LiDAR视角的行人方面，仍然存在一个显著的差距，并且现有的实现方法没有充分解决在不同环境（特别是超出自动驾驶场景）中进行行人检测的独特挑战。基于LiDAR的行人检测主要是在车辆或轮式机器人搭载的场景中进行的研究，这些场景通常具有前视传感器视角。相比之下，俯视视角会产生不同的点密度分布，如果模型设计中没有明确考虑这些因素，可能会进一步降低检测和数据关联的性能。此外，还缺乏针对行人检测和跟踪的开放数据集，特别是针对室内工作环境中的俯视LiDAR视角，例如本文提出的悬臂起重机场景。 ### III. 方法 ### A. 问题设置和系统概述 本文解决的问题是使用安装在顶部的静态LiDAR传感器进行行人检测，如图2所示。该任务是在预测框架中进行处理的，其中基于深度学习的3D检测器处理连续的点云序列，以在每个帧中输出人体实例（传感器距离最远4.5米）。随后的轻量级跟踪模块将检测结果关联到连续的时间步长，以生成行人轨迹并保持其ID。 ![Image](images/82f8e515eb4235946d7ed5a6dba46d0499e696240d916861ea3a2f863b8f16b1.jpg)
Fig. 2: Workspace depicting the installed LiDAR on the overhead crane.
这种室内工作环境的俯视视角构成了与传统的前视类型（例如车辆中心）LiDAR感知管道的不同领域。因此，本研究的动机在于迁移学习和对用于此设置的检测器的比较评估。为了促进研究的进行，我们从安装的系统中收集了一个点云数据集，如图3所示，该系统由连接到边缘计算设备的LiDAR组成。LiDAR安装在距离地面2.94米的高度。在本研究的范围内，边缘计算机主要用于提取捕获的数据，以便进行离线训练和评估。 ![Image](images/d8297400c6f1dc69ac099b96a8fca13b53c39b7ffb3f7e61a43a234cbe77f172.jpg)
Fig. 3: Overview of the setup.
### B. 模型架构 图4说明了所提出的模型架构的高级模块。基于LiDAR的检测器输出每个帧的人体目标检测结果，随后的跟踪模块将检测结果关联到连续的时间步长，以生成行人轨迹并保持其ID。 --- ![Image](images/b0e38819c99e0e69e896b86b279748f1ea8a321a1849e619c90f95798723fa05.jpg)
Point cloud frame (overhead-view)
Fig. 4: Proposed model architecture of the detection and tracking framework.
1) 检测模块：对于人员检测，我们采用并评估多个基于 LiDAR 的 3D 检测模块，如图 5 所示。我们的俯视图配置与常见的大规模自动驾驶数据集中的车辆中心视角不同，这些检测器由其各自的作者进行训练和评估。因此，为了进行公平的评估，我们利用迁移学习，通过在我们的特定于站点的俯视图数据集上对每个检测器进行微调。 ![Image](images/1c35fdaa96a86d25c3a2a20cfadefb6f45a1f452f4ed31e6e83536c15a54e1d9.jpg)
Fig. 5: Architectures of the candidate detectors. Each model is run independently on the same input point clouds.
选择候选检测架构的主要标准是： i. 与 BEV/体素表示的兼容性，以捕捉顶视几何形状。 ii. 支持低延迟部署，以实现下游任务中的在线推理，例如实时人员监控。 iii. 记录的开源实现，以实现高效的领域迁移。 iv. 在标准 3D 检测基准测试中提供证据，理想情况下，针对人类目标。 基于以上标准，我们选择具有代表性的检测架构，这些架构的简要描述如下： 1) PointPillars (PP) [^11]：将点分组为垂直柱（pillars），将结果放置在 BEV 特征图像上，并使用 2D CNN 后端输出 3D 人员检测结果。我们认为 PP 是一个合适的选择，因为它（i）基于 BEV 的架构强调水平空间布局，最适合我们的顶视观点，并且（ii）是人员检测的广泛采用的基线。 2) SECOND (SEC) [^7]：广泛采用的体素基线，我们首先使用它来体素化每个点云，然后使用稀疏 3D 卷积进行高效的特征提取，最后生成基于 BEV 的人员预测。 3) PV-RCNN [^26]：一个两阶段流程，我们首先使用体素特征生成 3D 盒子候选，然后使用从每个候选区域内的点提取的基于点的特征进行细化。其架构旨在提高定位精度，因此可能适用于人类，因为他们是相对较小的目标。 4) VoxelNeXt [^10]：一个完全稀疏的流程，我们使用它直接从稀疏体素特征预测人类目标，减少对密集中间表示的依赖，并提高效率。 5) Voxel RCNN [^8]：另一个两阶段流程，我们首先使用基于 BEV 的体素后处理生成 3D 盒子候选，然后从每个候选区域内的体素特征提取来细化每个候选。 此外，必须强调的是，Voxel RCNN 和 PV RCNN 之间的区别在于细化阶段。Voxel RCNN 使用直接从 3D 盒子内部的体素特征图中采样获得的特征来细化每个候选。相比之下，PV-RCNN 首先选择一组有代表性的 3D 点（关键点集抽象），并使用来自体素网络的这些增强点的信息，然后使用这些点增强的特征来细化候选。 2) 跟踪模块：为了支持下游监控，我们采用了两个轻量级的基于检测的跟踪模块：AB3DMOT [^20] 和 SimpleTrack [^21]。这两个跟踪器将每帧 3D 检测结果（带有置信度评分的定向 3D 盒子）作为输入，并在一段时间内维护一组跟踪结果（图 6）。AB3DMOT 和 SimpleTrack 的原始源代码针对 KITTI 和 Waymo 样式的数据库。 --- loaders 分别。 我们的实现保留了原始的算法设计，重点在于处理来自我们机顶 LiDAR 数据的检测结果，包括文件解析和坐标/偏航角处理。 ![Image](images/38808dc2d437f322edc0df50e4bc017072da42195872edab837ed098caa0e4fe.jpg)
Fig. 6: Overview of the two tracking-by-detection pipelines, with the inputs being per-frame 3D detections over time.
如图 6 所示，每个轨迹都使用具有 3D 框中心的卡尔曼滤波器 (KF) 进行预测。 在每个时间步，首先通过匈牙利匹配将预测的轨迹与当前检测进行匹配。 接下来是轨迹管理，其中未匹配的检测会创建新的临时轨迹，只有在成功匹配至少 2 次 (min_hits) 后才会输出，并且如果轨迹在超过 3 (max_age) 帧内仍未匹配，则会被删除。 这种策略允许在短时间内出现漏检，同时保持在一段时间内的稳定 ID 赋值。 这两个跟踪器之间的主要区别在于检测如何与现有轨迹匹配，以及估计的边界框如何随时间更新。 AB3DMOT 风格的跟踪器基于运动一致性进行数据关联，使用 3D 空间中预测的轨迹位置和检测对象中心的马氏距离，并将基于俯视 (BEV) 的重叠用作辅助几何线索。 边界框的尺寸和偏航角不包含在 KF 状态中，而是以跟踪级别的指数移动平均 (EMA) 方式进行更新。 相比之下，SimpleTrack 直接依赖于俯视 (BEV) 中预测和检测的边界框之间的几何重叠进行关联，使用固定的重叠阈值，同时保留相同的基于 KF 的运动预测和轨迹生成/删除逻辑。 它遵循更标准的 KF 框架，其中跟踪状态包括完整的 3D 框参数（中心、大小和偏航角）。 此外，这两个跟踪器都设计用于自动驾驶基准中的实时跟踪场景，这与我们为边缘部署推理管道提供的动力相符，即跟踪模块不应成为计算瓶颈。 此外，这两个跟踪器都具有一个重要的实际优势，即它们不需要任何训练数据，因为它们不基于机器学习。 因此，它们消除了标记开销，并促进了系统在类似机顶 LiDAR 环境中的可移植性。 ### C. 训练和评估 在本次工作中，检测和跟踪组件的训练和评估是分开进行的。 具体来说，仅对基于 LiDAR 的人员检测模块应用模型训练，而跟踪模块在不进行学习的情况下运行，并进行独立评估。 1) 检测：我们从 LiDAR 系统收集的点云帧数据集，已手动标注为人类目标的 3D 边界框。 标注使用 labelCloud [^27]，这是一种专为标注点云而设计的开源工具，并支持用于机器学习管道的常用导出格式。 训练集和验证集分别包含 29 和 1 个标注的点云帧，这些帧仅包含三个参与者在监控区域内进行任意运动。 这两个数据集故意保持较小，以最大程度地减少手动标记开销，同时评估候选检测器在多大程度上可以针对我们的特定机顶 LiDAR 设置进行微调（迁移学习）。 为了总结最终训练配置的实验方面，每个检测器都经过 250 个 epoch 的训练，批次大小为 4，并使用 AdamW 优化器。在训练过程中，输入点云会进行洗牌，以提高鲁棒性。此外，我们从开源自动驾驶数据集（如 KITTI [^28] 和 nuScenes [^29]）中加载预训练权重，初始化检测器的骨干网络，以在有限的标记数据下提高样本效率。如果适用，检测头的锚框大小设置为 0.8 米 x 0.6 米 x 1.73 米，以与从上方视角看到的典型人体尺寸对齐。最终的训练和验证损失曲线如图 7 所示。 在测试时，使用置信度阈值 0.45 对检测结果进行过滤，然后使用非最大抑制 (NMS) 来消除重复的重叠检测结果。如果预测结果与旋转的 BEV IoU $\geq$ 大于 0.10 的真实框匹配，则将其计数为真阳性。为了评估检测器的准确性，我们整理了一个包含 76 个注释点云的测试集，其中包括 10 名未包含在训练和验证拆分中的参与者，以评估对新数据的泛化能力。 除了我们设置中特定的配置调整之外，其余设置主要遵循 OpenPCDet 的说明，OpenPCDet 是一个用于基于 LiDAR 的感知模型的工具箱 [^30]。有关所有调整检测器的完整配置，请参阅我们的存储库。 2) 跟踪：为了评估跟踪流水线，我们使用从记录的 ROS 包数据中提取的短连续片段（序列）。我们从不同的记录中选择了多个片段，以避免仅在单个连续序列上进行评估。总共，我们手动标记了这些片段中的 80 个帧，并为人体目标提供了 3D 边界框。 --- ![Image](images/e72b407b3f60e79b2edb3edd1f9866549bbef2d78f69bb94adb5c36b0d20d822.jpg)
(a) PP
![Image](images/8c6a83adbd3403d92d93a6c05a5ec0b144aba4949e98db63bcbfec241553caf1.jpg)
(b) SEC
![Image](images/d6d1e7c4a1c7cb0763292baa9dfeb5ae5e711c17a04e6305128b876b4d3c1444.jpg)
(c) PV-RCNN
![Image](images/30b0b31a0cebe50bfc43291f303d58f099ca83edbc1f1192e220bbdd7034b4d2.jpg)
(d) VoxelNeXt
![Image](images/645dc4e02712f52ea084b77017e90e7a200123bd737b0fd4996b98e861f0681a.jpg)
(e) Voxel RCNN
Fig. 7: Training and validation plot for each detector based on the architecture denoted in the captions (a)-(e), obtained by the common data splits of the compiled overhead-view LiDAR dataset.
但是，由于我们没有手动分配 ID，我们运行跟踪算法，以便在这些片段上自动随时间分配 ID。这些对应于我们方法的伪地面真值 (pseudo-GT)，我们将其用于比较和评估跟踪模块。除了第 III-B2 节中对跟踪器实现的详细描述以及图 6 中的说明之外，请参阅我们的存储库以获取所有调整跟踪算法的完整配置详细信息。 ### IV. 结果 ### A. 检测 为了评估所提出的检测模块的性能，我们使用表 I 中概述的指标。请注意，召回率是指实际检测到的人数所占的比例。漏检在我们的上下文中会导致风险。AP 总结了在不同置信度阈值下，检测器置信度排序的质量，而 F1 分数提供了一个在假阳性和假阴性之间进行平衡的单一置信度阈值。mIoU 反映了匹配检测的 BEV 定位质量。此外，我们使用基于距离的分块来描绘如何在工作半径范围内性能的变化。r 表示 LiDAR 坐标系中的累积水平径向范围。例如，在 3.0 米处，我们评估所有距离小于 $r \leq 3.0$ 米的检测结果。此外，表 IV 显示，除了 PV-RCNN 之外，所有调整的模型都具有可用于实时应用的低延迟。 因此，根据表 I 中的性能指标，我们得出结论，基于 VoxelNeXT 和 SECOND 的检测模块是表现最佳的候选方案，其中 SECOND 对于来自 LiDAR 的较大径向距离处的人体目标具有更高的鲁棒性。 这些模型的相对优越性主要体现在召回率、F1 值和平均精度 (AP) 指标的加粗值上。 所有模型的 mIoU 在不同距离上基本一致，而 PP 略有不同，mIoU 范围相对较低（0.43 - 0.47）。 此外，我们还必须强调，我们还使用官方发布的检查点（未进行任何微调），在我们的俯视 LiDAR 测试集上评估了每个检测器，并仅评估了“Person/Pedestrian”类。 PointPillars 和 PV-RCNN 在我们的评估协议下没有产生任何真阳性结果，而可用的 Voxel R-CNN 检查点仅针对“Car”类进行了训练。 SECOND 和 VoxelNeXt 的定量结果见表 [ ]。 尽管在较低的 IoU 阈值（设置为 0.1，如原始配置中所述）下，它们具有不错的精度值，但由于与我们在俯视 LiDAR 数据上进行微调的模型相比，召回率、F1 值和 AP 值明显较低，因此它们的整体检测质量仍然明显较低。 因此，该实验清楚地突出了标准驾驶数据集和俯视传感之间的差异。 ### B. 跟踪 使用以下指标量化跟踪性能：（i）多目标跟踪精度 (MOTA)，用于通过虚假正例、虚假负例和 ID 切换来总结整体跟踪质量；（ii）多目标跟踪精度 (MOTP)，用于测量匹配跟踪的定位精度（以平均定向 BEV IoU 表示）；（iii）识别 F1 分数 (IDF1)，用于通过平衡识别精度和召回率来评估随时间的变化的 ID 一致性。 评估指标概述见表 III。 请注意，我们使用了前 3 名检测器进行比较（基于他们在第 IV-A 中概述的结果）。 匹配使用定向 BEV IoU，MOTA/IDF1/MOTP 的报告 IoU 阈值为 0.3 和 0.1。 在两种实现的跟踪方法之间，AB3DMOT 风格的跟踪器显示出明显更快的执行速度，如中位数百分位数 (p50) 为 1.08 毫秒所示，这比基于 SimpleTrack 的跟踪器快约 6 倍。 然而，两种跟踪器都满足实时部署所需的延迟。 ---
TABLE I: Evaluation metrics for the adapted detection modules on the test split (true positive if IoU ≥ 0.10). r denotes the horizontal radial distance from the LiDAR, and each row reports cumulative performance for human targets within that radius.
r (nm)PrecisionRecallF1-scoreAPmIoU
PPSECPV.VoxelVoxelPPSECPV.VoxelVoxelPPSECPV.VoxelVoxelPPSECPV.VoxelVoxelPPSECPV.VoxelVoxel
1.01.0001.000RCNNNextRCNN0.7690.8280.4480.9660.0690.8700.9060.6190.9820.1290.7130.8230.4480.9660.0690.4770.5860.5440.5500.530
2.00.9741.0001.0000.9830.5000.6030.8870.4030.9830.0460.7450.9400.5750.9830.0850.5730.8460.3850.8920.0230.4270.5570.5500.5600.543
3.00.9741.0001.0000.8960.6430.5740.8820.2900.8680.0690.7220.9370.4500.8820.1250.5470.8330.2850.8270.0540.4520.5540.5380.5450.556
4.00.9670.9941.0000.9070.7620.4420.8480.2420.7370.0810.6060.9150.3900.8130.1460.4520.8430.2420.7280.0700.4450.5350.5360.5190.480
5.00.9670.9351.0000.7960.7620.4330.8470.2410.7290.0790.5990.8890.3890.7610.1430.4510.8370.2410.7060.0680.4420.5350.5360.5170.480
TABLE II: Detection performance of the pretrained models (no fine-tuning) on the overhead-view LiDAR test split.
Dist. (m)PrecisionRecallF1-scoreAPmIoU
Voxel NeXtSECVoxel NeXtSECVoxel NeXtSECVoxel NeXtSECVoxel NeXtSEC
1.01.0000.8890.4830.2860.6510.4320.4350.2720.4970.508
2.00.9500.9680.5940.4620.7310.6250.5460.4510.5220.525
3.00.9440.9740.5150.5730.6670.7210.5010.5570.5340.521
4.00.8080.6940.4260.5150.5580.5910.3930.4460.5130.516
5.00.6350.6880.4290.5220.5120.5940.3670.4710.5050.519
TABLE III: Tracking performance for the modules adapted from AB3DMOT and SimpleTrack on the temporal sequences.
TrackerDetectorIoU = 0.3IoU = 0.1
MOTAIDF1MOTPMOTAIDF1MOTP
AB3DMOTPP0.120.530.460.380.680.40
SEC0.330.720.580.570.830.54
VoxelNeXt0.700.870.550.830.930.53
SimpleTrackPP0.260.580.460.520.740.41
SEC0.410.740.570.600.830.54
VoxelNeXt0.710.860.570.810.910.55
### V. 讨论 在我们的工作半径（最远 4.5 米）范围内，距离分段的检测结果（表 I）表明，与剩余的模型相比，现代基于体素的骨干网络（VoxelNeXt 和 SECOND）在单体俯视 LiDAR 引起的稀疏性和透视方面具有更好的泛化能力。 一个关键的趋势是，VoxelNeXt 在 < 3 米的范围内表现最佳，这从其各自的召回率、F1 值和 AP 值中可以看出。 尽管它在超出此范围时仍然具有竞争力，但 SECOND 在较大径向距离（> 3 米）处表现出更高的鲁棒性，因为在该距离下，点密度会随着距离的增加而降低，并且由于俯视视角，这会导致人体表面的部分覆盖。 这种区别对于部署很重要：如果目标应用优先考虑在近场内对人员进行高置信度检测，那么 VoxelNeXt 将是最佳选择。 另一方面，如果应用优先考虑在整个工作空间范围内提供稳定的覆盖，那么 SECOND 会更好，因为它即使在较远的距离也能提供更可靠的性能。 这些结果决定了我们在实践中针对我们的单体俯视 LiDAR 配置的潜在运行范围。
TABLE IV: Comparison of the obtained inference speeds (via percentiles) for the adapted modules, executed on a CPU (Intel Xeon Gold 6148 @ 2.40 GHz)
DetectionTracking
PPSECPV-RCNNVoxel NeXtVoxel RCNNAB3DMOTSimpleTrack
p50 (ms)344622935321.086.30
p90 (ms)374723236381.266.66
这是一种在我们的单顶视 LiDAR 配置中常用的方法。 在跟踪结果方面，我们观察到，在两种实现的模块之间，跟踪质量大致相似，主要影响因素是上游探测器的质量。因此，使用经过调整的 VoxelNeXt 探测器输出获得了最佳结果，这表明对于类似于我们应用场景的情况，提高检测质量对于提高端到端的跟踪至关重要（表 III）。此外，分析两种 IoU 阈值的结果很有用，因为它揭示了该流水线对定位严格性的敏感程度。具体来说，将 IoU 阈值从 0.3 降低到 0.1 会提高所有探测器-跟踪器组合的 MOTA 和 IDF1，这表明在 IoU = 0.3 时，一部分错误可能是由于轻微的 BEV 对齐不准确造成的，而不是完全的关联失败。另一方面，这会增加在近距离交互中出现错误人物关联（例如 ID 交换）的风险。 此外，尽管我们的推理基准测试（表 IV）是在 NVIDIA V100 上收集的，而不是如图 3 所示的目标边缘设备，但它仍然很有价值，因为它是在相同的硬件条件下进行的相对模型延迟的统一比较。因此，它为估计哪些架构仍然适用于实时应用提供了一个实际的指标。但是，在边缘设备上进行基准测试是下一步的关键，因为它将提供对端到端真实运行时可行性的更准确的估计。此外，我们报告的百分位数延迟信息是有用的，因为它们对系统级延迟效应（如 I/O 和缓存）具有鲁棒性。 当前研究的一个局限性是我们的数据集数量有限。扩展数据集是未来推荐的行动，可以将研究从特定站点的基准测试扩展到更广泛的运行条件。用于评估的水平径向距离也限制在 4.5 米，因为这是我们实验工作空间的实际限制（因此，人类目标仅在该范围内可见）。未来的工作可以扩展距离范围，以确定 LiDAR 点云稀疏性何时变得过于低，无法充分表示用于检测的人类目标。此外，对于跟踪模块的评估方法，可以通过手动验证和校正所有帧的 ID 连续性，将其伪 GT 序列转换为真正的跟踪地面真实数据，从而进一步改进我们的应用场景。这将使我们能够更好地调整跟踪器，并加强基准比较。 总的来说，这项研究表明，可靠的俯视 LiDAR 人体检测和跟踪可以在室内工作空间中准确实现。性能最佳的探测器 --- 在我们的配置中，AP 值高达 0.84，用于评估位于 LiDAR 完整工作半径 5.0 米（水平）范围内的目标。 在更短的监控半径 1.0 米和 2.0 米的情况下，性能更好，如最高的 AP 值 0.97 和 0.89 所示。 端到端的跟踪结果进一步表明，基于检测的跟踪方法可以相对较好地在一段时间内保持人员的跟踪 ID，并且整体跟踪性能主要取决于检测的质量。 另一方面，精确地定位人员仍然很困难，这反映在较低的 MOTP 值中。 这可能与在 LiDAR 点云中准确放置 3D 边界框的常见困难有关。 基于 IoU 的目标匹配对于人体目标，即使存在小的位置或方向误差，也可能发生明显变化，尤其是在俯视 (BEV) 视图中。 为了促进进一步的开发，我们以开源形式发布了我们的数据集和代码。 未来的工作应侧重于更广泛的用于从 LiDAR 点云中检测人员的顶视数据集，以及在更多样化的动态工业环境中的实验。 ## ACKNOWLEDGMENT 我们感谢 Techboost 和 TwinFlow 项目提供的资金，感谢 Aalto 大学科学计算组提供的计算资源，以及 S.M. Hari Prasanth 提供的技术支持。 ## REFERENCES [^1]: F. Li, X. Li, Q. Liu, and Z. Li, “Occlusion handling and multi-scale pedestrian detection based on deep learning: A review,” IEEE Access, vol. 10, pp. 19937–19957, 2022. [^2]: T. Linder, N. Vaskevicius, R. Schirmer, and K. O. Arras, “Cross-modal analysis of human detection for robotics: An industrial case study,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 971–978. [^3]: I. Ahmed, M. Ahmad, A. Ahmad, and G. Jeon, “Top view multiple people tracking by detection using deep sort and yolov3 with transfer learning: within 5g infrastructure,” International Journal of Machine Learning and Cybernetics, vol. 12, no. 11, pp. 3053–3067, 2021. [^4]: J. Zhou, X. Tan, Z. Shao, and L. Ma, "Fvnet: 3d front-view proposal generation for real-time object detection from point clouds," in 2019 12th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), 2019, pp. 1–8. [^5]: G. P. Meyer, A. Laddha, E. Kee, C. Vallespi-Gonzalez, and C. K. Wellington, “Lasernet: An efficient probabilistic 3d object detector for autonomous driving,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. [^6]: Y. Zhou and O. Tuzel, "Voxelnet: End-to-end learning for point cloud based 3d object detection," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. [^7]: Y. Yan, Y. Mao, and B. Li, “Second: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, p. 3337, 2018. [^8]: J. Deng, S. Shi, P. Li, W. Zhou, Y. Zhang, and H. Li, "Voxel rcnn: Towards high performance voxel-based 3d object detection," in Proceedings of the AAAI conference on artificial intelligence, vol. 35, no. 2, 2021, pp. 1201–1209. [^9]: W. Zheng, W. Tang, S. Chen, L. Jiang, and C.-W. Fu, "Cia-ssd: Confident iou-aware single-stage object detector from point cloud," in Proceedings of the AAAI conference on artificial intelligence, vol. 35, no. 4, 2021, pp. 3555–3562. [^10]: Y. Chen, J. Liu, X. Zhang, X. Qi, and J. Jia, “Voxelnext: Fully sparse voxelnet for 3d object detection and tracking,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2023, pp. 21674–21683. [^11]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "Pointpillars: Fast encoders for object detection from point clouds," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. [^12]: S. Shi, X. Wang, and H. Li, “Pointrcnn: 3d object proposal generation and detection from point cloud,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. [^13]: W. Shi and R. Rajkumar, “Point-gnn: Graph neural network for 3d object detection in a point cloud,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. [^14]: X. Pan, Z. Xia, S. Song, L. E. Li, and G. Huang, "3d object detection with pointformer," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2021, pp. 7463–7472. [^15]: W. Wang, X. Chang, J. Yang, and G. Xu, “Lidar-based dense pedestrian detection and tracking,” Applied Sciences, vol. 12, no. 4, p. 1799, 2022. [^16]: M. R. Blanch, Z. Li, S. Escalera, and K. Nasrollahi, “Lidar-assisted 3d human detection for video surveillance,” in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) Workshops, January 2024, pp. 123–131. [^17]: K.-I. Na and B. Park, “Real-time 3d multi-pedestrian detection and tracking using 3d lidar point cloud for mobile robot,” ETRI Journal, vol. 45, no. 5, pp. 836–846, 2023. [^18]: Y. Zhang, P. Sun, Y. Jiang, D. Yu, F. Weng, Z. Yuan, P. Luo, W. Liu, and X. Wang, "Byetrack: Multi-object tracking by associating every detection box," in European conference on computer vision. Springer, 2022, pp. 1–21. [^19]: W. Luo, J. Xing, A. Milan, X. Zhang, W. Liu, and T.-K. Kim, “Multiple object tracking: A literature review,” Artificial intelligence, vol. 293, p. 103448, 2021. [^20]: X. Weng, J. Wang, D. Held, and K. Kitani, “3d multi-object tracking: A baseline and new evaluation metrics,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 10359–10366. [^21]: Z. Pang, Z. Li, and N. Wang, “Simpletrack: Understanding and rethinking 3d multi-object tracking,” in European Conference on Computer Vision. Springer, 2022, pp. 680–696. [^22]: M. T. Teye, O. Maoz, and M. Rottmann, “Lidar mot-detr: A lidar-based two-stage transformer for 3d multiple object tracking,” arXiv preprint arXiv:2505.12753, 2025. [^23]: B. Shuai, X. Li, K. Kundu, and J. Tighe, "Id-free person similarity learning," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2022, pp. 14689–14699. [^24]: K. Huang, K. Lertniphonphan, F. Chen, J. Li, and Z. Wang, “Multi-object tracking by self-supervised learning appearance model,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2023, pp. 3163–3169. [^25]: S. Meng, D. Shao, J. Guo, and S. Gao, "Tracking without label: Unsupervised multiple object tracking via contrastive similarity learning," in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2023, pp. 16264–16273. [^26]: S. Shi, C. Guo, L. Jiang, Z. Wang, J. Shi, X. Wang, and H. Li, "Pvrcnn: Point-voxel feature set abstraction for 3d object detection," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. [^27]: C. Sager, P. Zschech, and N. Kuhl, “labelCloud: A lightweight labeling tool for domain-agnostic 3d object detection in point clouds,” Computer-Aided Design and Applications, vol. 19, no. 6, pp. 1191–1206, mar 2022. [^28]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The kitti dataset,” The international journal of robotics research, vol. 32, no. 11, pp. 1231–1237, 2013. [^29]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11621–11631. [^30] O. D. 团队，《Openpcdet：点云三维目标检测开源工具箱》，，2020年。