# LV-DOT：用于自主机器人导航的激光雷达-视觉动态障碍物检测与跟踪
徐哲凡 $^{*}$、沈浩宇 $^{*}$、韩新明、金涵宇、叶康龙、岛田健二
摘要—在室内环境中，对动态障碍物的精准感知对于自主机器人导航至关重要。尽管计算机视觉和自动驾驶领域已经深入研究了复杂的3D物体检测与跟踪方法，但这类方法对昂贵且高精度的传感器配置以及大型神经网络所需的大量计算资源的要求，使其无法适用于室内机器人。近年来，利用机载摄像头或激光雷达传感器的更轻量化的感知算法作为有前景的替代方案逐渐涌现。然而，依赖单一传感器存在显著局限：摄像头的视野有限且易受噪声干扰，而激光雷达传感器的工作频率较低且缺乏丰富的视觉特征。为解决这一局限，我们提出了一种动态障碍物检测与跟踪框架，该框架同时利用机载摄像头和激光雷达数据，以实现轻量化且精准的感知。我们所提出的方法是在此前集成式检测方法的基础上拓展而来的，该方法整合了多个精度较低但计算效率高的检测器的输出，从而确保能在机载计算机上实现实时性能。在本研究中，我们提出了一种更为稳健的融合策略，将激光雷达数据与视觉数据相结合以进一步提升检测精度。随后，我们采用基于特征的物体关联技术以及卡尔曼滤波器构成的跟踪模块，来对检测到的障碍物状态进行跟踪与估计。此外，我们还设计了动态障碍物分类算法，用以可靠地识别移动物体。数据集评估结果表明，与基准方法相比，我们的感知性能更优。在四旋翼机器人上开展的物理实验 $^{1}$ 也证实了该方法在真实场景导航中的可行性。
## 一、引言
在室内工作空间中部署机器人时，需要精准感知动态障碍物。然而，移动机器人的传感器能力和计算资源有限，这使得实时动态障碍物感知颇具挑战性。因此，开发稳健且高效的动态障碍物感知算法对于机器人导航而言至关重要。
移动机器人动态障碍物感知的挑战可归纳为三个关键方面。首先,与配备强大 GPU 和高精度传感器组合的自动驾驶汽车不同,移动机器人受到有限计算资源和传感器质量的约束,使得计算密集型的基于学习的方法 [^1][^2] 不切实际。其次,从
Fig. 1. Visualization of dynamic obstacle perception using the proposed framework, with the point cloud of tracked dynamic obstacles highlighted.
车载传感器数据在杂乱环境中检测障碍物往往会导致显著的误差。尽管先前的工作采用了各种方法,例如基于图像的 [^3]、基于点聚类的 [^4] 以及基于地图的检测方法 [^5] 来提高检测精度,但误检仍然普遍存在。最后,由于传感器噪声的影响,在已检测到的障碍物中识别动态障碍物具有挑战性。现有的结合遮挡原理 [^6] 和占据更新的识别方法 [^5][^7] 有时可能过于保守,导致漏检并因此产生高延迟响应。
为了解决这些问题，我们提出了一种轻量级的动态障碍物检测与跟踪框架，该框架同时利用机载RGB-D相机和激光雷达。其核心理念是：激光雷达能够提供更长、更宽（360度）的感知范围，且深度测量精度高；而相机则能提供丰富的视觉特征，有助于识别动态物体，并在近距离内提供更高频率和更密集的深度信息。为此，我们首先采用所提出的激光雷达与相机障碍物检测算法，分别从激光雷达点云和RGB-D图像中获取带有边界框的未分类障碍物簇。接着，我们运用集成检测方法[^8]来融合两种传感器的检测结果，从而提高检测精度。最后，通过跟踪与动态物体识别模块，将检测到的障碍物分为静态和动态两类。图1展示了使用该方法进行动态障碍物检测与跟踪的示例。本研究的主要贡献如下：
- LV-DOT框架：我们提出了一种新颖的激光雷达-视觉动态障碍物检测与跟踪（LV-DOT）框架，该框架充分利用了激光雷达与RGB-D相机的互补优势。
---
激光雷达能够扩展相机的检测范围并提高其精度，而相机则提供丰富的视觉特征及高频数据来补充激光雷达的能力。LV-DOT感知框架已作为开源ROS软件包在GitHub上发布$^{2}$。
- 高计算效率：我们的方法采用了集成检测策略，通过整合多个精度较低但效率较高的障碍物检测器，实现了高计算效率。
- 实体机器人实验：在各种环境中进行的实体机器人实验表明，所提出的框架能够有效部署，以确保机器人在动态环境中的安全导航。
### 二、相关工作
近年来，研究人员投入了大量精力开发基于激光雷达和相机的动态障碍物感知算法。尽管自动驾驶领域已经提出了众多基于学习的方法[^1][^2][^9][^10]，但由于其计算需求较高，不太适合移动机器人。因此，本节主要聚焦于适用于移动机器人的轻量级方法，并将这些方法分为基于相机的方法和基于激光雷达的方法。
基于摄像头的方法：这类方法利用彩色图像和深度图像来感知障碍物。在[^11]中，研究人员将聚类算法应用于从深度图像投影出的点云，同时借助二维人体检测器识别动态障碍物。Wang等人[^4]采用了类似的聚类思路，提出了一种基于连续帧中点距的通用障碍物动态分类方法。Lin等人[^3]采用U-depth检测器[^12]来高效检测未分类的障碍物，并验证了该方法的避碰安全性。这一概念在[^13][^14]中得到了进一步拓展，通过加入跟踪模块，依据估计的速度对障碍物进行分类。Lu等人[^15]运用3D SORT算法有效检测出小型动态障碍物；Chen等人[^16]则利用障碍物特征向量和轨迹点，提升了遮挡情况下的跟踪性能。为解决噪声数据导致的误检问题，集成检测方法[^8]通过让多个轻量级检测器达成一致意见，提高了动态障碍物的检测准确率。此外，在[^5]中，占用图被扩展为能够支持对动态障碍物进行快速占用状态更新。除了避障应用外，动态障碍物检测还被应用于SLAM领域以提升系统鲁棒性，[^17][^18][^19][^20]中采用的动态障碍物移除方法，有效提升了动态环境下RGB-D SLAM的精度。
基于激光雷达的方法：基于激光雷达的方法通常利用点云来进行障碍物感知。早期技术[^21][^22]通过连续帧点云相减来识别动态点，再经过后续处理优化结果。在[^23]中，研究人员引入了运动线索与贝叶斯方法相结合的手段，从激光雷达扫描数据中检测动态点。Min等人[^24]提出了一种基于核的动态地图，用于在占用图中区分动态障碍物；Zhou等人[^25]则基于“动态障碍物会与地面接触且位于地面上”这一假设，从导航地图中过滤掉动态障碍物。近期，Schmid等人[^7]拓展了体素地图方法，利用体素状态识别动态障碍物，该方法在室内环境中取得了良好效果。此外，Wu等人[^6]利用遮挡原理将激光雷达扫描中的点归类为动态点；Saha等人[^26]则将激光雷达扫描转换为多种深度图表示形式，从而通过跟踪和速度估计实现基于图像的动态障碍物分类。在[^27]中，Du等人运用点云聚类算法检测障碍物，并通过特定识别方法对动态障碍物进行分类。
尽管上述方法在动态障碍物的检测与跟踪方面已取得显著成果，但其性能仍受限于传感器本身的固有局限。例如，摄像头的可靠深度范围通常仅局限于5米以内，且视野有限；而激光雷达更新频率低、点云稀疏且缺乏丰富特征，容易导致较高的误检率。受到SLAM[^28]和深度估计[^29]等应用中激光雷达与视觉传感器成功融合经验的启发，我们旨在充分利用激光雷达与摄像头传感器的互补优势，进一步提升动态障碍物的检测与跟踪能力。
### 三、方法论
整个系统框架如图2所示。基于车载激光雷达、摄像头和机器人里程计的输入数据，激光雷达与视觉深度检测模块分别在世界坐标系下识别未分类的3D障碍物边界框，而视觉颜色检测模块则在图像平面上识别2D动态障碍物。这些检测结果随后由激光雷达-视觉融合模块进行整合，以生成更精确的障碍物边界框。最后，跟踪模块会估算出所检测到的障碍物的状态，并将其归类为静态或动态障碍物。
### A. 激光雷达障碍物检测
激光雷达检测模块会从每次激光雷达扫描结果中提取未分类障碍物的3D轴对齐边界框。需要注意的是，“未分类”指的是该障碍物尚未被后续章节中介绍的跟踪模块所执行的分类过程判定为静态或动态障碍物。整个过程如图3所示。由于图3b中展示的原始激光雷达扫描点云密度较高，且需要保证低延迟，因此会应用多种降采样滤波器。首先，我们使用距离滤波器来保留距离机器人指定范围内的点，随后利用机器人的里程计数据将点云转换到世界坐标系下。为了进一步减少点的数量，我们采用距离滤波器：在保留机器人近处的点的同时，丢弃更远处的点。
---
Fig. 2. The proposed LiDAR-visual dynamic obstacle detection and tracking framework. Given the LiDAR scan, robot odometry, and RGB-D image, the LiDAR-visual fusion module integrates unclassified obstacle bounding boxes from both the LiDAR and visual (depth and color) detection modules to produce more accurate obstacle detections. The Tracking module then estimates the states of these obstacles and classifies them as static or dynamic.
(a) Front RGB Camera View
(b) LiDAR Scan Point Cloud
(c) Downsampled Point Cloud
(d) Detected Obstacle BBoxes
Fig. 3. Illustration of the LiDAR obstacle detection process. (a) The scene captured from the front RGB camera. (b) The LiDAR scan point cloud with robot pose and the camera field of view visualized. (c) The downsampled point cloud. (d) The detected obstacle axis-aligned bounding boxes.
其依据的是针对每个点的如下概率公式 $p_{i}$：
$$ P_{{d i s t}}(p_{i},p_{{r o b o t}})=\operatorname{e x p}(\frac{-||p_{i}-p_{{r o b o t}}||_{2}}{\sigma_{{d i s t}}^{2}}), $$
其中 $P_{dist}$ 表示保留某个点的概率，$p_{robot}$ 代表机器人的位置，$\sigma_{dist}$ 则是用户指定的参数，用于控制降采样后点的分布。这种距离降采样滤波器能够让机器人在保持精确近距离感知能力的同时，平衡计算负载。接下来，我们会应用体素滤波器，以确保点的总数不超过指定的最大值 $N_{max}$；我们将该值设为3000，以便在实时处理与合理精度之间取得平衡。最终得到的降采样点云如图3c所示。
得到降采样点云后，我们采用经典的基于密度的聚类算法DBSCAN来对点进行聚类，每个聚类对应环境中的一个障碍物。为了提取轴对齐的3D边界框，我们需要确定世界坐标系中各轴的最小值和最大值，进而计算出边界框的中心和尺寸。最终得到的未分类3D障碍物边界框如图3d所示。
### B. 视觉障碍物检测
视觉障碍物检测包含深度和颜色两个组成部分，它们在图2中被表示为独立的模块。视觉深度检测模块的功能与激光雷达检测模块类似，同样用于生成未分类的3D障碍物边界框。不过，与激光雷达检测相比，它在更高频率下运行，且对机器人近处障碍物的检测精度更高。与此同时，视觉颜色检测模块则利用彩色图像来检测动态障碍物的2D边界框。这两个组件在后续的激光雷达-视觉融合模块中发挥着不同的作用。
视觉深度检测模块：与激光雷达检测不同，后者可直接采用聚类算法来获取未分类的障碍物检测结果；而摄像头产生的深度数据本身噪声较大，若使用类似的聚类算法往往会产生大量误检结果。为解决这一问题，我们采用了一种集成检测方法[^8]，该方法通过识别多个精度较低但计算效率高的检测器所给出的检测结果之间的一致性来得出最终结果。集成检测的思路在于：尽管不同检测器可能产生不同的误差，但被多个检测器共同认定的检测结果往往更可信。我们的视觉深度检测模块包含两种检测器：DBSCAN检测器和U-depth检测器，如图2所示。DBSCAN检测器的运作方式与激光雷达检测模块中使用的类似：首先我们将二维深度图像投影到世界坐标系下的三维点云中，接着应用体素滤波器以减少点的数量来提升效率，最后利用DBSCAN聚类算法识别出聚类群并计算对应的三维障碍物边界框。
U-depth检测器直接从深度图像中生成障碍物检测结果，如图4所示。在每个时间步，通过基于深度图像计算摄像头距离直方图来生成U-depth图（图4d），该图实际上提供了俯视图，其中图像顶部对应离摄像头更近的区域。如图4d所示，存在障碍物的区域会呈现强度更高的红色。我们采用[^12]中提出的线条分组方法来提取这些区域周围的二维
---
(a) RGB Image View
(b) Depth Image Detection
(c) Output 3D Detection
(d) U-depth Map Detection
Fig. 4. Illustration of the visual U-depth 3D obstacle detection. (a) The RGB image view. (b) The 2D bounding boxes detected in the depth image. (c) The detected 3D bounding boxes with the camera's field of view visualization. (d) The 2D bounding boxes detected from the U-depth map.
边界框，从而确定所检测到的障碍物的厚度和宽度。确定障碍物宽度后，我们通过分析深度连续性来计算其高度，进而在原始深度图像上生成二维边界框（图4b）。最后，利用深度图像中的二维边界框结果以及U-depth图，通过坐标变换即可在世界坐标系下得到三维障碍物边界框（图4c）。
集成检测通过比较DBSCAN检测器和U-depth检测器生成的边界框之间的交并比（IOU）来识别两者共有的检测结果。我们仅保留IOU超过用户设定阈值的边界框，其余则作为误检结果予以剔除。随后通过计算能够同时包含这两个边界框的最小边界框来对匹配的边界框进行合并，最终得到所检测到的未分类障碍物边界框。
视觉颜色检测模块：与激光雷达及视觉深度检测模块生成未分类的三维障碍物检测结果不同，视觉颜色检测模块直接通过在图像中生成二维边界框来检测动态障碍物。为实现这一功能，我们采用了预训练好的轻量级基于学习的检测算法，例如YOLO[^30]，来识别场景中的物体，再根据预定义的类别筛选出动态障碍物。
### C. 激光雷达-视觉检测融合
利用激光雷达模块和视觉模块的检测结果，激光雷达-视觉检测融合模块会将这两类输出结合起来以生成更精准的检测结果，具体过程如算法1所示。共有三种障碍物检测来源，每种都具备独特的优势，具体如下：
- 激光雷达三维检测结果$S_{lidar}$：这类检测结果可提供覆盖360度范围且距离较远的三维边界框。
- 视觉深度3D检测 $S_{visual3D}$：这类检测能在机器人近邻范围内提供高频的3D边界框，这对避碰而言至关重要。
- 视觉颜色2D检测 $S_{visual2D}$：基于颜色特征，这类检测能直接在图像上生成用于识别动态障碍物的精准2D边界框。
```pseudo
// Algorithm 1: begins by reducing false positives within the overlapping detection range of both the LiDAR and camera. In Lines 4 to 10, we iterate over all visual depth detection results, denoted as $S_{visual3D}$, and match each with the corresponding LiDAR 3D bounding box, $B_{LiDAR}^{i}$, based on the IoU criterion at closely corresponding timestamps. When a match is found (Lines 11–13), we fuse the matched boxes by computing their minimal enclosing bounding box, discarding any visual detections that lack a corresponding LiDAR match as false positives. Since both LiDAR and camera detections involve a clustering step, they can sometimes merge closely spaced obstacles into a single oversized bounding box. To resolve this, we utilize 2D detection results from the color image. In Lines 14 to 20, we process the fused detections, $S_{fused}$, by computing reprojected 2D bounding boxes, $B_{fused2D}^{i}$, and comparing them with color 2D bounding boxes, $B_{visual2D}^{i}$, using the 2D IoU criterion. If multiple color bounding boxes match the same reprojected 2D bounding box, we split that 2D bounding box into several smaller ones and then project them back into 3D space to generate the final output bounding boxes (Lines 21–24). Finally, we include any remaining LiDAR detections that fall outside the camera's range in the final outputs. Note that although we assume the robot is typically equipped with one single forward-facing camera, the fusion algorithm is designed to accommodate multiple camera configurations.
```
### D. 跟踪与动态识别
跟踪模块在激光雷达-视觉检测融合过程之后运行，旨在进一步估算已检测到的障碍物的状态，并从未分类的障碍物中识别出动态障碍物。如图2所示，跟踪模块首先执行边界框关联操作，以建立当前时间步检测到的障碍物与上一时间步障碍物之间的对应关系。为实现这一点，我们采用以下公式，为两个时间步中每个检测到的障碍物构建特征向量 $O_{i}$：
$$ f(o_{i})=\begin{bmatrix}\mathrm{pos}(o_{i})\\ \mathrm{dim}(o_{i})\\ \mathrm{len}(o_{i})\\ \mathrm{std}(o_{i})\end{bmatrix},\mathrm{where}f(o_{i})\in\mathbb{R}^{10} $$
其中，特征向量包含检测到的边界框的位置和尺寸，以及该边界框内点云的长度和标准差。对于当前时间步检测到的每个障碍物，我们根据其特征向量与上一时间步障碍物特征向量之间的加权余弦相似度来计算相似度得分。如果相似度最高的上一时间步障碍物与当前障碍物之间的IoU超过了预设阈值，我们就认为这种匹配是有效的。采用这种基于特征的数据关联方式，可避免以中心点距离为基础的方法常见的匹配错误。
关联过程结束后，我们应用卡尔曼滤波器来估算检测到的障碍物的状态，其中每个
---
```pseudo
// Algorithm 1: LiDAR-Visual Fusion Algorithm
```
1 $S_{lidar} \leftarrow$ 激光雷达3D障碍物边界框；
2 $S_{visual3D}, S_{visual2D} \leftarrow$ 视觉障碍物边界框；
3 $S_{processed}, S_{fused}, S_{output} \leftarrow$；
4 for $B_{visual3D}^{i}$ in $S_{visual3D}$ do
5 $S_{match} \leftarrow$；
6 for $B_{lidar}^{i}$ in $S_{lidar}$ do
7 $\text{IoU} \leftarrow \text{cal3DBBoxIOU}(B_{visual3D}^{i}, B_{lidar}^{i})$；
8 if $\text{IoU} \geq \text{IoU}_{\text{thresh}}$ then
9 $S_{match.append}(B_{lidar}^{i})$；
10 $S_{processed.append}(B_{lidar}^{i})$；
11 if $\text{len}(S_{match}) > 1$ then
12 $B_{fused} \leftarrow \text{minEncBBox}(B_{visual3D}^{i}, S_{match})$；
13 $S_{fused.append}(B_{fused})$
14 for $B_{fused}^{i}$ in $S_{fused}$ do
15 $B_{fused2D}^{i} \leftarrow 2DReprojection(B_{fused}^{i})$；
16 $S_{match2D} \leftarrow$；
17 for $B_{visual2D}^{i}$ in $S_{visual2D}$ do
18 $\text{IoU}_{2D} \leftarrow \text{cal2DBBoxIOU}(B_{visual2D}^{i}, B_{fused2D})$；
19 if $\text{IoU}_{2D} \geq \text{IoU}_{\text{thresh2D}}$ then
20 $S_{match2D.append}(B_{fused2D})$；
21 if $\text{len}(S_{match2D}) > 1$ then
22 $S_{output.append}(splitBBoxes(B_{fused}^{i}, S_{match2D}))$； else
23 $S_{output.append}(B_{fused}^{i})$；
24 for $B_{lidar}^{i}$ in $S_{lidar}$ $\backslash$ $S_{processed}$ do
25 $S_{output.append}(B_{lidar}^{i})$；
26 return $S_{output}$；
状态由障碍物的位置、速度和加速度定义。在预测阶段，卡尔曼滤波器采用恒定加速度模型来刻画动态障碍物的速度变化规律。预测步骤的公式如下：
$$ \mathbf{X}_{t\mid t-1}=A\mathbf{X}_{t-1}+Q, $$
其中，X表示障碍物状态，A是由恒定加速度动力学推导出的状态转移矩阵，Q代表运动模型噪声，这是一个可调参数。在观测模型方面，我们根据检测到的障碍物位置来估算其速度和加速度：
$$ \mathbf{V}_{t}=\frac{\mathbf{P}_{t}-\mathbf{P}_{t-1}}{\delta t},\quad\mathbf{A}_{t}=\frac{\mathbf{V}_{t}-\mathbf{V}_{t-1}}{\delta t}, $$
其中，$\mathbf{P}_t$、$\mathbf{V}_t$和$\mathbf{A}_t$分别表示障碍物的位置、速度和加速度，$\delta t$是系统时间步长。结合预测模型和观测模型，我们应用标准的卡尔曼滤波器方程，来估算每个检测到的障碍物的最终状态 $X_t$。
为了将检测到的障碍物归类为动态障碍物，我们采用了两种互补的判定条件——只要满足其中任意一条，该障碍物就会被标记为动态障碍物。第一种判定方法利用彩色图像中的二维检测结果。由于这些检测结果已经能够识别预定义的动态障碍物类别，我们会将卡尔曼滤波估计后得到的三维边界框重新投影到二维图像平面上，然后计算它们与检测到的二维边界框之间的IoU（交并比）。如果IoU超过了指定阈值，该障碍物就被归类为动态障碍物。第二种判定方法则依赖于卡尔曼滤波的速度估计结果。若障碍物的速度大小超过预设阈值，它最初会被标记为动态障碍物。不过，由于位置检测误差可能导致速度估计不准确，进而产生误判，因此我们还会辅以逐点位移检查。对于估计边界框内的每个点，我们都会计算它到上一时间步点云中最近对应点的距离；如果大多数这类距离都超过了预定阈值，该障碍物就会被归类为动态障碍物，否则就视为静态障碍物。结合这两种判定条件，就能实现更可靠的识别过程。
### 四、结果与讨论
为了评估所提出的动态障碍物检测与跟踪框架的性能，我们利用收集的数据集和实体机器人测试开展了定性与定量实验。该框架是基于ROS和C++实现的。在实体实验中，我们设计了一架轻量化的四旋翼无人机，它配备了面向前方的Intel RealSense D435i RGB-D摄像头（视场角为87°×58°）以及轻量化的Livox Mid-360激光雷达（视场角为360°×59°）。与更笨重的传感器相比，这类传感器价格低廉且重量轻，非常适合各类场景下的移动机器人使用。我们采用最先进的激光雷达惯性里程计（LIO）[^31]来实现精确的机器人定位，所有机器人软件模块均在机载的NVIDIA Jetson Orin NX上运行。
在本节中，我们将基于实验结果解答以下关键问题：
所提出的框架在不同环境中的定性表现如何？详见第IV-A节。
- 所提出的动态障碍物检测与跟踪算法在性能上与其他主流方法相比表现如何？详见第IV-B节。
• 激光雷达模块和视觉模块各自对整体框架有何贡献？详见第IV-C节。
- 这种动态障碍物感知框架是否适用于轻量化移动机器人的导航？详见第IV-D节。
### A. 定性评估
为了对所提出的动态障碍物检测与跟踪框架进行定性评估，我们在五种不同环境中开展了机器人实验。由于移动机器人主要应用于室内场景，且我们特别关注其遇到拥挤空间的情况，因此选择了有人员走动的人流密集室内场所，或通过安排多人围绕机器人行走来进行受控实验。动态障碍物检测与跟踪的结果如图5所示。在这些实验中，图5的上半部分展示了机器人激光雷达和摄像头采集的点云，其中检测并跟踪到的动态障碍物会被高亮显示；下半部分则展示了机载摄像头拍摄的对应RGB图像。如图所示，所有环境中都存在大约五个或更多可能对机器人造成碰撞风险的动态障碍物，其中一些还
---
(a) Environment I
(b) Environment II
(c) Environment III
(d) Environment IV
(e) Environment V
Fig. 5. Examples of qualitative experimental results from five testing environments, where the robot, equipped with a LiDAR and a camera, is positioned at the center of each environment. The top row displays point cloud data from the robot's sensors and highlights detected and tracked dynamic obstacles. The bottom row presents corresponding RGB images from the robot's camera which provides a visual perspective of the corresponding environments.
Fig. 6. Performance comparison of Dynablox [^7], M-detector [^6], and LV-DOT (Ours) in terms of precision, recall, and F1 score across IoU thresholds.
该框架包含复杂的静态结构。尽管存在这些挑战，所提出的框架仍能成功检测出所有动态障碍物，展现出其对多样且动态环境的适应能力。不过，我们偶尔会观察到误检现象，尤其是当障碍物距离激光雷达过近却处于摄像头视野之外时。出现这一问题是因为在近距离下，障碍物的边界框会变得过小，从而导致边界框关联失败。此外，当一个动态障碍物被另一个障碍物遮挡时，被遮挡的障碍物可能会失去跟踪。这些局限性可在后续研究中加以解决，以进一步提升该框架的鲁棒性。
### B. 基准测试评估
为了定量评估所提出框架的性能，我们在自定义数据集上开展了基准测试实验。虽然目前已有成熟的自动驾驶领域3D物体检测数据集，如KITTI [^32]和nuScenes [^33]，但它们是为户外应用设计的，与我们的室内移动机器人场景并不匹配。DOALS [^34]数据集虽在某些方面适用，但仅包含激光雷达扫描数据，无法用于评估我们的视觉检测模块。因此，我们让机器人在涵盖多种潜在环境的七种不同室内场景中运行，并进行了两次动作捕捉实验，从而创建了新的数据集。我们以一秒为采样间隔，使用SUSTech POINTS [^35]标注工具手动标注了这七种室内场景中动态障碍物的真实值，动作捕捉环境则直接提供了真实数据。我们的自定义数据集包含635个已标注的时间帧，每个时间帧中包含多个边界框。
我们选取了近期基于激光雷达的动态物体检测算法Dynablox [^7]和M-detector [^6]作为基准方法。针对每种方法，我们测量了在不同IoU阈值下3D动态障碍物检测边界框的精确度、召回率和F1分数，并评估了其平均位置误差。表I展示了低（0.3）、中（0.5）和高（0.7）三个水平下的IoU阈值的详细评估结果，图6则绘制了IoU阈值在0.05到0.95之间（间隔为0.05）的精确度、召回率和F1分数变化曲线。
根据表I中的评估结果，我们的方法（LV-DOT）优于各类基准方法，这从其在所有IoU阈值下均获得最高的F1分数中可见一斑。所有方法的平均位置误差均在0.1米左右，其中M-detector的误差最小，略优于我们的方法。将我们的方法与M-detector对比可知，两者均具备极高且相近的召回率，说明动态障碍物的检测极少出现遗漏情况。不过M-detector的精确度相对较低，实验表明它经常将静态障碍物误分类为动态障碍物。相比之下，我们的分类方法融合了视觉数据与激光雷达数据的互补信息，从而提升了动态障碍物识别的整体准确性。将我们的方法与Dynablox对比时可以发现，Dynablox的精确度和召回率均较低。这主要是因为Dynablox是为密度更高的激光雷达数据设计的，难以处理轻型激光雷达传感器生成的稀疏点云，进而限制了其捕捉物体运动的能力。相比之下，我们的方法更适用于轻型传感器和移动机器人。图6也呈现了类似的结果：与另外两种方法相比，我们的方法在所有IoU阈值下均能获得更高的F1分数，同时保持较高的精确度和召回率。
### C. 消融实验
由于所提出的框架同时集成了激光雷达与视觉模块，我们分析了各模块对整体性能的贡献。
---
TABLE I
BENCHMARKING DYNAMIC OBSTACLE DETECTION PERFORMANCE (PRECISION, RECALL, F1, AND POSITIONAL ERROR) AT THREE IOU THRESHOLDS.
| Evaluation Metrics | IoU Threshold = 0.3 (low) | IoU Threshold = 0.5 (mid) | IoU Threshold = 0.7 (high) |
| Precision | Recall | F1 | Pos. Err. | Precision | Recall | F1 | Pos. Err. | Precision | Recall | F1 | Pos. Err. |
| Dynablox [^7] | 60.13% | 36.89% | 0.402 | 0.124m | 55.11% | 32.56% | 0.363 | 0.114m | 43.77% | 23.59% | 0.277 | 0.091m |
| M-detector [^6] | 67.74% | 86.89% | 0.734 | 0.094m | 62.56% | 80.21% | 0.678 | 0.085m | 52.58% | 66.67% | 0.569 | 0.071m |
| LV-DOT w/o visual | 79.81% | 80.59% | 0.787 | 0.091m | 74.96% | 75.95% | 0.740 | 0.086m | 60.26% | 61.95% | 0.599 | 0.072m |
| LV-DOT w/o LiDAR | 72.68% | 19.80% | 0.292 | 0.129m | 67.73% | 18.71% | 0.274 | 0.125m | 57.48% | 16.40% | 0.238 | 0.116m |
| LV-DOT (Ours) | 74.51% | 88.25% | 0.794 | 0.093m | 71.61% | 85.07% | 0.764 | 0.090m | 59.87% | 71.85% | 0.641 | 0.080m |
TABLE II
RONTIME OF EACH MODULE IN THE PROPOSED SYSTEM
| System Modules | Mean (ms) | Std. Dev. (ms) |
| LiDAR Detection | 8.34 | 4.15 |
| Visual Depth Detection | 10.22 | 3.46 |
| Visual Color Detection | 34.15 | 0.91 |
| LiDAR-Visual Fusion | 0.40 | 0.13 |
| Tracking and Identification | 2.29 | 0.75 |
表I展示了完整框架的基准实验结果，以及移除视觉模块（LV-DOT w/o visual）和移除激光雷达模块（LV-DOT w/o LiDAR）后的变体实验结果。将完整框架与移除视觉模块的变体对比可知，整体性能有所提升，具体表现为所有IoU阈值下的F1分数更高。具体而言，视觉模块显著提升了召回率，这并不意外——毕竟RGB图像检测有助于动态障碍物的分类，且摄像头在近距离产生的更密集点云能减少漏检情况。不过我们也注意到精确度和平均位置精度略有下降，这很可能是由于摄像头的深度估计精度不如激光雷达所致。此外，视觉模块的工作频率更高，能在导航过程中更快地对动态障碍物做出响应。另外，对比包含激光雷达模块与不包含激光雷达模块的框架可知，两者的精确度和召回率均有明显提升，平均位置误差也有所减小。这种改进归功于激光雷达在距离估计上的更高精度，以及其从各个方向检测障碍物的能力。
### D. 实体机器人实验
为了验证所提出框架在真实机器人导航应用中的有效性，我们开展了实体机器人实验，如图7所示。实验包含两种场景，利用[^36]中的规划器来实现导航与避障功能。在第一个实验中，四旋翼飞行器悬停在原地，几名人员故意朝它走去，试图与机器人发生碰撞。图7a记录了人员靠近机器人的瞬间，随后机器人成功躲避并移动到安全位置。在第二个实验中，机器人沿预定路径行驶以模拟导航场景，同时有人故意行走以阻挡其路径。图7b展示了一个成功的案例：机器人既避免了碰撞，又有效接近了目标。两项实验均表明，所提出的框架能够实现动态障碍物的实时检测与跟踪。
(a) Experiment I: Approaching a Hovering Robot.
(b) Experiment II: Blocking a Navigating Robot.
Fig. 7. Illustration of the physical robot experiments. We conduct two types of experiments to demonstrate the applicability of the proposed framework in robot navigation and collision avoidance: (a) A human approaches a hovering robot. (b) A human blocks the path of a navigating robot.
使机器人能够安全导航并避免碰撞。
在实体机器人实验和数据集评估过程中，我们记录了所提系统在机器人机载计算机上的运行时间，如表II所示。该表列出了各模块的平均运行时间和标准差。激光雷达检测模块和视觉深度检测模块的运行时间分别约为8.34毫秒和10.22毫秒。需要更多计算资源的视觉颜色检测模块平均运行时间为34.15毫秒，运行频率接近30赫兹。激光雷达-视觉融合模块与跟踪模块的效率极高，平均运行时间分别为0.40毫秒和2.29毫秒。由于这些模块可以并行执行，整个系统在实际机器人上能够实现实时性能，满足现实环境中动态障碍物感知与导航的关键需求。
### 五、结论与未来工作
本文提出了一种用于机器人导航的激光雷达-视觉动态障碍物检测与跟踪框架，旨在解决单传感器系统的局限性。该方法首先利用激光雷达扫描数据、深度图像和彩色图像独立检测障碍物，采用专门的工程技术实现从激光雷达和深度数据中准确进行未分类障碍物的三维检测。为了充分发挥各传感器的优势，我们引入了激光雷达-视觉融合算法来优化检测结果。
---
通过整合所有来源的数据，此外，由基于特征的数据关联和卡尔曼滤波组成的跟踪模块利用我们的动态识别方法生成最终的动态障碍物集合。该框架经过了定性和定量的全面评估，在数据集上的表现优于单传感器方案。我们还将该框架集成到自主机器人中，验证了其在导航方面的有效性。尽管所提框架在动态障碍物的实时检测与跟踪方面表现良好，但在减少误检和漏检方面仍有改进空间，我们计划在未来的工作中进一步解决这一问题以提升可靠性。
## 参考文献
[^1]: Y. Yan, Y. Mao, and B. Li, “Second: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, p. 3337, 2018.
[^2]: S. Shi, C. Guo, L. Jiang, Z. Wang, J. Shi, X. Wang, and H. Li, "Pv-rcnn: Point-voxel feature set abstraction for 3d object detection," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 10529–10538.
[^3]: J. Lin, H. Zhu, and J. Alonso-Mora, “Robust vision-based obstacle avoidance for micro aerial vehicles in dynamic environments,” in 2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020, pp. 2682–2688.
[^4]: Y. Wang, J. Ji, Q. Wang, C. Xu, and F. Gao, “Autonomous flights in dynamic environments with onboard vision,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 1966–1973.
[^5]: G. Chen, W. Dong, P. Peng, J. Alonso-Mora, and X. Zhu, “Continuous occupancy mapping in dynamic environments using particles,” IEEE Transactions on Robotics, 2023.
[^6]: H. Wu, Y. Li, W. Xu, F. Kong, and F. Zhang, "Moving event detection from lidar point streams," Nature communications, vol. 15, no. 1, p. 345, 2024.
[^7]: L. Schmid, O. Andersson, A. Sulser, P. Pfreundschuh, and R. Siegwart, "Dynablox: Real-time detection of diverse dynamic objects in complex environments," IEEE Robotics and Automation Letters, 2023.
[^8]: Z. Xu, X. Zhan, Y. Xiu, C. Suzuki, and K. Shimada, “Onboard dynamic-object detection and tracking for autonomous robot navigation with rgb-d camera,” IEEE Robotics and Automation Letters, vol. 9, no. 1, pp. 651–658, 2024.
[^9]: I. Ballester, A. Fontán, J. Civera, K. H. Strobl, and R. Triebel, “Dot: Dynamic object tracking for visual slam,” in 2021 IEEE international conference on robotics and automation (ICRA). IEEE, 2021, pp. 11705–11711.
[^10]: H. Hu, F. Wang, J. Su, Y. Wang, L. Hu, W. Fang, J. Xu, and Z. Zhang, “Ea-lss: Edge-aware lift-splat-shot framework for 3d bev object detection,” arXiv preprint arXiv:2303.17895, 2023.
[^11]: T. Eppenberger, G. Cesari, M. Dymczyk, R. Siegwart, and R. Dubé, “Leveraging stereo-camera data for real-time dynamic obstacle detection and tracking,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 10528–10535.
[^12]: H. Oleynikova, D. Honegger, and M. Pollefeys, “Reactive avoidance using embedded stereo vision for mav flight,” in 2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015, pp. 50–56.
[^13]: Z. Xu, X. Zhan, B. Chen, Y. Xiu, C. Yang, and K. Shimada, "A real-time dynamic obstacle tracking and mapping system for uav navigation and collision avoidance with an rgb-d camera," in 2023 IEEE International Conference on Robotics and Automation (ICRA), 2023, pp. 10645–10651.
[^14]: A. Saha, B. C. Dhara, S. Umer, K. Yurii, J. M. Alanazi, and A. A. AlZubi, “Efficient obstacle detection and tracking using rgb-d sensor data in dynamic environments for robotic applications,” Sensors, vol. 22, no. 17, p. 6537, 2022.
[^15]: M. Lu, H. Chen, and P. Lu, “Perception and avoidance of multiple small fast moving objects for quadrotors with only low-cost rgbd camera,” IEEE Robotics and Automation Letters, vol. 7, no. 4, pp. 11657–11664, 2022.
[^16]: H. Chen and P. Lu, “Real-time identification and avoidance of simultaneous static and dynamic obstacles on point cloud for uavs navigation,” Robotics and Autonomous Systems, vol. 154, p. 104124, 2022.
[^17]: Y. Sun, M. Liu, and M. Q.-H. Meng, “Improving rgb-d slam in dynamic environments: A motion removal approach,” Robotics and Autonomous Systems, vol. 89, pp. 110–122, 2017.
[^18]: W. Shi, J. Li, Y. Liu, D. Zhu, D. Yang, and X. Zhang, “Dynamic obstacles rejection for 3d map simultaneous updating,” IEEE Access, vol. 6, pp. 37715–37724, 2018.
[^19]: C. Yu, Z. Liu, X.-J. Liu, F. Xie, Y. Yang, Q. Wei, and Q. Fei, "Ds-slam: A semantic visual slam towards dynamic environments," in 2018 IEEE/RSJ international conference on intelligent robots and systems (IROS). IEEE, 2018, pp. 1168–1174.
[^20]: W. Dai, Y. Zhang, P. Li, Z. Fang, and S. Scherer, “Rgb-d slam in dynamic environments using point correlations,” IEEE transactions on pattern analysis and machine intelligence, vol. 44, no. 1, pp. 373–389, 2020.
[^21]: A. Asvadi, C. Premebida, P. Peixoto, and U. Nunes, “3d lidar-based static and moving obstacle detection in driving environments: An approach based on voxels and multi-region ground planes,” Robotics and Autonomous Systems, vol. 83, pp. 299–311, 2016.
[^22]: D. Yoon, T. Tang, and T. Barfoot, “Mapless online detection of dynamic objects in 3d lidar,” in 2019 16th Conference on Computer and Robot Vision (CRV). IEEE, 2019, pp. 113–120.
[^23]: A. Dewan, T. Caselitz, G. D. Tipaldi, and W. Burgard, “Motion-based detection and tracking in 3d lidar scans,” in 2016 IEEE international conference on robotics and automation (ICRA). IEEE, 2016, pp. 4508–4513.
[^24]: Y. Min, D.-U. Kim, and H.-L. Choi, “Kernel-based 3-d dynamic occupancy mapping with particle tracking,” in 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021, pp. 5268–5274.
[^25]: Z. Zhou, X. Feng, S. Di, and X. Zhou, "A lidar mapping system for robot navigation in dynamic environments," IEEE Transactions on Intelligent Vehicles, 2023.
[^26]: A. Saha and B. C. Dhara, "3d lidar-based obstacle detection and tracking for autonomous navigation in dynamic environments," International Journal of Intelligent Robotics and Applications, vol. 8, no. 1, pp. 39–60, 2024.
[^27]: W. Du and G. Beltrame, "Lidar-based real-time object detection and tracking in dynamic environments," arXiv preprint arXiv:2407.04115, 2024.
[^28]: C. Zheng, W. Xu, Z. Zou, T. Hua, C. Yuan, D. He, B. Zhou, Z. Liu, J. Lin, F. Zhu et al., “Fast-livo2: Fast, direct lidar-inertial-visual odometry,” IEEE Transactions on Robotics, 2024.
[^29]: D. Li, J. Xu, Z. Yang, Q. Ma, L. Zhang, and P. Chen, "Leovr: Motion-inspired visual-lidar fusion for environment depth estimation," IEEE Transactions on Mobile Computing, 2023.
[^30]: J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779–788.
[^31]: W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, "Fast-lio2: Fast direct lidar-inertial odometry," IEEE Transactions on Robotics, vol. 38, no. 4, pp. 2053–2073, 2022.
[^32]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, "Vision meets robotics: The kitti dataset," The International Journal of Robotics Research, vol. 32, no. 11, pp. 1231–1237, 2013.
[^33]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11621–11631.
[^34]: P. Pfreundschuh, H. F. Hendrikx, V. Reijgwart, R. Dubé, R. Siegwart, and A. Cramariuc, “Dynamic object aware lidar slam based on automatic generation of training data,” in 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021, pp. 11641–11647.
[^35]: E. Li, S. Wang, C. Li, D. Li, X. Wu, and Q. Hao, “Sustech points: A portable 3d point cloud interactive annotation platform system,” in 2020 IEEE Intelligent Vehicles Symposium (IV), 2020, pp. 1108–1115.
[^36]: Z. Xu, X. Han, H. Shen, H. Jin, and K. Shimada, “Navrl: Learning safe flight in dynamic environments,” arXiv preprint arXiv:2409.15634, 2024.