Fig. 1. Data sample of a Velodyne HDL-64 RMB Lidar.
空间验证。但是，正如我们将在本研究中展示的那样，这项技术的潜力远远超出了简单的障碍检测，因为激光雷达技术在时间分辨率、空间分辨率和噪声消除方面的发展，使我们能够进行更复杂的三维测量，用于各种实时感知、导航和地图绘制问题。
接下来，我们将向读者介绍激光雷达在实际应用中的最新激动人心的成果及其背景。
#### 1.2. 论文大纲
首先，我们展示了用于获取三维环境的点云的各种激光扫描仪设备。接下来，我们概述了一系列基于激光雷达的应用模块，这些模块相互构建，实现各种功能，包括对象感知、分类、地图绘制和定位。我们还讨论了在极端天气条件或仅可用低范围单光束（平面）传感器的情况下，所面临的挑战。最后，我们展示了激光雷达和摄像头系统的实时标定。
### 2. 激光雷达传感器和资源
#### 2.1. 激光雷达传感器类型
激光雷达设备具有多功能的应用和操作特性：静态/移动、$360^{\circ}$/广角/窄扫描、等距扫描分辨率/特殊光束模式、单次回波/多次回波。我们将看到，激光雷达可以用于对世界进行任何形式的成像。
旋转多波束 (RMB) 激光雷达系统可以提供场景的 $360^{\circ}$ 视野，垂直分辨率等于传感器的数量，而水平角度分辨率取决于旋转速度。 虽然 RMB 激光雷达可以产生高帧率的点云视频，从而实现 3D 空间中的动态事件分析，但测量结果的空间密度较低，并且随着距离传感器的增加，点云密度会迅速降低，点云可能表现出与传感器特性相关的特定模式（参见图 1）。 在某些情况下，只有一束或几束光束可用。
配备时间同步激光雷达传感器和导航单元的移动激光扫描平台可以快速提供来自大型环境的非常密集和准确的静态点云数据，这些三维空间测量值可以准确地注册到地理参考的全局坐标系中（图 2）。这些点云数据可以作为详细和最新的 3D 地图的基础，这些地图可供自动驾驶车辆用于导航。
Fig. 2. Data of a Riegl VMX-450 Mobile Laser Scanning (MLS) system.
高清 (HD) 城市地图，可供自动驾驶车辆用于导航。
另一种新兴技术是多普勒激光雷达 (首次提及见 [^2]，用于风速测量)：例如，Blackmore $^{1}$ 刚刚推出了一种用于自动驾驶的激光雷达，该雷达可以输出速度或旋转速度数据。最近的型号，例如 Livox 传感器，使用先进的非重复扫描模式来提供高度准确的细节。这些扫描模式即使在短时间内也能提供相对较高的点密度，并且随着持续时间的增加，可以构建出更高的密度。实际上，现有的型号可以实现与传统 32 线激光雷达传感器相同的或更高的点密度。
#### 2.2. 激光雷达资源
近年来，发布了许多带有激光雷达数据的自动驾驶数据集，其中最重要的数据集及其用途如表 1 所示。如我们所见，对于典型的基准问题，例如物体检测、跟踪或同步定位与地图构建 (SLAM)，可以选择各种公共资源，这些资源对应于不同的传感器特性和场景类型。然而，未来的一个主要挑战是及时完成可用的基准数据集，并提供可靠的测量值和真实信息，以适应不断涌现的新的激光雷达传感器技术。
### 3. 基于激光雷达的物体感知
物体感知和识别是基于激光雷达的三维点云处理中的一个核心目标。虽然文献中存在多种 3D 物体检测和分类方法，但由于不同激光雷达传感器获取的数据特性存在很大差异，因此物体感知方法仍然高度依赖于传感器，这使得在不同类型的激光雷达数据之间采用它们非常困难。
由于激光雷达传感器提供非常准确的三维几何信息，因此与二维图像处理相比，物体的定位和形状识别更直观。然而，除了不同的传感器数据特性外，在自动激光雷达的物体检测和分类中还存在一些挑战，例如数据的稀疏性、点密度变化、非均匀采样，此外，在拥挤的场景中，物体经常
---
Table 1 LIDAR datasets with different purposes.
相互遮挡，导致测量结果中出现部分提取的物体块。
根据物体感知文献，我们可以将方法分为两大类：基于几何的传统方法和基于深度学习的方法。为了处理大量 3D 点之间的高昂计算，基于几何的方法通常采用一些空间分割技术，例如 KD 树、八叉树 [^22] [^23] 或 3D 体素 [^24]，以及基于 2D 网格的方法 [^25]。一些方法使用基于树的结构的不同区域生长技术来获得相连的物体。[^26] 的作者提出了一种基于八叉树的占用网格表示，用于对车辆周围的动态环境进行建模，并通过扫描之间的不一致性来检测移动物体。
一般来说，构建和维护基于树的数据结构成本很高，因此通常会采用某种 3D 体素或 2D 网格方法来流式传输数据。在 [^25] 中，作者提出了一种快速将点云分割成对象的算法，该算法通过在 2D 占用网格中使用标准的连通组件算法来实现，并且使用 3D 形状描述符和 SVM 分类器对原始点云片段进行对象分类。不同的体素网格结构也被广泛用于完成各种场景理解任务，包括分割、检测和识别 [^24]。数据以立方体体素的形式存储，以便高效检索 3D 点。在基于几何的 2D 网格方法中，[^20] 实现了包含以下步骤的流程：基于几何的地面分割步骤、基于高效对象提取的两层网格结构，以及基于深度学习的对象分类，该分类在范围图像域中表示提取的对象。
其他最近的技术侧重于基于深度学习的 3D 点云中的对象检测和分类。VoxelNet [^28] 能够利用判别性特征学习来预测准确的边界框。PointPillars [^27] (图 3) 是一种最先进的实时对象检测方法，可以预测来自多个类别的对象候选，以及它们的 3D 有向边界框和置信度值。
### 4. 使用限制：低分辨率 LiDAR 感知和极端情况
上一节 (第 3 节) 显示了 LiDAR 模式评估可以实现语义解释；现在我们看到，LiDAR 扫描的非常有限的信息也可以用于准确的感知。在本节中，讨论了 LiDAR 传感器的限制、由此产生的挑战以及当前的解决方案。此外，
Fig. 3. LIDAR Object detection results with deep learning based PointPillars approach [^27]. Red boxes show detected vehicles, blue boxes pedestrians. (For interpretation of the colors in the figure(s), the reader is referred to the web version of this article.)
在高端三维激光雷达不断发展的当下，出于成本效益和提升鲁棒性的考虑，研究低分辨率乃至极低分辨率传感器（仅配备少数甚至仅一个激光通道）的性能同样具有价值。极端环境（如恶劣天气）的主要影响之一就是信息丢失；而按照任务优化的位置部署多个平面或少层激光雷达 [^29]，从某些角度来看可能是比使用单个高分辨率激光雷达更优的选择。低垂直分辨率扫描仪的信息含量有限，这提升了对数据进行高层语义解释的难度，但也让算法更易于实时运行。自然，近年来该子领域的机器视觉也得到了快速发展。
#### 4.1. 极低分辨率 LiDAR 的视觉
二维测距扫描仪及其应用在机器人领域已有相当长的研究历史 [^30]。自动导引车（AGVs）数十年来一直将这类传感器用于安全防护和导航任务。如今，市场上已有产品具备极高水平角分辨率、高扫描频率，且拥有制造商提供的安全保障。此外，开发完
---
(a) SICK LMS500 sensor
(b) Frame acquired by 2D LIDAR sensor
Fig. 4. Examples of planar LIDAR sensor and point cloud acquired by a planar LIDAR.
成的实时扫描匹配与同步定位与建图算法 [^31] 已应用于仅基于二维激光扫描仪数据的工业和商用产品中，这也让定位与建图成为这类传感器的主要应用领域之一。
除了导航之外，我们希望尽可能地从可用数据中提取有关环境的信息。点云处理算法可以直接利用这些二维扫描器的点云数据。因此，存在各种从这类数据中进行物体检测和识别的解决方案。可以使用手工设计的通用特征[^32]，特定于数据的特征[^33]，图像描述符[^34]或神经网络[^35]。使用具有（非常）窄垂直视场的激光雷达[^36]可以使信息内容更丰富，并且更容易进行语义解释。
我们可以区分两种导致处理低（垂直）分辨率激光雷达点云的不同原因。第一种情况是，硬件限制了分辨率（激光雷达层），因为我们使用平面激光雷达或具有 4-8 层的激光雷达。第二种情况是，我们的激光雷达具有足够多的层（16 层及以上），但其使用场景限制了采集到的点云数据的垂直分辨率。高速公路就是一个典型的这种情况。我们希望观察（因为高速公路具有高速和笔直的路段），但远处的物体只会占据我们激光雷达（具有高垂直分辨率）测量中的非常少的层。我们将展示最近开发的用于解决激光雷达感知这两种低分辨率情况的解决方案。
##### 4.1.1. 硬件限制的低分辨率感知
如前文所述，平面窄垂直视场LIDAR（激光雷达，二维LIDAR传感器及其倾斜放置时采集的帧如图4所示 $^{2}$）常被应用于物流运输系统中（搭载于AGV上），不仅用于导航，还可满足特定用途（例如外伸物检测，见图5）。传感器有特定的安装位置，加上运输车辆的行驶速度约为1 m/s，且车辆出于导航需求配备了定位传感器 [^37]，这些条件足以支持将二维传感器数据用于三维重建。这会生成一类非常特殊的局部点云数据，能够逐步提供越来越多的目标信息。我们已在[^38]中提出了一种处理这类特定LIDAR数据的解决方案。
所提出的方法的关键思想是通过比较局部结构的统计信息来处理局部点云数据。其步骤如下：首先，需要对每个点定义局部表面。我们使用 3D Harris[^39] 算子来测量该点的显著性。接下来，为显著点分配一个局部尺度，并且局部表面描述符对关键点进行描述。之后，我们将局部模式定义为关键点的图。最后，比较局部模式的频率。
Fig. 5. Tilted sensor installation for overhang detection. Photo source: SICK - Efficient solutions for material transport vehicles in factory and logistics automation.
除了我们的测量之外，我们还使用 MLS 数据库进行实际测试。（这些类型的点云数据是使用类似于上述的方法采集的。）在这个数据库中，在只有约 20% 的 3D 物体可见时，我们获得了 73.3% 的 5 个类别的分类准确率，并且在 30% 可见度的情况下，准确率达到 80.0%，这对于早期决策来说是一种可用且安全的增量预测。更多细节请参见 [^38]。
##### 4.1.2. 场景限制的低分辨率感知
根据激光雷达的测量原理，获取的点云密度会随着与传感器距离的增加而降低。这导致了一种现象：即使使用高分辨率传感器，远处的物体也无法以足够的精度被观察到。对于具有较少通道的传感器，这种情况也会发生在近场区域。（我们只在单个层中感知到物体的现象也并不罕见。）
对于这种类型的物体，无法提取局部表面信息，因此，我们不能期望基于2.5D点云的方法（这些方法是为特定应用设计的）能够正常工作。为了解决这个问题，我们依赖于为2D点云设计的算法，并对其进行扩展，以利用所有可用信息 [^40]；我们提出了一种用于对具有这种点云特征的对象进行分类的方法，该方法包括以下步骤：首先，使用低频成分生成对象的形状描述符，以使其对角度分辨率下降具有鲁棒性；然后，我们提取几何统计量，以编码(近似)2D曲线的3D位置。接下来，我们将分段（最多5帧）进行分组（如果可用）。然后，使用卷积神经网络 (CNN) 对分段（或分段的轨迹）进行分类。最后，通过最大似然聚合分段的类别概率（如果可以从一个对象中获得多个分段），做出对象级别的决策。
使用我们提出的方法，我们达到了96.6%的分类准确率（如果我们可以感知和跟踪一个对象的分段超过一帧，则准确率会更高），针对KITTI [^5]数据库中的6个类别，这些点云对象最多位于4个激光雷达层（与传感器平均距离为41米）。这些点云数据无法使用传统方法处理（因此在大多数情况下会被忽略）。图6显示了使用我们提出的方法对典型场景（以相对窄的垂直视野激光雷达观察的高速公路）中的对象进行分类的示例。有关更多详细信息和实验证明，请参阅 [^40]。
---
Fig. 6. Classification of objects observed at max 4 layers. Colormap: Red - vehicle, Blue - guard rail, Green - ground.
#### 4.2. 在恶劣天气条件下的鲁棒性
恶劣的天气条件会带来挑战：激光雷达在雪/雨或雾中性能会下降。 这种限制必须通过基于语义的方法或物理建模的滤波器来解决。
最近的研究侧重于硬件 [^41] 和软件 [^42] 的开发，以消除这种影响。 为了避免上述问题，可以使用替代设备，对噪声测量进行滤波 [^43]，并对不完整的数据进行补充。 研究人员刚刚开始开发解决方案的初步阶段，识别给定的天气条件 [^44]，并研究不同条件的影响 [^45]。 为了支持这一点，后来发布了用于恶劣天气条件的追溯数据集 [^46]。
### 5. 基于激光雷达的定位和地图构建
在激光雷达点云中识别模式的能力，导致了SLAM和类似方法中的高精度里程计技术。 接下来，我们将简要总结基于激光雷达的自定位估计、3D地图构建和定位的最新算法和当前趋势。
#### 5.1. 使用激光雷达的视觉里程计
最近，提出了一些视觉里程计算法，这些算法利用激光雷达传感器持续采集的数据，实时计算车辆的运动。这样就可以创建仅使用激光雷达的里程计方法，从而无需其他辅助传感器，例如惯性测量单元 (IMU)、轮式编码器和基于卫星的全球定位系统 (GPS)。在 KITTI [^47] 数据集上，在平移和旋转误差方面表现最佳的算法之一是 LOAM [^47] 算法，该算法能够估计车辆在短轨迹上的六自由度 (DoF) 位移，并且在密集特征点场景和可用参考地面平面中具有非常低的漂移。该算法可以稳健地处理来自具有不同点云密度的不同激光雷达传感器的测量结果。然而，对于较长的轨迹，由于漂移会持续累积，因此在位置估计中可能会产生显着的误差。
#### 5.2. 基于激光雷达的同步定位与地图构建
为了校正里程计后端累积的误差，可以通过放置识别算法检测闭环情况，每当车辆返回导航区域内之前访问的位置时。在同步定位与地图构建 (SLAM) 算法中，假设车辆首次探索给定的环境，因此没有先验地图可以用来进行定位。最近，提出了一种名为 SegMap [^48] 的算法，用于提取和匹配 3D 点云中的激光雷达段。SegMap 采用基于数据的紧凑描述符，从点云段中提取独特且有意义的特征，以识别轨迹上的闭环情况。
为了提高在特征稀疏环境中的定位算法的鲁棒性和精度，提出了一种框架 (LIO-SAM [^49])，用于紧密耦合来自 IMU 的激光雷达和惯性测量值。此外，所提出的架构允许集成 GPS 测量值，以防这些测量值可用。进一步地，通过调整因子图优化框架，将激光雷达惯性子系统 (LIS) 与传统的基于单目视觉惯性子系统 (VIS) 融合，从而创建了一个激光雷达-视觉-惯性 (LVI-SAM) 定位与地图构建系统 [^50]。与这些方法相反，接下来我们将展示一种用于城市环境的仅使用激光雷达的里程计和定位方法的成果，该方法使用目标地图进行定位。
#### 5.3. 基于 3D 点云地图的仅激光雷达里程计和定位
随着最近的测绘技术进步，准确的 3D 城市模型和高精度地图变得越来越普遍。此外，在许多实际应用中，都有可用的地图，可用于校正车辆轨迹上的累积漂移，每当在线 3D 点云和离线地图之间检测到几何上相似的位置时。
在 [^51] 中，我们提出了 LOL，一种仅使用 LiDAR 的里程计和定位算法，该算法结合了 LOAM [^47] 里程计和 SegMap [^48] 算法的优点。在里程计后端，LOAM 算法仅基于来自 Velodyne LiDAR 传感器的连续点云数据，实时估计六自由度 (DoF) 里程计。在特征点密度高且存在参考地面平面的场景中，该算法仅使用连续的 LiDAR 测量值，计算车辆在短轨迹上的位移，漂移非常小。该算法可以稳健地处理来自不同点云密度的 Velodyne 传感器的数据。另一方面，对于长轨迹，由于漂移会持续累积，因此在估计中会积累显著的误差，需要通过定位方法来消除，每当检测到在线 LiDAR 流与离线参考地图之间的正确匹配时，就可以消除这种误差。因此，对于定位前端，我们集成了 SegMap 方法，该方法是一种提取和匹配 3D 点云分段的先进算法。
我们还通过应用补充几何约束来进一步改进对正确匹配的接受，这些约束与特征相似性约束相辅相成。即，一旦检测到在线测量值和目标地图之间的良好匹配，我们仅在定义位置不确定性的当前位置附近搜索相似的 3D LiDAR 分段（使用放宽的相似性约束）。此外，我们仅将目标地图和在线源分段的质心之间的偏移量用作先验信息，并通过在两个点云之间应用精细 ICP 匹配来细化最终的变换。
---
(a) Drive 18, approx. 2.2km
(b) Drive 27, approx. 3.6m
Fig. 7. Results of the LOL localization algorithm with respect to the ground truth map on various length KITTI [^5] datasets: LOL algorithm (green line), LOAM trajectory (red line) with respect to the ground truth point cloud map.
我们使用多个 Kitti [^5] 数据集（参见图 7）对所提出的算法进行了测试，结果表明，在不增加显着的计算成本的情况下，该算法在精度方面得到了显著的提高。
#### 5.4. 在密集 LiDAR 地图中进行定位
LiDAR 测量值也可用于自动驾驶车辆 (SDV) 在环境的 3D 点云高分辨率地图中的精确自定位。一种解决方案（如 [^52] 中所述）可以稳健地将 SDV 的稀疏 RMB LiDAR 点云与密集移动激光扫描 (MLS) 点云数据进行注册，从基于 GPS 的车辆初始位置估计开始。该方法的关键步骤是从对象中提取和转换多个关键点，并从先前基于 MLS 的地图中推导出的附加语义信息。
### 6. MLS 点云的语义分割
密集 MLS 点云可以作为城市 3D 高清 (HD) 地图的基础，这些地图可供自动驾驶车辆用于导航，或供城市管理部门用于道路网络管理和监控、建筑或城市规划。所有这些应用都需要对数据进行语义标注（参见图 8）。虽然 MLS 的点云采集速度快是一个明显的优势，但由于每天的任务会产生大量数据，因此在处理过程中，应用高效的自动化数据过滤和解释算法至关重要，这些步骤仍然带来一些关键挑战。
在获取原始 MLS 测量数据时，一个关键问题是由于独立物体运动而产生的虚影效应 [^21]。由于环境扫描过程的顺序性，与 MLS 平台同时移动的场景物体（例如行驶的车辆和行走的行人）在生成的点云中会显示为类似于长而扭曲的结构 [^53]。 此外，还需要识别和标记所有可移动的场景元素，例如行人、停放车辆 [^54] 或电车。一方面，它们不是参考背景模型的一部分，因此这些区域必须从高清地图中移除。另一方面，这些物体的存在可能表明人行道、停车位等的位置。柱状物体，例如电线杆、交通标志杆 [^55]、树干通常是导航的良好地标。最后，植被区域（灌木、树叶）也应特别标记 [^56]：因为它们在一年中会动态变化，因此对象级别的变化检测算法不应将其纳入考虑。
虽然已经提出了一些用于通用点云场景分类的方法，但它们并没有关注上述从原始 MLS 数据生成 3D 地图的工作流程中的所有实际挑战。 尤其，只有少数相关工作讨论了虚影去除问题。基于点和统计特征的方法，例如 [^57] 和 [^58]，会检查一个点邻域的局部密度，但正如 [^59] 中所指出的那样，它们没有考虑到更高级别的结构信息，这限制了虚影的检测率。 如果可以为单个点或点云帧分配扫描位置（例如，通过三脚架扫描 [^60]）或相对时间戳（例如，使用旋转的多波束激光雷达 [^61]），则任务将大大简化，这可以利用多时间特征比较。 然而，在我们的 MLS 点云中，没有提供此类信息，并且所有点都表示在相同的全局坐标系中。
一些技术通过几何场景分割提取各种对象候选区域 [^55] [^20]，然后使用形状描述符或深度神经网络对这些区域进行分类 [^20]。 尽管此过程可能非常快速，但该方法的主要瓶颈在于对象检测步骤的质量。
其他方法实现场景的体素级别分割，其中将一个规则的 3D 体素网格拟合到点云，并将体素分类为各种语义类别，例如道路、车辆、类似电线杆的对象等 [^56] [^62] [^63]。 在这里，一个关键问题是用于分类的特征选择，这方面有大量的文献。 在 [^64] 中，使用最大间隔学习方法有效地应用手工设计的特征，用于室内对象识别。 在 [^65] 中，使用随机森林分类器采用协方差、点密度和结构外观信息来分割具有不同密度的 MLS 数据。 然而，随着可识别类别的数量和复杂性增加，手动找到最佳特征集会带来挑战。
近年来，深度学习技术已被广泛应用于点云场景分类，采用全局或局部（窗口）方法。全局方法考虑整个 3D 场景的信息，用于对单个体素进行分类，因此主要挑战在于如何在大型场景中保持时间和内存需求的可控性。OctNet 方法实现了一种新的复杂数据结构，用于高效的 3D 场景表示，这使得能够利用深度和高分辨率的 3D 卷积网络 [^66]。从实践的角度来看，OctNet 的训练数据需要对完整的点云场景进行完全标注，这可能是一个昂贵的过程。
基于滑动窗口的技术通常计算成本更低，因为它们在一个 3D 盒子上移动整个场景，并使用局部信息对每个点云片段进行分类。Vote3Deep [^62] 假设每个要识别的类的对象都有一个固定大小的边界框，如果某些对象的可能尺寸范围很广，则这可能效率较低。最近提出了一种基于 CNN 的体素分类方法 [^63]，该方法使用纯粹的局部特征，编码为 3D 占用网格，作为网络的输入。然而，他们没有在存在强虚影的情况下展示其性能，这需要准确的局部密度建模 [^58] [^59]。
多视图技术 [^67] 将点云从多个（十二个）不同的视角投影到 2D 平面上，并训练 2D CNN 模型进行分类。最后，将获得的标签投影回 3D 点云。该方法在合成数据集和工厂环境中点云的质量很高，因为仔细扫描可以获得场景对象的完整 3D 点云模型。该方法也可以应用于包含部分扫描对象的 MLS 数据，但与竞争方法的优势在这里会降低 [^67]。
PointNet++ [^68] 引入了一种分层神经网络，用于点集分类。该方法在要检查的点周围随机采样，因此它没有利用密度。
---
Fig. 8. Labeling result of the proposed 3D CNN based scene segmentation approach (test data provided by Budapest Közút Zrt.)
特征。结果在合成和室内数据样本上进行了演示，这些样本具有密集且准确的空间数据和 RGB 颜色信息。
Similarity Group Proposal Network (SGPN) [^69] 使用 Point-Net++ 作为骨干特征提取器，并通过在网络结构顶部添加多个额外层来提高性能。但是，正如作者所指出的，由于相似性矩阵的大小会随着点数的增加而呈平方增长，因此 SGPN 无法处理包含数百万个点或更多的超大型场景 $10^5$ [^69]。 这种特性不利于处理 MLS 数据，因为典型的场景可能包含数百万个点 $10^7$。
稀疏晶格网络 (SPLATNet $_{3D}$) [^70] 是一种最近的技术，它可以通过使用双边卷积层 (BCL) 高效地处理大型点云场景。SPLATNet $_{3D}$ [^70] 将提取的特征投影到晶格结构上，并应用稀疏卷积运算。与基于体素的方法类似，晶格结构实现了一种离散的场景表示，其中需要解决取决于晶格尺度的下采样和过度采样问题。
$C^2$CNN 技术，如 [^21] 中所述，基于双通道 3D 卷积神经网络 (CNN)，并特别改进用于将 MLS 点云分割成九个不同的语义类别，可用于生成高清城市地图。 语义点标注的主要目的是为自动驾驶车辆 (SDV) 提供详细可靠的背景地图，该地图指示道路和各种地标对象，用于 SDV 的导航和决策支持。 该方法考虑了原始 MLS 传感器数据处理的几个实际方面，包括各种城市物体、不同的点密度以及由与扫描平台同时移动的物体引起的强测量噪声。 我们在一个手动标注的新 MLS 标准数据集上评估了所提出的方法，并将我们的解决方案与三种为语义点云分割提出的通用参考技术进行了比较。
表 2 显示了许多上述方法之间的数值比较，使用了 SZTAKI CityMLS 标准集 [^21]。 $^{3}$
### 7. 使用车载激光雷达和 MLS 地图进行变化检测
对于自动驾驶汽车的导航和环境感知，检测即时感知的 RMB 激光雷达测量值与基于 MLS 的参考环境模型之间的变化，似乎是一项至关重要的任务，这表明存在一些关键挑战。 尤其，i3D 和 MLS 点云的质量和密度特性存在显着差异，这是由于可用 3D 传感器的时域和空域分辨率之间的权衡。
近年来，发表了各种关于点云变化检测的技术，但是，大多数方法依赖于密集的地基激光扫描 (TLS) 数据，这些数据是从静态三脚架平台记录的 [^71] [^72]。 如 [^71] 中所述，基于计算点到点距离的分类可能适用于均匀的 TLS 和 MLS 数据，因为可以在 3D 中直接检测到变化。 但是，点到点距离对变化的点密度非常敏感，这会导致在我们的 i3D/MLS 跨平台场景中出现性能下降。 此外，[^71] 采用基于光线追踪和占用率图的方法，并使用估计的法线进行有效的遮挡检测，并使用点到三角形距离进行更稳健的变化计算。 在这里，Delaunay 三角化步骤可能是一个关键点，尤其是在 MLS 点云中嘈杂和拥挤的部分，这些部分不可避免地出现在城市规模的项目中。 [^72] 使用最近邻搜索跨扫描段：对于每个点，他们会在参考云中执行固定半径 15 厘米的搜索。 如果对于某个段点的百分比，无法找到至少一个段点到云的邻近点，则将该对象标记为移动实体。 一种用于检测 MLS 点云和 2D 地面图像之间变化的 方法在 [^73] 中进行了讨论。 一种处理纯粹 RMB 激光雷达测量的方法在 [^74] 中进行了介绍，该方法使用基于光线追踪的最近邻搜索方法。 在 [^75] 中使用基于体素的占用技术，其中作者专注于检测使用不同 MLS 系统捕获的点云中的变化。 但是，输入数据的质量差异不如我们讨论的情况那样显著。
在 [^76] 中，作者证明，如果只比较关键帧与地图或先前帧，则可以加速变化检测。在这里，关键帧是指包含高概率变化的帧。[^76] 提出了一种利用映射残差来查找这些关键帧的解决方案。作者在配备 2D LiDAR 传感器的 AGV 上的实际实验中，展示了所提出的方法的性能。
---
Quantitative comparison of various point cloud segmentation techniques [^63], [^67], [^68], [^70] and [^21] on the SZTAKI CityMLS benchmark set.
| Class | OG-CNN [^63] | Multi-view [^67] | PointNet++ [^68] | SPLATNet $^{xyz}_{rgb}$ [^70] | $C^{2}CNN$ [^21] |
| Pr | Rc | F-r | Pr | Rc | F-r | Pr | Rc | F-r | Pr | Rc | F-r | Pr | Rc | F-r |
| Phantom | 85.3 | 34.7 | 49.3 | 76.5 | 45.3 | 56.9 | 82.3 | 76.5 | 79.3 | 83.4 | 78.2 | 80.7 | 84.3 | 85.9 | 85.1 |
| Pedestrian | 61.2 | 82.4 | 70.2 | 57.2 | 66.8 | 61.6 | 86.1 | 81.2 | 83.6 | 80.4 | 78.6 | 79.5 | 85.2 | 85.3 | 85.2 |
| Car | 56.4 | 89.5 | 69.2 | 60.2 | 73.3 | 66.1 | 80.6 | 92.7 | 86.2 | 81.1 | 89.4 | 85.0 | 86.4 | 88.7 | 87.5 |
| Vegetation | 72.4 | 83.4 | 77.5 | 71.7 | 78.4 | 74.9 | 91.4 | 89.7 | 90.5 | 86.4 | 87.3 | 86.8 | 98.2 | 95.5 | 96.8 |
| Column | 88.6 | 74.3 | 80.8 | 83.4 | 76.8 | 80.0 | 83.4 | 93.6 | 88.2 | 84.1 | 89.2 | 86.6 | 86.5 | 89.2 | 87.8 |
| Tram/Bus | 91.4 | 81.6 | 86.2 | 85.7 | 83.2 | 84.4 | 83.1 | 89.7 | 86.3 | 79.3 | 82.1 | 80.7 | 89.5 | 96.9 | 93.0 |
| Furniture | 72.1 | 82.4 | 76.9 | 57.2 | 89.3 | 69.7 | 84.8 | 82.9 | 83.8 | 82.6 | 81.3 | 81.9 | 88.8 | 78.8 | 83.5 |
| Overall | 76.9 | 74.2 | 75.5 | 72.5 | 73.4 | 72.9 | 85.6 | 87.5 | 86.5 | 82.5 | 83.7 | 83.0 | 90.4 | 90.2 | 90.3 |
注意：体素级别的精度 (Pr)、召回率 (Rc) 和 F 值 (F-r) 以百分比表示（总体值根据类别重要性进行加权）。
性能在配备 2D LiDAR 传感器的 AGV 上的实际实验中进行了评估。
在 [^77] 中，作者提出了一种新的技术，用于基于 3D 点云的城市环境中进行变化检测，这些点云具有截然不同的密度特征。该方法从稀疏且不均匀的瞬时 3D (i3D) 测量中提取移动对象和环境变化，并将密集且规则的点云作为参考背景模型，这些点云由移动激光扫描 (MLS) 系统捕获（参见图 9）。所提出的工作流程包括点云分类、跨模式测量配准、基于马尔可夫随机场 (MRF) 的范围图像域中的变化提取以及标签投影到 3D 的连续步骤。在四个不同的城市场景中进行了实验评估，并通过与基于体素的方法的比较，证明了所提出的变化检测方法的优势。
### 8. 相机-激光雷达校准
如今，最先进的自主系统依赖于各种传感器来感知环境，例如光学相机、雷达和激光雷达，因此高效的传感器融合是自动驾驶车辆和机器人领域的重点研究课题。 尽管近年来这些传感器的分辨率和运行速度有了显着提高，并且它们的成本变得可以在大规模生产中负担得起，但它们的测量具有高度多样化的特征，这使得高效利用多模式数据具有挑战性。 实时激光雷达，例如 Velodyne 的旋转多波束 (RMB) 传感器，可以提供相对较低的垂直分辨率的准确 3D 几何信息，而光学相机可以捕获高分辨率和高质量的图像序列，从而可以感知场景的低级细节。 光学相机的常见问题是，极端的照明条件（例如黑暗或强烈的阳光）会严重影响捕获的图像数据，而激光雷达能够提供对外部照明和天气条件的依赖性较小的可靠信息。 另一方面，通过同时利用激光雷达和相机传感器，可以并行地从场景中获得具有详细纹理和颜色信息的准确深度。
准确的激光雷达和相机校准是实现鲁棒数据融合的重要步骤，因此，相关的 issue 在文献中得到了广泛研究 [^78] [^79] [^80]。 现有的校准技术可以根据各种方面进行分组 [^78]：根据用户的交互级别，它们可以是半自动或全自动，从方法论上讲，我们可以区分基于目标和非基于目标的方法，并且在操作要求方面，可以定义离线和在线方法。
作为其主要特征，基于目标的 method 使用特殊的校准目标，例如 3D 盒子 [^79]、棋盘图案 [^81]、简单的打印圆圈 [^82] 或独特的多边形图案。
(a) Detected changes at Kálvin té r, Budapest downtown
(b) MLS scan from a tram stop at Kálvin té
Fig. 9. Top: Detected changes at a tram stop in Kálvin téér, Budapest using [^77]. Red, blue and green points represent background objects, foreground objects and ground regions, respectively. Bottom: MLS laser scan of the tram stop.
在校准过程中，使用 nar board [^83]。在用户交互层面，我们可以将基于目标的自动校准方法划分为半自动和全自动技术。半自动方法可能包含许多手动步骤，例如在不同位置移动校准图案，手动定位激光雷达和相机帧中的目标对象，以及调整校准算法的参数。虽然半自动方法可能产生非常精确的校准结果，但这些方法非常耗时，并且校准结果高度依赖于操作员的技能。此外，即使是经过良好校准的系统，也可能需要定期重新校准，以消除由振动和传感器变形引起的伪影。
全自动基于目标的自动校准方法试图自动检测预定义的<0xE9><0x80><0x81>象，然后提取和匹配特征，无需用户干预：Velas 等人 [^84] 检测平面目标上的圆形孔，Park 等人 [^83] 使用白色均匀目标对象校准激光雷达和相机，Geiger 等人 [^81] 使用多个棋盘上的角点检测器，Rodriguez 等人 [^85] 自动检测椭圆图案。虽然这些方法不需要操作员交互，
---
配准结果（图像域）
Fig. 10. Workflow of the on-the-fly Lidar-camera registration technique [^95].
尽管这些方法具有一定的优点，但它们仍然依赖于校准目标的 наличие，这些目标通常需要在复杂的设置中进行布置（例如，[^81] 使用 12 个棋盘）。 此外，在校准过程中，平台和目标必须保持静止。
相反，无目标方法依赖于从观察到的场景中提取的特征，而无需使用任何校准对象。其中一些方法使用运动信息来校准激光雷达和相机[86–88]，而其他技术 [^78] [^89] 试图通过最小化静态特征来减少校准误差。
在基于运动的方法中，Huang 和 Stachniss [^87] 通过估计运动误差来提高外参校准的准确性，Shiu 和 Ahmad [^86] 近似连续帧之间的相对运动参数，Shi 等人 [^90] 通过联合最小化激光雷达和相机残差之间的投影误差来计算传感器运动。这些方法首先估计相机和激光雷达传感器的轨迹，方法是使用视觉里程和扫描匹配技术，或者利用惯性测量单元 (IMU) 和全球导航卫星系统 (GNSS) 测量值。此后，他们假设传感器刚性地安装在平台上，从而匹配记录的相机和激光雷达测量序列。但是，这些技术的准确性高度依赖于轨迹估计的性能，而轨迹估计可能会受到视觉特征不足区域、低分辨率扫描 [^91]、缺乏相机和激光雷达之间的硬件触发同步 [^90] 或缺乏足够 GPS 覆盖的城市环境的影响。
我们继续讨论无目标和基于特征的单帧方法。Moghadam 等人 [^89] 尝试通过从 3D 激光雷达点云和 2D 图像数据中提取线来检测对应关系。虽然该方法在室内环境中被证明是有效的，但它需要大量的线对应关系，而这种条件在户外环境中通常难以满足。一种基于互信息的方案在 [^92] 中被提出，用于校准不同的雷达传感器和相机。Pandey 等人 [^78] 尝试使用相机的灰度像素强度和激光雷达的反射率值来最大化互信息。Napier 等人 [^93] 基于激光雷达的反射率值和灰度图像，最小化激光雷达和相机帧之间的相关误差。Scaramuzza 等人 [^94] 提出了一种称为方位角图像 (BA) 的新数据表示，该图像由激光雷达的距离测量值生成。该方法使用传统的图像处理操作，在 BA 和相机图像之间搜索对应关系。作为一种限制，无目标的基于特征的方法需要不同传感器测量值之间合理的初始变换估计 [^90]，并且基于互信息的匹配对非均匀点云输入和照明伪影敏感，这些是使用 RMB 激光雷达时经常出现的问题 [^78]。
在 [^95] 中，作者提出了一种新的完全自动且无需目标的外参标定方法，用于安装在移动车辆上的相机和旋转多波束 (RMB) 激光雷达。该技术采用基于运动的重建 (SfM) 方法，从相机数据生成 3D 点云，这些点云可以与激光雷达点云匹配；因此，外参标定问题被视为在 3D 域中的配准任务（参见图 10）。该方法包括两个主要步骤：一种在对象级别执行的匹配算法，用于粗略对齐相机和激光雷达数据，以及一种基于控制点的点级别配准精细调整步骤。该方法的优点是，它仅依赖于原始的相机和激光雷达传感器流，而无需使用任何外部全球导航卫星系统 (GNSS) 或惯性测量单元 (IMU) 传感器。此外，它能够自动计算激光雷达和相机传感器之间的外参标定参数，这意味着我们只需要将传感器安装在车辆顶部，然后在典型的城市环境中开始行驶。
需要注意的是，文献中存在一些端到端深度学习的相机和激光雷达标定方法 [^80] [^96]，这些方法可以通过足够大的训练数据集，自动估计限定范围内的标定参数。但是，训练好的模型不能用于任意配置，并且重新训练通常比应用传统的标定方法更耗资源。此外，对于黑盒深度学习方法，故障案例分析和操作范围的分析性估计非常困难。
### 9. 结论与未来方向
当激光雷达开始应用于自动驾驶系统中时，它主要是一个支持性开发工具包的一部分。 长期以来，一直普遍认为激光雷达不需要作为交通控制传感器，因为（i）它无法穿透恶劣天气；（ii）光学机械结构脆弱；（iii）其相对较高的价格。 然而，今天我们可以获得高质量但价格更低廉的激光雷达传感器，并且具有更可靠的光学机械解决方案； 恶劣天气问题可以在一定程度上得到解决，等等。
---
这项技术无法被阻止，过去十年的深入研究表明取得了显著进展。如今，激光雷达是许多自主机器人应用中不可或缺的传感器，并且在自动驾驶领域将占据重要地位。然而，未来仍有许多机会通过利用例如多重反射模式、多普勒效应和反射强度等方式来进一步增强其功能。激光雷达的主要优势在于它是唯一能够提供远距离高分辨率的传感器：它能够非常精细和准确地识别物体，即使在远处也是如此。
在上述任务的实施方法中，基于庞大的测试数据库，深度学习方法被广泛用于检测和分类。在3D校准和定位任务中，传统的基于3D几何的数学框架，例如[^97]，仍然被使用。然而，直接数学方法的计算结果也可以用于深度学习训练方法的数据输入步骤，尤其是在3D几何任务中，以获得更完整的输入变化集。
随着激光雷达传感器发展的工业趋势，在3D测量序列的空间和时间分辨率不断提高，同时测量噪声降低，未来激光雷达传感器可能会成为一种通用工具，用于可靠地捕获用于各种实时感知、导航和地图绘制问题的密集且准确的3D环境信息。
在过去十年中，另一个值得注意的趋势是朝着生产更小、更紧凑的激光雷达设备。这些趋势使得激光雷达传感器可以在小型无人机（UAV）[^98]上使用，从而为进一步的研究和许多新的应用[^99]开辟了方向。
## CRediT 署名贡献声明
所有作者对本文均做出了同等贡献。
## 利益冲突声明
作者声明，他们没有已知的可能影响本文中报告工作的潜在的财务利益或个人关系。
## 致谢
该研究由创新与技术部国家研发办公室在“自主系统国家实验室计划”框架内以及匈牙利国家科学基金会（NKFIH OTKA）第K 139485号资助。
## 参考文献
[^1]: J.C.F. Diaz, W.E. Carter, R.L. Shrestha, C.L. Glennie, LiDAR Remote Sensing, Springer International Publishing, Cham, 2017, pp. 929–980.
[^2]: M.L. Chanin, A. Garnier, A. Hauchecorne, J. Porteneuve, A Doppler Lidar for measuring winds in the middle atmosphere, Geophys. Res. Lett. 16 (11) (1989) 1273–1276, .
[^3]: A. Teichman, J. Levinson, S. Thrun, Towards 3D object recognition via classification of arbitrary object tracks, in: 2011 IEEE International Conference on Robotics and Automation, 2011, pp. 4034–4041.
[^4]: G. Pandey, J.R. McBride, R.M. Eustice, Ford campus vision and Lidar data set, Int. J. Robot. Res. 30 (13) (2011) 1543–1552, .
[^5]: A. Geiger, P. Lenz, R. Urtasun, Are we ready for autonomous driving? The Kitti vision benchmark suite, in: IEEE CVPR, 2012.
[^6]: J.-L. Blanco, F.-A. Moreno, J. Gonzalez-Jimenez, The Málaga urban dataset: high-rate stereo and Lidars in a realistic urban scenario, Int. J. Robot. Res. 33 (2) (2014) 207–214, , .
[^7]: W. Maddern, G. Pascoe, C. Linegar, P. Newman, 1 year, 1000 km: the Oxford robot car dataset, Int. J. Robot. Res. 36 (1) (2017) 3–15, .
[^8]: Y. Ma, X. Zhu, S. Zhang, R. Yang, W. Wang, D. Manocha, Trafficpredict: trajectory prediction for heterogeneous traffic-agents, in: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 6120–6127.
[^9]: J. Jeong, Y. Cho, Y.-S. Shin, H. Roh, A. Kim, Complex urban dataset with multilevel sensors from highly diverse urban environments, Int. J. Robot. Res. (2019) 0278364919843996.
[^10]: Y. Choi, N. Kim, S. Hwang, K. Park, J.S. Yoon, K. An, I.S. Kweon, Kaist multi-spectral day/night dataset for autonomous and assisted driving.
[^11]: A.Z. Zhu, D. Thakur, T. Özaslan, B. Pfrommer, V. Kumar, K. Daniilidis, The multivehicle stereo event camera dataset: an event camera dataset for 3D perception, IEEE Robot. Autom. Lett. 3 (3) (2018) 2032–2039, .
[^12]: Z. Yan, L. Sun, T. Krajnik, Y. Ruichek, EU long-term dataset with multiple sensors for autonomous driving, in: Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020.
[^13]: K. Behrendt, R. Soussan, Unsupervised labeled lane marker dataset generation using maps, in: Proceedings of the IEEE International Conference on Computer Vision, 2019.
[^14]: J. Xue, J. Fang, T. Li, B. Zhang, P. Zhang, Z. Ye, J. Dou, Blvd: building a large-scale 5D semantics benchmark for autonomous driving, in: 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 6685–6691.
[^15]: A. Patil, S. Malla, H. Gang, Y.-T. Chen, The H3D dataset for full-surround 3D multi-object detection and tracking in crowded urban scenes, in: International Conference on Robotics and Automation, 2019.
[^16]: J. Houston, G. Zuidhof, L. Bergamini, Y. Ye, A. Jain, S. Omari, V. Iglovikov, P. Ondruska, One thousand and one hours: self-driving motion prediction dataset, , 2020.
[^17]: H. Caesar, V. Bankiti, A.H. Lang, S. Vora, V.E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, O. Beijbom, Nuscenes: a multimodal dataset for autonomous driving, arXiv preprint, arXiv:1903.11027.
[^18]: P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui, J. Guo, Y. Zhou, Y. Chai, B. Caine, V. Vasudevan, W. Han, J. Ngiam, H. Zhao, A. Timofeev, S. Ettinger, M. Krivokon, A. Gao, A. Joshi, Y. Zhang, J. Shlens, Z. Chen, D. Anguelov, Scalability in perception for autonomous driving: Waymo open dataset, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[^19]: M. Chang, J. Lambert, P. Sangkloy, J. Singh, S. Bak, A. Hartnett, D. Wang, P. Carr, S. Lucey, D. Ramanan, J. Hays, Argoverse: 3D tracking and forecasting with rich maps, CoRR, arXiv:1911.02620.
[^20]: A. Börcs, B. Nagy, C. Benedek, Instant object detection in Lidar point clouds, in: IEEE Geosci. Remote Sens. Lett, 2017, pp. 992–996.
[^21]: B. Nagy, C. Benedek, 3D CNN-based semantic labeling approach for mobile laser scanning data, IEEE Sens. J. 19 (21) (2019) 10034–10045, .
[^22]: C. Benedek, D. Molnár, T. Szirányi, A dynamic MRF model for foreground detection on range data sequences of rotating multi-beam Lidar, in: X. Jiang, O.R.P. Bellon, D. Goldgof, T. Oishi (Eds.), Advances in Depth Image Analysis and Applications, Springer Berlin Heidelberg, Berlin, Heidelberg, 2013, pp. 87–96.
[^23]: R.B. Rusu, S. Cousins, 3D is here: point cloud library (PCL), in: 2011 IEEE International Conference on Robotics and Automation, 2011, pp. 1–4.
[^24]: J.-F. Lalonde, N. Vandapel, M. Hebert, Data structures for efficient dynamic processing in 3-d, Int. J. Robot. Res. 26 (8) (2007) 777–796, .
[^25]: M. Himmelsbach, A. Müller, T. Luettel, H.-J. Wuensche, Lidar-based 3D object perception, in: Proceedings of 1st International Workshop on Cognition for Technical Systems, 2008.
[^26]: A. Azim, O. Aycard, Detection, classification and tracking of moving objects in a 3D environment, in: 2012 IEEE Intelligent Vehicles Symposium, 2012, pp. 802–807.
[^27]: A. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, O. Beijbom, Pointpillars: fast encoders for object detection from point clouds, in: Conference on Computer Vision and Pattern Recognition, 2019, pp. 12689–12697.
[^28]: Y. Zhou, O. Tuzel, Voxelnet: end-to-end learning for point cloud based 3D object detection, in: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 4490–4499.
[^29]: T.-H. Kim, T.-H. Park, Placement optimization of multiple Lidar sensors for autonomous vehicles, IEEE Trans. Intell. Transp. Syst. 21 (5) (2020) 2139–2145, .
[^30]: K.O. Arras, O.M. Mozos, W. Burgard, Using boosted features for the detection of people in 2D range data, in: IEEE ICRA, 2007.
[^31]: W. Hess, D. Kohler, H. Rapp, D. Andor, Real-time loop closure in 2D LIDAR SLAM, in: IEEE ICRA, 2016.
[^32]: L. Kurnianggoro, K.H. Jo, Object classification for LIDAR data using encoded features, in: 2017 10th International Conference on Human System Interactions (HSI), 2017, pp. 49–53.
[^33]: C. Weinrich, T. Wengefeld, M. Volkhardt, A. Scheidig, H.-M. Gross, Generic Distance-Invariant Features for Detecting People with Walking Aid in 2D Laser Range Data, Springer International Publishing, Cham, 2016, pp. 735–747.
## [^34]: F. Galip, M.H. Sharif, M. Caputcu, S. Uyaver, Recognition of objects from laser scanned data points using SVM, in: 2016 First International Conference on Multimedia and Image Processing (ICMIP), 2016, pp. 28–35.
---
[^35]: L. Beyer, A. Hermans, B. Leibe Drow, Real-time deep learning-based wheelchair detection in 2-D range data, IEEE Robot. Autom. Lett. 2 (2) (2017) 585–592, .
[^36]: L. Spinello, K.O. Arras, R. Triebel, R. Siegwart, A layered approach to people detection in 3D range data, in: Proceedings of the Twenty-Fourth AAAI Conference on Artificial Intelligence, AAAI'10, AAAI Press, 2010, pp. 1625–1630.
[^37]: V. Alvarez-Santos, A. Canedo-Rodriguez, R. Iglesias, X. Pardo, C. Regueiro, M. Fernandez-Delgado, Route learning and reproduction in a tour-guide robot, Robot. Auton. Syst. 63 (Part 2) (2015) 206–213, .
[^38]: Z. Rozsa, T. Sziranyi, Obstacle prediction for automated guided vehicles based on point clouds measured by a tilted Lidar sensor, IEEE Trans. Intell. Transp. Syst. 19 (8) (2018) 2708–2720, .
[^39]: I. Sipiran, B. Bustos, Harris 3D: a robust extension of the Harris operator for interest point detection on 3D meshes, Vis. Comput. 27 (11) (2011) 963–976, .
[^40]: Z. Rozsa, T. Sziranyi, Object detection from a few Lidar scanning planes, IEEE Trans. Intell. Veh. 4 (4) (2019) 548–560, .
[^41]: M. Kutila, P. Pyykönen, W. Ritter, O. Sawade, B. Schäufele, Automotive LIDAR sensor development scenarios for harsh weather conditions, in: IEEE ITSC, 2016.
[^42]: N. Charron, S. Phillips, S. Waslander, De-noising of Lidar point clouds corrupted by snowfall, , 2018, pp. 254–261.
[^43]: R. Heinzler, F. Piewak, P. Schindler, W. Stork, CNN-based Lidar point cloud denoising in adverse weather, IEEE Robot. Autom. Lett. 5 (2) (2020) 2514–2521, .
[^44]: R. Heinzler, P. Schindler, J. Seekircher, W. Ritter, W. Stork, Weather influence and classification with automotive Lidar sensors, in: 2019 IEEE Intelligent Vehicles Symposium (IV), 2019, pp. 1527–1534.
[^45]: M. Kutila, P. Pyykönen, H. Holzhüter, M. Colomb, P. Duthon, Automotive Lidar performance verification in fog and rain, in: 2018 IEEE Intelligent Transportation Systems Conference, ITSC 2018, IEEE Institute of Electrical and Electronic Engineers, United States, 2018, pp. 1695–1701.
[^46]: M. Bijelic, T. Gruber, F. Mannan, F. Kraus, W. Ritter, K. Dietmayer, F. Heide, Seeing through fog without seeing fog: deep multimodal sensor fusion in unseen adverse weather, in: The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[^47]: J. Zhang, S. Singh, Loam: Lidar odometry and mapping in real-time, in: Robotics: Science and Systems Conference, 2014.
[^49]: T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, R. Daniela, LIO-SAM: tightly-coupled Lidar inertial odometry via smoothing and mapping, in: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2020, pp. 5135–5142.
[^48]: R. Dube, A. Cramariuc, D. Dugas, J. Nieto, R. Siegwart, C. Cadena, SegMap: 3D segment mapping using data-driven descriptors, in: Robotics: Science and Systems Conference, 2018.
[^50]: T. Shan, B. Englot, C. Ratti, R. Daniela, LVI-SAM: tightly-coupled Lidar-visual-inertial odometry via smoothing and mapping, in: IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2021, arXiv preprint, arXiv:2104.10831.
[^51]: D. Rozenberszki, A.L. Majdik, LOL: Lidar-only odometry and localization in 3D point cloud maps $^{*}$, in: 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 4379–4385.
[^52]: B. Nagy, C. Benedek, Real-time point cloud alignment for vehicle localization in a high resolution 3D map, in: ECCV Workshops, 2018.
[^53]: B. Nagy, C. Benedek, 3D CNN based phantom object removing from mobile laser scanning data, in: Int'l Joint Conference on Neural Networks (IJCNN), Anchorage, Alaska, USA, 2017, pp. 4429–4435.
[^54]: Y. Yu, J. Li, H. Guan, C. Wang, Automated detection of three-dimensional cars in mobile laser scanning point clouds using DBM-Hough-Forests, IEEE Trans. Geosci. Remote Sens. 54 (7) (2016) 4130–4142, .
[^55]: H. Zheng, R. Wang, S. Xu, Recognizing street lighting poles from mobile LiDAR data, IEEE Trans. Geosci. Remote Sens. 55 (1) (2017) 407–420, .
[^56]: B. Wu, B. Yu, W. Yue, S. Shu, W. Tan, C. Hu, Y. Huang, J. Wu, H. Liu, A voxel-based method for automated identification and morphological parameters estimation of individual street trees from mobile laser scanning data, Remote Sens. 5 (2) (2013) 584.
[^57]: S. Papadimitriou, H. Kitagawa, P.B. Gibbons, C. Faloutsos, LOCI: fast outlier detection using the local correlation integral, in: Int'l Conf. on Data Engineering, Los Alamitos, CA, USA, 2003, pp. 315–326.
[^58]: S. Sotoodeh, Outlier detection in laser scanner point clouds, in: ISPRS Arch. Photogramm. Remote Sens. and Spatial Inf. Sci., vol. XXXVI-5, 2006, pp. 297–302.
[^59]: J. Köhler, T. Nöll, G. Reis, D. Stricker, Robust outlier removal from point clouds acquired with structured light, in: Eurographics (Short Papers), Cagliari, Italy, 2012, pp. 21–24.
[^60]: T. Kanzok, F. Süß, L. Linsen, R. Rosenthal, Efficient removal of inconsistencies in large multi-scan point clouds, in: Int'l Conf. in Central Europe on Computer Graphics, Visualization and Computer Vision, Pilsen, Czech Rep., 2013.
[^61]: J. Gehrung, M. Hebel, M. Arens, U. Stilla, An approach to extract moving objects from MLS data using a volumetric background representation, in: ISPRS Ann. Photogramm. Remote Sens. and Spatial Inf. Sci., vol. IV-1, 2017.
[^62]: M. Engelcke, D. Rao, D.Z. Wang, C.H. Tong, I. Posner, Vote3Deep: fast object detection in 3D point clouds using efficient convolutional neural networks, in: IEEE International Conference on Robotics and Automation (ICRA), Singapore, 2017, pp. 1355–1361.
[^63]: J. Huang, S. You, Point cloud labeling using 3D convolutional neural network, in: International Conference on Pattern Recognition (ICPR), Cancun, Mexico, 2016, pp. 2670–2675.
[^64]: H.S. Koppula, A. Anand, T. Joachims, A. Saxena, Semantic labeling of 3D point clouds for indoor scenes, in: Int'l Conf. Neural Inf. Processing Systems (NIPS), Granada, Spain, 2011, pp. 244–252.
[^65]: T. Hackel, J.D. Wegner, K. Schindler, Fast semantic segmentation of 3D point clouds with strongly varying density, ISPRS Ann. Photogramm. Remote Sens. and Spatial Inf. Sci. III-3.
[^66]: G. Riegler, A.O. Ulusoy, A. Geiger, OctNet: learning deep 3D representations at high resolutions, in: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6620–6629.
[^67]: G. Pang, U. Neumann, 3D point cloud object detection with multi-view convolutional neural network, in: International Conference on Pattern Recognition (ICPR), Cancun, Mexico, 2016, pp. 585–590.
[^68]: C. Qi, L. Yi, H. Su, L. Guibas, PointNet++: deep hierarchical feature learning on point sets in a metric space, in: Conf. NIPS, 2017.
[^69]: W. Wang, R. Yu, Q. Huang, U. Neumann, SGPN: similarity group proposal network for 3D point cloud instance segmentation, in: IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, 2018, pp. 2569–2578.
[^70]: H. Su, V. Jampani, D. Sun, S. Maji, V. Kalogerakis, M.-H. Yang, J. Kautz, SPLAT-Net: Sparse lattice networks for point cloud processing, 2018, pp. 2530–2539.
[^71]: W. Xiao, B. Vallet, M. Brédif, N. Paparoditis, Street environment change detection from mobile laser scanning point clouds, ISPRS J. Photogramm. Remote Sens. 107 (2015) 38–49.
[^72]: A. Schlichting, C. Brenner, Vehicle localization by Lidar point correlation improved by change detection, in: ISPRS International Archives of the Photogrammetry, in: Remote Sensing and Spatial Information Sciences, vol. XLI-B1, 2016, pp. 703–710.
[^73]: R. Qin, A. Gruen, 3D change detection at street level using mobile laser scanning point clouds and terrestrial images, ISPRS J. Photogramm. Remote Sens. 90 (2014) 23–35.
[^74]: J.P. Underwood, D. Gillsjö, T. Bailey, V. Vlakine, Explicit 3D change detection using ray-tracing in spherical coordinates, in: IEEE International Conference on Robotics and Automation, Karlsruhe, Germany, 2013, pp. 4735–4741.
[^75]: K. Liu, J. Boehm, C. Alis, Change detection of mobile LIDAR data using cloud computing, in: ISPRS International Archives of the Photogrammetry, in: Remote Sensing and Spatial Information Sciences, vol. XLI-B3, 2016, pp. 309–313.
[^76]: Z. Rozsa, M. Golarits, T. Sziranyi, Localization of map changes by exploiting slam residuals, in: J. Blanc-Talon, P. Delmas, W. Philips, D. Popescu, P. Scheunders (Eds.), Advanced Concepts for Intelligent Vision Systems, Springer International Publishing, Cham, 2020, pp. 312–324.
[^77]: B. Gálai, C. Benedek, Change detection in urban streets by a real time Lidar scanner and MLS reference data, in: International Conference on Image Analysis and Recognition (ICIAR), in: Lecture Notes in Computer Science, vol. 10317, Springer, Montreal, Canada, 2017, pp. 210–220.
[^78]: G. Pandey, J.R. McBride, S. Savarese, R.M. Eustice, Automatic extrinsic calibration of vision and Lidar by maximizing mutual information, J. Field Robot. 32 (2015) 696–722.
[^79]: Z. Pusztai, I. Eichhardt, L. Hajder, Accurate calibration of multi-Lidar-multi-camera systems, in: Sensors, vol. 18, 2018, pp. 119–152.
[^80]: G. Iyer, R.K. Ram, J.K. Murthy, K.M. Krishna, Calibnet: Geometrically supervised extrinsic calibration using 3D spatial transformer networks, in: 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).
[^81]: A. Geiger, F. Moosmann, O. Car, B. Schuster, Automatic camera and range sensor calibration using a single shot, in: IEEE International Conference on Robotics and Automation, 2012, pp. 3936–3943.
[^82]: H. Alismail, L. Baker, B. Browning, Automatic calibration of a range sensor and camera system, in: 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission, 2012, pp. 286–292.
[^83]: Y. Park, S.M. Yun, C.S. Won, K. Cho, K. Um, S. Sim, Calibration between color camera and 3D LIDAR instruments with a polygonal planar board, in: Sensors, 2014.
[^84]: M. Velas, M. Spanel, Z. Materna, A. Herout, Calibration of RGB camera with velodyne LiDAR, 2014.
[^85]: S. Rodriguez-Florez, V. F., P. Bonnifait, Extrinsic calibration between a multilayer Lidar and a camera, in: IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, 2008, pp. 214–219.
## [^86]: Y.C. Shiu, S. Ahmad, Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB, IEEE Trans. Robot. Autom. 5 (1) (1989) 16–29.
---
[^87]: K. Huang, C. Stachniss, Extrinsic multi-sensor calibration for mobile robots using the Gauss Helmert model, in: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017, pp. 1490–1496.
[^88]: K.H. Strobl, G. Hirzinger, Optimal hand-eye calibration, in: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2006, pp. 4647–4653.
[^89]: P. Moghadam, M. Bosse, R. Zlot, Line-based extrinsic calibration of range and image sensors, IEEE Int. Conf. Robot. Autom. (2013) 3685–3691.
[^90]: C. Shi, K. Huang, Q. Yu, J. Xiao, H. Lu, C. Xie, Extrinsic calibration and odometry for camera-Lidar systems, IEEE Access 7 (2019) 120106–120116.
[^91]: O. Józsa, A. Börcs, C. Benedek, Towards 4D virtual city reconstruction from Lidar point cloud sequences, in: ISPRS Workshop on 3D Virtual City Modeling, Regina, Canada, in: ISPRS Annals Photogram. Rem. Sens. and Spat. Inf. Sci., vol. II-3/W1, 2013, pp. 15–20.
[^92]: R. Wang, F.P. Ferrie, J. Macfarlane, Automatic registration of mobile Lidar and spherical panoramas, in: IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2012, pp. 33–40.
[^93]: A. Napier, P. Corke, P. Newman, Cross-calibration of push-broom 2D LIDARs and cameras in natural scenes, in: IEEE International Conference on Robotics and Automation (ICRA), 2013, pp. 3679–3684.
[^94]: D. Scaramuzza, A. Harati, R. Siegwart, Extrinsic self calibration of a camera and a 3D laser range finder from natural scenes, in: IEEE/RSJ International Conference on Intelligent Robots and Systems, 2007, pp. 4164–4169.
[^95]: B. Nagy, C. Benedek, On-the-fly camera and Lidar calibration, Remote Sens. 12 (7) (2020), , .
[^96]: N. Schneider, F. Piewak, C. Stiller, U. Franke, Regnet: multimodal sensor registration using deep neural networks, in: 2017 IEEE Intelligent Vehicles Symposium (IV), 2017, pp. 1803–1810.
[^97]: D. Barath, J. Matas, Graph-cut ransac: local optimization on spatially coherent structures, IEEE Trans. Pattern Anal. Mach. Intell. (2021) 1, .
[^98]: X. Li, C. Liu, Z. Wang, X. Xie, D. Li, L. Xu, Airborne LiDAR: state-of-the-art of system design, technology and application, Meas. Sci. Technol. 32 (3) (2020) 032002, .
[^99]: D.V. Nam, K. Gon-Woo, Solid-state LiDAR based-slam: a concise review and application, in: 2021 IEEE International Conference on Big Data and Smart Computing (BigComp), 2021, pp. 302–305.
Csaba Benedek 获得了布达佩斯技术与经济大学 (BME) 的计算机科学硕士学位，于 2004 年，以及布达佩斯佩特·帕兹马尼天主教大学的图像处理博士学位，于 2008 年。从 2008 年到 2009 年，他在法国索菲亚-安提波利 INRIA 担任博士后研究员。他于 2021 年获得匈牙利科学院授予的理学博士学位。近年来，他担任多个国家和国际研究项目的负责人。他目前是计算机科学与控制研究所 (SZTAKI) 机器视觉研究实验室的研究顾问，以及佩特·帕兹马尼天主教大学的 habilitated 副教授。他的研究兴趣包括贝叶斯图像和点云分割、目标提取、变化检测以及地理信息系统数据分析。他目前是匈牙利图像处理和模式识别协会 (KEPAF) 的主席（2019-2023 年）。
András L. Majdik 博士于 2012 年获得罗马尼亚克卢日-纳波卡技术大学的系统工程博士学位，该学位是对移动机器人的同步定位与地图 (SLAM) 的贡献。 在攻读博士学位期间，他曾在西班牙萨拉戈萨大学的机器人、感知和实时研究小组以及匈牙利布达佩斯技术与经济大学的 3D 视觉和移动机器人研究小组进行访学。 之后，他在苏黎世大学的机器人与感知研究小组担任博士后。 目前，他是计算机科学与控制研究所 (SZTAKI) 的机器视觉研究实验室的高级研究员。 他的研究兴趣包括基于视觉和激光雷达的地面和空中车辆的定位和地图构建，以及自主系统的空间人工智能。
Balázs Nagy 博士于 2021 年获得布达佩斯彼特·帕兹曼天主教大学计算机科学博士学位。 他是计算机科学与控制研究所 (SZTAKI) 的机器视觉研究实验室的研究员。 他的研究兴趣包括传感器融合、计算机视觉、深度学习、机器人和自动驾驶车辆。
Zoltan Rozsa 博士于 2020 年获得布达佩斯科技与经济大学车辆与交通工程博士学位。 他目前在布达佩斯科技与经济大学的交通工程与车辆工程学院任教，同时也是计算机科学与控制研究所 (SZTAKI) 的机器视觉研究实验室的研究员。 他的研究兴趣包括自动引导车辆、机器视觉、3D 识别和重建。
Tamas Sziranyi 博士于 1991 年和 2001 年分别获得匈牙利科学院颁发的博士和理学博士学位。他于 2001 年在匈牙利 Veszprem 的 Pannon 大学，以及 2004 年在布达佩斯的彼得·帕兹曼天主教大学，被任命为正教授。目前，他担任布达佩斯技术与经济大学的正教授。自 1992 年以来，他一直是计算机科学与控制研究所 (SZTAKI) 的研究科学家，自 2006 年起，他领导该研究所的机器视觉研究实验室。他的研究活动包括机器视觉、模式识别、纹理和运动分割、马尔可夫随机场和随机优化、遥感、监控、智能网络传感器系统、基于图的聚类、数字电影修复。他的研究实验室参与了多个享有盛誉的国际项目（包括 ESA、EDA、FP6、FP7 和 OTKA）。
Sziranyi 博士是匈牙利图像处理与模式识别协会的创始人兼前任主席（1997 年至 2002 年）。他曾担任 IEEE 图像处理期刊的副编辑（2003 年至 2009 年），自 2012 年起，他担任 Digital Signal Processing（Elsevier）的副编辑。他于 2001 年荣获“杰出教授”奖，并于 2011 年获得匈牙利科学院的 Szechenyi 教授奖和 Veszprem 的 ProScientia 奖。他同时是国际模式识别协会（IAPR）和匈牙利工程院的院士（自 2008 年起）。他发表了 300 多篇论文，包括 50 篇在主要科学期刊上发表的论文，以及多项国际专利。