# 基于深度学习的3D激光雷达数据语义分割：投影方法综述 Alok Jhaldiyal $^{1}$ · Navendu Chaudhary $^{1,2}$ 已接收：2022年6月23日 / 在线发布：2022年7月11日 © 作者们，经Springer Science+Business Media, LLC（施普林格·自然旗下公司）独家授权使用，2022年 ## 摘要 激光雷达传感器是一种主动式遥感传感器，越来越多地被用于采集现实物体的3D信息。自动驾驶等实时决策应用高度依赖3D信息来在城市环境中导航。然而，激光雷达数据处理过程十分复杂且对资源消耗极大。基于点云的深度学习是近期取得的一项进展，旨在提取3D信息。深度学习的实现方式包括将原始点输入神经网络并转换为3D体素，或将3D点转换为2D图像后再利用成熟的2D卷积神经网络处理各个体素及3D卷积层。其中，前两种方法已被广泛研究，而投影方法虽在众多应用中被广泛采用，却较少被系统探讨。为填补这一空白，本文详细梳理了现有关于投影方法的研究文献，总结了该领域的最新进展。本文的重要任务还包括确定当前最先进的方法并归纳关键改进措施。 关键词：激光雷达点云 · 深度学习 · 语义分割 · 投影方法 ## 1 引言 分类后的环境数据是多种决策系统的核心要素。激光雷达（光探测与测距技术）已被广泛用于场景中物体的分类。点云分类技术的差异源于对点的处理方式不同，这些技术可分为三类：将点视为3D点、将点视为体素，以及将点云及其信息投影到2D平面上形成图像。前两种方式的运算开销极大，尤其难以满足实时应用的需求。 相比之下，投影方法具有双重优势：首先能降低运算开销；其次可利用激光雷达的强度等属性作为特征分类的依据。尽管其精度略低于基于点或体素的方法，但不少研究者证实该方法准确率极高，属于合理的权衡结果。投影分类研究通常采用单一投影方式或多种投影方式的融合，再借助成熟的机器学习模型提取信息。即便这类较少被研究的投影技术，其分割精度也与现有技术不相上下。较低的计算开销和内存需求进一步提升了这些技术在各类应用中的适配性与实用性，包括实时应用场景。基于上述背景，本综述旨在对投影技术进行详尽分析，并做出以下贡献： 1) 对投影方法进行全面详尽的综述，并将其与其他现有方法进行比较。 2) 明确以往及当前研究中采用的最先进方法。 3) 通过评估所采用的深度学习架构及改进措施，梳理该方法的发展历程。 --- ## 2 背景 ### 2.1 激光雷达点云 三维激光雷达是一种应用广泛、用于采集周围环境距离信息的传感器。激光雷达设备由激光器、扫描仪以及专用的全球定位系统（GPS）组成。激光雷达设备常见的搭载平台包括飞机、汽车和地面，分别对应机载激光扫描仪（ALS）、移动激光扫描仪（MLS）和地面激光扫描仪（TLS）。激光雷达利用脉冲激光照射物体，并测量反射光返回的时间。激光雷达脉冲激光照射到的位置会被记录下来，这些被记录下来的点的集合就称为点云。这些被采集的点包含相应的激光扫描数据，即距离信息以及对应的三维坐标值（x、y、z）。Qi、Su等人[^1]将点云定义为：“简单且统一的结构，能够避免网格模型存在的组合不规则性和复杂性。”点云数据在近实时应用场景中具有重要价值，包括自动驾驶、遥感和增强现实等；因此，对点云数据的处理需要快速且高效。 激光雷达点云的处理极具挑战性。这是因为点云的数据量极为庞大，数据集具有随机性且缺乏结构性，而且大多数激光雷达扫描结果中都存在遮挡现象。目前，利用点云提取三维信息已成为研究热点，不过迄今为止取得的所有研究成果还不足十年。 ### 2.2 点云的深度学习 早期处理点云的方法需要训练有素的工程师通过手工设计的方式费力地提取信息。这些手工设计的技术需要针对庞大的数据量和其中的噪声情况采用优化得当的处理方式。用手工方法处理完点云数据后，往往还需要进一步优化才能供目标应用程序使用[^2] [^3]。手工方法不仅繁琐，还依赖工程师的智慧和经验，难以满足大多数依赖三维数据、对信息实时性要求高且精度要求高的现代应用需求。 深度学习在二维图像的物体分类、语义分割和物体检测领域取得了显著成果（Yang等人，2021年；Liu等人，2022年；Huang等人，2021年；Sun等人，2021年）。计算机视觉与机器学习领域的九成进展都应用于二维图像。深度学习在二维图像上的重大突破促使研究人员将深度学习技术应用于三维激光雷达数据，这一方向正受到越来越多的关注[^4] [^5]。过去五到六年间，深度学习在激光雷达点云数据处理中的应用呈现出前所未有的发展势头，这主要得益于深度学习模型强大的特征表征能力。ScanObjectNN [^6]、ModelNet [^7]、ShapeNet [^8]、PartNet [^9]、ScanNet [^10]、Semantic3D [^11]以及Kitti视觉基准数据集 [^12] [^13]等公开的点云数据基准数据集，为近年来的相关研究提供了关键支撑。表1汇总了可用于语义分割的公开三维激光雷达数据集，详细列出了各数据集的采集点数、包含的类别、数据规模以及扫描传感器的类型等信息。深度学习模型能够直接从数据中学习并利用语义特征与深层特征表示，无需像早期的点云处理方法那样依赖人工设计的特征。然而，与二维图像相比，深度学习在三维点云数据上的应用极具挑战性，因为这类数据具有高度的非结构化、异质性和高维度特点[4, 22–24]。深度学习方法主要致力于解决以下问题：从稀疏点云中提取高密度点云的表征；构建尺寸与排列不变的网络；优化对海量数据的处理流程以降低时间与资源消耗[^25]。场景杂乱导致的遮挡、盲点、无关点以及点云对齐误差等问题也是亟待解决的难题[^26]。 三维点云处理流程包括原始点云数据的预处理与配准、分类、物体检测、跟踪以及点云分割。三维形状分类会对点进行识别，随后为其赋予全局描述符形状。三维物体检测利用三维检测器在点云中定位物体，并为其划定边界框。三维物体跟踪则是根据当前点云帧中的物体位置，预测其在后续帧中的位置。语义分割会将点云中的点划分为不同的子集或类别，其主要作用是确定点的所属父类。从技术层面讲，语义分割是一种用于深入理解所采集的三维帧信息、并为每个点标注精确类别标签的方法。语义分割对深度学习的成功应用影响深远，因为用于训练深度学习模型的标注数据正是来源于点云的语义分割结果。目前，关于激光雷达数据语义分割的研究仍在持续推进，且面临诸多挑战（Sun等人，2022年；Duan等人，2021年；Bai等人，2022年）。语义分割面临几大挑战：数据规模庞大且大规模分割难度大；该任务对资源要求高，需要大量的内存与计算能力；点云的异质性也是一大难题，因为其没有固定结构且完全无序。当前最先进的点云深度学习方法可分为基于点的方法[1, 27–34]、基于体素的方法[35–39]以及基于投影的方法（Wang, 2018c; [40–44]）。 ---
Table 1 Available datasets for 2D LiDAR semantic segmentation. The number of classes in the bracket demotes the annotated classes, while the rest are classes used for evaluation. ‘-’ implies that the data was unavailable
S. No.Dataset NameYearScanned Points CountScanned Classes CountNo. of ScansSpatial SizeSensors
1Oakland [^14]20091.6 M5 (44)17-MLS
2ISPRS [^15]20121.2 M9-ALS
3Paris-rue-Madame [^16]201420 M172-MLS
4IQmulus [^17]2015300 M8 (22)10-MLS
5ScanNet [^10]201720 (20)1513$8 \times 4 \times 4$RGB-D
6S3DIS [^18]2017273 M13 (13)272$10 \times 5 \times 5$Matterport
7Semantic3D [^11]20174000 M8 (9)15/15$250 \times 260 \times 80$TLS
8Paris-Lille-3D [^19]2018143 M9 (50)3$200 \times 280 \times 30$MLS
9SemanticKITTI [^12]20194549 M25 (28)23,201/20351$150 \times 100 \times 10$MLS
10Toronto-3D [^20]202078.3 M8 (9)4$260 \times 350 \times 40$MLS
11DALES [^21]2020505 M8 (9)40$500 \times 500 \times 65$ALS
#### 2.2.1 基于点的方法 基于点的方法直接作用于无结构且不规则的点云数据。这些方法直接与点进行交互，以单个点为输入，输出标记后的点，或对整个点云进行标注。基于点的方法可分为基于PointNet的方法[^1] [^30]、基于深度卷积神经网络（CovNets）的方法[^31] [^45]，以及基于自编码器（AE）的方法[^46] [^47] [^48]。基于PointNet的方法应用广泛，为后续研究提供了基准。PointNet[^1]是一项开创性成果与突破，它开启了深度学习直接处理点数据的大门，无需将点渲染为体素或二维图像。PointNet在网络每一层都采用最大池化函数，通过学习优化函数并将优化后的值聚合为全局描述符。继PointNet之后出现了PointNet++[^30]，它是PointNet的改进版本，能够捕捉局部结构，而这正是前一版本所欠缺的。不过，基于点的方法未能考虑局部点之间预先存在的相关性。处理原始点云数据极具挑战性，因为点云具有不规则、无结构和无序的特点，导致处理复杂度和时间开销极高，因此其在近实时应用场景中的使用受到限制。 #### 2.2.2 基于体素的方法 基于体素的方法涉及将整个点云分解为称为体素或体积元素的规则三维立方体，再对每个体素应用三维卷积神经网络（CNN）。基于体素的方法的工作流程分为两个阶段：离线阶段和在线阶段[^22]。离线阶段将点云数据转换为固定大小的三维体素，并添加法向量以区分各个体素。在线阶段则开始学习过程，采用由卷积层、最大池化层及其他全连接层构成的CNN。尽管基于体素的方法效率较高，但计算量极大且对内存需求高。此外，基于体素的方法无法捕捉其所生成的体素中原始三维点云的固有自然结构[^49]。 #### 2.2.3 基于投影的方法 基于投影的方法得益于成熟完善的二维CNN技术。这些方法将三维点云投影到二维图像上，再通过现有的二维CNN对投影后的定制图像进行处理，从而识别类别标签。为每个点标注好标签后，再将二维图像投影回对应的点云。点云的投影至关重要，因为它决定了最终的分割结果。现有的一些方法会将三维点云从多个虚拟相机视角投影为二维图像，这类方法被称为多视图基方法；或者根据不同的投影技术将三维点数据投影为二维图像，这类方法被称为基于投影的方法。三维点云向二维平面的投影基于一些既定的投影技术，即球面投影[^42]和鸟瞰图（BEV）投影[^50]。 基于投影的方法依赖于紧凑的表示形式，即二维网格，能够捕捉局部几何特征以及 [^22]。考虑到实时应用场景，将数据转换为体素或处理原始点数据所产生的高昂计算成本，使得这些方法并不可行 [^40] [^51]。不过，基于投影的技术利用了已经相当成熟的二维深度学习方法，其运算速度足以满足具有近实时处理需求的当前应用要求。这些技术的计算强度较低， --- 因此无需过度依赖图形处理器（GPU）或其他高端设备。 ### 2.3 评估指标 为了评估分割及其他处理任务的准确性，人们提出了多种评估指标。最常用的分割指标包括交并比（IoU）、总体准确率（OA）以及平均交并比（mIoU）。IoU是一种用于评估物体检测器准确性的指标，它定义了掩码与预测输出之间的重叠百分比。 $$ I o U_{n}=\frac{T P_{n}}{T P_{n}+F P_{n}+F N_{n}} $$ $$ OA=\frac{\sum TP_{n}}{Total~number~of~points} $$ $$ mIoU=\frac{\sum IoU_{n}}{N} $$ 此处，N代表标签总数，TP表示真正例的点数，FP表示假正例的点数，FN表示假负例的点数，其中n为第n个标签。IoU用于估算每个类别的分割准确性，而OA和mIoU则用于评估分割的整体准确性。 ## 3 点云分割技术评估 三维点云数据的语义分割已经从手工设计的方法发展到基于深度学习的方法，从而显著提升了分割准确性。点云上的深度学习任务既困难又复杂。现有的方法，即基于点、体素和投影的方法，都试图降低处理的复杂度。非结构化数据规模庞大、对内存和计算能力要求高，更重要的是应用场景的特定需求，都会对分割过程产生重大影响。当我们谈及特定应用场景的需求时，指的是那些可能需要实时分割结果的应用，比如自动驾驶。在处理实时应用时，处理时间至关重要。基于点的方法直接利用原始点云数据，独立学习每个点的特征类别，因此其内存和GPU需求显著较高。基于体素的方法将数据集划分为较小的三维体素，逐个进行分割以降低计算需求；不过其内存需求依然很高。此外，当数据被划分为较小的体素后，点之间的几何关系就会受到影响。最后，基于投影的方法利用合适的投影技术将点云投影到二维平面上。标注训练数据的缺乏本质上限制了点云上的深度学习应用，而这正是基于投影的方法试图解决的问题。基于投影的技术利用了二维卷积神经网络（CNN）已成熟的能力。投影后的图像会被送入CNN进行分割，一旦识别出相应标签，图像就会被重新投影回原空间。表2通过分析一些最先进的方法，对比了不同的基于深度学习的点云分割技术。 ### 3.1 点云分割方法的算法途径 本节通过参考一些基准研究，探讨了用于点云分割的不同深度学习架构。为了详细说明这些方法，我们引用了基于项目的方法PointNet [^1]架构、基于体素的方法Voxnet [^52]，以及基于投影技术的FPS-Net [^53]模型架构。 #### 3.1.1 基于点的方法 PointNet是一项开创性成果，它无需将原始数据转换为体素或图像等中间形式即可完成点云分割。PointNet以n个点作为输入，每个点向量$P_{i}$由x、y和z坐标组成。模型的输出$n \times m$为各类别的得分，其中m代表不同的类别。PointNet的完整架构可分为三个主要部分：用于聚合所有输入点信息的最大池化层；用于整合局部与全局信息的结构；以及两个用于对输入点和特征进行整合的对齐网络，如图1所示。最大池化层是一种用于聚合特征的对称函数，该函数可实现多项关键功能，包括将输入按规范顺序排列、训练RNN，以及对训练数据中的所有排列情况进行增强。MLP利用最大池化层生成的全局特征进行分类，该全局特征也可用于整合局部与全局信息以实现分割。对齐网络则通过在特征提取前将输入调整为规范形式，来处理预测中的任何差异。 #### 3.1.2 基于体素的方法 图2展示了VoxNet的整体架构。它包含两个组件：用于识别空间占据情况的体素网格，以及用于从占据网格中预测类别标签的3D CNN。占据网格是由估计的空间占据情况构成的体素格子。VoxNet将包含$32 \times 32 \times 32$个体素的小体积内的密集数组作为CNN的输入。 ---
Table 2 Comparisons of OA (Overall Accuracy) and mean IoU (mIoU) of some point-, voxel-, and [^1] projection-based state-of-the-art methods
Segmentation MethodModel NameInputOverall Accuracymean IoU
Point-basedPointNet50 K Points89.214.6
PointNet++50 K Points90.720.1
PointCNN1024 points92.2-
Voxel-based3D Shapenetvoxel84.7-
VoxNetvoxel85.9-
VoxelNetvoxel-12
OctNetvoxel86.5-
Projection-basedRotation Net12 views97.37-
MVCNN12 views90.1-
SqueezeSegV264X2048 pixels-39.7
RangeNet++64X2048 pixels-52.2
SqueezeSeg64X2048 pixels-29.5
SalsaNext64X2048 pixels-59.5
SalsaNet64X2048 pixels-45.4
确定体素参考系和分辨率后，便可计算网格的占据情况。VoxNet采用三种方法来估算占据情况，即二进制占据网格、密度网格和命中网格。占据网格会被传入前馈CNN中，该CNN包含以下部分：输入层，用于更新占据模型网格单元中的每个值以确保其处于合理范围；卷积层，以四维数据作为输入，其中三维为空间维度，另一维为特征图，该层会生成f个特征图，f即为学习到的滤波器数量；用于数据下采样的池化层；以及包含n个神经元的全连接层，每个神经元的输出都是经过学习的组合结果。ReLU激活函数可直接用于输出类别标签。 #### 3.1.3 基于投影的方法 在FPS-Net中，通过球面投影方法生成三种投影图像，即点坐标、点深度和点强度。FPS-Net的创新之处在于它分别处理每种图像的模态，并先将其输入融合网络，再送入二维卷积网络。多感受野残差密集块（MRF-DB）是一种特征提取模块，每种模态的图像都会经过该模块处理并聚合成密集的连续结构。随后，该结构会通过$1 \times 1$卷积操作来降低维度。编码器和解码器网络会对融合后的特征进行处理：编码器由MRF-DB和下采样层构成，而解码器块则包含循环卷积块（RCB）和上采样层，如图3所示。最后，二维信息会被映射为三维点，并为每个类别分配标签。 ## 4 投影数据集上的深度学习 将深度学习应用于投影点云数据以实现分割的研究主要采用多阶段方法：将三维点云投影为合成的二维图像；利用生成的二维图像训练深度学习模型；进行像素级的分割和类别标注； ![Image](images/087b8a80f8faaa5fe9456a5b99e126a4ab59c435076ad7bf16d6f16263f72bfd.jpg)
Fig. 1 PointNet Architecture
---
Fig. 2 VoxNet Architecture
![Image](images/8b0c411e7a581544229c093b91e262a3fa0637fec1d940c59fd2668800e65dd0.jpg) 最后将分割后的数据重新投影为三维点云数据。三维点云的投影是决定整个分割过程性能的关键步骤。由于基于投影的方法能够充分利用针对二维结构化数据开发的成熟深度学习架构，因此模型训练和分割阶段的其余环节并不具有太大挑战性。基于投影的技术核心在于三维到二维的投影技术。整个模型的性能取决于将三维点云高效且有效地投影到二维图像空间的能力。任何结构损失或噪声干扰都会对模型训练和现有局部模式的识别产生不利影响。 图像投影涉及将扫描环境的球面视图映射为二维图像，具体过程是将球面坐标$(\theta, \phi, r)$投影为二维图像坐标$(x, y)$。用于将三维点云投影为二维图像的主要投影技术包括球面投影[^42]、鸟瞰图投影[^50]以及基于投影融合的混合技术。 ### 4.1 二维投影技术 球面投影，又称正面视图投影，在深度学习解决方案中被广泛用于简化…… #### 4.1.1 球面投影 3D激光雷达数据的维度特性如下：激光器以$360^{\circ}$的频率扫描周围环境，从而形成以激光雷达为中心、捕获点分布在曲面上的空心圆柱体几何形状。当这个空心圆柱体的曲面垂直于主轴投影到平面上时，就会生成球形投影图像。将坐标转换为像素坐标是一个多步骤过程：首先通过对球面坐标应用数学运算来计算像素坐标；接下来需要移动原点——当前原点位于图像中心。我们将原点从二维投影图像的中心移动到左上角，因为按照计算机视觉的惯例，原点应位于此处。此外，这一步骤还包括归一化和缩放操作，以确保图像能涵盖大部分相关点并可供深度学习模型使用；由于卷积网络通常要求图像尺寸为2的幂次方，因此还需满足这一要求。计算出每个点的像素坐标后，即可将点信息编码进去。编码信息包括点的x、y和z坐标，同时还会把点的强度以及该点到激光雷达的距离或范围数据添加到像素中，最终生成用于输入CNN的图像。 #### 4.1.2 鸟瞰图投影
Fig. 3 FPS-Net Architecture
鸟瞰图（BEV）投影最早由 Beltrán 等人于 2018 年提出 [^50]。新型 BEV 投影是一种称为 BirdNet [^50] 的感知系统的一部分，该系统是一个 3D 检测与 ![Image](images/7d0cc19a7b3e0f8838cdb91227b361234b174ab0c3f0bc263446739297f8b11c.jpg) --- 分类系统，展示了 BirdNet 的框架。LiDAR 点云被转换为 BEV 图像，其尺寸为 $N \times N$ 米，单元大小为 $\delta$，并被编码为包含高度、强度和密度的三通道图像。通常，对于 LiDAR 的每个垂直层级，会生成一个高度图，从而得到多个高度图切片。强度指的是点的反射率值。密度指的是每个单元格的点数，需要进行归一化处理，因为它与 LiDAR 发出的激光束数量成正比。这是一个重要的局限性：它使 BEV 投影仅适用于训练某些神经网络，而不适用于 LiDAR 传感器的任何其他用途。密度的归一化是通过对一张与 BEV 图像分辨率相同的图像进行交集分析来完成的，需要考虑每个单元格中可能的最大点数以及激光束视场内实际捕获的点数。 #### 4.1.3 投影数据集融合作为训练数据 将多个投影结果进行融合，旨在弥补因3D数据投影为2D图像而产生的数据丢失问题。这一策略是近期的重要进展，它通过克服投影技术带来的信息损失，使基于投影的方法变得更加有效。Alnaggar等人[^51]提出了一种多投影融合（MPF）框架，该框架在KITTI数据集上分析了球面投影与鸟瞰图投影。研究人员分别利用球面投影和鸟瞰图投影的数据集对卷积神经网络进行训练，随后再将两者的分割结果加以整合。这种方法取得的准确率高于RangeNet++[^40]、PolarNet[^44]等现有先进方法。 ### 4.2 基于投影的点云分割模型 多项研究利用投影后的激光雷达数据来训练深度学习模型，以实现点云数据的分割。后续章节将探讨所采用的各种前沿方法，以及为提高分割精度和运行效率而引入的改进措施。表2对比了各项研究的关键参数，包括投影技术、所用数据集以及方法上的改进。 #### 4.2.1 SqueezeSeg [^42] 吴等人（2018年）基于卷积神经网络开发了一种名为SqueezeSeg的端到端流程，该流程将三维点云投影为二维图像，并输出带有标签的点级数据。此外，该流程还利用条件随机场（CRF）对分割后的点进行进一步细化。由于激光雷达扫描得到的点较为稀疏且分布不规则，因此避免了体素化操作，以免产生大量空体素。研究中采用了球面投影方式将三维点映射到紧凑的二维图像上。输入数据为大小为$64 \times 512 \times 5$的张量，包含64个激光雷达数据垂直通道、512个前视图网格以及5个特征类别。为了减小参数规模，使用了Fire模块[^54]，同时利用CRF对带标签的点进行细化。所用数据集为KITTI数据集，训练样本则通过安装在汽车上的虚拟激光雷达在GTA V游戏中采集。表3中列出了所达到的类别级准确率。 #### 4.2.2 SqueezeSegV2 [^43] 吴等人（2018年）基于卷积神经网络开发了一种名为SqueezeSeg的端到端流程，该流程将三维点云投影为二维图像，并输出带有标签的点级数据。此外，该流程还利用条件随机场（CRF）对分割后的点进行进一步细化。由于激光雷达扫描得到的点较为稀疏且分布不规则，因此避免了体素化操作，以免产生大量空体素。研究中采用了球面投影方式将三维点映射到紧凑的二维图像上。输入数据为大小为64*512*5的张量，包含64个激光雷达数据垂直通道、512个前视图网格以及5个特征类别。为了减小参数规模，使用了Fire模块[^54]，同时利用CRF对带标签的点进行细化。所用数据集为KITTI数据集，训练样本则通过安装在汽车上的虚拟激光雷达在GTA V游戏中采集。表3中列出了所达到的类别级准确率。 #### 4.2.3 RangeNet++[^40] RangeNet++是一种基于投影的点云分割方法，其所生成的二维图像被称为距离图像，是通过球面投影方式得到的。与以往的技术相比，RangeNet++考虑了因车辆移动与激光雷达传感器旋转不同步而导致的扫描数据偏斜问题。RangeNet++的分割过程依赖于卷积神经网络，采用了与吴等人（2018年）类似的编码器-解码器沙漏形架构。解码器采用了改进的DarkNet [^58]骨干网络，从而能够支持非正方形长宽比。在从渲染图像还原点云时，渲染过程中获取的所有原始点都被视为采样点，其数量明显少于实际扫描得到的点数。分割后，推理输出的图像往往较为模糊，需要进行强度渲染处理。RangeNet++用基于GPU的最近邻搜索算法取代了SqueezeSeg [^42]和SqueezeSeg V2 [^43]中所用的条件随机场（CRF），用于在整个点云上进行计算。无论是在精度还是运行时间方面，RangeNet++都优于大多数以往的模型。 ---
Table 3 Projection-based methods to date, including the dataset used, 3D point to 2D image projection method, and major interventions that stepped up the efficiency
S. No.Network NameYearDataset UsedProjection MethodMajor Intervention
1Squeeze Seg (B. [^42])2018KITTI (Andreas [^13]) Self-Recorded (Grand Theft Auto V Video Game)SphericalUsed CRF as a post-processing method to refine results
2PointSeg (Wang, 2018)2018KITTI (A [^55])SphericalUsed RANSAC to remove outliers and improve results
3Squeeze Seg V2 (B. [^43])2019KITTI (Andreas [^13]) Self-Recorded (Grand Theft Auto V Video Game)SphericalContext Aggregation Module(CAM) is proposed to immunize from dropout noise
4RangeNet++ [^40]2019KITTI Odometry Benchmark [^12] [^13]SphericalReplaces CRF with GPU based calculations
5VolMap [^41]2019Scala Valeo Laser scan KITTI (Andreas [^13])BEVCombined BEV projection methods with voxelization to create VolMap using which the model was trained.
6PolarNet [^44]2020SemanticKITTI [^12] A2D2 [^56] Paris-Lille [^19]Modified BEVIntroduced Polar Bird's Eye View Projection to handle uneven distribution of points by BEV Projection
7SalsaNet [^57]2020KITTI road benchmark dataset (Andreas [^13])BEV SphericalConsider classes with more instances in the KITTI dataset and use an auto annotating module.
8MPF [^51]2021Semantic KITTI [^12]Fusion of BEV and SphericalCombined the segmentation results of CNN trained by BEV projected dataset and spherical projected dataset.
9FPS-Net [^53]2021Semantic KITTI (Andreas [^13])SphericalTrained the network, considering the modality gaps in projected images.
#### 4.2.4 VolMap [^41] Radi和Ali提出的VolMap [^41] 旨在解决球面投影带来的遮挡问题。在球面投影中，当以单个参考点为中心时，一个物体上的点会遮挡另一个物体上的点。VolMap的灵感来源于VoxelNet [^39]，它利用鸟瞰图投影和体素化概念来创建一种体积化的鸟瞰视图，其中高度代表了不同的激光雷达层。这种体积化地图被用作训练模型的输入，进而对点云进行分割。对比分析表明，与直接使用传感器采集的原始点云数据的PointNet++ [^30] 相比，VolMap的准确率高出20倍；在类别分割的准确率上提升了60%，不过运行时间比纯球面投影方法多出50%。 #### 4.2.5 PolarNet [^44] Zhang等人提出的PolarNet [^44] 采用了一种更便捷的激光雷达表示方法，即极坐标系统，该系统不会受点云不规则空间分布的影响。PolarNet的设计初衷是为了弥补鸟瞰图投影的缺陷：在鸟瞰图投影中，投影点被组织成半径各不相同的圆环，若采用标准笛卡尔坐标系，这些点的分布就会变得杂乱无章。靠近传感器的网格中 Points 密集堆积，掩盖了细节信息，而远离传感器的网格中 Points 则较为稀疏。这种点云空间分布的差异阻碍了分割效果。PolarNet没有按照笛卡尔坐标系来分配点，而是以传感器位置为原点，计算每个点的方位角和半径，再将点分配到相应网格中。这种极坐标鸟瞰图投影能使扫描点均匀分布，从而减轻深度学习模型的处理负担。如表1所示，与其他最先进的方法相比，PolarNet的分割准确率更高，各类别的分割准确率也有显著提升。 #### 4.2.6 PointSeg [^59] Wang提出的PointSeg [^59] 以SqueezeNet [^54] 为基础（该网络也用于SqueezeSeg [^42]），结合RGB分割方法来实现快速语义分割。实验中使用的3D激光雷达数据集是基准KITTI数据集（Andreas [^13]），图像是通过球面投影方法生成的。在将球面图像还原为点云数据时，PointSeg利用随机样本一致性算法（RANSAC）来剔除异常值。后处理阶段，RANSAC提升了分割效率，优于包括SqueezeSeg [^42] 在内的其他最先进方法。 --- #### 4.2.7 SalsaNet [^57] Aksoy等人[^57]提出了“SemAntic激光雷达数据分割网络”，即SalsaNet。这是一种编码器-解码器架构，包含连续的ResNet [^60]模块，用于分割鸟瞰图投影下的点云数据。由于KITTI数据集中行人和自行车样本较少，该分割过程仅重点关注道路和车辆区域。SalsaNet引入了自动标注技术，借助已在KITTI道路基准数据集上训练好的MultiNet [^61]网络（Andreas [^13]）来扩充标注数据集。为了分析不同投影方式对结果的影响，SalsaNet分别针对采用鸟瞰图投影和球面投影生成的图像进行训练。最终结果表明，无论采用哪种投影方式，SalsaNet的分割结果均具有投影不变性且精度更高。由于分割类别与其他研究有所不同，SalsaNet的性能对比详见表3。 #### 4.2.8 FPS-net [^53] FPS-Net利用了这样一个事实：投影后生成的图像——即包含点坐标(x,y,z)、点强度和点深度的图像——在处理时并未考虑其固有特性或模态差异。然而，各图像通道在模态上存在空缺，导致分割效率较低，因为CNN会使用相同的卷积核来处理它们。FPS-Net则单独处理每张图像，从每种图像模态中学习特征，最后再将学到的模态特征进行融合。相较于现有最先进的方法，FPS-Net不仅分割精度更高，运行时间也更短（见表4和表5）。 ## 5 实验结果 表3展示了现有方法在3D激光雷达KITTI数据集上的实验结果，该数据集是评估3D点云分割模型性能的基准数据集。为了便于进行比较分析，我们对所有研究方法采用了相同的数据集和相似的类别。本次详细综述的主要发现如下： 基于点云的深度学习颇具挑战性，迄今为止的方法要么直接对3D点应用深度学习，要么先将非结构化的3D数据转换为结构化数据后再运用深度学习方法。本综述重点探讨了那些在运行深度学习架构前将3D点投影为2D图像的基于投影的方法。这类方法更受青睐，因为它们运算速度快、计算开销小，非常适合自动驾驶等需要实时结果的应用场景。
Table 4 Comparative 3D segmentation results on 3D benchmark KITTI dataset
S. No.Network NameSizePer Classe IoU (%)ProcessorRuntimeScan/ Sec
CarPedestrianCyclist
1Squeeze Seg (B. [^42])$64 \times 2048$ px60.922.826.4Titan X8.7MS66
2Squeeze Seg-CRF (B. [^42])$64 \times 2048$ px64.621.825.113.6MS55
3PointSeg (Wang, 2018)$64 \times 2048$ px67.419.232.71080Ti GPU14MS-
PointSeg with RANSAC (Wang, 2018)$64 \times 2048$ px67.323.938.712MS-
4Squeeze Seg V2 [B. [^42]](BN+M+FL+CAM)$64 \times 2048$ px73.227.833.6--50
5RangeNet++ 53 [^40]$64 \times 2048$ px86.436.233.6Quadro P6000$64 \times 2048$ px: 26MS\n $64 \times 10^{24}$ px: 47MS\n $64 \times 512$ px: 82MS13\n25\n52
$64 \times 10^{24}$ px84.627.527.7
6RangeNet++ (KNN)[^40]$64 \times 2048$ px8116.825.812
$64 \times 10^{24}$ px91.438.338.812
7VolMap [^41]$64 \times 2048$ px90.329.634.221
8PolarNet [^44]$64 \times 2048$ px87.418.229.538
9FPS-Net [^53]$64 \times 2048$ px79.7133.6253.28-25.7MS-
$64 \times 2048$ px93.843.240.2---
9GPS-Net [^56]$64 \times 2048$ px98.761.549.4GeForce RTX 2080 TI Graphics Card20.8 FPS
对比分析的依据是分割精度（通过平均交并比IoU衡量）以及模型运行时间（以毫秒为单位）。涉及的技术模态包括条件随机场(CRF)、随机样本一致性(RANSAC)、批量归一化(BN)、激光雷达掩码(M)、焦点损失(FL)、上下文聚合模块(CAM)、帧率(FPS)以及K近邻算法。 ---
Table 5 Comparative 3D segmentation results on 3D benchmark KITTI dataset of SalsaNet with SqueezeSeg V1 and V2. Comparative analysis is based on the achieved segmentation accuracy that is measured through mean intersection over-Union (IoU) and model running time in milliseconds.
S. No.Network NameSizePer Class IoUProcessorRuntime
BackgroundRoadVehicle
1Squeeze Seg$64 \times 2048$ px97.4266.8645.13NVIDIA Tesla V100-DGXS-32GB GPU6.77MS
2Squeeze Seg V2$64 \times 2048$ px97.9969.4761.9310.24MS
3SalsaNet BEV$64 \times 256$ px98.1971.6769.196.26MS
- 基于投影的方法是新兴领域，相关研究均集中在过去五年内。近年来开源激光雷达数据集的出现是主要原因之一。此外，3D激光雷达数据的广泛应用也推动了其在自动驾驶、增强现实和城市交通等新领域的研发。 - 在大多数情况下，几乎所有经过评估的基于投影的研究都针对室外/城市场景分类，并使用MLS数据，即室外的KITTI数据集。从分割精度来看，可以看出大多数模型在标注汽车等大型物体时精度较高，而在小型物体上的精度则明显较低。 - 所有基于投影的研究与创新都涉及对深度学习架构的改进以及新或定制化的投影技术的开发。引入MPF、RANSAC、ResNet和MultiNet，以及对多模态的考量，都是对深度学习架构的重要改进。利用极坐标将体素化与投影技术相结合，以及在模型训练前对投影结果进行融合，都是提升投影激光雷达数据质量的主要进展。 大多数提出的方法都基于小规模数据。更大规模的激光雷达场景需要被纳入考虑范围，相关技术也需在此类数据上验证。由于大范围激光雷达数据的获取困难，且重新采集的成本高昂，导致相关研究往往局限于小规模数据集。 - 不同类别的分割点之间存在明显的精度差异。这种差异可作为未来研究中有针对性地选择分割技术的依据。 ## 6 结论 本综述是对投影激光雷达数据上深度学习应用的最新评述之一。其重点在于呈现现有框架的现状并识别最先进的方法。讨论部分详细介绍了该技术涉及的所有相关理论背景，并对迄今为止开展的各项研究逐一进行了阐述。我们成功识别出投影技术与深度学习架构方面的改进之处。该综述还基于数据规模、分割精度和运行时间对所有提出的模型进行了对比分析。由于本研究独具特色且涵盖了最新成果，未来的研究将从中受益。它有助于确定处理投影激光雷达数据的合适且可行的方法，所识别出的不足也将为后续研究提供指引。 ## 参考文献 1. Qi CR, Su H, Mo K, Guibas LJ (2017) PointNet：用于3D分类与分割的点集深度学习。第30届IEEE计算机视觉与模式识别会议论文集，CVPR 2017年1月：77–85页。 2. Hänsch R, Weber T, Hellwich O (2014) 点云融合中3D兴趣点检测器与描述符的比较。ISPRS摄影测量、遥感与空间信息科学年鉴II–3（9月）：57–64页。 3. Liu W, Sun J, Li W, Hu T, Wang P (2019) 点云上的深度学习及其应用：综述。Sensors（瑞士）19卷19期：1–22页。 4. Guo Y, Wang H, Hu Q, Liu H, Liu L, Bennamoun M (2019) 3D点云的深度学习：综述。载于：《IEEE模式分析与机器智能交易》第43卷第12期：4338–4364页。 5. Jiang D, Li G, Tan C, Huang L, Sun Y, Kong J (2021) 基于改进型faster-RCNN模型的多尺度目标语义分割与物体识别。Futur Gener Comput Syst 123：94–104页。 6. Uy MA、Pham QH、Hua BS、Nguyen T、Yeung SK（2019）重新审视点云分类：基于真实世界数据的新基准数据集与分类模型。收录于《2019年IEEE国际计算机视觉会议论文集》，2019年10月：1588–97页。 ## [^7]: Wu Z, Song S, Khosla A, Yu F, Zhang L, Tang X, Xiao J (2015) 3D ShapeNets: a deep representation for volumetric shapes. Proceedings of the IEEE computer society conference on computer --- 计算机视觉与模式识别会议，6月7日至12日：1912–20页。 8. Chang AX、Funkhouser T、Guibas L、Hanrahan P、Huang Q、Li Z、Savarese S等（2015）ShapeNet：一个信息丰富的3D模型库。。访问日期：2021年8月18日。 9. Mo K、Zhu S、Chang AX、Yi L、Tripathi S、Guibas LJ、Su H.（2019）PartNet：一个用于细粒度及层次化部件级3D物体理解的大规模基准测试集。收录于《2019年IEEE计算机学会计算机视觉与模式识别会议论文集》，2019年6月：909–18页。 10. Dai A、Chang AX、Savva M、Halber M、Funkhouser T、Nießner M（2017）ScanNet：标注详尽的室内场景3D重建数据集。收录于《第30届IEEE计算机视觉与模式识别会议论文集》，2017年1月：2432–43页。 11. Hackel T、Savinov N、Ladicky L、Wegner JD、Schindler K、Pollefeys M（2017）Semantic3D.Net：一个新的大规模点云分类基准测试集。《摄影测量、遥感与空间信息科学年鉴》第4卷（1W1期）：91–98页。 [^12]: Behley J, Garbade M (n.d.) SemanticKITTI : a dataset for semantic scene understanding of LiDAR sequences. no. iii. Accessed 18 Aug 2021 13. Geiger A、Lenz P、Urtasun R（2012）我们准备好迎接自动驾驶了吗？KITTI视觉基准测试套件。收录于《2012年IEEE计算机视觉与模式识别会议论文集》。IEEE出版社，第3354–3361页。 14. Munoz D、Bagnell JA、Vandapel N、Hebert M（2009）基于函数型最大间隔马尔可夫网络的上下文分类。收录于《2009年IEEE计算机学会计算机视觉与模式识别研讨会论文集》，2009年IEEE：975–82页。 15. Rottensteiner F、Sohn G、Jung J、Gerke M、Baillard C、Benitez S、Breitkopf U（2012）《ISPRS城市物体分类与3D建筑重建基准测试》。收录于《摄影测量、遥感与空间信息科学年鉴》第1卷（9月刊）：293–98页。 16. Serna A、Marcotegui B、Goulette F、Deschaud JE（2014）Paris-Rue-Madame数据库：用于评估城市检测、分割与分类方法的3D移动激光扫描数据集。收录于《ICPRAM 2014——第3届模式识别应用与方法国际会议论文集》，第819–24页。 [^17]: Vallet B, Brédif M, Serna A, Marcotegui B, Vallet B, Brédif M, Serna A, Marcotegui B, Terramo NP (2015) TerraMobilita / IQmulus Urban Point Cloud Analysis Benchmark To Cite This Version : HAL Id : Hal-01167995 TerraMobilita / IQmulus Urban Point Cloud Analysis 18. Armeni I、Sener O、Zamir AR、Jiang H、Brilakis I、Fischer M、Savarese S（2016）大规模室内空间的3D语义解析。收录于《2016年IEEE计算机学会计算机视觉与模式识别会议论文集》，2016年12月：1534–43页。 [^19]: Roynard X, Deschaud J-E, Goulette F, Roynard X (2018) Paris-Lille-3D : a large and HighQuality ground truth urban point cloud dataset for automatic segmentation and classification to cite this version : HAL id : Hal-01695873 Paris-Lille-3D : a large and high-quality ground truth urban point cloud dataset Fo [^20]: Tan W, Qin N, Ma L, Li Y, Du J, Cai G, Yang K, Li J (2020) Toronto-3D: a large-scale Mobile LiDAR dataset for semantic segmentation of urban Roadways2211. IEEE computer society conference on computer vision and pattern recognition workshops 2020 6月：797–806页。 21. Varney N、Asari VK、Graehling Q（2020）DALES：一个用于语义分割的大规模航空激光雷达数据集。收录于《2020年IEEE计算机学会计算机视觉与模式识别研讨会论文集》，2020年6月：717–26页。 22. Bello SA、Yu S、Cheng W、Adam JM、Li J（2020）综述：基于3D点云的深度学习。《遥感》第12卷第11期：1–34页。 23. 严X、郑C、李Z、王S、崔S（2020）PointasNL：基于自适应采样的非局部神经网络在鲁棒点云处理中的应用。IEEE计算机学会计算机视觉与模式识别会议论文集，第5588–97页。 24. 杨Z、孙Y、刘S、贾J（2020）3DSSD：基于点的3D单阶段物体检测器。IEEE计算机学会计算机视觉与模式识别会议论文集，第11037–45页。 [^25]: Haoming Lu, Rey HS (2020) Deep learning for 3D point cloud understanding: a survey. ArXiv Preprint ArXiv [^26]: Bello SA, Yu S, Wang C (2020) Review: deep learning on 3D point clouds. ArXiv 27. 黄Q、王W、诺伊曼U（2018）用于点云3D分割的循环切片网络。IEEE计算机学会计算机视觉与模式识别会议论文集，第1卷：第2626–35页。 [^28]: Li Y, Bu R, Di X (2018) PointCNN: convolution on X transformed points. no. NeurIPS 29. 刘J、倪B、李C、杨J、田Q（2019）用于分层点集学习的动态点聚合方法。IEEE国际计算机视觉会议论文集，2019年10月：第7545–54页。 [^30]: Qi CR, Yi L, Su H, Guibas LJ (2017) PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. Advances in Neural Information Processing Systems 2017-Decem: 5100–5109 31. 王Y、孙Y、刘Z、萨玛SE、布朗斯坦MM、所罗门JM（2018）用于点云学习的动态图CNN，1月。 32. 谢S、刘S、陈Z、涂Z（2018）用于点云识别的注意力形状上下文网络。IEEE计算机学会计算机视觉与模式识别会议论文集，第4606–15页。 33. 赵H、蒋L、傅CW、贾J.（2019）Pointweb：增强点云处理的局部邻域特征。IEEE计算机学会计算机视觉与模式识别会议论文集，2019年6月：第5560–68页。 34. 蒋M、吴Y、赵T、赵Z、卢C（2018）Pointsift：一种用于3D点云语义分割的类SIFT网络模块。arXiv预印本arXiv:1807.00652。 35. 乔伊C、郭J、萨瓦雷塞S（2019）4D时空卷积网络：Minkowski卷积神经网络。IEEE计算机学会计算机视觉与模式识别会议论文集，2019年6月：第3070–79页。 36. 格雷厄姆B、恩格尔克M、范德马滕L（2018）基于子流形稀疏卷积网络的3D语义分割。IEEE计算机学会计算机视觉与模式识别会议论文集，第9224–32页。 ## [^37]: Meng HY, Lin G, Lai YK, Manocha D (2019) VVNet: Voxel vae net with group convolutions for point cloud segmentation. In: Proceedings of the IEEE/CVF international conference on --- 计算机视觉领域会议论文集，第8500–8508页。 38. 查普米L、乔伊C、阿尔梅尼I、郭J、萨瓦雷塞S（2018）SEGCloud：3D点云的语义分割。2017年国际3D视觉会议论文集，第537–47页。 39. 周Y、图泽尔O（2018）VoxelNet：基于点云的3D物体检测端到端学习方法。IEEE计算机学会计算机视觉与模式识别会议论文集，第4490–99页。 40. 米利奥托A、维佐I、贝勒J、施塔赫尼斯C（2019）RangeNet++：快速准确的激光雷达语义分割方法。IEEE智能机器人与系统国际会议论文集，第i卷：第4213–20页。 41. 拉迪H、阿里W（2019）VolMap：一种用于激光雷达周边视图语义分割的实时模型。 42. 吴B、万A、岳X、凯策尔K（2018）SqueezeSeg：结合递归CRF的卷积神经网络，用于从3D激光雷达点云中实时分割道路物体。IEEE机器人技术与自动化国际会议论文集，第1887–93页。 43. 吴B、周X、赵S、岳X、Keutzer K（2018）SqueezeSegV2：用于激光雷达点云道路物体分割的改进模型结构与无监督域适应。第4376–82页。 [^44]: Zhang Y, Zhou Z, David P, Yue X, Xi Z, Gong B (2020) PolarNet: an improved grid representation for online LiDAR point clouds semantic segmentation 45. Kuffer M、Pfeffer K、Sliuzas R、Baud I（2016）利用GLCM方差从高分辨率影像中提取贫民窟区域。《IEEE应用地球观测与遥感选题期刊》第9卷第5期：1830–1840页。 46. He T、黄H、易L、周Y、吴C、王J、Soatto S（2019）GeoNet：用于点云分析的深度测地网络。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第6888–6897页。 47. Zamorski M、Zieba M、Klukowski P、Nowak R、Kurach K、Stokowiec W、Trzcinski T（2020）用于3D点云紧凑表示的对抗自编码器。《计算机视觉与图像理解》第193卷：102921页。 48. Remelli E、Baque P、Fua P（2019）NeuralSampler：欧几里得点云自编码器与采样器。 49. Ku T、Veltkamp RC、Boom B、Duque-Arias D、Velasco Forero S、Deschaud JE、Goulette F等（2020）SHREC 2020：街景3D点云语义分割。《计算机图形学》（Pergamon）第93卷：13–24页。 50. Beltrán J、Guindel C、Moreno FM、Cruzado D、García F、De La Escalera A（2018）BirdNet：基于激光雷达信息的3D物体检测框架。载于《IEEE智能交通系统会议论文集》，ITSC 2018年11月：第3517–3523页。 [^51]: Alnaggar A, Yara MA, Amer K, ElHelw M (2021) Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds. In: Proceedings of the IEEE/CVF Winter Conference on 《计算机视觉应用》第1800–1809页。 52. Maturana D、Scherer S（2015）VoxNet：一种用于实时物体识别的3D卷积神经网络。载于《IEEE智能机器人与系统国际会议论文集》2015年12月：第922–928页。 53. 肖A、杨X、卢S、关D、黄J（2021）ISPRS摄影测量与遥感杂志FPS-net：一种用于大规模激光雷达点云分割的卷积融合网络。《ISPRS摄影测量与遥感杂志》第176卷（2020年9月）：第237–249页。 [^54]: Iandola FN, Han S, Moskewicz MW, Ashraf K, Dally WJ, Keutzer K (2017) 50 X FEWER PARAMETERS AND < 0.5MB MODEL SIZE. 1–13 [^55]: Geiger A, Lenz P, Stiller C, Urtasun R (2013) Vision Meets Robotics: The KITTI Dataset. The International Journal of Robotics Research, no. October: 1–6 32:1231–1237 [^56]: Geyer J, Ricou X, Chung AS, Maximilian M, Dorn S, Martin J, Sturm M, Oelker M, Ag A (n.d.) A2D2 : Audi Autonomous Driving Dataset 57. Aksoy EE、Baci S、Cavdar S（2020）SalsaNet：用于自动驾驶的激光雷达点云中快速道路与车辆分割。载于《IEEE智能车辆研讨会论文集》，第Iv号：第926–932页。 58. Redmon J、Farhadi A（2018）YOLOv3：一项渐进式改进。 [^59]: Wang Y (n.d.) PointSeg : real-time semantic segmentation based on 3D LiDAR point cloud 60. He K、孙J（2016）用于图像识别的深度残差学习。 [^61]: Teichmann M, Weber M, Marius Z, Cipolla R, Urtasun R. (n.d.) MultiNet : Real-Time Joint Semantic Reasoning for Autonomous Driving 出版方声明：Springer Nature对已发表地图中的管辖权主张及机构隶属关系保持中立。 ![Image](images/30b74f7ea122fc1ba55e7cce1b8706da310baefcf16b71c17c6946a908e941e6.jpg) Alok Jhaldiyal于2015年在印度德里德里的印度遥感研究所获得遥感与GIS专业的工学硕士学位，现为印度浦那Symbiosis国际大学的博士生。他目前担任印度德里德里石油与能源研究大学计算机科学学院的助理教授。他的当前研究方向包括地理人工智能、城市分析与卫星图像处理。