文章 # 基于融合投影的点云分割 Maximilian Kellner $^{1,2,*}$ $^{ID}$、Bastian Stahl $^{1}$ $^{ID}$ 以及 Alexander Reiterer $^{1,2}$ $^{ID}$ 1 弗劳恩霍夫物理测量技术研究所IPM，德国弗赖堡，邮编79110； （B.S.）；（A.R.） 2 阿尔伯特·路德维希大学弗赖堡可持续系统工程系INATECH，德国弗赖堡，邮编79110 通讯作者： 摘要：语义分割用于帮助计算机理解其周围环境。在图像处理中，为了实现这一目的，会将图像划分为多个片段。目前最先进的方法利用卷积神经网络来对二维图像进行分割。相比之下，三维方法存在计算成本高的问题，且未经进一步处理便无法直接应用。在本研究中，我们专注于基于三维点云的语义分割。我们采用将三维数据投影到二维图像中的思路来加速分割过程，之后再将处理后的图像重新投影以获得所需结果。我们研究了不同的投影视角并对其进行对比，以明确各自的优缺点。为了弥补投影误差和几何信息的丢失，我们对该方法进行了改进，展示了如何融合不同视角。我们最终选择融合鸟瞰投影和球形投影，因为这两种投影都能取得不错的效果，且二者能最好地互补。在训练和评估阶段，我们使用了真实数据集SemanticKITTI。此外，我们还利用ParisLille数据集以及由仿真框架Carla生成的合成数据来更详细地分析这些方法，明确其优缺点。尽管这些方法能取得合理且具有竞争力的结果，但灵活性不足，它们依赖于所使用的传感器及其安装环境。 收稿日期：2021年12月28日 录用日期：2022年1月28日 发表日期：2022年2月2日 出版商声明：MDPI对于所发地图和机构归属中的管辖权声明保持中立。 ![Image](images/89764f0b4b5da3a838177251ecb3a1aa4f8ace526063e652fbe57a2cec371513.jpg) ![Image](images/b1c061a9bc0e962de755118b6c128edb2c6eb854b62df45d7795ebef2fb91db8.jpg) 版权声明：© 2022 作者们。授权方为瑞士巴塞尔的MDPI出版社。本文是一篇开放获取文章，发布遵循知识共享署名（CC BY）许可协议()。 引用格式：Kellner, M.; Stahl, B.; Reiterer, A. 基于融合投影的点云分割. Sensors 2022, 22, 1139. 学术编辑：Paweł Pławiak 关键词：点云分割；监督学习；点云投影 ## 1. 引言 随着激光雷达等三维传感器的日益普及，对三维数据处理的需求也在不断增加。其应用领域涵盖了从自动驾驶[^1] [^2] [^3]到基础设施测绘[^4] [^5] [^6] [^7]，乃至生物医学分析[^8]。 理解场景对计算机而言是一项极具挑战性的任务。它可划分为分类、物体识别、语义分割和实例分割等类别。近年来，研究界在图像二维语义分割领域取得了巨大进展[^9] [^10] [^11] [^12] [^13] [^14] [^15] [^16] [^17] [^18]。相比之下，针对点云的三维处理方法则较为少见，且存在计算成本高、精度不足等问题。图像处理领域的已有成果无法直接套用。图像与点云之间存在几处主要差异：首先，与点云相比，图像的数据密度要高得多；其次，同一点云内各区域的点的密度也可能存在差异——通常来说，靠近传感器的区域点密度更大，远离传感器的区域则点密度较小；第三，点云具有不规则性，即不同点云中包含的点的数量并不相同；此外，点云是无结构的，这意味着每个点都是独立的，相邻点之间的距离也各不相同；除此之外，点云还是无序的，且对排列顺序不敏感。 为了规避上述问题，我们采用了基于投影的方法。本文可分为三个部分。首先，我们介绍了不同的基于投影的方法及其应用场景。我们并非仅关注单一视角，而是研究了球面视图、鸟瞰视图以及圆柱视图，并阐述了它们的优势与 --- 第二部分主要探讨多视图融合问题。第三部分则聚焦于如何避免遮挡等误差，从而提升整体性能。为探究融合过程本身，我们定义了基准模型，并将其与非可学习方法和可学习方法进行对比。在第三部分中，我们还回答了关于模型泛化能力的问题——这不仅指将方法应用于未见过的数据，还包括将其用于具备不同配置的新传感器以及合成生成的数据。 本文主要有三项重要贡献： - 对比不同的基于投影的方法，以凸显各自的优缺点 提升常规鸟瞰视图和圆柱形视图的性能 - 提出可将多种投影方式相互融合以提升整体性能的方法 ### 2. 相关工作 目前，解决三维分割任务的方法有很多种。[^19]中对这些方法进行了总体概述。总体而言，这些方法可分为基于投影的方法、基于离散化的方法和基于点的方法。 基于投影的方法思路是将3D数据映射到2D图像上。点云会被转换成球形图像，如 [^20]、[^21] 以及 SalsaNext [^22] 中所示。它们各自采用不同的2D骨干网络进行分割，且都使用k近邻（kNN）算法对重新投影后的预测结果进行后处理。在 [^23] 中，则采用了鸟瞰图而非球形图像；此外，该方法还使用极坐标代替笛卡尔坐标，并通过多层感知机（MLP）来学习固定大小的表征。目前已有多项研究致力于融合多种投影方式：[^24] 的作者从两种视图中提取特征并采用早期融合策略；[^25] 则先对球形图像进行分割，再将结果投影到鸟瞰图中以作进一步处理；参考文献 [^26] 将两种投影分开处理，再将得到的概率值相加；而在 [^27] 中，通过MLP实现晚期融合。[^28] 利用多种不同投影来完成形状分割。上述方法均取得了优异的成果。该方法的主要优势在于能够应用成熟的2D卷积技术，从而兼顾高效性与准确性。不过，此方法仍存在离散化误差和遮挡问题，且其性能高度依赖于所使用的传感器。 基于离散化的方法会将3D点云转换为离散的表征形式，例如体素、八叉树或网格等。在 [^29] 中，点云被转化为一组占据体素，以此避免稀疏性问题。经过体素级分割后，同一体素内的所有点都会被赋予与该体素相同的标签。参考文献 [^30] 采用稀疏张量，并对稀疏卷积算法进行改进，以提升在稀疏体积数据上的处理速度。[^31] 通过在八叉树的叶节点中存储特征表征来消除稀疏性；而 [^32] 则将点云嵌入稀疏网格中，对网格应用卷积操作后再将学到的特征投影回点云。在 [^33] 中，首先采用圆柱形划分，随后应用稀疏的非对称3D卷积。尽管这些方法在精度方面表现良好，但其主要瓶颈在于计算复杂度较高。 基于点的方法是直接在点云上进行处理。由于点云具有无结构且无序的特性，因此无法应用常规卷积操作。这类方法通常利用逐点多层感知机（MLP）、广义点卷积或图结构来提取特征。参考文献 [^34] 率先采用MLP来学习3D特征；在 RandLANet [^35] 中，同样的方法被用于大幅缩减点云规模，从而使该方法能够应用于更大的点云数据。其他研究则对卷积算法进行了适应性改造以便用于点云处理，例如 [^36]、KPConv [^37] 以及 [^38]；参考文献 [^39] 也采用了类似思路。 --- 该方法将点云表示为图结构，进而应用图卷积操作。这类方法在某些情况下也取得了出色的成果。遗憾的是，由于内存消耗限制，它们能处理的点数存在上限，且通常无法实时应用。 此外，融合上述多种方法的技术也越来越多。为了实现更高效的大场景处理，基于体素的学习和基于点的学习在[^40]和[^41]中被结合起来。这三种方法在[^42]中也被整合在一起。目前，这些方法在基准测试中处于领先地位[^43]。 上述所有方法都各有优劣。不过，从运行时间和内存消耗的角度来看，基于投影的方法具有明显优势。图1展示了基于点的方法的内存占用情况。相比之下，基于投影的方法的内存需求保持不变，因为其并不取决于点的数量，而是取决于投影尺寸。在我们的示例中，我们使用了尺寸为$[3 \times 256 \times 256]$和$[3 \times 512 \times 512]$的图像，并结合U-Net[^11]架构。当处理的点云包含超过10万个点时，基于投影的方法所需的内存要少得多。 总而言之，可以说基于投影的方法速度最快。不过，这类方法会忽略几何形状，且会产生离散化误差以及点的遮挡现象。采用离散的3D表示方式可以保留几何信息，但计算成本会随之增加。例如，即便使用稀疏张量，学习到的滤波器的内存占用仍会以立方级而非平方级增长。此外，这类方法也会产生离散化误差。基于点的方法由于无需进行离散化步骤，从而避免了这些误差，这也是其最大的优势之一。不过目前，待处理的点数仍是一个限制因素。融合互补的方法是一种利用一种方法的优势来弥补另一种方法缺陷的好途径。随着复杂度的提升，为了获得最佳的复杂度与性能比，必须谨慎选择相应方法。 ![Image](images/ecb3a6ac60c83398cd1663a582e680bac18cad953b54aa632f13d94d9db09c41.jpg)
Figure 1. Memory consumption over number of points for point-based and projection-based methods.
### 3. 基于投影的方法 我们重点关注三种即将简要介绍的不同视角。它们都共享将点云映射为$\mathbb{R}^3 \mapsto \mathbb{R}^2$这一思路。将3D点云投影到2D图像中能带来一些显著优势。首先，生成的图像尺寸始终固定，这便于模型训练以及将图像组合成批次。其次，投影后的结构是有规律的，因此我们能够确定相邻像素的位置，进而应用研究成熟的2D卷积来进行特征学习。这使得模型运行速度快，且所需内存低于3D卷积，因为卷积核的参数数量仅以平方级而非立方级增长。不过，这种方法也存在一些缺点。由于投影过程，我们会丢失3D几何信息。对点云进行排序并将其投影为图像时，会产生离散化误差，且点之间可能会重叠。这会导致遮挡误差，还会加大将分割后的点重新投影回点云的难度。 --- #### 3.1. 球形视角 采用这种方法时，需先将笛卡尔坐标映射为球面坐标。随后，将点离散化为球形图像$I \in \mathbb{R}^{h \times w}$，其中w和h分别代表投影图像的宽度和高度。具体的映射过程如下： $$ \binom{u}{v}=\binom{\frac{1}{2}\binom{1-\frac{\phi}{\pi}}{}}{\binom{1-\frac{\theta+f_{down}}{f}}{}}h $$ 垂直视场角 $f = |f_{down}| + |f_{up}|$ 取决于传感器。u和v的值表示每个点的图像坐标。生成的张量形状为 $[c_{in} \times h \times w]$，包含 $c_{in}$ 个特征通道。输入特征可能包括深度d；若给定强度i、坐标x、y、z或表面法线n，也可作为输入特征。由于一个坐标元组内可能包含多个点，这些点会按降序排列，因此仅使用元组中最近点的特征。 已知点的坐标，并将包含这些点的图像视为函数 $z = f(x, y)$，我们就可以根据参数化 $\boldsymbol{r}(x, y) = (x, y, z) = (x, y, f(x, y))$ 计算出法线，公式如下： $$ \begin{aligned}\boldsymbol{n}&=\frac{\partial\boldsymbol{r}}{\partial x}\times\frac{\partial\boldsymbol{r}}{\partial y}\\&=\left(1,0,\frac{\partial f}{\partial x}\right)\times\left(0,1,\frac{\partial f}{\partial y}\right)\\&=\left(-\frac{\partial f}{\partial y},-\frac{\partial f}{\partial x},1\right)\end{aligned} $$ 最后这个方程可以通过利用GPU和高度抽象的深度学习框架来高效实现。 由于这种投影方式最为成熟，我们将采用来自 [^22] 的架构。我们重点研究输入特征以及图像本身的大小。对于Velodyne HDL-64E传感器而言，其角度分辨率为 $0.08^\circ$，垂直方向分辨率约为 $0.4^\circ$。水平视场角为 $360^\circ$，垂直视场角为 $26.9^\circ$。这意味着，若图像宽度为 $w = \frac{360}{0.08} = 4500$、图像高度为 $h = \frac{26.9}{0.4} \sim 67$，理论上就能毫无问题地将所有点投影到图像中，即便存在遮挡点也不例外。不过，这样会增加计算量，且图像会变得更为稀疏。因此，我们希望保持图像尺寸较小。 #### 3.2. 鸟瞰图 这种方法的思路是将点云折叠并投影到地面平面，通常是 $x - y$ 平面。为了确定投影平面，我们使用随机采样一致性（RANSAC）算法 [^44] 来对点进行归一化处理。为避免过度遮挡问题，我们将点云离散化为多个平面而非单个平面。生成的张量形状为 $[c_{in} \times h \times w]$，包含 $c_{in}$ 个高度通道。 我们以U-Net [^11] 作为基础网络架构。为了整合特征图并扩大感受野，我们将除输入和输出层外的所有双卷积块替换为改进版的Inception模块 [^45]。我们用另一个卷积核大小为K=3、膨胀系数D=2的卷积层来替代最大池化层。各分支的填充大小经过精心设计，以确保输出尺寸一致。每个卷积块后都接有批量归一化层和ReLU激活函数。所有K=1且后续接有卷积层的卷积块会使特征通道数减少到期望输出通道数的1/8；随后的卷积块会再次使特征图通道数翻倍。单独用于降维的卷积层会使特征通道数减少为原来的1/4。将所有分支拼接起来即可得到期望的输出尺寸。 --- 与常规U-Net相比，这种方法可将可训练参数数量减少约10倍。图2展示了这两种模块的结构。 ![Image](images/baf724def9911d97cd38cc270b5fc77b86f70c39b8505fea869e71594bd9c978.jpg)
(a)
(b)
Figure 2. Double convolution and adapted inception module for U-Net. One filter branch with a Kernel of K = 3 is dilated by D = 2. Batch normalization and ReLu as the activation function is used after each convolution. (a) Regular U-Net; (b) Adapted inception module.
#### 3.3. 圆柱视图 将给定的点云映射到圆柱形图像的过程类似于公式(1)。由于大多数常用的激光雷达传感器本质上都是球形的，因此这种方法并不常用。不过，为了完整性考虑，也为了避免球形视图导致的物理尺寸失真问题，我们还是研究了这种视图。由于遮挡现象与该方法密切相关，我们采用了与鸟瞰图方法相同的思路和架构。我们不再使用$c_{in}$高度图，而是将径向距离$\rho$作为特征输入。 ### 4. 融合 遮挡被视为投影中的主要问题之一。这意味着被其他物体遮挡的传感器所捕捉到的物体可能会在投影中被覆盖。在重新投影时，被覆盖的物体会被赋予与前景物体相同的标签。目前已发表的大多数研究都采用最近邻(NN)方法来处理这一误差。我们通过结合不同的投影方式来减小这种误差。这也是我们选择仅采用后期融合方法的原因之一。该过程如图3所示。下文将描述融合模块的可能结构。 ![Image](images/18d75f11a69c32927602d152d2cd7c2bb1c7382b0089690f639619ef7789aaec.jpg)
Figure 3. Basic architecture of combining different approaches. Each branch handles the whole process on its own. Only the prediction matrices for all points $P_{s}$ and $P_{b}$ are used within the fusion. Optionally, the coordinates of the points themselves can also be included in the fusion.
#### 4.1. 基线 作为基线，我们采用了一种类似于[^26]的方法，但由于我们试图通过采用不同视角来避免误差，因此没有使用任何单独的后处理步骤。为了便于研究，每个分支的输出被分为一致预测和不一致预测两类。一致点的索引定义为$\{i_a \in \mathbb{R}^{n-m} : \hat{p}_s = \hat{p}_b\}$，不一致点的索引则为$\{i_d \in \mathbb{R}^m : \hat{p}_s \neq \hat{p}_b\}$。两个分支各自都能产生合理的结果。 --- 这意味着，当两个分支对同一点预测出相同标签时，该预测很可能就是正确的。这在后续计算中可能会派上用场，因为它可用于减少点的数量。我们的基线融合结果如图4a所示。矩阵$P_s$和$P_b$分别存储了每个分支的全部输出，而$\hat{p}$则代表最终预测的类别。 ![Image](images/9a6826d2db14b1d991f0874683638b6e8f5ed52d7df4ebeb664b8c58c5da4372.jpg)
(a) Baseline fusion.
![Image](images/1448fff07ed73eb6588394a74bf35a35ce02546a26efc6fcb9c749c23a174759.jpg)
(b) KPConv fusion.
![Image](images/49667dd70307af7d4b476670cf47505428a6b1fb973f21aa7af48a518a5e78f4.jpg)
(c) PointNet fusion.
![Image](images/d790c4a10c2f7515d45c52b0967a49783ad2de37aad1beea041fc466bbcb7fa5.jpg)
(d) Nearest Neighbor fusion.
Figure 4. Different fusion approaches illustrated. Within the baseline (a) predictions, where both branches agree, are accepted directly. The probabilities for belonging to a class are added, and the class with the highest value is assigned in case of mismatched predictions. KPConv fusion (b) uses the NN, the point coordinates, as well as the predictions as features to learn the fusion. PointNet fusion (c) works similar, but works only on disagreeing points, and for the fusion process, a small PointNet network is used. Within the NN fusion (d), a consensus vote is performed over the NN and both predictions. All but (a) make use of the point coordinates.
#### 4.2. KPConv融合 KPConv [^37]是一种专为点云设计的卷积操作。该层以点集$P \in \mathbb{R}^{n \times 3}$、对应的特征$F \in \mathbb{R}^{n \times d_{in}}$以及邻域索引$N \in \mathbb{R}^{n \times k}$作为输入。这种卷积操作会给模型引入更多的超参数。在初步实验中，核点数、核点所用的半径以及半径的影响范围均设定为论文推荐的值。 在本研究中，我们将特征维度设为$d_{in} = 40$，并使用全部预测输出$P_s$和$P_b$。我们借助scikit-learn库[^46]中实现的KD树来搜索最近邻。邻居数量的超参数被设定为$k = 8$。随后，通过基于$1 \times 1$卷积的分类器，将每个特征向量映射到类别数上。融合方案如图4b所示。 --- #### 4.3. PointNet融合 PointNet [^34]基于MLP结构，可用于融合这些预测结果。为了避免过度复杂的融合过程，这里仅采用了其简化版本。首先，如前文所述，将预测结果分为一致和不一致两类。利用KD-Tree计算点云的k个邻近点，进而生成一个新的特征张量$F \in \mathbb{R}^{m \times 4+2k}$。该张量仅包含那些两个分支预测不一致的点及其强度值，以及这k个邻近点上两个分支的预测结果。这种方式只需重新计算那些分支预测不确定的区域的预测值，从而有效控制计算成本。该方法的可视化效果如图4c所示。 #### 4.4. 最近邻融合 对于这种方法，我们基于最近邻（NN）来融合投影结果。NN方法已被证明能够取得不错的后期处理效果。不过，我们并非要消除投影误差，而是利用这些误差来达成共识投票，从而选取在指定区域内出现频率最高的标签。具体做法是创建一个新的特征矩阵$F \in \mathbb{R}^{n \times 2k}$，其中包含了两个分支的预测结果以及k个最近邻点的预测结果。该流程如图4d所示。 ### 5. 实验 #### 5.1. 评估指标 在评估每个模型时，我们采用平均交并比（mIoU）作为指标，其计算公式如下： $$ mIoU=\frac{1}{C}\sum_{c\in C}\frac{\mid P_{c}\cap G_{c}\mid}{\mid P_{c}\cup G_{c}\mid} $$ 其中，$P_{c}$表示类别预测结果，$G_{c}$表示类别真实值。 #### 5.2. 数据集 我们选用三种不同的数据集进行训练和评估：SemanticKITTI [^43]和ParisLille [^47]属于真实世界数据集，而仿真框架Carla [^48]则用于生成合成数据。SemanticKITTI用于训练，其余数据集则用于测试模型的泛化能力和知识迁移能力。 SemanticKITTI是一个大型数据集，使用的是安装在汽车顶部、朝向前方的Velodyne HDL64激光雷达。这些数据由KITTI [^49]在卡尔斯鲁厄大都会区采集，包含超过4.3万次扫描，被划分为22个序列。通常前一半序列用于训练，后一半用于测试，第8号序列则用于验证。首先，所有帧中的点被标注为28个类别；随后，移动类与非移动类被合并，最终得到19个类别，未标注的点则被排除在外。 Carla是一款为自动驾驶开发的开源仿真框架。由于传感器设置和适配非常灵活，Carla能够快速生成训练数据。该框架提供了八种不同的地图，每种地图对应不同的环境。采集数据时，模拟传感器被安装在汽车顶部，其参数可按照实际传感器的规格进行调整。我们创建了与SemanticKITTI数据集中使用的相同的传感器。当汽车在环境中自动行驶时，每当行驶距离超过一定阈值，就会保存一份点云数据。采用这种方法来确保生成多样化的点云数据。 ParisLille同样是一个真实世界的数据集。该数据集使用安装在汽车后部、朝向下方的Velodyne HDL32激光雷达进行采集。多个扫描结果被整合在一起，最终形成三个大型序列（Lille1、Lille2和Paris）。所有点被划分为50个不同的类别。为了便于使用，我们将每个序列重新拆分为原始的扫描数据，并转换标注信息。原始数据用于提取所需信息，包括球面角度$\theta$和$\phi$，以及记录时传感器的起始位置。这些原始数据 --- 并未标注类别信息。因此，我们必须从训练数据中寻找最近邻点来分配正确的标签。为了便于后续比较，我们进一步将标签映射为SemanticKITTI定义的标准格式。经过上述处理，最终得到Lille1的8个序列、Lille2的3个序列以及Paris的5个序列。 我们选择这三个数据集的原因如下：首先，选用SemanticKITTI是因为它包含最多已标注的点；训练将在该数据集上进行。选择ParisLille是因为其传感器配置和传感器类型存在差异，这有助于评估能否迁移学习方法并实现良好的泛化能力。最后，Carla在数据采集方面具有极高的灵活性，无需人工标注即可收集数据。 #### 5.3. 训练细节 所有模型和整个训练流程均基于PyTorch实现[^50]。由于数据集中的类别分布极不均衡，我们为每个类别赋予权重$w_{c} = \frac{1}{\sqrt{f_{c}}}$，从而采用加权交叉熵损失$\mathcal{L}_{wce}$： $$ \mathcal{L}_{\mathrm{w c e}}=-\frac{1}{\sum_{c\in C}w_{c}}\sum_{c\in C}w_{c}y_{c}\log\hat{y}_{c} $$ Lovász-Softmax损失$\mathcal{L}_{\mathrm{ls}}$ [^51]可用于优化IoU指标。其定义如下： $$ \mathcal{L}_{\mathrm{l s}}=-\frac{1}{|C|}\sum_{c\in C}\Delta_{J_{c}}(\boldsymbol{e}(c)) $$ 其中$e(c)$表示类别c的像素误差向量，$\Delta_{J_c}$则是IoU的Lovázs扩展形式。 为了同时优化像素级准确率和IoU，我们采用两种损失的线性组合$\mathcal{L} = \mathcal{L}_{\mathrm{wce}} + \mathcal{L}_{\mathrm{ls}}$。 优化器选用随机梯度下降（SGD）[^52]。我们参考[^53]的建议来确定单周期学习率的合理取值范围[^54]，并将动量参数$\beta$设定在(0.95, 0.85)区间内。L2正则化系数设为0.0001，dropout概率则为0.2。 为避免过拟合，我们对数据进行了增强处理。首先，随机丢弃一定数量的$\mathcal{U}(0,0.3)$个点；随后，每个点的x和y坐标会按照$\mathcal{U}(-5,5)$的值进行偏移，点云还会围绕z轴旋转$30^{\circ}$到$330^{\circ}$之间的角度。在鸟瞰图中，每个点的z坐标还会额外偏移$\mathcal{U}(-1,1)$。除第一步外，其余增强操作均以0.5的概率独立应用。需注意，所有增强操作均作用于点云本身，而非投影结果。 #### 5.4. 单一投影 ##### 5.4.1. 球面视图 表1清楚地表明，无需将点本身投影到图像中。即便仅利用深度信息，模型性能也相当出色。其中，将法向量作为附加特征输入的网络取得了最佳效果。不过需要注意的是，该模型的投影过程耗时稍长。
Table 1. Comparison of different input channels for the SalsaNext architecture. All results are without any post-processing steps. The projection of the coordinates x, y, and z does not bring any advantages, but the use of the surface normals n slightly increases the performance.
Input $[c_{in} \times 64 \times 512]$$c_{in} = d$$c_{in} = d, i$$c_{in} = d, i, n$$c_{in} = d, i, x, y, z$
mIoU val (%)50.0752.6553.651.4
尽管与基准测试结果相比表现优异，但必须指出的是，减小图像尺寸会导致遮挡现象加剧。图5展示了遮挡如何影响重投影误差。 --- 遮挡会对重投影误差产生影响。由于我们希望融合该方法并补偿此类误差，因此目前的结果尚可接受。不过我们仍需谨慎对待，因为随着投影误差数量的增加，后续处理会变得更加困难。例如，使用k=8个邻居的神经网络方法或许能避免大尺寸图像中的误差，却无法解决小尺寸图像中的问题。这就需要更多的邻近点，进而导致后续处理时的计算量增大。 ![Image](images/c512b425b710438007429fd30ee1bfc080d4f7abc8c6ebe5981b812761674ac6.jpg)
(a)
![Image](images/9917d56f3a9f4aa10d742200d617775b22dd0f71ec89dc10ccdf16f0d9a2af1a.jpg)
(b)
![Image](images/4b284e6312b9b863befe98489bb6187a8edd323eaa0a62c3b4e5995352faac6f.jpg)
(c)
![Image](images/748f19ee0b6e5a8f9ef1cf888587bd00c764b5733df5b2cf3f9de763c4094d91.jpg)
(d)
Figure 5. Projection error for different cases. The top row shows the spherical projection error for different images sizes. As the input features are not relevant for this type of error, the value for $c_{in}$ is irrelevant. The bottom row shows the bird's-eye projection error for using a single image plane and using multiple ones. It is important to note that the projection error highly depends on the used projection size. (a) $c_{in} \times 64 \times 512$; (b) $c_{in} \times 64 \times 2048$; (c) Single plane; (d) Multi plane.
##### 5.4.2. 鸟瞰视图 为避免产生过多无用空间，我们限定了点的范围：x和y方向采用$(-40, 40)$，z方向采用$(-3, 3)$，因为我们是围绕地面平面进行归一化的。图6展示了前10个SemanticKITTI序列的深度分布情况。仅选取上述范围内的点，就能保留超过97%的点。 ![Image](images/e43b33b42340d98a773cba558bde227bb5a4de211e6d96f56f4e3390c7ad2e40.jpg)
Figure 6. Depth distribution for the SemanticKITTI dataset. A total of 95% of all points are closer than 32 m.
--- 为了比较使用多张投影图像的影响，我们首先用三种不同的网格尺寸训练鸟瞰模型。最大高度、强度和每个网格单元内的点数被用作输入特征。对于多平面鸟瞰视图，我们将点云体素化分为16个和32个平面。作为特征，我们只需将强度值投影到每个三维单元格中。结果见表2。使用多个平面能显著提高mIoU值。
Table 2. Bird's-eye projection results. Single plane projections use the maximum height, the corresponding intensity value, as well as the amount of points within each cell.
PlanesSingle PlaneMultiple Planes
Input$[3 \times 256 \times 256]$$[16 \times 256 \times 256]$$[32 \times 256 \times 256]$
ine mIoU (%)27.138.140.7
Inference (ms)151925
ine Input$[3 \times 400 \times 400]$$[16 \times 400 \times 400]$$[32 \times 400 \times 400]$
mIoU (%)31.143.648.1
Inference (ms)222349
ine Input$[3 \times 512 \times 512]$$[32 \times 512 \times 512]$
mIoU (%)34.350.2
Inference (ms)33114
不出所料，使用多个平面而非单个平面时，遮挡误差会大幅降低。图5显示地面的地形被标记为树叶状。采用多平面方法后，地面能被正确标记，因为它不再被遮挡。而在多平面方法中，遮挡仅出现在树干顶部。 ##### 5.4.3. 圆柱视图 特征图由距离$\rho$生成，其近似值域为$(0, 120)$。用于多平面鸟瞰投影的z值范围约为$(-3, 3)$。对比这两个值域可知，我们必须使用更大的特征图。若采用相同尺寸，分辨率将低至约3.75米，这是不可接受的。图6所示的实验表明，限制数值范围并不会损失太多信息。将范围缩小到$(2, 40)$并将特征图的输入尺寸翻倍后，分辨率可降至0.59米；若再次将特征图尺寸翻倍，分辨率更是能达到0.3米。 表3中的实验表明，使用多个平面作为特征图能带来显著提升。不过其结果仍无法与其他提出的视图相媲美。表6中的IoU值清楚地显示出，大多数情况下，自行车等小型物体很难被准确识别。
Table 3. Cylindric projection results. Even if the idea of using multiple planes brings a high improvement in performance, it is not comparable with the other proposed projections.
PlanesSingle PlaneMultiple Planes
Input$[3 \times 64 \times 512]$$[64 \times 64 \times 512]$$[128 \times 64 \times 512]$
ine mIoU (%)17.931.337.1
inference (ms)112147
#### 5.5. 融合投影 基线方法和基于近邻的融合都是非学习式方法。因此，我们仅在5.6节中展示定量结果。对于学习式融合方法，球形分支的输入张量尺寸为$[3 \times 64 \times 512]$或$[3 \times 64 \times 2048]$，鸟瞰视图分支则为$[32 \times 400 \times 400]$或$[32 \times 512 \times 512]$。 --- ##### 5.5.1. KPConv融合 首先，我们研究了所需的层数。由于这种方法的瓶颈在于k个最近邻的计算，因此我们允许最多使用三层卷积层。我们移除了每个分支中的softmax函数，以便直接利用先前训练模型的输出。表4展示了不同数量的卷积层以及不同投影分支的结果。正如我们所预料的那样，图像尺寸减小导致的遮挡点增多会给融合过程带来问题。尽管融合机制能够弥补大部分投影误差，但整体性能并未得到提升。通过为两个分支使用更大的输入图像，融合机制所学习到的整体性能便显著提高。
Table 4. Parameter and performance for KPConv-based fusion. The fusion struggles to handle large projection errors. Using larger projections to decrease the projection error brings significant improvement for the fusion (Bird's-Eye: 50.1, Spherical: 54.8).
[32 \times 400 \times 400]\n[3 \times 64 \times 512]
Architecture1 layer\n[^15] [^40] [^256]2 layers\n[^15] [^40] [^64]\n[^15] [^64] [^128]3 layers\n[^15] [^40] [^64]\n[^15] [^64] [^128]\n[^15] [^128] [^256]
ine Parameter153,600161,280652,800
ine mIoU (%)51.552.953.4
inference (ms)312331386
ine[32 \times 512 \times 512]\n[3 \times 64 \times 2048]
ine mIoU (%)60.7
inference (ms)445
##### 5.5.2. PointNet融合 针对PointNet融合，我们首先研究了仅选取不一致的点时剩余的点数。使用较小的输入时，整个验证集上的一致率约为86.4%；而使用较大的图像时，一致率则提升至89.1%。不出所料，对于两个网络都表现较强的类别而言，一致率较高。这导致道路、汽车或建筑物等类别在差异图中不再具有相关性。图7展示了该图的一个示例。 ![Image](images/03641686cc0e6f277c02c176a67f62456b7fee47bb360da5d40aea52ec3f3d2f.jpg)
Figure 7. Map for disagreeing points. Agreement is visualized in blue and disagreement in red.
--- 作为PointNet模型，我们仅使用了三层MLP，将特征维度扩充至512个通道，以尽量缩小融合模块的尺寸。每层之后均会进行批量归一化，激活函数则采用ReLU。整个模块的参数数量约为15万个。 表5展示了相关结果。使用较小的输入图像时，模型性能较弱。我们的PointNet模型无法弥补误差，也未能带来额外优势。这些结果与仅选取一致的点并将不一致的点标记为未标注的情况几乎相当。
Table 5. Performance for PointNet-based fusion. Using larger projections to reduce projection error improves the performance of the fusion but is still worse than using single projections.
Input[ $32 \times 400 \times 400$][ $32 \times 512 \times 512$]
[ $3 \times 64 \times 512$][ $3 \times 64 \times 2048$]
mIoU (%)43.450.1
inference (ms)291342
#### 5.6. 对比分析 表6展示了各模型在SemanticKITTI验证集上取得的结果。第一部分展示了基准模型的结果；第二部分则显示了单个模型的性能。第一个3D鸟瞰图使用的张量形状为$[32 \times 400 \times 400]$，第二个则为$[32 \times 512 \times 512]$。第三和第四部分专门用于展示融合结果：第一融合部分使用小尺寸图像，第二融合部分则使用大尺寸图像。 首先，我们对不同视角进行比较。虽然球形视角的信息密度最高，但它存在物理维度变形的问题；鸟瞰图和圆柱形视角虽能保留维度信息，却存在遮挡点的问题。将多个平面用作输入特征可以解决这一问题，不过会略微增加计算时间。尽管如此，性能的提升幅度远远大于计算时间的增加。 融合两种视角已被证明能够提升整体性能。基线方法、最近邻方法以及KPFusion均具备误差补偿能力。通过使用更大的输入图像并以KPConv作为融合模块，即可实现最高的整体性能。 ---
Table 6. Results of SemanticKITTI validation split. Section 1 shows relevant state-of-the-art methods and their results. Section 2 shows our single projections. The fusion approaches are shown in Sections 3 and 4. Note that the values differ from the published values. This is because the validation data has been used, and there is no post-processing. For the fusion approach, the NN calculation is included within the inference time, and the architectures are not optimized.
MethodCarBicycleMotorcycleTruckOther VehiclePersonBicyclistMotorcyclistRoadParkingSidewalkOther GroundBuildingFenceVegetationTrunkTerrainPoleTraffic SignmIoUMean Time
RangeNet210.840.240.340.30.20.350.450.00.930.430.80.010.790.470.810.480.710.390.350.4776
SalsaNext0.860.390.420.780.420.620.680.00.940.420.80.040.800.480.800.580.640.470.440.5552
PolarNet (cart)0.930.270.500.470.270.530.720.00.890.360.720.950.890.460.860.60.740.530.430.5339
Bird's-eye0.80.040.110.060.120.170.360.00.830.220.620.920.850.170.620.370.650.220.190.3433
3D bird's-eye0.920.110.250.640.30.320.690.00.880.340.690.00.860.350.820.520.70.470.260.4849
3D bird's-eye0.90.20.680.530.180.450.720.00.890.410.710.00.890.470.860.580.740.510.40.5114
3D cylindrical0.840.10.10.10.260.250.250.00.840.170.630.00.770.320.790.450.660.390.230.3747
SalsaNext [3 $\times$ 64 $\times$ 512]0.890.340.520.760.460.470.50.00.930.450.780.00.770.50.80.50.670.340.40.5311
Baseline0.910.320.450.810.380.420.640.00.910.410.750.00.880.510.850.550.710.460.340.54240
KPFusion0.930.350.260.620.40.380.650.00.890.370.720.00.880.510.860.590.720.550.460.53386
PointNetFusion0.910.060.170.660.360.20.090.00.890.340.710.00.860.410.830.360.70.320.350.43291
NN k = 80.920.320.470.80.40.440.660.00.910.420.750.00.880.50.850.560.710.490.350.55327
KPFusion0.940.40.420.730.420.670.80.00.940.430.80.00.90.590.890.70.780.590.490.61445
PointNetFusion0.90.190.080.30.220.510.70.00.910.360.760.20.880.50.870.610.760.570.450.5342
--- #### 5.7. 泛化能力分析 我们确实发现，即使使用同一品牌的传感器，其返回的强度值也会有所不同。所有Velodyne HDL64传感器都是单独校准的，因此几乎无法将其数据迁移到新型传感器上。为了解决这个问题，下图8展示了强度归一化值的分布情况：红色直方图表示SemanticKITTI数据集中的强度分布，黑色直方图则对应ParisLille数据集。虽然汽车和建筑物类别的强度值具有可比性，但道路和植被类别的强度值却存在差异。 ![Image](images/619ff3e53941ba057ef6c8e959ca697d7591284eed64171f9c346a4999b663da.jpg)
Figure 8. Intensity values for different classes and sensors (black for ParisLille, red for SemanticKITTI). The distribution for the classes building and car are comparable. Vegetation and road on the other hand highly differ.
为了探究模型在新场景下的泛化能力，我们决定移除强度通道，仅使用点云数据——尽管我们已经证明该通道包含大量有用信息。在评估模型时，我们使用了序列01、05、13和23的数据。由于部分类别未包含在该数据集中，因此在计算mIoU时会忽略这些类别。实验结果见表7：“SK”列显示了在SemanticKITTI验证集上取得的结果。由于传感器配置不同，未经过平面检测的天视图投影效果较差；加入这一特征后mIoU有所提升，但与SemanticKITTI评估中的结果相比仍显不足。即便采用多平面天视图投影技术，性能也未能进一步改善。值得注意的是，在SemanticKITTI评估中得分最高的模型，实际表现反而最差。预测结果示例如图9所示。 --- ![Image](images/b013c30731508078f31c32a50e2bd43a4ecbe7a6f67071ec49b03dbd40d1e006.jpg)
(a)
![Image](images/ef023731cdfde1cfcab95ff1f57488f6f5c5914f7d293e79f94b3f061598da25.jpg)
(b)
![Image](images/ab7ab587386d150baae907887ab84ac0950f43c6c5553ce4050b4ee7d22f2801.jpg)
(c)
![Image](images/d62d043bdab29d175cedecd0ba9c89c537e15f6d5722fa5aadcdacb8f8a42e59.jpg)
(d).
Figure 9. Results on ParisLille data. Using the best-performing single projection approach ends up in a very poor performance (b). The bird's-eye projections are generally far better but are still worse than on the trained data. (a) Ground truth; (b) Prediction sphere; (c) Prediction bird's-eye; (d) Prediction 3D bird's-eye.
Carla平台虽然灵活性极高，但目前模拟激光雷达模块尚无法提供强度值。此外，其输出的点云及投影结果与真实传感器存在显著差异，直接应用基于投影的方法难度较大。在[^55]中，研究人员利用CycleGANs [^56]来学习传感器模型，从而从模拟激光雷达数据生成逼真的天视图图像。 该实验揭示了基于投影方法的最大缺陷：它们严重依赖所用传感器，且无法克服排列不变性问题。
Table 7. Evaluation of models on new sensor and sensor setup. This table points out the dependency on the used setup. Within column SK, the validation results for the SemanticKITTI dataset are shown.
01051323SK
Bird's-eye (no RANSAC)mIoU8.98.77.96.5-
Acc3530.334.321.5-
Bird's-eyemIoU17.81514.816.232.3
Acc5054.653.145.470.6
3D bird's-eyemIoU19.418.712.912.540.3
Acc66.969.355.551.381.3
SphericalmIoU6.34.85.8550.1
Acc12.49.212.616.288.2
### 6. 结论 在本研究中，我们探讨了多种基于投影的3D语义分割方法。首先，我们比较了不同投影方式并阐明了每种方式如何取得合理结果。尽管球面投影最适合当前场景，但通过增加灵活性，我们也能使天视图投影具备竞争力。该方法的最大优势在于速度快且精度高；而其最大缺点则是对传感器的依赖性以及几何信息的丢失。随后，我们进一步验证了…… --- 将多种投影方式融合并利用不同视角信息的可能性。我们还展示了多种融合途径，当然其中肯定还有本研究未涉及的其他方法。不过，融合过程需要付出代价：基于投影方法所具备的速度优势不再明显。最大的瓶颈在于需要确定最近邻点，这决定了该方法目前无法用于实时分割，仅适用于对精度要求较高的离线任务。 作者贡献：概念化：M.K.；方法论：M.K.；软件：M.K.；验证：M.K.、B.S.和A.R.；正式分析：M.K.；调查：M.K.；资源：A.R.；数据管理：M.K.；初稿撰写：M.K.和B.S.；审阅与编辑：M.K.、B.S.和A.R.；可视化：M.K.；监督：B.S.和A.R.；项目管理：M.K.；经费获取：B.S.和A.R.。所有作者均已阅读并同意发表该手稿的版本。 经费支持：本研究未获得外部经费支持。 机构审查委员会声明：不适用。 知情同意声明：不适用。 数据可用性声明：文中引用的数据即为本研究使用的数据。 致谢：作者谨感谢由弗劳恩霍夫协会资助的MUM项目。 利益冲突：作者声明不存在利益冲突。 ## 缩写词 本文中使用了以下缩写词：
LiDARLight Detection and Ranging
kNNk Nearest Neighbor
NNNearest Neighbor
MLPMultilayer perceptron
RANSACRANdom SAmple Consensus
KKernel
DDilation
ReLURectified Linear Unit
SGDStochastic gradient descent
IoUIntersection over Union
mIoUMean Intersection over Union
Acc 准确率 ## 参考文献 [^1]: Chen, X.; Ma, H.; Wan, J.; Li, B.; Xia, T. Multi-View 3D Object Detection Network for Autonomous Driving. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. [^2]: Liang, M.; Yang, B.; Wang, S.; Urtasun, R. Deep Continuous Fusion for Multi-Sensor 3D Object Detection. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018. [^3]: Cordts, M.; Omran, M.; Ramos, S.; Rehfeld, T.; Enzweiler, M.; Benenson, R.; Franke, U.; Roth, S.; Schiele, B. The Cityscapes Dataset for Semantic Urban Scene Understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016. [^4]: Merkle, D.; Frey, C.; Reiterer, A. Fusion of ground penetrating radar and laser scanning for infrastructure mapping. J. Appl. Geod. 2021, 15, 31–45. [CrossRef] [^5]: Reiterer, A.; Wäschle, K.; Störk, D.; Leydecker, A.; Gitzen, N. Fully Automated Segmentation of 2D and 3D Mobile Mapping Data for Reliable Modeling of Surface Structures Using Deep Learning. Remote Sens. 2020, 12, 2530. [CrossRef] [^6]: Merkle, D.; Schmitt, A.; Reiterer, A. Concept of an Autonomous Mobile Robotic System for Bridge Inspection; SPIE: Bellingham, WA, USA, 2020. [CrossRef] ## [^7]: von Olshausen, P.; Roetner, M.; Koch, C.; Reiterer, A. Multimodal measurement system for road analysis and surveying of road surroundings. In Automated Visual Inspection and Machine Vision IV; Beyerer, J., Heizmann, M., Eds.; International Society for Optics and Photonics: Bellingham, WA, USA, 2021; Volume 11787, pp. 72–78 --- [^8]: Çiçek, Ö.; Abdulkadir, A.; Lienkamp, S.S.; Brox, T.; Ronneberger, O. 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. In Proceedings of the Medical Image Computing and Computer-Assisted Intervention—MICCAI 2016, Athens, Greece, 17–21 October 2016; pp. 424–432. [^9]: Noh, H.; Hong, S.; Han, B. Learning Deconvolution Network for Semantic Segmentation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 7–13 December 2015. [^10]: Chen, L.C.; Papandreou, G.; Kokkinos, I.; Murphy, K.; Yuille, A.L. Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs. arXiv 2016, arXiv:1412.7062. [^11]: Ronneberger, O.; Fischer, P.; Brox, T. U-Net: Convolutional Networks for Biomedical Image Segmentation. In Medical Image Computing and Computer-Assisted Intervention (MICCAI); Springer: Berlin/Heidelberg, Germany, 2015; Volume 9351, pp. 234–241. [^12]: Badrinarayanan, V.; Kendall, A.; Cipolla, R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. In IEEE Transactions on Pattern Analysis and Machine Intelligence; IEEE: Piscataway, NJ, USA, 2017; Volume 39, pp. 2481–2495. [^15]: Wang, J.; Sun, K.; Cneng, I.; Jiang, B.; Deng, C.; Zhao, Y.; Liu, D.; Mu, Y.; Ian, M.; Wang, A.; et al. Deep Rign-Kesoulion Representation Learning for Visual Recognition. In IEEE Transactions on Pattern Analysis and Machine Intelligence; IEEE: Piscataway, NJ, USA, 2020. [^14]: Long, J.; Shelhamer, E.; Darrell, T. Fully Convolutional Networks for Semantic Segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 7–12 June 2015. [^15]: Chen, L.C.; Papandreou, G.; Kokkinos, I.; Murphy, K.; Yuille, A.L. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. In IEEE Transactions on Pattern Analysis and Machine Intelligence; IEEE: Piscataway, NJ, USA, 2018. [^16]: Chen, L.C.; Papandreou, G.; Schroff, F.; Adam, H. Rethinking Atrous Convolution for Semantic Image Segmentation. arXiv 2017, arXiv:1706.05587. [^17]: Lin, T.Y.; Dollár, P.; Girshick, R.; He, K.; Hariharan, B.; Belongie, S. Feature Pyramid Networks for Object Detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. [^18]: Liu, W.; Rabinovich, A.; Berg, A.C. ParseNet: Looking Wider to See Better. arXiv 2015, arXiv:1506.04579. [^19]: Guo, Y.; Wang, H.; Hu, Q.; Liu, H.; Liu, L.; Bennamoun, M. Deep Learning for 3D Point Clouds: A Survey. In IEEE Transactions on Pattern Analysis and Machine Intelligence; IEEE: Piscataway, NJ, USA, 2021. [^20]: Milioto, A.; Vizzo, I.; Behley, J.; Stachniss, C. RangeNet++: Fast and Accurate LiDAR Semantic Segmentation. In Proceedings of the EEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macao, Macau, 4–8 November 2019. [^21]: Wu, B.; Zhou, X.; Zhao, S.; Yue, X.; Keutzer, K. SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, 20–24 May 2019. [^22]: Cortinhal, T.; Tzelepis, G.; Aksoy, E.E. SalsaNext: Fast, Uncertainty-aware Semantic Segmentation of LiDAR Point Clouds for Autonomous Driving. arXiv 2020, arXiv:2003.03653. [^23]: Zhang, Y.; Zhou, Z.; David, P.; Yue, X.; Xi, Z.; Gong, B.; Foroosh, H. PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 14–19 June 2020. [^24]: Gerdzhev, M.; Razani, R.; Taghavi, E.; Liu, B. TORNADO-Net: mulTiview tOtal vaRiatioN semAntic segmentation with Diamond inceptiOn module. arXiv 2020, arXiv:2008.10544. [^25]: Chen, K.; Oldja, R.; Smolyanskiy, N.; Birchfield, S.; Popov, A.; Wehr, D.; Eden, I.; Pehserl, J. MVLidarNet: Real-Time Multi-Class Scene Understanding for Autonomous Driving Using Multiple Views. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, 25–29 October 2020. [^26]: Alnaggar, Y.A.; Afifi, M.; Amer, K.; Elhelw, M. Multi Projection Fusion for Real-time Semantic Segmentation of 3D LiDAR Point Clouds. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV), Snowmass Village, CO, USA, 3–8 January 2021. [^27]: Liong, V.E.; Nguyen, T.N.T.; Widjaja, S.; Sharma, D.; Chong, Z.J. AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation. arXiv 2020, arXiv 2012.04934. [^28]: Kalogerakis, E.; Averkiou, M.; Maji, S.; Chaudhuri, S. 3D Shape Segmentation with Projective Convolutional Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. [^29]: Huang, J.; You, S. Point cloud labeling using 3D Convolutional Neural Network. In Proceedings of the 2016 23rd International Conference on Pattern Recognition (ICPR), Cancun, Mexico, 4–8 December 2016; pp. 2670–2675. [CrossRef] [^30]: Choy, C.; Gwak, J.; Savarese, S. 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 16–20 June 2019. [^31]: Riegler, G.; Ulusoy, A.O.; Geiger, A. OctNet: Learning Deep 3D Representations at High Resolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. [^32]: Rosu, R.A.; Schütt, P.; Quenzel, J.; Behnke, S. LatticeNet: Fast Point Cloud Segmentation Using Permutohedral Lattices. arXiv 2020, arXiv:1912.05905. ## [^33]: Zhu, X.; Zhou, H.; Wang, T.; Hong, F.; Ma, Y.; Li, W.; Li, H.; Lin, D. Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR Segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 19–25 June 2021 --- [^34]: Qi, C.R.; Su, H.; Mo, K.; Guibas, L.J. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. [^35]: Hu, Q.; Yang, B.; Xie, L.; Rosa, S.; Guo, Y.; Wang, Z.; Trigoni, N.; Markham, A. RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Virtual, 14–19 June 2020. [^36]: Boulch, A. ConvPoint: Continuous Convolutions for Point Cloud Processing. Comput. Graph. 2020, 88, 24–34. [CrossRef] [^37]: Thomas, H.; Qi, C.R.; Deschaud, J.E.; Marcotegui, B.; Goulette, F.; Guibas, L.J. KPConv: Flexible and Deformable Convolution for Point Clouds. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Guangzhou, China, 27 October–2 November 2019. [^38]: Tatarchenko, M.; Park, J.; Koltun, V.; Zhou, Q.Y. Tangent Convolutions for Dense Prediction in 3D. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 18–22 June 2018. [^39]: Landrieu, L.; Simonovsky, M. Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 18–22 June 2018. [^40]: Cheng, R.; Razani, R.; Taghavi, E.; Li, E.; Liu, B. (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 19–25 June 2021. [^41]: Zhang, F.; Fang, J.; Wah, B.; Torr, P. Deep FusionNet for Point Cloud Semantic Segmentation. In Proceedings of the European Conference on Computer Vision (ECCV), Virtual, 23–28 August 2020. [^42]: Xu, J.; Zhang, R.; Dou, J.; Zhu, Y.; Sun, J.; Pu, S. RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 11–17 October 2021. [^43]: Behley, J.; Garbade, M.; Milioto, A.; Quenzel, J.; Behnke, S.; Stachniss, C.; Gall, J. SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), Guangzhou, China, 27 October–2 November 2019. [^44]: Fischler, M.; Bolles, R. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Commun. ACM 1981, 24, 381–395. [CrossRef] [^45]: Szegedy, C.; Liu, W.; Jia, Y.; Sermanet, P.; Reed, S.; Anguelov, D.; Erhan, D.; Vanhoucke, V.; Rabinovich, A. Going Deeper with Convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 7–12 June 2015. [^46]: Pedregosa, F.; Varoquaux, G.; Gramfort, A.; Michel, V.; Thirion, B.; Grisel, O.; Blondel, M.; Prettenhofer, P.; Weiss, R.; Dubourg, V.; et al. Scikit-learn: Machine Learning in Python. J. Mach. Learn. Res. 2011, 12, 2825–2830. [^47]: Roynard, X.; Deschaud, J.E.; Goulette, F. Paris-Lille-3D: A large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classification. Int. J. Robot. Res. 2018, 37, 545–557. [CrossRef] [^48]: Dosovitskiy, A.; Ros, G.; Codevilla, F.; Lopez, A.; Koltun, V. CARLA: An Open Urban Driving Simulator. In Proceedings of the 1st Annual Conference on Robot Learning, Mountain View, CA, USA, 13–15 November 2017; pp. 1–16. [^49]: Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. Vision meets Robotics: The KITTI Dataset. Int. J. Robot. Res. (IJRR) 2013, 32, 1231–1237. [CrossRef] [^50]: Paszke, A.; Gross, S.; Massa, F.; Lerer, A.; Bradbury, J.; Chanan, G.; Killeen, T.; Lin, Z.; Gimelshein, N.; Antiga, L.; et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. Adv. Neural Inf. Processing Syst. 2019, 32, 8026–8037. [^51]: Berman, M.; Rannen Triki, A.; Blaschko, M.B. The Lovázs-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 18–22 June 2018. [^52]: Robbins, H.; Monro, S. A stochastic approximation method. Ann. Math. Stat. 1951, 22, 400–407. [CrossRef] [^53]: Smith, L.N. Cyclical Learning Rates for Training Neural Networks. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV), Santa Rosa, CA, USA, 24–34 March 2017. [^54]: Smith, L.N.; Topin, N. Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates; International Society for Optics and Photonics: Bellingham, WA, USA, 2018. [^55]: Sallab, A.E.; Sobh, I.; Zahran, M.; Essam, N. LiDAR Sensor modeling and Data augmentation with GANs for Autonomous driving. arXiv 2019, arXiv:1905.07290. [^56]: Zhu, J.Y.; Park, T.; Isola, P.; Efros, A.A. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 22–29 October 2017.