# FIDNet：基于全插值解码的激光雷达点云语义分割赵一鸣、白林、黄新明摘要—将点云投影到二维球面距离图像上，可将激光雷达语义分割转化为在距离图像上的二维分割任务。不过，激光雷达距离图像与常规的二维RGB图像仍存在本质差异；例如，距离图像上的每个位置都编码了独特的几何信息。在本文中，我们提出了一种全新的基于投影的激光雷达语义分割流程，该流程包含一种新颖的网络结构以及高效的后处理步骤。在我们的网络结构中，我们设计了FID（全插值解码）模块，该模块利用双线性插值直接对多分辨率特征图进行上采样。受PointNet++中采用的3D距离插值方法的启发，我们认为这种FID模块是$(\theta, \phi)$空间上的二维版本距离插值。作为一种无需参数的解码模块，FID在保持良好性能的同时大幅降低了模型复杂度。除了网络结构外，我们通过实验发现，我们的模型预测结果在不同语义类别之间具有清晰的边界。这促使我们重新思考：对于我们的流程而言，广泛使用的K近邻后处理步骤是否仍有必要。随后我们意识到，多对一的映射会导致模糊效应，即某些点被映射到同一个像素上并共享相同的标签。因此，我们提出通过为这些被遮挡的点分配最近的预测标签来处理它们。在消融实验中，这种NLA（最近标签分配）后处理步骤不仅性能优于KNN，而且推理速度更快。在SemanticKITTI数据集上，我们的流程在所有基于投影的方法中以$64 \times 2048$分辨率取得了最佳性能，在所有逐点解决方案中也名列前茅。以ResNet-34作为骨干网络时，我们的模型训练和测试均可在配备11G内存的单张RTX 2080 Ti显卡上完成。代码已在此发布。$^{[1]}$ ## I. 引言激光雷达传感器在户外机器人领域，尤其是自动驾驶汽车中发挥着重要作用。随着深度学习技术的蓬勃发展，近期的研究热点集中在从点云中提取物体和语义信息。激光雷达语义分割正是这样一项任务：神经网络为每个点预测其语义标签[^1]。如图1所示，完成这项任务有助于构建对周边环境的3D理解。尽管首个专门用于评估激光雷达语义分割性能的数据集于2019年发布$^{[2]}$，但早在之前，两个研究领域便已开始探索利用神经网络处理3D点云的方法。计算机视觉领域的研究人员致力于设计排列不变的网络来处理更通用的无序点云$^{[3]}$、$^{[4]}$。相比之下，机器人领域的研究人员在设计解决方案时则考虑得更为周全。 ![Image](images/051bc8860c1b322faf3760e12556e780248d148e43e21e3e01de121b0e1a77e1.jpg)

Fig. 1. The LiDAR point cloud semantic segmentation predicts a semantic label for each point to help the car to understand the 3D surroundings. This is a sample from the validation sequence in the SemanticKITTI dataset.

关于激光雷达传感机制，其原理是将点云投影到二维球面距离图像上[^5]。这种基于投影的解决方案使得设计精良的二维图像语义分割模型能够直接用于激光雷达语义分割任务。尽管它无法处理更通用的无序点云，但在速度和精度方面均展现出实用优势[^6]、[^7]。为了追求更佳性能，近期研究人员进一步设计了结合多视角投影或体素化与点特征的方法[^8]、[^9]、[^10]。研究动机：本文的核心目标是探讨应如何为基于投影的激光雷达分割任务设计网络。我们希望在保持结构通用性的同时兼顾良好性能。大多数基于图像的网络结构都采用编码器-解码器架构。本文通过考虑球面表示图像与普通图像之间的差异，重新思考了这一架构。在球面表示图像中，每个位置都是一个带有独特位置信息的三维点；而在普通图像中，两个不同像素可能具有相同的光谱信息，只有像素模式才具备意义。为了为距离图像设计更优的结构，我们提出了若干模块，包括采用$1 \times 1$卷积的输入模块、用于提取多尺度特征的骨干网络、全插值解码模块，以及仅对遮挡点分配标签的最终后处理步骤。贡献本文提出了一种新的流水线方法，以投影方式解决 LiDAR 语义分割问题。整个解决方案简洁高效。训练和测试都可以在单张 RTX 2080 Ti 上完成，显存为 --- 11 GB。该解决方案在相同的 $64 \times 2048$ 输入分辨率下，性能优于所有基于投影的方法。我们认为有两项主要技术贡献将对其他相关方法有所帮助： - 我们提出了一种无需参数的全插值解码模块，该模块仅包含双线性插值运算。大多数现有解码结构需要转置卷积或特殊的组合卷积来实现低分辨率特征图的上采样。我们的研究表明，仅使用双线性插值就能达到最先进的性能。这种设置避免了其他模型解码器中所需的大量参数，从而降低了模型复杂度 [^11], [^7]。 • 我们用更高效、更直观的步骤取代了广泛使用的K近邻后处理机制。提出K近邻机制是为了解决由两种原因导致的边界模糊效应[^1]：一是卷积神经网络的输出存在歧义，二是球面距离图像上的多对一映射问题。不过我们通过实验发现，我们预测结果中的模糊效应微乎其微。随后我们重点研究了多对一映射问题——即某些点会被映射到同一位置，因此无法从网络直接获得预测标签。为解决这一问题，我们将三维空间中最近点的预测标签赋给这些未预测出标签的点。与KNN相比，这种NLA（最近标签分配）后处理步骤不仅性能更优，推理速度也更快。上述两项贡献都为基于投影的激光雷达语义分割任务的网络设计带来了实际改进，据我们所知，现有文献中尚未探讨过这些改进。此外还有一些次要贡献，比如采用$1 \times 1$卷积的输入模块，或是利用空洞卷积进行邻近点特征聚合的$^{[12]}$方法。由于近期论文中已探索了类似思路$^{[13]}$，我们会在方法部分介绍它们，但不会将其视为本文的主要贡献。 ### 二、相关工作 ### A. 基于点的网络 PointNet [^3]总结了通用点云的几个关键特性，包括无序性、变换不变性以及点之间的相互作用。这些独特的挑战促使研究者设计出基于多层感知机（MLP）的网络结构，以及由全局特征和逐点特征拼接而成的逐点特征向量。除了简单的全局与逐点特征拼接外，PointNet++ [^4]还提出了新颖的集合学习层，以自适应地融合多尺度的特征。不过，局部查询和分组操作限制了该模型在大型点云上的性能。这一特点也吸引了后续一系列相关研究[^14]、[^6]，但即便如此，纯基于点的解决方案在激光雷达点云语义分割任务上的表现仍落后于其他方法[^6]。 PointConvs 在网络结构设计之外，利用特殊卷积核解决点云分割问题也是当前的研究热点。诸如PointCNN [^15]和KPConv [^16]等思路已在各类数据集上得到验证，展现出强大的通用性。其中一些特殊卷积核还被整合到其他解决方案中[^17]。 ### B. 基于体素的网络将三维世界划分为离散的体素，是处理点云的一种直观思路。体素化之后，就可以像在二维图像上使用二维卷积一样，在三维空间中使用常规的三维卷积[^18]、[^19]。不过，这些方法在室外激光雷达点云上的改进效果仍然有限。近期的一些论文试图结合激光雷达传感器生成点云的方式，设计更优的三维体素化方法[^20]。 ### C. 基于投影的网络单视图投影二维卷积神经网络在图像处理领域取得的成功，引发了人们思考：是否可以将三维点云投影到二维空间，从而利用已经成熟的现有模型？激光雷达传感器的扫描机制为球面距离投影提供了依据[^1]。这一思路已被近期多篇从不同角度展开的论文所探讨[^7]、[^21]、[^13]。除了距离视图外，鸟瞰视图也受到了近期论文的关注[^9]。所有这些单视图投影方法的优势在于能够使用二维卷积网络，比如可控的推理速度。多视角投影借助上述那些新开发的方法，人们自然会开始思考如何将不同思路的部分结合起来。在最近的多视角投影方案中[^22]、[^23]，通常会先使用基于MLP的特征提取器，随后将来自不同视角的特征张量融合起来，再交由一个解码器处理。不过，这些方法需要额外付出成本来准备多视角投影数据，而且与单视角投影相比究竟能带来多大提升也尚不明朗。 ### D. 实际考量如何设计模型来解决激光雷达语义分割问题，作为一项全新且重要的挑战，目前仍是一个未解之谜。解决方案需要同时兼顾数值指标与实际可行性。单视角投影方法能够直接利用二维卷积神经网络，因此无需担心可行性问题，毕竟已有大量技术可用于针对各类应用需求优化二维网络[^24]、[^25]。本文旨在提供一种性能更优的球面距离单视角投影方案流程。 ### III. 方法距离视图投影方法会将每个点从$(x, y, z)$笛卡尔坐标映射到$(r, \theta, \phi)$球面坐标。在对二维$(\theta, \phi)$空间进行离散化之后，每个点都会 --- ![Image](images/9424fb5e6335b540dce9c8e7ad409cedd6cfc59185cd7e01a8e7defc83a0686b.jpg)

Fig. 2. Illustration of our network structure. The input module has two $1 \times 1$ layers mapping each point to a high dimensional space. The backbone can be any regular standard network, like ResNet-34 used in this paper. The FID module upsamples all low-resolution feature maps to the original size and concatenates them together. The last classification head takes in the merged large tensor and outputs the label of each point.

在$(\theta,\phi)$图像上获得对应的映射位置。与普通图像中的RGB三通道类似，激光雷达点云距离图像也有五个通道$(x,y,z,r,\text{remission})$。 ### A. 输入与骨干网络模块尽管输入看起来像是一张具有五个通道的二维图像，但每个位置仍然代表一个点的信息。因此，我们使用两层$1 \times 1$卷积层对输入进行处理，将每个点映射为高维张量。这种输入处理模块类似于PointNet[^3]，后者通过MLP（多层感知机）提取点特征。接着，我们将包含逐点特征的高维张量送入常规的骨干网络中。骨干网络可以是任意结构，比如运算更快的MobileNet[^26]或精度更高的HRNet[^27]。所有这些CNN结构接收张量输入并生成多分辨率特征图。在本文中，我们采用标准的ResNet-34[^28]作为骨干网络。有人可能会问：为图像设计的常规骨干网络为何仍能处理逐点特征张量？我们认为，由于激光扫描仪是逐行发射激光束，激光雷达点云在球面坐标下是有序排列的。这一机制使得构建激光雷达点云的特殊二维球面距离表示成为可能。现代骨干网络中的常规$3 \times 3$卷积运算，等价于在二维$(\theta, \phi)$空间中对最近的八个点进行查询与分组。因此，用为图像设计的骨干网络来处理逐点特征，就相当于PointNet++[^4]中对无序点云采用的3D最近邻查询与分组的二维对应形式。 ### B. 全插值解码在我们图2所示的网络结构中，我们使用$1 \times 1$卷积将每个点向量映射为高维张量，随后利用骨干网络提取多尺度点特征；该网络会在二维($\theta, \phi$)空间上持续处理邻近的点特征。接下来的问题是：如何以逐点方式将这些信息融合在一起？在PointNet[^3]中，每个点的特征向量会与全局特征向量拼接，从而构成该点的最终特征向量。而在PointNet++[^4]中，则采用基于距离的插值方法，将一部分点上采样为更大的点集。这两种独特操作启发我们设计出类似的模块，以实现多尺度信息的融合。 PointNet++ 中定义的距离插值 [^4] 为： $$ f(x)=\frac{\sum_{i=1}^{k}w_{i}(x)f_{i}}{\sum_{i=1}^{k}w_{i}(x)},\ where\ w_{i}(x)=\frac{1}{d(x,x_{i})}. $$ 然而，在二维($(\theta,\phi)$)空间中，如果我们设定最近邻点的数量$k=4$，并将距离函数$d(x,x_i)$定义为$l_1$距离，那么这种距离插值就会恰好退化为双线性上采样。利用双线性上采样对低分辨率特征图进行插值后，我们会得到五个分辨率相同但编码了不同层级信息的逐点特征张量。与PointNet[^3]的做法类似，我们会将所有这些特征张量拼接在一起。随后，经过图2中的网络结构处理后，每个点都会从$(x,y,z,r,\text{remission})$映射为包含多层级信息的高维向量。我们将这个模块命名为FID（全插值解码）。与其他网络中常用的常规解码器相比，FID完全无需参数，从而大幅降低了模型复杂度和内存开销。这一优势也为网络结构设计带来了便利：例如，设计者只需专注于定制骨干网络，以满足硬件限制的要求即可。 ### C. 分类头经过FID（全插值解码）模块后，我们会得到一个逐点特征张量。为了帮助每个点向量更好地融合邻近信息，我们进一步采用空洞卷积提取局部特征，并通过简单的拼接操作将其与原始特征张量聚合。这一操作类似于ASPP（空洞空间金字塔池化）[^29]，区别在于我们并未采用平均池化，而是将输出结果与原始特征张量直接拼接。最终的特征张量会被送入$1 \times 1$分类层，以预测每个点的语义标签。该分类头的结构如图3所示。 ### D. 基于最近标签分配的后处理近期开发的所有基于投影的激光雷达语义分割方案，几乎都采用了KNN（K近邻）后处理模块来缓解边界模糊效应。正如近期一篇论文[^1]中所提到的，造成这种效应的原因有两个： --- ![Image](images/4328796b340efc43d1403d39d88e830700605ae5bec8e2f6dbf087913e8d15ad.jpg)

Fig. 3. Illustration of our classification head. This head aggregates the original tensor from the FID (fully interpolation decoding) module with tensors from atrous convolution layers. The final point-wise feature tensor is processed by regular $1 \times 1$ convolution layers to get the semantic label.

一是神经网络输出的模糊性，二是范围图像上的多对一映射问题。不过，在可视化我们的网络输出结果后，我们发现FID（全插值解码）模块已经能够给出边界清晰的对象预测结果。图4展示了我们的观察结果：上方我们仅展示了经网络处理后的点，可以看到即使是细小的杆状物也几乎没有模糊效应；图4下方则明显可见，加入那些被遮挡的点后会形成模糊的边界。这促使我们重新思考：是否仍有必要在流程中保留KNN后处理步骤。首先，我们对多对一映射问题展开更深入的讨论。从$(x, y, z)$笛卡尔坐标到$(r, \theta, \phi)$球坐标的映射是一一对应的连续映射。然而，将$(r, \theta, \phi)$在二维$(\theta, \phi)$图像上离散化时，一些相邻的点会被归为同一个单元格。投影之后，神经网络只会处理该单元格中某一个点的信息。需要注意的是，被映射到同一单元格的这些点在二维$(\theta, \phi)$空间中虽然相邻，但它们与所处理的那个点之间可能存在较大距离。这种潜在的大距离意味着这些被遮挡的点可能与预测点的标签不同。基于图4中观察到的现象，我们认为多对一映射是我们流程中的主要问题。从上述讨论可知，被映射到同一单元格的那些点彼此间可能存在较大距离，因此不会共享相同的标签。这暗示了一个简单的解决方案：我们可以直接将三维空间中最近点的标签赋予那些被遮挡的点。借鉴KNN的思路，我们在算法1中设计了NLA（最近标签分配）方法，用于在范围图像上找到局部区域内的最近点，该方法支持GPU加速。 ![Image](images/04320a43967d2c718aa9469482167747ed36e2ca2c065ef2337234aef27ca1c9.jpg)

Fig. 4. At the (top), we visualize those points that are mapped on the range image. Those labels are directly predicted from the neural network and have clear boundaries. At the (bottom), we add the other points that are mapped on already occupied pixels (more than one point mapped on one pixel). Some of those points are from object boundaries, thus do not share the same label as the predicted one on the pixel. Directly assigning predicted labels will cause the blurred boundary effect as Middle-Red points around the car on the bottom-left image and the Dark-Blue points around poles on the bottom-right image.

// Algorithm 1: Nearest Label Assignment (NLA) 输入：大小为$I_r$的范围图像$H \times W$， predicted label map $I_{label}$ with size $H \times W$, vector $R_{all}$ with range values for all points, vector $h_{all}$ with projected h values for all points, vector $w_{all}$ with projected w values for all points, local kernel size k. 输出：包含所有点的预测标签的向量标签。 Labels ← empty list [], $k \leftarrow 5$ $S(h, w, k) \leftarrow \forall(h_n, w_m)$, 其中 $(h_n, w_m)$ 位于以 $k \times$ 为中心、大小为 $(h, w)$ k 的局部块中； foreach i in 1 : $R_{all}.length()$, do min_diff ← +∞; foreach position $(h_n, w_m)$ in $S(h_{all}[i], w_{all}[i], k)$, do if abs( $ I_r(h_n, w_m) - R_{all}[i]) < min_diff then label_each = $I_{label}(h_n, w_m)$ min_diff = abs( $I_r(h_n, w_m) - R_{all}[i]$) end Labels.append(label_each) end 返回Labels 与KNN相比，我们的NLA后处理步骤不需要高斯加权和距离截断，因此是一种更简洁的解决方案。消融实验表明，与KNN相比，我们的最近标签分配后处理步骤不仅能获得更高的mIoU值，推理速度也更快。 ### E. 其他训练设置在数据增强方面，我们参考其他论文的做法，沿y轴进行旋转和翻转操作[^23]，[^7]。我们将批量大小设为2，采用Adam优化器并配合单周期学习率策略。最大学习率设定为0.002，总训练轮数设为30。在损失函数方面，我们结合了加权交叉熵 ---

TABLE I

THE PERFORMANCE COMPARISON ON SEMANTICKITTI TEST SET (SEQUENCE 11 TO SEQUENCE 21). THE UPPER-HALF ARE POINT-WISE METHODS, AND THE LOWER-HALF ARE PROJECTION-BASED METHODS.

Methods	Size	mean-IoU	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign
PointNet [^3]	50K pts	14.6	46.3	1.3	0.3	0.1	0.8	0.2	0.2	0.0	61.6	15.8	35.7	1.4	41.4	12.9	31.0	4.6	17.6	2.4	3.7
PointNet++ [^4]	50 K pts	20.1	53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	5.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9
SPGraph [^14]	50K pts	20.0	68.3	0.9	4.5	0.9	0.8	1.0	6.0	0.0	49.5	1.7	24.2	0.3	68.2	22.5	59.2	27.2	17.0	18.3	10.5
SPLATNet [^30]	50K pts	22.8	66.6	0.0	0.0	0.0	0.0	0.0	0.0	0.0	70.4	0.8	41.5	0.0	68.7	27.8	72.3	35.9	35.8	13.8	0.0
TangentConv [^31]	50K pts	35.9	86.8	1.3	12.7	11.6	10.2	17.1	20.2	0.5	82.9	15.2	61.7	9.0	82.8	44.2	75.5	42.5	55.5	30.2	22.2
PointASNL [^32]	8K pts	46.8	87.9	0.0	25.1	39.0	29.2	34.2	57.6	0.0	87.4	24.3	74.3	1.8	83.1	43.9	84.1	52.2	70.6	57.8	36.9
LatticeNet [^33]	50 K pts	52.9	92.9	16.6	22.2	26.6	21.4	35.6	43.0	46.0	90.0	59.4	74.1	22.0	88.2	58.8	81.7	63.6	63.1	51.9	48.4
RandLa-Net [^6]	50K pts	53.9	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7
S-BKI [^34]	all	51.3	83.8	30.6	43.0	26.0	19.6	8.5	3.4	0.0	92.6	65.3	77.4	30.1	89.7	63.7	83.4	64.3	67.4	58.6	67.1
KPCConv [^16]	50K pts	58.8	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4
SqueezeSeg-CRF [^5]	64 \times 2048	30.8	68.3	18.1	5.1	4.1	4.8	16.5	17.3	1.2	84.9	28.4	54.7	4.6	61.5	29.2	59.6	25.5	54.7	11.2	36.3
SqueezeSegV2-CRF [^35]	64 \times 2048	39.6	82.7	21.0	22.6	14.5	15.9	20.2	24.3	2.9	88.5	42.4	65.5	18.7	73.8	41.0	68.5	36.9	58.9	12.9	41.0
SqueezeSegV3 [^21]	64 \times 2048	55.9	92.5	38.7	36.5	29.6	33.0	45.6	46.2	20.1	91.7	63.4	74.8	26.4	89.0	59.4	82.0	58.7	65.4	49.6	58.9
RangeNet53++KNN [^1]	64 \times 2048	52.2	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9
SalsaNet [^36]	64 \times 2048	45.4	87.5	26.2	24.6	24.0	17.5	33.2	31.1	8.4	89.7	51.7	70.7	19.7	82.8	48.0	73.0	40.0	61.7	31.3	41.9
SalsaNext [^7]	64 \times 2048	59.5	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1
PolarNet [^37]	[^480] [^360] [^32]	54.3	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	57.5
3D-MiniNet-KNN [^13]	64 \times 2048	55.8	90.5	42.3	42.1	28.5	29.4	47.8	44.1	14.5	91.6	64.2	74.5	25.4	89.4	60.8	82.8	60.8	66.7	48.0	56.6
Ours	64 \times 2048	59.5	93.9	54.7	48.9	27.6	23.9	62.3	59.8	23.7	90.6	59.1	75.8	26.7	88.9	60.5	84.5	64.4	69.0	53.3	62.8

损失[^38]与Lovász-Softmax损失[^39]。得益于无需参数的FID（全插值解码）模块，我们的所有实验均在配备PyTorch混合精度功能的单张RTX 2080 Ti显卡上完成。 ### IV. 实验 ### A. 数据集 SemanticKITTI数据集[^2]是近期发布的大规模数据集，它为整个KITTI里程计基准测试[^40]提供了密集的点级标注。该数据集共包含22个序列。在本文中，我们严格遵循官方划分方式，用序列00至07以及序列09、10来训练模型；序列08则作为验证集，用于帮助我们挑选最佳检查点。我们将序列11至21的预测结果提交，并通过排行榜上的数据与其他方法进行比较。在本文中，我们通过实验发现，我们的网络预测结果并不存在明显的边缘模糊现象。边界处的模糊主要是由多对一映射问题引起的。为了解决这个问题，我们设计了一种新的后处理算法：对于神经网络未能给出预测结果的点，直接赋予其在三维空间中最近点的标签。从表二可以看出这种NLA（最近邻标签分配）算法的效果显著。 ### C. 消融实验 ### B. 性能对比我们在表一中将我们模型的性能与其他方法进行了比较。由于我们设计的结构能够利用点属性来处理投影后的范围图像，因此主要将我们的方法与基于点的解决方案以及基于投影的解决方案进行对比。在相同设置下，我们的流程以较大优势超越了所有基于点的解决方案，且与性能最优的基于投影的解决方案表现相近。

TABLE II

PERFORMANCE COMPARISON BETWEEN PROPOSED NEAREST LABEL ASSIGNMENT AND COMMONLY USED KNN.

resolution	Network Modules	mIoU (%)	process time(ms)
64 $\times$ 2048	CNN +	55.4	11
	K-Nearest-Neighbor	58.7	2.7
	Nearest Label Assignment	58.9	1.2

相较于常用的KNN算法，NLA（最近邻标签分配）后处理算法能在更快的推理速度下取得更好的性能。该实验是在SemanticKITTI的验证集上进行的，所用硬件为Nvidia RTX 2080 TI。值得一提的是，CNN结构处理一个样本仅需11毫秒。尽管训练时我们使用了PyTorch提供的混合精度选项，这一推理速度依然十分惊人。我们将这一优势归功于无需参数的FID模块。 ### V. 结论本文探讨了如何为基于投影的激光雷达点云分割设计神经网络解决方案。我们提出了一种包含输入模块、常规骨干网络、用于上采样的FID模块、分类头以及名为NLA的后处理步骤的流程。在每个模块中，我们首先尝试选择最常见的网络设置，随后阐述所选设置为何有效。我们的流程在基准测试中取得了良好的性能，且结构简洁，我们认为这种结构对GPU和车载处理器而言都具有良好的硬件适配性。我们已公开代码，以便后续开发更加便捷。 ## 参考文献 ## [^1]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “Rangenet++: Fast and accurate lidar semantic segmentation,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019, pp. 4213–4220 --- [^2]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 9297–9307. [^3]: C. R. Qi, H. Su "Pointnet: Deep learning on point space" in Proceedings of 11th 2019 on the 11th International Conference on Neural Information Technology, 2019, London, UK, 2019, in Proceedings of 11th 2019 on the 11th International Conference on Neural Information Technology, 2019, London, UK, 2019 [^4]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” arXiv preprint arXiv:1706.02413, 2017. [^5]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud,” in 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018, pp. 1887–1893. [^6]: Q. Hu, B. Yang, L. Xie, S. Rosa, Y. Guo, Z. Wang, N. Trigoni, and A. Markham, "Randla-net: Efficient semantic segmentation of large-scale point clouds," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 11108–11117. [^7]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “Salsanext: Fast semantic segmentation of lidar point clouds for autonomous driving,” arXiv preprint arXiv:2003.03653, 2020. [^8]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, “2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network,” arXiv preprint arXiv:2102.04530, 2021. [^9]: F. Zhang, J. Fang, B. Wah, and P. Torr, "Deep fusionnet for point cloud semantic segmentation," in ECCV, vol. 2, 2020, p. 6. [^10]: Y. A. Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds,” in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2021, pp. 1800–1809. [^11]: B. Cheng, M. D. Collins, Y. Zhu, T. Liu, T. S. Huang, H. Adam, and L.-C. Chen, “Panoptic-deeplab: A simple, strong, and fast baseline for bottom-up panoptic segmentation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 12475–12485. [^12]: L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam, "Rethinking atrous convolution for semantic image segmentation," arXiv preprint arXiv:1706.05587, 2017. [^13]: I. Alonso, L. Riazuelo, L. Montesano, and A. C. Murillo, “3d-mininet: Learning a 2d representation from point clouds for fast and efficient 3d lidar semantic segmentation,” IEEE Robotics and Automation Letters, vol. 5, no. 4, pp. 5432–5439, 2020. [^14]: L. Landrieu and M. Simonovsky, “Large-scale point cloud semantic segmentation with superpoint graphs,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 4558–4567. [^15]: Y. Li, R. Bu, M. Sun, W. Wu, X. Di, and B. Chen, “Pointcnn: Convolution on $\chi$-transformed points,” in Proceedings of the 32nd International Conference on Neural Information Processing Systems, 2018, pp. 828–838. [^16]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas, "Kpconv: Flexible and deformable convolution for point clouds," in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 6411–6420. [^17]: D. Kochanov, F. K. Nejadasl, and O. Booij, “Kprnet: Improving projection-based lidar semantic segmentation,” arXiv preprint arXiv:2007.12668, 2020. [^18]: B. Graham, M. Engelcke, and L. Van Der Maaten, “3d semantic segmentation with submanifold sparse convolutional networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 9224–9232. [^19]: L. Han, T. Zheng, L. Xu, and L. Fang, “Occuseg: Occupancy-aware 3d instance segmentation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 2940–2949. [^20]: X. Zhu, H. Zhou, T. Wang, F. Hong, Y. Ma, W. Li, H. Li, and D. Lin, "Cylindrical and asymmetrical 3d convolution networks for lidar segmentation," arXiv preprint arXiv:2011.10033, 2020. [^21]: C. Xu, B. Wu, Z. Wang, W. Zhan, P. Vajda, K. Keutzer, and M. Tomizuka, “Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation,” in European Conference on Computer Vision. Springer, 2020, pp. 1–19. [^22]: V. E. Liong, T. N. T. Nguyen, S. Widjaja, D. Sharma, and Z. J. Chong, “Amvnet: Assertion-based multi-view fusion network for lidar semantic segmentation,” arXiv preprint arXiv:2012.04934, 2020. [^23]: M. Gerdzhev, R. Razani, E. Taghavi, and B. Liu, “Tornado-net: multiview total variation semantic segmentation with diamond inception module,” arXiv preprint arXiv:2008.10544, 2020. [^24]: Y. Xu, Y. Wang, A. Zhou, W. Lin, and H. Xiong, “Deep neural network compression with single and multiple level quantization,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 32, no. 1, 2018. [^25]: P. Molchanov, A. Mallya, S. Tyree, I. Frosio, and J. Kautz, "Importance estimation for neural network pruning," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 11264–11272. [^26]: A. Howard, M. Sandler, G. Chu, L.-C. Chen, B. Chen, M. Tan, W. Wang, Y. Zhu, R. Pang, V. Vasudevan, et al., “Searching for mobilenetv3,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 1314–1324. [^27]: J. Wang, K. Sun, T. Cheng, B. Jiang, C. Deng, Y. Zhao, D. Liu, Y. Mu, M. Tan, X. Wang, et al., “Deep high-resolution representation learning for visual recognition,” IEEE transactions on pattern analysis and machine intelligence, 2020. [^28]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778. [^29]: L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille, “Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs,” IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 4, pp. 834–848, 2017. [^30]: H. Su, V. Jampani, D. Sun, S. Maji, E. Kalogerakis, M.-H. Yang, and J. Kautz, "Splatnet: Sparse lattice networks for point cloud processing," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 2530–2539. [^31]: M. Tatarchenko, J. Park, V. Koltun, and Q.-Y. Zhou, “Tangent convolutions for dense prediction in 3d,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 3887–3896. [^32]: X. Yan, C. Zheng, Z. Li, S. Wang, and S. Cui, “Pointasnl: Robust point clouds processing using nonlocal neural networks with adaptive sampling,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 5589–5598. [^33]: R. A. Rosu, P. Schütt, J. Quenzel, and S. Behnke, “Latticenet: Fast point cloud segmentation using permutohedral lattices,” arXiv preprint arXiv:1912.05905, 2019. [^34]: L. Gan, R. Zhang, J. W. Grizzle, R. M. Eustice, and M. Ghaffari, “Bayesian spatial kernel smoothing for scalable dense semantic mapping,” IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 790–797, 2020. [^35]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud,” in 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019, pp. 4376–4382. [^36]: E. E. Aksoy, S. Baci, and S. Cavdar, “Salsanet: Fast road and vehicle segmentation in lidar point clouds for autonomous driving,” in 2020 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019, pp. 926–932. [^37]: Y. Zhang, Z. Zhou, P. David, X. Yue, Z. Xi, B. Gong, and H. Foroosh, "Polarnet: An improved grid representation for online lidar point clouds semantic segmentation," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 9601–9610. [^38]: Z. Zhang and M. R. Sabuncu, “Generalized cross entropy loss for training deep neural networks with noisy labels,” arXiv preprint arXiv:1805.07836, 2018. [^39]: M. Berman, A. R. Triki, and M. B. Blaschko, “The lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 4413–4421. [^40]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? the kitti vision benchmark suite,” in 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012, pp. 3354–3361.