# CENet：面向自动驾驶的简洁高效激光雷达语义分割方法西南大学计算机与信息科学学院，重庆，中国 {chenghuixian}@email.swu.edu.cn {xianfenghan, gqxiao}@swu.edu.cn 程慧贤、韩先峰 $^{*}$、肖国强 ## 摘要准确且快速的场景理解是自动驾驶领域极具挑战性的任务之一，这要求充分利用激光雷达点云进行语义分割。在本文中，我们提出了一种简洁高效的基于图像的语义分割网络，命名为CENet。为了提升学习特征的描述能力，同时降低计算与时间复杂度，我们的CENet在架构中集成了更大核尺寸的卷积而非多层感知机、精心挑选的激活函数，以及多个带有对应损失函数的辅助分割头。在公开基准数据集SemanticKITTI和SemanticPOSS上开展的定量与定性实验表明，与现有最先进的模型相比，我们的方案在平均交并比和推理性能方面均表现更优。相关代码将发布于。索引词—激光雷达点云、自动驾驶、语义场景理解、语义分割 ### 1. 引言近年来，激光雷达传感器的快速发展使得3D计算机视觉成为机器人、自动驾驶等领域的热门研究方向[^2]，其中准确、实时且鲁棒的环境感知与理解是一项极具挑战性的任务。为实现这一目标，激光雷达成为最受欢迎且应用最广泛的选择，原因在于：1）与视觉相机相比，激光雷达对光照和天气条件的适应性更强；2）所获取的3D点云包含丰富的几何信息。因此，基于激光雷达的语义场景感知，尤其是3D点云语义分割，受到了越来越多的关注，其目标是实现逐点分类。 ![Image](images/cf1fee12ab94f6e5bb80369c4e8709916a17191fca15dff2e129561688728c46.jpg)

Fig. 1. LIDAR semantic segmentation accuracy vs speed on SemanticKITTI test set [^1]. (The dotted lines represent the performance of the same method at different resolutions.) Best viewed in color and zoomed in for more detail.

过去几年间，SemanticKITTI [^1] 和 SemanticPOSS [^3] 等数据集的出现为激光雷达语义分割研究提供了基准，也让将深度学习技术应用于该任务成为可能。然而，由于3D点云结构不规则且稀疏，我们无法直接对其应用标准的卷积神经网络。为解决这一问题，近期涌现了许多新方法，可将其分为基于原始点的[^4] [^5] [^6]、基于体素的[^7] [^8] 以及基于距离图像的[^9] [^10] 三类。一般来说，基于点的网络直接处理原始的3D激光雷达点云，虽然能取得更好的性能，但计算复杂度也更高 [^5] [^6]。基于体素的方法将无结构的点云投影到规则的网格单元中，从而能够使用3D卷积神经网络。尽管这类方法能达到最先进的精度，但由于模型复杂度较高，很难实现实时推理速度。例如，SPVCNN [^7] 和 Cylinder3D [^8] 在Tesla V100上的推理速度分别仅为8.0帧/秒和7.6帧/秒。此外，基于范围图像的方法采用球面投影策略，将原始3D点云表示为有序的范围图像，随后便可利用设计精良的2D CNN来执行激光雷达语义分割任务。这类方法实际上能提供出色的推理速度和精度表现，因此吸引了越来越多的研究者关注这一领域。 --- 研究者们纷纷将目光投向这一领域 [^11]，不过他们在投影过程中难免会面临信息丢失的问题 [^12]。另一方面，当前基于范围图像的方法，如KPRNet [^13] 和 Lite-HDSeg [^14]，通常拥有数量庞大的参数，推理速度较慢且模型复杂度较高，这在一定程度上限制了它们在自动驾驶领域的应用。为了解决这一问题，FIDNet [^15] 提出了一种新型基于范围图像的激光雷达语义分割网络，在保持良好性能的同时尽可能简化解决方案。不过，FIDNet的性能仍无法与当前最先进的方法相媲美 [^7] [^14] [^16]。因此，基于FIDNet的核心思想和性能表现，我们试图重新思考其设计思路，提出了一种简洁高效的激光雷达语义分割模型——CENet。定量实验结果表明，我们的网络性能超越了当前最先进的方法，且有效参数数量并未增加，同时推理速度也更快（如图1所示）。具体而言，本文的主要贡献如下： - 我们提出了一种全新设计的激光雷达点云分割架构CENet，它能在不增加参数数量的前提下提升推理速度。 - 为了增强网络的非线性处理能力，我们采用SiLU和Hardwish来调整激活函数。 - 通过引入多个辅助分割头，我们在不增加额外推理参数的情况下显著提升了网络的学习能力。 • 我们在公开数据集SemanticKITTI和SemanticPOSS上进行了全面的实验，结果证明我们的方法达到了最先进的性能。 ### 2. 相关工作基于点的方法直接作用于原始点云。PointNet [^17] 和 PointNet++ [^4] 是开创性的研究，它们利用共享的多层感知机来学习每个点的属性，这一思路催生了一系列基于点的网络。KPConv [^5] 提出了可变形卷积，能够使用任意数量的核点来学习局部表征。RandLA-Net [^6] 采用随机采样策略，显著提升了点云处理的效率，并利用局部特征聚合来减少随机操作带来的信息损失。BAAF [^16] 充分利用点的几何与语义特征，通过双边结构和自适应融合方法获得更精确的语义分割结果。采用稀疏卷积替代传统的三维卷积以降低计算成本。SPVNAS [^7] 利用神经结构搜索技术来进一步提升网络性能。基于体素的方法首先将点云离散为三维体素表示，然后利用三维卷积神经网络框架为这些体素预测语义标签。Minkowski [^18] 选择了基于图像的方法：将激光雷达点云投影到二维多模态图像上，再应用设计精良的二维卷积神经网络进行语义分割。SqueezeSeg [^9] 和 SqueezeSegV2 [^19] 采用了轻量级模型SqueezeNet以及条件随机场来进行分割。RangeNet++ [^10] 将Darknet集成到SqueezeSeg中，并提出了高效的KNN后处理方法以预测点的标签。SqueezeSegV3 [^20] 提出了空间自适应卷积，会根据输入图像的位置采用不同的滤波器。KPRNet [^13] 以强大的模型作为骨干网络，配合KPConv作为分割头，取得了令人瞩目的成果。Lite-HDSeg [^14] 引入了三种不同模块——类Inception的上下文模块、多类别空间传播网络和边界损失，从而实现了最先进的性能。尽管其推理速度很快，但由于参数数量较多且模型复杂度较高，它不太适合自动驾驶应用场景。 ### 3. 方法论为了充分利用经过优化 conventional 卷积函数来实现实时激光雷达点云分割，我们采用球面投影方法，将激光雷达点云投影到球面坐标系中以生成二维多模态距离图像，其公式如下： $$ \begin{pmatrix}u\\v\end{pmatrix}=\begin{pmatrix}\frac{1}{2}\left[1-arctan\left(y,x\right)\pi^{-1}\right]W\\\left[1-\left(arcsin\left(z,d^{-1}\right)+f_{u}\right)\frac{1}{f_{u}+f_{d}}\right]H\end{pmatrix} $$ 其中 $f = f_u + f_d$ 表示传感器的垂直视场角。每个点的深度d计算公式为 $d = \sqrt{x^2 + y^2 + z^2}$。最终得到的大小为 $(H, W, 5)$ 的投影距离图像，每个像素包含5个通道 $(x, y, z, d, r)$，r代表点的强度信息。基于这种变换，点云分割问题便转化为图像分割任务。 #### 3.1. 网络架构我们的CENet架构如图2所示。接下来的小节中我们将详细介绍其核心组件。 Input Module, Classification Head and Activation Function. The range image is a special two-dimensional image with five channels, where each location actually can be considered as a point representation. Therefore, FIDNet [^15] uses $1 \times 1$ conv layers in Input Module and Classification Head to process the input features, which, the authors think, can achieve the similar effect as MLP used in PointNet for point feature learning. However, it is more reasonable to use $3 \times 3$ conv layers instead of $1 \times 1$, due to the following reasons. 1) Unlike disordered and unstructured point cloud, the --- ![Image](images/3d36e7ce3563c74a026bc3131a25eb317d83c420638abeb60577550d3b082c6a.jpg)

Fig. 2. The overall architecture of our pipeline. The backbone network can be any feature extraction structure such as BasicBlock in ResNet used in this paper. Plan A and Plan B are two different designs of auxiliary loss. As shown in the dotted line, it can be removed during inference thus not influencing the inference speed.

Table 1. Inference speed test with varying kernel size on NVIDIA 1080Ti. The batch size = 32, input channels = output channels = 2048, resolution = $56 \times 56$, stride = 1.

Kernel size	Theoretical FLOPs (B)	Time usage (ms)	Theoretical TFLOPS
$1 \times 1$	420.9	84.5	9.96
$3 \times 3$	3788.1	198.8	38.10

generated range images usually have structure features, which makes $3 \times 3$ conv much more suitable than MLP. 2) For $1 \times 1$ conv, the lower number of parameters and computational cost does not mean faster inference speed. As shown in Table 1 from RepVGG [^21], it can be concluded that under the same condition, the computational density (theoretical operations divided by time usage) of $3 \times 3$ conv can be up to $4 \times$ that of $1 \times 1$ conv on a 1080Ti GPU. Therefore, we attempt to conduct a simple substitution to improve the inference speed, which will be verified in Sec 4.3 Ablation Studies. In addition, inspired by YoloV5 and MobileNetV3, we can see that the usage of a stronger nonlinear activation function can contribute to the improvement of network's expressive power without increasing the parameters. Hence, we adopt SiLU and Hardwish activation functions in our model. Experiments in Sec 4.3 also show that both functions can enhance our model's performance with little influence on inference speed. 损失函数。为解决以下问题：1）类别不平衡问题；2）交并比（IoU）优化问题；3）分割边界模糊问题，我们借鉴 [^14] 的做法，采用了三种不同的损失函数来指导模型训练，分别是加权交叉熵损失 $L_{wce}$、Lovász-Softmax 损失 $L_{ls}$ 以及边界损失 $L_{bd}$。在分割任务中，不同物体之间的边界模糊问题通常源于上采样和下采样操作。为解决这一问题，我们引入了边界损失函数，其形式定义如下： $$ L_{bd}(\hat{y},y)=1-\frac{2P^{c}R^{c}}{P^{c}+R^{c}} $$ 其中，$P^{c}$ 和 $R^{c}$ 分别表示针对类别 c，预测边界图 $y_{pd}$ 相对于真实边界图 $y_{gt}$ 的精确度和召回率。我们对边界的定义如下： $$ \left\{\begin{matrix}y_{g t}^{b}=p o o l(1-y_{g t},\theta_{0})-(1-y_{g t})\\ y_{p d}^{b}=p o o l(1-y_{p d},\theta_{0})-(1-y_{p d})\end{matrix}\right. $$ 此处，pool( $\cdot$) 指的是在大小为 $\theta_{0}$ 的滑动窗口上执行的最大池化操作。最终，我们的总损失是这三种损失函数的加权组合，其公式表示为： $$ L=\alpha L_{w c e}+\beta L_{l s}+\gamma L_{b d} $$ 其中，$\alpha$、$\beta$ 和 $\gamma$ 为对应的权重，其值分别为： 1.0、1.5 和 1.0。此外，我们在 $\theta_{0}$ 中将 $L_{bd}$ 设置为 3。 3。辅助损失。在FIDNet中，作者将双线性上采样方法集成到FID模块中，以对低分辨率特征图进行插值，从而生成五个分辨率相同但编码不同信息层次的点级特征张量。与其他网络中使用的传统解码器相比[^13] [^14] [^22]，FID完全无需参数，能大幅降低复杂度和存储成本。然而，这种简单的解码器会使模型性能过度依赖于低维和高维特征。此外，与渐进式上采样解码器不同，这种简单的插值融合解码可能导致不同尺度的特征图无法完全对齐并被正确解码。为缓解这一问题，我们引入了多个辅助损失头，以优化不同分辨率下的特征图，从而提升模型的学习能力。具体来说，我们利用辅助分割头来预测三种不同分辨率的特征图的输出，并将加权损失与主损失一同用于监督网络，以生成更多语义特征。最终的损失函数可定义为： $$ L_{total}=L_{main}+\lambda\sum_{i=1}^{3}L(y_{i},\hat{y}_{i}) $$ 其中$L_{main}$为主损失，$y_i$为第i阶段得到的语义输出，$\hat{y}_i$则对应相应的语义标签。$L(\cdot)$根据公式4计算得出。如图2所示，对于方案A，$\hat{y}_i$是通过下采样获得的。 ---

Table 2. The performance comparison on SemanticKITTI test set.

Category	Methods	Size	FPS (Hz)	mean-IoU		car	bicycle	motorcycle	track	other-vehicle	person	bicyclist	motorcyclist	road	parking	skewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign
			FPS (Hz)	0.1	20.1	53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	5.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9
			50K pts	20	53.9	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7
			50K pts	-	58.8	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4
			64 \times 2048	5	59.9	95.4	31.8	35.5	48.7	46.7	49.5	55.7	53.0	90.9	62.2	74.4	23.6	89.8	60.8	82.7	63.4	67.9	53.7	52.0
Point-based	PointNet++ [^4]	64 \times 1024	20	20.1	53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	5.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9	4.7
	RandLa-Net [^6]	64 \times 1024	20	53.9	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7	47.7
	KPConv [^5]	64 \times 1024	20	53.9	96.0	30.2	42.5	33.4	44.3	46.7	49.5	55.7	53.0	90.9	62.2	74.4	23.6	89.8	60.8	82.7	63.4	67.9	53.7	52.0
Voxel-based	MinkowskiNet-lite [^18]	64 \times 1024	20	57.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
	MinkowskiNet[^18]	64 \times 1024	20	63.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
	SPVCNN-lite [^7]	64 \times 1024	20	58.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
	SPVCNN [^7]	64 \times 1024	20	63.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Image-based	SqueezeSeg-CRF [^9]	64 \times 1024	55	30.8	68.3	18.1	5.1	4.1	4.8	16.5	17.3	1.2	84.9	28.4	54.7	4.6	61.5	29.2	59.6	25.5	54.7	11.2	36.3	40.1
	SqueezeSegV2-CRF [^19]	64 \times 1024	40	39.6	82.7	21.0	22.6	14.5	15.9	20.2	24.3	2.9	88.5	42.4	65.5	18.7	73.8	41.0	86.5	36.9	58.9	12.9	41.0	41.0
	SqueezeSegV3 [^20]	64 \times 1024	6	55.9	92.5	38.7	36.5	29.6	33.0	45.6	46.2	20.1	91.7	63.4	74.8	26.4	89.0	59.4	82.0	58.7	65.4	49.6	58.9	48.9
	SalsaNext [^22]	64 \times 1024	24	59.5	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1	62.1
	Lite-HDSeg [^15]	64 \times 1024	20	63.8	92.3	40.0	55.4	37.7	39.6	59.2	71.6	54.3	93.0	68.2	78.3	29.3	91.5	65.0	78.2	65.8	65.1	59.5	67.7	67.7
	KPRNet [^15]	64 \times 1024	0.3	63.1	95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	64.1
	RangeNet++ [^10]	64 \times 1024	38.5	41.9	87.4	26.2	26.5	18.6	15.6	31.8	33.6	4.0	91.4	57.0	74.0	26.4	81.9	52.3	77.6	48.4	63.6	36.0	50.0	50.0
	MPF [^23]	64 \times 1024	33.7	48.9	91.1	22.0	19.7	18.8	16.5	30.0	36.2	4.2	91.1	61.9	74.1	29.4	86.7	56.2	82.3	51.6	68.9	38.6	49.8	49.8
	FIDNet-Point [^15]	64 \times 1024	82.0	51.3	90.4	28.6	30.9	34.3	27.0	43.9	48.9	16.8	90.1	58.7	71.4	19.9	84.2	51.2	78.2	51.9	64.5	32.7	50.3	50.3
	Ours	64 \times 1024	84.9	60.7	92.1	45.4	42.9	43.9	46.8	56.4	63.8	29.7	91.3	66.0	75.3	31.1	88.9	60.4	81.9	60.5	67.6	49.5	59.1	59.1
	RangeNet++ [^10]	64 \times 1024	23.3	48.0	90.3	20.6	27.1	25.2	17.6	29.6	34.2	11.1	90.4	52.3	72.7	22.8	83.9	53.3	77.7	52.5	63.7	43.8	47.4	47.4
	MPF [^23]	64 \times 1024	28.5	53.6	92.7	28.0	30.5	26.9	25.2	42.5	45.5	9.5	90.5	64.7	74.3	32.0	88.3	59.0	83.4	56.6	69.8	46.0	54.9	54.9
	FIDNet-Point [^15]	64 \times 1024	60.9	56.0	92.4	44.0	41.5	33.2	30.8	57.9	52.6	18.0	91.0	61.2	73.8	12.6	88.2	57.9	80.8	59.5	65.1	45.3	58.4	58.4
	Ours	64 \times 1024	67.9	62.3	93.0	50.5	47.6	41.7	43.4	64.5	65.2	32.5	90.5	65.5	74.1	29.2	90.9	65.4	81.6	65.4	65.6	55.9	61.0	61.0
	RangeNet++ [^10]	64 \times 1024	12.8	52.2	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9	55.9
	MPF [^23]	64 \times 1024	20.6	55.5	93.4	30.2	38.3	26.1	28.5	48.1	46.1	18.1	90.6	62.3	74.5	30.6	88.5	59.7	83.5	59.7	69.2	49.7	58.1	58.1
	FIDNet-Point [^15]	64 \times 1024	33.7	58.6	93.0	45.7	42.0	27.9	32.6	62.6	58.1	30.5	90.8	58.3	74.9	20.1	88.5	59.5	83.1	64.3	67.8	52.6	60.0	60.0
	Ours	64 \times 1024	37.8	64.7	91.9	58.6	50.3	40.6	42.3	68.9	65.9	43.5	90.3	60.9	75.1	31.5	91.0	66.2	84.5	69.7	70.0	61.5	67.6	67.6

Table 3. Evaluation results on the SemanticPOSS test split.

	person	rider	car	truck	plants	traffic sign	pole	trashcan	building	conestone	fence	bike	ground	mIoU
SqueezeSeg [^9]	14.2	1.0	13.2	10.4	28.0	5.1	5.7	2.3	43.6	0.2	15.6	31.0	75.0	18.9
SqueezeSeg + CRF [^9]	6.8	0.6	6.7	4.0	2.5	9.1	1.3	0.4	37.1	0.2	8.4	18.5	72.1	12.9
SqueezeSegV2 [^19]	48.0	9.4	48.5	11.3	50.1	6.7	6.2	14.8	60.4	5.2	22.1	36.1	71.3	30.0
SqueezeSegV2 + CRF [^19]	43.9	7.1	47.9	18.4	40.9	4.8	2.8	7.4	57.5	0.6	12.0	35.3	71.3	26.9
RangeNet53 [^10]	55.7	4.5	34.4	13.7	57.5	3.7	6.6	23.3	64.9	6.1	22.2	28.3	72.9	30.3
RangeNet53 + KNN [^10]	57.3	4.6	35.0	14.1	58.3	3.9	6.9	24.1	66.1	6.6	23.4	28.6	73.5	30.9
MINet [^24]	61.8	12.0	63.3	22.2	68.1	16.3	29.3	28.5	74.6	25.9	31.7	44.5	76.4	42.7
MINet + KNN [^24]	62.4	12.1	63.8	22.3	68.6	16.7	30.1	28.9	75.1	28.6	32.2	44.9	76.3	43.2
FIDNet-Point [^15]	71.6	22.7	71.7	22.9	67.7	21.8	27.5	15.8	72.7	31.3	40.4	50.3	79.5	45.8
FIDNet-Point + KNN [^15]	72.2	23.1	72.7	23.0	68.0	22.2	28.6	16.3	73.1	34.0	40.9	50.3	79.1	46.4
Ours	74.9	21.8	77.0	25.3	72.0	18.0	30.9	46.9	75.9	26.1	47.5	51.7	80.7	49.9
Ours + KNN	75.5	22.0	77.6	25.3	72.2	18.2	31.5	48.1	76.3	27.7	47.7	51.4	80.3	50.3

the GT labels with corresponding rate. For Plan B, since all feature maps are upsampled to the final output size, the GT labels are their $\hat{y}_{i}$.

### 4. 实验 #### 4.1. 数据集与实现细节 SemanticKITTI是一个用于自动驾驶场景点云分割任务的大规模数据集。它包含来自德国某城市的22个序列共43,551次激光雷达扫描数据，其中序列00至10（19,130次扫描）用于训练，序列11至21（20,351次扫描）用于测试，序列08（4,071次扫描）用于验证。所有序列均标注了密集的点级注释。 SemanticPOSS是由北京大学收集的一个规模更小、更稀疏且更具挑战性的基准数据集。它包含2,988个不同的复杂激光雷达场景，每个场景中都存在大量稀疏的动态物体（如行人和自行车）。SemanticPOSS分为6个部分，我们将第2部分作为测试集，其余部分作为训练集。实现细节。所有实验均在单张NVIDIA RTX3060或RTX3090 GPU上进行。网络优化采用动量设为0.9的随机梯度下降（SGD）优化器。训练期间，我们通过随机旋转、随机点丢弃以及对X、Y、Z值添加随机噪声来进行数据增强。权重衰减系数设为$1e^{-4}$。对于SemanticKITTI，网络训练100个周期，初始学习率为$1e^{-2}$，该学习率由余弦退火调度器动态调整。对于SemanticPOSS，网络训练3个周期，每周期45个epoch，最小和最大学习率分别设为$1e^{-5}$和$1e^{-3}$。 #### 4.2. 结果与讨论 SemanticKITTI上的定量结果：表2展示了几种最先进模型在SemanticKITTI基准测试上的定量结果。该表列出了输入尺寸、每秒帧数（FPS）、平均IoU以及各类别的IoU。最佳结果以粗体标出。从这些数据可以看出，对于输入尺寸为$64 \times 2048$的情况，我们的模型取得了最先进的性能（$64.7\% \text{mIoU}$），无论是与基于点的方法、基于体素的方法还是基于图像的方法相比均是如此，同时还能保持更高的FPS（$37.8 \text{ FPS}$）。对于输入尺寸为$64 \times 1024$和$64 \times 512$的情况，CENet均取得了优异的结果，即$67.9 \text{ FPS}$、$62.3\% \text{mIoU}$以及$84.9 \text{FPS}$、$60.7\% \text{mIoU}$，其性能远超现有方法。值得注意的是，当输入为$64 \times 512$时，我们的CENet表现极为出色，其性能超过了基线方法FIDNet [^15]以及许多其他方法 [^20] [^22] [^23]，而此时的输入尺寸为$64 \times 2048$。 SemanticPOSS上的定量结果：表3展示了我们提出的CENet与其他相关工作的对比情况。从这些结果可以看出，由于传感器和环境差异，以及特征的小规模和稀疏性，所有方法的性能都略有下降。不过值得注意的是，我们的方法不仅在整体mIoU上，而且在几乎所有类别的mIoU上均优于所有模型。这进一步验证了我们的网络的有效性和高效性。 --- ![Image](images/bf815df7ef02df370bc5cea885134d28fb66433b5b606105de7ac82da9ce202a.jpg)

(a) Input Point Cloud

![Image](images/d0b3936be4b7a9ef2ddb5eea44caf467a750a2ee31f9d430dcf3256f6b0f8aa3.jpg)

(b) Ground Truth

![Image](images/4eb70868cde7f94e72a7ecbe9088ebb3f671df6b3b49fd028120028b8b745a61.jpg)

Fig. 3. Qualitative analysis on SemanticKITTI validation set. Where (a) and (b) are input data of the LIDAR scan frame and corresponding segmentation ground truth, (c) and (d) are segmentation error maps in this scan frame for FIDNet and our method. (With red indicating wrong prediction)

Table 4. Ablation study evaluated on SemanticKITTI validation set

Baseline	Row	KS	SiLU	H-swish	Plan A	Plan B	mIoU	Params(M)	Latency(ms)
FIDNet	1						55.4	6.053	11.956
Ours	2						58.9	6.053	11.956
	3	✓					59.2	6.774	11.576
	4		✓				60.0	6.053	11.981
	5			✓			60.5	6.053	12.039
	6	✓	✓				59.5	6.774	11.776
	7	✓		✓			60.6	6.774	11.562
	8				✓		62.5	6.061	11.956
	9					✓	63.0	6.061	11.956
	10	✓			✓		63.2	6.782	11.576
	11	✓				✓	64.3	6.782	11.576
	12	✓		✓		✓	65.3	6.782	11.562

![Image](images/e410ecca59b86cbae1f851a7419b599a3354a9300ab14449d95b4b70f6290f73.jpg)

Table 5. Impact of kenel size on time of model inference

Kernel Size	Input Resolution	Model Latency(ms)	FPS
$1 \times 1$	$64 \times 2048$	29.347	33.7
	$64 \times 1024$	16.151	60.9
	$64 \times 512$	11.956	82.0
$3 \times 3$	$64 \times 2048$	26.128	37.8
	$64 \times 1024$	14.578	67.4
	$64 \times 512$	11.576	84.8

(d) CENet(ours)

具体来说，与原本的最佳模型MINet [^24]以及基线方法FIDNet [^15]相比，我们的模型在mIoU上分别提升了显著的7.1%和3.9%。定性结果：为了更直观地展示我们的模型相对于基线的改进效果，我们在图3中提供了定性对比示例。从结果可以看出，我们的方法相比基线有显著改善，且更接近真实情况。为了定量分析不同组件的有效性，我们在SemanticKITTI验证集上开展了以下消融实验。此处我们采用了与SqueezeSegV3 [^20]类似的设置，以实现高效的训练和评估。输入范围图像的尺寸被设定为$64 \times 512$。我们选择直接基于投影后的2D图像来评估准确率，而非原始的3D点云数据。 #### 4.3. 消融研究模块组件的影响：表4展示了网络不同设计选择的实验结果，评估指标包括mIoU、模型所需的训练参数以及推理时间。第一行结果是使用官方的FIDNet代码获得的。第二行则报告了使用我们的网络所取得的性能，其中去除了所需的法向量信息；即便如此，其性能仍比FIDNet高出3.5%。第三行验证了该方法的……

Table 6. Impact of $\lambda$ in auxiliary loss.

$\lambda$	0	0.1	0.5	1.0
mIoU	59.2	61.1	62.8	64.3

Table 7. Ablation studies for auxiliary loss module on different backbone.

Backbones	Params(M)	mIOU
HarDNet(vinilla)	2.735	55.1
HarDNet(ours)	3.138	58.7
HarDNet(ours) + Plan B	3.146	61.3

用$1 \times 1$卷积替换$3 \times 3$卷积后，其有效性得以体现。尽管$3 \times 3$卷积引入的参数比$1 \times 1$卷积更多，但它能进一步缩短模型的推理时间，并使性能提升0.3%。这主要是因为较大的核尺寸会带来更大的感知域，且现代计算库对此进行了高度优化。表5进一步展示了不同输入范围图像分辨率下，$3 \times 3$卷积与$1 \times 1$卷积在模型延迟和总FPS方面的差异。总体而言，$3 \times 3$卷积能显著提升模型的推理速度。第四到第七行则说明了使用不同激活函数时的性能表现。从结果中可以看出，引入更强的非线性特性能在几乎不牺牲推理速度的前提下，提高模型的描述能力。第八到第十一行的结果显示：1）两个辅助分割头均能显著改善CENet的性能。虽然集成辅助头会增加一些训练参数并延长训练时间，但在推理阶段可将其移除，因此它们对网络延迟并无影响；2）$3 \times 3$卷积与辅助损失函数的组合，效果优于基于$1 \times 1$卷积的原有配置；3）由于Plan B模块直接基于上采样后的特征图计算损失，从而在不同阶段实现特征细化，因此其性能远优于Plan A。辅助损失中$\lambda$的效应。公式5中所包含的超参数$\lambda$在优化模型性能方面发挥着重要作用。因此，我们评估了$\lambda$的有效性。如表6所示，引入额外的监督损失项有助于提升分割性能，而采用$\lambda = 1.0$时能取得最佳效果。 --- 在不同骨干网络上的有效性。在表7中，我们采用另一种特征提取骨干网络——HarDNet（Harmonic DenseNet），来验证辅助损失模块的泛化能力。与ResNet和DenseNet相比，HarDNet在多项任务中能取得相近的准确率，同时大幅缩短GPU运行时间。首先，我们使用FC-HarDNet-70进行实验，得到55.1%的mIoU值；随后，我们对HarDNet的结构进行了精心优化，在增加较少参数的前提下构建出更强大的基线模型；最后，我们引入辅助损失函数，实现了模型性能的持续提升。 ### 5. 结论本文提出了一种专为激光雷达点云分割任务设计的新颖网络——CENet，该模型简洁且高效。基于对以往研究的分析，我们选择采用核尺寸更大的标准卷积，以及SiLU和Hardwish激活函数，以增强网络的学习能力。接着，我们嵌入多个辅助分割头，在不增加参数开销和效率成本的前提下进一步提升特征学习能力。在SemanticKITTI和SemanticPOSS数据集上的实验结果表明，我们的CENet能够取得业界领先的性能。 ### 6. 参考文献 [^1]: Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Cyrill Stachniss, and Jurgen Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in ICCV, 2019, pp. 9297–9307. [^2]: D. Feng, C. Haase-Schütz, L. Rosenbaum, H. Hertlein, C. Glaeser, F. Timm, W. Wiesbeck, and K. Dietmayer, “Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges,” IEEE Trans. Intell. Transp. Syst., 2020. [^3]: Yancheng Pan, Biao Gao, Jilin Mei, Sibo Geng, Chengkun Li, and Huijing Zhao, “Semanticposs: A point cloud dataset with large quantity of dynamic instances,” in IV. IEEE, 2020, pp. 687–693. [^4]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” NIPS, vol. 30, 2017. [^5]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas, “Kpconv: Flexible and deformable convolution for point clouds,” in ICCV, 2019, pp. 6411–6420. [^6]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham, "Randla-net: Efficient semantic segmentation of large-scale point clouds," in CVPR, 2020, pp. 11108–11117. [^7]: Haotian Tang, Zhijian Liu, Shengyu Zhao, Yujun Lin, Ji Lin, Hanrui Wang, and Song Han, “Searching efficient 3d architectures with sparse point-voxel convolution,” in ECCV. Springer, 2020, pp. 685–702. [^8]: H. Zhou, X. Zhu, X. Song, Y. Ma, Z. Wang, H. Li, and D. Lin, "Cylinder3d: An effective 3d framework for driving-scene lidar semantic segmentation," arXiv preprint arXiv:2008.01550, 2020. [^9]: Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer, “Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud,” in ICRA. IEEE, 2018, pp. 1887–1893. [^10]: Andres Milioto, Ignacio Vizzo, Jens Behley, and Cyrill Stachniss, “Rangenet++: Fast and accurate lidar semantic segmentation,” in IROS. 2019, pp. 4213–4220, IEEE. [^11]: Lue Fan, Xuan Xiong, Feng Wang, Naiyan Wang, and Zhaoxiang Zhang, “Rangedet: In defense of range view for lidar-based 3d object detection,” in ICCV, 2021, pp. 2918–2927. [^12]: Y. Guo, H. Wang, Q. Hu, H. Liu, L. Liu, and M. Bennamoun, “Deep learning for 3d point clouds: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., 2020. [^13]: Deyvid Kochanov, Fatemeh Karimi Nejadasl, and Olaf Booij, “Kprnet: Improving projection-based lidar semantic segmentation,” arXiv preprint arXiv:2007.12668, 2020. [^14]: Ryan Razani, Ran Cheng, Ehsan Taghavi, and Bingbing Liu, "Lite-hdseg: Lidar semantic segmentation using lite harmonic dense convolutions," in ICRA. 2021, pp. 9550–9556, IEEE. [^15]: Yiming Zhao, Lin Bai, and Xinming Huang, "Fidnet: Lidar point cloud semantic segmentation with fully interpolation decoding," in IROS. 2021, pp. 4453–4458, IEEE. [^16]: Shi Qiu, Saeed Anwar, and Nick Barnes, “Semantic segmentation for real point cloud scenes via bilateral augmentation and adaptive fusion,” in CVPR, 2021, pp. 1757–1767. [^17]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in CVPR, 2017, pp. 652–660. [^18]: Benjamin Graham, Martin Engelcke, and Laurens Van Der Maaten, “3d semantic segmentation with submanifold sparse convolutional networks,” in CVPR, 2018, pp. 9224–9232. [^19]: Bichen Wu, Xuanyu Zhou, Sicheng Zhao, Xiangyu Yue, and Kurt Keutzer, “Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud,” in ICRA. IEEE, 2019, pp. 4376–4382. [^20]: Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, Peter Vajda, Kurt Keutzer, and Masayoshi Tomizuka, “Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation,” in ECCV. Springer, 2020, pp. 1–19. [^21]: Xiaohan Ding, Xiangyu Zhang, Ningning Ma, Jungong Han, Guiguang Ding, and Jian Sun, “Repvgg: Making vgg-style convnets great again,” in CVPR, 2021, pp. 13733–13742. [^22]: Tiago Cortinhal, George Tzelepis, and Eren Erdal Aksoy, “Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds,” in ISVC. Springer, 2020, pp. 207–222. [^23]: Yara Ali Alnaggar, Mohamed Afifi, Karim Amer, and Mohamed ElHelw, “Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds,” in WACV, 2021, pp. 1800–1809. [^24]: S. Li, X. Chen, Y. Liu, D. Dai, C. Stachniss, and J. Gall, “Multi-scale interaction for real-time lidar data segmentation on an embedded platform,” IEEE Robotics Autom. Lett., 2021.