原始论文
# MSCSeg：用于激光雷达点云语义分割的多尺度上下文网络
周岩 $^{1}$ · 范一超 $^{1}$ · 周海斌 $^{2}$ · Richard Irampaye $^{2}$
收稿日期：2025年1月4日 / 修订日期：2025年6月16日 / 录用日期：2025年6月27日 / 在线发表日期：2025年9月10日 © 作者们，经Springer-Verlag London Ltd.（施普林格·自然旗下公司）独家许可发布，2025年。
## 摘要
激光雷达点云语义分割任务旨在实现对周围场景的3D环境感知。基于距离图像的方法在自动驾驶领域的实时处理中展现出广阔的应用前景。然而，生成距离图像的投影过程会导致原始点之间的空间距离关系被拉伸。此外，大多数现有研究缺乏有效捕捉目标边界特征的能力，也无法弥补下采样过程中高分辨率编码器特征的损失。为解决这些问题，我们提出了MSCSeg——一种基于距离图像的点云语义分割多尺度上下文网络。首先，采用分支式非对称卷积残差块（BAResBlock）专门处理被拉伸的距离图像，同时以较低的计算成本从三个分支中聚合多尺度上下文信息。随后，我们引入了局部上下文多尺度条带卷积块（CSCB），帮助网络捕捉物体的边界特征。最后，我们采用特征级联注意力块（FCAB）来聚合编码器和解码器中的信息，缓解低分辨率特征细节不足的问题。在室外街道场景数据集SemanticPOSS和SemanticKITTI上进行的实验表明，我们的MSCSeg在保持实时推理速度的同时，取得了具有竞争力的分割性能。
关键词：激光雷达点云 · 3D语义分割 · 基于距离图像 · 自动驾驶
## 1 引言
自动驾驶是计算机视觉技术最具前景的应用场景之一。在实际应用中使用的各类车载传感器中，激光雷达因其能够精准捕捉周围环境的3D空间信息并生成点云表示而备受青睐[^1] [^2]。对点云进行精准且实时的语义分割，是自动驾驶车辆感知系统中的核心任务[^3] [^4] [^5]，在路径规划中发挥着至关重要的作用[^6] [^7] [^8]。
随着大规模点云数据集的出现以及计算能力的飞速提升，深度学习逐渐主导了点云语义分割领域[^9] [^10]。基于深度学习的点云语义分割方法可分为三类：基于点的方法[11–15]、基于体素的方法[16–18]以及基于投影的方法[19–31]。基于投影的方法主要分为两类：多视图投影法和球面投影法。本文重点研究后者。当前基于球面投影的方法存在以下问题：
在点云的球面投影过程中，由于球面投影的固有特性，原始点之间的空间距离关系在生成的距离图像中会被非线性拉伸，如图1所示。对于激光雷达的$360^{\circ}$水平视场而言，这一问题尤为突出。因此，距离图像中的水平感受野值得重点关注。
- 边界模糊现象在分割后的物体中并不罕见，此时边界语义很容易被周围点的语义信息所同化。然而在自动驾驶场景中，准确识别
---
Fig. 1 The spherical projection method stretches the spatial distance relationship between the original points
物体边界并赋予其正确的语义标签至关重要。
- 语义分割是一项密集预测任务，需要刻画细微的细节。上采样过程中常用的双线性插值只能生成语义一致的特征，却无法弥补下采样过程中丢失的高分辨率编码器细节。
为解决上述问题，本文提出了一种基于距离图像的点云语义分割网络。具体而言，我们首先设计了分支式非对称卷积残差块（BAResBlock）。与传统ResBlock相比，该模块引入了三个分支的非对称深度可分离卷积来替代传统的方形卷积，同时能够捕捉不同层次的特征，从而缓解点云空间关系拉伸对特征提取造成的影响。接下来，我们设计了局部上下文多尺度条带卷积块（CSCB）作为解码器。该模块引入局部上下文窗口自注意力（WinSA）来处理输入特征，能够在不显著增加计算成本的前提下捕捉局部上下文信息。同时，为有效缓解边界模糊问题，我们加入了多尺度条带卷积（StrConv）。条带卷积核沿单一方向扩展，使模型能够捕捉该方向上的变化信息，进而有助于识别物体边界并生成更精确的预测结果。鉴于编码器深层特征因分辨率较低而细节不足，且双线性插值无法有效恢复下采样造成的细节损失，我们开发了特征级联注意力块（FCAB）。该模块采用级联操作，融合了通道与空间注意力机制，从而整合编码器和解码器的信息，满足密集预测对精确细节的需求。
综上所述，我们的主要贡献可概括如下：
- 我们设计的BAResBlock专门用于缓解距离图像空间关系拉伸的问题，并能以更低的计算成本捕捉不同层次的上下文信息。
- 我们设计的CSCB包含能够在局部窗口内捕捉细粒度特征的窗口自注意力模块，以及对坐标、强度和距离方面的显著变化敏感的条带卷积模块，从而使该模块能够捕捉与物体相关的局部特征细节及边界信息。
- 我们设计的FCAB用于融合编码器和解码器的信息，以缓解低分辨率特征中细节丢失的问题。
## 2 相关工作
### 2.1 基于距离图像的网络
SqueezeSeg [^19]开创了一种基于距离图像的点云语义分割方法。其编码器采用轻量级的SqueezeNet [^32]架构以实现高效推理，并引入了条件随机场（CRF）后处理技术来优化3D预测结果，从而缓解“多对一”问题——即多个映射到同一像素的点被赋予相同标签的情况。不过，SqueezeSeg在复杂场景中的感受野有限，难以捕捉长距离上下文依赖关系。为解决这一问题，SqueezeSegV2 [^20]改进了模型架构、训练损失函数以及归一化方法，同时提出了上下文聚合模块（CAM），通过并行空洞卷积来融合多尺度特征，显著提升了模型对多尺度目标的感知能力。SqueezeSegV3 [^23]则进一步发展了空间自适应卷积（SAC）技术，能够根据输入图像中的局部几何结构和纹理变化动态调整卷积核权重，从而在复杂场景中增强模型的泛化能力。RangeNet++ [^21]采用改良版的DarkNet [^33]作为骨干网络，并利用高效的K近邻（KNN）算法进行后处理计算，以解决离散化误差问题。KNN至今仍是基于图像的点云分割中广泛使用的后处理方法。SalsaNext [^24]通过空洞卷积逐步扩大感受野，以增强在复杂场景中对多尺度上下文的感知能力；同时引入贝叶斯处理机制，为每个点量化认知不确定性和偶然不确定性。FIDNet [^26]
---
它利用ResNet34 [^34]构建特征提取网络，用双线性插值替代转置卷积来进行上采样，以减少伪影现象；同时提出了最近标签分配（NLA）策略，以降低因“多对一”映射导致的误分类问题。CENet [^28]在FIDNet的基础上，用标准的$3 \times 3$卷积取代了多层感知机（MLP），引入了辅助损失函数来修正由双线性插值引起的像素错位问题，并增加了额外的非线性激活函数。这些改进在不增加参数数量的前提下提升了模型精度。
### 2.2 轻量级特征提取器
近年来，许多轻量级模型引入了特殊的卷积范式，例如分组卷积、逐点卷积、空洞卷积、可分离卷积等，以便在不显著增加参数数量和计算量的情况下捕获更广泛的特征信息。
SqueezeNet [^32] 提出了一种稀疏卷积模块，该模块包含两种操作：压缩和扩展。压缩操作利用 $1 \times 1$ 卷积来减少特征图中的通道数，从而降低计算量和参数数量。扩展操作则结合 $1 \times 1$ 与 $3 \times 3$ 卷积来增加特征图的通道数，使模型能够学习更丰富的特征表示。MobileNets [^35] 采用深度可分离卷积与 $1 \times 1$ 逐点卷积相结合的方式，有效降低了模型的计算复杂度，以适应移动设备有限的处理能力 [^36]。MobileNetV2 [^37] 采用了 ResNet 的瓶颈模块，将深度可分离卷积与残差连接相结合。ESPNet [^38] 先利用 $1 \times 1$ 卷积减少输入通道数，随后使用多种不同尺度的膨胀卷积来捕捉多尺度上下文信息，从而在不增加计算量、内存占用和功耗的情况下扩大感受野，这极大地方便了高分辨率图像的语义分割。与 ESPNet 相比，ESPNetV2 [^39] 采用了逐点分组卷积和深度可分离卷积，在各种任务中表现更为高效。CTAFFNet [^40] 设计了一种卷积变换自适应融合核（CTAFFK），它利用双 CNN 与 Transformer 分支从图像中提取局部和全局特征，在保持高计算效率的同时实现全面的特征表示。
## 3 方法
球面投影是一种经典的投影方法，它将激光雷达点云投影到球面上以生成距离图像，如下面的公式 1 所示：
$$ \begin{pmatrix}u\\v\end{pmatrix}=\begin{pmatrix}\frac{1}{2}\left[1-\arccos\tan\left(\frac{y}{x}\right)\pi^{-1}\right]W\\\left[1-\left(\arccos\sin\left(\frac{z}{r}\right)+fov_{up}\right)fov^{-1}\right]H\end{pmatrix} $$
其中 $(u, v)$ 表示距离图像上每个投影点的坐标，$(x, y, z)$ 是对应点的笛卡尔坐标，$(H, W)$ 则是距离图像所需的高度和宽度。激光雷达的垂直视场 $(fov)$ 被分为上下两部分，分别记为 $f_{ov\_up}$ 和 $f_{ov\_down}$。变量 r 代表各点到原点的距离。该公式建立了三维点坐标与距离图像像素坐标之间的对应关系。在二维图像处理领域，Dp-M3D [^41] 有效利用了单目深度估计来生成深度图，这些深度图在为后续特征融合提供深度感知信息方面发挥了重要作用，助力模型取得具有竞争力的性能。相比之下，我们的距离图像保留了原始点云数据所固有的复杂特性。距离图像通常有五个通道，每个通道分别代表关于点的坐标、距离和强度的特定特征信息。
我们的MSCSeg整体架构如图2所示。我们采用了经典的编码器-解码器架构。最初，由球面投影生成的5通道距离图像特征被送入三个标准的3×3卷积层，以生成128通道的高维张量。随后，这些数据被送入由四个BAResBlocks串联而成的编码器，以生成多分辨率特征图像；最后三个残差块在提取特征的同时对特征图进行下采样。当特征图尺寸被缩减为(H/8, W/8)后，便被传递到网络的解码阶段。这些特征会进一步经过CSCB的处理。该系统包含两个串联的模块：WinSA和StrConv。WinSA负责捕捉图像内的局部上下文信息，而StrConv则对坐标、距离和强度的剧烈变化极为敏感，用于提取目标的边界信息。此外，由于编码器特征中包含大量细节信息，我们通过FCAB将多阶段编码器特征与CSCB生成的解码器特征相结合，以解决因下采样导致的低分辨率解码器特征细节信息不足的问题。最终，我们设计了SegHead来保留各阶段的特征信息并输出语义标签，同时采用KNN进行后处理。下一节将对各模块进行详细阐述。
---
Fig. 2 The architecture of our MSCSeg
### 3.1 BAResBlock
我们的BAResBlock结构如图3所示。球面投影生成的距离图像存在原始点之间空间关系被拉伸的问题。车载雷达的仰角有限，例如64线车载激光雷达在垂直方向上仅有64束不连续的激光束，而方位角在$360^{\circ}$范围内是连续的，因此为了缓解这一问题，需要格外关注距离图像中水平方向的传感器区域。我们对标准ResBlock进行了优化，使其更适用于距离图像分割任务。我们用不同尺度的非对称深度可分离卷积模块（$3 \times 3$、$3 \times 5$、$5 \times 7$）替换原有的标准$7 \times 9$卷积层，共分为三个分支。这一改进使得残差模块能够整合不同尺度的上下文信息，并在方位方向上拥有更广阔的感受野。值得注意的是，即便引入了三个卷积层，该模块仍能保持轻量化的性能，因为深度可分离卷积的参数数量极少。为了尽量减少对模型推理速度的影响，我们仅替换每个编码层的第一个ResBlock。
### 3.2 CSCB
我们引入CSCB来对特征图像做进一步处理。如图4所示，CSCB由用于捕捉局部特征的WinSA和用于增强边界特征的StrConv组成。CSCB( $\cdot$)的表达式如公式2所示：
$$ \mathrm{CSCB}\left(x\right)=\mathrm{StrConv}\left(\mathrm{BN}\left(\mathrm{WinSA}\left(\mathrm{BN}\left(x\right)\right)\right)\right) $$
#### 3.2.1 WinSA
WinSA通过将特征图像划分为多个局部窗口来捕捉上下文中的局部信息——
Fig. 3 The branched asymmetric convolution residual block (BARes-Block)
在窗口内计算自注意力分数。对于给定的输入特征图，首先调整其大小以匹配指定的窗口尺寸，然后将该图划分为多个局部窗口。在每个局部窗口中，会生成查询（Q）、键（K）和值（V）矩阵。通过自注意力机制来确定每个标记与其邻近标记之间的相关性，从而得出注意力分数。随后对该分数进行缩放，并加入相对位置偏差，再经过softmax $\sigma(\cdot)$ 运算即可得到注意力权重。将该权重应用于V矩阵以生成加权特征。为了控制计算成本，这一过程在每个窗口中独立进行，仅关注窗口内的局部信息。计算完成后，将结果重新排列并与原始输入融合。最后，利用 $3 \times 3$ 深度卷积层DWC( $\cdot$) 来获得最终输出。WinSA( $\cdot$) 的公式如式3所示：
$$ WinSA\left(x\right)=DWC\left(x+\sigma\left(Q\times K\right)\times V\right) $$
#### 3.2.2 StrConv
StrConv通过拼接不同尺寸的条形卷积来捕获多尺度特征，从而改善物体边界的分割效果。具体来说，我们首先使用标准的 $1 \times 1$ 卷积 $C1(\cdot)$ 对输入进行预处理，然后通过三个分支提取多尺度特征。
---
Fig. 4 (a) Multi-scale strip convolution (StrConv), (b) Local context multi-scale strip convolution block (CSCB), (c) Local context window self-attention (WinSA)
Fig. 5 (a) Squeeze channel attention block (SCAB), (b) Feature cascade attention block (FCAB), (c) Adaptive spatial attention block (ASAB)
这些多尺度特征图通过残差连接与预处理后的特征融合，而原始输入特征又通过标准的 $1 \times 1$ 卷积层 $C2(\cdot)$ 与融合后的特征进一步整合。StrConv通过将此输出结果与原始输入特征逐元素相乘，来增强模型对重要特征的关注度。这种轻量级的条形卷积在一维方向上进行了扩张，另一维上则较为紧凑，因此对图像中特定方向上的特征变化十分敏感。StrConv( $\cdot$) 的公式如式4c所示：
$$ F_{1}\left(x\right)=LR\left(C1\left(x\right)\right) $$
$$ F_{2}\left(x\right)=\sum\mathrm{BN}\left(\mathrm{C}_{\mathrm{i}\times\mathrm{1}}\left(\mathrm{C}_{\mathrm{l}\times\mathrm{i}}\left(F_{\mathrm{l}}\left(x\right)\right)\right)\right) $$
$$ \mathrm{StrConv}\left(x\right)=\mathrm{C3}\left(\mathrm{C2}\left(\mathrm{LR}\left(F_{1}\left(x\right)+F_{2}\left(x\right)\right)\right)x\right) $$
### 3.3 FCAB
FCAB用于融合高分辨率编码器特征与低分辨率解码器特征的通道和空间维度。其结构如图5所示。首先，将解码器特征 $x_{de}$ 通过 $\mathrm{Up}(\cdot)$ 进行上采样，而编码器特征 $x_{en}$ 则输入到 $1 \times 1$ 卷积通道 $C1(\cdot)$ 中。随后将两者通过 $\mathrm{CAT}(\cdot)$ 融合形成拼接特征。$3 \times 3$ 卷积 $C2(\cdot)$ 进一步整合这一拼接特征，之后将其送入挤压通道注意力块SCAB( $\cdot$)。该模块为各个通道分配不同的权重，通过分配权重来强调与分割任务更相关的特征通道，同时抑制无用且冗余的特征通道。SCAB的输出随后被送入自适应空间注意力块ASAB( $\cdot$)，用以识别特征图中需要重点关注的区域，并进一步捕捉局部上下文信息以改善模型的空间感知能力。
最后，输出特征会与拼接特征进行残差融合。FCAB(·) 的公式如式5b所示：
---
最终，输出特征会与拼接特征进行残差融合。FCAB(·) 的公式如式5b所示：
$$ F_{3}\left(x_{e n},x_{d e}\right)=\mathrm{C A T}\left(\mathrm{C1}\left(x_{e n}\right),\mathrm{U p}\left(x_{d e}\right)\right) $$
$$ \mathrm{FCAB}\left(x_{en},x_{de}\right)=\mathrm{LR}\left(\mathrm{C2}\left(F_{3}\left(x_{en},x_{de}\right)\right)\right) $$
$$ \mathrm{+A S A B(S C A B(L R(C2(F_{3}(x_{e n},x_{d e})))))} $$
#### 3.3.1 SCAB
在SCAB中，初始步骤是对输入特征在空间维度上分别应用自适应最大池化AMP(·)和自适应平均池化AAP(·)。自适应最大池化用于保留图像的显著特征，而自适应平均池化则用于平滑输入特征图的整体分布。接下来，这两个分支会同时经过$1 \times 1$卷积C1(·)的处理，该操作会将通道数缩减为原来的八分之一。在应用LeakyReLU激活函数LR(·)之后，再通过$1 \times 1$卷积C2(·)将通道数恢复为原始值。这一过程能有效降低卷积的计算复杂度。随后，将两个分支的特征合并，并利用sigmoid函数$\sigma(·)$计算注意力权重。我们通过哈达玛积（☺）将这些权重与输入特征相结合。SCAB(·)的公式如式6c所示：
$$ F_4\left(x\right) = C2\left(LR\left(C1\left(AMP\left(x\right)\right)\right)\right) $$
$$ F_{5}\left(x\right)=C2\left(LR\left(C1\left(AAP\left(x\right)\right)\right)\right) $$
$$ \mathrm{SCAB}\left(x\right)=\sigma\left(F_{4}\left(x\right)+F_{5}\left(x\right)\right)\odot x $$
#### 3.3.2 ASAB
在ASAB中，第一步是对输入特征沿通道维度分别进行全局最大池化GMP(·)和全局平均池化GAP(·)操作，计算出特征图在通道维度上的最大值与平均值，再将二者合并形成2通道的特征图。随后，采用$3 \times 3$卷积C(·)来捕捉局部上下文信息并增强特征间的局部关联。与SCAB类似，在计算得到基于sigmoid函数$\sigma(\cdot)$的注意力权重后，我们将该权重与输入特征进行哈达玛积（☺）运算以得到输出。ASAB(·)的公式如式7所示：
$$ ASAB\left(x\right)=\left(C\left(CAT\left(GMP\left(x\right),GAP\left(x\right)\right)\right)\right)\odot x $$
| method | mIoU | person | rider | car | truck | plants | traffic sign | pole | trashcan | building | cone/stone | fence | bike | ground |
| SqueezeSeg [^19] | 18.9 | 14.2 | 1.0 | 13.2 | 10.4 | 28.0 | 5.1 | 5.7 | 2.3 | 43.6 | 0.2 | 15.6 | 31.0 | 75.0 |
| SqueezeSegV2 [^20] | 30.0 | 48.0 | 9.4 | 48.5 | 11.3 | 50.1 | 6.7 | 6.2 | 14.8 | 60.4 | 5.2 | 22.1 | 36.1 | 71.3 |
| RangeNet++ [^21] | 30.9 | 57.3 | 4.6 | 35.0 | 14.1 | 58.3 | 3.9 | 6.9 | 24.1 | 66.1 | 6.6 | 23.4 | 28.6 | 73.5 |
| SqueezeSegV3 [^23] | 40.0 | 62.2 | 23.1 | 66.1 | 21.2 | 63.0 | 20.5 | 17.8 | 13.3 | 70.9 | 21.7 | 17.5 | 50.3 | 72.7 |
| MINet [^29] | 43.2 | 62.4 | 12.1 | 63.8 | 22.3 | 68.6 | 16.7 | 30.1 | 28.9 | 75.1 | 28.6 | 32.2 | 44.9 | 76.3 |
| FIDNet [^26] | 46.4 | 72.2 | 23.1 | 72.7 | 23.0 | 68.0 | 22.2 | 28.6 | 16.3 | 73.1 | 34.0 | 40.9 | 50.3 | 79.1 |
| CENet [^28] | 50.3 | 75.5 | 22.0 | 77.6 | 25.3 | 72.2 | 18.2 | 31.5 | 48.1 | 76.3 | 27.7 | 47.7 | 51.4 | 80.3 |
| TFNet [^31] | 51.9 | 72.4 | 20.5 | 77.7 | 24.8 | 71.6 | 29.1 | 37.8 | 46.3 | 79.9 | 34.5 | 47.3 | 53.9 | 78.4 |
| LENet [^30] | 53.4 | 76.2 | 21.5 | 80.6 | 30.3 | 73.7 | 26.8 | 33.7 | 55.8 | 80.1 | 34.4 | 49.0 | 52.4 | 79.9 |
| MSCSeg (Ours) | 54.4 | 77.7 | 29.2 | 81.4 | 25.3 | 73.4 | 25.9 | 37.7 | 47.8 | 79.0 | 47.4 | 49.3 | 53.8 | 79.3 |
---
Table 2 Experimental results of our proposed MSCSeg and other LiDAR segmentation methods on the SemanticKITTI test set
| method | mIoU car | bicycle | motorcycle | truck other-vehicle person | bicyclist other-vehicle person | motorcyclist other-vehicle person | parking sidewalk other-ground | building fence other-ground | vegetation trunk other-ground | terrain pole other-ground | traffic-sign other-ground |
| SqueezeSeg [^19] | 30.8 | 68.3 | 18.1 | 5.1 | 4.1 | 4.8 | 16.5 | 17.3 | 1.2 | 84.9 | 28.4 |
| SqueezeSegV2 [^20] | 39.7 | 81.8 | 18.5 | 17.9 | 13.4 | 14.0 | 20.1 | 25.1 | 3.9 | 88.6 | 45.8 |
| RandLA-Net [^13] | 50.3 | 94.0 | 19.8 | 21.4 | 42.7 | 38.7 | 47.5 | 48.8 | 4.6 | 90.4 | 56.9 |
| RangeNet++ [^21] | 52.2 | 91.4 | 25.7 | 34.4 | 25.7 | 23.0 | 38.3 | 38.8 | 4.8 | 91.8 | 65.0 |
| PolarNet [^22] | 54.3 | 93.8 | 40.3 | 30.1 | 22.9 | 28.5 | 43.2 | 40.2 | 5.6 | 90.8 | 61.7 |
| PCSCNet [^18] | 54.3 | 94.3 | 23.1 | 26.2 | 26.1 | 36.7 | 43.1 | 36.4 | 7.9 | 91.1 | 63.8 |
| MPF [^25] | 55.5 | 93.4 | 30.2 | 38.3 | 26.1 | 28.5 | 48.1 | 46.1 | 18.1 | 90.6 | 62.3 |
| SqueezeSegV3 [^23] | 55.9 | 92.5 | 38.7 | 36.5 | 29.6 | 33.0 | 45.6 | 46.2 | 20.1 | 91.7 | 63.4 |
| KPCConv [^14] | 58.8 | 96.0 | 32.0 | 42.5 | 33.4 | 44.3 | 61.5 | 61.6 | 11.8 | 88.8 | 61.3 |
| ACPNet [^42] | 59.4 | 95.2 | 39.3 | 41.7 | 41.8 | 37.7 | 55.2 | 48.1 | 33.7 | 91.3 | 66.0 |
| SalsaNext [^24] | 59.5 | 91.9 | 48.3 | 38.6 | 38.9 | 31.9 | 60.2 | 59.0 | 19.4 | 91.7 | 63.7 |
| FIDNet [^26] | 59.5 | 93.9 | 54.7 | 48.9 | 27.6 | 23.9 | 62.3 | 59.8 | 23.7 | 90.6 | 59.1 |
| BAAF-Net [^15] | 59.9 | 95.4 | 31.8 | 35.5 | 48.7 | 46.7 | 49.5 | 55.7 | 53.0 | 90.9 | 62.2 |
| SalsaFusedNB [^44] | 60.2 | 92.7 | 51.2 | 44.6 | 30.9 | 38.6 | 63.5 | 59.2 | 8.1 | 92.3 | 65.9 |
| Meta-RangSeg [^27] | 61.0 | 93.9 | 50.1 | 43.8 | 43.9 | 43.2 | 63.7 | 53.1 | 18.7 | 90.6 | 64.3 |
| MSCSeg (Ours) | 62.6 | 93.6 | 53.6 | 48.3 | 43.4 | 36.6 | 65.7 | 67.5 | 23.7 | 91.5 | 67.2 |
| 54.7 | 52.5 | 54.7 | 11.2 | 51.8 | 51.7 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 11.2 | 53.6 | 11.2 | 36.3 | 50.9 | 50.9 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 20.2 | 36.3 | 20.2 | 38.1 | 50.8 | 50.8 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 44.2 | 38.1 | 44.2 | 38.1 | 50.8 | 50.8 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 55.9 | 55.9 | 55.9 | 30.1 | 30.1 | 30.1 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 51.8 | 57.5 | 51.8 | 30.1 | 30.1 | 30.1 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 57.3 | 60.1 | 57.3 | 30.1 | 30.1 | 30.1 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 49.7 | 58.1 | 49.7 | 30.1 | 30.1 | 30.1 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 57.3 | 58.1 | 57.3 | 30.1 | 30.1 | 30.1 | 38.0 | 67.5 | 67.5 | 23.7 | 91.5 | 67.2 |
| 57.4 | 58.4 | 5 | | | | | | | | | |
## 4 实验
在本节中，我们首先介绍实验数据集以及模型实现的细节。接着，我们讨论所提出模型在点云语义分割任务中的性能表现。最后，我们通过消融实验来验证各个模块的有效性。
### 4.1 数据集
所有实验均在SemanticPOSS [^4]和SemanticKITTI [^3]数据集上进行。SemanticPOSS是一个主要用于自动驾驶领域的点云语义分割数据集，包含2,988个带有逐点标注的激光雷达扫描数据，共14个类别，总计6个序列（00至05），其中序列02被用作测试集。SemanticKITTI是一个大规模室外点云数据集，提供了23,201个用于训练的完整3D扫描数据和20,351个用于测试的数据。序列00至07、09至10用作训练集，序列08用作验证集，序列11至21用作测试集。该数据集共包含28个语义类别，在单扫描条件下仅使用其中的19个语义类别进行评估。
### 4.2 实现细节
实验使用了Pytorch 2.1.0，在两块配备24GB内存的NVIDIA GeForce RTX 3090 GPU上运行，并记录了模型在单块NVIDIA GeForce RTX 2080Ti GPU上的推理速度。我们的网络采用AdamW优化器，初始学习率为$2e^{-3}$。训练期间，我们采用随机旋转、随机点丢弃和点翻转来进行数据增强。在SemanticKITTI数据集上的分割实验中，我们训练了50个epoch，批量大小为4；在SemanticPOSS数据集上则训练了60个epoch，批量大小同样为4。我们遵循ResNet34的ResBlock组合方式，将BAResBlock与之结合。在StrConv中，我们将i设为3、5、7；在WinSA中，我们将num_head设为8，窗口大小设为8；在SCAB中，我们将通道压缩比设为8；在ASAB中，通道融合后的卷积核大小设为$3 \times 3$。
### 4.3 评估结果与对比
表1展示了各种网络在SemanticPOSS测试集上的分割结果。我们将我们的方法与其他基于投影的解决方案进行了比较。我们的网络取得了最先进的分割性能，尤其在骑手和圆锥/石块类别上的分割效果远超其他模型。在那些通常难以准确分割的其它复杂类别上，我们的模型也显示出显著的提升。这些结果表明我们的模型具备更好的特征提取能力。得益于CSCB模块，我们能够获得更细致的特征表示。
---
Fig. 6 Qualitative analysis on SemanticKITTI validation set. The images from left to right show the input data of the LIDAR scan frame, the segmentation ground truth, the segmentation error maps in this scan
frame for FIDNet, and the segmentation error maps in this scan frame for MSCSeg (Ours). (Red indicates the wrong predictions)
Table 3 Comparison of different convolution combinations for the BAResBlock
| Combination | Params | mIoU(%) |
| $3 \times 3$Conv | 8.08M | 61.2 |
| $(3 \times 3)(5 \times 5)(7 \times 7)$DWConv | 7.53M | 61.6 |
| $(3 \times 5)(5 \times 7)(7 \times 9)$DWConv | 7.55M | 61.9 |
| $(5 \times 5)(7 \times 7)(9 \times 9)$DWConv | 7.57M | 61.8 |
Table 4 Ablation study evaluated on SemanticKITTI validation set
| Baseline | BAResBlock | CSCB | FCAB | mIoU(%) |
| FIDNet | | | | 57.9 |
| ✓ | | | 58.4 |
| ✓ | ✓ | | 61.3 |
| ✓ | ✓ | ✓ | 61.9 |
feature representation of the boundary contours of small objects without treating them as part of other large categories.
Fig. 7 Optimization effect of the CSCB.(Red indicates the wrong predictions)
---
我们也将分割结果提交到了SemanticKITTI评估服务器。表2详细列出了我们的MSCSeg方法与其他方法在SemanticKITTI激光雷达语义分割挑战赛中的各类别定量结果。我们提出的方法比大多数基于点和基于体素的最先进方法都取得了更好的分割性能。与基线方法FIDNet相比，MSCSeg在SemanticKITTI测试集上的性能提升了3.1%。此外，我们的基于投影的模型比其他基于物体的方法效率更高，在单块RTX 2080Ti GPU上的推理速度可达11.8 FPS。对于以10 FPS采集点云数据的SemanticKITTI数据集而言，我们的方法满足了实时处理要求。这些结果证明了我们方法的有效性与优越性。
在图6中，我们展示了模型在SemanticKITTI 08序列（验证集）上的分割误差结果，并将其与基线方法FIDNet的分割结果进行了比较。相比之下，MSCSeg在类间和类内都提供了更准确的预测，这主要归功于CSCB模块。
### 4.4 消融研究
在本节中，我们探讨了不同卷积组合对参数数量和模型分割性能的影响。我们以64线车载激光雷达为研究对象，输入距离图像的尺寸为$64 \times 2048$。SemanticKITTI验证集上的实验结果如表3所示。当采用多尺度深度卷积组合来替代传统的$3 \times 3$卷积时，不仅参数数量减少了，模型的mIoU值也普遍有所提升。这表明多尺度卷积所具有的更大感受野，对本文所提方法的特征学习是有益的。在比较不同的深度卷积组合时，由$3 \times 5$、$5 \times 7$和$7 \times 9$ DWConv组成的组合性能最佳，它在水平方向上具有更大的感知范围；这种垂直与水平核尺寸的不对称设计更适用于距离图像的特征提取。而$5 \times 5$、$7 \times 7$和$9 \times 9$ DWConv组合在垂直方向上学习了更多冗余信息，因此其性能不如前者。
此外，我们讨论了MSCSeg中各项设计的有效性。实验是在SemanticKITTI验证集上进行的，结果如表4所示。首先，我们使用三个标准卷积层生成128通道的高维张量，随后将FIDNet中原有的ResBlock替换为BAResBlock，这使得mIoU值提升了0.5%。接着，通过将CSCB集成到网络的解码部分，mIoU值又进一步提升了2.9%。图7展示了引入CSCB后所提方法的优化效果。与左侧的分割误差图相比，可以明显看出CSCB减少了类间边界处的误分类现象，从而使得目标边界处的点云预测更加准确、清晰。为了缓解下采样过程中出现的细节丢失问题，我们提出了FCAB，它使mIoU值提高了0.6%。
## 5 结论
在这项工作中，我们提出了MSCSeg——一种基于距离图像的多尺度上下文网络，用于点云语义分割。MSCSeg包含三个主要模块：BAResBlock采用非对称核尺寸的深度卷积，以实现对距离图像的高效针对性特征提取；CSCB融合了局部窗口自注意力机制与多尺度条形卷积，能够在局部窗口内捕捉细粒度特征，同时缓解分割中的边界模糊问题；FCAB则通过注意力机制将低层空间细节与高层语义特征相融合，从而分层补偿下采样过程中的细节丢失现象。在不同室外街景数据集上的实验表明，MSCSeg在保持满足实时要求的推理速度的同时，取得了具有竞争力的性能。不过，作为一种单帧分割方法，MSCSeg在处理严重遮挡场景时存在局限性。受TS-BEV [^43]和TFNet [^31]的启发，未来的工作将探索集成时空特征融合机制以增强对遮挡情况的推理能力，同时通过轻量级注意力设计来维持计算效率。
致谢：本研究部分得到了国家重点研发计划（2020YFA0713503）、国家自然科学基金（61773330）以及湖南省自然科学基金项目（2023JJ30598）的支持。
数据获取途径：本文使用和分析的数据集可公开获取，链接为： 和 。
## 声明
利益冲突：作者声明不存在竞争性利益关系。
## 参考文献
[^1]: Li, Y., Ibanez-Guzman, J.: Lidar for autonomous driving: The principles, challenges, and trends for automotive lidar and perception systems. IEEE Signal Process. Mag. 37(4), 50–61 (2020)
## [^2]: Xiao, A., Huang, J., Liu, K., et al.: Domain adaptive LiDAR point cloud segmentation via density-aware self-training. IEEE Trans. Intell. Transp. Syst. (2024)
---
[^3]: Behley, J., Garbade, M., Milioto, A., et al.: Semantickitti: A dataset for semantic scene understanding of lidar sequences. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 9297–9307 (2019)
[^4]: Pan, Y., Gao, B., Mei, J., et al.: Semanticposs: A point cloud dataset with large quantity of dynamic instances. In: 2020 IEEE Intelligent Vehicles Symposium (IV), pp. 687–693. IEEE (2020)
[^5]: Fong, W.K., Mohan, R., Hurtado, J.V., et al.: Panoptic nuscenes: A large-scale benchmark for lidar panoptic segmentation and tracking. IEEE Robot. Autom. Lett. 7(2), 3795–3802 (2022)
[^6]: Wang, H.F., Shan, Y.H., Hao, T., et al.: Vehicle-road environment perception under low-visibility condition based on polarization features via deep learning. IEEE Trans. Intell. Transp. Syst. 23(10), 17873–17886 (2022)
[^7]: Dewangan, D.K., Sahu, S.P.: Driving behavior analysis of intelligent vehicle system for lane detection using vision-sensor. IEEE Sens. J. 21(5), 6367–6375 (2020)
[^8]: Omeiza, D., Webb, H., Jirotka, M., et al.: Explanations in autonomous driving: A survey. IEEE Trans. Intell. Transp. Syst. 23(8), 10142–10162 (2021)
[^9]: Klokov, R., Lempitsky, V.: Escape from cells: Deep kd-networks for the recognition of 3d point cloud models. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 863–872 (2017)
[^10]: Kong, L., Xu, X., Cen, J., et al.: Calib3d: Calibrating model preferences for reliable 3d scene understanding. In: 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 1965–1978. IEEE (2025)
[^11]: Qi, C.R., Su, H., Mo, K., et al.: Pointnet: Deep learning on point sets for 3d classification and segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 652–660 (2017)
[^12]: Qi, C.R., Yi, L., Su, H., et al.: Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in Neural Information Processing Systems 30 (2017)
[^13]: Hu, Q., Yang, B., Xie, L., et al.: Randla-net: Efficient semantic segmentation of large-scale point clouds. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11108–11117 (2020)
[^14]: Thomas, H., Qi, C.R., Deschaud, J.E., et al.: Kpconv: Flexible and deformable convolution for point clouds. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 6411–6420 (2019)
[^15]: Qiu, S., Anwar, S., Barnes, N.: Semantic segmentation for real-point cloud scenes via bilateral augmentation and adaptive fusion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1757–1767 (2021)
[^16]: Zhang, F., Fang, J., Wah, B., et al.: Deep fusionnet for point cloud semantic segmentation. In: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXIV 16, pp. 644–663. Springer International Publishing (2020)
[^17]: Zhou, H., Zhu, X., Song, X., et al.: Cylinder3d: An effective 3d framework for driving-scene lidar semantic segmentation. arXiv preprint arXiv:2008.01550 (2020)
[^18]: Park, J., Kim, C., Kim, S., et al.: PCSCNet: Fast 3D semantic segmentation of LiDAR point cloud for autonomous car using point convolution and sparse convolution network. Expert Syst. Appl. 212, 118815 (2023)
[^19]: Wu, B., Wan, A., Yue, X., et al.: Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In: 2018 IEEE International Conference on Robotics and Automation (ICRA), pp. 1887–1893. IEEE (2018)
[^20]: Wu, B., Zhou, X., Zhao, S., et al.: Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud. In: 2019 International Conference on Neural Information Processing (CNIP).
机器人学与自动化会议（ICRA），第4376–4382页。IEEE出版社（2019年）。
[^21]: Milioto, A., Vizzo, I., Behley, J., et al.: Rangenet++: Fast and accurate lidar semantic segmentation. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4213–4220. IEEE (2019)
[^22]: Zhang, Y., Zhou, Z., David, P., et al.: Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9601–9610 (2020)
[^23]: Xu, C., Wu, B., Wang, Z., et al.: Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation. In: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXVIII 16, pp. 1–19. Springer International Publishing (2020)
[^24]: Cortinhal, T., Tzelepis, G., Aksoy, E.E.: Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds. In: Advances in Visual Computing: 15th International Symposium, ISVC 2020, San Diego, CA, USA, October 5–7, 2020, Proceedings, Part II 15, pp. 207–222. Springer International Publishing (2020)
[^25]: Alnaggar, Y.A., Affi, M., Amer, K., et al.: Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1800–1809 (2021)
[^26]: Zhao, Y., Bai, L., Huang, X.: Fidnet: Lidar point cloud semantic segmentation with fully interpolation decoding. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4453–4458. IEEE (2021)
[^27]: Wang, S., Zhu, J., Zhang, R.: Meta-rangeseg: Lidar sequence semantic segmentation using multiple feature aggregation. IEEE Robot. Autom. Lett. 7(4), 9739–9746 (2022)
[^28]: Cheng, H.X., Han, X.F., Xiao, G.Q.: Cenet: Toward concise and efficient lidar semantic segmentation for autonomous driving. In: 2022 IEEE International Conference on Multimedia and Expo (ICME), pp. 01–06. IEEE (2022)
[^29]: Li, S., Chen, X., Liu, Y., et al.: Multi-scale interaction for real-time lidar data segmentation on an embedded platform. IEEE Robot. Autom. Lett. 7(2), 738–745 (2021)
[^30]: Ding, B.: LENet: Lightweight and efficient LiDAR semantic segmentation using multi-scale convolution attention. arXiv preprint arXiv:2301.04275 (2023)
[^31]: Li, R., Li, S., Chen, X., et al.: Tfnet: Exploiting temporal cues for fast and accurate lidar semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4547–4556 (2024)
[^32]: Iandola, F.N., Han, S., Moskewicz, M.W., et al.: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and < 0.5 MB model size. arXiv preprint arXiv:1602.07360 (2016)
[^33]: Redmon, J., Farhadi, A.: Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767 (2018)
[^34]: He, K., Zhang, X., Ren, S., et al.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778 (2016)
[^35]: Howard, A.G., Zhu, M., Chen, B., et al.: Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861 (2017)
[^36]: Sun, T., Zhang, Z., Tan, X., et al.: Image understands point cloud: Weakly supervised 3d semantic segmentation via association learning. IEEE Trans. on Image Process. (2024)
[^37]: Sandler, M., Howard, A., Zhu, M., et al.: Mobilenetv2: Inverted residuals and linear bottlenecks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4510–4520 (2018)
## [^38]: Mehta, S., Rastegari, M., Caspi, A., et al.: Espnet: Efficient spatial pyramid of dilated convolutions for semantic segmentation
---
载于：欧洲计算机视觉会议（ECCV）论文集，第552–568页（2018年）。
[^39]: Mehta, S., Rastegari, M., Shapiro, L., et al.: Espnetv2: A lightweight, power efficient, and general purpose convolutional neural network. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9190–9200 (2019)
[^40]: Dong, X., Shi, P., Liang, T., et al.: CTAFFNet: CNN-transformer adaptive feature fusion object detection algorithm for complex traffic scenarios. Transp. Res. Rec. 2679(1), 1947–1965 (2025)
[^41]: Shi, P., Dong, X., Ge, R., et al.: Dp-M3D: Monocular 3D object detection algorithm with depth perception capability. Knowl.-Based Syst. 318, 113539 (2025)
[^42]: Sun, X., Song, S., Miao, Z., et al.: LiDAR Point clouds Semantic Segmentation in Autonomous driving based on asymmetrical convolution. Electronics 12(24), 4926 (2023)
[^43]: Dong, X., Shi, P., Qi, H., et al.: TS-BEV: BEV object detection algorithm based on temporal-spatial feature fusion. Displays 84, 102814 (2024)
[^44]: Massa, K.J.L., Grobler, H.: Adapting projection-based LiDAR semantic segmentation to natural domains. J. Vis. Commun. Image Represent. 100, 104111 (2024)
出版商声明：Springer Nature对于所发表地图中的管辖权主张及机构归属保持中立。
Springer Nature或其许可方（如学会或其他合作伙伴）根据与作者或其他权利持有者签订的出版协议，拥有本文的独家使用权；作者自行存档本文的录用稿版本仅受该出版协议的条款及适用法律的约束。