# M2CNet：基于多层级多视角交叉注意力融合的自动驾驶车辆激光雷达3D语义分割
周牧 $^{®}$，IEEE高级会员；向瑞 $^{®}$，杜楠 $^{®}$，何伟 $^{®}$，蒋钊 $^{®}$
摘要—激光雷达点云语义分割是自动驾驶领域的一项关键任务，能够为安全导航提供精准的环境感知能力。现有的基于点和基于体素的方法在计算成本和量化误差方面存在局限，尤其是在处理大规模点云时表现更为明显。相比之下，包括距离视图和鸟瞰图在内的2D投影方法因其实时性与精度的平衡而受到青睐。然而，大多数投影方法都忽略了投影过程中产生的关键问题，包括：1）类间遮挡；2）边界模糊；3）多尺度特征提取能力不足。为解决这些问题，我们提出了一种多层级多视角交叉注意力融合网络（M2CNet），该网络能够充分利用不同视角下的互补信息。首先，我们在多任务分割框架内采用并行编码器-解码器网络来提取语义信息。鉴于各视角间的相关性较高，我们引入了多视角特征交叉融合模块（MFCFM）来促进跨视角特征关联，捕捉潜在的互补性，从而减轻单视角投影带来的信息损失。接着，我们在编码器和解码器之间加入多级级联增强语义上下文空洞空间金字塔池化（MESCASPP）模块，以捕获多尺度的上下文信息，有效强化像素间的关联。最后，采用核点卷积（KPCConv）在输出层对逐点特征进行优化。所提方法在城市场景数据集SemanticKITTI和nuScenes上分别取得了65.7%和78.9%的mIoU分数，在非道路场景数据集RELIS-3D上的得分达到44.6%，同时还在真实世界的测试集上进行了验证。实验结果表明，该方法在有效性和场景适应性方面均优于现有代表性方法。
这是一个真实的测试集。实验结果表明，我们的方法在有效性和场景适应性方面均优于其他代表性方法。
索引词—自动驾驶、深度学习、多视角融合、点云、语义分割。
## 一、引言
随着自动驾驶技术的不断发展，在复杂的动态环境中实现高效精准的道路交通场景理解，对于精确导航、智能决策和安全控制至关重要 [^1]，[^2]。作为场景理解的核心组成部分，语义分割能够提供细粒度的物体标签，从而提取出物体类别、形状等各类信息。这项技术已在自动驾驶领域得到广泛应用 [^3]。从实际应用来看，自动驾驶系统通常利用摄像头传感器采集2D图像，或利用激光雷达传感器获取3D点云。不过，摄像头传感器容易受到光照变化、障碍物以及恶劣天气条件的影响，导致采集到的图像中颜色和纹理特征不足 [^4]。相比之下，作为主动式传感器的激光雷达不受环境光线变化的影响，能够提供高精度的距离测量数据和3D几何信息，抗干扰能力较强。因此，激光雷达已被广泛应用于自动驾驶导航领域。
激光雷达点云是由激光扫描仪采集的3D数据，包含XYZ坐标信息。然而，仅凭位置信息不足以区分不同的物体。为解决这一问题，点云语义分割任务会为每个点赋予语义标签（如汽车、行人、道路、建筑物），从而实现精准的分割与融合。近年来，深度学习为3D计算机视觉任务带来了革命性突破，显著拓展了其在自动驾驶领域的应用，包括物体检测[^5]、物体分类[^6]以及语义分割[^7]。目前已有众多基于深度学习的3D点云语义分割模型被提出[^8]、[^9]。根据点云的编码方式，这些深度学习方法可分为三类：基于点的方法、基于体素的方法和基于投影的方法。基于点的方法[^10]、[^11]在小规模数据集上表现优异，
---
Fig. 1. Distribution of different target information captured by BEV and RV. (a) shows the original projected image, and (b) displays the image obtained after true semantic labels mapping. The sides of (c) show the regional 3D space prediction comparison of PolarNet [^14] based on BEV and SalsaNext [^15] based on RV. The blue boxes highlight vertically distributed objects that are more easily captured in RV. The red boxes indicate boundary-blurring between horizontally distributed classes in RV, which is avoided in BEV. The orange boxes show the limitations of a single view in multi-scale information representation, as it cannot simultaneously capture both the global structure and detailed features.
但在大规模点云和复杂的道路交通场景下，这类方法存在速度慢、精度低、鲁棒性差等问题[^12]。基于体素的方法[^13]会将点云转换为结构化的体素，但会产生冗余现象且计算复杂度高，进而引发量化误差，难以满足自动驾驶对实时性的要求。相比之下，基于投影的方法通过俯视投影或球面投影将3D点云映射至鸟瞰图（BEV）或距离视图（RV），既能实现良好的分割效果，又能保持实时性能。
由于投影方向不同，RV和BEV所捕捉的点云信息存在差异，导致不同类别的物体会出现不同程度的信息丢失。为凸显这种差异，我们对比了RV和BEV表示下的点云分布，重点关注某些类别物体信息丢失严重的区域。如图1(a)和(b)中的红色框所示，RV投影的紧凑性会导致水平遮挡现象，且对距离变化较为敏感，从而造成水平边界信息的丢失。图1(c)中的红色框则展示了这一过程在重投影时如何导致边界模糊，尤其是针对距离较远的小型物体。相比之下，BEV从俯视角度投影点云，减少了物体重叠现象，能更好地区分不同区域的物品，从而缓解遮挡和边界模糊问题。不过，如蓝色框所示，当映射到BEV网格时，由于透视效应，垂直结构信息可能会丢失，尤其是针对稀疏物体而言。因此，RV更适用于小型、垂直方向的物体（如摩托车、行人和电线杆），而BEV对于在XY平面上有明显空间分布的大型物体（如汽车、建筑物和道路）则更为有效。此外，道路场景往往包含尺度各异的物体：识别小型物体需要详细的信息，而分割大型物体则需要具有足够大感受野的网络。如橙色框所示，投影方法不可避免地会压缩三维空间信息，加之网络本身有限的感受野，会导致细节丢失。因此，这两种方法在处理多尺度上下文信息时都面临重大挑战。
因此，单视角投影会因单一视角的限制以及多尺度上下文特征提取不足而导致信息丢失。由于不同视角中包含的信息可能具有相关性，整合多视角投影数据对于解决由单个RV和BEV投影引起的信息丢失问题至关重要。为解决这些问题，我们提出了一种新颖的多级多视角交叉注意力融合网络（M2CNet），通过结合不同视角的特征来提高语义分割的准确性和适应性。本文的主要贡献如下。
1) 为了提升点云目标的语义分割效果，本文提出了一种带有多级多视角交叉注意力融合的新型双流神经网络。通过
---
整合多级特征，该模型能够更有效地利用类间分布信息，从而克服单视角投影的局限性。
2) 为了实现不同视角信息的充分整合，本文引入了多视角特征交叉融合模块（MFCFM）。该模块通过交叉注意力机制有效共享特定视角的特征，从而优化特征表示与关系，进而能够学习局部与长距离依赖关系，实现更全面的场景理解。
3) 为了在分割实体中保留更多多尺度细节，我们提出了一种多级级联增强语义上下文空洞空间金字塔池化（MESCASPP）模块。该模块包含具有不同膨胀率的并行卷积分支以及增强语义上下文模块（ESCM），能够在多个感受野和级联上下文模块中实现密集的像素聚合，从而捕捉更丰富的上下文语义信息。
本文的其余部分安排如下：第二节总结了相关研究；第三节介绍了所提出的方法；第四节展示了实验结果；最后，第五节对本文进行了总结。
### 二、相关工作
### A. 基于点云的方法
基于点的方法通过利用点云固有的空间拓扑结构来直接处理原始点云。这些方法大致可分为基于多层感知机（MLP）的方法和基于点卷积的方法。早期基于MLP的方法，如PointNet [^10]，采用共享的MLP来提取每个点的特征，并利用全局最大池化实现场景级别的抽象。尽管效率较高，但这类方法忽略了局部几何关系。PointNet++ [^11] 通过分层分组以及从局部邻域中学习特征来解决这一局限，不过其效率和可扩展性仍然有限。为了进一步提升处理速度并保留更多局部细节，RandLA-Net [^16] 提出了一种高效的网络结构，将随机点采样与局部特征聚合策略相结合，从而提高了点云处理效率并有效保留了更多几何细节。然而，使用K近邻（KNN）来维持点之间的局部关系可能会因构建k维树带来的开销而拖慢推理速度。此后，基于点卷积的方法应运而生，以强化几何表示能力。KPConv [^17] 引入了核点卷积技术，其卷积权重基于点到核点的欧几里得距离，从而借助空间自适应权重来增强局部特征提取效果。SWCF-Net [^18] 采用了相似性加权卷积来强化局部特征提取并减少过拟合现象，同时还配备了轻量级的注意力模块以实现全局上下文建模。与此同时，SIESEF-FusionNet [^19] 专注于边界细化，利用逆距离加权和角度补偿来增强空间相关性，并引入了空间自适应池化以实现语义嵌入。虽然基于点的方法能够实现精确的局部特征学习，但在建模长距离依赖关系以及处理大规模场景时的效率方面仍面临挑战。
### B. 基于体素的方法
基于体素的方法将点云离散化为结构化的三维网格，从而能够利用卷积神经网络来挖掘空间连续性。这类方法可分为规则体素和稀疏体素两类。像VoxelNet [^13]这样的规则体素方法引入了体素特征编码技术，将点云转换为特征表示向量。然而，由于点云的稀疏性，算法的精度严重依赖于体素密度，进而导致了计算冗余。LSK3DNet [^20]通过采用空间层面的动态稀疏性和通道层面的剪枝机制，解决了大尺寸三维卷积核带来的高计算成本问题，从而能够以更少的参数实现高效的大感受野建模。稀疏体素方法则旨在仅针对非空体素进行计算，以减少冗余。SPVNAS [^21]提出了一种专为小物体识别设计的稀疏点体素卷积模块，它解决了利用稀疏卷积保持高分辨率表示以及适配大规模场景的挑战。Cylinder3D [^22]将点云转换为特殊的圆柱形网格，并结合非对称残差块与上下文建模模块，以匹配场景物体的相关特征并捕捉更高阶的上下文信息。PCSCNet [^23]将点卷积与稀疏三维卷积相融合，以支持实时分割，但粗略的体素化仍可能引发空间量化误差。SVASeg [^24]引入了基于稀疏体素的多头注意力机制，利用基于哈希的邻居查找和区域分组技术来高效扩大感受野。不过，体素级别的局部性仍可能阻碍复杂场景中精细几何结构的保留。总而言之，基于体素的方法能够保留三维点云中的几何与拓扑信息，但稀疏性、细节丢失以及离散化伪影会限制其性能。此外，三维卷积的高计算成本也使得在实时性与精度之间取得平衡颇具挑战。
### C. 基于单视图投影的方法
基于投影的方法将三维点云转换为二维图像，借助高效的二维卷积神经网络来识别像素级的语义信息。这种方法在保持空间信息的同时显著降低了计算复杂度，通常分为RV和BEV两类。在RV投影中，RangeNet++ [^12]采用基于距离的球面投影方式，并提出了一种KNN后处理方法来优化点云标签。SalsaNext [^15]引入了一种基于残差空洞卷积的上下文模块，以获得更大的感受野；此外，它还结合了贝叶斯神经网络来估计不确定性，从而提升网络性能与可靠性。LENet [^25]提出了一种多尺度卷积注意力模块，能够在不同尺度上提取特征，并通过注意力机制提高分割精度。而像SwinURNet [^26]这类较新的方法则采用了
---
距离图像，并引入了用于非结构化道路分割的混合CNN-Transformer架构。虽然该方法在复杂场景下改善了边界预测效果，但对单一RV投影的依赖限制了其几何完整性以及对遮挡情况的鲁棒性。RangeViT [^27]进一步探索了预训练视觉变换器在距离图像中的应用，结果表明此类模型只需少量适配即可取得优异的性能。
在BEV投影中，SalsaNet [^28]常被用于道路场景中的道路和车辆分割。PolarNet [^14]通过极坐标BEV对点云进行量化，使其更适配激光雷达扫描的表示方式，并能解决点云中空间分布不均衡的问题。它设计了环形卷积结构，使网络的注意力机制与沿径向轴的点云长尾分布相匹配。DGPolarNet [^29]采用动态图卷积网络来捕捉长距离依赖关系和局部上下文信息。它从输入点云中动态构建图结构，利用多尺度特征和图卷积来提取空间关系与判别性特征。PC-BEV [^30]提出了一种高效的纯BEV融合策略，结合了极坐标网格和笛卡尔坐标网格。该方法减少了对计算成本高昂的点级融合的需求，但由于缺乏跨视图线索，在遮挡或扫描稀疏的区域可能适应性较差。总体而言，基于RV的方法在重投影过程中可能会出现边界模糊问题，且对距离变化较为敏感；而基于BEV的方法则对高度变化敏感，往往会导致复合误差，在垂直结构的检测上表现不佳，从而限制了这类方法的有效性。
### D. 基于多视图投影的方法
为克服单视图投影的局限性，近期研究探索了多视图融合框架，以充分利用它们互补的空间与上下文信息。TORNADO-Net [^31]利用柱面投影学习模块提取的BEV特征，并将其投影到RV上。它引入了全局上下文模块来处理融合后的图像并提取丰富的语义特征。AMVNet [^32]采用后采样策略，根据判定条件筛选出不确定性较高的点，提取额外的点特征，并在两个视图间进行融合。MPF [^33]使用两个并行的轻量级2D CNN来分析RV和BEV投影，在输出阶段通过软投票机制合并两个视图的分割结果。CPGNet [^34]构建了级联融合框架，整合了逐点、RV和BEV表示，从而实现语义预测的分层优化。GFNet [^35]设计了几何流模块，在解码阶段应用于不同尺度的多个特征图，以促进RV和BEV投影之间几何信息的双向对齐与传播。BALViT [^36]提出了一种多视图融合框架，将预训练的2D视觉Transformer与距离视图激光雷达特征相结合，并通过来自BEV分支的交叉注意力机制对其进行增强。推理阶段采用基于置信度阈值的输出级融合策略来选择性地合并预测结果。不过，现有大多数方法都集中于输入或输出阶段，忽视了中间层特征的交互以及深度的几何对齐。此外，在物体尺度各异的动态道路环境中，这些方法往往难以提取稳健的多尺度特征，从而限制了它们在细粒度分割任务中的有效性。
### III. 方法论
在本节中，我们设计了一种名为M2CNet的点云语义分割网络。该网络分别以SalsaNext和ResNet34作为RV流和BEV流的基准网络[^37]，从而实现语义信息的并行提取。如图2所示，我们并行提取特定视角的特征，并利用MFCFM来增强RV流和BEV流中的特征表示。然而，直接利用编码器-解码器生成的多级特征图往往由于感受野有限而难以捕捉到足够的上下文依赖关系，进而无法有效进行多尺度特征聚合。为解决这一问题，我们引入了MESCASPP模块，该模块能够扩展感受野并捕获多尺度的上下文信息。最后，为了减轻因投影过程中原始点云数据丢失而导致的重投影误差，我们将基于点的后处理方法集成到端到端的训练流程中，以实现更精准的3D预测。
### A. 语义分割骨干网络
1) RV流：给定一个包含N个点的激光雷达点云帧，每个点由$(x, y, z, r)$表示，其中$(x, y, z)$代表相对于激光雷达传感器的笛卡尔坐标，r则表示反射强度。我们通过球面坐标变换将三维数据投影为密集的RV图像$I_{RV}$。这一过程会将每个三维点映射到图像坐标$(u, v)$，具体公式如下：
$$ \begin{pmatrix}u\\v\end{pmatrix}=\begin{pmatrix}\frac{1}{2}\left(1-\arctan(y,x)\pi^{-1}\right)W_{rv}\\\left(1-\left(\arcsin(z,d)-f_{down}\right)f^{-1}\right)H_{rv}\end{pmatrix} $$
此处，$f = f_{up} - f_{down}$表示垂直视场角，其中$f_{up}(>0)$和$f_{down}(<0)$分别为激光雷达光束的最大向上和向下俯仰角。点到激光雷达中心的距离由$d = \sqrt{x^2 + y^2 + z^2}$给出。$W_{rv}$和$H_{rv}$分别对应RV图像的宽度和高度。我们将数值$(x, y, z, r, d)$编码为五个通道，从而形成输入特征图$I_{RV} \in \mathbb{R}^{H_{rv} \times W_{rv} \times 5}$。如图1所示，基于RV的分割结果呈现出垂直方向连续但水平方向变化较大的物体边界，这种特性往往会导致直接编码时丢失通道特定的细节信息。为解决这一问题，我们引入了残差坐标通道空间注意力（RCCSA）模块，该模块基于坐标注意力（CA）构建[^38]，通过捕捉方向位置信息和长距离空间依赖关系来增强语义表示能力。如图3所示，输入特征首先经过CA处理，随后进行通道-空间注意力计算，最后通过残差相加的方式融合。
2) BEV流：为了缓解笛卡尔坐标系下的长尾分布问题——尤其是远处稀疏点和近场杂波所导致的影响——我们采用了极坐标投影策略。$(x, y, z)$坐标被转换为
---
Fig. 2. Overall architecture of the M2CNet. It consists of four main components: 1) the semantic segmentation backbone, combining parallel RV and BEV streams with the encoder-decoder structures. 2) the multi-view feature cross fusion through the MFCFM during the multi-level encoding and decoding phases. $(F_{R1}, F_{R2}, F_{R3}, F_{R4})$ and $(F_{B1}, F_{B2}, F_{B3}, F_{B4})$ represent different levels of RV features and BEV features respectively. $(F_{RB1}, F_{RB2}, F_{RB3}, F_{RB4})$ and $(F_{BR1}, F_{BR2}, F_{BR3}, F_{BR4})$ represent corresponding fusion features. 3) enhanced semantic context perception by using the MESCASPP between the encoder and decoder. 4) KPConv-based post-processing is employed to further refine the output point cloud features.
Fig. 3. Architecture of the RCCSA Module.
$(\rho, \phi, z)$，具体公式如下：
$$ \begin{pmatrix}\rho\\\phi\\z\end{pmatrix}=\begin{pmatrix}\sqrt{x^{2}+y^{2}}\\\arctan(y,x)\\z\end{pmatrix} $$
其中，$\rho$和$\phi$分别代表极径和方位角。利用归一化的极坐标，将点分配到BEV网格$I_{BEV}$中：
$$ \begin{pmatrix}u\\ v\end{pmatrix}=\begin{pmatrix}\frac{\rho-\rho_{\min}}{\rho_{\max}-\rho_{\min}}\times W_{bev}\\ \frac{\phi-\phi_{\min}}{\phi_{\max}-\phi_{\min}}\times H_{bev}\end{pmatrix} $$
每个网格编码9个特征：$[\rho, \phi, z, \Delta\rho, \Delta\phi, \Delta z, x, y, r]$，其中的$\Delta$项表示相对于网格中心的偏移量。这种编码方式能够增强位置感知能力，并有助于更好地捕捉局部几何结构。编码完成后，即可得到维度大小为$H_{bev} \times W_{bev} \times 9$的输入特征图。具体而言，共享的MLP用于提取高维特征，而最大池化则用于将每个网格内的点信息聚合为固定长度的表征，从而突出关键特征。
### B. 多视角特征交叉融合模块
鉴于 RV 和 BEV 语义分割任务之间存在强相关性，必须充分利用低级几何特征与高级语义特征之间的互补关系。受 Swin-Transformer [^39] 在下游任务中出色实时性能的启发，我们提出了 MFCFM。该模块在编码器-解码器架构的多层中间层内整合多视图特征信息，解决了不同投影方法造成的信息损失，并增强了跨视图间的互补优势。图 4(a) 展示了所提出的 MFCFM 的设计。
为了实现不同视角的特征融合，MFCFM利用视角间的几何关系来关联不同尺度的特征图。通过利用视角与原始3D点云之间的关联，分别记为$F_R$和$F_B$的RV特征与BEV特征首先被输入到跨视角关联模块（CAM）中。该模块以点云$\mathcal{P} \in \mathbb{R}^{N \times 4}$作为中间媒介，建立跨视角关联。
---
Fig. 4. Overall architecture of the MFCFM. (a) illustrates the main algorithm flowchart of the MFCFM. The CAM associates view features across views, followed by the application of shifted window-based cross-attention for deep fusion of the view features. (b) presents the flowchart of the shifted window multi-head cross-attention mechanism. (c) shows the flowchart for calculating multi-head cross-attention scores by using Q, K, and V.
通过点云投影过程中生成的点级图像坐标矩阵$Q_{I\to\mathcal{P}}$以及像素级点云索引矩阵$Q_{\mathcal{P}\to\hat{I}}.(I,\hat{I})(\in\{(I_{BEV},I_{RV}),(I_{RV},I_{BEV})\})$来建立关联，其中前者代表关联图像，后者代表目标图像。$Q_{I\to\mathcal{P}}\in\mathbb{Z}^{N\times2}$的具体内容如下所示。
$$ Q_{I\to\mathcal{P}}=\begin{bmatrix}m_{0}&\cdots&m_{N-1}\end{bmatrix}^{T}=\begin{bmatrix}u_{0}&\cdots&u_{N-1}\\ v_{0}&\cdots&v_{N-1}\end{bmatrix}^{T} $$
其中$\{m_i|0 \leq i \leq N-1\}$表示每个点的关联图像坐标值$(u_i, v_i)$。$Q_{\mathcal{P} \to \hat{I}} \in \mathbb{Z}^{H \times W \times 1}$可表示为：
$$ Q_{\mathcal{P}\to\hat{I}}=\left[\begin{matrix}{n_{(0,0)}}&{\cdots}&{n_{(0,W-1)}}\\ {\vdots}&{\ddots}&{\vdots}\\ {n_{(H-1,0)}}&{\cdots}&{n_{(H-1,W-1)}}\\ \end{matrix}\right] $$
其中$\{n_{(i,j)} \mid 0 \leq i \leq H-1, \, 0 \leq j \leq W-1\} \in [0, N)$表示对应于每个图像网格的原始点云索引。H和W分别表示关联图像$\hat{I}$的高度和宽度。通过结合$Q_{I \to \mathcal{P}}$和$Q_{\mathcal{P} \to \hat{I}}$，M2CNet能够获得跨视角关联矩阵$Q_{I \to \hat{I}} \in \mathbb{Z}^{H \times W \times 2}$，进而实现如下操作：
$$ Q_{I\to\hat{I}}=\left[\begin{matrix}{m_{n_{(0,0)}}}&{\cdots}&{m_{n_{(0,W-1)}}}\\ {\vdots}&{\ddots}&{\vdots}\\ {m_{n_{(H-1,0)}}}&{\cdots}&{m_{n_{(H-1,W-1)}}}\\ \end{matrix}\right] $$
基于此，通过跨视角关联矩阵对关联图像$\hat{I}$的特征进行采样，从而实现两个视角间特征网格的对齐。跨视角关联之后，视角特征$F_{R}$和$F_{B}$分别被转换为$F_{B2R}$和$F_{R2B}$。
为了有效融合视角特征并充分利用互补信息，我们引入了多头交叉注意力（MHCA）机制。该方法通过交换来自不同数据源的查询（Q）、键（K）和值（V），来增强特征信息的融合效果。如图4(a)所示，给定输入特征对$(F_{R}, F_{B2R})$或$(F_{B}, F_{R2B})$，经过层归一化（LN）处理后，即可获得窗口多头交叉注意力（W-MHCA）层和移位窗口多头交叉注意力（SW-MHCA）层的K-V及Q。与自注意力机制不同，交叉注意力机制允许不同视角的特征直接交互，从而捕捉它们之间的依赖关系并提升特征融合质量。此外，移位窗口策略将注意力计算限制在互不重叠的局部窗口内，进一步提高了效率。通过MFCFM，特征表示被记为$F_{RB}$和$F_{BR}$。如图4(b)所示，注意力融合过程可表示为：
$$ \left\{\begin{aligned}\hat{S}_{0}&=W\text{-}M H C A\left(L N\left(S_{0}\right)\right)+S_{0}\\ S_{1}&=M L P\left(L N\left(\hat{S}_{0}\right)\right)+\hat{S}_{0}\\ \hat{S}_{1}&=S W\text{-}M H C A\left(L N\left(S_{1}\right)\right)+S_{1}\\ S_{2}&=M L P\left(L N\left(\hat{S}_{1}\right)\right)+\hat{S}_{1}\end{aligned}\right. $$
其中$\hat{S}_{0}$和$S_{1}$分别代表W-MHCA模块和MLP模块处理后的残差输出，而$\hat{S}_{1}$和$S_{2}$则分别表示SW-MHCA模块和MLP模块处理后的残差输出。
图4(c)展示了该模块的MHCA计算过程，其中四个独立的注意力头会同时执行注意力计算。在此背景下，$(W^{\mathrm{Q}}, W^{\mathrm{K}}, W^{\mathrm{V}})$代表与(Q, K, V)对应的可学习参数矩阵。计算过程由以下公式表示：
---
```pseudo
// Algorithm 1: Multi-view Feature Cross Fusion from Associated-view I to Target-view $\hat{I}$:
Input: Point-wise Coordinate matrix $Q_{I\rightarrow\mathcal{P}}\in\mathbb{Z}^{N\times2}$;
```
像素级索引矩阵$Q_{\mathcal{P}\rightarrow\hat{I}}\in\mathbb{Z}^{H\times W\times1}$；
目标视图特征$F_{\hat{I}}\in\mathbb{R}^{B\times C\times H\times W}$；
关联视图特征$F_{I}\in\mathbb{R}^{B\times C\times H_{I}\times W_{I}}$
输出：融合特征$F_{out}\in\mathbb{R}^{B\times C\times H\times W}$
1: 步骤1：跨视图关联矩阵构建
2: $Q_{I\rightarrow\hat{I}}\leftarrow$初始化形状为$\mathbb{Z}^{H\times W\times2}$的矩阵
// 视图空间对齐
3: 遍历$(i,j)$中满足$Q_{\mathcal{P}\rightarrow\hat{I}}(i,j)\geq0$条件的元素
4: $\bigsqcup Q_{I\rightarrow\hat{I}}(i,j,:)\leftarrow Q_{I\rightarrow\mathcal{P}}[Q_{\mathcal{P}\rightarrow\hat{I}}(i,j)]$
5: 步骤2：从I到$\hat{I}$的特征重采样
// 坐标调整
6: $Q_{I\rightarrow\hat{I}}\leftarrow\text{flip}(Q_{I\rightarrow\hat{I}})$
// 分辨率对齐
7: $Q_{I\rightarrow\hat{I}}^{\text{scaled}}\leftarrow\text{interpolate}(Q_{I\rightarrow\hat{I}},(H,W))$
8: $F_{\text{warp}}\leftarrow\text{grid\_sample}(F_{I},Q_{I\rightarrow\hat{I}}^{\text{scaled}})$
9: 步骤3：特征融合
10: $F_{cat}\leftarrow\text{Concat}(F_{\hat{I}},F_{\text{warp}})$
11: $F_{\text{fused}}\leftarrow\text{Conv3}\times3(F_{cat})$
12: $F_{\text{norm}}\leftarrow\text{LayerNorm}(F_{\text{fused}})$
// 双阶段交叉注意力融合
13: $F_{tr}\leftarrow\text{SW-MHCA}(\mathbb{W}-\text{MHCA}(F_{\hat{I}},F_{\text{norm}}),F_{\text{norm}})$
14: $F_{out}\leftarrow F_{\hat{I}}\oplus F_{tr}$
15: 返回$F_{out}$
公式如下。
$$ head_{i}\left(Q_{i},K_{i},V_{i}\right)=Softmax\left(\frac{Q_{i}K_{i}^{T}}{\sqrt{d_{k}}}\right)V_{i}, $$
$$ M H C A\left(\mathbf{Q},\mathbf{K},\mathbf{V}\right)=\operatorname{C o n c a t}\left(h e a d_{1},h e a d_{2},h e a d_{3},h e a d_{4}\right) $$
其中$d_{k}$表示缩放因子。各个注意力头的输出会被拼接起来，然后逐元素地与原始特征相加，以丰富其语义信息。此外，引入MHCA机制的优势在于能够自适应、动态地调整特征权重，使模型能够理解并捕捉两个视图之间的内在关系。MFCFM的伪代码详见算法1。
### C. 多级级联增强语义上下文空洞空间金字塔池化
在MESCASPP模块中，我们将双分支编码器的最后一层输出作为输入，输入通道数为512。对于并行分支上的空洞卷积，扩张率为R、核大小为K的空洞卷积的感受野大小$RF_{s}$可表示为：
在道路环境感知任务中，分割网络需要细化投影图像的像素特征，并关注上下文语义的一致性。具体而言，由于道路场景的视野范围较广，分割网络首先需要较大的感受野；其次，道路环境中的物体往往具有多尺度特性，且特定类别之间具有相似性。为解决这些问题并进一步提升点云语义分割任务中的深度特征提取能力，我们提出了MESCASPP模块，如图5所示。
$$ RF_{s}=\left(K-1\right)\times\left(R-1\right)+K $$
当扩张率相同但核大小分别为$K_{1}$和$K_{2}$的空洞卷积级联时，组合核大小所对应的等效感受野可由下式给出：
$$ K=K_{1}+K_{2} $$
从公式(10)和(11)可以看出，当核大小固定时，R与$RF_s$呈正比关系。然而，由于空洞卷积的采样稀疏性，远距离像素之间的相关性会降低，导致信息传递过程中更容易忽略小型目标物体。因此，为了在多尺度上下文中聚合物体信息并减少多尺度物体信息的损失，我们采用了四个并行的空洞卷积分支。每个分支依次级联两个扩张率为(3, 6, 12, 18)的$3 \times 3$空洞卷积，进一步增大网络的感受野以捕获更密集的像素信息。
考虑到多尺度和多类别上下文依赖之间的相关性较低，每种膨胀卷积特征虽然保持相同的空间分辨率，但像素感受野却有所不同。为解决这一问题，我们如图6所示，将ESCM嵌入到各并行膨胀卷积分支中。具体而言，通过融合各个卷积分支的特征图，该模块利用全局和局部机制生成注意力图，从而自适应地对多尺度特征图进行加权。ESCM的输出可表示为：
$$ F_{out}=F_{in}\odot F_{0}\odot F_{1} $$
其中，$F_{in}$和$F_{out}$分别对应输入和输出特征图。$\odot$表示特征图的矩阵乘法。$F_{0}$和$F_{1}$代表全局和局部注意力图，其生成过程可表示为：
$$ F_{0}=\operatorname{Sigmoid}\left(BN\left(Conv\left(Pooling\left(F_{in}\right)\right)\right)\right) $$
$$ F_{1}=\mathrm{Sigmoid}\left(BN\left(Conv\left(F_{in}\right)\right)\right) $$
此处，Pooling指全局平均池化。Conv表示$1 \times 1$卷积。BN代表批量归一化函数。Sigmoid为激活函数。
### D. 后处理
在多视图编解码阶段完成特征级融合后，M2CNet会进一步对点云特征进行输出级处理，以提升分割精度。如图7所示，我们利用R2P和B2P将解码器输出从二维图像转换为三维点云特征。具体而言，我们采用双线性插值（BI）来获取与输入尺寸相匹配的特征图，其中$H \times W \times C_{num}$和$C_{num}$等于类别数量。随后，基于相应的投影关系，通过逆投影（IP）将二维特征还原为三维点云特征。
---
Fig. 5. Architecture of the MESCASPP Module. It consists of parallel branches with cascaded $3 \times 3$ dilated convolutions (rates: 3, 6, 12, 18) to expand the receptive field and capture dense multi-scale features. The ESCM aggregates pixel-level semantic information, while $1 \times 1$ convolution adjust channel dimensions without altering feature map size.
Fig. 6. Architecture of the ESCM.
Fig. 7. Architecture of the R2P/B2P.
最终，利用KPConv实现各分支的最终三维预测。具体实现过程如下：
KPCConv直接在点云上执行卷积操作，通过空间定义的核点来聚合邻近点的特征。给定一个中心点$x \in \mathcal{P} \subset \mathbb{R}^{N \times 3}$及其特征$f \in \mathcal{F} \subset \mathbb{R}^{N \times D_{in}}$，卷积定义如下：
$$ (\mathcal{F}\ast g)(x)=\sum_{x_{i}\in\mathcal{N}}g(x_{i}-x)f_{i} $$
其中，$\mathcal{N} = \{x_i \in \mathcal{P} \mid \|x_i - x\| \leq r\}$是半径r内的邻近点集合，$f_i$是邻近点$x_i$的特征，$g(\cdot)$是根据空间偏移量分配权重的核函数。输入偏移量由$e_i = x_i - x \in \mathbb{R}^3$表示，$\{e_i\} \subset S_r^3$代表球形域$S_r^3$内的相对位置。一组K个可学习的核点$\{\hat{x}_k \in \mathbb{R}^3\}_{k=1}^K \subset S_r^3$定义了影响区域。每个核点都对应一个权重矩阵$W_k \in \mathbb{R}^{D_{in} \times D_{out}}$，用于将特征维度从$D_{in}$转换为$D_{out}$。这种结构能够保留局部几何信息并自适应地调整空间权重，因此非常适合基于点的三维特征学习。
$$ g(e_{i})=\sum_{kFig. 8. Experimental platform with a Velodyne VLP-16 LiDAR mounted on a mobile platform, used for outdoor point cloud data collection.
本文采用IoU作为评价指标，来衡量预测分割结果与真实标签之间的差异。此外，我们还采用平均IoU（mIoU）来评估整体性能。其计算公式如下：
$$ I o U_{c}=\frac{T P_{c}}{T P_{c}+F P_{c}+F N_{c}} $$
$$ mIoU=\frac{1}{C}\sum_{c=1}^{C}IoU_{c} $$
其中，C代表类别总数，而$TP_{c}$、$FP_{c}$和$FN_{c}$分别表示类别c的真正例、假正例和假负例。
### B. 实现细节
本文中的所有实验均基于Ubuntu 20.04系统，使用PyTorch深度学习框架，配备两张NVIDIA A40 GPU，每张GPU拥有48 GB内存。RV尺寸被设置为$64 \times 2048$（适用于SemanticKITTI和RELIS-3D）或$32 \times 1024$（适用于nuScenes），而BEV尺寸则设为$480 \times 320$。训练过程中会应用数据增强技术，具体参数如下：最多随机丢弃10%的点云数据（$\in [0, 0.1]$），同时$(x, y, z)$坐标会按照$[0.9, 1.1]$的比例进行缩放。对于RV分支，增强方式包括沿y轴的水平翻转、随机平移（$x \in [-5, 5]$、$y \in [-3, 3]$、$z \in [-1, 1]$）以及空间旋转；BEV分支还会额外采用极坐标旋转（$0^\circ - 360^\circ$）以及沿x轴、y轴或两者的随机翻转。网络模型共训练150个周期，批量大小为4。为了加速模型收敛，我们选用随机梯度下降（SGD）作为优化器，权重衰减和动量参数分别设为$0.0001$和0.9。初始学习率设定为0.001，并通过余弦退火策略逐步降低学习率。
### C. 对比实验验证
1) 在SemanticKITTI上的实验结果：表I展示了这些定量比较的结果。结果表明
---
TABLE I QUANTITATIVE COMPARISON RESULTS OF FPS (Hz) AND MIOU (%) ON THE SEMANTICKITTI TEST SET
| Methods | car | bicycle | motorcycle | truck | other-vehicle | person | bicyclist | motorcyclist | road | parking | sidewalk | other-ground | building | fence | vegetation | trunk | terrain | pole | traffic-sign | mIoU (%) | FPS (Hz) |
| Point | PointNet [^10] | 46.3 | 1.3 | 0.3 | 0.1 | 0.8 | 0.2 | 0.2 | 0.0 | 61.6 | 15.8 | 35.7 | 1.4 | 41.4 | 12.9 | 31.0 | 4.6 | 17.6 | 2.4 | 3.7 | 14.6 | 2 |
| PointNet++ [^11] | 53.7 | 1.9 | 0.2 | 0.9 | 0.2 | 0.9 | 1.0 | 0.0 | 72.0 | 18.7 | 41.8 | 5.6 | 62.3 | 16.9 | 46.5 | 13.8 | 30.0 | 6.0 | 8.9 | 20.1 | 0.1 |
| RandLA-Net [^16] | 94.2 | 26.0 | 25.8 | 40.1 | 38.9 | 49.2 | 48.2 | 7.2 | 90.7 | 60.3 | 73.7 | 20.4 | 86.9 | 56.3 | 81.4 | 61.3 | 66.8 | 49.2 | 47.7 | 53.9 | 1.3 |
| KPConv [^17] | 96.0 | 30.2 | 42.5 | 33.4 | 44.3 | 61.5 | 61.6 | 11.8 | 88.8 | 61.3 | 72.7 | 31.6 | 90.5 | 64.2 | 84.8 | 69.2 | 69.1 | 56.4 | 47.4 | 58.8 | 0.8 |
| SWCF-Net [^18] | 94.6 | 51.8 | 46.9 | 34.3 | 37.3 | 59.4 | 61.0 | 29.9 | 91.6 | 58.5 | 75.3 | 31.2 | 89.2 | 60.5 | 82.2 | 62.7 | 67.8 | 54.0 | 61.6 | 60.5 | - |
| Voxel | SPVNAS [^21] | 97.2 | 50.6 | 50.4 | 56.6 | 58.0 | 67.4 | 67.1 | 50.3 | 90.2 | 67.6 | 75.4 | 21.8 | 91.6 | 66.9 | 86.1 | 73.4 | 71.0 | 64.3 | 67.3 | 67.0 | 4 |
| Cylinder3D [^22] | 97.1 | 67.6 | 64.0 | 59.0 | 58.6 | 73.9 | 67.9 | 36.0 | 91.4 | 65.1 | 75.5 | 32.3 | 91.0 | 66.5 | 85.4 | 71.8 | 68.5 | 62.6 | 65.6 | 67.8 | 7 |
| SVASeg [^24] | 96.7 | 56.4 | 57.0 | 49.1 | 56.3 | 70.6 | 67.0 | 15.4 | 92.3 | 65.9 | 76.5 | 23.6 | 91.4 | 66.1 | 85.2 | 72.9 | 67.8 | 63.9 | 65.2 | 65.2 | 9 |
| PCSCNet [^23] | 95.7 | 48.8 | 46.2 | 36.4 | 40.6 | 55.5 | 68.4 | 55.9 | 89.1 | 60.2 | 72.4 | 23.7 | 89.3 | 64.3 | 84.2 | 68.2 | 68.1 | 60.5 | 63.9 | 62.7 | - |
| Single-view | PolarNet [^14] | 93.8 | 40.3 | 30.1 | 22.9 | 28.5 | 43.2 | 40.2 | 5.6 | 90.8 | 61.7 | 74.4 | 21.7 | 90.0 | 61.3 | 84.0 | 65.5 | 67.8 | 51.8 | 57.5 | 54.3 | 16 |
| PC-BEV [^30] | 96.5 | 66.5 | 57.7 | 37.6 | 48.2 | 62.5 | 68.0 | 49.1 | 93.0 | 73.5 | 79.8 | 32.1 | 92.1 | 69.2 | 85.4 | 70.0 | 70.0 | 62.4 | 63.0 | 67.2 | - |
| SalsaNext [^15] | 91.9 | 48.3 | 38.6 | 38.9 | 31.9 | 60.2 | 59.0 | 19.4 | 91.7 | 63.7 | 75.8 | 29.1 | 90.2 | 64.2 | 81.8 | 63.6 | 66.5 | 54.3 | 62.1 | 59.5 | 28 |
| LENet [^25] | 93.9 | 57.0 | 51.3 | 44.3 | 44.4 | 66.6 | 64.9 | 36.0 | 91.8 | 68.3 | 76.9 | 30.5 | 91.2 | 66.0 | 83.7 | 68.3 | 67.8 | 58.6 | 63.2 | 64.5 | 26 |
| RangeNet++ [^12] | 91.4 | 25.7 | 34.4 | 25.7 | 23.0 | 38.3 | 38.8 | 4.8 | 91.8 | 65.0 | 75.2 | 27.8 | 87.4 | 58.6 | 80.5 | 55.1 | 64.6 | 20.2 | 26.3 | 52.2 | 16 |
| SwinURNet [^26] | 93.0 | 45.9 | 45.1 | 45.2 | 42.3 | 63.7 | 63.0 | 27.1 | 90.8 | 66.4 | 74.7 | 28.6 | 90.5 | 64.1 | 82.2 | 65.0 | 66.4 | 56.3 | 61.2 | 61.6 | 25 |
| RangeViT [^27] | 95.4 | 55.8 | 43.5 | 29.8 | 42.1 | 63.9 | 58.2 | 38.1 | 93.1 | 70.2 | 80.0 | 32.5 | 92.0 | 69.0 | 85.3 | 70.6 | 71.2 | 60.8 | 64.7 | 64.0 | - |
| Multi-view | MPF [^33] | 93.4 | 30.2 | 38.3 | 26.1 | 28.5 | 48.1 | 46.1 | 18.1 | 90.6 | 62.3 | 74.5 | 30.6 | 88.5 | 59.7 | 83.5 | 59.7 | 69.2 | 49.7 | 58.1 | 55.5 | 21 |
| GFNet [^35] | 96.0 | 53.2 | 48.3 | 31.7 | 47.3 | 62.8 | 57.3 | 44.7 | 93.6 | 72.5 | 80.8 | 31.2 | 94.0 | 73.9 | 85.2 | 71.1 | 69.3 | 61.8 | 68.0 | 65.4 | 10 |
| AMVNet [^32] | 96.2 | 59.9 | 54.2 | 48.8 | 45.7 | 71.0 | 65.7 | 11.0 | 90.1 | 71.0 | 75.8 | 32.4 | 92.4 | 69.1 | 85.6 | 71.7 | 69.6 | 62.7 | 67.2 | 65.3 | - |
| M2CNet (Ours) | 96.5 | 55.3 | 52.9 | 32.1 | 48.4 | 60.8 | 59.5 | 43.2 | 93.9 | 72.8 | 76.0 | 32.9 | 94.7 | 71.2 | 86.7 | 72.6 | 71.5 | 62.8 | 65.4 | 65.7 | 11 |
FPS表示每帧的推理时间（包含数据预处理时间）。最佳得分以粗体显示。
Fig. 9. Qualitative comparison results with Cylinder3D, SalsaNext, and GFNet on the SemanticKITTI dataset. To highlight the differences, the blue boxes denote regions exhibiting multi-scale characteristics, the red boxes highlight areas affected by boundary ambiguity, and the closed boxes indicate occlusions induced by view-based projection transformations. (a) Cylinder3D. (b) GBNet. (c) SalsaNext. (d) M2CNet(Ours). (e) Ground Truth.
所提出的方法在分割精度方面明显优于大多数基于点云、基于体素以及单视角的方法。与多视角投影方法AMVNet和GFNet相比，整体分割精度分别提升了0.4%和0.3%。由于投影过程中不可避免的信息丢失，所提方法在mIoU指标上较Cylinder3D略低2.1%；不过，该方法能够有效传递RV与BEV之间的互补信息，从而从两种视角学习到独特的特征。这使得在分割垂直延伸的物体（如树干和电线杆）以及水平分布的物体（如道路和建筑物）时效果更佳。直观来看，图9展示了与几种代表性方法的定性比较结果。在场景1中，与其他方法出现的边界误分类现象不同，M2CNet能够更精确地勾勒出道路与人行道之间的边界；在场景2中，两辆车之间的遮挡区域会导致其他方法出现空间扭曲，而借助MFCFM机制的M2CNet则能有效缓解投影引起的对齐误差，恢复细节结构。此外，远处多尺度的物体（如骑自行车的人和植被）也能得到更好的保留，充分体现了MESCASP强大的多尺度适应能力。
由于激光雷达点云的密度分布不均匀——近处点更密集，远处点更稀疏——因此径向范围内的分割性能对模型评估至关重要。如表II和表III所示，M2CNet在各项指标上始终优于基线方法。
---
TABLE II
COMPARISON OF SEGMENTATION ACCURACY (MIOU, %) FOR PERSON, BICYCLE, AND MOTORCYCLE ACROSS VARIOUS DISTANCE RANGES USING DIFFERENT METHODS
| Methods | Person | Bicycle | Motorcycle |
| 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{40-50}$ | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{40-50}$ | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{40-50}$ |
| SalsaNext [^15] | 73.2 | 62.8 | 43.1 | 23.4 | 13.3 | +0.0 | 57.5 | 34.5 | 20.5 | 9.9 | 3.9 | +0.0 | 55.8 | 35.4 | 10.2 | 0.2 | 0.0 | +0.0 |
| Cylinder3D [^22] | 84.7 | 71.0 | 60.8 | 34.3 | 20.9 | +7.6 | 40.1 | 27.4 | 25.2 | 11.7 | 9.2 | +5.3 | 53.1 | 61.4 | 54.3 | 10.3 | 0.0 | +0.0 |
| GFNet [^35] | 74.7 | 67.1 | 54.1 | 35.9 | 25.1 | +11.8 | 57.4 | 31.1 | 21.2 | 11.7 | 4.8 | +0.9 | 63.1 | 46.0 | 33.3 | 6.4 | 0.0 | +0.0 |
| M2CNet (Ours) | 79.8 | 70.1 | 64.0 | 48.1 | 30.2 | +16.9 | 59.9 | 35.0 | 31.3 | 22.7 | 13.5 | +8.7 | 66.8 | 52.9 | 51.3 | 12.2 | 0.9 | +0.9 |
$\Delta_{40-50}$表示这些方法在40–50米距离处相对于SalsaNext的相对性能。
TABLE III
COMPARISON OF SEGMENTATION ACCURACY (MIOU, %) FOR CAR, POLE, AND ROAD ACROSS VARIOUS DISTANCE RANGES USING DIFFERENT METHODS
| Methods | Car | Pole | Road |
| 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{40-50}$ | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{40-50}$ | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{40-50}$ |
| SalsaNext [^15] | 94.8 | 89.7 | 76.9 | 62.3 | 51.0 | +0.0 | 62.8 | 54.8 | 46.2 | 40.3 | 35.2 | +0.0 | 95.3 | 93.3 | 84.8 | 78.9 | 73.2 | +0.0 |
| Cylinder3D [^22] | 96.2 | 95.0 | 92.9 | 83.6 | 73.8 | +22.8 | 68.0 | 62.7 | 56.9 | 53.1 | 48.7 | +13.5 | 93.1 | 94.1 | 90.5 | 85.4 | 77.1 | +3.9 |
| GFNet [^35] | 95.2 | 95.9 | 91.3 | 85.3 | 75.2 | +24.2 | 68.2 | 63.2 | 56.0 | 53.0 | 46.7 | +11.5 | 93.1 | 93.1 | 90.1 | 85.1 | 76.2 | +3.0 |
| M2CNet (Ours) | 96.5 | 96.0 | 93.1 | 82.1 | 70.0 | +19.0 | 68.4 | 63.1 | 57.2 | 53.1 | 49.4 | +14.2 | 96.2 | 95.7 | 92.5 | 88.1 | 84.3 | +11.1 |
$\Delta_{40-50}$表示这些方法在40–50米距离处相对于SalsaNext的相对性能。
(a)
(b)
(c)
Fig. 10. Distance-based segmentation performance comparison on the SemanticKITTI, nuScenes, and RELLIS-3D validation sets. As distance increases, sparser point clouds lead to performance degradation. (a) Comparisons on SemanticKITTI. (b) Comparisons on nuScenes. (c) Comparisons on RELLIS-3D.
不同的距离范围，尤其是40–50米范围内。对于人、自行车和电线杆等较小且距离较远的目标，我们的方法相比SalsaNext分别实现了16.9%、8.7%和14.2%的显著提升。此外，对于汽车和道路这类较大但距离较远的目标类别，M2CNet的性能分别提升了19.0%和11.1%。而且，图10(a)表明M2CNet在0–40米范围内始终能取得最高的mIoU值，这反映出其更强的远距离感知能力。
2) 在Nuscenes上的结果：表IV显示，M2CNet在nuScenes验证集上取得了78.9%的最高得分，在大多数物体类别上均优于其他对比方法。与SphereFormer相比，M2CNet在不同类别上的表现更为稳定，尤其是对于自行车（+1.5%）和路障（+1.8%）这类较小且距离较远的物体。相比之下，M2CNet在静态和动态类别上均保持了稳健的性能，这体现了其出色的跨视角融合与多尺度特征建模能力。图10(b)显示，M2CNet在所有距离区间内都保持着最高的mIoU值，证明与其他方法相比，它在稀疏且远距离区域具有更好的鲁棒性。如图11所示，在场景1中，M2CNet对道路和人行道等相邻物体间的分割边界刻画得更清晰，而其他方法则会产生模糊或分类错误的结果。不过，如红色矩形所示，可行驶区域、地形和人行道之间相似性较高，且行人的遮挡会导致点云数据丢失。所有方法在该区域都存在一定的分类错误，这说明处理相似且不连续的区域仍具挑战性。未来，我们计划引入更有效的类间相似性建模和多帧时间关联机制来克服这一局限。在场景2中，由于卡车前方的人造物和路障形成了水平遮挡，大多数现有方法都会出现大范围的分类错误。得益于更有效的鸟瞰图融合技术，M2CNet不仅能准确识别卡车，还在可行驶区域取得了更优的性能。
3) 在RELLIS-3D上的结果：为了进一步验证所提模型在非结构化场景中的有效性，我们将M2CNet与几种代表性方法进行了比较。如
---
TABLE IV QUANTITATIVE COMPARISON RESULTS OF FPS (Hz) AND MIOU (%) ON THE NUSCENES VALIDATION SET
| Methods | barrier | bicycle | bus | car | construction | motorcycle | pedestrian | traffic-cone | trailer | truck | driveable | other-flat | sidewalk | terrain | manmade | vegetation | mIoU (%) | FPS (Hz) |
| Point | SphereFormer [^8] | 77.7 | 43.8 | 94.5 | 93.1 | 52.4 | 86.9 | 81.2 | 65.4 | 73.4 | 85.3 | 97.0 | 73.4 | 75.4 | 75.0 | 91.0 | 89.2 | 78.4 | - |
| Voxel | SVASeg [^24] | 73.1 | 44.5 | 88.4 | 86.6 | 48.2 | 80.5 | 77.7 | 65.5 | 57.5 | 82.1 | 96.5 | 70.5 | 74.7 | 74.6 | 87.3 | 86.9 | 74.7 | 9 |
| Cylinder3D [^22] | 76.4 | 40.3 | 91.2 | 93.8 | 51.3 | 78.0 | 78.9 | 64.9 | 62.1 | 84.4 | 96.8 | 71.6 | 76.4 | 75.4 | 90.5 | 87.4 | 76.1 | 9 |
| PCSCNet [^23] | 73.3 | 42.2 | 87.8 | 86.1 | 44.9 | 82.2 | 76.1 | 62.9 | 49.3 | 77.3 | 95.2 | 66.9 | 69.5 | 72.3 | 83.7 | 82.5 | 72.0 | - |
| Single-view | PolarNet [^14] | 74.7 | 28.2 | 85.3 | 90.9 | 35.1 | 77.5 | 71.3 | 58.8 | 57.4 | 76.1 | 96.5 | 71.1 | 74.7 | 74.0 | 87.3 | 85.7 | 71.0 | 26 |
| PC-BEV [^30] | 78.2 | 46.3 | 92.5 | 93.4 | 55.0 | 87.1 | 81.0 | 65.4 | 69.2 | 85.7 | 97.1 | 76.8 | 77.0 | 76.3 | 90.6 | 88.5 | 78.8 | 32 |
| RangeNet++ [^12] | 66.0 | 21.3 | 77.2 | 80.9 | 30.2 | 66.8 | 69.6 | 52.1 | 54.2 | 72.3 | 94.1 | 66.6 | 63.5 | 70.1 | 83.1 | 79.8 | 65.5 | 44 |
| SalsaNext [^15] | 74.2 | 31.5 | 86.1 | 89.7 | 39.2 | 69.4 | 72.3 | 62.8 | 65.3 | 77.3 | 96.2 | 71.3 | 73.0 | 73.1 | 86.5 | 84.3 | 72.0 | 41 |
| RangeViT [^27] | 75.5 | 40.7 | 88.3 | 90.1 | 49.3 | 79.3 | 77.2 | 66.3 | 65.2 | 80.0 | 96.4 | 71.4 | 73.8 | 73.8 | 89.9 | 87.2 | 75.2 | - |
| Multi-view | AMVNet [^32] | 79.8 | 32.4 | 82.2 | 86.4 | 62.5 | 81.9 | 75.3 | 72.3 | 83.5 | 65.1 | 97.4 | 67.0 | 78.8 | 74.6 | 90.8 | 87.9 | 76.1 | - |
| GFNet [^35] | 77.9 | 37.7 | 93.0 | 89.1 | 49.0 | 82.8 | 78.7 | 65.9 | 68.7 | 81.7 | 97.1 | 74.6 | 76.8 | 76.1 | 90.4 | 89.0 | 76.8 | 15 |
| M2CNet (Ours) | 79.5 | 45.3 | 93.9 | 88.9 | 66.7 | 83.8 | 78.6 | 65.9 | 67.9 | 85.5 | 96.8 | 77.8 | 77.0 | 77.6 | 89.1 | 87.8 | 78.9 | 18 |
Fig. 11. Qualitative comparison results on the nuScenes dataset. To highlight the differences, the red boxes highlight areas affected by boundary ambiguity and the closed boxes indicate occlusions induced by view-based projection transformations.
在图12中，M2CNet在复杂的户外场景中能够展现出更清晰的类别边界，且误分类现象更少。在场景1和场景2中，它能更准确地区分灌木和草等相似类别。在场景2中，对于不同尺度的车辆目标，其他方法会出现不同程度的误分类现象，尤其是左侧那些小型且稀疏的车辆。相比之下，M2CNet能更精准地识别多尺度物体。如表V所示，M2CNet在测试集上的mIoU值达到了44.6%，这一成绩优于SphereFormer（+2.4%）、GFNet（+1.0%）以及SalsaNext（+1.5%）。与Cylinder3D相比，得益于多视角特征提取和多尺度注意力机制，M2CNet在混凝土（+0.8%）和泥地（+2.6%）等复杂的非铺装路面类别上表现更佳；如图12所示，它在草、树木和灌木等类别上的表现也均有明显提升。与SphereFormer相比，M2CNet在电线杆、行人和水坑等细小物体上的处理更为均衡，这反映出其在非结构化且细节丰富的场景中具备更强的鲁棒性。如图10(c)所示，由于点云密度较低且背景杂乱，所有方法在30米以外的距离上性能都会显著下降。在这一范围内，M2CNet仍能保持优异的性能，整体表现可与Cylinder3D相媲美，同时大幅超越GFNet和SalsaNext。这些结果充分证明了M2CNet在复杂远距离感知条件下的鲁棒性。
4) 我们测试集上的结果：为了进一步验证M2CNet在真实场景中的有效性与适应性，我们采用真实数据作为测试集，并开展定性对比分析。如图13所示，我们选取了两个典型的驾驶场景进行测试。由于采集到的数据主要以结构化点云为主，我们的模型是基于在SemanticKITTI和nuScenes数据集上训练的结果进行测试的。此外，这些真实世界的点云是通过16线激光雷达获取的，因此点云更为稀疏且分布更不规则。在场景1中，对于左侧静止的、存在水平遮挡情况的汽车类别，M2CNet展现出了更高的识别准确率。此外，对于右侧行驶的汽车类别，与GFNet相比……
---
Fig. 12. Qualitative comparison results on the RELLIS-3D dataset. To highlight the differences, the blue boxes denote regions exhibiting multi-scale characteristics, the red boxes highlight areas affected by boundary ambiguity. (a) Cylinder3D. (b) GFNet. (c) SalsaNext. (d) M2CNet(Ours). (e) Ground Truth.
TABLE V
QUANTITATIVE COMPARISON RESULTS OF FPS (HZ) AND MIOU (%) ON THE RELLIS-3D TEST SET
| Methods | grass | tree | pole | water | vehicle | log | person | fence | bush | concrete | barrier | puddle | mud | rubble | mIoU (%) | FPS (Hz) |
| Point | SphereFormer [^8] | 66.5 | 79.5 | 56.4 | 0.0 | 22.4 | 8.1 | 83.7 | 9.9 | 71.7 | 84.2 | 76.8 | 9.2 | 17.5 | 4.8 | 42.2 | - |
| RandLA-Net [^16] | 62.1 | 76.7 | 42.8 | 0.0 | 34.8 | 6.3 | 82.9 | 10.2 | 69.8 | 72.8 | 54.3 | 17.6 | 8.5 | 1.7 | 38.6 | 1.6 |
| Voxel | SPVNAS [^21] | 64.1 | 76.1 | 54.4 | 0.0 | 48.6 | 15.1 | 85.8 | 11.0 | 71.5 | 70.0 | 64.8 | 22.4 | 8.5 | 5.2 | 42.7 | 6 |
| Cylinder3D [^22] | 65.6 | 75.8 | 61.5 | 0.0 | 62.6 | 4.6 | 86.6 | 9.2 | 72.2 | 82.1 | 82.2 | 22.9 | 8.0 | 2.7 | 45.4 | 7 |
| Single-view | RangeNet++ [^12] | 63.0 | 66.5 | 23.5 | 0.0 | 8.7 | 14.4 | 79.0 | 2.5 | 68.4 | 50.8 | 6.9 | 26.8 | 8.6 | 0.6 | 30.0 | 17 |
| SalsaNext [^15] | 64.7 | 79.0 | 56.3 | 0.0 | 23.1 | 18.8 | 83.2 | 16.1 | 72.9 | 75.3 | 75.9 | 23.2 | 9.6 | 5.0 | 43.1 | 31 |
| Multi-view | GFNet [^35] | 64.3 | 76.4 | 49.8 | 0.0 | 34.4 | 21.5 | 83.1 | 12.6 | 72.4 | 73.5 | 79.3 | 24.2 | 10.1 | 7.2 | 43.6 | 12 |
| M2CNet (Ours) | 65.7 | 76.6 | 65.4 | 0.0 | 46.8 | 2.1 | 86.9 | 7.2 | 72.6 | 82.9 | 81.8 | 25.7 | 10.6 | 0.3 | 44.6 | 14 |
5) 运行效率分析：为了评估网络的计算效率，我们在表I、IV和V中对几种不同方法的每秒帧数（FPS）进行了比较。结果显示，与基于点和基于体素的方法相比，我们的方法在计算效率上具有显著优势。具体而言，与精度更高的Cylinder3D（7 Hz）相比，M2CNet的效率分别高出4 Hz和7 Hz。此外，虽然M2CNet的效率低于单视角方法（如SalsaNext，-17 Hz），但它在时间消耗方面仍取得了可观的成果。
与SalsaNext相比，得益于MESCASPP机制，M2CNet表现出更强的多尺度特征保留能力。在场景2中，如蓝色区域所示，与其他基线方法相比，M2CNet在树干、植被和建筑物等多尺度物体的分割性能上表现更佳。此外，针对红色区域中汽车、道路和地形之间的边界混淆问题，实验结果进一步验证了M2CNet的边界保留能力。通过深度整合RV和BEV视角，M2CNet实现了跨视角的互补特征融合，从而显著提升了空间分布各异的物体的分割精度，展现出更强的鲁棒性和精确度。
在保持相对较高分割精度的同时实现高效性。值得注意的是，激光雷达数据通常以10 Hz的频率采集。虽然GFNet等多视角方法能达到相近的处理速度（分别为10 Hz和12 Hz），但M2CNet在效率和分割性能方面均优于前者。总之，M2CNet通过利用多视角融合与注意力机制，实现了精度与效率的平衡。
### D. 消融实验
为了进一步验证所提方法中各模块的有效性，我们在测试数据集上开展了详细的消融实验。所有消融实验均在相同的参数设置下进行。
1) RV与BEV融合的有效性：如表VI所示，我们评估了所提方法在SemanticKITTI验证集上的性能。结果表明，RV←BEV和BEV←RV方向上的跨视角特征传递分别使性能提升了0.8%和1.6%，这证实了跨视角传递互补信息的有效性。此外，RV+BEV方法中的输出级融合相较于单视角分支可使分割性能分别提升1.7%和3.7%，凸显了输出级融合的关键作用。值得注意的是，
---
Fig. 13. Qualitative comparison results of different models on our test set. The top row of each scenario represents the predictions using the model trained on the SemanticKITTI, while the bottom row shows the predictions from the model trained on the nuScenes. The blue boxes denote regions exhibiting multiscale characteristics, the red boxes highlight areas affected by boundary ambiguity, and the closed boxes indicate occlusions induced by view-based projection transformations. (a) Cylinder3D. (b) SalsaNext. (c) GFNet. (d) M2CNet.
TABLE VI
PERFORMANCE COMPARISON OF QUANTITATIVE ABLATION STUDIES OF THE FUSION STRATEGY ON THE SEMANTICKITTI VALIDATION SET
| Methods | car | bicycle | motorcycle | truck | other-vehicle | person | bicyclist | motorcyclist | road | parking | sidewalk | other-ground | building | fence | vegetation | trunk | terrain | pole | traffic-sign | mIoU (%) |
| RV | 94.3 | 40.7 | 54.2 | 66.4 | 37.5 | 65.2 | 73.7 | 0.0 | 95.7 | 45.3 | 83.1 | 0.0 | 89.6 | 59.2 | 87.7 | 66.3 | 75.2 | 62.7 | 47.8 | 60.2 |
| RV←BEV | 94.0 | 43.1 | 51.7 | 65.2 | 40.1 | 65.3 | 73.7 | 0.0 | 95.3 | 46.6 | 82.9 | 2.2 | 89.7 | 60.5 | 87.9 | 65.6 | 74.9 | 63.2 | 48.7 | 60.6 |
| BEV | 92.7 | 37.5 | 52.8 | 77.9 | 21.1 | 59.4 | 71.6 | 0.0 | 93.1 | 42.9 | 79.2 | 0.1 | 91.4 | 56.0 | 86.9 | 59.6 | 74.7 | 61.3 | 47.2 | 58.2 |
| BEV←RV | 94.3 | 37.1 | 52.5 | 70.7 | 38.2 | 62.5 | 76.6 | 0.0 | 95.3 | 44.5 | 82.3 | 0.3 | 90.2 | 58.4 | 87.8 | 66.3 | 74.9 | 59.5 | 44.5 | 59.8 |
| RV+BEV | 94.9 | 44.4 | 57.8 | 70.4 | 39.5 | 68.3 | 79.4 | 0.0 | 95.8 | 45.9 | 83.3 | 0.1 | 90.5 | 60.0 | 88.3 | 68.8 | 75.8 | 64.6 | 48.5 | 61.9 |
| M2CNet (Ours) | 95.9 | 47.9 | 62.6 | 80.9 | 45.9 | 73.2 | 88.3 | 0.0 | 92.7 | 42.7 | 83.4 | 1.3 | 89.5 | 53.2 | 86.3 | 67.3 | 69.4 | 64.8 | 51.9 | 63.0 |
在“方法”一列中，“RV”和“BEV”代表单视角，“RV←BEV”表示RV与BEV特征融合，“BEV←RV”表示BEV与RV特征融合，“RV+BEV”则代表仅在输出级进行融合的双流分支。
加入我们所提出的模块后，最终性能超过了RV+BEV方法（+1.1%），展现了该模块在多视角融合方面的潜力与优势。图14展示了不同距离区间的分割结果对比。与单视角网络模型相比，我们的方法整体mIoU更高，体现出较强的鲁棒性与准确性。此外，视角融合前后的对比结果也显示出不同网络层之间的显著互补性。M2CNet在所有距离层的分割效果均有大幅提升，进一步验证了多视角信息融合的有效性。
2) 模块有效性分析：为了评估各组件的贡献，我们在RELLIS-3D验证集上开展了消融实验，结果汇总于表VII中。仅使用骨干网络（模式1）时，推理时间最短（50.8毫秒），参数数量最少（59.3百万个），但准确率有限（35.4%）。加入MFCFM后（模式2），通过对齐RV与BEV特征，mIoU提升了3.0%；引入MESCASPP（模式3）后，又额外获得0.9%的性能提升，原因是其增强了多尺度上下文建模能力。相比之下，用KPConv替换MFCFM（模式4）虽减少了8.3百万个参数，但性能略有下降。当所有模块全部启用时（模式6），M2CNet达到了最高的准确率（40.0%），且开销仍在可接受范围内，这证实了我们完整设计的有效性。
Fig. 14. Performance comparison of ablation studies of distance metrics on the SemanticKITTI validation set.
---
TABLE VII
PERFORMANCE COMPARISON OF ABLATION STUDIES ON THE RELLIS-3D VALIDATION SET, INCLUDING NETWORK MODEL INFERENCE TIME PER FRAME AND NUMBER OF PARAMETERS
| Mode | Backbone | MFCFM | MESCASPP | KPConv | Params(M) | Time(ms) | mIoU(%) |
| 1 | ✓ | ✗ | ✗ | ✗ | 59.3 | 50.8 | 35.4 |
| 2 | ✓ | ✓ | ✗ | ✗ | 78.1 | 58.0 | 38.4 |
| 3 | ✓ | ✓ | ✓ | ✗ | 87.0 | 67.2 | 39.3 |
| 4 | ✓ | ✓ | ✗ | ✓ | 78.7 | 61.7 | 38.6 |
| 5 | ✓ | ✗ | ✓ | ✓ | 68.8 | 57.5 | 37.1 |
| 6 | ✓ | ✓ | ✓ | ✓ | 87.6 | 71.4 | 40.0 |
TABLE VIII
COMPARISON OF THE EFFECTIVENESS OF MESCASPP ON THE SEMANTICKITTI VALIDATION SET
| Methods | mIoU(%) | $\Delta$ | Params | FLOPS |
| ASPP [^44] | 59.5 | +0.0 | 6.56M | 7.42G |
| ASPP(w/ ESCM) | 61.8 | +2.3 | 7.09M | 7.73G |
| MESCASPP (w/o ESCM) | 60.3 | +0.8 | 6.30M | 7.27G |
| MESCASPP | 63.0 | +3.5 | 6.83M | 7.58G |
TABLE IX
ANALYSIS OF WEIGHTED PARAMETERS $\alpha$ IN $Loss_{F}$, $\beta$ IN $Loss_{R}$, AND $\lambda$ IN
LossB
| $\alpha$ | 0.5 | 1.0 | 1.5 | 2.0 | 2.5 |
| mIoU(%) | 59.8 | 61.2 | 62.1 | 63.0 | 61.8 |
| $\beta$ | 0.5 | 1.0 | 1.5 | 2.0 | 2.5 |
| mIoU(%) | 60.2 | 63.0 | 62.3 | 61.7 | 60.8 |
| $\lambda$ | 0.5 | 1.0 | 1.5 | 2.0 | 2.5 |
| mIoU(%) | 60.5 | 63.0 | 61.9 | 61.0 | 60.1 |
准确率为35.4%。加入MFCFM（模式2）后，通过对齐RV和BEV特征，mIoU提升了3.0%。引入MESCASPP（模式3）能通过增强多尺度上下文信息再带来0.9%的提升。相比之下，用KPConv替换MFCFM（模式4）虽然减少了8.3百万个参数，但性能却略有下降。当所有模块全部启用时（模式6），M2CNet的准确率可达到40.0%，且开销在可接受范围内，这证实了我们完整设计方案的有效性。
为了评估所提出的MESCASPP模块的有效性，我们将其与ASPP及其变体进行比较，如表VIII所示。与标准ASPP相比，MESCASPP取得了63.0%的最高mIoU值（提升了3.5%），且参数和FLOPs的增量微乎其微。若移除ESCM组件，性能会显著下降，这表明这两个组件均发挥了积极作用。这些结果证实了我们在设计中同时增强空间上下文建模与多尺度融合的优势。为了进一步验证MESCASPP模块的性能，我们展示了三种模型的误差图：基线模型、引入MESCASPP的模型以及未引入MESCASPP的模型（见图15）。这些误差图直观地证实了多尺度分割性能的改善以及分割错误的显著减少。
3) 损失权重分布分析：如表IX所示，我们研究了三个加权参数对SemanticKITTI验证集的影响。每个参数初始值设为1.0，调整步长为0.5。首先，通过改变$\alpha$在
(a)
(b)
(c)
Fig. 15. Error maps comparing segmentation results of models with and without the MESCASPP module. To highlight the differences, correct and incorrect predictions are represented in gray and red respectively. (a) Baseline. (b) w/o MESCASPP. (c) w/ MESCASPP.
双分支融合损失$Loss_{F}$中，在固定$\beta = \lambda = 1.0$的情况下，当$\alpha = 2.0$时模型性能达到最佳，mIoU值为63.0%。接下来，对于范围视图损失$\beta$中的$Loss_{R}$，在固定$\alpha = 2.0$和$\lambda = 1.0$的前提下，当$\beta = 1.0$时可获得63.0%的峰值mIoU。最后，在BEV分支损失$\lambda$中调整$Loss_{B}$时，在固定$\alpha = 2.0$和$\beta = 1.0$的条件下，同样在$\lambda = 1.0$时取得63.0%的最佳结果。这些结果表明$\alpha$对性能的影响更为显著。
### 五、结论
本文提出了一种用于点云语义分割的新型多层次多视角交叉注意力融合网络，命名为M2CNet。该网络显著提升了分割性能，尤其适用于复杂驾驶环境下的自动驾驶车辆。所提出的方法整合了不同视角的语义信息，以弥补单一视角的局限性。具体而言，我们采用MFCFM通过多头交叉注意力机制来整合跨视角特征，从而最大化各视角的互补优势。为了进一步提升网络捕捉多尺度上下文信息的能力，我们引入了MESCASPP模块来增强多尺度上下文特征的表达能力并强化像素间的相关性。最后，采用后处理方法以减轻逆投影误差，进一步提高分割精度。实验结果证明了该方法在结构化与非结构化环境中的有效性与场景适应性。
---
未来，我们将致力于优化网络的轻量化运行能力以提升实时性能，同时探索更高效的融合策略来进一步增强模型性能。
## 参考文献
[^1]: H.-F. Wang et al., “Vehicle-road environment perception under low-visibility condition based on polarization features via deep learning,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 10, pp. 17873–17886, Oct. 2022.
[^2]: Y. Zhao, C. Lei, Y. Shen, Y. Du, and Q. Chen, “Improving autonomous vehicle visual perception by fusing human gaze and machine vision,” IEEE Trans. Intell. Transp. Syst., vol. 24, no. 11, pp. 12716–12725, Nov. 2023.
[^3]: Y. Li et al., “Deep learning for LiDAR point clouds in autonomous driving: A review,” IEEE Trans. Neural Networks Learn. Syst., vol. 32, no. 8, pp. 3412–3432, Aug. 2021.
[^4]: B. Gao, A. Xu, Y. Pan, X. Zhao, W. Yao, and H. Zhao, "Off-road drivable area extraction using 3D LiDAR data," in Proc. IEEE Intell. Symp., Paris, France, 2019, pp. 1505–1511.
[^5]: L. Wang et al., “Multi-modal and multi-scale fusion 3D object detection of 4D radar and LiDAR for autonomous driving,” IEEE Trans. Veh. Technol., vol. 72, no. 5, pp. 5628–5641, May 2023.
[^6]: J. Bai, L. Zheng, S. Li, B. Tan, S. Chen, and L. Huang, "Radar transformer: An object classification network based on 4D MMW imaging radar," Sensors, vol. 21, no. 11, Jun. 2021, Art. no. 3854.
[^7]: J. Liao et al., “Road garbage segmentation and cleanliness assessment based on semantic segmentation network for cleaning vehicles,” IEEE Trans. Veh. Technol., vol. 70, no. 9, pp. 8578–8589, Sep. 2021.
[^8]: X. Lai, Y. Chen, F. Lu, J. Liu, and J. Jia, “Spherical transformer for LiDAR-based 3D recognition,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Vancouver, BC, Canada, 2023, pp. 17545–17555.
[^9]: L. Kong et al., “Rethinking range view representation for LiDAR segmentation,” in Proc IEEE/CVF Int. Conf. Comput. Vis., Paris, France, 2023, pp. 228–240.
[^10]: C. R. Qi, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Honolulu, HI, USA, 2017, pp. 77–85.
[^11]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Adv. Neural Inf. Process. Syst., Long Beach, CA, USA, Dec. 2017, pp. 5105–5114.
[^12]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Macau, China, 2019, pp. 4213–4220.
[^13]: Y. Zhou and O. Tuzel, “VoxelNet: End-to-end learning for point cloud based 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Salt Lake City, UT, USA, 2018, pp. 4490–4499.
[^14]: Y. Zhang et al., “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Seattle, WA, USA, 2020, pp. 9598–9607.
[^15]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Proc. Int. Symp. Vis. Comput., San Diego, CA, USA, Oct. 2020, pp. 207–222.
[^16]: Q. Hu et al., “RandLA-Net: Efficient semantic segmentation of large-scale point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Seattle, WA, USA, 2020, pp. 11105–11114.
[^17]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. Guibas, "KPConv: Flexible and deformable convolution for point clouds," in Proc IEEE/CVF Int. Conf. Comput. Vis., Seoul, South Korea, 2019, pp. 6410–6419.
[^18]: Z. Lin et al., “SWCF-Net: Similarity-weighted convolution and local-global fusion for efficient large-scale point cloud semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Abu Dhabi, UAE, 2024, pp. 2602–2609.
[^19]: J. Chen, F. Xia, J. Mao, H. Wang, and C. Zhang, “SIESEF-FusionNet: Spatial inter-correlation enhancement and spatially-embedded feature fusion network for LiDAR point cloud semantic segmentation,” 2024, arXiv:2411.06991.
[^20]: T. Feng, W. Wang, F. Ma, and Y. Yang, "LSK3DNet: Towards effective and efficient 3D perception with large sparse kernels," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Seattle, WA, USA, 2024, pp. 14916–14927.
[^21]: H. Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc Eur. Conf. Comput. Vis., Glasgow, U.K., 2020, pp. 685–702.
[^22]: X. Zhu et al., “Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Nashville, TN, USA, 2021, pp. 9934–9943.
[^23]: J. Park, C. Kim, S. Kim, and K. Jo, "PCSCNet: Fast 3D semantic segmentation of LiDAR point cloud for autonomous car using point convolution and sparse convolution network," Expert Syst. Appl., vol. 212, Feb. 2023, Art. no. 118815.
[^24]: L. Zhao, S. Xu, L. Liu, D. Ming, and W. Tao, “SVASeg: Sparse voxel-based attention for 3D LiDAR point cloud semantic segmentation,” Remote Sens., vol. 14, no. 18, Sep. 2022, Art. no. 4471.
[^25]: B. Ding, “LENet: Lightweight and efficient LiDAR semantic segmentation using multi-scale convolution attention,” 2023, arXiv:2301.04275.
[^26]: Z. Wang, Z. Liao, B. Zhou, G. Yu, and W. Luo, “SwinURNet: Hybrid transformer-CNN architecture for real-time unstructured road segmentation,” IEEE Trans. Instrum. Meas., vol. 73, 2024, Art. no. 5035816.
[^27]: A. Ando, S. Gidaris, A. Bursuc, G. Puy, A. Boulch, and R. Marlet, "RangeViT: Towards vision transformers for 3D semantic segmentation in autonomous driving," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Vancouver, BC, Canada, 2023, pp. 5240–5250.
[^28]: E. E. Aksoy, S. Baci, and S. Cavdar, “SalsaNet: Fast road and vehicle segmentation in LiDAR point clouds for autonomous driving,” in Proc IEEE Intell. Veh. Symp., Las Vegas, NV, USA, 2020, pp. 926–932.
[^29]: W. Song, Z. Liu, Y. Guo, S. Sun, G. Zu, and M. Li, "DPolarNet: Dynamic graph convolution network for LiDAR point cloud semantic segmentation on polar BEV," Remote Sens., vol. 14, no. 15, Aug. 2022, Art. no. 3825.
[^30]: S. Qiu, X. Li, X. Xue, and J. Pu, "PC-BEV: An efficient polar-cartesian BEV fusion framework for LiDAR semantic segmentation," in Proc. AAAI Conf. Artif. Intell., Philadelphia, PA, USA, Feb. 2025, pp. 6612–6620.
[^31]: M. Gerdzhev, R. Razani, E. Taghavi, and B. Liu, "TORNADO-net: Multiview total variation semantic segmentation with diamond inception module," in Proc. IEEE Int. Conf. Robot. Automat., Xi'an, China, 2021, pp. 9543–9549.
[^32]: V. E. Liong, T. N. T. Nguyen, S. Widjaja, D. Sharma, and Z. J. Chong, “AMVNet: Assertion-based multi-view fusion network for LiDAR semantic segmentation,” 2020, arXiv:2012.04934.
[^33]: Y. A. Alnaggar, M. Afifi, K. Amer, and M. Elhelw, “Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds,” in Proc. IEEE Winter Conf. Appl. Comput. Vis., Waikoloa, HI, USA, 2021, pp. 1799–1808.
[^34]: X. Li, G. Zhang, H. Pan, and Z. Wang, “CPGNet: Cascade point-grid fusion network for real-time LiDAR semantic segmentation,” in Proc. IEEE Int. Conf. Robot. Automat., Philadelphia, PA, USA, 2022, pp. 11117–11123.
[^35]: H. Qiu, B. Yu, and D. Tao, "GFNet: Geometric flow network for 3D point cloud semantic segmentation," 2022, arXiv:2207.02605.
[^36]: J. Hindel, R. Mohan, J. Bratuli'c, D. Cattaneo, T. Brox, and A. Valada, "Label-efficient LiDAR semantic segmentation with 2D-3D vision transformer adapters," 2025, arXiv:2503.03299.
[^37]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Las Vegas, NV, USA, 2016, pp. 770–778.
[^38]: Q. Hou, D. Zhou, and J. Feng, “Coordinate attention for efficient mobile network design,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Nashville, TN, USA, 2021, pp. 13708–13717.
[^39]: Z. Liu et al., “Swin transformer: Hierarchical vision transformer using shifted windows,” in Proc IEEE/CVF Int. Conf. Compu. Vis., Montreal, QC, Canada, 2021, pp. 9992–10002.
[^40]: M. Berman, A. R. Triki, and M. B Blaschko, “The Lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Salt Lake City, UT, USA, 2018, pp. 4413–4421.
[^41]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc IEEE/CVF Int. Conf. Comput. Vis., Seoul, South Korea, 2019, pp. 9296–9306.
[^42]: H. Caesar et al., “nuScenes: A multimodal dataset for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Seattle, WA, USA, 2020, pp. 11618–11628.
## [^43]: P. Jiang, P. Osteen, M. Wigness, and S. Saripalli, “RELLIS-3D dataset: Data, benchmarks and analysis,” in Proc. IEEE Int. Conf. Robot. Automat., Xi'an, China, 2021, pp. 1110–1116
---
[^44]: L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille, “DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 40, no. 4, pp. 834–848, Apr. 2018.
周穆（IEEE高级会员）分别于2006年、2008年和2012年在中国哈尔滨工业大学获得信息通信工程专业的学士、硕士和博士学位。他目前担任重庆邮电大学电子科学与工程学院院长，以及教育部移动通信工程研究中心副主任。他的研究方向包括量子雷达、无线定位与传感以及信息融合。他是IEEE《车辆技术汇刊》的副编辑，IEEE/CAA《自动化学报》青年顾问委员会成员，《物理通信》（Elsevier）的领域编辑，以及《EURASIP无线通信与网络杂志》（Springer）的编辑。
杜楠于2017年在中国重庆大学获得硕士学位，目前她正在该校通信与信息工程学院攻读博士学位。她的研究方向包括激光雷达点云处理、激光雷达SLAM以及移动多传感器测绘系统。
何薇分别于2017年和2024年在中国重庆邮电大学获得信息通信工程专业的学士和博士学位。她曾是日本金泽大学的联合培养博士生。她现就职于重庆邮电大学。她的研究方向包括量子定位与计算、基于雷达的目标感知以及定位技术。
向瑞于2023年在中国成都信息工程大学获得电子信息科学与技术专业的学士学位。他目前正在重庆邮电大学通信与信息工程学院攻读硕士学位。他的研究方向包括激光雷达点云分割和深度学习。
蒋钊目前正在中国杭州浙江工业大学土木工程学院攻读学士学位。他的研究方向包括物联网和通信资源优化。