# TransRVNet：基于Transformer的激光雷达语义分割程慧贤、韩先峰 $^{ID}$，IEEE会员，肖国强摘要—从大规模激光雷达点云中进行高效且准确的3D语义分割是自动驾驶领域的一个基础性问题。在本文中，我们提出了Transformer-Range-View网络（TransRVNet），这是一种新颖且强大的基于投影的CNN-Transformer架构，用于推断逐点的语义信息。首先，我们引入了多残差通道交互注意力模块（MRCIAM），以捕捉通道级别的多尺度特征，并基于注意力机制建模通道内及通道间的相关性。接着，在编码器阶段，我们采用了精心设计的残差上下文聚合模块（RCAM），该模块包含残差空洞卷积结构和上下文聚合模块，能够在融合不同感受野的信息的同时降低缺失点的影响。最后，作为解码器的基本组件，我们采用了平衡非正方形Transformer模块（BNTM），通过引入非正方形移位窗口策略来实现局部特征依赖，从而进行更具区分性的特征学习。我们在具有挑战性的SemanticKITTI和SemanticPOSS基准测试上进行了大量的定性和定量实验，验证了所提技术的有效性。我们的TransRVNet性能优于大多数现有的最先进方法。源代码和训练好的模型可在获取。 ![Image](images/fad9c70bbbda7366a9f8a2958635cc62fc18719169fa94ebc2a406be4c84152e.jpg) 索引词—CNN、Transformer、点云、距离图像、语义分割、自动驾驶。 ## 一、引言 ![Image](images/3d600a88c43e3bacb9e4548a1c53d3c7cbea555511e9afa39326f4113870a0b9.jpg) 对于自动驾驶而言，对车辆周围环境进行足够准确、鲁棒、可靠且实时的3D语义感知与理解是关键要求。为实现这一目标，自动驾驶系统通常会使用多种具有互补特性的传感器，如摄像头、激光雷达（LiDAR）[^1]、雷达（RADAR）[^2]等，其中激光雷达发挥着重要作用，因为它们能够提供高精度的距离测量数据和3D几何信息。因此，基于激光雷达的语义场景感知，尤其是3D点云语义

Fig. 1. Top: Velodyne HDL-64E [^6] laser scan from SemanticKITTI dataset [^7] with semantic predictions from our TransRVNet. Bottom: Pandora [^8] laser scan from SemanticPOSS dataset [^9] with semantic predictions from our TransRVNet.

分割[^3]、[^4]、[^5]作为一项核心任务，受到了越来越多的研究关注，其目标是预测每个点的类别标签。近年来，卷积神经网络（CNN）为语义图像分割带来了显著的性能提升[^10]，其成功归功于它们学习分层特征表示的能力。然而，CNN并不适用于3D点云，原因在于：1）标准卷积是定义在规则网格上的[^11]；2）激光雷达生成的3D点云本身具有稀疏、不规则且无序的特点[^12]；3）缺乏足够的大规模训练数据集。幸运的是，随着近期大规模数据集（如SemanticKITTI）的出现，已有几种基于深度神经网络的最先进方法被提出来解决这些问题。根据3D激光雷达点的表示方法，这些方法通常可分为基于体素的方法[^13]、[^14]、基于图像的方法[^15]、[^16]，以及基于点的方法[^17]、[^18]、[^19]。 --- 对于基于点的处理方法而言，尽管已经取得了令人瞩目的进展，但高昂的计算成本和内存消耗使得这类方法在自动驾驶应用中的大型户外场景里过于昂贵。RandLA-Net通过用随机采样方法取代传统的FPS策略来降低计算复杂度，从而显著提升了点云处理的效率。不过，其分割精度缺乏竞争力。此外，RandLA-Net采用K近邻方法来维持每一帧中点之间的局部关系，而耗时的KD树构建过程会严重拖慢推理速度。虽然基于体素和基于图像的方法或许是将原始点云转换为结构化格式的合理选择，从而能够直接运用标准的3D CNN或2D CNN [^20]。然而，稀疏性以及细节信息丢失问题给体素表示的应用带来了挑战 [^21]。而基于图像的方法也无法取得令人满意的性能，因为投影后的激光雷达数据与RGB图像属于不同的域 [^22]。因此，有必要为基于投影（即基于激光雷达的距离图像）的语义分割设计专门的架构，该架构需考虑以下问题：1）如何将完整的360度激光雷达扫描数据投影到二维平面上？2）如何学习局部和全局的上下文信息？3）如何建模来自局部和全局区域的长程特征依赖关系？自然语言处理领域近期借助Transformer模型取得的进展 [^23]，激发了计算机视觉领域的研究人员探索将Transformer模型适配于视觉任务的兴趣，比如用于图像识别的ViT [^24]，以及用于图像分割任务的SETR [^25]。不过，从后续的相关研究 [^26]、[^27]、[^28]、[^29]、[^30]、[^31] 中我们发现：1）像SETR这样的纯Transformer分割网络无法取得非常好的性能；2）SETR难以训练，因为它参数繁多且计算成本高昂；3）此外，SETR无法执行多尺度特征提取，而这对于应对物体的大规模变化至关重要 [^22]。为解决这些问题，我们提出了一种基于编码器-解码器框架的新型CNN-Transformer架构，命名为Transformer-Range-View Network（TransRVNet）。在将输入的3D激光雷达点云表示为二维距离图像后，我们开发了多残差通道交互注意力模块（MRCIAM），用以提取通道级的多尺度特征，并建模不同信息通道内部及之间的上下文交互。随后，在我们的CNN-Transformer框架中，基于残差空洞卷积结构的残差上下文聚合模块（RCAM）被用作编码组件，以挖掘不同感受野中的信息。而在解码阶段，我们构建了平衡非正方形Transformer模块（BNTM），利用我们精心设计的基于非正方形滑动窗口的Transformer来捕捉局部的长程特征依赖关系。我们在SemanticKITTI [^7] 和SemanticPOSS [^9] 这两个具有挑战性的公开基准测试集上进行了广泛评估。实验结果表明，我们的TransRVNet优于多种最先进的模型。综上所述，本文的主要贡献如下： - 基于注意力机制，我们精心设计了一种多残差通道交互注意力模块，用于分别从不同模态通道中学习多尺度上下文信息，同时编码通道内及通道间的交互关系/特征依赖。 - 我们提出了一种全新的平衡型非正方形Transformer模块，该模块采用基于非正方形滑动窗口的Transformer块，以便更好地处理尺寸不平衡的范围图像，并学习局部的长程特征依赖。 - 我们提出了一种新颖的CNN-Transformer架构，命名为Transformer-Range-View网络（TransRVNet），其编码器组件采用残差上下文聚合模块，能够从逐步扩大的感受野中获取从局部到全局的上下文信息；解码器块则采用所提出的BNTM。据我们所知，这是首篇专注于将Transformer应用于语义激光雷达点云分割的研究。 - 我们在公开可用的SemanticKITTI和SemanticPOSS数据集上进行了全面的实验评估，验证了TransRVNet的卓越性能。我们还进一步分析了每个设计模块对神经网络的影响。本文的其余部分结构如下：第二节概述了近期的相关研究；第三节详细介绍了我们的TransRVNet；第四节进行了全面的实验评估与分析；第五节给出了所提方法的消融研究结果；第六节总结了全文结论。 ### 二、相关工作 ### A. 三维点云的语义分割随着深度学习技术的显著进步以及大规模场景数据集的出现，近年来自动驾驶领域的语义激光雷达点云分割取得了重大进展。以往的研究可分为三类：基于点的方法、基于体素的方法和基于图像的方法。基于点的方法直接处理无结构的点云，采用共享的逐点MLP [^17]、定义点卷积核 [^32] 或图结构 [^32]。PointNet可被视为利用共享MLP学习逐点特征的开创性工作，但它未能充分利用点云中的局部空间关系 [^33]、[^34]。为解决这一问题，PointNet++ [^18] 开发了分层框架来聚合局部邻域点的信息，但它仍然独立对待每个点 [^35]、[^36]。受二维卷积核心思想的启发，一些方法侧重于定义点卷积核 [^35]，或根据点的位置学习卷积核 [^37] 以捕捉局部信息，不过这些方法在学习过程中可能具有较高的复杂度 [^38]。此外，其他方法还尝试引入 --- 图神经网络用于局部几何拓扑聚合。例如，DGCNN设计了一种Edge-Conv算子，通过沿边聚合特征来更新中心点特征。RandLA-Net [^19]采用随机采样策略，显著提升了点云处理的效率，并设计了局部特征聚合模块来缓解随机操作带来的信息丢失问题。SCF-Net [^21]提出了一种可学习的SCF模块，用于从大规模点云中学习空间上下文特征，该模块包含三个关键组件：用于学习旋转不变性的LPR块、用于自动局部特征学习的DDAP模型，以及用于学习每个3D点的全局上下文的GCF模块。FG-Net [^39]提出了点相关特征挖掘和几何感知建模模块，以理解大规模点云。它整合了基于特征金字塔的残差学习策略、快速的噪声与离群点去除方法，以及逆密度点下采样策略，从而在效率和性能之间取得更好的平衡。从理论上和实验上看，基于点的方法在小型点云上表现良好。然而，对于激光雷达语义分割而言，完整的$360^{\circ}$大规模扫描数据由于计算复杂度高且内存需求大，限制了这些方法的实时处理能力[^19]。因此，这类方法实际上不太适用于自动驾驶应用场景。基于体素的方法首先将点云离散化为三维体积表示，其中每个点都与一个对应的体素相关联。随后，利用三维卷积神经网络框架来进行逐个体素的语义标签预测 [^14]。SEGCloud [^13] 将点云的粗略体素标签预测视为语义分割任务中的一个中间阶段。Zhou等人 [^40] 将点云转换为一种特殊的圆柱形网格，并设计了两种新颖的卷积神经网络组件：一种是用于保留与立方体物体相关特征的非对称残差块，另一种是用于上下文建模、融合多种低级上下文以构建高级张量模型的组件。VMNet [^41] 结合了稀疏体素卷积与图卷积网络，从而从点云和网格中学习融合特征。(AF)2-S3Net [^42] 引入了两个精心设计的注意力模块，即编码器中的多分支注意力特征融合模块以及解码器中的自适应特征选择模块，以便高效学习局部与全局上下文信息并突出细节内容。尽管体素网格是处理不规则点云的理想选择之一 [^43]，但稀疏性问题、颗粒信息的丢失以及离散化伪影的出现限制了基于体素方法的性能 [^44]。基于图像的方法，也称为投影法或距离图像法，它们将三维点云投影到二维图像空间，既可以在多个视角下进行投影 [^45]，也可以采用距离视图表示形式 [^46]，随后利用二维卷积神经网络进行语义分割。以往的研究通常基于传统的或改进的编码器-解码器框架 [^47]、[^48]，并采用条件随机场（CRF）[^49]、[^50] 作为后处理算法来生成最终结果。在后续研究中，RangeNet++ [^16] 和 3D-MiniNet [^51] 采用 K 近邻后处理技术替代 CRF，以恢复一致的语义信息。SalsaNext [^52] 则实现了一种考虑不确定性的语义分割方法，并引入了新的 Lovász-Softmax 损失函数 [^53] 来优化分割结果。Triess 等人 [^54] 提出了一种扫描展开投影技术，用以解决系统性遮挡问题。KPRNet [^55] 采用了扫描展开投影技术，结合更为强大的 ResNeXt101 [^56] 骨干网络以及 KPConv，通过可学习的点对点组件来获取更精确的三维标签。MPF [^57] 开发了一种多投影融合框架，该框架利用两个独立的二维 FCN 模型来处理球形视图和鸟瞰图投影；随后将两个视图的分割结果进行融合，以减少单投影方法带来的信息丢失。实验结果表明，所提出的方法具有极具竞争力的性能。 ### B. 视觉Transformer 近年来，随着Transformer [^23] 的出现，自然语言处理（NLP）领域取得了巨大进展。受其巨大成功的启发，计算机视觉领域的研究人员试图探索将Transformer架构应用于基于图像的任务 [^58]。检测Transformer（DETR）[^59] 将检测问题视为集合预测任务，它首先利用CNN骨干网络学习初始特征图，随后将这些特征输入基于Transformer的编码器-解码器结构以实现物体检测。视觉Transformer（ViT）[^24] 是一种纯Transformer模型，在图像分类任务上取得了业界领先的性能。然而，由于以下原因，ViT在进行像素级密集预测时面临挑战：（1）ViT仅输出低分辨率的单尺度特征图；（2）即便处理尺寸较小的图像，ViT在计算上效率低下且参数需求庞大。为解决这些问题，诸多优秀的研究成果 [^26]、[^27]、[^28]、[^29]、[^30]、[^31] 应运而生。Swin Transformer [^31] 构建了一种分层Transformer模型，以基于移位窗口的自注意力机制作为核心组件，其在图像分类、物体检测和语义分割任务上的表现令人鼓舞。在我们的论文中，我们采用了Swin Transformer的核心概念作为解码器的组成部分，并借助跳跃连接来实现雷达图像分割。 ### 三、方法论给定一张全视角3D激光雷达扫描图，我们的目标是构建一个从点的输入域$\mathcal{P}$到标签空间$\mathcal{Y}$的函数$f: \mathcal{P} \longrightarrow \mathcal{Y}$，以实现高效的语义分割。为此，我们首先通过球面投影将点云分割问题转化为2D距离视图分割问题。随后，多残差通道交互注意力模块（MRCIAM）会对每个独立的模态通道进行通道级特征学习，同时捕捉通道内以及通道间的相互作用。在后续的编码器-解码器阶段，我们采用残差上下文聚合模块作为编码器模块来建模局部和全局上下文。 --- ![Image](images/7b2281ce9b962b10334d3981d350cca6d9c12a4d797c507a39bf7153fc4274a0.jpg)

3D Prediction

Fig. 2. The overall architecture of TransRVNet.

![Image](images/f034ba15b44ce330de9082b1053c34459d3d8cf1e3f0f9f90f81635b55bba091.jpg)

(a) Visualization of different channels of the input range image

![Image](images/e8b9d28bf6ccc7366390aa6aacb4433970d0d98af954c598230af30023628279.jpg)

(b) Quantitative analysis of the numerical distribution of the different channels.

Fig. 3. Visualization of a full LiDAR scan. From (a), we can see that different channels show some differential visualization results, which indicates that different modalities of the range image (xyz, depth, reflectivity) contain different information. From (b), the statistics also show that the different modalities show different distributions of values. (In each subplot of (b), the horizontal coordinate indicates the range of values, while the vertical coordinate indicates the proportion of pixel points within that region in the range image.)

而平衡非正方形变换器模块则被设计为解码器组件。最后，我们利用KNN后处理算子将2D距离视图的语义信息反投影回原始点云。图2示意性地展示了所提出的TransRVNet的详细架构。 ### A. 激光雷达点云的距离视图表示精准且高效的语义推理在自动驾驶中发挥着关键作用[^51]。因此，为了获得更高的分割性能并充分利用二维卷积神经网络的优势，我们选择处理激光雷达点云的球面投影表示。实际上，这种被称为距离视图或距离图像的表示形式具有密集、紧凑且计算高效的特点[^60]，它能够包含完整的360°激光雷达扫描数据。具体而言，依据[^16]的描述，我们找到了一个映射函数$f: \mathbb{R}^3 \to \mathbb{R}^2$，用以在坐标为$(x, y, z)$的三维点与大小为$(u, v)$（其中H和W分别表示生成的距离图像的高度和宽度）的映射距离图像中的像素$(H, W)$之间建立一一对应关系。我们所使用的球面投影公式如下： $$ u=\frac{1}{2}\left[1-arctan\left(y,x\right)\pi^{-1}\right]W $$ $$ v=\left[1-\left(a r c s i n\left(z,d^{-1}\right)+f_{u}\right)\frac{1}{f_{u}+f_{d}}\right]H $$ 其中$f = f_{up} + f_{down}$表示传感器的垂直视场角。每个点的深度d通过$d = \sqrt{x^{2} + y^{2} + z^{2}}$计算得出。最终投影得到的距离图像可以表示为形状为$(H, W, 5)$的张量，其中每个像素包含五个通道$(x, y, z, d, r)$，r代表反射强度信息。通过这种球面变换，点云分割问题便转化为图像分割任务。 ### B. TransRVNet 图2展示了所提出的TransRVNet架构的流程。在接下来的小节中，我们将详细介绍该设计架构的主要组成部分。 1) 多残差通道交互注意力模块：如图3所示，投影距离图像中包含的不同通道实际上呈现出不同的特性。 --- ![Image](images/296058de206735d5a53acc2bb0e5f1774cc66b9c29d8c9960a86e1f96a6d7c82.jpg)

(a) The Structure of MRCIAM on single channel

![Image](images/5290dc758badec317f63541dbbe1da57b171c13d75cbe6a28139327ac413d381.jpg)

(b) Overall Structure on three channels

Fig. 4. The Structure of Multi Residual Channel Interaction Attention Module. The individual features of the reflectivity, xyz, and depth channels are first extracted by the structure on the Top, and then fused by the structure on the Bottom Left. (ConvBNPReLU represents the basic feature extraction block consisting of 2D convolution with corresponding kernel size and dilation rate, batch normalization [^62] and PReLU activation function [^63]. The same description is used in the following figures.)

模态信息及其对应值遵循不同的分布，这意味着不同通道对所学特征的贡献也各不相同。然而，大多数现有方法[^16]、[^48]、[^52]直接将投影后的图像作为输入；仅有少数研究[^22]、[^64]注意到了这一现象，但缺乏更高效的特征提取与通道交互注意力机制。因此，我们决定为每个独立通道学习单独的特征空间，并引入通道间交互，事实证明这种方式更加高效且有效。为实现这一目标，我们设计了多残差通道交互注意力模块（MRCIAM），用于从每个通道中捕捉多尺度上下文信息并整合这些特征。该模块包含四个关键部分，如图4所示。其中第一和第三部分结构相同，包含三种不同核大小的卷积操作（如$3 \times 3$、$5 \times 5$、$7 \times 7$）以及采用$1 \times 1$卷积的残差连接，用以捕捉并融合局部到全局的上下文信息。第二部分是采用空洞卷积的残差结构。最后，我们从SA-NET[^61]中借鉴了空间-通道注意力（SCA）模块并将其加入MRCIAM，用以建模每个通道内的像素级关系以及不同通道间的交互与依赖，即通道内与通道间交互。具体而言，该模块将通道维度划分为多个子特征，随后通过Shuffle单元将互补的通道与空间注意力模块整合到每个子特征中。（图4c展示了SCA模块的结构。）最终，该模块能够为特征图实现轻量级且高效的空间与通道注意力机制。总体而言，我们的MRCIAM独立地在深度/范围通道、xyz通道以及发射/反射率通道上运行，并输出包含空间细粒度信息的局部到全局上下文特征。 2) 网络架构设计：目前现有的基于Transformer的语义分割方法要么采用Transformer作为编码器、CNN作为解码器 [^25]、[^31]、[^65]、[^66]，要么采用纯Transformer结构 [^67]、[^68]、[^69]。尽管这些模型在多个医学影像数据集 [^70]、[^71]、[^72] 以及广泛使用的ADE20k数据集 [^73] 上取得了不错的性能，但我们的实验表明，这两种结构都不适合从距离图像类输入中提取特征，因为编码更大的块令牌会变得更为困难。此外，训练这些网络的成本也过高。因此，我们决定采用基于CNN的残差上下文聚合模块（RCAM）作为编码器，基于Transformer的平衡非正方形Transformer模块（BNTM）作为解码器。 3) 编码器：具体来说，基于CNN的残差上下文聚合模块（RCAM）包含以下组件， a) 基础编码器模块：为了从MRCIAM的通道融合图中提取更具描述性的上下文特征，可以堆叠卷积操作，并逐步增大核尺寸以获得更大的感受野。然而，这种策略通常会显著增加参数数量。因此，为了降低计算成本，我们设计了一种基于空洞卷积和残差结构的简单而有效的编码器模块（如图5所示）。在此模块中，我们结合了两次$3 \times 3$卷积、一次膨胀率为2的$3 \times 3$空洞卷积，以及用于降维的带有$1 \times 1$卷积的残差连接。通过这种设计，编码器能够充分利用多层级、多尺度及多通道信息。 b) 上下文聚合模块：缺失点——我们将其称为“缺失噪声”（如图3中GT图像的红色圈示区域所示）——会对CNN模型的性能产生负面影响。这类噪声通常源于传感器的局限性、镜面反射、物体自身的遮挡以及球面投影等因素。为解决这一问题，我们选用了SqueezeSegV2中的上下文聚合模块（CAM）（参见图5）[^47]，并将其置于 --- ![Image](images/60324205913e91d91c2f892da01b184e9557d3d2e851ef3cb2c1a2342e2ec553.jpg)

Fig. 5. The Basic Components of Encoder Module. Left: The Structure of Basic Encoder Block. Right: The Structure of Context Aggregation Module.

![Image](images/19aaf85f7cc6561ca17eb5427f5c04a9127950af973eb5e239fcb905be32188f.jpg)

Fig. 6. The Structure of Swin Transformer Block. Where LN denotes Layer Normalization [^74], (S)MSA denotes Multi-head Self Attention modules with Shifted or regular window configurations, respectively. More details refer to [^31].

每个基础编码器模块的末端，以增强上下文特征对特定噪声的鲁棒性。 4) 解码器：解码器基于我们提出的平衡非正方形Transformer模块，该模块由以下子模块组成。 a) BN-Transformer模块：传统的Transformer架构采用多头自注意力（MSA）机制来捕捉图像任务中补丁令牌与其他令牌之间的全局关系。然而，对于高分辨率的密集像素级预测而言，Transformer模型的计算复杂度往往与图像尺寸呈平方关系[^31]，这限制了其性能。另一方面，令牌的固定尺寸使得Transformer难以应对需要处理不同尺度视觉物体的计算机视觉任务。为解决这些问题，Liu等人[^31]设计了Swin Transformer，它采用了移位窗口机制的MSA、带有GELU非线性的MLP、LayerNorm层以及残差连接，从而能够在局部捕捉依赖关系并降低计算复杂度。受其巨大成功的启发，我们将Swin架构的核心思想应用到我们的Transformer解码器组件中，如图6所示。其公式可总结为： $$ Z_{l}^{\prime}=MSA(LN(Z_{l-1}))+Z_{l-1} $$ $$ Z_{l}=M L P(L N(Z_{l}^{\prime}))+Z_{l}^{\prime} $$ $$ Z_{l+1}^{\prime}=SMSA(LN(Z_{l}))+Z_{l} $$ $$ Z_{l+1}=M L P(L N(Z_{l+1}^{^{\prime}}))+Z_{l+1}^{^{\prime}} $$ 其中，$Z'_{l}$和$Z_{l}$分别代表$l_{th}$模块的MSA模块和MLP模块的输出；$Z'_{l+1}$和$Z_{l+1}$则分别代表下一个$l_{th}+1$模块的SMSA模块和MLP模块的输出。需要注意的是，我们设计的BN-Transformer块与原始的Swin Transformer块有所不同。具体来说，(1)我们选择设计基于非正方形窗口的Transformer，而非正方形版本的Transformer，以便 ![Image](images/b4b1a22c24f83418008a2c08bdebfe0c2a7c70caa3294ce36829e9013adb4ece.jpg)

Fig. 7. The Structure of Balanced Non-square-Transformer Module.

![Image](images/97941a6a955c9a4ff6e29f9bc582a1051e501d7c08e7e5feac0d829041478268.jpg)

Fig. 8. The Structure of Conv Decoder Block.

为了适应范围图像的尺寸差异（因为范围图像的长宽比通常比常见的RGB图像大得多）。(2) 为了实现更好的特征学习，我们在每个上采样层之后堆叠四个精心设计的Transformer模块，而不是在每个解码器模块中使用数量各异的原始Swin Transformer模块。（第V-A节和第V-B节将详细介绍并讨论这两个组件的细节与实现。）基于上述的BN-Transformer模块，我们设计的平衡非正方形Transformer模块如下（如图7所示）。首先，我们将输入的特征图放大2倍，然后将其与对应编码器输出的特征图拼接起来，以融合多尺度特征。最后，我们使用线性层来调整通道维度。我们设计的Transformer模型会将展平后的特征作为输入来进行解码操作。整个解码阶段由三个不同尺度的BN-Transformer模块组成。 b) 卷积解码器模块：尽管我们的BN-Transformer模块能够取得出色的性能，但它们在解码分辨率最高的特征图时仍稍显吃力。因此，我们决定在解码流程的末端加入一个基于卷积的解码器模块（如图8所示），该模块包含三个部分：上采样操作、卷积解码器和分割头。 ### C. 损失函数针对我们基于范围视图的语义分割任务而言，实际上存在三个需要解决的挑战性问题。 • 类别不平衡问题。 - 优化交并比（IoU）的问题。 - 模糊的分割边界问题。 --- 在此，我们采用三种不同的损失函数来指导模型训练，分别是加权交叉熵损失、Lovázs-Softmax损失以及边界损失。首先，加权交叉熵损失可表示为： $$ L_{w c e}=-\sum_{c=1}^{C}(\frac{f_{t}}{f_{c}})^{i}\mathrm{y}_{c}l o g(\hat{\mathrm{y}}_{c}) $$ 其中，$y_c$ 和 $\hat{y}_c$ 分别表示真实标签和预测结果。为解决类别不平衡问题，我们采用了SegNet中的中位数频率类别平衡策略 [^75]。我们还尝试引入幂运算来平滑估计出的类别权重 $w_c = (\frac{f_t}{f_c})^i$，这里 $f_c$ 代表类别c的出现频率，而 $f_t$ 则是所有类别频率的中位数。其次，为了最大化交并比（IoU）得分，我们选用了Lovázs-Softmax损失函数 [^53]，其表达式为 $L_{ls}$。该损失函数的具体形式可总结如下： $$ L_{l s}=\frac{1}{C}\sum_{c=1}^{C}\overline{{\triangle_{J_{n c}}}}\left(m\left(c\right)\right) $$ $$ m_{i}(c)=\begin{cases}{1-\hat{p}_{i}^{c}}&{{i f}c=p_{i}^{c}}\\ {\hat{p}_{i}^{c}}&{{o t h e r w i s e}}\\ \end{cases} $$ 其中，$\overline{\triangle J_{nc}}$ 表示Jaccard指数的Lovázs扩展形式，$\hat{p}_i^c \in [0,1]$ 和 $p_i^c \in [0,1]$ 分别为类别c中第i个像素的预测概率和真实标签。分割结果中不同物体/类别之间的边界模糊问题，通常源于下采样和上采样操作 [^76]、[^77]、[^78]。针对基于距离图像的分割任务，鲜有研究致力于寻找解决这一问题的合适方案 [^22]。因此，受 [^1] 的启发，我们提出了一种边界损失函数，其定义如下： $$ L_{b d}(\hat{y},y)=1-\frac{2P^{c}R^{c}}{P^{c}+R^{c}} $$ 其中，$P^{c}$ 和 $R^{c}$ 分别表示针对类别 c 的预测边界图 $y_{pd}$ 相对于真实边界图 $y_{gt}$ 的精确度和召回率。$\hat{y}$ 和 y 分别代表每个类别的预测结果和真实标签。我们对边界的定义如下： $$ y_{g t}^{b}=p o o l(1-y_{g t},\theta_{0})-(1-y_{g t}), $$ $$ y_{p d}^{b}=p o o l(1-y_{p d},\theta_{0})-(1-y_{p d}) $$ 此处，pool(·) 表示在大小为 $\theta_0$ 的滑动窗口上执行最大池化操作。为了能够建模复杂的边界，应将 $\theta_0$ 设置得尽可能小。图 9 展示了不同类别的边界图，其参数为 $\theta_0 = 3$。最终，我们的总损失是这三个损失函数的加权组合，表达式如下： $$ L=\lambda_{1}L_{w c e}+\lambda_{2}L_{l s}+\lambda_{3}L_{b d} $$ 其中，$\lambda_1$、$\lambda_2$ 和 $\lambda_3$ 分别是用于约束加权交叉熵损失、Lovász-Softmax 损失以及边界损失贡献的对应权重。在实验中，我们将 $L_{wce}$ 中的 i 设为 0.5，权重则分别取 $\lambda_1 = 1.0$、$\lambda_2 = 3.0$、$\lambda_3 = 1.0$。我们将在第 V-D 节中专门研究并分析不同损失项及其相关权重的影响。 ![Image](images/aeb37fde46f468699e03aab13cb9d7680c4e5319de5214baf91609d4e1238f9b.jpg)

Fig. 9. Visualization of the extracted boundaries. From the top to the bottom, the ground truth and the extracted boundaries of each different segmentation class are represented respectively.

### D. 后处理从距离图像到 3D 点云的预测标签重投影过程可能会出现分类错误问题。原因是两个或多个激光雷达点可能与同一个像素相关联。为解决这一问题，我们采用 k 近邻（KNN）后处理策略来为每个 3D 点生成新的语义标签；该策略通过滑动窗口技术在降采样后的点云中而非整个场景中寻找最近的邻居 [^16]。 ### IV. 实验在本节中，我们基于单块NVIDIA RTX 2080Ti GPU，对TransRVNet在大规模SemanticKITTI [^7]基准测试和新提出的小规模SemanticPOSS [^9]基准测试上进行了定量与定性评估。接下来，我们首先简要介绍这些数据集及评估指标，随后给出实现细节；最后，通过与其他最先进方法对比，借助定量分析进一步验证所提网络的有效性。 ### A. 数据集 SemanticKITTI数据集为KITTI里程计基准测试 $360^{\circ}$ 中的所有 [^90] 次扫描提供了密集的点级语义标注。该数据集包含来自21个序列的超过43,000次扫描，其中序列00至10中的21,000多次扫描用于训练，序列08被选作验证集，而其余来自序列11至21的扫描则用于测试。 SemanticPOSS数据集由北京大学采集，是一个规模较小且点云更稀疏的基准测试集，同样提供了点级标签。它包含2,988个多样且复杂的激光雷达场景，其中包含大量动态物体 [^9]。为方便起见，SemanticPOSS采用了与SemanticKITTI相同的数据格式，分为6个部分，其中第2部分作为测试集，其余部分作为训练集。 ### B. 评估指标为了评估TransRVNet的性能并与其他最先进技术进行公平比较，我们采用标准的平均交并比（mIoU）[^91] 作为我们的 ---

TABLE I

THE MEAN IOU (%) COMPARISON ON SEMANTICKITTI TEST SET. NOTE THAT AN FPS ABOVE 10 IS CONSIDERED REAL-TIME. THIS IS BECAUSE THE ACQUISITION FREQUENCY OF THE VELODYNE HDL-64E [^6] LIDAR SENSOR IS 10 Hz

Category	Method	Input Size	Car	Bicycle	Motorcycle	Truck	Other-vehicle	Person	Bicyclist	Motorcyclist	Road	Parking	Sidewalk	Other-ground	Building	Fence	Vegetation	Trunk	Terrain	Pole	Traffic-sign	Mean IoU	FPS(Hz)
	Pointnet [^17]		46.3	1.3	0.3	0.1	0.8	0.2	0.2	0.0	61.6	15.8	35.7	1.4	41.4	12.9	21.0	4.6	17.6	2.4	3.7	14.6	7.0
	Pointnet++ [^18]		53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	5.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9	20.4	0.1
	TangentConv [^33]		86.8	1.3	12.7	11.6	10.2	17.1	20.2	0.5	82.9	15.2	61.7	9.0	82.8	44.2	75.5	42.5	55.5	30.2	22.2	35.9	0.3
	LatticeNet [^36]		92.9	16.6	22.2	26.6	21.4	35.6	43.0	46.0	90.0	59.4	74.1	22.0	88.2	58.8	81.7	63.6	63.1	51.9	48.4	52.9	7
Point-based	RandLa-Net [^19]	50K pts	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7	53.9	22
	BAF-LAC [^79]		94.2	27.6	30.4	39.9	40.1	46.3	49.1	10.5	90.9	61.4	74.0	22.2	88.2	57.0	81.3	61.7	65.3	49.8	53.9	54.9	--
	Kpcov [^35]		96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4	58.8	0.8
	BAAF [^80]		95.4	31.8	35.5	48.7	46.7	49.5	55.7	53.0	90.9	62.2	74.4	23.6	89.8	60.8	82.7	63.4	67.9	53.7	52.0	59.9	5
	FG-NS [^81]																					53.9	--
Voxel-based	MinkNet [^44]	Voxel	94.3	23.1	26.2	26.1	36.7	43.1	36.4	7.9	91.1	63.8	69.7	29.3	92.7	57.1	83.7	68.4	64.7	57.3	60.1	54.3	--
	FSPCNN-lite [^83]		95.3	47.5	37.7	41.8	34.5	59.5	56.8	11.9	91.8	68.8	77.1	30.8	92.5	69.4	84.5	69.8	68.5	60.4	66.5	61.3	11
	SPVCNN [^83]		--	--	--	--	--	--	--	--	--	--	--	--	--	--	--	--	--	--	--	58.5	8.1
	Cylinder3D V1 [^40]		96.1	54.2	47.6	38.6	45.0	65.1	63.5	13.6	91.2	62.2	75.2	18.7	89.6	61.6	85.4	69.7	69.3	62.6	64.7	61.8	3.2
	Cylinder3D V2 [^84]		97.1	67.6	64.0	59.0	58.6	73.9	67.9	36.0	91.4	65.1	75.5	32.3	91.0	66.5	85.4	71.8	68.5	62.6	65.6	67.8	7.6
	JSSC-Net [^85]		95.8	59.3	52.9	54.3	46.0	69.5	65.4	39.9	88.9	61.9	72.1	31.9	92.5	70.8	84.5	69.8	67.9	60.7	68.7	66.0	2.1
	APCS2 [^42]		94.5	64.4	86.8	39.2	41.1	80.7	80.4	74.3	91.3	68.8	72.5	53.5	87.8	63.2	70.6	68.5	51.5	64.5	44.5	69.4	--
	RPNet [^86]		97.6	68.4	68.7	44.2	61.1	75.9	74.4	73.4	93.4	70.3	80.7	33.3	93.5	72.1	86.5	75.1	71.7	64.8	61.4	70.3	6.0
Image-based	SqueezeSeg [^15]	64 \times 2048 px	68.8	16.0	4.1	3.3	3.6	12.9	13.1	0.9	85.4	26.9	54.3	4.5	57.4	29.0	60.0	24.3	53.7	17.5	24.5	29.5	66
	SqueezeSegV2 [^47]		81.8	18.5	17.9	13.4	14.0	20.1	25.1	3.9	88.6	45.8	67.6	17.7	73.7	41.1	71.8	35.8	60.2	20.2	36.3	39.7	50
	SqueezeSegV3 [^48]		92.5	38.7	36.5	29.6	33.0	45.6	46.2	20.1	91.7	63.4	74.8	26.4	89.0	59.4	82.0	58.7	65.4	49.6	58.9	55.9	6
	3D-MiniNet [^51]		64 \times 2048 px	90.5	42.3	42.1	28.5	29.4	47.8	44.1	14.5	91.6	64.2	74.5	25.4	89.4	60.8	82.8	60.8	48.0	56.6	55.8	28
	FPSNet [^64]		64 \times 2048 px	91.1	48.6	37.8	37.1	30	60.5	7.5	91.1	61.9	74.6	26.0	87.4	57.4	80.9	61.2	65.0	49.9	59.2	57.1	21
	PolarNet [^87]		480 \times 360 \times 32	93.8	30.1	22.9	28.5	43.2	40.8	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	54.3	57.5	16
	Hybrid CNN-LSTM [^88]		512 \times 512 \times 32	92.6	45.7	49.6	38.6	30.2	43.0	9.2	90.7	63.3	75.7	76.6	81.3	87.6	60.8	64.5	63.9	44.5	50.9	52.9	71
	TORNADONet [^89]		64 \times 2048 px	93.1	53.0	44.4	43.1	39.4	61.6	56.7	20.2	90.8	65.3	75.3	27.5	89.6	62.9	84.1	64.3	69.6	55.0	64.2	61.1
	TORNADONet-HiRes [^89]		128 \times 2048 px	94.2	55.7	48.1	40.0	38.2	63.6	60.1	34.9	89.7	66.3	74.5	28.7	91.3	65.6	85.0	71.5	58.0	65.9	63.1	7
	KPRNet [^55]		289 \times 4097 px	95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	63.1
	MPF [^57]		64 \times 2048 px	93.4	30.2	38.3	26.1	28.5	48.1	46.1	18.1	90.6	62.3	74.5	30.6	88.5	59.7	83.5	59.7	69.2	49.7	58.1	55.5
	SalsaNext [^52]		64 \times 2048 px	92.7	28.2	30.5	26.9	25.2	42.5	45.5	9.5	90.5	64.7	74.3	32.0	88.3	59.0	83.4	56.6	69.8	46.0	54.9	29
	RangeNet++ [^16]		64 \times 1024 px	91.9	48.3	37.6	35.2	31.3	39.9	49.3	22.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1	34
	TransRVNet(ours)		64 \times 2048 px	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9	52.2
	TransRVNet(ours)		64 \times 1024 px	90.3	20.6	27.1	25.2	17.6	29.6	34.2	7.1	90.4	52.3	72.7	22.8	83.9	53.3	77.7	52.5	63.7	43.8	47.2	48.0

评估指标，其公式可表示为： $$ mIOU=\frac{1}{N}\sum_{c=1}^{N}\frac{TP_{c}}{TP_{c}+FP_{c}+FN_{c}} $$ 其中，$TP_{c}$、$FP_{c}$ 和 $FN_{c}$ 分别表示类别 c 的真阳性、假阳性和假阴性预测点的数量。 ### C. 实现细节我们的 TransRVNet 架构是基于 PyTorch 框架实现的。在下采样时采用核大小为 3 的平均池化操作，上采样则使用 PixelShuffle [^92] 方法。所有模型均使用 AdamW 优化器进行训练，权重衰减系数设为 0.0001。训练过程中，为避免过拟合，会对输入点云施加随机旋转、随机丢弃点以及以 0.5 的概率对 X 和 Y 值进行符号反转等数据增强操作。具体而言，对于 SemanticKITTI 数据集 [^7]，我们训练模型 30 个 epoch，批量大小设为 6，并采用单周期学习率策略。最大学习率设定为 0.002，在 30 个 epoch 时衰减至 0.0002。Dropout 概率设为 0.2。输入范围图像的高度和宽度分别设置为 H = 64 和 W = 1,024。Transformer 模块的窗口大小设为 [^4] [^64]。在 KNN 后处理阶段，邻居搜索的窗口大小设为 7，k 值为 7，$\sigma=1$，截断距离设为 2 米。对于 SemanticPOSS 数据集 [^9]，我们采用与 SemanticKITTI 相同的学习率策略，但使用了两个周期。我们训练 TransRVNet 共 60 个 epoch，批量大小设为 4。Dropout 概率设为 0.2。输入范围图像的高度和宽度分别为 $H = 64$ 和 W = 1,600。对应的 Transformer 窗口大小设为 [^4] [^50]。在 KNN 后处理阶段，我们采用与 SemanticKITTI 相同的设置。 ### D. Results 1) Quantitative Results on SemanticKITTI: The quantitative comparisons with the state-of-the-art point-wise and image-based approaches on SemanticKITTI are reported in Table I. From these experimental results, we can obtain the following observations, - Our proposed TransRVNet achieves superior performance (62.8%) at $64 \times 1024$ px inputs, outperforming not only most image-based methods at low resolutions, but also all point-based methods. Moreover, compared to voxel-based methods, our method achieves a better balance between accuracy and computational complexity. - The TransRVNet noticeably surpasses the counterpart image-based baseline RangeNet++ (48.0%) by a significant margin, achieving an improvement of 14.8% mIoU score, and it also improves another version of RangeNet++ (52.2%) using range image of $64 \times 2048$ as input by +10.6% mIoU value. Compared to the more optimal methods TORNADONet [^89] and KPRNet [^55], we obtain fairly competitive results (62.8 mIoU vs. 63.1 mIoU) with much smaller input sizes ( $64 \times 1024$ px vs. $128 \times 2048$ px vs. $289 \times 4097$ px) while maintaining a high inference speed (26 fps vs. 4 fps vs. 0.3 fps). 2) Quantitative Results on SemanticPOSS: Table II present the mean IoU comparison with all the referred works on Sequence 02 SemanticPOSS [^9] dataset. It can be clearly reported that (1) TransRVNet obtains a leading performance on test sequences (a mIoU of 49.3%), which significantly ---

TABLE II

QUANTITATIVE COMPARISON WITH RECENT WORKS ON SEQUENCE 02 OF SEMANTICPOSS TEST SET USING MEAN IOU (%)

	Person	Rider	Car	Truck	Plants	Traffic-sign	Pole	Trashcan	Building	Cone/Stone	Fence	Bike	Ground	mIOU
SqueezeSeg [^15]	14.2	1.0	13.2	10.4	28.0	5.1	5.7	2.3	43.6	0.2	15.6	31.0	75.0	18.9
SqueezeSeg + CRF [^15]	3.8	0.6	6.7	4.0	2.5	9.1	1.3	0.4	37.1	0.2	8.4	18.5	72.1	12.9
SqueezeSegV2 [^47]	48.0	9.4	48.5	11.3	50.1	6.7	6.2	14.8	60.4	5.2	22.1	36.1	71.3	30.0
SqueezeSegV2 + CRF [^47]	43.9	7.1	47.9	18.4	40.9	4.8	2.8	7.4	57.5	0.6	12.0	35.3	71.3	26.9
RangeNet53 [^16]	55.7	4.5	34.4	13.7	57.5	3.7	6.6	23.3	64.9	6.1	22.2	28.3	72.9	30.3
RangeNet53 + KNN [^16]	57.3	4.6	35.0	14.1	58.3	3.9	6.9	24.1	66.1	6.6	23.4	28.6	73.5	30.9
MINet [^22]	61.8	12.0	63.3	22.2	68.1	16.3	29.3	28.5	74.6	25.9	31.7	44.5	76.4	42.7
MINet + KNN [^22]	62.4	12.1	63.8	22.3	68.6	16.7	30.1	28.9	75.1	28.6	32.2	44.9	76.3	43.2
TransRVNet	77.4	25.7	77.3	30.0	72.7	14.5	28.6	51.1	79.1	23.8	49.7	54.2	79.9	51.1
TransRVNet + KNN	77.9	26.1	77.8	30.1	73.1	14.6	29.1	53.5	79.8	24.7	49.5	53.8	78.8	51.5

promotes the previous state-of-the-art RangeNet++ [^16] and MINet [^22] by 20.6%, 8.3%, respectively. (2) All approaches have a much lower mIoU score due to the following reason that compared with SemanticKITTI, SemanticPOSS is a much smaller and more sparse dataset. To better understand the proposed TransRVNet, we carry out ablation studies to discuss the contributions of important designed techniques (including network architecture design, choice of window size, role of MRCIAM and CAM module) made to segmentation performance. For all the ablation experiments, we use Sequence 08 on SemanticKITTI dataset for testing, and the remaining sequences for training. Here, for efficient training and evaluation, we choose the similar setup as SqueezeSegV3 [^48]. The size of the input range image is set to $64 \times 512$, and the accuracy of the evaluation is chosen to be listed directly on the projected 2D images rather than on the original 3D points. ### V. ABLATION STUDY ### A. Network Architecture In order to investigate the effectiveness of our CNN-Transformer architecture on segmentation performance, we perform the following comparisons, (1) we design two Transformer-CNN frameworks based on TransRVNet, where we replace all the Transformer decoder blocks by our Conv Decoder Block, and use the high-performance Swin-T and ViT models as encoder with the following hyper-parameter settings. - We set the query dimension of each head in multi-head self-attention to 32, and integrate 4 expansion layers in MLP. • For Swin-T: C = 96, layer numbers = {2, 2, 6, 2} • For ViT: C = 64, layer numbers = {4, 4, 4, 4} Where C denotes the number of channels in the first stage. layer numbers refers to the number of Transformer blocks in each encoder module. (2) We remove MRCIAM from the ViT-CNN model. Table III lists the mIoU comparisons between three Transformer-CNN variants and CNN-Transformer structures. From this, it can be obviously observed that (1) Our CNN-BN-Transformer model achieves the best performance in terms of

TABLE III

IMPACT OF NETWORK ARCHITECTURE ON SEMANTICKITTI VALIDATION SET

Architecture	mIoU	Params
Swin-T-CNN (w/o MRCIAM)	46.3	34.40 M
ViT-CNN (w/o MRCIAM)	47.5	20.62 M
ViT-CNN (w MRCIAM)	53.0	20.86 M
CNN-BN-Transformer	58.1	26.52 M

TABLE IV

IMPACT OF WINDOW SIZE ON SEMANTICKITTI VALIDATION SET

Window Size	mIoU	FLOPs	GPU Memory (Batchsize=8)
[^4] [^4]	56.9	33.15G	7,701 MiB
[^4] [^8]	57.1	33.28G	7,881 MiB
[^4] [^16]	57.8	33.53G	8,153 MiB
[^4] [^32]	58.1	34.03G	8,757 MiB
[^4] [^64]	57.1	35.71G	10,513 MiB

accuracy, which is much more suitable for LiDAR semantic segmentation than Transformer-CNN framework. (2) The introduction of MRCIAM leads to a significant improvement of mIoU of 5.5% over the counterpart without MRCIAM. ### B. Impact of Window Size 如第III-B.4节所述，非正方形偏移窗口机制是我们TransRVNet模型的关键设计要素。因此，窗口大小不仅对分割性能有重大影响，还会影响参数数量与计算复杂度。为了验证其对分割结果的影响，我们在表IV中给出了使用不同窗口大小的TransRVNet模型的定量对比结果。正如我们所预期的那样：(1)随着窗口大小的增加，语义分割性能也会提升。这主要是因为较大的窗口通常对应着更大的感受野，这意味着我们能够聚合更丰富的上下文信息。不过，较大的窗口往往会导致更高的内存消耗。(2)与正方形窗口相比，非正方形窗口能带来更好的性能。例如，尺寸为[^4] [^8]、[^4] [^16]、[^4] [^32]的窗口相较于尺寸为[^4] [^4]的窗口，分别使mIoU提升了0.2%、0.9%和1.2%。这一现象主要归因于范围图像的宽度远大于其高度，我们将其定义为尺寸不平衡问题。(3)值得注意的是，当窗口大小增大到[^4] [^64]时，尽管模型的感受野得以扩大，但 ---

TABLE V

ANALYSIS OF IMPACT OF WINDOW SIZE ON SEMANTICKITTI VALIDATION SET

Window Size	Car	Bicycle	Motorcycle	Truck	Other-vehicle	Person	Bicyclist	Motorcyclist	Road	Parking	Sidewalk	Other-ground	Building	Fence	Vegetation	Trunk	Terrain	Pole	Traffic-sign
Square Window [^4] [^4]	94.3	36.1	43.9	81.7	33.5	43.2	69.4	0.0	94.9	48.3	81.5	0.3	84.9	57.9	84.6	57.2	71.0	62.3	36.5
Non-Square Window [^4] [^32]	94.5	44.2	48.1	81.7	34.8	49.8	73.7	0.0	94.8	48.2	81.3	0.7	83.2	51.6	85.4	59.0	73.2	62.7	37.2
	+0.2	+8.1	+4.2	0.0	+1.3	+5.6	+4.3	0.0	-0.1	-0.1	-0.2	+0.4	-0.3	-6.3	+0.8	+1.8	+2.2	+0.4	+0.7

![Image](images/dbe662f69ddee0531cdd3e85cdbc9c0dfb06ea0283fe1b45103657cdcec01af3.jpg)

Fig. 10. Qualitative analysis on SemanticKITTI validation set. In each example, visualizations of the input range channel, ground truth, predictions for the [^4] [^32] Non-Square Window Model, and predictions for the [^4] [^4] Square Window Model are shown from top to bottom. (The right side of each example shows a enlarged view of the red marked box on the left.)

TABLE VI

ANALYSIS OF MRCIAM MODULE ON SEMANTICKITTI VALIDATION SET

Architecture	Car	Bicycle	Motorcycle	Truck	Other-vehicle	Person	Bicyclist	Motorcyclist	Road	Parking	Sidewalk	Other-ground	Building	Fence	Vegetation	Trunk	Terrain	Pole	Traffic-sign
Full Model w/o MRCIAM	94.8	37.1	47.2	80.1	46.6	35.2	72.4	0.0	94.3	47.0	80.9	1.0	82.1	50.7	83.6	56.6	71.1	61.1	33.7
Full Model	94.5	44.2	48.1	81.7	34.8	49.8	73.7	0.0	94.8	48.2	81.3	0.7	83.2	51.6	85.4	59.0	73.2	62.7	37.2
	-0.3	+7.1	+0.9	+1.6	-11.8	+14.6	+1.3	0.0	+0.5	+0.8	+0.4	-0.3	+1.1	+0.9	+1.8	+1.4	+2.1	+1.6	+3.5

性能会下降。这可能是因为有限的参数和模型复杂度使得在过大的窗口内进行充分的特征解码变得更加困难。因此，对于 $64 \times 512$ 输入而言，采用 [^4] [^32] 的窗口大小有助于在最小的特征图上实现全局自注意力机制（经过 $16 \times$ 下采样后，特征图尺寸变为 $4 \times 32$），从而能在感受野与计算复杂度之间取得良好的平衡。（4）从这些结果可以得出结论：非正方形窗口被证明是我们Transformer模型的理想且合理的选择。表五展示了窗口大小对各类别分割的具体影响。可以明显看出，较大的窗口大小能显著提升大多数类别的分割性能，尤其是较小的类别（如自行车、摩托车、行人、骑自行车的人）。这可能是因为更大的感受野能帮助模型学习更多的高维语义信息，而且全局自注意力机制在最小的特征图上能发挥更好的作用。图10展示了不同窗口大小对分割结果的定性对比。从左到右可以看出，采用 [^4] [^32] 非正方形偏移窗口的模型在自行车、摩托车和骑自行车的人这三个类别上均取得了更好的效果。 ### C. MRCIAM与RCAM模块的影响表七报告了我们提出的MRCIAM和RCAM模块的详细消融实验结果。我们依次将MRCIAM和RCAM添加到主干网络中，以验证每个模块的有效性。从这些实验结果中，我们可以得出以下结论：(1) 仅使用MRCIAM或仅使用RCAM模块时，TransRVNet的分割性能分别提升至57.2%和56.6%，

TABLE VII

IMPACT OF MRCIAM MODULE AND CAM MODULE ON SEMANTICKITTI VALIDATION SET

	Backbone	MRCIAM	RCAM	mIOU
Architecture	✓			55.0
	✓		✓	56.6
	✓	✓		57.2
	✓	✓	✓	58.1

比基线模型分别高出2.2%和1.6%。(2) 将MRCIAM和RCAM结合使用后，我们的模型性能提升了3.1%。为了进一步探究MRCIAM的优势，我们在表六中展示了SemanticKITTI数据集上所有类别的定量结果。引入MRCIAM后，TransRVNet在几乎所有类别上的类别mIoU指标均有明显提升。我们认为这得益于MRCIAM强大的多尺度通道上下文捕捉能力，以及其对通道间、通道内交互的建模能力。图11展示了人这一类别的分割结果的定性对比，结果表明，搭载MRCIAM的网络在不同输入帧上均能生成更优的分割效果。 ### D. 损失函数权重参数的影响为了研究不同损失项对模型优化的影响，我们首先将这三个权重系数固定为1.0开展实验。从表八可以清晰地看出，所有损失项对性能提升都发挥着重要作用。随后，我们开始研究这些权重因子的不同取值所产生的影响。由于交叉熵损失是最基础的项，因此在所有实验中我们将其权重$\lambda_{1}$设为1.0。 --- ![Image](images/f2e5d58312d778240edaa881db83a6b999c9403fe41cbbc075b6e25c264025f7.jpg)

Fig. 11. Qualitative analysis on SemanticKITTI validation set. In each example, visualizations of the input range channel, ground truth, predictions of Full Model, and prediction of Full Model w/o MRCIAM are shown from top to bottom. (The right side of each example shows a enlarged view of the red marked box on the left.)

TABLE VIII

EFFECT OF DIFFERENT LOSSES ON SEMANTICKITTI VALIDATION SET

Cross-Entropy Loss	Lovázz-Softmax Loss	Boundary Loss	mIoU
✓			50.1
✓	✓		57.3
✓		✓	55.1
	✓	✓	52.0
✓	✓	✓	59.1

TABLE IX

EFFECT OF $\lambda_{2}$

	0.5	1.0	2.0	2.5	3.0	3.5	4.0	5.0
mIoU	57.8	59.1	59.3	60.1	60.2	59.6	59.2	58.8

TABLE X

EFFECT OF $\lambda_{3}$, AND i IN $L_{wc}\epsilon$

	0.5	1.0	1.5	2.0
mIoU	59.7	60.2	59.7	59.5

$\lambda_{3}$的影响

	0.25	0.5	0.75	1.0
mIoU	60.2	60.5	59.8	60.2

$L_{wce}$中i的影响首先，我们研究了权重因子$\lambda_2$的影响。我们设定$\lambda_1 = 1.0$、$\lambda_3 = 1.0$和$i = 1.0$，以便用$\lambda_2 \in \{0.5, 1.0, 2.0, 2.5, 3.0, 3.5, 4.0, 5.0\}$来训练模型。从表IX中可以看出，当权重因子为$\lambda_2 = 3.0$时，我们的模型性能最佳。其次，我们研究了权重因子$\lambda_3$的影响。我们设定$\lambda_1 = 1.0$、$\lambda_2 = 3.0$和$i = 1.0$，以便用$\lambda_3 \in \{0.5, 1.0, 1.5, 2.0\}$来训练网络。表X中的结果表明，$\lambda_3 = 1.0$模型是实现最佳性能的最优选择。最后，我们研究了权重因子i的影响。我们使用$\lambda_1 = 1.0$、$\lambda_2 = 3.0$和$\lambda_3 = 1.0$来用$i \in \{0.25, 0.5, 0.75, 1.0\}$训练我们的框架。可以得出结论：当$i = 0.5$时，能得到最佳结果。因此，在实验中我们将$\lambda_1$、$\lambda_2$、$\lambda_3$以及i分别设为1.0、3.0、1.0和0.5。 ### 六、结论在本文中，我们通过构建名为TransRVNet的CNN-Transformer架构，将Transformer在自然语言处理领域中的优异表现迁移到基于图像的激光雷达语义分割任务中。我们首先提出一种多残差通道交互注意力模块，用于聚合上下文信息并建模通道间及通道内的交互关系。接着，采用残差上下文聚合模块作为编码器模块，以建模多层级、多尺度的特征。最后，我们设计了平衡型非正方形Transformer模块作为解码器组件，用以捕捉局部与全局之间的依赖关系。在训练过程中，我们对加权交叉熵损失、Lovász-Softmax损失以及边界损失进行加权处理，以此指导网络的训练。在SemanticKITTI和SemanticPOSS数据集上的大量实验结果表明，我们的TransRVNet在mIoU指标上优于多种基于点云、体素以及图像的先进模型，展现出优异的性能。此外，消融实验进一步验证了所提出的学习模块的有效性。局限性：在我们的TransRVNet中，窗口大小是一个需要人为设定的超参数。尽管根据先验知识，我们可以将其定义为能够获取全局自注意力的最小特征图尺寸，但针对不同的模型规模、输入尺寸以及数据集，窗口大小的最佳设定仍可能需要更多的搜索与测试。另外，传统的CNN模型能够很好地处理不同尺度的输入；而对于基于Transformer的ViT模型而言，其性能会受到位置嵌入设定的限制。对于不同的输入尺寸，学习到的相对位置偏差可能需要通过双三次插值进行调整，才能适配不同的窗口大小。 ## 参考文献 [^1]: R. Razani, R. Cheng, E. Taghavi, and L. Bingbing, "Lite-HDSeg: LiDAR semantic segmentation using lite harmonic dense convolutions," 2021, arXiv:2103.08852. [^2]: D. Feng et al., “Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 3, pp. 1341–1360, Mar. 2021. [^3]: J. Mei, B. Gao, D. Xu, W. Yao, X. Zhao, and H. Zhao, “Semantic segmentation of 3D LiDAR data in dynamic scene using semi-supervised learning,” IEEE Trans. Intell. Transp. Syst., vol. 21, no. 6, pp. 2496–2509, Jun. 2020. [^4]: L. Ma, Y. Li, J. Li, W. Tan, Y. Yu, and M. A. Chapman, “Multi-scale point-wise convolutional neural networks for 3D object segmentation from LDiAR point clouds in large-scale environments,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 2, pp. 821–836, Feb. 2021. [^5]: B. Gao, Y. Pan, C. Li, S. Geng, and H. Zhao, “Are we hungry for 3D LiDAR data for semantic segmentation? A survey of datasets and methods,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 7, pp. 6063–6081, Jul. 2022. [^6]: Velodyne HDL-64 LiDAR Sensor. Accessed: Jul. 30, 2021. [Online]. Available: [^7]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Oct. 2019, pp. 9297–9307. [^8]: Hesai Pandar40 40-Channel Mechanical LiDAR. Accessed: Jul. 30, 2021. [Online]. Available: [^9]: Y. Pan, B. Gao, J. Mei, S. Geng, C. Li, and H. Zhao, “SemanticPOSS: A point cloud dataset with large quantity of dynamic instances,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 687–693. [^10]: X. Zhang et al., “DCNAS: Densely connected neural architecture search for semantic image segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jul. 2021, pp. 13956–13967. [^11]: H. Lei, N. Akhtar, and A. Mian, “Spherical kernel for efficient graph convolution on 3D point clouds,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 10, pp. 3664–3680, Oct. 2021. ## [^12]: X.-F. Han, H. Laga, and M. Bennamoun, "Image-based 3D object reconstruction: State-of-the-art and trends in the deep learning era," IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 5, pp. 1578–1604, May 2021 --- [^13]: L. Tchapmi, C. Choy, I. Armeni, J. Gwak, and S. Savarese, “SEGCloud: Semantic segmentation of 3D point clouds,” in Proc. Int. Conf. 3D Vis. (3DV), Oct. 2017, pp. 537–547. [^14]: B. Graham, M. Engelcke, and L. V. D. Maaten, “3D semantic segmentation with submanifold sparse convolutional networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 9224–9232. [^15]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2018, pp. 1887–1893. [^16]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220. [^17]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 652–660. [^18]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” 2017, arXiv:1706.02413. [^19]: Q. Hu et al., “RandLA-Net: Efficient semantic segmentation of large-scale point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2020, pp. 11108–11117. [^20]: T. He, C. Shen, and A. van den Hengel, "DyCo3D: Robust instance segmentation of 3D point clouds through dynamic convolution," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 354–363. [^21]: S. Fan, Q. Dong, F. Zhu, Y. Lv, P. Ye, and F.-Y. Wang, "SCF-Net: Learning spatial contextual features for large-scale point cloud segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 14504–14513. [^22]: S. Li, X. Chen, Y. Liu, D. Dai, C. Stachniss, and J. Gall, “Multi-scale interaction for real-time LiDAR data segmentation on an embedded platform,” 2020, arXiv:2008.09162. [^23]: A. Vaswani et al., “Attention is all you need,” in Proc. Adv. Neural Inf. Process. Syst., 2017, pp. 5998–6008. [^24]: A. Dosovitskiy et al., “An image is worth $16 \times 16$ words: Transformers for image recognition at scale,” 2020, arXiv:2010.11929. [^25]: S. Zheng et al., “Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jul. 2021, pp. 6881–6890. [^26]: L. Yuan et al., “Tokens-to-token ViT: Training vision transformers from scratch on ImageNet,” 2021, arXiv:2101.11986. [^27]: H. Touvron, M. Cord, M. Douze, F. Massa, A. Sablayrolles, and H. Jégou, “Training data-efficient image transformers & distillation through attention,” 2020, arXiv:2012.12877. [^28]: W. Wang et al., “Pyramid vision transformer: A versatile backbone for dense prediction without convolutions,” 2021, arXiv:2102.12122. [^29]: K. Han, A. Xiao, E. Wu, J. Guo, C. Xu, and Y. Wang, "Transformer in transformer," 2021, arXiv:2103.00112. [^30]: H. Wu et al., “CVT: Introducing convolutions to vision transformers,” 2021, arXiv:2103.15808. [^31]: Z. Liu et al., “Swin transformer: Hierarchical vision transformer using shifted windows,” 2021, arXiv:2103.14030. [^32]: Z. Liu, H. Hu, Y. Cao, Z. Zhang, and X. Tong, “A closer look at local aggregation operators in point cloud analysis,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 326–342. [^33]: M. Tatarchenko, J. Park, V. Koltun, and Q.-Y. Zhou, "Tangent convolutions for dense prediction in 3D," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 3887–3896. [^34]: H. Su et al., “SPLATNet: Sparse lattice networks for point cloud processing,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 2530–2539. [^35]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. Guibas, "KPConv: Flexible and deformable convolution for point clouds," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 6411–6420. [^36]: R. A. Rosu, P. Schütt, J. Quenzel, and S. Behnke, "LatticeNet: Fast point cloud segmentation using permutohedral lattices," 2019, arXiv:1912.05905. [^37]: Y. Liu, B. Fan, S. Xiang, and C. Pan, "Relation-shape convolutional neural network for point cloud analysis," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 8895–8904. [^38]: M. Xu, R. Ding, H. Zhao, and X. Qi, "PAConv: Position adaptive convolution with dynamic kernel assembling on point clouds," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 3173–3182. [^39]: K. Liu, Z. Gao, F. Lin, and B. M. Chen, “FG-Net: Fast large-scale LiDAR point clouds understanding network leveraging correlated feature mining and geometric-aware modelling,” 2020, arXiv:2012.09439. [^40]: H. Zhou et al., “Cylinder3D: An effective 3D framework for driving-scene LiDAR semantic segmentation,” 2020, arXiv:2008.01550. [^41]: Z. Hu et al., “VMNet: Voxel-mesh network for geodesic-aware 3D semantic segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Oct. 2021, pp. 15488–15498. [^42]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, "(AF)2-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 12547–12556. [^43]: B. Zoph and Q. V. Le, “Neural architecture search with reinforcement learning,” 2016, arXiv:1611.01578. [^44]: C. Choy, J. Gwak, and S. Savarese, "4D spatio-temporal ConvNets: Minkowski convolutional neural networks," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 3075–3084. [^45]: S. Xie, S. Liu, Z. Chen, and Z. Tu, “Attentional ShapeContextNet for point cloud recognition,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4606–4615. [^46]: F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer, “SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5 MB model size,” 2016, arXiv:1602.07360. [^47]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud,” in Proc. Int. Conf. Robot. Autom. (ICRA), May 2019, pp. 4376–4382. [^48]: C. Xu et al., “SqueezeSegV3: Spatially-adaptive convolution for efficient point-cloud segmentation,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 1–19. [^49]: J. Lafferty, A. McCallum, and F. C. N. Pereira, “Conditional random fields: Probabilistic models for segmenting and labeling sequence data,” in Proc. Int. Conf. Mach. Learn., 2001, pp. 282–289. [^50]: S. Zheng et al., “Conditional random fields as recurrent neural networks,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1529–1537. [^51]: I. Alonso, L. Riazuelo, L. Montesano, and A. C. Murillo, “3D-MiniNet: Learning a 2D representation from point clouds for fast and efficient 3D LiDAR semantic segmentation,” IEEE Robot. Automat. Lett., vol. 5, no. 4, pp. 5432–5439, Jul. 2020. [^52]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Proc. Int. Symp. Vis. Comput. Cham, Switzerland: Springer, 2020, pp. 207–222. [^53]: M. Berman, A. R. Triki, and M. B. Blaschko, “The Lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4413–4421. [^54]: L. T. Triess, D. Peter, C. B. Rist, and J. M. Zollner, “Scan-based semantic segmentation of LiDAR point clouds: An experimental study,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 1116–1121. [^55]: D. Kochanov, F. K. Nejadasl, and O. Booij, “KPRNet: Improving projection-based LiDAR semantic segmentation,” 2020, arXiv:2007.12668. [^56]: S. Xie, R. Girshick, P. Dollar, Z. Tu, and K. He, “Aggregated residual transformations for deep neural networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 1492–1500. [^57]: Y. Ali Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2021, pp. 1800–1809. [^58]: X. Wang, R. Girshick, A. Gupta, and K. He, "Non-local neural networks," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 7794–7803. [^59]: N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko, “End-to-end object detection with transformers,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 213–229. ## [^60]: E. E. Aksoy, S. Baci, and S. Cavdar, “SalsaNet: Fast road and vehicle segmentation in LiDAR point clouds for autonomous driving,” in Proc. IEEE Intell. Vehicles Symp., Oct. 2020, pp. 926–932 --- [^61]: Q.-L. Zhang and Y.-B. Yang, "SA-Net: Shuffle attention for deep convolutional neural networks," in Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), Jun. 2021, pp. 2235–2239. [^62]: S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” in Proc. Int. Conf. Mach. Learn., 2015, pp. 448–456. [^63]: K. He, X. Zhang, S. Ren, and J. Sun, “Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1026–1034. [^64]: A. Xiao, X. Yang, S. Lu, D. Guan, and J. Huang, "FPS-Net: A convolutional fusion network for large-scale LiDAR point cloud segmentation," ISPRS J. Photogramm. Remote Sens., vol. 176, pp. 237–249, Jun. 2021. [^65]: J. Chen et al., “TransUNet: Transformers make strong encoders for medical image segmentation,” 2021, arXiv:2102.04306. [^66]: A. Hatamizadeh, D. Yang, H. Roth, and D. Xu, “UNETR: Transformers for 3D medical image segmentation,” 2021, arXiv:2103.10504. [^67]: E. Xie et al., “Segmenting transparent object in the wild with transformer,” 2021, arXiv:2101.08461. [^68]: S. Wu, T. Wu, F. Lin, S. Tian, and G. Guo, “Fully transformer networks for semantic image segmentation,” 2021, arXiv:2106.04108. [^69]: H. Cao et al., “Swin-Unet: Unet-like pure transformer for medical image segmentation,” 2021, arXiv:2105.05537. [^70]: A. L. Simpson et al., “A large annotated medical image dataset for the development and evaluation of segmentation algorithms,” 2019, arXiv:1902.09063. [^71]: N. Kumar et al., “A multi-organ nucleus segmentation challenge,” IEEE Trans. Med. Imag., vol. 39, no. 5, pp. 1380–1391, May 2020. [^72]: K. Sirinukunwattana et al., “Gland segmentation in colon histology images: The glas challenge contest,” Med. Image Anal., vol. 35, pp. 489–502, Jan. 2017. [^73]: B. Zhou et al., “Semantic understanding of scenes through the ADE20K dataset,” Int. J. Comput. Vis., vol. 127, no. 3, pp. 302–321, Mar. 2019. [^74]: J. L. Ba, J. R. Kiros, and G. E. Hinton, "Layer normalization," 2016, arXiv:1607.06450. [^75]: V. Badrinarayanan, A. Kendall, and R. Cipolla, “SegNet: A deep convolutional encoder–decoder architecture for image segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 12, pp. 2481–2495, Dec. 2017. [^76]: Y. Zhu et al., “Improving semantic segmentation via video propagation and label relaxation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2019, pp. 8856–8865. [^77]: X. Li et al., “Improving semantic segmentation via decoupled body and edge supervision,” in Proc. 16th Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 435–452. [^78]: A. Bokhovkin and E. Burnaev, “Boundary loss for remote sensing imagery semantic segmentation,” in Proc. Int. Symp. Neural Netw. Cham, Switzerland: Springer, 2019, pp. 388–401. [^79]: H. Shuai, X. Xu, and Q. Liu, “Backward attentive fusing network with local aggregation classifier for 3D point cloud semantic segmentation,” IEEE Trans. Image Process., vol. 30, pp. 4973–4984, 2021. [^80]: F. Zhang, J. Fang, B. Wah, and P. Torr, “Deep FusionNet for point cloud semantic segmentation,” in Proc. 16th Eur. Conf. Comput. Vis. Glasgow, U.K.: Springer, Aug. 2020, pp. 644–663. [^81]: K. Liu, Z. Gao, F. Lin, and B. M. Chen, “FG-Net: A fast and accurate framework for large-scale LiDAR point cloud understanding,” IEEE Trans. Cybern., vol. 53, no. 1, pp. 553–564, Jan. 2023. [^82]: S. Qiu, S. Anwar, and N. Barnes, “Semantic segmentation for real point cloud scenes via bilateral augmentation and adaptive fusion,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 1757–1767. [^83]: H. Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 685–702. [^84]: X. Zhu et al., “Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jul. 2021, pp. 9939–9948. [^85]: X. Yan et al., “Sparse single sweep LiDAR point cloud segmentation via learning contextual shape priors from scene completion,” 2020, arXiv:2012.03762. [^86]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 16024–16033. [^87]: Y. Zhang et al., “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2020, pp. 9601–9610. [^88]: S. Wen, T. Wang, and S. Tao, “Hybrid CNN-LSTM architecture for LiDAR point clouds semantic segmentation,” IEEE Robot. Autom. Lett., vol. 7, no. 3, pp. 5811–5818, Jul. 2022. [^89]: M. Gerdzhev, R. Razani, E. Taghavi, and L. Bingbing, "TORNADO-Net: Multiview total variation semantic segmentation with diamond inception module," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 9543–9549. [^90]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361. [^91]: M. Everingham, S. M. A. Eslami, L. J. V. Gool, C. K. I. Williams, J. M. Winn, and A. Zisserman, “The PASCAL visual object classes challenge: A retrospective,” Int. J. Comput. Vis., vol. 111, no. 1, pp. 98–136, 2015. [^92]: W. Shi et al., “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2016, pp. 1874–1883. ![Image](images/3a90fc7dc9bc7c9a86c3e850c5877495a4499cc06d4c7aee900c883026e7ebd5.jpg) 程辉贤于2019年从武汉理工大学获得学士学位。他目前在中国重庆西南大学计算机与信息科学学院攻读硕士学位。他的研究兴趣包括3D场景理解、点云语义分割以及多模态融合。 ![Image](images/5372a1b626f9f1cc72657f2d5d80d29be8ec9c730172a7c86a041216095deb6f.jpg) 韩先峰（IEEE会员）于2019年从天津大学获得软件工程博士学位。他目前是中国重庆西南大学计算机与信息科学学院的讲师。他的研究兴趣包括3D点云处理、3D重建以及机器学习。 ![Image](images/a1df19367b3aef0c5fc946edb169dacfdbcc0408823e4fe4e387c07eeea03c65.jpg) 肖国强于1986年在中国重庆重庆大学获得无线电技术专业学士学位，并于1999年在中国成都电子科技大学获得信号与信息处理专业博士学位。自1986年起，他一直在重庆西南大学计算机与信息科学学院工作，现任教授。他的研究兴趣包括计算机视觉、模式识别、机器学习以及大数据挖掘。