# RPV-CASNet：基于通道自注意力机制的范围-点-体素融合网络，用于激光雷达点云分割
李家炯 $^{1}$ · 王传旭 $^{1}$ · 王晨阳 $^{1}$ · 赵敏 $^{1}$ · 蒋子泰 $^{1}$
接收日期：2024年5月18日 / 在线发表日期：2024年6月14日
© 作者们，经Springer Science+Business Media, LLC（施普林格·自然旗下公司）独家授权。
## 摘要
在细粒度分割任务中，最大化不同视图的优势并弥补各自的不足，是点云多视图融合领域的重要挑战。传统的多视图融合方法忽略了两个关键问题：1. 由于映射和体素化操作导致的深度与量化信息丢失，进而在提取的特征中产生“异常”；2. 在点云学习过程中，如何关注不同视图间物体尺寸的显著差异，并调整融合效率以提升网络性能。本文提出了一种利用通道自注意力机制融合范围-点-体素的新算法，简称RPV-CASNet。RPV-CASNet通过交互式结构（即范围-点-体素交叉自适应层，简称RPVLayer）以更精细的方式整合范围、点和体素三种不同视图，从而充分利用它们之间的差异。RPVLayer包含两个关键设计：特征细化模块（FRM）和多细粒度特征自注意力模块（MFGFSAM）。具体而言，FRM能够对包含异常特征的点进行重新推理表示，从而修正这些特征；MFGFSAM则解决了两个难题：高效聚合远距离区域的标记信息，以及在单个注意力层中保留多尺度特征。此外，我们为网络部署设计了动态特征金字塔提取器（DFPE），用于从球形距离图像中提取丰富的特征。我们的方法在SemanticKITTI和nuScenes数据集上分别取得了69.8%和77.1%的出色mIoU分数。
关键词：多视图融合 · 特征细化 · 多细粒度自注意力机制 · 三维语义分割
## 1 引言
三维点云的语义分割在自动驾驶、增强现实（AR）和虚拟现实（VR）等领域受到了广泛关注。对于自动驾驶汽车等自主系统而言，准确理解场景尤为重要，因为感知过程中的误差可能导致严重的事故和调度问题。本文旨在提升自动驾驶场景下的语义分割性能，从而实现高质量、逐点的三维场景感知。三维数据通常由光学或雷达传感器采集，呈现为点云形式，此外还有如图1所示的其他视图表现形式。
更具体地说，点云语义分割大致可分为三个方向。研究人员会将原始点云划分为定义在笛卡尔坐标系中的体素单元，如图1(b)所示，并利用3D卷积[^1]构建专用网络。基于体素的视图能够保留物理尺寸信息，且内存定位友好。但这类数据相对稀疏，需要极高的分辨率才能避免量化信息丢失的问题，而这会增加……
---
(a) Point-based view
(b) Voxel-based view
(c) Range-based view
Fig. 1 Three different views of a point cloud. (a) Point-based view (top left): points are irregular and chaotic, which makes finding neighbors of points inefficient. (b) Voxel-based view (top right): the voxelization operation discretizes continuous point cloud data into discrete voxels.
introducing quantization loss and a sharp increase in computation with increasing resolution. (c) Range-based view (bottom): The range image distorts the physical dimensions due to spherical projection, while the depth information of the object is lost.
其计算量和内存占用降低了三个数量级。此外，不同的体素大小也会对网络性能产生显著影响。
近年来，基于点的视图（如图1(a)所示）越来越受到关注，因此许多研究直接将原始点云数据用于网络中。PointNet [^2] 是一项开创性工作，它利用多层感知机（MLP）为每个点提取特征，但缺乏局部上下文建模能力。基于PointNet，后续研究 [^3] [^4] 着重于对每个点进行处理，通过聚合其邻域特征来提取局部特征。然而，点云中的点是无结构的，由于内存访问的随机性，搜索某个点的邻域效率较低。
一些并行研究[5–8]采用了球形投影方案，即基于距离的视图（如图1(c)所示），将点云的三维信息转换为二维信息，然后利用成熟的卷积神经网络进行特征提取。这种方式能够密集地表示点云，并利用卷积核在图像上获取更大的感受野，从而有效缓解点云稀疏性问题。不过，由于球形投影会导致点的深度信息部分丢失，且物体的大小和距离会发生变化，因此在密集且杂乱的场景中，物体之间可能会出现严重重叠。
结合图2所示的结果，对于大规模点云的分割任务，我们发现：1）基于体素的方法性能优于基于点和基于距离的方法，而基于点和基于距离的方法的性能大致相当；2）基于融合的方法性能普遍远高于基于点、基于距离和基于体素的方法。
出于直觉，人们自然会想到将不同视图结合起来以利用互补信息，取长补短。近期的研究尝试了一种名为PVCNN [^9] 的方法，该方法采用了点云与体素的融合策略。在这种方法中，体素用于提供粗粒度的局部特征信息，而点云则通过在每个点上应用简单的MLP来保留细粒度的几何特征。尽管这种方法提供了有前景的方向，但如图2所示，简单的点云与体素相加融合并未带来显著的性能提升。因此，需要更精细且有效的融合策略来进一步提升性能。RPVNet [^10] 是首个融合三种视图的网络，它利用了
---
Fig. 2 Performance distribution of different methods on the SemanticKITTI dataset
方法对比与mIoU
一种哈希机制来记录同一点在不同视图中的位置信息，并在视图间进行特征融合。这展现了广阔的应用前景。
在本论文中，我们提出了一种深度自适应的范围-点-体素网络，旨在协同整合三种视图的表达方式。更多细节请参见图4：我们设计了以原始点云为输入的RPVLayer，将点云分别转换为范围、点和体素，并在提取特征后将它们映射回点的特征。为了尽量减少点质量的损失，最终的特征对齐与融合是在对异常点进行特征重新推断之后，在点级别上完成的。与以往在网络上游和下游进行融合的方法[11–15]不同，我们认为在网络中间进行融合能够减少信息丢失。我们的网络不仅能借助FRM模块（如图6所示）解决范围分支和体素分支协作时产生的问题，还能通过FGA模块的持续迭代，在不同层级上高效捕捉来自不同视图的点级细粒度信息与结构特征。FGA各模块的详细内容将在3.1节中阐述。
我们的主要贡献如下：
- 我们设计了一种新颖的范围-点-体素交互结构，该结构允许不同视图以更柔和的方式相互补充、增强，从而克服了基于点、基于体素以及基于范围的单视图方法的缺陷。
- 考虑到卷积神经网络在二维图像领域的出色表现，我们提出了一种用于建模上下文模块的新型提取器——动态金字塔特征提取器。我们在范围分支中构建了一个动态骨架网络，专门用于处理激光雷达数据中的球面距离图像，从而从范围分支中提取出适用于语义分割的不同尺度特征。
我们提出了一种特征细化模块，该模块将点分为异常点（置信度低的点）和正常点（置信度高的点）。对于置信度低的点，我们利用其自身特征、点分支的特征以及邻近点的特征共同进行推理，最后再执行自注意力计算。这一设计解决了在范围视图和体素视图中将特征还原到点级别时点质量受损的问题。
我们提出了一种新颖的融合机制——基于通道的多细粒度自注意力机制，该机制仅包含一个注意力层，即可捕捉并融合同一物体在不同视图下的不同细粒度特征。
- 我们开展了详细的实验，结果表明，我们的方法在SemanticKITTI [^16]数据集和nuScenes上分别取得了69.8%的mIoU和77.1%的mIoU。
---
[^17]: dataset, respectively, which outperforms most state-of-the-art algorithms.
## 2 相关工作
在本节中，我们将介绍点云分割领域中注意力机制的探索情况，以及四种传统的研究方向。
### 2.1 点云分割中的自注意力
自注意力（SA）是一种功能强大的神经网络操作，能够捕捉序列或集合数据中元素间的复杂依赖关系。在点云学习领域，自注意力已被广泛用作核心模块。一些早期的研究[^18] [^19]将自注意力作为辅助模块，推动了点云学习的发展。
近期研究表明，基于Transformer模型的点云学习方法具有巨大潜力。PT（Point Transformer）[^20]和PCT（Point Cloud Transformer）[^21]是两种纯Transformer模型，它们在提升点云任务性能方面取得了显著成果。尤其是PT [^20]的性能远远超越了以往的方法[^22] [^23]，这一结果说明Transformer模型在建模点云的非局部性以及点云学习中的多尺度特征融合方面具有明显优势。后续的研究，如PCTMA-Net [^24]和Hierarchical Transformer [^25]，通过引入标准的多头注意力机制和移位窗口机制，进一步提升了点云Transformer的性能。
不过，上述方法均基于点级自注意力机制，其计算复杂度会随着输入点数的增加而呈平方级增长，这就导致了局部感受野受限的问题。因此，后续的诸多研究工作[26–29]采用体素作为注意力单元，提出了体素级自注意力机制。这些方法通常会利用反体素化操作来获取逐点的特征表示。
此外，PatchFormer [^30]提出了一种通过直接聚合每个点的补丁特征来计算点与补丁之间注意力图的方法。这些方法在考虑多尺度特征方面取得了重要进展，但仍面临着尺寸感知特征学习的挑战，也就是如何有效捕捉并利用输入数据中的不同尺度信息。在点云任务中，尺寸感知特征学习对于处理不同大小和复杂度的点云物体至关重要，因此这一领域仍是研究热点。据我们所知，我们是首个借助自注意力在点级融合三种视图的网络。我们在RPVLayer中提出了范围-点-体素多细粒度自注意力机制，它与上述的体素注意力有所不同：我们的范围-点-体素多细粒度自注意力能够直接捕捉范围、点和体素之间的关系。此外，注意力层中保留了细粒度和粗粒度标签，从而能够在集成式点云学习中自由解析多尺度特征。
### 2.2 基于点的分割
PointNet [^2]是首个尝试通过基于MLP的网络直接处理点云数据的方法。尽管后续研究 [^3] [^4] 证明了其在室内点云数据上的有效性，但由于计算和内存限制，大多数此类方法难以扩展以处理大规模室外数据。RandLA-Net [^31]采用随机采样和局部特征聚合来减少随机采样引入的信息损失，这为加速点云处理提供了一种可行的方法，但它仍无法克服采样导致的精度损失。KPConv [^4]通过引入基于空间核的点卷积，实现了当前基于点的方法中的最佳性能。然而，在面对处理大规模场景数据的同一问题时，它仍然无法直接利用全部数据进行训练。为解决这一问题，人们提出了一种基于半径分类的平衡采样方法来减少数据量，但这种采样方式可能会破坏点云中固有的一些信息。尽管基于点的方法通常参数较少 [^31]，但它们不可避免地涉及低效的局部邻域搜索操作，这限制了它们在处理大规模场景时的效率和性能。
### 2.3 基于体素的分割
在早期基于体素的方法 [^32] [^33] 中，点云数据被转换为体素网格，随后应用常规的3D卷积操作来进行语义分割。不过，近期的研究工作 [^34] [^35] 致力于在提升性能、降低计算成本的同时加速3D卷积操作。与此同时，还有一些涉及3D空间分割的变体方法 [^36] [^37]。其中，Cylinder3D [^37]引入了非对称残差块以减轻计算负担，并确保能够捕捉到与矩形物体相关的特征。而AF2S3Net [^38]则在以往研究 [^33]的基础上，通过引入两种新颖的注意力模块——注意力特征融合模块（AF2M）和自适应特征选择模块（AFSM），达到了先进的性能水平。这些模块能够高效地
---
学习局部和全局上下文信息，并突出细节信息。此外，该方法采用了具有几何感知各向异性的混合损失函数 [^39] 来恢复细节信息。传统的体素方法在分辨率降低时可能会面临严重的信息丢失问题，但我们的方法采用多视角方法来弥补这一缺陷，从而改善了细节信息的恢复效果。
### 2.4 基于距离的分割
基于距离的点云分割方法 [^6] [^7] [^23] [^40] [^41] 通过将3D点云映射为密集的2D球面网格，来利用2D卷积神经网络（CNN）。例如，RangeNet++ [^6] 采用YOLOv3中的DarkNet骨干网络 [^42] 作为特征提取器，并结合高效的K近邻（KNN）后处理技术。SalsaNext [^7] 以Salnet [^43] 为基础，还引入了用于点特征学习的不确定性感知机制。此外，KPRNet [^40] 在该类方法中表现突出，它采用了强大的ResNeXt-101骨干网络以及空洞空间金字塔池化层，从而实现了最先进的分割性能；同时，它还创新性地使用KPConv [^4] 来替代效率较低的KNN，作为分割头方法。尽管基于距离的方法能够借助成熟的2D图像分割技术，但将3D点云映射为2D球面网格会引发物理尺寸的失真问题。我们提出的RPV-CASNet则避免了这一问题，它采用多视图交互学习方法来更精准地处理3D点云数据，大幅减轻了物体的尺寸失真现象。
### 2.5 多视图融合
鉴于单视图存在一定局限性，近期的研究[44–49]试图融合两个或更多不同视图的信息，以提升点云分割性能。例如，[^11] 中的方法结合了鸟瞰图和距离图像中的点级信息，随后将其输入后续网络进行早期融合。而AMVNet [^13] 则采用了一种后期融合策略：先计算不同视图输出结果中的不确定性，再借助额外网络对结果进一步优化。FusionNet [^14] 提出了一种点-体素交互式MLP，用于聚合相邻体素与对应点之间的特征，这既降低了邻域搜索的时间成本，在处理大规模点云时也能保持不错的精度。尤其是PVCNN [^9]，它提出了一种高效的点-体素融合方法：体素提供粗粒度的局部特征信息，而点则通过简单的MLP保留细粒度的几何特征。[^50] 和 [^51] 融合了RGB图像和距离图像，但该方法需要借助校准矩阵以强关联方式融合图像与点云，因此容易受到校准误差的影响 [^52]。RPVNet [^10] 在多视图交叉融合中采用的简单加法融合策略，忽略了这样一个事实：距离视图映射过程中引入的点噪声也会波及到其他模态，这会严重制约网络的性能。上述方法都面临同样的问题，即融合策略较为简单（例如采用加法运算），从而限制了网络的性能。不过，我们的方法能够更高效地利用多个视图提供的信息，还能选择并融合对点云分割最有帮助的部分。这意味着我们的方法在提升点云分割性能方面具有更大的潜力和灵活性。
## 3 FGA变换块
在本节中，我们首先介绍整体的网络架构，随后详细介绍该网络的各个组成部分。以FGA模块中的RPVLayer为例，它由三个部分构成：动态特征金字塔提取器（DFPE）、特征细化模块（FRM）以及多粒度特征自注意力模块（MFGFSAM）。最后，我们还会介绍所提出的一种改进且高效的数据增强方法。
### 3.1 框架概述
我们提出的算法名为RPV-CASNet，它基于FGA Transformer块构建。其核心思想是为每个注意力层引入有效的多尺度特征，并使每个点能够适配其对应的注意力域。因此，我们的网络完全依赖FGA块来学习并交互来自不同视角的通道特征，从而实现对不同尺度物体的多粒度特征融合。FGA块的细节如图3(b)所示。为了在每个注意力层中高效捕获来自不同视角和尺度的特征，FGA需要克服三大挑战：点特征质量的损失、远距离区域特征的整合，以及对不同尺度物体多尺度特征的准确区分。针对第一个挑战，我们借鉴视频异常检测（VAD）的思路，设计了FRM，能够以更精细的方式处理异常并对点特征进行重新推理。针对第二个挑战，我们设计了一种新的范围-点-体素交互结构，并在此基础上采用一种基于通道的多粒度注意力机制，来规划点云有效多尺度特征的学习。而为了克服第三个挑战，我们引入了一种新方法以提升模型在真实场景中的性能，确保模型能够有效提取现实世界的上下文信息，进而提高模型的表现。
---
Fig. 3 (a) Overview (b) FGA Transformer Block
我们基于标准多头自注意力机制提出了一种范围-点-体素三重解耦策略。同时，我们还提出了一种简单却高效的DFPE，并利用它动态构建用于提取范围分支不同尺度特征的DFPE模块。
### 3.2 范围-点-体素交叉自适应层
我们的RPVLayer如图4所示，它包含三个主要部分：特征提取、FRM和MFGFSAM。具体来说，输入的点云首先经过带有线性变换的点嵌入层，随后通过简单的MLP进行特征提取，之后被分为三个分支。对于范围分支，我们以DFPE作为骨干网络；对于点分支，我们采用轻量级的PointNet++；而对于体素分支，则使用轻量级的Spvans网络。最终，我们获得这三组点的通道特征，它们会在FRM和MFGFSAM中被融合。
#### 3.2.1 动态特征金字塔提取器
在此我们介绍一种用于建模上下文模块的提取器，称为“动态特征金字塔提取器”，简称DFPE。它的目的是处理点云在范围分支中向“图像”特征的映射。DFPE利用常规的
Fig. 4 Rang-Point-Voxel Cross Adaptive Layer
---
二维卷积操作，通过高效的计算机制提供不同尺度的上下文信息，这使得DFPE能够被无损地扩展到各类模型中。下图展示了DFPE的通用框图（见图5）。
DFPE模块由三个并行的动态残差块组成（以虚线框表示）。受[^15]的启发，为了更好地引入上下文信息并优化特征提取过程，我们采用不同尺寸的卷积核来重新设计DFPE模块。在实际部署中，动态残差块主要由Conv $3 \times 3$（S=1,P=1）、Conv $5 \times 5$（S=1,P=2）、Conv $7 \times 7$（S=1,P=3）以及Conv $1 \times 1$二维卷积核构成。每个卷积层之后都接有批量归一化层和ReLU激活层，但动态特征金字塔提取器中的$1 \times 1$卷积层除外（此处没有ReLU激活层）。此外，为了保留局部特征，我们在每个残差块内的第一层卷积之后引入了带有二维卷积的跳跃连接。为进一步降低计算开销，我们采用了与卷积核尺寸相同的深度可分离卷积。最后，这三个并行的卷积块会经过一次Conv $1 \times 1$操作，从而生成用于后续处理的最终特征张量。我们并未采用RangNet++等网络复杂的部署方式，而是认为：1. 部分点在映射后会被遮挡或覆盖，而这些点不会被网络所利用；2. 尽管我们的提取器仅包含三个子块，但其效率非常高。通过下采样操作与FGA块的协同迭代，网络中的点数会减少，映射后遮挡的点会在一定程度上被暴露出来，进而被我们的动态提取器捕获；3. 若部署专门的基于映射的网络（编码器和解码器），则会带来额外的内存占用和计算开销。我们在两个数据集上使用了相同的架构。关于部署的详细信息将在第4.2节中介绍。
#### 3.2.2 特征精炼模块
点云在映射和体素化操作后会产生噪声或丢失部分信息，这是多视图融合中的一个重要挑战。受VAD的启发，我们提出了一种名为FRM的模块，该模块被放置在MFGFSAM之前。具体的部署方式如图6所示。
具体而言，输入到FRM模块中的$R\left\{R_{x_m}\right\}_{m=1}^N/V\left\{R_{x_n}\right\}_{n=1}^N$和$P\left\{R_{x_k}\right\}_{k=1}^N$是特征提取阶段的三组顺序点特征，即来自距离分支/体素分支的rfeature/vfeature集合以及来自点分支的pfeature集合。我们选择rfeature/vfeature集合和pfeature集合作为输入，通过向量相乘和Sigmoid激活函数，旨在筛选出异常点集n（$n << N$）。对于距离分支/体素分支中的异常点序列n，我们借助点分支的无损点特征、阈值$\alpha$以及不同的权重S和$(1 - S)$，将距离分支/体素分支的特征、点分支的特征以及异常点的坐标信息整合在一起。借助KDTree，我们可以轻松获取特征信息……
Fig. 5 Dynamic feature pyramid extractor
---
Fig. 6 Feature Refinement Module
为了获取异常点周围邻近点的信息，我们选取了16个邻近点，最后根据通道数将它们拼接在一起，再与原始特征相乘，从而得到经过线性层和Softmax层计算权重矩阵后的异常点特征的最终表示。相反，对于正常点我们则直接“复制”它们。同样的方法也应用于点分支中的异常点。我们的一个创新点在于：当异常序列被分离后，范围分支、体素分支和点分支都会对异常点进行重新推理表示，这样能防止网络过度依赖点分支。最终，我们得到了R、P和V三个点级别的特征集的重新推理表示，分别为$R \left\{ \left\{ R_{x_m} \right\}_{m=1}^a, \left\{ R_{x_m} \right\}_{m=a}^N \right\}$、$V \left\{ \left\{ R_{x_n} \right\}_{n=1}^b, \left\{ R_{x_n} \right\}_{n=b}^N \right\}$、$P \left\{ \left\{ R_{x_k} \right\}_{k=1}^c, \left\{ R_{x_k} \right\}_{k=c}^N \right\}$，其中$\left\{ R_{x_m} \right\}_{m=a}^N, \left\{ R_{x_n} \right\}_{n=b}^N$以及
Fig. 7 Multi-Fine-Grained Feature Self-Attention Module
---
Table 1 Detailed deployment of the network
| Output Size | Layer Name | SemanticKITTI | nuScenes |
| Stage 1 | 27 | FGAblock | $r_i = \begin{cases} 2, & i \leq \frac{Head}{3} \\ 4, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 8, & i \geq \frac{2Head}{3} \end{cases}$ | $r_i = \begin{cases} 2, & i \leq \frac{Head}{3} \\ 4, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 8, & i \geq \frac{2Head}{3} \end{cases}$ |
| Stage 2 | 81 | FGAblock | $r_i = \begin{cases} 2, & i \leq \frac{Head}{3} \\ 4, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 8, & i \geq \frac{2Head}{3} \end{cases}$ | $r_i = \begin{cases} 2, & i \leq \frac{Head}{3} \\ 4, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 8, & i \geq \frac{2Head}{3} \end{cases}$ |
| Stage 3 | 243 | FGAblock | $r_i = \begin{cases} 1, & i \leq \frac{Head}{3} \\ 2, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 4, & i \geq \frac{2Head}{3} \end{cases}$ | $r_i = \begin{cases} 1, & i \leq \frac{Head}{3} \\ 2, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 4, & i \geq \frac{2Head}{3} \end{cases}$ |
| Stage 4 | 729 | FGAblock | $r_i = \begin{cases} 1, & i \leq \frac{Head}{3} \\ 2, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 4, & i \geq \frac{2Head}{3} \end{cases}$ | $r_i = \begin{cases} 1, & i \leq \frac{Head}{3} \\ 2, & \frac{Head}{3} < i < \frac{2Head}{3} \\ 4, & i \geq \frac{2Head}{3} \end{cases}$ |
在每个阶段中，H、V、N、h、w分别代表注意力头的数量、体素大小、块的数量以及范围图像的尺寸。$r_{i}$表示多头自注意力层中第i个头的下采样率。加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
Table 2 Evaluation on the SemanticKITTI dataset. Our results use GANMix (see Section 3.3), where $\ddagger$ indicates that GANMix is used for data enhancement
| Methods | mIoU | car | bicycle | motorcycle | truck | other-vehicle | person | bicyclist | motorcyclist | road |
| PointNet [^2] | 14.6 | 46.3 | 1.3 | 0.3 | 0.1 | 0.8 | 0.2 | 0.2 | 0.0 | 61.6 |
| RandLANet [^31] | 53.9 | 94.2 | 26.0 | 25.8 | 40.1 | 38.9 | 49.2 | 48.2 | 7.2 | 90.7 |
| RandLANet $\ddagger$ [^31] | 55.4 | 94.2 | 38.2 | 41.8 | 40.1 | 38.9 | 49.2 | 48.2 | 7.2 | 90.7 |
| KPConv [^4] | 58.8 | 96.0 | 30.2 | 42.5 | 33.4 | 44.3 | 61.5 | 61.6 | 11.8 | 88.8 |
| SqueezeSegv3 [^5] | 55.9 | 92.5 | 38.7 | 36.5 | 29.6 | 33.0 | 45.6 | 46.2 | 20.1 | 91.7 |
| RangeNet++ [^6] | 52.2 | 91.4 | 25.7 | 34.4 | 25.7 | 23.0 | 38.3 | 38.8 | 4.8 | 91.8 |
| SalsaNext [^7] | 59.5 | 91.9 | 48.3 | 38.6 | 38.9 | 31.9 | 60.2 | 59.0 | 19.4 | 91.7 |
| PolarNet [^36] | 54.3 | 93.8 | 40.3 | 30.1 | 22.9 | 28.5 | 43.2 | 40.2 | 5.6 | 90.8 |
| Cylinder3D [^37] | 67.8 | 97.1 | 67.6 | 64.0 | 59.0 | 58.6 | 73.9 | 67.9 | 36.0 | 91.4 |
| Cylinder3D $\ddagger$ [^37] | 69.5 | 97.1 | 81.8 | 82.6 | 59.0 | 58.6 | 73.9 | 67.9 | 36.0 | 91.4 |
| AF2S3 [^38] | 69.7 | 94.5 | 65.4 | 86.8 | 39.2 | 41.1 | 80.7 | 80.4 | 74.3 | 91.3 |
| FusionNet [^14] | 61.3 | 95.3 | 47.5 | 37.7 | 41.8 | 34.5 | 59.5 | 56.8 | 11.9 | 91.8 |
| TornadoNet [^15] | 63.1 | 94.2 | 55.7 | 48.1 | 40.0 | 38.2 | 63.6 | 60.1 | 34.9 | 89.7 |
| AMVNet [^13] | 65.3 | 96.2 | 59.9 | 54.2 | 48.8 | 45.7 | 71.0 | 65.7 | 11.0 | 90.1 |
| SPVNAS [^34] | 67.0 | 97.2 | 50.6 | 50.4 | 56.6 | 58.0 | 67.4 | 67.1 | 50.3 | 90.2 |
| RPVNet [^10] | 70.3 | 97.6 | 68.4 | 68.7 | 44.2 | 61.6 | 75.9 | 74.4 | 73.4 | 93.4 |
| CPGNet [^58] | 68.3 | 96.7 | 62.9 | 61.1 | 56.7 | 55.3 | 72.1 | 73.9 | 27.9 | 92.9 |
| Our | 69.8 | 97.4 | 68.9 | 67.8 | 44.0 | 62.2 | 76.4 | 68.4 | 33.4 | 93.1 |
---
Table 2 continued
| Methods | parking | sidewalk | other-ground | building | fence | vegetation | trunk | terrain | pole | traffic-sign |
| PointNet [^2] | 15.8 | 35.7 | 1.4 | 41.4 | 12.9 | 31.0 | 4.6 | 17.6 | 2.4 | 3.7 |
| RandLANet [^31] | 60.3 | 73.7 | 20.4 | 86.9 | 56.3 | 81.4 | 61.3 | 66.8 | 49.2 | 47.1 |
| RandLANet $\ddagger$ [^31] | 60.3 | 73.7 | 20.4 | 86.9 | 56.3 | 81.4 | 61.3 | 66.8 | 49.2 | 47.1 |
| KPConv [^4] | 61.3 | 72.7 | 31.6 | 90.5 | 64.2 | 84.8 | 69.2 | 69.1 | 56.4 | 47.4 |
| SqueezeSegv3 [^5] | 63.4 | 74.8 | 26.4 | 89.0 | 59.4 | 82.0 | 58.7 | 65.4 | 49.6 | 58.9 |
| RangeNet++ [^6] | 65.0 | 75.2 | 17.8 | 87.4 | 58.6 | 80.5 | 55.1 | 64.6 | 47.9 | 55.9 |
| SalsaNext [^7] | 63.7 | 75.8 | 29.1 | 90.2 | 64.2 | 81.8 | 63.6 | 66.5 | 54.3 | 62.1 |
| PolarNet [^36] | 61.7 | 74.4 | 21.7 | 90.0 | 61.3 | 84.0 | 65.5 | 67.8 | 51.8 | 57.5 |
| Cylinder3D [^37] | 65.1 | 75.5 | 32.3 | 91.0 | 66.5 | 85.4 | 71.8 | 68.5 | 62.6 | 65.6 |
| Cylinder3D $\ddagger$ [^37] | 65.1 | 75.5 | 32.3 | 91.0 | 66.5 | 85.4 | 71.8 | 68.5 | 62.6 | 65.6 |
| AF2S3 [^38] | 68.8 | 72.5 | 53.5 | 87.9 | 63.2 | 70.2 | 68.5 | 53.7 | 61.5 | 71.0 |
| FusionNet [^14] | 68.8 | 77.1 | 30.8 | 92.5 | 69.4 | 84.5 | 69.8 | 68.5 | 60.4 | 66.5 |
| TornadoNet [^15] | 66.3 | 74.5 | 28.7 | 91.3 | 65.6 | 85.6 | 67.0 | 71.5 | 58.0 | 65.9 |
| AMVNet [^13] | 71.0 | 75.8 | 32.4 | 92.4 | 69.1 | 85.6 | 71.7 | 69.6 | 62.7 | 67.2 |
| SPVNAS [^34] | 67.6 | 75.4 | 21.8 | 91.6 | 66.9 | 86.1 | 73.4 | 71.0 | 64.3 | 67.3 |
| RPVNet [^10] | 70.3 | 80.7 | 33.3 | 93.5 | 72.1 | 86.5 | 75.1 | 71.7 | 64.8 | 61.4 |
| CPGNet [^58] | 68.0 | 78.1 | 24.6 | 92.7 | 71.1 | 84.6 | 72.9 | 70.2 | 64.5 | 71.9 |
| Our | 71.2 | 78.6 | 32.7 | 92.7 | 71.3 | 86.3 | 74.8 | 70.5 | 64.4 | 72.1 |
加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
$\{R_{x_k}\}_k=c^N$是对应集合中经过重新推理表示的“异常”特征。
关于异常点与正常点的划分方式如下：
$$ \psi=\left\{\begin{aligned}&0\quad,\quad if\quad\alpha<\delta\\ &1\quad,\quad if\quad\alpha>\delta\end{aligned}\right. $$
我们通过代理任务$\psi$来区分异常点和正常点。具体来说，如果$\alpha$的值小于$\delta$，那么代理任务$\psi$会将小于$\delta$的点特征视为异常特征，进而提取异常点与正常点的特征；反之，这些点则被认定为正常点。
#### 3.2.3 多粒度特征自注意力模块
MFGFSAM没有选择在体素层面进行计算，而是直接在点层面从点序列、体素序列和范围序列中计算通道注意力。其中，注意力是基于点序列的查询序列的通道特征来计算的，而拥有纯特征的分支，其键和值分别来源于自身以及其他两个分支所得到的通道特征。因此我们的MFGFSAM更具灵活性。如图7所示。
该模块的输入包括范围特征$R_f \in R^{D_{nr} \times (D_h \times D_d)}$，其中$D_{nr}$是第n个FGA变换块中范围分支的点数，$(D_h \times D_d)$是经范围到点转换后所得点的维度。同理，我们有$P_f \in R^{D_{np} \times (D_h \times D_d)}$，$D_{np}$是第n个FGA变换块中点分支的点数，$(D_h \times D_d)$是其中所得点的特征维度。$V_f \in R^{D_{nv} \times (D_h \times D_d)}$、$D_{nv}$分别是第n个FGA变换块中体素分支的点数，$(D_h \times D_d)$是经体素到点转换后所得点的通道特征维度。特别地，为了便于后续的通道自注意力计算，第n个转换块中有$D_{nr} = D_{np} = D_{nv}$。第n个FGA转换块中的RPVLayer可根据以下公式(2)-(9)进行计算：
$$ R_{f},P_{f},V_{f}=L N(R_{f}),L N(P_{f}),L N(V_{f}) $$
$$ Q_{R},K_{R},V_{R}=\psi(R_{f}\mid r_{i})W_{1}^{Q},\psi(R_{f}\mid r_{i})W_{1}^{K}, $$
$$ \psi(\boldsymbol{R}_{f}\mid r_{i})W_{1}^{V} $$
$$ \begin{align*}Q_{V},K_{V},V_{V}=\boldsymbol{\psi}(V_{f}\mid r_{i})W^{Q}_{2},\boldsymbol{\psi}(V_{f}\mid r_{i})W^{K}_{2},\\\psi_{t}(V_{c}\mid r.)W^{V}_{2}\end{align*} $$
$$ \psi(V_{f}\mid r_{i})W_{2}^{V} $$
$$ K_{R},V_{R}=Q_{R}+K_{R},Q_{R}+V_{R} $$
---
Table 3 Evaluation on the nuScenes dataset. Our results do not use any GANMix-like trick
| Methods | mIoU | barrier | bicycle | bus | car | construction | motorcycle | pedestrian | traffic-cone | trailer | truck | driveable | other flat | sidewalk | terrain | manmade | vegetation |
| RangeNet++[^6] | 65.5 | 66.0 | 21.3 | 77.2 | 80.9 | 30.2 | 66.8 | 69.6 | 52.1 | 54.2 | 72.3 | 94.1 | 66.6 | 63.5 | 70.1 | 83.1 | 79.8 |
| SalsaNext[^7] | 71.0 | 74.7 | 28.2 | 85.3 | 90.9 | 35.1 | 77.5 | 71.3 | 58.8 | 57.4 | 76.1 | 96.5 | 71.1 | 74.7 | 74.0 | 87.3 | 85.7 |
| PolarNet [^36] | 72.2 | 74.8 | 34.1 | 85.9 | 88.4 | 42.2 | 72.4 | 72.2 | 63.1 | 61.3 | 76.5 | 96.0 | 70.8 | 71.2 | 71.5 | 86.7 | 84.4 |
| Cylinder3D[^37] | 76.1 | 79.8 | 32.4 | 82.2 | 86.4 | 62.5 | 81.9 | 75.3 | 72.3 | 83.5 | 65.1 | 97.4 | 67.0 | 78.8 | 74.6 | 90.8 | 87.9 |
| AMVNet [^13] | 76.1 | 76.4 | 40.3 | 91.2 | 93.8 | 51.3 | 78.0 | 78.9 | 64.9 | 62.1 | 84.4 | 96.8 | 71.6 | 76.4 | 75.4 | 90.5 | 87.4 |
| RPVNet[^10] | 77.6 | 78.2 | 43.4 | 92.7 | 93.2 | 49.0 | 85.7 | 80.5 | 66.0 | 66.9 | 84.0 | 96.9 | 73.5 | 75.9 | 76.0 | 90.6 | 88.9 |
| Our | 77.1 | 78.0 | 44.2 | 92.3 | 93.4 | 51.9 | 80.9 | 80.7 | 65.1 | 65.4 | 85.0 | 96.1 | 72.2 | 74.6 | 75.6 | 90.1 | 88.1 |
粗体文本表示在实验过程中某一类别、模块或评估指标方面表现最佳。
---
$$ K_{V},V_{V}=Q_{V}+K_{V},Q_{V}+V_{V} $$
$$ Q_{p}^{1},Q_{p}^{2},Q_{p}^{3}=P_{f}W_{1}^{Q},P_{f}W_{2}^{Q},P_{f}W_{3}^{Q} $$
$$ F_{{c o a r s e1}}^{{P R}},F_{{c o a r s e2}}^{{P V}}={M S A}_{\frac{H}{3}}(Q_{p}^{1},K_{R},V_{R}), $$
$$ MSA_{\frac{H}{3}}(Q_{p}^{2},K_{V},V_{V}) $$
其中，LN代表层归一化，W表示线性矩阵；这种MSA是基于通道的多头自注意力机制，而$\psi(V_f \mid r_i)$则是第i个头中特征的下采样率。我们将输入特征$(B, N, C)$重塑为$(B, H, W, C)$，随后利用步长为$r_i$的卷积核来实现下采样层。$F_{coarse1}^{PR}, F_{coarse2}^{PV} \in R^{D_{nr} \times (D_{\frac{3}{5}} \times D_d)}$，所有的线性矩阵W都会将通道层面的输入向量投影到维度仅为输入三分之一的输出向量上。在具体部署中，MSA是并行执行的。此外，我们通过线性层将查询、键和值的维度缩减为原来的三分之一，从而进一步降低计算开销。我们的RPVLayer能够直接计算范围、点和体素之间的注意力图，这使得模型能够通过通道特征很好地建模范围-点-体素之间不同粒度层级的关系。
#### 3.2.4 范围-点-体素三重解耦策略
如图7所示，MFGFSAM包含点注意力分支、点-范围注意力分支以及点-体素注意力分支。点-范围注意力分支和点-体素注意力分支用于建模具有更大感受野的粗略细粒度特征，而点注意力分支则能更好地捕捉微观尺度上的细粒度特征。受Shunted Transformer [^53]的启发，我们同样在RPVLayer中采用基于通道的多头自注意力机制，将来自点-范围注意力分支和点-体素注意力分支的多尺度粗糙特征，与点注意力分支中的细粒度特征相结合。具体而言，我们的RPVLayer可表示为：
$$ K_{p},V_{p}=P_{f}W_{3}^{K},P_{f}W_{3}^{V} $$
$$ \begin{array}{r}{F_{f i n e3}^{P}=M S A_{\frac{H}{3}}(Q_{p}^{3},K_{p},V_{p})}\end{array} $$
$$ \boldsymbol{F}^{^{\prime}}=C o n c a t(\boldsymbol{F}_{c o a r s e1}^{P R},\boldsymbol{F}_{c o a r s e2}^{P V},\boldsymbol{F}_{f i n e3}^{P}) $$
其中$F' \in R^{D_{nr} \times (D_h \times D_d)}$、$D_{nr}$为最终RPVLayer层的输出，我们的RPVLayer能够在单个注意力层中以未合并的方式学习不同物体间的多尺度特征。借助PRVLayer，FGA能够整合来自不同层级、不同物体的多种感受野尺寸信息。
Table 4 The comparisons between efficiency (run-time) and accuracy (mIoU) on the SemanticKITTI val set
| view | #params(M) | latency(ms) | mIoU |
| RandLANet [^31] | 1.2 | 416 | 53.9 |
| SqueezeSegv3 [^5] | 26.2 | 113 | 55.9 |
| Cylinder3D [^37] | 56.3 | 75.1 | 65.9 |
| SPVCNN [^34] | 21.8 | 150 | 63.8 |
| CPGNet [^58] | - | 43 | 68.3 |
| RPVNet $\dagger$ [^10] | 24.8 | 168 | 70.3 |
| RPV-CASNet | 28.2 | 115 | 69.8 |
需注意，RPV-CASNet的延迟测试是在单张Nvidia GeForce RTX 3090 GPU上进行的，而$\dagger$则表示使用的是NVIDIA TESLA V100 GPU。
粗体文本表示在实验过程中某一类别、模块或评估指标方面表现最佳。
### 3.3 GANMix
尽管某些数据增强方法[^54] [^55]在室内点云分割任务中取得了不错的效果，但针对室外场景的相关研究[^56] [^57]相对较少。为解决激光雷达语义分割中的类别不平衡问题，我们提出了一种名为GANMix的数据增强方法。
从经验上看，通过增加某些类别中的样本数量，网络就能更准确地预测出现频率较低的对象。受此启发，我们从训练集的每一帧中提取自行车或车辆等样本稀少的类别中的物体实例，并将它们放入一个小样本池中。我们并非简单地反复复制粘贴同一物体，而是借助生成对抗网络（GAN）生成一定数量逼真的样本，以提升模型的鲁棒性和真实感。在训练过程中，我们从小样本池中均匀随机选取样本，以保持各类别之间的平衡；随后对这些样本执行缩放、旋转等随机操作。为了更好地模拟真实环境，我们会将这些物体随机放置在地面类别所对应的点上，最终便得到了一些新的稀疏物体。
Table 5 Effect of different view combinations on network performance
| Views | mIoU(%) |
| SemanticKITTI | nuScenes |
| RP | 47.6 | 56.4 |
| PV | 59.9 | 69.6 |
| RV | 60.4 | 69.9 |
| RPV | 62.9 | 72.2 |
加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
---
Table 6 Impact of different modules on network performance
| Method | Three Views | FRM | MFGFSAM | GANMix | mIoU(%) |
| SemanticKITTI | nuScenes |
| (a) | ✓ | | | | 60.8 | 68.4 |
| (b) | ✓ | ✓ | | | 64.3 | 73.2 |
| (c) | ✓ | ✓ | ✓ | | 68.0 | 77.1 |
| (d) | ✓ | ✓ | ✓ | ✓ | 69.8 | - |
加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
将来自其他场景的物体“粘贴”到当前的训练场景中，以此模拟各种环境下的物体。
这种方法旨在解决点云语义分割中的类别不平衡问题，通过生成逼真样本来提升模型性能。
## 4 实验与结果
在实验部分，我们首先于4.1节介绍两个数据集及评估指标；接着4.2节阐述网络训练策略与具体部署方式，随后4.3节给出实验结果；最后，消融实验和可视化演示分别在第4.5节和第4.7节中介绍。
### 4.1 数据集与评估指标
我们在SemanticKITTI数据集[^16]和nuScenes数据集[^17]上对RPV-CASNet进行评估。
SemanticKITTI数据集[^16]源自KITTI视觉基准测试[^15]，是针对驾驶场景中点云分割任务的大规模数据集。它包含来自德国城市、由22个序列采集的43551组激光雷达扫描数据。这些扫描数据由Velodyne-HDLE 64激光雷达采集，每组扫描约含12万个点。这22个序列被分为三组：训练集（00至10序列，不含08序列，共130组扫描数据）、验证集（08序列，共4071组扫描数据）以及测试集（11至21序列，共20351组扫描数据）。SemanticKITTI最多可区分28个类别，但官方评估会忽略点数较少的类别，同时合并不同运动状态的同类别，因此实际采用19个有效类别进行评估。
nuScenes数据集[^17]是最新发布的用于激光雷达语义分割的数据集，包含从波士顿和新加坡不同地区采集的1000个场景。每个场景时长20秒，采用Velodyne HDL-32 E传感器以20 Hz的频率采样，因此nuScenes共有40000帧数据。其中8130个样本用于训练，6019个用于验证，6008个用于测试。合并相似类别并剔除稀有类别后，最终保留16个类别用于激光雷达语义分割任务。
评估指标 遵循[^16]和[^17]的官方建议，我们采用所有类别的平均交并比（mIoU）作为评估指标。mIoU的计算公式如下：
$$ mIoU=\frac{1}{C}\sum_{i=1}^{C}\frac{TP_{C}}{TP_{c}+FP_{C}+FN_{C}} $$
其中，$TP_{c}$、$FP_{C}$、$FN_{C}$ 分别表示类别 c 的真阳性预测、假阳性预测和假阴性预测。C 代表类别的总数。
### 4.2 训练策略与网络部署
在训练阶段，我们采用了交叉熵损失函数。对于SemanticKITTI数据集和nuScenes数据集，我们都使用ADAM优化器，初始学习率设为0.006，并通过多轮衰减逐步降低学习率。训练的迭代次数分别为60次和80次。我们的网络在Nvidia GeForce RTX 3090上的训练时间约为一周。训练过程中，我们采用了常用的数据增强策略，包括以[0.95, 1.05]范围内的随机缩放因子进行的全局缩放，以及绕Z轴的随机角度旋转。我们还在训练的最后十个迭代周期中引入了所提出的GANMix方法，以进一步微调网络。详细的网络部署信息见表1。
### 4.3 在SemanticKITTI和nuScenes上的实验结果
在本实验中，我们将所提方法的结果与现有的主流激光雷达分割方法在SemanticKITTI测试集（表2）和nuScenes验证集（表3）上进行了比较。从mIoU指标来看，我们的方法优于大多数模型。
我们的方法RPV-CASNet在这两种数据上的整体分割性能几乎与RPVNet [^10]相当，某些类别的分割精度甚至超过了后者。由于我们的多视角交互学习机制具有极强的鲁棒性，RPV-CASNet在
---
Table 7 The impact of different fusion methods on networks
| Method | mIoU(%) |
| SemanticKITTI | nuScenes |
| Addition | 64.3 | 71.8 |
| Concatnation | 65.5 | 73.2 |
| MFGFSAM | 68.0 | 77.1 |
| Replacing MFGFSAM with ordinary multi head self attention | 66.2 | 74.9 |
加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
小目标分割精度方面，比大多数现有先进网络更为精准。在SemanticKITTI数据集上，相较于CPGNet [^58]，RPV-CASNet在自行车、摩托车、其他车辆、行人、骑摩托车者及交通标志这些小目标类别上的分割精度分别提升了6.0、6.7、6.9、4.3、5.5和0.3个百分点。与SPVNAS [^34]相比，在自行车、摩托车、其他车辆、行人、骑自行车者及电线杆、交通标志类别上，分割精度分别提升了18.3、17.4、4.2、9、1.3、0.1和4.8个百分点。自行车、其他车辆、行人和交通标志这四类小目标的分割精度甚至分别比RPVNet [^10]高出0.5、0.6、0.5和0.7个百分点。在nuScenes数据集上，相较于AMVNet [^13]，RPV-CASNet在自行车和行人这两个小目标类别上的分割精度分别提升了3.9和11.8个百分点；相较于Cylinder3D [^37]，分别提升了1.8和5.4个百分点；相较于RPVNet [^10]，则分别提升了0.8和0.2个百分点。这些结果表明，我们的模型在小目标分割任务上取得了显著改进。
### 4.4 模型评估
表4展示了效率与精度的对比结果。与其他方法相比，尽管我们在计算自注意力时降低了模型复杂度，导致参数数量较多，但我们的模型在延迟方面仍低于SPVCNN、RandLANet和RPVNet。
### 4.5 消融研究
不同视图组合的性能表现：我们研究了不同视图组合对网络的影响，包括RP、RV、PV和RPV。我们使用训练集的四分之一数据，并在两个数据集的验证集上进行测试。表5中的结果显示：1. P分支对整个网络性能的贡献最小，而V分支的贡献最大；2. P分支和R分支对网络的贡献几乎相等；3. 基于RPV这三种视图的组合能取得最佳性能。
不同模块的影响：如表6所示，我们针对网络中各个模块对网络整体性能的影响进行了详尽分析。其中，我们的FRM模块在两个数据集上的mIoU值分别提升了3.5%和4.8%；而MFGFSAM模块在这两个数据集上的提升幅度则分别为3.7%和3.9%。
融合方式的变体：在论文中，我们在表7中探讨了不同融合方法对网络性能的影响。可以看出，我们的多粒度细特征融合模块在SemanticKITTI数据集上的表现比加法融合方式高出3.7个百分点，在nuScenes数据集上则比拼接融合方式高出3.9个百分点。我们还将所提出的基于通道的多粒度自注意力机制与常规的多头自注意力机制进行了对比，结果显示前者在这两个数据集上的性能分别提升了1.8和2.2个百分点。
超参数$\delta$的阈值设定：我们开展了大量实验来确定超参数$\delta$在不同数据集上的阈值，实验表明约有10%–25%的特征会被归类为异常。$PR_{\delta}$表示点云视图与范围视图之间的超参数设置情况，$PV_{\delta}$表示点云视图与体素视图之间的超参数设置情况。详情见表8。
不同相似性计算方法的效果对比：我们比较了FRM中用于分离异常的不同方法，结果显示在SemanticKITTI数据集上，采用乘法运算与sigmoid函数结合的方法比直接计算两者间的欧几里得距离的方法性能高出1.6个百分点。
Table 8 Threshold setting for hyperparameter $\delta$
| SemanticKITTI | nuScenes |
| Stage 1 | Stage 2 | Stage 3 | Stage 4 | Stage 1 | Stage 2 | Stage 3 | Stage 4 |
| $PR_{\delta}$ | 0.45 | 0.45 | 0.35 | 0.35 | 0.45 | 0.45 | 0.40 | 0.40 |
| $PV_{\delta}$ | 0.40 | 0.40 | 0.35 | 0.35 | 0.40 | 0.40 | 0.35 | 0.35 |
加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
---
Table 9 Comparison of different methods of finding anomalies
| Method | mIoU(%) |
| SemanticKITTI | nuScenes |
| Cosine similarity | 64.3 | 73.1 |
| Euclidean distance | 66.4 | 75.3 |
| Point Multiplication and Sigmoid | 68.0 | 77.1 |
加粗文本表示实验过程中某一类别、模块或评估指标下的最佳性能。
计算余弦相似度的性能最低，仅为64.3个百分点，两者之间的差异高达3.7个百分点。同样在nuScenes数据集上，我们所提出的方法比计算余弦相似度和欧几里得距离的方法性能分别高出4.0和1.8个百分点，详见表9。值得注意的是，在不同模态中寻找同一物体的相同语义特征至关重要，因为不同模态的特征在特征空间中存在差异，简单的余弦相似度或欧几里得距离计算有时无法满足某些复杂任务的需求。这为我们的后续研究提供了广阔的前景。
### 4.6 GANMix的可扩展性
由于代码可用性受限，我们在Cylinder3D和RandLANet这两种算法上应用GANMix，用于小目标类别——自行车和摩托车的识别。如表2所示，自行车的分割准确率分别提升了14.2、18.6以及12.2、16.0个百分点。
Fig. 8 Qualitative comparison with RPVNet [^10], SPVCNN [^34], Cylinder3D [^37] on SemanticKITTI dataset. Segmentation errors are highlighted in red. Best viewed in colors
---
Fig. 9 Quantitative Comparison with RPVNet [^10] in Selected Small Target Class Segmentation Accuracy on the SemanticKITTI dataset. Segmentation errors are highlighted in red. Best viewed in colors
此外，在摩托车类别上，整体分割精度分别提升了1.7个百分点和1.5个百分点。这表明我们设计的GAN-Mix具备强大的横向可扩展性。
### 4.7 结果可视化
我们在图8中以可视化的方式展示了所提算法RPV-CASNet与现有先进算法在SemanticKITTI数据集上的分割结果。我们还给出了RPVNet $^{[10]}$在一些小目标类别上的分割结果，如图9所示，其中网络分割错误部分以红色标出。我们的网络性能甚至更优。
## 5 结论
本文提出了一种用于点云多视图融合中细粒度分割任务的新算法RPV-CASNet。该算法利用通道自注意力机制来融合范围视图、点视图以及体素视图这三种不同视图，以充分发挥它们的差异优势。
---
该算法通过交互式结构RPVLayer对这三种视图进行更精细的整合。RPVLayer包含两个关键设计：特征细化模块（FRM）和多粒度特征自注意力模块（MFGFSAM）。FRM能够对范围视图和体素视图进行更细粒度的分割，从而修正因映射和体素化操作引入的异常；而MFGFSAM则能够在单个注意力层内高效整合远距离区域特征并保留多尺度特征。此外，本文还引入了用于网络部署的动态特征金字塔提取器（DFPE），为范围视图提取丰富的多尺度特征。通过在两个公开的大型数据集上开展实验，我们验证了RPV-CASNet的高效性与可比性。
## 6 讨论
从表2到表3可以明显看出，我们的算法相较于大多数基于融合的先进方法具有明显优势，且取得了令人满意的性能。尤其值得指出的是，所提出的RPV-CASNet在SemanticKITTI数据集和nuScenes数据集上的mIoU性能与RPVNet [^10]非常接近，甚至在五个小目标类别上的精度还超过了RPVNet。这表明我们的网络在雷达点云数据的细粒度分割任务中表现优异。不过我们也意识到，后续研究中仍有不少挑战有待进一步探索。经过深入反思，我们确认自注意力机制在捕捉元素间的复杂依赖关系方面具有无可比拟的优势，尤其适用于点云数据。然而，在MFGFSAM中进行自注意力计算时，我们发现范围分支和体素分支中约三分之一的特征未被充分利用，这可能限制了网络的性能。因此，我们将继续探索新的高效融合机制来解决这一问题，相关成果即将问世。
致谢 特别感谢赵敏和王晨阳在实验过程中给予的宝贵帮助。此外，我要感谢蒋子泰富有洞见性的讨论。我还要感谢图像工程与模式识别研究实验室在提供必要实验设备方面的慷慨支持。最后，我要感谢所有为本论文做出贡献的审阅者。
作者贡献：李佳炯：方法论设计、软件开发、初稿撰写与编辑；王传旭：概念提出、经费申请；王晨阳：资源提供、文稿审阅；赵敏：文稿审阅；蒋子泰：文稿审阅。
经费支持：国家自然科学基金项目“复杂群体行为中行动要素建模与深度交互关系模型推断的关键问题研究”（编号61672305，排名第1/9）。
数据与资料获取：本研究生成并分析的数据可应合理请求向通讯作者索取。
## 声明
利益冲突：作者声明不存在利益冲突。
所用数据的伦理与知情同意：我们遵守所用数据相关的伦理与知情同意要求。
## 参考文献
[^1]: Choy CB, Xu D, Gwak J, Chen K, Savarese S (2016) 3d-r2n2: A unified approach for single and multi-view 3d object reconstruction. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part VIII 14, pages 628–644. Springer
[^2]: Qi CR, Yi L, Su H, Guibas LJ (2017) Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660
[^3]: Wang Y, Sun Y, Liu Z, Sarma SE, Bronstein MM, Solomon JM (2019) Dynamic graph cnn for learning on point clouds. ACM Transactions on Graphics (tog) 38(5):1–12
[^4]: Thomas H, Qi CR, Deschaud JE, Marcotegui B, Goulette F, Guibas LJ (2019) Kpconv: Flexible and deformable convolution for point clouds. In Proceedings of the IEEE/CVF international conference on computer vision, pages 6411–6420
[^5]: Xu C, Wu B, Wang Z, Zhan W, Vajda P, Keutzer K, Tomizuka M (2020) Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXVIII 16, pages 1–19. Springer
[^6]: Milioto A, Vizzo I, Behley J, Stachniss C (2019) Rangeneth++: Fast and accurate lidar semantic segmentation. In 2019 IEEE/RSJ international conference on intelligent robots and systems (IROS), pages 4213–4220. IEEE
[^7]: Cortinhal T, Tzelepis G, Erdal Aksoy E (2020) Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds. In Advances in Visual Computing: 15th International Symposium, ISVC 2020, San Diego, CA, USA, October 5–7, 2020, Proceedings, Part II 15, pages 207–222. Springer
[^8]: Ando A, Gidaris S, Bursuc A, Puy G, Boulch A, Marlet R (2023) Rangevit: Towards vision transformers for 3d semantic segmentation in autonomous driving. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5240–5250
[^9]: Liu Z, Tang H, Lin Y, Han S (2019) Point-voxel cnn for efficient 3d deep learning. Advances in Neural Information Processing Systems 32
[^10]: Xu J, Zhang R, Dou J, Zhu Y, Sun J, Pu S (2021) Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 16024–16033
## [^11]: Zhou Y, Sun P, Zhang Y, Anguelov D, Gao J, Ouyang T, Guo J, Ngiam J, Vasudevan V (2020) End-to-end multi-view fusion for
---
激光雷达点云中的3D物体检测。载于机器人学习会议论文集，第923–932页。PMLR。
[^12]: Wang Y, Fathi A, Kundu A, Ross DA, Pantofaru C, Funkhouser T, Solomon J (2020) Pillar-based object detection for autonomous driving. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXII 16, pages 18–34. Springer
[^13]: Liong VE, Nguyen TN, Widjaja S, Sharma D, Chong ZJ (2020) Amvnet: Assertion-based multi-view fusion network for lidar semantic segmentation. arXiv:2012.04934
[^14]: Zhang F, Fang J, Wah B, Torr P (2020) Deep fusionnet for point cloud semantic segmentation. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXIV 16, pages 644–663. Springer
[^15]: Gerdzhev M, Razani R, Taghavi E, Bingbing L (2021) Tornado-net: multiview total variation semantic segmentation with diamond inception module. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pages 9543–9549. IEEE
[^16]: Behley J, Garbade M, Milioto A, Quenzel J, Behnke S, Stachniss C, Gall J (2019) Semantickitti: A dataset for semantic scene understanding of lidar sequences. In Proceedings of the IEEE/CVF international conference on computer vision, pages 9297–9307
[^17]: Caesar H, Bankiti V, Lang AH, Vora S, Liong VE, Xu Q, Krishnan A, Pan Y, Baldan G, Beijbom O (2020) nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11621–11631
[^18]: Hertz A, Hanocka R, Giryes R, Cohen-Or D (2020) Pointgmm: A neural gmm network for point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12054–12063
[^19]: Yang X, Jin M, He W, Chen Q (2023) Pointcat: Cross-attention transformer for point cloud. arXiv:2304.03012
[^20]: Zhao H, Jiang L, Jiang J, Torr PH, Koltun V (2021) Point transformer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 16259–16268
[^21]: Guo MH, Cai JX, Liu ZN, Mu TJ, Martin RR, Hu SM (2021) Pct: Point cloud transformer. Computational Visual Media 7:187–199
[^22]: Yan X, Zheng C, Li Z, Wang S, Cui S (2020) Pointasnl: Robust point clouds processing using nonlocal neural networks with adaptive sampling. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5589–5598
[^23]: Puy G, Boulch A, Marlet R (2023) Using a waffle iron for automotive point cloud semantic segmentation. arXiv:2301.10100
[^24]: Lin J, Rickert M, Perzylo A, Knoll A (2021) Pctma-net: Point cloud transformer with morphing atlas-based point generation network for dense point cloud completion. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 5657–5663. IEEE
[^25]: Lai X, Liu J, Jiang L, Wang L, Zhao H, Liu S, Qi X, Jia J (2022) Stratified transformer for 3d point cloud segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8500–8509
[^26]: He C, Li R, Li S, Zhang L (2022) Voxel set transformer: A set-to-set approach to 3d object detection from point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8417–8427
[^27]: Mao J, Xue Y, Niu M, Bai H, Feng J, Liang X, Xu H, Xu C (2021) Voxel transformer for 3d object detection. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3164–3173
[^28]: Park C, Jeong Y, Cho M, Park J (2021) Efficient point transformer for large-scale 3d scene understanding
[^29]: Zhang C, Wan H, Shen X, Wu Z (2022) Pvt: Point-voxel transformer for point cloud learning. Int J Intell Syst 37(12):11985–12008
[^30]: Zhang C, Wan H, Shen X, Wu Z (2022) Patchformer: An efficient point transformer with patch attention. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11799–11808
[^31]: Hu Q, Yang B, Xie L, Rosa S, Guo Y, Wang Z, Trigoni N, Markham A (2020) Randla-net: Efficient semantic segmentation of large-scale point clouds. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11108–11117
[^32]: Zhou Y, Tuzel O (2018) Voxelnet: End-to-end learning for point cloud based 3d object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4490–4499
[^33]: Wang Z, Lu F (2019) Voxsegnet: Volumetric cnns for semantic part segmentation of 3d shapes. IEEE Trans Visual Comput Graphics 26(9):2919–2930
[^34]: Tang H, Liu Z, Zhao S, Lin Y, Lin J, Wang H, Han S (2020) Searching efficient 3d architectures with sparse point-voxel convolution. In European conference on computer vision, pages 685–702. Springer
[^35]: Park J, Kim C, Kim S, Jo K (2023) Pcscnet: Fast 3d semantic segmentation of lidar point cloud for autonomous car using point convolution and sparse convolution network. Expert Syst Appl 212:118815
[^36]: Zhang Y, Zhou Z, David P, Yue X, Xi Z, Gong B, Foroosh H (2020) Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9601–9610
[^37]: Zhu X, Zhou H, Wang T, Hong F, Ma Y, Li W, Li H, Lin D (2021) Cylindrical and asymmetrical 3d convolution networks for lidar segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9939–9948
[^38]: Cheng R, Razani R, Taghavi E, Li E, Liu B (2021) 2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12547–12556
[^39]: Li J, Liu Y, Yuan X, Zhao C, Siegwart R, Reid I, Cadena C (2019) Depth based semantic scene completion with position importance aware loss. IEEE Robotics and Automation Letters 5(1):219–226
[^40]: Kochanov D, Nejadasl FK, Booij O (2020) Kprnet: Improving projection-based lidar semantic segmentation. arXiv:2007.12668
[^41]: Jhaldiyal A, Chaudhary N (2023) Semantic segmentation of 3d lidar data using deep learning: a review of projection-based methods. Appl Intell 53(6):6844–6855
[^42]: Redmon J, Farhadi A (2018) Yolov3: An incremental improvement. arXiv:1804.02767
[^43]: Aksoy EE, Baci S, Cavdar S (2020) Salsanet: Fast road and vehicle segmentation in lidar point clouds for autonomous driving. In 2020 IEEE intelligent vehicles symposium (IV), pages 926–932. IEEE
[^44]: Cen J, Zhang S, Pei Y, Li K, Zheng H, Luo M, Zhang Y, Chen Q (2023) Cmdfusion: Bidirectional fusion network with cross-modality knowledge distillation for lidar semantic segmentation. IEEE Robotics and Automation Letters 9(1):771–778
[^45]: Cheng HX, Han XF, Xiao GQ (2023) Transrvnet: Lidar semantic segmentation with transformer. IEEE Transactions on Intelligent Transportation Systems
[^46]: Zhao L, Zhou H, Zhu X, Song X, Li H, Tao W (2023) Lif-seg: Lidar and camera image fusion for 3d lidar semantic segmentation. IEEE Transactions on Multimedia
[^47]: Du J, Huang X, Xing M, Zhang T (2023) Improved 3d semantic segmentation model based on RGB image and lidar point cloud fusion for automatic driving. Int J Automot Technol 24(3):787–797
## [^48]: Chen D, Zhuang M, Zhong X, Wu W, Liu Q (2023) Rspmp: Real-time semantic perception and motion planning for autonomous navigation of unmanned ground vehicle in off-road environments. Appl Intell 53(5):4979–4995
---
[^49]: Li M, Wang G, Zhu M, Li C, Liu H, Pan X, Long Q (2024) Dfamnet: dual fusion attention multi-modal network for semantic segmentation on lidar point clouds. Applied Intelligence, pages 1–12
[^50]: Chen R, Liu Y, Kong L, Zhu X, Ma Y, Li Y, Hou Y, Qiao Y, Wang W (2023) Clip2scene: Towards label-efficient 3d scene understanding by clip. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7020–7030
[^51]: Kong L, Liu Y, Chen R, Ma Y, Zhu X, Li Y, Hou Y, Qiao Y, Liu Z (2023) Rethinking range view representation for lidar segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 228–240
[^52]: Kong L, Liu Y, Li X, Chen R, Zhang W, Ren J, Pan L, Chen K, Liu Z (2023) Robo3d: Towards robust and reliable 3d perception against corruptions. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 19994–20006
[^53]: Ren S, Zhou D, He S, Feng J, Wang X (2022) Shunted self-attention via multi-scale token aggregation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10853–10862
[^54]: Li R, Li X, Heng PA, Fu CW (2020) Pointaugment: an auto-augmentation framework for point cloud classification. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 6378–6387
[^55]: Chen Y, Hu VT, Gavves E, Mensink T, Mettes P, Yang P, Snoek CGM (2020) Pointmixup: Augmentation for point clouds. In Computer Vision—ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part III 16, pages 330–345. Springer
[^56]: Xiao A, Huang J, Guan D, Cui K, Lu S, Shao L (2022) Polarmix: A general data augmentation technique for lidar point clouds. Adv Neural Inf Process Syst 35:11035–11048
[^57]: Kong L, Ren J, Pan L, Liu Z (2023) Lasermix for semi-supervised lidar semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21705–21715
[^58]: Li X, Zhang G, Pan H, Wang Z (2022) Cpgnet: Cascade point-grid fusion network for real-time lidar semantic segmentation. In 2022 International Conference on Robotics and Automation (ICRA), pages 11117–11123. IEEE
出版商声明：Springer Nature对于所发表地图中的管辖权声明及机构归属保持中立。
Springer Nature或其许可方（如学会或其他合作伙伴）根据与作者或其他权利持有者签订的出版协议，拥有本文的独家使用权；本文被接受手稿版本的作者自存档仅受此类出版协议条款及适用法律的约束。
李佳炯于2021年毕业于商丘工学院，获计算机科学与技术专业学士学位。他目前正于青岛科技大学信息科学与技术学院攻读硕士学位，研究方向为室外激光雷达数据分割。
王传旭在中国海洋大学获得博士学位，现任青岛科技大学教授、硕士生导师，主要研究方向为计算机视觉与模式识别。
王晨阳目前是青岛科技大学的硕士研究生，研究方向包括图像数据处理与分析、计算机视觉。
---
赵敏于2021年毕业于暨南大学，获通信工程专业学士学位。她目前正于青岛科技大学信息科学与技术学院攻读硕士学位，当前研究方向为计算机视觉与3D点云。
蒋子泰于2022年毕业于青岛科技大学信息科学与技术学院，获学士学位，现于该校攻读硕士学位，主要研究方向为计算机视觉与3D点云分割。