
# 基于多视角边缘引导与融合的智能车辆点云精确三维语义分割

刘燕 $^{ID}$、徐雷 $^{ID}$、胡伟明 $^{ID}$、陈雄、易波 $^{ID}$、毛秋 $^{ID}$、孔东 $^{ID}$、阮胜平

摘要—基于激光雷达的语义分割在无人地面系统的环境感知、路径规划与决策控制中发挥着重要作用。然而，在背景复杂的挑战性环境中，可行驶区域占比高且目标元素显著，给分割任务带来了严峻考验。现有研究虽试图解决这些问题，但仍面临类别间语义冲突、边缘分割不准确等难题。为有效应对这些挑战，我们专门定制了一种由多视角融合与多边缘引导驱动的可靠点云分割网络。具体而言，该网络的点云多视角距离图像视图（RIV）和鸟瞰图（BEV）编码骨干网络采用轻量级金字塔架构，以提取多尺度点云的特定细节与语义特征。随后，专用的多视角边缘引导模块分别针对RIV和BEV中的类别间边缘区分特征进行增强。这些特征会与编码骨干网络的层级结构相融合，同时借助新型混合边缘损失来监督边缘信息的提取，从而最大化语义分割结果与预测边缘之间的一致性。此外，我们还引入了基于多头注意力机制的多视角多尺度特征融合模块，以增强所提取特征的互补性与交互性。通过在自动驾驶领域广受认可的SemanticKITTI和RELLIS-3D数据集上开展的全面实验与消融研究证明：与典型的基线方法相比，我们的定制方法在交并比（IoU）精度和实时性指标方面均具备竞争力。

![Image](images/0f324d959217f4d8b4dcd60aee0f3aa4c16bd0fb9d8b0d40d81739c3149ade01.jpg)

关键词—三维语义分割、复杂环境理解、多边缘引导、多视角融合。

## 一、引言

### I. 引言

先进感知系统的复杂程度对于保障地面无人系统的鲁棒性并实现自主运行至关重要，尤其是在复杂且多变的道路环境中。在支撑无人系统全方位感知这一关键方面，准确可靠的环境理解具有极其重要的意义 [^1]。作为环境感知的核心组成部分，三维语义分割在解析高精度、全方位感知数据方面发挥着关键作用 [^2]，[^3]。它的功能类似于人眼，能够全面解析道路、障碍物、行人及其他关键要素的相关信息，进而从根本上提升地面无人系统的路径规划与决策控制能力 [^4]，[^5]，[^6]。

通常，全面的环境理解涉及基于视觉传感器和激光雷达传感器的语义分割研究。由于视觉图像易受天气和光照变化的影响，近年来基于激光雷达点云的三维语义分割逐渐受到广泛关注 [^7]。与二维图像相比，三维点云数据不仅能提供精确的环境几何距离信息，还能清晰地扫描并呈现

---

![Image](images/0dec9d4170f18213afe2296478156349eb6c3c8969bda719727b8113b579dde5.jpg)

<div style="text-align: center;">Fig. 1. BEV and RIV images generated by the point cloud projection produce different environmental structures and distributions. (a) Range image view of semantic point cloud projection. (b) Top view of semantic point cloud.</div>

场景中各元素之间的拓扑关系。此外，与视觉图像相比，点云数据对现实环境变化的适应性更强，且感知视野也更宽广。

目前，研究人员已采取多种措施来提升基于激光雷达的语义分割在环境应用中的效能。根据输入模型的点云格式，现有研究大致可分为三类：基于点的方法 [^8]、[^9]、[^10]；基于体素的方法 [^11]、[^12]、[^13]；以及基于投影的方法 [^14]、[^15]、[^16]、[^17]。基于点的方法虽展现出良好的效果，但在高效捕捉点邻域内的关系方面存在挑战，因此易受点云稀疏性的影响，导致边界模糊，最终造成精度下降和计算量增大。基于体素的方法则是利用各类下采样技术将三维点云转换为规则的三维体素或单元格，再结合三维稀疏卷积神经网络（CNN）对其进行编码。不过，体素化操作可能会加剧点云的稀疏性并损失关键信息。此外，随着数据量的增加，三维CNN的编码效率往往会降低。

二维CNN在视觉图像分割领域取得了显著成果，这得益于其出色的分割性能以及在轻量级结构下实现的实时处理能力。基于三维点云的分割方法从中汲取灵感，采用自上而下的投影或球形投影技术。这些技术将原始三维点云投影为鸟瞰图（BEV）或距离图像，为创新的点云处理方法开辟了新途径。如图1所示，通过不同投影方法生成的BEV和距离图像，会呈现出原始点云中不同的环境结构与分布特征。例如，通过点云投影得到的距离图像能够有效捕捉车辆、行人等物体在Z方向上的形状。但这种投影方式可能会将多个点映射到同一个像素位置，从而不可避免地丢失远处场景元素的信息。另一方面，采用下采样技术生成的BEV图像能够高效捕捉场景元素的分布与位置信息，尤其是在多元素密集的区域。这种视角能清晰呈现X-Y平面上各个元素的边界轮廓。尽管有这些优势，生成BEV图像时所用的下采样方法仍可能导致原始点云中的细节信息丢失。

为了弥补上述研究空白，近期点云语义分割方法的进展主要集中在多投影融合方面[^18]、[^19]、[^7]、[^20]，这已成为一个重要且热门的研究方向。然而，尽管学界认可多视角输入表示融合的优势，大多数研究仍主要侧重于在方法层面设计表面化的输入级或输出级融合策略。这些研究并未充分重视来自不同投影视角的特征之间的相互作用，因而未能深入探究多种输入表示之间内在的联系。与上述多视角方法最显著的不同在于：我们创新性地嵌入了多视角边界注意力引导模块，以进一步聚焦类间边界信息、增强类间边界区分特征，从而提高分割精度。

为有效解决上述研究空白，我们针对点云语义分割任务定制了多视角融合与边界引导驱动网络。首先，所提出的方法最大化利用了边缘线索，通过引入边缘损失来有效缓解类间分割元素中的边界模糊问题。其次，专门设计的多视角多层次特征融合模块能够从RIV和BEV两种视角提取互补特征与全局上下文信息。最后，借助所设计的混合边界损失，我们的方法能够实现基于三维点云的端到端高效且精确的语义分割。

综上所述，本工作的贡献如下所列。

为实现三维点云的高效精确语义分割，尤其是针对不同类别的分割，我们提出了一种多视角融合与边界引导驱动的分割网络。该网络充分利用了多视角的互补优势，通过设计多视角边界引导模块（BGM）来强化类间边界信息的重要性和上下文信息，从而使网络能够关注并权衡不同距离和高度的点云数据。据我们所知，这是首次将多视角边界指引与跨视角编码结构应用于多视角点云数据的融合，以完成环境理解任务。

我们设计了多视角BGM，并辅以边界损失，旨在提升边界线索对不同元素类别边界掩码分割的贡献。此外，我们还设计了跨视角模块——2026年9月11日 05:15:21 UTC源自IEEE Xplore，受相关限制约束。

---

该多尺度特征交互模块采用多头注意力机制，用以探索来自RIV和BEV视角的特征之间潜在的交互关系与上下文信息。它能够学习各通道特征的差异，从而增强稀疏及远距离点云的特征表征能力，以及类间点的区分能力。

我们在SemanticKITTI等广受认可的自动驾驶城市数据集以及非结构化场景数据集RELLIS-3D上开展了全面的对比实验与消融实验，涵盖了结构化与非结构化场景数据。实验结果表明，与其他基于投影、体素化等技术的代表性基线方法相比，我们定制的方法在IoU、实时性能等指标上均展现出竞争力。

### II. 相关工作

通常，根据点云表示形式的不同，现有的基于激光雷达的语义分割方法大致可分为以下三类：基于点的方法、基于体素的方法和基于投影的方法。

### A. 基于点的方法

目前，基于点的方法主要依赖点云本身的空间结构和拓扑关系来编码特征。直接作用于原始点云的方法可分为基于多层感知机（MLP）的方法和基于卷积神经网络（CNN）的方法。先驱性的PointNet算法[^21]采用带有最大池化操作的多层感知机，仅对每个点的表征进行编码。虽然PointNet能够高效地从单个点中提取特征，但它无法捕捉局部结构，因此在细节处理和复杂场景泛化方面的能力有限。作为PointNet的后续版本，PointNet++[^8]在一定程度上解决了其部分局限性。不过，其不均匀采样设计在点云密度多变的场景中容易引发问题，导致不同类别之间的边界分割模糊。此外，核点卷积（KPCConv）[^9]提出了一种全新的卷积技术，直接将邻近点作为输入；该方法利用少量具有空间自适应权重的核点来增强局部特征的提取能力。RandLA-Net[^22]采用随机点采样结合局部特征聚合设计，逐步扩大每个特征的感受野，从而有效保留更多几何细节。总体而言，上述基于点的方法面临着难以捕捉精细细节、实现精准边界分割以及推理速度较慢等挑战。具体而言，当面对点云稀疏且元素类别多样的复杂场景时，它们的性能往往不尽如人意。

### B. 基于体素的方法

基于体素的方法通常将原始点云转换为规则的网格或单元格，再利用三维卷积在每个体素内提取特征。以[^11]、[^12]和[^22]为代表的代表性工作将点云视为均匀分布的数据，将其划分为规则立方体以获得分割结果。然而，由于点云本身存在稀疏性、无序性和分布不均的特性，这些方法在处理室外点云密度变化问题时效果较差。Cylinder3D[^12]引入了圆柱体分割和非对称三维卷积技术来探究三维结构，同时保留了原始点云的稀疏性和密度变化等固有属性；此外，该方法还设计了逐点细化模块以减轻体素标签编码带来的干扰。SFD[^23]仅利用原始点云，通过区域建议网络（RPN）生成三维感兴趣区域（RoI），再利用稀疏卷积提取体素特征，从而取得良好的检测效果。UVTR[^24]将图像和雷达点云特征映射到体素空间中，并利用知识迁移实现特征交互，在单模态和多模态场景下均表现出优异的性能。BEVFusion则通过将雷达点云和图像表示为鸟瞰图（BEV）空间特征来实现多任务检测。

总之，基于体素的方法在三维点云中能够保留相对完整的几何和拓扑信息。不过，这些方法的性能取决于划分后的三维网格密度，而点云的固有稀疏性会对这一密度产生影响。此外，由于三维卷积涉及大量运算，要在实时处理与精度之间取得平衡依然颇具挑战性。

### C. 基于投影的方法

基于投影的方法可将三维点云投影到二维图像空间（如RV或BEV），再利用高效二维卷积神经网络提取特征，从而实现更好的实时性能。SqueezeSeg [^14] 采用了一种球面投影技术，将三维点云数据转换为二维距离图像，随后结合轻量级的SqueezeNet和条件随机场（CRF）[^25] 来完成分割任务。此外，SqueezeSegV2 [^26] 设计了上下文聚合模块，旨在从更广阔的感知视野中聚合上下文信息。SqueezeSegV3 [^15] 引入了空间自适应计算（SAC）结构，可动态调整输入和位置的权重，从而高效应对激光雷达图像中特征空间分布不均的情况，并提升计算效率。RangeNet++ [^27] 在SqueezeSeg [^14] 的基础上集成了Darknet，还提出了高效的K近邻（KNNs）后处理方法来进行点标签预测。SalsaNext [^16] 在继承SalsaNet [^28] 的编码器-解码器架构基础上，加入了上下文模块，并融合贝叶斯方法来计算每个点云的认知不确定性和偶然不确定性。

Meta-RangeSeg [^29] 提出了一种名为距离残差图像的新颖表示方式，旨在捕捉时空信息。这种表示有助于缓解二维距离图像坐标输入与三维笛卡尔坐标输出之间的不一致性问题。Lite-HDSeg [^30]

---

![Image](images/8c62a3baeaa819a407278b056d90a20c933449fc5c38c9e1ca9be124fa689e18.jpg)

<div style="text-align: center;">Fig. 2. Overall structure of the proposed network. One of the focuses is the multiview BGM, which guides the network to focus on interclass features. Another focus is the multiview feature-level fusion module, which improves the richness of features.</div>

该算法引入了三种不同的模块：类Inception的上下文模块、多类别空间传播网络和边界损失，通过集成这些模块实现了业界领先的性能。针对点云空间分布不均衡的问题，PolarNet [^8] 利用量化后的方位角和半径将点分配到网格单元中，进而设计圆形卷积来实现网格点云编码。

目前，已有利用多视角融合或多模态进行语义分割的研究[^31]、[^32]、[^33]。例如，AMVNet[^34]引入了点头机制，用以协调范围视图（RV）与鸟瞰图（BEV）分支在预测中的差异，从而提升整体分割精度。此外，部分研究[^7]、[^20]在编码和解码阶段分别独立处理BEV和RV数据，仅在输出阶段才进行融合。需要特别指出的是，无论点云投影操作生成的是RV还是BEV，这些视角都会不可避免地导致原始点云中重要信息的丢失。具体而言，RV生成过程可能会将多个原始三维点映射到图像中的同一个像素点，进而造成元素轮廓或边界的失真；而BEV生成过程则会压缩关于高度方向的信息，导致对Z轴方向特征的敏感度降低。因此，如何有效利用RV和BEV视角的互补优势，深入挖掘多视角下潜在特征的相关性，并实现多视角下的统一表征，是值得进一步探索和研究的重要方向。

### 三、方法论

考虑到点云范围图像视图（RIV）可能因投影时场景元素的遮挡而丢失远处目标的信息，以及点云BEV图像可能丢失目标的垂直方向信息这一缺陷，本文特意设计了一种多视角融合与多边界引导的点云语义分割网络，其结构如图2所示，旨在弥补不同投影视图中的上述信息损失并增强互补性。所提出的方法包含两个主要分支：BEV编码分支和RIV编码分支，且两者均辅以旨在突出类间边界信息的BGM模块。此外，还引入了多视角多级交互模块（MMIM），以实现两个分支之间的特征级深度融合。最后，专门设计了一种新的混合损失函数，以引导模型关注类间边界分割。

### A. 多视角边界引导模块

类间边界信息在语义分割任务中发挥着至关重要的作用，它能提供更精确的目标定位，并减少与相邻类别的混淆。优秀的类间边界引导能够改善分割结果，尤其是在分割灌木丛和植被等覆盖范围较广的类别时效果更为显著。受[^35]的启发，为了强调边界信息的重要性并减少冗余信息的干扰，我们引入了多视角BGM模块，以显著提升BEV和RIV分支中边界特征的有效性。具体而言，BGM根据输入通道将BEV和RIV分割成多个子图，并为每个子图赋予不同的权重。这些权重是通过计算子图与引导边界之间的相似性来确定的，从而突出边界效应。所设计的BGM整体结构如图3所示。

---

![Image](images/de9e4928beb3e0fb6876765e509a64c73e081e9716287ec3c471e0d9f1a1aedb.jpg)

<div style="text-align: center;">Fig. 3. Overall structure of the multiview BGM.</div>

边界效应。所设计的BGM整体结构如图3所示。

具体来说，首先通过卷积运算扩展点云投影图像的通道数。根据通道数的大小，将扩展后的图像分割成形状相同的N个子图像。接着利用边界预测头生成原始图像与这N个子图像之间的边界。由于边界图像是二值的，只能区分边界与非边界，因此采用豪斯多夫距离来衡量。该距离指标通过特定公式计算，用于评估真实边界与预测边界之间的最大差异，从而有效量化二者的相似程度。随后，通过softmax确定相似度值，为各个子图分配权重；权重越高，表明子图边界与实际边界越相似。这些权重会与对应的子图相乘得到加权子图，再将这些加权子图拼接后输入分支编码骨干网络。这种操作能够有效赋予高相似度子图更大的权重，从而在保留原始图像信息的同时突出边界特征。

 $$ d\left(\mathrm{T B},\mathrm{F B}\right)=\min_{\mathrm{t b}\in\mathrm{T B}}\left\|\mathrm{f b}-\mathrm{t b}\right\| $$

 $$ d\left(\mathrm{F B},\mathrm{T B}\right)=\min_{\mathrm{f b}\in\mathrm{F B}}\left\|\mathrm{t b}-\mathrm{f b}\right\| $$

 $$ Similarity=\frac{1}{max\left(d\left(TB,FB\right),d\left(FB,TB\right)\right)} $$

其中，TB和FB分别代表真实边界与子图边界，tb和fb分别表示TB和FB中的边缘像素。$max(d(TB, FB), d(FB, TB))$表示TB与FB之间的最大差异，因此我们取其倒数作为相似度。

### B. BEV编码分支

考虑到激光雷达传感器的特性——点云在近距离区域密度较高，而在远距离区域较为稀疏——传统笛卡尔划分方式难以实现对这种非均匀点云分布的均衡处理。为解决这一问题，我们采用了极坐标分割方法，该方法能够自然反映不同距离和角度下的点云分布，从而获得更均衡的表征。生成BEV图像后，将其输入BGM以强化边界信息。同时，我们利用带有最大池化操作的MLP来提取每个BEV网格的特征信息，从而无需手动设计特征。最终，将这两部分结果在通道层面进行拼接，再通过卷积运算恢复通道维度。

按照上述步骤，为了在兼顾分割精度与计算成本的前提下实现多尺度目标特征提取与分割，我们选用了34层的ResNet作为BEV主干分支的编码器。此外，解码器由上采样操作构成……

---

![Image](images/802d1372489b9e48061c92c422df3ffbcc6b493f3b775d5cbd7e85ee3844e556.jpg)

<div style="text-align: center;">Fig. 4. CA and ECA collaborative combination structure. It allows the network to focus more on the features that are most useful for the task, helps reduce redundant information, and improves the representation of the model.</div>

像素重排[^36]，并通过跳跃连接与前一个Transformer块的输出特征相融合。

### C. RIV编码分支

RIV编码分支的输入是通过以下投影公式对点云进行球面投影而得到的：

 $$ \binom{u}{v}=\binom{\frac{1}{2}\left[1-\tan^{-1}\left(y,x\right)\pi^{-1}\right]W}{\left[1-\left(\sin^{-1}\left(z,r^{-1}\right)+f_{\mathrm{u p}}\right)f^{-1}\right]H}. $$

首先，将投影得到的RIV图像输入到BGM中，以获取边界增强型RIV图像以及真实边界。同时，编码器-解码器架构与BEV分支保持一致，这既保证了计算时间与分割精度的平衡，又便于后续的多视角特征级深度融合。不过，由于近距离目标的遮挡效应，RIV图像对远距离目标不敏感。为解决这一局限，我们引入通道注意力（CA）机制，以便在整个范围内获取更精确的位置信息，从而提升模型对不同位置目标的关注度。此外，考虑到距离图像中不同通道包含的信息各异，我们还引入了高效通道注意力（ECA），以增强特征图之间的跨通道信息交换。CA与ECA的协同组合结构如图4所示，该结构通过在通道间引入注意力权重来减少冗余信息、优化模型表征能力，使网络能更专注于对任务最有帮助的特征。

### D. 多视角多级交互模块

由于点云在投影到RIV时会导致远距离目标被遮挡从而产生信息丢失，且投影到BEV时会丢失物体的高度信息，因此本文设计了MMIM来弥补多种投影下的信息损失，实现不同视角的优势互补。如图5所示，在MMIM中引入了多头注意力（MHA）机制，以实现RIV编码分支与BEV编码分支之间的有效特征级深度融合。具体而言，我们将BEV的特征图作为查询项，将RIV的特征图作为键和值；反之，我们以RIV的特征图作为查询项，

![Image](images/49727c33355fb14037e1195beff681739b77db7223612bcd203171ae53e38759.jpg)

<div style="text-align: center;">Fig. 5. Framework of multiview MMIM. It not only facilitates bidirectional information transfer between BEV and RIV feature maps at the feature level but also dynamically adjusts the weights of the features through the attention mechanism.</div>

以BEV的特征图作为键和值。上述操作通过多头注意力生成融合后的BEV图像和融合后的RIV图像。为了在效果与复杂度之间取得平衡，我们设置了三个注意力头，其数学描述见式5。多个注意力头的引入使模型能够关注不同尺度的信息，更好地捕捉多视角特征中的长距离依赖关系，从而弥补BEV与RIV图像之间的信息尺度差异。这进而提升了模型对不同场景中不同尺度物体的适应能力。

此外，多个注意力头的并行结构有助于从RIV和BEV两个视角捕捉局部与全局特征的互补性上下文信息。这种全面的特征挖掘与整合能够提升整体特征的丰富度与多样性。完成这些步骤后，融合后的特征图会被下采样，以匹配模型中下一层的输入尺寸。

 $$ \begin{aligned}head_{i}&=Attention\left(Q_{i},K_{i},V_{i}\right)\\&=softmax\left(\frac{Q_{i}K_{i}^{T}}{\sqrt{d_{k}}}\right)V\end{aligned} $$

 $$ \operatorname{MHA}\left(Q,K,V\right)=\operatorname{Concat}\left(head_{0},\operatorname{head}_{1},\ldots,\operatorname{head}_{H}\right) $$

其中，Q、K、V是通过全连接层从输入中得到的，B为位置信息，$d_{k}$ 表示K的维度大小，i为注意力头的数量，$head_{i}$ 代表单个注意力的输出。

上述特意设计的融合机制的优势在于，它有助于实现多层级特征上的跨模态信息传递，从而促进BEV特征图与RIV特征图之间的有效交互。此外，通过引入注意力机制来自适应、动态地调整特征权重，模型理解和捕捉BEV与RIV之间潜在相关关系的能力进一步增强，进而有助于提升模型的表达能力和泛化能力，提高点云分割的效果。

### E. 混合边缘度量损失

具体而言，本文利用真实语义分割结果来提取多视图点云投影图像的真实边缘。

---

首先，将不同标签的相邻像素确定为边界。其次，由于投影过程会导致信息丢失并影响边缘提取效果，本文采用形态学闭运算，即根据八个方向上的相邻像素类别来确定每个像素的标签，从而提升边缘的清晰度并获得真实边界$T_{B}$。鉴于边界信息在分割任务中发挥着重要作用，我们设计了一个轻量级的边界预测头（BPH），用于预测BEV和RV图像的边界信息。该BPH包含两层全连接层，每层之后均接入修正线性单元（RELU）激活函数以学习非线性特征；此外，还使用Dropout防止过拟合，并利用单通道卷积的输出来预测边界。BPH的输出类似于Canny算法的结果，是一幅二值图像。因此，为了有效捕捉BGM输出中预测边界与实际边界之间的差异，我们采用Dice损失作为边界损失。

$L_{et}$和P分别表示BEV分支和RV分支的边界预测结果，Tb和Tr则分别代表BEV和RV的真实边界。Dice损失的计算公式如下：

 $$ L_{b e v}=1-\frac{2|T_{b}\bigcap P_{b}|}{|T_{b}|+|P_{b}|} $$

 $$ L_{\mathrm{r v}}=1-\frac{2|T_{r}\bigcap P_{r}|}{|T_{r}|+|P_{r}|}. $$

同时，为确保模型能够兼顾点云的分割效果，本文采用Lovasz-softmax损失和交叉熵损失来表征实际点云与预测点云之间的差异性。具体公式如下，最终将这三种损失之和作为总损失：

 $$ L_{\mathrm{r b}}=\zeta_{\mathrm{l o v a s z}}\left(T_{p},P_{p}\right)+\zeta_{\mathrm{C E}}\left(T_{p},P_{p}\right) $$

 $$ Final~loss=L_{bev}+L_{rv}+L_{rb}. $$

### IV. 实验

### A. 数据集

SemanticKITTI数据集[^37]是自动驾驶领域广泛应用的大规模点云语义分割与场景理解基准数据集，它利用Velodyne HDL-64E激光雷达采集德国卡尔斯鲁厄这座中等规模城市中各类乡村区域和道路场景的数据。值得注意的是，我们选取了若干场景元素复杂的场景作为测试集，以展示分割效果。基于SemanticKITTI数据集的实验验证了所提方法在不同环境下的适应性。

RELLIS-3D数据集[^38]是为自动驾驶的越野环境语义分割任务而设计的。该数据集由德克萨斯A&M大学使用64通道Ouster OS1激光雷达采集而成，包含13556组原始三维点云数据、6235张图像及其对应的语义标签。点云数据被划分为训练集、验证集和测试集，分别包含7800组、2413组和3343组数据。需要注意的是，我们的实验仅使用14个标注类别进行训练和测试。

为了更全面地验证本文提出的模型，本文还使用了自行采集的真实车辆数据集。该数据来源于一辆配备Velodyne 32线激光雷达的车辆，采集场景为户外环境。

### B. 评估指标

平均交并比（mIoU）指标常用于评估点云语义分割任务。它通过对比预测标签与真实标签的重叠程度来衡量预测分割掩码的准确性。mIoU值是通过计算每一类别的交并比（IoU）得分，再对所有类别的得分取平均值得到的。实时性能评估指标为每秒帧数（FPS）。mIoU的计算公式如下：

 $$ \mathrm{IoU}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}+\mathrm{FN}} $$

 $$ \mathrm{mIoU}=\frac{1}{C}\sum_{c=1}^{C}\mathrm{IoU}_{c} $$

其中，TP、FP和FN分别代表真阳性点的数量、假阳性点的数量和假阴性点的数量，IoU表示类别c的交并比，C则表示类别的总数。

### C. 实现细节

我们提出的方法基于PyTorch实现，运行在搭载单块GeForce RTX 3090 GPU（24GB显存）的Ubuntu 20.04桌面系统上。我们在Semantic-KITTI、RELLIS-3D以及自行采集的真实车辆数据集上开展了全面实验。RV分支的输入维度被设置为$W = 2048$和$H = 64$，BEV分支的输入维度则被设置为$W = 320$和$H = 480$。模型采用随机梯度下降（SGD）优化器进行优化，动量参数和权重衰减参数分别设为0.9和0.001。初始学习率被设定为0.01，训练周期则延长至120个epoch。

### D. 对比实验验证

本节将我们的方法与一些极具竞争力的基线方法进行全面比较，这些基线方法包括基于点的方法、基于稀疏体素的方法、基于单投影的方法以及基于多视图的方法。

1) 在SemanticKITTI数据集上的对比：基于SemanticKITTI数据集，我们对所提方法与几种具有代表性的基线方法进行了全面对比，定量结果和定性结果分别如表I和图6所示。表I中的指标主要包括每一类别的IoU、mIoU以及单帧预测时间（包含数据预处理时间）。表中的行代表

---

<div style="text-align: center;">TABLE I COMPARISON WITH DIFFERENT REPRESENTATIVE BASELINE METHODS ON THE SEMANTICKITTI DATASET</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>FPS</td><td style='text-align: center; word-wrap: break-word;'>mIoU</td><td style='text-align: center; word-wrap: break-word;'>Road</td><td style='text-align: center; word-wrap: break-word;'>Parking</td><td style='text-align: center; word-wrap: break-word;'>Sidewalk</td><td style='text-align: center; word-wrap: break-word;'>Vegetation</td><td style='text-align: center; word-wrap: break-word;'>Terrain</td><td style='text-align: center; word-wrap: break-word;'>Truck</td><td style='text-align: center; word-wrap: break-word;'>Car</td><td style='text-align: center; word-wrap: break-word;'>Bicycle</td><td style='text-align: center; word-wrap: break-word;'>Motor</td><td style='text-align: center; word-wrap: break-word;'>Other-vehicle</td><td style='text-align: center; word-wrap: break-word;'>Person</td><td style='text-align: center; word-wrap: break-word;'>Building</td><td style='text-align: center; word-wrap: break-word;'>Fence</td><td style='text-align: center; word-wrap: break-word;'>Trunk</td><td style='text-align: center; word-wrap: break-word;'>Pole</td><td style='text-align: center; word-wrap: break-word;'>Traffic-sign</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cylinder3D [^12]</td><td style='text-align: center; word-wrap: break-word;'>5.6</td><td style='text-align: center; word-wrap: break-word;'>69.5</td><td style='text-align: center; word-wrap: break-word;'>93.2</td><td style='text-align: center; word-wrap: break-word;'>41.3</td><td style='text-align: center; word-wrap: break-word;'>79.6</td><td style='text-align: center; word-wrap: break-word;'>83.9</td><td style='text-align: center; word-wrap: break-word;'>63.0</td><td style='text-align: center; word-wrap: break-word;'>75.4</td><td style='text-align: center; word-wrap: break-word;'>95.4</td><td style='text-align: center; word-wrap: break-word;'>75.2</td><td style='text-align: center; word-wrap: break-word;'>53.0</td><td style='text-align: center; word-wrap: break-word;'>44.9</td><td style='text-align: center; word-wrap: break-word;'>73.3</td><td style='text-align: center; word-wrap: break-word;'>90.6</td><td style='text-align: center; word-wrap: break-word;'>60.9</td><td style='text-align: center; word-wrap: break-word;'>67.5</td><td style='text-align: center; word-wrap: break-word;'>65.4</td><td style='text-align: center; word-wrap: break-word;'>49.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SPVNAS [^19]</td><td style='text-align: center; word-wrap: break-word;'>3.9</td><td style='text-align: center; word-wrap: break-word;'>69.0</td><td style='text-align: center; word-wrap: break-word;'>91.7</td><td style='text-align: center; word-wrap: break-word;'>43.5</td><td style='text-align: center; word-wrap: break-word;'>74.9</td><td style='text-align: center; word-wrap: break-word;'>85.6</td><td style='text-align: center; word-wrap: break-word;'>63.7</td><td style='text-align: center; word-wrap: break-word;'>82.4</td><td style='text-align: center; word-wrap: break-word;'>96.0</td><td style='text-align: center; word-wrap: break-word;'>81.6</td><td style='text-align: center; word-wrap: break-word;'>40.3</td><td style='text-align: center; word-wrap: break-word;'>62.8</td><td style='text-align: center; word-wrap: break-word;'>65.2</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>56.7</td><td style='text-align: center; word-wrap: break-word;'>61.5</td><td style='text-align: center; word-wrap: break-word;'>60.8</td><td style='text-align: center; word-wrap: break-word;'>48.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PolarNet [^17]</td><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>54.3</td><td style='text-align: center; word-wrap: break-word;'>90.8</td><td style='text-align: center; word-wrap: break-word;'>61.7</td><td style='text-align: center; word-wrap: break-word;'>70.4</td><td style='text-align: center; word-wrap: break-word;'>84.0</td><td style='text-align: center; word-wrap: break-word;'>67.8</td><td style='text-align: center; word-wrap: break-word;'>22.9</td><td style='text-align: center; word-wrap: break-word;'>93.8</td><td style='text-align: center; word-wrap: break-word;'>40.3</td><td style='text-align: center; word-wrap: break-word;'>5.6</td><td style='text-align: center; word-wrap: break-word;'>28.5</td><td style='text-align: center; word-wrap: break-word;'>43.2</td><td style='text-align: center; word-wrap: break-word;'>40.3</td><td style='text-align: center; word-wrap: break-word;'>61.3</td><td style='text-align: center; word-wrap: break-word;'>65.5</td><td style='text-align: center; word-wrap: break-word;'>51.8</td><td style='text-align: center; word-wrap: break-word;'>57.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SalsaNext [^28]</td><td style='text-align: center; word-wrap: break-word;'>24</td><td style='text-align: center; word-wrap: break-word;'>65.6</td><td style='text-align: center; word-wrap: break-word;'>93.2</td><td style='text-align: center; word-wrap: break-word;'>38.9</td><td style='text-align: center; word-wrap: break-word;'>79.2</td><td style='text-align: center; word-wrap: break-word;'>83.8</td><td style='text-align: center; word-wrap: break-word;'>69.6</td><td style='text-align: center; word-wrap: break-word;'>38.9</td><td style='text-align: center; word-wrap: break-word;'>91.9</td><td style='text-align: center; word-wrap: break-word;'>79.6</td><td style='text-align: center; word-wrap: break-word;'>37.4</td><td style='text-align: center; word-wrap: break-word;'>45.5</td><td style='text-align: center; word-wrap: break-word;'>66.7</td><td style='text-align: center; word-wrap: break-word;'>85.2</td><td style='text-align: center; word-wrap: break-word;'>48.4</td><td style='text-align: center; word-wrap: break-word;'>60.3</td><td style='text-align: center; word-wrap: break-word;'>56.6</td><td style='text-align: center; word-wrap: break-word;'>47.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LENet [^39]</td><td style='text-align: center; word-wrap: break-word;'>26</td><td style='text-align: center; word-wrap: break-word;'>64.2</td><td style='text-align: center; word-wrap: break-word;'>92.4</td><td style='text-align: center; word-wrap: break-word;'>68.6</td><td style='text-align: center; word-wrap: break-word;'>78.2</td><td style='text-align: center; word-wrap: break-word;'>84.5</td><td style='text-align: center; word-wrap: break-word;'>69.1</td><td style='text-align: center; word-wrap: break-word;'>40.0</td><td style='text-align: center; word-wrap: break-word;'>93.9</td><td style='text-align: center; word-wrap: break-word;'>55.7</td><td style='text-align: center; word-wrap: break-word;'>48.6</td><td style='text-align: center; word-wrap: break-word;'>44.0</td><td style='text-align: center; word-wrap: break-word;'>67.4</td><td style='text-align: center; word-wrap: break-word;'>55.7</td><td style='text-align: center; word-wrap: break-word;'>68.8</td><td style='text-align: center; word-wrap: break-word;'>69.4</td><td style='text-align: center; word-wrap: break-word;'>59.7</td><td style='text-align: center; word-wrap: break-word;'>62.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GFNet [^40]</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>65.4</td><td style='text-align: center; word-wrap: break-word;'>93.6</td><td style='text-align: center; word-wrap: break-word;'>72.5</td><td style='text-align: center; word-wrap: break-word;'>80.8</td><td style='text-align: center; word-wrap: break-word;'>85.2</td><td style='text-align: center; word-wrap: break-word;'>69.3</td><td style='text-align: center; word-wrap: break-word;'>31.7</td><td style='text-align: center; word-wrap: break-word;'>96.0</td><td style='text-align: center; word-wrap: break-word;'>53.2</td><td style='text-align: center; word-wrap: break-word;'>48.3</td><td style='text-align: center; word-wrap: break-word;'>47.3</td><td style='text-align: center; word-wrap: break-word;'>62.8</td><td style='text-align: center; word-wrap: break-word;'>53.2</td><td style='text-align: center; word-wrap: break-word;'>73.9</td><td style='text-align: center; word-wrap: break-word;'>71.1</td><td style='text-align: center; word-wrap: break-word;'>61.8</td><td style='text-align: center; word-wrap: break-word;'>68.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMVNet [^34]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>65.3</td><td style='text-align: center; word-wrap: break-word;'>90.1</td><td style='text-align: center; word-wrap: break-word;'>71.0</td><td style='text-align: center; word-wrap: break-word;'>75.8</td><td style='text-align: center; word-wrap: break-word;'>85.6</td><td style='text-align: center; word-wrap: break-word;'>69.6</td><td style='text-align: center; word-wrap: break-word;'>48.8</td><td style='text-align: center; word-wrap: break-word;'>96.2</td><td style='text-align: center; word-wrap: break-word;'>59.9</td><td style='text-align: center; word-wrap: break-word;'>54.2</td><td style='text-align: center; word-wrap: break-word;'>45.7</td><td style='text-align: center; word-wrap: break-word;'>71.0</td><td style='text-align: center; word-wrap: break-word;'>59.9</td><td style='text-align: center; word-wrap: break-word;'>69.1</td><td style='text-align: center; word-wrap: break-word;'>71.7</td><td style='text-align: center; word-wrap: break-word;'>62.7</td><td style='text-align: center; word-wrap: break-word;'>67.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Method</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>68.6</td><td style='text-align: center; word-wrap: break-word;'>94.2</td><td style='text-align: center; word-wrap: break-word;'>72.3</td><td style='text-align: center; word-wrap: break-word;'>78.4</td><td style='text-align: center; word-wrap: break-word;'>86.2</td><td style='text-align: center; word-wrap: break-word;'>71.2</td><td style='text-align: center; word-wrap: break-word;'>43.4</td><td style='text-align: center; word-wrap: break-word;'>96.2</td><td style='text-align: center; word-wrap: break-word;'>58.4</td><td style='text-align: center; word-wrap: break-word;'>52.6</td><td style='text-align: center; word-wrap: break-word;'>49.1</td><td style='text-align: center; word-wrap: break-word;'>65.3</td><td style='text-align: center; word-wrap: break-word;'>59.3</td><td style='text-align: center; word-wrap: break-word;'>69.2</td><td style='text-align: center; word-wrap: break-word;'>71.4</td><td style='text-align: center; word-wrap: break-word;'>64.8</td><td style='text-align: center; word-wrap: break-word;'>68.6</td></tr></table>

![Image](images/00ccf4f1b7d5c24f9524d31d3fce34690b3a561c4e6a7bca092fdba384ea553c.jpg)

图6. 在SemanticKITTI数据集上与不同代表性基线方法的定性对比。

各种基线方法，包括基于点的方法、基于体素的方法Cylinder3D [^12]、SPVNAS [^19]，基于单视图投影的方法PolarNet [^17]、SalsaNext [^28]、LENet [^39]，以及基于多视图投影融合的方法GFNet [^40]、AMVNet [^34]，同时还包括我们所提方法的定量结果。

根据表I中的数据可知，我们提出的方法取得了68.6%的mIoU值，相较于单视图方法中表现最优的LENet [^39]，提升了4.4%。我们推测这一提升主要得益于多视图边界注意力引导与特征交互融合模块显著增强了

---

<div style="text-align: center;">TABLE II</div>

<div style="text-align: center;">COMPARISONS WITH DIFFERENT REPRESENTATIVE BASELINE METHODS ON THE RELLIS-3D DATASET</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>FPS</td><td style='text-align: center; word-wrap: break-word;'>mIoU</td><td style='text-align: center; word-wrap: break-word;'>Grass</td><td style='text-align: center; word-wrap: break-word;'>Tree</td><td style='text-align: center; word-wrap: break-word;'>Bush</td><td style='text-align: center; word-wrap: break-word;'>Mud</td><td style='text-align: center; word-wrap: break-word;'>Rubble</td><td style='text-align: center; word-wrap: break-word;'>Concrete</td><td style='text-align: center; word-wrap: break-word;'>Log</td><td style='text-align: center; word-wrap: break-word;'>Pole</td><td style='text-align: center; word-wrap: break-word;'>Water</td><td style='text-align: center; word-wrap: break-word;'>Vehicle</td><td style='text-align: center; word-wrap: break-word;'>Person</td><td style='text-align: center; word-wrap: break-word;'>Fence</td><td style='text-align: center; word-wrap: break-word;'>Barrier</td><td style='text-align: center; word-wrap: break-word;'>Puddle</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cylinder3D [^12]</td><td style='text-align: center; word-wrap: break-word;'>6.7</td><td style='text-align: center; word-wrap: break-word;'>45.6</td><td style='text-align: center; word-wrap: break-word;'>64.9</td><td style='text-align: center; word-wrap: break-word;'>76.5</td><td style='text-align: center; word-wrap: break-word;'>71.7</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>2.2</td><td style='text-align: center; word-wrap: break-word;'>80.4</td><td style='text-align: center; word-wrap: break-word;'>5.4</td><td style='text-align: center; word-wrap: break-word;'>63.7</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>50.3</td><td style='text-align: center; word-wrap: break-word;'>87.0</td><td style='text-align: center; word-wrap: break-word;'>11.8</td><td style='text-align: center; word-wrap: break-word;'>80.5</td><td style='text-align: center; word-wrap: break-word;'>33.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SPVNAS [^19]</td><td style='text-align: center; word-wrap: break-word;'>6.0</td><td style='text-align: center; word-wrap: break-word;'>42.6</td><td style='text-align: center; word-wrap: break-word;'>64.1</td><td style='text-align: center; word-wrap: break-word;'>76.0</td><td style='text-align: center; word-wrap: break-word;'>71.5</td><td style='text-align: center; word-wrap: break-word;'>8.5</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>70.0</td><td style='text-align: center; word-wrap: break-word;'>15.0</td><td style='text-align: center; word-wrap: break-word;'>54.4</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>48.5</td><td style='text-align: center; word-wrap: break-word;'>85.7</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>64.8</td><td style='text-align: center; word-wrap: break-word;'>22.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SalsaNext [^28]</td><td style='text-align: center; word-wrap: break-word;'>40</td><td style='text-align: center; word-wrap: break-word;'>42.5</td><td style='text-align: center; word-wrap: break-word;'>65.3</td><td style='text-align: center; word-wrap: break-word;'>79.6</td><td style='text-align: center; word-wrap: break-word;'>73.5</td><td style='text-align: center; word-wrap: break-word;'>11.5</td><td style='text-align: center; word-wrap: break-word;'>6.6</td><td style='text-align: center; word-wrap: break-word;'>77.8</td><td style='text-align: center; word-wrap: break-word;'>22.1</td><td style='text-align: center; word-wrap: break-word;'>44.2</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>26.6</td><td style='text-align: center; word-wrap: break-word;'>84.4</td><td style='text-align: center; word-wrap: break-word;'>13.2</td><td style='text-align: center; word-wrap: break-word;'>63.6</td><td style='text-align: center; word-wrap: break-word;'>26.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GFNet [^40]</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>43.6</td><td style='text-align: center; word-wrap: break-word;'>64.3</td><td style='text-align: center; word-wrap: break-word;'>76.4</td><td style='text-align: center; word-wrap: break-word;'>72.4</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>7.2</td><td style='text-align: center; word-wrap: break-word;'>73.5</td><td style='text-align: center; word-wrap: break-word;'>21.5</td><td style='text-align: center; word-wrap: break-word;'>49.8</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>34.4</td><td style='text-align: center; word-wrap: break-word;'>83.1</td><td style='text-align: center; word-wrap: break-word;'>12.6</td><td style='text-align: center; word-wrap: break-word;'>79.3</td><td style='text-align: center; word-wrap: break-word;'>24.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Baseline [^18]</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>44.6</td><td style='text-align: center; word-wrap: break-word;'>65.8</td><td style='text-align: center; word-wrap: break-word;'>79.0</td><td style='text-align: center; word-wrap: break-word;'>73.9</td><td style='text-align: center; word-wrap: break-word;'>12.9</td><td style='text-align: center; word-wrap: break-word;'>9.3</td><td style='text-align: center; word-wrap: break-word;'>77.2</td><td style='text-align: center; word-wrap: break-word;'>23.8</td><td style='text-align: center; word-wrap: break-word;'>50.4</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>27.9</td><td style='text-align: center; word-wrap: break-word;'>85.7</td><td style='text-align: center; word-wrap: break-word;'>12.9</td><td style='text-align: center; word-wrap: break-word;'>78.4</td><td style='text-align: center; word-wrap: break-word;'>23.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Baseline [^41]</td><td style='text-align: center; word-wrap: break-word;'>14</td><td style='text-align: center; word-wrap: break-word;'>44.5</td><td style='text-align: center; word-wrap: break-word;'>65.6</td><td style='text-align: center; word-wrap: break-word;'>79.3</td><td style='text-align: center; word-wrap: break-word;'>72.4</td><td style='text-align: center; word-wrap: break-word;'>10.4</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>73.8</td><td style='text-align: center; word-wrap: break-word;'>24.6</td><td style='text-align: center; word-wrap: break-word;'>50.4</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>32.4</td><td style='text-align: center; word-wrap: break-word;'>85.7</td><td style='text-align: center; word-wrap: break-word;'>13.2</td><td style='text-align: center; word-wrap: break-word;'>78.3</td><td style='text-align: center; word-wrap: break-word;'>24.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Method</td><td style='text-align: center; word-wrap: break-word;'>14</td><td style='text-align: center; word-wrap: break-word;'>44.8</td><td style='text-align: center; word-wrap: break-word;'>65.9</td><td style='text-align: center; word-wrap: break-word;'>79.7</td><td style='text-align: center; word-wrap: break-word;'>74.1</td><td style='text-align: center; word-wrap: break-word;'>11.2</td><td style='text-align: center; word-wrap: break-word;'>6.5</td><td style='text-align: center; word-wrap: break-word;'>77.4</td><td style='text-align: center; word-wrap: break-word;'>22.3</td><td style='text-align: center; word-wrap: break-word;'>52.3</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>28.2</td><td style='text-align: center; word-wrap: break-word;'>85.6</td><td style='text-align: center; word-wrap: break-word;'>13.3</td><td style='text-align: center; word-wrap: break-word;'>78.7</td><td style='text-align: center; word-wrap: break-word;'>23.1</td></tr></table>

大多数元素类别、可行驶区域以及车辆目标和树木等尺寸较大的目标类别的分割性能。

与代表性方法GFNet [^40]相比，所提出的方法在mIoU指标上提升了约3.2%。客观分析表明，这主要归功于我们设计的多尺度特征交互融合模块，该模块增强了多视角特征的互补性与上下文感知能力。此外，多视角边界引导机制有助于更好地聚焦类间边界特征，从而实现更清晰的边界分割。

与SalsaNext [^28]相比，我们所提出的方法使mIoU指标提升了约3%。这一提升得益于具有互补性的多视角边界引导机制，它改善了各类元素、可行驶区域以及车辆等较大目标的分割性能。在多视角编码分支中，点云的鸟瞰图保留了大型物体的轮廓空间信息，这有助于提升类间边界分割的清晰度。值得注意的是，Cylinder3D [^12]和SPVNAS [^19]也展现出了令人满意的分割精度，这得益于它们通过体素和点云融合来保留空间信息的能力。需要指出的是，这些方法之所以能取得更高的mIoU指标，主要是受环境中不常见元素类别的影响，这类元素仅占场景元素的很小一部分；而汽车、自行车、摩托车、电线杆和交通标志等重要的类别丰富的目标，并未对指标产生显著影响。

尽管与最优代表性方法Cylinder3D $^{[12]}$相比，我们所提出的方法使mIoU指标略微下降了约0.9%，但这主要是由于投影操作不可避免地会导致点云几何信息的丢失。此外，相较于计算成本更高的方法，我们所提出的方法有效实现了分割精度与实时性能之间的良好平衡，因此非常适合依赖点云的下游任务。总体而言，所提出的方法得益于多视角边界注意力引导模块，该模块能够更有效地编码类间边界特征；同时，多视角与多尺度特征的交叉融合旨在增强场景类别的上下文信息，从而改善可行驶区域、人行道和植被等关键目标的分割性能，而这些目标对于无人地面系统的感知至关重要。

2) 在RELLIS-3D数据集上的对比：为了进一步评估所提出方法在非结构化数据集上的有效性，我们选取了具有挑战性的RELLIS-3D数据集进行对比验证，用于比较的基线方法主要包括Cylinder3D [^12]、SPVNAS [^19]、SalsaNext [^28]等性能突出的代表性方法。

与SemanticKITTI不同，RELLIS-3D数据集主要采集非结构化场景的点云数据。对比的定量与定性结果分别如表II和图7所示。总体而言，由于非结构化环境背景较为复杂，参与对比的各种方法的性能均出现了不同程度的下降。

具体而言，我们提出的方法在mIoU和实时性指标（FPS）方面均取得了具有竞争力的性能。与依赖距离计算方法且表现最佳的基线模型SalsaNext [^28]相比，我们的方法在mIoU指标上提升了约2.3%，达到44.8%。此外，与其他基线模型（如SPVNAS [^19]）相比，所提方法在分割精度和实时效率方面也表现出令人满意的性能。值得注意的是，Cylinder3D [^12]在非结构化、复杂的越野场景中取得了最佳的mIoU指标，这主要得益于其对点云固有空间特性的有效保留。不过，尽管Cylinder3D的mIoU性能更优，但其推理时间约为我们所提方法的四倍。

---

![Image](images/846b73ec862b8ea2a76cdaa51597f86feb1705632098e15dbeaa0731edc96e63.jpg)

<div style="text-align: center;">Fig. 7. Qualitative comparison with different representative baseline methods on the RELLIS-3D dataset.</div>

值得注意的是，与Cylinder3D相比，我们提出的方法在分割草丛、树木和灌木等复杂的凸面场景元素时，mIoU分别提升了约1%、3.2%和2.4%。这一提升主要归功于所设计的BGM以及混合边界损失函数的共同作用，它们增强了对类间信息的关注。此外，对于电线杆、行人和围栏等具有更丰富垂直信息的目标，其分割性能也得到了改善。主要原因是在特征层面实现了BEV与RV之间的双向融合，从而减轻了BEV带来的垂直信息损失。从图7所示的局部放大图像中，可以明显看出我们方法出色的类间分割性能。

3) 真实车辆数据集上的对比实验：为了验证我们方法的泛化能力和鲁棒性，我们使用VLP-32C激光雷达传感器在真实车辆实验中进行了额外对比，该传感器的点云更为稀疏且数据分布不同。综合考虑分割结果，我们选择Cylinder3D和GFNet作为语义分割基准的代表性模型。

在图8中，我们可视化了这些方法在三种不同场景下的对比结果。结果表明，我们的方法能够更精确地分割物体和可行驶区域，具体来说，就是能识别出更完整的障碍物边缘（见红色圆圈内的橙色类别）以及更连续的路面（见红色圆圈内的紫色类别）。

4) 消融实验：为了进一步验证我们方法中各模块的贡献，我们在SemanticKITTI和RELLIS-3D数据集上开展了全面的消融实验。下文呈现的验证结果基于在上述数据集上训练的模型，所有消融实验均在相同的训练和测试环境下进行。

a) 融合策略的影响：为了证明我们提出方法的有效性，我们首先将其与RV单分支、BEV单分支以及双分支方法进行了对比，对比结果如图9所示。显然，与采用单分支的方法相比，我们的方法使mIoU提升了5.3%，而单分支方法使mIoU提升了5.9%。此外，与集成方法相比，我们的方法使mIoU提升了3.4%。这证实了BGM与专门的多视角特征级融合模块相结合，能够有效提升我们方法的性能。

b) 模块融合的效果：为确保消融实验的全面性，我们同样在RELLIS-3D数据集上对其进行了验证。具体而言，我们通过替换或删除网络的输入以及设计中的关键模块来进行消融实验，对比结果如表III所示：1）仅选择RIV输入的网络；2）仅选择BEV输入的网络；3）同时选择RIV和BEV输入的网络；4）删除边界引导模块后的网络；5）删除交叉变换模块后的网络。

---

![Image](images/f69cd2b11f7c7e8ec51e479c3520a0e59c1db4566997dc35311c472c698ebfb9.jpg)

<div style="text-align: center;">Fig. 8. Qualitative comparison with different representative baseline methods on the real vehicle dataset.</div>

![Image](images/f7710c73d61c9c959663dab9536fa8b01c508ce258e0873dd1923e0dc82bed55.jpg)

<div style="text-align: center;">Fig. 9. Results of ablation studies on SemanticKITTI for different input types (in %).</div>

如表III所示，与单视角输入的RIV方法相比，我们提出的方法在mIoU指标上提升了约2.4%。此外，引入BGM后mIoU提升了约0.6%，同时计算量增加了10.29 GFLOPs。这种提升主要归功于BGM与混合损失函数的协同效应，强化了模型对分割边界的关注度。加入MMIM模块后，mIoU提升了约0.5%，计算成本则额外增加12.2 GFLOPs。

<div style="text-align: center;">TABLE III</div>

<div style="text-align: center;">QUANTITATIVE EVALUATION OF ABLATION VALIDATION BASED ON THE RELLIS-3D DATASET</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>RV</td><td style='text-align: center; word-wrap: break-word;'>BEV</td><td style='text-align: center; word-wrap: break-word;'>BGM</td><td style='text-align: center; word-wrap: break-word;'>MMIM</td><td style='text-align: center; word-wrap: break-word;'>mIoU</td><td style='text-align: center; word-wrap: break-word;'>FLOPS(G)</td><td style='text-align: center; word-wrap: break-word;'>Time(ms)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>42.4</td><td style='text-align: center; word-wrap: break-word;'>121.05</td><td style='text-align: center; word-wrap: break-word;'>25</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>43.3</td><td style='text-align: center; word-wrap: break-word;'>129.96</td><td style='text-align: center; word-wrap: break-word;'>29</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>43.9</td><td style='text-align: center; word-wrap: break-word;'>140.25</td><td style='text-align: center; word-wrap: break-word;'>33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>43.8</td><td style='text-align: center; word-wrap: break-word;'>142.16</td><td style='text-align: center; word-wrap: break-word;'>35</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>44.8</td><td style='text-align: center; word-wrap: break-word;'>145.34</td><td style='text-align: center; word-wrap: break-word;'>39</td></tr></table>

与基线方法相比，这种提升主要源于MMIM促进了RIV与BEV之间的特征级融合，实现了信息交换并弥补了信息缺失。总体而言，与基线方法相比，我们提出的方法在mIoU指标上提升了约2.4%，而额外的计算成本仅为24.29 GFLOPs。

c) 远距离分割的效果：需要强调的是，考虑到激光雷达点云密度会随距离增加而降低，激光雷达扫描的长距离场景区域的分割性能尤为重要。图10所示的统计结果表明，我们提出的方法优于仅依赖单一视角的方案（RIV-single、BEV-single）。值得注意的是，MMIM利用多注意力机制有效地在特征层面探索并双向融合RIV与BEV的潜在特征，做出了重要贡献。

---

![Image](images/a79b9e6577de57a9037793bfdaa37a34c526461afefe8515f12115a8f684808f.jpg)

<div style="text-align: center;">Fig. 10. Statistics of segmentation performance presented by the method are presented based on the LiDAR scanning distance.</div>

从而提升性能。综上所述，全面的消融验证结果证实：我们提出的方法通过充分利用RIV与BEV之间的互补特征及潜在价值，辅以多视角融合和多边界注意力引导模块，最终提升了基于点云的语义分割性能。

## V. 结论

在本研究中，我们的主要目标是提升无人系统在复杂背景环境下的感知能力。为此，我们针对激光雷达点云的语义分割问题，设计了一种多视角、多边界、多层次的特征融合方法。首先，我们引入了多边界注意力引导模块，以增强对不同类别边缘信息的关注程度。其次，设计了多视角多层次特征交互模块，用以有效整合不同尺度特征的信息，并捕捉多视角特征间的远程依赖关系，这也有助于弥合鸟瞰图与径向图像之间的信息尺度差异。最后，我们构建了混合边界损失函数，以指导模型的训练与优化。通过在SemanticKITTI城市数据集和RELLIS-3D野外数据集上进行的全面验证实验，我们提出的方法在结构化与非结构化场景中均展现出了良好的性能。与采用不同点云输入的代表性基线方法相比，该方法在效率与精度之间取得了良好的平衡，凸显了其竞争力。在未来的研究中，我们将重点致力于提升小目标的分割精度，并解决因径向投影与鸟瞰图投影导致的点云信息丢失问题。

## 参考文献

[^1]: D. Omeiza, H. Webb, M. Jirotka, and L. Kunze, “Explanations in autonomous driving: A survey,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 8, pp. 10142–10162, Aug. 2022.

[^2]: D. Kong et al., “Explicit points-of-interest driven Siamese transformer for 3D LiDAR place recognition in outdoor challenging environments,” IEEE Trans. Ind. Informat., vol. 19, no. 10, pp. 10564–10577, Oct. 2023, doi: 10.1109/TII.2023.3240578.

[^3]: Q. Hu et al., “Learning semantic segmentation of large-scale point clouds with random sampling,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 11, pp. 8338–8354, Jul. 2021.

[^4]: H. Zhang, C. Liu, and W. Zhao, “Segmented trajectory planning strategy for active collision avoidance system,” Green Energy Intell. Transp., vol. 1, no. 1, Jun. 2022, Art. no. 100002.

[^5]: J. Ruan, H. Cui, Y. Huang, T. Li, C. Wu, and K. Zhang, “A review of occluded objects detection in real complex scenarios for autonomous driving,” Green Energy Intell. Transp., vol. 2, no. 3, Jun. 2023, Art. no. 100092.

[^6]: S. Xu, Q. Liu, Y. Hu, M. Xu, and J. Hao, "Decision-making models on perceptual uncertainty with distributional reinforcement learning," Green Energy Intell. Transp., vol. 2, no. 2, Apr. 2023, Art. no. 100062.

[^7]: Y. A. Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2021, pp. 1799–1808.

[^8]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Adv. Neural Inf. Process. Syst., vol. 30, 2017, pp. 1–10.

[^9]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas, "KPConv: Flexible and deformable convolution for point clouds," in Proc. IEEE/CVF Int. Conf. Comput. Vis., Jun. 2019, pp. 6411–6420.

[^10]: Q. Hu et al., “RandLA-Net: Efficient semantic segmentation of large-scale point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11108–11117.

[^11]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-end learning for point cloud based 3D object detection," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4490–4499.

[^12]: X. Zhu et al., “Cylindrical and asymmetrical 3D convolution networks for LiDAR-based perception,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 10, pp. 6807–6822, Oct. 2021.

[^13]: M. Ibrahim, N. Akhtar, S. Anwar, and A. Mian, “SAT3D: Slot attention transformer for 3D point cloud semantic segmentation,” IEEE Trans. Intell. Transp. Syst., vol. 24, no. 5, pp. 5456–5466, May 2023.

[^14]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2018, pp. 1887–1893.

[^15]: C. Xu et al., “SqueezeSegV3: Spatially-adaptive convolution for efficient point-cloud segmentation,” in Proc. 16th Eur. Conf. Comput. Vis. (ECCV), Glasgow, U.K. Cham, Switzerland: Springer, Aug. 2020, pp. 1–19.

[^16]: E. E. Aksoy, S. Baci, and S. Cavdar, “SalsaNet: Fast road and vehicle segmentation in LiDAR point clouds for autonomous driving,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 926–932.

[^17]: Y. Zhang et al., “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9601–9610.

[^18]: W. Xu, X. Li, P. Ni, X. Guang, H. Luo, and X. Zhao, “Multiview fusion driven 3-D point cloud semantic segmentation based on hierarchical transformer,” IEEE Sensors J., vol. 23, no. 24, pp. 31461–31470, Dec. 2023.

[^19]: H. Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 685–702.

[^20]: X. Li, G. Zhang, H. Pan, and Z. Wang, "CPGNet: Cascade point-grid fusion network for real-time LiDAR semantic segmentation," in Proc. Int. Conf. Robot. Autom. (ICRA), May 2022, pp. 11117–11123.

[^21]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 652–660.

[^22]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, "(AF)2-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 12542–12551.

## [^23]: X. Wu et al., “Sparse fuse dense: Towards high quality 3D detection with depth completion,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 5418–5427

---

[^24]: Y. Li, Y. Chen, X. Qi, Z. Li, J. Sun, and J. Jia, "Unifying voxel-based representation with transformer for 3D object detection," in Proc. Adv. Neural Inf. Process. Syst., 2022, pp. 18442–18455.

[^25]: J. Zhu, H. Huang, B. Li, and L. Wang, “E-CRF: Embedded conditional random field for boundary-caused class weights confusion in semantic segmentation,” 2021, arXiv:2112.07106.

[^26]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud,” in Proc. Int. Conf. Robot. Autom. (ICRA), May 2019, pp. 4376–4382.

[^27]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220.

[^28]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Proc. 15th Int. Symp. Visual Comput., San Diego, CA, USA. Cham, Switzerland: Springer, Oct. 2020, pp. 207–222.

[^29]: S. Wang, J. Zhu, and R. Zhang, "Meta-RangeSeg: LiDAR sequence semantic segmentation using multiple feature aggregation," IEEE Robot. Autom. Lett., vol. 7, no. 4, pp. 9739–9746, Oct. 2022.

[^30]: R. Razani, R. Cheng, E. Taghavi, and L. Bingbing, "Lite-HDSeg: LiDAR semantic segmentation using lite harmonic dense convolutions," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 9550–9556.

[^31]: W. Zhou, Y. Zhu, J. Lei, J. Wan, and L. Yu, "CCAFNet: Crossflow and cross-scale adaptive fusion network for detecting salient objects in RGB-D images," IEEE Trans. Multimedia, vol. 24, pp. 2192–2204, 2021.

[^32]: W. Zhou, S. Dong, J. Lei, and L. Yu, “MTANet: Multitask-aware network with hierarchical multimodal fusion for RGB-T urban scene understanding,” IEEE Trans. Intell. Vehicles, vol. 8, no. 1, pp. 48–58, Jan. 2023.

[^33]: X. Liu et al., “Deep transfer learning for intelligent vehicle perception: A survey,” Green Energy Intell. Transp., vol. 2, no. 5, Oct. 2023, Art. no. 100125.

[^34]: V. E. Liong, T. N. T. Nguyen, S. Widjaja, D. Sharma, and Z. J. Chong, “AMVNet: Assertion-based multi-view fusion network for LiDAR semantic segmentation,” 2020, arXiv:2012.04934.

[^35]: H. Ma, H. Yang, and D. Huang, “Boundary guided context aggregation for semantic segmentation,” 2021, arXiv:2110.14587.

[^36]: W. Shi et al., “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Dec. 2016, pp. 1874–1883.

[^37]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Aug. 2019, pp. 9297–9307.

[^38]: P. Jiang, P. Osteen, M. Wigness, and S. Saripalli, “RELLIS-3D dataset: Data, benchmarks and analysis,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 1110–1116.

[^39]: B. Ding, "LENet: Lightweight and efficient LiDAR semantic segmentation using multi-scale convolution attention," 2023, arXiv:2301.04275.

[^40]: H. Qiu, B. Yu, and D. Tao, "GFNet: Geometric flow network for 3D point cloud semantic segmentation," 2022, arXiv:2207.02605.

[^41]: P. Ni, X. Li, D. Kong, K. Wei, and Y. Hu, “Scene-adaptive 3-D semantic segmentation method based on multiphase edge enhancement for intelligent vehicles,” IEEE Sensors J., vol. 23, no. 24, pp. 31471–31482, Dec. 2023.
