原文
# 一种用于大规模点云语义分割的双投影方法
赵浩颖 $^{1}$ · 周爱民 $^{1}$
接收日期：2025年4月1日 / 在线发表日期：2025年5月4日
© 作者们，经Springer-Verlag GmbH Germany（施普林格·自然旗下公司）独家授权。
## 摘要
3D点云语义分割是提升自动驾驶平台高层感知能力的关键任务。基于投影的方法是一种高效手段，因为中心投影能够将稀疏的点云转换为密集的伪二维图像。但投影过程存在尺度失衡问题，会给远距离物体的识别带来挑战。我们采用平行投影来调整目标的分布与尺度，从而帮助神经网络更好地从远距离物体中提取信息。我们设计了一个联合训练与推理框架，将中心投影和平行投影的视角结合起来，以提升最终的分割效果。在SemanticKITTI验证集上，我们的方法mAcc达到89.7%，mIoU达到59.3%；在SemanticKITTI测试集上，mAcc为89.0%，mIoU为58.7%。实验表明，我们的方法在分割性能上表现优异，尤其针对远距离目标以及机动车、远距离路面、柱状结构等类别。
关键词 点云 · 语义分割 · 平行投影 · 自动驾驶系统
## 1 引言
语义分割在自动驾驶感知系统[^5] [^40]、机器人领域[^1]以及遥感领域[^38]受到了广泛关注。自动驾驶场景中的语义分割可视为大规模点云分割任务，因为其包含大量点且覆盖范围广。这种分割方式能够对整个场景进行语义解析，而非为每个语义类别生成预测位置框。这类分割技术是计算机视觉领域的基础任务。在自动驾驶场景中，激光雷达传感器生成的点云代表了车辆所处的环境，将这些点云分割成不同部分至关重要。基于深度学习的方法在计算机视觉领域取得了显著成果，因此将深度学习技术应用于解决点云语义分割难题是顺理成章的发展。
点云本身具有无序且不规则的特性，直接应用深度学习方法时会面临挑战。基于点的方法[12, 14, 17, 22–24, 28, 29, 37, 39]是早期的方法，但构建局部空间结构并提取局部与全局特征较为困难。由于点云缺乏局部几何结构，搜索邻近点并以固定权重匹配它们需要额外计算，还会导致精度损失。基于体素的方法[^10] [^19] [^51]将无结构点云投影到规则网格单元中，从而能够使用3D卷积神经网络。然而，随着体素分辨率的提高，模型的参数数量和推理时间也会显著增加。
基于投影的算法[11, 32, 33, 41–43]因其卓越的效率而备受关注。这些方法首先将点云投影到二维图像上，生成能够包含各点位置信息的伪图像。随后，利用二维神经网络对这些伪图像进行分割。不过，这类伪图像在远距离物体的尺度失衡和分布不规则方面存在显著问题。这是由于中心点投影方式导致的。
---
Fig. 1 Semantic segmentation results of SalsaNext [^11] and our approach on SemanticKITTI [^5]. The black boxes highlight the superior segmentation accuracy of our approach. Our method achieves satisfac-
车辆和远距离路面的分割结果存在差异。这种差异源于所采用的投影方法不同。
该方法在垂直方向上采用的投影方式会根据激光雷达扫描线的占用数量来压缩远距离物体的高度。此外，激光雷达的下俯角明显大于上仰角，导致伪图像主要由近处的地面占据，而远距离物体则往往集中在激光雷达图像的上部。
为解决上述局限，本文提出了一种新颖的双平行投影方法，并构建了联合训练与推理框架。我们提出在点云语义分割中运用平行投影技术。如图1所示，该方法缓解了近处路面过度占据场景的问题，从而实现了近距离与远距离物体之间更均衡的分布。这种均衡分布消除了与高度相关的尺度失衡问题。为了进一步增强上下文信息并优化邻域特征提取，我们设计了联合训练与推理策略，充分利用密集的中心投影数据和相对稀疏的平行投影数据的优势。如图1所示，我们称之为“ParallelNet”的模型在分割精度上表现更佳，尤其在车辆和远距离路面类别上效果显著。
总体而言，本文的主要贡献可概括如下：
1. 我们提出了一种新颖的ParallelNet模型，它同时利用平行投影和中心投影的数据，其中平行投影视角可作为中心投影方法在语义分割中的补充。
2. 我们设计的联合训练与预测方法充分利用了两种视角的优势，使得相对稀疏的平行投影视图能够被网络更好地学习。
## 2 相关工作
3D感知涉及物体检测[^13] [^25] [^46] [^47]和语义分割[^28] [^29]等复杂任务，这些任务要求计算机能够理解和解释环境中的3D信息。3D语义分割方法可分为三类：基于点的方法、基于投影的方法和基于体素的方法。
基于点的方法：基于点的方法通常采用最远点采样（FPS）[^29]或随机采样[^17]来进行下采样。这些方法利用KNN方法[^17]或球形邻域搜索[^29]来构建邻域空间。基于共享MLP的方法[^17] [^28] [^29]能够以各向同性的方式提取特征，而RandLA-Net还设计了空间编码来增强特征的区分度。有些方法采用位置感知卷积[^24] [^39]或图卷积[^27]来进行特征提取。Geosegnet[^7] [^20]则利用特征值特征和对比学习来解决边界问题。
基于体素的方法：由于激光雷达传感器只能扫描无遮挡物体表面的点，因此生成的点云在空间上非常稀疏。
---
由这些点云转换得到的体素也同样高度稀疏。MinkowskiNet[^10]引入了稀疏卷积来提高分割效率。Cylinder3D[^51]设计了一种新颖的空间划分方法，以确保每个块中的点分布均匀，并引入了新的非对称模块。SPVNAS[^36]采用神经架构搜索（NAS）来进一步提升网络性能。
基于投影的方法：基于投影的方法将3D点云投影到2D图像上，然后利用现有的2D CNN对伪2D图像进行分割。用于将3D点云投影到2D图像的主要投影技术包括中心投影[^41]、鸟瞰图（BEV）投影[^6]以及基于投影融合的混合技术。
许多方法仅使用中心投影。SqueezeSeg[^41]将中心投影纳入该方法中，随后采用由fire模块组成的网络来分割伪图像。CRF方法被用于优化分割结果。PointSeg[^15]在将球面图像投影回点云数据时采用了随机样本一致性（RANSAC）算法来去除异常值。在SqueezeSeg v2[^42]中，采用了较大的卷积核来扩大感受野。Geodesic Correlation Alignment的提出解决了域偏移问题。SqueezeSeg v3[^43]引入了SAC模块来处理伪图像中不均匀的特征。RangeNet++[^26]采用了改进的DarkNet骨干网络[^31]，并用基于GPU的计算取代了CRF。SalsaNext[^11]引入了空洞卷积和像素重排技术，以提升模型的准确性和效率。
其他方法也采用了BEV投影或混合方法。PolarNet [^49] 利用基于极坐标系的BEV来更好地建模点云中不平衡的空间分布。VolMap [^30] 利用BEV投影和体素化技术生成一种鸟瞰图，其中高度代表了不同的激光雷达层；这种体素地图被用作训练模型的输入，进而对点云进行分割。MPF [^2] 采用两个模型分别处理中心视图和BEV，再将它们的softmax概率合并以得到最终预测结果。MVLidarNet [^8] 首先基于中心投影图像生成预测结果，再将其投影到BEV上，借助特征金字塔网络进行特征学习。在FPS-Net中，每种图像模态都会经过融合网络和二维卷积网络的处理，并利用多感受野残差密集块（MRF-DB）来进行特征提取与聚合。
中心投影的图像密度较高，但存在尺度不平衡问题；而BEV虽然能实现尺度平衡，却过于稀疏。我们设计了一种斜向平行投影方法，既能够实现尺度平衡，又不会像BEV那样稀疏。此外，我们还设计了联合训练与推理技术，以提升神经网络的训练和推理能力。
我们选取合适的平行投影角度，再利用所设计的联合训练与推理框架将中心投影和平行投影相结合，从而实现针对分割目标的高精度分割效果。
## 3 方法
本文首次在自动驾驶语义分割领域引入平行投影技术，旨在解决尺度不平衡和分布不平衡问题。为了进一步挖掘密集的邻域信息与更丰富的模式，本文引入了联合训练与推理框架，使得来自不同视角的数据能够同时输入模型，进而提升模型的整体精度。实验表明，分割对象的分割精度得到了显著提升。
### 3.1 双投影方法
基于投影的算法最初会将点云投影到伪图像上，随后对这些伪图像进行语义分割。我们采用了两种投影方法：中心投影和平行投影，将其称为双投影方法。中心投影的优势在于投影后的图像密度高且遮挡较少，能够有效提取邻域信息；但近处和远处物体之间存在尺度不平衡问题，从小尺度物体中提取有用信息颇具挑战性。我们将在第3.1.1节介绍中心投影方法，在第3.1.2节介绍平行投影方法。我们对每个点云都应用这两种投影方式，从而生成两张不同的伪图像。
#### 3.1.1 中心投影方法
最常见的投影方法就是中心投影，它由激光雷达传感器扫描场景的方式决定，能够最大程度减少信息损失，提高投影点的密度并降低遮挡程度。
对于具有笛卡尔坐标的点$p = (x, y, z)$，通过中心映射$\mathbb{R}^3 \to \mathbb{R}^2$将其转换为二维坐标以形成距离图像。为了生成新的距离视图图像，原始激光雷达中的各个点$(x, y, z)$会被映射到图像坐标$(u, v)$上，具体过程如下：
$$ \begin{aligned}u&=\frac{1}{2}*\left(1-\frac{\arctan(\frac{y}{x})}{\pi}\right)*w\\v&=\left(1-\frac{\arcsin(\frac{z}{r})+f_{down}}{f_{up}+f_{down}}\right)*h\end{aligned} $$
---
Analysis on the Image Generated by Central Projection
Analysis on the Image Generated by Parallel Projection
Fig. 2 A comparison of central projection and parallel projection. We compare the two images generated using different projection methods in three different ways
其中，$(u, v)$ 表示图像坐标，$(h, w)$ 表示所需图像表示的高度和宽度。$f_{\mathrm{up}}$ 和 $f_{\mathrm{down}}$ 分别代表了传感器垂直视场的向上角度和向下角度。而 $r=\sqrt{x^{2}+y^{2}+z^{2}}$ 则表示每个点的范围。
该方法模拟了 360 度激光雷达的扫描过程。在高度方面，每束扫描光线会生成一个像素，从而有效减少了隐藏区域。远距离物体仅占用少量激光雷达光束，导致与距离相对应的高度压缩现象。如图 2 所示，大部分区域被投影为路面，因此很难分辨远处那些较小且密集分布的目标。此外，前景中相对较高的物体（如交通标志）会占据过多的空间。从侧视图观察可以发现，地面呈现出明显的形状，这是因为它与反正切函数相匹配。因此，采用倾斜中心投影并不能解决这种不平衡问题。所以，除了中心投影外，还需要一种新方法来应对这一问题。
#### 3.1.2 平行投影方法
本文提出了一种平行投影模块，旨在解决基于投影的点云语义分割问题中远距离物体分布不均和尺度差异的问题。
在本文中，我们直接采用了点云的圆形倾斜平行投影。为了生成新的倾斜平行投影图像，原始激光雷达中的各点 $(x, y, z)$ 会被映射到图像坐标 $(u, v)$，具体过程如下：
$$ \begin{aligned}u&=\frac{1}{2}*\left(1-\frac{\arctan(\frac{y}{x})}{\pi}\right)*w\\v^{\prime}&=r*sin\left(\arcsin\left(\frac{z}{r}\right)+\alpha\right)\\v&=\left(1-\frac{v^{\prime}-v^{\prime}_{min}}{v^{\prime}_{max}-v^{\prime}_{min}}\right)*h\end{aligned} $$
其中，$(u, v)$ 表示图像坐标，$(h, w)$ 表示所需图像表示的高度和宽度，$\alpha$ 表示旋转角度，$v'$ 表示中间坐标，$v'_{\mathrm{min}}$ 是 $v'$ 中的最小值，$v'_{\mathrm{max}}$ 是 $v'$ 中的最大值。而 $r = \sqrt{x^2 + y^2 + z^2}$ 则表示每个点的范围。这种投影坐标的转换过程如图 3 所示。
点云投影的方法有多种。例如，距离图像旨在最大限度地保留信息同时减少遮挡现象；而鸟瞰图（BEV）投影图像则用于保持物体的原始尺寸 [^35] [^48]，这种方法在物体检测中较为常见。BEV 投影也是一种平行投影，呈垂直方向。不过，如图 4 所示，投影图像往往显得非常稀疏，从而影响邻近信息的利用以及神经网络的处理效率。通常，为了达到良好的分割效果，需要增大 BEV 图像的投影尺寸。
在采用中心投影方法生成的距离图像中，远距离物体尺寸变小并集中在图像的上部区域，这给处理带来了挑战。
---
$$ u=\frac{1}{2}*(1-\frac{arctan(\frac{y}{x})}{\pi})*w $$
1. 生成 u 坐标。
2. 旋转 $\alpha$ 度。
$$ r=\sqrt{x^{2}+y^{2}+z^{2}} $$
$$ v^{\prime}=r*s i n(a r c s i n(\frac{z}{r})+\alpha) $$
1
3. 对 v 坐标进行归一化处理。
$$ v=(1-\frac{v^{\prime}-v_{m i n}^{\prime}}{v_{m a x}^{\prime}-v_{m i n}^{\prime}})*h $$
Fig. 3 Pipeline for calculating coordinates in the process of parallel projection
Fig. 4 Two samples of pseudo-images produced by BEV projection. The object scales in the pseudo-images are well balanced, but significantly sparse
神经网络分割。在鸟瞰图图像中，投影后所有点仅占据投影区域的30%。这种稀疏性使得维持较大的图像尺寸变得必要。此外，由于缺乏圆形投影，图像中各处的稀疏程度也有所不同。我们引入圆形倾斜平行投影方法，以解决点云数据固有的语义分割难题。该方法能够保留远处物体的尺度，并平衡近处与远处物体的分布。圆形视图投影还能缓和沿水平轴的稀疏梯度，其效果比鸟瞰图图像中观察到的要弱。
为了确定合适的角度，我们将2到30度的范围划分为50个区间，并计算投影伪图像的密度。如图5所示，我们选取能生成最密集投影伪图像的角度，即第8个角度——6.48度。若选取的角度过小，会遮挡远处物体；而角度过大则会导致远处物体数量过多，进而造成物体高度被压缩。更多
Fig. 5 Statistics of pseudo-image density at different angles. To preserve the density of the pseudo-image, we selected the 8th angle
此外，角度过大还会增加稀疏性，降低单位感受野内的信息量。
---
## 推理方法
Fig. 6 Proposed joint training and inferring framework
如图2所示，该投影方式使近景与远景的尺度保持一致，从而实现更均衡的物体分布。此外，整个图像中的信息内容也均匀分布，这有利于利用统一的卷积核进行学习。观察侧视图可知，地面呈线性轨迹，有效实现了均衡分布的目标。
### 3.2 联合训练与推理框架
我们设计了一种联合训练与推理框架，让网络能够利用两种视角，如图6所示。由于两种视角在水平方向上均采用中心环形投影，因此它们具有相似性。不过，中心投影在密度和物体邻近性方面更具优势，而平行投影则在保持尺度及实现分布均衡方面表现更佳。
我们提出了一种将这两种视角合并为批次中两个样本以供训练的方法。在数据加载器提取数据后，假设批次大小为b//2，我们进行两次投影，将其拼接得到批次大小为b的数据，再输入神经网络进行训练。与原始传感器采样角度相比，平行投影中使用新的投影角度会增加稀疏性。这种情况会给卷积神经网络的训练带来挑战，因为相邻信息会变得稀缺。为了增强对邻域信息的利用效果，我们在联合训练过程中加入了中心投影伪图像。
为了充分利用近景和远景视角的优势，我们为预测阶段的语义点云分割设计了一个联合推理框架。该框架会根据两点云的距离对其进行合并：具体而言，将中心投影得到的分割结果应用于近处点，而平行投影的分割结果则用于远处点。融合阈值设定为15毫秒，这一数值是基于经验得出的。根据传感器的俯仰角和偏航角可知，距离超过15毫秒的物体会出现明显的垂直压缩问题。由于激光雷达传感器投影的俯角较大，中心投影中的近处物体会呈现出更大的尺度并占据较大空间。采用基于距离的融合方式，我们便能有效发挥两种投影方法的优势。
实验结果表明，这种混合训练方法能够同时提升网络对近处和远处物体的分割能力。之所以有此效果，是因为中心投影生成的伪图像具有更密集的邻域和更丰富的信息。在预测阶段，中心投影得到的伪图像主要包含近处物体。这一固有特性使得混合预测方法能够充分借助两种投影方式带来的优势。
---
Table 1 Quantitative results on SemanticKITTI dataset
| Approach | Size | Car | Bicycle | Motorcycle | Truck | Other vehicles | Person | Bicyclist | Motorcyclist | Road | Parking |
| Point-wise | PointNet [^28] | 50K points | 46.3 | 1.3 | 0.3 | 0.1 | 0.8 | 0.2 | 0.2 | 0 | 61.6 | 15.8 |
| SPG [^22] | | 45.0 | 28.5 | 0.6 | 0.6 | 64.3 | 49.3 | 0.1 | 0.2 | 0.2 | 0.8 |
| PointNet++ [^29] | | 53.7 | 1.9 | 0.2 | 0.9 | 0.2 | 0.9 | 1.0 | 0.0 | 72 | 18.7 |
| SPGraph [^23] | | 68.3 | 0.9 | 4.5 | 0.9 | 0.8 | 1.0 | 6.0 | 0.0 | 49.5 | 1.7 |
| SPLATNet [^14] | | 66.6 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 70.4 | 0.8 |
| TangentConv [^37] | | 86.8 | 1.3 | 12.7 | 11.6 | 10.2 | 17.1 | 20.2 | 0.5 | 82.9 | 15.2 |
| RandLa-Net [^17] [^18] | | 94.2 | 26.0 | 25.8 | 40.1 | 38.9 | 49.2 | 48.2 | 7.2 | 90.7 | 60.3 |
| KPConv [^39] | | 96.0 | 30.2 | 42.5 | 33.4 | 44.3 | 61.5 | 61.6 | 11.8 | 88.8 | 61.3 |
| LG-Net [^50] | | 93.9 | 36.5 | 36.0 | 42.7 | 36.8 | 50.1 | 47.7 | 0.9 | 90.6 | 63.0 |
| Projection-based | SqueezeSeg [^41] | $64 \times 2048$ pixels | 68.3 | 18.1 | 5.1 | 4.1 | 4.8 | 16.5 | 17.3 | 1.2 | 84.9 | 28.4 |
| DarkNet21Seg [^5] | | 85.4 | 26.2 | 26.5 | 18.6 | 15.6 | 31.8 | 33.6 | 4.0 | 91.4 | 57.0 |
| DarkNet53Seg [^5] | | 86.4 | 24.5 | 32.7 | 25.5 | 22.6 | 36.2 | 33.6 | 4.7 | 91.8 | 64.8 |
| SqueezeSegV2 [^42] | | 81.8 | 18.5 | 17.9 | 13.4 | 14.0 | 20.1 | 25.1 | 3.9 | 88.6 | 45.8 |
| RangeNet++ [^26] | | 91.4 | 25.7 | 34.4 | 25.7 | 23.0 | 38.3 | 38.8 | 4.8 | 91.8 | 65.0 |
| PolarNet [^28] | | 93.8 | 40.3 | 30.1 | 22.9 | 28.5 | 43.2 | 40.2 | 5.6 | 90.8 | 61.7 |
| 3D-MiniNet [^3] | | 90.5 | 42.3 | 42.1 | 28.5 | 29.4 | 47.8 | 44.1 | 14.5 | 91.6 | 64.2 |
| SqueezeSegV3 [^43] | | 92.5 | 38.7 | 36.5 | 29.6 | 33.0 | 45.6 | 46.2 | 20.1 | 91.7 | 63.4 |
| LatticeNet [^33] | | 92.9 | 16.6 | 22.2 | 26.6 | 21.4 | 35.6 | 43.0 | 46.0 | 90.0 | 59.4 |
| MPF [^2] | | 93.4 | 30.2 | 38.3 | 26.1 | 28.5 | 48.1 | 46.1 | 18.1 | 90.6 | 62.3 |
| SalsaNext [^11] | | 91.1 | 44.0 | 40.3 | 38.3 | 32.8 | 58.5 | 59.4 | 19.9 | 91.2 | 61.6 |
| ParallelNet (ours) | | 92.2 | 46.1 | 40.3 | 37.5 | 33.7 | 60.2 | 60.1 | 18.0 | 91.5 | 62.0 |
---
Table 1 continued
| Approach | Size | Sidewalk | Other grounds | Building | Fence | Vegetation | Trunk | Terrain | Pole | Traffic sign | mIoU |
| Point-wise | PointNet [^28] | 50K points | 35.7 | 1.4 | 41.4 | 12.9 | 31.0 | 4.6 | 17.6 | 2.4 | 3.7 | 14.6 |
| SPG [^22] | | 48.9 | 27.2 | 24.6 | 0.3 | 2.7 | 0.1 | 20.8 | 15.9 | 0.8 | 17.4 |
| PointNet++ [^29] | | 41.8 | 5.6 | 62.3 | 16.9 | 46.5 | 13.8 | 30.0 | 6.0 | 8.9 | 20.1 |
| SPGraph [^23] | | 24.2 | 0.3 | 68.2 | 22.5 | 59.2 | 27.2 | 17.0 | 18.3 | 10.5 | 20.0 |
| SPLATNet [^14] | | 41.5 | 0.0 | 68.7 | 27.8 | 72.3 | 35.9 | 35.8 | 13.8 | 0.0 | 22.8 |
| TangentConv [^37] | | 61.7 | 9.0 | 82.8 | 44.2 | 75.5 | 42.5 | 55.5 | 30.2 | 22.2 | 35.9 |
| RandLa-Net [^17] [^18] | | 73.7 | 20.4 | 86.9 | 56.3 | 81.4 | 61.3 | 66.8 | 49.2 | 47.7 | 53.9 |
| KPConv [^39] | | 72.7 | 31.6 | 90.5 | 64.2 | 84.8 | 69.2 | 69.1 | 56.4 | 47.4 | 58.8 |
| LG-Net [^50] | | 74.2 | 19.1 | 90.6 | 62.3 | 84.6 | 64.1 | 69.7 | 51.5 | 55.0 | 56.3 |
| Projection-based | SqueezeSeg [^41] | $64 \times 2048$ pixels | 54.7 | 4.6 | 61.5 | 29.2 | 59.6 | 25.5 | 54.7 | 11.2 | 36.3 | 30.8 |
| DarkNet21Seg [^5] | | 74.0 | 26.4 | 81.9 | 52.3 | 77.6 | 48.4 | 63.6 | 36.0 | 50.0 | 47.4 |
| DarkNet53Seg [^5] | | 74.6 | 27.9 | 84.1 | 55.0 | 78.3 | 50.1 | 64.0 | 38.9 | 52.2 | 49.9 |
| SqueezeSegV2 [^42] | | 67.6 | 17.7 | 73.7 | 41.1 | 71.8 | 35.8 | 60.2 | 20.2 | 36.3 | 39.7 |
| RangeNet++ [^26] | | 75.2 | 27.8 | 87.4 | 58.6 | 80.5 | 55.1 | 64.6 | 47.9 | 55.9 | 52.2 |
| PolarNet [^28] | | 74.4 | 21.7 | 90.0 | 61.3 | 84.0 | 65.5 | 67.8 | 51.8 | 57.5 | 54.3 |
| 3D-MiniNet [^3] | | 74.5 | 25.4 | 89.4 | 60.8 | 82.8 | 60.8 | 66.7 | 48.0 | 56.6 | 55.8 |
| SqueezeSegV3 [^43] | | 74.8 | 26.4 | 89.0 | 59.4 | 82.0 | 58.7 | 65.4 | 49.6 | 58.9 | 55.9 |
| LatticeNet [^33] | | 74.1 | 22.0 | 88.2 | 58.8 | 81.7 | 63.6 | 63.1 | 51.9 | 48.4 | 52.9 |
| MPF [^2] | | 74.5 | 30.6 | 88.5 | 59.7 | 83.5 | 59.7 | 69.2 | 49.7 | 58.1 | 55.5 |
| SalsaNext [^11] | | 74.8 | 25.9 | 86.2 | 56.8 | 79.6 | 61.1 | 64.2 | 52.9 | 61.7 | 57.9 |
| ParallelNet(ours) | | 75.5 | 27.8 | 87.1 | 57.6 | 80.7 | 63.6 | 65.1 | 54.8 | 61.9 | 58.7 |
粗体文本代表每个类别（列）中性能最优的模型。
---
Fig. 7 Qualitative results of our method on SemanticKITTI dataset (valid). The black boxes highlight the superior segmentation accuracy of our approach
### 3.3 网络架构
我们采用了类UNet的全卷积神经网络。每个样本的输入尺寸为$2048 \times 64 \times 5$，包含x、y、z、距离和反射率共5个维度。伪图像是通过原始点云投影生成的。这个五阶段网络会依次进行下采样，最终得到的特征尺寸分别为$512 \times 32$、$256 \times 16$、$128 \times 8$和$64 \times 4$。各特征阶段的通道数分别为32、64、128、256和256。在下采样过程中，每个卷积阶段之后我们都会应用dropout [^16]。此外，在上采样阶段，我们利用pixel shuffle [^34]来放大尺度。我们的网络结构遵循经典的基于投影的点云语义分割网络框架，即SalsaNext [^11]。
## 4 实验
为了验证我们所设计的投影方法的有效性以及训练预测框架的效率，我们在SemanticKITTI数据集[^5]上开展了实验。
---
此外，我们还通过消融实验来评估各个模块的影响。
### 4.1 数据集
SemanticKITTI数据集：SemanticKITTI [^5]是基于知名的KITTI视觉基准开发的，该基准涵盖了复杂的户外交通场景。它包含22个立体序列的点云数据，共有433,552个标注精细的激光雷达扫描样本，这些扫描是用Velodyne HDL-64E激光雷达采集的，每个扫描样本约含139k个点。每个扫描样本都是大规模点云，包含约$10^5$个点，在真实3D空间中覆盖的范围可达$160 \times 160 \times 20$毫秒。原始的3D点仅包含三维坐标，没有颜色信息，且被精确标注为19个语义类别。官方指定的序列00至07以及09至10（共19,130个扫描样本）用于训练，序列08（4,071个扫描样本）用于验证，序列11至21（20,235个扫描样本）用于在线测试。
### 4.2 实现细节
我们提出的方法基于PyTorch深度学习框架实现。实验平台是一台配备Intel (R) Core (TM) i7-12700KF @3.6 GHz CPU、NVIDIA GeForce RTX 3090ti GPU以及预装Linux系统的工作站。所有实验均采用单卡训练方式开展。本文中，模型优化的算法选用SGD，共训练150个周期。初始学习率被设置为$10^{-2}$，经过150个周期后学习率会衰减至$10^{-4}$。
### 4.3 评估指标
由于3D语义分割问题本质上属于点级分类任务，我们首先介绍一个重要的概念——混淆矩阵，如表1所示。混淆矩阵会根据预测结果与真实标签之间的关系，将结果划分为四类。
其中，真阳性（TP）指的是被正确预测的点数；而假阳性（FP）和假阴性（FN）则分别是被错误预测的点数。前者意味着预测结果将该点判定为属于特定类别，但真实标签显示该点并不属于该类别；后者则恰好相反。基于上述知识，我们将介绍两种在语义分割领域应用广泛的指标：平均准确率（mAcc）和平均交并比（mIoU）。准确率是评估分类任务的基础指标。通俗来讲，准确率就是模型正确预测的数量占总预测数量的比例，其计算方法为正确预测数除以总预测数。由于我们的任务
Table 2 Quantitative results on SemanticKITTI dataset for dual projection method
| Approach | Car | Bicycle | Motorcycle | Truck | Other vehicles | Person | Bicyclist | Motorcyclist | Road | Parking | Sidewalk | Other grounds | Building | Fence | Vegetation | Trunk | Terrain | Pole | Traffic sign | mAcc | mIoU |
| Single_view1 | 91.4 | 38.4 | 46.8 | 71.6 | 54.7 | 63.7 | 75.3 | 0.0 | 93.5 | 41.5 | 78.7 | 0.3 | 84.5 | 49.7 | 83.9 | 60.8 | 68.9 | 56.1 | 46.3 | 89.5 | 58.5 |
| Single_view2 | 85.6 | 32.9 | 31.4 | 63.1 | 34.9 | 57.3 | 66.4 | 0.0 | 86.8 | 28.7 | 69.2 | 0.9 | 85.9 | 44.2 | 81.0 | 56.1 | 62.7 | 47.9 | 43.3 | 86.2 | 51.5 |
| Fusion_view1 | 90.4 | 36.2 | 45.3 | 68.5 | 34.6 | 60.0 | 70.5 | 0.0 | 93.8 | 43.6 | 79.6 | 0.4 | 85.0 | 44.7 | 83.2 | 61.8 | 67.2 | 58.1 | 47.2 | 89.1 | 56.3 |
| Fusion_view2 | 86.7 | 31.1 | 29.5 | 65.1 | 41.2 | 57.9 | 62.1 | 0.0 | 87.1 | 34.5 | 68.5 | 0.2 | 86.3 | 42.9 | 82.7 | 60.3 | 65.2 | 52.8 | 46.2 | 86.9 | 52.6 |
| Hybrid | 92.2 | 39.7 | 47.1 | 78.4 | 54.4 | 66.5 | 77.1 | 0.0 | 93.9 | 43.1 | 79.4 | 0.4 | 85.8 | 48.6 | 84.1 | 62.7 | 68.8 | 57.4 | 47.1 | 89.7 | 59.3 |
加粗文本代表每个类别（列）中性能最优的模型。
---
Fig. 8 A comparison of segmentation accuracy and mIoU for different views across 5 distance segments
$$ mAcc=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_{c}}{TP_{c}+FP_{c}} $$
属于多类语义分割问题，因此我们按照如下方式计算每类的平均准确率：
其中C为类别总数，$TP_{c}$和$FP_{c}$分别对应类别索引c下的真阳性和假阳性数值。
$$ \mathrm{mIoU}=\frac{1}{C}\sum_{c=1}^{C}\frac{\mathrm{TP}_{c}}{\mathrm{TP}_{c}+\mathrm{FP}_{c}+\mathrm{FN}_{c}} $$
由于平均准确率忽略了假阴性部分，无法全面反映模型性能。为解决这一缺陷，人们提出了平均交并比指标以实现更全面的对比：它实际上是预测结果与真实标签的重叠点数除以两者并集的点数。3D平均交并比的公式定义如下：
其中$FN_c$为类别索引c下的假阴性数值，其余部分与平均准确率的定义一致。mAcc和mIoU的取值范围均为[^0] [^1]。
表1展示了所提方法以及现有最先进方法在SemanticKITTI数据集上的定量结果。为了进行更公平的比较，本研究中的结果均未采用测试时增强技术。除了基于投影的方法外，我们还对比了基于点的方法。虽然基于点的方法参数更少、网络规模更小，但它们缺乏空间结构，这降低了这类方法的效率。在基于点的方法中，为各层构建空间结构并匹配权重需要消耗更多计算资源。尽管交通环境存在复杂场景带来的挑战，但我们提出的名为“ParallelNet”的网络仍能有效识别语义标签。从表中可以明显看出，我们的
### 4.4 实验结果
该方法在所有此类方法中取得了58.7%的最高mIoU值。在19个类别中，我们有7个类别的性能优于其他先进且可靠的方法，而在其余类别中的表现则与这些方法相当。这一显著成果归功于该方法在近景和远景物体之间实现了更均衡的分布。
值得注意的是，我们的算法在摩托车和行人类别中均取得了不错的结果。在人行道、电线杆和交通标志等类别中也观察到了性能提升。车辆和行人类别的样本量相对较小，但由于投影伪图像中分布不均，对远处车辆和行人的分割颇具挑战性。平行投影通过让这些较小的远距离类别占据更多空间来解决这一问题，从而提升了分割指标。同样，对于电线杆和人行道而言，投影伪图像中的高度压缩会导致形状难以辨认；利用平行投影来恢复高度，就能在这些情况下提高分割精度。
对于建筑物和植被等类别，由于它们本身尺寸较大，即使经过高度压缩仍能占据较多空间，因此该方法并未展现出明显优势。
通过对比表1中表现较好的基于点的方法，我们发现我们的方法在分割自行车、摩托车、骑自行车的人、电线杆和交通标志等较小物体时具有优势。这种优势可能源于较小物体在三维点云空间中因形状特征不鲜明而更难区分；而在投影空间中，数据更密集，形状也更容易辨识。不过，我们的方法在道路和地形等较大类别上的表现并不理想。这可能是因为原始坐标在三维空间中保存得更完整，平面表面更易识别，而在二维投影空间中，平面结构会被拉伸，难以辨认。
图7展示了该方法在验证集上的定性结果。如黑框内所示，
---
Fig. 9 A comparison of segmentation accuracy and mIoU for different views across 5 distance segments in representative categories
---
我们的模型能够在复杂的真实场景中区分汽车和卡车。此外，远处的建筑物由于可见性更佳，分割效果也更好。远处的路边区域也更容易被识别，例如停车场不再被误分类为道路。道路上行人的分割效果也得到了改善。
此外，2DPass和KPR-Net等方法在投影后会利用多模态特征。KPRNet探索了多种结合不同数据模态的方式，而不仅仅是局限于二维方法；2DPass则利用知识蒸馏来学习二维模型提取的特征。RangeViT、TransRVNet和Rangeformer等方法都借助Transformer来处理伪图像，但随之而来的是参数数量、内存占用和FLOPs的显著增加。这些方法通常采用更大规模的模型或融合多个模型，从而导致更高的资源消耗或对不同数据模态的利用程度更高。
此外，诸如2DPASS [^45]和RPVNet [^44]等一些方法会在投影后利用多模态特征。RPVNet [^44]探索了多种结合不同数据模态的方式，而不仅仅局限于二维方法；2DPass [^45]则采用知识蒸馏技术来学习由二维模型提取的特征。RangeViT [^4]、TransRVNet [^9]以及Rangeformer [^21]等方法均利用Transformer来处理伪图像。不过，这些方法会导致参数数量、内存占用以及FLOPs显著增加。这类方法通常采用更大规模的模型或多模型融合的方式，进而消耗更多资源或充分利用不同的数据模态。
### 4.5 架构设计分析
在本小节中，我们开展了以下分析，以验证我们方法中各个组件的有效性。我们考察了双投影方法、投影角度的选择以及混合方法对分割结果的影响。所有消融实验均在SemanticKITTI验证集上进行，采用的评估指标为mIoU（平均交并比）和准确率。
#### 4.5.1 双投影方法分析
我们利用SemanticKITTI数据集，在10个不同的距离处计算mIoU和准确率。为便于表述，我们将中心投影生成的伪图像记为“view1”，将平行投影生成的伪图像记为“view2”。表2展示了在view1、view2以及混合视图上训练的模型的对比结果。
SemanticKITTI数据集的最大有效距离为50米，我们将这一距离划分为10个等长的区间。
Table 3 Quantitative results on SemanticKITTI dataset for different projection angles
| Approach | Car | Bicycle | Motorcycle | Truck | Other vehicles | Person | Bicyclist | Motorcyclist | Road | Parking | Sidewalk | Other grounds | Building | Fence | Vegetation | Trunk | Terrain | Pole | Traffic sign | mAcc | mIoU |
| Single_degree2 | 80.8 | 24.8 | 27.8 | 42.7 | 34.3 | 42.3 | 56.5 | 0.0 | 82.9 | 25.4 | 63.3 | 1.9 | 81.4 | 43.4 | 78.3 | 47.0 | 60.2 | 36.9 | 40.4 | 83.6 | 45.8 |
| Single_degree5 | 82.8 | 28.8 | 33.8 | 12.6 | 42.3 | 45.9 | 60.0 | 0.0 | 85.0 | 34.0 | 66.2 | 0.9 | 82.4 | 35.9 | 78.0 | 47.3 | 63.4 | 36.7 | 39.8 | 86.2 | 46.1 |
| Single_degree8 | 85.2 | 28.8 | 22.7 | 17.5 | 36.8 | 44.2 | 60.7 | 0.0 | 86.6 | 32.8 | 67.7 | 1.9 | 83.0 | 38.4 | 80.2 | 49.2 | 65.6 | 42.0 | 40.6 | 85.6 | 46.5 |
| Single_degree11 | 85.0 | 25.6 | 23.4 | 17.4 | 27.4 | 42.4 | 56.0 | 0.0 | 86.1 | 32.2 | 67.0 | 1.5 | 82.1 | 34.4 | 78.4 | 48.4 | 64.2 | 39.0 | 39.8 | 84.6 | 44.8 |
加粗文本代表每个类别（列）中表现最佳的模型。
---
Fig. 10 A comparison of segmentation accuracy and mIoU for different projection angles across 5 distance segments
图11：五种具有不同程度坐标混合的伪图像。从上到下，两种视角的坐标混合比例分别为0、0.3、0.5、0.7和1.0。
我们还会计算每个区间中点的准确率和mIoU。图8显示，随着距离增加，整体准确率和mIoU均会下降。这种下降是因为远处物体的高度被压缩并集中在投影的上半部分，从而显著影响了远处物体的分割准确率。
在表2中，“Single_view1”指仅使用中心投影来训练网络；“Single_view2”指仅使用倾斜平行投影来训练网络；“Fusion_view1”采用本文提出的联合训练方法，但仅利用“view1”进行预测；“Fusion_view2”应用文中提出的联合训练方法，但仅利用“view2”进行预测。“Hybrid”类别则代表通过我们的混合训练和推理框架获得的结果。
表2明显显示出，混合方法在机动车和行人类别上取得了不错的效果。在道路类别中，其影响相对一致；植被类别也呈现出改善后的结果。同样，在电线杆和交通标志类别中，也能观察到更积极的效果。
我们发现，仅使用“view1”时，远距离物体的分割效果并不理想。若采用单独的“view2”进行训练，远距离物体的mIoU值与联合训练时相当，而联合训练的精度则更高。在近距离范围内，两种方法的mIoU值和精度均低于联合训练的结果。
从图9所示的分类可视化结果来看，汽车类别中远距离汽车的识别精度有了显著提升。由于车辆高度较低，通过平行投影恢复尺度对识别效果影响显著。此外，难以识别的车辆往往
---
出现在远处，而更均匀的分布也有助于扩大车辆的占据面积。
对于行人类别，从图中可以明显看出，中等距离下的分割精度和mIoU值均有显著提升。这一改进源于行人身高相对大于宽度的特性：高度的恢复扩大了中等距离下的占据面积，但由于行人宽度较窄，远距离分割仍存在挑战。对于道路类别，“view1”在近距离下的分割精度较高，因为该视角能捕捉到大量附近的路面信息；随着分布不平衡问题的缓解，远距离路面的识别精度也显著提高。在植被类别中，分布均匀性的提升使得远距离植被更容易被区分。在电线杆类别中，由于高度得到恢复，远距离下的分割精度也有效提高。
根据表2以及图8和图9的结果可知，随着距离增加，两种视角的分割性能都会下降。不过，“view1”在近距离下更具优势，而“view2”在远距离下表现更好，两者的过渡点大约在15毫秒处。单独训练“view1”能得到更好的结果，但“view2”需要与“view1”联合训练，才能发挥出优于其单独使用时的性能。低高度车辆、远距离植被与道路，以及窄宽度电线杆等类别的分割结果均有显著改善。
#### 4.5.2 投影角度分析
平行投影中倾斜角度的选择至关重要，因为它决定了远近物体所占空间的比例。我们首先分析了该角度对投影图像密度的影响——密度过低会产生空洞，进而损害分割精度。如图5所示，我们将2度到30度的范围划分为50个等份，随后计算投影图像的密度。分析结果显示，第2度到第10度范围内的密度较高。因此，我们选取了2度、5度、8度和11度作为实验对比分析的角度，相应结果分别标记为“Single_degree2”、“Single_degree5”、“Single_degree8”和“Single_degree11”。其中8度是本文主要实验所选用的角度，对应的实验结果见表3。本次实验是在SemanticKITTI验证集上进行的，分辨率设置为$64 \times 512$像素。
表3清楚地表明，8度角是最佳选择。可以观察到，随着角度增大，
Table 4 Quantitative results on SemanticKITTI dataset for different levels of coordinate mixing
| Approach | Car | Bicycle | Motorcycle | Truck | Other vehicles | Person | Bicyclist | Motorcyclist | Road | Parking | Sidewalk | Other grounds | Building | Fence | Vegetation | Trunk | Terrain | Pole | Traffic sign | mAcc | mIoL |
| h_00 | 85.2 | 28.8 | 22.8 | 17.4 | 36.8 | 44.2 | 61.0 | 0.0 | 86.6 | 33.2 | 67.6 | 1.9 | 83.2 | 38.8 | 80.1 | 49.2 | 65.6 | 42.0 | 40.7 | 85.6 | 46.6 |
| h_03 | 89.1 | 36.3 | 35.1 | 51.6 | 27.5 | 46.7 | 64.9 | 0.0 | 91.6 | 46.4 | 75.4 | 0.2 | 83.9 | 44.5 | 81.2 | 50.7 | 67.5 | 45.6 | 38.6 | 87.8 | 51.4 |
| h_05 | 90.8 | 35.9 | 46.0 | 43.1 | 40.5 | 53.2 | 71.6 | 0.0 | 92.0 | 47.1 | 76.8 | 0.8 | 83.6 | 46.8 | 83.1 | 51.1 | 73.1 | 43.5 | 40.3 | 88.9 | 53.6 |
| h_07 | 90.4 | 38.4 | 44.5 | 51.2 | 40.6 | 46.4 | 73.1 | 0.0 | 93.2 | 48.3 | 77.7 | 0.0 | 83.3 | 49.2 | 82.0 | 53.0 | 70.0 | 45.1 | 41.6 | 88.7 | 54.1 |
| h_10 | 88.7 | 35.3 | 44.6 | 70.2 | 36.7 | 51.7 | 72.3 | 0.0 | 93.4 | 52.4 | 78.6 | 0.1 | 81.7 | 49.3 | 82.1 | 54.0 | 71.3 | 45.4 | 40.1 | 88.8 | 55.2 |
| h_rand | 89.8 | 30.4 | 47.4 | 51.0 | 41.0 | 50.4 | 72.4 | 0.0 | 92.0 | 47.4 | 76.2 | 0.1 | 83.2 | 51.2 | 81.4 | 52.5 | 67.9 | 44.7 | 41.0 | 88.2 | 53.7 |
粗体文本代表每个类别（列）中性能最佳的模型。
---
Fig. 12 A comparison of segmentation accuracy and mIoU for different levels of coordinate mixing across 5 distance segments
大多数类别的分割性能都有所提升。这种提升是因为远处物体的分布空间不再受到限制。然而，随着角度进一步增大，分割性能反而会下降。这种下降是由于空隙增多导致空间利用效率降低所致。我们可以观察到，随着角度增大，摩托车类别的准确率在一定程度上有所提高，但误判率也随之升高。道路和植被类别的分割效率在角度增大时也有显著提升。同样，对于杆状物体，其分割性能也得到了增强。
如图10所示，按距离分析结果可以发现，第2个和第5个角度的分割效果不如第8个和第11个角度明显。虽然第8个和第11个角度在远距离下的分割结果相近，但第8个角度在近距离下的表现更佳。
#### 4.5.3 坐标融合分析
为了探究不同视角对各种类别的影响，我们对两种视角进行了坐标级融合。这两种视角的融合结果如图11所示。图中从上到下分别采用了0、0.3、0.5、0.7和1.0的混合比例来融合两个观测坐标。
假设中心投影产生的视角称为“view1”，该投影下各点的坐标记为$(x_1, y_1)$。同理，另一种投影（推测为“view2”）下各点的坐标则为$(x_2, y_2)$。混合坐标可通过$(w * x_1 + (1 - w) * x_2, w * y_1 + (1 - w) * y_2)$计算得出，其中w代表中心投影的混合比例。我们还开展了w值在0.4到0.6之间变化的实验，以观察随机性对分割结果的影响。实验结果见表4。该实验是在分辨率为$64 \times 512$像素的SemanticKITTI验证集上进行的。我们将混合比例为0、0.3、0.5、0.7和1以及随机比例的实验结果分别记为‘h00’、‘h03’、‘h05’、‘h07’、‘h10’和‘h_rand’。
表4显示，少量增加平行观测角度后，摩托车和行人类别的分割效果会得到改善。随着更多平行观测角度的加入，植被、建筑和杆状物类别的性能也有所提升。这是因为这类物体本身面积较大或高度较高，角度增大导致的高度压缩对其影响有限。道路和停车场类别的性能则随着融合比例的升高而下降，原因是附近道路所占比例减少。总体而言，随机性对分割效果的影响微乎其微。
如图12所示，按距离分析结果可知，平行投影比例的增加会提升远距离下的分割效果。
#### 4.5.4 联合训练方法的设计分析
为了更好地利用平行观测角度所投射的特征，提升近距离物体的分割效果，我们探索了多种训练方法。我们首先……
---
Table 5 Quantitative results on SemanticKITTI dataset for different training methods
| Approach | Car | Bicycle | Motorcycle | Truck | Other vehicles | Person | Bicyclist | Motorcyclist | Road | Parking | Sidewalk | Other grounds | Building | Fence | Vegetation | Trunk | Terrain | Pole | Traffic sign | mAcc | mIoU |
| add_channel_viewall | 83.9 | 23.0 | 28.5 | 5.3 | 28.4 | 46.6 | 58.5 | 0.0 | 86.2 | 34.8 | 67.3 | 0.9 | 83.6 | 38.8 | 38.2 | 78.2 | 47.2 | 63.5 | 38.7 | 84.7 | 44.8 |
| different_batch_view1 | 88.6 | 38.2 | 49.3 | 64.0 | 32.4 | 46.9 | 72.0 | 0.0 | 92.9 | 48.1 | 77.4 | 0.0 | 81.2 | 51.5 | 82.1 | 48.3 | 73.0 | 41.5 | 39.4 | 88.6 | 54.0 |
| different_batch_view2 | 83.9 | 26.1 | 27.4 | 37.6 | 35.0 | 41.8 | 65.4 | 0.0 | 86.3 | 35.2 | 67.0 | 0.4 | 83.2 | 40.1 | 80.4 | 47.1 | 67.0 | 40.4 | 39.2 | 85.6 | 47.6 |
| same_batch_view1 | 89.0 | 38.0 | 44.0 | 60.7 | 37.7 | 50.5 | 73.3 | 0.0 | 93.6 | 49.0 | 79.0 | 0.1 | 82.8 | 51.0 | 83.0 | 52.6 | 73.5 | 47.3 | 41.1 | 89.3 | 55.1 |
| same_batch_view2 | 83.9 | 26.0 | 28.7 | 25.1 | 29.7 | 44.2 | 61.0 | 0.0 | 87.3 | 41.1 | 69.3 | 0.1 | 85.0 | 42.3 | 82.2 | 51.2 | 69.9 | 43.8 | 38.6 | 86.9 | 47.9 |
考虑到将两张图合并以增加网络通道数。随后，我们研究了使用相同比例、不同视角来生成训练数据的情况。最后，我们考虑在同一训练批次中包含不同视角。我们将训练中通过拼接两种视角来增加输入通道的方法称为“add_channel_viewall”。我们还进行了将两种视角分批次训练的实验。我们分别用这两种视角进行预测，记为“different_batch_view1”和“different_batch_view2”。最后，我们进行了将两种视角放在同一批次中训练的实验。我们分别用这两种视角进行预测，记为“same_batch_view1”和“same_batch_view2”。
加粗文本代表每个类别（列）中表现最佳的模型。
从表5所示的实验结果可以看出，将两种投影包含在同一个批次中的方法能取得最佳效果。根据图13所示基于距离的分析结果可知，这种混合训练方法不仅能提升近距离的分割效果，还能改善远距离的分割性能。
## 5 结论
总的来说，我们的方法将平行投影技术融入自动驾驶场景的点云语义分割中。我们优化了倾斜角度以实现均衡的场景表征，并通过联合训练来增强目标特征。在SemanticKITTI数据集上的实验表明，该方法对行人和车辆等远距离物体的识别能力有所提升，对垂直结构的分割效果也更好。我们的方法还验证了角度选择的有效性以及联合训练带来的模型性能提升。目前，现有的中心投影方法存在密度高但尺度不平衡的问题，而鸟瞰图（BEV）投影方法虽然尺度平衡但过于稀疏。我们在本文中探索了新的投影方法，并对该方法进行了分析。
---
Fig. 13 A comparison of segmentation accuracy and mIoU for different training methods across 5 distance segments
数据可用性：本文使用的数据集为公开数据集，可通过联系相关提供者获取。支持本研究结果的数据可根据合理请求从作者处获得。
## 声明
利益冲突：我们声明没有已知的、可能影响本文研究结果的竞争性财务利益或人际关系。
## 参考文献
[^1]: Ahmed, S.M., Tan, Y.Z., Chew, C., Mamun, A.A., Wong, F.S.: Edge and corner detection for unorganized 3D point clouds with application to robotic welding. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 7350–7355 (2018)
[^2]: Alnaggar, Y.A., Afifi, M., Amer, K., ElHelw, M.: Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds. In: Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1799–1808 (2021)
[^3]: Alonso, I., Riazuelo, L., Montesano, L., Murillo, A.C.: 3D-MiniNet: learning a 2D representation from point clouds for fast and efficient 3D LIDAR semantic segmentation. IEEE Robotics Autom. Lett. 5(4), 5432–5439 (2020)
[^4]: Ando, A., Gidaris, S., Bursuc, A., Puy, G., Boulch, A., Marlet, R.: RangeViT: Towards vision transformers for 3d semantic segmentation in autonomous driving. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5240–5250 (2023)
[^5]: Behley, J., Garbade, M., Milioto, A., Quenzel, J., Behnke, S., Gall, J., Stachniss, C.: Towards 3D LiDAR-based semantic scene understanding of 3D point cloud sequences: The semantic-kittl dataset. Int. J. Robotics Res. 40(8-9) (2021)
[^6]: Beltrán, J., Guindel, C., Moreno, F.M., Cruzado, D., García, F., de la Escalera, A.: BirdNet: a 3D object detection framework from LiDAR information. In: International Conference on Intelligent Transportation Systems (ITSC), pp. 3517–3523 (2018)
[^7]: Chen, C., Wang, Y., Chen, H., Yan, X., Ren, D., Guo, Y., Xie, H., Wang, F.L., Wei, M.: GeoSegNet: point cloud semantic segmentation via geometric encoderdecoder modeling. The Visual Computer, pp. 1–15 (2023)
[^8]: Chen, K., Oldja, R., Smolyanskiy, N., Birchfield, S., Popov, A., Wehr, D., Eden, I., Pehserl, J.: MVLidarNet: real-time multi-class scene understanding for autonomous driving using multiple views.
载于：IEEE/RSJ智能机器人与系统国际会议（IROS）论文集，第2288–2294页（2020年）
[^9]: Cheng, H., Han, X., Xiao, G.: TransRVNet: LiDAR semantic segmentation with transformer. IEEE Trans. Intell. Transp. Syst. 24(6), 5895–5907 (2023)
[^10]: Choy, C.B., Gwak, J., Savarese, S.: 4D spatio-temporal convnets: Minkowski convolutional neural networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3075–3084 (2019)
[^11]: Cortinhal, T., Tzelepis, G., Aksoy, E.E.: SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds. In: Proceedings of the International Symposium on Visual Computing (ISVC), vol. 12510, pp. 207–222 (2020)
[^12]: Fan, S., Dong, Q., Zhu, F., Lv, Y., Ye, P., Wang, F.: SCF-Net: Learning spatial contextual features for large-scale point cloud segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 14504–14513 (2021)
[^13]: Feng, T., Wang, W., Wang, X., Yang, Y., Zheng, Q.: Clustering based point cloud representation learning for 3d analysis. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 8249–8260 (2023)
[^14]: Graham, B., Engelcke, M., van der Maaten, L.: 3D semantic segmentation with submanifold sparse convolutional networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 9224–9232 (2018)
[^15]: He, Q., Peng, J., Jiang, Z., Hu, X., Zhang, J., Nie, Q., Wang, Y., Wang, C.: PointSeg: A training-free paradigm for 3D scene segmentation via foundation models. CoRR arXiv:2403.06403 (2024)
[^16]: Hinton, G.E., Srivastava, N., Krizhevsky, A., Sutskever, I., Salakhutdinov, R.: Improving neural networks by preventing co-adaptation of feature detectors. CoRR arXiv:1207.0580 (2012)
[^17]: Hu, Q., Yang, B., Xie, L., Rosa, S., Guo, Y., Wang, Z., Trigoni, N., Markham, A.: RandLA-Net: Efficient semantic segmentation of large-scale point clouds. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 11105–11114 (2020)
[^18]: Hu, Q., Yang, B., Xie, L., Rosa, S., Guo, Y., Wang, Z., Trigoni, N., Markham, A.: Learning semantic segmentation of large-scale point clouds with random sampling. IEEE Trans. Pattern Anal. Mach. Intell. 44(11), 8338–8354 (2022)
[^19]: Huang, J., You, S.: Point cloud labeling using 3D convolutional neural network. In: Proceedings of the 23rd International Conference on Pattern Recognition (ICPR), pp. 2670–2675 (2016)
[^20]: Jiang, J., Lu, X., Wanli, Ouyang, Wang, M.: Unsupervised contrastive learning with simple transformation for 3D point cloud data. Vis Comput 1–18 (2023)
## [^21]: Kong, L., Liu, Y., Chen, R., Ma, Y., Zhu, X., Li, Y., Hou, Y., Qiao, Y., Liu, Z.: Rethinking range view representation for lidar segmen-
---
载于：IEEE国际计算机视觉会议（ICCV）论文集，第228–240页（2023年）
[^22]: Landrieu, L., Simonovsky, M.: Large-scale point cloud semantic segmentation with superpoint graphs. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4558–4567 (2018)
[^23]: Landrieu, L., Simonovsky, M.: Large-scale point cloud semantic segmentation with superpoint graphs. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4558–4567 (2018)
[^24]: Li, Z., Wang, J., Qu, X., Xiao, J.: 3D point cloud segmentation for complex structure based on PointSIFT. In: Proceedings of the Pattern Recognition and Computer Vision (PRCV), vol. 12305, pp. 660–670 (2020)
[^25]: Meng, Q., Wang, W., Zhou, T., Shen, J., Jia, Y., Gool, L.V.: Towards a weakly supervised framework for 3d point cloud object detection and annotation. IEEE Trans. Pattern Anal. Mach. Intell. 44(8), 4454–4468 (2022)
[^26]: Milioto, A., Vizzo, I., Behley, J., Stachniss, C.: RangeNet ++: fast and accurate LiDAR semantic segmentation. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4213–4220. IEEE (2019)
[^27]: Phan, A.V., Nguyen, M.L., Nguyen, Y.L.H., Bui, L.T.: DGCNN: a convolutional neural network over large-scale labeled graphs. Neural Netw. 108, 533–543 (2018)
[^28]: Qi, C.R., Su, H., Mo, K., Guibas, L.J.: PointNet: deep learning on point sets for 3D classification and segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 77–85 (2017)
[^29]: Qi, C.R., Yi, L., Su, H., Guibas, L.J.: PointNet++: deep hierarchical feature learning on point sets in a metric space. In: Advances in Neural Information Processing Systems, pp. 5099–5108 (2017)
[^30]: Radi, H., Ali, W.: VolMap: A real-time model for semantic segmentation of a LiDAR surrounding view. CoRR arXiv:1906.11873 (2019)
[^31]: Redmon, J., Farhadi, A.: YOLOv3: an incremental improvement. CoRR (2018)
[^32]: Rethage, D., Wald, J., Sturm, J., Navab, N., Tombari, F.: Fully-convolutional point networks for large-scale point clouds. In: Proceedings of the European conference on computer vision (ECCV), pp. 625–640 (2018)
[^33]: Rosu, R.A., Schütt, P., Quenzel, J., Behnke, S.: LatticeNet: fast spatio-temporal point cloud segmentation using permutohedral lattices. Auton. Robots 46(1), 45–60 (2022)
[^34]: Shi, W., Caballero, J., Huszar, F., Totz, J., Aitken, A.P., Bishop, R., Rueckert, D., Wang, Z.: Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1874–1883 (2016)
[^35]: Simon, M., Milz, S., Amende, K., Gross, H.: Complex-YOLO: an Euler-region-proposal for real-time 3D object detection on point clouds. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 197–209 (2018)
[^36]: Tang, H., Liu, Z., Zhao, S., Lin, Y., Lin, J., Wang, H., Han, S.: Searching efficient 3D architectures with sparse point-voxel convolution. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 685–702 (2020)
[^37]: Tatarchenko, M., Park, J., Koltun, V., Zhou, Q.: Tangent convolutions for dense prediction in 3D. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3887–3896 (2018)
[^38]: Tateno, K., Tombari, F., Navab, N.: Real-time and scalable incremental segmentation on dense SLAM. In: Proceedings of the IEEE International Conference on Intelligent Robots and Systems (IROS), pp. 4465–4472 (2015)
[^39]: Thomas, H., Qi, C.R., Deschaud, J., Marcotegui, B., Goulette, F., Guibas, L.J.: KPConv: Flexible and deformable convolution for point clouds. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 6410–6419 (2019)
[^40]: Wang, Y., Chao, W., Garg, D., Hariharan, B., Campbell, M.E., Weinberger, K.Q.: Pseudo-LiDAR from visual depth estimation: Bridging the gap in 3D object detection for autonomous driving. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 8445–8453 (2019)
[^41]: Wu, B., Wan, A., Yue, X., Keutzer, K.: SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud. In: Proceedings of the International Conference on Robotics and Automation (ICRA), pp. 1887–1893 (2018)
[^42]: Wu, B., Zhou, X., Zhao, S., Yue, X., Keutzer, K.: SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud. In: Proceedings of the International Conference on Robotics and Automation (ICRA), pp. 4376–4382 (2019)
[^43]: Xu, C., Wu, B., Wang, Z., Zhan, W., Vajda, P., Keutzer, K., Tomizuka, M.: SqueezeSegV3: Spatially-adaptive convolution for efficient point-cloud segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV), vol. 12373, pp. 1–19 (2020)
[^44]: Xu, J., Zhang, R., Dou, J., Zhu, Y., Sun, J., Pu, S.: RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 16004–16013 (2021)
[^45]: Xu, Y., Gao, J., Zheng, C., Zheng, C., Zhang, R., Cui, S., Li, Z.: 2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds. In: Proceedings of the European conference on computer vision (ECCV), pp. 677–695 (2022)
[^46]: Yin, J., Fang, J., Zhou, D., Zhang, L., Xu, C., Shen, J., Wang, W.: Semi-supervised 3d object detection with proficient teachers. In: Proceedings of the European conference on computer vision (ECCV), pp. 727–743 (2022)
[^47]: Yin, J., Zhou, D., Zhang, L., Fang, J., Xu, C., Shen, J., Wang, W.: Proposalcontrast: Unsupervised pre-training for lidar-based 3d object detection. In: S. Avidan, G.J. Brostow, M. Cissé, G.M. Farinella, T. Hassner (eds.) Proceedings of the European conference on computer vision (ECCV), pp. 17–33 (2022)
[^48]: Zeng, Y., Hu, Y., Liu, S., Ye, J., Han, Y., Li, X., Sun, N.: RT3D: real-time 3-D vehicle detection in LiDAR point cloud for autonomous driving. IEEE Robot. Autom. Lett. 3(4), 3434–3440 (2018)
[^49]: Zhang, Y., Zhou, Z., David, P., Yue, X., Xi, Z., Gong, B., Foroosh, H.: PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 9598–9607 (2020)
[^50]: Zhao, Y., Ma, X., Hu, B., Zhang, Q., Ye, M., Zhou, G.: A large-scale point cloud semantic segmentation network via local dual features and global correlations. Comput. Graph. 111, 133–144 (2023)
[^51]: Zhu, X., Zhou, H., Wang, T., Hong, F., Ma, Y., Li, W., Li, H., Lin, D.: Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 9939–9948 (2021)
出版社声明：Springer Nature对于所发表地图中的管辖权主张以及机构归属问题保持中立。
Springer Nature或其许可方（如学术协会或其他合作伙伴）根据出版协议，拥有本文的独家使用权。
---
作者或其他权利持有人拥有本文的相关权利；作者自行存档本文的录用稿版本时，需遵循该出版协议的条款及相关法律规定。
赵浩颖于华东师范大学获得理学学士学位。她目前是华东师范大学计算机科学与技术学院的博士研究生，就读于中国上海。她的研究方向包括计算机视觉和机器学习。
周爱民于2001年和2003年分别在中国武汉大学获得理学学士和硕士学位，2009年在英国埃塞克斯大学获得博士学位。他目前担任上海人工智能教育研究院及华东师范大学计算机科学与技术学院的教授，工作地点为中国上海。他已发表超过80篇经过同行评审的论文。他当前的研究方向包括进化优化与学习、可解释机器学习以及智能教育。周博士现任《Swarm and Evolutionary Computation》的副主编，同时也是《Complex and Intelligent Systems》和《Chinese Journal of Electronics》的编委会成员。