# 用于激光雷达点云语义分割的球面截锥稀疏卷积网络郑宇$^{1*}$、王广明$^{2*}$、刘久明$^{1}$、Marc Pollefeys$^{3}$、王鹤升$^{1\dagger}$ $^{1}$ 上海交通大学自动化系 $^{2}$ 剑桥大学$^{3}$ 苏黎世联邦理工学院 {zhengyu0730,liujiuming,wanghesheng}@sjtu.edu.cn ## 摘要激光雷达点云语义分割能够让机器人获取周围环境的细粒度语义信息。近年来，许多研究将点云投影到二维图像上，并采用二维卷积神经网络（CNN）或视觉Transformer进行激光雷达点云语义分割。然而，由于多个点可能被投影到同一个二维位置，但只能保留一个点，以往基于二维投影的分割方法会不可避免地出现量化信息丢失问题，进而导致几何结构不完整，尤其是针对小物体而言。为避免量化信息丢失，本文提出了一种新颖的球面截锥结构，能够保留投影到同一二维位置的所有点。此外，还提出了一种基于哈希的表示方法，以实现对球面截锥的高效存储。基于球面截锥结构，分别提出了球面截锥稀疏卷积（SFC）和截锥最远点采样（F2PS），用于对存储在球面截锥中的点进行卷积和采样。最后，我们提出了球面截锥稀疏卷积网络（SFCNet），可在不造成量化信息丢失的前提下，利用二维CNN完成激光雷达点云语义分割。在SemanticKITTI和nuScenes数据集上的大量实验表明，我们的SFCNet的性能优于以往基于传统球面投影的二维投影式语义分割方法，且在保留完整几何结构方面，对小物体的分割效果更优。代码将发布于。 ## 1 引言如今，三维激光雷达点云是自主机器人系统中广泛使用的传感器数据。近期许多研究聚焦于利用激光雷达点云解决自主机器人系统中的感知[^1] [^2]与定位[^3] [^4] [^5]任务。其中，激光雷达点云语义分割能让机器人对周围环境有更细粒度的理解。此外，语义分割结果还可用于重建环境的语义地图[^6] [^7] [^8] [^9] [^10]。受深度学习在图像语义分割领域成果的启发，研究人员致力于寻找有效的方法，将相关成果迁移到点云语义分割领域。以往的大多数研究会将原始点云转换为规则网格，比如二维图像[^11] [^12] [^13] [^14] [^15] [^16] [^17] [^18] [^19] [^20] [^21]和三维体素[^22] [^23] [^24] [^25]，以便利用卷积神经网络进行处理。 --- ![Image](images/9cf37421325fbad70c2c0c75cdac674b61f4f64021066313f587a218e8a8de5d.jpg)

Figure 1: Difference between our spherical frustum and conventional spherical projection. In conventional spherical projection, the points projected onto the same 2D grid are dropped, which leads to quantized information loss, e.g., dropping the boundary between the person, a small object, and the road, and results in incorrect prediction of the 2D projection-based method RangeViT [^21] for the person. In contrast, our spherical frustum preserves all points in the frustum, which eliminates quantized information loss and makes SFCNet correctly segment the person.

点云语义分割领域中的卷积神经网络（CNN）和Transformer。CNN和Transformer能够轻松处理规则网格，从而有效地对点云进行分割。然而，由于分辨率有限，多个点可能会被投影到同一个网格上，而仅保留其中一个点，这就导致了基于规则网格的点云语义分割方法会出现量化信息丢失问题。量化信息丢失对小物体分割构成了挑战，因为属于小物体的大多数点在投影过程中可能会被丢弃。已有一些方法[^13] [^17]旨在通过从部分预测中恢复完整的语义预测来弥补量化信息丢失的问题。不过，特征聚合过程中仍存在量化信息丢失现象。为了克服二维投影过程中的量化信息丢失问题，本文提出了一种新颖的球台结构。图1展示了传统球面投影[^11]与球台之间的对比。通过球台结构，所有投影到同一二维网格上的点都能被保留下来。因此，球台结构能够避免投影过程中的量化信息丢失，并提升小物体的分割效果。不过，若没有特殊设计，球台属于不规则结构，无法被CNN处理。使用密集网格来存储球台是一种直观的规则化球台的方法。但由于不同球台中的点数不同，在将各点集存入密集网格之前，需要将其填充至球台的最大点数，这会产生大量冗余的内存开销。为避免冗余内存占用，我们提出了一种基于哈希的球台表示方法，能够以高效的方式存储球台。在基于哈希的球台表示法中，球台与点之间的邻域关系通过哈希表来体现，这样就能将点直接存储在原本的不规则点集中。在基于哈希的表示法中，每个点都通过哈希键唯一标识，该哈希键由对应球台的二维坐标以及该球台点集中的点索引组成。因此，可以高效地查询投影到任意特定二维网格上的点。基于这种基于哈希的表示法，我们提出了球台稀疏卷积（SFC），以便在球台上运用二维CNN。SFC会聚合相邻球台的点特征，从而得到中心点的局部特征。此外，以往基于二维投影的分割方法采用基于步长的二维采样来对投影后的点云进行下采样，这种方式无法均匀采样三维点云。而基于步长的二维采样能够均匀采样球台。因此，我们提出了一种新颖的均匀点云采样方法——球台最远点采样（F2PS）。 --- F2PS首先按步长采样球台，然后采用最远点采样（FPS）[^26]对每个采样得到的球台内的点集进行均匀采样。由于对每个球台内点进行采样的计算复杂度为常数级，因此F2PS是一种计算复杂度为线性的高效采样算法。综上所述，我们的贡献如下： - 我们提出了一种具有高效哈希表示方式的新型球台结构。球台结构避免了球面投影中的量化信息丢失问题，并能保留完整的几何结构。 - 我们将球面截锥结构融入二维稀疏卷积中，提出了一种用于激光雷达点云语义分割的新型球面截锥稀疏卷积网络（SFCNet）。 - 基于球面截锥结构，我们提出了一种高效且均匀的三维点云采样方法——截锥最远点采样（F2PS）。 - 我们在SemanticKITTI [^1]和nuScenes [^27]数据集上对SFCNet进行了评估。实验结果表明，SFCNet的性能优于以往的基于二维投影的方法，并且能够更精准地分割小物体。 ## 2 相关工作基于点的语义分割。有一系列研究 [^26] [^28] [^29] [^30] [^31] [^32] [^33] 致力于基于原始无结构点云进行点云分割。然而，对原始点云的学习需要执行计算复杂度较高的邻域查询，才能从局部点云结构中提取有效特征。因此，这类基于点的方法的效率受到限制。基于三维稀疏体素的语义分割。将大规模激光雷达点云存储在密集的三维体素中需要消耗大量内存。因此，Graham等人 [^34] 提出了三维稀疏体素结构。他们采用哈希表而非密集网格来表示三维稀疏网格的邻域关系。基于哈希表，卷积后的网格会被记录在规则表中。依据该规则表即可执行三维稀疏卷积。基于这种稀疏三维体素架构，人们提出了多种三维稀疏卷积与三维注意力机制方法 [^22] [^23] [^24] [^35] [^36] [^25] [^37]。基于二维投影的语义分割。图像语义分割领域的研究 [^38] [^39] [^40] [^41] [^42] 已取得显著成果。因此，许多研究 [^11] [^12] [^13] [^14] [^15] [^43] [^18] [^19] [^20] [^21] [^16] [^17] 将点云投影到二维平面上，再利用二维神经网络处理投影后的点云。球面投影是一种广泛采用的投影方法，最初由SqueezeSeg [^11]提出。后续的研究 [^11] [^12] [^13] [^14] [^43] [^20] [^21] 利用包括二维CNN和视觉Transformer在内的图像语义分割架构，有效地实现了点云的分割。由于分辨率有限，基于二维投影的分割方法会遭受量化信息损失。在量化信息损失的情况下，网络只能处理不完整的几何结构并输出部分语义预测结果，从而导致分割性能下降。以往的研究仅侧重于从二维神经网络的部分预测结果中恢复完整的语义预测。RangeNet++ [^13] 提出了一种后处理策略来还原完整的预测结果：被遗漏点的语义预测值是通过其K个最近邻（KNN）的预测值投票得出的。除了基于KNN的后处理之外，KPRNet [^17] 直接将不完整的预测结果重新投影到完整点云上，并采用基于点的网络KPConv [^29] 来优化预测结果。然而，鲜有研究探索在投影过程中保留完整几何结构的方法。在本文中，我们提出了球面截锥体结构，该结构能够避免球面投影带来的量化信息损失。我们的球面截锥体结构不仅能保留完整的几何结构，还能无需任何后处理或基于点的网络优化即可输出完整的语义预测结果。 --- ## 3 SFCNet 本节将首先在3.1节介绍球面截锥体和基于哈希的表示方法。基于哈希的球面截锥体表示方法，3.2节和3.3节将分别介绍用于激光雷达点云语义分割的球面截锥体稀疏卷积以及截锥体最远点采样技术。最后，3.4节将阐述球面截锥体稀疏卷积网络（SFCNet）的架构。 ### 3.1 球面截锥体传统的球面投影：激光雷达点云 $\mathcal{P}$ 由N个点组成。$\mathcal{P}$ 中的第k个点由其三维坐标 $\boldsymbol{x}_k = [x_k, y_k, z_k]^T$ 和输入点特征 $\boldsymbol{f}_k \in \mathbb{R}^{C_{in}}$ 表示，其中 $C_{in}$ 代表特征的通道维度。传统的球面投影 [^11] 首先计算每个点的二维球面坐标： $$ \left(\begin{matrix}{u_{k}}\\ {v_{k}}\\ \end{matrix}\right)=\left(\begin{matrix}{\frac{1}{2}[1-\operatorname{a r c t a n}(y_{k},x_{k})\pi^{-1}]\cdot W}\\ {[1-(\operatorname{a r c s i n}(z_{k}/r_{k})+f_{{d o w n}})\cdot f^{-1}]\cdot H}\\ \end{matrix}\right), $$ 此处 $(H, W)$ 是投影图像的高度和宽度，$r_k = \sqrt{x_k^2 + y_k^2 + z_k^2}$ 是点的有效范围，$f = f_{up} + f_{down}$ 是激光雷达传感器的垂直视场角，其中 $f_{up}$ 和 $f_{down}$ 分别对应向上和向下的垂直视场角。根据计算出的二维球面坐标，点特征 $\{\mathbf{f}_k\}_{k=1}^N$ 会被投影到二维密集图像上。如果多个点具有相同的二维坐标，传统的球面投影只会投影距离原点最近的点，而丢弃其他点，这便导致了量化信息损失。从球面投影到球面截锥体：由于将投影到同一二维位置的多余点丢弃会导致量化信息损失，我们提出用球面截锥体来保留所有投影到同一二维位置的点。具体来说，我们将这些点组织成一个点集，并为点集中的每个点分配唯一的索引 $m_k$。此外，每个点的三维坐标 $\{(x_k, y_k, z_k)\}_k=1$ 会被保留下来，作为后续模块所需的三维几何信息。基于哈希的球面截锥体表示方法。不规则的球面截锥体无法直接被二维卷积神经网络处理。将球面截锥体规整化的最自然思路就是把它们放入密集网格中。为了在密集网格中存储每个球面截锥体的点集，需要额外增加一个维度。该维度的大小应等于每个球面截锥体点集的最大点数M。然而，由于大多数球面截锥体的点数都远小于M，因此很多网格都是空的。为了避免在内存中保存这些空网格，我们提出了基于哈希的球面截锥体表示方法，利用哈希表替代密集网格，将二维坐标映射到对应的球面截锥体及点。在哈希表中，原始点云中任意点的索引k可以通过键$(u_k, v_k, m_k)$来查询，该键由二维球面坐标和球面截锥体点集中的点索引组合而成。借助这种基于哈希的表示方法，球面截锥体就能以节省内存的方式被规整存储。 ### 3.2 球面截锥体稀疏卷积由于单个球面截锥体中会存储多个点，传统的二维卷积无法直接应用于球面截锥体结构。因此，我们提出了球面截锥体稀疏卷积（SFC）。如图2所示，SFC可视为在中心点所在的虚拟球面上的稀疏卷积。虚拟球面上每个经卷积处理后的二维位置的特征，由对应球面截锥体中距离最近的点特征来填充。选取经卷积处理的球面截锥体。SFC首先为每个中心点p选取经卷积处理的球面截锥体。中心点p的三维坐标和二维球面坐标分别为$(x, y, z)$和$(u, v)$。传统二维卷积会对卷积核内网格的特征进行卷积运算。与传统卷积类似，卷积核内每个二维位置对应的球面截锥体会被选中以执行卷积操作。这些二维位置的坐标为$\{(u+\Delta u_i, v+\Delta v_i)\}_{i=1}^{K^2}$，其中K为卷积核大小，$(\Delta u_i, \Delta v_i)$表示核内的偏移量。随后，通过哈希表查询每个球面截锥体内的点，同时获取这些点的特征$\{\boldsymbol{f}_j\}_{j=1}^{M_i}$，这里$M_i$表示点的数量。 --- ![Image](images/b2bf40711bfaf9476c66aef9b2ba4214d834cb7f18415143b82e574c47db277d.jpg)

Figure 2: Pipeline of Spherical Frustum sparse Convolution. The spherical frustums in the convolution kernel and the points in these spherical frustums are first selected through the hash table. Then, the nearest point in each spherical frustum is determined by the 3D geometric information. Finally, the sparse convolution is performed on the selected point features.

第i个球面截锥体中的点的数量。值得注意的是，$M_{i}$可能为零，这意味着没有点被投影到对应的二维位置上，该球面截锥体无效。无效的球面截锥体会在后续的卷积过程中被忽略。在每个球形视锥体中选择最近的点。在确定球形视锥体内的点之后，应从该视锥体点集的特征中选出用于二维卷积的特征。PointNet++ [^26]强调，中心点的局部特征应由三维邻近点聚合而成。受PointNet++的启发，我们在每个球形视锥体中选取距离中心点最近的点所对应的特征。具体而言，基于三维几何信息，获取视锥体内点的三维坐标$\{(x_j, y_j, z_j)\}_{j=1}^{M_i}$，以此来确定最近点。受RangeNet++后处理方式的启发[^13]，我们选用距离范围$r_j = \sqrt{x_j^2 + y_j^2 + z_j^2}$而非欧几里得距离作为衡量最近点的指标，从而实现高效的距离计算。因此，每个球形视锥体所选点的索引为$\arg\min_j |r_j - r|$，其中r表示中心点的范围。根据这些索引，即可得到经过卷积后的特征$\{f_i\}_{i=1}^{K'}$，此处$K'$代表有效球形视锥体的数量。稀疏卷积。最终，稀疏卷积的计算方式如下： $$ \boldsymbol{f}^{\prime}=\sum_{i=1}^{K^{\prime}}W_{i}\boldsymbol{f}_{i}, $$ 其中$W_{i}$为第i个有效二维位置的卷积权重，$f^{\prime}$为聚合后的特征。通过所提出的球形视锥体稀疏卷积方法，我们实现了对非结构化点云中所有点的有效正则化以及基于二维卷积的特征聚合。 ### 3.3 视锥体最远点采样采样是点云语义分割中的重要环节。通过采样，网络能够聚合不同尺度的特征并识别不同大小的物体。此外，采样过程应对点云进行均匀采样，以避免关键信息的丢失。以往基于二维投影的方法采用基于步长的二维采样方式来对投影后的点云进行采样，这类方法忽略了点云的三维几何结构。相比之下，如图3所示，我们的视锥体最远点采样（F2PS）仅按步长对球形视锥体进行采样，而球形视锥体内的点集则通过最远点采样来获取。按步长采样球形视锥体。具体来说，我们将二维球面划分为若干个大小为$S_h \times S_w$的不重叠窗口，其中$(S_h, S_w)$为步长。每个窗口内的球形视锥体被合并为下采样的球形视锥体。同时，通过哈希表查询合并后的球形视锥体内的点，随后将这些点合并为下采样的球形视锥体中的点集$\{p_l\}_{l=1}^L$，此处L表示下采样的球形视锥体中的点数。 --- ![Image](images/7cd4378856dea0221a64d61a9d37bbfaa8f81b0b841be53e50b9cf7f9407ac1e.jpg)

Figure 3: Pipeline of Frustum Farthest Point Sampling. According to the downsampling strides, the spherical frustums in each stride window are downsampled. Then, through the hash table, the points in each downsampled spherical frustum are queried. The queried points are sampled by Farthest Point Sampling (FPS) based on the 3D geometric information. Finally, the uniformly sampled spherical frustums and point cloud are obtained.

通过最远点采样获取视锥体点集。采用最远点采样（FPS）[^26]来均匀采样下采样的球形视锥体中的点集。由于每个下采样的球形视锥体中的点数远少于原始点云的点数，因此执行FPS并不会耗费太多时间。具体来说，首先从三维几何信息中获取$\{pl\}_{l=1}^{L}$中每个点的三维坐标，用于计算三维距离。接着，从原始点集中迭代采样$[L/(S_{h} \times S_{w})]$个点。在每次迭代中，计算每个未采样点到已采样点集的距离，并将距离最大的点加入已采样集合。最终便得到了均匀采样的球形视锥体点集。 F2PS将基于步长的球面截锥体采样与基于FPS的截锥体点集采样相结合，从而能够对原始点云进行均匀采样。此外，由于在截锥体点集上执行FPS需要耗费$O(1)$时间，因此F2PS的计算复杂度为$O(N)$。由此可见，F2PS是一种高效的点云采样算法。 ### 3.4 网络架构基于球面截锥体稀疏卷积（SFC）和截锥体最远点采样（F2PS），我们构建了球面截锥体稀疏卷积网络（SFCNet）。SFCNet采用编码器-解码器结构。首先构建基于哈希的球面截锥体表示，以便后续模块进行卷积和采样操作。随后，通过SFCNet的编码器提取点特征$\{f \in \mathbb{R}^{C}\}$，其中C代表通道维度。该编码器由ResNet中的残差卷积块构成[^44]，其中的普通卷积操作被所提出的SFC取代。此外，基于F2PS对点云进行下采样，以提取不同尺度的特征。每次下采样操作后，均采用SFC层来聚合每个采样点的邻域特征。由于F2PS能够均匀采样点云，因此下采样后的点云可以充分保留原始点云的信息。在解码器中，提取的特征会被上采样、拼接，再输入到头层以输出语义分割的预测结果。 ## 4 实验本节首先介绍实验中采用的数据集以及SFCNet的实现细节。接着展示两个数据集的定量结果和SemanticKITTI数据集的定性结果。最后通过消融实验以及与基于恢复的方法进行对比，来验证所提出模块的有效性。 ---

Table 1: Quantitative results of semantic segmentation on the SemanticKITTI [^1] test set. Bold results are the best in each block of methods.

Approach	mIoU (%)	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign
Point Based
PointNet++ [^26]	20.1	53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	5.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9
RandLA [^31]	55.9	94.2	47.4	32.2	43.9	39.1	48.4	47.4	9.4	90.5	61.8	74.0	24.5	89.7	60.4	83.8	63.6	68.6	51.0	50.7
KPConv [^29]	58.8	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4
3D Voxel Based
Cylinder3D [^23]	67.8	97.1	67.6	64.0	59.0	58.6	73.9	67.9	36.0	91.4	65.1	75.5	32.3	91.0	66.5	85.4	71.8	68.5	62.6	65.6
(AF) $^{2}$-S3Net [^22]	69.7	94.5	65.4	86.8	39.2	41.1	80.7	80.4	74.3	91.3	68.8	72.5	53.5	87.9	63.2	70.2	68.5	53.7	61.5	71.0
SphereFormer [^25]	74.8	97.5	70.1	70.5	59.6	67.7	79.0	80.4	75.3	91.8	69.7	78.2	41.3	93.8	72.8	86.7	75.1	72.4	66.8	72.9
2D Projection Based
RangeNet++ [^13]	52.2	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9
PolarNet [^16]	54.3	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	57.5
SqueezeSegV3 [^14]	55.9	92.5	38.7	36.5	29.6	33.0	45.6	46.2	20.1	91.7	63.4	74.8	26.4	89.0	59.4	82.0	58.7	65.4	49.6	58.9
SalsaNext [^15]	59.5	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1
KPRNet [^17]	63.1	95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1
Lite-HDSeg [^19]	63.8	92.3	40.0	55.4	37.7	39.6	59.2	71.6	54.1	93.0	68.2	78.3	29.3	91.5	65.0	78.2	65.8	65.1	59.5	67.7
RangeViT [^21]	64.0	95.4	55.8	43.5	29.8	42.1	63.9	58.2	38.1	93.1	70.2	80.0	32.5	92.0	69.0	85.3	70.6	71.2	60.8	64.7
CENet [^20]	64.7	91.9	58.6	50.3	40.6	42.3	68.9	65.9	43.5	90.3	60.9	75.1	31.5	91.0	66.2	84.5	69.7	70.0	61.5	67.6
SFCNet (Ours)	65.0	95.1	64.2	63.2	23.5	45.6	78.3	73.1	26.4	87.9	65.6	71.9	29.1	91.1	64.5	83.7	72.6	69.6	62.6	67.2

Table 2: Quantitative results of semantic segmentation on the nuScenes [^27] validation set. Bold results are the best in each block of methods.

Approach	mIoU (%)	barrier	bicycle	bus	car	construction	motorcycle	pedestrian	traffic-cone	trailer	truck	driveable	other flat	sidewalk	terrain	manmade	vegetation
3D Voxel Based (AF) $^{{2}}$-S3Net [^22]	62.2	60.3	12.6	82.3	80.0	20.1	62.0	59.0	49.0	42.2	67.4	94.2	68.0	64.1	68.6	82.9	82.4
Cylinder3D [^23]	76.1	76.4	40.3	91.3	93.8	51.3	78.0	78.9	64.9	62.1	84.4	96.8	71.6	76.4	75.4	90.5	87.4
SphereFormer [^25]	78.4	77.7	43.8	94.5	93.1	52.4	86.9	81.2	65.4	73.4	85.3	97.0	73.4	75.4	75.0	91.0	89.2
2D Projection Based (RangeNet++ [^13])	65.5	66.0	21.3	77.2	80.9	30.2	66.8	69.6	52.1	54.2	72.3	94.1	66.6	63.5	70.1	83.1	79.8
PolarNet [^16]	71.0	74.7	28.2	85.3	90.9	35.1	77.5	71.3	58.8	57.4	76.1	96.5	71.1	74.7	74.0	87.3	85.7
SalsaNext [^15]	72.2	74.8	34.1	85.9	88.4	42.2	72.4	72.2	63.1	61.3	76.5	96.0	70.8	71.2	71.5	86.7	84.4
RangeViT [^21]	75.2	75.5	40.7	88.3	90.1	49.3	79.3	77.2	66.3	65.2	80.0	96.4	71.4	73.8	73.8	89.9	87.2
SFCNet (Ours)	75.9	76.7	40.4	89.5	91.3	46.7	82.0	78.1	65.8	69.4	80.6	96.6	71.6	74.5	74.9	89.0	87.5

### 4.1 数据集我们在SemanticKITTI [^1]和nuScenes [^27]数据集上训练和评估SFCNet，这两个数据集为大规模激光雷达点云提供了逐点语义标签。 SemanticKITTI [^1]数据集包含43551个由64线Velodyne-HDLE64激光雷达采集的激光雷达点云扫描数据。每次扫描包含近12万个点。这些扫描数据被分为22个序列。按照官方设定，我们将序列00-07和09-10作为训练集，序列08作为验证集，序列11-21作为测试集。此外，SemanticKITTI为激光雷达语义分割任务提供了19个类别的逐点语义标注。 NuScenes [^27]数据集包含34149个激光雷达点云扫描数据，这些数据是在1000个自动驾驶场景中利用32线Velodyne HDL-32E激光雷达采集的。每次扫描包含近4万个点。我们采用官方设定将nuScenes数据集的扫描数据划分为训练集和验证集。 --- ![Image](images/9c2c07dcc4f323e600f8574abf858f87c678370f38cc03380e9954303d9d4914.jpg)

Figure 4: Qualitative results on SemanticKITTI validation set. The first column presents the ground truths, while the following three columns show the error maps of the predictions from the three methods. Specifically, the reference from point color to the semantic class in the ground truths is shown at the bottom. In addition, the false-segmented points are marked as red in the error maps. Moreover, we use circles with the same color to point out the same objects in the ground truth and the three error maps. Furthermore, the corresponding RGB images of each scene with the colored point cloud projected are demonstrated. We also show the corresponding zoomed RGB image view of circled objects if they are visible in the RGB images.

此外，nuScenes数据集为激光雷达语义分割任务提供了16个类别的逐点语义标注。在两个数据集上，均通过平均交并比（mIoU）[^45]来评估激光雷达点云语义分割的性能。 ### 4.2 实现细节 SFCNet是通过PyTorch [^46]框架实现的。对于球台体，在语义KITTI数据集中，用于计算球坐标的高度和宽度分别设为$H = 64$、$W = 1800$；在nuScenes数据集中则分别设为$H = 32$、$W = 1024$。语义KITTI和nuScenes数据集中提取的点特征的通道维度C分别设为128和256。F2PS的步长$(S_h, S_w)$均设为$(2, 2)$。网络优化采用了多层加权交叉熵损失和Lováz-Softmax损失[^47]。优化器选用初始学习率为0.001的Adam [^48]，且每个训练周期学习率会降低5%。两个数据集的数据增强均采用随机旋转、翻转、平移和缩放操作。模型训练在单张NVIDIA Quadro RTX 8000上开展，训练批次大小设为4。 ### 4.3 定量结果我们将SFCNet与基于2D投影、基于点以及基于3D体素的最新（SoTA）分割方法在SemanticKITTI和nuScenes数据集上进行了对比。 --- 如表1和表2所示，在SemanticKITTI和nuScenes数据集上，SFCNet的性能均优于以往基于2D卷积的最新分割方法CENet [^20]和SalsaNext [^15]。此外，在两个数据集上SFCNet的表现也优于基于视觉变换器的分割方法RangeViT [^21]。SFCNet还优于基于点的方法，并且缩小了基于2D投影的方法与基于3D体素的方法之间的性能差距。在各类别IoU对比方面，对于摩托车、行人（在nuScenes中称为pedestrian）、自行车、树干和电线杆等小型3D物体，SFCNet的IoU优于其他基于2D投影的方法。这些小型物体上的性能提升源于量化信息损失的消除。没有量化信息损失后，小型3D物体的完整几何结构得以保留，从而实现更精确的分割。我们还观察到，在SemanticKITTI数据集上，道路、停车场和地形等广范围类别的性能略逊一筹。不过，由于保留完整点云显著提升了难以分割的小型物体的准确率，SFCNet的平均IoU仍高于以往的基于2D投影的方法。 ### 4.4 定性结果图4展示了我们的SFCNet与基于2D投影的分割方法CENet [^20]、RangeViT [^21]的定性对比。对比结果显示，在这三种方法中SFCNet的分割误差最小。此外，图4三行中被圈出的物体分别体现了SFCNet对行人、电线杆和树干的精确分割效果。这一结果进一步表明，通过消除量化信息损失，我们实现了更好的3D小型物体分割性能。 ### 4.5 消融研究在本节中，我们在SemanticKITTI数据集上开展消融研究，以验证所提出模块的有效性。我们采用以传统球面投影和基于步长的采样为基础的基线网络。消融研究的结果如表3所示。球形截锥稀疏卷积（SFC）。首先，我们用球形截锥替换基线模型中的球面投影，并采用球形截锥稀疏卷积来进行特征聚合。替换之后，mIoU提升了4.3%，这表明球形截锥结构能够避免信息量化问题。

Table 3: Results of ablation studies on the SemanticKITTI validation set.

ID	Baseline	SFC	F2PS	mIoU (%)
1	✓			56.2
2	✓	✓		60.5
3	✓	✓	✓	62.9

从而防止由于预测不完整导致的分割误差。截锥最远点采样（F2PS）。用F2PS替换基于步长的2D采样后，mIoU提升了2.4%。F2PS能够对点云进行均匀采样并保留关键信息，因此语义分割的性能得到了改善。 ### 4.6 与基于恢复的方法对比基于第4.5节中的相同基线网络，我们将SFCNet与那些通过从部分预测中恢复完整预测来弥补信息量化损失的方法进行对比，包括基于KNN的后处理[^13]以及KPConv细化[^17]。表4显示，与基于KNN的后处理相比，SFCNet的mIoU提升了3.2%；与KPConv细化相比，mIoU提升了2.8%。

Table 4: The performance comparison between the restoring-based methods and SFCNet on the SemanticKITTI validation set.

Method	mIoU (%)
KNN-based Post-processing [^13]	59.7
KPConv Refinement [^17]	60.1
SFCNet (Ours)	62.9

与之相比，基于恢复的方法是通过后处理或细化来弥补信息损失，而SFCNet在特征聚合时保留了完整的几何结构，因此语义分割性能更高。 --- ## 5 结论在本文中，我们提出了球形截锥稀疏卷积网络（SFCNet），这是一种基于2D卷积的激光雷达点云分割方法，可避免信息量化损失。通过创新的球形截锥结构消除了量化信息损失问题，该结构能够保留投影到同一2D位置的所有点。此外，我们还提出了新型的球形截锥稀疏卷积和截锥最远点采样方法，用于高效地对存储在球形截锥中的点进行卷积和采样。在SemanticKITTI和nuScenes数据集上的实验结果表明，与以往的基于2D投影的语义分割方法相比，SFCNet的语义分割性能更优，尤其是在小物体分割方面。这些结果显示出SFCNet在自动驾驶感知领域的巨大潜力，因为它能够精准分割小目标。局限性与未来工作。为了在球形截锥上实现2D卷积，球形截锥稀疏卷积仅采用了相邻球形截锥中最邻近的点。这种设计可能会限制网络的感受野，从而导致对大范围类别的分割性能略差。为了兼顾大范围类别和小类别的性能，改进方向是基于我们的球形截锥结构扩展感受野。要实现这一点，未来的工作可以将具有更大感受野的视觉网络架构（如视觉Transformer [^49]或视觉Mamba [^50]）与我们的球形截锥结构相结合。此外，我们的研究主要聚焦于有监督的单模态点云语义分割。未来工作还可以将球形截锥结构应用于弱监督[^51]和多模态[^52]点云语义分割。另外，将球形截锥结构应用到激光雷达点云的更多任务中，如点云配准[^53] [^54]和场景流估计[^55]，也是未来的研究方向。 ## 6 致谢与经费披露本研究部分得到了国家自然科学基金项目（批准号：62225309、62073222、U21A20480）以及的支持。 ## 参考文献 [^1]: Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Cyrill Stachniss, and Jurgen Gall. Semantickitti: A dataset for semantic scene understanding of lidar sequences. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9297–9307, 2019. [^2]: Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chonghao Sima, Tong Lu, Yu Qiao, and Jifeng Dai. Bevformer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers. In European conference on computer vision, pages 1–18. Springer, 2022. [^3]: Jiuming Liu, Guangming Wang, Chaokang Jiang, Zhe Liu, and Hesheng Wang. Translo: A window-based masked point transformer framework for large-scale lidar odometry. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 37, pages 1683–1691, 2023. [^4]: Jiuming Liu, Dong Zhuo, Zhiheng Feng, Siting Zhu, Chensheng Peng, Zhe Liu, and Hesheng Wang. Dvlo: Deep visual-lidar odometry with local-to-global feature fusion and bi-directional structure alignment. arXiv preprint arXiv:2403.18274, 2024. [^5]: Guangming Wang, Yu Zheng, Yanfeng Guo, Zhe Liu, Yixiang Zhu, Wolfram Burgard, and Hesheng Wang. End-to-end 2d-3d registration between image and lidar point cloud for vehicle localization. arXiv preprint arXiv:2306.11346, 2023. [^6]: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguere, Jens Behley, and Cyrill Stachniss. Suma++: Efficient lidar-based semantic slam. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4530–4537. IEEE, 2019. [^7]: Siting Zhu, Renjie Qin, Guangming Wang, Jiuming Liu, and Hesheng Wang. Semgauss-slam: Dense semantic gaussian splatting slam. arXiv preprint arXiv:2403.07494, 2024. [^8]: Siting Zhu, Guangming Wang, Hermann Blum, Jiuming Liu, Liang Song, Marc Pollefeys, and Hesheng Wang. Sni-slam: Semantic neural implicit slam. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21167–21177, 2024. ## [^9]: Mingrui Li, Shuhong Liu, Heng Zhou, Guohao Zhu, Na Cheng, Tianchen Deng, and Hongyu Wang. Sgs-slam: Semantic gaussian splatting for neural dense slam. arXiv preprint arXiv:2402.03246, 2024 --- [^10]: Wenhua Wu, Qi Wang, Guangming Wang, Junping Wang, Tiankun Zhao, Yang Liu, Dongchao Gao, Zhe Liu, and Hesheng Wang. Emie-map: Large-scale road surface reconstruction based on explicit mesh and implicit encoding. arXiv preprint arXiv:2403.11789, 2024. [^11]: Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 1887–1893. IEEE, 2018. [^12]: Bichen Wu, Xuanyu Zhou, Sicheng Zhao, Xiangyu Yue, and Kurt Keutzer. Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud. In 2019 International Conference on Robotics and Automation (ICRA), pages 4376–4382. IEEE, 2019. [^13]: Andres Milioto, Ignacio Vizzo, Jens Behley, and Cyrill Stachniss. RangeNet ++: Fast and Accurate LiDAR Semantic Segmentation. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4213–4220. IEEE, November 2019. [^14]: Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, Peter Vajda, Kurt Keutzer, and Masayoshi Tomizuka. Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation. In European Conference on Computer Vision, pages 1–19. Springer, 2020. [^15]: Tiago Cortinhal, George Tzelepis, and Eren Erdal Aksoy. Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds. In Advances in Visual Computing: 15th International Symposium, ISVC 2020, San Diego, CA, USA, October 5–7, 2020, Proceedings, Part II 15, pages 207–222. Springer, 2020. [^16]: Yang Zhang, Zixiang Zhou, Philip David, Xiangyu Yue, Zerong Xi, Boqing Gong, and Hassan Foroosh. Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9601–9610, 2020. [^17]: Deyvid Kochanov, Fatemeh Karimi Nejadasl, and Olaf Booij. Kprnet: Improving projection-based lidar semantic segmentation. arXiv preprint arXiv:2007.12668, 2020. [^18]: Yara Ali Alnaggar, Mohamed Afifi, Karim Amer, and Mohamed ElHelw. Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1800–1809, 2021. [^19]: Ryan Razani, Ran Cheng, Ehsan Taghavi, and Liu Bingbing. Lite-hdseg: Lidar semantic segmentation using lite harmonic dense convolutions. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pages 9550–9556. IEEE, 2021. [^20]: Hui-Xian Cheng, Xian-Feng Han, and Guo-Qiang Xiao. Cenet: Toward concise and efficient lidar semantic segmentation for autonomous driving. In 2022 IEEE International Conference on Multimedia and Expo (ICME), pages 01–06. IEEE, 2022. [^21]: Angelika Ando, Spyros Gidaris, Andrei Bursuc, Gilles Puy, Alexandre Boulch, and Renaud Marlet. Rangevit: Towards vision transformers for 3d semantic segmentation in autonomous driving. Proceedings of the IEEE conference on computer vision and pattern recognition, 2023. [^22]: Ran Cheng, Ryan Razani, Ehsan Taghavi, Enxu Li, and Bingbing Liu. 2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12547–12556, 2021. [^23]: Xinge Zhu, Hui Zhou, Tai Wang, Fangzhou Hong, Yuexin Ma, Wei Li, Hongsheng Li, and Dahua Lin. Cylindrical and asymmetrical 3d convolution networks for lidar segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9939–9948, 2021. [^24]: Maosheng Ye, Shuangjie Xu, Tongyi Cao, and Qifeng Chen. Drinet: A dual-representation iterative learning network for point cloud segmentation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 7447–7456, 2021. [^25]: Xin Lai, Yukang Chen, Fanbin Lu, Jianhui Liu, and Jiaya Jia. Spherical transformer for lidar-based 3d recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. [^26]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in neural information processing systems, 30, 2017. [^27]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11621–11631, 2020. ## [^28]: Wenxuan Wu, Zhongang Qi, and Li Fuxin. Pointconv: Deep convolutional networks on 3d point clouds. In Proceedings of the IEEE/CVF Conference on computer vision and pattern recognition, pages 9621–9630, 2019 --- [^29]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas. Kpconv: Flexible and deformable convolution for point clouds. In Proceedings of the IEEE/CVF international conference on computer vision, pages 6411–6420, 2019. [^30]: Hengshuang Zhao, Li Jiang, Chi-Wing Fu, and Jiaya Jia. Pointweb: Enhancing local neighborhood features for point cloud processing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5565–5573, 2019. [^31]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham. Learning semantic segmentation of large-scale point clouds with random sampling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. [^32]: Hengshuang Zhao, Li Jiang, Jiaya Jia, Philip HS Torr, and Vladlen Koltun. Point transformer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 16259–16268, 2021. [^33]: Wenxuan Wu, Li Fuxin, and Qi Shan. Pointconvformer: Revenge of the point-based convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21802–21813, 2023. [^34]: Benjamin Graham, Martin Engelcke, and Laurens Van Der Maaten. 3d semantic segmentation with submanifold sparse convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 9224–9232, 2018. [^35]: Chunghyun Park, Yoonwoo Jeong, Minsu Cho, and Jaesik Park. Fast point transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 16949–16958, 2022. [^36]: Xin Lai, Jianhui Liu, Li Jiang, Liwei Wang, Hengshuang Zhao, Shu Liu, Xiaojuan Qi, and Jiaya Jia. Stratified transformer for 3d point cloud segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8500–8509, 2022. [^37]: Yanbo Wang, Wentao Zhao, Chuan Cao, Tianchen Deng, Jingchuan Wang, and Weidong Chen. Sfpnet: Sparse focal point network for semantic segmentation on general lidar point clouds. arXiv preprint arXiv:2407.11569, 2024. [^38]: Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan L Yuille. Deepl: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. IEEE transactions on pattern analysis and machine intelligence, 40(4):834–848, 2017. [^39]: Forrest N Iandola, Song Han, Matthew W Moskewicz, Khalid Ashraf, William J Dally, and Kurt Keutzer. Squeezenet: Alexnet-level accuracy with 50x fewer parameters and <0.5 mb model size. arXiv preprint arXiv:1602.07360, 2016. [^40]: Adam Paszke, Abhishek Chaurasia, Sangpil Kim, and Eugenio Culurciello. Enet: A deep neural network architecture for real-time semantic segmentation. arXiv preprint arXiv:1606.02147, 2016. [^41]: Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018. [^42]: Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M Alvarez, and Ping Luo. Segformer: Simple and efficient design for semantic segmentation with transformers. Advances in Neural Information Processing Systems, 34:12077–12090, 2021. [^43]: Yiming Zhao, Lin Bai, and Xinming Huang. Fidnet: Lidar point cloud semantic segmentation with fully interpolation decoding. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4453–4458. IEEE, 2021. [^44]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. [^45]: Mark Everingham, SM Ali Eslami, Luc Van Gool, Christopher KI Williams, John Winn, and Andrew Zisserman. The pascal visual object classes challenge: A retrospective. International journal of computer vision, 111:98–136, 2015. [^46]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32, 2019. [^47]: Maxim Berman, Amal Rannen Triki, and Matthew B Blaschko. The lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4413–4421, 2018. [^48]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. ## [^49]: Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10012–10022, 2021 --- [^50]: Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, and Xinggang Wang. Vision mamba: Efficient visual representation learning with bidirectional state space model. arXiv preprint arXiv:2401.09417, 2024. [^51]: Jiaming Liu, Yue Wu, Maoguo Gong, Qiguang Miao, Wenping Ma, and Cai Xu. Exploring dual representations in large-scale point clouds: A simple weakly supervised semantic segmentation framework. In Proceedings of the 31st ACM International Conference on Multimedia, pages 2371–2380, 2023. [^52]: Yue Wu, Jiaming Liu, Maoguo Gong, Qiguang Miao, Wenping Ma, and Cai Xu. Joint semantic segmentation using representations of lidar point clouds and camera images. Information Fusion, 108:102370, 2024. [^53]: Jiuming Liu, Guangming Wang, Zhe Liu, Chaokang Jiang, Marc Pollefeys, and Hesheng Wang. Regformer: an efficient projection-aware transformer network for large-scale point cloud registration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8451–8460, 2023. [^54]: Fan Lu, Guang Chen, Yinlong Liu, Lijun Zhang, Sanqing Qu, Shu Liu, and Rongqi Gu. Hregnet: A hierarchical network for large-scale outdoor lidar point cloud registration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 16014–16023, 2021. [^55]: Jiuming Liu, Guangming Wang, Weicai Ye, Chaokang Jiang, Jinru Han, Zhe Liu, Guofeng Zhang, Dalong Du, and Hesheng Wang. Diffflow3d: Toward robust uncertainty-aware scene flow estimation with iterative diffusion-based refinement. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 15109–15119, 2024. [^56]: Andrew Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, et al. Searching for mobilenetv3. In Proceedings of the IEEE/CVF international conference on computer vision, pages 1314–1324, 2019. [^57]: Hyeonwoo Noh, Seunghoon Hong, and Bohyung Han. Learning deconvolution network for semantic segmentation. In Proceedings of the IEEE international conference on computer vision, pages 1520–1528, 2015. ## [^58]: Dan A Alcantara, Vasily Volkov, Shubhabrata Sengupta, Michael Mitzenmacher, John D Owens, and Nina Amenta. Building an efficient hash table on the gpu. In GPU Computing Gems Jade Edition, pages 39–53. Elsevier, 2012 --- ## 附录在附录中，我们首先在第A节介绍了球面平截头体稀疏卷积网络（SFCNet）的详细架构；接着在第B节给出了SFCNet的额外实现细节；随后在第C节展示了额外的实验结果；最后在第D节呈现了SemanticKITTI [^1]和nuScenes [^27]数据集上的语义分割结果的可视化图像。 ![Image](images/26f817f5a579a91b73858c342c97d6e923bb3df0464c958b05ded8ffcda462a0.jpg)

Figure 5: The Detailed Architecture of SFCNet. (a) presents the detailed pipeline of SFCNet. In addition, (b), (c), and (d) show the detailed module structures of the SFC layer, SFC block, and downsampling SFC block respectively, where SFC means spherical frustum sparse convolution, and F2PS means the frustum farthest point sampling.

### A 详细架构图5展示了SFCNet的详细架构。在SFCNet中，首先构建输入点云的球面平截头体结构；随后采用由上下文模块和第1至第4提取层组成的编码器来提取点特征。接下来，在解码器中，第2至第4提取层中提取的点特征会通过上采样球面平截头体稀疏卷积（SFC）操作进行上采样；上采样后的特征会与上下文模块及第1提取层中提取的特征相拼接，再将拼接后的特征送入头部层，从而将点特征解码为语义预测结果。此外，图5还展示了SFCNet中的三个基本模块，即SFC层、SFC块和下采样SFC块。同时，我们在表5中列出了SFCNet的详细超参数。 SFCNet的基本模块。具体而言，SFC层由SFC、批量归一化和激活函数组成。受[^20]的启发，我们选用Hardwish [^56]作为激活函数。Hardwish的公式如下： $$ Hardswish(x)=\begin{cases}0&if x\leq-3\\x&if x\geq3\\x\cdot(x+3)/6&otherwise\end{cases}. $$ ---

Table 5: The Detailed Hyperparameters of the Components and Modules in SFCNet. Component shows the names of components in SFCNet. Module Type shows the types of basic modules used in the components. Kernel Size shows the convolution kernel size of Spherical Frustum sparse Convolutions (SFCs) used in the modules. In the column of Stride, $[1,1]$ strides mean the SFC treats all the points as the center points, while $[2,2]$ strides show the strides used in Frustum Farthest Point Sampling (F2PS). The column of Upsampling Rate shows the upsampling rate used in the upsampling SFCs. Number of Modules shows the number of composed modules used in corresponding components. Width shows the output channel dimensions of the modules. In addition, in the column of Width, C means the channel dimensions of the extracted point features, which is 128 for the SemanticKITTI dataset and 256 for the nuScenes dataset. n means the number of semantic classes, which is 19 for the SemanticKITTI dataset and 16 for the nuScenes dataset.

Component	Module Type	Kernel Size	Stride	Upsampling Rate	Number of Modules	Width
Context Block	SFC Layer	[^3] [^3]	[^1] [^1]	—	3	[C/2,C,C]
Extraction Layer 1	SFC Block	[^3] [^3]	[^1] [^1]	—	3	[C,C,C]
Extraction Layer 2	Downsampling SFC Block	[^3] [^3]	[^2] [^2]	—	1	[C]
Extraction Layer 2	SFC Block	[^3] [^3]	[^1] [^1]	—	3	[C,C,C]
Extraction Layer 3	Downsampling SFC Block	[^3] [^3]	[^2] [^2]	—	1	[C]
Extraction Layer 3	SFC Block	[^3] [^3]	[^1] [^1]	—	5	[C,C,C,C,C]
Extraction Layer 4	Downsampling SFC Block	[^3] [^3]	[^2] [^2]	—	1	[C]
Extraction Layer 4	SFC Block	[^3] [^3]	[^1] [^1]	—	2	[C,C]
Upsampling	Upsampling SFC for Extraction Layer 2	[^3] [^3]	[^1] [^1]	[^2] [^2]	1	[C]
	Upsampling SFC for Extraction Layer 3	[^7] [^7]	[^1] [^1]	[^4] [^4]	1	[C]
	Upsampling SFC for Extraction Layer 4	[^15] [^15]	[^1] [^1]	[^8] [^8]	1	[C]
Head Layer	SFC Layer	[^3] [^3]	[^1] [^1]	—	2	[2-C,C]
Head Layer	Linear	—	—	—	1	[n]

SFC块由两个SFC层构成。此外，SFC块中采用了残差连接[^44]，以克服网络退化问题。下采样SFC块结合了平截头体最远点采样（F2PS）的下采样操作和SFC块的特征聚合功能。值得注意的是，在下采样SFC块中，第一个SFC会将采样点视为中心点，将采样前的点云特征作为聚合特征。此外，下采样之后，每个球面平截头体的二维坐标会除以步长，从而得到下采样后的二维球面上的二维坐标；同时，根据F2PS中的采样顺序，每个点在下采样的球面平截头体点集中会被赋予新的点索引。 SFCNet编码器中的组件。在编码器中，上下文模块由三个SFC层组成，用于从原始点云中提取初始点特征；后续的四个提取层分别由3个、3个、5个和2个SFC块构成。此外，最后三层采用了步长为$(2, 2)$的下采样SFC块，将点云下采样为不同尺度，从而提取多尺度的点特征。 SFCNet解码器中的组件。我们根据二维卷积神经网络中使用的反卷积技术[^57]，在SFCNet的解码器中实现了上采样SFC。在上采样SFC中，我们首先将对应层中球面截锥的二维坐标乘以上采样率，从而得到原始球面上的二维坐标。接着，将原始点云中的每个点视为SFC中的中心点，对落在卷积核内的球面截锥进行卷积操作。如表5所示，我们针对每个上采样SFC根据上采样率设置了合适的卷积核大小。上采样之后，来自不同提取层的点特征尺寸相同，因此可以将这些点特征拼接起来。在头部层中，采用两个SFC层和一个线性层来对拼接后的特征进行解码。 --- ### B 额外的实现细节数据归一化。对于激光雷达点云中的第k个点$\mathcal{P}$，其三维坐标$\boldsymbol{x}_k = [x_k, y_k, z_k]^T$、距离$r_k = \sqrt{x_k^2 + y_k^2 + z_k^2}$以及强度被共同视为输入点特征$\boldsymbol{f}_k$。由于不同类别的数据单位存在差异，因此需要对输入特征进行归一化处理。具体而言，对于SemanticKITTI数据集[^1]，与RangeNet++[^13]类似，我们通过减去特征的均值并除以标准差来获得归一化后的特征。均值和标准差取自SemanticKITTI数据集中各类输入数据的统计结果，具体数值见表6。

Table 6: The statistics of each input data category on SemanticKITTI dataset.

Statistics	x	y	z	range intensity
Mean	10.88	0.23	-1.04	12.12
Standard Deviation	11.47	6.91	0.86	12.32

对于nuScenes数据集[^27]，与Cylinder3D[^23]类似，我们在输入端应用批量归一化层对点特征进行处理，以便在训练过程中记录nuScenes数据集的均值和标准差。推理时，利用记录下来的均值和标准差对输入点特征进行归一化。球面截锥构建。我们通过为每个点分配二维球面坐标$(u_k, v_k)$以及球面截锥点集中的点索引$m_k$来构建球面截锥结构，其中k为该点在原始点云中的索引。二维球面坐标可通过公式1计算得出。因此，关键步骤是根据二维球面坐标为每个点分配点索引$m_k$。我们通过对点的二维坐标$(u_k, v_k)$进行排序来实现这一点。具有较小$u_k$和$v_k$的点，其排序位置会先于那些具有较大$u_k$和$v_k$的点。因此，具有相同二维坐标的点在排序后的点云中会是相邻点。对于每个点，我们分别统计在排序后的点云中与其二维坐标相同且位于该点前方或后方的点的数量。位于前方的点的数量被用作每个点的索引$m_k$。此外，我们根据位于该点之后的点数量为每个点分配一个指示符$\xi_k \in \{0,1\}$。没有点位于其后时，该指示符赋值为0；否则赋值为1。该指示符用于标识截锥点集的终点，以便后续访问球面截锥点集。排序和点数统计是通过基于图形处理器（GPU）的并行计算来实现的，该计算利用了统一计算设备架构（CUDA）。因此，这种实现方式在实践中效率很高。基于哈希的球面截锥体表示。在构建完球面截锥体结构后，我们进一步建立基于哈希的球面截锥体表示。具体来说，我们构造键$(u_k, v_k, m_k)$与值k之间的键值对。这些键值对被插入到哈希表中，用以表示球面截锥体与点之间的邻近关系。在实践中，我们采用了一种高效的基于GPU的哈希表[^58]。这种基于GPU的哈希表要求键和值都必须是整数。值k满足整数要求，但基于哈希的球面截锥体表示中的键$(u_k, v_k, m_k)$却不是整数。为了能够利用基于GPU的哈希表进行高效处理，我们将$(u_k, v_k, m_k)$转换为整数$v_k \cdot (W \cdot M) + u_k \cdot M + m_k$，其中W代表球面投影的宽度，M为球面截锥体点集的最大点数。通过这一过程，任何由坐标$(u_k, v_k, m_k)$表示的点都可以通过基于GPU的哈希表被高效查询。球面截锥体点集遍历。SFC和F2PS算法都需要遍历任意球面截锥体中的所有点。因此，我们提出了球面截锥体点集遍历算法。该算法通过依次查询哈希表中的点，来获取给定球面截锥体内所有点的2D坐标$(u, v)$。具体来说，我们首先利用键$(u, v, 0)$来查询球形视锥体中的第一个点。如果该键$(u, v, 0)$不在哈希表中，则说明在$(u, v)$上的球形视锥体是无效的；否则，就可以通过哈希表查询到球形视锥体中的第一个点。 --- 接着，我们依次遍历球面截锥体中的点。首先初始化球面截锥体内的点索引m=0，每一步中索引m都会加1。通过哈希表，利用键$(u, v, m)$查询球面截锥体中第m个索引对应的点，同时获取表示该点的标识符$\xi$。$\xi$用于指示$(u, v, m+1)$是否对应一个有效的点。当当前点的标识符为零时，遍历过程结束。截锥体最远点采样的详细实现。在F2PS算法中，我们首先按步长采样球面截锥体，然后对每个采样得到的球面截锥体应用最远点采样（FPS）[^26]。如3.3节所述，FPS是一种迭代算法。第j次迭代的详细过程可以用以下公式表示： $$ S_{j}=S_{j-1}\cup\{\arg\max_{p\in P_{s}\backslash S_{j-1}}\min_{s\in S_{j-1}}dist(p,s)\}, $$ 其中$P_{s}$是要采样的球面截锥体点集，$S_{j}$和$S_{j-1}$分别是第j次和第$(j-1)$次迭代中采样得到的点集。值得注意的是，$S_{0}$包含了从$P_{s}$中随机采样出的点。此外，$dist(p,s)$表示三维空间中点p与点s之间的距离。迭代从$j=1$开始，当$S_{k}$的大小等于采样点数时迭代结束。此外，由于在第j次迭代之前已经计算出了$S_{j-2}$中的点与$P_s\backslash S_{j-1}$中的点之间的距离，因此我们只需要计算$P_s\backslash S_{j-1}$中的每个点p与第$(j-1)$次迭代中采样得到的点之间的距离，就能得出$\min_s\in S_{j-1}$ \textit{dist}(p,s)，即点p到点集$S_{j-1}$的最小距离。因此，规模为n的$P_s$的FPS计算复杂度即为$O(n^2)$。由于每个球台内的点数均为$O(1)$，所以球台的FPS计算复杂度同样为$O(1)$，这保证了F2PS的高效性。 ### 损失函数我们采用多层加权交叉熵损失和Lovász-Softmax损失[^47]，以帮助网络从不同尺度学习语义信息。为了得到第1至第4提取层的语义预测结果，我们对每个提取层提取出的点特征应用线性层，将其解码为语义预测值。具体而言，对于第1提取层，将线性层应用于提取出的点特征$\mathcal{F}_1$以得到预测值$\tilde{L}_1$。对于其他提取层，则将线性层分别应用于上采样后的点特征$\mathcal{F}_2'$、$\mathcal{F}_3'$和$\mathcal{F}_4'$，从而分别得到预测值$\tilde{L}_2$、$\tilde{L}_3$和$\tilde{L}_4$。基于各层的预测结果以及SFCNet的最终预测值$\tilde{L}_{1}$，可计算出损失函数： $$ \mathcal{L}=\sum_{i=1}^{4}\mathcal{L}_{w c e}(\tilde{L}_{i},L)+\mathcal{L}_{L o v}(\tilde{L}_{i},L), $$ 其中$\mathcal{L}_{wce}$为加权交叉熵损失，$\mathcal{L}_{Lov}$为Lovász-Softmax损失，L为真实标签。此外，加权交叉熵损失的权重计算公式为$w_c = (f_c + \epsilon)^{-1}$，其中c表示语义类别，$f_c$为数据集中类别c出现的频率，$\epsilon$是一个很小的正值，用于避免除以零的情况。 ### C 补充实验 ### C.1 效率对比我们在单张Geforce RTX 4090Ti GPU上，评估了所提出的SFCNet与以往研究成果以及我们的基于2D投影的基线模型的效率。我们采用了第4.5节中使用的相同基线模型。对于RangeViT，我们采用官方代码来进行效率评估。值得注意的是，在推理阶段，RangeViT会将投影后的激光雷达图像分割，将每个图像切片输入网络得到预测结果，再将预测结果合并以得到整个投影激光雷达图像的预测值。因此，RangeViT的推理时间包含了所有处理步骤的时间。此外，由于RangeViT采用了KPConv细化技术[^17]，能够从部分预测结果中恢复完整的预测值，所以我们以整个点云的点数作为处理点数。对于PointNet++[^26]，按照其原始设置，在输入网络前会从点云中采样45K个点。对于基于3D体素的方法，即Cylinder3D[^23]和SphereFormer[^25]，由于只有体素化后保留的点才会在3D稀疏卷积网络中被处理，因此仅统计这些点。 ---

Table 7: Efficiency comparison. The inference time of a single LiDAR scan, the processed point number, and the normalized time, the inference time per thousand points, are evaluated on the SemanticKITTI validation set with a single Geforce RTX 4090Ti GPU.

Approach	Time (ms)/Points $\downarrow$	Normalized Time (ms/K) $\downarrow$
PointNet++ [^26]	131.0/~ 45K	2.91
RandLA [^31]	212.2/~ 120K	1.77
Cylinder3D [^23]	67.5/~ 40K	1.69
SphereFormer [^25]	108.2/~ 90K	1.20
RangeViT [^21]	104.8/~ 120K	0.87
Baseline	46.4/~ 90K	0.52
SFCNet (Ours)	59.7/~ 120K	0.49

Table 8: The quantitative results of different resolutions used in the baseline model with KNN-based post-processing [^13] on the SemanticKITTI validation set.

Resolution	Preserved Points/All Points	mIoU (%) $\uparrow$
64 $\times$ 1800	88K/120K	59.7
64 $\times$ 2048	97K/120K	58.9
64 $\times$ 4096	113K/120K	57.0

结果如表7所示。结果显示，SFCNet单次扫描推理耗时59.7毫秒，能够达到实时激光雷达扫描处理的要求。此外，与以往的3D方法、2D方法及2D基线模型相比，我们的SFCNet在归一化时间指标（0.49毫秒/K）上展现出最高的效率，这表明SFCNet能够利用2D投影特性来高效分割大规模点云。 ## C.2 基线模型不同分辨率的分析由于有限的投影分辨率是导致量化信息丢失的原因，提高投影范围图像的分辨率可以在球面投影过程中保留更多点，从而减轻量化信息丢失问题。然而，分辨率提升会增加投影点的稀疏性，使得卷积难以聚合局部特征。因此，分辨率扩展并非解决量化信息丢失的可行方案。为验证这一点，我们将基线模型的图像水平分辨率提升至2048和4096，并在SemanticKITTI验证集上对不同分辨率开展消融实验，以观察更高分辨率的影响。如表8所示，分辨率提升虽然保留了更多点，却导致了更差的性能。相比之下，SFCNet不仅克服了量化信息丢失问题，还能通过球面截锥结构保留所有点，以合适的分辨率有效聚合局部特征。 ### C.3 额外的消融实验在本小节中，我们开展了额外的消融实验，以评估SFCNet对关键参数的敏感性。截锥最远点采样（F2PS）中的步长大小。我们在三个下采样层上对四种不同的F2PS步长设置进行了消融实验，这四种设置分别为(1, 2)、(2, 1)、(2, 4)和(4, 2)。结果如表9所示。结果显示，在所有下采样层中，(2, 2)的步长设置均比其他步长设置表现出更好的分割性能。(2, 2)的步长能够在垂直和水平维度上对点云进行合适的下采样；步长过大或过小分别会导致点云的过采样或欠采样。球面截锥中的点数。在球面截锥结构中，截锥内的点数没有限制，仅取决于投影到对应2D位置的点数多少。为分析截锥内点数的影响，我们设定了每个球面截锥中的最大点数，超出该最大点数的点会被丢弃。如表10所示，球面截锥中保留的点数越多，分割性能越好，因为这样能保留更完整的几何信息。这些 ---

Table 9: Ablation study on the stride sizes of the Frustum Farthest Point Sampling in the downsampling layers on the SemanticKITTI validation set.

Stride Sizes $(S_h, S_w)$	mIoU (%) $\uparrow$
Stride Sizes $(S_h, S_w)$	Layer 1	Layer 2	Layer 3
(2,1)	60.7	61.3	61.1
(1,2)	62.4	62.2	62.3
(2,4)	62.3	62.6	61.9
(4,2)	60.5	61.6	61.9
(2,2) (Ours SFCNet)	62.9

Table 10: Ablation study on the maximal number of points in spherical frustums on the SemanticKITTI validation set.

Maximal Number of Points in Spherical Frustum	mIoU (%) $\uparrow$
2	61.0
4	61.9
Unlimited (Ours SFCNet)	62.9

结果进一步凸显了在激光雷达点云语义分割领域克服量化信息丢失问题的重要性。哈希表的配置。哈希函数的数量是哈希表的主要参数，它决定了用于哈希表检索的函数个数。在实现过程中，如果第一个哈希函数能够成功定位到目标点，其他函数便不会被使用。我们通过改变哈希函数的数量来观察模型对哈希表配置的敏感度。如表11所示，在不同数量的哈希函数下，SFCNet的性能和推理时间差异很小。结果表明，在大多数情况下，第一个函数就能成功定位到目标点，因此不同函数数量下的推理时间变化不大。这些结果说明SFCNet对不同哈希表配置具有鲁棒性。 ### C.4 采样方法的比较我们通过与基于步长的2D采样方法进行定性比较，以及与最远点采样（FPS）的时间消耗对比，进一步验证了所提出的视锥最远点采样（F2PS）的有效性和效率。定性比较。如图6(a)所示，基于步长的2D采样（SBS）仅依据2D步长对点云进行采样。可视化结果显示，基于步长采样的点云较为粗糙。由于缺少3D几何信息，SBS无法均匀采样3D点云，因此采样点云中几何结构的损失十分明显，比如地面上会出现许多断裂的线条。我们的F2PS在球形视锥内考虑了基于FPS的3D几何信息，这使得F2PS能够均匀采样3D点云，并在采样过程中保留重要的3D几何结构。时间消耗比较。如图6(b)所示，随着采样点数的增加，我们的F2PS耗时增长缓慢，而FPS的耗时则急剧上升。这一结果表明，在视锥点集上执行FPS既高效又不会增加计算负担。 ### C.5 SFCNet与基线模型在小物体类别上的比较为了进一步展示小物体分割方面的改进，我们在SemanticKITTI和nuScenes验证集上，对比了SFCNet与采用基于KNN的后处理方法的基线模型在小物体类别上的定量结果[^13]。如表12和表13所示，与基线模型相比，我们的SFCNet在所有小物体类别上的性能均更优。结果表明，克服量化信息损失能够保留小物体的完整几何信息，从而让SFCNet更好地识别和分割这些小物体。 ---

Table 11: Ablation study on the configuration of the hash table for the spherical frustum structure on the SemanticKITTI validation set.

Number of Hash Functions	Inference Time (ms) $\downarrow$	mIoU (%) $\uparrow$
2	59.5	62.9
3	60.1	62.9
5	59.5	62.9
4 (Ours SFCNet)	59.7	62.9

![Image](images/5cc2d664e33ba367644c41c427dc050677ceb7e7a87fdd4cd6460b29b8c3dd74.jpg)

Original Point Cloud

![Image](images/bfdab67093e4d7f2a27158d0aba67005c783284bef75c5cf6866cd3e2c3a8747.jpg) ![Image](images/0f5971d227df8e18ecc8de5313a3590d437e4597edb0077a11d696473fb7595d.jpg)

Stride-Based Sampled Point Cloud F2PS Sampled Point Cloud (Ours) (a) Qualitative Comparison

(a) Qualitative Comparison

![Image](images/bbe218a01bb6b620f96b8dc56360589be7e1afc2b46e60ae0befdaa1a5e2c0ba.jpg)

(b) Time Consumption Comparison

Figure 6: In this figure, (a) presents the qualitative comparison between stride-based 2D sampling and our Frustum Farthest Point Sampling (F2PS). The red boxes show the zoomed view of the point clouds in the close areas. (b) illustrates the time consumption comparison between Farthest Point Sampling (FPS) and our F2PS.

## D 更多可视化结果为了更好地展示SFCNet在激光雷达点云语义分割方面的有效性，我们在SemanticKITTI和nuScenes数据集上进行了更多可视化分析。相关结果如图7、图8、图9、图10以及补充视频SupplementaryVideo.mp4所示。 NuScenes验证集上的定性比较。图7展示了我们的SFCNet与RangeViT[^21]之间的定性比较结果。在NuScenes验证集上，与SemanticKITTI数据集中的结果类似，SFCNet的分割错误也更少。此外，在NuScenes验证集上也能观察到其对行人、摩托车等三维小物体的分割精度更高。这些结果再次证明了由于克服了量化信息损失问题，SFCNet在语义分割方面取得了改进。 SemanticKITTI测试集上的更多定性比较。由于SemanticKITTI测试集的地面真值数据并未公开，因此我们寻找对应的RGB图像，并将语义预测结果投影到该图像上，以此比较最先进的基于2D图像的方法CENet [^20]与我们的SFCNet在SemanticKITTI测试集上的语义分割精度。如图8和图9所示，与CENet相比，SFCNet能够在SemanticKITTI测试集的各种复杂场景中更精准地分割激光雷达点云。具体而言，SFCNet能够识别出图8(a)乡村道路以及图9(c)复杂交叉口中的远处细杆物体，而CENet却将这类物体误分类为其他类别。此外，SFCNet能识别出图8(b)和图9(b)乡村场景植被内的细小树干，而CENet则分别将其错误预测为石块和植被。再者，SFCNet能够成功分割图8(c)复杂交叉口以及图9(a)城市场景中的行人，而由于2D投影过程中丢失了远处行人的信息，CENet给出了错误的预测结果。这些结果进一步验证了SFCNet在3D小物体分割方面更优异的性能。 NuScenes验证集上的更多定性比较。与SemanticKITTI测试集上的可视化结果类似，我们在图10中展示了SFCNet与RangeViT在nuScenes验证集上的额外定性比较结果，图中为投影后的预测图像。结果进一步表明，相较于RangeViT，SFCNet在nuScenes验证集的复杂街道场景中具有更好的语义分割能力。具体而言，在第一个场景中，SFCNet能够正确分割近处的摩托车，而RangeViT却将摩托车识别为汽车；这一结果表明SFCNet能够帮助自动驾驶汽车准确识别近距离障碍物的类型，进而使汽车做出恰当的决策。 ---

Table 12: Quantitative comparison of semantic segmentation between baseline model and SFCNet for the small object categories on SemanticKITTI validation sets. Bold results are the best in each column. The performance improvement of each category is highlighted in green.

Approach	SemanticKITTI
Approach	bicycle	motorcycle	person	bicyclist	motorcyclist	trunk	pole	traffic-sign
Baseline w/ KNN-Based Post-processing	44.2	46.0	48.8	71.6	73.6	67.4	63.1	45.7
SFCNet (Ours)	44.9(+0.7)	60.6(+14.6)	50.5(+1.7)	73.1(+1.5)	83.1(+9.5)	68.5(+1.1)	64.6(+1.5)	47.8(+2.1)

Table 13: Quantitative comparison of semantic segmentation between baseline model and SFCNet for the small object categories on the nuScenes validation sets. Bold results are the best in each column. The performance improvement of each category is highlighted in green.

Approach	nuScenes
Approach	bicycle	motorcycle	pedestrian	traffic-cone
Baseline w/ KNN-Based Post-processing	30.6	77.0	73.9	62.8
SFCNet (Ours)	40.4(+9.8)	82.0(+5.0)	78.0(+4.1)	65.8(+3.0)

在第二个场景中，由于消除了量化带来的信息损失，SFCNet也能正确分割十字路口另一侧的远处行人；相比之下，RangeViT却将行人错误预测为交通锥。在第三个场景中，由于被框住的行人靠近人造物体，RangeViT将其与人造物体混淆，未能分割出该行人，而我们的SFCNet却能清晰识别其边界并成功分割出该行人。 SemanticKITTI验证集上的序列定性比较。我们在补充视频SupplementaryVideo.mp4中展示了SFCNet与最先进的基于2D投影的分割方法CENet、RangeViT在SemanticKITTI验证集连续序列上的定性比较结果。该视频同时呈现了3D点云视图和RGB图像视图下的语义预测结果（即将着色后的点云投影到RGB图像上）。结果显示，与基于2D投影的方法相比，我们的SFCNet在序列中每一帧的点云上都能展现出更高的分割精度，这进一步体现了SFCNet更强的语义分割能力。 --- ![Image](images/922cf8b715ad73cb19fd96955de01987e632a22e494736d91760ff1aab699975.jpg)

Figure 7: Qualitative Comparison on NuScene Validation Set. In this figure, we conducted the qualitative comparison between RangeViT [^21] and our SFCNet of semantic segmentation on the nuScenes validation set. The first column presents the ground truths, while the following two columns show the error maps of the predictions of RangeViT and our SFCNet respectively. In addition, the reference from point color to the semantic class in the ground truths is shown at the bottom. Moreover, the false-segmented points are marked as red in the error maps. Furthermore, we use circles with the same color to point out the same objects in the ground truth and the two error maps.

--- ![Image](images/7557635175c01194ae9514ecd6abbc3a9466b5833148c2707a158345c209371c.jpg)

Figure 8: More Qualitative Comparison on Semantic Segmentation on SemanticKITTI Test Set. We show the qualitative comparison between our SFCNet and the state-of-the-art 2D image-based method CENet [^20] on the SemanticKITTI test set. The visualized challenging autonomous driving scenes include urban, rural, and complex intersection scenes. The predictions projected on the corresponding RGB images are also illustrated. In addition, we use the same color boxes to point out the same objects in the point clouds and images for each scene. Meanwhile, we provide the zoomed-in view of some boxed objects for clear visualization. Moreover, the reference from point color to the semantic class in the predictions is shown at the bottom of the figure.

--- ![Image](images/02dd66ed8f1ed6aca9afa2813bd97504287f1589bd0e7b078b0932754c05f120.jpg)

Figure 9: More Qualitative Results on Semantic Segmentation on SemanticKITTI Test Set. This figure shows more qualitative results of our SFCNet and the state-of-the-art 2D image-based method CENet [^20] on the urban, rural, and complex intersection scenes of the SemanticKITTI test set. As in Fig. 8, the predictions projected on the corresponding RGB images are also illustrated. In addition, the same color boxes are adopted to point out the same objects in the point clouds and images for each scene. Meanwhile, the zoomed-in view of some boxed objects is illustrated for clear visualization. Moreover, the reference from point color to the semantic class in the predictions is shown at the bottom of the figure.

---

Ground Truth

RangeViT

![Image](images/9fc4f3722821a8861175786b35e34b6bcb26325997e0aef15dedde85581e3a4f.jpg)

SFCNet (Ours)

Figure 10: More Qualitative Comparison of Semantic Segmentation on NuScenes Validation Set. We show more comparisons between our SFCNet and the state-of-the-art 2D image-based method RangeViT [^21] on the nuScenes dataset. The predictions projected on the corresponding RGB images are also illustrated. In addition, we use the same color boxes to point out the same objects in the point clouds and images for each scene. Meanwhile, we provide the zoomed-in view of some boxed objects for clear visualization. Moreover, the reference from point color to the semantic class in the predictions and ground truths is shown at the bottom of the figure.