# FRNet：用于可扩展激光雷达分割的视锥范围网络 徐翔 $^{®}$、孔令东 $^{®}$（IEEE学生会员）、帅辉 $^{®}$、刘青山 $^{®}$（IEEE高级会员） 摘要—激光雷达分割已成为先进自动驾驶系统的关键组成部分。近期基于距离视图的激光雷达分割方法在实时处理方面展现出潜力。然而，这类方法不可避免地会丢失上下文信息，且严重依赖后处理技术来优化预测结果。在这项工作中，我们提出了FRNet——一种简单却强大的方法，旨在利用对应的视锥激光雷达点来恢复距离图像像素的上下文信息。首先，采用视锥特征编码模块提取视锥区域内的逐点特征，这类特征能够保持场景一致性，对逐点预测至关重要。接着，引入视锥点融合模块对逐点特征进行分层更新，使每个点都能通过视锥特征获取更多周边信息。最后，利用头融合模块对不同层级的特征进行融合，以生成最终的语义预测结果。我们在四种主流激光雷达分割基准测试集上开展了大量实验，涵盖多种任务设置，结果证明了FRNet的优越性。值得注意的是，FRNet在SemanticKITTI和nuScenes测试集上的mIoU得分分别达到了73.3%和82.5%。在取得具有竞争力的性能的同时，FRNet的运行速度比现有最先进方法快5倍。这种高效性为更可扩展的激光雷达分割开辟了新可能。相关代码已公开在。 索引词—激光雷达语义分割、自动驾驶、实时处理、视锥范围表示。 ## 一、引言 激光雷达分割是现代自动驾驶、机器人及其他安全关键应用中不可或缺的关键技术，近年来取得了显著进展 [^1]、[^2]、[^3]、[^4]。其核心挑战在于设计出可扩展的激光雷达分割系统，该系统要在效率与精度之间取得微妙平衡，尤其是在资源受限的运行场景中 [^5]、[^6]。“可扩展”指的是该系统在应对更大的数据负载时仍能保持高性能，且不会牺牲实时处理能力。 现有的激光雷达分割方法采用了多种数据表示方式，每种方式在精度和计算效率方面都存在固有的权衡。基于点的方法[^7]、[^8]、[^9]、[^10]、[^11]、[^12]会对原始点云进行处理以保留空间细节，但构建局部结构时需要耗费大量计算资源来进行邻域搜索。这一需求会导致显著的计算开销，从而限制其处理大规模点云的能力[^10]、[^13]、[^14]。基于稀疏体素的方法[^15]、[^16]、[^17]、[^18]、[^19]会将分散的激光雷达点转换为规则的体素网格，并利用常用的稀疏卷积来提取特征。不过，这一过程同样需要大量计算，尤其是在对体素分辨率要求较高的应用场景中[^15]、[^16]、[^20]。多视角方法[^21]、[^22]、[^23]、[^24]会从不同表示中提取特征以提升预测精度[^25]、[^26]、[^27]。虽然这种策略能够改善性能，但它会累加所有表示所需的计算量。尽管这些表示方法取得了令人满意的性能，但其计算开销却阻碍了它们在现实生活中的实时在线应用[^24]、[^28]、[^29]、[^30]、[^31]。 近年来，基于伪图像的方法[^33]、[^34]、[^35]、[^36]、[^37]、[^38]、[^39]、[^40]作为一种简单且高效的激光雷达处理中间表示形式应运而生，例如鸟瞰图[^37]、[^38]、[^39]和距离视图[^33]、[^34]、[^35]、[^36]，这类表示在计算上更易处理。这些表示使得常用的二维分割方法[^41]、[^42]、[^43]可直接应用于伪图像，从而为实时激光雷达分割提供了有前景的解决方案。然而，从三维到二维的投影不可避免地会破坏邻域上下文信息，这对伪图像方法的进一步发展构成了限制[^44]。对这一问题的详细分析可归纳为以下两个方面。 首先，伪图像方法的一个根本性问题是：在转换为二维投影时，某些三维点会被无意中排除[^45]。这会导致一种不完整的表示，只有被投影的点才会参与后续的卷积运算。这种情况忽略了未被投影点的上下文信息，致使伪图像丢失了关键的高保真三维几何上下文[^46]。此外，这些仍需进行三维标签预测的被忽略点缺乏相关的特征信息，因此需要进行后处理来 --- 推断这些标签。遗憾的是，当前的后处理方法难以有效整合这些被忽略点的局部特征，这限制了伪图像方法的进一步改进。 其次，由于激光雷达数据固有的稀疏性，伪图像中存在大量空像素，这使得相关问题更加突出。例如，在nuScenes数据集中，近60%的距离图像像素为空白区域[^36]，[^47]。这种空缺不仅会导致场景表示出现偏差，还会降低语义分割的质量。随着网络处理层数的加深，这些稀疏的伪图像会充斥着噪声，从而阻碍有意义模式的提取。本质上讲，尽管伪图像方法在实时处理能力方面表现优异，但其较低维度的视角可能会忽略关键的3D细节，进而导致可扩展性下降。 针对上述问题，本文提出了一种用于可扩展激光雷达分割的视锥-距离网络（FRNet），该网络将点云数据融入距离图像，从而在效率与精度之间取得了出色的平衡。FRNet由三个主要组件构成。首先，采用视锥特征编码器（FFE）通过多个多层感知机（MLP），将与同一视锥区域相关的所有点归类到距离图像中对应的距离视图像素上。这种方式能够保留所有点信息，并以端到端的方式预测这些点的语义标签。随后，对点特征进行池化以表征视锥区域，并将其转换为2D表示，再送入传统的卷积层进行处理。其次，视锥-点（FP）融合模块用于在每个卷积阶段高效更新每个点的层次化特征。该模块包含视锥到点特征的融合以及点到视锥特征的融合，从而使所有点都能基于视锥区域提取更大的局部特征。最后，设计了融合头（FH）模块，利用不同层级的特征为每个点生成独立的特征，从而实现无需后处理技术的端到端预测。如图1所示，所提出的FRNet在距离视图方法中取得了显著的性能提升，同时仍保持了较高的效率。 数据增强在训练鲁棒且泛化能力强的模型过程中发挥着重要作用。受混合策略取得成功的启发[^48]，[^49]，[^50]，我们提出了一种名为FrustumMix的细粒度混合方法，该方法基于视锥单元进行操作。具体而言，我们沿倾斜和方位方向将点云场景随机划分为若干视锥区域，并交换不同场景中对应的区域，每个视锥区域的邻域则来自另一个场景。FrustumMix为适配FRNet提供了一种简单且轻量的方法，且重点聚焦于视锥区域。此外，为解决2D表示中的空像素问题，我们提出了RangeInterpolation方法，该方法基于周围的点信息重建语义表面。该方法首先像以往的研究那样[^33]，[^34]，[^35]，[^36]，将激光雷达点云转换为距离图像。对于距离图像中的空像素，我们再在预定义的窗口内通过平均池化操作聚合周围的距离信息来生成新点。 ![Image](images/1e5dc4ac4f3e68731dea8f349c23d384f898df7a1d1913ae9fd451f9af8bd347.jpg)
Fig. 1. A study on the scalability of state-of-the-art LiDAR segmentation models on the SemanticKITTI [^32] leaderboard. The size of the circular representation corresponds to the number of model parameters. FRNet achieves competitive performance with current state-of-the-art models while still maintaining satisfactory efficiency for real-time processing.
RangeInterpolation能够帮助创建更紧凑的2D表示，减少空像素数量，从而使卷积层能够学习到更具语义一致性的信息。 本文的主要贡献总结如下： - 我们提出了一种用于可扩展激光雷达分割的新型视锥范围表示方法。在我们的框架中，点级几何信息被整合到伪图像表示中，这不仅保留了点云的完整几何结构，还充分利用了二维网络的效率。 - 我们提出了两种三维数据增强技术，以辅助训练鲁棒且泛化能力强的模型。FrustumMix通过混合两个不同的扫描数据来生成更复杂的场景，而RangeInterpolation则基于周围的深度信息重建语义表面。这些技术有助于生成紧凑的二维表示，并学习更具上下文感知能力的特征。 - 我们在四个主流的激光雷达分割基准测试上进行了大量实验，结果证明了我们的优越性。FRNet在SemanticKITTI和nuScenes数据集上的mIoU分数分别达到了73.3%和82.5%，同时仍具备用于实时激光雷达分割的良好可扩展性。 ### 二、相关工作 ### A. 可扩展激光雷达分割 尽管点视图 [^7]、[^8]、[^10]、[^11]、[^12]，稀疏体素视图 [^15]、[^16]、[^17]、[^18]，以及多视图 [^21]、[^22]、[^23]、[^24]、[^51]、[^52] 等方法在激光雷达分割领域取得了显著成果，但它们往往存在计算成本高昂的问题，无法实现实时处理。近年来，人们提出了多种方法，将激光雷达点沿倾斜和方位方向投影到距离图像中，以平衡分割的效率与精度 [^53]。SqueezeSeg [^33] 和 SqueezeSegV2 [^54] --- 使用轻量级的SqueezeNet模型[^55]来保留信息。SqueezeSegV3[^56]引入了空间自适应卷积模块，可根据距离图像的位置调整卷积核权重。RangeNet++[^34]将DarkNet集成到SqueezeSeg[^33]中，并提出了高效的KNN后处理算法用于分割。RangeViT[^35]和RangeFormer[^36]引入Transformer模块，从距离图像中提取局部和全局信息。不过，这些方法仅涉及投影后的点，无法为被丢弃的点提取上下文信息。为解决这一问题，WaffleIron[^11]提出通过残差连接混合点和图像特征。尽管其性能表现优异，但由于需要基于体素网格对点进行下采样以及执行空间邻域搜索以生成点特征，因此难以实现实时处理，也无法对整个点云进行端到端预测。在本研究中，我们提出了一种高效的点与图像特征融合方法，既保留了原始点特征中的3D几何信息，又发挥了2D卷积的高效性，无需借助预处理或后处理技术，从而具备出色的实时激光雷达分割可扩展性。 ### B. 激光雷达数据增强 近期的研究探讨了多种点云数据增强技术[^57]、[^58]，这些技术在提升室内场景理解性能方面展现出潜力，但对室外场景的泛化能力有限。Mix3D[^50]通过合并两个无关联的场景来生成新的训练样本，不过这会带来较高的内存开销。PolarMix[^49]建议基于方位角混合两个激光雷达场景，并将一个场景中的实例裁剪后粘贴到另一个场景中；而LaserMix[^48]则提出沿倾斜方向交换带标签的扫描数据与不带标签的扫描数据，以实现高效的半监督学习。RangeFormer[^36]提出了一种轻量级的增强方法，仅对距离图像中投影的点进行操作，忽略被遮挡的点。在本研究中，我们引入了旨在训练鲁棒且可扩展的激光雷达分割模型的增强技术，包括FrustumMix和RangeInterpolation。 ### C. 激光雷达后处理 以往的研究提出了多种后处理技术，用于根据二维结果重构被遮挡点的语义标签。SqueezeSeg[^33]采用传统的条件随机场（CRF）作为递归神经网络（RNN）。RangeNet++[^34]引入快速的K近邻（KNN）搜索算法，以汇总整个点云的最终结果。FIDNet[^59]采用最近标签分配（NLA）方法进行标签平滑处理。RangeFormer[^36]将完整点云划分为子云，并以监督方式对每个子集进行推理。然而，这些方法严重依赖二维结果，无法以监督方式提取整个点云的点特征。相比之下，KPRNet[^60]和RangeViT[^35]采用了KPConv[^7]模块来以端到端方式提取点特征。不过，这种方法需要大量的计算资源来 ![Image](images/0e0f0d579c1d2b08b50d842b316b68c4005505a99fe59b9750e1c6a310b21855.jpg)
Fig. 2. Pilot study on the performance degradation of post-processing in existing range-view methods [^34], [^39], [^59], [^61] on the val set of SemanticKITTI [^32]. We choose various K values as hyperparameters in KNN post-processing. Compared to their performance at 2D (i.e., the range image), a severe drop in performance occurs with different K values.
在三维空间中搜索邻域，这阻碍了它们的实时处理能力。在本研究中，我们将点划分为视锥区域，并以二维方式提取点的局部特征，从而避免耗时的邻居搜索过程。基于学到的点特征，FRNet能够以极高的效率端到端地预测整个点云的结果。 ### III. FRNET：一种可扩展的激光雷达分割器 在本节中，我们首先对最流行的距离视图激光雷达分割方法进行了初步研究，发现KNN后处理对性能有显著影响（见第III-A节）。随后，我们详细阐述了视锥-距离架构的技术细节（见第III-B节）以及视锥-距离算子（见第III-C节）。所提出的FRNet框架的整体流程如图3所示。 ### A. 初步研究 激光雷达分割旨在为点云中的每个点分配语义标签[^62]。一种常见的方法是直接对激光雷达点进行处理，无需任何预处理，这一范式由PointNet++确立[^63]。然而，基于点的操作往往需要大量计算，且由于室外场景的稀疏性，其性能可能不尽如人意。为解决这一问题，近期许多研究提出将激光雷达点投影到一种称为距离图像的规则中间表示上，该表示基于球面坐标以提高效率。具体而言，给定一个包含N个点的点云$\mathcal{P} = \{\mathbf{p}_i\}_{i=1}^N$，其中$\mathbf{p}_i \in \mathbb{R}^{3+L}$包含坐标$(x_i, y_i, z_i)$以及额外的L维特征（如强度、延伸度等），我们通过以下变换将点映射到距离图像中对应的二维位置$(u_i, v_i)$： $$ \left(\begin{matrix}{u_{i}}\\ {v_{i}}\\ \end{matrix}\right)=\left(\begin{matrix}{\frac{1}{2}[1-\operatorname{a r c t a n}(y_{i},x_{i})\pi^{-1}]W}\\ {[1-(\operatorname{a r c s i n}(z_{i}d_{i}^{-1})+\phi_{\mathrm{d o w n}})\phi^{-1}]H}\\ \end{matrix}\right), $$ --- ![Image](images/7453562905f78f5aba41b4d5a8af05aa6a3bd6c216f4199a32bef340711d42c9.jpg)
Fig. 3. Architecture overview. The proposed FRNet comprises three main components: 1) Frustum Feature Encoder is used to embed per-point features within the frustum region. 2) Frustum-Point (FP) Fusion Module updates per-point features hierarchically at each stage of the 2D backbone. 3) Fusion Head fuses different levels of features to predict final results.
其中$d_i = \sqrt{x_i^2 + y_i^2 + z_i^2}$表示该点的深度；$\phi = |\phi_{up}| + |\phi_{down}|$代表传感器的垂直视场角（FOV），$\phi_{up}$和$\phi_{down}$分别为向上和向下的倾角；H和W分别是距离图像的高度和宽度。不过，这种投影往往会导致被遮挡的点丢失，需要借助后处理技术来重构完整的语义信息[^36]。 我们对多种距离视图方法进行了初步研究，包括RangeNet++[^34]、SalsaNext[^64]、FIDNet[^59]和CENet[^61]。我们利用不同的近邻参数，通过常用的KNN后处理算法，比较了它们在原始点（即经过二维到三维投影后）上的性能，以及它们在二维距离图像上的性能。如图2所示，后处理过程通常是无监督的，超参数的选择会对最终性能产生显著影响。为解决这一问题，我们提出了一种可扩展的视锥-距离网络（FRNet），它能够在保持高效率的同时直接预测每个点的语义标签。 ### B. 视锥-距离网络架构 1) 问题定义：给定激光雷达传感器获取的点云$\mathcal{P}$，FRNet的目标是利用前馈网络$\mathcal{G}$来预测每个点的语义标签$\widehat{\mathcal{Y}}$，具体形式如下： $$ \widehat{\mathcal{Y}}=\mathcal{G}(\mathcal{P},\theta), $$ 其中$\theta$表示网络中的可学习参数。如图3所示，FRNet由三个关键组件构成：1）负责逐点特征提取的视锥特征编码器；2）能够高效融合分层点特征和视锥特征的视锥-点融合模块；3）整合不同层级的点特征以实现精准语义预测的融合头模块。 2) 算子表示：设$\text{Flat}(\cdot): \mathbb{R}^{N \times C} \to \mathbb{R}^{H \times W \times C}$表示将点特征投影到分辨率为$(H, W)$的视锥图像平面上的函数。在每个视锥区域内，我们采用最大池化函数来获取视锥特征。设$\text{MLP}(\cdot): \mathbb{R}^{N \times C} \to \mathbb{R}^{N \times D}$表示以C维点特征为输入、输出D维点特征的多层感知机。设$\text{Infl}(\cdot): \mathbb{R}^{H \times W \times C} \to \mathbb{R}^{N \times C}$表示将视锥特征反投影回点特征的操作。值得注意的是，落在同一视锥区域内的点在该操作下会共享相同的特征。 3) 视锥特征编码器：要准确预测每个点的语义标签，就必须提取其个体特征。在将点云转换为二维视锥表示之前，视锥特征编码器通过一系列多层感知机来提取逐点特征，这对准确的标签预测至关重要。视锥特征编码器包含三个步骤。① 我们分别沿垂直和水平方向将点云划分为H×W个视锥区域。根据公式(1)，对于点云$\mathbf{p}_i$中的每个点$\mathcal{P}$，我们计算出其视锥位置$(u_i, v_i)$。具有相同$(u, v)$坐标的点被归为同一个视锥区域。最终得到M个视锥区域，记为$\mathcal{P} = \{\mathcal{P}_1, \mathcal{P}_2, \ldots, \mathcal{P}_M\}$，其中$M = H \times W$和$\mathcal{P}_i \in \mathbb{R}^{N_i \times (3+L)}$分别包含第i个视锥区域内的$N_i$个点。② 为了显式嵌入视锥结构，我们利用每个视锥区域内的平均池化函数来获取聚类点$\widehat{\mathcal{P}} = \{\widehat{\mathcal{P}}_1, \widehat{\mathcal{P}}_2, \ldots, \widehat{\mathcal{P}}_M\}$，其中$\widehat{\mathcal{P}}_i \in \mathbb{R}^{1 \times (3+L)}$。随后，我们在点云$\mathcal{P}$与每个视锥区域内的聚类点$\widehat{\mathcal{P}}$之间构建视锥图。逐点特征的嵌入方式如下： $$ \begin{array}{r}{\mathcal{F}_{p}^{0}=\mathrm{M L P}([\mathcal{P};\mathcal{P}-\widetilde{\mathcal{P}}]),}\end{array} $$ 其中$[\cdot, \cdot]$表示特征拼接。接着在视锥区域内应用最大池化函数，从而得到初始化的视锥特征$\textcircled{3}$。视锥特征会根据其视锥位置$(u, v)$被转换为二维视锥表示：$\mathcal{F}_f^0 = \text{Flat}(\mathcal{F}_p^0)$。$\mathcal{F}_p^0$和$\mathcal{F}_f^0$均作为骨干网络的输入，用于高效更新点和视锥特征。 --- ![Image](images/aedbd4092a8f0e60f0d3a434351c008fa8788ccff5d330868afb1f0a9f699bba.jpg)
Fig. 4. Frustum-point fusion module comprises two steps: 1) A Frustum-to-Point fusion to update per-point features. 2) A Point-to-Frustum fusion to update frustum features.
4) 视锥-点融合模块：基于已有工作[^36]、[^59]、[^61]，我们采用由多个卷积块组成的二维骨干网络来高效提取分层视锥特征。每个阶段模块都配有一个视锥-点融合模块，以实现点和视锥特征的逐步更新。如图4所示，视锥-点融合模块包含两个关键组件：1）视锥到点融合，用于逐点特征的分层更新；2）点到视锥融合，用于将每个点在其对应视锥区域内的个体特征进行融合。第i个视锥-点融合模块以$\mathcal{F}_p^{i-1}$和$\widehat{\mathcal{F}}_f^{i-1}$为输入，其中$\widehat{\mathcal{F}}_f^{i-1}$是以$\mathcal{F}_f^{i-1}$为输入的二维卷积块的输出。 为了高效提取点的上下文信息，我们采用视锥到点融合模块将视锥区域的局部特征整合到点中。首先，根据投影索引将$\widetilde{\mathcal{F}}_{f}^{i-1}$反投影为点级特征。随后，将反投影得到的特征与$\mathcal{F}_{p}^{i-1}$拼接，再经过多层感知机更新逐点特征，从而避免邻域搜索带来的高计算成本： $$ \mathcal{F}_{p}^{i}=\mathbf{M L P}([\mathtt{I n f l a t}(\widehat{\mathcal{F}}_{f}^{i-1});\mathcal{F}_{p}^{i-1}])~. $$ 如上所述，由于点云的稀疏性，二维表示并非紧凑形式。卷积模块不可避免地会为空的视锥体引入噪声信息，从而导致特征表示变得紧凑。为了保留二维表示的稀疏属性，我们设计了一个点-视锥体融合模块，用以融合稀疏和密集的视锥体特征。具体来说，更新后的点特征$\mathcal{F}_p^i$首先被池化到对应的视锥体区域，以生成非紧凑的二维表示。随后，这种非紧凑的视锥体特征会与紧凑的视锥体特征$\widehat{\mathcal{F}}_f^{i-1}$拼接起来，再通过一个简单的卷积层来减少通道数： $$ \begin{array}{r}{\mathcal{F}_{\mathrm{f u s e}}^{i}=\mathrm{C o n v}([\mathrm{F l a t}(\mathcal{F}_{p}^{i});\widehat{\mathcal{F}}_{f}^{i-1}])~,}\end{array} $$ 其中，Conv(·)表示带有批量归一化和激活函数的卷积层。最后，融合后的特征会被用来以残差注意力机制的方式进一步增强视锥体特征： $$ \mathcal{F}_{f}^{i}=\widehat{\mathcal{F}}_{f}^{i-1}+\sigma(h(\mathcal{F}_{\mathrm{f u s e}}^{i},\theta))\odot\mathcal{F}_{\mathrm{f u s e}}^{i}~, $$ 这里，$\sigma$代表Sigmoid函数，$h(\cdot)$是带有可训练参数$\theta$的线性函数，而$\odot$则表示逐元素乘法。 5) 融合头模块：FRNet旨在为点云中的每个点分配一个类别，这就需要利用点级特征来进行端到端的标签预测。尽管从视锥体-点融合模块最后一层输出的点特征能够取得不错的效果，但我们发现这并非最佳方案。不同层级的特征包含不同的上下文感知信息：低层级特征侧重于几何信息，而高层级特征则富含语义信息。利用这些不同层级的特征能够提升性能。受FIDNet [^59]和CENet [^61]的启发，我们首先将骨干网络各阶段的所有点和视锥体特征结合起来并进行融合，以减少通道维度： $$ \mathcal{F}_{p}^{\mathrm{o u t}}=\mathrm{M L P}([\mathcal{F}_{p}^{1};\ldots;\mathcal{F}_{p}^{V}])~, $$ $$ \mathcal{F}_{f}^{\mathrm{o u t}}=\mathrm{C o n v}([\mathcal{F}_{f}^{1};\ldots;\mathcal{F}_{f}^{V}])~, $$ 其中，V表示骨干网络中的阶段数。融合具有不同感受野的骨干特征有助于获取更多上下文感知信息和语义信息。此外，点特征$\mathcal{F}_{p}^{out}$包含了邻域视锥体区域的局部信息，而视锥体特征$\mathcal{F}_{f}^{out}$则包含了对应视锥体区域内的全局信息。同时，来自视锥体特征编码模块的$\mathcal{F}_{p}^{0}$会在视锥体区域内以及相邻视锥体区域之间构建图结构。逐步融合这些特征有助于从局部到全局、从几何到语义地提取特征，从而做出更精确的预测。为了融合$\mathcal{F}_{f}^{out}$和$\mathcal{F}_{p}^{out}$，我们首先将视锥体特征反投影到点级，并使用MLP层来确保其通道数与$\mathcal{F}_{p}^{out}$一致。接着，通过加法操作来融合这两种特征。同样的操作也被用于将这些新特征与$\mathcal{F}_{p}^{0}$进行融合。整个操作流程可以表述为： $$ \begin{array}{r}{\mathcal{F}_{\mathrm{l o g i t}}=\mathrm{M L P}(\mathrm{M L P}(\mathrm{I n f l a t}(\mathcal{F}_{f}^{\mathrm{o u t}}))+\mathcal{F}_{p}^{\mathrm{o u t}})+\mathcal{F}_{p}^{0}.}\end{array} $$ 在这里，$\mathcal{F}_{\mathrm{logit}}$用于通过线性头生成整个点云上各点的最终语义得分。 6) 优化：在传统设置中，通常采用点级损失函数来监督最终的语义分数。然而在本研究中，我们提出利用额外的辅助头对视锥特征进行优化，并采用视锥级损失函数。这种方法需要生成伪视锥标签。通常，一个视锥区域会包含多个点，而这些点未必属于同一类别。为解决这一问题，我们借鉴了稀疏体素方法中的统计思路 [^16]。我们首先统计给定视锥区域内各类别出现的频率，然后选择出现频率最高的类别作为该视锥的伪标签，从而为每个视锥生成伪标签。最终，视锥级特征 --- ![Image](images/0dd1e94e9274337451a83aaf16ab4ae153aa3b76fe6afea9c7ab95fe33bb1b15.jpg)
(a) Scene 1
![Image](images/60ca1015eb8a399070dc7dc7fdd2d853f35445cee245441582d42e99a32eba61.jpg)
(b) Scene 2
![Image](images/fabf897960181aa8359890b723cb6604bbef4fa121b5f2a19bfb71b3aa98e885.jpg)
(c) Mixed Scene
Fig. 5. FrustumMix illustration. (a) and (b) show the original two LiDAR scenes. (c) presents the mixed scenes generated by the FrustumMix strategy, where scene 1 is colored green and scene 2 is colored purple.
![Image](images/d13b87ee744528abde7aabaec490c4f38f5cad52315192ce008a8f70edfc9bbf.jpg)
(a) Before RangeInterpolation
![Image](images/dc2bbfc2c9fc04b0e7695aa7032f1fe67885b7c7eb872dab73b7e8326969d194.jpg)
(b) After RangeInterpolation
Fig. 6. RangeInterpolation illustration. (a) shows the raw range image with numerous empty pixels. (b) illustrates the range image after applying RangeInterpolation, resulting in a smoother and more compact representation.
通过生成的伪标签进行监督。整体损失函数可表述如下： $$ \mathcal{L}=\mathcal{L}_{p}+\lambda\mathcal{L}_{f}, $$ 其中 $\mathcal{L}_{p}$ 和 $\mathcal{L}_{f}$ 分别代表点级和视锥级损失函数，$\lambda$ 则是用于控制视锥监督权重的超参数。$\mathcal{L}_{p}$ 通过交叉熵损失计算，而 $\mathcal{L}_{f}$ 则由交叉熵损失、Lovázs-Softmax损失 [^65] 以及边界损失 [^66] 构成。 ### C. 视锥范围算子 数据增强能够帮助模型学习更鲁棒的表征。激光雷达分割中常用的增强方式通常从全局视角出发，包括旋转、翻转、缩放、抖动等。在本研究中，我们基于所提出的视锥范围视图表示，引入了两种新颖的增强方式。 1) FrustumMix：以往的混合策略 [^48]、[^49] 会在两个激光雷达扫描结果之间进行点级交换。尽管这些方法在各种激光雷达表示上取得了显著效果，但它们与视锥表示并不匹配，可能导致两个不同的场景在同一视锥区域内混合。这种不匹配会破坏视锥区域内的语义连贯性与几何结构。为此，我们提出了FrustumMix——它是LaserMix [^48] 的精细化扩展版本，能更好地适配视锥表示。具体而言，给定两个激光雷达点云 $\mathcal{P}_1$ 和 $\mathcal{P}_2$，我们沿倾斜或方位角方向将其随机划分为 M 个互不重叠的视锥区域，记为 $\mathcal{P}_1 = \{\mathcal{A}_1^1, \ldots, \mathcal{A}_1^M\}$ 和 $\mathcal{P}_2 = \{\mathcal{A}_2^1, \ldots, \mathcal{A}_2^M\}$。随后，我们通过交替交换来自 $\hat{\mathcal{P}}$ 和 $\mathcal{P}_1$ 的视锥区域来生成新的激光雷达扫描结果 $\mathcal{P}_2$，具体过程如下：$\hat{\mathcal{P}} = \mathcal{A}_1^1 \cup \mathcal{A}_2^2 \cup \mathcal{A}_1^3 \cup \mathcal{A}_2^4 \cup \cdots$。这种方式确保了混合发生在视锥单元级别，完全保留了每个视锥区域内的语义连贯性与结构细节，从而与视锥表示保持一致。图5展示了FrustumMix的原理。通过在视锥之间增强上下文感知能力，同时保留视锥内部的结构不变性，FrustumMix能够提升分割性能并实现更好的表征学习。 2) RangeInterpolation：以往的范围视图方法[^36]、[^59]、[^61]常常由于激光雷达点的稀疏性而产生大量空像素，进而导致信息噪声。为缓解这一问题，我们提出了RangeInterpolation技术，该技术利用范围图像来重建激光雷达扫描中的表面。具体而言，首先将点云$\mathcal{P}$投影到范围图像$\mathcal{R} \in \mathbb{R}^{H \times W \times (3+L)}$上。对于范围图像$(u, v)$中的空像素位置$\mathcal{R}$，我们以$m \times n$为中心建立一个大小为$(u, v)$的窗口，其中m和n均为奇数。我们的目标是利用预定义窗口内的周边范围信息，对落在$(u, v)$处的点进行插值。考虑到窗口内并非所有像素都包含有效值，我们采用平均值运算来聚合窗口内非空像素的信息，从而实现点的插值。在训练过程中，插值点的语义标签是通过窗口内的阈值引导投票来确定的。具体来说，我们先确定窗口内出现频率最高的类别及其频率；若频率低于阈值，则将该插值点归类为边界点，并赋予其“忽略”标签，该标签不会参与损失计算；否则，标签由频率最高的类别决定。如图6所示，RangeInterpolation能够生成 --- 在范围图像中连贯的语义信息，从而形成更紧凑的表示。 ### 四、实验 在本节中，我们将展示所提出方法的可扩展性与鲁棒性。我们首先介绍所使用的数据集、评估指标以及具体实现细节；随后证明，与各类最先进方法相比，FRNet在各种任务设置下都能实现效率与精度之间的最佳平衡；最后，我们通过一系列消融实验来分析FRNet的各个组成部分。 ### A. 实验设置 1) 数据集：我们在四个常用的激光雷达分割数据集上进行了全面实验。SemanticKITTI [^32] 是一个大规模室外数据集，包含从德国卡尔斯鲁厄不同场景采集的22个序列，使用的是Velodyne HDL-64E激光雷达传感器。官方规定，序列00至07以及09至10（共19,130次扫描）用于训练，序列08（4,071次扫描）用于验证，序列11至21（20,351次扫描）用于在线测试。原始数据集标注了28个类别，但单次扫描评估时仅使用19个合并后的类别。其垂直视场角为 $[-25^{\circ}, 3^{\circ}]$。nuScenes [^47] 是一个广泛应用于自动驾驶场景的多模态数据集，包含了在波士顿和新加坡街道上由32线激光雷达传感器采集的激光雷达点云数据。该数据集包含1,000个驾驶场景，点云密度较低，标注了32个类别，评估时仅使用16个语义类别，其垂直视场角为 $[-30^{\circ}, 10^{\circ}]$。SemanticPOSS [^68] 是在北京大学采集的更具挑战性的基准数据集，其点云尺寸更小且更稀疏，包含2,988个激光雷达场景以及大量动态物体。官方将其分为6个序列，其中序列2用于评估，涉及13个合并类别，其垂直视场角为 $[-16^{\circ}, 7^{\circ}]$。ScribbleKITTI [^67] 与SemanticKITTI [^32] 共享相同的场景，但仅提供线条形式的弱标注，包含1.89亿个标记点，训练时可用的标记点约占8.06%。此外，我们还在Robo3D [^76] 基准测试中的SemanticKITTI-C和nuScenes-C数据集上进行了全面的分布外鲁棒性评估实验。每个数据集包含八种腐蚀类型，分别是“雾”、“湿地面”、“雪”、“运动模糊”、“光束缺失”、“串扰”、“回波不完整”以及“传感器干扰”。 2) 评估指标：按照标准协议，我们利用每个类别的交并比（IoU）和准确率（Acc），并计算平均交并比（mIoU）和平均准确率（mAcc）来评估模型性能。IoU和Acc的计算公式如下： $$ \mathrm{I o U}_{i}=\frac{\mathrm{T P}_{i}}{\mathrm{T P}_{i}+\mathrm{F P}_{i}+\mathrm{F N}_{i}},\quad\mathrm{A c c}_{i}=\frac{\mathrm{T P}_{i}}{\mathrm{T P}_{i}+\mathrm{F P}_{i}}, $$ 其中 $TP_{i}$、$FP_{i}$、$FN_{i}$ 分别对应类别i的真阳性、假阳性和假阴性。在鲁棒性评估方面，我们遵循Robo3D [^76] 的做法，采用腐蚀误差（CE）和恢复率（RR）来评估FRNet的鲁棒性。CE和RR的计算公式如下： $$ \mathrm{C E}_{i}=\frac{\sum_{l=1}^{3}(1-\mathrm{I o U}_{i,l})}{\sum_{l=1}^{3}(1-\mathrm{I o U}_{i,l}^{\mathrm{b a s e}})},\quad\mathrm{R R}_{i}=\frac{\sum_{l=1}^{3}\mathrm{I o U}_{i,l}}{3\times\mathrm{I o U}_{\mathrm{c l e a n}}}, $$ 其中 $\mathrm{IoU}_{i,l}$ 代表特定任务的 $\mathrm{IoU}$。$\mathrm{IoU}_{i,l}^{\mathrm{base}}$ 和 $\mathrm{IoU}_{\mathrm{clean}}$ 分别表示基线模型的得分以及在“干净”评估集上的得分。 3) 实现细节：我们使用流行的MMDetection3D [^77]代码库来实现FRNet，并采用CENet [^61]作为2D骨干网络来提取视锥特征。对于SemanticKITTI [^32]和ScribbelKITTI [^67]，点云被划分为$64 \times 512$个视锥区域；而对于nuScenes [^47]和SemanticPOSS [^68]，点云则被划分为$32 \times 480$个视锥区域。在优化方面，我们选择AdamW [^78]作为默认优化器，初始学习率设为0.01。我们采用OneCycle调度器 [^79]在训练过程中动态调整学习率。所有模型均在SemanticKITTI [^32]和ScribbelKITTI [^67]数据集上训练50个epoch，在nuScenes [^47]和SemanticPOSS [^68]数据集上训练80个epoch，训练过程使用四张GPU。每张GPU的批量大小设置为4。此外，我们还实现了一种更快的变体——FastFRNet，它具备更大的视锥区域以及尺寸缩小的2D骨干网络。具体来说，所有数据集上的点云均被划分为$32 \times 360$个视锥区域，而2D骨干网络则是ResNet-18 [^80]的一种变体，其设计思路源自CENet [^61]。 ### B. 对比研究 1) 与现有先进方法的对比：我们首先在不同表征方式下，将FRNet与最先进的激光雷达分割方法进行比较，这些表征方式包括稀疏体素、点视图、多视图和距离视图，测试场景涵盖全监督与弱监督基准。表I汇总了所有结果。在该基准测试中，FrustumMix和RangeInterpolation被用作数据增强技术以提升模型性能。为确保对比公平，我们在单块GeForce RTX 2080Ti GPU上对所有模型的每秒帧数（FPS）进行了评估。对于SemanticKITTI [^32]和nuScenes [^47]，我们报告验证集和测试集上的mIoU分数；对于ScribbleKITTI [^67]和SemanticPOSS [^68]，由于验证集与测试集数据相同，我们仅报告验证集上的mIoU和mAcc分数。与近期的多视图方法 [^24]相比，尽管FRNet在性能上并未展现出显著优势，但在参数数量和FPS方面却明显更优。与距离视图、稀疏体素及原始点云方法相比，FRNet在保持高效率的同时也取得了令人满意的性能。此外，Fast-FRNet虽然性能略有下降，但推理速度却是最快的。 2) 标签高效的激光雷达语义分割：近年来，半监督学习在激光雷达分割领域受到广泛关注。在本研究中，我们采用LaserMix [^48]方法将FRNet应用于半监督分割任务，具体结果见表II。为了进行公平对比 ---
TABLE I
SUPERVISED LIDAR SEGMENTATION RESULTS ON THE OFFICIAL SEMANTICKITTI [^32], NUSCENES [^47], SCRIBBLEKITTI [^67], AND SEMANTICPOSS [^68] BENCHMARKS. † DENOTES MODELS THAT USE PRETRAINED WEIGHTS. FPS DENOTES FRAME RATE PER SECOND (s). ALL MIOU AND MACC SCORES ARE GIVEN IN PERCENTAGE (%). THE BEST AND SECOND BEST SCORES FOR MODELS FROM EACH REPRESENTATION GROUP ARE HIGHLIGHTED IN BOLD AND UNDERLINE
MethodVenueRepresentationParamSemanticKITTInuScenesScribbleKITTISemanticPOSS
FPS $\uparrow$Val $\uparrow$Test $\uparrow$Val $\uparrow$Test $\uparrow$mIoU $\uparrow$mAcc $\uparrow$mIoU $\uparrow$mAcc $\uparrow$
MinkUNet [^17]CVPR'19Sparse Voxel ●21.7 M9.162.863.775.8-55.0-53.168.3
SPVNAS [^15]ECCV'20Sparse Voxel ●21.8 M8.962.566.474.4-56.9-48.461.5
Cylinder3D [^16]CVPR'21Sparse Voxel ●55.9 M6.265.967.876.177.957.0-52.964.9
PVKD [^69]CVPR'22Sparse Voxel ●14.1 M13.266.471.276.0-----
KPConv [^7]ICCV'19Raw Points ●18.3 M3.261.358.8------
RandLA-Net [^8]CVPR'20Raw Points ●1.2 M1.957.153.9------
PTv2 [^70]NeurIPS'22Raw Points ●12.8 M4.770.372.680.282.6----
WaffleIron [^11]ICCV'23Raw Points ●6.8 M7.468.070.879.1-----
PTv3 [^12]CVPR'24Raw Points ●46.2 M20.270.874.280.482.7----
RPVNet [^22]ICCV'21Multi-View ●24.8 M7.965.570.377.6-----
2DPASS [^71]ECCV'22Multi-View ●26.5 M8.469.372.279.480.8----
SphereFormer [^72]CVPR'23Multi-View ●32.3 M4.967.874.878.481.9----
UniSeg [^24]ICCV'23Multi-View ●147.6 M6.971.375.2-83.5----
TASeg [^73]CVPR'24Multi-View ●46.7 M6.172.776.5-84.6----
RangeNet++ [^34]IROS'19Range View ●50.4 M12.050.352.265.5-44.657.830.9-
FIDNet [^59]IROS'20Range View ●6.1 M31.858.959.571.4-54.165.446.4-
CENet [^61]ICME'22Range View ●6.8 M33.462.664.773.3-55.766.850.3-
RangeViT† [^35]CVPR'23Range View ●23.7 M10.060.764.075.2-53.666.5--
RangeFormer† [^36]ICCV'23Range View ●24.3 M6.267.673.378.180.163.0---
Fast-FRNetOursFrustum-Range ●7.5 M33.867.172.578.882.162.471.252.567.1
FRNetOursFrustum-Range ●10.0 M29.168.773.379.082.563.172.353.568.1
TABLE II
SEMI-SUPERVISED LIDAR SEGMENTATION RESULTS ON THE SEMANTICKITTI [^32], NUSCENES [^47], AND SCRIBBLEKITTI [^67] BENCHMARKS, UNDER AN ANNOTATION QUOTA OF 1%, 10%, 20%, AND 50%, RESPECTIVELY. ALL MIOU SCORES ARE GIVEN IN PERCENTAGE (%). THE BEST AND SECOND BEST SCORES FOR EACH DATA SPLIT ARE HIGHLIGHTED IN BOLD AND UNDERLINE
MethodVenueBackboneSemanticKITTInuScenesScribbleKITTI
1%10%20%50%1%10%20%50%1%10%20%50%
Sup.-only-FIDNet [^59]36.252.255.957.238.357.562.767.633.147.749.952.5
LaserMix [^48]CVPR'2343.458.859.461.449.568.270.673.038.354.455.658.7
Sup.-only-Cylinder3D [^16]45.456.157.858.750.965.966.671.239.248.052.153.8
CRB [^67]CVPR'22-58.759.160.9-----54.256.558.9
LaserMix [^48]CVPR'2350.660.061.962.355.369.971.873.244.253.755.156.8
LiM3D [^74]CVPR'23-61.662.662.8-----60.360.560.9
ImageTo360 [^75]ICCVW'2354.558.661.464.2--------
FrustumMixOurs55.762.563.064.960.070.072.674.145.655.758.260.8
Sup.-only-PTv3 [^12]42.760.962.664.148.067.871.575.940.754.656.258.9
PolarMix [^49]NeurIPS'2247.261.663.164.853.469.372.076.142.555.856.959.6
LaserMix [^48]CVPR'2351.763.364.865.357.471.874.277.445.056.958.360.7
FrustumMixOurs54.264.765.666.160.372.375.677.746.257.560.061.6
Sup.-only-FRNet44.960.461.863.151.968.170.974.642.453.555.157.0
PolarMix [^49]NeurIPS'2250.160.962.063.855.669.671.073.843.255.056.157.3
LaserMix [^48]CVPR'2352.962.963.265.058.771.572.375.045.856.857.759.0
FrustumMixOurs55.864.865.265.461.272.274.675.446.657.059.561.2
在其他方法中，本基准测试并未采用FrustumMix和RangeInterpolation作为数据增强技术，推理阶段也排除了TTA。我们首先以Cylinder3D [^16]和PTv3 [^12]为骨干网络，利用所提出的FrustumMix技术混合有标签和无标签数据以实现一致性学习，这与LaserMix框架 [^48]的理念相符。值得注意的是，FrustumMix的性能优于原始的LaserMix [^48]策略。接下来，我们采用FRNet作为骨干网络，评估多种混合有标签和无标签扫描数据的策略，包括PolarMix [^49]、LaserMix [^48]以及我们的FrustumMix。未使用FrustumMix和RangeInterpolation作为数据增强技术的Sup-only基线结果也被记录下来。结果表明，与其他混合策略相比，FrustumMix在所有数据划分上始终能取得最佳得分，尤其是在标注数据有限的情况下。 3) 分布外鲁棒性：鲁棒性反映了模型在不同条件下泛化的能力，对于汽车安全系统而言至关重要，尤其是 ---
TABLE III
ROBUSTNESS PROBING ON SEMANTICKITTI-C AND NUSCENES-C BENCHMARKS [^76]. ALL MCE, MRR AND MIOU SCORES ARE GIVEN IN PERCENTAGE (%) . THE BEST AND SECOND BEST SCORES FOR EACH MODEL ARE HIGHLIGHTED IN BOLD AND UNDERLINE
#MethodVenuemCE $\downarrow$mRR $\uparrow$mIoU $\uparrow$FogWegSnowMotionBeamCrossEchoSensor
SemanticKITTI-CMinkUNet [^17]CVPR'19100.081.962.855.954.053.332.956.358.354.446.1
SPVCNN [^15]ECCV'20100.382.262.555.354.051.434.556.758.154.646.0
FIDNet [^59]IROS'20113.877.058.843.751.649.740.449.349.548.229.9
Cylinder3D [^16]CVPR'21103.380.163.437.157.546.952.557.656.052.546.2
2DPASS [^71]ECCV'22106.177.564.640.560.748.557.858.828.555.850.0
CENet [^61]ICME'22103.481.362.642.757.353.652.755.845.453.445.8
WaffleIron [^11]ICCV'23109.572.266.045.558.649.333.059.322.558.654.6
FRNetOurs96.880.067.647.662.257.156.862.540.958.147.3
nuScenes-CMinkUNet [^17]CVPR'19100.074.475.853.673.940.473.468.526.663.851.0
SPVCNN [^15]ECCV'20106.774.774.459.072.541.158.465.436.862.349.2
FIDNet [^59]IROS'20122.473.371.464.868.059.048.948.157.548.823.7
Cylinder3D [^16]CVPR'21111.872.976.259.972.758.142.164.544.460.542.2
2DPASS [^71]ECCV'2298.675.277.964.576.854.562.067.834.463.245.8
CENet [^61]ICME'22112.876.073.367.069.961.658.350.060.953.324.8
WaffleIron [^11]ICCV'23106.772.876.156.173.949.659.565.233.161.544.0
FRNetOurs98.677.577.769.176.669.554.568.341.458.743.1
![Image](images/dc9400d4a0fa91b9f992ec3a8a09befca65a07bb10c92a48b6ef45f4975f52c9.jpg)
Fig. 7. Class-wise LiDAR segmentation results of FRNet and the baseline model on the test set of SemanticKITTI [^32].
在极端天气条件下 [^81]、[^82]。为了评估FRNet的分布外鲁棒性，我们采用了Robo3D [^76]中介绍的噪声数据集SemanticKITTI-C和nuScenes-C。在本基准测试中，在SemanticKITTI [^32]和nuScenes [^47]上训练的模型无需任何微调，便可直接用于评估其在SemanticKITTI-C和nuScenes-C [^76]上的性能。如表III所示，FRNet在大多数噪声类型下均表现出良好的性能，且优于采用各类激光雷达表示方法的最新研究成果，包括稀疏体素 [^15]、[^16]、[^17]、范围视图 [^59]、[^61]、多视图融合 [^71]以及原始点云 [^11]。 4) 定量评估：我们在图7中对比了FRNet与基线方法 [^61]的逐类IoU得分。值得注意的是，FRNet在大多数语义类别上均有显著提升，尤其是对于结构复杂的动态类别，其mIoU增益达到了15%到24%。在图8中，我们展示了FRNet在SemanticKITTI [^32]上的预测结果，并与FIDNet [^59]、CENet [^61]、RangeViT [^35]等最先进的范围视图方法进行了比较。显然，FRNet能给出更精确的预测结果，尤其是在“植被”、“地形”和“人行道”等大型平面物体上，这些物体往往难以被准确区分。 在本节中，我们将探讨FRNet架构中各项设计的有效性。除非另有说明，所有 ### C. 消融实验
TABLE IV
ABLATION STUDY OF EACH COMPONENT IN FRNET ON THE VAL SET OF SEMANTICKITTI [^32] AND NUSCENES [^47]. FFE: FRUSTUM FEATURE ENCODER. FP: FRUSTUM-POINT FUSION. FH: FUSION HEAD. FS: FRUSTUM-LEVEL SUPERVISION. RI: RANGEINTERPOLATION. TTA: TEST TIME AUGMENTATION. ALL MIOU AND MACC SCORES ARE GIVEN IN PERCENTAGE (%)
FFEFPFHFSRITTASemKITTI\nmIoUmAccnuScenes\nmIoUmAcc
✓62.772.372.882.7
✓✓64.373.573.683.4
✓✓✓66.273.976.484.6
✓✓✓✓67.074.177.284.8
✓✓✓✓✓67.674.277.785.2
✓✓✓✓✓✓68.774.979.085.0
相关实验分别在SemanticKITTI [^32]和nuScenes [^47]的验证集上进行并报告结果。 1) 组件设计：表四总结了FRNet架构中各个组件的消融实验结果。值得注意的是，本次消融研究在所有设置中均采用了FrustumMix方法。首先，我们将视锥特征编码器直接应用于CENet [^61]，并结合KNN后处理来预测整个点云的语义标签，在SemanticKITTI [^32]和nuScenes [^47]数据集上分别取得了62.7%和72.8%的mIoU值。接下来，通过整合点-视锥融合机制来分层更新点特征，进而以端到的方式利用更新后的点特征预测语义结果。 --- ![Image](images/72fd39508c8a4ee62c4b6aad021c784e4e4225d1e3ad2071476c06227f192e1f.jpg) ![Image](images/da109cf982f362b3f2526c40f5d506fa63f24642731c2979bba72b1c916f4fae.jpg)
Fig. 8. Qualitative results among state-of-the-art LiDAR segmentation methods [^35], [^59], [^61] on the val set of SemanticKITTI [^32]. To highlight the differences compared with groundtruth, the correct and incorrect predictions are painted in gray and red, respectively. Best viewed in colors and zoomed-in for details.
这些语义结果是利用更新后的点特征通过端到端方式预测的，分别使mIoU值提升了1.6%和0.8%。为了对视锥特征进行正则化，我们引入了视锥级监督机制，这分别带来了1.9%和2.8%的mIoU提升。融合头模块负责在不同层级融合多种特征以实现更精确的预测，在两个数据集上又额外贡献了0.8%的mIoU增益。此外，所提出的RangeInterpolation方法旨在通过利用周围的距离信息重建语义表面，从而缓解二维表示中的空像素问题，该方法可使mIoU值提升约0.5%。最后，正如先前研究所示，在推理阶段采用测试时增强技术，分别可使mIoU值提升1.1%和1.3%。 2) 视锥表示分辨率：找到合适的视锥分辨率对于平衡精度与效率至关重要。在表五中，我们进行了一系列相关实验
TABLE V
ABLATION STUDY OF FRUSTUM RESOLUTION IN FRNET ON THE VAL SET OF SEMANTICKITTI [^32]. ALL MIOU AND MACC SCORES ARE GIVEN IN PERCENTAGE (%) WITHOUT TTA
Number of FrustumsHeight (H)Width (W)mIoUmAcc
131,07264204866.873.8
65,53664102467.173.4
65,53632204865.572.7
32,7686451267.674.2
32,76832102466.072.4
16,3846425664.370.5
16,3843251265.572.1
8,1923225664.370.8
涉及不同的视锥分辨率。虽然更高的分辨率能够捕捉更细致的特征，但并不总能带来最优结果。视锥区域的范围有限可能导致缺乏有意义的结构，进而使模型在处理噪声或稀疏数据时表现不佳。 --- ![Image](images/bfaca3188cdd8ca6d3a31d3dea0d4d335c0713a26bac4d90e7017696571c6eca.jpg)
(a)
(c)
Fig. 9. Ablation study on different FRNet configurations. Plots show the comparisons of: a) Different range-view backbones on the val set of SemanticKITTI [^32]. b) Different mixing strategies on the val set of nuScenes [^47]. c) Different mixing strategies on the val set of SemanticKITTI [^32]. Color-filled boxes denote mAcc while empty boxes denote mIoU in (b) and (c), respectively.
相反，虽然较低的分辨率能够提升推理效率并提供更连贯的表示，但较大的视锥区域可能会引入过多的噪声信息，尤其是在物体边界处。因此，找到最佳的视锥分辨率对于平衡特征的丰富程度与计算需求、维持整体模型性能而言至关重要。 3) 混合策略：我们进一步探究了所提出的FrustumMix方法的有效性。如表二所示，FrustumMix在半监督学习任务中显著提升了性能，且展现出对其他模态的泛化能力。为了将FrustumMix置于常见数据增强技术的语境中加以考量，我们将其与近期流行的室外场景混合策略——LaserMix [^48]和PolarMix [^49]进行了比较。如图9(b)和图9(c)所示，FrustumMix的性能始终优于这些现有策略。 4) RangeInterpolation窗口设置：RangeInterpolation基于深度图重建语义表面，从而生成紧凑的2D表示以支持连贯的语义学习。表VI展示了不同窗口设置下RangeInterpolation的性能表现。值得注意的是，当仅沿水平或垂直方向进行插值处理时，我们观察到性能的一致提升。具体而言，采用水平窗口的配置，如$1 \times 3$和$1 \times 5$设置，相比专注于垂直方向的配置（$3 \times 1$和$5 \times 1$窗口）能取得更优的结果。我们推测，沿同一激光束排列的点往往具有相似的属性，因此能够形成更准确且连贯的语义表面。相反，较大的窗口尺寸，如$3 \times 5$、$3 \times 3$和$5 \times 5$配置，会导致窗口内点分布不均匀，从而产生噪声点，无法准确反映预期区域，进而导致性能下降。 5) 2D骨干网络：为了验证我们方法的通用性，我们采用多种深度视图方法作为提取视锥特征的2D骨干网络，包括SalsaNext [^64]。
TABLE VI
ABLATION STUDY ON WINDOW SETTINGS IN RANGE INTERPOLATION ON THE VAL SET OF SEMANTICKITTI [^32]. GREEN PIXEL DENOTES THE EMPTY PIXEL NEEDED TO BE INTERPOLATED. VIOLET PIXELS ARE THE SURROUNDING PIXELS USED TO GENERATE THE POINT. ALL MIOU SCORES ARE GIVEN IN PERCENTAGE (%)
Baseline$1 \times 3$$3 \times 1$$1 \times 5$$5 \times 1$
![Image](images/dc748fff0238ddd6b84a83ff5768b3a3cae29291f9e13e46d5be76baa26e4604.jpg)![Image](images/2a968859c9999048b6a9f9abf9a6189485e12e5292e30f98ef92b4317c8d71b0.jpg)![Image](images/c6fd2b765b1eb81cfeef9da48377ec933c0ad7cef023ee543ff0b7202db150b1.jpg)![Image](images/961d390a6ff38ef267eccd42b38866191eb3d56a6fd608dfbd484240f01a18ae.jpg)
67.067.6 $(+0.6)$67.4 $(+0.4)$67.5 $(+0.5)$67.4 $(+0.4)$
cross $3 \times 3$cross $5 \times 5$$3 \times 5$$3 \times 3$$5 \times 5$
![Image](images/ed27ccc3661aa5d13e7c4df38975382a454ca1bba8c06a72f90e8aba36c368c1.jpg)![Image](images/3987eae36c097e99c1eea8ab4bdaeb76081a85ea80f56292e7dbdfba206d25f8.jpg)![Image](images/4e386693b550c5b62fb34d8fbacb2a404a2d68f68806dc114768de4af512e83b.jpg)![Image](images/2ae6bc9ee4766d5d3e3a1c3d66a8208245afdd85bf7cdadd4734583e9a8873f6.jpg)![Image](images/ab12785f554c824061ece7ccbef391b2725f7f20ddfce539f8815cf58f3010e2.jpg)
67.5 $(+0.5)$67.4 $(+0.4)$67.1 $(+0.1)$66.8 $(-0.2)$66.6 $(-0.4)$
TABLE VII
INFERENCE EFFICIENCY COMPARISON OF FRNET AND MINKUNET [^17] IMPLEMENTED WITH VARIOUS CODEBASES AND SPARSE CONVOLUTION BACKENDS, AS WELL AS PTV3 [^12] ON THE VAL SET OF SEMANTICKITTI [^32]
CodebaseBackboneBackendFPS
MMDetection3DMinkUNetMinkowskiEngine9.1
MinkUNetSpConv8.6
MinkUNetTorchSparse10.2
MinkUNetTorchSparse++21.3
FRNetConvolution29.1
Fast-FRNetConvolution33.8
PCSegMinkUNetTorchSparse10.6
PointCeptMinkUNetMinkowskiEngine8.9
PTv3FlashAttention20.2
FIDNet [^59]和CENet [^61]。如图9(a)所示，我们提出的视锥-深度表示在不同深度视图方法上均能使mIoU指标提升5.0%到6.8%。 6) 推理效率：MinkowskiEngine、SpConv、TorchSparse和TorchSparse++等多种稀疏卷积后端为基于体素的方法提供了高效的处理能力。为了比较FRNet与这些后端的性能，我们在MMDetection3D代码库中实现了基于各后端的MinkUNet [^17]。此外，我们还评估了在PCSeg和PointCept代码库中实现MinkUNet以及近期的高效方法PTv3 [^12]的FPS值。所有测试均在单张NVIDIA 2080Ti GPU上进行。如表VII所示，虽然TorchSparse++在激光雷达分割任务中表现出令人满意的效率，但FRNet的推理速度最快，因此非常适合自动驾驶系统中的实时应用。 7) 多数据集融合：近期的研究[^51]、[^83]强调了通过跨异构数据集的多数据集融合策略构建大规模基准测试集的重要性。在本研究中，我们扩展了Fast-FRNet以支持多数据集联合训练，如表VIII所示。最初，我们利用均值-方差法对多源数据集进行合并。 --- ![Image](images/5ebff666c94aa23d702e4deb2f54933481f603f5895560de67fe25663c0cc331.jpg)
(a) car
![Image](images/d13af8750d3690eccfee6a63961b2045322032138426e07c5c27cfb37679ee8e.jpg) ![Image](images/c56f0dc29b9d4ebb37548736d9cd629867b72167c03d5113f028268dbedb80cb.jpg)
(b) person
![Image](images/055b54a518f00d87c33a82caa96e4c4b2e630b30c854a798ee127f4217302c4e.jpg)
(d) drivable surface
![Image](images/6f1e098abaea2a5a830edc50eee663c5a1d7d909e19bf078a078ecc6f90ced7a.jpg)
(c) vegetation
(e) sidewalk
![Image](images/f798aeb8b1019a8710d1c07601cfbcadca12f6dd26654a68f7c7ce44a158f1ea.jpg)
(f) trailer
Fig. 10. The open-vocabulary LiDAR semantic segmentation experiments of FRNet. Our model demonstrates the ability to perform open-vocabulary segmentation with various textual inputs. The segmented points corresponding to the provided text descriptions are highlighted in blue, showcasing its potential for open-world perception tasks.
TABLE VIII
THE MULTI-SOURCE TRAINING RESULTS OF THE PROPOSED FAST-FRNET ON THE VAL SET OF THE SEMANTICKITTI [^32], NUSCENES [^47], AND SEMANTICPOSS [^68] DATASETS. ALL MIOU AND MACC SCORES ARE GIVEN IN PERCENTAGE (%)
MethodSemKITTInuScenesSemPOSS
mIoUmAccmIoUmAccmIoUmAcc
Single-Source67.173.878.884.452.567.1
Multi-Source67.474.279.184.753.268.0
Fast-FRNet (w/ PPT [^83])68.274.779.384.953.968.4
TABLE IX
ZERO-SHOT SEGMENTATION PERFORMANCE ON THE VAL SET OF NUSCENES [^47]. ALL MIOU AND MACC SCORES ARE GIVEN IN PERCENTAGE (%)
MethodnuScenes
mIoUmAcc
OpenScene [^84]42.161.8
+ FRNet43.562.0
通过归一化处理来对齐强度值，这相比单源训练能带来轻微的性能提升。此外，受PPT [^83]的启发，我们采用了点提示技术来促进多源联合训练。这种方法进一步提升了性能，证明了在多数据集融合中采用提示引导策略的有效性。 8) 开放词汇语义分割：为了探究FRNet在开放词汇分割中的潜力，我们采用了受OpenScene启发的方法[^84]。具体而言，我们将文本和图像特征整合到框架中，使其与点特征对齐。在推理阶段，利用文本输入来引导对具有相似特征的点云进行分割。如表IX所示，FRNet在零样本分割任务中表现出良好的性能。此外，表10展示了使用对应文本输入进行的分割定性结果，凸显了FRNet有效处理开放世界感知任务的能力。 ### 五、结论 在这项工作中，我们提出了FRNet——一种专为高效、精准的激光雷达分割设计的视锥范围网络，它能够无缝集成到范围视图方法中。FRNet包含三个关键组件：用于提取低层级逐点特征的视锥特征编码模块、用于分层更新逐点特征的视锥-点融合模块，以及用于融合不同层级特征以预测更准确标签的融合头模块。此外，我们还引入了两种高效的增强方法——FrustumMix和RangeInterpolation，以提升范围视图激光雷达分割的泛化能力。在多种驾驶感知数据集上开展的大量实验表明，FRNet在保持高效率的同时取得了具有竞争力的性能。我们希望这项工作能为未来面向实时车载3D感知的研究奠定坚实基础。未来，我们将进一步提升FRNet的特征表达能力，并将该方法应用于其他3D感知任务，如3D物体检测、语义占据预测以及车路协同感知任务。 ## 参考文献 [^1]: Y. Guo, H. Wang, Q. Hu, H. Liu, L. Liu, and M. Bennamoun, “Deep learning for 3D point clouds: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 12, pp. 4338–4364, Dec. 2020. [^2]: D. Kong, X. Li, Q. Xu, Y. Hu, and P. Ni, “SC_LPR: Semantically consistent LiDAR place recognition based on chained cascade network in long-term dynamic environments,” IEEE Trans. Image Process., vol. 33, pp. 2145–2157, 2024. [^3]: Y. Li, L. Kong, H. Hu, X. Xu, and X. Huang, "Is your LiDAR placement optimized for 3D scene understanding?", in Proc. Adv. Neural Inf. Process. Syst., vol. 36, 2024, pp. 34980–35017. [^4]: L. Kong et al., “Calib3D: Calibrating model preferences for reliable 3D scene understanding,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis., Jun. 2025, pp. 1965–1978. [^5]: T. Sun, Z. Zhang, X. Tan, Y. Qu, and Y. Xie, “Image understands point cloud: Weakly supervised 3D semantic segmentation via association learning,” IEEE Trans. Image Process., vol. 33, pp. 1838–1852, 2024. ## [^6]: P. Hu, S. Sclaroff, and K. Saenko, “Leveraging geometric structure for label-efficient semi-supervised scene segmentation,” IEEE Trans. Image Process., vol. 31, pp. 6320–6330, 2022 --- [^7]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas, "KPConv: Flexible and deformable convolution for point clouds," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 6411–6420. [^8]: Q. Hu et al., “RandLA-Net: Efficient semantic segmentation of large-scale point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11108–11117. [^9]: H. Shuai, X. Xu, and Q. Liu, “Backward attentive fusing network with local aggregation classifier for 3D point cloud semantic segmentation,” IEEE Trans. Image Process., vol. 30, pp. 4973–4984, 2021. [^10]: T. Zhang, M. Ma, F. Yan, H. Li, and Y. Chen, "PIDS: Joint point interaction-dimension search for 3D point cloud," in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2023, pp. 1298–1307. [^11]: G. Puy, A. Boulch, and R. Marlet, “Using a waffle iron for automotive point cloud semantic segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Oct. 2023, pp. 3379–3389. [^12]: X. Wu et al., “Point transformer v3: Simpler, faster, stronger,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2024, pp. 4840–4851. [^13]: J. Li, X. He, Y. Wen, Y. Gao, X. Cheng, and D. Zhang, “Panoptic-PHNet: Towards real-time and high-precision LiDAR panoptic segmentation via clustering pseudo heatmap,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 11799–11808. [^14]: F. Hong, L. Kong, H. Zhou, X. Zhu, H. Li, and Z. Liu, "Unified 3D and 4D panoptic segmentation via dynamic shifting networks," IEEE Trans. Pattern Anal. Mach. Intell., vol. 46, no. 5, pp. 3480–3495, May 2024. [^15]: H. Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 685–702. [^16]: X. Zhu et al., “Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 9939–9948. [^17]: C. Choy, J. Gwak, and S. Savarese, “4D spatio-temporal ConvNets: Minkowski convolutional neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 3075–3084. [^18]: L. Zhao, S. Xu, L. Liu, D. Ming, and W. Tao, “SVASeg: Sparse voxel-based attention for 3D LiDAR point cloud semantic segmentation,” Remote Sens., vol. 14, no. 18, p. 4471, Sep. 2022. [^19]: V. Vanian, G. Zamanakos, and I. Pratikakis, “Improving performance of deep learning models for 3D point cloud semantic segmentation via attention mechanisms,” Comput. Graph., vol. 106, pp. 277–287, Aug. 2022. [^20]: A. Boulch, C. Sautier, B. Michele, G. Puy, and R. Marlet, “ALSO: Automotive LiDAR self-supervision by occupancy estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 13455–13465. [^21]: V. E. Liong, T. N. T. Nguyen, S. Widjaja, D. Sharma, and Z. J. Chong, “AMVNet: Assertion-based multi-view fusion network for LiDAR semantic segmentation,” 2020, arXiv:2012.04934. [^22]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation," in Proc. IEEE/CVF Int. Conf. Comput. Vis., Oct. 2021, pp. 16024–16033. [^23]: Y. Ali Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2021, pp. 1799–1808. [^24]: Y. Liu et al., “UniSeg: A unified multi-modal LiDAR segmentation network and the OpenPCSeg codebase,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 21662–21673. [^25]: R. Chen et al., "CLIP2Scene: Towards label-efficient 3D scene understanding by CLIP," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 7020–7030. [^26]: R. Chen et al., “Towards label-free scene understanding by vision foundation models,” in Proc. Adv. Neural Inf. Process. Syst., Jan. 2023, pp. 75896–75910. [^27]: M. Jaritz, T.-H. Vu, R. de Charette, É. Wirbel, and P. Pérez, “Crossmodal learning for domain adaptation in 3D semantic segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 2, pp. 1533–1544, Feb. 2023. [^28]: J. Xu et al., “Visual foundation models boost cross-modal unsupervised domain adaptation for 3D semantic segmentation,” 2024, arXiv:2403.10001. [^29]: H. Yu et al., “DAIR-V2X: A large-scale dataset for vehicle-infrastructure cooperative 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 21361–21370. [^30]: R. Xu et al., “V2V4Real: A real-world large-scale dataset for vehicle-to-vehicle cooperative perception,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 13712–13722. [^31]: H. Yu et al sequential dataset for vehicle-in-casting," in Proc. IF'n. 2023, [^32]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 9297–9307. [^33]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2018, pp. 1887–1893. [^34]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220. [^35]: A. Ando, S. Gidaris, A. Bursuc, G. Puy, A. Boulch, and R. Marlet, "RangeViT: Towards vision transformers for 3D semantic segmentation in autonomous driving," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 5240–5250. [^36]: L. Kong et al., “Rethinking range view representation for LiDAR segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 228–240. [^37]: Y. Zhang et al., “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9601–9610. [^38]: Q. Chen, S. Vora, and O. Beijbom, “PolarStream: Streaming object detection and segmentation with polar pillars,” in Proc. Adv. Neural Inf. Process. Syst., vol. 34, May 2021, pp. 26871–26883. [^39]: E. E. Aksoy, S. Baci, and S. Cavdar, “SalsaNet: Fast road and vehicle segmentation in LiDAR point clouds for autonomous driving,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 926–932. [^40]: Z. Zhou, Y. Zhang, and H. Foroosh, “Panoptic-PolarNet: Proposal-free LiDAR point cloud panoptic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 13189–13198. [^41]: J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 3431–3440. [^42]: H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, "Pyramid scene parsing network," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2881–2890. [^43]: E. Xie et al., “SegFormer: Simple and efficient design for semantic segmentation with transformers,” in Proc. Adv. Neural Inf. Process. Sys. (NIPS), vol. 34, Dec. 2021, pp. 12077–12090. [^44]: Z. Liang, M. Zhang, Z. Zhang, X. Zhao, and S. Pu, “RangeRCNN: Towards fast and accurate 3D object detection with range image representation,” 2020, arXiv:2009.00206. [^45]: Z. Tian, X. Chu, X. Wang, X. Wei, and C. Shen, "Fully convolutional one-stage 3D object detection on LiDAR range images," in Proc. Adv. Neural Inf. Process. Syst., Jan. 2022, pp. 34899–34911. [^46]: L. Kong, N. Quader, and V. E. Liong, "ConDA: Unsupervised domain adaptation for LiDAR segmentation via regularized domain concatenation," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2023, pp. 9338–9345. [^47]: W. K. Fong et al., “Panoptic nuscenes: A large-scale benchmark for LiDAR panoptic segmentation and tracking,” IEEE Robot. Autom. Lett., vol. 7, no. 2, pp. 3795–3802, Apr. 2022. [^48]: L. Kong, J. Ren, L. Pan, and Z. Liu, "LaserMix for semi-supervised LiDAR semantic segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 21706–21716. [^49]: A. Xiao, J. Huang, D. Guan, K. Cui, S. Lu, and L. Shao, “PolarMix: A general data augmentation technique for LiDAR point clouds,” in Proc. Adv. Neural Inf. Process. Syst., Jan. 2022, pp. 11035–11048. [^50]: A. Nekrasov, J. Schult, O. Litany, B. Leibe, and F. Engelmann, “Mix3D: Out-of-context data augmentation for 3D scenes,” in Proc. Int. Conf. 3D Vis. (3DV), 2021, pp. 116–125. [^51]: Y. Liu et al., “Multi-space alignments towards universal LiDAR segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 14648–14661. [^52]: Y. Liu et al., “Segment any point cloud sequences by distilling vision foundation models,” in Proc. Adv. Neural Inf. Process. Syst., vol. 36, Jan. 2023, pp. 37193–37229. ## [^53]: R. Li, A.-Q. Cao, and R. de Charette, "COARSE3D: Class-prototypes for contrastive learning in weakly-supervised 3D point cloud segmentation," in Proc. Brit. Mach. Vis. Conf., Jan. 2022, pp. 1–19 --- [^54]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud,” in Proc. Int. Conf. Robot. Autom. (ICRA), May 2019, pp. 4376–4382. [^55]: F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer, “SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5 MB model size,” 2016, arXiv:1602.07360. [^56]: C. Xu et al., “Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation,” in Proc. 16th Eur. Conf. Comput. Vis. (ECCV), Aug. 2020, pp. 1–19. [^57]: Y. Chen et al., “PointMixup: Augmentation for point clouds,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2020, pp. 330–345. [^58]: J. Zhang et al., “PointCutMix: Regularization strategy for point cloud classification,” Neurocomputing, vol. 505, pp. 58–67, Sep. 2022. [^59]: Y. Zhao, L. Bai, and X. Huang, "FIDNet: LiDAR point cloud semantic segmentation with fully interpolation decoding," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2021, pp. 4453–4458. [^60]: D. Kochanov, F. K. Nejadasl, and O. Booij, “KPRNet: Improving projection-based LiDAR semantic segmentation,” 2020, arXiv:2007.12668. [^61]: H. Cheng, X. Han, and G. Xiao, “CENet: Toward concise and efficient LiDAR semantic segmentation for autonomous driving,” in Proc. IEEE Int. Conf. Multimedia Expo (ICME), Jul. 2022, pp. 1–6. [^62]: Q. Hu, B. Yang, S. Khalid, W. Xiao, N. Trigoni, and A. Markham, "Towards semantic segmentation of urban-scale 3D point clouds: A dataset, benchmarks and challenges," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 4977–4987. [^63]: C. R. Qi, Y. Li, H. Su, and L. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Adv. Neural Inf. Process. Syst., vol. 30, Jan. 2017, pp. 5105–5114. [^64]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Proc. Int. Symp. Visual Comput., Oct. 2020, pp. 207–222. [^65]: M. Berman, A. R. Triki, and M. B. Blaschko, “The Lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4413–4421. [^66]: R. Razani, R. Cheng, E. Taghavi, and L. Bingbing, “Lite-HDSeg: LiDAR semantic segmentation using lite harmonic dense convolutions,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 9550–9556. [^67]: O. Unal, D. Dai, and L. Van Gool, “Scribble-supervised LiDAR semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 2687–2697. [^68]: Y. Pan, B. Gao, J. Mei, S. Geng, C. Li, and H. Zhao, “SemanticPOSS: A point cloud dataset with large quantity of dynamic instances,” in Proc. IEEE Intell. Vehicles Symp., Oct. 2020, pp. 687–693. [^69]: Y. Hou, X. Zhu, Y. Ma, C. C. Loy, and Y. Li, “Point-to-voxel knowledge distillation for LiDAR semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8479–8488. [^70]: X. Wu, Y. Lao, L. Jiang, X. Liu, and H. Zhao, “Point transformer v2: Grouped vector attention and partition-based pooling,” in Proc. Adv. Neural Inf. Process. Syst., vol. 35, Jan. 2022, pp. 33330–33342. [^71]: X. Yan et al., “2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds,” in Proc. Eur. Conf. Comput. Vis., 2022, pp. 677–695. [^72]: X. Lai, Y. Chen, F. Lu, J. Liu, and J. Jia, “Spherical transformer for LiDAR-based 3D recognition,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 17545–17555. [^73]: X. Wu et al., “TASeg: Temporal aggregation network for LiDAR semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 15311–15320. [^74]: L. Li, H. P. H. Shum, and T. P. Breckon, “Less is more: Reducing task and model complexity for 3D point cloud semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 9361–9371. [^75]: L. Reichardt, N. Ebert, and O. Wasenmüller, “360° from a single camera: A few-shot approach for LiDAR segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. Workshops (ICCVW), Oct. 2023, pp. 1075–1083. [^76]: L. Kong et al., “Robo3D: Towards robust and reliable 3D perception against corruptions,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 19937–19949. [^77]: MMDetection3D Contributors. (2020). MMDetection3D: OpenMMLab Next-Generation Platform for General 3D Object Detection. [Online]. Available: [^78]: I. Loshchilov and F. Hutter, "Decoupled weight decay regularization," in Proc. Int. Conf. Learn. Represent., Jan. 2019, pp. 1–18. [^79]: L. N. Smith and N. Topin, “Super-convergence: Very fast training of neural networks using large learning rates,” in Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications, vol. 11006. Bellingham, WA, USA: SPIE, 2019, pp. 369–386. [^80]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 770–778. [^81]: L. Kong, S. Xie, H. Hu, L. X. Ng, B. R. Cottereau, and W. T. Ooi, “RoboDepth: Robust out-of-distribution depth estimation under corruptions,” in Proc. Adv. Neural Inf. Process. Syst., Jan. 2023, pp. 21298–21342. [^82]: Q. Huang et al., “PointCAT: Contrastive adversarial training for robust point cloud recognition,” IEEE Trans. Image Process., vol. 33, pp. 2183–2196, 2024. [^83]: X. Wu et al., “Towards large-scale 3D representation learning with multi-dataset point prompt training,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 19551–19562. [^84]: S. Peng, K. Genova, C. Jiang, A. Tagliasacchi, M. Pollefeys, and T. Funkhouser, “OpenScene: 3D scene understanding with open vocabularies,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 815–824. ![Image](images/e5153c3a0cd5815bedaef316d3a059fcf83b480947dda5d525af53503bded2dc.jpg) 徐翔于2018年和2021年分别在中国南京信息工程大学自动化学院获得工学学士和硕士学位。他目前正于南京航空航天大学计算机科学与技术学院攻读博士学位。他的研究方向包括3D感知和标签高效学习。 ![Image](images/36aa0eb38da3df8c03ca72c64cb3de9a4d7c6a6e79de6e348d0f7098a265a474.jpg) 孔令东（IEEE学生会员）于2019年在中国广州华南理工大学获得工学学士学位，2020年和2022年分别在新加坡南洋理工大学获得理学硕士和工程硕士学位。他目前正于新加坡国立大学计算学院攻读博士学位。他的研究方向包括鲁棒且可扩展的3D感知与生成。他曾荣获2025年苹果公司AI/ML博士奖学金。 ![Image](images/b694b4f82c5096431565a02445b283d75efb13613d0dabddeeb9645eefdd9f95.jpg) 帅辉于2018年和2023年分别在中国南京信息工程大学获得硕士和博士学位。他目前担任南京邮电大学讲师。他的研究方向包括物体检测和3D点云分析。 ![Image](images/2a42e6b025606b50276f36a20276821d98bbe6a0961b1ad67d00b90f2485ba57.jpg) 刘青山（IEEE高级会员）于2000年在中国南京东南大学获得硕士学位，2003年在中国北京中国科学院获得博士学位。2004年6月至2005年4月，他曾在香港中文大学多媒体实验室担任副研究员。2010年至2011年，他担任新泽西州立罗格斯大学计算机科学系计算生物医学成像与建模中心的助理研究教授。 美国新泽西州皮斯卡特维。在加入罗格斯大学之前，他曾任中国科学院模式识别国家重点实验室的副教授。他目前是南京邮电大学的教授。他的研究兴趣包括图像与视觉分析以及机器学习。