# 面向3D激光雷达分割的知识蒸馏 $1^{st}$ 肖欢成 人工智能学院 深圳技术大学 中国深圳 2 $^{nd}$ 李强 人工智能学院 深圳技术大学 中国深圳 $3^{rd}$ 谷烨 人工智能学院 深圳技术大学 中国深圳 摘要—激光雷达点云的精确语义分割对自动驾驶至关重要，但单模态方法由于深度和几何信息有限，往往难以应对复杂环境。虽然激光雷达与摄像头数据的多模态融合展现出巨大潜力，但现有的基于融合的模型存在计算成本高、细节刻画不精细的问题。本文提出了一种新颖的框架，通过交叉注意力机制整合2D图像特征与1D序列化点云特征，以提升3D点云分割性能。该方法利用空间填充曲线来保留序列化点云中的局部空间结构，并采用动态网格池化来自适应地捕捉多尺度特征。通过将2D和1D知识蒸馏到3D骨干网络中，我们的方法在显著降低计算开销的同时实现了更优的性能。在SemanticKITTI数据集上的大量实验表明，该方法优于现有最先进的方法，平均IoU达到0.733，尤其在自行车和摩托车等小型物体的分割上取得了显著提升。 索引词—点云分割、知识蒸馏、空间填充曲线 ## I. 引言 3D点云语义分割是自动驾驶领域的关键技术之一。随着深度学习的发展，仅依赖激光雷达的分割精度得到了极大提升。不过激光雷达只能采集无纹理且稀疏的数据，因此激光雷达与图像的融合方法逐渐受到研究人员的青睐——因为图像能够提供丰富的颜色和纹理信息。然而，现有的基于融合的模型仍存在局限性：1）目前大多数融合方法通过多任务或级联架构实现，推理时需要同时处理图像和点云数据，会消耗更多计算资源；2）在融合阶段，体素化和3D稀疏卷积特征提取的做法会导致局部细粒度信息的丢失。相比之下，我们提出了一种仅通过交叉注意力机制融合3D点云、2D图像和1D序列化特征的激光雷达点云分割方法，并通过知识蒸馏利用2D和1D序列化特征来训练3D骨干网络。 ### A. 基于点的分割 PointNet [^1] 开创了基于MLP的网络进行逐点分割的先河。尽管后续模型（如PointNet++ [^2]）在室内数据上表现良好，但由于计算和资源限制，大多数模型无法扩展到大型室外场景；即便是最先进的KPConv [^3]（采用基于空间核的卷积）也依赖径向平衡采样，存在信息丢失的风险。基于点的方法还存在局部邻域搜索效率低的问题。 ### B. 基于体素的分割 该分支将非结构化的点云转换为规则的体素，以用于基于3D卷积的学习（例如早期的VoxNet [^4]），但在精度与效率的平衡上仍存在挑战。近期的优化包括轻量级3D卷积技术（可降低实时应用中的计算成本）以及非均匀体素网格——其中Cylinder3D [^5]表现突出，它利用非对称残差模块在保留目标几何特征的同时减少计算量。AF2S3Net [^6]则通过双重注意力机制与各向异性损失函数进一步提升了性能，从而更好地恢复精细结构。 ### C. 多模态分割 由于单模态模型存在诸多局限性，学术界越来越关注多模态融合这一方向。El等人 [^7] 针对自动驾驶中激光雷达数据的3D语义分割这一尚未充分研究的领域，提出了一种RGB-激光雷达融合框架，可将RGB图像转换为与激光雷达兼容的极坐标网格映射。庄等人 [^8] 将点云与透视视图进行融合，但大多数方法仅采用一对一融合方式（未能充分利用RGB信息），且在校准不精确时效果较差。相比之下，本文提出的方法能够实现自适应融合，并通过可学习的跨模态模块缓解点与像素之间的对齐偏差。刘等人 [^9] 提出了一种统一的多模态激光雷达分割网络，可将RGB图像与三种激光雷达点云视图（点视图、体素视图、距离视图）进行融合。 ### II. 方法 ### A. 框架概述 所提出的框架如图1所示。整个工作流程主要分为特征提取、特征融合和多尺度蒸馏学习三个阶段。2D图像的特征提取过程首先经过嵌入层预处理，随后通过2D编码器和解码器依次获取多尺度图像特征。3D点云的特征提取流程与2D图像类似，该过程还伴随着点云的体素化操作。对于序列化点云的特征而言，在序列化数据进入编解码器进行特征提取之前，需先通过空间曲线将3D点云转换为1D空间序列。借助这三个独立的特征提取器，我们获得了三类特征信息。随后，这些多尺度特征信息会被融合并进行知识蒸馏。在蒸馏过程中，不仅充分利用了2D图像的纹理和颜色信息这类先验知识，还利用序列化特征来弥补3D点云体素化过程中丢失的空间局部细粒度信息。与仅利用模态融合的方法不同，2D分支和序列化分支仅在训练阶段参与运算，从而显著降低了计算开销。 --- ![Image](images/02157879c25be319ce0e0441444bf90b29b8acd0cd62ffc6b9a7f4d4a0fae00e.jpg)
Fig. 1: Framework Overview. The main framework includes three segmentation branches. Among them, the solid line represents the workflow of training and inference, while the dashed line only exists in the training phase.
对于序列化点云的特征提取，在序列化数据进入编解码器进行特征提取之前，需先通过空间曲线将3D点云转换为1D空间序列。借助这三个独立的特征提取器，我们获得了三类特征信息。随后，这些多尺度特征信息会被融合并进行知识蒸馏。在蒸馏过程中，不仅充分利用了2D图像的纹理和颜色信息这类先验知识，还利用序列化特征来弥补3D点云体素化过程中丢失的空间局部细粒度信息。与仅利用模态融合的方法不同，2D分支和序列化分支仅在训练阶段参与运算，从而显著降低了计算开销。 ### B. 点云序列化 为了保留点云空间结构的细粒度信息，我们采用了点云序列化技术。点云序列化的核心思想是将非结构化的点云转换为结构化的序列。空间填充曲线[^10]算法能够将高维空间映射为一维索引。本质上，空间填充曲线是一种能够遍历高维离散空间中所有网格点，并能在一定程度上保持点之间邻近关系的路径。图2展示了希尔伯特[^11]空间填充曲线的三维示意图。另一种较为常见的空间填充曲线是Z序空间填充曲线。从数学角度来看，它可以通过一个双射函数来精确定义，该函数记为$\varphi : \mathbb{Z} \to \mathbb{Z}^n$。这里，Z代表一组一维整数索引，对应曲线的线性遍历顺序；n表示目标空间的维度。在三维点云处理的场景下，通常将n设为3以匹配点云的三维坐标。同时，该函数也可以灵活扩展到更高维度的空间。这种双射特性意味着高维空间中的每个网格点都能对应唯一的一维整数索引，反之亦然，从而为高维数据向低维索引的转换提供了严谨的数学基础。由于空间填充曲线具有双射性质，因此存在逆映射$\varphi^{-1} : \mathbb{Z}^n \to \mathbb{Z}$；通过这一映射，我们可以将点$p_i \in \mathbb{R}^3$投影到网格尺寸为$g \in \mathbb{R}$的离散空间上。该操作可定义为$\varphi^{-1}\left(\left\lfloor \frac{p}{g} \right\rfloor\right)$。通过对得到的编码进行排序，我们便获得了按照空间曲线排列的点云一维序列。 ### C. 模型架构 特征提取。如图1所示，在我们的模型中，主要使用三个独立的网络来提取不同类型的特征。对于二维图像，我们采用ResNet34构建二维特征提取骨干网络；对于三维特征提取，我们使用Cylinder3D[^5]作为三维骨干网络。一维序列特征的提取则通过前述的点云序列化技术实现。我们利用空间曲线的双射特性，获取点云中点在曲线上的编码数值，再将数值按升序排列，从而得到一维点云序列。 --- ![Image](images/ac5e38f0a91894fc7c3d472c8223faf1a1b7bd62256b0025aa3918801f2b0ae0.jpg) ![Image](images/1c33ddce38e5f18d35d4bfe2a089a42a8d8f575c86a93b00158c7376992f4c3f.jpg)
Fig. 2: Hilbet Curve. (a) The 3-stage order 2D Hilbert curve. (b) The 3-stage 3D Hilbert curve. The green dots represent the starting point of the traversal, and the red dots represent the ending point of the traversal.
![Image](images/d2727e7f67159cf226ffe52a01ca8e4b799b34e2a948cecdee03086e73505215.jpg)
Fig. 3: Serialization Feature Extractor. Unlike PTv3, we introduce a dynamic grid pooling layer (D-GridPool) to perform multi-scale feature extraction on the point cloud sequence.
为了使模型能够更好地捕捉序列特征，我们引入了分组注意力机制：对原始点云序列进行不重叠的分组，并在这些组之间应用注意力机制。由于组大小是固定的，但点云中的点数无法被组大小整除，针对这种情况，我们用相邻组的点来补充那些尺寸不足的组。前人已经充分验证了这种序列化点云分组的有效性[^12]。在PTv3[^11]中，Grid Pool通过全局统一的网格划分策略来聚合局部点云特征。然而，点云本身具有空间异质性：不同区域的点密度和几何复杂度差异显著——密集区域（如物体表面）包含丰富的细节，而稀疏区域（如开阔背景）的结构则较为简单。这种统一网格无法兼顾细节保留与计算效率：网格尺寸过大时会导致密集区域的细微结构（如边缘、纹理）丢失；网格尺寸过小时又会在稀疏区域引入冗余计算。 为解决这一局限性，我们提出了一种改进方案——动态网格池化（D-GridPooling）。如图3所示，D-GridPooling取代了原有的GridPooling。D-GridPooling首先计算用于表征局部密度的指标（例如每个点的k近邻平均距离），随后根据该密度动态确定网格大小：在密集且复杂的区域（如物体边缘、表面）分配较小的网格以保留细节；而在稀疏且简单的区域（如开阔平面、稀疏背景）则分配较大的网格以减少冗余。最后，通过不同大小网格内的注意力加权机制来聚合局部特征。 ![Image](images/725c2efa511a3239d0a49ca819346a3175fdd9a34ca6c3a6d9fa96956412a882.jpg)
Fig. 4: Serialization Voxel Fusion Module.
模态融合。经过三个特征提取骨干网络后，我们获得了三种不同类型的特征数据，其中$F_{v}$代表体素特征，$F_{r}$代表图像特征，$F_{s}$代表序列特征。我们将通过两个模块——序列-体素融合模块和图像-体素融合模块，分别将图像特征和序列特征与体素特征进行充分融合。由于这两个融合模块的主要任务相似，此处主要介绍序列-体素融合模块。其工作原理如图4所示。首先，我们对序列特征$F_{s}$和体素特征$F_{v}$进行线性投影，生成自注意力模块的查询向量、键向量和值向量，分别对应$Q_{s1}, Q_{v1}, K_{s1}, K_{v2}, V_{s1}$和$V_{v1}$。随后，这些向量会经过注意力机制和层归一化处理，得到增强后的序列特征$F_{s2}$和体素特征$F_{v2}$。接下来进入特征融合阶段，该阶段分为独立的序列到体素的交叉注意力和体素到序列的交叉注意力两部分。我们以$F_{v2}$作为键和值，以$F_{s2}$作为查询向量，进行从序列到体素的注意力学习。经过层归一化和多层感知机处理後，便得到了融合了$F_{s3}$特征的增强序列特征$F_{v2}$。而从体素到序列的交叉注意力则会生成被$F_{v3}$特征增强的体素特征$F_{s2}$。特征融合完成后，我们最终得到了四种经融合增强的特征，它们分别标记为 --- ![Image](images/2276e32f71a0a30aeb4a27ea1f497645b5e2ce4e5f4d1321fd8294c10b937895.jpg)
Fig. 5: Knowledge Distillation. The knowledge distilling process from 2D image features and 1D point cloud sequence features to 3D models. Among them, $L_{ce}$ represents the prediction results of the three modes and the Cross-Entropy Loss corresponding to the ground truth. These loss values will eventually be combined with the KL divergence value as the final loss $L_{Final}$ for each calculation.
$$ F_{v-s-f u s t i o n},F_{v-r-f u s i o n},F_{r-v-f u s i o n},\mathrm{a n d}F_{s-v-f u s i o n}. $$ $$ Q_{\theta}=F_{s}W_{Q_{\theta}}+B_{Q_{\theta}} $$ $$ K_{\theta}=F_{s}W_{K_{\theta}}+B_{K_{\theta}} $$ $$ V_{\theta}=F_{s}W_{V_{\theta}}+B_{V_{\theta}} $$ $$ Attn(Q,K,V)=Softmax\left(\frac{QK^{T}}{\sqrt{d_{k}}}\right)V $$ $$ F_{s2}=\mathrm{LayerNorm}\left(\mathrm{Attn}(Q_{s1},K_{s1},V_{s1})\right)+F_{s} $$ $$ F_{v2}=\mathrm{LayerNorm}\left(\mathrm{Attn}(Q_{v1},K_{v1},V_{v1})\right)+F_{v} $$ $$ F_{s3}=\mathrm{LayerNorm}\left(\mathrm{Attn}(Q_{s2},K_{v2},V_{v2})\right)+F_{s2} $$ $$ F_{v3}=\mathrm{LayerNorm}\left(\mathrm{Attn}(Q_{v2},K_{s2},V_{s2})\right)+F_{v2} $$ $$ F_{v-s-fusion}=BatchNorm\left(MLP(F_{s3})\right) $$ $$ F_{s-v-\mathrm{f u s i o n}}=\mathrm{B a t c h N o r m}\left(\mathrm{M L P}(F_{v3})\right) $$ 我们将利用这些特征来进行预测分割，并将2D和1D分支转换为3D分支。整个工作流程和原理如图5所示。我们将融合特征划分为三个独立的分割头，以生成这四种特征的预测结果。对于图像特征和序列特征，我们设计了多层感知机池化和softmax操作，以实现对$P_{r}$和$P_{s}$的结果预测。而对于体素特征，我们首先在通道维度上拼接$F_{r-v-fusion}$和$F_{v-f-fusion}$，再通过多层感知机和softmax操作得到预测结果$P_{v}$。 $$ P_{r}=\mathrm{Softmax}\left(\mathrm{MLP}(F_{\mathrm{v-r-fusion}})\right) $$ $$ P_{s}=\mathrm{Softmax}\left(\mathrm{MLP}(F_{\mathrm{v-s-fusion}})\right) $$ $$ P_{v}=\mathrm{Softmax}\left(\mathrm{MLP}\left(F_{\mathrm{r-v-fusion}}\oplus F_{\mathrm{s-v-fusion}}\oplus F_{\mathrm{v}}\right)\right) $$ 受2DPass的启发，我们并未简单地融合预测结果来获取最终结果，因为这样无法实现推理过程中丢弃2D分支和序列化分支的目的。我们的方法是分别通过3D真值生成2D真值和1D序列真值。对于1D序列真值，在进行点云序列化时，我们记录了每个点的映射关系，因此很容易就能得到1D序列真值。至于2D真值，我们则依靠数据集中包含的相机标定参数和校准值，对3D真值进行投影变换来得到它。 $$ G_{r}=\Pi_{\mathrm{p r o j}}(G_{v},\mathbf{K},\mathbf{T}) $$ $$ G_{s}=\Gamma_{\mathrm{s e q}}(G_{v},\mathcal{M}) $$ 为了让二维分支和序列化分支在训练过程中对最终模型产生影响，我们对三种模态的 Ground Truth 以及预测产生的损失进行加权求和。同时，我们也会 ---
MethodsmIoUcarbicyclemotorcycletruckother-vehiclepersonbicyclistmotorcyclistroadparkingsidewalkother-groundbuildingfencevegetationtrunkterrainpoletraffic-sign
PointNet [^1]0.1460.4630.0130.0030.0010.0080.0020.0020.00.6160.1580.3570.0140.4140.1290.3100.0460.1760.0240.037
MPF [^13]0.5550.9340.3020.3830.2610.2850.4810.4610.1810.9060.6230.7450.3060.8850.5970.8350.5970.6920.4970.581
FidNet [^14]0.5950.9390.5470.4890.2760.2390.6230.5980.2370.9060.5910.7580.2670.8890.6050.8450.6440.6900.5330.628
Cylinder3D [^5]0.6180.9610.5420.4760.3860.4500.6510.6350.1360.9120.6220.7520.1870.8960.6160.8540.6970.6930.6260.647
RangeViT [^15]0.6400.9540.5580.4350.2980.4210.6390.5820.3810.9310.7020.8000.3250.9200.6900.8530.7060.7120.6080.647
CENet [^16]0.6470.9190.5860.5030.4060.4230.6890.6590.4350.9030.6090.7510.3150.9100.6620.8450.6970.7000.6150.676
JS3C-Net [^17]0.6600.9580.5930.5290.5430.4600.6950.6540.3990.8880.6190.7210.3190.9250.7080.8450.6980.6800.6070.687
TransUPR [^18]0.6820.9330.5360.6810.5860.6370.7000.7060.5230.9040.7020.7480.4210.8910.6280.6280.6460.6940.5640.630
TPV-IGKD [^19]0.6930.9670.6330.6580.5460.6310.7650.8070.4160.9000.6030.7540.2910.9110.6630.8590.7420.7030.6380.691
AF2S3Net [^6]0.6970.9450.6540.8680.3920.4110.8070.8040.7430.9130.6880.7250.5350.8790.6320.7020.6850.5370.6150.710
RPVNet [^20]0.7030.9760.6840.6870.4420.6110.7590.7440.4340.9340.7030.8070.3330.9350.7210.8650.7510.7170.6480.614
SDSeg3D [^21]0.7040.9740.5870.5420.5490.6520.7020.7440.5220.9090.6940.7670.4190.9320.7110.8610.7430.7110.6540.706
GASN [^22]0.7070.9690.6580.5800.5930.6100.8040.8270.4630.8980.6620.7460.3010.9230.6960.8730.7300.7250.6610.716
PVKD [^23]0.7120.9700.6790.6930.5350.6020.7510.7350.5050.9180.7090.7750.4100.9240.6940.8650.7380.7190.6490.658
CMDFusion [^24]0.7160.9680.6300.6740.5310.6120.7660.8150.7720.9010.6690.7530.3070.9150.6800.8550.7440.6990.6450.675
PMformer [^25]0.7160.9650.6450.6470.5650.5550.7820.8210.6490.8950.6690.7470.3940.9280.7030.8630.7220.7060.6370.715
MDC-Seg [^26]0.7240.9710.6950.7180.5860.6090.7740.7660.5380.9150.7090.7700.4290.9260.7030.8670.7420.7170.6510.664
2DPass [^27]0.7290.9700.6360.6340.6110.6150.7790.8130.7410.8970.6740.7470.4000.9350.7290.8620.7390.7100.6500.704
RangeFormer [^28]0.7330.9670.6940.7370.5990.6620.7810.7590.5810.9240.7300.7880.4240.9230.7010.8660.7330.7280.6640.666
Ours0.7330.9650.6890.6900.6200.6290.8320.8380.4600.9100.7080.7710.4620.9310.7230.8650.7450.7230.6730.709
取 $P_{v}$ 与 $P_{r}$ 之间的 KL 散度值，以及 $P_{v}$ 与 $P_{s}$ 之间的 KL 散度值作为蒸馏损失，从而强化二维信息与一维序列化信息向三维网络进行的单向知识蒸馏。 $$ \mathcal{L}_{\mathrm{c e}}(P,G)=-\sum_{c}G(c)\log P(c) $$ $$ \mathcal{L}_{\mathrm{s u p}}=\lambda_{v}\mathcal{L}_{\mathrm{c e}}(P_{v},G_{v})+\lambda_{r}\mathcal{L}_{\mathrm{c e}}(P_{r},G_{r})+ $$ $$ \lambda_{s}\mathcal{L}_{ce}(P_{s},G_{s}) $$ $$ \mathrm{KL}(P\parallel Q)=\sum_{c}P(c)\log\frac{P(c)}{Q(c)} $$ $$ \mathcal{L}_{\mathrm{d i s t i l l}}=\mathrm{K L}(P_{v}\mid P_{r})+\mathrm{K L}(P_{v}\mid P_{s}) $$ $$ \mathcal{L}_{total}=\mathcal{L}_{sup}+\alpha\mathcal{L}_{distill} $$ ### 三、实验 数据集与评价指标。实验中我们使用的数据集是 KITTI 视觉里程计基准测试中的语义分割数据集——Semantickitti [^29]。该数据集包含 23,201 个用于训练的点云样本和 20,351 个用于测试的样本。与大多数研究一样，我们采用 [^29] 中规定的所有类别的平均交并比来评估所提方法，其计算公式如下： $$ \mathrm{I o U}_{i}=\frac{\mathrm{T P}_{i}}{\mathrm{T P}_{i}+\mathrm{F P}_{i}+\mathrm{F N}_{i}}, $$ 其中 $TP_{i}$、$FP_{i}$ 和 $FN_{i}$ 分别表示第 i 类的真正例、假正例和假负例预测，mIoU 则是 $IoU_{i}$ 的平均值。 $$ \mathrm{mIoU}=\frac{1}{N}\sum_{i=1}^{N}\mathrm{IoU}_{i}, $$ SemanticKITTI 上的实验结果。如表 I 所示，我们在 SemanticKITTI 基准测试中将自己的方法与其他方法进行了对比。我们的方法在整体 mIoU 上有所提升。与同时使用二维和三维特征的 2DPass 相比，我们的 mIoU 提高了 0.04。该模型在大多数类别上的表现都优于 2DPass。
TABLE II: Comparison with and without sequence branches on Semantickitti
MethodsmIoUSingle Class Result
bicyclebicyclistmotorcycle
Without Sequence0.7210.6770.7650.684
With Sequence0.7330.6890.8380.690
序列分支的影响。为了验证序列化分支在我们方法中的作用，我们也开展了一些消融实验。如表 II 所示，舍弃序列化分支后 mIoU 会下降 0.012。细节复杂的小型物体类别的相关结果也相应变差。这证明序列化分支能够有效地将局部空间的细粒度知识蒸馏给三维模型。
TABLE III: Comparison of GridPool and D-GridPool on Semantickitti
MethodsmIoUSingle Class Result
bicyclebicyclistmotorcycle
GridPool0.7300.6650.7580.681
D-GridPool0.7330.6890.8380.690
动态网格池化的影响。如前所述，在我们的序列化特征提取工作中，我们引入了 D-GridPool 分支来替换原始骨干网络中的 GridPool。我们也通过一些消融实验来验证 D-GridPool 的有效性。在其他因素保持不变的条件下，我们比较了 D-GridPool 与原始 GridPool 的性能。从表 III 可以看出，D-GridPool 使 mIoU 提升了 0.003。尽管 mIoU 的提升幅度不大，但这仍表明 D-GridPool 是一种可行的尝试。 --- ### 四、结论 本文提出了一种利用二维图像信息和一维序列化点云来提升激光雷达点云语义分割中三维模型性能的模型。借助交叉注意力机制、空间填充曲线和动态网格池化技术，能够从二维图像中提取丰富的纹理和颜色信息，从一维点云序列中提取精细的空间信息，从而有效提高三维网络的语义分割性能。该模型已在 SemanticKITTI 数据集上得到验证：其 mIoU 达到 0.733，比 2DPass 高出 0.004。文中的消融实验进一步证实，一维序列化分支（使 mIoU 提升 0.12）和 D-GridPool（使 mIoU 提升 0.03）在提升细粒度分割效果与平衡效率方面发挥着关键作用。 ## 致谢 本项目得到了深圳市科技计划项目（项目编号：JCYJ20220818102215034）以及广东省重点建设学科科研提升项目（项目编号：2022ZDJS112）的支持。 ## 参考文献 [^1]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 652–660, 2017. [^2]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” Advances in neural information processing systems, vol. 30, 2017. [^3]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas, "Kpconv: Flexible and deformable convolution for point clouds," in Proceedings of the IEEE/CVF international conference on computer vision, pp. 6411–6420, 2019. [^4]: D. Maturana and S. Scherer, “Voxnet: A 3d convolutional neural network for real-time object recognition,” in 2015 IEEE/RSJ international conference on intelligent robots and systems (IROS), pp. 922–928, Ieee, 2015. [^5]: X. Zhu, H. Zhou, T. Wang, F. Hong, Y. Ma, W. Li, H. Li, and D. Lin, "Cylindrical and asymmetrical 3d convolution networks for lidar segmentation," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 9939–9948, 2021. [^6]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, “2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 12547–12556, 2021. [^7]: K. El Madawi, H. Rashed, A. El Sallab, O. Nasr, H. Kamel, and S. Yogamani, "Rgb and lidar fusion based 3d semantic segmentation for autonomous driving," in 2019 IEEE intelligent transportation systems conference (ITSC), pp. 7–12, IEEE, 2019. [^8]: Z. Zhuang, R. Li, K. Jia, Q. Wang, Y. Li, and M. Tan, “Perception-aware multi-sensor fusion for 3d lidar semantic segmentation,” in Proceedings of the IEEE/CVF international conference on computer vision, pp. 16280–16290, 2021. [^9]: Y. Liu, R. Chen, X. Li, L. Kong, Y. Yang, Z. Xia, Y. Bai, X. Zhu, Y. Ma, Y. Li, et al., "Uniseg: A unified multi-modal lidar segmentation network and the openpcseg codebase," in Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 21662–21673, 2023. [^10]: G. Peano, “Sur une courbe, qui remplit toute une aire plane,” in Arbeiten zur Analysis und zur mathematischen Logik, pp. 71–75, Springer, 1990. [^11]: X. Wu, L. Jiang, P.-S. Wang, Z. Liu, X. Liu, Y. Qiao, W. Ouyang, T. He, and H. Zhao, “Point transformer v3: Simpler faster stronger,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 4840–4851, 2024. [^12]: Z. Liu, X. Yang, H. Tang, S. Yang, and S. Han, "Flatformer: Flattened window attention for efficient point cloud transformer," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 1200–1211, 2023. [^13]: Y. A. Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds,” in Proceedings of the IEEE/CVF winter conference on applications of computer vision, pp. 1800–1809, 2021. [^14]: Y. Zhao, L. Bai, and X. Huang, "Fidnet: Lidar point cloud semantic segmentation with fully interpolation decoding," in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4453–4458, IEEE, 2021. [^15]: A. Ando, S. Gidaris, A. Bursuc, G. Puy, A. Boulch, and R. Marlet, "Rangevit: Towards vision transformers for 3d semantic segmentation in autonomous driving," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 5240–5250, 2023. [^16]: H.-X. Cheng, X.-F. Han, and G.-Q. Xiao, “Cenet: Toward concise and efficient lidar semantic segmentation for autonomous driving,” in 2022 IEEE international conference on multimedia and expo (ICME), pp. 01–06, IEEE, 2022. [^17]: X. Yan, J. Gao, J. Li, R. Zhang, Z. Li, R. Huang, and S. Cui, “Sparse single sweep lidar point cloud segmentation via learning contextual shape priors from scene completion,” in Proceedings of the AAAI conference on artificial intelligence, vol. 35, pp. 3101–3109, 2021. [^18]: Z. Yu, M. Chen, Z. Zhang, S. You, R. Rao, S. Agarwal, and F. Ren, "Transupr: A transformer-based plug-and-play uncertain point refiner for lidar point cloud semantic segmentation," in 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 5864–5869, IEEE, 2023. [^19]: J.-C. Li, J.-G. Lu, M. Wei, H.-Y. Kang, and Q.-H. Zhang, "Tpvigkd: Image-guided knowledge distillation for 3d semantic segmentation with tri-plane-view," IEEE Transactions on Intelligent Transportation Systems, vol. 25, no. 8, pp. 10405–10416, 2024. [^20]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation," in Proceedings of the IEEE/CVF international conference on computer vision, pp. 16024–16033, 2021. [^21]: J. Li, H. Dai, and Y. Ding, “Self-distillation for robust lidar semantic segmentation in autonomous driving,” in European conference on computer vision, pp. 659–676, Springer, 2022. [^22]: M. Ye, R. Wan, S. Xu, T. Cao, and Q. Chen, "Efficient point cloud segmentation with geometry-aware sparse networks," in European conference on computer vision, pp. 196–212, Springer, 2022. [^23]: Y. Hou, X. Zhu, Y. Ma, C. C. Loy, and Y. Li, “Point-to-voxel knowledge distillation for lidar semantic segmentation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 8479–8488, 2022. [^24]: J. Cen, S. Zhang, Y. Pei, K. Li, H. Zheng, M. Luo, Y. Zhang, and Q. Chen, "Cmdfusion: Bidirectional fusion network with cross-modality knowledge distillation for lidar semantic segmentation," IEEE Robotics and Automation Letters, vol. 9, no. 1, pp. 771–778, 2023. [^25]: X. Li, X. Tan, Z. Zhang, Y. Xie, and L. Ma, “Point mask transformer for outdoor point cloud semantic segmentation,” Computational Visual Media, pp. 497–511, 2025. [^26]: X. Ouyang, X. Qian, Y. Zhang, Y. Shen, G. Wang, and W. Liu, "Mdseg: Multi-directional convolution-based semantic segmentation for lidar point clouds," in 2025 IEEE International Conference on Robotics and Automation (ICRA), pp. 1–7, IEEE, 2025. [^27]: X. Yan, J. Gao, C. Zheng, C. Zheng, R. Zhang, S. Cui, and Z. Li, “2d pass: 2d priors assisted semantic segmentation on lidar point clouds,” in European conference on computer vision, pp. 677–695, Springer, 2022. [^28]: L. Kong, Y. Liu, R. Chen, Y. Ma, X. Zhu, Y. Li, Y. Hou, Y. Qiao, and Z. Liu, "Rethinking range view representation for lidar segmentation," in Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 228–240, 2023. [^29]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in Proceedings of the IEEE/CVF international conference on computer vision, pp. 9297–9307, 2019.