# 基于范围视图的实时三维语义分割方法：多传感器融合技术
谭世奇 $^{*}$、法兹拉利·哈米德雷扎 $^{*}$、徐一轩、任远、刘冰冰
华为诺亚方舟实验室
{alexshiqi.tan, richardyixuan.xu}@mail.utoronto.ca {hamidreza.fazlali1, yuan.ren3, liu.bingbing}@huawei.com
摘要—基于范围视图（Range-View，RV）的三维点云分割因其紧凑的数据形式而被广泛应用。然而，基于RV的方法在遮挡点的分割上表现欠佳，且由于三维点云的稀疏性，投影后的RGB图像会出现失真现象。为解决这些问题，我们提出了一种新型的激光雷达与摄像头范围视图三维点云语义分割方法——LaCRange。具体而言，我们设计了失真补偿知识蒸馏（Distortion-Compensating Knowledge Distillation，DCKD）策略，以缓解RV投影对RGB图像造成的不良影响；同时引入了基于上下文的特征融合模块，以实现鲁棒且保真的传感器数据融合。最后，针对RV分辨率有限且三维拓扑信息不足的问题，我们设计了新的点特征优化方案，从而实现二维特征的合理聚合以及三维点特征的增强。我们在大规模自动驾驶数据集SemanticKITTI和nuScenes上对所提方法进行了评估。实验表明，该方法不仅满足实时性要求，在nuScenes基准测试中也取得了业界领先的结果。
## 一、引言
语义分割是自动驾驶车辆感知系统中的核心计算机视觉任务。为使自动驾驶车辆能更精准地理解周围环境并做出更安全的决策，这类详细的语义信息必须实时获取。
由于nuScenes [^4] 和 SemanticKITTI [^5] 等公开数据集的出现，户外三维语义分割受到了越来越多的关注。为了获得更精准、更鲁棒的场景理解能力，自动驾驶车辆通常配备摄像头、激光雷达等多种类型的传感器。摄像头图像具有密集的像素表征，能提供丰富的纹理信息，但其在恶劣天气和低光照条件下存在固有缺陷；相比之下，激光雷达传感器受光照条件的影响较小，还能提供精确的几何与距离信息。
为弥补各传感器的短板并利用其互补信息，研究人员提出了基于融合的策略。其中一种多传感器特征融合方法是利用球面投影（即范围视图RV投影）将图像特征映射到三维激光雷达坐标中，以增强对应的点特征 [^6]。尽管基于RV的方法因表征紧凑而效率较高，但由于三维点云的稀疏性，大部分外观信息会丢失。近期，PMF [^9] 利用透视投影将点映射到摄像头坐标下，以保留外观信息，但该方法在涉及多摄像头时计算复杂度较高。如何在信息保留与计算成本之间取得平衡，是实时语义分割中摄像头与激光雷达数据融合面临的重要挑战。
此外，由于基于RV的方法仅处理输入点云的子集，先前的研究通常依赖k近邻（kNN）后处理技术来为每个3D点预测标签[^12]，[^11]。这就导致了RV投影点上的分割性能与整个点云之间的较大差距。
在本文中，我们旨在扩展基于RV的方法的能力，同时保留其低延迟的优势。我们提出了LaCRange，这是一种基于激光雷达和摄像头范围视图的3D点云语义分割新方法。为了解决RGB图像经RV投影导致的外观信息丢失问题，我们设计了一种失真补偿知识蒸馏（DCKD）策略，利用预训练好的教师模型来学习如何从原始图像中提取细节丰富且结构完整的特征。与先前的研究相比[^9]，[^6]，我们的图像编码器在轻量化的同时性能强劲，因为它受到教师模型的指导。为了融合摄像头和激光雷达的特征，我们提出了一种新的基于上下文的特征融合模块。在该策略中，摄像头和激光雷达特征被拼接起来进行处理，以生成这些特征的全局上下文信息。随后，它们的全局上下文信息通过模态查找（MLU）机制相互交互，从而从每种模态中获取信息来补充最初融合的特征。
此外，为了进一步缩小投影点与完整点云之间的分割性能差距，我们提出了一种新的点云细化方案。该方法采用了一种带有动态核的语义-范围-反射率特征聚合（SR $^{2}$FA）模块，用于聚合RV图像中存有投影点的每个像素处的特征。接着，利用3D邻域感知特征增强（3D-NAFA）模块，对从2D重新投影到3D后的点特征进行增强。更具体地说，我们采用了由粗到精的3D体素化策略
---
以便为每个点提供3D邻域上下文。我们的实验表明，这种点云细化策略不仅能显著提升网络的分割性能，还能作为即插即用解决方案轻松集成到其他现有的基于RV的分割方法中。
我们的贡献可概括为三点：（1）我们提出了一种失真补偿知识蒸馏（DCKD）策略，以减少RGB图像经RV投影造成的信息丢失；（2）我们设计了基于上下文的特征融合模块，以更好地结合两种模态；（3）我们提出了一种新的便携且通用的点云细化方案，用于修正反投影过程中的误差。我们在SemantickKITTI [^5]和nuScenes [^4]这两个公共数据集上进行了全面实验，进一步验证了该方法的有效性。
### II. 相关工作
### A. 基于摄像头的语义分割
### B. 基于激光雷达的语义分割
这些方法为输入2D图像的每个像素预测语义标签。FCN [^17]是开创性工作，它利用2D全卷积神经网络（CNN）构建了图像语义分割的端到端流程。近年来，多尺度特征学习[^18]，[^19]、空洞卷积模型[^20]，[^21]、基于注意力的模型[^22]，[^23]，[^24]以及基于Transformer的模型[^25]，[^26]，都为提升2D图像的分割效果做出了贡献。
这些方法可以根据其处理三维点云的策略进行分类。基于点的方法直接处理非结构化的三维点云。PointNet [^27] 利用多层感知机（MLP）来近似一个排列不变的集合函数。PointNet++ [^28] 则通过在不同尺度上采样来扩展PointNet，从而提取局部和全局的相关特征。这些方法需要大量的内存和计算资源，尤其是在处理室外场景时 [^10]。基于体素的方法将三维场景划分为称为体素的立体网格 [^58], [^30]。为了解决点密度不均和稀疏性问题，Cylindere3D [^13] 采用圆柱形体素划分，并应用非对称三维CNN来处理这些体素。不过，基于体素的方法计算成本较高，且当体素网格分辨率降低时，其性能会显著下降 [^16]。基于投影的方法通过径向距离（RV）[^31], [^11], [^12]、鸟瞰图（BEV）投影 [^32], [^33] 或两者结合 [^34] 将三维点云投影到二维平面上。由于基于投影的方法能生成紧凑的数据表示，可被二维CNN处理，因此相比基于点和体素的方法，它们更高效，更适合实时应用。
### C. 多传感器语义分割
多传感器方法试图合理融合摄像头和激光雷达的信息，以提高语义分割的准确性和鲁棒性 [^37]。RGBAL [^6] 对摄像头和激光雷达传感器均采用RV投影，并通过早期和中期融合方式整合图像与点云特征。PMF [^9] 利用透视投影将激光雷达点云映射到摄像头坐标系，采用两条独立的处理流分别处理摄像头和激光雷达数据，并在每个编码阶段融合多传感器特征。不过，由于摄像头图像分辨率较高且需要处理多个摄像头数据，该方法的计算成本较高。
### III. 方法
图1展示了所提出的LaCRange框架的概览。给定输入的激光雷达点云后，我们将其投影为RV图像 [^12], [^11]，其中的特征包括笛卡尔坐标 $(x, y, z)$、反射率和距离。同时，对应的RGB图像也通过RV投影映射到激光雷达坐标系。
原始的RGB图像被送入预训练的教师编码器，而RV-RGB图像则由学生编码器处理。在训练阶段，提取的多尺度教师特征会通过失真补偿知识蒸馏（DCKD）来指导学生编码器。随后，学生编码器提取的特征会与激光雷达特征在融合编码器中通过基于上下文的特征融合模块进行融合。最后，RV分割输出结果会经过我们提出的可学习点细化模块处理。
A. 失真补偿知识蒸馏（DCKD）
由于RV投影能生成紧凑的表示形式，因此适用于激光雷达点云的实时语义分割，但RGB图像的RV投影会因点云稀疏而导致外观信息失真。我们提出DCKD来在特征空间中缓解这种失真现象：将预先在原始（无失真）RGB图像上训练好的教师编码器所学到的知识，迁移给接收对应RV-RGB图像的学生编码器。
在这种方法中，我们首先在大型图像语义分割数据集上预训练一个复杂的教师模型。当使用RV-RGB图像训练学生模型时，冻结的教师编码器会接收对应的原始RGB图像。为了进行知识迁移，学生模型在每个编码器块中的特征需要与教师模型的特征对齐。如图1所示，这一过程是在DCKD块中完成的。
给定第k个尺度的教师特征图后，首先通过双线性上采样将其匹配到原始图像分辨率，再投影为RV格式。我们的学生编码器采用了比教师模型更浅的架构，因此需要借助特征适配器来匹配教师的深度。在第k尺度的学生特征中，特征适配器模块（$1 \times 1$ Conv + Leaky ReLU + BatchNorm）会将通道数调整为与第k尺度教师特征相同，并上采样至原始RV分辨率。两种特征都会被RV-RGB投影掩码屏蔽，以忽略未投影的区域，从而得到用于蒸馏的教师和学生特征$T_k$和$S_k$。蒸馏损失$L_d$的计算方式为：
---
Fig. 1. Overview of the proposed LaCRange framework. The blocks and arrows with dashes are only used during the training process. The blocks shown in green are the proposed components. Best viewed in color
通过计算所有尺度下T和S之间的平均距离得到：
$$ L_{d}=\frac{1}{K}\sum_{k=1}^{K}||T_{k}-S_{k}|| $$
其中K表示所考虑的尺度总数。通过最小化上述损失项，学生编码器就能学会模仿教师编码器。尽管接收到的RGB图像存在失真，学生模型仍能从教师模型中获取更连贯的纹理和外观信息。与传统的知识蒸馏方法不同，我们的教师模型不仅在模型复杂度上优于学生模型，在输入和特征的外观完整性方面也更为出色。
Fig. 2. Context-based feature fusion module. $C_{pre}/L_{pre}$ and $C_{comp}/L_{comp}$ represent the original camera/LiDAR and retrieved camera/LiDAR features, respectively. Additionally, $C_s/C_c$, $L_s/L_c$ and $F_s/F_c$ are the space-/channel-wise pooled camera, LiDAR and initially fused features.
### B. 基于上下文的特征融合（CFF）
摄像头和激光雷达是两种互补的传感器，它们各自能捕捉场景中的特定传感器信息。在多传感器语义分割任务中，对这两种传感器信息进行保护性融合至关重要。
所提出的特征融合模块的框图如图2所示，它包含两个阶段。在第一阶段，摄像头和激光雷达特征被拼接起来，送入编码器中的ResBlock进行初始特征融合。在第二阶段，初始融合后的特征会通过各特征的全局上下文补充传感器特有的信息，这些全局上下文是通过对空间维度和通道维度分别应用平均池化和最大池化得到的。初始融合特征的全局上下文（记为$F_s/F_c$）可以在模态查找块中与摄像头全局上下文（记为$C_s/C_c$）以及激光雷达全局上下文（记为$L_s/L_c$）进行交互，从而提取出每种传感器独有的预融合特征（$C_{pre}/L_{pre}$）。来自各模态的信息会被单独处理，再通过多个卷积块融合在一起，并添加到初始融合特征中。这里我们讨论了两种可用于实现MLU块的策略：基于卷积块注意力机制（CBAM）的方案[^48]和基于交叉注意力的方案[^49]。
1) 基于CBAM的模态查找：在这种策略中，初始融合特征的空间/通道全局上下文信息（$F_s/F_c$）会与摄像头和激光雷达的全局上下文信息（$C_s/C_c$和$L_s/L_c$）相加。随后，通过带有sigmoid激活函数的Conv/MLP层，从原始的摄像头和激光雷达特征（$M_{comp}$）中选出互补信息$C_{pre}/L_{pre}$，计算公式如下：
$$ M_{comp}=\left[BC_{s}\left(\sigma\left(MLP\left(M_{c}+F_{c}\right)\right)\right)+\right. $$
$$ B C_{c}\left(\sigma\left(C o n v\left(M_{s}+F_{s}\right)\right)\right)\Big|\times M_{p r e},\ M\in\{C,L\} $$
其中，M和$\sigma$分别表示模态类型和Sigmoid激活函数。BC表示沿空间($BC_{s}$)和通道($BC_{c}$)的广播操作。
2) 基于交叉注意力的模态查找：该策略采用了与[^49]类似的方法。不同的是，注意力机制在全局层面（空间/通道聚合）发挥作用。此外，我们对融合后的特征同时利用两种模态的信息，而非仅仅将摄像头特征补充到激光雷达特征中，因为我们认识到单独使用每种模态都存在固有缺陷。最初融合的特征会分别针对这两种模态进行筛选，以选取互补信息。
---
$M_{comp}$的表达式如下：
$$ \dot{M}_{c o m p}^{c}=B C_{s}\left(\sigma\left(M L P\left(A t t\left(Q^{c},K_{M}^{c},V_{M}^{c}\right)\right)\right)\right), $$
$$ M_{c o m p}^{s}=B C_{c}\left(\sigma\left(C o n v\left(A t t\left(Q^{s},K_{M}^{s},V_{M}^{s}\right)\right)\right)\right), $$
$$ M_{c o m p}=\left[M_{c o m p}^{c}+M_{c o m p}^{s}\right]\times M_{p r e},\quad M\in\{C,L\} $$
其中，$Q^c/Q^s$表示从通道/空间维度聚合的最初融合特征中得到的嵌入查询向量；$K_M^c/K_M^s$和$V_M^c/V_M^s$分别是模态M的聚合特征的键和值。Att表示交叉注意力机制后接线性层。$M_{comp}^c/M_{comp}^s$是从通道/空间维度获取的模态M的特征。在实验结果部分，我们将探讨使用每个MLU模块所产生的效果。
Fig. 3. Semantic-Range-Remission-based Feature Aggregation (SR $^{2}$FA) module. ■ and ▲ represent the locations selected based on semantic and range-remission, respectively.
### C. 点云精细化
尽管基于体素渲染的分割方法[^12]、[^11]具有实时性能优势，但其精度有限。受此局限性的启发，我们提出了一种新的点云精细化方案，包括基于语义-距离-反射率的特征聚合（SR $^2$FA）以及基于点级别的特征增强（3D-NAFA）。
1) 基于语义-距离-反射率的特征聚合（$SR^{2}FA$）：由于编码器中的下采样操作，一些有用的低层级几何信息会被丢失。为了恢复这些信息，我们在特征进入编码器前，将其与解码器最后一个模块输出的特征进行融合。这些特征需要基于上下文通过卷积等操作进行局部聚合，但由于固定网格结构限制了标准卷积在几何变换建模方面的能力，这种方法较为简单粗暴[^47]。
为此，我们设计了SR²FA模块，如图3所示。首先利用体素渲染投影掩码过滤掉体素渲染平面上未投影的位置。接着，对于每个目标像素，根据两种不同的选择指标——估计的语义概率绝对差（S）和距离-反射率绝对差（R²）——两次选取最近的邻域像素。对于基于距离-反射率选取的邻域像素，以其相对于中心点的xyz坐标、距离、反射率和RGB值的绝对差来构成一组特征距离；而对于基于语义概率选取的邻域像素……
Fig. 4. 3D Neighborhood-Aware Feature Augmentation (3D-NAFA) module. Best viewed in color.
则以其语义概率绝对差来构成另一组特征距离。这些特征距离会分别经过点特征编码器（PFE）和MLP层的处理。PFE由MLP层、最大池化层和平均池化层组成，最终输出处理后的特征与邻域内平均池化和最大池化特征的拼接结果。最后，每个分支中会应用Softmax函数生成一组权重，用于计算所选邻域像素特征的加权和$\delta^S$和$({\delta}^{R})^{2}$，分别对应语义和距离-反射率维度。
为了合并这两组聚合特征（$\delta^{S}$ 和 $\delta^{R^{2}}$），我们设计了一种基于动态置信度的软选择机制。在该机制中，每个中心像素邻域的平均语义置信度 $\Phi_{m,n}$ 按如下方式计算：
$$ \Phi_{m,n}=\frac{1}{N_{\psi(m,n)}}\sum_{(i,j)\in\psi(m,n)}\left[1+\frac{1}{\log C}\sum_{c=1}^{C}S_{i,j,c}\log S_{i,j,c}\right] $$
其中 $S_{i,j,c}$ 表示位置 $(i,j)$ 处第 c 类的估计语义概率。$\psi(m,n)$ 和 $N_{\psi(m,n)}$ 分别表示 $(m,n)$ 的相邻坐标以及邻居数量。这两组聚合特征被合并以生成 $\delta$，即基于置信度融合的特征，计算公式如下：
$$ \delta=\left[1-\exp^{-\lambda(1-\Phi)}\right]\delta^{R^{2}}+\left[\exp^{-\lambda(1-\Phi)}\right]\delta^{S} $$
其中 $\lambda$ 是控制平均置信度影响的超参数。根据上述公式，在平均语义置信度较低的邻域内，来自语义分支的聚合特征会被降低权重，而距离衰减分支的聚合特征则会受到更多关注，反之亦然。聚合特征 $\delta$ 会与 $(m, n)$ 处的中心特征相加，再经过进一步处理以得到 RV 图像上的最终特征。
2) 三维邻域感知特征增强（3D-NAFA）：仅将 RV 特征重投影到三维空间会忽略场景拓扑和点几何关系。为了使每个点的特征更具三维邻域感知能力，我们采用了一种由粗到精的增强流程。
图 4 展示了 3D-NAFA 的示意图。对于每个三维点及其在 RV 图像上的投影位置，我们会考虑其在距离维度上的 K 个最近邻。对于每个选定的邻居，从 $SR^{2}FA$ 模块获取其特征
---
TABLE I
RESULTS ON SEMANTICKITTI [^5] VALIDATION SET. (*) RESULTS OBTAINED FROM [^9]. L AND C DENOTE LIDAR AND CAMERA, RESPECTIVELY.
| Method | Input | mDOU | car | bicycle | motorcycle | truck | other-vehicle | person | bicyclot | motorcycle | road | parking | sidewalk | other-ground | building | fence | vergetation | trunk | termin | pole | traffic-sign | speed (ms) |
| RangeNet++ [^12] | L | 51.2 | 89.4 | 26.5 | 48.4 | 33.9 | 26.7 | 54.8 | 69.4 | 0.0 | 92.9 | 37.0 | 69.9 | 0.0 | 83.4 | 51.0 | 83.3 | 54.0 | 68.1 | 49.8 | 34.0 | 17.1 |
| SqueezedNet++ [^57] | L | 51.3 | 87.1 | 34.3 | 48.6 | 47.5 | 47.1 | 58.1 | 53.8 | 0.0 | 95.5 | 43.1 | 78.2 | 0.1 | 78.9 | 51.2 | 82.3 | 55.5 | 70.4 | 46.3 | 50.2 | 40.9 |
| PbarNet++ [^33] | L | 56.4 | 93.2 | 43.7 | 46.5 | 56.3 | 30.6 | 67.2 | 78.2 | 0.0 | 94.1 | 29.3 | 75.0 | 0.1 | 87.6 | 49.9 | 86.4 | 61.7 | 72.5 | 59.2 | 40.7 | 15.5 |
| SalsaNext+ [^11] | L | 59.4 | 90.5 | 44.6 | 49.6 | 86.3 | 54.6 | 74.0 | 81.4 | 0.0 | 93.4 | 40.6 | 69.1 | 0.0 | 84.6 | 53.0 | 83.6 | 64.3 | 64.2 | 54.4 | 39.8 | 8.0 |
| PointPainting+ [^7] | L | 56.5 | 94.7 | 17.7 | 35.0 | 28.8 | 55.0 | 59.4 | 63.6 | 0.0 | 95.7 | 39.9 | 77.6 | 0.4 | 87.3 | 55.3 | 87.7 | 67.0 | 71.7 | 61.8 | 36.5 | |
| RGBNet++ [^6] | L | 56.2 | 87.3 | 36.1 | 26.4 | 64.6 | 58.4 | 58.1 | 72.7 | 0.0 | 95.1 | 45.6 | 77.5 | 0.8 | 78.9 | 53.4 | 84.3 | 61.7 | 72.9 | 56.1 | 41.5 | 9.8 |
| PMF [^9] | L | +C | 63.9 | 47.8 | 62.9 | 68.4 | 75.2 | 78.9 | 71.6 | 0.0 | 96.4 | 43.5 | 80.5 | 0.1 | 88.7 | 60.1 | 88.6 | 72.7 | 75.3 | 65.5 | 43.0 | 83.8 |
| LaRange (Ours) | L | +C | 64.1 | 95.2 | 51.5 | 46.0 | 86.6 | 70.4 | 76.4 | 0.0 | 95.7 | 45.5 | 79.9 | 0.0 | 89.2 | 63.8 | 88.2 | 68.8 | 73.8 | 65.5 | 42.7 | 49.5 |
TABLE II
SEMANTIC SEGMENTATION RESULTS ON THE NUSCENES [^4] TEST BENCHMARK. (†) TIME REPORTED, ONLY INCLUDES THE 6 IMAGE PASSES TO THE
MODEL PER LIDAR SCAN AND THE PREDICTION MERGING STEP IS NOT INCLUDED. (†) WE TRAINED AND SUBMITTED FOR EVALUATION.
| Method | Input | mIOU | FW-mIOU | barrier | bicycle | bus | car | construction | motorcycle | pedestrian | traffic cone | trailer | truck | drivable | Other-flat | side walk | terrain | mamade | vegetation | speed (m/s) |
| SalsaNext $^{[11]}$ | L | 66.8 | 85.0 | 68.9 | 13.8 | 78.0 | 78.2 | 43.1 | 64.4 | 59.3 | 58.3 | 74.9 | 59.8 | 95.1 | 63.7 | 73.4 | 69.8 | 85.0 | 82.3 | 8.4 |
| PolarNet [^33] | L | 69.4 | 87.4 | 72.2 | 16.8 | 77.0 | 86.5 | 51.1 | 69.7 | 64.8 | 54.1 | 69.7 | 63.5 | 96.6 | 67.1 | 77.7 | 72.1 | 87.1 | 84.5 | 32.1 |
| PMF-ResNet34 [^9] | L + C | 75.5 | 88.9 | 80.2 | 35.7 | 79.7 | 86.0 | 62.5 | 76.4 | 77.0 | 73.7 | 78.5 | 66.9 | 97.1 | 65.3 | 77.6 | 74.4 | 89.5 | 87.7 | 150.5 $^{\dagger}$ |
| PMF-ResNet50 [^9] | L + C | 77.0 | 89.4 | 82.1 | 40.3 | 80.9 | 86.4 | 63.7 | 79.2 | 79.8 | 75.9 | 81.2 | 67.1 | 97.3 | 67.7 | 78.1 | 74.5 | 90.0 | 88.5 | 1883.3 $^{\ddagger}$ |
| LaCRange (Ours) | L + C | 75.3 | 89.1 | 78.0 | 32.6 | 88.3 | 84.5 | 63.9 | 81.5 | 75.6 | 72.5 | 64.7 | 68.0 | 96.6 | 65.9 | 78.6 | 75.0 | 90.4 | 88.3 | 50.1 |
估计的语义信息、相对三维距离以及目标点特征会被拼接起来，然后送入 PFE 层。
这些特征仅考虑了二维邻域来为点分配特征向量，但所选的邻居未必是三维意义上的最近邻。因此，我们通过注入多尺度三维邻域信息来增强点特征。此处，我们利用多尺度由粗到精的柱状体素化方法 [^13] 来进行三维点特征增强。具体来说，首先用粗尺度的体素网格对三维场景进行体素化，对每个体素内的所有点进行平均池化，再通过两个 MLP 层处理，随后将结果广播到该体素内的每个点，从而生成粗略聚合特征。点特征会与这些聚合特征通过跳跃连接相加，再经过一个 MLP 层以生成粗略增强特征。如图 4 所示，同样的过程会以更细的体素网格重复进行，从而用更精细的三维邻域信息来增强粗略增强后的点特征。最后，沿 K 个邻居对多尺度增强后的点特征进行平均池化，再经过 softmax 函数以输出点标签。实验结果部分将会证明，整体点细化模块可以作为即插即用的解决方案，附加到任何基于 RV 的语义分割方法中以提升 RV 预测效果。
### 四、实验
### A. 数据集与评价指标
SemanticKITTI [^5] 是一个用于密集语义分割任务的大规模数据集，由 64 线激光雷达传感器采集而成。尽管该激光雷达传感器提供了 $360^{\circ}$ 的视场角，但它仅包含前视摄像头所采集的 $90^{\circ}$ 范围内的数据。
nuScenes [^4] 是另一个广受欢迎的大规模自动驾驶数据集，它包含1000个在不同城市、不同光照和天气条件下采集的驾驶场景。这些数据由32线激光雷达传感器以及总共六台摄像头记录，能够覆盖完整的$360^{\circ}$。
与其他分割方法类似，平均交并比（mIoU）被用作评估指标，其定义为所有类别的平均IoU。
### B. 实现细节
在实现过程中，我们使用了PyTorch深度学习库[^51]。对于教师-学生图像编码器，我们采用了ResNet系列架构[^59]。对于任意一种教师编码器架构，对应的学生模型的通道数都会减半。除非另有说明，所有实验中教师和学生编码器均基于ResNet18。在基于nuScenes和SemanticKITTI的实验中，教师模型分别会在nuImages数据集[^4]和KITTI-STEP数据集[^52]上进行预训练。
### C. 在SemanticKITTI上的结果
与PMF [^9]类似，由于SemanticKITTI [^5]仅提供前视摄像头的图像，因此我们仅在彩色点上进行评估。这些彩色点是通过将点云投影到摄像头坐标系，并保留具有对应RGB值的点得到的。我们将LaCRange与几种先进的单视图2D方法进行比较，结果如表I所示。可以看出，我们的方法在mIOU方面优于所有对比方法。与所有基于RV的方法相比，LaCRange在大多数类别上的IOU都更高。同样值得关注的是，在一些形状复杂的小型物体类别上，如自行车、骑自行车的人、电线杆和交通标志，LaCRange的表现与不依赖RV投影的PMF [^9]不相上下。这些类别对RV投影中的失真以及重新投影到3D时的kNN误差更为敏感。
### D. 在nuScenes上的结果
我们的方法与已发表的最先进单视图2D方法在nuScenes测试集上的结果如表II所示。这些结果表明，LaCRange的mIOU显著高于仅使用激光雷达的模型。此外，LaCRange的性能与PMF-ResNet34相当，但逊于PMF-ResNet50，不过需要注意的是它的运行速度要快得多。这主要是因为PMF [^9]为了覆盖完整的$360^{\circ}$视场角，需要针对每个激光雷达帧处理6张摄像头图像，而我们的方法仅需处理同一视场角下的单张RV图像。
---
TABLE III
ABLATION STUDY ON THE SEMANTICKITTI [^5] VALIDATION SET.
| Method | DCKD | CFF | 3D-NAFA | SR $^{2}$FA | mIOU |
| Baseline | | | | | 57.8 |
| ✓ | | | | 58.5 |
| ✓ | ✓ | | | 59.5 |
| ✓ | ✓ | ✓ | | 64.0 |
| ✓ | ✓ | ✓ | ✓ | 64.1 |
### E. 消融研究
1) 网络组件的影响：如表III所示，我们的每个新组件都能提升整体mIoU。其中3D-NAFA模块带来的提升最大，可使mIoU提高4.5%。基于上下文的特征融合模块使mIoU提升了1.0%。此外，DCKD策略可使mIoU提高0.7%。需要注意的是，尽管SR²FA模块仅使mIoU提升了0.1%，但在nuScenes验证集上它能使mIoU提高0.6%。这是因为nuScenes [^4]使用的是32线激光雷达采集数据，而非SemanticKITTI [^5]所用的64线激光雷达，导致前者生成的点云更为稀疏，因此更能从邻域信息聚合中获益。
TABLE IV
DIFFERENT TEACHER-STUDENT ARCHITECTURES IN DCKD.
| Method | Encoder | mIOU |
| Student | ResNet18-Like | 57.8 |
| Student(DCKD) | ResNet18-Like | 58.5 (+0.7) |
| Student | ResNet34-Like | 57.8 |
| Student(DCKD) | ResNet34-Like | 58.7 (+0.9) |
2) DCKD的效果与分析：表四展示了采用不同师生架构时的效果。可以看出，DCKD能够稳定提升学生网络的性能。还需注意的是，与独立的学生网络相比，DCKD并未引入额外的延迟。
TABLE V
DIFFERENT MLU STRATEGIES IN CAMERA-LIDAR FEATURE FUSION.
| Method | mIOU $\uparrow$ | Inference Time $\downarrow$ |
| Baseline | 58.5 | 23.1 ms |
| CBAM-based Look-Up | 59.2 (+0.7) | 29.1 ms |
| Cross-Attention-based Look-Up | 59.0 (+0.5) | 45.5 ms |
| Combined | 59.5 (+1.0) | 31.1 ms |
3) 模态查找策略：表五展示了融合模块中采用不同MLU策略的结果。基于CBAM以及基于交叉注意力的策略相较于基线模型均能带来mIOU的提升。不过，交叉注意力计算的计算复杂度和内存占用会随特征分辨率的增加而上升。通过结合这两种方法（2个CBAM + 2个交叉注意力），不仅由于内存占用更低而使模型更易于部署，推理时间也得以缩短。mIOU的提升更为显著，因为高层特征包含了更多全局上下文信息，而交叉注意力的全局感受野能够捕捉到这些信息。
4) 点云细化设计分析：我们研究了不同体素网格尺度和大小对3D-NAFA性能的影响，如表六所示。在所有实验中，较粗的网格尺寸能带来更好的mIOU，这是因为更大的邻域可提供交互信息以纠正错误标签。此外，多尺度体素网格相比单尺度网格能取得更好的mIOU，且推理时间的增加幅度极小。图5展示了所提出的点云细化模块的效果。可以看出，从2D投影到3D后，该模块能够纠正物体边界附近的标签。
TABLE VI
EFFECTS OF DIFFERENT SCALES AND SIZES OF VOXEL GRIDS.
| Grid Size(s) | mIOU $\uparrow$ | Inference Time $\downarrow$ |
| [^480] [^90] [^64] | 63.2 | 40.4 ms |
| [^30] [^3] [^2] | 63.5 | 39.7 ms |
| [^360] [^45] [^32], [^480] [^90] [^64] | 63.4 | 44.9 ms |
| [^120] [^12] [^8], [^240] [^23] [^16] | 63.9 | 44.0 ms |
| [^30] [^3] [^2], [^60] [^6] [^4] | 64.0 | 43.8 ms |
TABLE VII
EFFECTS OF USING THE PROPOSED POINT REFINEMENT BLOCK IN OTHER
RV-BASED LIDAR SEMANTIC SEGMENTATION METHODS.
| Method | Point Refinement | mIOU |
| SqueezeSegV3 [^57] | ✗ | 48.1 |
| ✓ | 52.5 (+4.4) |
| SalsaNext [^11] | ✗ | 55.8 |
| ✓ | 61.1 (+5.3) |
在实验中，较粗的网格尺寸能带来更好的mIOU，这是因为更大的邻域可提供交互信息以纠正错误标签。此外，多尺度体素网格相比单尺度网格能取得更好的mIOU，且推理时间的增加幅度极小。图5展示了所提出的点云细化模块的效果。可以看出，从2D投影到3D后，该模块能够纠正物体边界附近的标签。
Without Point Refinement
With Point Refinement
Fig. 5. Results of segmentation with (right) and without proposed point refinement (left). Best viewed in color.
5) 点云细化的普适性：我们进行了一系列实验，以探究所提出的点云细化方案在提升其他知名的基于RV的语义分割方法——即SqueezeSegV3 [^57]和SalsaNext [^11]——的准确性方面的有效性。我们针对这些方法对点云细化模块进行了60个轮次的微调。表七对比了将所提出的点云细化模块附加到不同方法上的结果。结果表明，该模块在不同基于RV的分割方法中均具备普适的有效性。
### 五、结论
本文提出了LaCRange，一种基于激光雷达和摄像头范围视图的点云语义分割方法。具体而言，为缓解RGB图像的RV投影带来的不利影响，我们提出了一种失真补偿知识蒸馏（DCKD）策略。此外，还提出了一种基于上下文的特征融合模块，通过模态查找来保留传感器特有的信息。最后，我们设计了一种新型便携且通用的点云细化方案，以解决RV投影的缺陷。我们在SemanticKITTI和nuScenes数据集上开展了大量实验，验证了所提各组件的有效性。
---
[^1]: B. Zhou, H. Zhao, X. Puig, S. Fidler, A. Barriuso, A. Torralba, Scene parsing through ade20k dataset, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 633-641, 2017.
[^2]: M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, Uwe S. Roth, B. Schiele, The cityscapes dataset for semantic urban scene understanding, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3213-3223, 2016.
[^3]: H. Caesar, J. Uijlings, V. Ferrari, Coco-stuff: Thing and stuff classes in context, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1209-1218, 2018.
[^4]: H. Caesar, V. Bankiti, and A. H. Lang, S. Vora, V. E. Liong, Q. Xu, Qiang A. Krishnan, Y. Pan, G. Baldan, O. Beijbom, NusCenes: A multimodal dataset for autonomous driving, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11621-11631, 2020.
[^5]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, J. Gall, Semantickitti: A dataset for semantic scene understanding of lidar sequences, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 9297-9307, 2019.
[^6]: K. El Madawi, H. Rashed, A. El Sallab, O. Nasr, H. Kamel, S. Yogamani, Rgb and lidar fusion based 3d semantic segmentation for autonomous driving, IEEE Intelligent Transportation Systems Conference, pp. 7-12, 2019.
[^7]: S. Vora, A. H. Lang, B. Helou, O. Beijbom, Pointpainting: Sequential fusion for 3d object detection, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4604-4612, 2020.
[^8]: S. Xu, D. Zhou $^{1}$ Zhang, FusionPainting: Multimodal object detection, IEFR 4604-4612,
[^9]: Z. Zhuang, R. Li, K. Jia, Q. Wang, Y. Li, M. Tan, Perception-aware multi-sensor fusion for 3d lidar semantic segmentation, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 16280-16290, 2021.
[^10]: M. Gerdzhev, R. Razani, E. Taghavi, L. Bingbing, Tornado-net: multiview total variation semantic segmentation with diamond inception module, IEEE International Conference on Robotics and Automation, pp. 9543-9549, 2021.
[^11]: T. Cortinhal, G. Tzelepis, E. Erdal Aksoy, SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds, Advances in Visual Computing, pp. 207-222, 2020.
[^12]: A. Milioto, I. Vizzo, J. Behley, C. Stachniss, Rangenet++: Fast and accurate lidar semantic segmentation, IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 4213-4220, 2019.
[^13]: X. Zhu, H. Zhou, T. Wang, F. Hong, Y. Ma, W. Li, Wei H. Li, D. Lin, Cylindrical and asymmetrical 3d convolution networks for lidar segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9939-9948, 2021.
[^14]: R. Cheng, R. Razani, E. Taghavi, E. Li, B. Liu, 2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12547-12556, 2021.
[^15]: H. Thomas, C. R. Qi, J. E. Deschaud, B. Marcotegui, F. Goulette, L. J. Guibas, Kpconv: Flexible and deformable convolution for point clouds, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 6411-6420, 2019.
[^16]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, S. Pu, Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 16024-16033, 2021.
[^17]: J. Long, E. Shelhamer, T. Darrell, Fully convolutional networks for semantic segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3431-3440, 2015.
[^18]: H. Zhao, J. Shi, X. Qi, X. Wang, J. Jia, Pyramid scene parsing network, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2881-2890, 2017.
[^19]: H. Zhao, J. Shi, X. Qi, X. Wang, J. Jia, Laplacian pyramid reconstruction and refinement for semantic segmentation, In Proceedings of the European Conference on Computer Vision, pp. 519-534, 2016.
[^20]: L. C. Chen, G. Papandreou, F. Schroff, H. Adam, Rethinking atrous convolution for semantic image segmentation, arXiv preprint arXiv:1706.05587, 2017.
[^21]: L. C. Chen Y. Zhu, G. Papandreou, F. Schroff, H. Adam, Encoder-decoder with atrous separable convolution for semantic image segmentation, In Proceedings of the European Conference on Computer Vision, pp. 801-818, 2018.
[^22]: L. C. Chen, Y. Yang, J. Wang, W. Xu, A. L. Yuille, Attention to scale: Scale-aware semantic image segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3640-3649, 2016.
[^23]: Q. Huang, C. Xia, C. Wu, S. Li, Y. Wang, Y. Song, C-C. J Kuo, Semantic segmentation with reverse attention, arXiv preprint arXiv:1707.06426n, 2017.
[^24]: J. Fu, J. Liu, H. Tian, Y. Li, Y. Bao, Z. Fang, H. Lu, Dual attention network for scene segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3146-3154, 2019.
[^25]: E. Xie, W. Wang, Z. Yu, A. Anandkumar, J. M. Alvarez, P. Luo, Ping, SegFormer: Simple and efficient design for semantic segmentation with transformers, Advances in Neural Information Processing Systems, vol. 34, pp. 12077-12090, 2021.
[^26]: B. Cheng, A. Schwing, A. Kirillov, Per-pixel classification is not all you need for semantic segmentation, Advances in Neural Information Processing Systems, vol. 34, pp. 17864-17875, 2021.
[^27]: C. R. Qi, H. Su, K. Mo, L. J. Guibas, Pointnet: Deep learning on point sets for 3d classification and segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 652-660, 2017.
[^28]: C. R. Qi, L. Yi, H. Su, L. J. Guibas, Pointnet++: Deep hierarchical feature learning on point sets in a metric space, Advances in Neural Information Processing Systems, vol. 30, 2017.
[^29]: B. S. Hua, M. K. Tran, S. K. Yeung, Pointwise convolutional neural networks, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 984-993, 2018.
[^30]: B. Graham, M. Engelcke, L. Van Der Maaten, 3d semantic segmentation with submanifold sparse convolutional networks, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9224-9232, 2018.
[^31]: E. E. Aksoy, S. Baci, S. Cavdar, Salsanet: Fast road and vehicle segmentation in lidar point clouds for autonomous driving, IEEE intelligent vehicles symposium, 2020.
[^32]: C. Zhang, W. Luo, R. Urtasun, Efficient convolutions for real-time semantic segmentation of 3d point clouds, International Conference on 3D Vision, pp. 399-408, 2018.
[^33]: Y. Zhang, Z. Zhou, P. David, X. Yue, Z. Xi, B. Gong, H. Foroosh, Polarnet: An improved grid representation for online lidar point clouds semantic segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9601-9610, 2020.
[^34]: V. E. Liong, T. N. T. Nguyen, S. Widjaja, D. Sharma, Z. J. Chong, Amvnet: Assertion-based multi-view fusion network for lidar semantic segmentation, arXiv preprint arXiv:2012.04934, 2020.
[^35]: Z. Liu, H. Tang, Y. Lin, S. Han, Point-voxel cnn for efficient 3d deep learning, Advances in Neural Information Processing Systems, vol. 32, 2019.
[^36]: X. Yan, J. Gao, C. Zheng, C. Zheng, R. Zhang, S. Cui, Z. Li, 2dpass: 2d priors assisted semantic segmentation on lidar point clouds, In European Conference on Computer Vision, pp. 677-695, 2022.
[^37]: G. Krispel, M. Opitz, G. Waltner, H. Possegger, H. Bischof, Fus-eseg: Lidar point cloud segmentation fusing multi-modal data, In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1874-1883, 2020.
[^38]: G. Hinton, O. Vinyals, J. Dean, Distilling the knowledge in a neural network, arXiv preprint arXiv:1503.02531, 2015.
[^39]: J. Gou, B. Yu, S. J. Maybank, D. Tao, Knowledge distillation: A survey, International Journal of Computer Vision, vol. 129, pp. 1789-1819, 2021.
[^40]: J. Xie, B. Shuai, J. F. Hu, J. Lin, W. S. Zheng, Improving fast segmentation with teacher-student learning, arXiv preprint arXiv:1810.08476, 2018.
[^41]: Y. Wang, W. Zhou, T. Jiang, X. Bai, Xiang Y. Xu, Intra-class feature variation distillation for semantic segmentation, In European Conference on Computer Vision, pp. 346-362, 2020.
## [^42]: C. Shu, Y. Liu, J. Gao, Z. Yan, C. Shen, Channel-wise knowledge
---
用于密集预测的蒸馏技术，载于IEEE/CVF国际计算机视觉会议论文集，第5311-5320页，2021年。
[^43]: T. He, C. Shen, Z. Tian, D. Gong, C. Sun, Y. Yan, Knowledge adaptation for efficient semantic segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 578-587, 2019.
[^44]: Y. Hou, Z. Ma, C. Liu, T. W. Hui, Tak-Wai C. C. Loy, Inter-region affinity distillation for road marking segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12486-12495, 2020.
[^45]: Y. Liu, K. Chen, C. Liu, Z. Qin, Z. Luo, J. Wang, Structured knowledge distillation for semantic segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2604-2613, 2019.
[^46]: Y. Hou, X. Zhu, Y. Ma, C. C. Loy, Y. Li, Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 8479-8488, 2022.
[^47]: K. Sirohi, R. Mohan, D. Büscher, W. Burgard, A. Valada, Efficientlps: Efficient lidar panoptic segmentation, IEEE Transactions on Robotics, 2021.
[^48]: S. Woo, J. Park, J. Y. Lee, I. So Kweon, Cbam: Convolutional block attention module, In European Conference on Computer Vision, pp. 3-19, 2018.
[^49]: Y. Li, A. W. Yu, T. Meng, B. Caine, J. Ngiam, D. Peng, J. Shen, Y. Lu, D. Zhou, Q. V. Le, Deepfusion: Lidar-camera deep fusion for multi-modal 3d object detection, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17182-17191, 2022.
[^50]: W. Wang, E. Xie, X. Li, D. P. Fan, K. Song, D. Liang, T. Lu, P. Luo, L. Shao, Pvt v2: Improved baselines with pyramid vision transformer, Computational Visual Media, vol. 8, no. 3, pp. 415-424, 2022.
[^51]: S. Imambi, K. B. Prakash, G. R. Kanagachidambaresan, PyTorch, Programming with TensorFlow, vol. 8, no. 3, pp. 87-104, 2021.
[^52]: M. Weber, J. Xie, M. Collins, Y. Zhu, P. Voigtlaender, H. Adam, B. Green, A. Geiger, B. Leibe, D. Cremers, Step: Segmenting and tracking every pixel, arXiv preprint arXiv:2102.11859, vol. 8, no. 3, pp. 87-104, 2021.
[^53]: I. Loshchilov, F. Hutter, Sgdr: Stochastic gradient descent with warm restarts, arXiv preprint arXiv:1608.03983, 2016.
[^54]: S. Panchapagesan, M. Sun, A. Khare, S. Matsoukas, A. Mandal, B. Hoffmeister, S. Vitaladevuni, Multi-task learning and weighted cross-entropy for DNN-based keyword spotting, Interspeech, vol. 9, pp. 760-764, 2016.
[^55]: M. Berman, A. R. Triki, M. B. Blaschko, The lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4413-4421, 2018.
[^56]: T. Y. Lin, P. Goyal, R. Girshick, K. He, P. Dollár, Focal loss for dense object detection, In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2980-2988, 2017.
[^57]: C. Xu, B. Wu, Z. Wang, W. Zhan, P. Vajda, K. Keutzer, M. Tomizuka, Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation, In European Conference on Computer Vision, pp. 1-19, 2020.
[^58]: H. Tang, Z. Liu, S. Zhao, Y. Lin, J. Lin, H. Wang, S. Han, Searching efficient 3d architectures with sparse point-voxel convolution, In European Conference on Computer Vision, pp. 685-702, 2020.
[^59]: K. He, X. Zhang, S. Ren, J. Sun, Deep residual learning for image recognition, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.
[^60]: D. P. Kingma, J. Ba, Adam: A method for stochastic optimization, arXiv preprint arXiv:1412.6980, 2015.