# PRNet：用于实时激光雷达语义分割的点-距离融合网络李晓燕 $^{1,3*}$、张刚 $^{2*\dagger}$、蒋涛 $^{3}$、蔡旭芬 $^{4}$ 以及王振华 $^{2}$ $^{2}$ 达摩院，阿里巴巴集团 $^{1}$ 中国科学院大学 $^{3}$ 中国科学院计算技术研究所 $^{4}$ 北京学院 , , , ## 摘要精准且实时的激光雷达语义分割对于先进的自动驾驶系统而言至关重要。为了保证快速的推理速度，以往的方法利用高度优化的二维卷积在距离视图（RV）上提取特征，而距离视图是激光雷达点云最紧凑的表示形式。然而，这类方法往往存在精度较低的问题，原因主要有两点：1）3D点投影到RV过程中存在信息丢失；2）根据RV预测结果来为3D点分配标签时会产生语义歧义。在这项工作中，我们提出了一种端到点的距离融合网络（PRNet），它主要在RV上提取语义特征，再将RV特征迭代地融合回3D点以完成最终预测。此外，我们设计了新颖的距离视图投影（RVP）操作，以减轻投影到RV过程中的信息丢失问题；同时提出了点-距离卷积（PRConv），可自动消除从RV向3D点传输特征时产生的语义歧义。在SemanticKITTI和nuScenes基准测试上的实验表明，PRNet将基于距离视图的方法推向了新的最先进水平，且在速度-精度权衡方面表现更优。 ## 1 引言激光雷达语义分割能为自动驾驶、移动机器人等应用提供对周围环境的精准点级感知能力。这类应用要求激光雷达语义分割模型能够实时运行，以支持及时的下游物体检测与规划。然而，激光雷达点云采用非结构化且稀疏的格式，给高效、有效的处理带来了挑战。为了完成这项任务，人们采用了不同的数据表示形式（3D点、体素和距离视图），这也导致了如图1所示的效率和精度差异。 ![Image](images/8089a1b3e7ac7c1422a07a747147590c4a237a047789b5967aeb9c6f08ef6237.jpg)

Figure 1: mIoU vs. runtime on the validation set of both SemanticKITTI and nuScenes. All methods are trained and evaluated based on the official code. The experiments are conducted with PyTorch FP32 on NVIDIA RTX 2080Ti GPU. Note that PRNet-2C has twice as many RV feature channels as PRNet-1C. The definition of mean Intersection over Union (mIoU) is given in the Section 4.1.

完成这项任务后，其效率和准确性会出现差异，如图1所示。基于点的方法[Qi等人，2017a；Qi等人，2017b；Thomas等人，2019；Hu等人，2020]直接处理非结构化的3D点云，这类点云是3D信息最完整的来源。但如图1所示，基于点的方法运行速度较慢，因为它们必须采用效率较低的组件来搜索邻居并聚合非结构化点中的特征。而后出现的基于体素的方法[Choy等人，2019；Tang等人，2020；Cheng等人，2021；Zhang等人，2020；Zhu等人，2021]会将点云离散化为体素单元，再利用二维或三维卷积网络提取特征。这些方法的性能相对基于点的方法有所提升，但其效率（速度）对于实际应用而言仍是一个重大瓶颈。基于距离视图的方法采用激光雷达点云最紧凑的表示形式——即RV表示，以确保其效率。以往的基于距离视图的方法[Cortinhal等人，2020；Milioto等人，2019；Xu等人，2020；Razani等人，2021]首先会对3D点进行投影。 --- ![Image](images/655fe00b038d3f20ff424199dc63c79b2a0c9281b39287b8517d1a756be69124.jpg)

Figure 2: The information loss during the projection from 3D points to the RV: for the points of traffic-sign and vegetation in the same RV pixel, existing range-based methods only keep the nearest traffic-sign point. The semantic ambiguity from the RV predictions back to 3D points labels: the occluded vegetation points are assigned by the label of traffic-sign. The results are acquired by the official SalsaNext with kNN as post-processing.

将特征投影到距离视图上，随后利用经过良好优化的二维卷积网络对距离视图执行二维语义分割，最后把二维的距离视图标签传回三维点。尽管这类方法效率较高，但其性能却远逊于基于体素的方法。我们在图2中分析了其中的两个主要原因，并提出如下解决方案。首先，从三维点投影到距离视图过程中的信息损失不容忽视。如图2所示，多个激光雷达点可能会被投影到同一个距离视图像素上，但现有方法仅保留最近的点。例如，在SemanticKITTI数据集上，SalsaNext [Cortinhal et al., 2020]会丢弃22%的重要点。为了更有效地编码距离视图特征，我们提出了一种新颖的距离视图投影（RVP）操作，通过最大池化来聚合同一距离视图像素内各点的特征。此外，我们还将距离视图的特征与点特征进行融合，以实现最终的逐点预测，从而进一步减少信息损失。其次，当距离视图标签被传回三维点时，语义歧义会导致错误的预测结果。距离视图压缩了距离r维度，因此三维空间中相距较远的三维点可能对应距离视图空间中的相邻甚至相同像素，这意味着这些三维点很可能会被赋予相同的标签。为改善这一问题，现有方法采用k近邻（kNN）作为后处理步骤，通过投票来确定最终预测结果。但有时kNN也会失效：如图2所示，被遮挡的植被区域会被赋予交通标志的标签。为了从根本上解决这一问题，我们提出将距离视图特征而非标签传回三维点，并引入一种新颖的点-距离视图卷积（PRConv）机制——该机制能够携带动态的逐点超参数来传输距离视图特征，即便这些三维点对应同一个距离视图像素，也能生成不同的特征。综上所述，我们提出了一种用于实时激光雷达语义分割的端到端点-距离视图融合网络（PRNet）。与以往预测二维距离视图语义标签的基于距离视图的方法不同，该方法首先将三维点的特征投影到距离视图以进行后续特征提取，再将距离视图特征融合回三维点以实现最终的逐点预测。在该框架中，RVP操作旨在减轻从三维点投影到距离视图时的信息损失，而PRConv则用于缓解从距离视图传回三维点过程中的语义歧义问题。在SemanticKITTI和nuScenes基准测试上的实验表明，所提出的PRNet大幅优于现有的基于距离视图的方法。与排名靠前的算法相比，PRNet在速度与精度之间取得了更好的平衡。 ## 2 相关工作基于点的方法。这类方法直接处理原始点云，无需任何量化操作，但其性能和效率相对较差。开创性工作PointNet [Qi et al., 2017a]采用共享多层感知机（MLP）来提取每个点的特征，并通过全局最大池化来整合全局特征。为了学习更丰富的局部结构，后续出现了许多相关研究。PointNet++ [Qi et al., 2017b]提出了堆叠的集合抽象层，用于学习分层的点特征。KPConv [Thomas et al., 2019]则提出了一种新颖的基于空间核的点卷积方法，用以提取局部结构。然而，由于这些网络中广泛使用的最远点采样（FPS）在计算和内存开销上都较高，因此这类方法仅适用于室内场景，无法直接应用于包含大量三维点的自动驾驶领域。RandLA-Net [Hu et al., 2020]用随机采样取代了FPS以提高效率，但即便如此仍远未达到实时处理的要求。基于体素的方法。这类方法将三维点量化为结构化的体素，进而应用成熟的二维或三维卷积网络进行处理。为了降低计算和内存开销，稀疏卷积 [Choy et al., 2019]仅作用于这些非空体素。考虑到体素化会带来量化误差，后续研究 [Tang et al., 2020; Cheng et al., 2021; Xu et al., 2021]将体素特征与细粒度的点特征进行融合。SPVNAS [Tang et al., 2020]进一步采用了神经架构搜索技术，在更低的计算成本下取得了更好的效果。AF2S3Net [Cheng et al., 2021]设计了注意力特征融合模块（AF2M）和自适应特征选择模块（AFSM），能够高效同时提取局部和全局结构。最近的RPVNet [Xu et al., 2021]则在单一框架内融合了来自点、体素和RV的特征以缓解量化误差，在SemanticKITTI和nuScenes基准测试中取得了最佳成绩。此外，还提出了不同的三维空间划分策略：PolarNet [Zhang et al., 2020]采用极坐标网格表示，Cylinder3D [Zhu et al., 2021]则采用圆柱形划分方式。尽管基于体素的方法在激光雷达语义分割基准测试中占据主导地位，但它们无法在移动平台上实现实时运行。基于范围的方法。这类方法更具吸引力，因为它们利用高度优化的二维卷积，具有速度快、易于部署的特点。这些方法首先将三维点投影到RV空间，随后在RV上执行语义分割。RangeNet++ [Milioto et al.]。 --- ![Image](images/892b646fd23287c6afa5e9240cd89ee86eca5bea9b2f54305ea104305f18cdde.jpg)

Figure 3: The point-range fusion network (PRNet). It takes the 3D point features as input and extracts semantic features mainly on the RV. The output point features are acquired by fusing the RV features back to the 3D points. The PRNet can be stacked for multiple times to increase its representation capacity.

[al., 2019]提出了一种加速版kNN作为后处理步骤，用于将RV预测产生的语义歧义问题解决，最终得到三维点的标签。SqueezeSegV3 [Xu et al., 2020]提出了空间自适应卷积，能够为RV上不同位置应用不同的卷积参数。SalsaNext [Cortinhal et al., 2020]设计了一种新颖的编码器-解码器网络，并采用了Lováz-Softmax损失函数，可直接优化平均交并比（mIoU）指标。最近，Lite-HDSeg [Razani et al., 2021]设计了轻量化的谐波密集卷积，兼顾效率与效果。 ## 3 方法论为了实现准确且实时的激光雷达语义分割，该方法需要高效提取语义特征，同时尽可能保留激光雷达点云信息。受近期基于距离的方法（能快速提取特征）以及基于点的方法（可保留点信息）的启发，我们提出了一种新颖的端到端点-距离融合网络（PRNet）。该方法主要在距离视图上提取语义特征，随后将此类特征与三维点特征融合以增强效果，如图3所示。PRNet包含四个步骤：1）距离视图投影（RVP）将输入的点特征映射到距离视图特征图上；2）对二维距离视图特征图应用二维全卷积网络（FCN），以高效提取语义特征；3）点-距离卷积（PRConv）将特征从距离视图传回三维点；4）点融合（PF）模块融合来自距离视图和三维点的特征，以确保信息的完整性。此外，PRNet可以堆叠M次以获得更强的特征。最后，这些特征被送入单个全连接层，完成最终的点级语义预测。在接下来的小节中，我们首先会在3.1、3.2、3.3和3.4节中介绍所提出的PRNet的四个组成部分。随后，3.5节会说明损失函数。 ### 3.1 距离视图投影在基于距离的方法中，需要将三维点特征投影到二维的距离视图特征图上。与以往直接忽略被遮挡点的方法不同，RVP通过最大池化操作，聚合所有投影到同一距离视图像素上的点特征。具体来说，它首先通过以下方式，将笛卡尔空间中的$k^{th}$三维点$\boldsymbol{p}_{k}^{3D} = (x_{k}, y_{k}, z_{k})$转换到球面空间$\boldsymbol{p}_{k}^{sph} = (r_{k}, \theta_{k}, \phi_{k})$： $$ \begin{pmatrix}r_{k}\\\theta_{k}\\\phi_{k}\end{pmatrix}=\begin{pmatrix}\sqrt{x_{k}^{2}+y_{k}^{2}+z_{k}^{2}}\\\arcsin\left(\frac{z_{k}}{\sqrt{x_{k}^{2}+y_{k}^{2}+z_{k}^{2}}}\right)\\\arctan\left(y_{k},x_{k}\right)\end{pmatrix}, $$ 其中$r_k$、$\theta_k$、$\phi_k$分别表示距离、天顶角和方位角。接着，通过对$\boldsymbol{p}_k^{RV} = (u_k, v_k)$和$\theta_k$进行离散化处理并忽略$\phi_k$，即可得到对应的二维距离视图坐标$r_k$，公式如下： $$ \left(\begin{matrix}{u_{k}}\\ {v_{k}}\\ \end{matrix}\right)=\left(\begin{matrix}{\frac{1}{2}[1-\phi_{k}\pi^{-1}]W}\\ {[1-(\theta_{k}+f_{u p})f^{-1}]H}\\ \end{matrix}\right), $$ 这里$f = f_{up} + f_{down}$是激光雷达的垂直视场角，W和H则是预先定义的距离视图特征图的宽度和高度。获取距离视图上的坐标后，三维特征便可被转置到对应的二维位置。不过，可能会有多个点落在同一个距离视图像素$(h, w)$中，因此需要确定相应的聚合方式。传统基于距离的方法仅选择 --- 距离最近的三维点所对应的特征，这便导致了上述的信息丢失问题。为解决这一问题，RVP通过最大池化操作，收集落在像素$\mathcal{F}_{k,c}^{3D}$内的三维点的特征$(h, w)$，从而形成距离视图特征$\mathcal{F}_{h,w,c}^{RV}$。 $$ \mathcal{F}_{h,w,c}^{R V}=\operatorname*{m a x}_{\forall k\operatorname{s.t.}\lfloor u_{k}\rfloor=h,\lfloor v_{k}\rfloor=w}\mathcal{F}_{k,c}^{3D}. $$ 从理论上讲，由于不同点的信息会通过不同的特征通道传递，因此完整的三维点信息可以被保留在距离视图特征$\mathcal{F}^{RV}$中。 ### 3.2 二维全卷积网络二维全卷积网络（FCN）被应用于距离视图特征，以提取语义特征。其架构遵循传统的编码器-解码器结构：编码器网络包含多个下采样阶段，且不会沿高度维度进行下采样；解码器网络在进行上采样的同时，会融合高层和底层特征图。详细的架构可参见补充材料。 ### 3.3 点-距离卷积为避免语义歧义，与以往直接在视差图（RV）上预测语义标签的基于范围的方法不同，所提出的方法会将RV特征传回3D点，随后进行逐点预测。考虑到不同的3D点可能对应同一个2D像素，传输模块必须能够根据其3D和2D位置生成动态特征，从而避免歧义。因此，本文提出了PRConv来实现这一功能：它首先预测一组偏移量和权重，随后根据预测的偏移量和权重在位移后的位置执行$3 \times 3$卷积。直观来说，如图2所示，为了聚合被遮挡植被点的特征，卷积核位置应调整到附近未被遮挡的植被区域；如果对应的卷积核位置落在交通标志上，则应减小卷积核幅度。正式而言，对于$k^{th}$ 3D点，其特征$\mathcal{F}_k^{3D}$是通过对$\mathcal{F}^{RV}$窗口内的RV特征$3 \times 3$进行聚合得到的，公式如下： $$ \mathcal{F}_{k}^{{3D}}=\sum_{n=1}^{9}\boldsymbol{w}_{n}\cdot\mathcal{F}^{{R V}}(\boldsymbol{p}_{k}^{{R V}}+\boldsymbol{p}_{n}+\Delta\boldsymbol{p}_{k,n})\cdot\Delta m_{k,n}, $$ 其中$p_n \in \{(-1, -1), (-1, 0), \ldots, (1, 1)\}$定义了一个$3 \times 3$窗口，$w_n$表示应用于$n^{th}$位置的卷积参数。为使PRConv能够缓解语义歧义，采用卷积核偏移量$\Delta p_{k,n}$来调整卷积核位置，同时引入卷积核权重$\Delta m_{k,n}$来调节卷积核幅度。如图3所示，$\Delta p_{k,n}$和$\Delta m_{k,n}$均会根据RV和3D点的特征动态预测得出。具体而言，它们的估算分为三步：1）对2D特征图$\mathcal{F}^{RV}$应用2D卷积层以得到$\mathcal{F}^{RV'}$；2）通过双线性采样，从特征图$\mathcal{F}_k^{3D\leftarrow RV'}$上对应RV位置$k^{th}$的$2 \times 2$个2D邻域中获取$p_k^{RV}$点的3D特征$\mathcal{F}^{RV'}$；3）多层感知机（MLP）将原始3D点特征$\mathcal{F}_k^{3D}$与插值特征$\mathcal{F}^{3D\leftarrow RV'}$拼接后作为输入，为每个3D点输出一个27通道（$3 \times 3 \times 3$）的向量，其中前18个通道表示卷积核偏移量$\Delta p_{k,n}$，剩余9个通道经Sigmoid函数激活后得到卷积核权重$\Delta m_{k,n}$。 ### 3.4 点融合点融合（PF）模块将RV和3D点的特征进行融合，以增强逐点特征。出于效率考虑，该模块由特征拼接层和两个MLP层组成。输出的点特征可作为下一个堆叠的PRNet的输入，也可作为预测头部的输入。若堆叠了多个PRNet，会对每个PRNet施加监督以辅助训练过程；推理时，则使用最后一个PRNet的输出进行最终预测。 ### 3.5 损失函数激光雷达语义分割数据集（如SemanticKITTI、nuScenes）中不同类别的数据量存在严重不平衡现象。例如，道路、建筑物和汽车类别的样本占比是摩托车手和交通标志类别的数百倍。因此，我们采用加权交叉熵（WCE）$\mathcal{L}_{wce}$来突出稀有类别的重要性，公式如下： $$ \begin{align*}\alpha_{c}=&\frac{1}{F_{c}+0.001}\\\mathcal{L}_{wce}=&-\frac{1}{N}\sum_{n=1}^{N}\sum_{c=1}^{C}\alpha_{c} y_{n}^{c}\log(\hat{y}_{n}^{c}),\end{align*} $$ 其中 $y_n^c$（$y_n^c \in \{0,1\}$）和 $\hat{y}_n^c$（$\hat{y}_n^c \in [0,1]$）分别是在 $c^{th}$ 点上，$n^{th}$ 类别的真实概率与预测概率。$F_c$ 表示频率，而 $\alpha_c$ 则是 $c^{th}$ 类别的权重。我们还采用了Lovázs-Softmax损失函数 [Berman等人，2018] $\mathcal{L}_{ls}$，直接优化平均交并比（mIoU）指标。根据[Aksoy等人，2020；Cortinhal等人，2020]的研究，该方法能够提升激光雷达语义分割任务的mIoU性能。总损失 $\mathcal{L}_{total}$ 是这两项损失之和，其定义为： $$ \mathcal{L}_{t o t a l}=\mathcal{L}_{w c e}+3\mathcal{L}_{l s}. $$ ## 4 实验我们在公开的nuScenes [Caesar等人，2020]和SemanticKITTI [Behley等人，2019]单扫描激光雷达语义分割基准测试中，评估了所提出的PRNet模型的有效性与效率。 ### 4.1 实验设置数据集。用于激光雷达语义分割的nuScenes是一个新发布的基准测试集，包含1000个在波士顿和新加坡采集的场景。每次激光雷达扫描均由 ---

Methods	mIoU	Runtime(ms)	barrier	bicycle	bus	car	construction	motorcycle	pedestrian	traffic-cone	trailer	truck	driveable	other_flat	sidewalk	terrain	manmade	vegetation
RangeNet++ [Milioto et al., 2019]	65.5	78.6	66.0	21.3	77.2	80.9	30.2	66.8	69.6	52.1	54.2	72.3	94.1	66.6	63.5	70.1	83.1	79.8
SalsaNext [Cortinhal et al., 2020]	72.2	26.2	74.8	34.1	85.9	88.4	42.2	72.4	72.2	63.1	61.3	76.5	96.0	70.8	71.2	71.5	86.7	84.4
PolarNet [Zhang et al., 2020]	71.0	67.5	74.7	28.2	85.3	90.9	35.1	77.5	71.3	58.8	57.4	76.1	96.5	71.1	74.7	74.0	87.3	85.7
AMVNet [Liong et al., 2020]	77.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Cylinder3D [Zhu et al., 2021]	76.1	75.7	76.4	40.3	91.2	93.8	51.3	78.0	78.9	64.9	62.1	84.4	96.8	71.6	76.4	75.4	90.5	87.4
RPVNet [Xu et al., 2021]	77.6	-	78.2	43.4	92.7	93.2	49.0	85.7	80.5	66.0	66.9	84.0	96.9	73.5	75.9	76.0	90.6	88.9
PRNet-1C [ours]	75.3	20	76.9	38.6	90.9	92.1	44.8	79.8	76.6	62.5	60.1	79.8	97.0	74.4	76.2	75.7	89.5	87.9
PRNet-2C [ours]	78.0	43	78.0	40.9	92.5	93.4	54.1	85.4	80.6	63.2	69.8	84.7	97.3	75.1	77.7	76.1	91.0	89.3

Table 1: Class-wise and mean IoU of the proposed PRNet and its competitors on the nuScenes validation set. Runtime measurements are taken on a single NVIDIA RTX 2080Ti GPU.

Velodyne HDL-32E型360°旋转激光雷达采集，该雷达垂直方向有32个激光束。其中28,130个样本用于训练，6,019个用于验证，6,008个用于测试。合并相似类别并剔除罕见类别后，官方评估采用16个类别。 SemanticKITTI包含来自德国采集的22个序列共43,552次激光雷达扫描数据。每次扫描均由Velodyne HDL-64E型360°旋转激光雷达采集，该雷达垂直方向有64个激光束。训练集（19,130次扫描）包含除序列08外的00至10序列，序列08（4,071次扫描）用于验证。其余序列（20,351次扫描）来自11至21序列，仅提供激光雷达点云数据，用于在线排行榜评比。该数据集最初标注了28个类别，但为了适配单扫描激光雷达语义分割基准测试，将不同运动状态的类别合并后得到19个有效类别。评估指标。为了评估所提出的PRNet及其对比模型，我们遵循官方指标，即平均交并比（mIoU），其定义如下： $$ m I o U=\frac{1}{C}\sum_{c=1}^{C}\frac{T P_{c}}{T P_{c}+F P_{c}+F N_{c}}, $$ 其中 $TP_{c}$、$FP_{c}$、$FN_{c}$ 分别对应 $c^{th}$ 类别的真阳性、假阳性和假阴性数量，C为类别总数。网络设置。实验中我们采用了两个堆叠的PRNet，二者网络架构相似但参数不同。这两个网络的输入点特征维度分别为5和64。前5个特征通道包含x、y、z、强度和r。如图3所示，每个PRNet的首层MLP会输出64个特征通道。2D FCN的详细信息可参见补充材料。两个堆叠的PRNet分别输出64和96个点特征通道。最终通过对最后一个堆叠PRNet的输出应用全连接层来得到分割结果。需要注意的是，PRNet-2C只是将PRNet-1C的RV特征通道数翻倍而已。对于SemanticKITTI数据集，激光雷达垂直视场的参数设置为 $f_{up} = 3^{\circ}$ 和 $f_{down} = -25^{\circ}$。RV分支的输入尺寸为 $64 \times 2048$。对于nuScenes数据集，除 $f_{up} = 20^{\circ}$ 和 $f_{down} = -40^{\circ}$ 外，我们采用了相同的配置。训练细节。所有实验均在NVIDIA RTX 2080Ti GPU上使用PyTorch FP32进行。所提出的PRNet在8张GPU上从零开始训练48个周期，批量大小为16。优化器采用随机梯度下降（SGD），权重衰减为0.001，动量为0.9，初始学习率为0.02，每10个周期学习率会衰减0.1。按照惯例，数据增强策略包括沿x轴和y轴的随机翻转、从$[0.95, 1.05]$中采样的随机全局缩放、绕z轴的随机旋转、随机高斯噪声$\mathcal{N}(0, 0.02)$，以及实例级CutMix [Xu et al., 2021]。 ### 4.2 与最先进方法的比较 nuScenes上的结果。我们报告了所提出的PRNet在新发布的nuScenes验证集上的性能。如表1所示，我们的PRNet-2C在所有对比方法中取得了最佳性能，甚至在大多数类别上超过了最具竞争力的RPVNet。在运行时间方面，除SalsaNext外，PRNet-2C比其他所有方法都要快得多；不过SalsaNext的运行速度更慢，且mIoU性能也逊于PRNet-1C。 SemanticKITTI上的结果。所提出的PRNet在SemanticKITTI测试集上与最先进的方法进行了比较。如表2所示，这些方法从上到下分为基于点的方法、基于体素的方法和基于距离的方法。我们发现PRNet-2C在性能上大幅超越所有基于点和基于距离的方法，其性能可与顶尖的基于体素的方法相媲美，同时运行速度更快。尽管在某些难分类别上，所提出的PRNet-2C的表现不如顶尖的RPVNet，但在大多数类别上，它的运行速度是RPVNet的4倍，且性能与之相当。局限性讨论。对于训练样本较少且容易与其他类别混淆的类别，所提出的方法性能不如基于体素的RPVNet，例如摩托车手容易与自行车和摩托车混淆。原因是所提出的基于距离的方法主要在2D距离视图上编码上下文信息，但引入图像后这一问题便可得到解决。 ### 4.3 消融研究我们在SemanticKITTI验证集上进行消融分析，以探究所提出组件的有效性。 ---

Methods	mIoU	Runtime(ms)	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign
Point-based Methods
PointNet [Qi et al., 2017a]	14.6	-	46.3	1.3	0.3	0.1	0.8	0.2	0.2	0.0	61.6	15.8	35.7	1.4	41.4	12.9	31.0	4.6	17.6	2.4	3.7
PointNet++ [Qi et al., 2017b]	20.1	-	53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	5.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9
RandLA-Net [Hu et al., 2020]	53.9	521.8	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7
KPConv [Thomas et al., 2019]	58.8	-	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4
Voxel-based Methods
PolarNet [Zhang et al., 2020]	54.3	74.3	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	57.5
AMVNet [Liong et al., 2020]	65.3	-	96.2	59.9	54.2	48.8	45.7	71.0	65.7	11.0	90.1	71.0	75.8	32.4	92.4	69.1	85.6	71.7	69.6	62.7	67.2
SPVCNN [Tang et al., 2020]	63.8	187	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SPVNAS [Tang et al., 2020]	67.0	-	97.2	50.6	50.4	56.6	58.0	67.4	67.1	50.3	90.2	67.6	75.4	21.8	91.6	66.9	86.1	73.4	71.0	64.3	67.3
Cylinder3D [Zhu et al., 2021]	67.8	178	97.1	67.6	64.0	59.0	58.6	73.9	67.9	36.0	91.4	65.1	75.5	32.3	91.0	66.5	85.4	71.8	68.5	62.6	65.6
DRINet [Ye et al., 2021]	67.5	62	96.9	57.0	56.0	43.3	54.5	69.4	75.1	58.9	90.7	65.0	75.2	26.2	91.5	67.3	85.2	72.6	68.8	63.5	66.0
AF2S3Net [Cheng et al., 2021]	69.7	-	94.5	65.4	86.8	39.2	41.1	80.7	80.4	74.3	91.3	68.8	72.5	53.5	87.9	63.2	70.2	68.5	53.7	61.5	71.0
RPVNet [Xu et al., 2021]	70.3	168 $^{{*}}$	97.6	68.4	68.7	44.2	61.1	75.9	74.4	73.4	93.4	70.3	80.7	33.3	93.5	72.1	86.5	75.1	71.7	64.8	61.4
Ranged-based Methods
RangeNet++ [Milioto et al., 2019]	52.2	82.3	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9
SqueezeSegv3 [Xu et al., 2020]	55.9	124.3	92.5	38.7	36.5	29.6	33.0	45.6	46.2	20.1	91.7	63.4	74.8	26.4	89.0	59.4	82.0	58.7	65.4	49.6	58.9
SalsaNext [Cortinhal et al., 2020]	59.5	27.4	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1
Lite-HDSeg [Razani et al., 2021]	63.8	-	92.3	40.0	55.4	37.7	39.6	59.2	71.6	54.1	93.0	68.2	78.3	29.3	91.5	65.0	78.2	65.8	65.1	59.5	67.7
PRNet-1C [ours]	65.2	30/24.3 $^{{*}}$	95.5	59.7	58.2	53.8	47.3	66.3	72.3	25.1	92.3	67.4	77.1	21.6	91.5	67.0	82.6	67.4	69.4	59.4	64.6
PRNet-2C [ours]	67.2	63/43.5 $^{{*}}$	95.7	62.1	60.0	56.3	48.4	71.0	75.0	28.6	92.4	66.3	75.9	21.8	92.9	72.2	84.4	70.4	68.6	63.5	71.0

Table 2: Class-wise and mean IoU of the proposed PRNet and its competitors on the SemanticKITTI test set. Runtime measurements are taken on a single NVIDIA RTX 2080Ti GPU, while $*$ means that it uses NVIDIA Tesla V100 GPU.

	Framework	Backbone	RVP	PRConv	PF	M	mIoU	RT(ms)
a	Baseline	SalsaNext				1	59.0	27.4
b	PRNet-1C	SalsaNext	✓			1	60.2	29.2
c		SalsaNext	✓	✓		1	61.2	29.6
d		SalsaNext	✓	✓	✓	1	62.1	30.8
e		Ours	✓	✓	✓	1	61.8	14.6
f		Ours	✓	✓	✓	2	63.7	30

Table 3: The proposed framework analysis on the SemanticKITTI validation set. M is the number of the stacked PRNets. RT is the abbreviation of running time.

框架的影响。这项分析对于阐明我们的设计思路至关重要。它以基线模型SalsaNext [Cortinhal et al., 2020]作为起点，这是一种开源的、排名靠前的基于距离的方法。如表3所示，我们逐步将所提出的组件添加到SalsaNext中，直至其与所提出的PRNet完全一致。可以发现：1）当用所提出的PRConv替换后处理阶段的kNN时，mIoU提升了1.2（a, b）；2）RVP的性能优于传统的距离投影策略——该策略仅保留距离视图像素内最近的点，mIoU提升了1.0（b, c）。根据SalsaNext的官方代码可知，投影到距离视图时仅保留了全部3D点的78%，而RVP则尽可能保留了更多的3D点信息；3）距离视图与3D点的特征融合使mIoU进一步提升了0.9（c, d）；4）我们的2D主干网络比SalsaNext的更高效（d, e, f）；5）堆叠的两个PR-Net比单个PR-Net性能更好（e, f）。 PRConv的变体。我们将双线性采样（BS）设为基线，该方法通过插值对应距离视图像素的四个邻居来获取点特征。之后，我们加入了核偏移和核权重。

	Type	Offset	Weight	mIoU	Runtime(ms)
a	BS			60.7	20
b	PRConv			61.1	24.3
c		✓		62.9	26.6
d		✓	✓	63.7	30

Table 4: The PRConv analysis on the SemanticKITTI validation set. BS stands for bilinear sampling.

我们逐一分析了所提出的PRConv。如表4所示，不引入核偏移和核权重的PRConv相比基线模型可使mIOU提升0.4。此外，将核偏移加入PRConv后，mIoU的提升幅度最大，可达1.8。最终，同时包含核偏移和权重的完整PRConv相比基线模型的mIOU优势达到了3.0。 ## 5 结论本文提出了一种用于实时激光雷达语义分割的端到端PRNet，它充分发挥了基于点的方法和基于距离的方法的优势。PRNet主要在RV上提取特征，并通过源自3D空间和RV空间的融合特征在3D空间中生成语义预测结果。为了尽量减少信息损失，我们针对RV投影提出了RVP操作。为避免语义歧义，我们提出了一种新颖的PRConv，用于动态地将RV特征传回3D点。在SemanticKITTI和nuScenes基准测试上的实验结果证明了所提组件的有效性和优越性。PRNet解决了基于距离的方法长期面临的两类难题，展现了基于距离的方法在有效性和效率方面的潜力。未来的工作将着眼于融入图像信息以进一步提升其性能。 --- ## 参考文献 [Aksoy等人，2020] Eren Erdal Aksoy、Saimir Baci和Selcuk Cavdar。Salsanet：用于自动驾驶的激光雷达点云中道路与车辆快速分割方法。载于2020年IEEE智能车辆研讨会（IV），第926–932页。IEEE，2020年。 [Behley等人，2019] Jens Behley、Martin Garbade、Andres Milioto、Jan Quenzel、Sven Behnke、Cyrill Stachniss和Jurgen Gall。Semantickitti：用于激光雷达序列语义场景理解的数据集。载于IEEE/CVF国际计算机视觉会议论文集，第9297–9307页，2019年。 [Berman等人，2018] Maxim Berman、Amal Rannen Tri和Matthew B Blaschko。Lovász-Softmax损失：一种用于神经网络中交并比度量的可优化替代方案。载于IEEE计算机视觉与模式识别会议论文集，第4413–4421页，2018年。 [Caesar等人，2020] Holger Caesar、Varun Bankiti、Alex H Lang、Sourabh Vora、Venice Erin Liong、Qiang Xu、Anush Krishnan、Yu Pan、Giancarlo Baldan和Oscar Beijbom。nuScenes：一个用于自动驾驶的多模态数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11621–11631页，2020年。 [Cheng等人，2021] Ran Cheng、Ryan Razani、Ehsan Taghavi、Enxu Li和Bingbing Liu。2-S3Net：用于稀疏语义分割网络的带注意力机制的特征融合与自适应特征选择方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第12547–12556页，2021年。 [Choy等人，2019] Christopher Choy、Jun Young Gwak和Silvio Savarese。4D时空卷积网络：Minkowski卷积神经网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3075–3084页，2019年。 [Cortinhal等人，2020] Tiago Cortinhal、George Tzelepis和Eren Erdal Aksoy。Salsanext：快速且能感知不确定性的激光雷达点云语义分割方法。载于国际视觉计算研讨会论文集，第207–222页。Springer，2020年。 [Hu等人，2020] 胡庆勇、杨波、谢林海、Stefano Rosa、郭玉兰、王志华、Niki Trigoni和Andrew Markham。Randla-net：大规模点云的高效语义分割方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11108–11117页，2020年。 [Liong等人，2020] Venice Erin Liong、Thi Ngoc Tho Nguyen、Sergi Widjaja、Dhananjai Sharma和Chong Zhuang Jie。Amvnet：基于断言的多视角融合网络，用于激光雷达语义分割。arXiv预印本arXiv:2012.04934，2020年。 [Milioto等人，2019] Andres Milioto、Ignacio Vizzo、Jens Behley和Cyrill Stachniss。Rangenet++：快速且精确的激光雷达语义分割方法。载于2019年IEEE/RSJ智能机器人与系统国际会议（IROS）论文集，第4213–4220页。IEEE出版社，2019年。 [Qi等人，2017a] Charles R Qi、Hao Su、Kaichun Mo和Leonidas J Guibas。PointNet：基于点集的深度学习，用于3D分类与分割。载于IEEE计算机视觉与模式识别会议论文集，第652–660页，2017年。 [Qi等人，2017b] Charles R Qi、Li Yi、Hao Su和Leonidas J Guibas。PointNet++：度量空间中基于点集的深度层次特征学习方法。arXiv预印本arXiv:1706.02413，2017年。 [Razani等人，2021] Ryan Razani、Ran Cheng、Ehsan Taghavi和刘冰冰。Lite-hdseg：基于轻量级谐波密集卷积的激光雷达语义分割方法。载于2021年IEEE机器人学与自动化国际会议（ICRA）论文集，第9550–9556页。IEEE出版社，2021年。 [Tang等人，2020] 唐浩天、刘志坚、赵胜宇、林宇军、林杰、王汉瑞和韩松。利用稀疏点体素卷积搜索高效的3D架构。载于欧洲计算机视觉会议论文集，第685–702页。Springer出版社，2020年。 [Thomas等人，2019] Hugues Thomas、Charles R Qi、Jean-Emmanuel Deschaud、Beatriz Marcotegui、François Goulette和Leonidas J Guibas。Kpconv：用于点云的灵活可变形卷积方法。载于IEEE/CVF国际计算机视觉会议论文集，第6411–6420页，2019年。 [Xu等人，2020] 徐晨峰、吴碧琛、王子宁、詹伟、Peter Vajda、Kurt Keutzer和Tomizuka Masayoshi。Squeezesegv3：用于高效点云分割的空间自适应卷积方法。载于欧洲计算机视觉会议论文集，第1–19页。Springer出版社，2020年。 [Xu等人，2021] 徐建云、张瑞祥、窦健、朱宇石、孙杰和蒲世亮。Rpvnet：一种用于激光雷达点云分割的深度高效范围-点-体素融合网络。载于IEEE/CVF国际计算机视觉会议论文集，第16024–16033页，2021年。 [Ye等人，2021] 叶茂生、徐双杰、曹同义和陈启峰。Drinet：一种用于点云分割的双表征迭代学习网络。载于IEEE/CVF国际计算机视觉会议论文集，第7447–7456页，2021年。 [Zhang等人，2020] 张阳、周子翔、Philip David、岳向宇、习泽荣、龚博清和Hassan Foroosh。Polarnet：一种用于在线激光雷达点云语义分割的改进网格表示方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9601–9610页，2020年。 [Zhu等人，2021] 朱星歌、周辉、王泰、洪方舟、马跃新、李伟、李宏升和林达华。用于激光雷达分割的圆柱形与非对称3D卷积网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9939–9948页，2021年。