# 用于实时三维激光雷达点云语义分割的多投影融合技术 Yara Ali Alnaggar $^{*}$ Mohamed Afifi $^{*}$ Karim Amer Mohamed ElHelw 尼罗河大学信息科学中心埃及吉萨 {y.ali, moh.afifi, k.amer, melhelw}@nu.edu.eg ## 摘要三维点云数据的语义分割对于提升自主平台的高层感知能力至关重要。此外，随着汽车和无人机上搭载的激光雷达传感器日益普及，对可在移动GPU上运行、计算开销低算法的需求也愈发迫切。以往高效的先进方法依赖将点云进行二维球面投影，以此作为二维全卷积神经网络的输入，从而在精度与速度之间取得平衡。本文提出了一种全新的三维点云语义分割方法，该方法利用点云的多种投影方式，来弥补单一投影方法固有的信息丢失问题。我们的多投影融合（MPF）框架会分别利用两个高效能的二维全卷积模型来分析球面投影和鸟瞰图投影，随后合并两种视图的分割结果。该框架在SemanticKITTI数据集上的验证结果显示，其平均交并比达到了55.5，这一数值高于现有的基于投影的方法RangeNet++ [^23] 和PolarNet [^44]；同时，其运行速度分别是前者的1.6倍、后者的3.1倍。 ### 1. 引言目前，激光雷达传感器已被广泛应用于自主导航系统，其所采集的三维点云数据能为周边场景提供丰富的信息源。利用深度学习模型分析这类数据受到了研究界的广泛关注，尤其是为了提取语义信息以提升导航的准确性和安全性。在此场景下，语义分割算法会为三维点云中的每个点赋予标签，用以代表场景中不同类别的物体。卷积神经网络（CNN）在语义分割任务中取得了 ![Image](images/09d288c8001dc60bffbead1c88d0a5dc494a22e899a0fe2c69e1eb733680c4dd.jpg)

Figure 1: Computed scans per second vs. mIoU score on the test set of SemanticKITTI dataset using state-of-the-art projection-based methods. Our framework achieves the highest mIoU score; in addition, it is 3.1 and 1.6 times faster than PolarNet and RangeNet53++, respectively.

基于大量标注的RGB数据训练的全卷积架构，再加上巧妙运用迁移学习技术，卷积神经网络在语义分割任务中取得了先进的研究成果。不过，由于缺乏大规模标注数据集，点云数据的语义分割领域尚未取得同样的成果。此外，由于点云语义分割模型通常部署在汽车或无人机等移动平台上的计算能力有限的设备上，因此需要在保证高精度的同时实现高吞吐量，以确保平台有足够的时间做出正确决策。现有文献中主要有两类解决三维点云语义分割问题的方法。第一类方法是在原始点云数据上应用三维CNN模型 --- 点云数据[^27]，或者将点云转换为三维体素网格表示之后[^38]。这种方式会带来高昂的计算成本[^2]，因此不适合实时系统。第二种方法是将二维卷积神经网络（2D CNN）模型应用于基于鸟瞰视图[^29]或球面视图[^40]的3D点云的二维投影。目前，诸如RangeNet++[^23]等最先进的方法，会在点云的球面投影上应用全卷积神经网络（FCNN）。然而，由于投影操作不可避免地会造成信息丢失，这会限制模型的性能，尤其是对远距离点而言。在本文中，我们提出了一种用于增强3D点云在线语义分割的新框架，该框架通过整合同一点云的多视角投影，不仅性能优于单投影模型，还能实现实时处理。本工作的贡献可总结如下：首先，提出了一种新颖的MPF框架，该框架利用多视角投影以及输入点云的融合，来弥补单投影方法中固有的信息丢失问题。其次，MPF框架使用两个独立的模型来处理球面视图和鸟瞰视图投影，可根据具体平台（路面车辆、空中无人机等）的需求选择最优性能的模型，也可将其部署在不同的GPU上运行。第三，该框架具备可扩展性，尽管当前工作仅使用了两种投影方式，但可直接扩展以利用更多投影。此前在其他领域已有利用3D数据的多投影信息来提升性能的做法。Mortazi等人[^25]采用单个二维编码器-解码器卷积神经网络对CT扫描图像进行分割，以解析X、Y、Z方向上的所有二维切片。Chen等人[^4]则针对点云数据中的3D物体检测任务，在球面视图和鸟瞰视图上使用多个二维编码器卷积神经网络。不过据我们所知，这种架构尚未被用于3D点云的语义分割。这主要是因为为多个视图采用相同的复杂网络架构会增加计算开销，而且还需要将结果反投影回原始点云空间才能计算出逐点级别的预测结果（与[^4]仅输出3D边界框的情况不同）。本文的结构安排如下：第2节概述相关工作，第3节介绍所提出的框架，第4节展示实验结果以及对该框架的消融研究，第5节总结全文并指出未来的研究方向。 ### 2. 相关工作 #### 2.1. 语义图像分割近年来，随着AlexNet [^16]、VGGNet [^33]和ResNet [^10]等深度CNN模型在图像分类领域取得成功后，语义图像分割受到了广泛关注。该任务旨在预测像素级的分类标签，从而获取输入图像中物体的更精确信息。该领域最早的研究之一是采用全卷积神经网络（FCNN）[^21]，这类模型能够通过多层编码器提取特征（此处使用的是VGG模型[^33]），再结合上采样操作与$1 \times 1$卷积层，单次前向传播即可为图像中的每个像素分配标签。Noh等人[^26]以及Badrinarayanan等人[^1]对这一思路进行了拓展，他们利用多层解码器将提取的特征转换为带有所需像素标签的图像空间。Ronneberger等人[^30]提出了UNet架构，其中编码器与解码器层之间的跳跃连接进一步提升了分割效果。除了模型架构设计的进步外，拥有Microsoft的COCO [^20]等大规模标注数据集用于语义分割任务，以及利用在ImageNet [^7]等大型数据集上预训练的图像分类模型进行迁移学习，都能显著提升语义分割的准确率。 #### 2.2. 三维点云的语义分割大多数三维点云语义分割算法都采用全卷积神经网络（FCNN），其方式类似于二维语义图像分割，但FCNN应用于三维结构的方式有所不同。这些算法大致可分为两类。第一类模型采用三维卷积，如SegCloud [^38]，该类方法先将点云体素化并转换为均匀的三维网格，再应用三维FCNN。不过，三维卷积的计算量很大，且点云的三维体积通常较为稀疏。另一些模型则针对三维点设计了特殊的卷积层，以便直接处理原始格式的点云，典型代表包括PointNet++ [^28]、TangentConv [^37]和KPConv [^39]。RandLA [^12]是近期的研究成果，与前述方法相比，它在保持高分割精度的同时提升了运行效率。 The second category of algorithms apply 2D FCNN models after projecting 3D point clouds onto 2D space. In SqueezeSeg [^40] and SqueezeSegV2 [^41], spherical projection is performed on point cloud then 2D encoder-decoder architecture is applied. RangeNet++ [^23] improves segmentation results by using a deeper FCNN model and employing post-processing using K-Nearest Neighbour (KNN). Algorithms in this category not only improve inference time but also enhance segmentation accuracy by capitalizing on the success of CNNs in 2D image segmentation. Different projections can also be used as in VolMap [^29] which uses Cartesian bird's-eye projection and PolarNet [^44] which uses polar bird's-eye projection combined with ring convolutions. The proposed framework advances current state-of- --- ![Image](images/d7820013641a56e505f09e993d956d58d7868fb04fc36f75b16fb422f38777db.jpg)

Figure 2: Proposed MPF framework overview. The framework takes as input a 3D point cloud that undergoes a series of operations in the Spherical View Branch and the Bird's-Eye View branch. Each branch is composed of three main processing blocks where the first block transforms the 3D point point cloud into its respective 2D projection. The second block, Spherical or Bird's-Eye View Model, predicts segmentation of the projected 2D image with a FCNN model where each view has its own model. The third block, Post Processing, further processes the semantically-segmented projected view and assigns to each point in the input cloud its corresponding softmax probabilities. Finally, information from the two branches are fused by the Fusion block to produce the final semantic label of each point in the 3D point cloud.

基于投影的方法在点云分割领域展现出卓越的技艺，这类方法同时利用球形和笛卡尔鸟瞰投影，以减少因单一投影导致的信息损失。最后需要指出的是，三维点云语义分割面临的关键挑战之一是缺乏大规模标注点云数据集。目前的基准数据集是SemanticKITTI [^2]，它包含约4.3万帧由360度Velodyne激光雷达传感器采集的数据 [^18]。其他数据集要么是通过Virtual Kitti [^8]等仿真环境生成的合成数据，要么样本量较少，比如Paris-Lille-3D [^31]。 #### 2.3. 高效的深度学习架构鉴于深度学习模型在检测和分类任务中取得了令人瞩目的成果，人们越来越需要在嵌入式设备和移动平台上部署高效的模型。近期已经提出了多种既能实现高分类准确率又能满足实时推理要求的网络架构。例如，MobileNetV1 [^11]采用深度可分离卷积，而ShuffleNet [^43]则利用分组卷积和通道混洗来减少计算量。MobileNetV2 [^32]通过采用倒残差块，在保持快速推理能力的同时提升了准确率。尽管这些模型是为分类任务设计的，但它们也可用作FCNN模型中的编码器，应用于语义分割场景，从而发挥其高效架构的优势。 #### 2.4. 分割损失函数无论输入为何种数据，分割模型最初都是使用交叉熵损失或Focal损失 [^19]等分类损失进行训练的，因为最终目标是为每个像素（或点）分配标签。然而，这类损失无法反映预测掩码和目标掩码的全局信息。因此，研究人员致力于开发一种能对整个预测掩码与真实掩码之间的差异进行惩罚的损失函数。Milletari等人 [^24]开发了Dice系数的软版本，采用连续概率而非离散的0或1值；Berman等人 [^3]则引入了Lovasz Softmax损失，它是Jaccard系数的函数近似 [^14]。目前，Lovasz Softmax损失是最先进的分割损失函数，通常会与分类损失结合使用，从而对局部和全局信息都施加约束。 ### 3. 所提出的方法我们为三维点云语义分割开发了一种多投影融合（MPF）框架，该框架依赖于对点云进行两种二维投影，每种投影都由独立的FCNN模型处理。如图2所示，所提出的流程首先将输入点云送入两个分支，一个负责球形视图投影，另一个负责 ---

Input	Operator	t	c	n	s
$5 \times 64 \times w$	conv2d	-	32	-	1
$32 \times 64 \times w$	bottleneck	1	16	1	2
$16 \times 64 \times \frac{w}{2}$	bottleneck	6	24	2	2
$24 \times 64 \times \frac{w}{4}$	bottleneck	6	32	3	2
$32 \times 64 \times \frac{w}{8}$	bottleneck	6	64	4	2
$64 \times 64 \times \frac{w}{16}$	bottleneck	6	96	3	1
$96 \times 64 \times \frac{w}{16}$	bottleneck	6	160	3	2
$160 \times 64 \times \frac{w}{32}$	bottleneck	6	320	1	1
$320 \times 64 \times \frac{w}{4}$	deconv2d	-	96	-	8
$96 \times 64 \times w$	deconv2d	-	32	-	4
$32 \times 64 \times w$	conv2d	-	20	-	1

Table 1: Spherical-View Model Architecture. The model is based on MobileNetV2 [^32] with additional 2 deconvolutional layers and one $1 \times 1$ convolutional layer as a decoder. n is the repetition number for a sequence of layers in block, t is block expansion factor, c is the number of output channels, s is block stride.

鸟瞰视图投影。每个分支会对投影后的点云执行语义分割。随后，将两个分支的预测结果融合，以生成最终预测结果。我们假设输入点云是由激光雷达传感器采集的，这类传感器会返回点的坐标x、y、z值以及信号反射强度rem，例如Velodyne HDL-64E [^18]。在接下来的小节中，我们将详细介绍该流程中两个分支的各个模块细节。 #### 3.1. 球形视图投影本节阐述了将$360^{\circ}$点云转换为2D球形图像的过程，该图像会被送入后续的球面视图模型模块，这一过程由[^40]提出。起初，通过应用公式1，将3D点云从欧几里得空间$(x, y, z)$映射到球面空间$(\theta, \phi, r)$。 $$ \begin{pmatrix}\theta\\\phi\\r\end{pmatrix}=\begin{pmatrix}arcsin(\frac{z}{\sqrt{x^{2}+y^{2}+z^{2}}})\\arctan(y,x)\\\sqrt{x^{2}+y^{2}+z^{2}}\end{pmatrix} $$ 随后，通过利用公式2对点的$(H, W)$角和$\theta$角进行离散化处理，将这些点嵌入到尺寸为$\phi$的2D球形图像中： $$ \left(\begin{matrix}{u}\\ {v}\\ \end{matrix}\right)=\left(\begin{matrix}{\frac{1}{2}[1-\phi\pi^{-1}]w}\\ {[1-(\theta+f_{u p})f^{-1}]h}\\ \end{matrix}\right), $$ 其中，u和v代表球形图像中的点索引，而$f = f_{up} + f_{down}$则是传感器的垂直视场角。

Input	Operator	c	s
$4 \times 256 \times 256$	ConvBlock	64	1
$64 \times 256 \times 256$	DownBlock	128	2
$128 \times 128 \times 128$	DownBlock	256	2
$256 \times 64 \times 64$	UpBlock	128	2
$128 \times 128 \times 128$	UpBlock	64	2
$64 \times 256 \times 256$	conv2d	20	1

Table 2: Bird's-Eye View Model Architecture. c is the number of output channels and s is layer stride.

映射与离散化步骤可能会导致某些3D点具有相同的u和v值。为了缓解这一问题，我们按照距离远近对点进行排序，优先让距离激光雷达更近的点在2D图像中呈现出来。排序后的点列表会依据其对应的u和v坐标被嵌入到2D球形图像中。经过这一过程后，得到的2D球形图像将包含五个通道，分别对应不同的点特征：x、y、z、r以及remission rem；这与拥有三个通道（分别对应红、绿、蓝三种颜色）的RGB图像类似。 #### 3.2. 球面视图模型球面视图模型是一种基于FCNN架构的深度学习分割模型，包含编码器和解码器两部分。网络编码器采用MobileNetV2 $^{[32]}$作为轻量级骨干网络，能够在移动设备上实现实时性能。该骨干网络由一系列被称为倒置残差块的基本构建单元组成，这些单元形成了带有残差的瓶颈结构。第一个和最后一个瓶颈层分别用于扩展和压缩输入与输出张量，而中间层则是容量较大的层，负责从扩展后的张量中提取高层信息。对于网络解码器，我们使用了两个可学习的上采样层，即转置卷积层。第一层将输入张量上采样8倍，第二层上采样4倍。最后，我们加入卷积层和softmax逻辑回归层来输出语义分割图像。此外，还加入了dropout层以起到正则化作用。表1详细列出了球面视图模型的各层信息。 #### 3.3. 鸟瞰图投影我们框架中的第二种投影是2D鸟瞰图投影。它利用每个点的x和y坐标，沿z维度对3D点云进行压缩。这样，3D点云便被投影到x-y平面上，该平面通过具有指定宽度和高度的矩形网格进行离散化处理。对于网格中的每个单元格，我们最多保留 --- 一个投影点，即在该单元格内投影的所有点中z值最大的那个点。那些投影到网格边界之外的点会被丢弃。最终，网格会被转换成4通道的图像，图像中的每个像素对应网格中的一个单元格。我们提取四种单元格属性来构成图像的4个通道，分别是x、y、z以及remission rem。 #### 3.4. 鸟瞰图模型尽管MobileNetV2 [^32]的效率很高，但如果在两个视图中都使用它，会降低整体吞吐量。由于MPF框架允许在每个处理分支中使用独立的网络，我们决定选用参数比MobileNetV2 [^32]更少的网络。具体来说，我们采用一种轻量级的改进版UNet [^30]编解码器架构来对鸟瞰图进行分割。如表2所示，编码器由2个下采样卷积块组成，解码器则由2个上采样卷积块构成，且对应的编码器和解码器块之间设有跳跃连接。实验表明，编码器和解码器各使用两个块就足够了，这样能显著提升网络的推理效率。每个块包含两层核大小为3的二维卷积层，编码器后接最大池化操作，解码器前则进行双线性上采样。在连续的卷积层之间，我们使用二维批量归一化 [^13] 以及ELU [^5] 非线性激活函数。 #### 3.5. 后处理后处理步骤的目标是根据球面视图模型和鸟瞰图模型生成的语义分割图像，为输入的三维点云中的所有点赋予语义标签。每个像素的分割结果是针对20个可能类别的softmax概率分数。三维点云的分段计算方式如下：将每个三维点投影到二维分割图像上，随后以投影位置为中心计算出一个二维方形窗口。接着，通过对窗口内所有像素的softmax概率进行加权求和，来完成对所有类别的加权投票；其中权重与所考虑的三维点到窗口内像素所对应的三维点之间的距离成反比。具体而言，我们使用均值为零、标准差固定的高斯函数来计算每个距离对应的权重。该步骤的输出是一个包含三维点云中每个点分数值的向量。最后，通过将分数向量除以参与投票的点数来进行归一化处理。这一步骤必不可少，因为两种视图中的像素都较为稀疏，且不同视图中窗口内的像素数量差异较大。算法的详细内容见算法1。在处理过程中 ```pseudo // Algorithm 1: Post-Processing Algorithm ``` 后处理参数类别数量：C 点数：N 投影图像尺寸：HxW 滑动窗口大小：KxK 高斯函数的标准差：$\sigma$ 数据点云坐标 $P_{xyz}$。大小 = $Nx3$ 投影图像 $I_{xyz}$。大小 = $HxWx3$ 分割网络的输出 $I_{softmax}$。大小 = HxWxC 输出分数。原始点云中每个点的类别分数。大小 = NxC 算法 foreach $i \in [1:N]$ do // Get the pixel to which this point is projected u, v = get_projection_indices($P_{xyz}[i]$) // Initialize all class scores for the i'th points to zeros Scores[i] = zeros(C) // Initialize number of non-sparse pixels to zero $M=0$ // Loop over pixels currently inside the sliding window foreach $u' \in [u-[k/2]:u+[k/2]]$ do foreach $v' \in [v-[k/2]:v+[k/2]]$ do if $I_{xyz}[u',v']$ is not sparse then $d = get_distance(P_{xyz}[i], I_{xyz}[u',v'])$ $weight = exp(-d^2/2\sigma^2)$ Scores[i]+ = weight * $I_{softmax}[u',v]$ $M+1$ end end end Scores[i] = Scores[i]/M end return Scores 在实际实现中，我们摒弃了所有循环结构，采用了完全向量化的代码，以便在GPU上快速处理。我们提出的后处理方法与[^23]中的KNN后处理方法类似，不过它采用基于softmax概率的软投票机制，而非硬投票，并且仅对非稀疏像素进行投票。 #### 3.6. 融合对球面视图网络和鸟瞰视图网络的输出进行后处理之后，我们会得到每个点的两个分数向量，每个视图对应一个向量。将这两个向量简单相加，就能得到每个3D点的最终分数向量。分数最高的类别会被选为预测标签。 ### 4. 实验评估 #### 4.1. 数据集我们在SemanticKITTI数据集[^2]上训练球面视图网络和鸟瞰视图网络，该数据集提供了 ---

Model	Input Size	scams/sec	#Params	#MACs	mIoU	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	munk	terrain	pole	traffic-sign
PointNet [^27]	50000pts	-	-	-	14.6	46.3	1.3	0.3	0.1	0.8	0.2	0.2	0.0	60.6	15.8	35.7	1.4	41.4	12.9	31.0	4.6	17.6	2.4	3.7
PointNet++ [^28]					20.1	53.7	1.9	0.2	0.9	0.2	0.9	1.0	0.0	72.0	18.7	41.8	1.6	62.3	16.9	46.5	13.8	30.0	6.0	8.9
SPGraph [^17]					20.0	68.3	0.9	4.5	0.9	0.8	1.0	6.0	0.0	49.5	1.7	24.2	0.3	68.2	22.5	59.2	27.2	17.0	18.3	10.5
SPLATNet [^35]					22.8	66.6	0.0	0.0	0.0	0.0	0.0	0.0	0.0	70.4	0.8	41.5	0.0	68.7	27.8	72.3	35.9	35.8	13.8	0.0
TangentConv [^37]					35.9	86.8	1.3	12.7	11.6	10.2	17.1	20.2	0.5	82.9	15.2	61.7	9.0	82.2	44.2	75.5	42.5	55.5	30.2	22.2
RandLA [^12]					53.9	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	66.8	49.2	47.7	38.1
KPCConv [^39]					58.8	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4
SqueezeSeg [^40]	64 × 2048 px	84.7	-	-	29.5	68.8	16.0	4.1	3.3	3.6	12.9	13.1	0.9	85.4	26.9	54.3	4.5	57.4	29.0	60.0	24.3	53.7	17.5	24.5
SqueezeSegV2 [^41]	64 × 2048 px	55.8	928.5 K	-	13.6 G	39.7	81.8	18.5	17.9	13.4	14.0	20.1	25.1	3.9	88.6	45.8	67.6	17.7	73.7	41.1	71.8	35.8	60.2	36.3
RangeNet21 [^23]	64 × 2048 px	21.7	-	-	47.4	85.4	26.2	26.5	18.6	15.6	31.8	33.6	4.0	91.4	57.0	74.0	26.4	81.9	52.3	77.6	48.4	63.6	36.0	50.0
RangeNet53++	64 × 512 px	38.5	-	-	41.9	87.4	9.9	12.4	19.6	7.9	18.1	29.5	2.5	90.0	50.7	70.0	2.0	80.2	48.9	77.1	45.7	64.1	37.1	42.0
RangeNet53++	64 × 1024 px	23.3	-	-	48.0	90.3	20.6	27.1	25.2	17.6	29.6	34.2	7.1	90.4	52.3	72.7	22.8	83.9	53.3	77.7	52.5	63.7	43.8	47.2
RangeNet53	64 × 2048 px	13.3	50.4 M	-	377.1 G	49.9	86.4	24.5	32.7	25.5	22.6	36.2	33.6	4.7	91.8	64.8	74.6	27.9	84.1	55.0	78.3	50.1	64.0	38.9
RangeNet53++	64 × 2048 px	12.8	-	-	52.2	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9
PolarNet [^44]	480 × 360 × 32	6.7	13.6 M	-	135.0 G	54.3	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8
MPF (ours)	64 × 512 px	33.7	-	-	48.9	91.1	22.0	19.7	18.8	16.5	30.0	36.2	4.2	91.1	61.9	74.1	29.4	86.7	56.2	82.3	51.6	68.9	38.6	49.8
MPF (ours)	64 × 1024 px	28.5	-	-	53.6	92.7	28.2	30.5	26.9	25.2	42.5	44.5	9.5	90.5	64.7	74.3	32.0	88.3	59.0	83.4	56.6	69.8	46.0	54.9
MPF (ours)	64 × 2048 px	20.6	3.18 M	-	27.0 G	55.5	93.4	30.2	38.3	26.1	28.5	48.1	46.1	18.1	90.6	62.3	74.5	30.6	88.5	59.7	83.5	59.7	69.2	49.7

Table 3: mIoU scores on SemanticKITTI test set $^{1}$. Our proposed MPF utilizes smaller number of parameters compared to projection-based methods Rangenet53++ [^23] and PolarNet [^44] while maintaining higher segmentation results.

KITTI里程计数据集中所有扫描点的逐点语义标签标注[^9]。该数据集包含超过43,000个$360^{\circ}$激光雷达扫描结果，分为11个提供真实标注的训练序列和11个测试序列。我们将序列08用作验证集，在其余10个序列上训练网络。 #### 4.2. 训练配置 #### 4.2.1 球面视图模型球面视图模型从零开始训练，采用Focal [^19]损失和Lovász-Softmax [^3]损失的组合目标函数： $$ L_{s p h e r i c a l~v i e w~m o d e l}=L_{f o c a l}+L_{l o v a s z} $$ $$ L_{f o c a l}=-\sum_{n}\sum_{i}(1-p_{n,i})^{\gamma}l o g(p_{n,i}) $$ 其中$p_{n,i}$是图像n中像素i处真实类别的概率，$\gamma$是聚焦因子。优化时采用带动量为0.9、权重衰减系数为0.0001且批量大小为8的SGD算法。我们还采用了带热重启的余弦退火调度器[^22]，共执行5个周期，初始学习率为0.05，逐渐降至0，每个周期的时长设为30个epoch。借鉴类似研究的做法，模型训练时采用的图像尺寸分别为64×512、64×1024和64×2048。 #### 4.2.2 鸟瞰视图模型训练鸟瞰视图模型时，我们采用了采用单周期[^34]学习率和动量退火策略的SGD算法。学习率在0.001到0.1之间循环变化，而动量则随学习率反向变化，在0.85到0.95之间循环。模型使用交叉熵损失和Lovázs-Softmax损失训练30个epoch： $$ L_{b i r d^{\prime}s-e y e~v i e w~m o d e l}=L_{c r o s s~e n t r o p y}+L_{l o v a s z} $$ $$ L_{cross~entropy}=-\sum_{n}\sum_{i}log(p_{n,i}) $$ 其中$p_{n,i}$是图像n中像素i处真实类别的概率。该模型仅使用尺寸为256×256的图像进行训练。 #### 4.2.3 后处理后处理阶段，我们对两种视图均采用尺寸为3的正方形核，以提取以投影像素为中心的局部窗口。没有对应3D点的稀疏像素（即没有对应3D点的像素）的网络预测结果会被忽略。随后，为了计算每个像素的权重，我们采用第3.5节描述的高斯函数，通过$\sigma = 1$来计算不同距离对应的权重。 #### 4.3. 数据增强数据增强被视为提升模型对未见数据泛化能力的有效手段。因此我们采用了球面视图增强和鸟瞰视图增强。前者会对3D点云依次应用四种随机执行的仿射变换（每种变换的执行概率为0.5）：沿y轴平移、绕z轴旋转、围绕原点缩放以及沿y轴翻转。在将3D点云投影到2D空间后也会进行增强。我们采用[^15]提出的CoarseDropout函数，以0.005的概率随机丢弃像素，同时从随机选取的坐标开始，将图像水平方向裁剪为一半。 --- ![Image](images/c5f8de38a2fc1df547b86846da6b072509d900a530bbf1f9404366b6c6c68572.jpg) ![Image](images/6969ddcc0c953b8695ada4687318e91fc0aabffce3ac73e6b5569b111a368db0.jpg) ![Image](images/dd59ae46ed38f44ccc65590066ee8946060f1b87aa73f2f4df31be6116d2c5f7.jpg)

(a) RangeNet53++

![Image](images/a741bad9bbdcadaf89b7bb0387a4c188d5621cb43afbe988f7c8570e247e4bae.jpg) ![Image](images/f10cfbe356521f5df5163f65f230988ba3ea7bd7a0623932fc50033fa7a08e34.jpg)

(b) MPF (ours)

![Image](images/653218c5041c941468379bea808880fc64c99e25fa040c4359df14763f563b73.jpg) ![Image](images/464d99a3c642c8df5a074136fe01a4b888b6e7088f2b75646172fb8a835a335d.jpg)

Figure 3: Qualitative segmentation results on SemanticKITTI validation sequence 8 that compare our MPF framework against RangeNet53++. Top: Our framework correctly segmented the 'person' labeled in red. Middle: Our framework segmented the 'bicyclist' object, a class rarely represented in the dataset, much better than RangeNet53++. Bottom: the MPF framework correctly segmented the 'other-vehicle' object (in upper middle location), which was completely missed by RangeNet53++.

在鸟瞰图增强处理中，于将点云投影到x-y平面之前，会先对点云进行变换：包括绕z轴随机旋转、按均匀采样因子进行缩放、在x和y方向上平移，最后向z通道添加均值为0、标准差为0.2的正态分布随机噪声。上述每种操作的应用概率均为0.5。 #### 4.4. 实验结果本节介绍了所提出的多投影融合（MPF）框架的性能表现。表3展示了该方法与现有最先进的点云语义分割方法在SemanticKITTI测试集上针对19个类别的定量结果。SemanticKITTI采用交并比（IoU）指标来报告每个类别的得分： $$ IoU=\frac{\left|P\cap G\right|}{\left|P\cup G\right|} $$ 其中P和G分别为类别点的预测结果与真实值。表中还给出了所有类别的平均交并比（mIoU）。扫描速率是通过测量投影与推理的总耗时来得出的（与仅报告推理时间的PolarNet [^44]不同），测试是在单块NVIDIA GeForce GTX 1080 Ti GPU上进行的。实验结果表明，所提出的MPF框架在所有基于投影的基线方法中取得了最高的mIoU得分，同时其扫描速率也更高，参数数量也比RangeNet++ [^23]和PolarNet [^44]更少。尽管三维方法能取得最高的mIoU得分，但如[^36]和[^12]所示，其运行时间要慢得多。图1展示了SemanticKITTI验证序列中的定性示例，结果显示我们提出的方法在分割远离激光雷达位置的物体时，性能优于RangeNet53++ [^23]。这一优势源于使用了两种独立且互补的投影方式，并智能地融合了每种投影的分割结果。值得一提的是，如第4.3节所述的数据增强技术使球形视图模型的验证集mIoU提升了2.7%，鸟瞰图模型提升了7.7%，整体提升幅度达到7.2%，如表4所示。 #### 4.5. 消融实验 #### 4.5.1 后处理我们研究了不同标准差值对算法1中所用高斯函数性能的影响。通过网格搜索，共同确定了球形视图和鸟瞰图后处理阶段所用标准差的最佳取值。如图4所示，结果表明将所有标准差值设为某一特定值时，性能最优。这说明该算法通过将所有标准差值设为该最佳值，能够有效解决问题，从而得到最优解。 --- ![Image](images/6d8f78c4466c43a4171626f70ef804c7db9fbdce1d51c8bb5b71f75dc78be3a5.jpg)

Figure 4: Post-processing $\sigma$ values of spherical and bird's-eye views against validation mIoU. Top: Euclidean distance. Bottom: Manhattan distance.

Model	Without Augmentation	With Augmentation
Spherical view	39.9	42.6
Bird's-eye view	33.6	41.3
MPF	44.5	51.7

Table 4: Ablation study on the effect of using augmentation on validation mIoU score. The image size used for spherical view model is 64x512.

使用曼哈顿距离时将阈值设为1可始终获得最佳结果。我们也尝试了更大的滑动窗口尺寸，但并未提升得分，反而降低了框架的整体帧率。本研究得出的最佳配置被用于测试提交。 #### 4.5.2 多投影融合我们开展了多项消融实验，以证明采用多投影方式相较于单投影方式的优越性。在首个实验中，我们在表5中对比了两种成熟的球面投影模型——SqueezeSeg [^40] [^41]与RangeNet [^26]——在是否加入鸟瞰投影情况下的mIoU得分。结果表明，即便使用简单的网络模型以及低分辨率的鸟瞰视图投影图像，融合多种投影的信息仍能显著改善分割效果。由此可以得出结论：对同一点云使用多投影方式确实能够通过提供额外的信息来辅助模型适配，进而提升整体分割效果。第二个实验表明，如图5a所示，融合操作能够同时提升近距点与远距点的mIoU得分。由于如图5b所示，绝大多数激光雷达点通常分布在距离小于20米的范围内，因此框架对近距点性能的微小提升便会对整体IoU结果产生显著影响。研究还发现，点云的性能…… ![Image](images/4666c92d7dcf74817cc40cf274e2e9f69e0d53ce4c6cceebaf3e31f1f73bacc0.jpg) ![Image](images/e8dae1ef81f9a6f9054c8435a4216e3fbf506305bdd70758080b43ac5d0246f9.jpg)

(a)

(b)

Figure 5: (a) The mIoU score vs. distance for near and far points. Spherical view image of size 512 used in this experiment. (b) Number of points in the validation set vs. distance.

Network	Size	W/o fusion	W fusion
SqueezeSeg[^40]	2048	30.5	44.3
SqueezeSegV2[^41]	2048	40.4	48.6
RangeNet53++[^23]	512	37.5	44.4
RangeNet53++	1024	36.5	42.2
RangeNet53++	2048	50.3	55.4
MPF (ours)	512	42.6	51.7
MPF (ours)	1024	48.5	55.7
MPF (ours)	2048	50.7	57.0

Table 5: Results of adding the bird's-eye projection to single spherical projection models on SemanticKITTI validation set.

使用球面视图投影进行分割时，距离激光雷达位置较远的点其分割效果会变差。与球面视图图像不同，鸟瞰视图图像采用笛卡尔坐标系，这意味着图像的像素对应着均匀的3D元素，其空间分辨率不会随着距离激光雷达位置的变远而发生变化，从而使得分割结果不受点距离的影响。 ### 5. 结论与未来工作本文提出了一种用于点云语义分割的新型多投影融合框架，该框架结合了球面视图与鸟瞰视图投影，并通过软投票机制融合两类投影的结果。所提出的框架在获得优于单投影方法的分割效果的同时，还能保持更高的处理吞吐量。未来的研究方向包括将两种投影整合为单一的多视图统一模型，以及探索在该框架内使用超过两种投影的可能性。 --- ## 参考文献 [^1]: Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla. Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE transactions on pattern analysis and machine intelligence, 39(12):2481–2495, 2017. [^2]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall. SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences. In Proc. of the IEEE/CVF International Conf. on Computer Vision (ICCV), 2019. [^3]: Maxim Berman, Amal Rannen Triki, and Matthew B Blaschko. The lovász-softmax loss: a tractable surrogate for the optimization of the intersection-over-union measure in neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4413–4421, 2018. [^4]: Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1907–1915, 2017. [^5]: Djork-Arné Clevert, Thomas Unterthiner, and Sepp Hochreiter. Fast and accurate deep network learning by exponential linear units (elus). arXiv preprint arXiv:1511.07289, 2015. [^6]: Tiago Cortinhal, George Tzelepis, and Eren Erdal Aksoy. Salsanext: Fast semantic segmentation of lidar point clouds for autonomous driving. arXiv preprint arXiv:2003.03653, 2020. [^7]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition, pages 248–255. Ieee, 2009. [^8]: Adrien Gaidon, Qiao Wang, Yohann Cabon, and Eleonora Vig. Virtual worlds as proxy for multi-object tracking analysis. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4340–4349, 2016. [^9]: A. Geiger, P. Lenz, and R. Urtasun. Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. In Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 3354–3361, 2012. [^10]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. [^11]: Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017. [^12]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham. Randla-net: Efficient semantic segmentation of large-scale point clouds. arXiv preprint arXiv:1911.11236, 2019. [^13]: Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167, 2015. [^14]: Paul Jaccard. Étude comparative de la distribution florale dans une portion des alpes et des jura. Bull Soc Vaudoise Sci Nat, 37:547–579, 1901. [^15]: Alexander B. Jung, Kentaro Wada, Jon Crall, Satoshi Tanaka, Jake Graving, Christoph Reinders, Sarthak Yadav, Joy Banerjee, Gábor Vecsei, Adam Kraft, Zheng Rui, Jirka Borovec, Christian Vallentin, Semen Zhydenko, Kilian Pfeiffer, Ben Cook, Ismael Fernández, François-Michel De Rainville, Chi-Hung Weng, Abner Ayala-Acevedo, Raphael Meudec, Matias Laporte, et al. imgaug. , 2020. Online; accessed 01-Feb-2020. [^16]: Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012. [^17]: Loic Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4558–4567, 2018. [^18]: Velodyne Lidar. Velodyne lidar hdl-64e. [^19]: Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988, 2017. [^20]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer, 2014. [^21]: Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3431–3440, 2015. [^22]: Ilya Loshchilov and Frank Hutter. Sgdr: Stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983, 2016. [^23]: Andres Milioto, Ignacio Vizzo, Jens Behley, and Cyrill Stachniss. Rangenet++: Fast and accurate lidar semantic segmentation. In Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), 2019. [^24]: Fausto Milletari, Nassir Navab, and Seyed-Ahmad Ahmadi. V-net: Fully convolutional neural networks for volumetric medical image segmentation. In 2016 Fourth International Conference on 3D Vision (3DV), pages 565–571. IEEE, 2016. [^25]: Aliasghar Mortazi, Rashed Karim, Kawal Rhode, Jeremy Burt, and Ulas Bagci. Cardiacnet: segmentation of left atrium and proximal pulmonary veins from mri using multiview cnn. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 377–385. Springer, 2017. [^26]: Hyeonwoo Noh, Seunghoon Hong, and Bohyung Han. Learning deconvolution network for semantic segmentation. In Proceedings of the IEEE international conference on computer vision, pages 1520–1528, 2015. ## [^27]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification --- 以及分割任务。载于IEEE计算机视觉与模式识别会议论文集，第652–660页，2017年。 [^28]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Advances in neural information processing systems, pages 5099–5108, 2017. [^29]: Hager Radi and Waleed Ali. Volmap: A real-time model for semantic segmentation of a lidar surrounding view. arXiv preprint arXiv:1906.11873, 2019. [^30]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015. [^31]: Xavier Roynard, Jean-Emmanuel Deschaud, and François Goulette. Paris-lille-3d: A large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classification. The International Journal of Robotics Research, 37(6):545–557, 2018. [^32]: Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, and Liang-Chieh Chen. Mobilenetv2: Inverted residuals and linear bottlenecks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4510–4520, 2018. [^33]: Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. [^34]: Leslie N. Smith and Nicholay Topin. Super-convergence: Very fast training of residual networks using large learning rates. CoRR, abs/1708.07120, 2017. [^35]: Hang Su, Varun Jampani, Deqing Sun, Subhransu Maji, Evangelos Kalogerakis, Ming-Hsuan Yang, and Jan Kautz. Splatnet: Sparse lattice networks for point cloud processing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2530–2539, 2018. [^36]: Haotian $^{*}$ Tang, Zhijian $^{*}$ Liu, Shengyu Zhao, Yujun Lin, Ji Lin, Hanrui Wang, and Song Han. Searching efficient 3d architectures with sparse point-voxel convolution. In European Conference on Computer Vision, 2020. [^37]: Maxim Tatarchenko $^{*}$, Jaesik Park $^{*}$, Vladlen Koltun, and Qian-Yi Zhou. Tangent convolutions for dense prediction in 3D. CVPR, 2018. [^38]: Lyne Tchapmi, Christopher Choy, Iro Armeni, JunYoung Gwak, and Silvio Savarese. Segcloud: Semantic segmentation of 3d point clouds. In 2017 international conference on 3D vision (3DV), pages 537–547. IEEE, 2017. [^39]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas. Kpconv: Flexible and deformable convolution for point clouds. In Proceedings of the IEEE International Conference on Computer Vision, pages 6411–6420, 2019. [^40]: B. Wu, A. Wan, X. Yue, and K. Keutzer. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 1887–1893, 2018. [^41]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer. Squeeze-segv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud. In 2019 International Conference on Robotics and Automation (ICRA), pages 4376–4382, 2019. [^42]: Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, Peter Vajda, Kurt Keutzer, and Masayoshi Tomizuka. Squeeze-segv3: Spatially-adaptive convolution for efficient point-cloud segmentation. arXiv preprint arXiv:2004.01803, 2020. [^43]: Xiangyu Zhang, Xinyu Zhou, Mengxiao Lin, and Jian Sun. Shufflenet: An extremely efficient convolutional neural network for mobile devices. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 6848–6856, 2018. [^44]: Yang Zhang, Zixiang Zhou, Philip David, Xiangyu Yue, Zerong Xi, and Hassan Foroosh. Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. arXiv preprint arXiv:2003.14032, 2020.