# PolarNet：一种用于在线激光雷达点云语义分割的改进网格表示方法 张阳 $^{*1}$、周子翔 $^{*1}$、Philip David $^{2}$、岳翔宇 $^{3}$、习泽荣 $^{1}$、龚博卿 $^{\dagger 1}$、Hassan Foroosh $^{1}$ $^{1}$ 中佛罗里达大学计算机科学系 $^{2}$ 美国陆军研究实验室计算与信息科学理事会 $^{3}$ 加州大学伯克利分校电气工程与计算机科学系 , , , , , , ## 摘要 自动驾驶系统对细粒度感知的需求，促使近年来针对单次扫描激光雷达数据的在线语义分割研究日益增多。尽管相关数据集和技术不断取得进展，但该任务仍面临三大挑战：（1）在硬件资源受限的情况下需实现近实时处理延迟；（2）激光雷达点在空间上的分布不均甚至呈现长尾特征；（3）语义类别的数量不断增加且类别划分愈发精细。为共同应对上述挑战，我们提出了一种全新的、专为激光雷达设计的无最近邻搜索分割算法——PolarNet。我们并未采用常见的球面投影或鸟瞰图投影方式，而是采用极坐标系统中的极地鸟瞰图表示法，使网格单元内的点分布更加均衡，从而间接让分割网络的注意力与径向轴上的点的长尾分布相匹配。实验表明，我们的编码方案在三个差异显著的城市真实激光雷达单次扫描分割数据集上均显著提升了mIoU值，同时仍能保持近实时的处理速度。 ### 1. 引言 过去十年间，激光雷达点云数据量激增，尤其在自动驾驶领域表现尤为明显。为了将激光雷达点云应用于各类下游场景，开发能够自动解析数据的分析方法至关重要。本文重点关注激光雷达点云的在线细粒度语义分割问题。 ![Image](images/0f0fce91edbb7405bcd74a4b2506f8056fad5f6dd3654cfd75eefb1ee77a491c.jpg)
Figure 1. Point-level SemanticKITTI [^1] segmentation mIoU vs. multiply-accumulate operations per scan on the same GPU. Our Unet-based PolarNet not only significantly outperforms Cartesian-BEV Unet, PointNet, SqueezeSeg and SqueezeSeg's overparameterized variants (connected by line), but also retains remarkably low computational cost.
与图像语义分割类似，该任务旨在为输入点云中的每个点赋予相应的语义标签。 目前已有多个大规模激光雷达点云数据集公开发布 [^9] [^29] [^42] [^3]，但直到近期，由 [^1] [^10] 提供的语义分割标签才能匹配这些数据集的规模。海量点云数据的发布与语义分割标签的就绪之间存在滞后，这既反映出人工标注点对标签的难度，也凸显出对激光雷达扫描数据快速自动语义分割解决方案的需求。 我们考虑采用端到端的深度神经网络来实现激光雷达点云的单次扫描语义分割。不过，在研究网络架构或先进的训练算法之前，我们首先聚焦于网络的输入部分：怎样的输入表示才能算作一份优质的激光雷达点云扫描数据呢？我们从几个相关领域汲取灵感来解答这个问题。 --- 输入到网络中的数据。什么样的LiDAR点云扫描输入表示才算优秀呢？为了解答这个问题，我们从多个相关领域汲取灵感。 在图像分割中，感知域[^39]是设计高性能CNN时最关键的考量因素之一。它决定了神经网络在对像素进行语义分类之前能够“感知”到的上下文信息量。一般来说，较大的感知域能提升性能。扩展卷积神经网络的感知域的技术包括空洞卷积[^39] [^5]、特征金字塔[^17]等。 对于激光雷达点云而言，我们推测感知域的大小和形状同样重要。若从俯视图视角观察激光雷达扫描结果，会发现点云是以不同半径的环形结构排列的（参见图2和图3）。因此，常规的笛卡尔坐标系会将点云以不均匀的方式分配到网格单元中：靠近传感器的单元需要容纳大量点，导致细节模糊；而远离传感器的单元中点云分布稀疏，能为神经网络提供的标注线索十分有限。 针对这一问题，我们提出让CNN的感知域通过极坐标网格来匹配这种特殊的环形结构，从而对激光雷达扫描结果进行划分。这种对神经网络输入表示的简单改动效果显著，能大幅提升各类语义分割网络的性能。 然而，现有关于激光雷达扫描理解的研究并未考虑到这种环形结构。Wu等人[^36]通过将点云投影到球面上转化为图像，将点云分割问题转换为深度图分割问题；Zhang等人[^41]虽然手工构建了点云的俯视图（BEV）表示，但依然采用常规网格形式；Yang等人[^38]则利用类似的BEV表示来进行激光雷达点云的物体检测。 一方面，上述研究证明了在分割和检测任务中采用激光雷达扫描的BEV表示具有潜力；另一方面，我们认为它们并未充分利用BEV所揭示的结构信息。我们从两方面改进了传统的BEV表示：一是采用极坐标网格来匹配激光雷达扫描中的环形结构；二是学习而非手工设定每个网格单元的局部特征。 虽然极坐标在深度学习出现前的计算机视觉领域并不陌生[^2]，但由于图像和特征矩阵本质上属于笛卡尔坐标系，它在CNN中的应用较为罕见。为了将极坐标BEV表示与2D CNN充分结合，我们首先重新设计了BEV量化方案：不再基于点在XY平面上的笛卡尔坐标进行量化，而是按照图3所示的俯视极坐标来分配点。模仿BEV中密度递增的环形模式，极坐标BEV能使每个网格中的点数趋于平衡，这种改善幅度接近一个数量级（参见图4）。受Lang等人[^16]的启发，我们随后训练了一个简化的PointNet，将每个网格中的点转换为固定长度的表征向量。 由于我们对极坐标下的点进行量化处理，理想情况下特征矩阵也应采用极坐标形式。为确保下游CNN中感知场的一致性，我们将这些特征向量排列成极坐标系，且最左列与最右列相连。我们还对下游CNN进行了修改，使其能在极网格上连续卷积。在得到同样呈极网格形式的离散预测结果后，我们将其映射回笛卡尔空间并评估性能。我们的流程如图2所示。 我们在SemanticKITTI[^1]、A2D2[^10]和Paris-Lille-3D[^26]数据集上验证了该方法。结果显示，仅用其1/3的参数和乘加运算次数，我们的方法在平均交并比（mIoU）评价指标上分别比现有最优方法高出2.1%、4.5%和3.7%。 该___化如下—— - 我们提出了一种更合适的激光雷达扫描表示方式，它考虑了点的空间分布不均衡的问题。 - 我们提出的PolarNet网络采用我们的极网格数据表示方式进行端到端训练，如Fig. 1所示，它在公开基准测试中以较低的计算成本超越了现有最优方法。 - 我们针对基于不同骨干分割网络的语义分割性能进行了详尽分析，对比了极网格表示与其他表示（如笛卡尔鸟瞰图）的效果。 ### 2. 相关工作 #### 2.1. 点云应用与方法 当前大多数点云应用聚焦于点密集分布在物体表面的通用点云场景，例如单3D物体形状识别[^34]、室内点云分割[^31] [^27]，以及从点云重建室外场景[^30]。尽管任务各异，但为实现各自目标，它们都需解决一个相似的核心问题：如何从空间分布不规则的点中提取局部或全局的上下文信息。从上下文信息的聚合方式来看，主要分为两类：参数化[^34] [^32] [^15] [^13]与非参数化[^22] [^23] [^27]。还有研究会将点体素化，再应用3D体积分割/检测算法[^31]。后一方法的代表性成果就是著名的PointNet[^22]算法。PointNet和 --- 它的后续版本[^23]会单独处理每个点，再利用集合函数聚合这些点之间的上下文信息。参数化方法更常见于基于图的方法[^34] [^32] [^15]中，这类方法通过KNN将点建模为图，再基于图的连通性进行卷积操作。 #### 2.2. 激光雷达应用与方法 尽管激光雷达传感器能在各种光照条件下提供极高精度的距离测量，但由激光雷达生成的点云在空间上更为稀疏，因此从中提取信息更具挑战性。此外，激光雷达传感器通常应用于自动驾驶车辆等系统中，这些系统的处理资源往往有限，要求嵌入式硬件具备实时处理能力。为解决这一问题，研究人员提出了多种3D数据表示方法，可分为前视图和鸟瞰图（BEV）两类。虽然激光雷达3D点云的表示方法各异，但每种方法都会将点云量化为压缩后的2D场景快照，以便利用2D神经网络进行处理，从而避免耗费资源的图神经网络或3D运算。 前视图表示方法包括类深度图像法和球面投影法。深度图或视锥体方法采用针孔相机模型，将3D点云投影到2D图像网格上。[^21] 根据视锥体对点进行聚类，再利用3D深度神经网络识别物体。在球面投影中，点被投影到2D球面网格上以实现密集表示。SqueezeSeg [^35] 和 SqueezeSegV2 [^36] 采用球面投影来表示点云，供轻量级的2D语义分割网络使用，从而能够实现实时处理。预测结果会通过条件随机场（CRF）模型进一步平滑处理，再重新投影回3D点云。RangeNet++ [^19] 用YOLOv3 [^24] 替换了SqueezeSeg中的SqueezeNet骨干网络和CRF；它借助Darknet和基于GPU的最近邻搜索来获得更好的分割效果。与深度图相比，BEV是一种更优的表示方法：它从俯视角度表示点云，不会丢失任何尺度和范围信息，因此被广泛用于激光雷达检测 [^33] [^38] [^16] [^14] [^37]，近期也被用于分割任务 [^41]。PIXOR [^38] 将点云离散化为BEV表示后，会编码每个单元格的占用情况和归一化反射率特征；随后利用带有2D卷积层的神经网络进行3D物体检测。PointPillars [^16] 在此基础上进行了改进，在BEV表示上加入了PointNet模型。 目前已有许多激光雷达物体检测数据集，例如Waymo开放数据集 [^29] 和KITTI 3D检测数据集 [^9]。相比之下，激光雷达扫描语义分割数据集较为稀少。据我们所知，目前仅有三个此类数据集：奥迪数据集 [^10]、Paris-Lille-3D [^26] 以及Semantic KITTI数据集 [^1]。其他点云分割数据集，如Semantic3D [^11]，不在在线激光雷达分割的研究范围内。为语义分割算法开发标注RGB图像是一项繁琐的工作；然而，为语义分割标注激光雷达数据难度更大且更不直观，这或许就是激光雷达分割数据集数量如此之少的原因。 #### 2.3. 2D语义分割 从全卷积网络（FCN）[^18]发展而来的二维语义分割网络，近年来在各种基准测试中展现出了显著的性能提升。与其他计算机视觉任务（如姿态估计和物体检测）类似，大多数高效的语义分割网络[^40]都采用了编码器-解码器结构：先将二维图像特征图进行降采样以提取高层上下文信息，再将其上采样以恢复空间信息。在这些网络中，DeepLab [^4]和Unet [^25]是两颗耀眼的明星，它们均旨在融合多尺度的上下文信息。DeepLab及其后续版本[^5] [^6]利用空洞卷积滤波器来扩大感受野，而Unet则通过跳跃连接直接拼接不同层次的语义特征；事实证明，对于边缘不规则且较为粗糙的图像（如医学图像），Unet的效率更高。 ### 3. 方法 #### 3.1. 问题描述 给定一个包含N个激光雷达扫描数据的训练集$\{(P_i, L_i)|i = 1, \ldots, N\}$，其中第i个点集$P_i \in \mathbb{R}^{n_i \times 4}$包含$n_i$个激光雷达点。$P_i$的每一行由四个特征组成，用于描述一个激光雷达点p，即$(x, y, z, \text{reflection})$。$(x, y, z)$表示该点相对于扫描仪的笛卡尔坐标，反射值则是反射激光束的强度。$L_i \in \mathbb{Z}^{n_i}$包含了$p_j$中每个点$P_i$所对应的物体标签。 我们的目标是学习一个由$f(\cdot; \theta)$参数化的分割模型$\theta$，使得预测结果$f(P_i)$与真实标签$L_i$之间的差异最小化。 #### 3.2. 鸟瞰图划分 尽管点云扫描是由对周围3D环境的零散观测数据构成的，但从经验来看，可以将其表示为场景的俯视快照，且信息损失最小。[^7]提出将这种俯视正交投影直接输入到2D检测网络中， --- ![Image](images/3752bed02a068e6031679696e317c6fd36f4a3d70c6d63ce989ed66a333c74a2.jpg)
Figure 2. Overview of our model. For a given LiDAR point cloud, we first quantize the points into grids using their polar BEV coordinates. For each of those grid cells, we use a simplified KNN-free PointNet to transform points in it to a fixed-length representation. The representation is then assigned to its corresponding location in the ring matrix. We input the matrix to the ring CNN, which is composed of ring convolution modules. Finally, the CNN outputs a quantized prediction and we decode it to the point domain.
![Image](images/d9b690be03611e7d71bec0b7d0d780f71eb0d36aca64866260b00dff8f55f2c2.jpg)
(a) Cartesian BEV
![Image](images/cd5feec09e0834362ac7c3d821ebe10974f3e45bab3a80021273a71da8cf1076.jpg)
(b) Polar BEV
Figure 3. Two BEV quantization strategies. Each grid cell on the image denotes one feature in a feature map.
用于检测3D点云中的物体。该方法随后也被应用于点云分割任务中[^41]。以2D俯视图作为输入时，网络会输出维度相同的张量，其中每个空间位置都编码了该位置沿z轴方向各体素的类别预测结果。这种巧妙的方法利用了多年来在2D CNN领域的研究成果，从而加快了分割过程；它同时也避免了计算成本高昂的3D分割和3D图运算。 BEV最初的设计初衷是用俯视图来表示场景，以此加快下游特定任务的CNN处理速度。基于多年设计CNN架构的经验，研究人员选择BEV表示方式，使其尽可能贴近自然图像的外观，从而最大限度地利用专为自然图像设计的下游CNN。因此，最初的BEV表示采用的是点云的俯视投影。近年来，初始BEV的变体试图在BEV中的每个像素处编码丰富的高度信息[^38]、反射特征[^28]，甚至是学习得到的表征[^16]。不过有一点是始终未变的：BEV方法均采用如图3(a)所示的笛卡尔网格划分方式。 网格是图像的基本表示形式，但它未必是鸟瞰图的最佳表示方式。鸟瞰图是在性能与精度之间的一种折中方案。观察鸟瞰图时我们会立刻发现：中间网格单元中的点密集聚集，而边缘网格单元则完全为空。这种不均匀的划分不仅会浪费计算资源，还会限制中心网格单元的特征表达能力。 ![Image](images/83dc63251f913a292d28bc34fa9ab8e25aebfafbff85cc4b06439c2b83566964.jpg)
Figure 4. Grid cell distance from the sensor vs. logarithmically spaced mean number of points per grid cell. The traditional BEV representation allocates most of its grid cells to the further end with few points in them.
此外，属于不同类别的点可能会被分配到同一个网格单元中。由于最终预测是在体素级别进行的，少数类别点的预测结果会被多数类别点所压制。 #### 3.3. 极坐标鸟瞰图 我们该如何解决这种不平衡问题呢？基于激光雷达扫描俯视图中呈现的环状结构，我们提出了极坐标划分方式，用以替代图3中的笛卡尔划分方式。 我们不再采用笛卡尔坐标系对点进行量化，而是先以传感器位置为原点，计算每个点在XY平面上的方位角和半径，再根据量化后的方位角和半径将点分配到对应的网格单元中。 我们发现极坐标鸟瞰图有两大优势。首先，它能更均匀地分布点。为了验证这一结论，我们对SemanticKITTI数据集的验证集进行了统计计算[^1]。如图4所示，当网格单元靠近传感器时，极坐标网格单元内的点数远少于笛卡尔鸟瞰图中的对应数值，这说明对密集占据区域的表示更加精细。在网格单元数量相同的情况下，传统鸟瞰图的每个网格单元平均包含$0.7 \pm 3.2$个点，而极坐标鸟瞰图的每个网格单元平均包含$0.7 \pm 1.4$个点。两者标准差的差异表明，总体而言，点在极坐标鸟瞰图中分布得更均匀。 极坐标鸟瞰图的第二个优势在于这种更均衡的点分布能减轻预测器的负担。由于我们需将二维网络输出重塑为用于点预测的体素预测结果，不可避免地会有属于不同真实标签的点被分配到同一个体素中，其中一些点无论怎样都会被错误分类。在笛卡尔鸟瞰图中，每个网格单元内平均有98.75%的点属于同一类别；而在极坐标鸟瞰图中，这一比例上升到了99.3%。这表明由于空间表示方式的差异，极坐标鸟瞰图中的点更不容易被错误分类。考虑到小物体更容易在体素中被多数类别标签所掩盖，这种差异可能对最终的平均交并比产生更显著的影响。为了进一步探究平均交并比的上限，我们将每个点的预测结果设为其所属体素的多数类别标签。结果显示，笛卡尔鸟瞰图在合理性检验中的平均交并比达到了97.3%，而极坐标鸟瞰图则达到了98.5%。极坐标鸟瞰图更高的上限有望提升下游模型的性能。 --- 密集的点分布能够减轻预测器的负担。由于我们将二维网络输出重塑为用于点预测的体素预测形式，不可避免地，一些具有不同真实标签的点会被分配到同一个体素中，其中部分点无论怎样都会被错误分类。在笛卡尔坐标系下的鸟瞰图中，每个网格单元内平均有98.75%的点共享相同的标签；而在极坐标下的鸟瞰图中，这一比例更是高达99.3%。这表明由于空间表示方式的差异，极坐标下的鸟瞰图中的点更不容易被错误分类。考虑到小物体更容易因体素内的多数标签影响而被掩盖，这种差异可能会对最终的mIoU产生更显著的影响。为了进一步探究mIoU的上限，我们将每个点的预测结果设定为其所属体素的多数标签。结果显示，在合理性检验中，笛卡尔坐标系下鸟瞰图的mIoU达到了97.3%，而极坐标下鸟瞰图的mIoU则达到了98.5%。极坐标下更高的上限有望提升下游模型的性能。 #### 3.4. 极坐标网格的学习 我们并非人为地为每个网格定制特征，而是通过固定长度的表征来捕捉每个网格中点的分布情况。该表征由可学习的简化版PointNet[^22]生成，随后经过最大池化操作得到。该网络仅包含全连接层、批量归一化层和ReLU层。一次扫描中第i行、第j列网格单元的特征表示为： $$ \mathrm{fea}_{i,j}=\mathrm{MAX}(\{h(p)|w_{i}(a) SemanticKITTI ![Image](images/5fc24c017915d9e2c82fa743eedd467c42e67729430f7463a2e5f737e4d8db6a.jpg)
(b) A2D2
![Image](images/09bdf50889a1bbbb0badbc6ef6bf3c2e41f82ce0def4a86f3fe8581a68623334.jpg)
(c) Paris-Lille-3D
Figure 5. PolarNet outperforms baselines despite different scanline patterns in datasets. Zoom in for more details.
将预测结果转化为四维矩阵，从而得出基于体素的分割损失。 读者可能会注意到，只要将卷积替换为环形卷积，大多数 CNN 实际上都能够处理极网格。我们将经过训练、能够处理极网格且采用环形卷积的网络称为环形 CNN。 ### 4. 实验 本节我们将介绍实验设置、结果以及消融研究。 #### 4.1. 数据集 我们的实验中使用了 SemanticKITTI[^1]、A2D2[^10] 和 Paris-Lille-3D[^26] 这三个数据集。 SemanticKITTI 是对著名的 KITTI 数据集中激光雷达部分的点级重新标注[^9]。它包含从德国不同城市采集的 22 个序列中采样得到的共 43551 次扫描数据。每次扫描平均有 104452 个点，且每次扫描均由图 5(a) 所示的单个 Velodyne HDL-64E 激光雷达扫描仪完成。该数据集总共包含 19 个具有挑战性的类别。出现频率最高的类别“植被”的点数是出现频率最低的类别“摩托车手”的 $4.82 \times 10^7$ 倍。显然，这是一个严重不平衡且具有挑战性的数据集。我们遵循 SemanticKITTI 的子集划分协议，使用 10 个序列用于训练，1 个用于验证，其余用于测试。我们列出了在 SemanticKITTI 上已有的几个基准模型。我们通过将分割预测结果上传至其评估服务器，来报告在 SemanticKITTI 测试子集上的分割性能。 A2D2 数据集是由奥迪开发的一套全面的自动驾驶数据集，包含 38 类的分割标注。尽管 A2D2 数据以空间中的三维点形式呈现，但这些点的分布与 KITTI 数据集中的点有所不同。我们在图 5(b) 中给出了一个示例。首先，在 KITTI 数据集中，单个传感器会生成全景激光雷达扫描数据；而 A2D2 则使用五个异步激光雷达传感器，每个传感器负责采集周围视野中的一部分点云。因此，几乎所有 A2D2 重建出的激光雷达视图都无法覆盖全部角度。其次，如图 5(b) 所示，A2D2 的激光雷达传感器产生的扫描线不一定呈水平状态。我们的目标是模拟车辆运行时的即时感知情况。我们首先将所有激光雷达点进行投影。 --- 回到车辆坐标系。随后，我们手动从时间窗口为50毫秒内异步生成的部分扫描数据中创建（半）全景激光雷达图像。由于传感器并非始终可用，因此有些生成的扫描数据并不完整。这种异构组合对所有分割算法而言都是巨大挑战，包括我们的算法在内。借助前述的激光雷达全景拼接技术，我们分别创建了22408张训练扫描图、2774张验证扫描图和13264张测试扫描图。 与其他两个数据集不同，Paris-Lille-3D提供了3组聚合点云，这些点云由用倾斜式后置Velodyne HDL-32E传感器采集的巴黎和里尔街道的连续激光雷达扫描数据构建而成。每个点都标注有九种分割类别之一、其时间戳以及世界坐标。根据扫描仪轨迹和点的时间戳，我们从已配准的点云中提取单个扫描数据。我们每50毫秒记录一次扫描数据。每次扫描包含$\pm$ 100毫秒内的点，如图5(c)所示。总共我们分别创建了5112张训练扫描图、1205张验证扫描图和1273张测试扫描图。我们将Paris-Lille-3D的测试预测结果上传至其评估服务器以获取官方测试结果。由于Paris-Lille-3D仅接受合成预测结果，我们通过最大投票法对多扫描预测结果进行聚合。 体素化：在分析SemanticKITTI、A2D2和Paris-Lille-3D训练集的点云空间分布后，我们分别将笛卡尔俯视网格空间设定为$[x : \pm50m, y : \pm50m, z : -3 \sim 1.5m]$、$[x : \pm50m, y : \pm50m, z : -3 \sim 9m]$和$[x : \pm15m, y : \pm15m, z : -3 \sim 12m]$，并将极坐标俯视网格的范围分别设为[距离：3~50米，z：-3~1.5米]、[距离：0~50米，z：-3~9米]和[距离：0~15米，z：-3~12米]，以确保平均而言每种扫描数据中有超过99%的点能被纳入其中。超出该范围的点会被分配到最近的俯视网格单元中。此外，我们设定的相应网格尺寸分别为[^480] [^360] [^32]、[^320] [^320] [^32]以及[^320] [^320] [^32]。 #### 4.2. 基准模型与评价指标 SqueezeSeg：作为该领域的开创性工作，Wu等人[^35]通过将激光雷达点投影到传感器周围的球面上，将该问题转化为二维分割问题。他们还加入了条件随机场以通过强制相邻标签的一致性来进一步优化最终结果。除了基础的SqueezeSeg和SqueezeSeg-v2外，Behley等人[^1]将SqueezeNet骨干网络替换为YOLO [^24] Darknet-53。这种参数更多的模型在SemanticKIT数据集上的表现比SqueezeSeg-v2提升了超过10%。此外，RangeNet++ [^19]采用了基于KNN的后处理方法，该方法在CNN分割网络之后使用，旨在减少球面中间表示离散化所产生的误差。 PointNet $^{[22]}$：PointNet是一种能够预测点语义分割的简单网络。它首先用全连接网络单独处理每个点，然后通过最大池化操作汇总所有点的特征以得到全局表征。预测器会根据该点的特征与全局表征的拼接结果来预测每个点的类别。PointNet++ $^{[23]}$是在基础PointNet上通过添加分层池化和上下文表征而得到的改进版本。 TangentConv [^30]：Tatarchenko和Park等人提出利用表面几何上的切向卷积来预测三维点云的分割类别。 RandLA [^12]：Hu等人提出利用局部特征聚合模块来对大规模点云进行分割。 我们报告了准确率、各类别的IoU以及mIoU。mIoU是所有语义类别的类别交并比的平均值。类别c的交并比，$(IoU_{c})$，指的是该类别的预测结果与真实标签的交集除以它们的并集： $$ I o U_{c}=\frac{\left|\mathcal{P}_{c}\cap\mathcal{G}_{c}\right|}{\left|\mathcal{P}_{c}\cup\mathcal{G}_{c}\right|}. $$ 鉴于激光雷达应用的独特特性，我们还报告了模型的单次扫描预测延迟、在最大批量大小下的最高帧率（FPS）、每次扫描的平均乘加运算次数（MAC）以及模型参数数量。我们在同一块GPU上基于整个验证集计算这些指标的平均值。在点云相关模型中，我们不会对点进行下采样处理。 我们的基线模型采用了官方实现或已发表的结果。我们自行用PyTorch实现了自己的网络 [^20]。我们使用torch Geometric [^8]来并行处理每个网格中的点最大池化操作。 #### 4.3. SemanticKITTI分割实验 表1展示了我们的方法与多个基线模型之间的性能对比。结果表明，基于Unet的极坐标系鸟瞰图分割网络即便在参数数量更少、延迟更低的情况下，也能超越现有最先进的方法。如表所示，像PointNet和TangentConv这类基于点的方法在处理大规模激光雷达点云时效率低下，且分割准确率较差。就各类别的IoU而言，我们的BEV方法在大多数类别上均取得了提升，尤其是在那些空间分布不规则且稀疏的类别上，这与极坐标系BEV保留尺度和范围的特性相契合。我们还发现“其他地面”和“摩托车手”类别的性能尤其差。经调查可知，这两类物体在视觉上与其它类别难以区分。根据SemanticKITTI的定义，“其他地面”本质上是类似人行道/地面的地形，但用途不同，比如交通岛；而摩托车手类别则具有挑战性。 ---
Table 1. Segmentation results on test split of SemanticKITTI.
ModelFPSLatencyMACsParamsAccmIoUPeer class IoU
curkeycodemotorcycletrackother-vehiclepersonkeycodemotorcycleroadmanparkingsidewalkother-groundbuildingfencevegetationitrankterrainpoletraffic-signs
PointNet++ [^23]11.50.087141B3.5M-14.6%46.3%1.3%0.3%0.1%0.8%0.2%0.2%0.0%61.6%15.8%35.7%1.4%41.4%12.9%31.0%4.6%17.6%2.4%3.7%
PointNet++ [^23]---6M-20.1%53.7%1.9%0.2%0.9%0.2%0.9%1.0%0.0%72.0%18.7%41.8%5.6%62.3%16.9%46.5%13.8%30.0%6.0%8.9%
Squeezeseg [^39]49.20.031s13B0.9M-29.5%68.8%16.0%4.1%3.3%3.6%12.9%13.1%0.9%85.4%26.9%54.3%4.5%57.4%29.0%60.0%24.3%53.7%17.5%24.5%
TargetingCore++ [^19]---0.4M-35.9%86.8%1.3%12.7%11.6%10.6%17.1%20.2%0.5%82.3%15.2%61.7%9.0%82.8%44.2%75.5%42.5%55.5%30.2%22.2%
Squeezeseg2 [^19]36.70.036s14B0.9M-39.7%81.8%18.5%17.9%13.4%14.0%20.1%25.1%3.9%88.6%45.8%67.6%67.6%17.7%37.3%41.1%71.8%35.8%60.2%20.2%36.3%
DarkNet53 [^1]12.70.087s378B50M87.8%49.9%86.4%24.5%32.7%25.5%22.6%36.2%33.6%4.7%91.8%64.8%74.6%27.9%84.1%55.0%78.3%50.1%64.0%38.9%52.2%
RangeNet++ [^19]--378B50M89.0%52.2%91.4%25.7%34.4%25.7%23.0%38.3%38.8%4.8%91.8%65.0%75.2%27.8%87.4%58.6%80.5%55.1%64.6%47.9%55.9%
RandLA [^12]---1.2M-53.9%94.1%26.0%25.8%40.1%38.3%38.3%38.3%9.5%95.3%95.3%73.7%28.3%90.3%81.4%66.8%48.4%48.4%38.1%38.1%
Unet w/Cartesian BEV19.70.051s134B14M87.6%50.7%92.7%26.8%23.1%26.7%24.2%48.1%41.0%4.4%86.7%52.3%67.2%12.9%89.5%57.7%80.8%62.5%62.5%50.3%53.5%
PolarNet16.20.062s135B14M90.0%54.3%93.8%40.3%30.1%22.9%28.5%43.2%40.2%5.6%90.8%61.7%74.4%21.7%90.0%61.3%84.0%65.5%67.8%51.8%57.5%
even for a human to tell a motorcyclist from person or bicyclist because the motorcycle itself is often largely occluded. Besides, motorcyclists are the rarest class in the dataset — constitute 0.004% of the training points and only one instance appears in the official validation sequence.
#### 4.4. A2D2分割实验 我们在表2中展示了A2D2数据集上的实验结果。毫无疑问，我们的方法在mIoU和速度方面均优于其他基线模型。从mIoU指标来看，A2D2是一个极具挑战性的数据集。尽管我们的方法是领先方案，但仅使用激光雷达数据在该数据集上的mIoU仅为23%，而在SemanticKITTI上的mIoU却达到了54%。我们的方法在自行车、行人、小型车辆、交通灯、路缘石、信号装置、停车区以及虚线等多个类别上的IoU也翻了一番。该数据集确实极具挑战性，因为无论是基线模型还是我们的方法，在多个类别上的IoU都接近于零。 #### 4.5. Paris-Lille-3D分割实验 如表4所示的Paris-Lille-3D分割结果表明，PolarNet在mIoU指标上比DarkNet53高出3.7%。各模型的分割性能存在明显差异。由于障碍物通常距离车辆较远，PolarNet在障碍物类别上的结果有了大幅提升；而Cartesian Unet在垃圾桶类别上则优势明显，因为该类别在训练集和验证集中的样本量极少。 #### 4.6. 投影方法的影响 在表3中，我们展示了使用不同分割骨干网络的SemanticKITTI mIoU结果，这些网络包括SqueezeSeg、Resnet-50-FCN、DRN-DeepLab和Resnet101-DeepLab，涉及三种不同的投影方法：SqueezeSeg中提出的球面投影[^35]、笛卡尔BEV以及我们的极坐标BEV。对于球面投影，我们采用了将天顶角范围在$-25^{\circ}$到$3^{\circ}$之间的点云投影到投影球面平面上的[^64] [^2048]网格中的设置，如[^19]所述。结果表明，无论采用何种分割网络，BEV的表现始终明显优于球面投影方法。球面投影性能较差的原因有两点：首先，由于点云直接投影到二维球面坐标上，球面投影更容易受到量化误差的影响；其次，即使距离信息被显式编码进特征中，投影过程中该信息仍会丢失，导致空间中相距较远的点被映射到相邻的二维网格中，从而容易被误分类为同一标签。同时，实验还表明，对于每种骨干网络而言，极坐标BEV的性能都与笛卡尔BEV相当甚至更优。由于激光雷达点云在空间上较为稀疏且因遮挡而呈现不连续性，量化会在二维表示中产生不规则且不连贯的边缘。这种不连贯性使得U-Net能够从这些骨干分割网络中脱颖而出，取得最佳性能。 #### 4.7. 增强激光雷达分割性能 此外，我们在表5中分析了不同训练设置对验证集mIoU结果的影响。基线模型是我们采用的网格尺寸为[^256] [^256] [^32]的极坐标BEV U-Net网络。“RC”表示在骨干网络中使用环形卷积核而非普通二维卷积。“9F”表示除了3个极坐标外，我们还使用2个笛卡尔坐标、3个来自指定网格中心的残差距离以及1个反射值，总共9个特征作为每个点输入到CNN网络的参数。“FA”表示为了数据增强，我们以25%的概率随机沿x、y和$x + y$轴翻转点云。“FS”表示根据我们先前提到的统计分析，固定BEV的体积空间。“TG”表示我们尝试了不同的网格尺寸配置后，将网格尺寸调整为[^480] [^360] [^32]以达到最佳性能。从表5可以看出，固定体积空间能使每次扫描中的尺度保持一致，从而带来mIoU提升2.8%这一最显著的改进。在所有其他实验中，这些增强策略也同样应用于笛卡尔BEV网络。 ##### 4.8. mIoU与传感器距离的关系 进一步而言，我们按照距传感器的距离对验证集的逐点预测结果进行排序，并分析不同距离下的mIoU结果。图6显示，随着距离增加，mIoU数值同步下降。出现这种现象的原因是传感器距离与mIoU值在空间中更为分散且稀少，导致分割网络难以从BEV表示中提取上下文信息。这一观察结果与[^1]中的结论一致。不过，从这张图中我们得出的最有趣的结论涉及不同的BEV表示方式： ---
Table 2. Segmentation results on test split of A2D2.
ModelFPSLatencyMACsParamsAccmIoUPer class IoU
Table 3. How projection methods impact models' segmentation performance on val split of SemanticKITTI.
ModelProjectionFPSLatencyMACsParamsmIoUourcyclemotorcycletruckother-vibiclepersonbicyclistmotorcyclerroadparkingsidewalkother-groundbuildingfencevegetationtrunkterrainpoletraffic-sign
SqueezesegSpherical83.60.012s14B0.9M31.8%79.4%0.0%0.0%3.2%1.3%0.0%0.0%0.0%0.0%90.9%19.8%74.7%0.0%75.3%31.6%80.6%37.3%71.1%13.2%26.3%
Cartesian BEV19.50.051s101B1.5M42.6%90.4%15.2%16.6%13.5%16.8%39.0%45.8%0.0%85.7%25.3%65.2%0.0%86.1%32.1%79.7%54.4%60.1%50.9%33.2%33.2%
Polar BEV17.80.056s105B1.5M42.2%89.8%22.1%19.8%14.2%9.2%37.0%14.3%0.4%83.7%15.8%65.6%0.0%85.9%40.2%85.6%54.2%72.1%54.9%36.7%36.7%
Resnet-FCNSpherical38.60.048s92B117M41.6%82.3%1.5%13.7%65.8%15.5%20.3%31.2%0.0%92.1%32.4%75.62%0.1%77.3%31.6%78.1%43.9%66.8%36.6%25.2%25.2%
Cartesian BEV11.70.088s197B117M49.2%89.9%28.2%17.6%56.5%36.3%41.0%66.1%0.0%98.8%38.3%71.4%6.1%86.5%30.4%76.8%52.2%65.7%46.7%39.3%39.3%
Polar BEV11.50.091s200B117M52.5%92.1%22.8%36.2%57.5%24.6%42.5%63.9%0.0%92.1%43.6%77.5%1.7%90.0%46.9%84.4%56.0%73.1%53.3%40.2%40.2%
Spherical39.10.038s94B41M43.4%82.6%3.1%24.5%51.1%18.3%27.3%23.9%0.0%93.0%37.2%77.4%0.2%76.8%42.1%79.7%46.2%68.7%39.2%32.9%32.9%
DRN-DLCartesian BEV10.00.100s171B41M46.7%90.4%14.1%20.3%51.4%37.3%39.3%42.3%0.0%87.6%30.6%68.0%1.5%86.5%33.0%83.2%49.2%69.8%44.3%39.0%40.2%
Polar BEV9.90.101s173B41M51.2%91.6%19.4%35.0%34.6%20.8%50.8%55.1%0.0%92.5%38.6%77.5%1.1%88.5%44.4%84.8%59.7%70.0%56.7%40.2%39.0%
Spherical89.50.151s45B50B41.6%81.0%10.6%17.6%58.9%12%21.3%24.7%0.0%92.5%45.5%76.4%0.0%76.0%40.4%80.4%54.2%66.3%35.1%33.6%33.6%
Resnet-DLCartesian BEV11.80.090s109B60M50.4%92.6%17.8%41.9%62.0%24.2%42.0%66.3%0.0%87.1%27.2%69.6%0.4%87.4%41.5%84.7%54.8%71.0%48.7%39.1%42.2%
Polar BEV11.70.094s109B60M53.6%91.5%30.7%38.8%46.4%24.0%54.1%62.2%0.0%92.4%47.1%78.0%1.8%89.1%45.5%85.4%59.6%72.3%58.1%42.2%39.0%
Table 4. Segmentation results on test split of Paris-Lille-3D.
ModelAccmIoUPer class IoU
groundbuildingpolebollardtrash canbarrierpedestriancarvegetation
Squeezesegv2 [^36]87.3%36.9%95.9%82.7%18.7%9.9%3.8%15.2%3.4%49.9%52.8%
DarkNet53 [^1]88.9%40.0%96.7%84.9%19.5%16.7%4.8%17.6%3.4%58.2%57.9%
Unet w/ Cartesian BEV80.9%40.3%96.0%44.0%38.4%42.8%12.7%12.4%12.1%70.4%33.60%
PolarNet87.5%43.7%96.8%69.1%32.2%27.6%2.4%27.5%12.1%74.0%51.60%
Table 5. Improvement break down. RC denotes ring convolution. 9F denotes using 9 features to describe each point. FA denotes flip augmentation. FS denotes fixed volume space. TG denotes tuned grid size.
RC9FFAFSTGmIoU
46.9%
✗47.4%
✗✗48.5%
✗✗✗50.6%
✗✗✗✗53.4%
✗✗✗✗✗54.9%
![Image](images/1fdd53679b8359e0a7d381919fa3573ccaf02e1b4db37e7ef3393954cd4a3bb2.jpg)
Figure 6. Points distance to sensor vs. their IoU in different networks and projections. Clearly, closer points benefits the most from polar BEV regardless of backbone networks.
如图4所示，由于极坐标BEV表示中点的分布更为均匀，因此在近距离范围内极坐标BEV的mIoU值整体高于笛卡尔BEV。这使得极坐标BEV在较近的点上能取得更优的mIoU表现，而这些近距点恰好是扫描中的主要组成部分。 ### 5. 结论 在本文中，我们针对在线单次扫描激光雷达点云语义分割问题提出了一种新颖的数据表示方法。我们的方法通过将点云量化到极坐标系下的鸟瞰图（BEV）网格中，来解决激光雷达点云长尾式空间分布的问题；随后利用可训练的PointNet将各点编码为固定大小的表征。基于这种极坐标网格表示，PolarNet网络在SemanticKITTI、A2D2和Paris-Lille-3D数据集上的mIoU指标相比现有最先进方法有了显著提升，同时其参数量更少、吞吐量更高且推理延迟更低。此外，实验结果表明：与球面投影和笛卡尔坐标系下的BEV相比，采用我们的极坐标BEV表示时，不同分割网络的性能均能得到普遍提升，这证明极坐标网格是一种更优越且通用的在线语义分割场景激光雷达点云数据表示方法。 --- ## 参考文献 [^1]: Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Cyrill Stachniss, and Jurgen Gall. SemanticKITTI: A dataset for semantic scene understanding of lidar sequences. In Proceedings of the IEEE International Conference on Computer Vision, pages 9297–9307, 2019. 1, 2, 3, 4, 5, 6, 7, 8 [^2]: Serge Belongie, Jitendra Malik, and Jan Puzicha. Shape context: A new descriptor for shape matching and object recognition. In Advances in neural information processing systems, pages 831–837, 2001. 2 [^3]: Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuScenes: A multimodal dataset for autonomous driving. arXiv preprint arXiv:1903.11027, 2019. 1 [^4]: Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan L Yuille. Semantic image segmentation with deep convolutional nets and fully connected crfs. arXiv preprint arXiv:1412.7062, 2014. 3 [^5]: Liang-Chieh Chen, George Papandreou, Florian Schroff, and Hartwig Adam. Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587, 2017. 2, 3 [^6]: Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, and Hartwig Adam. Encoder-decoder with atrous separable convolution for semantic image segmentation. In Proceedings of the European Conference on Computer Vision, pages 801–818, 2018. 3 [^7]: Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1907–1915, 2017. 3 [^8]: Matthias Fey and Jan E. Lenssen. Fast graph representation learning with PyTorch Geometric. In ICLR workshop on representation learning on graphs and manifolds, 2019. 6 [^9]: A. Geiger, P. Lenz, and R. Urtasun. Are we ready for autonomous driving? The KITTI vision benchmark suite. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3354–3361, 2012. 1, 3, 5 [^10]: Jakob Geyer, Yohannes Kassahun, Mentar Mahmudi, Xavier Ricou, Rupesh Durgesh, Andrew S. Chung, Lorenz Hauswald, Viet Hoang Pham, Maximilian Mühlegg, Sebastian Dorn, Tiffany Fernandez, Martin Jänicke, Sudesh Mirashi, Chiragkumar Savani, Martin Sturm, Oleksandr Vorobiov, and Peter Schuberth. A2D2: AEV autonomous driving dataset. 2019. 1, 2, 3, 5 [^11]: T Hackel, N Savinov, L Ladicky, JD Wegner, K Schindler, and M Pollefeys. SEMANTIC3D. NET: a new large-scale point cloud classification benchmark. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, pages 91–98, 2017. 3 [^12]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham. RandLA-Net: Efficient semantic segmentation of large-scale 点云。载于IEEE计算机视觉与模式识别会议论文集，2020年。6,7 [^13]: Qiangui Huang, Weiyue Wang, and Ulrich Neumann. Recurrent slice networks for 3d segmentation of point clouds. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2626–2635, 2018. 2 [^14]: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, and Steven L Waslander. Joint 3d proposal generation and object detection from view aggregation. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 1–8, 2018. 3 [^15]: Loic Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4558–4567, 2018. 2, 3 [^16]: Alex H Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. PointPillars: Fast encoders for object detection from point clouds. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 12697–12705, 2019. 2, 3, 4, 5 [^17]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2117–2125, 2017. 2 [^18]: Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3431–3440, 2015. 3 [^19]: Andres Milioto and C Stachniss. RangeNet++: Fast and accurate LiDAR semantic segmentation. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2019. 3, 6, 7 [^20]: Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer. Automatic differentiation in PyTorch. In NIPS autodiff workshop, 2017. 6 [^21]: Charles R Qi, Wei Liu, Chenxia Wu, Hao Su, and Leonidas J Guibas. Frustum pointnets for 3d object detection from rgb-data. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 918–927, 2018. 3 [^22]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 652–660, 2017. 2, 5, 6, 7 [^23]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Advances in neural information processing systems, pages 5099–5108, 2017. 2, 3, 6, 7 [^24]: Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018. 3, 6 ## [^25]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical Image Computing --- 以及计算机辅助干预会议论文集，第234–241页，2015年。 [^26]: Xavier Roynard, Jean-Emmanuel Deschaud, and François Goulette. Paris-Lille-3D: A large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classification. The International Journal of Robotics Research, 37(6):545–557, 2018. 2, 3, 5 [^27]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770–779, 2019. 2 [^28]: Martin Simon, Stefan Milz, Karl Amende, and Horst-Michael Gross. Complex-yolo: An euler-region-proposal for real-time 3D object detection on point clouds. In Proceedings of the European Conference on Computer Vision, pages 197–209, 2018. 4 [^29]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, et al. Scalability in perception for autonomous driving: Waymo open dataset. arXiv preprint arXiv:1912.04838, 2019. 1, 3 [^30]: Maxim Tatarchenko, Jaesik Park, Vladlen Koltun, and Qian-Yi Zhou. Tangent convolutions for dense prediction in 3D. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3887–3896, 2018. 2, 6, 7 [^31]: Lyne Tchapmi, Christopher Choy, Iro Armeni, JunYoung Gwak, and Silvio Savarese. Segcloud: Semantic segmentation of 3d point clouds. In Proceedings of the International Conference on 3D Vision, pages 537–547, 2017. 2 [^32]: Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. International Conference on Learning Representations, 2018. 2, 3 [^33]: Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Weinberger. Pseudo-lidar from visual depth estimation: Bridging the gap in 3D object detection for autonomous driving. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 8445–8453, 2019. 3 [^34]: Yue Wang, Yongbin Sun, Ziwei Liu, Sanjay E Sarma, Michael M Bronstein, and Justin M Solomon. Dynamic graph cnn for learning on point clouds. ACM Transactions on Graphics, 38(5):146, 2019. 2, 3 [^35]: Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In Proceedings of the International Conference on Robotics and Automation, pages 1887–1893, 2018. 3, 6, 7, 8 [^36]: Bichen Wu, Xuanyu Zhou, Sicheng Zhao, Xiangyu Yue, and Kurt Keutzer. Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud. In Proceedings of the International Conference on Robotics and Automation, pages 4376–4382, 2019. 2, 3, 7, 8 [^37]: Yan Yan, Yuxing Mao, and Bo Li. Second: Sparsely embedded convolutional detection. Sensors, 18(10):3337, 2018. 3 [^38]: Bin Yang, Wenjie Luo, and Raquel Urtasun. PIXOR: Real-time 3d object detection from point clouds. In Proceedings 载于IEEE计算机视觉与模式识别会议论文集，第7652–7660页，2018年。2, 3, 4 [^39]: Fisher Yu and Vladlen Koltun. Multi-scale context aggregation by dilated convolutions. In International Conference on Learning Representations, 2016. 2 [^40]: Fisher Yu, Vladlen Koltun, and Thomas Funkhouser. Dilated residual networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 472–480, 2017. 3 [^41]: Chris Zhang, Wenjie Luo, and Raquel Urtasun. Efficient convolutions for real-time semantic segmentation of 3d point clouds. In Proceedings of the International Conference on 3D Vision, pages 399–408, 2018. 2, 3, 4 [^42]: Richard Zhang, Stefan A Candra, Kai Vetter, and Avideh Zakhor. Sensor fusion for semantic segmentation of urban scenes. In Proceedings of the International Conference on Robotics and Automation, pages 1850–1857, 2015. 1