# RPVNet：一种用于激光雷达点云分割的深度高效距离-点-体素融合网络
徐建云 $^{1*}$ 张瑞翔 $^{1,2*}$ 窦健 $^{1}$ 朱玉石 $^{1}$
孙杰 $^{1}$ 蒲世良 $^{1\dagger}$
$^{1}$海康威视研究院 $^{2}$ 浙江大学
{xujianyun, zhangruixiang7, doujian, zhuyushi, sunjie, pushiliang.hri}@hikvision.com
## 摘要
点云可以有多种表现形式（视图），通常是基于点的集合、基于体素的单元格或基于距离的图像（即全景视图）。基于点的视图在几何上更精确，但数据无序，难以高效查找局部邻域。基于体素的视图规则整齐，但较为稀疏，且当体素分辨率提高时计算量会呈立方级增长。基于距离的视图规则且通常密度较高，但球面投影会导致物理尺寸失真。基于体素和基于距离的视图都存在量化损失问题，尤其是在处理大规模场景中的体素时更为明显。为了利用不同视图的优势并弥补它们在细粒度分割任务中的不足，我们提出了一种新颖的距离-点-体素融合网络，即RPVNet。在该网络中，我们设计了一个包含这三种视图之间多重交互的深层融合框架，并提出了一种门控融合模块（简称GFM），它可以根据同时输入的特征自适应地合并三种特征。此外，所提出的RPV交互机制效率极高，我们将其总结为更通用的公式。借助这种高效的交互方式和相对较低的体素分辨率，我们的方法也被证明更高效。最后，我们在SemanticKITTI和nuScenes这两个大规模数据集上评估了所提出的模型，它在这两个数据集上都取得了最先进的性能。值得注意的是，目前我们的方法在无需任何额外技巧的情况下，在SemanticKITTI排行榜上的排名达到了$1^{st}$。
### 1. 引言
由于其在AR/VR、机器人技术和自动驾驶等领域的广泛应用，3D计算机视觉正受到越来越多的关注。在本文中，我们的目标是
(a) Point-based: disordered
(b) Voxel-based: sparse, quantization loss
(c) Range-based: physical dimensions distorted
Figure 1. All three views have shortcomings. (a) point-based: the points are irregular, which makes finding the neighbors of a point inefficient. (b) voxel-based: voxelization brings quantization loss, and the computation grows cubically when resolution increases. (c) range-based: range-image distorts physical dimensions because of spherical projection.
提升驾驶场景下的语义分割性能，从而为整个3D场景提供高质量的点级感知结果。由激光雷达传感器采集的3D数据通常以点云形式呈现，它有几种常见的表现形式（视图）以及相应的预处理方式。
传统上，研究人员会将点云栅格化为体素单元格，如图1(b)所示，并使用3D体积卷积对其进行处理 [^11] [^28]。由于体素是基于笛卡尔坐标系定义的，基于体素的视图能保留物理尺寸，且内存访问局部性较好。不过，它相对较为稀疏，需要极高的分辨率才能避免量化信息丢失，而这会导致计算和内存占用呈立方级增长。
---
该视图保留了物理尺寸，且内存局部性良好。不过它相对稀疏，需要极高的分辨率才能消除量化信息损失，这会导致计算和内存占用呈立方级增长。
近期，如图1(a)所示，基于点的视图受到了越来越多的关注，各类研究也倾向于直接利用点数据。PointNet [^24] 是率先采用逐点多层感知机（MLP）来提取点特征的工作，但它缺乏局部上下文建模能力。在PointNet的基础上，后续的研究 [^26] [^2] [^37] [^34] [^31] 十分重视通过聚合邻域特征来提取每个点的局部特征。然而，由于点云是无结构的数据，由于内存访问的随机性，搜索某个点的邻域时效率较低。
另一类相关研究 [^36] [^38] [^23] [^12] 采用了球形投影方案，即基于距离的视图，如图1(c)所示。在这种方案中，以深度图形式呈现的3D信息子空间可通过成熟的2D网络进行学习。在这些方法中，对距离图像应用的卷积层能够聚合较大感受野内的信息，从而有助于缓解点云稀疏性问题。不过由于采用球形投影，物理维度并非与距离无关，在杂乱的场景中物体之间可能会出现严重重叠。
针对大规模驾驶场景中的点云分割问题，我们发现：1）体素类方法的性能相对优于基于点和基于距离的方法，同时基于点和基于距离方法中表现最优的模型性能基本相当，如图2(a)所示；2）由于2D卷积经过了高度优化，基于距离的方法相对比基于点和基于体素的方法更高效，而基于点的方法在涉及邻域搜索时远达不到实时要求；3）在兼顾效率的前提下，基于体素的方法很难保持较高的体素分辨率，且当分辨率降低时性能会急剧下降，如图2(b)所示。
将不同视图结合起来，利用它们之间的互补信息，同时保留各自的优势并弥补不足，这是很自然的选择。最近的一项尝试是PVCNN [^21]，这是一种点-体素融合方案：其中体素提供粗粒度的局部特征，而点则通过简单的逐点MLP来保留细粒度的几何特征。这一思路提供了很好的视角，但如图2(b)所示，点-体素融合带来的性能提升有限，仅靠简单的加法融合并不足以实现理想的效果。
在本文中，我们提出了一种深度且自适应的距离-点-体素融合框架，旨在协同利用这三种视图的表征信息。具体而言，如图4所示，我们设计了一种以点为中介的融合策略
(a) methods vs mIoU
(b) voxel resolution vs mIoU
Figure 2. Performance overview. (a) performance distribution of different methods. It indicates that voxel-based methods is generally better than point- and range-based methods, and multi-view fusion based method is better than single-view methods. (b) performance versus voxel resolution. V denotes voxel-based method, PV is point-voxel fusion method, and RPV is our range-point-voxel fusion method. We can discover that PV fusion can only get a limited improvement, but our RPV fusion can consistently boost the performance even when the voxel resolution is relatively high.
首先将范围像素和体素单元上的特征传递到点云中，然后应用自适应特征选择来为每个点选取最佳的特征表示，最后将融合后的点云特征再传回范围图像和体素中。与以往其他多视图融合方法[^6] [^42] [^33] [^20] [^39] [^14]（这些方法要么在网络前端融合，要么在后端融合）相比，我们的方法在网络中多次执行上述融合操作，从而让不同视图能够以更深层且更灵活的方式相互增强。在效率方面：首先，我们利用哈希映射提出了高效的RPV交互机制；其次，我们在体素分支中采用了较低的体素分辨率和稀疏卷积；第三，我们在点云分支中采用类似于[^21]的简单多层感知机，从而避免了低效的局部邻域搜索过程；最后，我们采用高效的范围分支来减少计算量。此外，我们发现数据集中类别极度不平衡，因此在训练阶段设计了实例级CutMix增强方法来缓解类别不平衡问题。
本文的主要贡献如下：
- 我们设计了一种深度且自适应的范围-点云-体素融合框架，该框架能让不同视图以更灵活的方式相互增强。
- 我们利用哈希映射提出了高效的RPV交互机制，并将其总结为更通用的公式以便未来扩展应用。
• 我们开展了大量实验来评估所提方法的有效性和效率，该方法在SemanticKITTI [^3]和nuScenes [^4]数据集上均取得了最先进的结果。
---
### 2. 相关工作
#### 2.1. 基于点云的分割
PointNet [^24]首次通过基于多层感知机的网络实现了对点云的直接操作。尽管后续的一系列精细研究[^26] [^2] [^37] [^34] [^31]在室内点云数据上被证明有效，但由于计算和内存限制，它们大多无法直接扩展到大规模室外数据。RandLA-Net [^15]采用随机采样和局部特征聚合方式来减少随机操作带来的信息损失，它为加速点云网络提供了一种可行途径，但无法避免采样导致的精度损失。KPConv [^31]凭借其新颖的基于空间核的点云卷积操作，取得了当前基于点云方法中的最佳结果；然而面对同样的问题，它也无法直接对大场景下的全部数据进行训练。无奈之下，人们采用基于半径的类别平衡采样来缩减数据规模，但这种划分可能会破坏点云的一些固有信息。总体而言，尽管基于点云的方法参数较少[^15]，但它们不可避免地涉及低效的局部邻域搜索过程。
#### 2.2. 基于体素的分割
早期的体素基方法[^5] [^22] [^25] [^11] [^28] [^43] [^35]会将点云转换为体素，然后应用常规的3D卷积来进行语义分割。最近，一些研究[^10] [^30]致力于加速3D卷积过程，从而在减少计算量的同时提升性能。与此同时，3D空间划分的变体[^41] [^44]也相继被提出。其中，Cylinder3D[^44]设计了一种非对称残差块来减少计算量，并确保能提取出与立方体物体相关的特征。AF2S3Net[^8]则在[^10]的基础上进一步发展，达到了以往方法中的最优水平；它提出了两种新颖的注意力模块——注意力特征融合模块（AF2M）和自适应特征选择模块（AFSM），能够有效学习局部和全局上下文信息，并突出细节丰富的部分。此外，该方法还采用了一种具备几何感知各向异性的混合损失函数[^17]来恢复细节信息。当分辨率降低时，体素方法会遭受严重的信息丢失问题，而我们提出的方法则利用其他视角来弥补这一缺陷。
#### 2.3. 基于距离的分割
基于距离的点云分割方法[^23] [^12] [^16] [^36] [^38]通过将3D点云投影到2D密集球形网格上来利用2D CNN。例如，RangeNet++[^23]以YOLOv3中的DarkNet骨干网络[^27]作为特征提取器，并通过加速版KNN进行后续处理。SalsaNext[^12]以Salsanet[^1]为基准，提出了一种用于点特征学习的不确定性感知机制。而在这类方法中，KPRNet[^16]表现突出，它采用强大的ResNeXt-101骨干网络以及空洞空间金字塔池化层，取得了最优结果；同时，它还创新性地用KPCConv[^31]替代效率较低的KNN作为分割头。尽管基于距离的方法能够利用成熟的2D图像分割技术，但球形投影过程会导致物理尺寸的失真，而我们提出的RPVNet通过多视角交互学习避免了这一问题。
#### 2.4. 多视角融合
由于单一视角或多或少都存在一些问题，近期的一些方法[^42] [^33] [^20] [^39] [^14] [^30]试图将两种或更多不同的视角融合在一起。例如，[^42] [^33]中的方法通过先结合鸟瞰图和距离图像中的点级信息，再进行早期融合，随后将其输入后续网络。AMVNet[^20]则设计了一种晚期融合方法：先计算不同视角输出的不确定性，再利用额外的网络对结果进行优化。FusionNet[^39]提出了一种点-体素交互式MLP，用于聚合邻域体素与对应点之间的特征，这样既减少了邻居搜索所耗费的时间，又能在大规模点云上取得可接受的精度。尤其是PVCNN[^21]提出了一种高效的点-体素融合方案：其中体素提供粗粒度的局部特征，而点则通过简单的逐点MLP来保留细粒度的几何特征。上述方法仅使用了两种视角，且它们之间的融合方式也非常简单（如相加）。而我们提出的方法能够更有效地利用多视角信息，选取并融合其中有用的部分。
### 3. 方法论
在本节中，我们首先介绍网络的整体架构，接着阐述其关键组件，即RPV交互与融合方法。最后，我们还会介绍所采用的高效数据增强策略。
#### 3.1. 框架概述
图3展示了我们所提出的方法RPVNet的框图。它是一个具有多重交互的三分支网络。从上到下，这三个分支分别为体素分支、点分支和距离分支。我们对体素分支和距离分支采用了极为相似的Unet结构。Unet结构首先通过主干网络从原始输入中提取上下文信息，接着执行四个下采样阶段，最后连接四个上采样阶段以恢复原始点云。点分支是一个极其简单的PointNet[^24]，包含多个MLP。
---
Figure 3. Overview of RPVNet. It is a three-branch network with multiple interactions among them, where voxel- and range-branch share the similar Unet architecture, and point-branch only utilize per-point MLPs.
RPV融合发生在主干网络之后、第四个下采样阶段之后、第二个上采样阶段以及最后一个上采样阶段之后，这一设置与SPVCNN[^30]保持一致，便于公平比较。多视角交互的细节将在下一节中详细说明。
#### 3.2. 高效的多视角交互学习
原始点云可以转换为不同的视角，通常是体素和距离图像，因此点可以作为中间载体来建立这些视角之间的联系——任何形式的点云表示都可以视为原始点的映射。据此，我们通过构建多视角表示索引和多视角特征传播来实现高效的多视角交互学习。多视角的统一特征映射与表示是通过索引系统实现的；多视角特征的交互与学习则通过特征传播来完成。因此，我们在所提出的RPVNet中构建了距离-点-体素交互模块，具体细节如下。
多视角表示索引。给定一个以点形式存在的数据点云$P \in \mathbb{R}^{N \times (3+C)}$，我们可以通过某种“投影”函数将其转换为其他任意形式$X \in \mathbb{R}^{M \times D}$；其中N表示点的数量，$3$代表点在欧几里得空间中的xyz坐标，C为点的特征通道数，M表示该形式中元素的数量，而D则是用于描述其位置信息的维度。为了建立P与X之间的关联，我们首先使用“投影”函数$\mathcal{P} : \mathbb{R}^{N \times (3+C)} \mapsto \mathbb{R}^{M \times D}$，随后再应用哈希函数$\mathcal{H} : \mathbb{R}^{M \times D} \mapsto \mathbb{N}^M$。如此便能构建从P到X的哈希映射，从而实现高效的查找。我们将X定义为点云的任意表示形式，任何点云表示形式X都可视为原始点集P的一种映射。需要注意的是，“投影”函数$\mathcal{P}$可能属于多对一映射，而在我们的场景中哈希函数$\mathcal{H}$则是一对一映射。
多视角特征传播。在其他点云表示形式X中，元素j的特征会受到对应原始点的影响。由于“投影”函数$\mathcal{P}$未必是单射函数，因此j通常会同时受到来自P中多个键的影响。将j的所有对应键定义为$\mathcal{K}_X(j) = \{k, \mathcal{H}(\mathcal{P}(k)) = \mathcal{H}(j)\}$，j的特征便是从这些对应键处传播而来。总体而言，从点到其他视角的特征传播可以表述为：
$$ \mathcal{F}_{X}(j)=\Omega(j,\mathcal{F}_{P}) $$
其中$\mathcal{F}_X \in \mathbb{R}^{M \times D}$、$\mathcal{F}_P \in \mathbb{R}^{N \times (3+C)}$分别为X和P的特征，$\Omega(\cdot)$表示加权函数（如取平均值、最大值等）。
相反，我们将逆特征传播函数定义为$\Phi(\cdot)$，它反映了信息从其他视角流向点视角的过程。其公式如下：
$$ \mathcal{F}_{P}(i)=\Phi(j,\mathcal{F}_{X}). $$
其中i表示P中的一个点。
基于点的范围-点-体素交互表示能够保留几何细节并捕捉细粒度信息，这对行人、自行车等小型实例尤为友好。而基于体素的表示则会将点映射到规则的3D网格中，同时保持空间结构，从而有效提取各3D维度中的信息。不过，体素分辨率的存在会导致量化损失。基于范围的表示则将稀疏的点转换为结构化且密集的图像，较大的感受野能为大规模类别提供更丰富的语义信息。为此，我们充分利用了这三种视角的信息，实现了它们之间的交互学习，以提升各类别的表现。
---
这种映射方式能将点映射到规则的3D网格中，同时保留空间结构，从而有效提取各个3D维度上的信息。然而，体素分辨率的存在会引发量化损失。基于范围的表述方式可将稀疏点转化为结构化且密集的图像，而较大的感受野能为大规模类别提供更丰富的语义信息。为此，我们充分利用了这三种视图的信息，并实现了它们之间的交互式学习，以提升各类别的表现。
如上所述，我们首先构建了范围-点-体素索引系统，具体包括从点到范围视图和体素表示的投影索引与体素化索引。投影索引是通过将点投影到球面来生成范围图像，具体如[^32]所示。通过范围化处理后，我们得到高度为H、宽度为W且包含点的归一化坐标$R \in \mathbb{R}^{H \times W \times D}$的范围图像$G = (n, m)$，其中归一化坐标表示任意尺度地图上的点。除了点与范围图像之间的映射外，我们还通过将输入点云P转换为稀疏体素表示V来实现体素化索引。对于不同的体素大小r，“投影”映射关系为$\mathcal{P}_V : \mathcal{F}_{P(z)} \xrightarrow{r} \mathcal{F}_{V([z/r])}$，其中z为点的坐标。
基于Range-Point-Voxel索引系统，我们进一步实现了特征之间的传播。在本研究中，我们采用平均法将特征从Point视图传递到另外两个视图。因此，我们可以将公式1中的$\Omega(j, \mathcal{F}_P)$重写如下：
$$ \Omega(j,\mathcal{F}_{P})=\frac{\sum_{u\in\mathcal{K}_{X}(j)}\mathcal{F}_{P}(u)}{Num(\mathcal{K}_{X}(j))} $$
其中，$\text{Num}(\cdot)$表示计数函数，u代表$\mathcal{K}_X(j)$中的元素。此外，特征的偏导数可以计算如下：
$$ \frac{\partial\mathcal{F}_{X}(j)}{\partial\mathcal{F}_{p}(u)}=\frac{1}{N u m(\mathcal{K}_{X}(j))}. $$
另外，对于从其他视图到Point视图的特征传播函数，为简便起见，可采用最近邻插值法来实现，即$\Phi(j, \mathcal{F}_X) = \mathcal{F}_X(\lfloor j \rfloor)$。此外，我们参考了[^30]中的实现方式，该方式利用三线性插值结合八邻域体素网格来处理体素到Point视图的转换。类似地，我们的Range到Point视图过程采用双线性插值方法，如下所示：
$$ \mathcal{F}_{P}(i)=\Phi(\delta(j),\mathcal{F}_{R})=\sum_{u\in\delta(j)}\phi(u,j)\mathcal{F}_{R}(u) $$
$$ \phi(u,j)=(1-\lfloor j_{x}-u_{x}\rfloor)(1-\lfloor j_{y}-u_{y}\rfloor) $$
其中，$\phi(\cdot)$用于计算双线性权重，$\delta(j)$表示j的四个邻域网格。因此，其偏导数为：
Figure 4. Details of RPV fusion. In left block: Given a point and its hash code, we need to find the corresponding voxel or pixel. In middle block: Given features on point from different views, we need to merge them adaptively. In right block: Given the fused point feature, we need to project it back to other views.
公式4可表示为：
$$ \frac{\partial\mathcal{F}_{P}(i)}{\partial\mathcal{F}_{R}(u)}=\sum_{u\in\delta(j)}\phi(u,j). $$
#### 3.3. 门控融合模块（GFM）
给定来自不同视图分支的L个特征向量$X_i \in \mathbb{R}^{N_i \times C_i}$，其中$N_i, C_i$分别表示第i个特征向量的点数量和通道数。多视图特征融合的核心任务是在大量无用信息的干扰下，将有用信息聚合在一起。加法和拼接是常用的多特征聚合操作，但这两种操作都会受到大量非信息性特征的影响。它们可以表述为：
$$ \widetilde{X}=c o n c a t(X_{1},...,X_{L}), $$
$$ \widetilde{X}=\sum_{i=1}^{L}X_{i}, $$
其中，$\widetilde{X}$为融合后的特征向量。由于变异性，不同视图分支的特征重要性并不一致。但上述主流融合策略忽略了每个特征向量的有用性，在融合过程中将大量无用特征与有用特征混合在一起。
受成熟的门控机制[^9] [^29] [^19]启发——该机制可通过衡量每个特征的重要性来自适应地聚合信息——我们的门控融合模块基于常规的加法融合设计，通过门控来过滤信息流。门控融合的正式定义如下：
$$ \widetilde{X}=\sum_{i}^{L}s p l i t[s o f t m a x(\sum_{i}^{L}G_{i})]_{i}\cdot X_{i} $$
---
其中，$\cdot$表示逐元素乘法，$G_i \in [0,1]^{N \times L}$表示第i个表征对应的门控向量。每个门控向量针对每个表征有L个通道。各通道上的特征权重通过求和叠加后，再由softmax转换为概率权重。最终，对应通道上的结果会被分离出来以对输入特征进行加权。每个门控向量$G_i = \text{sigmoid}(w_i * X_i)$由参数为$w_i \in \mathbb{R}^{1 \times L \times C_i}$的卷积层估算得出。详细操作可参见图4(b)。
#### 3.4. 实例CutMix
尽管一些针对室内点云的数据增强方法$^{[18,7,40]}$已被证明有效，但关于室外场景的研究却寥寥无几。受以往基于混合的方法启发，我们提出了实例混合技术，以解决激光雷达语义分割中的类别不平衡问题。
从经验上看，如果允许场景中重复出现某些物体，网络就能更准确地预测那些出现频率较低的物体。受此发现启发，我们从训练集的每一帧中提取稀有类别的物体实例（如自行车、车辆），存入一个小型样本库。训练期间，会按类别等量地从该样本库中随机选取样本，随后对这些样本进行随机缩放和旋转处理。为确保与实际情况高度吻合，我们会将物体随机放置在地面类点之上。最后，再将来自其他场景的一些新稀有物体“粘贴”到当前训练场景中，以模拟各种环境下的物体。
### 4. 实验
本节将介绍RPVNet的实现细节（4.1节），并在极具竞争力的SemanticKITTI数据集[^3]（4.2节）以及新推出的大规模nuScenes数据集[^4](Sec. 4.3)上，与以往的最先进方法进行比较。4.2节还详细介绍了计算开销和可学习参数，以说明我们方法的效率。最后，在4.4节中，我们开展了大量的消融研究，以探究RPVNet的关键组成部分，并得出了一些颇具前景的结论。
#### 4.1. 实验设置
数据集。SemanticKITTI [^3]源自KITTI视觉基准测试[^13]，是针对驾驶场景的点云分割任务的大规模数据集。它包含来自德国某城市22个序列的43551次激光雷达扫描数据。这些扫描由Velodyne-HDLE64激光雷达采集，每次扫描约有12万个点。这22个序列被分为3组：训练集（序列00至10，其中序列08除外，共19130次扫描）、验证集（序列08，共4071次扫描）以及测试集（序列11至21，共20351次扫描）。SemanticKITTI共定义了28个类别，但官方评估时会忽略点数较少的类别，并将具有不同移动状态的类别合并，因此实际使用的有效类别为19个。
用于激光雷达语义分割的nuScenes [^4]是全新发布的数据集，包含从波士顿和新加坡不同地区采集的1000个场景。每个场景时长20秒，采样率为20Hz，由Velodyne HDL-32E传感器采集，因此nuScenes总共包含40000帧数据。其中8130个样本用于训练，6019个用于验证，6008个用于测试。合并相似类别并剔除稀有类别后，最终用于激光雷达语义分割的类别共有16个。
评估指标。按照官方指南[^3] [^4]的建议，我们采用所有类别的平均交并比（mIoU）作为评估指标。mIoU的计算公式如下：
$$ mIoU=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_{c}}{TP_{c}+FP_{c}+FN_{c}} $$
其中，$TP_{c}$、$FP_{c}$、$FN_{c}$分别表示类别c的真阳性、假阳性和假阴性预测结果，C为类别总数。
网络设置。如图3所示，距离分支和体素分支均采用类Unet架构，包含主干层、四个下采样阶段和四个上采样阶段，这9个阶段的维度分别为32、64、128、256、256、128、128、64、32。对于距离分支，在SemanticKITTI数据集上，输入的距离图像尺寸为$64 \times 2048$；在nuScenes数据集上初始尺寸为$32 \times 2048$，之后会被调整为由$64 \times 2048$，以便与SemanticKITTI保持一致。至于体素分支，在4.2节和4.3节的实验中，体素分辨率设为$0.05m$。对于点分支，它由四个逐点MLP组成，维度分别为32、256、128、32。
训练与推理细节。我们在训练中采用常用的交叉熵作为损失函数。我们的RPVNet通过ADAM或SGD优化器以端到端方式从零开始训练。对于SemanticKITTI数据集，上传至排行榜的模型采用SGD优化器训练，批量大小为12，学习率为0.24，在2个GPU上训练60个周期，这一设置与SPVCNN [^30]保持一致以便公平比较。该配置在2块Tesla V100 GPU上大约需要100小时才能完成训练。对于其他实验，包括nuScenes数据集和消融研究，我们采用ADAM优化器训练整个网络，批量大小为40，学习率为0.003，在8块Tesla V100 GPU上训练80个周期。学习率衰减采用了余弦退火策略。训练期间，我们采用了广泛使用的分割数据增强策略，包括从[0.95, 1.05]范围内随机抽取缩放因子的全局缩放操作，以及绕Z轴的随机角度全局旋转。我们还采用了所提出的实例cut-mixup采样方法。
---
| Methods | mIoU | car | bicycle | motorcycle | truck | other-vehicle | person | bicyclist | motorcyclist | road | parking | sidewalk | other-ground | building | fence | vegetation | trunk | terrain | pole | traffic-sign |
| PointNet [^24] | 14.6 | 46.3 | 1.3 | 0.3 | 0.1 | 0.8 | 0.2 | 0.2 | 0.0 | 61.6 | 15.8 | 35.7 | 1.4 | 41.4 | 12.9 | 31.0 | 4.6 | 17.6 | 2.4 | 3.7 |
| RandLANet [^15] | 53.9 | 94.2 | 26.0 | 25.8 | 40.1 | 38.9 | 49.2 | 48.2 | 7.2 | 90.7 | 60.3 | 73.7 | 20.4 | 86.9 | 56.3 | 81.4 | 61.3 | 66.8 | 49.2 | 47.7 |
| KPConv [^31] | 58.8 | 96.0 | 30.2 | 42.5 | 33.4 | 44.3 | 61.5 | 61.6 | 11.8 | 88.8 | 61.3 | 72.7 | 31.6 | 90.5 | 64.2 | 84.8 | 69.2 | 69.1 | 56.4 | 47.4 |
| SqueezeSegv3 [^38] | 55.9 | 92.5 | 38.7 | 36.5 | 29.6 | 33.0 | 45.6 | 46.2 | 20.1 | 91.7 | 63.4 | 74.8 | 26.4 | 89.0 | 59.4 | 82.0 | 58.7 | 65.4 | 49.6 | 58.9 |
| RangeNet++ [^23] | 52.2 | 91.4 | 25.7 | 34.4 | 25.7 | 23.0 | 38.3 | 38.8 | 4.8 | 91.8 | 65.0 | 75.2 | 27.8 | 87.4 | 58.6 | 80.5 | 55.1 | 64.6 | 47.9 | 55.9 |
| SalsaNext [^12] | 59.5 | 91.9 | 48.3 | 38.6 | 38.9 | 31.9 | 60.2 | 59.0 | 19.4 | 91.7 | 63.7 | 75.8 | 29.1 | 90.2 | 64.2 | 81.8 | 63.6 | 66.5 | 54.3 | 62.1 |
| PolarNet [^41] | 54.3 | 93.8 | 40.3 | 30.1 | 22.9 | 28.5 | 43.2 | 40.2 | 5.6 | 90.8 | 61.7 | 74.4 | 21.7 | 90.0 | 61.3 | 84.0 | 65.5 | 67.8 | 51.8 | 57.5 |
| MinkowskiNet [^10] | 63.1 $^{{*}}$ | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Cylinder3D [^44] | 67.8 | 97.1 | 67.6 | 64.0 | 59.0 | 58.6 | 73.9 | 67.9 | 36.0 | 91.4 | 65.1 | 75.5 | 32.3 | 91.0 | 66.5 | 85.4 | 71.8 | 68.5 | 62.6 | 65.6 |
| AF2S3 [^8] | 69.7 | 94.5 | 65.4 | 86.8 | 39.2 | 41.1 | 80.7 | 80.4 | 74.3 | 91.3 | 68.8 | 72.5 | 53.5 | 87.9 | 63.2 | 70.2 | 68.5 | 53.7 | 61.5 | 71.0 |
| FusionNet [^39] | 61.3 | 95.3 | 47.5 | 37.7 | 41.8 | 34.5 | 59.5 | 56.8 | 11.9 | 91.8 | 68.8 | 77.1 | 30.8 | 92.5 | 69.4 | 84.5 | 69.8 | 68.5 | 60.4 | 66.5 |
| TornadoNet [^14] | 63.1 | 94.2 | 55.7 | 48.1 | 40.0 | 38.2 | 63.6 | 60.1 | 34.9 | 89.7 | 66.3 | 74.5 | 28.7 | 91.3 | 65.6 | 85.6 | 67.0 | 71.5 | 58.0 | 65.9 |
| AMVNet [^20] | 65.3 | 96.2 | 59.9 | 54.2 | 48.8 | 45.7 | 71.0 | 65.7 | 11.0 | 90.1 | 71.0 | 75.8 | 32.4 | 92.4 | 69.1 | 85.6 | 71.7 | 69.6 | 62.7 | 67.2 |
| SPVCNN [^30] | 63.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| SPVNAS [^30] | 67.0 | 97.2 | 50.6 | 50.4 | 56.6 | 58.0 | 67.4 | 67.1 | 50.3 | 90.2 | 67.6 | 75.4 | 21.8 | 91.6 | 66.9 | 86.1 | 73.4 | 71.0 | 64.3 | 67.3 |
| RPVNet | 70.3 | 97.6 | 68.4 | 68.7 | 44.2 | 61.1 | 75.9 | 74.4 | 73.4 | 93.4 | 70.3 | 80.7 | 33.3 | 93.5 | 72.1 | 86.5 | 75.1 | 71.7 | 64.8 | 61.4 |
Table 1. Class-wise and mean IOU of our proposed method and state-of-the-art methods on SemanticKITTI leaderboard. The methods are grouped as point-based, range-based, voxel-based and fusion networks. *: result reproduced by [^30]. Note that, our result uses the instance CutMix augmentation (see Sec. 3.4), and voxel resolution is set to 0.05m, but without extra tricks. Accessed on 18 March 2021.
| Methods | mIoU | construction | pedestrian | traffic-cone | trailer | truck | driveable | other_flat | sidewalk | terrain | manmade | vegetation |
| barrier | bicycle | bus | car | motorcycle | pedestrian |
| RangeNet++ [^23] | 65.5 | 66.0 | 21.3 | 77.2 | 80.9 | 30.2 | 66.8 | 69.6 | 52.1 | 54.2 | 72.3 | 94.1 | 66.6 | 63.5 | 70.1 | 83.1 | 79.8 |
| PolarNet [^41] | 71.0 | 74.7 | 28.2 | 85.3 | 90.9 | 35.1 | 77.5 | 71.3 | 58.8 | 57.4 | 76.1 | 96.5 | 71.1 | 74.7 | 74.0 | 87.3 | 85.7 |
| Salsanext [^12] | 72.2 | 74.8 | 34.1 | 85.9 | 88.4 | 42.2 | 72.4 | 72.2 | 63.1 | 61.3 | 76.5 | 96.0 | 70.8 | 71.2 | 71.5 | 86.7 | 84.4 |
| AMVNet [^20] | 76.1 | 79.8 | 32.4 | 82.2 | 86.4 | 62.5 | 81.9 | 75.3 | 72.3 | 83.5 | 65.1 | 97.4 | 67.0 | 78.8 | 74.6 | 90.8 | 87.9 |
| Cylindr3D [^44] | 76.1 | 76.4 | 40.3 | 91.2 | 93.8 | 51.3 | 78.0 | 78.9 | 64.9 | 62.1 | 84.4 | 96.8 | 71.6 | 76.4 | 75.4 | 90.5 | 87.4 |
| RPVNet | 77.6 | 78.2 | 43.4 | 92.7 | 93.2 | 49.0 | 85.7 | 80.5 | 66.0 | 66.9 | 84.0 | 96.9 | 73.5 | 75.9 | 76.0 | 90.6 | 88.9 |
Table 2. Class-wise and mean IOU of our proposed method and state-of-the-art methods on nuScenes validation set. Note that out RPVNet shows result without any tricks including instance CutMix.
| View | #params(M) | #Macs(G) | latency(ms) | mIoU |
| RandLA-Net [^15] | 1.2 | 66.5 | 416 | 53.9 |
| SqueezeSegV3 [^38] | 26.2 | 515.2 | 113 | 55.9 |
| MinkowskiNet [^10] | 21.7 | 114 | 139 | 63.1 |
| SPVCNN [^30] | 21.8 | 118.6 | 150 | 63.8 |
| RPVNet | 24.8 | 119.5 | 168 | 70.3 |
| $RPV^{\dagger}Net$ | 24.8 | 74.6 | 111 | 68.3 |
在本实验中，我们将所提出方法的结果与现有的最先进的LiDAR分割方法在SemanticKITTI测试集上的结果进行比较。如所示：
#### 4.2. SemanticKITTI上的结果
Table 3. Illustration of the efficiency and performance trade-off of our RPVNet. The mIoU on SemanticKITTI test set is reported. The latency is tested on Tesla V100, including pre- and post-processing time. $V^{\dagger}$ indicates the voxel resolution is 0.1m.
我们采用一种采样策略，在最后10个训练周期对网络进行微调。需要注意的是，在体素化过程中，我们将训练时的最大体素数设置为84000，推理时则使用全部体素。
如表1所示，我们的方法在mIoU指标上优于所有现有方法。得益于多视角交互学习的强大鲁棒性，RPVNet在19个类别中有11个类别的表现最佳。从表1中我们可以发现：1）基于体素的方法相对优于基于点和基于距离的方法，而基于点和距离的最先进方法性能基本相当；2）多视角融合方法相对优于基于体素的方法。
尽管使用了多视角特征，但由于紧凑的网络设计和高效的实现方式，我们的RPVNet仍展现出极具竞争力的运行延迟，如表3所示。
#### 4.3. nuScenes上的结果
在本实验中，我们报告了所提出方法在新发布的nuScenes验证集上的结果。如表2所示，与以往具有竞争力的方法相比，我们的RPVNet取得了更好的性能，这些方法包括RangeNet++ [^23]、PolarNet [^41]、Salsanext [^12]、AMVNet [^20]以及Cylinder3D [^44]，其中Salsanext表现…
---
| Views | #params (M) | Macs (G) | mIoU |
| SemanticKITTI | nuScenes |
| PV [^30] | 21.8 | 118.6 | 61.5 | 70.6 |
| R | 2.62 | 27.5 | 47.5 | 56.7 |
| P | 0.057 | 5.3 | 14.4 | 16.8 |
| V | 22.1 | 88.1 | 63.6 | 69.5 |
| V $^{\dagger}$ | 22.1 | 43.2 | 60.8 | 72.8 |
| V $^{\ddagger}$ | 22.1 | 11.4 | 52.8 | 66.5 |
| RP | 2.67 | 31.8 | 50.5 | 59.0 |
| PV | 22.2 | 92.5 | 63.8 | 71.7 |
| PV $^{\dagger}$ | 22.2 | 47.5 | 61.1 | 74.3 |
| PV $^{\ddagger}$ | 22.2 | 15.8 | 54.4 | 68.7 |
| RPV | 24.8 | 119.5 | 65.5 | 73.7 |
| RPV $^{\dagger}$ | 24.8 | 74.6 | 63.5 | 74.6 |
| RPV $^{\ddagger}$ | 24.8 | 42.8 | 58.4 | 70.2 |
Table 4. Effects of different views. Only 1/4 training data was used for quick experiment. The first row PV is SPVCNN [^30], and retrained from scratch with 1/4 data. V, $V^{\dagger}$ and $V^{\ddagger}$ represent different voxel resolution: V is 0.05m (same as SPVCNN), $V^{\dagger}$ is 0.1m, and $V^{\ddagger}$ is 0.3m. Macs was computed on SemanticKITTI dataset. The results on both SemanticKITTI and nuScenes consistently show that the fusion pipeline, $R \rightarrow RP \rightarrow RPV$ or $V \rightarrow PV \rightarrow RPV$, is effective with acceptable computation overhead.
在后处理阶段，所提出的方法相较于基于距离的方法可获得约5%~12%的性能提升。
#### 4.4. 消融研究
不同视角的效果。这是用于阐明我们研究动机的核心实验。我们开展了大量的对照实验，包括单视角（R、P、V）、双视角融合（RP、PV）以及三视角融合（RPV）。需要注意的是，为了加快训练进度，我们仅使用了1/4的训练数据，mIoU结果是在SemanticKITTI验证集（序列08）和nuScenes验证集上报告的，而MACs和延迟则是在SemanticKITTI数据集上测试的。
从表4的结果中我们可以发现：1) 与单独的R或P相比，RP融合是有效的；2) 与单独的P或V相比，PV融合是有效的，尤其是在体素分辨率较低时；3) 与RP或PV相比，RPV融合是有效的；4) 所提出的RPV融合能够在可接受的计算开销下稳定提升性能；5) 即使体素分辨率较低，RPV融合也能取得可比较的性能，因此它在实时应用中具有重要价值。
融合方式的变体。我们研究了多视角特征的不同融合方式所产生的效果，如图5所示。可以看出，在SemanticKITTI数据集上，门控融合方法比加法融合方法的mIoU提升了1%，在nuScenes数据集上则提升了0.7%。
| Method | mIoU |
| SemanticKITTI | nuScenes |
| Addition | 67.2 | 76.9 |
| Concatnation | 67.4 | 77.1 |
| Gated fusion | 68.2 | 77.6 |
Table 5. Variants of fusion type. The mIoU on SemanticKITTI validation set without the instance CutMix is reported.
| View | ensemble | fusion | gap |
| RP | 49.7 | 54.3 | 4.6 |
| PV | 63.9 | 64.8 | 0.9 |
| RPV | 64.5 | 68.2 | 3.7 |
Table 6. Comparison with model ensemble. The mIoU on SemanticKITTI validation set is reported.
| Baseline V-branch | Add P-branch | Add R-branch | instance cut-mix | mIoU |
| SemanticKITTI | nuScenes |
| ✓ | | | | 64.2 | 72.3 |
| ✓ | ✓ | | | 64.8 | 74.8 |
| ✓ | ✓ | ✓ | | 68.2 | 77.6 |
| ✓ | ✓ | ✓ | ✓ | 69.6 | - |
Table 7. Effects of overall components. Tested on SemanticKITTI and nuScenes validation set.
优于模型集成？不可避免地会有人提出这样的问题：多视角融合方法是否优于模型集成？我们开展了多项消融实验来阐明这一问题，其中模型集成是通过累加多个模型的最终softmax分数来实现的。如表6所示，我们的融合方法明显优于模型集成。
各组成部分的整体效果。将所有有效的组成部分整合起来，便得到了我们的最终解决方案。我们在表7中对比了每个组成部分的效果，可以看出，添加R分支比添加P分支更有效，而实例cut-mix对最终性能也至关重要。
### 5. 结论
在本文中，我们提出了一种用于激光雷达点云分割的深度且高效的Range-Point-Voxel融合网络，即RPVNet。该网络中三种不同视角的信息能够以自适应方式相互增强。具体而言，我们总结了高效的多视角交互范式，包括多视角表征索引与特征传播，这为多视角间点级上下文信息的交互奠定了坚实基础。最后，我们通过大量实验验证了RPVNet的有效性与高效性，它在两个大规模公开数据集上均取得了最先进的成果。
---
### 6. 致谢
本研究得到了国家重点研发计划（项目编号：2020AAA010400X）的支持。
## 参考文献
[^1]: Eren Erdal Aksoy, Saimir Baci, and Selcuk Cavdar. Salsanet: Fast road and vehicle segmentation in lidar point clouds for autonomous driving: Salsanet. In IEEE Intelligent Vehicles Symposium, 2020. 3
[^2]: Matan Atzmon, Haggai Maron, and Yaron Lipman. Point convolutional neural networks by extension operators. arXiv preprint arXiv:1803.10091, 2018. 2, 3
[^3]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall. SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences. In Proc. of the IEEE/CVF International Conf. on Computer Vision (ICCV), 2019. 2, 6
[^4]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. Nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11621–11631, 2020. 2, 6
[^5]: Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al. Shapenet: An information-rich 3d model repository. arXiv preprint arXiv:1512.03012, 2015. 3
[^6]: Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1907–1915, 2017. 2
[^7]: Yunlu Chen, Vincent Tao Hu, Efstratios Gavves, Thomas Mensink, Pascal Mettes, Pengwan Yang, and Cees GM Snoek. Pointmixup: Augmentation for point clouds. arXiv preprint arXiv:2008.06374, 2020. 6
[^8]: Ran Cheng, Ryan Razani, Ehsan Taghavi, Enxu Li, and Bingbing Liu. 2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network. arXiv preprint arXiv:2102.04530, 2021. 3, 7
[^9]: Kyunghyun Cho, Bart Van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078, 2014. 5
[^10]: Christopher Choy, JunYoung Gwak, and Silvio Savarese. 4d spatio-temporal convnets: Minkowski convolutional neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3075–3084, 2019. 3, 7
[^11]: Christopher B Choy, Danfei Xu, JunYoung Gwak, Kevin Chen, and Silvio Savarese. 3d-r2n2: A unified approach for single and multi-view 3d object reconstruction. In The European Conference on Computer Vision (ECCV), pages 628–644. Springer, 2016. 1, 3
[^12]: Tiago Cortinhal, George Tzelepis, and Eren Erdal Aksoy. Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds. In International Symposium on Visual Computing, pages 207–222. Springer, 2020. 2, 3, 7
[^13]: A. Geiger, P. Lenz, and R. Urtasun. Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. In Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 3354–3361, 2012. 6
[^14]: Martin Gerdzhev, Ryan Razani, Ehsan Taghavi, and Bingbing Liu. Tornado-net: multiview total variation semantic segmentation with diamond inception module. arXiv preprint arXiv:2008.10544, 2020. 2, 3, 7
[^15]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham. Randla-net: Efficient semantic segmentation of large-scale point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11108–11117, 2020. 3, 7
[^16]: Deyvid Kochanov, Fatemeh Karimi Nejadasl, and Olaf Booij. Kprnet: Improving projection-based lidar semantic segmentation. arXiv preprint arXiv:2007.12668, 2020. 3
[^17]: Jie Li, Yu Liu, Xia Yuan, Chunxia Zhao, Roland Siegwart, Ian Reid, and Cesar Cadena. Depth based semantic scene completion with position importance aware loss. IEEE Robotics and Automation Letters, 5(1):219–226, 2019. 3
[^18]: Ruihui Li, Xianzhi Li, Pheng-Ann Heng, and Chi-Wing Fu. Pointaugment: an auto-augmentation framework for point cloud classification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6378–6387, 2020. 6
[^19]: Xiangtai Li, Houlong Zhao, Lei Han, Yunhai Tong, Shaohua Tan, and Kuiyuan Yang. Gated fully fusion for semantic segmentation. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 11418–11425, 2020. 5
[^20]: Venice Erin Liong, Thi Ngoc Tho Nguyen, Sergi Widjaja, Dhananjai Sharma, and Zhuang Jie Chong. Amvnet: Assertion-based multi-view fusion network for lidar semantic segmentation. arXiv preprint arXiv:2012.04934, 2020. 2, 3, 7
[^21]: Zhijian Liu, Haotian Tang, Yujun Lin, and Song Han. Point-voxel cnn for efficient 3d deep learning. In Advances in Neural Information Processing Systems, 2019. 2, 3
[^22]: Daniel Maturana and Sebastian Scherer. Voxnet: A 3d convolutional neural network for real-time object recognition. In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 922–928. IEEE, 2015. 3
[^23]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss. RangeNet++: Fast and Accurate LiDAR Semantic Segmentation. In IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), 2019. 2, 3, 7
[^24]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016. 2, 3, 7
## [^25]: Charles R Qi, Hao Su, Matthias Nießner, Angela Dai, Mengyuan Yan, and Leonidas J Guibas. Volumetric and multi-view cnns for object classification on 3d data. In Pro-
---
IEEE计算机视觉与模式识别会议论文集，第5648–5656页，2016年。3
[^26]: Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Point-net++: Deep hierarchical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017. 2, 3
[^27]: Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018. 3
[^28]: Gernot Riegler, Ali Osman Ulusoy, and Andreas Geiger. Octnet: Learning deep 3d representations at high resolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3577–3586, 2017. 1, 3
[^29]: Towaki Takikawa, David Acuna, Varun Jampani, and Sanja Fidler. Gated-scnn: Gated shape cnns for semantic segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5229–5238, 2019. 5
[^30]: Haotian $^{*}$ Tang, Zhijian $^{*}$ Liu, Shengyu Zhao, Yujun Lin, Ji Lin, Hanrui Wang, and Song Han. Searching efficient 3d architectures with sparse point-voxel convolution. In European Conference on Computer Vision, 2020. 3, 4, 5, 6, 7, 8
[^31]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas. Kpconv: Flexible and deformable convolution for point clouds. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 6411–6420, 2019. 2, 3, 7
[^32]: Larissa T. Triess, David Peter, Christoph B. Rist, and J. Marius Zöllner. Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study. arxiv, 2020. 5
[^33]: Yue Wang, Alireza Fathi, Abhijit Kundu, David A. Ross, Caroline Pantofaru, Thomas A. Funkhouser, and Justin M. Solomon. Pillar-based object detection for autonomous driving. In The European Conference on Computer Vision (ECCV), 2020. 2, 3
[^34]: Yue Wang, Yongbin Sun, Ziwei Liu, Sanjay E Sarma, Michael M Bronstein, and Justin M Solomon. Dynamic graph cnn for learning on point clouds. Acm Transactions On Graphics (tog), 38(5):1–12, 2019. 2, 3
[^35]: Zongji Wang and Feng Lu. Voxsegnet: Volumetric cnns for semantic part segmentation of 3d shapes. IEEE transactions on visualization and computer graphics, 26(9):2919–2930, 2019. 3
[^36]: Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 1887–1893. IEEE, 2018. 2, 3
[^37]: Wenxuan Wu, Zhongang Qi, and Li Fuxin. Pointconv: Deep convolutional networks on 3d point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9621–9630, 2019. 2, 3
[^38]: Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, Peter Vajda, Kurt Keutzer, and Masayoshi Tomizuka. Squeeze-segv3: Spatially-adaptive convolution for efficient point-cloud segmentation. In European Conference on Computer Vision, pages 1–19. Springer, 2020. 2, 3, 7
[^39]: Feihu Zhang, Jin Fang, Benjamin Wah, and Philip Torr. Deep fusionnet for point cloud semantic segmentation. In ECCV, volume 2, page 6, 2020. 2, 3, 7
[^40]: Jinlai Zhang, Lvjie Chen, Bo Ouyang, Binbin Liu, Jihong Zhu, Yujing Chen, Yanmei Meng, and Danfeng Wu. Point-cutmix: Regularization strategy for point cloud classification. arXiv preprint arXiv:2101.01461, 2021. 6
[^41]: Yang Zhang, Zixiang Zhou, Philip David, Xiangyu Yue, Zerong Xi, Boqing Gong, and Hassan Foroosh. Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9601–9610, 2020. 3, 7
[^42]: Yin Zhou, Pei Sun, Yu Zhang, Dragomir Anguelov, Jiyang Gao, Tom Ouyang, James Guo, Jiquan Ngiam, and Vijay Vasudevan. End-to-end multi-view fusion for 3d object detection in lidar point clouds. In Conference on Robot Learning, pages 923–932. PMLR, 2020. 2, 3
[^43]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4490–4499, 2018. 3
[^44]: Xinge Zhu, Hui Zhou, Tai Wang, Fangzhou Hong, Yuexin Ma, Wei Li, Hongsheng Li, and Dahua Lin. Cylindrical and asymmetrical 3d convolution networks for lidar segmentation. arXiv preprint arXiv:2011.10033, 2020. 3, 7