# MVP-Net：大规模点云的多视角逐点语义分割罗传宇 LiangDao GmbH Germaniastrasse 18-20 德国柏林，邮编12099 李晓涵、程诺、李涵、雷圣光 LiangDao GmbH Germaniastrasse 18-20 德国柏林，邮编12099 xiaohan.li、nuo.cheng、han.li、李璞伊尔梅瑙工业大学 Ehrenbergstrasse 29 德国伊尔梅瑙，邮编98693 ## 摘要 3D点云的语义分割是自动驾驶环境感知中的重要任务。大多数逐点点云语义分割方法的流程包括点采样、邻域搜索、特征聚合和分类。像K近邻算法（KNN）这样的邻域搜索方法已被广泛应用。然而，KNN的复杂性始终是效率方面的瓶颈。在本文中，我们提出了一种端到端的神经网络架构——多视角逐点网络MVP-Net，能够高效且直接地对大规模室外点云进行推理，无需使用KNN或任何复杂的预处理/后处理步骤。取而代之的是，我们引入了基于假设的空间填充曲线以及点云多旋转方法，用于点特征聚合和感受野扩展。数值实验表明，所提出的MVP-Net的速度比效率最高的逐点语义分割方法RandLA-Net [Qin20a]快11倍，且在大规模基准数据集SemanticKITTI上能达到相同的精度。 ## 关键词点云、语义分割、空间填充曲线、卷积神经网络 ## 1 引言激光雷达在自动驾驶感知系统中应用广泛。激光雷达采集的3D点云为物体检测和语义分割等复杂环境感知任务提供了重要的几何信息。与计算机视觉中规则的结构化图像不同，点云具有不规则性和无序性，且室外大规模点云较为稀疏。为了克服这些挑战，大多数研究人员会将不规则的点云转换为规则的投影图像或3D体素。尽管这些方法能取得令人满意的结果，但基于3D-2D投影的方法会存在信息丢失问题。在体素化方法中，预处理成本高昂，且随着分辨率的提高，计算和内存开销会呈指数级增长 [Yul20a]。此外，当采用低分辨率和大体素尺寸时，特定的细粒度点特征会被忽略。 PointNet [Cha17a]是一种开创性的逐点网络，可直接处理点云并输出每个点的标签。PointNet的核心贡献是引入了单一对称函数——最大池化，用于从无序点云中聚合全局特征。然而，PointNet仅适用于小规模点云，无法扩展到大规模点云 [Qin20a]。原因是PointNet学习到的全局特征无法表征由众多物体和复杂结构组成的大规模点云。近期，基于PointNet的研究[Cha17b, Qin20a]被提出，用于直接处理大规模点云。这些流程包括多级点云采样、邻居搜索以及基于PointNet的局部特征聚合。RandLA-Net[Qin20a]通过高效的点云随机采样实现了性能提升。不过，这类逐点处理方法没有显式的点邻域信息，因此像KNN和球查询[Yul20a]这类耗时的方法仍被用于邻居搜索。在计算机视觉语义分割任务中，像素的特征聚合无需任何额外的 --- ![Image](images/89adb92508d517410241b68a187310bd4af8aeafc9d48e26abc5d9cd77d0b1a8.jpg)

Figure 1: Quantitative comparison results of our approach and other works on the SemanticKITTI dataset.

Layer Type	Complexity per Layer
1D Convolution	$O(M \cdot K \cdot C_{in} \cdot C_{out})$
2D Convolution	$O(M^{2} \cdot K^{2} \cdot C_{in} \cdot C_{out})$
3D Convolution	$O(M^{3} \cdot K^{3} \cdot C_{in} \cdot C_{out})$

表1：各层的卷积层类型与复杂度。M表示输出特征图尺寸，K为核大小，$C_{in}$是输入通道数，$C_{out}$是输出通道数。不同层类型的输出特征图尺寸M可能有所差异。一维卷积层效率更高，因为它降低了由核大小K带来的复杂度。邻居搜索步骤被替换为应用二维卷积层。这种简化源于图像结构的规则性。让点云变得规则的最简单策略是对点进行排序，而空间填充曲线就是一种能将高维数据映射为一维序列、同时保留3D局部邻域信息的排序方法。保留下来的局部信息可进一步用于点的特征聚合与预测。关于空间填充曲线的详情可参见第2.4节。因此，我们的基本思路是将3D激光雷达点映射为一维序列数据，再利用所提出的1D卷积神经网络，借助保留的点局部特征来预测这些点。由于像KNN这样的高维邻居搜索方法已被弃用，且采用了高效的1D卷积层，我们提出的模型比其他同类基准方法效率高出许多（见图1）。1D卷积层的效率以及其他层的复杂度对比可参见表1。 ## 2 相关工作本节我们将概述基于深度学习的点云语义分割方法，主要包括基于体素化的方法、基于投影的方法以及基于点的方法。此外，还会介绍排序算法——空间填充曲线（SFC）。 ### 2.1 基于体素化的方法基于体素化的方法[Xin21a, Yan20a, Jia21a, Hao20a]将不规则且无序的点云转换为规则的3D网格，随后利用强大的3D卷积进行特征提取与预测。不过，使用较大的体素尺寸可能会导致细节信息丢失。同时，随着分辨率的提高，计算和内存开销会呈立方级增长，尤其是在处理大规模室外稀疏点云时[Yul20a]。为解决大体素尺寸导致的细节信息丢失问题以及小体素尺寸带来的高昂成本，将基于点的方法与稀疏3D卷积相结合是一种可行的解决方案。 ### 2.2 基于投影的方法为了借鉴2D图像处理神经网络的成果，基于投影的方法[Che20a]将3D点云投影为2D图像，随后采用U-net[Ola15a]等传统2D架构进行特征聚合。不过，其主要局限在于3D到2D投影过程中的信息丢失[Yul20a]。 ### 2.3 基于点的方法受PointNet的开创性工作启发，许多研究[Cha17b, Qin20a]直接将点云作为输入，通过多层感知机和最大池化等对称函数学习逐点特征。为了直接处理大规模室外点云，大多数基于逐点MLP的研究[Cha17b, Qin20a]的处理流程包括采样、邻域点搜索（如球查询或K近邻KNN）、基于PointNet的特征提取以及逐点分类。近期，RandLA-Net[Qin20a]被开发出来以利用随机点采样技术，并取得了令人瞩目的成果。不过，在执行邻域点搜索任务时，RandLA-Net仍然采用KNN方法，即便使用复杂度为$O(n\log(n))$的KDTree[Jon75a]算法，其效率仍受到限制。 KPCConv[Hug19a]是一种基于核的点卷积方法，本质上是以邻域点作为输入，并通过空间核权重对点进行处理。然而，该方法采用半径邻域法来进行邻域搜索，且网络无法直接训练大规模场景的全部数据[Jia21a]。 ### 2.4 空间填充曲线空间填充曲线（SFC）是一种排序方法，可将高维数据映射为一维序列，同时保留数据点的局部特性（例如，三维空间中欧几里得邻域相似性在映射后往往得以保持）。 --- ![Image](images/efbd4dedd8dadee7eb92de35c3413c2d47d39fbe76cdd9a850d1292acc21e7c6.jpg)

Figure 2: Morton-order in 2D case. The 2D points is sorted while the locality is preserved, but there is still information loss, like the distance between point 2 and 5 in 2D and 1D case is different.

映射为1D后也是如此[Tha20a]。应用广泛且高效的SFC方法之一是Morton序[Mor66a]，由于其在二维情况下的曲线形状，也被称为Z序，如图2所示的曲线即为示例。其他SFC方法[Val05a]还包括希尔伯特曲线、皮亚诺曲线、谢尔宾斯基曲线等。在点云领域，MortonNet[Tha20a]在无需语义标签的自监督任务中采用了Morton序。训练后的MortonNet可以预测由Morton序生成的点序列中的下一个点，结果表明学习到的Morton特征能够迁移到语义分割任务中并提升性能。不过，与PointNet类似，MortonNet也仅适用于小规模点云。尽管SFC在映射后能保留高维数据的局部特征，但仍存在信息损失。如图2所示，二维空间中点2与点5之间的距离为1，但映射为1D序列后，在1D空间中的距离变为3。映射后点5可能不再被视为点2的邻域，这限制了网络的点特征聚合与预测能力。 ## 3 MVP-NET 在本节中，我们首先介绍我们的核心贡献：用于3D点云的基于假设的空间填充曲线，以及通过旋转原始点来扩大每个点的感受野；最后概述我们的网络架构MVP-Net（Multiple View Pointwise Net）及实现细节。 ### 3.1 用于3D点云的空间填充曲线空间填充曲线（SFC）广泛应用于图像、矩阵和网格单元等规则密集数据[Val05a]。为了获取大规模…… ![Image](images/fdab4e19dfc8f8df24f1fe060afc8817726f15dfe5b22c6369184e15312b4005.jpg)

Figure 3: Space filling curves for 2D point cloud by simple scores Eq.1

对于不规则稀疏点云，我们提出式8来计算每个点的得分，并根据计算出的得分对点的顺序进行排序。为了便于说明，最简单的二维点及每个点的得分情况如式1所示。 $$ scores=k_{x}\cdot round(x\cdot r_{x})+y $$ 其中，x和y表示二维点的坐标，$round()$是用于将输入值四舍五入为最接近整数的函数。主要目标是按照x轴方向将点按单元格排序，而在每个单元格内则按y轴方向对点进行排序，如图3所示。图3中的点会按照公式1中的得分升序排列。$r_x$和$k_x$是两个超参数，用于确保点能够被严格排序。单元格宽度为$\frac{1}{r_x}$，它可以通过不等式2和3推导得出。 $$ -0.5\leq x\cdot r_{x}-x_{R}<0.5 $$ $$ \to\quad\frac{x_{R}}{r_{x}}-\frac{0.5}{r_{x}}\leq x<\frac{x_{R}}{r_{x}}+\frac{0.5}{r_{x}} $$ 其中，$x_{R}$是$x \cdot r_{x}$四舍五入后的整数，即$x_{R} = \mathrm{round}(x \cdot r_{x})$。为了确保点能够逐单元格严格排序，必须满足以下条件：单元格i中的最后一个点的得分小于单元格$i+1$中第一个点的得分。如果单元格i中最后一个点的坐标记为$(x_i, y_i)$，而下一个单元格$i+1$中的第一个点为$(x_{i+1}, y_{i+1})$，那么沿x轴四舍五入后的值可表示为$x_R^i = \text{round}(x_i \cdot r_x)$和$x_R^{i+1} = \text{round}(x_{i+1} \cdot r_x)$。由于单元格宽度为$\frac{1}{r_x}$，这些四舍五入后的值满足$x_R^{i+1} - x_R^i = \frac{1}{r_x}$。为确保单元格i中最后一个点的得分小于单元格$i+1$中第一个点的得分，同时还需满足$k_x \cdot x_R^i + y_i < k_x \cdot x_R^{i+1} + y_{i+1}$，超参数$k_x$应满足相应条件。 --- ![Image](images/3fa29c24396651dea5b4f4ae2c77a5a954e30c6736b3e1015b92690642a0863f.jpg) ![Image](images/577eabc33110805a98466390213cd1e50ab7c910ef40b36e083b259341e6f62d.jpg)

Figure 4: Space filling curves for 3D point cloud by scores Eq.8

$$ k_{x}\cdot x_{R}^{i}+y_{i}\frac{y_{i}-y_{i+1}}{x_{R}^{i+1}-x_{R}^{i}}=\left(y_{i}-y_{i+1}\right)\cdot r_{x} $$ $$ \to\quad k_{x}>(y_{m a x}-y_{m i n})\cdot r_{x}, $$ 其中，$y_{max}$和$y_{min}$分别是所有点云中y坐标的最大值和最小值。在实际应用中，我们主要关注感兴趣区域内的点，例如在由$X_{min}(Y_{m a x}-Y_{m i n})\cdot r_{x}. $$ 决定单元格大小的超参数$r_{x}$将在完整的排序公式中进一步展开讨论。根据公式1可知，如图3所示，点首先会沿y轴排序，然后逐单元格沿x轴排序，因为乘以$k_{x}$后x项对得分的贡献更大。第一个假设可以通过一个例子来说明：一个点被归类为汽车是基于同一辆汽车上其他点的信息，而不是其他物体上的点，即便这些物体上的点在空间上离待分类点更近。为了介绍自动驾驶场景中三维点云的完整空间填充曲线，我们首先定义两个假设，以汇总对预测最重要的点云邻域特征。 2. 在室外自动驾驶场景中，除地面点外，沿物体高度z轴的点比沿其他方向的点更有可能属于同一物体。 1. 在搜索邻近点时，每个点的邻近点应尽可能与待分类点属于同一物体。第二个假设可以通过汽车、树木、建筑物等静止物体的例子来解释。除了静止物体的点外，地面点具有明显特征，因此易于预测。基于上述两个假设，我们将公式1扩展为公式8，在该公式中，沿物体高度轴的特征更为重要，且每个柱状区域内的z轴上的点会首先被聚合。 $$ \begin{aligned}scores=k_{x}\cdot round(x\cdot r_{x})+k_{y}\cdot round(y\cdot r_{y})\\+k_{z}\cdot round(z\cdot r_{z})+k_{\rho}\cdot\rho\end{aligned} $$ 其中 $$ \rho=\sqrt{x^{2}+y^{2}} $$ 其中x、y、z表示每个点的坐标，$k_x \gg k_y \gg k_z \gg k_\rho$。超参数$r_x$和$r_y$决定了柱体的大小。较小的柱体大小会导致每个柱体中包含的点较少，从而丢失特征信息；较大的柱体大小则违背了最初的假设，因为柱体会包含不同物体的点。包括柱体大小在内的这些参数在实现中是依据经验设定的，如表2所示。根据简化版排序公式Eq.1中的讨论，3D点会首先沿z轴逐体素排序，接着沿y轴排序，最后沿x轴逐柱体排序。如图4所示，由公式Eq.8推导出的空间填充曲线，在将3D数据映射为1D序列后能够保留最有用的局部特征。在3D场景下应用KNN时，若采用KDTree [Jon75a]算法，其复杂度为$O(n\log(n))$；而我们提出的排序函数Eq.8的复杂度仅为$O(n)$。 ### 3.2 点云旋转尽管基于假设的排序公式Eq.8能沿高度z轴保留最有意义的特征，但如2.4节所述，SFC仍会导致信息丢失。例如在图4中，柱体点5 --- ![Image](images/2548a5aec3b297148a226e30f85e13577faa3fc0c518cec1c120cd7158f5ffe1.jpg)

Figure 5: The architecture of the MVP-Net. N represents the number of points. $d_{in}$ denotes the input features of point including the coordinates and other features. $n_{class}$ is the number of classes to be predicted. The point cloud rotation expands the receptive field per point. The point sorting makes the point sequence regular, and SFA can directly aggregate the neighbor information. After inversely sorted to the original order, the aggregated features will be decoded by a share-MLP based network.

Parameter	value
$k_{x}$	$10^{10}$
$k_{y}$	$10^{5}$
$k_{z}$	$10^{0}$
$k_{\rho}$	$10^{-5}$
$r_{x}$	1.2
$r_{y}$	1.2
$r_{z}$	4

Table 2: The parameters and values of sorting Eq.8 in implementation

在3D空间中它是柱体点1的邻居，但在1D空间中两者间的距离却要长得多。因此，1D空间中每个点的感受野是有限的。为解决这一问题，我们在研究中将原始点云沿z轴旋转多次，这一思路与投影方法中的多视角类似。如果将排序得分公式Eq.8应用于旋转了角度$\frac{\pi}{2}$的点云，就相当于对未旋转的点云应用公式Eq.10——此时$k_y \gg k_x \gg k_z \gg k_\rho$以及沿x轴和y轴的方向与公式Eq.8相比发生了互换。在这种情况下，柱体点5就成了柱体点1的邻居。在我们提出的网络中，原始点云会被旋转4个不同的角度，仅通过应用公式Eq.8就能扩大每个点的邻居范围和感受野。 $$ s c o r e s=k_{y}\cdot r o u n d(y\cdot r_{y})+k_{x}\cdot r o u n d(x\cdot r_{x}) + k_{z}\cdot r o u n d(z\cdot r_{z})+k_{\rho}\cdot\rho $$ ### 3.3 网络架构 MVP-Net的架构如图5所示。原始点云首先沿z轴旋转4个固定角度：0、$\frac{\pi}{4}$、$\frac{2\pi}{4}$、$\frac{3\pi}{4}$。随后，旋转后的点云通过公式Eq.8进行排序。排序完成后，点云变得规整，且具备明确的邻居信息。序列特征聚合骨干网络SFA（Sequence Feature Aggregation）如图6所示，是一种用于聚合每个点的局部和全局特征的1D卷积网络。对于每一个点i，$p_i$与其在排序序列中最近的8个点$\{p_i^1...p_i^k...p_i^8\}$之间的位置差异会被明确编码，从而实现点云的平移不变性[Wen19a]，具体过程如下： $$ x_{i}=p_{i}\oplus(p_{i}-p_{i}^{k})\oplus p_{i}^{other~features} $$ 其中$p_i$和$p_i^k$分别是点i及其邻居点的xyz坐标。$p_i^{other\ features}$代表点i除xyz位置外的其他特征，例如每个点的反射强度。$\oplus$表示拼接操作。SFA提取的特征会通过排序函数逆排序回原始顺序。来自不同角度的、经逆排序后的每个点的特征会被相加，随后由核大小为1的多层感知机网络进行解码。 ### 3.4 实现细节我们在PyTorch [Ada19a]中实现了该网络。进行批量训练时，我们将输入点云采样为每帧$10^{5}$个点。我们采用Adam优化器 [Die15a]，参数取默认值，学习率设为0.0003且不进行衰减。最初我们选用最常用的交叉熵损失函数作为损失函数。 --- ![Image](images/22f602fa13e68f22fed79e49529cedbe9e090f41651f951a96e36a861056fde8.jpg)

Figure 6: Sequence Feature Aggregation (SFA). SFA is a network consisting of only 1D convolution layer for regular sequence point cloud feature aggregation.

$$ Loss=Cross-entropy-loss+Lovász-softmax-loss $$ 当网络优化进入平台期时，我们会调整损失函数如下： Lovász-Softmax损失函数 [Max18a]是一种可微的损失函数，旨在直接最大化平均交并比（mIoU）分数，它常被用于语义分割任务的评估中。在数据增强方面，我们在每个训练步骤中随机将原始点云沿z轴旋转。进行验证和测试时，我们将整个原始点云输入网络，无需任何预处理或后处理即可推断出每个点的语义标签。所有实验均在配备单张32G显存Tesla V100 GPU的设备上开展。 ## 4 实验 ### 4.1 数据集我们在SemanticKITTI [Jen19a]数据集上训练和测试我们的MVP-Net，该数据集提供了自动驾驶场景中每个点的大规模语义标注。序列00-10中单次扫描的点标注数据可供使用。我们以序列08作为验证集，其余10个序列作为训练集。每个点包含三维坐标和反射率信息。19个类别的平均交并比（mIoU）被用作标准评价指标。 ### 4.2 实验结果图7展示了验证集上预测结果与真实标签的定性对比结果。表3给出了我们的MVP-Net与其他近期发表方法的定量对比结果。这些方法按技术类型分为基于点的方法 [Cha17a, Cha17b, Qin20a, Hug19a]、基于投影的方法 [Che20a, And19a]、基于体素化的方法 [Xin21a, Yan20a]以及融合类方法 [Hao20a, Jia21a]。对比结果表明，基于体素化的方法在准确率上大幅超越基于点和基于投影的方法。融合类方法RPVNet [Jia21a]结合了点、投影和体素化三种技术，其准确率排名第一并不令人意外。我们提出的MVP-Net在所有方法中效率最高。作为一种基于点的方法，MVP-Net也取得了可比较的准确率，其mIoU与基准的基于点的方法RandLA-Net [Qin20a]相当，后者在三维空间中通过KNN搜索来寻找点的邻居。这一结果表明，三维点的局部特征可以通过空间填充曲线得以保留。我们所提出的基于假设的曲线和点云旋转机制解决了普遍存在的信息丢失问题。我们的贡献也将在4.3节的消融研究部分得到验证。 ### 4.3 消融研究所有消融网络的训练均使用SemanticKITTI数据集中的序列00-07和09-10，评估则在序列08上进行。 1. 增加/减少点云旋转次数。为了实现效率与效果之间的最佳平衡，我们研究了沿z轴旋转点云的次数。 2. 移除SFA单元中的点邻域显式编码（NEE）。为了实现点云的平移不变性，中心点与其邻域点的xyz位置差会在SFA单元中被显式编码。在消融实验中，我们移除了这种点邻域显式编码步骤，直接将原始点特征输入SFA单元。 3. 用另一种函数替换基于假设的排序函数。基于假设的排序函数是我们研究中的重要贡献，我们认为沿物体高度轴的特征更为重要。此处我们将原始的排序公式Eq.8与Eq.13进行对比，后者不会优先聚合z轴上的点。 $$ \begin{aligned}scores=k_{z}\cdot round(z\cdot r_{z})+k_{x}\cdot round(x\cdot r_{x})\\+k_{y}\cdot round(y\cdot r_{y})+k_{\rho}\cdot\rho\end{aligned} $$ 公式Eq.13的参数满足$k_z \gg k_x \gg k_y \gg k_\rho$，其他参数与原始排序公式Eq.8保持一致。所有结果均列于表4中。可以看出，所提出的参数和方法在效率与效果之间实现了最佳平衡。基于公式Eq.8的假设性SFC也优于普通的SFC，例如Eq.13。 --- ![Image](images/40f310ffb6e366a92623664199ea14cd16b54c34dee62b149f940716fc69543a.jpg)

Figure 7: Qualitative comparison of prediction and ground truth on the validation set. The red circle shows the failure case of other-vehicle points classification.

Method	FPS	mIoU(%)	road	sidewalk	parking	other-ground	building	car	truck	bicycle	motorcycle	other-vehicle	vegetation	trunk	terrain	person	bicyclist	motorcyclist	fence	pole	traffic-sign
PointNet [Cha17a]	10.12	14.6	61.6	35.7	15.8	1.4	41.4	46.3	0.1	1.3	0.3	0.8	31.0	4.6	17.6	0.2	0.2	0.0	12.9	2.4	3.7
PointNet++ [Cha17b]	0.06	20.1	72.0	41.8	18.7	5.6	62.3	53.7	0.9	1.9	0.2	0.2	46.5	13.8	30.0	0.9	1.0	0.0	16.9	6.0	8.9
RandLA [Qin20a]	1.74	53.9	90.7	73.7	60.3	20.4	86.9	94.2	40.1	26.0	25.8	38.9	81.4	61.3	66.8	49.2	48.2	7.2	56.3	49.2	47.7
KPConv [Hug19a]	0.88	58.8	88.8	72.7	61.3	31.6	90.5	96.0	33.4	30.2	42.5	44.3	84.8	69.2	69.1	61.5	61.6	11.8	64.2	56.4	47.4
SqueezeSegV3 [Che20a]	6.49	55.9	91.7	74.8	63.4	26.4	89.0	92.5	29.6	38.7	36.5	33.0	82.0	59.4	65.4	45.6	46.2	20.1	58.7	49.6	58.9
RangeNet53++ [And19a]	16.12	52.2	91.8	75.2	65.0	27.8	87.4	91.4	25.7	25.7	34.4	23.0	80.5	55.1	64.6	38.3	38.8	4.8	58.6	47.9	55.9
Cylinder3D [Xin21a]	2.55	67.8	91.4	75.5	65.1	32.3	91.0	97.1	59.0	67.6	64.0	58.6	85.4	71.8	71.8	73.9	67.9	36.0	66.5	62.6	65.6
PolarNet [Yan20a]	1.96	54.3	90.8	74.4	61.7	21.7	90.0	93.8	22.9	40.3	30.1	28.5	84.0	61.3	65.5	43.2	40.2	5.6	61.3	51.8	57.5
SPVNAS [Hao20a]	0.88	66.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
RPVNet [Jia21a]	-	70.3	93.4	80.7	70.3	33.3	93.5	97.6	44.2	68.4	68.7	61.1	86.5	75.1	71.7	75.9	74.4	73.4	72.1	64.8	61.4
MVP-Net	19.20	53.9	91.4	75.9	61.4	25.6	85.8	92.7	20.2	37.2	17.7	13.8	83.2	64.5	69.3	50.0	55.8	12.9	55.2	51.8	59.2

Table 3: The comparison results of our network and the other recently published point-based, projection-based, voxelization-based and fusion-based methods on SemanticKITTI dataset. The input of points is fixed as $10^5$, and the size of projection image and voxel is set the same as literature. FPS, frames per second, represents the inference speed. mIoU, intersection-over-union, is the accuracy metric over all classes.

Ablation Experiment	FPS	mIoU
Rotating the point cloud once	55.2	47.4
Rotating the point cloud twice	33.2	51.7
Rotating the point cloud eight times	10.5	54.8
Removing the NEE in SFA unit	19.8	50.2
Sorting by Eq.13	19.2	43.7
Original framework	19.2	54.6

Table 4: Ablation experiments based on the original framework

## 5 结论本文提出了一种用于3D点云语义分割任务的新型端到端逐点网络MVP-Net。与现有的逐点方法不同，我们的网络有望完全摒弃KNN或其他邻域搜索方法。取而代之的是，我们提出了基于假设的空间填充曲线以及多视角下的点云旋转技术，以实现相当的准确性与高效率。我们的模型是一种完全基于一维卷积的架构，无需任何预处理或后处理，因此计算机视觉和自然语言处理领域的最先进神经模块可以直接引入该模型。未来我们也会探索将其与其他类型的方法（如体素化）进行融合。据我们所知，我们的方法是首个将空间填充曲线直接应用于大规模点云的研究，实验证明点云领域中由SFC引发的局部信息丢失问题能够得到解决。所定义的两条假设通过实验和消融研究得到了验证与解释，这对重新思考自动驾驶场景中的特征聚合具有重要意义。 --- ## 6 参考文献 [Qin20a] Qingyong H., Bo Y., Linhai X., Stefano R., Yulan G., Zhihua W., Niki T., 和 Andrew M.。Randla-net：大规模点云的高效语义分割。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），2020年6月。 [Jon75a] Jon Louis B.。用于关联搜索的多维二叉搜索树。《美国计算机协会通讯》，18(9):509–517，1975年。 [Max18a] Maxim B., Amal Rannen T., 和 Matthew B. B.。Lovász-Softmax损失：一种用于神经网络中交并比度量的可优化替代方案。载于IEEE计算机视觉与模式识别会议论文集，第4413–4421页，2018年。 [Yul20a] Yulan G., Hanyun W., Qingyong H., Hao L., Li L., 和 Mohammed B.。3D点云的深度学习：综述。《IEEE模式分析与机器智能交易》，2020年。 [Die15a] Diederik P. K. 和 Jimmy Ba. A.。一种随机优化方法。第三届学习表征国际会议（ICLR）2015。 [Ada19a] Adam P.、Sam G.、Francisco M.、Adam L.、James B.、Gregory C.、Trevor K.、Zeming L.、Natalia G.、Luca A.等人。PyTorch：一种命令式风格的高性能深度学习库。《神经信息处理系统进展》第32卷：8026–8037页，2019年。 [Cha17a] Charles R. Q.、Hao S.、Kaichun M.和Leonidas J. G.。PointNet：用于3D分类与分割的基于点集的深度学习模型。收录于2017年7月举行的IEEE计算机视觉与模式识别会议（CVPR）论文集。 [Jen19a] J. Beniey、M. Garbade、A. Miioto、J. Quenzel、S. Behnke、C. Stachniss和J. Gall。SemanticKITTI：用于激光雷达序列语义场景理解的数据集。收录于2019年IEEE/CVF国际计算机视觉会议（ICCV）论文集。 [Cha17b] Charles、Ruizhongtai Q.、Li Y.、Hao S.和Leonidas J G.。PointNet++：在度量空间中基于点集的深度层次特征学习。《神经信息处理系统进展》第30卷。Curran Associates, Inc.，2017年。 [Ola15a] Olaf R.、Philipp F.和Thomas B.。U-Net：用于生物医学图像分割的卷积网络。收录于国际医学影像计算与计算机辅助干预会议论文集，第234–241页。Springer出版社，2015年。 [Hao20a] Haotian T.、Zhijian L.、Shengyu Z.、Yujun L.、Ji L.、Hanrui W.和Song H.。利用稀疏点体素卷积搜索高效的3D架构卷积。收录于2020年欧洲计算机视觉会议论文集。 [Hug19a] Hugues T.、Charles R Qi、Jean-Emmanuel D.、Beatriz M.、François G.和Leonidas J G.。KpConv：用于点云的灵活可变形卷积。收录于2019年IEEE/CVF国际计算机视觉会议论文集，第6411–6420页。 [Wen19a] Wenxuan W.、Zhongang Q.和Li F。PointConv：基于3D点云的深度卷积网络。收录于2019年IEEE/CVF计算机视觉与模式识别会议论文集，第9621–9630页。 [Che20a] Chenfeng X.、Bichen W.、Zining W.、Wei Z.、Peter V.、Kurt K.和Masayoshi T.。Squeeze-SegV3：用于高效点云分割的空间自适应卷积。收录于2020年欧洲计算机视觉会议论文集，第1–19页。Springer出版社。 [JiaZ1a] Jianyun X.、Kuixiang Z.、Jian D.、Yushi Z.、Jie S.和Shiliang P。RPVNet：一种用于激光雷达点云分割的深度高效距离-点-体素融合网络。CoRR，abs/2103.12978，2021年。 [Yan20a] Yang Z.、Zixiang Z.、Philip D.、Xiangyu Y.、Zerong X.、Boqing G.和Hassan F。PolarNet：一种用于在线激光雷达点云语义分割的改进网格表示方式。收录于2020年IEEE/CVF计算机视觉与模式识别会议论文集，第9601–9610页。 [Xin21a] Xinge Z.、Hui Z.、Tai W.、Fangzhou H.、Yuexin M.、Wei L.、Hongsheng L.和Dahua L.。用于激光雷达分割的圆柱形与非对称3D卷积网络。收录于2021年6月举行的IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9939–9948页。 [Tha20a] Thabet A.、Alwassel H.和Ghanem B.。3D点云中局部特征的自监督学习。2020年IEEE/CVF计算机视觉与模式识别研讨会（CVPRW）论文集。 [Mor66a] Morton, G.M.。面向计算机的地理数据数据库及一种新的文件排序技术。1966年。 [Val05a] Valgaerts L.。空间填充曲线简介。慕尼黑工业大学，2005年4月。 [And19a] Andres M.、Ignacio V.、Jens B.、Cyrill S.。RangeNet++：快速且精准的激光雷达语义分割算法。IEEE/RSJ智能机器人与系统国际会议（IROS），2019年。