# AMVNet：基于断言的多视图融合网络，用于激光雷达语义分割 Venice Erin Liong $^{\dagger}$ 阮氏玉壽 $^{†*}$ 塞爾吉·維賈亞 $^{†}$ 達南吉·夏爾馬 $^{†}$ Zhuang Jie Chong $^{\dagger}$ $^{†}$Motional *南洋理工大学 ^{{venice.liong, sergi.widjaja, dhananjai.sharma, demian.chong}@motional.com * ## 摘要在本文中，我们提出了一种用于激光雷达语义分割的基于断言的多视图融合网络（AMVNet），该网络通过后期融合的方式聚合各个基于投影的网络所输出的语义特征。利用不同基于投影的网络给出的类别得分，我们对得分不一致的区域进行基于断言的点采样，随后将每个采样点对应的点级特征传入简单的点头网络以优化预测结果。这种模块化且分层的后期融合方式既保留了两个独立网络的灵活性，又仅带来轻微的开销。对于计算资源和内存往往受限的机器人系统（如自动驾驶车辆）而言，这类方法极具应用价值。大量实验表明，AMVNet在SemanticKITTI和nuScenes基准数据集上均取得了最先进的性能，且其效果优于直接合并各基于投影网络的类别得分这一基线方法。 ### 1. 引言点云语义分割是自动驾驶系统的关键任务。对于自动驾驶车辆而言，该任务能从激光雷达点云中提取有用的语义信息，用于构建清晰、高精度的地图；它还能帮助识别并定位动态物体和可行驶表面，为感知模块提供支持，进而提升车辆的操控与路径规划能力。近年来，出现了更多带有点级标注的自动驾驶数据集，例如SemanticKITTI [^2] 和nuScenes [^3]，它们在学术界和工业界均推动了点云语义分割领域的发展。目前已有的解决方案可直接处理原始三维点云（基于点的方法）[^21] [^11]，也可处理投影后的点云，如距离视图 ![Image](images/a1c20483990a1cbe180bda4d60ec0d9d130c961c2d8a4a0d9a9cef554a32bbb9.jpg)

Figure 1: Point cloud prediction errors visualized in top view after evaluating vanilla (a) Range view (RV) and (b) Bird's-eye view (BEV) networks given LiDAR samples (1) and (2). The RV network performs better in (1), while BEV performs better in (2). This suggests each network can provide unique and useful semantic information which motivates our proposed late fusion approach.

（RV）[^19] [^6] [^14] 或鸟瞰图（BEV）[^35]，或是这些投影视图的组合 [^9]。根据近期的研究 [^9] [^32]，基于投影的方法在自动驾驶场景下比基于点的方法速度更快且精度更高。在SemanticKITTI排行榜上，基于RV的方法贡献了大部分最先进的结果 $^{1}$ [^6] [^14] [^33]。RV方法利用稀疏点云的紧凑表示形式——二维伪图像，这类图像可通过基于图像的语义分割网络高效分割 [^23] [^4]。随后还可进一步对分割结果进行优化—— --- 通过采用类似基于图像的分割方法的技巧，我们实现了性能提升。例如，我们利用循环神经网络（RNN）来刻画图像中物体的空间关系[^27]。RV方法也具备一定优势：对于行人、自行车和电线杆这类体积小且呈垂直方向的类别，它能提供恰当的结构表征。然而，随着激光雷达点云数量的增加，RV图像中同一像素内会出现重叠的3D点投影，从而导致其表征能力下降。BEV方法则不存在这一难题，因为点是从上视图投影得到的，我们借此提取柱状表征以形成2D伪图像。因此，BEV投影在识别点云不同区域内的物体方面十分有效，即便在较远的距离也是如此。不过，正如以往研究所指出的那样[^35] [^17]，BEV中点云的非均匀性和稀疏性仍是标准卷积运算面临的局限。图1进一步展示了使用SemanticKITTI数据集中的两次激光雷达扫描数据时，RV与BEV分割网络输出预测之间微妙却至关重要的差异。针对第一次激光雷达扫描，RV网络在分类停车场和道路方面表现优于BEV网络，这些物体实例距离自车相对较近。对于第二次激光雷达扫描，BEV网络在区分植被与地形方面优于RV网络。类似RV优于BEV或反之的情况还有很多。此外，我们对两种网络各类别的IOU分析也表明，并无绝对的优胜者，且从两者中都能提取出互补的信息。受此启发，我们提出了一种后期融合方法，旨在结合RV与BEV网络的优势，以实现点云语义分割领域的最先进成果。我们提出的方法借鉴了用于图像分割的PointRend算法[^13]：该算法会选取不确定性较高的像素区域，并将点特征传递给点头网络以得到更精准的预测。我们的方法与PointRend的不确定性判定准则有所不同，因为我们引入了一种新颖的采样策略，通过多视角断言来选取激光雷达点。这种断言会考虑RV与BEV网络之间的类别预测分歧；我们将网络预测不一致的点标记为不确定点。随后，这些不确定点会被送入轻量级的点头网络，以获得更稳健的预测结果。概括而言，我们的贡献如下： - 一种用于点云语义分割的多视角融合网络，可充分利用RV与BEV网络的优势；我们采用基于断言引导的采样策略进行后期融合，并将采样点的特征送入点头网络以实现更精确的预测。 - 一种用于在3D空间中预测类别标签的轻量级点头架构，其输入为从网络预测结果及原始点云中获取的一组点特征。 - 一种改进的RV网络，它采用循环神经网络（RNN），尤其是带循环填充的门控循环单元（GRU），以学习空间关系。 • 通过大量分析验证了所提方法的有效性，结果表明该方法在SemanticKITTI和nuScenes数据集上均取得了具有竞争力的性能。据我们所知，这是首项探索激光雷达语义分割中晚期融合方法不确定性的研究。我们的晚期融合方法独具特色，仅处理那些不确定的点。这一特性使其优势明显：我们既能结合RV网络和BEV网络的优点，又不会显著拖慢训练与推理速度。此外，该方法具有模块化和灵活性，网络中每个组件均可独立优化以提升整体性能。 ### 2. 相关工作我们首先介绍自动驾驶领域基于点云的多视角融合方法的相关研究，随后阐述激光雷达语义分割领域的最新研究成果。 #### 2.1. 激光雷达多视角融合方法深度学习模型在从点云中提取语义信息方面日益受到青睐，这类应用涵盖3D物体检测以及近期的语义分割任务。虽然存在直接在3D空间中运算的点级处理方法，但大多数前沿方法都利用体素、RV和BEV投影方式，原因在于其实现简单、推理速度快且性能优异。近期，利用这些不同网络的多视角融合方法已被广泛研究，并展现出可观的潜力$^{[5, 7, 37, 29]}$；其中多数研究聚焦于3D物体检测领域。接下来，我们将探讨激光雷达领域的各类融合研究成果。 MV3D [^5] 结合了摄像头视图中的图像特征以及BEV和RV中的激光雷达点云特征，随后将其输入基于区域的融合网络以提取并分类边界框。MVLidarNet [^7] 采用与PointPainting [^28] 类似的顺序融合方式：先从RV扫描中提取点级类别得分，再将其重投影到BEV中，最后进行3D物体检测。MVF [^37] 则通过先从BEV和RV体素化中获取点级语义信息，再进行类似VoxelNet的训练来实现早期特征融合。[^38]。Wang等人 [^29] 提出了一种基于柱体的融合方法，该方法利用轻量级的编码器-解码器网络处理BEV和RV数据以获取更丰富的点特征，随后再将这些特征重新投影。 --- 这些特征随后被重新投影回BEV，以进行类似PointPillar [^17]的无锚点物体检测与分类。 TornadoNet [^9]是目前为数不多的用于激光雷达语义分割的融合方法之一，它采用端到端的顺序特征融合策略。该方法通过柱状投影学习模块从BEV中获取柱状特征，并将这些特征作为额外输入通道供RV网络使用。虽然大多数融合方法侧重于早期特征融合[^37] [^29] [^34]和顺序融合[^9] [^7]，但针对晚期融合的研究却寥寥无几，尤其在激光雷达语义分割领域更是如此。其中一个可能的原因是：在后续阶段合并不同视角的特征时，若不将其重新投影回3D视图并再次处理，便难以实现有效融合，这会增加点级计算的开销。我们提出的方法能够缓解这一瓶颈：它仅选取那些因两个基于投影的网络判断不一致而被标记为不确定的点。此外，晚期融合方法还具备灵活性：可采用两个独立的网络并行推理，还能通过轻量级的点头网络进行融合以获得更精确的预测结果。 #### 2.2. 激光雷达语义分割得益于公开数据集的日益丰富，激光雷达或点云语义分割研究取得了显著进展[^2] [^3]。目前，这些方法可分为以下几类：基于点的、基于体素的和基于投影的。基于点的方法，如PointNet [^21]、PointNet++ [^22] 和 SPG [^16]，直接作用于原始三维点云，能够应对点云的无序性和非结构化特性。这些网络在较小的点云上表现良好，通常是室内场景，因为此类场景中点的密度较高且分布均匀。但在室外场景中，由于点密度变化较大，它们的工作效率较低。此外，若要获取完整的$360^{\circ}$扫描数据，会导致推理时间变慢且内存需求增大[^36]。基于体素的方法将点分组为体素，然后利用三维卷积进行语义分割。为提高效率，这类方法需要采用特殊的卷积运算来处理表示形式的稀疏性并加快处理速度。例如，Cylinder3D $^{[36]}$ 从三维圆柱体分区中提取体素，并将其输入到带有非对称残差块的网络中以减少计算量。SPVNAS $^{[24]}$ 采用稀疏点-体素卷积（SPConv），融合了来自高分辨率轻量级点分支和基于稀疏体素的分支的特征。FusionNet $^{[34]}$ 则利用迷你版PointNet和稀疏卷积层来有效聚合特征。基于投影的方法将点云投影为结构更规整、密度更高的二维表示形式。这些点云被投影到RV[^19] [^6] [^14] [^30] [^31] [^33] 或 BEV[^35] [^1] 上，随后被送入编码器-解码器网络，就像处理基于图像的语义分割问题一样以获取语义信息。例如，SalsaNext[^6] 对编码器-解码器网络进行了多项改进（如空洞卷积、像素重排层），并为每个点引入了不确定性估计。KPRNet[^14] 采用了改进的RV网络架构，以ResNeXt-101作为骨干网络并结合空洞空间金字塔池化技术，最后一层还应用了KPconv[^25]。PolarNet[^35] 则将激光雷达点以极坐标网格形式表示在BEV中，以此缓解激光雷达点在空间中分布不均的问题。他们不仅是在柱状视图中进行分割，还将柱状物进一步划分为体素，从而提升沿z轴方向的输出分辨率。尽管基于投影的方法通常简单直接，但这类结构化方法也存在一些缺点。RV方法可能会将多个三维点投影到同一个像素上，从而导致标签投影错误。因此，大多数RV网络都需要额外的后处理步骤，比如投影最近邻搜索[^19]。另一方面，BEV网络在处理高密度稀疏的柱状物以及表示垂直方向物体时存在困难。不过，通过综合利用两者的优势，我们就能获得更准确的标签预测结果。 ### 3. 基于断言的多视角融合网络（AMVNet）在本节中，我们介绍了所提方法的总体框架，该框架由三个主要部分组成（见图2）：(1) 基于各投影网络进行语义分割，以获得初始的点级类别预测；(2) 采用基于断言引导的点采样策略来确定不确定性较高的点；(3) 点头网络架构，它接收点特征以生成新的预测结果。 #### 3.1. 多视角网络给定一次激光雷达扫描数据，我们将点云投影为结构化的表示形式，这些表示适合作为任何编码器-解码器网络的输入来执行语义分割。借助这些分割结果，我们可以重新投影出每个激光雷达点的类别得分。在我们的研究中，重点关注以下两种RV和BEV网络的变体：距离视图网络。我们将一次$360^{\circ}$激光雷达扫描投影为圆柱形或球形的RV伪图像，作为网络的输入；其中每个像素由3D坐标$(x, y, z)$、强度值、距离以及二值掩码组成。该二值掩码用于指示某个激光雷达点是否占据了该像素。当多个点被投影到同一个像素上时，我们会选择距离激光雷达传感器最近的点来代表该像素。同时，我们希望获得足够高的3D点覆盖率，以减少因重新投影产生的误差。因此，输入图像的高度取决于传感器可用的环数，宽度则取决于水平方向的角度分辨率。 --- ![Image](images/07c08259ba182337d80ee51fbc713e8c65eb978140b81680044a7d2bd7698fba.jpg)

Figure 2: AMVNet overview. The AMVNet consists of three main stages: (a) Given a LiDAR scan, we project these point clouds to a structured representation and feed these to their respective multi-view networks to obtain initial point-level class predictions; (b) For each point, we categorize it to be certain or uncertain through an assertion-guided point sampler; (c) For each uncertain point, we extract its respective point-level features and its neighborhood points' features and feed them to the point head to obtain the final predictions.

为了便于实现，我们简化了网络架构。我们设计了全卷积网络[^18]，采用类ResNet的[^10]骨干网络，并配备跳跃连接和步长卷积操作。与基于图像的分割网络[^18] [^23] [^4]不同，我们仅在后续特征图中对高度维度进行下采样，以适应RV图像相对其宽度而言更小的高度特点。在训练阶段，我们采用交叉熵损失（CE）与Dice损失[^20]相结合的策略。此外，如图3所示，我们在最后几层特征图中加入了RNN层。每个CNN输出的特征图会被转换为沿宽度和高度维度排列的单元序列，序列长度为$wt \times ht$；其中wt和ht分别为特征图的宽度和高度。我们使用单向GRU来实现RNN层，隐藏层大小设为c。对于每个输入单元，RNN层会返回大小相同的输出单元。这些输出单元会沿宽度和高度维度堆叠起来，形成与前一层CNN输出维度相同的体积特征图。另外，由于RV图像在宽度维度上是连续的，我们会沿该维度对CNN输出进行循环填充，以便更好地初始化RNN层的隐藏状态。RNN层有助于学习物体在天顶方向上的空间关系，这类关系在RV图像中表现得尤为明显。例如，人行道通常紧邻道路，地形通常紧邻植被。鸟瞰视图网络。我们采用了PolarNet[^35]方法，该方法目前是BEV场景下激光雷达语义分割的先进方法。该网络采用U-Net架构，基于极坐标柱特征输出体素级的分割结果。对于这两种网络，我们都执行以下点数据增强步骤：缩放、x和y方向的翻转、抖动以及偏航方向的旋转。 ![Image](images/93a898fe071e6da82cd5b5859ee3d82ee22c3c42ce9992ccfa46e6a60691d956.jpg)

Figure 3: Inserting an RNN layer after a CNN layer. The output feature map of the CNN layer is divided into cells and passed to the RNN layer in sequence, one cell at a time. The RNN outputs are stacked to form a volumetric feature map with similar size as the CNN output feature map.

#### 3.2. 基于断言引导的点采样一旦我们从上述网络中获得初始类别预测结果，就会为点头网络采样用于训练和推理的点。这种采样基于一种断言引导的方法，旨在捕捉那些多视角网络在类别预测上存在分歧的不确定点。给定包含N个点的激光雷达扫描数据，我们将点云定义为$\mathbf{X} = \{\mathbf{x}_i\}_{i=1}^N$，其中$\mathbf{x} = (x, y, z, \text{intensity})$。我们的目标是为所有点获取最终预测标签向量$\mathbf{y} \in \mathbb{R}^K$，这里K表示类别的数量。我们定义RV和BEV网络的归一化类别预测分别为$\theta_{rv}$和$\theta_{bev}$，它们由$f \in \mathbb{R}^{N \times K} : f(\mathbf{x}|\mathbf{X}, \theta_{rv})$和$g \in \mathbb{R}^{N \times K} : g(\mathbf{x}|\mathbf{X}, \theta_{bev})$参数化。给定一个点为$\mathbf{x}_j$时，其不确定性$u_j \in \{0,1\}$定义为： $$ u_{i}=\begin{cases}1&if\quad s(f_{i},g_{i})<=\tau\\0&otherwise\end{cases} $$ 其中$s(\cdot,\cdot)$是余弦相似度得分，$\tau$是不确定性阈值的设计参数。除了多视角不一致的情况外，我们的框架还能轻松扩展至任意类型的断言，比如类别熵、高网络损失等。尽管已有相关文献 --- 涉及模型断言的研究[^12]，但我们的创新之处在于在现有数据集的训练和推理阶段应用这些检查机制，而他们则是在主动学习场景下使用此类方法。 #### 3.3. 点头网络架构对于一个不确定点，我们会提取相关特征并输入到点头网络中以得到最终的标签预测。我们将其点级特征定义为各个网络的归一化类别得分与原始点数据的拼接$^{2}$： $$ \mathbf{p}_{i}=[f_{i}\quad g_{i}\quad\mathbf{x}_{i}] $$ 我们还会选取邻近点的点级特征来提供额外上下文信息。设$\mathcal{N}(\mathbf{x}_i)$为第i个点的n个邻近点集合，则邻域集合特征定义为： $$ \mathbf{S}_{i}=\begin{bmatrix}f_{k_{1}}&g_{k_{1}}&\phi(\mathbf{x}_{i},\mathbf{x}_{k_{1}})\\ \vdots&\vdots&\vdots\\ f_{k_{n}}&g_{k_{n}}&\phi(\mathbf{x}_{i},\mathbf{x}_{k_{n}})\end{bmatrix} $$ 其中点特征$\phi$表示邻近点k与不确定点i之间的相对距离。我们使用KDTree对原始点执行k近邻搜索来提取邻近点，n是一个超参数。我们将这些点特征和邻域集合特征输入到点头网络中以获得最终预测结果。对于点$\mathbf{h}_i \in \mathbb{R}^K$，点头网络的类别预测$\mathbf{x}_i$如下： $$ \mathbf{h}_{i}=\operatorname{pointhead}(\mathbf{p}_{i},\mathbf{S}_{i}) $$ 点头网络架构如图4所示，它由多层感知机、最大池化层和全连接层组成。$S_{i}$会独立经过多层感知机和最大池化操作，得到新的点特征，再与$p_{i}$拼接。这与[^15]中提出的局部点嵌入器类似，只不过他们在该流程的早期阶段使用这种架构从原始点云中提取特征；而我们试图利用RV和BEV网络已生成的具有语义信息的点特征来预测最终的类别标签。我们使用交叉熵损失函数训练点头网络。训练期间，我们会在每次迭代中随机选取一批不确定点来训练点头网络。推理时，我们会选出所有落在阈值之内的点，利用训练好的点头网络进行第二轮预测。最终预测标签向量如下： $$ \mathbf{y}_{i}=\begin{cases}\mathbf{h}_{i}&u_{i}=1\\ \sqrt{f_{i}\cdot g_{i}}&u_{i}=0\end{cases} $$ 对于不确定性高于阈值的点，我们会采用RV和BEV网络预测结果的几何平均值来得出类别预测。 ![Image](images/0ad59c339fd4da72b505edd98859b56b0e41305fc28516a474fac411e67c8807.jpg)

Figure 4: Point head architecture which obtains class predictions given point-level features, $\mathbf{p}_{i}$, and its neighborhood set features, $\mathbf{S}_{i}$

我们的点云头包含 18.5K 个参数，其多层感知机仅有 3 个隐藏层，因此体积轻巧。以 SemanticKITTI 中常见的 1 万个不确定点为例，其总计算量仅为 1 GFLOPs。这一数值大约仅占单次激光雷达扫描时 RV 网络计算量的 0.2%，若考虑到整个 AMVNet 流程，这一开销完全可以忽略不计。 ### 4. 实验为了验证所提方法的有效性，我们通过基准测试、消融研究以及可视化分析来呈现相关结果。 #### 4.1. 数据集我们在两个基准数据集 SemanticKITTI [^2] 和 nuScenes [^3] 上评估所提方法。 SemanticKITTI。该数据集基于 KITTI 视觉基准测试中的里程计数据集 [^8]，包含来自德国某城市的 22 个序列共 43551 次激光雷达扫描；其中 10 个场景（19130 次扫描）用于训练，1 个场景（4071 次扫描）用于验证，10 个场景（20351 次扫描）用于测试。该数据集采用 Velodyne HDL-64E 传感器采集，水平角分辨率在 0.08 到 0.35 之间，垂直方向有 64 个激光束。SemanticKITTI 最多可识别 28 个类别，但官方单扫描评估时使用 19 个类别的高级标签集。每次扫描大约包含 13 万个点。由于训练样本有限，摩托车手和其他地面类这类稀有类别在该数据集中识别难度较大；此外，行人、自行车和摩托车等类别在语义上也难以区分。 #### nuScenes。该数据集是一个用于 3D 物体检测与跟踪的多模态数据集。近期，nuScenes 为其 1000 个场景添加了逐点注释 $^{3}$。每个场景时长 20 秒，采集自波士顿和新加坡的不同地区。其中训练样本 28130 个，验证样本 6019 个，测试样本 6008 个。该数据集采用 Velodyne HDL-32E 传感器，水平角分辨率为 0.1 到 0.4，垂直方向有 32 个激光束。数据集还提供了每个点的激光束相关信息。 ---

Method	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign	mHOU
PointNet [^21]	46.3	1.3	0.3	0.1	0.8	0.2	0.2	0.0	61.6	15.8	35.7	1.4	41.4	12.9	31.0	4.6	17.6	2.4	3.7	14.6
RandLANet [^11]	94.0	19.8	21.4	42.7	38.7	47.5	48.8	4.6	90.4	56.9	67.9	15.5	81.1	49.7	78.3	60.3	59.0	44.2	38.1	50.3
RangeNet++ [^19]	91.4	25.7	34.4	25.7	23.0	38.3	38.8	4.8	91.8	65.0	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9	52.2
SalsaNext [^6]	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1	59.5
KPRNet [^14]	95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	63.1
PolarNet [^35]	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	57.5	54.3
Cylinder3D [^36]	96.1	54.2	47.6	38.6	45.0	65.1	63.5	13.6	91.2	62.2	75.2	18.7	89.6	61.6	85.4	69.7	69.3	62.6	64.7	61.8
FusionNet [^34]	95.3	47.5	37.7	41.8	34.5	59.5	56.8	11.9	91.8	68.8	77.1	30.8	92.5	69.4	84.5	69.8	68.5	60.4	66.5	61.3
SPVNAS [^24]	97.2	50.6	50.4	56.6	58.0	67.4	67.1	50.3	90.2	67.6	75.4	21.8	91.6	66.9	86.1	73.4	71.0	64.3	67.3	67.0
TornadoNet [^9]	94.2	55.7	48.1	40.0	38.2	63.6	60.1	34.9	89.7	66.3	74.5	28.7	91.3	65.6	85.6	67.0	71.5	58.0	65.9	63.1
AMVNet	96.2	59.9	54.2	48.8	45.7	71.0	65.7	11.0	90.1	71.0	75.8	32.4	92.4	69.1	85.6	71.7	69.6	62.7	67.2	65.3

![Image](images/3618cb25adcac5c4b6d1e4d45b936930b287f71e399bdd52cf25039aec4ebe88.jpg)

1able 1: Class-wise IOU on the test set of the SemanticKITTI official leaderboard. The methods are grouped, from top to bottom, as point-based networks, RV networks, BEV networks, 3D voxel partition-based networks and multi-view fusion networks. Best two values for each class are in bold. All IOU scores are given in percentage (%).

Method	![Image](images/f294ee423b1ec79f0a9277577e83058f47ce9ba60c9a905f4fec937455c74d8c.jpg)	![Image](images/8f645fc10de4a47b9546d5ae65921c09a6ba97ed9588ee203f9e0b617ea27f3c.jpg)	bus	car	constr.veh	motorcycle	pedestrian	traffic cone	trailer	truck	![Image](images/bc21df533fd981e548f777c12cc379300e6e661a028bb348efc36094858bc0ec.jpg)	other flat	![Image](images/01387c8720586c0b1612de62195d6e8176231d126963da99f7987cd38e7413a5.jpg)	terrain	![Image](images/fd8bddfc34c81bedfd261d277d672924b480eacc0797024a38004aa7192dd314.jpg)	vegetation	![Image](images/3927ea0c73b4478e4d345f5f32856183afb2ef295ae62ace93d605fee43bf779.jpg)	![Image](images/8229bdf8b30963e58a7a5379c378aa5b0946228d757540c945901d82af8695ba.jpg)
PolarNet [^35]	72.2	16.8	77.0	86.5	51.1	69.7	64.8	54.1	69.7	63.4	96.6	67.1	77.7	72.1	87.1	84.4	69.4	87.3
RV Net $^{\dagger}$	77.9	30.2	81.9	83.2	60.9	78.9	69.0	65.8	81.5	64.1	97.0	66.2	77.6	73.8	88.2	86.2	73.9	88.2
AMVNet	79.8	32.4	82.2	86.4	62.5	81.9	75.3	72.3	83.5	65.1	97.4	67.0	78.8	74.6	90.8	87.9	76.1	89.5

Table 2: Class-wise IOU on the test set of the nuScenes LiDAR semantic segmentation challenge. †An implementation of an RV network as described in Sec. 3.1 without the RNN. ‡FW IOU denotes Frequency Weighted IOU. Best values for each class are in bold.

该数据集最多可标注 32 个类别，但与 SemanticKITTI 类似，官方评估时使用 16 个类别的高级标签集。每次扫描通常包含约 3.4 万个点。与 SemanticKITTI 一样，该数据集也因类别不平衡而存在挑战：尤其是自行车和工程车辆等类别的训练数据相对有限。此外，nuScenes 的挑战性还体现在其涵盖不同地点和多样的天气条件，且物体数量更多；同时由于传感器激光束数量更少、水平角分辨率更低，该数据集的点云密度也更低。 #### 4.2. 实现细节本小节将分别介绍针对各数据集的网络细节。 SemanticKITTI。我们的 RV 网络接受 $64 \times 4096$ 球面投影输入，并使用步长为 4 到 128 的特征图作为解码器网络的输入。RNN 层被嵌入到步长为 64 和 128 的位置。RV 网络训练 160 个周期，批量大小为 32。我们的 BEV 网络采用 $480 \times 360 \times 32$ 的极坐标网格尺寸，以覆盖半径为 50 米、高度介于 $(-3m, 1.5m)$ 之间的网格空间（该高度是相对于激光雷达传感器而言的）。该网络训练 40 个周期，批量大小为 8。 nuScenes数据集。我们的距离视图网络采用$32 \times 1920$的圆柱形输入，分割头使用的步长范围为4到64。该网络训练400个周期，批量大小为64。我们的鸟瞰图网络采用$480 \times 360 \times 32$大小的极坐标网格，以覆盖半径为50米、高度在$(-2m, 4m)$之间的区域。该网络同样训练40个周期，批量大小为8。对于这两个数据集，距离视图网络和鸟瞰图网络均采用单周期学习率调度策略与AdamW优化器进行训练。我们还在损失函数中加入了类别特定的权重，这些权重与各类别频率的平方根倒数成正比，用以解决类别不平衡问题。对于点云头网络的训练，我们设置20个训练周期，批量大小为256个点，不确定性阈值为$\tau = 0.85$，点邻域数量n设为15。点云头网络采用单周期学习率调度策略与SGD优化器进行训练。我们的网络是独立训练的，但在未来的研究中可以探索将其整合为端到端模型的可能性。 #### 4.3. 实验结果在此我们展示AMVNet在提交至各评估服务器的基准数据集上的结果。 SemanticKITTI数据集。表1展示了我们提出的方法与近年来各类激光雷达分割方法在测试集上的结果对比。如表所示，我们的mIOU得分仅次于SPVNAS [^24]，位居第二，且比当前最优的多视角方法[^9]高出2.2%。在某些类别上，如自行车、摩托车、行人及其他类别，我们的表现也最为出色。 --- ![Image](images/a8bad8b240885d6ea518179acb964e0d62480b64c406357e00e3ded0be2a45ad.jpg)

Table 3: Class-wise IOU on the validation set of the SemanticKITTI between our individual networks and AMVNET.

![Image](images/b7640b1d69926fae418467462191f119dabbd6e99d6991f498aefab2790c8339.jpg)

(a) SemanticKITTI

![Image](images/2ba95b1271d94ef3fc9f059ee6b90475aa9a739495656d37d42d661c73fe5b44.jpg)

(b) nuScenes

Figure 5: Histogram plots of cosine similarity between RV and BEV label predictions of all points (log-scaled) in one LiDAR scan. Points below the threshold, which are flagged as uncertain, are only 10 to 20% of all points.

地面。虽然SPVNAS取得了非常好的结果，但我们想指出，他们的核心贡献在于3D神经架构搜索（3D-NAS）和稀疏点体素卷积（SPVConv）。相比之下，我们的研究重点是提供一种更好的方式来利用多视角的优势，而非专注于网络优化。从类别级IOU来看，我们的方法在19个类别中有8个的表现优于SPVNAS，另有6个类别与之相当。不过，这两种方法是互补的，可以结合使用以获得更好的性能。 nuScenes数据集。由于该数据集相对较新，我们运行了PolarNet代码的复现版本以及距离视图网络的一个变体作为基线，以便与表2中展示的AMVNet进行比较。AMVNet的mIOU得分比最佳基线高出3%。在大多数类别上，AMVNet的表现也优于基线，尤其在行人（+6）、交通锥（+6）和摩托车（+3）类别上优势明显。与SemanticKITTI数据集相比，AMVNet在nuScenes数据集上的mIOU得分也更高。其中一个原因可能是该数据集的粗粒度类别较少，没有区分行人、自行车骑行者和摩托车骑行者，也没有区分围栏、电线杆和交通标志，而这些正是容易导致网络混淆的类别。 ### 4.4. 进一步分析在本小节中，我们对方法的不同方面进行了更深入的分析。距离视图与鸟瞰图预测不一致的情况。我们在图5中仔细分析了给定激光雷达扫描下距离视图和鸟瞰图预测的余弦相似度。我们发现，在大多数点上，距离视图与

Dataset	RV	BEV	Ensemble	AMVNet
SemanticKitti	59.6	58.9	62.6	65.2
nuScenes	74.2	69.5	76.0	77.2

Table 4: mIOU comparison between individual networks, ensemble and AMVNet in the validation set.

![Image](images/312d0d3bece8ad11141d0eb7c04a1df04701f0fe9341a4994845338daf3f0007.jpg)

(a) SemanticKITTI

![Image](images/08fa858b7fa6cce7e0cd461623200da74a2a112c936bb6418b239692c46b14cf.jpg)

(b) nuScenes

Figure 6: mIOU at varying radial distance stratifications for the validation sets.

鸟瞰图网络在标签预测上已经达成一致。平均而言，SemanticKITTI数据集中只有$\approx$10%（nuScenes数据集中为$\approx$20%）的点数低于$\tau = 0.85$阈值，被归类为不确定点，随后会被送入点云头网络处理。这大大减少了推理过程中的点级计算量。集成模型与AMVNet。表4对比了单个网络的性能，以及将两个网络的预测结果简单集成后的效果。在集成模型中，我们尝试了多种方式来合并两个网络的类别预测（如算术平均、几何平均和最大值），最终发现几何平均法能取得最佳效果。结果表明，通过集成模型合并预测结果后的性能优于单个网络，这清楚地说明这两个网络能够相互补充。更重要的是，我们提出的方法甚至比单纯的集成模型效果更好，在SemanticKITTI数据集上mIOU值相差约2.5。径向距离分层分析。我们基于距自车的径向距离对不同分层下的mIOU进行了测试。图6展示了相关对比结果。在SemanticKITTI数据集的所有分层中，AMVNet的整体mIOU值均优于单个网络。这表明在所有分层中，这两个网络都能相互补充。对于nuScenes数据集而言，BEV模型在所有分层中的表现普遍弱于RV模型。因此，AMVNet相比单个网络带来的性能提升也较小（mIOU仅提高1-2%）。 --- ![Image](images/c2666575f8be63eea2de13e51766f19bae3258c709c67d7c946d3807b9cf2156.jpg) ![Image](images/f03fe9a9e1b6ac1f2ead2bcf842c9c607ae9f550b157c6317d70803cd07149e4.jpg)

(a) SemanticKITTI

(b) nuScenes

Figure 7: AMVNet point cloud renderings in top view given sample LiDAR scans taken from benchmarks' validation set.

![Image](images/ef20f2d6ff89176555b22f12a1b22f1cba74fa63cd631459974cfc8f59c4cc7e.jpg)

(a) $\tau$

![Image](images/7ed653789715914ed23b513f903a1cb8a2c396723d686c90d4b96eb06775bd5c.jpg)

(b) neighborhood points

Figure 8: Hyperparameter sweep in the SemanticKITTI validation set.

单个网络。类别级分析。表3对所用单个网络与AMVNet进行了更细致的类别级对比。结果显示，BEV模型在汽车、植被、地形、电线杆和交通标志等类别上表现更佳，而RV模型在其他类别上更具优势。AMVNet能够充分利用单个网络的优点，除“其他地面”类别外，在所有类别上均能获得最佳的IOU值。需要注意的是，“其他地面”类别在验证集上的数据点数量极少，因此无法据此得出关于整体性能的确定性结论。点采样阈值的调整。我们研究了改变确定点不确定性的阈值所产生的影响，如图8a所示。当阈值为$\tau = 1$时，意味着我们随机选取点进行训练，此时观察到的mIOU值相对较低。这一结果表明，用随机点训练的效果与使用两个网络的集成模型相当。这也进一步凸显了我们所提出的基于断言的采样方法的必要性。邻居数量的调整。我们还研究了方程(3)中用于输入到点头部的集合特征S的邻居数量n所产生的影响。图8b展示了相应的mIOU结果，可见加入邻域信息有助于提升mIOU性能。 ![Image](images/489c798979599ce340007e218f4b8c74aeca482b3e31cb4f6c4fa28df7c52731.jpg)

Table 5: Ablation study on extensions for our RV network on the SemanticKITTI validation set.

当n=3和n=7时，性能差距显著；n=15时效果最佳。 RV网络的改进效果。我们研究了在RV网络中做出的具体改进所带来的影响。表5显示了添加RNN层以及为损失函数设置类别权重这两项改进所起的作用。我们发现，这两项改进分别使mIOU值提升了1%；将它们结合使用后，整体性能较基线水平又提高了2个mIOU点。定性分析。图7展示了我们的AMVNet与真实标注结果在两种数据集上的俯视图点云渲染对比。总体而言，AMVNet的输出预测结果与真实标注较为吻合。不过仍存在一些混淆情况，说明还有进一步的改进空间。具体而言，在SemanticKITTI数据集中，人行道与停车场、地形与植被之间，以及人行道与建筑物之间的边界处存在混淆现象；在nuScenes数据集中，地形与植被之间，以及人行道与可行驶表面之间的边界也存在混淆情况。 ## 5. 结论在本文中，我们提出了一种用于自动驾驶车辆激光雷达语义分割的新型多视角融合方法，该方法充分利用了径向视图和鸟瞰图方法的优势。在这种后期融合方法中，我们通过基于断言的采样策略选出不确定性较高的点，并提取相关的点特征以输入到点头网络，从而实现更稳健的预测。借此，我们便能够从难以处理的点中学习。 --- 同时，系统中还具备两个相互独立的网络，可灵活选择是否通过点头网络进行处理。AMVNet在两个基准数据集上取得了顶尖的成绩。我们的工作具有很好的扩展性：可以添加更多断言、将点头网络升级为更复杂的架构（例如Transformer [^26]）、采用多个点头网络的集成方案，也可以独立优化多视角网络。致谢。感谢Sourabh Vora在构建径向视图骨干网络时提供的帮助。感谢Oscar Beijbom和Alex H. Lang的支持与指导。感谢Holger Caesar、Yiluan Guo和Kok Seang Tan富有洞见的评审与讨论。感谢Whye Kit Fong提供nuScenes-lidarseg数据集的使用权限。 ## 参考文献 [^1]: Eren Erdal Aksoy, Saimir Baci, and Selcuk Cavdar. Salsanet: Fast road and vehicle segmentation in lidar point clouds for autonomous driving. arXiv preprint arXiv:1909.08291, 2019. 3 [^2]: Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Cyrill Stachniss, and Jurgen Gall. Semantickitti: A dataset for semantic scene understanding of lidar sequences. In ICCV, pages 9297–9307, 2019. 1, 3, 5 [^3]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuscenes: A multimodal dataset for autonomous driving. In CVPR, pages 11621–11631, 2020. 1, 3, 5 [^4]: Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan L Yuille. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. TPAMI, 40(4):834–848, 2017. 1,4 [^5]: Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In CVPR, pages 1907–1915, 2017. 2 [^6]: Tiago Cortinhal, George Tzelepis, and Eren Erdal Aksoy. Salsanext: Fast semantic segmentation of lidar point clouds for autonomous driving. arXiv preprint arXiv:2003.03653, 2020. 1, 3, 6 [^7]: Sudeep Fadadu, Shreyash Pandey, Darshan Hegde, Yi Shi, Fang-Chieh Chou, Nemanja Djuric, and Carlos Vallespi-Gonzalez. Multi-view fusion of sensor data for improved perception and prediction in autonomous driving. arXiv preprint arXiv:2008.11901, 2020. 2, 3 [^8]: A. Geiger, P. Lenz, and R. Urtasun. Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. In CVPR, pages 3354–3361, 2012. 5 [^9]: Martin Gerdzhev, Ryan Razani, Ehsan Taghavi, and Bingbing Liu. Tornado-net: multiview total variation semantic segmentation with diamond inception module. arXiv preprint arXiv:2008.10544, 2020. 1, 3, 6 [^10]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pages 770–778, 2016. 4 [^11]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham. Randla-net: Efficient semantic segmentation of large-scale point clouds. In CVPR, pages 11108–11117, 2020. 1, 6 [^12]: Daniel Kang, Deepti Raghavan, Peter Bailis, and Matei Zaharia. Model assertions for monitoring and improving ml model. arXiv preprint arXiv:2003.01668, 2020. 5 [^13]: Alexander Kirillov, Yuxin Wu, Kaiming He, and Ross Girshick. Pointrend: Image segmentation as rendering. In CVPR, pages 9799–9808, 2020. 2 [^14]: Deyvid Kochanov, Fatemeh Karimi Nejadasl, and Olaf Booij. Kprnet: Improving projection-based lidar semantic segmentation. ECCVW, 2020. 1, 3, 6 [^15]: Loic Landrieu and Mohamed Boussaha. Point cloud over-segmentation with graph-structured deep metric learning. In CVPR, pages 7440–7449, 2019. 5 [^16]: Loic Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. In CVPR, pages 4558–4567, 2018. 3 [^17]: Alex H Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In CVPR, pages 12697–12705, 2019. 2, 3 [^18]: Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In CVPR, pages 3431–3440, 2015. 4 [^19]: Andres Milioto, Ignacio Vizzo, Jens Behley, and Cyrill Stachniss. Rangenet++: Fast and accurate lidar semantic segmentation. In IROS, pages 4213–4220. IEEE, 2019. 1, 3, 6 [^20]: Fausto Milletari, Nassir Navab, and Seyed-Ahmad Ahmadi. V-net: Fully convolutional neural networks for volumetric medical image segmentation. In 3DV, pages 565–571, 2016. 4 [^21]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In CVPR, pages 652–660, 2017. 1, 3, 6 [^22]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In NIPS, pages 5099–5108, 2017. 3 [^23]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In MICCAI, pages 234–241, 2015. 1, 4 [^24]: Haotian* Tang, Zhijian* Liu, Shengyu Zhao, Yujun Lin, Ji Lin, Hanrui Wang, and Song Han. Searching efficient 3d architectures with sparse point-voxel convolution. In ECCV, 2020. 3,6 [^25]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas. Kpconv: Flexible and deformable convolution for point clouds. In CVPR, pages 6411–6420, 2019. 3 ## [^26]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pages 5998–6008, 2017. 9 --- [^27]: Francesco Visin, Marco Ciccone, Adriana Romero, Kyle Kastner, Kyunghyun Cho, Yoshua Bengio, Matteo Matteucci, and Aaron Courville. Reseg: A recurrent neural network-based model for semantic segmentation. In CVPRW, pages 41–48, 2016. 2 [^28]: Sourabh Vora, Alex H Lang, Bassam Helou, and Oscar Beijbom. Pointpainting: Sequential fusion for 3d object detection. In CVPR, pages 4604–4612, 2020. 2 [^29]: Yue Wang, Alireza Fathi, Abhijit Kundu, David Ross, Caroline Pantofaru, Tom Funkhouser, and Justin Solomon. Pillar-based object detection for autonomous driving. ECCV, 2020. 2,3 [^30]: Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In ICRA, pages 1887–1893, 2018. 3 [^31]: Bichen Wu, Xuanyu Zhou, Sicheng Zhao, Xiangyu Yue, and Kurt Keutzer. Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud. In ICRA, pages 4376–4382, 2019. 3 [^32]: Yuxing Xie, Jiaojiao Tian, and Xiao Xiang Zhu. A review of point cloud semantic segmentation. arXiv preprint arXiv:1908.08854, 2019. 1 [^33]: Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, Peter Vajda, Kurt Keutzer, and Masayoshi Tomizuka. Squeeze-segv3: Spatially-adaptive convolution for efficient point-cloud segmentation. arXiv preprint arXiv:2004.01803, 2020. 1, 3 [^34]: Feihu Zhang, Jin Fang, Benjamin Wah, and Philip Torr. Deep fusionnet for point cloud semantic segmentation. ECCV, 2020. 3, 6 [^35]: Yang Zhang, Zixiang Zhou, Philip David, Xiangyu Yue, Zerong Xi, Boqing Gong, and Hassan Foroosh. Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. In CVPR, pages 9601–9610, 2020. 1, 2, 3, 4, 6 [^36]: Hui Zhou, Xinge Zhu, Xiao Song, Yuexin Ma, Zhe Wang, Hongsheng Li, and Dahua Lin. Cylinder3d: An effective 3d framework for driving-scene lidar semantic segmentation. arXiv preprint arXiv:2008.01550, 2020. 3, 6 [^37]: Yin Zhou, Pei Sun, Yu Zhang, Dragomir Anguelov, Jiyang Gao, Tom Ouyang, James Guo, Jiquan Ngiam, and Vijay Vasudevan. End-to-end multi-view fusion for 3d object detection in lidar point clouds. In CoRL, pages 923–932, 2020. 2, 3 [^38]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In CVPR, pages 4490–4499, 2018. 2