# GFNet：用于三维点云语义分割的几何流网络 邱海波 澳大利亚悉尼大学计算机科学学院 余宝生 澳大利亚悉尼大学计算机科学学院 陶大程 澳大利亚悉尼大学计算机科学学院 在OpenReview上的评审页面： ## 摘要 基于投影视图（如距离视图RV和鸟瞰图BEV）的点云语义分割一直是研究热点。不同视图能够捕捉到点云的不同信息，因此彼此互补。然而，当前基于投影的点云语义分割方法通常采用常规的后期融合策略来处理不同视图的预测结果，未能在特征表示学习阶段从几何角度挖掘这些互补信息。本文提出一种几何流网络（GFNet），以“先对齐后融合”的方式探索不同视图间的几何对应关系。具体而言，我们设计了一种新颖的几何流模块（GFM），能够在端到端学习框架下，根据几何关系双向对齐并传递不同视图间的互补信息。我们在SemanticKITTI和nuScenes这两个常用的基准数据集上开展了大量实验，验证了GFNet在基于投影的点云语义分割任务中的有效性。具体来说，GFNet不仅显著提升了单个视图的性能，还取得了超越所有现有投影类模型的最佳效果。相关代码可在获取。 ## 1 引言 由于激光雷达传感器的广泛应用使得海量三维点云数据得以获取（Behley等人，2019；Caesar等人，2020），三维点云分析受到了学术界和工业界的日益关注。与二维图像（如RGB图像）相比，点云能够捕捉物体的精确结构，从而提供与三维现实世界高度契合的几何精确视角表示。点云语义分割旨在为每个点分配语义标签，是场景理解的基础，它能使智能体精准感知物体以及动态变化的环境。因此，点云语义分割在自动驾驶（Li等人，2020；Aksoy等人，2020）和机器人技术（Li等人，2019；Yang等人，2020）等对安全性要求极高的应用中发挥着至关重要的作用。 与图像中的结构化像素不同，点云是由$(x, y, z)$坐标表示的点的集合，没有特定顺序，且在真实场景中极为稀疏。因此，直接利用现有的图像深度学习技术来处理点云分析并非易事。近期的点云分割方法通常从体素化、单/多视图投影或新型基于点的操作等角度来解决上述稀疏分布问题。然而，基于体素的方法计算量庞大，而基于点的操作则难以高效捕捉邻域信息，尤其是在处理大规模户外场景时更是如此（Behley等人，2019；Caesar等人，2020）。 --- 随着全卷积网络在基于图像的语义分割领域取得巨大成功（Chen等人，2017a;b；Long等人，2015；Zhao等人，2017），基于投影的方法近年来受到了越来越多的关注。图1展示了两种广泛使用的投影视图，即距离视图（RV）（Milioto等人，2019）和鸟瞰图（BEV）（Zhang等人，2020b）。基于单视图的方法只能学习特定于该视图的特征表示（Alonso等人，2020；Cortinhal等人，2020；Xu等人，2020），无法处理投影过程中出现的遮挡点问题。例如，图2中的RV视图在红色矩形区域内出现了遮挡尾部现象（即远处被遮挡的点被赋予了近处可见点的标签）。为解决这一问题，近期的研究采用多视图模型来整合不同视图间的互补信息，这类方法通常按顺序处理RV/BEV（Chen等人，2020；Gerdzhev等人，2021），或采用简单的后期融合策略（Alnaggar等人，2021；Liong等人，2020）。然而，现有方法未能在特征表示学习过程中挖掘RV/BEV之间内在的几何关联。 从图1中可以看出，为了找到两个视图之间的几何对应关系（虚线所示），我们可以利用原始点云作为桥梁，例如，从RV到BEV的转换可以通过两次变换来实现（实线所示）：1）从RV到点云；2）从点云到BEV。受此启发，我们提出了一种新颖的几何流网络（GFNet），它能够以端到端可学习的方式同时学习特定于视图的特征表示，并探索RV与BEV之间的几何对应关系。具体而言，我们首先采用两个分支来处理RV和BEV输入，每个分支均采用以ResNet（He等人，2016）为骨干的编码器-解码器架构。接着，我们设计了几何流模块（GFM），并将其应用于多个层次的特征表示上，以实现两个投影视图间几何信息的双向对齐与传播，从而学习到更具区分性的特征表示。图2展示了一个将信息从BEV传播到RV的示例，这种机制有助于处理RV投影过程中产生的遮挡点问题。此外，受Kochanov等人（2020）的启发，我们还在GFNet顶层引入KPConv（Thomas等人，2019）来替代KNN后处理步骤，从而使得整个多视图点云语义分割流程能够以端到端的方式轻松训练。本文的主要贡献总结如下： ![Image](images/33f5499f052809dcdb861012414178452dea4ecd6ef1e6898a8319f9c308a91d.jpg)
Figure 1: Geometric bidirectional transformation diagram between range-view (RV) and bird's-eye-view (BEV).
图2展示了将信息从BEV传播到RV的示例，这种机制有助于处理RV投影过程中产生的遮挡点问题。此外，受Kochanov等人（2020）的启发，我们还在GFNet顶层引入KPConv（Thomas等人，2019）来替代KNN后处理步骤，从而使得整个多视图点云语义分割流程能够以端到端的方式轻松训练。本文的主要贡献总结如下： - 我们提出了一种新颖的GFNet，它能够同时学习和融合多视图特征表示，其中所设计的几何流模块（GFM）可实现几何对应信息在不同视图间的流动。 • 我们在两个主流的大规模点云语义分割基准数据集SemanticKITTI和nuScenes上进行了大量实验，结果证明了GFNet的有效性——其性能在所有现有的基于投影的方法中均处于领先水平。 - 我们为RV和BEV设计了两个分支，用KPConv取代了KNN后处理步骤，从而使所提出的GFNet能够实现端到端训练。 ## 2 相关工作 在本节中，我们将从基于点的方法、基于体素的方法和基于投影的方法等角度，回顾近期点云语义分割领域的研究成果。此外，我们还会探讨最近出现的同时使用多种格式/模态的混合方法。在所有基于投影的方法中，我们重点关注多视图投影方法。 --- ![Image](images/8232f5bdffdeb7f348dc74b3c4c88d5ab652663c3fc94c8b4928cf28db9bfefa.jpg)
Figure 2: The distant occluded points caused by RV projection are misclassified as the labels of near displayed points in the red rectangle areas, while they are totally captured by BEV. By propagating the information between BEV and RV, this issue can be well addressed by our GFNet.
基于点的方法。近期的方法主要设计新颖的点操作或架构，以便直接从原始点中学习表征（Hu等人，2020；Li等人，2018；Qi等人，2017a;b；Thomas等人，2019；Wang等人，2019；Tang等人，2022），包括基于多层感知机（MLP）的方法（Hu等人，2020；Qi等人，2017a;b）、基于卷积神经网络（CNN）的方法（Li等人，2018）以及基于图的方法（Thomas等人，2019；Wang等人，2019）。具体而言，PointNet（Qi等人，2017a）是率先使用多层感知机直接处理点云的算法，随后PointNet++（Qi等人，2017b）通过分层神经网络来学习局部特征，对其进行了改进。PointCNN（Li等人，2018）从输入点中学习用于对齐的X变换，之后再应用常规的卷积层。DGCNN（Wang等人，2019）提出了一种名为EdgeConv的新型图卷积模块，用以捕捉局部几何特征。RandLA-Net（Hu等人，2020）采用随机点采样结合高效的局部特征聚合模块，以保留局部信息。KPConv（Thomas等人，2019）引入了一种名为核点卷积的新型点卷积算子，可直接将邻近点作为输入，并借助空间定位的权重进行处理。不过，由于点云具有不规则且无序的特性，捕捉邻近信息的效率较低。 基于体素的方法。这类方法（Cheng等人，2021；Tang等人，2020；Yan等人，2020a；Zhang等人，2020a；Zhu等人，2021）首先将点云体素化到规则网格中，再运用三维卷积进行处理。Cylinder-3D（Zhu等人，2021）引入了圆柱形划分与非对称三维卷积网络，以解决点云的稀疏性和密度差异问题。SPVNAS（Tang等人，2020）提出了稀疏点-体素卷积（SPVConv），这是一种轻量级的三维模块，由常规稀疏卷积和高分辨率基于点的分支组成。此外，还提出了三维神经架构搜索（3D-NAS），以获取用于语义分割的高效且有效的架构。AF2S3Net（Cheng等人，2021）设计了AF2M来捕捉全局上下文和局部细节，以及AFSM来学习来自AF2M的多尺度特征图之间通道的相互关系。然而，大规模室外场景（如SemanticKITTI（Behley等人，2019））的数据分布极为稀疏，且当体素分辨率提高时，计算量会呈立方级增长。 混合方法。近期的方法（Xu等人，2021；Ye等人，2021；Yan等人，2022）通常侧重于同时使用多种格式/模态（如体素、点或自然图像）来学习判别性表征。DRINet++（Ye等人，2021）提出了稀疏特征编码器，用于从体素化网格中提取局部上下文信息；还提出了稀疏几何特征增强模块，利用多尺度稀疏投影和注意力多尺度融合来增强稀疏点的几何特性。RPVNet（Xu等人，2021）探索了三种视图（即投影、体素和点）之间的多重交互与信息交换，随后通过门控融合模块根据实时输入自适应地合并这三种特征。2DPASS（Yan等人，2022）为原始点补充了二维自然图像信息。它通过利用辅助模态融合和多尺度融合转单知识蒸馏（MSFSKD）技术，无需严格的配对数据约束，就能从二维图像中提取更丰富的语义和结构信息，并将其融入纯三维点云网络。 --- ![Image](images/b7036c07feeaebbfa27487fe6563e8e93859bb2fe342052651c81245ff2f50bf.jpg)
Figure 3: The overview of geometric flow network (GFNet). Point clouds are first projected to range-view (RV) and bird’s-eye-view (BEV) using spherical and top-down projections, respectively. Then two branches with the proposed geometric flow module (GFM) handle RV/BEV to generate feature maps ( $H \times W \times C$). Finally, grid sampling based on corresponding projection relationships is utilized to get the probability ( $N \times C$) for each point, and the fused prediction $\mathbf{F}_{\mathbf{f}}$ is obtained by applying kpconv on the concatenation of RV/BEV. Note that the subplot in bottom right corner illustrates how grid sampling works with dimension changing annotation, i.e., sampling $\mathbf{F}$ ( $\mathbf{F}_{\mathbf{r}}$ or $\mathbf{F}_{\mathbf{b}}$) with $N \times C$ from $\mathbf{M}$ ( $\mathbf{M}_{\mathbf{r}}$ or $\mathbf{M}_{\mathbf{b}}$) with $H \times W \times C$.
基于投影的方法。点云首先被投影到二维图像上，例如距离视图（RV）（Alonso等人，2020年；Cortinhal等人，2020年；Milioto等人，2019年；Wu等人，2018年、2019年；Xu等人，2020年）和鸟瞰图（BEV）（Zhang等人，2020b），随后利用二维卷积进行处理。例如，RangeNet++（Milioto等人，2019年）采用DarkNet（Redmon和Farhadi，2018年）作为骨干网络来处理RV图像，并使用KNN进行后处理。SqueezeSegV3（Xu等人，2020年）在Wu等人（2018年、2019年）的研究基础上，运用空间自适应卷积（SAC）根据输入的RV图像为不同位置选用不同的滤波器。SalsaNext（Cortinhal等人，2020年）引入了一种新的上下文模块，该模块由残差空洞卷积堆叠而成，用以融合不同尺度的感受野。另一方面，PolarNet（Zhang等人，2020b）采用基于极坐标系的鸟瞰图（BEV）而非传统的二维笛卡尔BEV投影，以便更好地建模点云不平衡的空间分布。 在基于投影的方法中，应用多视角投影能够充分利用丰富的互补信息（Alnaggar等人，2021年；Chen等人，2020年；Gerdzhev等人，2021年；Liong等人，2020年），而以往的研究通常按顺序单独处理RV/BEV（Chen等人，2020年；Gerdzhev等人，2021年），或采用简单的后期融合方式（Alnaggar等人，2021年；Liong等人，2020年）。例如，MVLidarNet（Chen等人，2020年）首先从RV图像中获取预测结果，再将其投影到BEV中作为初始特征，通过特征金字塔网络来学习表征。与之不同的是，TornadoNet（Gerdzhev等人，2021年）则反向操作：它设计了柱状投影学习模块（PPL）从BEV中提取特征，随后将这些特征放入RV中，并由编码器-解码器CNN进行建模。另外，MPF（Alnaggar等人，2021年）使用两个不同的模型分别处理RV和BEV，再将两个分支预测的softmax概率合并为最终预测结果。AMVNet（Liong等人，2020年）更进一步：在获得RV和BEV的独立预测结果后，它采用点头网络（Qi等人，2017a）来优化那些由两个分支预测不一致所定义的不确定预测。而我们的GFNet能够在端到端学习过程中，让几何对应信息在RV/BEV之间多层次流动，从而生成更具区分性的表征并取得更好的性能。 --- ## 3 方法 在本节中，我们首先概述点云语义分割以及所提出的几何流网络（GFNet）。接着，我们详细介绍基于距离视图（RV）和鸟瞰图（BEV）的投影式点云分割方法。之后，我们描述所提出的几何流模块（GFM），包括几何对齐与注意力融合。最后，我们将阐述GFNet的端到端优化过程。 ### 3.1 概述 给定一个包含N个三维点的激光雷达点云$\mathbf{P} \in \mathbb{R}^{N \times 4}$，每个点的格式为$(x, y, z, \text{remission})$，其中$(x, y, z)$表示该点相对于激光雷达传感器的笛卡尔坐标，而反射率则表示反射激光束的强度。点云语义分割的目标是为$\mathbf{P}$中的所有点赋予准确的语义标签$i.e., \mathbf{Q} \in \mathbb{N}^N$。对于基于投影的点云语义分割，在训练期间我们还需要将真实标签$\mathbf{Q}$转换到投影视图中，即RV对应的$i.e., \mathbf{Q}_r$和BEV对应的$\mathbf{Q}_b$。 图3展示了GFNet的整体流程。具体而言，点云P首先通过球面投影和俯视投影分别转换为距离视图（RV）和鸟瞰视图（BEV），即$\mathbf{I}_r$和$\mathbf{I}_b$。随后，我们采用两个具有编码器-解码器结构的子网络分支，以RV/BEV图像为输入生成密集预测结果，这些结果被称为每个语义类别的概率图。所提出的几何流模块（GFM）被嵌入到解码器的每一层中，根据两个视图间的几何对应关系双向传播特征信息。之后，通过对密集概率图进行网格采样，即可得到所有点的分类概率；这种采样基于特定视图与原始点云之间的投影关系，如图3右下角所示。受Kochanov等人（2020）的启发，我们还在所提出的GFNet基础上引入KPConv（Thomas等人，2019），用以替代KNN操作，从而以可学习的方式获取精确的邻域信息。借助这种方式，整个多视图点云语义分割流程便可端到端训练。 ### 3.2 多视图投影 对于基于投影的方法而言，点云$\mathbf{P} \in \mathbb{R}^{N \times 4}$需先转换为图像$\mathbf{I} \in \mathbb{R}^{HW \times C}$，才能利用主要为2D视觉识别开发的深度神经网络；其中H和W表示投影图像的空间尺寸，C为通道数。不同的投影方式对应着不同的变换，即$\mathcal{P} : \mathbb{R}^{N \times 4} \mapsto \mathbb{R}^{HW \times C}$。在本文中，我们采用了两种广泛用于点云分析的投影视图：距离视图（RV）和鸟瞰视图（BEV）。如图3所示，我们旨在利用所提出的两分支网络从RV和BEV这两种不同视图中学习有效的表征，每个分支均采用编码器-解码器结构。下文将详细介绍多视图投影的相关内容。 距离视图（RV）。为了从RV图像中学习有效的表征，需要先进行球面投影，将点云P投影为2D的RV图像（Milioto等人，2019）。具体而言，我们首先将笛卡尔空间中的点$(x, y, z)$投影到球面空间，过程如下： $$ \left[\begin{matrix}{\psi}\\ {\phi}\\ {r}\\ \end{matrix}\right]=\left[\begin{matrix}{a r c t a n(y,x)}\\ {a r c s i n(z/\sqrt{x^{2}+y^{2}+z^{2}})}\\ {\sqrt{x^{2}+y^{2}+z^{2}}}\\ \end{matrix}\right], $$ 其中$\psi, \phi$、以及r分别表示方位角、极角和径向距离（即每个点的距离）。随后，我们便能得到点$(x, y, z)$在投影后的2D距离图像中的像素坐标： $$ \begin{bmatrix}\widetilde{u}\\ \widetilde{v}\end{bmatrix}=\begin{bmatrix}(1-\psi/\pi)/2\cdot W\\ (f_{u p}-\phi)/f\cdot H\end{bmatrix}, $$ --- 其中$(H, W)$表示距离图像的空间尺寸，$f = f_{up} - f_{down}$为激光雷达传感器的垂直视场角。对于每个投影后的像素$(u, v)$（由$(\tilde{u}, \tilde{v}$离散化得到），我们取其$(x, y, z, r, r_{\text{emission}})$作为特征，最终得到尺寸为$(H, W, 5)$的距离图像。此外，Triess等人（2020）提出了一种改进的距离投影方法，该方法按照激光雷达传感器的采集顺序对点云进行展开，从而得到更平滑的投影图像，且有效投影率也更高$^{1}$。除非另有说明，我们在所有实验中均采用这种改进的距离投影方法（Triess等人，2020）。 鸟瞰视图（BEV）。为了从BEV图像中学习有效的表征，采用俯视正交投影将点云转换为BEV图像（Chen等人，2017c）。此外，Zhang等人（2020b）引入极坐标系统来取代笛卡尔坐标系，其公式如下： $$ \begin{bmatrix}\widetilde{u}\\ \widetilde{v}\end{bmatrix}=\begin{bmatrix}\sqrt{x^{2}+y^{2}}\cos(\arctan(y,x))\\ \sqrt{x^{2}+y^{2}}\sin(\arctan(y,x))\end{bmatrix}=p o l a r(x,y), $$ 其中 $\text{polar}(\cdot)$ 是从笛卡尔坐标系到极坐标系的坐标变换。遵循 Zhang 等人（2020b）的方法，我们使用九个特征来描述鸟瞰图中的每个像素 $(u, v)$（通过将 $(\widetilde{u}, \widetilde{v})$ 离散化为 $[0, H - 1]$ 和 $[0, W - 1]$），包括三个相对圆柱距离、三个圆柱坐标、两个笛卡尔坐标以及一个反射率，其构建方式如下： $$ [\Delta{c y l i n d r i c a l}(x,y,z),{~c y l i n d r i c a l}(x,y,z),{~x,~y,~r e m i s s i o n})], $$ 其中 $cylindrical(x,y,z) = [polar(x,y),z]$ 表示圆柱坐标，$\Delta cylindrical(x,y,z)$ 是到鸟瞰图网格中心的相对距离，因此每张鸟瞰图的形状为 $(H,W,9)$。 ### 3.3 几何流模块 直观而言，径向视图和鸟瞰图通过不同的投影方式包含了原始点云的不同视图信息，从而导致不同类别上的信息损失存在差异。例如，径向视图在识别摩托车、行人等小型或垂直延伸的物体方面表现较好，而鸟瞰图对xy平面上具有较大且明显空间尺寸的物体更为敏感。为了充分探究径向视图/鸟瞰图之间的互补信息，我们从几何角度对其展开研究。具体而言，我们设计了一种基于径向视图与鸟瞰图之间几何对应关系的几何流模块（GFM），用于在不同视图间双向传播互补信息。如图4所示，第一步称为几何对齐，即利用几何变换将源视图（径向视图或鸟瞰图）的特征对齐到目标视图；第二步称为注意力融合，即通过自注意力和残差连接，将对齐后的特征表示与原始特征相结合。下面我们将详细介绍所提出的GFM模块的上述关键步骤。 几何对齐。其核心思想在于两个视图之间的几何变换矩阵，即 $\mathbf{T}_{R\to B}$（从径向视图到鸟瞰图）和 $\mathbf{T}_{B\to R}$（从鸟瞰图到径向视图）。为了获取这些变换矩阵，我们提出利用原始点云作为中介。具体来说，根据公式(1)和(2)，我们得到从径向视图到点云P的变换如下： $$ \mathbf{T}_{R\rightarrow P}=\left[\begin{matrix}{n_{0,0}}&{\cdots}&{n_{0,W_{r}-1}}\\ {\vdots}&{\vdots}&{\vdots}\\ {n_{H_{r}-1,0}}&{\cdots}&{n_{H_{r}-1,W_{r}-1}}\\ \end{matrix}\right], $$ 其中 $\mathbf{T}_{R\to P} \in \mathbb{Z}^{H_r \times W_r}$、$(H_r, W_r)$ 分别是二维径向视图图像的空间尺寸，$\{(n_{i,j}) \mid 0 <= i <= H_r-1, \; 0 <= j <= W_r-1\}$ 是投影到 $(n_{i,j})_{th}$ 坐标上的 $(i,j)$ 点。需要注意的是，如果多个点投影到同一个像素上，则保留距离较近的点；如果一个像素没有点投影其上，则其 $n_{i,j}$ 被赋值为-1。随后我们根据公式(3)得到从 $\mathbf{P}$ 到鸟瞰图图像的变换： $$ \mathbf{T}_{P\to B}=\begin{bmatrix}\mathbf{u}_{0}&\cdots&\mathbf{u}_{N-1}\end{bmatrix}^{T} $$ $$ =\left[\begin{matrix}{u_{0}}&{\cdots}&{u_{N-1}}\\ {v_{0}}&{\cdots}&{v_{N-1}}\\ \end{matrix}\right]^{T}, $$ --- ![Image](images/6aa44a50e9bde4a14598c9189ee744f8952df666fe725e9a3ae9da71c12caa49.jpg)
Figure 4: An overview of the proposed geometric flow module (GFM). It contains two main steps, i.e., geometric alignment and attention fusion, which first aligns the feature from the source view (RV or BEV) to the target view using their geometric correspondences, and then applies self-attention and residual connections to combine view-specific features with the flowed information. Note that $\mu_{r}$ and $\theta_{r}$ share the same architecture but not weights with $\mu_{b}$ and $\theta_{b}$, respectively.
其中 $\mathbf{T}_{P\to B} \in \mathbb{Z}^{N\times2}$ 和 $\{\mathbf{u}_k = (u_k, v_k) \mid 0 <= k <= N - 1\}$ 是二维鸟瞰图图像的投影像素坐标，对应于 $k_{th}$ 点。 ```pseudo // Algorithm 1: Geometric Flow Module (BEV $\rightarrow$ RV) Input: RV feature map $M_r : [H_r, W_r, C_r]$, BEV feature map $M_b : [H_b, W_b, C_b]$, $\mathbf{T}_{R \to B} : [H_r, W_r, 2]$. Output: Fused RV feature map $M_{fused}^r : [H_r, W_r, C_r]$. ``` 步骤1：几何对齐 - 将对齐后的特征 $M_{b \to r}$ 初始化为零，其形状为 $[H_r, W_r, C_b]$； - $\text{foreach } (i, j) \in [1 : W_r] \times [1 : H_r]$ $\text{do}$ $\mathbf{u} = \mathbf{T}_{R \to B}[i, j]$ $u, v = \mathbf{u}$ $M_{b \to r}[i, j, :] = M_b[u, v, :]$ 步骤2：注意力融合 - 沿通道维度将 $M_r$ 和 $M_{b \to r}$ 拼接成 $M_{concat} : [H_r, W_r, C_r + C_b]$ - 应用自注意力模块得到形状为 $M_{atten} = \mu(M_{concat}) \cdot \theta(\mu(M_{concat}))$ 的 $[H_r, W_r, C_r]$ - 采用残差连接 $M_{fused}^r = M_r + M_{atten}$ 最后，我们通过 $\mathbf{T}_{R\to B}$ 和 $\mathbf{T}_{R\to P}$ 计算出变换后的矩阵 $\mathbf{T}_{P\to B}$。具体来说，对于RV图像中的每个像素 $(i,j)$，我们首先获取其对应的三维点 $n_{i,j} = \mathbf{T}_{R\to P}[i,j]$，然后将 $n_{i,j}$ 投影到BEV图像上，从而得到对应的像素 $\mathbf{T}_{P\to B}[n_{i,j}] = \mathbf{u}_{n_{i,j}}$。此时，我们得到 $\mathbf{T}_{R\to B} \in \mathbb{Z}^{H_r \times W_r \times 2}$ 如下： $$ \mathbf{T}_{R\rightarrow B}=\left[\begin{matrix}{\mathbf{u}_{n_{0,0}}}&{\cdots}&{\mathbf{u}_{n_{0,W_{r}-1}}}\\ {\vdots}&{\vdots}&{\vdots}\\ {\mathbf{u}_{n_{H_{r}-1,0}}}&{\cdots}&{\mathbf{u}_{n_{H_{r}-1,W_{r}-1}}}\\ \end{matrix}\right], $$ 一旦获得 $\mathbf{T}_{R\to B}$，我们就可以按照如下方式将BEV特征与RV特征对齐：对于RV图像中的每个位置 $(i,j)$，可以通过 $(u,v)$ 获取其在BEV图像中对应的 $\mathbf{T}_{R\to B}[i,j]$ 坐标，接着将 $(u,v)$ 处的特征融合到 $(i,j)$ 上，得到对齐后的特征 $F_{b\to r}$。要将RV特征对齐到BEV，我们可以采用类似的方法，利用 $\mathbf{T}_{B\to R} \in \mathbb{Z}^{H_b \times W_b \times 2}$ 来实现。 --- 注意力融合。在几何特征对齐之后，我们采用注意力融合模块来获取融合特征：先将对齐后的特征与目标特征拼接，随后进行两次卷积操作 $\mu(\cdot)$ 和 $\theta(\cdot)$。这两次卷积的架构分别为简单的“Conv-BN-RELU”和“Conv-BN-Softmax”；其中 $\theta$ 中的softmax函数用于将数值映射为作为注意力权重的 [^0] [^1]。最终，注意力特征会通过残差连接与目标特征相结合。我们在算法1中展示了将BEV融合到RV的整个过程，包括几何对齐和注意力融合模块；从RV到BEV的几何流程也可以采用类似的方式计算。 ### 3.4 优化 设 $\mathbf{Q_r}$ 为RV图像 $\mathbf{I_r}$ 的标签，$\mathbf{Q_b}$ 为BEV图像 $\mathbf{I_b}$ 的标签，它们均由原始点云标签 $\mathbf{Q}$ 投影而来。由此我们分别得到RV的二维预测结果 $\mathbf{M_r}$ 和BEV的二维预测结果 $\mathbf{M_b}$。之后，通过网格采样和KPConv得到三维预测结果，即RV对应的 $\mathbf{F_r}$ 和BEV对应的 $\mathbf{F_b}$。融合之后，我们便得到了最终的三维预测结果 $\mathbf{F_r}$。为了便于说明，我们也在图3中标注了所有预测结果，即 $\mathbf{M_r}$、$\mathbf{M_b}$、$\mathbf{F_r}$、$\mathbf{F_b}$ 和 $\mathbf{F_r}$。为了训练所提出的GFNet，我们首先针对二维和三维预测分别使用损失函数 $\mathcal{L}_{2D}$ 和 $\mathcal{L}_{3D}$，具体形式如下： $$ \begin{array}{r}{\mathcal{L}_{2D}=\rho\cdot\mathcal{L}_{C L}(\mathbf{M_{r}},\mathbf{Q_{r}})+\sigma\cdot\mathcal{L}_{C L}(\mathbf{M_{b}},\mathbf{Q_{b}}),}\end{array} $$ 以及 $$ \mathcal{L}_{{3D}}=\mathbf{\beta}\cdot\mathcal{L}_{{C E}}(\mathbf{F_{r}},\mathbf{Q})+\mathbf{\gamma}\cdot\mathcal{L}_{{C E}}(\mathbf{F_{b}},\mathbf{Q}), $$ 其中 $\mathcal{L}_{CE}$ 表示典型的交叉熵损失函数，而 $\mathcal{L}_{CL}$ 则是交叉熵损失与Lovasz-Softmax损失（Berman等人，2018）的组合，两者的权重比为1:1。随后我们对最终的三维预测结果 $\mathbf{F}_{\mathbf{f}}$ 应用交叉熵损失，因此总体损失函数 $\mathcal{L}_{total}$ 可表示为： $$ \mathcal{L}_{t o t a l}=\alpha\cdot\mathcal{L}_{C E}(\mathbf{F_{f}},\mathbf{Q})+\mathcal{L}_{3D}+\mathcal{L}_{2D}, $$ 其中 $\lambda \doteq [\alpha, \beta, \gamma, \rho, \sigma]$ 表示不同损失的权重系数，我们将在第4.4节中探讨不同损失项的影响。 ## 4 实验 在本节中，我们首先介绍所使用的SemanticKITTI（Behley等人，2019）和nuScenes（Caesar等人，2020）数据集，以及用于点云分割的平均IoU和准确率指标。接着我们给出GFNet的实现细节，包括网络架构和训练设置。此后，我们开展大量实验以验证GFM的有效性，并分析GFNet中不同超参数的影响。最后，我们将所提出的GFNet与近期先进的点云/投影类方法进行比较，以展示我们的优越性。 ### 4.1 数据集与评估指标 SemanticKITTI（Behley等人，2019年）源自KITTI视觉基准测试集（Geiger等人，2012年），为语义分割任务提供了密集的点级标注。该数据集包含19个具有挑战性的类别，共有来自22个序列的43551次激光雷达扫描数据，这些扫描由Velodyne HDL-64E激光雷达采集，每次扫描约包含13万个点。按照Behley等人（2019年）以及Milioto等人（2019年）的方法，这22个序列被划分为3个子集：训练集（序列00至10，其中序列08除外，共19130次扫描）、验证集（序列08，共4071次扫描）以及测试集（序列11至21，共20351次扫描）。我们在验证集上开展了大量实验以分析所提出的方法，同时通过将结果提交至官方测试服务器来报告在测试集上的性能表现。 nuScenes（Caesar等人，2020年）是一个大规模自动驾驶数据集，包含了在波士顿和新加坡采集的1000个时长20秒的驾驶场景。具体而言，所有驾驶场景被正式划分为训练集（850个场景）和验证集（150个场景）。为了合并相似类别并剔除罕见类别，点云语义分割任务共使用16个类别，其中包括10个前景类别和6个背景类别。我们借助官方测试服务器来报告在测试集上的最终性能。 --- 评估指标。参照Behley等人（2019年）的方法，我们采用所有类别的平均交并比（mIoU）作为评估指标。从数学角度而言，mIoU可定义为： $$ m I o U=\frac{1}{C}\sum_{c=1}^{C}\frac{T P_{c}}{T P_{c}+F P_{c}+F N_{c}}, $$ 其中，$TP_{c}$、$FP_{c}$和$FN_{c}$分别表示给定类别c的真阳性、假阳性和假阴性预测数量，C为类别总数。为了进行全面的对比，我们还报告了所有样本上的准确率，其计算公式如下： $$ A c c u r a c y=\frac{T P+T N}{T P+F P+F N+T N}. $$ ### 4.2 实现细节 针对SemanticKITTI数据集，我们采用两个分支以端到端可训练的方式从径向视图/鸟瞰图学习表征，每个分支均采用以ResNet-34（He等人，2016年）为骨干网络的编码器-解码器架构。编码器与解码器之间还使用了ASPP模块（Chen等人，2017b）。所提出的几何流模块（GFM）被嵌入到每个上采样层中。需要注意的是，输入到GFM中的$\mathbf{T}_{R\to B}$和$\mathbf{T}_{B\to R}$元素会根据当前流动特征的分辨率进行线性缩放。对于径向视图分支，点云首先被投影为分辨率为[^64] [^2048]的范围图像，随后通过双线性上采样至$[64 \times 2S, 2048 \times S]$，其中S为缩放因子。训练期间，采用对径向视图图像进行水平1/4随机裁剪的方式，即裁剪区域为[128S, 512S]，以此作为数据增强手段。另一方面，我们对鸟瞰图采用极坐标划分方式（Zhang等人，2020b），并使用分辨率为[^480] [^360] [^32]的极坐标网格来覆盖以激光雷达传感器为原点的[半径：(3米, 50米)，z轴：(-3米, 1.5米)]范围内的空间。该网格会先经过小型PointNet网络（Qi等人，2017a）处理，以获取沿z轴的最大特征激活值，从而为鸟瞰图分支生成分辨率为[^480] [^360]的特征图。我们采用动量设为0.9、权重衰减系数为$1e-4$的SGD优化器。学习率采用余弦调度策略（Loshchilov & Hutter，2016年），并在第一个epoch进行热身至初始值的0.1。骨干网络使用从ImageNet（Deng等人，2009年）预训练的权重进行初始化。默认情况下，我们使用$\lambda = [2.0, 2.0, 2.0, 1.0, 1.0]$作为公式11中的损失权重。我们利用4块配备AMD EPYC 7742 64核处理器的NVIDIA A100-SXM4-40GB GPU，以批量大小16训练所提出的GFNet模型，训练轮数设为150轮。 对于nuScenes数据集，我们采用Milioto等人（2019年）的方法，将点云投影到分辨率为[^32] [^1024]的RV图像上，随后通过双线性插值将其上采样至$[32\times3S, 1024\times S]$，我们的实验中使用的$S = 4$即为此分辨率。此外，极坐标系网格的大小为[^480] [^360] [^32]，用于覆盖BEV分支中[半径：(0m, 50m)，z：(-5m, 3m)]的相对空间。我们总共训练模型400个epoch，批量大小为56，使用8块NVIDIA A100-SXM4-40GB GPU，运行在AMD EPYC 7742 64核处理器上。我们采用余弦学习率调度策略（Loshchilov & Hutter, 2016），前10个epoch进行热身，学习率提升至0.2。其他设置与SemanticKITTI保持一致。 ### 4.3 GFM的有效性 在这一部分，我们展示了所提出的几何流模块（GFM）的有效性，以及它对各个分支的影响。如图3所示，我们将$\mathbf{F_r}$和$\mathbf{F_b}$的结果分别记为RV-Flow和BEV-Flow，它们体现了GFM带来的RV与BEV之间的信息流。$\mathbf{F_f}$的预测结果（通过对$\mathbf{F_r}$和$\mathbf{F_b}$的拼接结果应用KPConv得到）才是我们的最终结果，称为GFNet。需要注意的是，上述结果是使用$\lambda = [2,2,2,1,1]$按照公式11评估得出的。此外，我们也分别单独训练各个分支，不加入GFM模块，即RV-Single和BEV-Single分别使用$\lambda = [0,2,0,1,0]$和$\lambda = [0,0,2,0,1]$作为输入。 我们在表1中对比了RV/BEV-Single和BEV/BEV-Flow的性能。具体而言，我们发现当加入所提出的GFM模块后，RV和BEV分支的性能均有显著提升，例如BEV的准确率从55.7%提升至61.0%。直观来看，RV擅长处理摩托车、行人这类垂直延伸的物体，而BEV对xy平面上尺寸较大且特征明显的类别更为敏感。例如，RV-Single在卡车类别上的准确率仅为32.4%，而BEV-Single能达到64.8%，图5的第一行也展示了这一情况：RV将卡车预测为卡车与汽车的混合体。 --- ![Image](images/5ddee7c2e4eefffa85209cb20802944a0995fd6845599f3d119123ff3a80e151.jpg)
Figure 5: Visualization of RV and BEV. The view with the cyan contour helps the one with red. By incorporating both RV and BEV, our GFNet makes more accurate predictions.
而BEV的表现则好得多。部分原因是与汽车、其他车辆相比，卡车在xy平面上的特征更明显（由BEV捕捉），而在垂直方向上特征则不那么显著（由RV捕捉）。借助GFM实现的从BEV到RV的信息流，RV-Flow的性能从32.4%大幅提升至69.9%。在图5的第二行也能观察到类似现象：BEV将自行车手误分类为卡车，因为两者均为垂直延伸且彼此距离很近，而RV的预测则十分准确。在RV的帮助下，BEV-Flow的性能从55.7%显著提高至61.0%。进一步对RV/BEV-Flow的拼接结果应用KPConv后，所提出的GFNet取得了63.0%的最佳性能。这些结果表明，所提出的GFM能够有效传递RV与BEV之间的互补信息，从而提升各自以及整体的性能。
Table 1: Quantitative comparisons in terms of mIoU to demonstrate the effectiveness of GFM on the validation set of SemanticKITTI.
Methodcarbicyclemotorcycletruckother-vehiclepersonbicyclistmotorcyclistroadparkingsidewalkother-groundbuildingfencevegetationtrunkterrainpoletraffic-signmIoU
RV-Single93.748.757.732.440.569.279.90.095.953.483.90.189.259.087.866.175.364.045.260.1
RV-Flow93.845.058.869.931.663.673.80.095.652.983.60.390.362.188.064.375.863.247.461.1
BEV-Single93.629.942.464.826.848.174.00.094.045.980.71.489.246.586.961.474.956.841.655.7
BEV-Flow93.743.761.274.031.061.680.60.095.353.182.80.290.861.488.063.175.658.943.161.0
GFNet94.249.763.274.932.169.383.20.095.753.883.80.291.262.988.566.176.264.148.363.0
Table 2: Ablation studies of attention in GFM, loss weight coefficient $\lambda$ and scale factor S on the SemanticKITTI val set.
(a) Attention in GFM
attentionmIoU
sigmoidsoftmax
62.0
✓62.9
✓63.0
(b) $\lambda$ and S under $\triangle = 1, \nabla = 2$
cfg$\alpha$$\beta$$\gamma$$\rho$$\sigma$SmIoU
a$\triangle$361.7
b$\triangle$$\triangle$$\triangle$361.8
c$\triangle$$\triangle$$\triangle$$\triangle$$\triangle$362.4
d$\nabla$$\nabla$$\nabla$$\triangle$$\triangle$363.0
e$\nabla$$\nabla$$\nabla$$\triangle$$\triangle$261.7
f$\nabla$$\nabla$$\nabla$$\triangle$$\triangle$463.2
---
Table 3: Comparisons under mIoU, Accuracy and Frame Per Second (FPS) on SemanticKITTI test set. Note that the results of methods with $*$ are obtained from RangeNet++ (Milioto et al., 2019). From top to down, the methods are grouped into point-based, projection-based and multi-view fusion models.
Methodcarbicyclemotorcycletruckother-vehiclepersonbicyclistmotorcyclistroadparkingsidewalkother-groundbuildingfencevegetationtrunkterrainpoletraffic-signmIoUAccuracy
PointNet $^{{*}}$ (Qi et al., 2017a)46.31.30.30.10.80.20.20.061.615.835.71.441.412.931.04.617.62.43.714.6-
PointNet++ $^{{*}}$ (Qi et al., 2017b)53.71.90.20.90.20.91.00.072.018.741.85.662.316.946.513.830.06.08.920.1-
TangentConv $^{{*}}$ (Tatarchenko et al., 2018)86.81.312.711.610.217.120.20.582.915.261.79.082.844.275.542.555.530.222.235.9-
PointASNL (Yan et al., 2020b)87.9025.139.029.334.257.6087.424.374.37.383.143.984.152.270.657.836.946.8-
RandLa-Net (Hu et al., 2020)94.226.040.138.949.248.27.290.760.373.720.486.936.381.461.366.449.27.753.958.822
KPConv (Thomas et al., 2019)96.030.242.533.444.361.561.611.888.861.372.731.690.564.284.869.269.156.447.438.890.3
SqueezeSeg $^{{*}}$ (Wu et al., 2018)68.318.15.14.14.816.517.31.284.928.454.74.661.529.259.625.554.711.236.330.8-
SqueezeSegV2 $^{{*}}$ (Wu et al., 2019)81.818.517.913.414.020.125.13.988.645.867.617.773.741.171.835.860.220.236.339.7-
RangeNet++ (Milioto et al., 2019)91.425.734.425.723.038.338.84.891.865.075.227.887.458.680.555.164.647.955.952.289.0
PolarNet (Zhang et al., 2020b)93.840.330.122.928.543.240.25.690.861.774.421.790.061.384.065.567.851.857.554.390.0
3D-MiniNet-KNN (Alonso et al., 2020)90.542.342.128.529.447.844.114.591.664.274.525.489.460.882.860.866.748.056.655.889.7
SqueezeSegV3 (Xu et al., 2020)92.538.736.529.633.045.646.220.191.763.474.826.489.059.482.058.765.449.658.955.989.5
SalsaNext (Cortinal et al., 2020)91.948.338.638.931.960.259.019.491.763.775.829.190.264.281.863.666.554.362.159.590.0
MVLidarNet (Chen et al., 2020)87.134.932.923.724.944.544.323.190.356.773.019.185.653.080.959.463.949.951.152.588.0
MPF (Alanggar et al., 2021)93.430.238.326.128.548.146.118.190.662.374.530.688.559.783.559.769.249.758.155.5-
TORNADONet (Gerdzhev et al., 2021)94.255.748.140.038.263.660.134.989.766.374.528.791.365.685.667.071.558.065.963.190.7
AMVNet (Liong et al., 2020)96.259.954.248.845.771.065.711.090.171.075.832.492.469.185.671.769.662.767.265.391.3
GFNet (ours)96.053.248.331.747.362.857.344.793.672.580.831.294.073.985.271.169.361.868.065.492.4
### 4.4 消融实验 在本小节中，我们首先探讨了GFM中注意力机制、公式11中定义的损失权重$\lambda$，以及4.2节中引入的比例因子S的影响。在默认设置下，我们使用带有$\lambda = [2,2,2,1,1]$的softmax注意力机制，且S取值为3。 As shown in Table 2a, without attention mechanism (i.e., no $\theta(\cdot)$ and $\otimes$ in Figure 4), the performance 62.0% is obviously inferior to the counterparts 62.9% and 63.0%, indicating that the attention operation helps to focus on the strengths instead of weaknesses of source view when fusing it into target view. If not otherwise stated, we use the softmax attention in our experiments. We evaluate the influences of $\lambda \doteq [\alpha, \beta, \gamma, \rho, \sigma]$ in Table 2b, where $\triangle = 1, \bigtriangledown = 2$, e.g., we have $\lambda \doteq [\alpha, \beta, \gamma, \rho, \sigma] = [2.0, 2.0, 2.0, 1.0, 1.0]$ the configuration d. Specifically, when comparing the configurations a to b and c, we see that additional supervisions on dense 2D and each branch RV/BEV 3D predictions further improve model performance. When comparing c and d, a large weight on 3D prediction brings a better result. Therefore, if not otherwise stated, we adopt $\lambda = [2.0, 2.0, 2.0, 1.0, 1.0]$ for remaining experiments. The scale factor S in Sec. 4.2 indicates the resolution of RV image, e.g., when $S = 3$, we have [128S,512S] = [^384] [^1536] and [128S,2048S] = [^383] [^6144] for training and testing, respectively. When comparing d and e in Table 2b, we find that a higher resolution significantly improves model performance, from 61.7% to 63.0%, further enlarging S from 3 to 4 only brings a slightly better performance. For a better speed-accuracy tradeoff, we use $S = 3$ in the default setting. ### 4.5 与近期最先进方法的对比 SemanticKITTI数据集。为了与近期方法公平对比，我们遵循Behley等人（2019年）及Kochanov等人（2020年）的设置，即在测试服务器上评估时，同时利用训练集和验证集进行训练。如表3所示，GFNet取得了65.4% mIoU的新最优性能，显著超越了基于点的方法（如KPConv的58.8%，Thomas等人，2019年）和单视图模型（如SalsaNext的59.5%，Cortinhal等人，2020年）。在多视图方法方面（Alnaggar等人，2021年；Chen等人，2020年；Gerdzhev等人，2021年；Liong等人，2020年），GFNet的性能也优于近期方法，与Alnaggar等人（2021年）、Chen等人（2020年）、Gerdzhev等人（2021年）的方法相比优势明显。与AMVNet（Liong等人，2020年）对比可知，GFNet在点级准确率上表现更优，即92.4%对比91.3%。GFNet的优异性能体现了其在RV/BEV之间双向对齐并传播几何信息的有效性。值得注意的是，AMVNet需要分别训练RV/BEV分支模型以及它们的后处理点头模块，而GFNet支持端到端训练。此外，由于SemanticKITTI使用的Velodyne HDL-64E激光雷达传感器的采集频率为10 Hz，因此GFNet能够实现实时运行，即10帧/秒。 ---
Table 4: Comparisons on nuScenes (the test set) under mIoU and Frequency Weighted IoU (or FW IoU).
Methodbarrierbicyclebuscarconst-vehiclemotorcyclepedestriantraffic-conetrailertruckdri-surfaceother-flatsidewalkterrainmanmadevegetationmIoUFW IoU
PolarNet (Zhang et al., 2020b)72.216.877.086.551.169.764.854.169.763.496.667.177.772.187.184.469.487.4
AMVNet (Liong et al., 2020)79.832.482.286.462.581.975.372.383.565.197.467.078.874.690.887.976.189.5
GFNet (ours)81.131.676.090.560.280.775.371.882.565.197.867.080.476.291.888.976.190.4
nuScenes数据集。为了评估GFNet的泛化能力，我们也通过向测试服务器提交结果，在表4中报告了其在测试集上的性能。同样，GFNet取得了76.1%的优异mIoU性能，显著优于PolarNet（Zhang等人，2020b年）和改进的AMVNet（Liong等人，2020年）。不过，在频率加权IoU（FW IoU）指标下，我们的结果达到90.4%，超过了AMVNet的89.5%（Liong等人，2020年），这一结果与SemanticKITTI上的精度对比结论一致。这也反映出GFNet在频繁出现的类别上表现更好，而在罕见/小类别上的表现则相对欠佳。尽管GFNet性能优异，但从数据采样/增强和损失函数的角度进一步改进GFNet以应对罕见/小类别问题，仍具有研究价值。 ## 5 结论 在本文中，我们提出了一种新颖的几何流网络（GFNet），用于从RV和BEV中学习有效的视图表示。为了实现不同视图间互补信息的传递，我们设计了几何流模块（GFM），通过几何对应关系来双向对齐并融合不同视图的表示。此外，通过引入网格采样和KPConv以避免耗时且不可微的后处理过程，GFNet能够以端到端的方式训练。在SemanticKITTI和nuScenes上的大量实验验证了GFM的有效性，并证明了其在基于投影的点云语义分割任务中达到了新的最先进水平。 所提出的方法存在一些局限性，因为它依赖于两种特定的点云投影方法。具体而言，RV和BEV可能不适用于S3DIS（Armeni等人，2016年）等室内数据集。例如，在书架这样的室内场景中，桌子和椅子等常见物体在垂直方向上具有可区分性和意义，而BEV却缺失了高度信息。此外，RV图像需要激光雷达传感器的扫描周期，这通常出现在自动驾驶等户外场景中（更多细节和图示请参见附录B）。另外，我们将所提出的几何流模块应用于每个解码层（即上采样层），而主流的点云物体检测框架并不具备此类解码结构。因此，直接将该方法应用于物体检测也并非易事，这将是未来研究的课题。 ## 6 致谢 本研究部分得到了ARC项目FL-170100117的支持。 ## 参考文献 Eren Erdal Aksoy、Saimir Baci和Selcuk Cavdar。Salsanet：用于自动驾驶的激光雷达点云中快速道路与车辆分割方法。载于IEEE智能车辆研讨会，第926–932页，2020年。 Yara Ali Alnaggar、Mohamed Affi、Karim Amer和Mohamed ElHelw。用于实时3D激光雷达点云语义分割的多投影融合技术。载于IEEE/CVF计算机视觉应用冬季会议（WACV），第1800–1809页，2021年。 Inigo Alonso、Luis Riazuelo、Luis Montesano和Ana C Murillo。3d-mininet：从点云中学习2D表示以实现快速高效的三维激光雷达语义分割。IEEE机器人与自动化快报，第5卷第4期：5432–5439页，2020年。 --- Iro Armeni、Ozan Sener、Amir R Zamir、Helen Jiang、Ioannis Brilakis、Martin Fischer和Silvio Savarese。大规模室内空间的3D语义解析。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第1534–1543页，2016年。 Jens Behley、Martin Garbade、Andres Milioto、Jan Quenzel、Sven Behnke、Cyrill Stachniss和Jurgen Gall。Semantickitti：一个用于激光雷达序列语义场景理解的数据集。载于IEEE/CVF国际计算机视觉会议（ICCV），第9297–9307页，2019年。 Maxim Berman、Amal Rannen Triki和Matthew B Blaschko。Lovász-Softmax损失：一种用于神经网络中优化交并比度量的可行替代方案。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第4413–4421页，2018年。 Holger Caesar、Varun Bankiti、Alex H Lang、Sourabh Vora、Venice Erin Liong、Qiang Xu、Anush Krishnan、Yu Pan、Giancarlo Baldan和Oscar Beijbom。Nuscenes：一个用于自动驾驶的多模态数据集。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第11621–11631页，2020年。 陈科、Ryan Oldja、Nikolai Smolanskiy、Stan Birchfield、Alexander Popov、David Wehr、Ibrahim Eden和Joachim Pehserl。Mvlidarnet：利用多视角实现自动驾驶中的实时多类别场景理解。载于IEEE/RSJ智能机器人与系统国际会议（IROS），第2288–2294页，2020年。 陈良哲、George Papandreou、Iasonas Kokkinos、Kevin Murphy和Alan L Yuille。DeepLab：基于深度卷积网络、空洞卷积及全连接条件随机场的语义图像分割。IEEE模式分析与机器智能汇刊（TPAMI），40卷第4期：834–848页，2017a年。 陈良哲、George Papandreou、Florian Schroff和Hartwig Adam。重新思考用于语义图像分割的空洞卷积。arXiv预印本arXiv:1706.05587，2017b年。 陈晓志、马慧敏、万吉、李波和夏田。面向自动驾驶的多视角3D物体检测网络。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第1907–1915页，2017c年。 程然、Ryan Razani、Ehsan Taghavi、李恩旭和刘冰冰。2-S3Net：用于稀疏语义分割网络的注意力特征融合与自适应特征选择。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第12547–12556页，2021年。 Tiago Cortinhal、George Tzelepis和Eren Erdal Aksoy。SalsaNext：快速且能感知不确定性的激光雷达点云语义分割方法。载于国际视觉计算研讨会（ISVC），第207–222页，2020年。 邓佳、董伟、Richard Socher、李立佳、李凯和李飞飞。ImageNet：大规模分层图像数据库。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第248–255页，2009年。 Andreas Geiger、Philip Lenz和Raquel Urtasun。我们准备好迎接自动驾驶了吗？KITTI视觉基准套件。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第3354–3361页，2012年。 Martin Gerdzhev、Ryan Razani、Ehsan Taghavi和刘冰冰。Tornado-Net：采用菱形起始模块的多视角总变分语义分割方法。载于IEEE机器人学与自动化国际会议（ICRA），第9543–9549页，2021年。 何恺明、张翔宇、任少卿和孙剑。用于图像识别的深度残差学习。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第770–778页，2016年。 胡庆勇、杨波、谢林海、Stefano Rosa、郭玉兰、王志华、Niki Trigoni和Andrew Markham。RandLA-Net：高效的大规模点云语义分割方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第11108–11117页，2020年。 --- Matterport公司。室内空间的Matterport 3D模型。，2015年。访问日期：2015-06-01。 Deyvid Kochanov、Fatemeh Karimi Nejadasl和Olaf Booij。KPRNet：改进基于投影的激光雷达语义分割方法。arXiv预印本arXiv:2007.12668，2020年。 李旭友、杜世通、李广春和李浩宇。将点云分割与3D激光雷达扫描匹配技术结合，用于移动机器人定位与建图。传感器杂志，20卷第1期：237页，2019年。 李扬言、卜瑞、孙明超、吴伟、狄欣涵和陈宝权。PointCNN：基于X变换点的卷积操作。神经信息处理系统进展（NeurIPS），31卷：820–830页，2018年。 李颖、马玲菲、钟子龙、刘飞、Michael A Chapman、曹东普和Jonathan Li。自动驾驶中基于激光雷达点云的深度学习：综述。《IEEE神经网络与学习系统汇刊》（TNNLS），32(8):3412–3432，2020年。 Venice Erin Liong、Thi Ngoc Tho Nguyen、Sergi Widjaja、Dhananjai Sharma和Zhuang Jie Chong。Amvnet：用于激光雷达语义分割的基于断言的多视图融合网络。arXiv预印本arXiv:2012.04934，2020年。 Jonathan Long、Evan Shelhamer和Trevor Darrell。用于语义分割的全卷积网络。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第3431–3440页，2015年。 Ilya Loshchilov和Frank Hutter。SGDR：带热重启的随机梯度下降。arXiv预印本arXiv:1608.03983，2016年。 Andres Milioto、Ignacio Vizzo、Jens Behley和Cyrill Stachniss。RangeNet++：快速且精准的激光雷达语义分割方法。载于IEEE/RSJ智能机器人与系统国际会议（IROS），第4213–4220页，2019年。 Charles R Qi、苏浩、莫凯淳和Leonidas J Guibas。PointNet：面向3D分类与分割的点集深度学习。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第652–660页，2017a年。 Charles R Qi、 Yi Li、苏浩和Leonidas J Guibas。PointNet++：度量空间中点集的深度层次特征学习。arXiv预印本arXiv:1706.02413，2017b年。 Joseph Redmon和Ali Farhadi。YOLOv3：一次渐进式改进。arXiv预印本arXiv:1804.02767，2018年。 唐浩天、刘志坚、赵胜宇、林宇军、林季、王汉瑞和韩松。基于稀疏点体素卷积的高效3D架构搜索。载于欧洲计算机视觉会议（ECCV），第685–702页，2020年。 唐立耀、詹宜兵、陈哲、余宝生和陶大程。用于点云分割的对比边界学习。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第8489–8499页，2022年。 Maxim Tatarchenko、Jaesik Park、Vladlen Koltun和Qian-Yi Zhou。用于3D密集预测的切线卷积。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第3887–3896页，2018年。 Hugues Thomas、Charles R Qi、Jean-Emmanuel Deschaud、Beatriz Marcotegui、François Goulette和Leonidas J Guibas。KPConv：灵活且可变形的点云卷积方法。载于IEEE/CVF国际计算机视觉会议（ICCV），第6411–6420页，2019年。 Larissa T Triess、David Peter、Christoph B Rist和J Marius Zöllner。基于扫描的激光雷达点云语义分割：一项实验性研究。载于IEEE智能车辆研讨会，第1116–1121页，2020年。 --- 王越、孙永斌、刘子威、Sanjay E Sarma、Michael M Bronstein和Justin M Solomon。用于点云学习的动态图CNN。《ACM图形学汇刊》（TOG），38(5):1–12，2019年。 吴碧晨、万阿尔文、岳翔宇和Kurt Keutzer。SqueezeSeg：结合循环条件随机场的卷积神经网络，用于从3D激光雷达点云中实现实时道路物体分割。载于IEEE国际机器人技术与自动化会议（ICRA），第1887–1893页，2018年。 吴碧晨、周轩宇、赵思成、岳翔宇和Kurt Keutzer。SqueezeSegV2：用于从激光雷达点云中进行道路物体分割的改进模型结构及无监督域适应方法。载于IEEE国际机器人技术与自动化会议（ICRA），第4376-4382页，2019年。 徐晨风、吴碧琛、王子宁、詹伟、Peter Vajda、Kurt Keutzer和Tomizuka Masayoshi。Squeezesegv3：用于高效点云分割的空间自适应卷积。载于欧洲计算机视觉大会（ECCV），第1–19页，2020年。 徐建云、张瑞祥、窦健、朱宇石、孙杰和浦世良。Rpvnet：一种用于激光雷达点云分割的深度高效范围-点-体素融合网络。载于IEEE/CVF国际计算机视觉大会（ICCV），第16024–16033页，2021年。 严旭、高建涛、李杰、张瑞茂、李振、黄睿和崔曙光。通过从场景补全中学习上下文形状先验实现稀疏单扫激光雷达点云分割。arXiv预印本arXiv:2012.03762，2020a年。 严旭、郑超达、李振、王胜和崔曙光。Pointasnl：利用自适应采样的非局部神经网络进行鲁棒的点云处理。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第5589–5598页，2020b年。 严旭、高建涛、郑超达、郑超、张瑞茂、崔曙光和李振。基于2D先验辅助的激光雷达点云语义分割。载于欧洲计算机视觉大会（ECCV），2022年。 杨磊、刘艳红、彭金柱和梁子泽。一种基于点云分割的弧焊机器人离线3D焊缝提取与路径规划新系统。《机器人与计算机集成制造》期刊，第64卷：101929页，2020年。 叶茂盛、万瑞、徐双杰、曹同义及陈启峰。Drinet++：高效的体素即点点云分割方法。arXiv预印本arXiv:2111.08318，2021年。 张飞虎、方进、Benjamin Wah和Philip Torr。用于点云语义分割的Deep FusionNet。载于欧洲计算机视觉大会（ECCV），第644–663页，2020a年。 张阳、周子翔、Philip David、岳向宇、习泽荣、龚博卿和Foroosh Hassan。Polar-net：一种用于在线激光雷达点云语义分割的改进网格表示方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第9601–9610页，2020b年。 赵恒爽、施建平、齐晓娟、王晓刚及贾佳亚。金字塔场景解析网络。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第2881–2890页，2017年。 朱欣歌、周辉、王泰、洪方舟、马跃鑫、李伟、李宏升及林达华。用于激光雷达分割的圆柱形与非对称3D卷积网络。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第9939–9948页，2021年。 --- ## RV投影
(a) Original RV
![Image](images/34d82c380a934a7f0c59c30b1f82d30ad0a9ed66a538b230cb45362fb3772281.jpg)
(b) Improved RV
Figure 6: Range images from original RV (Milioto et al., 2019) and improved RV (Triess et al., 2020). As we can see, Triess et al. (2020) obtains smoother projected image than Milioto et al. (2019).
我们将3D点云P投影到尺寸为$(H, W)$的2D RV图像上：由于存在2D到3D的歧义性，有些像素不会被任何点投影，而多个点可能会被投影到同一个像素上。我们将有效投影率定义为有效像素（即至少被一个点投影的像素）占总像素数HW的比例。具体而言，有效像素越多，投影结果通常越平滑。
Table 5: Valid projection rate (%) when using two different RV projections (Milioto et al., 2019; Triess et al., 2020) to generate images of $64 \times 2048$ size.
MethodTrainVal
Original RV (Milioto et al., 2019)72.4772.12
Improved RV (Triess et al., 2020)83.6983.51
图像质量越高，即有效的投影率越高，效果就越好。我们在图5中对比了两种不同投影方法（Milioto等人，2019年；Triess等人，2020年）的有效投影率。可以看出，无论是在训练集还是验证集中，Triess等人（2020年）的表现都明显优于Milioto等人（2019年），优势超过11%。此外，我们在图6中分别展示了Milioto等人（2019年）和Triess等人（2020年）生成的RV图像。显然，Triess等人（2020年）生成的RV图像比Milioto等人（2019年）的更加平滑。因此，除非另有说明，我们在所有实验中均采用Triess等人（2020年）的方法。 ## B 室内外场景下的RV 在本节中，我们首先详细介绍了RV投影（即球面投影）。接着，我们展示了室外和室内场景中获取的点云之间的差异。最后，我们探讨了为何RV投影不适用于室内场景。 如图7所示，给定一个三维点p，我们首先获取其用于球面投影的$\psi, \phi$。随后，我们将$\phi, \psi$归一化到[^0] [^1]，并根据公式2将其映射到尺寸为$[H, W]$的二维RV图像上。不过，室外和室内场景中的点云通常是通过不同方式采集的。例如，SemanticKITTI数据集是通过安装在行驶车辆顶部的Velodyne HDL-64E激光雷达采集的，该雷达会向四周的$(360^{\circ})$水平方向以及一定角度的$[f_{down}, f_{up}]$垂直方向发射激光。应用RV投影后，就能得到有意义的圆柱形投影图像（可参见图1）。但对于像S3DIS（Armeni等人，2016年）这样的室内数据集，则是使用Matterport（Inc.，2015年）扫描仪从任意方向扫描整个房间以生成点云。此外，室内物体比室外物体密集得多。如果我们仍想使用RV投影，就会导致 ![Image](images/1c3af13f6ec66b3726cc7cd576bc31e876d055c50cfc7ce0c7397c9d03ed63f9.jpg)
Figure 7: Range-view projection (i.e., spherical projection). p is a 3D point, $\psi, \phi$ are the azimuthal angle, polar angle of p.
严重的图像畸变。我们也尝试将RV投影应用于S3DIS数据集，但得到的图像毫无意义，如图9所示。这也是为何现有的基于投影的方法（Milioto等人，2019年；Wu等人，2018年；Cortinhal等人，2020年）仅将RV投影用于室外激光雷达采集的点云。而对于像S3DIS这样的室内数据集，主流方法（Qi等人，2017a;b；Thomas等人，2019年）通常直接以原始点作为输入，因为其数据量远小于室外场景。 --- ![Image](images/2b23c67ff6fced6283ced13059bf37055175321e1198593d22daf236a4c0cb0c.jpg)
Figure 8: A simple diagram of the working mechanism when the lidar sensor collects point clouds. The lidar launches lasers to all-around (360°) horizontal directions and a certain degree [ $f_{down}, f_{up}$] vertical directions. Note that the vertical field of view $f = f_{up} - f_{down}$ where $f_{down}$ is negative.
![Image](images/2ea0d85e81b951a4b4e539ccc721ee0d664f4c35643177f2201cd9aa809e0fbd.jpg)
Figure 9: Three visualizations of samples from S3DIS (Armeni et al., 2016) using RV projection.
## C 可视化 图10展示了GFNet与复杂场景下真实结果之间的对比，体现了GFNet的卓越性能。我们还在提供了GIF图像（即figs/vis.gif），以便查看更多可视化结果。 --- ![Image](images/71c7b19054115aae48554d88dbb5b7d1bb472f132840141fedae1db3450ed2c0.jpg) ![Image](images/424f184b0e164a1fc39fae9b4b6cdd88df56d7d97665183035ae3f057a2d7163.jpg) ![Image](images/b953e57a8bc7cfc1dbdd0b725c94f08541600b3af750fa8e8e697473bb43af49.jpg) ![Image](images/c4a798abc47415c9784882bf06abf6a5b842e3f55a5fa4117e4edd1dd9494169.jpg) ![Image](images/33749b185ec2fd46cd0812d4f2ebea2ada4926e2fd43ad1e6824445cdca417ed.jpg) ![Image](images/45f2fc767777772f39a157f9f5a775b41859dc1becde0dd4b5b58733c53c219a.jpg)
(a) Preds
![Image](images/dfbca0794ab3791a7fb070b793750bd62112cd06302389aeccb509fcf3d7a062.jpg) ![Image](images/04c886ff35b24b283ef855bd805b4fd069de8c31417c75e34725f4320f8ce606.jpg)
(b) GT
Figure 10: Visualization of the predictions from our GFNet comparing to GT.