# PC-BEV：一种用于激光雷达语义分割的高效极坐标-笛卡尔 BEV 融合框架邱守猛 $^{1}$，李欣润 $^{2}$，薛向阳 $^{1}$，蒲健 $^{1*}$ $^{1}$ 复旦大学，上海，中国 $^{2}$ 博世企业研究院，中国，{xyxue,jianpu}@fudan.edu.cn， ## 摘要尽管多视角融合在激光雷达分割领域展现出巨大潜力，但由于距离视图与鸟瞰图（BEV）等视图间缺乏固定的对应关系，这类方法依赖计算量庞大的基于点的交互操作，这阻碍了它们的实际应用。本文挑战了“实现高性能必须采用多视角融合”这一普遍认知。我们证明，直接在 BEV 空间内融合极坐标与笛卡尔划分策略就能取得显著效果。我们提出的仅基于 BEV 的分割模型利用了这两种划分方案间固有的固定网格对应关系，其融合过程的速度比传统的基于点的方法快数个数量级（加速比达 $170\times$）。此外，我们的方法能够实现密集的特征融合，相比稀疏的基于点的方法能保留更丰富的上下文信息。为了在保持推理效率的同时增强场景理解能力，我们还引入了混合 Transformer-CNN 架构。在 SemanticKITTI 和 nuScenes 数据集上的大量实验结果表明，无论是在性能还是推理速度方面，我们的方法都优于以往的多视角融合方案，这也凸显了基于 BEV 的融合技术在激光雷达分割领域的应用潜力。代码 — ## 引言激光雷达点云分割是自动驾驶系统中的一项关键感知任务（Li 等人，2020b；Gao 等人，2021；Feng 等人，2020），旨在提供对周围环境在点级别的细粒度语义理解。现有方法主要分为三类：基于点的方法（Qi 等人，2017；Tatarchenko 等人，2018；Cheng 等人，2020；Thomas 等人，2019）、基于体素的方法（Choy、Gwak 和 Savarese，2019；Tang 等人，2020；Zhu 等人，2021；Ye 等人，2021）以及基于投影的方法（Milioto 等人，2019；Alonso 等人，2020；Zhao、Bai 和 Huang，2021；Cheng、Han 和 Xiao，2022；Ando 等人，2023）。其中，基于投影的方法利用二维卷积神经网络在投影后的点云上的高效性， ![Image](images/3844937fb8535da217da76e78d7bae7eea4431a1fcb4d9e579ee4c61edc6f176.jpg)

Figure 1: Comparison with other projection-based methods, the results demonstrates the advantages of our method over others in terms of both performance and speed. Experiments are conducted on the nuScenes validation set.

因其具备实时推理能力——这是自动驾驶车辆的关键要求——而受到青睐。不过，在三维到二维的投影过程中存在固有的信息损失，这往往导致其性能不如计算量庞大的基于体素的方法（Cheng 等人，2021）。多视角融合已成为填补这一性能差距的有前景的解决方案，其原理是利用不同投影技术所捕获的互补信息（Liong等人，2020年；Xu等人，2021年）。近期出现的多视角融合方法，如AMVNet（Liong等人，2020年）、GFNet（Qiu、Yu和Tao，2022年）以及CPGNet（Li等人，2022年），均采用跨视角的基于点的特征交互来提升表征学习能力。然而，由于这些视角之间缺乏固定的对应关系，导致计算成本极高的网格采样与散射操作成为必需，进而阻碍了实时性能的实现（Siam等人，2018年；Liu、Wu和Wang，2023年；Sanchez、Deschaud和Goulette，2023年）。此外，特征融合仅局限于存在点的区域，可能会忽略周围区域的宝贵上下文信息。 --- 为克服这些局限，我们提出了一种新颖的多分区特征融合框架，该框架仅在鸟瞰图（BEV）空间内运行，充分利用了两种常用的极坐标与笛卡尔坐标分区方案之间的固定对应关系。我们的研究动机源于以下观察：BEV中的极坐标分区与距离视图中的球坐标分区具有相似性，且实验表明不同分区方法的性能存在互补性。为实现极坐标分支与笛卡尔坐标分支之间的特征融合，我们提出了一种高效且有效的基于重映射的融合方法。利用同一BEV空间内极坐标与笛卡尔坐标分区固有的固定坐标对应关系，该方法预先计算出对应参数，从而通过精心设计的重映射操作实现高效的特征融合。这种方法的速度比以往基于点的特征交互方法快$170\times$倍。此外，我们的特征融合作用于BEV空间内的所有位置，能够实现密集融合并保留更多有价值的上下文信息；相比之下，以往基于点的方法的融合仅限于存在点的区域，属于稀疏融合。我们还为BEV特征提取提出了一种混合Transformer-CNN架构：Transformer模块中的自注意力机制用于捕捉全局场景信息，随后由轻量级的类U-Net CNN（Ronneberger、Fischer和Brox，2015年）负责细节特征提取。实验结果证明，这种架构在保持实时推理能力的同时提升了模型性能。本研究的主要贡献可总结如下： - 我们针对激光雷达分割任务提出了极坐标-笛卡尔BEV融合网络。与以往融合多视角特征的方法不同，我们的方法创新性地在同一BEV表征中融合了源自不同空间分区策略的特征。我们还提出了一种高效的混合网络架构，用于全面的BEV特征提取。 - 我们提出了一种高效且有效的基于重映射的特征融合方法，用于整合两种BEV表征中的信息。该方法的表现显著优于以往的基于点的交互方式，在融合过程中速度提升了$170 \times$倍，同时还能保留更丰富的上下文信息。 - 我们在SemanticKITTI和nuScenes数据集上开展了大量实验，结果表明我们的方法不仅推理速度更快，还达到了最先进的性能水平。此外，我们还提供了详细的消融研究，并对所提框架中的每个模块进行了深入讨论。 ## 相关工作 ## 基于投影的方法基于投影的方法通常比基于点的方法和基于体素的方法具有更快的推理速度和更具竞争力的性能。它们可以进一步分为两类：距离视图投影（RV）和鸟瞰图投影（BEV）。对于基于距离的方法，RangeNet++（Milioto等人，2019年）提出利用距离图像的潜力和二维卷积，还进一步提出了一种基于GPU加速的最近邻（KNN）后处理方法来在推理过程中恢复整个激光雷达扫描的一致语义信息。KPRNet（Kochanov、Nejadasl和Booij，2020年）改进了用于提取距离图像特征的卷积神经网络架构，并将常用的KNN等后处理技术替换为KPCConv（Thomas等人，2019年）——这是一种可学习的点级组件，能够实现更精确的语义类别预测。RangeViT（Ando等人，2023年）将预训练的ViT引入距离视图，用定制的卷积模块替代传统的线性嵌入层，并加入了像素级预测细化模块。RangeFormer（Kong等人，2023年）提出了一种包含创新网络架构、数据增强和后处理策略的综合框架，以提升对距离视图下激光雷达点云的处理能力；它还提出了一种从距离视图出发的可扩展训练（STR）策略以实现高效训练。对于基于BEV的方法，PolarNet（Zhang等人，2020年）提出采用极坐标BEV表示来平衡坐标系中点的空间分布，还开发了更适合极坐标BEV表示的环形卷积操作。Panoptic-PolarNet（Zhou、Zhang和Foroosh，2021年）基于PolarNet提出，是一种无需候选区域的激光雷达全景分割网络，能够高效地在语义分割基础上聚类实例。 ## 基于多视图融合的方法基于点的方法、基于体素的方法和基于投影的方法在语义分割任务中各具优势，但也存在各自的缺陷（Xu等人，2021年）。因此，融合不同视图的信息以提升分割性能是合理的。Tornado-net（Gerdzhev等人，2021年）提出了一种用于语义分割的新型深度卷积神经网络，它利用了多视图（BEV和距离视图）特征提取以及带钻石上下文模块的编码器-解码器ResNet架构。AMVNet（Liong等人，2020年）提出了一种基于断言的多视图（BEV和距离视图）融合网络用于激光雷达语义分割，其中各视图的特征随后通过基于断言的采样策略进行融合。RPVNet（Xu等人，2021年）设计了一种深度融合框架，在三种不同视图（距离视图、点视图和体素视图）之间进行多次、相互的信息交互，从而使特征融合更高效、更灵活。GFNet（Qiu、Yu和Tao，2022年）引入了几何流网络，以“先对齐再融合”的方式更好地探索两种不同视图（BEV和距离视图）之间的几何对应关系。CPGNet（Li等人，2022年）提出了一种级联点-网格融合网络，配备了用于视图间（BEV和距离视图）特征交互的点-网格融合模块，同时利用变换一致性损失缩小不同视图下单次模型推理结果的差距，从而达成一致的性能。 --- ![Image](images/8c88638d8d2281578a483df9baf5f35a71d913ba8585ef616f1ae53af4c50dfb.jpg)

Figure 2: The pipeline of our proposed Polar-Cartesian BEV fusion framework for 3D point cloud semantic segmentation task. Given a scan of point cloud, it first projected to a polar and a cartesian BEV pseudo-images as input to the Transformer-CNN Mixture architecture feature extraction network. Then the features between the two branches interact with each other bidirectional through the proposed effective PolarToCart (P2C) and CartToPolar (C2P) modules. Finally, we adopt the grid sampling operation to obtain the point-wise features from the concatenated features, and the sampled features are fed into a simple MLP block to obtain the final semantic predictions.

将不同的变换后的点云作为输入。 ## 方法 ## 极坐标系-笛卡尔坐标系BEV融合框架我们提出的用于LiDAR语义分割的极坐标-笛卡尔坐标BEV融合框架的概览如图2所示。它包括两个分支：笛卡尔分支和极坐标分支。给定一个点云 $P = \{p_0, p_1, \ldots, p_{N-1}\}$，它由N个LiDAR点 $p_i = \{x_i, y_i, z_i, r_i\}$ 组成，其中 $\{x_i, y_i, z_i\}$ 是相对于扫描仪的笛卡尔坐标，$r_i$ 是返回激光束的强度。我们对BEV投影采用两种不同的划分策略：笛卡尔和极坐标。为了高效的基于2D的特征提取，点云仅沿x轴和y轴进行量化。对于点云P，点首先由一个简化的PointNet (Qi et al. 2017)进行编码，它仅由全连接层、批归一化和ReLU层组成。随后，提取的特征被分散回BEV空间，分别表示为 $F_{cart}^{in}$ 和 $F_{polar}^{in}$。我们使用两个结构相同但参数不同的网络来进行特征提取。这两个分支的特征在过程中进行双向交互，包括特征对齐和融合，最终的预测结果也来自这两个分支的融合。每个分支的特征提取网络都是我们提出的Transformer-CNN混合架构，该架构包含两个标准的Transformer（？）模块和一个CNN网络。关于该架构的详细内容将在“Transformer-CNN混合架构”小节中介绍。对于CNN模型，我们采用了Li等人（2022年）所描述的模型结构。为了实现两个分支之间的双向特征交互，我们首先对来自两个分支的特征进行空间对齐。具体来说，假设特征$F_{polar}$和$F_{cart}$分别来自极坐标分支和笛卡尔分支，我们会利用从极坐标到笛卡尔以及从笛卡尔到极坐标的重映射操作，来对齐采用不同划分策略下的空间特征。 $$ \begin{array}{r}{\hat{F}_{c a r t}=\mathrm{P o l a r T o C a r t}(F_{p o l a r}),}\end{array} $$ $$ \begin{array}{r}{\hat{F}_{p o l a r}=\mathrm{C a r t T o P o l a r}(F_{c a r t}),}\end{array} $$ 其中，PolarToCart(·)和CartToPolar(·)分别表示从极坐标空间到笛卡尔空间以及从笛卡尔空间到极坐标空间的重映射。重映射操作的细节将在“通过重映射实现特征融合”小节中说明。在特征融合方面，我们采用了常用的拼接操作（Park、Hong和Lee，2017年；Zhang等人，2019年；Li等人，2020a）。例如，当将极坐标分支的特征融合到笛卡尔分支时，我们首先将经过空间变换的特征$F'_{cart}$与$F'_{cart}$进行拼接。然后，通过简单的卷积操作将特征的通道数缩减为原始大小。融合过程可表示为： $$ F_{c a r t}^{f u s i o n}=\mathrm{M L P}_{f u s i o n}(\mathrm{C o n c a t}(\hat{F}_{c a r t},F_{c a r t})), $$ 在最终的语义预测环节，由于我们的目标是为场景中的每个点提供语义预测结果，因此需要获取每个点在投影空间中用于类别预测的特征。鉴于我们从不同分支提取了特征，以往方法中常见的做法是通过网格采样（GS）操作，为每个点从各个分支中获取对应的特征，随后将这些从不同分支采样得到的特征进行融合。最后，利用融合后的特征得出最终的语义预测结果。 --- ![Image](images/251260345718265df595a119b24dc7d598a23c64e7afcf8ff3c97e29a698b966.jpg)

Figure 3: Comparisons of the feature interaction operation processes between the previous point-based method and our proposed remap-based method across different settings. $\{T_1, T_2, \ldots, T_n\}$ denotes the CUDA kernel processing at different time steps and the corresponding cache states. Point-based method uses points as a bridge to facilitate feature interaction across different perspectives or spatial partitioning strategies, while our remap-based method relies on fixed corresponding in the same BEV space. For the point-based method, each point is treated as an individual for the point-level parallelism, and the fused features are ultimately scattered back to the original feature space. Our method, however, leverages advantage of spatial continuity during the remap process to reduce cache missing, enabling more efficient parallel processing, and eliminating the need for scatter back operations, significantly enhancing computational efficiency.

以往的基于点的输出融合过程可表示为（此处我们假设采用拼接操作进行融合）： $$ F_{o u t}=\operatorname{C o n c a t}(\operatorname{G S}(F_{c a r t}^{o u t}),\operatorname{G S}(F_{p o l a r}^{o u t})). $$ 为了进一步加快模型推理速度，我们采用重映射操作来将某一分支的特征对齐到另一分支，这样就能仅对重映射后的分支执行一次网格采样。在本文中，我们选择将极坐标分支提取的特征对齐到笛卡尔空间，因为实验表明这种方式比反向操作的效果略好。我们将重映射后的极坐标特征与笛卡尔特征进行拼接，随后通过网格采样来获取每个点在对应鸟瞰图位置的特征。因此，我们方法中最终的点级特征输出可以表示为： $$ F_{o u t}=\operatorname{G S}(\operatorname{C o n c a t}(F_{c a r t}^{o u t},\operatorname{P o l a r T o C a r t}(F_{p o l a r}^{o u t}))) $$ 其中 $F_{out} \in \mathbb{R}^{N \times C_{out}}$。最后，融合后的特征会被送入最终的语义分类器： $$ pred=MLP_{cls}(F_{out}) $$ ## 基于重映射的特征融合与以往由于投影过程中的信息丢失而导致在不同投影空间中存在动态网格对应关系、进而采用多视角融合的方法不同，我们的方法得益于两个划分分支在同一鸟瞰图空间下固定的位置对应关系，这为我们提升特征融合过程的效率提供了契机。具体来说，我们采用重映射技术来对齐两种不同划分方式下的特征。由于两个分支间的网格对应关系是固定的，因此可以预先计算出重映射参数以实现高效的特征融合。下文我们将详细介绍重映射操作，并重点阐述基于重映射的交互方式相较于基于点的交互方式的优势。我们以从极坐标空间到笛卡尔空间的重映射过程为例，需注意从笛卡尔空间到极坐标空间的重映射遵循相同的原理。对于笛卡尔分支中的每个网格，我们用 $\{Pos_{\{0,0\}}, Pos_{\{0,1\}}, Pos_{\{1,0\}}, ..., Pos_{\{H-1,W-1\}}\}$ 表示网格中心的坐标，其中 $Pos_{\{i,j\}} = \{p_i, p_j\}$。接下来，我们需要确定它们在极坐标分支中用于特征融合的对应坐标。为此，我们首先计算网格中心点 $Pos_{\{i,j\}}$ 在真实世界鸟瞰图空间中的坐标 $\{x_i, y_i\}$。随后，我们便能根据极坐标划分机制轻松算出每个点在极坐标分支下的坐标：$\phi_i = \arctan 2\{x_i, y_i\}$、$\rho = \sqrt{x_i^2 + y_i^2}$。至此， --- ![Image](images/e8a8568c7a8564b736d226121bc9925b0be7becbf5c1ff1f2a7a606f0ecdc650.jpg) ![Image](images/70cd80cde99a0da35adf2e7a65a4d2e2f634778d0a270d0761de9c25186e5498.jpg) ![Image](images/254e93593537e9d68adac1bc1f02f484703a4af38c3b06359c9cac31898214b5.jpg) 融合结果

(a) Point-based fusion

![Image](images/3b749765d5791f11db7510175f82a2bd65683d8647d1e5639e6ffe92ca0ad7fc.jpg) ![Image](images/fdc7af354cbf52459fb5f2ef5138d6948b27cb5eddb28a6608ec00b3ce2a6f13.jpg) 极坐标（重映射到笛卡尔） ![Image](images/b912e560064c45687a66be511efe8ed56e2f9a242f17fedbc8a82cc684a4a308.jpg) 融合结果

(b) Remap-based fusion

Figure 4: Comparisons between point-based interaction results and our proposed remap-based interaction results, • denotes the LiDAR points. The point-based method only fuses features where points exist, resulting in sparse fusion, while our method performs fusion across the entire space, resulting in dense fusion that incorporates more information.

为了实现更高效、更有效的特征融合，我们开发了一种基于重映射的特征融合操作，该操作显著提升了两个分支之间的特征对齐速度。传统的基于点的方法之所以较慢，主要是因为网格采样操作和回写操作的存在。由于它们针对每个点单独处理以实现点级并行性，实验中发现其缓存未命中率较高。与基于点的方法不同，我们的基于重映射的操作考虑了空间位置的连续性，使得内存访问更加高效，从而大幅加快了计算速度。图3展示了不同特征融合方法的对比情况。需要注意的是，由于空间占用模式存在差异，一个分支中的并非每个网格在另一个分支中都有对应的区域。在实际应用中，如果一个分支中的某个空间位置在另一分支中不存在，我们只需对该位置填充零即可。更详细的工作效率分析可参见补充材料。笛卡尔坐标系与极坐标系之间的坐标对应关系已经确定，这一关系被固定下来，以便我们能在特征融合前进行预计算。我们可以将网格中心视为一个点，并采用之前基于点的方法来进行特征融合；然而，实验表明这种方法在实际中效率较低。我们提出的基于重映射的融合方法在融合过程中能够纳入更多上下文信息，因而具有额外优势。如图4所示，基于点的方法仅在存在点的区域进行融合，没有点的区域的特征则会被丢弃，我们将这一过程称为稀疏融合。相比之下，我们的基于重映射的方法能够在整个BEV空间内实现融合，从而形成密集融合，使特征能够获取来自另一分支的更多信息。 ## Transformer-CNN混合架构受（Fan等人，2023年；Xu等人，2023年；Cheng、Han和Xiao，2023年）的启发，我们提出了一种用于BEV表示特征提取的Transformer-CNN混合网络。我们首先利用Transformer的自注意力机制捕捉全局场景信息，随后通过轻量级的CNN进一步提取特征。我们以笛卡尔BEV特征$F_{cart}^{in}$为例，说明详细的特征提取过程。我们首先将特征划分为$n \times n$个块，即$Patch = \{patch_0, patch_1, \ldots, patch_{n \times n-1}\}$，其中$patch_i \in \mathbb{R}^{H \times \frac{W}{n} \times C}$。接着，每个块通过核大小为$\frac{H}{n} \times \frac{W}{n}$的卷积操作被编码为向量。我们将编码后的块记为$Patch_{emb} = \{patch_{emb}^0, patch_{emb}^1, \ldots, patch_{emb}^{n \times n-1}\}$，其中$patch_{emb}^i \in \mathbb{R}^{1 \times C_{emb}}$。由于注意力机制无法区分输入序列内的位置信息，我们在特征中引入了正弦位置编码PE。用于自注意力的最终块嵌入输入可表示为：$Patch_{in} = \text{MLP}(\text{Cat}(Patch_{emb}, PE))$。随后，我们采用多头自注意力机制，其输出会经过前馈网络（FFN）模块处理。我们将Transformer模块输出的最终块嵌入记为$Patch_{out} = \{patch_{out}^0, patch_{out}^1, \ldots, patch_{out}^{n \times n-1}\}$。我们将输出特征从$Patch_{out} \in \mathbb{R}^{n^2 \times C}$的二维形状重塑为标准的三维特征图$\mathbb{R}^{n \times n \times C}$。之后，我们对输出进行双线性上采样，以匹配投影伪图像的全分辨率： $$ Patch_{bev}^{out}=\mathrm{Bi-Interpolate}(Patch_{out}) $$ 其中$Patch_{cart}^{out} \in \mathbb{R}^{H \times W \times C}$。我们采用简单的加法操作来融合$Patch_{cart}^{out}$与$F_{cart}^{in}$： $$ F_{b e v}^{e n h a n c e d}=F_{c a r t}^{i n}+P a t c h_{c a r t}^{o u t} $$ 富含全局信息的特征随后会被送入高效的CNN模型以进行进一步提取。我们采用了Li等人（2022年）描述的U-net架构CNN。实验表明，我们的Transformer-CNN混合架构在性能与推理速度方面均具有优势。 ## 实验数据集我们在两个被广泛用于语义分割基准测试的驾驶场景激光雷达数据集上评估所提出的双路径网络。SemanticKITTI（Behley等人，2019年）基于KITTI视觉基准测试集，包含从德国不同城市采集的22个序列中采样得到的43,551次扫描数据。nuScenes-lidarseg（Caesar等人，2020年）包含1000个场景、时长20秒的40,000次扫描数据，该数据集由32线激光雷达传感器采集，采样率为20Hz。我们遵循官方指导，采用平均交并比（mIoU）作为评估指标，该指标的定义见（Behley等人，2019年）。 ## 主要结果在表1中，我们报告了在SemanticKITTI验证集上的实验结果。仅采用极坐标和笛卡尔坐标划分策略时，我们分别取得了61.2%和56.5%的性能指标。可以看出，通过融合这两种划分方式，我们能够获得显著的性能提升。 ---

Methods	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign	mIoU
RangeNet++	91.0	25.0	47.1	40.7	25.5	45.2	62.9	0.0	93.8	46.5	81.9	0.2	85.8	54.2	84.2	52.9	72.7	53.2	40.0	52.8
PolarNet	91.5	30.7	38.8	46.4	24.0	54.1	62.2	0.0	92.4	47.1	78.0	1.8	89.1	45.5	85.4	59.6	72.3	58.1	42.2	53.6
GFNet	94.2	49.7	63.2	74.9	32.1	69.3	83.2	0.0	95.7	53.8	83.8	0.2	91.2	62.9	88.5	66.1	76.2	64.1	48.3	63.0
AMV (BEV)	94.0	30.0	56.0	64.6	42.9	60.6	77.3	0.0	93.5	41.2	79.3	0.2	88.6	46.3	86.5	56.0	73.2	62.5	45.8	58.9
AMV (RV)	90.4	31.9	57.6	79.8	45.7	61.9	64.9	0.0	95.3	48.9	81.8	0.8	85.3	59.7	84.1	58.8	69.9	53.4	44.7	59.6
AMVNet	95.6	48.8	65.4	88.7	54.8	70.8	86.2	0.0	95.5	53.9	83.2	0.3	90.9	62.1	87.9	66.8	74.2	64.7	49.3	65.2
P-BEV (ours)	94.2	47.2	58.8	59.6	40.9	66.1	75.1	22.3	95.3	86.4	82.8	0.6	89.7	48.1	84.8	65.5	71.3	62.9	48.4	61.2
C-BEV (ours)	92.6	27.9	54.8	46.9	67.5	21.1	86.3	0.0	94.0	50.0	81.4	0.0	89.0	49.8	88.2	58.8	76.9	58.7	40.9	56.5
PC-BEV (ours)	94.3	67.6	71.4	75.4	67.5	77.4	81.3	0.1	95.2	39.7	83.0	0.1	86.3	49.7	85.1	70.2	68.2	70.2	64.2	66.4

Table 1: Quantitative comparison of our Polar-Cartesian BEV Fusion Framework (PC-BEV). The results are reported in terms of the mIoU on the SemanticKITTI validation set.

Methods	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign	mIoU
LatticeNet	88.6	12.0	20.8	43.3	24.8	34.2	39.9	60.9	88.8	64.6	73.8	25.5	86.9	55.2	76.4	67.9	54.7	41.5	42.7	51.3
PointNL	92.1	42.6	37.4	9.8	20.0	49.2	57.8	28.3	90.5	48.3	72.5	19.0	81.6	50.2	78.5	54.5	62.7	41.7	55.8	52.2
RandLa-Net	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7	53.9
KPConv	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4	58.8
MiniNet-KNN	90.5	42.3	42.1	28.5	29.4	47.8	44.1	14.5	91.6	64.2	74.5	25.4	89.4	60.8	82.8	60.8	66.7	48.0	56.6	55.8
SalsaNext	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1	59.5
PolarNet	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	57.5	54.3
KPRNet	95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	63.1
RangeViT	95.4	55.8	43.5	29.8	42.1	63.9	58.2	38.1	93.1	70.2	80.0	32.5	92.0	69.0	85.3	70.6	71.2	60.8	64.7	64.0
CENet	91.9	58.6	50.3	40.6	42.3	68.9	65.9	43.5	90.3	60.9	75.1	31.5	91.0	66.2	84.5	69.7	70.0	61.5	67.6	64.7
MaskRange	94.2	56.0	55.7	59.2	52.4	67.6	64.8	31.8	91.7	70.7	77.1	29.5	90.6	65.2	84.6	68.5	69.2	60.2	66.6	66.1
GFNet	96.0	53.2	48.3	31.7	47.3	62.8	57.3	44.7	93.6	72.5	80.8	31.2	94.0	73.9	85.2	71.1	69.3	61.8	68.0	65.4
AMVNet	96.2	59.9	54.2	48.8	45.7	71.0	65.7	11.0	90.1	71.0	75.8	32.4	92.4	69.1	85.6	71.7	69.6	62.7	67.2	65.3
CPGNet	96.7	62.9	61.1	56.7	55.3	72.1	73.9	27.9	92.9	68.0	78.1	24.6	92.7	71.1	84.6	72.9	70.2	64.5	71.9	68.3
PC-BEV(ours)	96.5	66.5	57.7	37.6	48.2	62.5	68.0	49.1	93.0	73.5	79.8	32.1	92.1	69.2	85.4	70.0	70.0	62.4	63.0	67.2

Table 2: Quantitative comparison of our PC-BEV. The results are reported in terms of the mIoU on the SemanticKITTI test set. The methods are grouped into point-based, projection-based and multi-view fusion models.

通过融合两种划分方式，我们相比单独使用它们时取得了大幅度的性能提升。与外部方法相比，我们的模型在mIoU指标上比Range-BEV融合GFNet（Qiu、Yu和Tao于2022年提出）高出3.4%，比Range-BEV融合AMVNet高出1.2% mIoU。在表2中，我们展示了在SemanticKITTI测试集上的结果。我们比较的方法包括基于点云的方法LatticeNet（Rosu等人于2019年提出）、PointNL（Cheng等人于2020年提出）、RandLa-Net（Hu等人于2020年提出）、KPConv（Thomas等人于2019年提出）；基于投影的方法SalsaNext（Cortinhal、Tzelepis和Erdal Aksoy于2020年提出）、RangeViT（Ando等人于2023年提出）、CENet（Cheng、Han和Xiao于2022年提出）、MaskRange（Gu等人于2022年提出）；以及基于融合的方法GFNet（Qiu、Yu和Tao于2022年提出）、AMVNet（Liong等人于2020年提出）、RPVNet（Xu等人于2021年提出）、CPGNet（Li等人于2022年提出）。显然，相比单视图投影类方法，我们的模型具有明显优势。具体而言，我们在mIoU指标上比RangeViT高出3.2%，比CENet高出2.5%，比MaskRange高出1.1%。对于多视图融合类方法，我们的模型在mIoU指标上分别比GFNet和AMVNet高出1.8%和1.9%。在表3中，我们报告了所提出的双路径网络在nuScenes验证集上的结果。我们比较的方法包括PCSCNet（Park等人于2023年提出）、SVASeg（Zhao等人于2022年提出）等。仅采用极坐标和笛卡尔坐标划分策略时，我们分别取得了75.0% mIoU和71.4% mIoU的性能指标。通过融合这两种划分策略，也能实现显著的性能提升。具体来说，与以往的方法相比，我们的方法展现出了明显的性能优势。具体而言，我们在mIoU指标上比Range-BEV融合网络（AMVNet）高出2.7%。令人惊讶的是，我们甚至在mIoU指标上比RangePoint-Voxel融合网络（RPVNet）高出2.2%。我们比较了特征交互中不同操作的延迟情况，实验结果展示在 ---

Methods	barrier	bicycle	bus	car	construction	motorcycle	pedestrian	traffic-cone	trailer	truck	driveable	other	sidewalk	terrain	manmade	vegetation	mIoU
RangeNet++	66.0	21.3	77.2	80.9	30.2	66.8	69.6	52.1	54.2	72.3	94.1	66.6	63.5	70.1	83.1	79.8	65.5
Salsanext	74.8	34.1	85.9	88.4	42.2	72.4	72.2	63.1	61.3	76.5	96.0	70.8	71.2	71.5	86.7	84.4	72.2
PolarNet	74.7	28.2	85.3	90.9	35.1	77.5	71.3	58.8	57.4	76.1	96.5	71.1	74.7	74.0	87.3	85.7	71.0
PCSCNet	73.3	42.2	87.8	86.1	44.9	82.2	76.1	62.9	49.3	77.3	95.2	66.9	69.5	72.3	83.7	82.5	72.0
SVASeg	73.1	44.5	88.4	86.6	48.2	80.5	77.7	65.6	57.5	82.1	96.5	70.5	74.7	74.6	87.3	86.9	74.7
AMVNet	79.8	32.4	82.2	86.4	62.5	81.9	75.3	72.3	83.5	65.1	97.4	67.0	78.8	74.6	90.8	87.9	76.1
RPVNet	78.2	43.4	92.7	93.2	49.0	85.7	80.5	66.0	66.9	84.0	96.9	73.5	75.9	70.6	90.6	88.9	77.6
P-BEV(ours)	77.2	40.5	89.9	90.3	48.9	84.8	80.7	64.7	64.4	83.4	96.9	70.6	76.3	74.8	81.4	76.8	75.0
C-BEV(ours)	73.2	18.8	89.4	89.7	45.2	74.7	70.8	52.6	60.6	82.3	96.2	72.7	73.6	74.0	85.7	83.2	71.4
PC-BEV(ours)	78.2	46.3	92.5	93.4	55.0	87.1	81.0	65.4	69.2	85.7	97.1	76.8	77.0	76.3	90.6	88.5	78.8

Table 3: Quantitative comparison of our PC-BEV. The results are reported in terms of the mIoU on the nuScenes validation set.

Method	Point-based			Remap-based (Ours)
	GS	SC	Overall
latency ms	0.3	6.5 $^{*}$	6.8	0.04
	0.3	7.7 $^{\dagger}$	8.0

Table 4: Illustration of the efficiency of our remap-based interaction. The experiment is conducted on the BEV features with voxel resolution set to 0.2m. The latency is tested on a 2080Ti GPU. SC denotes the scatter back operation. $*$ denotes the method implemented in (Li et al. 2022), $\dagger$ denotes the method implemented in pytorch_scatter codebase.

表4中。对于网格采样操作，我们使用了PyTorch内置函数grid_sample()；对于散射操作，我们采用了CPGNet（Li等人于2022年提出）中的高效实现方式。可以发现，散射回写操作会消耗大量时间。这是因为与仅涉及读取操作的网格采样不同，散射回写操作包含写入操作，由于可能存在冲突而需要加锁。与网格采样相比，我们的方法也展现出了明显的性能优势。这是因为我们的方法更好地利用了特征的空间连续性，从而提升了缓存命中率，进而加快了处理速度。 ## 消融实验我们在nuScenes验证集上进行了消融实验，以检验框架中各个组件的有效性。结果如表5所示。“笛卡尔”或“极坐标”表示我们仅使用其中一个分支，而第三行（同时采用笛卡尔和极坐标）意味着我们简单地将两个分支的输出取平均值以获得最终预测结果。可以看出，只有原生双分支网络才能使mIoU性能提升1.2%，这充分体现了极坐标-笛卡尔融合的巨大潜力；借助我们基于重映射的融合模块，mIoU性能还能再提升0.9%。结合Transformer-CNN混合架构后，性能可进一步提高0.6% mIoU。关于模型的推理速度，我们可以看到，采用极坐标和笛卡尔划分策略时，推理时间分别为20毫秒和19毫秒。 ![Image](images/33d42c7e9749a748706ce86255e9934b1d02f8da18daace7333e9734eda2ade8.jpg)

Table 5: Ablation study of our Polar-Cartesian BEV Fusion Framework on the nuScenes validation set. PB denotes the point-based fusion, RM denotes the remap fusion, T-C denotes the Transformer-CNN Mixture Architecture.

推理时间分别为20毫秒和19毫秒。我们的PC-BEV融合框架最终延迟为31毫秒，比基于点的算法（第四行）快20%。该延迟是在NVIDIA V100 GPU上测试的。 ## 结论综上所述，我们通过提出一种基于在统一BEV空间内融合不同划分方法（极坐标和笛卡尔）特征的实时方法，挑战了多视角融合在激光雷达分割中的必要性。我们提出的基于重映射的空间对齐融合方法利用了内存连续性，在保持更丰富上下文信息的同时，在速度方面显著优于以往基于点的交互方法。此外，我们提出的Transformer-CNN混合架构在不牺牲实时处理能力的前提下提升了模型性能。在SemanticKITTI和nuScenes数据集上的大量实验验证了该方法的有效性和高效性。未来的研究可能会探索将该方法应用于由多摄像头图像数据生成的BEV表示。 ## 致谢本研究部分得到了复旦大学未来计算中心（CFFF）的支持。 --- ## 参考文献 Alonso, I.; Riazuelo, L.; Montesano, L.; and Murillo, A. C. 2020. 3d-mininet：从点云中学习2D表示以实现快速高效的3D激光雷达语义分割。《IEEE机器人与自动化快报》，5(4)：5432–5439。 Ando, A.; Gidaris, S.; Bursuc, A.; Puy, G.; Boulch, A.; and Marlet, R. 2023. Rangevit：面向自动驾驶3D语义分割的视觉Transformer。载于CVPR，5240–5250页。 Behley, J.; Garbade, M.; Milioto, A.; Quenzel, J.; Behnke, S.; Stachniss, C.; and Gall, J. 2019. SemanticKITTI：用于激光雷达序列语义场景理解的数据集。载于CVPR，9297–9307页。 Caesar, H.; Bankiti, V.; Lang, A. H.; Vora, S.; Liong, V. E.; Xu, Q.; Krishnan, A.; Pan, Y.; Baldan, G.; and Beijbom, O. 2020. nuScenes：一个用于自动驾驶的多模态数据集。载于CVPR，11621–11631页。 Cheng, H.-X.; Han, X.-F.; and Xiao, G.-Q. 2022. Cenet：面向自动驾驶的简洁高效激光雷达语义分割方法。载于ICME，01–06页。IEEE出版。 Cheng, H.-X.; Han, X.-F.; and Xiao, G.-Q. 2023. TransRVNet：基于Transformer的激光雷达语义分割。《IEEE智能交通系统汇刊》，24(6)：5895–5907。 Cheng, M.; Hui, L.; Xie, J.; Yang, J.; and Kong, H. 2020. 用于点云语义分割的级联非局部神经网络。载于IROS，8447–8452页。IEEE出版。程R.、拉扎尼R.、塔加维E.、李E.和刘B. 2021年。2-s3net：用于稀疏语义分割网络的注意力特征融合与自适应特征选择。载于CVPR，第12547–12556页。乔伊C.、郭J.和萨瓦雷塞S. 2019年。4D时空卷积网络：闵可夫斯基卷积神经网络。载于CVPR，第3075–3084页。科尔蒂纳尔T.、特泽莱皮斯G.和埃达尔·阿克索伊E. 2020年。SalsaNext：快速且能感知不确定性的激光雷达点云语义分割方法。载于国际视觉计算研讨会，第207–222页。施普林格出版社。范J.、高B.、葛Q.、冉Y.、张J.和褚H. 2023年。SegTransConv：用于自动驾驶车辆实时语义分割的Transformer与CNN混合方法。《IEEE智能交通系统汇刊》。冯D.、哈斯-舒茨C.、罗森鲍姆L.、赫特莱因H.、格莱斯尔C.、蒂姆F.、维斯贝克W.和迪特迈尔K. 2020年。自动驾驶中的深度多模态物体检测与语义分割：数据集、方法与挑战。《IEEE智能交通系统汇刊》，第22卷第3期：1341–1360页。高B.、潘Y.、李C.、耿S.和赵H. 2021年。我们对用于语义分割的3D激光雷达数据需求迫切吗？相关数据集与方法综述。《IEEE智能交通系统汇刊》，第23卷第7期：6063–6081页。格尔杰夫M.、拉扎尼R.、塔加维E.和李冰冰 2021年。Tornado-net：基于多视角总变分的语义分割方法，采用菱形起始模块。载于ICRA，第9543–9549页。IEEE出版。顾Y.、黄Y.、徐C.和孔H. 2022年。MaskRange：一种用于基于距离视图的激光雷达分割的掩码分类模型。arXiv预印本arXiv:2206.12073。胡Q.、杨B.、谢L.、罗莎S.、郭Y.、王Z.、特里戈尼N.和马克姆A. 2020年。RandLA-Net：大规模点云的高效语义分割方法。载于CVPR，第11108–11117页。科恰诺夫D.、内贾德斯拉F. K.和布伊O. 2020年。KPRNet：改进基于投影的激光雷达语义分割方法。arXiv预印本arXiv:2007.12668。孔L.、刘Y.、陈R.、马Y.、朱X.、李Y.、侯Y.、乔Y.和刘Z. 2023年。重新思考激光雷达分割中的距离视图表示方式。载于ICCV，第228–240页。李X.、李W.、任D.、张H.、王M.和左W. 2020a。利用多示例图像与自适应空间特征融合增强盲脸修复效果。载于CVPR，第2706–2715页。李X.、张G.、潘H.和王Z. 2022年。CPGNet：用于实时激光雷达语义分割的级联点网格融合网络。载于ICRA，第11117–11123页。IEEE出版。李Y.、马L.、钟Z.、刘F.、查普曼M. A.、曹D.和李J. 2020b。自动驾驶中激光雷达点云的深度学习应用综述。《IEEE神经网络与学习系统汇刊》，第32卷第8期：3412–3432页。利昂V. E.、阮T. N. T.、维贾亚S.、夏尔马D.和钟Z. J. 2020年。AMVNet：基于断言的多视角融合网络，用于激光雷达语义分割。arXiv预印本arXiv:2012.04934。刘H.、吴C.和王H. 2023年。利用激光雷达与摄像头融合技术实现自动驾驶中的实时物体检测。《科学报告》，第13卷第1期：8056页。米利奥托A.、维佐I.、贝勒J.和斯塔奇尼斯C. 2019年。RangeNet++：快速且精确的激光雷达语义分割方法。载于IROS，第4213–4220页。IEEE出版。朴俊浩、金昌浩、金硕浩、赵奎植. 2023. PCSCNet：基于点卷积与稀疏卷积网络的自动驾驶汽车激光雷达点云快速三维语义分割.《专家系统与应用》，212:118815。朴圣杰、洪基燮、李尚赫. 2017. Rdfnet：用于室内语义分割的RGB-D多层级残差特征融合方法. 收录于ICCV会议论文集，第4980–4989页。齐晨瑞、苏航、莫凯、古巴斯·L.J. 2017. PointNet：面向三维分类与分割的点集深度学习技术. 收录于CVPR会议论文集，第652–660页。邱浩、余波、陶达. 2022. GFNet：用于三维点云语义分割的几何流网络. arXiv预印本arXiv:2207.02605。罗内贝格尔、菲舍尔、布罗克斯. 2015. U-Net：用于生物医学图像分割的卷积神经网络. 收录于国际医学影像计算与计算机辅助干预会议论文集，第234–241页. 施普林格出版社。罗苏、舒特、昆策尔、贝恩克. 2019. Latticenet：基于置换格子结构的快速点云分割算法. arXiv预印本arXiv:1912.05905。 --- 桑切斯、德肖、古莱特. 2023. 自动驾驶场景中三维语义分割的域泛化研究. 收录于ICCV会议论文集，第18077–18087页。西亚姆、加马尔、阿卜杜勒-拉泽克、约加马尼、贾格斯兰、张浩. 2018. 自动驾驶实时语义分割技术的对比研究. 收录于IEEE计算机视觉与模式识别会议研讨会论文集，第587–597页。唐浩、刘哲、赵帅、林宇、林杰、王浩、韩松. 2020. 基于稀疏点体素卷积的高效三维架构搜索技术. 收录于ECCV会议论文集，第685–702页. 施普林格出版社。塔塔尔琴科、朴俊浩、科尔顿、周群义. 2018. 用于三维密集预测的切线卷积技术. 收录于CVPR会议论文集，第3887–3896页。托马斯、齐晨瑞、德肖、马尔科特吉、古莱特、古巴斯·L.J. 2019. Kpconv：面向点云的灵活可变形卷积算法. 收录于CVPR会议论文集，第6411–6420页。徐刚、李杰、高刚、卢浩、杨杰、岳东. 2023. 结合高效Transformer与CNN的轻量级实时语义分割网络.《IEEE智能交通系统汇刊》，24(12): 15897–15906。徐杰、张睿、窦杰、朱阳、孙杰、蒲森. 2021. Rpvnet：一种用于激光雷达点云分割的深度高效距离-点-体素融合网络. 收录于CVPR会议论文集，第16024–16033页。叶明、徐硕、曹涛、陈强. 2021. Drinet：用于点云分割的双表征迭代学习网络. 收录于ICCV会议论文集，第7447–7456页。张磊、达内尔詹、冈萨雷斯-加西亚、范德韦耶尔、沙赫巴兹·汗. 2019. 用于端到端RGB-T跟踪的多模态融合技术. 收录于ICCVW会议论文集，第0–0页。张洋、周哲、大卫、岳晓、习哲、龚斌、福鲁什. 2020. Polarnet：一种用于在线激光雷达点云语义分割的改进网格表示法. 收录于CVPR会议论文集，第9601–9610页。赵磊、徐硕、刘磊、明东、陶伟. 2022. SVASeg：基于稀疏体素的注意力机制三维激光雷达点云语义分割算法.《遥感》杂志，14(18):4471。赵阳、白亮、黄翔. 2021. Fidnet：采用全插值解码的激光雷达点云语义分割算法. 收录于IROS会议论文集，第4453–4458页. IEEE出版。周Z.、张Y.和Foroosh H. 2021年。Panoptic-polarnet：无需候选区域的激光雷达点云全景分割。载于CVPR，第13194–13203页。朱X.、周H.、王T.、洪F.、马Y.、李W.、李H.和林D. 2021年。用于激光雷达分割的圆柱形与非对称3D卷积网络。载于CVPR，第9939–9948页。