# PC-BEV: 一种用于 LiDAR 语义分割的高效极坐标-笛卡尔坐标 BEV 融合框架邱首猛 $^{1}$，李新润 $^{2}$，薛向阳 $^{1}$，浦剑 $^{1*}$ $^{1}$ 复旦大学，中国上海 $^{2}$ 博世企业研究，中国 , {xyxue,jianpu}@fudan.edu.cn, ## 摘要虽然多视角融合在 LiDAR 分割中显示出潜力，但由于缺乏诸如极坐标图和鸟瞰图 (BEV) 之间的固定对应关系，导致基于点的方法需要进行计算密集型的点间交互，这阻碍了其在实际应用中的部署。本文挑战了多视角融合对于实现高性能是必不可少这一传统观念。我们证明，通过直接融合 BEV 空间中的极坐标和笛卡尔分区策略，可以获得显著的性能提升。我们提出的基于 BEV 的仅分割模型利用了这些分区方案之间的固有固定网格对应关系，从而实现了比传统基于点的算法快几个数量级（$170\times$ 倍）的融合过程。此外，我们的方法能够实现密集特征融合，与稀疏的基于点的替代方案相比，保留了更丰富的上下文信息。为了在保持推理效率的同时增强场景理解，我们还引入了一种混合 Transformer-CNN 架构。在 SemanticKITTI 和 nuScenes 数据集上的广泛评估表明，我们的方法在性能和推理速度方面优于以前的多视角融合方法，这突出了基于 BEV 的融合在 LiDAR 分割中的潜力。代码 — ## 引言 LiDAR 点云分割是自动驾驶系统中一项重要的感知任务（Li et al. 2020b; Gao et al. 2021; Feng et al. 2020），旨在对周围环境的点进行细粒度的语义理解。现有的方法主要分为三类：基于点的方法（Qi et al. 2017; Tatarchenko et al. 2018; Cheng et al. 2020; Thomas et al. 2019）、基于体素的方法（Choy, Gwak, and Savarese 2019; Tang et al. 2020; Zhu et al. 2021; Ye et al. 2021）以及基于投影的方法（Milioto et al. 2019; Alonso et al. 2020; Zhao, Bai, and Huang 2021; Cheng, Han, and Xiao 2022; Ando et al. 2023）。在这些方法中，基于投影的方法利用 2D 卷积神经网络 (CNN) 在投影点云上的效率，由于其实时推理能力，而越来越受欢迎，而实时推理能力是自动驾驶车辆的关键要求。然而，3D 到 2D 投影过程固有的信息损失通常限制了与计算密集型的基于体素的方法相比，其性能。 ![Image](images/3844937fb8535da217da76e78d7bae7eea4431a1fcb4d9e579ee4c61edc6f176.jpg)

Figure 1: Comparison with other projection-based methods, the results demonstrates the advantages of our method over others in terms of both performance and speed. Experiments are conducted on the nuScenes validation set.

(Cheng et al. 2021) 多视角融合已成为一种很有前途的解决方案，通过利用不同投影技术捕获的互补信息来弥补性能差距（Liong 等，2020；Xu 等，2021）。最近的多视角融合方法，例如 AMVNet（Liong 等，2020）、GFNet（Qiu, Yu, and Tao, 2022）和 CPGNet（Li 等，2022），采用基于点的跨视角的特征交互来增强表示学习。然而，这些方法由于不同视角之间缺乏固定的对应关系，因此存在效率低下问题，需要进行计算成本高昂的网格采样和散射操作，这会影响实时性能（Siam 等，2018；Liu, Wu, and Wang, 2023；Sanchez, Deschaud, and Goulette, 2023）。此外，特征融合仅限于存在点的区域，可能会忽略周围区域的有价值的上下文信息。 --- 为了解决这些限制，我们提出了一种新颖的多分区特征融合框架，该框架仅在鸟瞰图（BEV）空间中运行，利用了两种常用的极坐标和笛卡尔坐标分区方案之间的固定对应关系。我们的方法基于观察结果，即 BEV 中的极坐标分区与范围视图中的球坐标分区具有相似性，并且不同分区方法的性能具有互补性。为了促进极坐标分支和笛卡尔分支之间的特征融合，我们提出了一种高效且有效的基于重映射的融合方法。我们的方法利用了 BEV 空间中极坐标和笛卡尔空间分区固有的坐标对应关系，预计算对应参数，从而通过精心设计的重映射操作实现高效的特征融合。与以前的基于点的特征交互方法相比，这种方法明显 $170\times$ 更快。此外，我们的特征融合在 BEV 空间中的所有位置上进行操作，实现密集融合，从而保留了更多有价值的上下文信息，而以前基于点的融合方法是稀疏的，仅限于存在点的区域。我们还提出了一种混合 Transformer-CNN 架构，用于 BEV 特征提取。Transformer 块中的自注意力机制可以捕获全局场景信息，然后使用轻量级的 U-net 风格的 CNN（Ronneberger, Fischer, and Brox, 2015）进行详细的特征提取。实验结果表明，该架构可以提高模型性能，同时保持实时推理能力。我们工作的主要贡献可以总结如下： - 我们提出了用于 LiDAR 分割的极坐标-笛卡尔 BEV 融合网络。与以前融合来自多个视角的特征的方法不同，我们的方法创新地融合了从统一 BEV 表示中派生的不同空间分区策略的特征。我们还提出了一种有效的混合网络架构，用于全面的 BEV 特征提取。 - 我们提出了一种高效且有效的基于重映射的特征融合方法，用于集成来自两个 BEV 表示的信息。与以前的基于点交互的方法相比，该方法具有显著的 $170 \times$ 加速，同时在融合过程中保留了更丰富的上下文信息。 • 我们在 SemanticKITTI 和 nuScenes 数据集上进行了广泛的实验，证明我们的方法实现了最先进的性能，并且具有更快的推理速度。此外，我们还提供了详细的消融研究以及对我们提出的框架中每个模块的深入讨论。 ## 相关工作 ## 基于投影的方法基于投影的方法通常提供更快的推理速度和与基于点和基于体素的方法相比具有竞争力的性能。它们可以进一步分为两类：范围视图投影 (RV) 和鸟瞰视图投影 (BEV)。对于基于范围的方法，RangeNet++ (Milioto 等，2019) 提出利用范围图像和 2D 卷积的潜力，并进一步提出一种 GPU 加速的后处理 K 最近邻 (KNN) 方法，以在整个 LiDAR 扫描中恢复一致的语义信息。 KPRNet (Kochanov, Nejadasl 和 Booij, 2020) 改进了用于提取范围图像特征的卷积神经网络架构，并将常用的后处理技术（如 KNN）替换为 KPCConv (Thomas 等，2019)，这是一种可学习的点级组件，可以实现更准确的语义类预测。 RangeViT (Ando 等，2023) 引入了预训练的 ViT 到范围视图，用定制的卷积结构替换了经典的线性嵌入层，并使用像素级预测优化模块。 RangeFormer (Kong 等，2023) 提出了一种全面的框架，该框架具有创新的网络架构、数据增强和后处理策略，可增强 LiDAR 点云的范围视图处理。它还提出了一种可扩展的从范围视图进行训练 (STR) 策略，用于有效的训练。对于基于 BEV 的方法，PolarNet (Zhang 等，2020) 提出使用极坐标 BEV 表示来平衡坐标系中点的空间分布，并开发了一种更适合极坐标 BEV 表示的环卷积操作。 Panoptic-PolarNet (Zhou, Zhang 和 Foroosh, 2021) 是基于 PolarNet 的，它是一种无提案的 LiDAR 全景分割网络，可以在语义分割的基础上高效地聚类实例。 ## 多视图融合方法基于点、基于体素和基于投影的方法在语义分割任务中各有优点，但也存在自身的缺点 (Xu 等，2021)。因此，融合来自不同视图的信息以提高分割性能是合理的。 Tornado-net (Gerdzhev 等，2021) 提出了一种新的深度卷积神经网络，用于语义分割，该网络利用多视图（BEV 和范围）特征提取以及具有提出的金字塔上下文块的编码器-解码器 ResNet 架构。 AMVNet (Liong 等，2020) 提出了一种基于断言的多视图（BEV 和范围）融合网络，用于 LiDAR 语义分割，其中使用断言引导的采样策略，在后期融合单个视图的特征。 RPVNet (Xu 等，2021) 设计了一个深度融合框架，通过多个和相互信息交互，实现三种不同视图（范围、点和体素）之间的特征融合，从而使特征融合更有效和灵活。 GFNet (Qiu, Yu 和 Tao, 2022) 引入了一种几何流网络，以更好地探索两种不同视图（BEV 和范围）之间的几何对应关系，采用“对齐后融合”的方式。 CPGNet (Li 等，2022) 提出了一种级联点网格融合网络，配备了一种点网格融合块，用于特征交互（BEV 和范围），以及一种转换一致性损失，以缩小不同视图在单次模型推理中的性能差距。 --- ![Image](images/8c88638d8d2281578a483df9baf5f35a71d913ba8585ef616f1ae53af4c50dfb.jpg)

Figure 2: The pipeline of our proposed Polar-Cartesian BEV fusion framework for 3D point cloud semantic segmentation task. Given a scan of point cloud, it first projected to a polar and a cartesian BEV pseudo-images as input to the Transformer-CNN Mixture architecture feature extraction network. Then the features between the two branches interact with each other bidirectional through the proposed effective PolarToCart (P2C) and CartToPolar (C2P) modules. Finally, we adopt the grid sampling operation to obtain the point-wise features from the concatenated features, and the sampled features are fed into a simple MLP block to obtain the final semantic predictions.

将不同的变换点云作为输入。 ## 方法 ## 极坐标-笛卡尔 BEV 融合框架我们的提出的用于激光雷达语义分割的极坐标-笛卡尔BEV融合框架的概述如图2所示。它包括两个分支：笛卡尔分支和极坐标分支。给定一个点云$P = \{p_0, p_1, \ldots, p_{N-1}\}$，它由N个激光雷达点$p_i = \{x_i, y_i, z_i, r_i\}$组成，其中$\{x_i, y_i, z_i\}$是相对于扫描仪的笛卡尔坐标，$r_i$是返回激光束的强度。我们采用两种不同的分割策略进行BEV投影：笛卡尔和极坐标。对于点云P，点云首先通过一个简化的PointNet（Qi et al. 2017）进行编码，该PointNet仅包含全连接层、批归一化层和ReLU层。随后，提取的特征被散射回BEV空间，分别表示为$F_{cart}^{in}$和$F_{polar}^{in}$。我们使用具有相同结构但参数不同的两个网络来执行特征提取。这两个分支的特征在过程中进行双向交互，包括特征对齐和融合，最终的预测结果也源于这两个分支的融合。每个分支的特征提取网络是我们的提出的Transformer-CNN混合架构，其中包含两个标准的transformer块和一个CNN网络。该架构的详细信息将在“Transformer-CNN混合架构”小节中介绍。对于CNN模型，我们遵循（Li et al. 2022）中描述的模型结构。对于两个分支之间的双向特征交互，我们首先对来自两个分支的特征执行空间对齐。具体来说，假设来自极坐标分支和笛卡尔分支的特征分别为$F_{polar}$和$F_{cart}$，我们使用极坐标到笛卡尔和笛卡尔到极坐标的重映射操作来在不同的分割策略下对齐空间特征。 $$ \begin{array}{r}{\hat{F}_{c a r t}=\mathrm{P o l a r T o C a r t}(F_{p o l a r}),}\end{array} $$ $$ \begin{array}{r}{\hat{F}_{p o l a r}=\mathrm{C a r t T o P o l a r}(F_{c a r t}),}\end{array} $$ 其中PolarToCart(·)和CartToPolar(·)分别表示从极坐标空间到笛卡尔空间的重映射，以及从笛卡尔空间到极坐标空间的重映射。重映射操作的详细信息将在“通过重映射进行特征融合”小节中说明。对于特征融合，我们采用常用的连接操作（Park, Hong, and Lee 2017; Zhang et al. 2019; Li et al. 2020a）。例如，当将来自极坐标分支的特征融合到笛卡尔分支时，我们首先连接空间变换的特征$F'_{cart}$和$F'_{cart}$。然后，我们使用一个简单的卷积操作来减小特征的通道大小，使其恢复到原始大小。融合过程可以表示为： $$ F_{c a r t}^{f u s i o n}=\mathrm{M L P}_{f u s i o n}(\mathrm{C o n c a t}(\hat{F}_{c a r t},F_{c a r t})), $$ 对于最终的语义预测，由于我们的目标是为场景中的每个点提供语义预测，因此我们需要获取每个点的投影空间中的类预测特征。鉴于我们已经从不同的分支提取了特征，以前的方法通常采用一种常见的策略，即为每个点检索来自每个分支的相应特征，通常是通过网格采样（GS）操作。然后，融合从不同分支采样的特征。最后，融合的特征用于获得最终的语义预测结果。 --- ![Image](images/251260345718265df595a119b24dc7d598a23c64e7afcf8ff3c97e29a698b966.jpg)

Figure 3: Comparisons of the feature interaction operation processes between the previous point-based method and our proposed remap-based method across different settings. $\{T_1, T_2, \ldots, T_n\}$ denotes the CUDA kernel processing at different time steps and the corresponding cache states. Point-based method uses points as a bridge to facilitate feature interaction across different perspectives or spatial partitioning strategies, while our remap-based method relies on fixed corresponding in the same BEV space. For the point-based method, each point is treated as an individual for the point-level parallelism, and the fused features are ultimately scattered back to the original feature space. Our method, however, leverages advantage of spatial continuity during the remap process to reduce cache missing, enabling more efficient parallel processing, and eliminating the need for scatter back operations, significantly enhancing computational efficiency.

以前的点基输出融合可以表示为（这里我们假设使用连接操作进行融合）： $$ F_{o u t}=\operatorname{C o n c a t}(\operatorname{G S}(F_{c a r t}^{o u t}),\operatorname{G S}(F_{p o l a r}^{o u t})). $$ 为了进一步提高模型推理速度，我们使用重映射操作将来自一个分支的特征与另一个分支对齐，这使我们能够仅在重映射分支上执行一次网格采样。在本文中，我们选择将从极坐标分支提取的特征与笛卡尔空间对齐，因为我们通过实验发现，与反向操作相比，这种方法略有更好的性能。我们将重映射的极坐标特征与笛卡尔特征连接起来，然后采用网格采样来获得每个点在相应BEV位置处的特征。因此，我们方法的最终点级特征输出可以表示为： $$ F_{o u t}=\operatorname{G S}(\operatorname{C o n c a t}(F_{c a r t}^{o u t},\operatorname{P o l a r T o C a r t}(F_{p o l a r}^{o u t}))) $$ 其中 $F_{out} \in \mathbb{R}^{N \times C_{out}}$. 最后，融合的特征被输入到最终的语义分类器中： $$ pred=MLP_{cls}(F_{out}) $$ ## 通过重映射的特征融合与以前的多视图融合方法不同，以前的方法在不同的投影空间中进行操作，并且由于投影中的信息丢失，具有动态的网格到网格的对应关系。我们的方法受益于两个分区分支之间在相同BEV空间中的固定位置对应关系，这为我们提供了一个改进特征融合过程效率的机会。具体来说，我们采用一种重映射技术来对齐不同分区方法下的特征。鉴于两个分支之间的网格对应关系是固定的，因此可以预先计算重映射参数以实现高效的特征融合。下面，我们提供了关于重映射操作的详细信息，重点介绍了基于重映射的交互相对于基于点的交互的优点。我们以从极坐标空间到笛卡尔空间的重映射过程为例，需要注意的是，从笛卡尔空间到极坐标空间的重映射遵循相同的原则。对于笛卡尔分支中的每个网格，我们用$\{Pos_{\{0,0\}}, Pos_{\{0,1\}}, Pos_{\{1,0\}}, ..., Pos_{\{H-1,W-1\}}\}$表示网格中心的坐标，其中 $Pos_{\{i,j\}} = \{p_i, p_j\}$。接下来，我们需要找到它们在极坐标分支中的对应坐标，以便进行特征融合。为了实现这一点，我们首先计算笛卡尔空间中网格中心点$Pos_{\{i,j\}}$在真实世界BEV空间$\{x_i, y_i\}$中的坐标。随后，我们可以轻松地计算每个点在极坐标分支下的坐标，遵循极坐标分区机制：$\phi_i = \arctan 2\{x_i, y_i\}$，$\rho = \sqrt{x_i^2 + y_i^2}$。到目前为止， --- ![Image](images/e8a8568c7a8564b736d226121bc9925b0be7becbf5c1ff1f2a7a606f0ecdc650.jpg) ![Image](images/70cd80cde99a0da35adf2e7a65a4d2e2f634778d0a270d0761de9c25186e5498.jpg) ![Image](images/254e93593537e9d68adac1bc1f02f484703a4af38c3b06359c9cac31898214b5.jpg) 融合结果

(a) Point-based fusion

![Image](images/3b749765d5791f11db7510175f82a2bd65683d8647d1e5639e6ffe92ca0ad7fc.jpg) ![Image](images/fdc7af354cbf52459fb5f2ef5138d6948b27cb5eddb28a6608ec00b3ce2a6f13.jpg) 极坐标（重映射到笛卡尔） ![Image](images/b912e560064c45687a66be511efe8ed56e2f9a242f17fedbc8a82cc684a4a308.jpg) 融合结果

(b) Remap-based fusion

Figure 4: Comparisons between point-based interaction results and our proposed remap-based interaction results, • denotes the LiDAR points. The point-based method only fuses features where points exist, resulting in sparse fusion, while our method performs fusion across the entire space, resulting in dense fusion that incorporates more information.

为了更高效和有效的特征融合，我们开发了一种基于重映射的特征融合操作，该操作显著提高了两个分支之间的特征对齐速度。传统的基于点的方法速度慢，主要是因为网格采样操作和散列反向操作。它们将每个点单独处理以实现点级并行，这导致实验中较高的缓存未命中率。与基于点的方法不同，我们的基于重映射的操作考虑了空间位置的连续性，使该过程更易于内存访问，并显着提高了计算速度。图 3 比较了不同的特征融合方法。值得注意的是，由于空间占用模式的变化，笛卡尔分支中的并非每个网格在另一个分支中都有对应的区域。在实践中，如果笛卡尔分支中的某个空间位置在另一个分支中不可用，我们只需对该位置进行零填充。更多关于效率的分析可以在补充材料中找到。卡尔丹和极坐标分支之间的坐标对应关系已建立，并且是固定的，因此我们可以在融合之前进行预计算。我们可以将网格中心视为一个点，并使用以前的点基方法进行特征融合；但是，我们的实验表明，这种方法在实践中效率不高。我们的基于重映射的融合方法通过在融合过程中结合更多的上下文信息，提供了额外的优势。如图 4 所示，基于点的融合方法仅在存在点的位置执行融合，丢弃了不存在点的区域的特征，我们称之为稀疏融合。相比之下，我们的基于重映射的方法可以在整个 BEV 空间中进行融合，从而实现密集融合，并通过来自另一分支的更多信息来丰富特征。 ## Transformer-CNN 混合架构受 (Fan et al. 2023; Xu et al. 2023; Cheng, Han, and Xiao 2023) 的启发，我们提出了一种 Transformer-CNN 混合网络，用于在 BEV 表示中提取特征。我们首先使用 Transformer 的自注意力机制捕获全局场景信息，然后通过轻量级 CNN 进一步提取特征。我们以笛卡尔俯视（BEV）特征 $F_{cart}^{in}$ 为例，说明详细的特征提取过程。我们首先将特征划分为 $n \times n$ 个补丁，即 $Patch = \{patch_0, patch_1, \ldots, patch_{n \times n-1}\}$，其中 $patch_i \in \mathbb{R}^{H \times \frac{W}{n} \times C}$。然后，每个补丁使用核大小为 $\frac{H}{n} \times \frac{W}{n}$ 的卷积运算编码为向量。我们将编码的补丁表示为 $Patch_{emb} = \{patch_{emb}^0, patch_{emb}^1, \ldots, patch_{emb}^{n \times n-1}\}$，其中 $patch_{emb}^i \in \mathbb{R}^{1 \times C_{emb}}$。由于自注意力机制缺乏区分输入序列中位置信息的的能力，因此我们引入正弦位置编码 PE 到特征中。自注意力机制的最终补丁嵌入输入可以表示为：$Patch_{in} = \text{MLP}(\text{Cat}(Patch_{emb}, PE))$。接下来，我们采用多头自注意力机制，输出通过前馈神经网络（FFN）模块。我们将来自 Transformer 块的最终补丁嵌入表示为 $Patch_{out} = \{patch_{out}^0, patch_{out}^1, \ldots, patch_{out}^{n \times n-1}\}$。我们将输出特征从 $Patch_{out} \in \mathbb{R}^{n^2 \times C}$ 的 2D 形状重塑为标准 3D 特征图 $\mathbb{R}^{n \times n \times C}$。之后，我们采用双线性插值法对输出进行上采样，使其与投影伪像的完整分辨率相匹配： $$ Patch_{bev}^{out}=\mathrm{Bi-Interpolate}(Patch_{out}) $$ 其中 $Patch_{cart}^{out} \in \mathbb{R}^{H \times W \times C}$。我们使用直接的加法操作来融合 $Patch_{cart}^{out}$ 和 $F_{cart}^{in}$： $$ F_{b e v}^{e n h a n c e d}=F_{c a r t}^{i n}+P a t c h_{c a r t}^{o u t} $$ 富含全局信息的特征然后输入到高效的 CNN 模型中进行进一步提取。我们使用 U-net 架构的 CNN，如 (Li et al. 2022) 中所述。实验表明，我们的 Transformer-CNN 混合架构在性能和推理速度方面均具有优势。 ## 实验数据集我们使用两个基于 LiDAR 的驾驶场景数据集来评估我们提出的双路径网络，这些数据集已被广泛采用，用于在语义分割中进行基准测试。 SemanticKITTI (Behley et al. 2019) 基于 KITTI 视觉基准，总共有 43,551 个扫描，这些扫描是从在德国不同城市收集的 22 个序列中采样的。 nuScenes-lidarseg (Caesar et al. 2020) 包含在 20 秒时长内的 1000 个场景中收集的 40,000 个扫描，这些扫描使用 32 束 LiDAR 传感器收集，并以 20Hz 的频率进行采样。我们遵循官方指南，使用平均交并比 (mIoU) 作为评估指标，如 (Behley et al. 2019) 中定义的那样。 ## 主要结果在表 1 中，我们报告了在 SemanticKITTI val 数据集上进行的实验结果。对于单独使用的极坐标和笛卡尔坐标分割策略，我们分别实现了 61.2% 和 56.5% 的性能。可以看到，使用两种分割策略进行融合，可以比独立使用时获得显著的性能提升。与其他方法相比，我们的方法在 mIoU 上优于 Range-BEV 融合 GFNet（Qiu, Yu, and Tao 2022），提高了 3.4%，并且优于 Range-BEV 融合 AMVNet，提高了 1.2% mIoU。 ---

Methods	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign	mIoU
RangeNet++	91.0	25.0	47.1	40.7	25.5	45.2	62.9	0.0	93.8	46.5	81.9	0.2	85.8	54.2	84.2	52.9	72.7	53.2	40.0	52.8
PolarNet	91.5	30.7	38.8	46.4	24.0	54.1	62.2	0.0	92.4	47.1	78.0	1.8	89.1	45.5	85.4	59.6	72.3	58.1	42.2	53.6
GFNet	94.2	49.7	63.2	74.9	32.1	69.3	83.2	0.0	95.7	53.8	83.8	0.2	91.2	62.9	88.5	66.1	76.2	64.1	48.3	63.0
AMV (BEV)	94.0	30.0	56.0	64.6	42.9	60.6	77.3	0.0	93.5	41.2	79.3	0.2	88.6	46.3	86.5	56.0	73.2	62.5	45.8	58.9
AMV (RV)	90.4	31.9	57.6	79.8	45.7	61.9	64.9	0.0	95.3	48.9	81.8	0.8	85.3	59.7	84.1	58.8	69.9	53.4	44.7	59.6
AMVNet	95.6	48.8	65.4	88.7	54.8	70.8	86.2	0.0	95.5	53.9	83.2	0.3	90.9	62.1	87.9	66.8	74.2	64.7	49.3	65.2
P-BEV (ours)	94.2	47.2	58.8	59.6	40.9	66.1	75.1	22.3	95.3	86.4	82.8	0.6	89.7	48.1	84.8	65.5	71.3	62.9	48.4	61.2
C-BEV (ours)	92.6	27.9	54.8	46.9	67.5	21.1	86.3	0.0	94.0	50.0	81.4	0.0	89.0	49.8	88.2	58.8	76.9	58.7	40.9	56.5
PC-BEV (ours)	94.3	67.6	71.4	75.4	67.5	77.4	81.3	0.1	95.2	39.7	83.0	0.1	86.3	49.7	85.1	70.2	68.2	70.2	64.2	66.4

Table 1: Quantitative comparison of our Polar-Cartesian BEV Fusion Framework (PC-BEV). The results are reported in terms of the mIoU on the SemanticKITTI validation set.

Methods	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign	mIoU
LatticeNet	88.6	12.0	20.8	43.3	24.8	34.2	39.9	60.9	88.8	64.6	73.8	25.5	86.9	55.2	76.4	67.9	54.7	41.5	42.7	51.3
PointNL	92.1	42.6	37.4	9.8	20.0	49.2	57.8	28.3	90.5	48.3	72.5	19.0	81.6	50.2	78.5	54.5	62.7	41.7	55.8	52.2
RandLa-Net	94.2	26.0	25.8	40.1	38.9	49.2	48.2	7.2	90.7	60.3	73.7	20.4	86.9	56.3	81.4	61.3	66.8	49.2	47.7	53.9
KPConv	96.0	30.2	42.5	33.4	44.3	61.5	61.6	11.8	88.8	61.3	72.7	31.6	90.5	64.2	84.8	69.2	69.1	56.4	47.4	58.8
MiniNet-KNN	90.5	42.3	42.1	28.5	29.4	47.8	44.1	14.5	91.6	64.2	74.5	25.4	89.4	60.8	82.8	60.8	66.7	48.0	56.6	55.8
SalsaNext	91.9	48.3	38.6	38.9	31.9	60.2	59.0	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1	59.5
PolarNet	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90.0	61.3	84.0	65.5	67.8	51.8	57.5	54.3
KPRNet	95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	63.1
RangeViT	95.4	55.8	43.5	29.8	42.1	63.9	58.2	38.1	93.1	70.2	80.0	32.5	92.0	69.0	85.3	70.6	71.2	60.8	64.7	64.0
CENet	91.9	58.6	50.3	40.6	42.3	68.9	65.9	43.5	90.3	60.9	75.1	31.5	91.0	66.2	84.5	69.7	70.0	61.5	67.6	64.7
MaskRange	94.2	56.0	55.7	59.2	52.4	67.6	64.8	31.8	91.7	70.7	77.1	29.5	90.6	65.2	84.6	68.5	69.2	60.2	66.6	66.1
GFNet	96.0	53.2	48.3	31.7	47.3	62.8	57.3	44.7	93.6	72.5	80.8	31.2	94.0	73.9	85.2	71.1	69.3	61.8	68.0	65.4
AMVNet	96.2	59.9	54.2	48.8	45.7	71.0	65.7	11.0	90.1	71.0	75.8	32.4	92.4	69.1	85.6	71.7	69.6	62.7	67.2	65.3
CPGNet	96.7	62.9	61.1	56.7	55.3	72.1	73.9	27.9	92.9	68.0	78.1	24.6	92.7	71.1	84.6	72.9	70.2	64.5	71.9	68.3
PC-BEV(ours)	96.5	66.5	57.7	37.6	48.2	62.5	68.0	49.1	93.0	73.5	79.8	32.1	92.1	69.2	85.4	70.0	70.0	62.4	63.0	67.2

Table 2: Quantitative comparison of our PC-BEV. The results are reported in terms of the mIoU on the SemanticKITTI test set. The methods are grouped into point-based, projection-based and multi-view fusion models.

在表 2 中，我们展示了在 SemanticKITTI 测试数据集上的结果。我们与包括基于点的方法 LatticeNet(Rosu et al. 2019)、PointNL(Cheng et al. 2020)、RandLa-Net(Hu et al. 2020)、KPConv(Thomas et al. 2019)、基于投影的方法 SalsaNext(Cortinhal, Tzelepis, and Erdal Aksoy 2020)、RangeViT(Ando et al. 2023)、CENet(Cheng, Han, and Xiao 2022)、MaskRange(Gu et al. 2022) 以及基于融合的方法 GFNet(Qiu, Yu, and Tao 2022)、AMVNet(Liong et al. 2020)、RPVNet(Xu et al. 2021)、CPGNet(Li et al. 2022) 等方法进行了比较。显而易见的是，我们与单视图投影方法相比具有明显的优势。具体来说，我们在 mIoU 上优于 RangeViT 3.2%，优于 CENet 2.5% mIoU，并且优于 Maskrange 1.1% mIoU。对于基于多视图融合的方法，我们的方法优于 GFNet 和 AMVNet，分别提高了 1.8% 和 1.9%。在表 3 中，我们报告了在 nuScenes 验证数据集上提出的双路径网络的实验结果。我们与包括 PCSCNet(Park et al. 2023)、SVASeg(Zhao et al. 2022) 等方法进行了比较。对于单独使用的极坐标和笛卡尔坐标分割策略，我们分别实现了 75.0%mIoU 和 71.4%mIoU 的性能。通过融合两种分割策略，也可以获得显著的性能提升。具体来说，可以观察到，与以前的方法相比，我们的方法显示出明显的性能提升。尤其是，我们的方法优于 Range-BEV 融合网络 (AMVNet)，提高了 2.7%mIoU。令人惊讶的是，我们的方法甚至优于 RangePoint-Voxel 融合网络 (RPVNet)，提高了 2.2%mIoU。我们比较了不同特征交互操作的延迟，实验结果如图所示我们比较了不同特征交互操作的延迟，实验结果见 ---

Methods	barrier	bicycle	bus	car	construction	motorcycle	pedestrian	traffic-cone	trailer	truck	driveable	other	sidewalk	terrain	manmade	vegetation	mIoU
RangeNet++	66.0	21.3	77.2	80.9	30.2	66.8	69.6	52.1	54.2	72.3	94.1	66.6	63.5	70.1	83.1	79.8	65.5
Salsanext	74.8	34.1	85.9	88.4	42.2	72.4	72.2	63.1	61.3	76.5	96.0	70.8	71.2	71.5	86.7	84.4	72.2
PolarNet	74.7	28.2	85.3	90.9	35.1	77.5	71.3	58.8	57.4	76.1	96.5	71.1	74.7	74.0	87.3	85.7	71.0
PCSCNet	73.3	42.2	87.8	86.1	44.9	82.2	76.1	62.9	49.3	77.3	95.2	66.9	69.5	72.3	83.7	82.5	72.0
SVASeg	73.1	44.5	88.4	86.6	48.2	80.5	77.7	65.6	57.5	82.1	96.5	70.5	74.7	74.6	87.3	86.9	74.7
AMVNet	79.8	32.4	82.2	86.4	62.5	81.9	75.3	72.3	83.5	65.1	97.4	67.0	78.8	74.6	90.8	87.9	76.1
RPVNet	78.2	43.4	92.7	93.2	49.0	85.7	80.5	66.0	66.9	84.0	96.9	73.5	75.9	70.6	90.6	88.9	77.6
P-BEV(ours)	77.2	40.5	89.9	90.3	48.9	84.8	80.7	64.7	64.4	83.4	96.9	70.6	76.3	74.8	81.4	76.8	75.0
C-BEV(ours)	73.2	18.8	89.4	89.7	45.2	74.7	70.8	52.6	60.6	82.3	96.2	72.7	73.6	74.0	85.7	83.2	71.4
PC-BEV(ours)	78.2	46.3	92.5	93.4	55.0	87.1	81.0	65.4	69.2	85.7	97.1	76.8	77.0	76.3	90.6	88.5	78.8

Table 3: Quantitative comparison of our PC-BEV. The results are reported in terms of the mIoU on the nuScenes validation set.

Method	Point-based			Remap-based (Ours)
	GS	SC	Overall
latency ms	0.3	6.5 $^{*}$	6.8	0.04
	0.3	7.7 $^{\dagger}$	8.0

Table 4: Illustration of the efficiency of our remap-based interaction. The experiment is conducted on the BEV features with voxel resolution set to 0.2m. The latency is tested on a 2080Ti GPU. SC denotes the scatter back operation. $*$ denotes the method implemented in (Li et al. 2022), $\dagger$ denotes the method implemented in pytorch_scatter codebase.

表 4。对于网格采样操作，我们使用了 PyTorch 自带的 grid_sample(.) 函数，对于 scatter 操作，我们使用了 CPGNet (Li et al. 2022) 中高效的实现。可以观察到，scatter back 操作消耗了大量的计算时间。这是因为，与只涉及读取操作的网格采样不同，scatter back 涉及写入操作，需要锁定以防止潜在的冲突。我们的方法还与网格采样相比，也显示出明显的性能提升。这是因为我们的方法更好地利用了特征的空间连续性，从而提高了缓存命中率，并提高了处理速度。 ## 消融研究我们对 nuScenes 验证集进行了消融研究，以检查框架中每个组件的有效性。结果见表 5。Cartesian 或 Polar 表示我们仅使用一个分支，而第三行（同时使用 Cartesian 和 Polar）表示我们简单地计算两个分支的输出的均值以获得最终预测。可以看出，只有原生双分支网络才能将 mIoU 性能提高 1.2%，这表明了极坐标-笛卡尔坐标融合的巨大潜力。此外，我们还可以通过我们的基于重映射的融合模块将性能提高 0.9% mIoU。结合 Transformer-CNN 混合架构，性能可以进一步提高 0.6% mIoU。对于模型的推理速度，我们可以看到，对于单独的极坐标和笛卡尔坐标分区策略，推理速度分别为 20 毫秒和 19 毫秒。我们的 PC-BEV 融合框架实现了最终延迟 31 毫秒，比基于点的方法（第四行）快 20%。延迟是在 NVIDIA V100 GPU 上测试的。 ![Image](images/33d42c7e9749a748706ce86255e9934b1d02f8da18daace7333e9734eda2ade8.jpg)

Table 5: Ablation study of our Polar-Cartesian BEV Fusion Framework on the nuScenes validation set. PB denotes the point-based fusion, RM denotes the remap fusion, T-C denotes the Transformer-CNN Mixture Architecture.

速度为 20 毫秒和 19 毫秒。我们的 PC-BEV 融合框架实现了最终延迟 31 毫秒，这比基于点的方法（第四行）快 20%。延迟是在 NVIDIA V100 GPU 上测试的。 ## 结论总之，我们通过提出一种基于融合来自不同分区方法（极坐标和笛卡尔坐标）的特征，并在统一的 BEV 空间中进行实时处理的方法，挑战了 LiDAR 分割的多视角融合的必要性。我们的高效的基于重映射的空间对齐融合方法，利用内存连续性，在速度方面显著优于以前的基于点的交互方法，同时保留了更丰富的上下文信息。此外，我们提出的 Transformer-CNN 混合架构提高了模型性能，而不会牺牲实时处理能力。广泛的实验验证了我们的方法在 SemanticKITTI 和 nuScenes 数据集上的有效性和效率。未来的研究可以探索将该方法应用于从多摄像头图像数据派生的 BEV 表示。 ## 鸣谢本工作部分由计算未来基金会 (CFFF) 资助。 --- ## 参考文献 Alonso, I.; Riazuelo, L.; Montesano, L.; and Murillo, A. C. 2020. 3d-mininet: Learning a 2d representation from point clouds for fast and efficient 3d lidar semantic segmentation. IEEE Robotics and Automation Letters, 5(4): 5432–5439. Ando, A.；Gidaris, S.；Bursuc, A.；Puy, G.；Boulch, A.；Marlet, R. 2023年。Rangevit：面向自动驾驶中3D语义分割的视觉Transformer。收录于CVPR，5240–5250页。 Behley, J.；Garbade, M.；Milioto, A.；Quenzel, J.；Behnke, S.；Stachniss, C.；Gall, J. 2019年。Semantickitti：一个用于激光雷达序列语义场景理解的数据集。收录于CVPR，9297–9307页。凯撒，H.；Bankiti，V.；Lang，A. H.；Vora，S.；Liong，V. E.；Xu，Q.；Krishnan，A.；Pan，Y.；Baldan，G.；和Beijbom，O. 2020. nuscenes：一个用于自动驾驶的多模态数据集。在CVPR，11621–11631。 Cheng, H.-X.; Han, X.-F.; and Xiao, G.-Q. 2022. Cenet: Toward concise and efficient lidar semantic segmentation for autonomous driving. In ICME, 01–06. IEEE. Cheng, H.-X.; Han, X.-F.; and Xiao, G.-Q. 2023. TransRVNet: LiDAR semantic segmentation with transformer. IEEE Transactions on Intelligent Transportation Systems, 24(6): 5895–5907. Cheng, M.; Hui, L.; Xie, J.; Yang, J.; and Kong, H. 2020. Cascaded non-local neural network for point cloud semantic segmentation. In IROS, 8447–8452. IEEE. Cheng, R.; Razani, R.; Taghavi, E.; Li, E.; and Liu, B. 2021. 2-s3net: 基于注意力特征融合和自适应特征选择的稀疏语义分割网络。In CVPR, 12547–12556. Choy, C.; Gwak, J.; and Savarese, S. 2019. 4d spatio-temporal convnets: Minkowski 卷积神经网络。In CVPR, 3075–3084. Cortinhal, T.; Tzelepis, G.; and Erdal Aksoy, E. 2020. SalsaNext: 用于 LiDAR 点云语义分割的快速、具有不确定性的方法。In International Symposium on Visual Computing, 207–222. Springer. Fan, J.; Gao, B.; Ge, Q.; Ran, Y.; Zhang, J.; and Chu, H. 2023. SegTransConv: 用于自动驾驶车辆实时语义分割的 Transformer 和 CNN 混合方法。IEEE 智能交通系统汇刊。 Feng, D.; Haase-Schütz, C.; Rosenbaum, L.; Hertlein, H.; Glaeser, C.; Timm, F.; Wiesbeck, W.; and Dietmayer, K. 2020. 用于自动驾驶的深度多模态目标检测和语义分割：数据集、方法和挑战。IEEE 智能交通系统汇刊，22(3): 1341–1360. Gao, B.; Pan, Y.; Li, C.; Geng, S.; and Zhao, H. 2021. 我们是否需要 3D LiDAR 数据来进行语义分割？数据集和方法的综述。IEEE 智能交通系统汇刊，23(7): 6063–6081. Gerdzhev, M.; Razani, R.; Taghavi, E.; and Bingbing, L. 2021. Tornado-net: 基于菱形 inception 模块的多视角总变分语义分割。In ICRA, 9543–9549. IEEE. Gu, Y.; Huang, Y.; Xu, C.; and Kong, H. 2022. Maskrange: 基于范围视图的 LiDAR 分割的掩码分类模型。arXiv preprint arXiv:2206.12073. Hu, Q.; Yang, B.; Xie, L.; Rosa, S.; Guo, Y.; Wang, Z.; Trigoni, N.; and Markham, A. 2020. Randla-net: 用于大规模点云语义分割的高效方法。In CVPR, 11108–11117. Kochanov, D.; Nejadasl, F. K.; and Booij, O. 2020. Kprnet: 改进基于投影的 LiDAR 语义分割。arXiv preprint arXiv:2007.12668. Kong, L.; Liu, Y.; Chen, R.; Ma, Y.; Zhu, X.; Li, Y.; Hou, Y.; Qiao, Y.; and Liu, Z. 2023. 重新思考 LiDAR 分割的范围视图表示。In ICCV, 228–240. Li, X.; Li, W.; Ren, D.; Zhang, H.; Wang, M.; and Zuo, W. 2020a. 基于多示例图像和自适应空间特征融合的增强盲面部恢复。In CVPR, 2706–2715. Li, X.; Zhang, G.; Pan, H.; and Wang, Z. 2022. Cpgnet: 用于实时 LiDAR 语义分割的级联点-网格融合网络。In ICRA, 11117–11123. IEEE. Li, Y.; Ma, L.; Zhong, Z.; Liu, F.; Chapman, M. A.; Cao, D.; and Li, J. 2020b. 深度学习用于自动驾驶的 LiDAR 点云：综述。IEEE 神经网络与学习系统汇刊，32(8): 3412–3432. Liong, V. E.; Nguyen, T. N. T.; Widjaja, S.; Sharma, D.; and Chong, Z. J. 2020. Amvnet: 用于 LiDAR 语义分割的基于断言的多视角融合网络。arXiv preprint arXiv:2012.04934. Liu, H.; Wu, C.; and Wang, H. 2023. 使用 LiDAR 和相机融合进行实时目标检测的自动驾驶。Scientific Reports, 13(1): 8056. Milioto, A.; Vizzo, I.; Behley, J.; and Stachniss, C. 2019. Rangenet++: 快速且准确的 LiDAR 语义分割。In IROS, 4213–4220. IEEE. Park, J.; Kim, C.; Kim, S.; 和 Jo, K. 2023. PCSCNet: 用于自动驾驶的基于点卷积和稀疏卷积网络的快速 3D 语义分割 LiDAR 点云方法。Expert Systems with Applications, 212:118815. Park, S.-J.; Hong, K.-S.; 和 Lee, S. 2017. Rdfnet: 用于室内语义分割的 RGB-D 多级残差特征融合。In ICCV, 4980–4989. Qi, C. R.; Su, H.; Mo, K.; 和 Guibas, L. J. 2017. Pointnet: 用于 3D 分类和分割的深度学习点集。In CVPR, 652–660. Qiu, H.; Yu, B.; 和 Tao, D. 2022. GFNet: 用于 3D 点云语义分割的几何流网络。arXiv preprint arXiv:2207.02605. Ronneberger, O.; Fischer, P.; 和 Brox, T. 2015. U-net: 用于医学图像分割的卷积网络。In International Conference on Medical image computing and computer-assisted intervention, 234–241. Springer. Rosu, R. A.; Schütt, P.; Quenzel, J.; 和 Behnke, S. 2019. Latticenet: 使用 permutohedral 格的快速点云分割。arXiv preprint arXiv:1912.05905. --- Sanchez, J.; Deschaud, J.-E.; 和 Goulette, F. 2023. 自动驾驶中 3D 语义分割的领域泛化。In ICCV, 18077–18087. Siam, M.; Gamal, M.; Abdel-Razek, M.; Yogamani, S.; Jagersand, M.; 和 Zhang, H. 2018. 自动驾驶的实时语义分割比较研究。In Proceedings of the IEEE conference on computer vision and pattern recognition workshops, 587–597. Tang, H.; Liu, Z.; Zhao, S.; Lin, Y.; Lin, J.; Wang, H.; 和 Han, S. 2020. 使用稀疏点-体素卷积搜索高效的 3D 架构。In ECCV, 685–702. Springer. Tatarchenko, M.; Park, J.; Koltun, V.; 和 Zhou, Q.-Y. 2018. 用于 3D 的切线卷积。In CVPR, 3887–3896. Thomas, H.; Qi, C. R.; Deschaud, J.-E.; Marcotegui, B.; Goulette, F.; 和 Guibas, L. J. 2019. Kpconv: 用于点云的灵活和可变形卷积。In CVPR, 6411–6420. Xu, G.; Li, J.; Gao, G.; Lu, H.; Yang, J.; 和 Yue, D. 2023. 使用高效的 Transformer 和 CNN 的轻量级实时语义分割网络。IEEE Transactions on Intelligent Transportation Systems, 24(12): 15897–15906. Xu, J.; Zhang, R.; Dou, J.; Zhu, Y.; Sun, J.; 和 Pu, S. 2021. Rpvnet: 用于 LiDAR 点云分割的深度且高效的范围-点-体素融合网络。In CVPR, 16024–16033. Ye, M.; Xu, S.; Cao, T.; 和 Chen, Q. 2021. Drinet: 用于点云分割的双表示迭代学习网络。In IROS, 4453–4458. IEEE. Zhang, L.; Danelljan, M.; Gonzalez-Garcia, A.; Van De Weijer, J.; 和 Shahbaz Khan, F. 2019. 用于端到端 RGB-T 跟踪的多模态融合。In ICCVW, 0–0. Zhang, Y.; Zhou, Z.; David, P.; Yue, X.; Xi, Z.; Gong, B.; 和 Foroosh, H. 2020. Polarnet: 用于在线 LiDAR 点云语义分割的改进网格表示。In CVPR, 9601–9610. Zhao, L.; Xu, S.; Liu, L.; Ming, D.; 和 Tao, W. 2022. SVASeg: 用于 3D LiDAR 点云语义分割的稀疏体素注意力。Remote Sensing, 14(18):4471. Zhao, Y.; Bai, L.; 和 Huang, X. 2021. Fidnet: 使用完全插值解码的 LiDAR 点云语义分割。In IROS, 4453–4458. IEEE. Zhou, Z.; Zhang, Y.; 和 Foroosh, H. 2021. Panoptic-polarnet: 一种无需proposal的激光雷达点云全景分割方法。发表于CVPR，第13194-13203页。 Zhu, X.; Zhou, H.; Wang, T.; Hong, F.; Ma, Y.; Li, W.; Li, H.; 和 Lin, D. 2021. 用于激光雷达分割的圆柱形和非对称3D卷积网络。发表于CVPR，第9939-9948页。