# SSC-RS: 利用表示分离和俯视融合提升激光雷达语义场景补全 Jianbiao Mei $^{1}$, Yu Yang $^{1}$, Mengmeng Wang $^{1}$, Tianxin Huang $^{1}$, Xuemeng Yang $^{2}$ 和 Yong Liu $^{1,\dagger}$ 摘要：语义场景补全 (SSC) 旨在同时预测整个 3D 场景的语义和几何结构，这在自动驾驶系统的 3D 场景理解中起着至关重要的作用。 SSC 通过利用分割中的语义上下文取得了快速进展。然而，如何有效地利用语义分割中的语义上下文与场景补全中的几何结构之间的关系仍然有待探索。在本文中，我们从表示分离和俯视融合的角度解决了室外 SSC 问题。具体来说，我们提出了名为 SSC-RS 的网络，该网络使用带有深度监督的单独分支，以显式地分离语义和几何表示的学习过程。并且，我们提出了一个配备自适应表示融合 (ARF) 模块的俯视融合网络，以有效地聚合多尺度特征。由于计算负担低且具有强大的表示能力，我们的模型在实时运行的同时具有良好的通用性。广泛的实验表明，我们的 SSC-RS 在 SemanticKITTI 数据集上实现了最先进的性能。代码可在上获取。 ## 1. 引言近年来，3D 场景理解，作为自动驾驶中感知系统最重要的功能之一，受到了广泛的研究并取得了快速进展。在处理大型户外场景理解时，语义场景补全 (SSC) 旨在从稀疏的激光雷达扫描中预测整个 3D 场景中每个体素的语义占用情况，包括完成某些区域。由于能够恢复几何结构，SSC 可以促进进一步的应用，例如 3D 对象检测，而 3D 对象检测通常受到激光雷达点云的稀疏和不完整性（由遮挡或传感器距离过远引起）的影响。然而，由于复杂的户外场景，精确估计整个 3D 真实世界的场景的语义和几何结构具有挑战性，这些场景包括各种形状/大小和遮挡。在先驱工作 SSCNet [^1] 的启发下，一些现有的户外 SSC 方法 [^2]、[^3] 使用单个 U-Net 网络（例如，一个重型的密集 3D 卷积网络）来联合预测语义和几何。然而，它们通常涉及不必要的计算以及额外的内存和计算开销，尤其是在输入体素分辨率较大时，因为 3D 场景中有很多空体素。 ![Image](images/95ad78bf31bda1f1e7ef5c0cc3101ab442e9846a378b4a4443c08166ccbe5872.jpg)

Fig. 1. (a) Consider the semantic context and geometric structure in a hybrid manner. (b) Consider the semantic context and geometric structure in a semi-hybrid manner. (c) Disentangling the learning procedure of semantic context and geometric structure explicitly.

另一方面，一些方法[^4] [^5] [^6] [^7]利用分割中的语义信息来辅助室外语义分割，方法是将语义补全网络与分割网络相结合。我们发现，大多数室外语义分割方法都考虑语义上下文（语义表示）和几何结构（几何表示），采用混合（图 1 (a)）或半混合方式（图 1 (b)）。如何有效地学习语义/几何表示并利用它们之间的关系仍然未得到探索。在本文中，我们从表示分离和鸟瞰图 (BEV) 融合的角度探讨了室外 SSC 的解决方案（图 1 (c)）。我们提出显式地分离语义上下文和几何结构的学习过程，并在鸟瞰图中融合它们，这已被证明在 3D 目标检测和分割中是一种成功的方法 [^8] [^9] [^10] [^11] [^12] [^13]. 我们的主要见解是：（1）语义上下文和几何结构相互补充，并且对于 SSC 任务至关重要。恢复几何细节以适应语义非常容易，而完整的形状有助于识别语义类别。（2）显式地分离表示可以促进和加速语义上下文和几何结构的学习过程。（3）与 3D 空间中的密集特征融合相比，鸟瞰图融合更方便、更高效。具体来说，我们根据其内在属性，为语义/几何表示设计了单独的分支，即语义分支和补全分支。我们还开发了一个BEV融合网络，用于从两个分支聚合两种类型的表示。我们使用一个稀疏的3D CNN[^14]来编码多级语义上下文，并使用一个小的密集3D CNN来获得多尺度的几何结构。 --- 结构。此外，我们在两个分支上都应用了深度监督，以促进表示学习。更进一步，为了从语义/几何表示中获取选择性线索，充分融合语义上下文与几何细节，我们在BEV融合网络中提出了自适应表示融合（Adaptive Representation Fusion, ARF）模块。由于计算负担更低、表示能力更强，我们的模型可实时运行，且具备良好的泛化性。在SemanticKITTI数据集（隐藏测试）上的实验表明，我们的方法取得了当前最优性能：在公开SSC基准$2^{rd}$上，按mIoU排名为$1^{rd}$，在补全指标（IoU）上排名为$^{1}$。我们的贡献总结如下： • 我们开发了 SSC-RS 网络，从表示（语义/几何）分离和俯视融合的角度，解决户外 SSC 问题。 • 我们根据其特性，设计了两个独立的支路，分别用于多级语义上下文和多尺度几何结构。并且应用了深度监督来促进学习过程。 - 我们使用 2D CNN 作为俯视融合网络，用于聚合语义/几何表示。并且在俯视融合网络中提出了自适应表示融合 (ARF) 模块，以充分融合语义上下文和几何细节。 • 由于计算负担更小，表示能力更强，SSC-RS 具有较低的衰减，并在 SemanticKITTI 基准测试中实现了最先进的性能。 ### II. 相关工作 ### A. 语义场景补全室内场景语义理解方法近年来发展迅速，这得益于室内基准数据集的出现，例如SUNCG [^1] 和NYU [^15]。现有的方法使用不同类型的几何输入，并结合相应的网络架构来完成室内场景语义理解。例如，[^1]、[^16]、[^17] 使用3D卷积神经网络对深度图进行端到端的处理。[^18]、[^19]、[^20]、[^21]、[^22] 使用2D-3D卷积神经网络处理RGB-D图像，以探索多模态互补性。[^6]、[^23]、[^24]、[^25] 使用体积网络架构对截断符号距离函数 (TSDF) 表示进行编码。[^26]、[^27]、[^28]、[^29]、[^30] 使用基于点的网络处理点云，以实现连续的语义场景补全。自SemanticKITTI [^31] 引入了一个大型的室外基准测试，用于场景语义理解任务以来，已经出现了一些室外场景语义理解方法。在先驱工作SSCNet [^1] 之后，[^2] 使用单个U-Net框架同时处理分割和补全，这会导致空体素的额外计算开销。一些方法 [^3]、[^32] 使用稀疏卷积或引入2D卷积神经网络来解决上述问题。例如，LMSCNet [^3] 在轻量级2D主干网络之后附加一个3D解码器，Zhang等人 [^32] 设计了一个稀疏卷积神经网络，其中包含密集反卷积层。一些侧重于多视图融合 [^6] 和局部隐函数的解决方案 [^30] 也被探索。此外，一些方法 [^4]、[^5] 利用语义分割来辅助场景语义理解。JS3C-Net [^4] 在场景语义理解之前插入一个语义分割网络，而SSA-SC [^5] 将分割分支的特征注入到补全分支中，并进行分层处理。在本文中，我们提出了SSC-RS，该方法从表示分离和俯视 (BEV) 融合的角度，用于大规模室外场景语义理解。与 [^33] 不同，后者设计了一个级联网络来实现场景补全和语义分割之间的互补，以进行室内场景语义理解，我们的SSC-RS利用了多尺度上下文。我们的并行特征融合在俯视图像中更方便且更高效。 ### B. 分割中的俯视 (BEV) 感知 BEV感知利用视觉算法，以BEV视图表示进行自动驾驶[^34]，这已用于各种任务，例如LiDAR检测[^11]、[^35]、LiDAR分割[^9]、[^10]、[^13]以及传感器融合[^12]、[^36]。SalsaNet[^8]将点云投影到BEV特征图中，而PolarNet[^9]提出了用于语义分割的极坐标BEV表示。Panoptic-PHNet[^10]利用BEV特征来增强分割，并在BEV中执行实例分组。Panoptic-Polarnet[^13]使用极坐标BEV表示来实现语义分割和类无关实例聚类。在SSC任务中，S3CNet[^6]设计了一个2D S3CNet，用于预测输入点云的2D BEV图像中的2D SSC图像。SSA-SC[^5]采用2D CNN作为语义补全网络，同时预测语义和几何信息。与SSA-SC类似，我们还使用2D CNN作为BEV融合网络，以高效地提供整个3D场景的语义占用信息。与SSA-SC不同，我们明确地分离语义上下文和几何结构的学习过程，并将BEV网络用作融合网络。此外，我们设计了一个自适应表示模块，用于充分聚合BEV中的有效线索。 ### III. 方法 ### A. 概述在本文中，我们从表示分离和BEV融合的角度探讨了LiDAR语义场景补全的解决方案。具体来说，我们设计了两个单独的分支来编码语义和几何表示（第III-B节）。这两个分支都紧凑且轻量级。语义分支是一个由体素化层和三个共享类似架构的稀疏编码器块组成的堆栈，用于学习多尺度语义上下文。补全分支使用多个密集3D卷积来获取不同阶段的多尺度几何结构。基于表示分离，我们提出了配备了提出的ARF模块的BEV融合网络，用于聚合来自语义/补全分支的有用多级特征，以获得最终的语义场景补全结果（第III-C节）。图2说明了所提出的SSC-RS的总体架构。 --- ![Image](images/ecf9e987790235e019d6d2f1a647ebd3a6866604bde13d50a57024662e930046.jpg)

Fig. 2. The overview of the proposed SSC-RS. Two branches (semantic/completion branches) are used to learn semantic and geometric representations separately. Both branches are supervised by multi-level auxiliary losses, which will be removed during inference. The multi-scale semantic representations from the semantic branch (blue, sparse 3D CNN) and geometric representations from the completion branch (red, dense 3D CNN) will be fused by the adaptive representation (ARF) module in the BEV fusion network (purple). 'F' denotes the ARF module, and 'C' indicates concatenation along the channel dimension. V2B represents the projection from voxel to BEV.

### B. 语义-补全表示分离如上所述，语义上下文和几何结构是语义场景补全任务的关键线索。因此，根据这两种线索的内在属性，我们设计了用于学习语义和几何表示的单独架构。语义表示：为了编码多尺度语义上下文、提升语义准确率，我们引入了一个紧凑的语义分支，该分支由一个体素化层和三个稀疏编码器块组成，整体架构与图3(a)所示相似。体素化层以范围为$P \in \mathbb{R}^{N \times 3}$的点云$[R_v, R_y, R_z]$作为输入，输出空间分辨率为$F_V \in \mathbb{R}^{M \times C}$的稀疏体素特征$L \times W \times H$。它通过以下方式将点$p_i = (x_i, y_i, z_i)$离散化到对应的体素索引$V_i$： $$ V_{i}=\left(\left\lfloor x_{i}/s\right\rfloor,\left\lfloor y_{i}/s\right\rfloor,\left\lfloor z_{i}/s\right\rfloor\right) $$ 其中s是体素化分辨率，floor函数是$\lfloor\cdot\rfloor$。由于一个占据的体素可能包含多个点，因此由$f_{V_m}$索引的体素特征$V_m \in \mathbb{Z}^{L \times W \times H}$通过以下公式进行聚合： $$ f_{V_{m}}=\mathbf{R}_{f}\left\{\mathbf{A}_{f}\left(\mathbf{MLP}(f_{p})\right)\right\}_{V_{p}=V_{m}} $$ 其中，$A_{f}$ 是聚合函数（例如，最大函数），$R_{f}$ 表示用于降维的 MLP。我们将点坐标、点位于体素中心的距离偏移量以及反射强度连接起来，作为点特征 $f_{p}$。在体素化层之后，体素特征被输入到三个级联稀疏编码器块中，以获得稀疏语义特征（$F_{s,1}$，$F_{s,2}$，$F_{s,3}$）。每个稀疏编码器块都由一个残差块 [^37] 和一个稀疏卷积以及一个在 [^38] 中开发的 SGFE 模块组成。SGFE 模块利用多尺度稀疏投影和注意力尺度选择来增强具有更多几何引导的体素特征，并通过因子 2 降低特征的分辨率。类似于 [^38]，我们采用多尺度稀疏监督来促进语义上下文的学习，如图 2 所示。具体来说，在训练阶段，我们为每个编码器块连接轻量级的 MLP 作为辅助头部，以获得有效体素的语义预测。根据占用网格，生成不同尺度的体素化语义标签。需要注意的是，由于我们只应用体素级别的监督，并且只在有效体素上计算损失以避免不必要的计算和内存使用，因此点级别的语义标签是不必要的。我们使用 IoVasz 损失 [^39] 和交叉熵损失来优化语义分支。语义损失 $L_{s}$ 是每个阶段的损失之和，可以表示为： $$ L_{s}=\sum_{i=1}^{3}\left(L_{lovasz,i}+L_{ce,i}\right) $$ 需要注意的是，辅助头部在推理阶段被移除，以提高效率，我们的语义分支仅包含 1.45M 个参数。几何表示：完成分支接收 LiDAR 点云生成的占用体素 $O_V \in \mathbb{R}^{1 \times L \times W \times H}$，指示体素是否被激光测量占据。它输出多尺度密集完成特征 $(F_{c,1}, F_{c,2}, F_{c,3})$，以提供更多几何细节。由于完成分支旨在仅完成语义无关的场景，即二进制完成，因此我们设计了一种浅层架构，使用密集 3D 卷积来获得场景的几何细节。如图 3 (b) 所示，完成分支由一个输入层和三个残差块组成。 --- ![Image](images/73680d5fc69a5860ed730107a62ab8de5ac44dd2106a92b8084bed35f7ef5569.jpg)

Fig. 3. (a) The architecture of the semantic branch. 'SE' denotes the sparse encoder block. (b) The overview of the completion branch. The max-pooling layers are inserted before each residual block.

输入层是一个具有大感受野的密集 3D 卷积，内核大小为 $7 \times 7 \times 7$，而残差块是由密集 3D 卷积的堆栈，内核大小为 $3 \times 3 \times 3$。此外，在每个残差块之前应用最大池化层，以使特征图的大小减少因子 2。与语义分支类似，使用深度监督来增强多尺度几何表示。为此，我们在每个块之后连接 MLP 作为辅助头部，以获得指示完成场景的占用情况的二进制预测。并且此分支的训练损失 $L_c$ 由： $$ L_{c}=\sum_{i=1}^{3}\left(L_{lovasz,i}+L_{bce,i}\right) $$ 其中 i 表示完成分支的第 i 个阶段，$L_{bce}$ 表示二元交叉熵损失。在推理过程中，辅助头部被移除。由于设计轻量级（0.31M 个参数），完成分支的计算开销很小 (7.93G MACs，输入形状为 $256 \times 256 \times 32$)。 ### C. BEV 融合网络由于使用密集的三维卷积来融合密集的三维特征图会带来显著的内存使用开销，并极大地降低运行速度，因此，受3D目标检测和语义分割中BEV感知的成功启发，我们开发了一个BEV融合网络，用于聚合来自BEV的多尺度稀疏语义表示$(F_V, F_{s,1}, F_{s,2}, F_{s,3})$和密集几何表示$(O_V, F_{c,1}, F_{c,2}, F_{c,3})$。我们首先详细说明从语义/补全分支投影特征到BEV的过程。对于稀疏语义特征$F_{s,*}$，我们首先从体素索引生成BEV索引。然后，类似于语义分支中的体素化层，我们使用聚合函数（最大函数）来聚合具有相同BEV索引的特征，以获得稀疏的BEV特征。最后，根据BEV ![Image](images/2a8b4077806c1cc0080f106ace997917e7fca5289d3d43ef64adb79ec1637bcb.jpg)

Fig. 4. Our designed adaptive representation fusion module. GAP denotes global average pooling.

索引和稀疏的BEV特征，我们生成密集型BEV特征$(F_{s,0}^{b} \in \mathbb{R}^{C_0 \times H \times W}, F_{s,1}^{b} \in \mathbb{R}^{C_1 \times (H/2) \times (W/2)}, F_{s,2}^{b} \in \mathbb{R}^{C_2 \times (H/4) \times (W/4)}, F_{s,3}^{b} \in \mathbb{R}^{C_3 \times (H/8) \times (W/8)})$。与[^5]不同，后者通过将密集的三维语义特征沿z轴堆叠以获得BEV特征，我们使用的投影方法更有效，并且需要的内存开销更小。对于来自补全分支的密集特征$F_{c,*}$，我们简单地将密集的三维特征沿z轴堆叠，并通过2D卷积减少特征维度，以获得密集型BEV特征$(F_{c,0}^{b}, F_{c,1}^{b}, F_{c,2}^{b}, F_{c,3}^{b})$，其维度与$(F_{s,0}^{b}, F_{s,1}^{b}, F_{s,2}^{b}, F_{s,3}^{b})$相同。与[^5]类似，我们的BEV融合网络采用U-Net架构，并使用2D卷积。编码器由一个输入层和四个残差块组成。每个残差块通过将输入特征的分辨率减半，以保持与语义/补全特征相同的分辨率。特征$F_{s,0}^{b}$和$F_{c,0}^{b}$的连接首先输入到输入层，然后输入到第一个残差块。在每个残差块之前，一个自适应表示融合（ARF，详细说明如下）模块接收前一阶段的输出以及与相同尺度语义/几何表示作为输入，并输出包含有意义的语义上下文和几何结构的融合特征。解码器通过跳跃连接，以2为倍数地三次放大编码器中压缩的特征。解码器的最后卷积输出SSC预测$Y \in \mathbb{R}^{((C_{n}+1)\cdot L)\times H\times W}$，其中$C_{n}$是语义类的数量。预测Y进一步被重塑为$((C_{n}+1)\times L\times H\times W)$的大小，表示完成场景中每个体素的语义占用预测。与语义/补全分支不同，我们仅对最终预测进行监督。同时使用lovas损失和交叉熵损失来计算BEV损失$L_{bev}$： $$ L_{b e\nu}=\left(L_{l o v a s z}+L_{c e}\right) $$ 自适应表示融合模块：直接连接来自不同来源的表示（语义/补全/BEV分支），类似于SSA-SC，这意味着对这些表示赋予相等的偏好。 --- 通常，我们通常需要来自不同来源的特定线索。为了更好地融合语义和几何表示，我们为BEV融合网络设计了一个自适应表示融合模块。图4说明了我们ARF模块的详细过程。设$F_{prev}, F_{sem}, F_{com}$表示来自前一阶段的特征，表示来自语义分支的特征，以及表示来自补全分支的特征，分别。我们首先计算通道注意力来对特征$F_{prev}/F_{sem}/F_{com}$进行加权，以自适应地对特征通道进行加权。然后，将加权特征求和，并将其输入到$1 \times 1$卷积中，以获得融合的特征$F_f$。该过程可以表示为： $$ \begin{aligned}F_{f}=\phi\{\sigma[\operatorname{MLP}(\operatorname{AvgPool}(F_{prev}))]*F_{prev}\\+\sigma[\operatorname{MLP}(\operatorname{AvgPool}(F_{sem}))]*F_{sem}\\+\sigma[\operatorname{MLP}(\operatorname{AvgPool}(F_{com}))]*F_{com}\}\end{aligned} $$ 其中，$\sigma$ 表示 sigmoid 函数。$\phi$ 是 $1 \times 1$ 卷积。 ### D. 多任务学习我们采用端到端的方式训练整个网络。多任务损失函数 $L_{total}$ 的表达式为： $$ L_{t o t a l}=3\cdot L_{b e v}+L_{s}+L_{c} $$ 其中，$L_{bev}$ 是在第 III-C 节中定义的 BEV 损失。$L_s$，$L_c$ 分别是第 III-B 节中定义的语义损失和补全损失。 ### IV. 实验在本节中，我们介绍了所提出的 SSC-RS 的实现细节，并在大规模户外场景数据集 SemanticKITTI [^31] 上进行了广泛的实验，以证明 SSC-RS 实现了最先进的性能。此外，我们还提供了可视化结果和定性分析，以展示我们模型的有效性。此外，我们还进行了关于语义/几何表示、ARF 模块和多尺度监督的消融研究，以验证所提出的组件。 ### A. 数据集和指标数据集 SemanticKITTI [^31] 基于 KITTI 测距数据集 [^40]，该数据集使用配备 Velodyne HDL-64 激光扫描仪的自动驾驶车辆收集了 22 个激光雷达序列，场景包含 20 个类别。根据语义场景补全的官方设置，从 00 到 10 的序列（不包括 08，共 3834 个扫描点）用于训练，序列 08（815 个扫描点）用于验证，其余部分（3901 个扫描点）用于测试。为用户提供了分辨率为 $256 \times 256 \times 32$ 的体素化地面真值标签。指标遵循 [^1]，我们计算场景补全（忽略语义）的交并比 (IoU) 以及 $C_{n}=19$ 个类别的平均交并比 (mIoU)（不包括“未标记”类别）作为评估协议。mIoU 的计算方法为： $$ mIoU=\frac{1}{C_{n}}\sum_{c=1}^{C_{n}}\frac{TP_{c}}{TN_{c}+FP_{c}+FN_{c}} $$ 其中，$TP_{c}$、$TN_{c}$、$FP_{c}$ 和 $FN_{c}$ 分别表示类别 c 的真阳性、真阴性、假阳性和假阴性。 ### B. 实现细节根据官方协议，输入点云的范围 $[R_x, R_y, R_z]$ 设置为 $[0 \sim 51.2m, -25.6 \sim 25.6m, -2 \sim 4.4m]$，体素化分辨率 s 为 0.2m，空间分辨率 i 为 $(L = 256, W = 256, H = 32)$。在训练过程中，通过随机 x-y 翻转对输入点云进行增强。我们使用 Adam 优化器 [^41]，初始学习率为 0.001（$\beta_1 = 0.9, \beta_2 = 0.999$），以端到端的方式训练 SSC-RS。我们在单个 NVIDIA 3090 上使用批次大小为 2 训练了 40 个 epoch。 ### C. 与最先进技术的比较定量结果。我们在语义KITTI测试集上与其他最先进的方法进行比较。我们将结果提交到官方测试服务器，以评估我们提出的SSC-RS的性能。表I显示，我们的SSC-RS在完成指标IoU（59.7%）上表现最佳，并在场景完成指标mIoU（24.2%）方面排名$2^{rd}$。我们的SSC-RS具有低延迟，并且可以实时运行（16.7 fps）。UDNet [^2]，它采用密集3D卷积神经网络，在IoU上的性能与SSC-RS相当，而SSC-RS在mIoU上比UDNet高出4.7%，并且具有更低的延迟。与语义分割辅助方法SSA-SC [^5]相比，SSC-RS在IoU和mIoU上分别提高了0.9%和0.7%，这表明我们提出的语义/几何表示分离方法是有效的。J3SC-Net [^4]在语义场景完成之后进行分割。我们的SSC-RS在mIoU上也优于J3SCNet 0.4%，尤其是在IoU上提高了3.1%。我们注意到，我们的SSC-RS在mIoU上的性能不如S3CNet [^6]。我们解释说，S3CNet中的局部几何损失对小型对象（如人、自行车和摩托车）有很大帮助，而我们没有对此进行特别设计。值得注意的是，SSC-RS在IoU（14.1%）上的性能更好，并且运行速度比S3CNet快$\sim 14\times$。定性结果。我们在语义KITTI验证集上提供了可视化结果，如图5所示。我们还可视化SSA-SC [^5]和JS3C-Net [^4]的结果以进行比较。从图5可以看出，我们的SSC-RS预测了更准确的SSC结果，尤其是在“平面”类别和大型对象（如汽车）上，这与表I中的结果一致。我们还注意到，我们的SSA-SC无法完成一些困难的样本，例如小型对象，这对于大多数方法来说也很困难。我们认为，一些特殊的局部几何设计，例如S3CNet [^6]中的几何损失，可以解决这个问题，这也会是我们未来的工作。 ### D. 消融研究我们进行了详细的消融研究，以验证我们提出的组件的有效性。所有实验都使用相同的训练配置进行训练，并在单个GPU上在语义KITTI验证集上进行测试。语义表示的影响。我们移除了语义分支，以探索语义表示的有效性。如表II所示，如果没有语义分支，mIoU的性能从24.8%下降到21.9%（第1行对第4行）。由于设计稀疏，即使配备语义分支，推理速度仍然很快（如表I所示，为16.7 fps）。与仅具有BEV网络的基线模型相比，语义表示和ARF模块可以将mIoU和IoU分别提高1.9%和1.2%（第2行对第3行）。这表明语义表示在SSC任务中起着至关重要的作用。 ---

TABLE I

COMPARISON OF PUBLISHED METHODS ON THE OFFICIAL SEMANTICKITTI [^31] BENCHMARK (HIDDEN TEST). OUR NETWORK SURPASSES ALL THE PUBLISHED METHODS ON COMPLETION METRICS (IOU) AND RANKS $2^{rd}$ IN TERMS OF THE SEMANTIC SEGMENTATION METRICS (MIOU). THE SPEED OF LMSCNET, JS3CNET, SSA-SC, AND OUR SSC-RS IS TESTED ON THE SAME DEVICE(NVIDIA 1080 TI).

Approach	IoU	road		sidewalk		parking		other-ground		building		car		truck		bicycle		motorcycle		vegetation		trunk		terrain		person		bicyclist		motorcyclist		fence		pole		traffic-sign		mIoU	FPS
		64.0	33.1	24.9	3.2	38.7	29.5	2.5	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	40.5	19.0	30.8	0.0	0.0	0.0	0.0	0.0	0.0	20.5	15.7	0.5	0.0	17.0	8.5	LMSCNet [^3]	55.3	64.0	33.1	24.9	3.2	38.7	29.5	30.9	1.5	0.0	0.0	0.0	41.3	19.9	32.1	0.0	0.0	0.0	21.3	15.0	0.8	17.6	-
		64.8	34.7	29.0	4.6	38.1	30.9	1.5	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	41.3	19.9	32.1	0.0	0.0	0.0	0.0	0.0	21.3	15.0	0.8	0.0	17.6	-	Local-DIFs [^30]	57.7	67.9	42.9	40.1	11.4	40.4	34.8	4.4	3.6	2.4	4.8	42.2	26.5	39.1	2.5	1.1	0.0	29.0	21.3	17.5	22.7	-	JS3C-Net [^4]	56.6	64.7	39.9	34.9	14.1	39.4	33.3	7.2	14.4	8.8	12.7	43.1	19.6	40.5	8.0	5.1	0.4	30.4	18.9	15.9	23.8	1.7	S3CNet [^6]	45.6	42.0	22.5	17.0	7.9	52.2	31.2	6.7	41.5	45.0	16.1	39.5	34.0	21.2	45.9	35.8	16.0	31.3	31.0	24.3	29.5	1.2	UDNet [^2]	59.4	62.0	35.1	28.2	9.1	39.5	33.9	3.8	0.8	0.4	4.4	40.9	23.2	32.3	0.5	0.3	24.4	18.8	13.1	19.5	13.7	58.8	72.2	43.7	37.4	46.6	36.5	5.7	13.9	4.6	43.5	25.6	41.8	4.4	2.6	0.7	30.7	14.5	6.9	23.5	20.0	24.0	11.2	44.1	26.0	41.9	4.7	2.4	0.9	30.8	15.0	7.2	24.2	16.7	59.7	73.1	44.4	38.6	17.4	44.6	36.4	5.3	10.1	5.1	11.2	44.1	26.0	41.9	4.7	2.4	0.9	30.8	15.0	7.2	24.2	16.7	59.7	73.1	44.4	38.6	17.4	44.6	36.4	5.3	10.1	5.1	11.2	44.1	26.0	41.9	4.7	2.4	0.9	30.8	15.0	7.2	24.2	16.7	59.7	73.1	44.4	38.6	17.4	44.6	36.4	5.3	10.1	5.1	11.2	44.1	26.0	41.9	4.7	2.4	0.9	30.8	15.0	7.2	24.2	16.7	59.7	73.1	44.4	38.6	17.4	44.6	36.4	5.3	10.1	5.1	11.2	44.1	26.0	41.9	4.7	2.4	0.9	30.8	15.0	7.2	24.2	16.7	59.7	73

TABLE II

ABLATION STUDIES ON SEMANTICKITT VALIDATION. BEV, SEM, AND COM DENOTE THE BEV FUSION NETWORK, SEMANTIC BRANCH, AND COMPLETION BRANCH. MSS INDICATES MULTI-SCALE SUPERVISION (DEEP SUPERVISION) ON THE SEMANTIC/COMPLETION BRANCH.

Variants	BEV		COM		ARF		MSS		IoU		mIoU		Precision		Recall		road		sidewalk		parking		other-ground		building		car		truck		bicycle		motorcycle		vegetation		2019		50.6		6.2		50.6		6.2		person		bicyclist		motorcyclist		fence		pole		traffic-sign
Variants	full model	✓	✓	✓	✓	✓	✓	58.6	24.8	78.5	69.8	73.5	45.3	26.6	2.1	41.0	46.8	41.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8	47.5	46.8
BEV only	✓	✓	✗	✗	✗	✗	57.1	22.0	80.6	66.3	73.5	43.5	26.1	3.2	39.7	44.6	20.5	2.4	53.3	12.6	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5
w/o COM	✓	✓	✗	✓	✓	✓	58.3	23.9	80.3	68.0	72.7	45.1	18.9	0.6	40.3	47.1	37.5	5.4	10.2	17.2	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5	41.7	40.5
w/o SEM	✓	✗	✓	✓	✓	✓	58.1	21.9	77.9	69.6	72.5	42.3	25.1	1.3	39.3	44.9	22.2	1.0	4.6	15.4	40.0	18.5	49.9	49.9	5.5	0.9	11.1	16.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4	4.4
w/o ARF	✓	✓	✓	✓	✓	✓	58.4	24.4	79.8	68.6	73.4	45.0	26.8	3.2	41.1	46.5	36.5	5.9	8.8	18.5	41.5	40.5	50.8	6.8	2.0	0.0	11.2	17.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2	4.2
w/o MSS	✓	✓	✓	✓	✓	✗	58.1	22.7	77.4	69.9	73.5	43.5	25.8	1.7	40.4	45.7	21.7	4.1	8.2	17.3	41.3	19.7	50.4	5.3	1.2	0.0	11.2	16.2	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1	4.1

几何表示的效果。我们进一步展示了几何表示的效果。表II的第3行提供了没有完成分支的结果。完成分支可以将IoU提高0.3%，并将mIoU提高0.9%（第1行对第3行），并且仅使用0.31 M的参数。与第4行与第2行相比，通过使用ARF模块融合几何表示，性能在IoU上提高了1%，这证明了其在提高场景完成准确性方面的有效性。我们进行了详细的消融研究，以验证我们提出的组件的有效性。所有实验都使用相同的训练配置进行训练，并在单个GPU上在语义KITTI验证集上进行测试。关于 ARF 模块的消融研究。我们移除了 ARF 模块，并将来自不同来源的特征直接连接起来作为融合特征，以显示我们 ARF 模块的有效性。如表 II 所示，ARF 模块（第 1 行与第 5 行）通过在 mIoU 上提高 0.4%，在 IoU 上提高 0.2%，从而提高了性能，这表明 ARF 模型可以从不同来源中选择合适的线索，并有效地融合表示。多尺度监督（深度监督）。最后，我们证明了对两个分支采用多尺度监督（MSS）对于我们的SSC-RS至关重要。表II的最后一行显示了详细的结果。如果没有多尺度监督，性能会大幅下降（mIoU下降2.1%，IoU下降0.5%）。这表明MSS可以有效地促进表示分离的学习过程，这对于SSC任务非常重要。 ### V. 结论在本文中，我们开发了SSC-RS，以从表示分离和鸟瞰图融合的角度解决室外大规模语义场景补全问题。设计了两个独立的具有深度监督的分支，以显式地分离语义/几何表示的学习过程。并且，设计了一个鸟瞰图融合网络，以有效地融合多级特征。此外，提出了一个自适应表示融合模块，该模块位于鸟瞰图融合网络中，以促进融合过程。广泛的实验表明，我们的SSC-RS实现了最先进的性能，并且可以在实时运行。我们希望我们的工作可以为SSC社区提供新的视角。未来，我们将重点关注局部几何学习，以提高对小目标的性能，并将该工作扩展到更多场景，例如室内和单目场景。 --- ![Image](images/7ab2d10614d871abe1808e50a4b672d0ce3cf725635ce64be2d0a91f53275a1a.jpg)

Fig. 5. Qualitative results on SemanticKITTI validation set. The visualizations demonstrate that our SSC-RS predicts more accurate SSC results, especially on “plane” classes and large objects such as cars. (labeled in red circles).

## 致谢本工作得到了国家自然科学基金会的资助（项目编号：U21A20484）。 ## 参考文献 [^1]: S. Song, F. Yu, A. Zeng, A. X. Chang, M. Savva, and T. Funkhouser, “Semantic scene completion from a single depth image,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1746–1754. 1, 2, 5 [^2]: H. Zou, X. Yang, T. Huang, C. Zhang, Y. Liu, W. Li, F. Wen, and H. Zhang, "Up-to-down network: Fusing multi-scale context for 3d semantic scene completion," in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 16–23. 1, 2, 5, 6 [^3]: L. Roldão, R. de Charette, and A. Verroust-Blondet, "Lmscnet: Lightweight multiscale 3D semantic completion," in 3DV 2020-International Virtual Conference on 3D Vision, 2020. 1, 2, 6 [^4]: X. Yan, J. Gao, J. Li, R. Zhang, Z. Li, R. Huang, and S. Cui, “Sparse single sweep lidar point cloud segmentation via learning contextual shape priors from scene completion,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 35, no. 4, 2021, pp. 3101–3109. 1, 2, 5, 6 [^5]: X. Yang, H. Zou, X. Kong, T. Huang, Y. Liu, W. Li, F. Wen, and H. Zhang, “Semantic segmentation-assisted scene completion for lidar point clouds,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 3555–3562. 1, 2, 4, 5, 6 [^6]: R. Cheng, C. Agia, Y. Ren, X. Li, and L. Bingbing, “S3cnet: A sparse semantic scene completion network for lidar point clouds,” in Conference on Robot Learning. PMLR, 2021, pp. 2148–2161. 1, 2, 5, 6 [^7]: M. Garbade, Y.-T. Chen, J. Sawatzky, and J. Gall, “Two stream 3d semantic scene completion,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2019, pp. 0–0. 1 [^8]: E. E. Aksoy, S. Baci, and S. Cavdar, “Salsanet: Fast road and vehicle segmentation in lidar point clouds for autonomous driving,” in 2020 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019, pp. 926–932. 1, 2 [^9]: Y. Zhang, Z. Zhou, P. David, X. Yue, Z. Xi, B. Gong, and H. Foroosh, "Polarnet: An improved grid representation for online lidar point clouds semantic segmentation," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 9601–9610. 1, 2 [^10]: J. Li, X. He, Y. Wen, Y. Gao, X. Cheng, and D. Zhang, “Panoptic-phnet: Towards real-time and high-precision lidar panoptic segmentation via clustering pseudo heatmap,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 11809–11818. 1, 2 [^11]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "Pointpillars: Fast encoders for object detection from point clouds," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 12697–12705. 1, 2 [^12]: Z. Liu, H. Tang, A. Amini, X. Yang, H. Mao, D. Rus, and S. Han, "Bevfusion: Multi-task multi-sensor fusion with unified bird's-eye view representation," arXiv preprint arXiv:2205.13542, 2022. 1, 2 [^13]: Z. Zhou, Y. Zhang, and H. Foroosh, “Panoptic-polarnet: Proposal-free lidar point cloud panoptic segmentation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 13194–13203. 1, 2 [^14]: B. Graham, M. Engelcke, and L. Van Der Maaten, “3d semantic segmentation with submanifold sparse convolutional networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 9224–9232. 1 [^15]: N. Silberman, D. Hoiem, P. Kohli, and R. Fergus, “Indoor segmentation and support inference from rgbd images,” in European conference on computer vision. Springer, 2012, pp. 746–760. 2 [^16]: A. Dai, D. Ritchie, M. Bokeloh, S. Reed, J. Sturm, and M. Nießner, “Scancomplete: Large-scale scene completion and semantic segmentation for 3d scans,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 4578–4587. 2 ## [^17]: Y. Wang, D. J. Tan, N. Navab, and F. Tombari, “Forknet: Multi-branch volumetric semantic completion from a single depth image,” in --- Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 8608–8617. 2 [^18]: S. Liu, Y. Hu, Y. Zeng, Q. Tang, B. Jin, Y. Han, and X. Li, “See and think: Disentangling semantic scene completion,” in Proceedings of the 32nd International Conference on Neural Information Processing Systems, 2018, pp. 261–272. 2 [^19]: J. Li, Y. Liu, D. Gong, Q. Shi, X. Yuan, C. Zhao, and I. Reid, “Rgbd based dimensional decomposition residual network for 3d semantic scene completion,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 7693–7702. 2 [^20]: Y. Liu, J. Li, Q. Yan, X. Yuan, C. Zhao, I. Reid, and C. Cadena, “3d gated recurrent fusion for semantic scene completion,” arXiv preprint arXiv:2002.07269, 2020. 2 [^21]: J. Li, K. Han, P. Wang, Y. Liu, and X. Yuan, “Anisotropic convolutional networks for 3d semantic scene completion,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 3351–3359. 2 [^22]: S. Li, C. Zou, Y. Li, X. Zhao, and Y. Gao, “Attention-based multimodal fusion network for semantic scene completion,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, no. 07, 2020, pp. 11402–11409. 2 [^23]: Y. Cai, X. Chen, C. Zhang, K.-Y. Lin, X. Wang, and H. Li, “Semantic scene completion via integrating instances and scene in-the-loop,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 324–333. 2 [^24]: X. Wang, M. R. Oswald, I. Cherabier, and M. Pollefeys, “Learning 3d semantic reconstruction on octrees,” in Pattern Recognition: 41st DAGM German Conference, DAGM GCPR 2019, Dortmund, Germany, September 10–13, 2019, Proceedings 41. Springer, 2019, pp. 581–594. 2 [^25]: J. Li, Y. Liu, X. Yuan, C. Zhao, R. Siegwart, I. Reid, and C. Cadena, “Depth based semantic scene completion with position importance aware loss,” IEEE Robotics and Automation Letters, vol. 5, no. 1, pp. 219–226, 2019. 2 [^26]: M. Zhong and G. Zeng, “Semantic point completion network for 3d semantic scene completion,” in ECAI 2020. IOS Press, 2020, pp. 2824–2831. 2 [^27]: J. Tang, X. Chen, J. Wang, and G. Zeng, “Not all voxels are equal: Semantic scene completion from the point-voxel perspective,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 36, no. 2, 2022, pp. 2352–2360. 2 [^28]: T. Huang, H. Zou, J. Cui, X. Yang, M. Wang, X. Zhao, J. Zhang, Y. Yuan, Y. Xu, and Y. Liu, "Rfnet: recurrent forward network for dense point cloud completion," in Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 12508–12517. 2 [^29]: X. Zhang, Y. Feng, S. Li, C. Zou, H. Wan, X. Zhao, Y. Guo, and Y. Gao, "View-guided point cloud completion," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 15890–15899. 2 [^30]: C. B. Rist, D. Emmerichs, M. Enzweiler, and D. M. Gavrila, “Semantic scene completion using local deep implicit functions on lidar data,” IEEE transactions on pattern analysis and machine intelligence, vol. 44, no. 10, pp. 7205–7218, 2021. 2, 6 [^31]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 9297–9307. 2, 5, 6 [^32]: J. Zhang, H. Zhao, A. Yao, Y. Chen, L. Zhang, and H. Liao, “Efficient semantic scene completion network with spatial group convolution,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 733–749. 2 [^33]: J. Xu, X. Li, Y. Tang, Q. Yu, Y. Hao, L. Hu, and M. Chen, "Casfusionnet: A cascaded network for point cloud semantic scene completion by dense feature fusion," arXiv preprint arXiv:2211.13702, 2022. 2 [^34]: H. Li, C. Sima, J. Dai, W. Wang, L. Lu, H. Wang, E. Xie, Z. Li, H. Deng, H. Tian et al., “Delving into the devils of bird’s-eye-view perception: A review, evaluation and recipe,” arXiv preprint arXiv:2209.05324, 2022. 2 [^35]: Z. Zhou, X. Zhao, Y. Wang, P. Wang, and H. Foroosh, “Centerformer: Center-based transformer for 3d object detection,” in Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXXVIII. Springer, 2022, pp. 496–513. 2 [^36]: Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Y. Qiao, and J. Dai, “Bevformer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers,” in Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part IX. Springer, 2022, pp. 1–18. 2 [^37]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778. 3 [^38]: S. Xu, R. Wan, M. Ye, X. Zou, and T. Cao, “Sparse cross-scale attention network for efficient lidar panoptic segmentation,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 36, no. 3, 2022, pp. 2920–2928. 3 [^39]: M. Berman, A. Rannen Triki, and M. B. Blaschko, “The lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 4413–4421. 3 [^40]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? the kitti vision benchmark suite,” in 2012 IEEE conference on computer vision and pattern recognition. IEEE, 2012, pp. 3354–3361. 5 [^41]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” arXiv preprint arXiv:1412.6980, 2014. 5