# 对齐与融合：一种统一的多模态激光雷达分割网络
王传旭 $^{D}$、李家炯 $^{D}$、陈鑫、宋达 $^{D}$、王炳辉
摘要—点云数据的多模态融合是3D计算机视觉领域的一项挑战性任务，尤其是在精细物体分割方面。在本研究中，我们提出了一种创新的统一多模态激光雷达分割网络，命名为“对齐与融合”（简称A2Blend），该网络巧妙整合了三种典型的点云形式：点视图、体素视图和距离视图。A2Blend的核心创新在于解决了两个主要任务：对齐与融合。针对“对齐”任务，我们精心设计了可学习的交叉模态关联模块，其核心是一种独特的“交叉模态三元组对齐损失”机制。据我们所知，这是该机制在激光雷达分割领域的首次应用。该机制借鉴了对比学习的原理，促使同一模态内以及不同模态间的相似语义群体紧密聚类，同时通过扩大特征空间中相似样本簇与不相似样本簇之间的距离来增强不同群体间的区分度，从而显著提升特征嵌入的判别能力和表征能力。针对“融合”任务，我们提出了一种融合策略，它结合了模态内的组内自注意力和模态间的组间自注意力。该方法融合了标准自注意力和交叉自注意力机制的关键思想，以实现更全面的多模态融合。在两个大规模室外数据集和一个室内数据集上的分割性能均优于大多数现有先进算法。
索引词—多模态激光雷达分割、对齐与融合、交叉模态三元组对齐损失、自注意力。
## 一、引言
基于激光雷达的语义分割旨在为每个输入点分配语义标签，它是自动驾驶、数字城市和服务机器人领域的关键技术[^1]，[^2]。随着深度学习的兴起，人们提出了众多方法[^3]，[^4]，[^5]，[^6]，[^7]，[^8]，[^9]，这些方法迅速在SemanticKITTI[^10]和nuScenes[^11]等各类基准测试中占据主导地位。点云[^3]、距离图像[^13]、体素网格[^4]以及RGB图像[^12]是四种常用的数据形式，每种形式都有其自身的优势与局限性。点云能够提供可靠且精确的深度信息，可在点视图、体素视图和距离视图下进行处理。具体而言，点视图表示保留了完整的点信息，但由于点的分布不规则（无序），难以高效捕捉邻近点的特征；体素视图将点云离散化为体素单元，保留了规则的结构，但体素化过程可能导致大量信息丢失，尤其是当体素尺寸较大时；距离视图表示则具有密集且紧凑的特点，可利用高度优化的二维卷积进行处理，不过球面投影会固有地扭曲原始的3D几何信息，从而导致空间数据出现误差，还会引发遮挡和模糊等问题。虽然RGB图像能提供丰富的颜色、边界、纹理和语义信息，但在多模态激光雷达分割任务中，由于许多数据集缺乏RGB数据，其应用受到限制；此外，采集RGB数据通常需要额外处理，这也限制了它作为补充模态的扩展。
显然，多模态和多视角点云的输入数据彼此互补，因此充分利用这些合成信息有助于提升感知能力。然而，这种跨模态和跨视角的融合范式在激光雷达分割领域尚未得到充分探索。当前的多模态融合方法主要侧重于融合两种视角[^5]，[^14]或更多视角[^12]。前者通常采用RGB图像与距离图像的融合方式；而激光雷达点云的体素视图和点视图等替代表示形式虽保留了原始数据结构并能提供精细的空间信息，却常被以往的研究忽视。此外，当引入RGB模态数据时，RGB图像和距离图像往往通过校准矩阵以强相关的方式融合，这使其容易受到校准误差的影响[^12]。至于后者，尽管许多现有方法能取得令人满意的性能，但它们通常只关注如何融合不同模态的数据[^15]，却忽略了这些模态之间的固有差异，从而限制了从其他研究领域获取创新见解的可能性。综合考虑上述因素，在我们的网络中，我们摒弃了RGB图像，转而选择融合基于点的视图、基于体素的视图以及基于距离的视图；对于基于距离的视图，我们仅利用其编码器结构来提取高维语义信息。
---
对比语言-图像预训练（CLIP）[^16] 提出了一种新颖的方法，利用不同模态（如图像和文本）之间的固有差异，通过对比学习来建立关联。这提升了模型的性能和泛化能力，促进了跨模态学习，或许能为前述挑战提供解决方案。MaskCLIP [^17] 将CLIP扩展至语义分割领域，仅需少量修改且无需额外训练即可实现物体分割。PointCLIP [^18] 则证明了CLIP的零样本分类能力能够从二维图像迁移到三维点云，其原理是将点云数据投影为二维深度图。这些研究凸显了CLIP在二维分割和三维分类中的潜力，不过其在三维场景理解方面的应用仍有待探索。
受CLIP相关成果的启发，我们首次探索如何利用其核心原理，将对比学习应用于点云多视角融合分割任务。在点云多视角融合分割中，由于数据点数量庞大，应用对比学习面临两大关键挑战：（1）如何划分锚点、正样本和负样本，以确保正负样本之间的相对平衡；（2）如何设计对比损失函数，以强化不同模态数据间的内部关联。针对第一个挑战，由于网络中点的语义结构在训练过程中始终保持无序状态，且点数可多达百万级，因此逐点选择锚点、正样本和负样本并不现实。为此，我们提出了一种语义引导的多模态特征解耦模块：它首先根据真实标签对三种模态的点特征进行软分组，随后将锚点、正样本和负样本划分为不同的组（或簇）。在此基础上，我们设计了新颖的双对比损失函数，以建立不同模态间的强关联。这一过程被称为“对齐”任务。
“融合”任务对于多模态融合至关重要。简单的融合策略难以应对复杂的下游任务。因此，针对“融合”任务，我们采用自注意力机制来建模不同点云模态间的交互。具体而言，对于单一模态，我们使用标准自注意力机制来捕捉同一语义类别内的簇内特征；而对于模态间交互，则采用交叉自注意力机制，从而在特征簇层面实现跨模态学习。
本文的主要贡献如下：
- 我们提出了一种创新性的统一多模态激光雷达分割网络，首次将对比学习应用于三维分割任务中的多模态融合。具体而言，我们引入了新颖的跨模态三元组对齐损失函数和语义引导的多模态特征解耦模块，从而高效地对点特征进行分组，
推动不同模态间具有不同语义的簇相互分离。
- 我们设计了双对比损失函数：对于单一模态，它在高语义层面上分离具有不同语义的簇；而对于多模态交互，它则使具有相同语义特征的簇彼此靠近，同时
- 我们的跨模态融合策略利用标准自注意力机制来捕捉模态内同义语义点之间的关系，同时借助交叉自注意力机制来建模不同模态间异义语义之间的联系，从而实现更好的多模态数据推理。
### II. 相关工作
### A. 基于激光雷达的语义场景理解
在基于激光雷达的场景理解中，语义分割是一项关键任务，大多数方法仅依赖点云数据 [^3]。例如，Cylinder3D [^5] 利用圆柱形结构对点云进行分割，并将这些特征输入到基于Unet的骨干网络中；SPVCNN [^19] 则通过结合点级和体素级特征来提升分割效果。LidarMultiNet [^20] 将激光雷达分割、全景分割和3D物体检测整合到同一个框架中，而UniSeg [^12] 则利用校准矩阵融合RGB模态以提升性能。虽然这些方法侧重于模态间数据的融合（如通过相加、拼接或自注意力机制），但它们往往忽略了各模态的独特特性。相比之下，我们的网络充分考虑了各模态间的相似性与差异，从而能够构建更有效的融合机制，具备更广泛的应用潜力。
### B. 重新审视对比学习
1) 3D领域的零样本学习：零样本学习（ZSL）的目标是识别训练集中未出现过的物体。许多研究致力于2D识别任务 [^21]、[^22]，也有少数研究聚焦于3D领域的零样本学习 [^23]、[^24]。[^23] 首次探索了用于3D场景理解的传导式零样本分割。最近，多项研究将CLIP引入零样本学习领域。MaskCLIP [^17] 研究了利用CLIP辅助2D密集预测任务的情况，并展现了令人鼓舞的零样本语义分割性能。PointCLIP [^18] 是将CLIP应用于3D识别的开创性工作，在零样本和少样本场景下均表现出色。然而，上述研究并未将对比学习应用于3D点云的分割，这一方向在3D分割领域仍值得进一步探索。
2) 跨模态知识蒸馏：近年来，越来越多的研究聚焦于从2D图像向3D点云迁移知识，以实现自监督表示学习 [^25]、[^26]。PPKT [^25] 利用InfoNCEloss帮助3D网络从2D图像骨干中提取丰富知识；SLidR [^26] 进一步引入超像素来促进跨模态知识的精细化。PVKD [^4] 是首个在点级和体素级模态中应用知识蒸馏的方法，从而实现跨模态交互，但它仅考虑了简单的两种模态。在我们的网络中，我们利用对比学习的知识来建立三种模态间更全面的交互，以实现更好的协同效果。
---
### III. 方法
### A. 动机与概述
1) 动机：对比学习已广泛应用于自监督学习、迁移学习和多模态融合领域，用以提升模型的表征质量和性能。基于此，我们首次将对比学习应用于3D激光雷达多模态融合分割，并探索其在3D多模态融合中的潜力。
2) 概述：我们提出的算法A2Blend（见图1）包含四个组成部分：可学习跨模态关联模块（LCA）、语义引导的多模态特征解耦模块、轻量级自注意力机制（Blend），以及用于跨模态交互的下游网络。LCA模块采用三分支网络实现多通道交互，包含基于距离的编码器、基于点的编码器和基于体素的编码器。其中，基于距离和基于体素的分支采用半U-Net结构来提取上下文信息，并经过四个下采样阶段以生成高层次的语义表示；基于点的分支则采用简单的PointNet架构及多个多层感知机。在从这三种模态中获取丰富的高维语义信息后，语义引导的多模态特征解耦模块会对这些特征进行处理和融合。随后，协同式轻量级自注意力机制会将融合后的特征传递给基于分割的网络（点云转体素）。后续章节将详细介绍其具体实现方式。
### B. 对齐
1) 可学习跨模态关联：原始点云数据可被转换为不同视图，通常是体素视图和距离视图。我们将点视图视为一个中间“中转站”，用以建立这些视图之间的连接。点云的任何视图都可视为原始点云的映射。随后，利用哈希函数在三种视图之间建立多视图表示索引和多视图特征传播机制。
我们在LCA模块中应用了相同的多视图索引、多视图特征传播和多视图交互技术，这一思路源自[^6]中的巧妙设计。具体而言，我们注意到LCA模块中存在两处多视图交互场景，分别出现在低层次语义层和高层次语义层。与以往的工作不同，我们采用轻量级自注意力机制来替代之前的门控融合操作。这种设计降低了模型复杂度，更便于在各种硬件平台上部署。该策略将在第III-C节中进一步详细说明。
2) 跨模态三元组对齐损失：诸如CLIP这类采用对比学习的最新方法，在智能问答、图文匹配、图像分割、二维物体检测和分类等任务中展现出了卓越的性能。然而，在3D激光雷达点云分割领域，相关技术的发展仍存在差距。受此启发，我们首次在点云的多视图融合中引入了对比学习机制。
```pseudo
// Algorithm 1: Feature Clustering and Padding in Mini-Batches
Input: $X^R, X^P, X^V, T$, and the current mini-batch's semantic class count cc
Output: Sequences after clustering and padding: $X_n^R, X_n^P, X_n^V$
1: $X_n^R \leftarrow \emptyset$, $X_n^P \leftarrow \emptyset$, $X_n^V \leftarrow \emptyset$ $n \sim [1, 2, \ldots, cc]$
2: $i \sim [1, 2, \ldots, n]$
3: $F^{ri} \leftarrow \text{Feature Clustering Generator}(X^R, T)$
4: $F^{pi} \leftarrow \text{Feature Clustering Generator}(X^P, T)$
5: $F^{vi} \leftarrow \text{Feature Clustering Generator}(X^V, T)$
6: $m \leftarrow \text{NumMax}(F^{p1}, F^{p2}, \ldots, F^{pn})$
7: for l in i do
8: if $\text{NumMax}(F^{pl}) < m$ then
9: $h \leftarrow m - \text{NumMax}(F^{pl})$
10: $F_{padding}^{rl} \leftarrow \text{Feature Padding Generator}(F^{rl}, h)$
11: $F_{padding}^{pl} \leftarrow \text{Feature Padding Generator}(F^{pl}, h)$
12: $F_{padding}^{vl} \leftarrow \text{Feature Padding Generator}(F^{vl}, h)$
13: else
14: $F^{rl} \leftarrow F^{rl}$, $F^{pl} \leftarrow F^{pl}$, $F^{vl} \leftarrow F^{vl}$
15: end if
16: if padding then
17: $X_l^R \leftarrow F^{rl} \cup F_{padding}^{rl}$, $X_l^P \leftarrow F^{pl} \cup F_{padding}^{pl}$, $X_l^V \leftarrow F^{vl} \cup F_{padding}^{vl}$
18: else
19: $X_l^R \leftarrow F^{rl}$, $X_l^P \leftarrow F^{pl}$, $X_l^V \leftarrow F^{vl}$
20: end if
21: $X_n^R \leftarrow X_n^R \cup \{X_l^R\}$, $X_n^P \leftarrow X_n^P \cup \{X_l^P\}$, $X_n^V \leftarrow X_n^V \cup \{X_l^V\}$
22: end for
```
首次提出了点云多视图融合中的学习机制。
a) 语义引导的多模态特征解耦：给定来自基于距离的编码器、基于体素的编码器和基于点的编码器的三组高层次语义特征序列，分别记为$X^R \in \mathbb{R}^{N \times C}$、$X^P \in \mathbb{R}^{N \times C}$和$X^V \in \mathbb{R}^{N \times C}$，其中N表示点的数量，C表示通道数，我们执行两项关键操作：
- 根据输入数据的真实标签T对各模态的特征进行聚类，其中$T \in \mathbb{R}^N$。
- 对每个模态内每个特征簇中的特征数量进行统一填充。
上述步骤在算法1的伪代码中有所体现。
最终，我们得到距离视图、点视图和体素视图的伪分组特征表示：$X^R \to \{X_1^R, X_2^R, \ldots, X_n^R\}$、$X^P \to \{X_1^P, X_2^P, \ldots, X_n^P\}$、$X^V \to \{X_1^V, X_2^V, \ldots, X_n^V\}$，其中n代表语义类别的数量。
b) 样本聚类组装：样本聚类是对比学习过程中的关键环节。为了加强不同模态之间的关系，我们提出了一种在组级别对样本进行聚类的新方法，而非采用传统的点级划分方式。
---
Fig. 1. The A2Blend method processes three input signals: voxel, range, and point views. At the core is the Learnable Cross-Modal Association (LCA) module, which facilitates two stages of cross-modal interactions between the 2D range encoder, 3D voxel encoder, and MLPs. Before the second interaction, our Semantic-guided Multimodal Feature Disentanglement mechanism is applied. Subsequently, the low-level semantic features from the point, range, and voxel views are fed into the RPV (Blend) module for cross-modal fusion of high-level semantic information. This is fused information is then compressed and refined, allowing for further cross-modal interaction and fusion at both coarse and fine granularities between the point and voxel modalities. Best viewed in colors.
(a)
(b)
Fig. 2. Contrast pair selection procedure for selecting positive and negative semantic class features between range view and point view as shown in block (a). Our proposed cross-modal intergroup group attention mechanism is shown in block (b). The same procedure is applied to the point view and voxel view modes. Best viewed in colors.
如图2所示。同样的技术也应用于点视图和体素视图之间。关于负样本划分的更详细方法在算法2中进行了说明。
c) 损失函数：我们采用三种损失函数来训练模型：分类损失、Lovázs-Softmax损失以及新引入的跨模态三元组对齐损失。
加权交叉熵损失[^27]的表达式如下：
$$ L_{w c e}(y,\tilde{y})=-\sum_{i=1}a_{i}P(y_{i})\log p(\tilde{y}),a_{i}=1/\sqrt{(v_{i})} $$
其中$v_i$为类别频率，$P(y_i)$和$p(\tilde{y})$分别为真实值和预测值，$P(y_i)$是正确类别的指示符。这种损失适用于语义分割等多类任务，因为它能最小化预测分布与真实分布之间的差异。Lovázs-Softmax损失[^28]
其定义如下：
$$ L_{l s}=\frac{1}{|C|}\sum_{c\in C}J(e(c)) $$
其中J是对Lovázs的IoU的扩展，$e(c) \in [0,1]^p$为类别c的误差向量，p为所考虑的点。这种损失在物体检测和分割等各类任务中已显示出有效性[^29]，它将与其他损失结合使用以提高准确率。
受对比学习在图像-语言预训练任务中取得成功的启发[^30]，我们将其应用范围扩展到多模态点云领域。我们重点关注模态内部及模态间的交互作用。利用前文描述的两种算法，我们获得了点视图、距离视图和体素视图中的锚点、正样本及负样本聚类，分别表示为aps、pps、pns、ars、rps、rns、avs、vps、vns（见图2）。
---
```pseudo
// Algorithm 2: Generate Negative Sample Clusters
Input: Sequences after clustering and padding: $X_n^R$, $X_n^P$, $X_n^V$
Output: Negative sample clusters: $X_n^{R^{neg}}$, $X_n^{P^{neg}}$, $X_n^{V^{neg}}$
1: $l \sim [1, 2, \ldots, cc]$
2: for j in l do
3: for k in l do
4: if $X_j^R$ is ans and $X_k^P$ is pps and j==k then
5: remove $X_j^R$ from $X_n^R$
6: $X_n^{R^{neg}} \leftarrow X_n^R$
7: end if
8: end for
9: end for
10: Similarly, $X_n^{P^{neg}}$ and $X_n^{V^{neg}}$ can be derived
```
跨模态三元组对齐损失的定义如下：
$$ \begin{aligned}L_{Dclpr}&=E_{Z\sim pps_{j},Z^{+}\sim rps_{j},Z^{-}\sim pns_{j\neq k}}^{PR}\mathcal{L}(Z,Z^{+},Z^{-})\\&\quad+E_{Z\sim rps_{j},Z^{+}\sim pps_{j},Z^{-}\sim rns_{j\neq k}}^{RP}\mathcal{L}(Z,Z^{+},Z^{-})\end{aligned} $$
$$ \begin{aligned}L_{Dclpv}&=E_{Z\sim pps_{j},Z^{+}\sim vps_{j},Z^{-}\sim pns_{j\neq k}}^{PV}\mathcal{L}(Z,Z^{+},Z^{-})\\&\quad+E_{Z\sim vps_{j},Z^{+}\sim pps_{j},Z^{-}\sim vns_{j\neq k}}^{VP}\mathcal{L}(Z,Z^{+},Z^{-})\end{aligned} $$
$$ L_{c m t a l}=L_{D c l p r}+L_{D c l p v} $$
其中j和k代表伪标签或语义聚类，$\mathcal{L}(Z, Z^{+}, Z^{-})$为标准对比损失：
$$ \begin{array}{r}{\mathcal{L}(Z,Z^{+},Z^{-})=-\log(\frac{\exp(Z^{T}*Z^{+}/\tau)}{\exp(Z^{T}*Z^{+}/\tau)+\sum_{k}\exp(Z^{T}*Z^{-}/\tau)})}\end{array} $$
其中$\tau$为可学习的温度因子。最终，总损失是这三种损失函数的组合：
$$ L_{t o t a l}=\beta_{w c e}L_{w c e}+\beta_{l s}L_{l s}+\beta_{c m t a l}L_{c m t a l} $$
其中$\beta_{wce}$、$\beta_{ls}$和$\beta_{cmtal}$是用于平衡三种损失分量的超参数。
### C. 融合
特征空间中的“对齐”操作之后是“融合”操作，如图2(b)所示。我们在每个特征聚类内使用标准的自注意力机制来探索模态内同质语义之间的关联。该过程定义如下：
$$ \begin{aligned}\hat{\boldsymbol{X}_{n}^{R}},\hat{\boldsymbol{X}_{n}^{P}},\hat{\boldsymbol{X}_{n}^{V}}=\mathbb{S}\mathbb{A}(\boldsymbol{X}_{n}^{R},M a s k_{n}^{R}),\mathbb{S}\mathbb{A}(\boldsymbol{X}_{n}^{P},M a s k_{n}^{P}),\\\mathbb{S}\mathbb{A}(\boldsymbol{X}_{n}^{V},M a s k_{n}^{V})\end{aligned} $$
其中$Mask_{n}^{R}$、$Mask_{n}^{P}$、$Mask_{n}^{V}$用于指示第n个语义聚类中的特征点是否为各模态的补充特征。函数$\mathbb{SA}$指标准的自注意力机制。为了进一步探索跨模态的语义关系，我们引入了组级别的跨模态自注意力机制，如公式9-11所述。
$$ \begin{array}{r}{\hat{\mathbf{\mathit{X}}}_{n}^{P R}=\mathbb{M C S A}(\hat{\mathbf{\mathit{X}}}_{n}^{R},\hat{\mathbf{\mathit{X}}}_{n}^{P},M a s k_{n}^{R},M a s k_{n}^{P})}\end{array} $$
$$ \hat{\stackrel{\rightharpoonup}{X}}_{n}^{P V}=\mathbb{M}\mathbb{C}\mathbb{S}\mathbb{A}(\stackrel{\rightharpoonup}{X}_{n}^{P},\stackrel{\rightharpoonup}{X}_{n}^{V},M a s k_{n}^{P},M a s k_{n}^{V})\mathrm{~(~} $$
$$ \begin{aligned}{B l e n d e d_{f e a t u r e s}=}&{{}C a t(M e r g(\hat{\mathbf{\mathit{X}}}_{n}^{P R},M a s k_{n}^{P}),}\\ {}&{{}M e r g(\hat{\mathbf{\mathit{X}}}_{n}^{P V},M a s k_{n}^{P}))}\\ \end{aligned} $$
其中MCSA指多头跨模态注意力，Merg表示聚类中特征点的合并，Cat代表拼接。
融合后的特征集$Blended_{features}$随后会被送入后续网络进行进一步处理。
### IV. 实验
### A. 数据集
我们在三个广泛使用的大规模公开数据集上进行了实验：nuScenes、SemanticKITTI以及室内数据集S3DIS。
1) nuScenes：nuScenes数据集包含1,000个驾驶场景，其中850个用于训练和验证（700个用于训练，150个用于验证），150个用于测试。合并相似类别并剔除罕见类别后，最终有16个类别用于基于激光雷达的语义分割任务。
2) SemanticKITTI：SemanticKITTI数据集由22个点云序列组成。序列00至10用于训练，序列08用于验证，序列11至21用于测试。合并移动物体类别并剔除代表性不足的类别后，选取19个类别用于训练和评估。
3) S3DIS：S3DIS数据集涵盖六个大型区域内的272个房间。其中一个区域被指定为验证集，其余区域则用于训练。
### B. 评估指标
根据[^3]、[^15]和[^27]中的描述，我们采用每类的类间交并比（IoU）以及所有类别的平均IoU（mIoU）作为评估指标。第i类的IoU计算公式如下：
$$ IoU_{i}=\frac{TP_{i}}{TP_{i}+FP_{i}+FN_{i}} $$
其中，$TP_{i}$、$FP_{i}$和$FN_{i}$分别代表真正例、假正例和假负例。
### C. 部署细节
我们的网络由两个主要组件构成：LCA模块和PV模块。LCA网络采用半UNet结构，类似于SalsaNext [^29]和SPVCNN [^19]，且无需预训练的特征提取器。距离分支和体素分支均经过四个下采样阶段，各阶段的特征维度分别为32、64、128和256。对于距离分支，在SemanticKITTI数据集上的输入尺寸为$64 \times 2048$，在nuScenes数据集上为$32 \times 2048$，之后会调整为与SemanticKITTI相同的设置。整个实验中体素分辨率始终保持在0.05米。对于点分支，我们使用两个维度分别为32和256的点级MLP。PV结构则采用了完整的SPVNAS [^19]架构。
---
TABLE I
QUANTITATIVE RESULTS OF A2BLEND AND THE STATE-OF-THE-ART LiDAR SEMANTIC SEGMENTATION METHODS ON THE NUSCENES TEST SET. THE METHODS IN GRAY REPRESENT THE TOP THREE SOTA MODELS. ALL RESULTS CAN BE FOUND IN THE ONLINE LEADERBOARD
| Methods | mIoU | barr | bicy | bus | car | const | motor | ped | cone | trail | truck | driv | other | walk | terr | made | veg |
| RPVNet [^6] | 77.6 | 78.2 | 43.4 | 92.7 | 93.2 | 49.0 | 85.7 | 80.5 | 66.0 | 66.9 | 84.0 | 96.9 | 73.5 | 75.9 | 76.0 | 90.6 | 88.9 |
| AF2S3 [^15] | 78.3 | 78.9 | 52.2 | 89.9 | 84.2 | 77.4 | 74.3 | 77.3 | 72.0 | 83.9 | 73.8 | 97.1 | 66.5 | 77.5 | 74.0 | 87.7 | 86.8 |
| GASN [^34] | 80.4 | 85.5 | 43.2 | 90.5 | 92.1 | 64.7 | 86.0 | 83.0 | 73.3 | 83.9 | 75.8 | 97.0 | 71.0 | 81.0 | 77.7 | 91.6 | 90.2 |
| SpFormer [^37] | 81.9 | 83.3 | 39.2 | 94.7 | 92.5 | 77.5 | 84.2 | 84.4 | 79.1 | 88.4 | 78.3 | 97.9 | 69.0 | 81.5 | 77.2 | 93.4 | 90.2 |
| Uniseg [^12] | 83.5 | 85.9 | 71.2 | 92.1 | 91.6 | 80.5 | 88.0 | 80.9 | 76.0 | 86.3 | 76.7 | 97.7 | 71.8 | 80.7 | 76.7 | 91.3 | 88.8 |
| AZBlend(Our) | 80.8 | 85.7 | 55.7 | 93.1 | 93.8 | 51.2 | 86.4 | 81.9 | 72.8 | 81.8 | 84.9 | 97.3 | 74.1 | 76.7 | 76.5 | 91.2 | 89.8 |
TABLE II
QUANTITATIVE RESULTS OF A2BLEND AND THE STATE-OF-THE-ART LIDAR SEMANTIC SEGMENTATION METHODS ON THE SEMANTICKITTI TEST SET. THE METHODS IN GRAY REPRESENT THE TOP THREE SOTA MODELS. ALL RESULTS CAN BE FOUND IN THE ONLINE LEADERBOARD
| Methods | mIoU | car | bicy | moto | truc | o.veh | ped | b.list | m.list | road | par | walk | o.gro | build | fenc | veg | trun | terr | pole | sign |
| RPVNet [^6] | 70.3 | 97.6 | 68.4 | 68.7 | 44.2 | 61.6 | 75.9 | 74.4 | 73.4 | 93.4 | 70.3 | 80.7 | 33.3 | 93.5 | 72.1 | 86.5 | 75.1 | 71.7 | 64.8 | 61.4 |
| SDSeg3D [^33] | 70.4 | 97.4 | 58.7 | 54.2 | 54.9 | 65.2 | 70.2 | 74.4 | 52.2 | 90.9 | 69.4 | 76.7 | 41.9 | 93.2 | 71.1 | 86.1 | 74.3 | 71.1 | 65.4 | 70.6 |
| GASN [^34] | 70.7 | 96.9 | 65.8 | 58.0 | 59.3 | 61.0 | 80.4 | 82.7 | 46.3 | 89.8 | 66.2 | 74.6 | 30.1 | 92.3 | 69.6 | 87.3 | 73.0 | 72.5 | 66.1 | 71.6 |
| PVKD [^4] | 71.2 | 97.0 | 67.9 | 69.3 | 53.5 | 60.2 | 75.1 | 73.5 | 50.5 | 91.8 | 70.9 | 77.5 | 41.0 | 92.4 | 69.4 | 86.5 | 73.8 | 71.9 | 64.9 | 65.8 |
| SpFormer [^37] | 74.8 | 97.5 | 70.1 | 70.5 | 59.6 | 67.7 | 79.0 | 80.4 | 75.3 | 91.8 | 69.7 | 78.2 | 41.3 | 93.8 | 72.8 | 86.7 | 75.1 | 72.4 | 66.8 | 72.9 |
| Uniseg [^12] | 75.2 | 97.9 | 71.9 | 75.2 | 63.6 | 74.1 | 78.9 | 74.8 | 60.6 | 92.6 | 74.0 | 79.5 | 46.1 | 93.4 | 72.7 | 87.5 | 76.3 | 73.1 | 68.3 | 68.5 |
| A2Blend(Our) | 71.9 | 97.7 | 57.6 | 68.9 | 44.4 | 62.8 | 76.1 | 75.1 | 74.7 | 93.7 | 71.1 | 80.9 | 34.3 | 93.7 | 72.4 | 87.0 | 76.2 | 72.1 | 66.4 | 61.0 |
### D. 训练和推理细节
我们采用公式7中定义的损失函数对网络进行端到端的训练。模型在SemanticKITTI和nuScenes数据集上分别训练50个和70个周期，初始学习率为1.0，随后从0.125衰减至1.0，训练过程中包含一个预热周期，并采用余弦学习率调度策略。在Nvidia GeForce RTX 3090上，训练过程大约耗时一周。动量参数设为0.9，权重衰减系数设为0.0001。超参数$\beta_{wce}$、$\beta_{ls}$和$\beta_{cmtal}$分别被设置为1、1、2.5以及1、1、7.5。在每个小批量中，超参数m会根据点数最多的语义类别来设定。对于点分支的数据增强，我们应用了随机翻转、缩放，以及LaserMix [^31]和PolarMix [^32]等变换方法，以增加训练样本的多样性。
### E. 定量比较
1) 定量结果：我们在表I和表II中总结了A2Blend与现有最先进的激光雷达分割方法的性能。在SemanticKITTI数据集上，A2Blend在mIoU指标上优于大多数现有算法，其mIoU值比RPVNet [^6]高出1.6，比SDSeg3D [^33]高出1.5，比GASN [^34]高出1.2，比PVKD [^4]高出0.7。其中，A2Blend在汽车、摩托车手、道路、停车场、人行道、建筑物、围栏、树干和电线杆等9个类别的分割精度上表现突出。与当前最先进的方法Uniseg [^12]相比，A2Blend在摩托车手类别上的mIoU提升了14.1，道路类别提升1.1，人行道类别提升1.4，建筑物类别提升0.3。即便在汽车、自行车手、围栏、植被和树干等难度较高的类别中，性能差距也极小，仅为0.2到0.3 mIoU。同样，在nuScenes数据集上，A2Blend的mIoU比RPVNet [^6]高出3.2，比AF2S3 [^15]高出2.5，比GASN [^34]高出0.4，在16个类别中有7个类别的分割性能更优。与Uniseg [^12]相比，A2Blend在公交车、汽车、行人、卡车、其他车辆和植被的分割性能上分别提升了1.0、2.2、1.0、8.2、2.3和1.0 mIoU。而在障碍物、可行驶区域、地形和人造物类别中，两者结果几乎一致。其他难度较高类别中的分割差距可能是由于Uniseg使用了额外的RGB模态，而A2Blend仅采用三种模态所致。
TABLE III
QUANTITATIVE RESULTS OF A2BLEND AND STATE-OF-THE-ART LIDAR SEMANTIC SEGMENTATION METHODS ON THE S3DIS AREA 5 DATASET. THE METHOD IN GRAY REPRESENTS THE TOP SOTA MODEL. ALL RESULTS CAN BE FOUND IN THE ONLINE
| Method | mIoU |
| ST [^35] | 72.0 |
| Swin3D [^36] | 72.5 |
| PTv3 [^3] | 74.7 |
| A2Blend(Our) | 74.1 |
在公交车、汽车、行人、卡车、其他车辆和植被的分割性能上，A2Blend的表现更优，mIoU分别提升了1.0、2.2、1.0、8.2、2.3和1.0。在障碍物、可行驶区域、地形和人造物类别中，两者的结果几乎相同。其他难度较高类别中的分割差距可能是因为Uniseg采用了额外的RGB模态，而A2Blend仅使用三种模态。
为了进一步探究模型A2Blend的可扩展性和鲁棒性，同时考虑到室内数据集密集分布导致的遮挡问题，我们并未直接使用整个框架，而是将A2Blend网络输出的调整后特征输入到最先进的下游网络Swin3D [^36]中，以验证所提方法的泛化能力。值得注意的是，此处仅使用了单个双对比损失实例。如表III所示，我们的方法相较于Swin3D [^36]可使mIoU提升1.6，而与最先进的算法PTv3 [^3]相比，差距仅为0.6 mIoU。
### F. 消融实验
我们开展了消融实验，以考察不同编码器、损失函数组合以及跨视图融合方法的影响。
1) 各模态的影响：为了评估每个编码器的有效性，我们单独分析了LCA模块。
---
TABLE IV
QUANTITATIVE EVALUATION OF EACH MODAL ENCODER ON SEMANTICKITTI AND NUSCENES DATASETS
| Range Encoder | Point Encoder | Voxel Encoder | mIoU |
| SemanticKITTI | nuScenes |
| ✓ | ✓ | | 43.0 | 50.9 |
| ✓ | ✓ | 56.3 | 63.6 |
| ✓ | ✓ | ✓ | 58.0 | 66.5 |
TABLE V
QUANTITATIVE ASSESSMENT OF THE EFFECTIVENESS OF EACH MODULE ON THE SEMANTICKITTI AND NUSCENES DATASETS
| Baseline | Align(L_cmtal) | Blend | mIoU |
| SemanticKITTI | nuScenes |
| ✓ | | | 68.4 | 76.9 |
| ✓ | ✓ | | 70.6 | 79.4 |
| ✓ | ✓ | ✓ | 71.9 | 80.8 |
TABLE VI
QUANTITATIVE EVALUATION OF $L_{cmtal}$ ON THE SEMANTICKITTI VALIDATION SET. WE COMPARE WITH THE BASELINE B1
USING $L_{wce}$ AND I
| Method | $L_{wce}$ | $L_{ls}$ | $L_{cmtal}$ | mIoU |
| B1 | ✓ | ✓ | | 68.4 |
| B2 | ✓ | ✓ | ✓ | 70.6 |
TABLE VII
QUANTITATIVE EVALUATION OF BLEND ON THE SEMANTICKITTI VALIDATION SET
| Method | mIoU | $\Delta$ |
| Add(Baseline) | 70.5 | +0.0 |
| Concat | 70.7 | +0.2 |
| Blend | 71.9 | +1.4 |
从表IV中可以看出，体素编码器对LCA模块的贡献最大，而距离编码器的贡献最小。与距离编码器相比，体素编码器在SemanticKITTI数据集上使性能提升了13.3 mIoU，在nuScenes数据集上提升了12.7 mIoU。当将点云、距离和体素编码器结合使用时，分别取得了58.0 mIoU和66.5 mIoU的最佳结果。
2) 各模块的影响：我们在SemanticKITTI和nuScenes数据集上评估了Align模块和Blend模块的有效性。如表V所示，Align模块（L_cmtal）分别使SemanticKITTI和nuScenes的mIoU提升了2.2和2.5，而Blend模块则分别使mIoU提升了1.3和1.4。这凸显出Align操作在促进跨模态融合方面的重要作用。
3) 各损失函数的影响：我们在表VI中评估了所提出的$L_{cmtal}$损失函数的影响。与使用$L_{wce}$和$L_{ls}$作为基准的情况相比，我们的损失函数使mIoU提升了2.2。
4) 融合机制：表VII对比了不同的融合策略。我们的Blend方法比基线模型高出1.4 mIoU，而Concat方法仅带来轻微的提升。
5) 效率与精度对比：表VIII对比了A2Blend与现有最先进算法的参数、延迟和mIoU指标。
TABLE VIII
QUANTITATIVE EVALUATION OF PARAMETERS AND LATENCY ON THE SEMANTICKITTI TEST SET. THE METHODS IN GRAY REPRESENT THE TOP THREE SOTA MODELS
| Method | Param(M) | Latency(ms) | mIoU |
| Cylinder3D [^5] | 56.3 | 75.1 | 65.9 |
| SPVCNN [^19] | 21.8 | 150 | 63.8 |
| RPVNet [^6] | 24.8 | 168 | 70.3 |
| PTv3 [^3] | 46.2 | - | 75.5 |
| Uniseg [^12] | 147.6 | - | 75.2 |
| A2Blend(Our) | 24.3 | 132.2 | 71.9 |
Fig. 3. Quantitative evaluation of A2Blend and state of the art algorithms on the SemanticKITTI validation set. Segmentation errors are highlighted in red. Best viewed in colors.
现有最先进算法。尽管存在聚类和填充带来的开销，我们的网络在延迟与精度的平衡方面仍具有竞争力，其性能优于Cylinder3D [^5]、SPVCNN [^19]以及RPVNet [^6]。
6) 可视化与分析：图3展示了A2Blend与现有最先进算法在SemanticKITTI验证集上的对比结果。A2Blend的整体性能表现更优。为了评估边界分割精度，我们在围栏、道路、人行道和停车场等类别上对A2Blend及其他算法进行了可视化分析。如图4所示，A2Blend在边界分割精度上显著优于其他方法。此外，图5展示了在Swin3D方法基础上应用我们提出的双对比损失后的视觉效果。可以看出，我们的方法在误分割和边界分割两个维度上都优于基线模型。
---
Fig. 4. Quantitative evaluation of A2Blend and state-of-the-art algorithms on boundary segmentation on the SemanticKITTI validation set. Segmentation errors are highlighted in red. Best viewed in colors.
Fig. 5. Qualitative comparison of A2Blend and algorithm Swin3D for boundary segmentation on the S3DIS AREA 5 DATASET. Light yellow arrows highlight the segmentation differences. Best viewed in colors.
### 五、结论
本文提出了A2Blend——一种新颖的通用多模态激光雷达分割网络，该网络取得了卓越的性能。A2Blend通过协同整合点云视图、体素视图和距离视图这三种不同的表示方式，在细粒度分割任务中展现出极高的能力。
---
在对齐与融合操作中的关键创新显著提升了模型的特征表达与区分能力。具体而言，对齐任务中的可学习跨模态关联（LCA）模块能够借助“跨模态三元组对齐损失”机制，聚合不同模态间及模态内的语义相似簇，同时分离不相似的簇，从而大幅提升模型性能。在融合任务中，我们利用标准的自注意力机制和跨自注意力机制来捕捉模态内及模态间的关系，进而增强模型的泛化能力。在SemanticKITTI、nuScenes和S3DIS数据集上的实验结果表明，A2Blend的mIoU指标有显著提升，这使其成为将对比学习应用于3D激光雷达多模态融合领域的开创性方法。未来，我们将重点优化算法1，以进一步提升模型性能。
## 致谢
作者衷心感谢相关支持，这些支持对推进本研究工作起到了重要作用。
## 参考文献
[^1]: Y. Zhang, Q. Zhang, Z. Zhu, J. Hou, and Y. Yuan, "GLENet: Boosting 3D object detectors with generative label uncertainty estimation," Int. J. Comput. Vis., vol. 131, no. 12, pp. 3332–3352, Dec. 2023.
[^2]: Q. Xu, Y. Zhou, W. Wang, C. R. Qi, and D. Anguelov, “SPG: Unsupervised domain adaptation for 3D object detection via semantic point generation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 15426–15436.
[^3]: X. Wu et al., “Point transformer v3: Simpler, faster, stronger,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 4840–4851.
[^4]: Y. Hou, X. Zhu, Y. Ma, C. C. Loy, and Y. Li, "Point-to-Voxel knowledge distillation for LiDAR semantic segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8469–8478.
[^5]: X. Zhu et al., "Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 9934–9943.
[^6]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 16004–16013.
[^7]: Q. Xu, Y. Zhong, and U. Neumann, “Behind the curtain: Learning occluded shapes for 3D object detection,” in Proc. AAAI Conf. Artif. Intell., 2022, vol. 36, no. 3, pp. 1–9.
[^8]: W. Zheng, W. Tang, L. Jiang, and C.-W. Fu, "SE-SSD: Self-ensebling single-stage object detector from point cloud," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 14489–14498.
[^9]: Y. Kim, K. Park, M. Kim, D. Kum, and J. Won Choi, "3D dual-fusion: Dual-domain dual-query camera-LiDAR fusion for 3D object detection," 2022, arXiv:2211.13529.
[^10]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 9296–9306.
[^11]: H. Caesar et al., “NuScenes: A multimodal dataset for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11618–11628.
[^12]: Y. Liu et al., “UniSeg: A unified multi-modal LiDAR segmentation network and the OpenPCSeg codebase,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 21605–21616.
[^13]: L. Kong et al., “Rethinking range view representation for LiDAR segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 228–240.
[^14]: L. Kong et al., “Robo3D: Towards robust and reliable 3D perception against corruptions,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 19937–19949.
[^15]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, "(AF) $^{2}$-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 12542–12551.
[^16]: Y. Rao et al., “DenseCLIP: Language-guided dense prediction with context-aware prompting,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 18061–18070.
[^17]: C. Zhou, C. C. Loy, and B. Dai, “Extract free dense labels from clip,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2022, pp. 696–712.
[^18]: R. Zhang et al., “PointCLIP: Point cloud understanding by CLIP,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8542–8552.
[^19]: H Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 685–702.
[^20]: Y. Dongqiangzi et al., "LiDARMultiNet: Towards a unified multi-task network for LiDAR perception," in Proc. AAAI Conf. Artif. Intell., 2023, vol. 37, no. 3, pp. 1–10.
[^21]: S. Xie, J. Gu, D. Guo, C. R. Qi, L. Guibas, and O. Litany, “Point-Contrast: Unsupervised pre-training for 3D point cloud understanding,” in Proc. Eur. Conf. Comput. Vis., Glasgow, U.K. Cham, Switzerland: Springer, Aug. 2020, pp. 574–591.
[^22]: S. Huang, Y. Xie, S.-C. Zhu, and Y. Zhu, “Spatio-temporal self-supervised representation learning for 3D point clouds,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 6515–6525.
[^23]: R. Chen et al., “Zero-shot point cloud segmentation by transferring geometric primitives,” 2022, arXiv:2210.09923.
[^24]: A. Cheraghian, S. Rahman, T. F. Chowdhury, D. Campbell, and L. Petersson, “Zero-shot learning on 3D point cloud objects and beyond,” Int. J. Comput. Vis., vol. 130, no. 10, pp. 2364–2384, Oct. 2022.
[^25]: C. Sautier, G. Puy, S. Gidaris, A. Boulch, A. Bursuc, and R. Marlet, "Image-to-LiDAR self-supervised distillation for autonomous driving data," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 9881–9891.
[^26]: Y.-C. Liu et al., “Learning from 2D: Contrastive pixel-to-point knowledge transfer for 3D pretraining,” 2021, arXiv:2104.04687.
[^27]: J. Li, C. Wang, C. Wang, M. Zhao, and Z. Jiang, "RPV-CASNet: Range-point-voxel integration with channel self-attention network for LiDAR point cloud segmentation," Int. J. Speech Technol., vol. 54, nos. 17–18, pp. 7829–7848, Sep. 2024.
[^28]: M. Berman, A. R. Triki, and M. B. Blaschko, “The lovasz-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4413–4421.
[^29]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “Salsanext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Proc. 15th Int. Symp. Vis. Comput., San Diego, CA, USA. Cham, Switzerland: Springer, Oct. 2020, pp. 207–222.
[^30]: X. Chen, S. Xie, and K. He, “An empirical study of training self-supervised vision transformers,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 9620–9629.
[^31]: L. Kong, J. Ren, L. Pan, and Z. Liu, "LaserMix for semi-supervised LiDAR semantic segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 21706–21716.
[^32]: A. Xiao, J. Huang, D. Guan, K. Cui, S. Lu, and L. Shao, "Polarmix: A general data augmentation technique for LiDAR point clouds," in Proc. Adv. Neural Inf. Process. Syst., vol. 35, 2022, pp. 11035–11048.
[^33]: J. Li, H. Dai, and Y. Ding, “Self-distillation for robust LiDAR semantic segmentation in autonomous driving,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2022, pp. 659–676.
[^34]: M. Ye, R. Wan, S. Xu, T. Cao, and Q. Chen, “Efficient point cloud segmentation with geometry-aware sparse networks,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2022, pp. 196–212.
[^35]: X. Lai et al., “Stratified transformer for 3D point cloud segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8490–8499.
[^36]: Y.-Q. Yang et al., “Swin3D: A pretrained transformer backbone for 3D indoor scene understanding,” 2023, arXiv:2304.06906.
## [^37]: X. Lai, Y. Chen, F. Lu, J. Liu, and J. Jia, “Spherical transformer for LiDAR-based 3D recognition,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 17545–17555
---
Chuanxu Wang received the Ph.D. degree from the Ocean University of China. He is currently a Professor and a Master's Tutor with the School of Qingdao University of Science and Technology, mainly engaged in research on computer vision and pattern recognition.
宋达于2023年从青岛科技大学信息科学与技术学院获得学士学位，目前在该校攻读硕士学位，其当前研究方向包括3D点云和计算机视觉。
Jiajiong Li received the bachelor's degree in computer science and technology from Shangqiu Institute of Technology in 2021. He is currently pursuing the master's degree with the School of Information Science and Technology, Qingdao University of Science and Technology. His research interests focus on the segmentation of outdoor LiDAR data.
陈鑫于2022年从中国湖南工商大学获得数据科学与大数据技术专业的工学学士学位。目前，他正在青岛科技大学计算机技术系攻读硕士学位。
王冰慧于2023年从青岛科技大学信息科学与技术学院获得学士学位，目前在该校攻读硕士学位，她的研究方向为计算机视觉。