# CSFNet：用于大规模点云语义分割的跨模态语义聚焦网络
杨洛 $^{ID}$、韩婷 $^{ID}$（IEEE学生会员）、刘宇军 $^{ID}$、苏金和 $^{ID}$、陈一平 $^{ID}$（IEEE高级会员）、李金元 $^{ID}$、吴云东、蔡国荣 $^{ID}$（IEEE高级会员）
摘要—大规模点云的语义分割是户外场景感知中不可或缺的一环，为场景重建、城市规划、自动驾驶等应用提供关键的3D语义信息。然而，随着距离传感器的距离增加，点云特征的判别能力会下降，导致现有方法在分割远距离物体时表现较差。为了克服这一挑战并提升几何特征相似的类别之间的区分度，我们提出了跨模态语义聚焦网络（CSFNet）。首先，我们设计了多尺度特征动态融合（MDF）模块，利用多尺度的图像特征，从而借助额外的图像颜色和纹理信息来丰富点云的特征表达。接着，为了更高效地提取远距离及不同类别物体的区分性特征，我们提出了语义聚焦模块（SFM），该模块采用多类别对比学习策略来增强特征的判别力。最后，我们引入跨模态知识蒸馏（KD）来提升模型对点云的理解能力。我们在SemanticKITTI和nuScenes数据集上进行的大量实验验证了该方法的有效性。值得注意的是，与现有方法相比，我们的方法在多种距离下多个类别的分割精度均更优。
关键词—对比学习、点云、语义聚焦、语义分割、城市场景。
## 一、引言
大规模点云的语义分割是车载和机载遥感数据处理中的关键任务 [^1]，旨在对3D空间中的每个点进行分类。
收稿日期：2024年4月23日；修订日期：2024年10月20日及2024年12月18日；录用日期：2025年1月23日。发表日期：2025年1月28日；当前版本发布日期：2025年2月27日。本研究部分得到了中国厦门市自然科学基金项目（编号350Z2Z02373036）的支持；部分得到了国家自然科学基金项目（编号42371457、42301468、42371343）的支持；部分得到了福建省自然科学基金重点项目（编号2022J02045）的支持；部分得到了福建省自然科学基金项目（编号2022J01337、2022J01819、2023J01801、2023J01799、2022J05157、2022J011394）的支持；部分得到了厦门市领军项目（编号350Z2Z0231038）的支持；部分得到了中国厦门市自然科学基金项目（编号350Z2Z02371019）的支持。（通讯作者：苏金和、蔡国荣。）
空间被划分为不同的语义类别。这一复杂过程对于准确感知物体和场景至关重要，在城市规划[^2]、场景重建[^3]以及自动驾驶[^4]等诸多应用中发挥着关键作用。由于激光雷达点云能够提供高精度的距离信息，且在各种环境条件下都具有较强的鲁棒性，因此已成为城市场景语义感知的重要数据来源[^5]、[^6]、[^7]。由此可见，开发用于高效处理激光雷达数据的语义分割算法，对于提升复杂城市场景的理解与自动化水平具有重要意义。然而，由于三维场景规模庞大且城市环境错综复杂，三维点云语义分割面临着两大主要挑战，这些挑战对算法的设计与性能产生了显著影响。
1) 难以区分相似类别：城市场景中包含大量几何特征相似的类别，它们之间的细微差异给语义分割算法带来了巨大挑战。虽然激光雷达数据能提供精确的几何信息，但缺乏颜色和纹理信息，使得区分这些相似类别的任务更加困难。如图1的第一行和第二行所示，SPVCNN[^8]常常因几何相似性而将人行道误分类为道路，或将公园误分类为人行道。
2) 远距离下特征区分度降低：受激光雷达传感器工作原理的限制，随着距离增加，点云密度会逐渐降低。因此，在较远范围内点云数据会变得稀疏，从而难以从这些稀疏点云中提取可靠的几何特征和基于强度的特征。在复杂的城市环境中，准确提取远处物体的特征对于精确分类至关重要。此外，远距离下特征区分度的降低也会阻碍算法清晰区分不同物体。如图1的第三行和第四行所示，由于远距离下人体及其他车辆类别的点云表示较为稀疏，SPVCNN会将其误分类。
近期关于大规模点云语义分割的研究将相关方法分为仅使用激光雷达的方法和多模态融合方法。仅使用激光雷达的方法包括基于点的、基于投影的或基于体素的策略。基于点的方法[^9]、[^10]、[^11]直接对原始点云进行处理，
---
Fig. 1. Illustration of semantic segmentation challenges in urban LiDAR point clouds. Red indicates incorrect predictions, while black represents correct predictions. (a) SPVCNN. (b) Ours. (c) Image.
虽然基于投影的方法[^12]、[^13]会将点云投影到二维平面上，先利用传统的分割网络处理后再重新投影结果；但基于体素的方法[^14]、[^15]、[^16]会将点云转换为结构化的体素网格，再应用稀疏卷积[^17]。尽管这些方法各有优势，但这类仅依赖激光雷达数据的方法往往存在数据不均匀和稀疏的问题，尤其在远距离区域更为明显，这会导致难以准确区分相似物体类别以及分割远处物体。为解决这些局限，跨模态融合方法[^18]、[^19]、[^20]、[^21]、[^22]、[^23]、[^24]、[^25]会将激光雷达数据与RGB图像相结合，融入颜色和纹理等视觉特征以增强特征表达和场景理解能力。虽然跨模态融合提升了整体分割性能，但由于激光雷达点的稀疏性以及几何上相似的类别难以区分，现有方法仍难以保持对远处物体的特征判别力。
此外，近年来对比学习在特征学习领域取得了快速发展。CLIP[^26]的巨大成功进一步证明，对比学习能够显著增强模型识别点云中细微几何细节的能力。然而，在点云语义分割领域，对比学习在区分属于不同语义类别的点云特征方面的潜力尚未得到充分探索。
受此启发，我们提出了跨模态语义聚焦网络（CSFNet）。具体而言，CSFNet集成了两个核心组件：多尺度特征动态融合（MDF）模块和语义聚焦模块（SFM）。MDF模块能将RGB图像的多尺度特征与点云特征动态融合，充分利用图像卷积层不同深度所蕴含的特性来提升模型的感知敏锐度。这种融合显著增强了点云特征的表征能力，使模型能够在复杂场景中捕捉更丰富的细节。SFM模块采用多类别对比学习策略，强调同一类别内特征的相似性以及不同类别间特征的差异性，从而提升模型的判别能力。这种针对性的对比学习方法大幅增强了点云特征的判别力，改善了不同距离和类别下的识别效果。此外，我们还将跨模态知识蒸馏（KD）技术引入CSFNet，利用融合模态所获得的知识来进一步提升模型对点云的理解能力。
在公开的SemanticKITTI [^27]和nuScenes数据集 [^28]上进行的评估表明，我们的方法相较于当前最先进（SOTA）的方法表现更优，其平均交并比（mIoU）分别达到了71.5%和80.8%。该方法在不同距离范围内均经过了验证，始终优于同类领先方法。值得注意的是，它有效解决了难以区分相似物体类别以及远距离下特征辨别能力减弱等问题，从而为城市遥感、地理信息系统（GIS）、自动驾驶等领域的应用提供了宝贵参考。重要的是，它不仅取得了SOTA级别的性能，而且与大多数现有方法相比，参数数量更少、推理时间更短。
我们的主要贡献总结如下。
1) 我们构建了MDF模块，用于动态融合点云特征与多尺度图像特征，从而提升模型对复杂精细场景的感知能力。
2) 我们提出了SFM模块，利用多类对比学习来强化同类别内的相似性以及不同类别间的差异性，进而增强点云特征的判别力。
3) 我们的方法在SemanticKITTI和nuScenes数据集上以更高的效率实现了SOTA级别的mIoU指标。此外，它在不同距离和类别上的表现也优于现有方法。
### II. 相关工作
### A. 仅基于激光雷达点云的方法
关于激光雷达点云的各种表示方法，目前主要分为三类仅基于激光雷达点云的方法。
基于点的方法直接在原始点云上进行特征表示学习。作为该领域的开创性工作，PointNet [^29]和PointNet++ [^30]采用多层感知机从单个点中提取逐点特征，并利用多尺度分组策略来识别点云中的局部结构模式。后续研究 [^31]、[^32]、[^33]、[^34]、[^35]引入了多种先进的采样技术、特征聚合过程和增强机制，旨在优化关键点的特征提取。PointTransformer [^9]专门为点云引入了自注意力层；在此基础上，Point Transformer v2进一步发展。
---
[^10]: enhances the model by incorporating grouped vector attention and a partition-based pooling mechanism, aimed at improving processing efficiency and model performance. Point Transformer v3 [^11] further optimizes the model's simplicity and computational efficiency by organizing unstructured, irregular point cloud data into structured sequences according to specific patterns, emphasizing improvements in the model's architecture and computational efficiency.
基于投影的方法，如RangeNet++ [^36]、SqueezeSeg [^37]、[^38]、[^39]和SalsaNext [^40]，利用透视或球面投影将三维点云数据转换为二维图像。随后采用传统的卷积神经网络处理这些距离图像，再将语义分割结果重新投影回原始的三维点云上。RangeVit [^13]将距离视图网格的分割问题转化为序列转换问题，借助视觉变换器的强大表征学习能力来处理距离图像，从而实现逐点的三维预测。
基于体素的方法能够有效地将不规则的点云划分为结构化的体素网格，利用稀疏卷积[^17]来提升网络效率。例如，SPVCNN[^8]提出了一种轻量级的3D模块——稀疏点体素卷积（SPVConv），该模块将标准稀疏卷积与高分辨率、基于点的分支相结合。同样，AF2-S3Net[^41]将连续的3D空间划分为规则的网格，利用注意力机制在具有不同核大小的分支间提取特征。相比之下，Cylinder3D[^14]创新地将传统的网格体素转换为圆柱形格式。此外，SDSeg3D[^15]通过利用多头注意力来建模并保留每个体素内点之间的局部关系，从而增强点云编码效果。OA-CNNS[^42]则提出了一种全自适应3D稀疏CNN，以提升传统稀疏CNN在3D语义分割任务中的性能。
尽管这些方法在提升点云语义分割的准确性和效率方面取得了显著成果，但挑战依然存在，尤其是在远距离下点云的分辨率和质量方面。随着与传感器距离的增加，点云的密度和清晰度会逐渐降低，进而导致提取的特征区分度下降。这种退化会影响算法精确辨别远处物体的能力，从而对远距离物体的分割能力造成限制。
### B. 跨模态融合方法
与激光雷达点云的非均匀性和稀疏性相比，图像是具备丰富颜色和纹理信息的二维高密度数据，在复杂场景分析方面具有激光雷达点云所不具备的优势。因此，近年来研究人员[^25]、[^43]、[^44]开始探索激光雷达点云与图像的融合，以提升点云语义分割的准确性和鲁棒性。PMF[^18]首先利用透视投影将激光雷达数据映射到相机坐标系，然后通过双流网络提取多模态特征，并通过多个基于残差的融合模块来融合这些多模态特征。2DPASS[^19]在训练过程中利用跨模态知识蒸馏来增强3D网络，既利用了图像中的纹理和颜色感知信息，又保留了原始的3D信息。与PMF和2DPASS分别提取模态特征的方式不同，MSeg3D[^20]同时优化模态内特征提取和模态间特征融合，以最大化异构模态之间的相关性与互补性。此外，通过对激光雷达点云和相机图像施加非对称变换，实现多模态数据增强，为模型训练引入多样化的增强变化。UniSeg[^21]引入了可学习的跨模态和跨视图关联模块，实现了点云与图像特征的各种表示形式的融合，并利用综合信息来增强感知鲁棒性。PIF-Net[^45]提出了一种分层融合模块，用于自适应地融合不同层次的多模态特征，以确保它们能够充分融合。视觉基础模型（VFMs）的最新进展为3D感知开辟了新途径。Liu等人[^46]通过蒸馏VFMs来对点云序列进行分割，为基于序列的分割提供了一种新方法。
总而言之，跨模态融合方法采用各种融合策略来整合图像信息，以弥补激光雷达点云固有的局限性。然而，这些方法在远距离场景中的扩展效率并不高。我们的方法侧重于同一类别之间的相似性以及不同类别之间的差异，利用多类别对比学习来有效提升点云特征的区分能力。
### C. 多模态三维表示中的对比学习
对比学习在场景理解中展现出了良好的性能。由于对比学习已广泛应用于图像分割领域，如今它也逐渐被应用到点云分割和多模态点云分割中。PointContrast [^47] 利用逐点对比学习来提取几何信息。CBL [^48] 通过在原始点云与子采样集之间进行对比学习，以提升边界分割效果。CrossNet [^49] 和 OpenScene [^50] 提出了联合学习机制，以强化跨模态对应关系，从而实现二维与三维表示的对齐。最近，CoIn [^51] 利用有限数量的特征实例构建了一个丰富的负样本空间，从而增强了特征的可区分性，能够更精准地识别点云中难以区分的细微特征。CLIP2Scene [^52] 设计了一种语义驱动的跨模态对比学习框架，通过语义与时空一致性正则化来训练三维网络。在PPT [^53] 和 M3Net [^54] 中，对比学习分别被应用于特征嵌入空间和推理结果空间，以实现多模态对齐。
尽管现有方法已取得诸多进展，但在充分利用语义特征空间进行点云分割方面仍有巨大潜力有待挖掘。为填补这一空白，我们提出了SFM，利用对比学习来
---
(a)
(b)
(c)
Fig. 2. Structure of the CSFNet. (a) Network architecture (Section III-A), the modules with darker backgrounds are used only during training. (b) Multiscale dynamic fusion (Section III-B), where “map” refers to the process of utilizing the mapping relationship between point clouds and images to find matching point–pixel pairs. (c) SFM (Section III-C), where $L_{n}$ represents the semantic features of the nth category from the LiDAR point cloud, and $F_{n}$ denotes the semantic features of the nth category after fusion.
进一步提升属于不同语义类别的特征之间的区分度。
### III. 所提出的方法
在本节中，我们将详细介绍所提出的方法。III-A节将概述我们的框架；III-B节介绍多尺度特征融合模块，阐述点云特征与多尺度图像特征的融合过程；III-C节探讨多类别对比学习在增强点云特征区分能力方面的应用；最后，我们将介绍用于网络训练的损失函数（III-D节）。
### A. 网络架构
CSFNet旨在处理来自激光雷达点云和RGB图像的输入数据，随后为每个点分配语义标签。具体而言，$P_{\text{in}} \in \mathbb{R}^{N_{\text{point}} \times 4}$ 表示由 $N_{\text{point}}$ 个点组成的激光雷达点云，每个点具有4维输入特征：三维坐标和反射率。$I_{\text{in}} \in \mathbb{R}^{N_{\text{cam}} \times H \times W \times 3}$ 指的是来自 $N_{\text{cam}}$ 个摄像头的RGB图像，其分辨率统一为高度H、宽度W，包含三维RGB颜色信息。我们提出的CSFNet的整体架构（见图2）包含四个关键组件：特征提取、多尺度动态融合、SFM和跨模态KD。这些组件协同工作，从而实现高效且有效的语义分割过程。下文将对每个组件进行详细阐述。
1) 特征提取：我们采用SPVConv作为三维编码器，用于从输入的点云数据中提取特征。SPVConv由SPVCNN [^8]提出，它利用多层感知机（MLP）直接从原始点云中提取每个点的特征。同时，原始点云会被体素化，随后通过稀疏卷积操作从这些体素化表示中提取体素特征。之后，对这些体素特征进行反体素化处理，再将其与每个点的特征融合，从而得到最终的综合点云特征 $F_{P}$，具体过程如下：
$$ F_P=\mathrm{MLP}(P_{\mathrm{in}})\oplus\psi(\mathrm{SpConv}(\varphi(P_{\mathrm{in}}))) $$
$\varphi$ 和 $\psi$ 分别表示体素化和反体素化操作。SpConv代表稀疏卷积，符号 $\oplus$ 用于表示逐元素相加。
在我们的方法中，我们采用ResNet [^55]框架作为二维编码器来提取多尺度图像特征 $F_i^s \in \mathbb{R}^{(H)/s \times (W)/(s) \times C_s}$。其中，$s = 2, 4, 8, 16$ 代表缩放因子，$C_s$ 代表对应尺度特征图中的通道数。随着图像分辨率的逐步降低，特征通道数也会相应增加。这种设计旨在生成细致且全面的特征表示。
---
这种特征表示能够在网络的不同层捕捉输入图像的细微特性。
2) 多尺度特征动态融合：点云数据中远距离物体的表示往往较为稀疏，这给从低密度点云中提取高质量特征带来了巨大挑战。此外，区分和分割具有相似三维结构的物体（如道路与人行道、汽车与其他车辆）也相当困难。通过整合多尺度的图像特征，可以补充点云中缺失的细节，为其增添宝贵的颜色和纹理信息。大尺度图像特征擅长捕捉物体的全局上下文和整体环境，而小尺度特征则侧重于局部细节和纹理。我们将点云特征与各尺度的图像特征分别融合，从而提升用于分割的特征丰富度和鲁棒性。融合方法的细节详见第III-B节。
3) 语义聚焦模块：对比学习是一种无监督学习的变体，其核心在于捕捉相似实例间的共性并区分不同实例间的差异。MoCo [^56]在二维图像领域取得了显著成果，它基于特征相似性运用对比学习方法，验证了对比学习增强特征判别能力的效果。受此启发，我们采用了一种多类别对比学习策略，该策略利用融合特征和点云特征的语义类别信息进行对比学习。这一策略强化了同一语义类别内的相似性以及不同语义类别间的差异性，进而提升了点云特征的判别能力，使模型更擅长识别远距离物体。我们将这一过程称为语义聚焦，其详细计算方法在第III-C节中阐述。
4) 跨模态知识蒸馏：当引入图像特征以增强点云表示的丰富性和鲁棒性时，模型复杂度和计算需求的增加会导致推理时间延长，这是一个重大挑战。为解决这一问题，我们采用了跨模态知识蒸馏技术。在训练过程中，教师网络会融合图像和点云特征，利用多尺度图像信息来提升点云特征的表示能力；而学生网络仅处理点云数据。通过知识蒸馏，教师网络将知识有效传递给学生网络，从而使学生网络在推理阶段仅利用点云数据即可完成语义分割任务。这一策略省去了推理时对图像特征的提取、对齐以及与点云的融合步骤，显著降低了计算开销。最终，该模型在保持高分割精度的同时大幅提升了推理速度，使其更高效地应用于复杂的现实场景。
### B. 多尺度特征动态融合
为了实现点云特征$F_{P}$与多尺度图像特征$F_{I}^{s}$的高效融合，我们采用透视投影来建立点云与图像像素之间的映射关系。具体而言，对于每一个点$p_{i} = (x_{i}, y_{i}, z_{i})$，都会将其投影到图像平面上，点与像素之间的映射关系可表示如下：
$$ \begin{aligned}\left[u_{i},v_{i},1\right]^{T}&=\frac{1}{Z_{i}}\cdot K\cdot T\cdot\left[x_{i},y_{i},z_{i},1\right]^{T}\\M^{p2i}&=\left(\left\lfloor v_{i}\right\rfloor,\left\lfloor u_{i}\right\rfloor\right)_{i=1}^{N_{m}}\end{aligned} $$
其中$(u_i, v_i)$表示$p_i$的投影点坐标，$u_i$和$v_i$的值会经过向下取整操作（$\lfloor \cdot \rfloor$）以确定对应的像素坐标。$N_m$代表点至像素的映射数量，$K \in \mathbb{R}^{3 \times 4}$和$T \in \mathbb{R}^{4 \times 4}$分别对应相机的内参矩阵和外参矩阵。这一过程对应图2(b)中的“映射”环节。
基于点至像素的映射关系，传统方法通常将单尺度图像特征与对应点逐一拼接。但这种方式往往会导致系统的空间感知能力不足。浅层特征和深层特征分别捕捉图像的不同方面：浅层特征侧重于基本的局部细节，而深层特征则包含更多的全局语义信息。因此，如图2(b)所示，我们首先对图像分支得到的多尺度特征进行上采样，使其分辨率与原始图像块一致，同时确保特征通道数与点云特征相匹配。接着，利用点至像素的映射关系，沿特征维度拼接点-像素对的特征。之后，我们采用简单却有效的通道注意力模块来动态筛选相关的融合特征。最后，通过残差连接将融合特征加到原始点云特征上，以丰富最终融合特征的表达能力。具体计算过程如下：
$$ \begin{aligned}\widehat{F}_{\mathrm{fuse}}^{s}&=\operatorname{conv}\left(\operatorname{concat}\left(M^{p2i}(F_{P}),U_{p}\left(F_{I}^{s}\right)\right)\right)\\F_{\mathrm{fuse}}^{s}&=\left(\sigma\left(\operatorname{conv}\left(f_{\mathrm{pool}}\left(\widehat{F}_{\mathrm{fuse}}^{s}\right)\right)\right)\cdot\widehat{F}_{\mathrm{fuse}}^{s}\right)\oplus M^{p2i}(F_{P})\end{aligned} $$
其中$\sigma$表示Sigmoid函数，$U_{p}$表示上采样操作，$\oplus$代表矩阵内的逐元素相加运算，conv指卷积操作，$f_{pool}$则表示平均池化。
通过融合多尺度图像特征，点云不仅能获取来自图像的浅层特征，如物体颜色、纹理和局部形状，还能获得物体类别以及物体间关系等高级语义特征。这种融合使模型能够同时利用视觉与几何信息，从而构建出更为全面且丰富的特征表示。最终，模型能够更深入地理解整个场景，提升对远距离物体以及具有相似三维特征的物体的识别精度。
---
```pseudo
// Algorithm 1: Semantic Focus Module
Input: Point cloud features $\mathbf{F}_P \in \mathbb{R}^{N_{point} \times C}$ Multiscale
```
融合特征 $\{\mathbf{F}_{fuse}^{s} \in \mathbb{R}^{N_m \times C}\}_{s \in \{2,4,6,8\}}$
输出：语义聚焦损失 $\mathcal{L}_{sf}$
1 $\mathbf{D}_{lidar} = softmax(H_{point}(F_P))$;
2 $\mathbf{D}_{fuse}^{s} = softmax(H_{fuse}(F_{fuse}^{s}))$；// 生成类别置信度分数
3 $S_{lidar} = Transpose(D_{lidar}) \cdot F_P$;
4 $S_{fuse}^{s} = Transpose(D_{fuse}^{s}) \cdot F_{fuse}$；// 计算语义特征
5 $S_{lidar} = \frac{S_{lidar}}{\|S_{lidar}\|_2}$;
6 $S_{fuse}^{s} = \frac{S_{fuse}}{\|S_{fuse}\|_2}$；// L2归一化
7 初始化 $\mathcal{L}_{sf} = 0$；
8 对于 $s \in \{2, 4, 6, 8\}$ 执行以下操作：
9 $\left|\begin{array}{l} V_{cs}^{s} = S_{lidar} \cdot Transpose(S_{fuse}^{s}); \\ \text{similarity} \\ \text{labels} = [0, 1, \ldots, N_{class} - 1]; \\ \mathcal{L}_1 = \text{CrossEntropy}(V_{cs}^{s}, \text{labels}); \quad // \text{Align fused features to point cloud features} \\ \mathcal{L}_2 = \text{CrossEntropy}(\text{Transpose}(V_{cs}^{s}), \text{labels}); \\ // \text{Align point cloud features to fused features} \\ \mathcal{L}_{sf} + = \frac{\mathcal{L}_1 + \mathcal{L}_2}{2}; \end{array}\right.$
10
11
12
13
14
15 返回语义聚焦损失 $\mathcal{L}_{sf}$
### C. 语义聚焦模块
遵循MSeg3D提出的语义特征聚合方法 [^20]，我们将点云特征以及融合了不同尺度图像特征的融合特征转化为语义特征。
$$ D_{lidar}=softmax\left(H_{point}(F_{P})\right) $$
$$ S_{\mathrm{l i d a r}}=\mathrm{T r a n s p o s e}(D_{\mathrm{l i d a r}})\cdot F_{P} $$
$$ D_{\mathrm{fuse}}^{s}=\mathrm{softmax}\left(H_{\mathrm{fuse}}\left(F_{\mathrm{fuse}}^{s}\right)\right) $$
$$ S_{0^{s}}=\mathrm{T r a n s p o s e}\big(D_{\mathrm{f u s e}}^{s}\big)\cdot F_{\mathrm{f u s e}}^{s}. $$
$H_{\text{point}}$和$H_{\text{fuse}}$是基于MLP的辅助分割头，用于获取初步分割结果，详见图2(c)。$D_{\text{lidar}} \in \mathbb{R}^{N_{\text{point}} \times N_{\text{class}}}$和$D_{\text{fuse}}^{s} \in \mathbb{R}^{N_m \times N_{\text{class}}}$是表示类别置信度分数的分布矩阵，$D[i, j]$越接近1，说明第i个点属于第j类的概率比其他类别更高。随后，通过对分布矩阵$D_{\text{lidar}}$进行转置，并与点云特征$F_P$做矩阵乘法运算，$D_{\text{fuse}}^{s}$和$F_{\text{fuse}}^{s}$也执行相同操作，我们便得到了潜语义空间中的语义特征$S_{\text{lidar}}$和$S_{\text{fuse}}^{s}$。$S_{\text{lidar}}$和$S_{\text{fuse}}^{s}$的维度均为$\mathbb{R}^{N_{\text{class}} \times C}$。
随后，我们利用多类别对比学习，分别计算当s取2、4、8、16时$S_{lidar}$与$S_{fuse}^{s}$之间的对比损失，我们将其称为语义聚焦损失$\mathcal{L}_{sf}$。具体而言，我们以余弦相似度作为衡量向量相似程度的指标，通过计算向量夹角的余弦值来实现：
$$ V_{\mathrm{cs}}^{s}[i,j]=\frac{S_{\mathrm{lidar}}^{i}}{\left\|S_{\mathrm{lidar}}^{i}\right\|_{2}}\cdot\mathrm{Transpose}\left(\frac{S_{\mathrm{fuse}}^{s,j}}{\left\|S_{\mathrm{fuse}}^{s,j}\right\|_{2}}\right) $$
向量的夹角余弦值如下式所示：
其中i和j均代表语义类别的索引，$\|\cdot\|_2$表示为$L2$归一化。$V_{cs}$的值越接近1，说明特征相似程度越高。训练策略旨在最大化$N_{class}$语义特征之间的相似度，同时最小化$N_{class}^2 - N_{class}$不同语义特征组合之间的相似度。$\mathcal{L}_{sf}$的计算方法如下：
$$ \begin{array}{r l r}&{}&{\mathcal{L}_{\mathrm{s f}}=\displaystyle\sum_{s\in2,4,8,16}\displaystyle\sum_{i=1}^{N_{\mathrm{c l a s s}}}\sum_{j=1}^{N_{\mathrm{c l a s s}}}\left[\delta_{i j}\left(1-V_{\mathrm{c s}}^{s}\left[i,j\right]\right)\right.}\\ &{}&{\left.+\left(1-\delta_{i j}\right)V_{\mathrm{c s}}^{s}\left[i,j\right]\right]}\end{array} $$
其中$\delta_{ij}$为克罗内克函数。对于$\delta_{ij}$，当i=j时其值为1，否则为0。SFM的伪代码见算法1。
通过对不同语义特征向量应用余弦相似度，我们能够有效地识别并量化特征之间的相似性与差异。SFM不仅能揭示数据中潜在的语义关联，还能增强特征的区分能力。这有助于通过更深入地理解不同类别特征间的复杂关系与差异，从而在语义分割中实现更精准、可靠的决策过程。大量实验证实了SFM在提升远距离且相似物体的分割效果方面的有效性。
### D. 损失函数
损失函数用于评估预测视差值与真实视差值之间的差异。为了共同优化所提出的分割模型中的所有模块，总体损失函数由四部分组成：交叉熵损失 $\mathcal{L}_{\mathrm{ce}}$、Lovasz-Softmax损失 $\mathcal{L}_{\mathrm{lovasz}}$、语义聚焦损失 $\mathcal{L}_{0}$ 以及KD损失 $\mathcal{L}_{\mathrm{kd}}$。这些损失被整合为总损失 $\mathcal{L}$，具体如以下公式所示：
$$ \mathcal{L}=\mathcal{L}_{\mathrm{c e}}+\mathcal{L}_{\mathrm{l o v a s z}}+\alpha\mathcal{L}_{\mathrm{s f}}+\beta\mathcal{L}_{\mathrm{k d}} $$
其中 $\alpha$ 和 $\beta$ 是损失权重参数。$\mathcal{L}_{ce}$ 与 $\mathcal{L}_{lovasz}$ 均用于评估点云的预测值与真实值之间、融合模态的预测值与真实值之间的差异。Lovasz-Softmax损失是针对语义分割领域中数据不平衡问题设计的损失函数。融合分支和点云分支的预测结果都会分别与真实值进行 $\mathcal{L}_{ce}$ 和 $\mathcal{L}_{lovasz}$ 计算，详见图2(a)。
我们采用KL散度来计算蒸馏损失，旨在使点云的预测结果与融合模态的预测结果保持一致。这种方法能够让模型仅以点云数据为输入，就能得到接近图像特征融合后推理阶段的预测结果。
---
此处用 $\hat{y}_{\text{point}}$ 表示点云的预测结果，用 $\hat{y}_{\text{fuse}}$ 表示融合模态的预测结果，计算 $\mathcal{L}_{\text{kd}}$ 的方法如下：
$$ \mathcal{L}_{\mathrm{k d}}=D_{\mathrm{K L}}\left(\hat{\mathbf{y}}_{\mathrm{p o i n t}}\|\hat{\mathbf{y}}_{\mathrm{f u s e}}\right). $$
### IV. 实验
本节首先介绍数据集并说明相应的评估指标，接着阐述网络实现的细节，最后通过定性和定量结果展示该方法的有效性及其优越性。
### A. 数据集与评估指标
1) SemanticKITTI数据集 [^27]：包含22个点云序列，其中序列0至10（不含序列8）被划分为训练集，序列8作为验证集。训练集包含19130帧点云，验证集包含4071帧，总点数超过40亿个。这些点云被标注为19个类别。
2) nuScenes数据集 [^28]：包含1000个驾驶场景，其中850个用于训练和验证，150个用于测试。在该数据集中，nuScenes-lidarseg为14亿个点标注了32种可能的语义标签。按照官方协议，$N_{class}$ 的值为17。每个样本包含32束点云以及由前、前左、前右、后、后左、后右六个摄像头拍摄的RGB图像。
3) 评估指标：我们采用mIoU来评估所提出方法的效果，即所有语义类别的IoU平均值。IoU指的是特定类别的预测值与真实值之间的交集与并集之比，用于反映预测结果与实际情况的一致性。IoU值越接近1，说明该方法对该类别的预测精度越高。此外，遵循这些数据集的官方评估协议——即在50米范围内评估整体准确率——我们也将评估范围限定在50米内，并将其作为比较的标准基准。
### B. 实现细节
在我们提出的CSFNet中，仅在训练阶段将图像与激光雷达点云一同输入网络，推理过程则仅处理点云数据。需要注意的是，KITTI数据集采用立体前置摄像头系统，由两台视野几乎重叠的彩色摄像头组成。参考先前针对SemanticKITTI数据集的研究[^19]、[^20]，我们在模型训练时仅使用左侧摄像头的图像。对于nuScenes数据集，六个不同视角的图像会同时输入网络。训练时，根据融合的不同尺度图像特征数量，将模型分为ours-small（四个尺度）和ours-large（六个尺度）两类。训练轮数设为120次，模型采用SGD优化器更新，动量参数为0.9，初始学习率为0.05，并采用余弦退火热重启的学习率调整策略。所有实验均在单张NVIDIA A100 GPU上完成。
### C. 对比研究
1) SemanticKITTI数据集上的定量结果：我们在表I中将自己的方法与SemanticKITTI上的SOTA方法进行了对比。其中，ours-large的mIoU得分显著更高，优于所有仅基于激光雷达及多模态融合的方法。我们的方法mIoU仅比采用多数据集联合训练的Point Transformer v3（PTv3 + PPT [^11]）低0.8%。与仅基于点云的方法（如SPVCNN [^8]和FA-ResNet [^58]）相比，ours-large的mIoU分别提升了9.2%和15.8%。这一显著的性能差异凸显了我们提出的融合策略在捕捉空间细节、提升分割效果方面的有效性。此外，与MSeg3D [^20]、2DPASS [^19]等领先的融合类方法相比，我们的方法mIoU分别提高了2.5%和1.4%。尤其在车辆、行人和自行车等关键类别上，我们的方法取得了更高的IoU得分。值得注意的是，在卡车类别中，我们的方法mIoU达到了惊人的96.5%，比此前最佳方法高出5.6%，比第二名高出10.2%，充分展现了其在大规模点云场景分割中的卓越性能。这些结果有力证明了我们所提出的多尺度特征融合策略及SFM的优越性。
2) 在nuScenes数据集上的定量结果：为了进一步验证我们方法的有效性，我们在nuScenes数据集上与SOTA方法进行了对比，如表II所示。结果表明，基于融合的方法通常优于仅使用LiDAR的方法。在所有基于融合的策略中，我们的small版本和large版本在各种类别上均表现出卓越的性能。值得注意的是，我们的large版本取得了80.8%的mIoU值，领先于其他所有基于融合的方法。此外，正如其在SemanticKITTI数据集上的表现一样，我们的large版本在汽车、行人和交通标志等关键类别上的分割精度，凸显了其应对复杂环境的能力。我们的方法在mIoU性能上超越了最新的PTv3 [^11]模型。值得注意的是，即便PTv3采用了多数据集联合训练，我们的方法在mIoU指标上仍仅落后0.4%。
3) 在汽车、行人和自行车上的性能：为了证明我们的方法在远距离物体分割方面的优越性，我们比较了不同距离下汽车、行人和自行车的分割精度。表III中的数据表明，我们提出的CSFNet在不同距离范围内均能达到较高的分割精度。值得注意的是，在40–50米范围内，我们的方法显著优于现有的主流算法。与SPVCNN [^8]相比，我们的方法在40–50米范围内对汽车、行人和自行车的分割精度分别提升了9.5%、13.2%和11.7%，这一结果在图3中也有直观体现。随着距离增加，LiDAR点云的密度逐渐降低，从而导致精度下降。
---
TABLE I
QUANTITATIVE RESULTS OF THE DIFFERENT METHODS ON THE VALIDATION SET OF SEMANTICKITTI. L INDICATES LIDAR-ONLY METHODS. LC INDICATES FUSION-BASED METHODS. THE BEST RESULT IS MARKED IN BOLD. EXPERIMENTAL DATA FOR MSEG3D [^20], UNISEG [^21], AND PTV3 [^11] WAS OBTAINED FROM THE CORRESPONDING PAPERS
| Method | Modality | car | bicycle | motocycle | truck | other vehicle | person | bicyclist | motocyclist | road | parking | sidewalk | other-ground | building | fence | vegetation | trunk | terrain | pole | traffic sign | mIoU(%) |
| RangeNet++ [^36] | L | 89.4 | 26.5 | 48.4 | 33.9 | 26.7 | 54.8 | 69.4 | 0.0 | 92.9 | 37.0 | 69.9 | 0.0 | 83.4 | 51.0 | 83.3 | 54.0 | 68.1 | 49.8 | 34.0 | 51.2 |
| SqueezeSegV2 [^38] | L | 82.7 | 15.1 | 22.7 | 25.6 | 26.9 | 22.9 | 44.5 | 0.0 | 92.7 | 39.7 | 70.7 | 0.1 | 71.6 | 37.0 | 74.6 | 35.8 | 68.1 | 21.8 | 22.2 | 40.8 |
| SqueezeSegV3 [^39] | L | 87.1 | 34.3 | 48.6 | 47.5 | 47.1 | 58.1 | 53.8 | 0.0 | 95.3 | 43.1 | 78.2 | 0.3 | 78.9 | 53.2 | 82.3 | 55.5 | 70.4 | 46.3 | 33.2 | 53.3 |
| RandLaNet [^32] | L | 92.0 | 8.0 | 12.8 | 74.8 | 46.7 | 52.3 | 46.0 | 0.0 | 93.4 | 32.7 | 73.4 | 0.1 | 84.0 | 43.5 | 83.7 | 57.3 | 73.1 | 48.0 | 27.3 | 50.0 |
| SalsaNext [^40] | L | 90.5 | 44.6 | 49.6 | 86.3 | 54.6 | 74.0 | 81.4 | 0.0 | 93.4 | 40.6 | 69.1 | 0.0 | 84.6 | 53.0 | 83.6 | 64.3 | 64.2 | 54.4 | 39.8 | 59.4 |
| MinkowskiNet [^57] | L | 95.0 | 23.9 | 50.4 | 55.3 | 45.9 | 65.6 | 82.2 | 0.0 | 94.3 | 43.7 | 76.4 | 0.0 | 87.9 | 57.6 | 87.4 | 67.7 | 71.5 | 63.5 | 43.6 | 58.5 |
| SPVCNN [^8] | L | 96.5 | 44.8 | 63.1 | 59.9 | 64.3 | 12.0 | 86.0 | 0.0 | 93.9 | 42.4 | 75.9 | 0.0 | 88.8 | 59.1 | 88.0 | 67.5 | 73.0 | 63.5 | 44.3 | 62.3 |
| Cylinder3D [^14] | L | 96.4 | 61.5 | 78.2 | 66.3 | 69.8 | 80.8 | 93.3 | 0.0 | 94.9 | 41.5 | 78.0 | 1.4 | 87.5 | 50.0 | 86.7 | 72.2 | 68.8 | 63.0 | 42.1 | 64.9 |
| FA-ResNet [^58] | L | 93.7 | 30.6 | 33.2 | 33.9 | 27.2 | 51.6 | 30.6 | 18.7 | 91.3 | 65.2 | 75.5 | 26.0 | 90.6 | 62.7 | 83.1 | 63.5 | 66.3 | 51.0 | 48.4 | 55.7 |
| PTv3 [^11] | L | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 70.8 |
| PTv3+PPT [^11] | L | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 72.3 |
| PMF [^18] | LC | 95.4 | 47.8 | 62.9 | 68.4 | 75.2 | 78.9 | 71.6 | 0.0 | 96.4 | 43.5 | 80.5 | 0.1 | 88.7 | 60.1 | 88.6 | 72.7 | 75.3 | 65.5 | 43.0 | 63.9 |
| 2DPASS [^19] | LC | 97.2 | 55.3 | 78.3 | 90.9 | 70.7 | 80.7 | 93.5 | 0.1 | 94.3 | 53.8 | 82.0 | 12.1 | 93.0 | 71.8 | 89.1 | 72.3 | 75.7 | 66.0 | 54.2 | 70.1 |
| MSeg3D [^20] | LC | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 69.0 |
| UniSeg [^21] | LC | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 71.3 |
| CSFNet (Ours-small) | LC | 97.0 | 62.5 | 86.3 | 92.6 | 75.4 | 83.2 | 92.9 | 1.6 | 94.5 | 49.7 | 82.7 | 6.0 | 92.4 | 69.4 | 90.0 | 71.8 | 78.6 | 66.7 | 54.1 | 70.9 |
| CSFNet (Ours-large) | LC | 97.6 | 61.5 | 88.5 | 96.5 | 82.8 | 82.4 | 93.6 | 2.2 | 94.8 | 52.1 | 83.0 | 0.0 | 93.4 | 73.7 | 89.1 | 72.8 | 75.6 | 66.3 | 52.3 | 71.5 |
TABLE II
QUANTITATIVE RESULTS OF THE DIFFERENT METHODS ON THE VALIDATION SET OF NUSCENES. L INDICATES LiDAR-ONLY METHODS. LC INDICATES FUSION-BASED METHODS. THE BEST RESULT IS MARKED IN BOLD. EXPERIMENTAL DATA FOR MEMORYSEG [^34] AND PTV3 [^11] WAS OBTAINED FROM THE CORRESPONDING PAPERS
| Method | Modality | barrier | bicycle | bus | car | construction | motorcycle | pedestrian | traffic cone | trailer | truck | driveable | other flat | sidewalk | terrain | manmade | vegetation | mIoU(%) |
| RangeNet++ [^36] | L | 66.0 | 21.3 | 77.2 | 80.9 | 30.2 | 66.8 | 69.6 | 52.1 | 54.2 | 72.3 | 94.1 | 66.6 | 63.5 | 70.1 | 83.1 | 79.8 | 65.5 |
| PolarNet [^59] | L | 74.7 | 28.2 | 85.3 | 90.9 | 35.1 | 77.5 | 71.3 | 58.8 | 57.4 | 76.1 | 96.5 | 71.1 | 74.7 | 74.0 | 87.3 | 85.7 | 71.0 |
| SalsaNext [^40] | L | 74.8 | 34.1 | 85.9 | 88.4 | 42.2 | 72.4 | 72.2 | 63.1 | 61.3 | 76.5 | 96.0 | 70.8 | 71.2 | 71.5 | 86.7 | 84.4 | 72.2 |
| Cylinder3D [^14] | L | 76.4 | 40.3 | 91.3 | 93.8 | 51.3 | 78.0 | 78.9 | 64.9 | 62.1 | 84.4 | 96.8 | 71.6 | 76.4 | 75.4 | 90.5 | 87.4 | 76.1 |
| SFCNet [^60] | L | 76.7 | 40.4 | 89.5 | 91.3 | 46.7 | 82.0 | 78.1 | 65.8 | 69.4 | 80.6 | 96.6 | 71.6 | 74.5 | 74.9 | 89.0 | 87.5 | 75.9 |
| RangeVit [^13] | L | 75.5 | 40.7 | 88.3 | 90.1 | 49.3 | 79.3 | 77.2 | 66.3 | 65.2 | 80.0 | 96.4 | 71.4 | 73.8 | 73.8 | 89.9 | 87.2 | 75.2 |
| MemorySeg [^34] | L | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 76.7 |
| PMF [^18] | LC | 74.1 | 46.6 | 89.8 | 92.1 | 57.0 | 77.7 | 80.9 | 70.9 | 64.6 | 82.9 | 95.5 | 73.3 | 73.6 | 74.8 | 89.4 | 87.7 | 76.9 |
| 2DPASS [^19] | LC | 78.4 | 52.5 | 95.4 | 93.4 | 62.5 | 88.9 | 83.1 | 68.1 | 75.6 | 89.1 | 96.9 | 75.5 | 76.3 | 75.7 | 89.1 | 86.9 | 80.5 |
| PTv3 [^11] | L | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 80.4 |
| PTv3+PPT [^11] | L | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 81.2 |
| CSFNet (Ours-small) | LC | 78.3 | 52.0 | 95.9 | 92.7 | 60.1 | 88.7 | 83.1 | 68.8 | 76.6 | 85.8 | 96.8 | 73.8 | 75.8 | 75.4 | 89.3 | 87.0 | 80.0 |
| CSFNet (Ours-large) | LC | 77.8 | 52.6 | 96.6 | 94.4 | 64.1 | 89.3 | 82.9 | 67.9 | 77.0 | 87.7 | 96.8 | 76.6 | 76.2 | 76.1 | 89.3 | 86.7 | 80.8 |
COMPARISON OF SEGMENTATION ACCURACY (MIoU, %) FOR CAR, PERSON, AND BICYCLIST ACROSS VARIOUS DISTANCE RANGES USING DIFFERENT METHODS. $\Delta_{40-50}$ INDICATES THE RELATIVE PERFORMANCE OF THESE METHODS COMPARED TO SPVCNN AT A DISTANCE OF 40-50 M
| Method | Car | Person | Bicyclist |
| 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta$40-50 | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta$40-50 | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta$40-50 | 0-10 | 10-20 |
| SPVCNN [^8] | 97.6 | 96.8 | 93.9 | 83.6 | 66.4 | +0.0 | 80.6 | 67.1 | 59.7 | 49.9 | 24.3 | +0.0 | 93.3 | 94.8 | 72.2 | 69.9 | 47.9 | +0.0 | 10-20 | 10-20 |
| MinkowskiNet [^57] | 97.7 | 96.3 | 93.9 | 83.4 | 65.8 | -0.6 | 81.1 | 65.9 | 58.4 | 41.7 | 12.4 | -11.9 | 91.7 | 93.8 | 72.5 | 67.0 | 53.9 | +6.0 | 10-20 | 10-20 |
| 2DPASS [^19] | 97.5 | 97.5 | 95.5 | 86.1 | 75.1 | +8.7 | 87.9 | 75.7 | 72.7 | 64.5 | 36.6 | +12.3 | 95.4 | 95.3 | 80.8 | 76.4 | 57.4 | +10.4 | 10-20 | 10-20 |
| CSFNet | 98.2 | 97.4 | 94.9 | 85.4 | 75.9 | +9.5 | 88.3 | 79.4 | 72.2 | 66.3 | 37.5 | +13.2 | 96.6 | 95.2 | 76.3 | 69.3 | 59.6 | +11.7 | 10-20 | 10-20 |
特征区分能力随之受到影响，进而会降低模型在较远距离处对物体进行准确分割的能力。
如图4所示，当前SOTA算法包括MinkowskiNet [^57]、SPVCNN [^8]以及2DPASS [^19]。
---
TABLE IV
COMPARISON OF SEGMENTATION ACCURACY (MIOU, %) FOR ROAD, PARK, AND SIDEWALK ACROSS VARIOUS DISTANCE RANGES USING DIFFERENT METHODS. $\Delta_{40-50}$ INDICATES THE RELATIVE PERFORMANCE OF THESE METHODS COMPARED TO SPVCNN AT A DISTANCE OF 40–50 M
| Method | Road | Park | Sidewalk |
| 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{{40-50}}$ | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{{40-50}}$ | 0-10 | 10-20 | 20-30 | 30-40 | 40-50 | $\Delta_{{40-50}}$ |
| SPVCNN [^8] | 94.0 | 93.0 | 87.3 | 79.0 | 66.9 | +0.0 | 48.1 | 54.6 | 41.1 | 25.3 | 14.2 | +0.0 | 83.4 | 75.5 | 62.0 | 47.6 | 34.0 | +0.0 |
| MinkowskiNet [^57] | 94.7 | 93.2 | 88.9 | 80.5 | 66.4 | -0.5 | 52.1 | 58.6 | 45.7 | 26.6 | 16.7 | +2.5 | 84.3 | 75.6 | 63.6 | 49.3 | 35.4 | +1.4 |
| 2DPASS [^19] | 94.9 | 94.7 | 89.7 | 83.5 | 74.7 | +7.8 | 53.1 | 61.3 | 49.2 | 29.6 | 19.6 | +5.4 | 84.5 | 78.3 | 66.2 | 54.2 | 40.5 | +6.5 |
| CSFNet | 95.6 | 94.8 | 91.0 | 86.8 | 79.3 | +12.4 | 49.8 | 61.1 | 56.2 | 38.4 | 21.8 | +7.6 | 85.3 | 78.7 | 70.3 | 60.8 | 48.7 | +14.7 |
Fig. 3. Visualizing the segmentation accuracy of our method and SPVCNN at different distances for different classes. The numbers on the columns indicate the performance improvement of our method over SPVCNN.
TABLE V
COMPARISONS BETWEEN EFFICIENCY (RUN-TIME) AND ACCURACY (MIOU) ON THE SEMANTICKITTI VALIDATION SET. THE RESULTS OF THE OTHER METHODS ARE FROM UNISEG [^21]
| Method | # Param(M) $\downarrow$ | Latency(ms) $\downarrow$ | mIoU(%) $\uparrow$ |
| MinkowskiNet [^57] | 21.7 | 48.4 | 61.1 |
| Cylinder3D [^14] | 56.3 | 75.1 | 65.9 |
| SPVCNN [^8] | 21.8 | 52.4 | 63.8 |
| UniSeg $0.2 \times$ [^21] | 28.8 | 84.6 | 67.0 |
| UniSeg $1.0 \times$ [^21] | 147.6 | 145.0 | 71.3 |
| CSFNet (Ours-small) | 7.6 | 58.9 | 70.9 |
| CSFNet (Ours-large) | 45.4 | 122.1 | 71.5 |
TABLE VI
ABLATION STUDY CONDUCTED ON THE SEMANTICKITTI VALIDATION SET, WITH THE BEST RESULT MARKED IN BOLD
| ID | Baseline | MDF | SFM | mIoU(%) |
| I | ✓ | | | 67.8 |
| II | ✓ | ✓ | | 70.8 |
| III | ✓ | ✓ | ✓ | 71.5 |
TABLE VII
VALIDATION OF OUR METHOD USING MINKOWSKINET ON SEMANTICKITTI VALIDATION SET: COMPARISON OF MIOU (%) ACROSS DIFFERENT DISTANCE RANGES, HIGHLIGHTING THE BEST RESULT IN BOLD
| Method | Distance Range (m) |
| 0-10 | 10-20 | 20-30 | 30-40 | 40-50 |
| MinkowskiNet [^57] | 66.0 | 63.3 | 59.9 | 48.9 | 37.0 |
| MinkowskiNet + ours | 69.2 | 66.2 | 64.0 | 52.7 | 41.5 |
会将属于“人”类别的点误分类为“植被”或“建筑”。此外，这些方法在远距离分割汽车和卡车时也会出现明显误差。相比之下，我们提出的方法能更准确地识别这些类别。如图4所示，我们方法的分割结果与真实标注高度吻合，充分体现了该方法在增强远距离点云特征区分能力方面的有效性。
4) 在道路、停车场和人行道上的性能：从表IV可以看出，CSFNet在所有距离范围内对道路和人行道的分割精度都最高。在40–50米范围内，道路的分割精度仍高达79.3%，这一数值比SPVCNN高出12.4%。虽然我们的方法在0–20米范围内对公园类别的分割精度略低于2DPASS，但随着距离增加，我们的方法的表现优于2DPASS，保持了更优的分割性能。图3中的柱状图清晰地展示了我们的方法在所有距离范围内区分结构相似物体的优越性。我们还通过可视化结果展现了CSFNet的强大能力。如图5所示，MinkowskiNet、SPVCNN和2DPASS会将植被误分类为围栏、人行道误分类为道路、公园误分类为人行道，还会将围栏误分类为建筑。相应的误差图清楚地表明，我们的方法优于现有方法。
5) 按距离范围划分的整体性能对比：我们在SemanticKITTI数据集上，比较了SPVCNN [^8]、MinkowskiNet [^57]、2DPASS [^19]以及我们的方法在五个不同距离范围内的整体性能。根据官方评估协议，这五个距离范围分别为0–10米、10–20米、20–30米、30–40米和40–50米。如图6所示，在所有指定的距离区间内，我们的方法始终优于其他三种方法。不出所料，随着距离增加性能会下降——这是所有方法都呈现出的共同趋势。不过在40–50米范围内，我们的方法达到了45.5%的mIoU值，而SPVCNN [^8]和MinkowskiNet [^57]的mIoU值分别为
---
(a)
(b)
(c)
(d)
Fig. 4. Visualization of long-distance object segmentation performance on the SemanticKITTI validation set. (a) MinkowskiNet. (b) SPVCNN. (c) 2DPASS. (d) Ours. (e) Ground Truth.
37.9%和37.0%，相比这两种方法分别提升了7.6%和8.5%。
### D. 效率与精度对比
表V报告了我们提出的方法与当前最先进基线方法在效率和精度方面的结果。Ours-small具有更快的推理速度，而Ours-large则更精确。与仅使用点云的方法（如MinkowskiNet [^57]、Cylinder3D [^14]和SPVCNN [^8]）相比，Ours-small不仅速度具有竞争力，其mIoU值还分别提升了9.8%、5.0%和7.1%。另一方面，UniSeg [^21]采用了点云与图像深度特征的融合策略，虽然能实现71.3%的mIoU值，但代价是参数数量增加且推理时间变长。我们的方法仅在训练阶段利用图像先验信息，从而实现跨模态的先验引导语义聚焦学习。因此，Ours-small在推理时的速度比UniSeg快2.4倍，且精度可与UniSeg相媲美。这种计算优势源于推理时仅将点云数据作为输入，无需额外的模态，从而减轻了计算负担。此外，我们的方法避免了推理过程中通常所需的耗时融合与对齐操作，既保证了高精度又实现了更快的处理速度。
---
人行道
围栏
建筑物
植被
正确分类
错误分类
(a)
(b)
(c)
(d)
(e)
Fig. 5. Visualization of object segmentation performance for similar geometric structures on the SemanticKITTI validation set. (a) MinkowskiNet. (b) SPVCNN. (c) 2DPASS. (d) Ours. (e) Ground Truth. For each of the three scenes, the first row presents segmentation results, and the second row displays the corresponding error maps. Correctly predicted points are shown in gray, while incorrectly predicted points are in red.
### E. 消融实验
我们在SemanticKITTI数据集上开展了大量的消融实验，以验证我们方法中各模块的有效性。我们建立了一个仅输入点云数据的基线模型，借助测试时增强（TTA）技术，其mIoU值达到了67.8%，具体细节见实验I（见表VI）。将实验II与实验I对比可知，引入我们提出的MDF后，mIoU值提升了3%。随后，在实验III中应用SFM后，模型的精度又额外提升了0.7%。
我们通过可视化对比来进一步展示这两个提出模块的有效性。如图7第一行所示（白色框内高亮部分），远距离区域的点云密度较低，而2DPASS采用的融合策略难以有效勾勒物体边界，导致置信度图中出现明显噪声。相比之下，我们的方法
---
Fig. 6. Overall performance comparison by distance range on SemanticKITTI dataset. The x-axis represents the range of distances, while the y-axis indicates the average mIoU scores within the corresponding distance ranges.
Fig. 7. Bird's eye view confidence maps comparing the fusion strategy of 2DPASS and our proposed MDF module on the SemanticKITTI dataset. Red indicates a segmentation confidence of 1, while blue represents 0. The color map is shown on the right. The horizontal and vertical axes represent spatial coordinates in meters. (a) Ground truth. (b) Ours. (c) 2DPASS.
在这些区域中，该方法能够实现更高的置信度并减少误分类现象。此外，在第二行（白色框内），我们的方法显著提升了具有相似三维特征的物体（如汽车和卡车）的识别精度，从而证明了MDF模块在区分几何结构相似的物体方面的有效性。为了进一步验证SFM的性能，我们展示了误差图，用以直观对比包含与不包含SFM的模型结果（见图8）。这些误差图清晰地显示出物体边界划分的改善以及分割错误的减少，尤其是在类别边界复杂的困难区域。
此外，我们评估了该方法与MinkowskiNet的结合效果，实验结果汇总于表VII中。通过训练时引入我们的模块，MinkowskiNet在40–50米距离范围内的分割精度提升了4.5%，且所有其他距离范围内的mIoU分数也均有所提高。[^57]
### V. 挑战与局限性
### A. 距离范围限制
远距离下激光雷达点云语义分割的性能会受到多种因素的影响。
Fig. 8. Error maps comparing segmentation results of models with and without the SFM. Correctly predicted points are shown in gray, while incorrectly predicted points are in red. These maps illustrate the SFM's impact on reducing errors, particularly at boundary regions. (a) Ground truth. (b) w/o SFM. (c) w/ SFM.
这些因素包括点云密度、噪声以及分割任务的复杂性。正如本文引言中所讨论的，由于点密度较低，激光雷达点云在较远距离处的特征区分能力会减弱，从而影响对远处物体的准确分类。这一挑战在复杂的城市环境中尤为突出，因为人行道与道路、不同类型车辆之间的细微差异对于精确的语义分割至关重要。为解决这一问题，我们的方法利用多尺度图像特征来增强区分能力，通过在语义特征空间中强化对不同语义类别的区分来提升语义分类效果。
不过在本研究中，我们将评估范围限定在50米以内，这主要是受所用数据集（如SemanticKITTI和nuScenes）及其预定义的评估协议所限。虽然这一限制为我们的分析提供了明确的框架，但我们认识到在未来工作中扩展距离范围的重要性。为此，我们计划纳入具有更远距离范围的其他数据集，并进一步优化算法，以处理在更远距离处更为稀疏且可靠性较低的点云数据。这样的扩展将提升我们方法在实际场景中的鲁棒性与适用性，例如大规模三维城市测绘和自动驾驶领域，这些场景中对远处物体的精确分割至关重要。通过扩展距离范围，我们旨在提高方法的泛化能力，同时保持在物体类型多样的城市环境中的高分割精度。
### B. 校准依赖性挑战
CSFNet的一个显著局限性在于其对图像与点云之间校准关系的依赖。由于我们主要针对SemanticKITTI和nuScenes等已提供此类校准的数据集进行分析，因此该方法在缺乏这种校准关系的其他多模态数据集上可能无法有效发挥作用。这种依赖性限制了……
---
我们的研究结果的普适性表明，有必要进一步探索如何使该框架适用于没有直接校准的数据集。未来的工作将致力于解决这一局限，研究无需精确校准即可有效融合点云与图像的替代技术。
### 六、结论
在本文中，我们提出了用于大规模点云语义分割的CSFNet。该网络在分割远距离物体以及几何特征相似的物体方面表现尤为出色。在两个公开可用的大规模城市激光雷达点云数据集上进行的大量实验表明，CSFNet取得了最先进的性能。通过有效应对远距离和数据稀疏带来的挑战，我们的方法在遥感任务中取得了重要进展，在地球观测及其他关键领域具有广阔的应用前景。此外，我们的方法利用了点云和图像中的互补信息，为大规模遥感应用中的多模态数据集成提供了全新的框架。
尽管远距离物体的分割精度有了显著提升，但当距离超过40米时，部分类别的分割精度仍低于50%。未来的工作将重点进一步探究距离对分割性能的影响，并克服点云分割精度固有的局限性，旨在推动遥感应用中智能点云处理技术的发展。
## 致谢
作者衷心感谢编辑和匿名审稿人提出的细致、严谨且宝贵的意见，这些意见帮助本文得到了进一步完善。
## 参考文献
[^1]: M. Dai et al., “Multiprototype relational network for few-shot ALS point cloud semantic segmentation by transferring knowledge from photogrammetric point clouds,” IEEE Trans. Geosci. Remote Sens., vol. 62, pp. 1–17, 2024.
[^2]: J. Shao, W. Yao, P. Wang, Z. He, and L. Luo, “Urban GeoBIM construction by integrating semantic LiDAR point clouds with as-designed BIM models,” IEEE Trans. Geosci. Remote Sens., vol. 62, pp. 1–12, 2024.
[^3]: Z. Wang et al., “Deep learning-based semantic segmentation and surface reconstruction for point clouds of offshore oil production equipment,” IEEE Trans. Geosci. Remote Sens., vol. 62, pp. 1–18, 2024.
[^4]: M. Jindal, A. Jha, and L. R. Cenkeramaddi, “Bollard segmentation and position estimation from LiDAR point cloud for autonomous mooring,” IEEE Trans. Geosci. Remote Sens., vol. 60, pp. 1–9, 2022.
[^5]: C. Liu et al., “Context-aware network for semantic segmentation toward large-scale point clouds in urban environments,” IEEE Trans. Geosci. Remote Sens., vol. 60, 2022, Art. no. 5703915.
[^6]: Y. Zang et al., "LCE-NET: Contour extraction for large-scale 3-D point clouds," IEEE Trans. Geosci. Remote Sens., vol. 61, pp. 1–13, 2023.
[^7]: Z. Luo, Z. Zeng, W. Tang, J. Wan, Z. Xie, and Y. Xu, “Dense dual-branch cross attention network for semantic segmentation of large-scale point clouds,” IEEE Trans. Geosci. Remote Sens., vol. 62, pp. 1–16, 2024.
[^8]: H. Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 685–702.
[^9]: H. Zhao, L. Jiang, J. Jia, P. Torr, and V. Koltun, “Point transformer,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 16259–16268.
[^10]: X. Wu, Y. Lao, L. Jiang, X. Liu, and H. Zhao, “Point transformer v2: Grouped vector attention and partition-based pooling,” in Proc. Adv. Neural Inf. Process. Syst. (NIPS), vol. 35, Jan. 2022, pp. 33330–33342.
[^11]: X. Wu et al., “Point transformer v3: Simpler, faster, stronger,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 4840–4851.
[^12]: L. Kong et al., “Rethinking range view representation for LiDAR segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 228–240.
[^13]: A. Ando, S. Gidaris, A. Bursuc, G. Puy, A. Boulch, and R. Marlet, "RangeViT: Towards vision transformers for 3D semantic segmentation in autonomous driving," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 5240–5250.
[^14]: X. Zhu et al., "Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 9939–9948.
[^15]: J. Li, H. Dai, and Y. Ding, “Self-distillation for robust LiDAR semantic segmentation in autonomous driving,” in Proc. Eur. Conf. Comp. Vis. (ECCV), Jan. 2022, pp. 659–676.
[^16]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation," in Proc. IEEE/CVF Int. Conf. Comput. Vis., Oct. 2021, pp. 16024–16033.
[^17]: B. Graham, M. Engelcke, and L. van der Maaten, “3D semantic segmentation with submanifold sparse convolutional networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 9224–9232.
[^18]: Z. Zhuang, R. Li, K. Jia, Q. Wang, Y. Li, and M. Tan, “Perception-aware multi-sensor fusion for 3D LiDAR semantic segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 16280–16290.
[^19]: X. Yan et al., “2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds,” in Proc. Eur. Conf. Comput. Vis., 2022, pp. 677–695.
[^20]: J. Li, H. Dai, H. Han, and Y. Ding, “MSeg3D: Multi-modal 3D semantic segmentation for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 21694–21704.
[^21]: Y. Liu et al., “UniSeg: A unified multi-modal LiDAR segmentation network and the OpenPCSeg codebase,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 21662–21673.
[^22]: Y. Li et al., “Deepfusion: LiDAR-camera deep fusion for multi-modal 3D object detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jul. 2022, pp. 17182–17191.
[^23]: Y. Jiao, Z. Jie, S. Chen, J. Chen, L. Ma, and Y.-G. Jiang, “MSMDFusion: Fusing LiDAR and camera at multiple scales with multi-depth seeds for 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 21643–21652.
[^24]: J. Yan et al., “Cross modal transformer: Towards fast and robust 3D object detection,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 18268–18278.
[^25]: X. Bai et al., “TransFusion: Robust LiDAR-camera fusion for 3D object detection with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 1090–1099.
[^26]: A. Radford et al., “Learning transferable visual models from natural language supervision,” in Proc. Int. Conf. Mach. Learn., vol. 139, 2021, pp. 8748–8763.
[^27]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 9297–9307.
[^28]: H. Caesar et al., “nuScenes: A multimodal dataset for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11621–11631.
[^29]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 652–660.
[^30]: C. R. Qi, Y. Li, H. Su, and L. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Adv. Neural Inf. Process. Syst. (NIPS), vol. 30, Jan. 2017.
## [^31]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas, "KPConv: Flexible and deformable convolution for point clouds," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 6411–6420
---
[^32]: Q. Hu et al., “RandLA-Net: Efficient semantic segmentation of large-scale point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11108–11117.
[^33]: Y. Xu et al., “NeiEA-NET: Semantic segmentation of large-scale point cloud scene via neighbor enhancement and aggregation,” Int. J. Appl. Earth Observ. Geoinf., vol. 119, May 2023, Art. no. 103285.
[^34]: E. Li, S. Casas, and R. Urtasun, “MemorySeg: Online LiDAR semantic segmentation with a latent memory,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 745–754.
[^35]: T. Han et al., “Point cloud semantic segmentation with adaptive spatial structure graph transformer,” Int. J. Appl. Earth Observ. Geoinf., vol. 133, Sep. 2024, Art. no. 104105.
[^36]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220.
[^37]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2018, pp. 1887–1893.
[^38]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud,” in Proc. Int. Conf. Robot. Autom. (ICRA), May 2019, pp. 4376–4382.
[^39]: C. Xu et al., “SqueezeSegv3: Spatially-adaptive convolution for efficient point-cloud segmentation,” in Proc. 16th Eur. Conf. Comput. Vis. (ECCV), Aug. 2020, pp. 1–19.
[^40]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Advances in Visual Computing, Jan. 2020, pp. 207–222.
[^41]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, "(AF) $^{2}$-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 12542–12551.
[^42]: B. Peng et al., “OA-CNNs: Omni-adaptive sparse CNNs for 3D semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 21305–21315.
[^43]: G. Krispel, M. Opitz, G. Waltner, H. Possegger, and H. Bischof, "FuseSeg: LiDAR point cloud segmentation fusing multi-modal data," in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Mar. 2020, pp. 1863–1872.
[^44]: D. Peng, Y. Lei, W. Li, P. Zhang, and Y. Guo, “Sparse-to-dense feature matching: Intra and inter domain cross-modal learning in domain adaptation for 3D semantic segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 7088–7097.
[^45]: Z. Guo, R. Xu, C.-C. Feng, and Z. Zeng, "PIF-Net: A deep point-image fusion network for multimodality semantic segmentation of very high-resolution imagery and aerial point cloud," IEEE Trans. Geosci. Remote Sens., vol. 62, pp. 11270–11282, 2024.
[^46]: Y. Liu et al., “Segment any point cloud sequences by distilling vision foundation models,” in Proc. Adv. Neural Inf. Process. Syst. (NIPS), vol. 36, Jan. 2023, pp. 37193–37229.
[^47]: S. Xie, J. Gu, D. Guo, C. R. Qi, L. Guibas, and O. Litany, “PointContrast: Unsupervised pre-training for 3D point cloud understanding,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 574–591.
[^48]: L. Tang, Y. Zhan, Z. Chen, B. Yu, and D. Tao, “Contrastive boundary learning for point cloud segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8479–8489.
[^49]: M. Afham, I. Dissanayake, D. Dissanayake, A. Dharmasiri, K. Thilakarathna, and R. Rodrigo, “CrossPoint: Self-supervised cross-modal contrastive learning for 3D point cloud understanding,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 9902–9912.
[^50]: S. Peng, K. Genova, C. Jiang, A. Tagliasacchi, M. Pollefeys, and T. Funkhouser, “OpenScene: 3D scene understanding with open vocabularies,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 815–824.
[^51]: Q. Xia et al., “CoIn: Contrastive instance feature mining for outdoor 3D object detection with very limited annotations,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 6231–6240.
[^52]: R. Chen et al., "CLIP2Scene: Towards label-efficient 3D scene understanding by CLIP," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 7020–7030.
[^53]: X. Wu et al., “Towards large-scale 3D representation learning with multi-dataset point prompt training,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 19551–19562.
[^54]: Y. Liu et al., “Multi-space alignments towards universal LiDAR segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 14648–14661.
[^55]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 770–778.
[^56]: K. He, H. Fan, Y. Wu, S. Xie, and R. Girshick, “Momentum contrast for unsupervised visual representation learning,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9729–9738.
[^57]: C. Choy, J. Gwak, and S. Savarese, "4D spatio-temporal ConvNets: Minkowski convolutional neural networks," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 3075–3084.
[^58]: L. Zhan, W. Li, and W. Min, "FA-ResNet: Feature affine residual network for large-scale point cloud segmentation," Int. J. Appl. Earth Observ. Geoinf., vol. 118, Apr. 2023, Art. no. 103259.
[^59]: Y. Zhang et al., “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9601–9610.
[^60]: Y. Zheng, G. Wang, J. Liu, M. Pollefeys, and H. Wang, “Spherical frustum sparse convolution network for LiDAR point cloud semantic segmentation,” in Proc. Adv. Neural Inf. Process. Syst. (NIPS), Jan. 2024, pp. 121827–121858.
罗阳于2022年在中国南京邮电大学电子与光学工程学院获得学士学位。他目前在中国厦门集美大学攻读计算机工程硕士学位。
他的研究方向包括语义分割、图像处理及其在遥感和自动驾驶中的应用。
韩婷（IEEE研究生会员）目前在中国广东珠海中山大学地理空间工程科学学院攻读博士学位。
他已在《IEEE地球科学与遥感汇刊》《IEEE智能交通系统汇刊》《国际摄影测量与遥感杂志》以及《国际应用地球观测与地球信息学杂志》等顶级期刊上发表多篇论文。他的研究方向包括图像与点云处理、语义分割、三维重建、三维视觉中的深度学习理论，及其在遥感和GeoAI中的应用。
刘宇军于2024年在中国厦门集美大学获得信息与通信工程硕士学位。他目前在中国深圳大学建筑与城市规划学院攻读博士学位。
他的研究方向包括图像与点云处理、建筑重建、立体匹配以及深度学习。
---
苏金河于2018年在中国北京中国科学院大学获得博士学位。
他目前担任中国福建厦门集美大学计算机工程学院的副教授。他的主要研究方向包括机器学习、计算机视觉、遥感数据处理、图像处理以及虚拟现实。
陈一平（IEEE高级会员）于2011年在中国长沙国防科技大学获得信息通信工程博士学位。
2007年至2011年间，她曾担任香港中文大学的助理研究员。她目前担任中国广东珠海中山大学地理空间工程与科学学院的副教授。她的主要研究方向包括图像处理、移动激光雷达数据分析以及GeoAI。
陈博士现任IEEE地球科学与遥感汇刊的副编辑，同时担任ISPRS WG I/4“激光雷达、激光测高与传感器集成”工作组联合主席（2022–2026年）。
吴云东于2000年在中国河南郑州中国人民解放军信息工程大学获得博士学位。
2004年至2008年，他曾任中国人民解放军信息工程大学遥感信息工程系教授。他目前担任中国福建厦门集美大学计算机工程学院的教授。他的主要研究方向为摄影测量与遥感，以及激光雷达数据分析与三维重建。
遥感以及激光雷达数据分析与三维重建。
李金元于2023年在中国厦门集美大学获得软件工程学士学位，目前他正在该校攻读软件工程硕士学位。
他的研究兴趣包括语义分割、图像处理及其在自动驾驶中的应用。
蔡国荣（IEEE高级会员）于2013年在中国福建厦门厦门大学获得博士学位。
他目前担任中国福建厦门集美大学计算机工程学院的教授。他的主要研究方向包括计算机视觉与点云处理，具体涉及三维重建、基于图像与点云的物体检测与识别、立体视觉、深度学习理论及其应用。