# 基于深度学习的3D语义分割：详细综述 Thodoris Betsas $^{1*}$, Andreas Georgopoulos $^{1}$, Anastasios Doulamis $^{1}$, Pierre Grussenmeyer $^{2}$ $^{1}$雅典国立技术大学（NTUA）农村测量与地理信息工程学院摄影测量实验室 $^{2}$斯特拉斯堡大学、斯特拉斯堡国立应用科学学院、法国国家科学研究中心、ICube实验室UMR 7357，摄影测量与地理信息小组，67000 , , , 关键词：3D语义分割、点云、深度学习、综述 ## 摘要 本文对近期及以往用于3D语义分割（3DSS）的深度学习方法进行了详尽的综述与全面分析。现有文献中用于分类3DSS深度学习方法的分类体系存在模糊之处。基于9篇已有综述论文的分类体系，本文提出了一种新的3DSS深度学习方法分类体系，旨在标准化该分类体系，提升相关研究之间的可比性与清晰度。此外，本文还提供了现有的室内外3DSS数据集的详尽概述及其链接。综述的核心部分详细介绍了近期及以往的3DSS深度学习方法，并运用所提出的分类体系对其进行分类，同时附上这些方法的GitHub代码库链接。文中还简要但全面地分析了3DSS领域常用的评估指标与损失函数。最后，本文对所研究的3DSS方法和数据集进行了富有启发性的讨论，以推动3DSS领域的新研究方向与应用。作为本综述的补充，我们提供了一个GitHub代码库()，其中运用所提出的分类体系对超过400种3DSS方法进行了快速分类。 ### 1. 引言 得益于ALS、TLS、激光雷达、雷达、DLSR和声呐等各类传感器的广泛应用，从世界各地的不同环境中获取3D信息正变得越来越容易。大多数此类传感器生成的都是3D点云，在滤波等后处理步骤之前，它们构成了原始的3D信息。总体而言，深度学习（DL）算法在分类、物体检测、语义/实例/全景分割等诸多2D任务中占据主导地位。与此同时，与2D图像相比，3D点云具有独特优势：它们能够捕捉物体的精细几何特征[^1]、[^2]，且本质上与3D世界更为契合。不过，由于3D点云的特性，直接将2D深度学习方法应用于3D空间并非易事。 具体来说，三维点云通常具有无序、无结构和不规则的特点。更确切地说，“无序”意味着三维点并不位于规则网格上（如图像的像素那样）；“无结构”意味着三维点不携带邻近点的信息；而“不规则”则指某些三维点云中存在点密度不同的区域，也就是说，三维点在场景的不同区域内并非均匀采样。此外，每个点的邻域能反映其所处区域的特征信息，即这些三维点并非孤立存在。同时，三维点云在变换下具有不变性，也就是说，将三维点整体旋转或平移并不会改变所采集场景的特征。最后需要指出的是，关于三维语义分割中三维点云属性的含义，目前存在术语上的混淆。 --- 分割（3DSS）论文中对无序、不规则和无结构属性的定义如此，不过这些属性的实际内涵并无差别。 一般来说，语义分割（SS）是指将待处理数据中的每个元素与一个有意义的标签相关联。就此而言，基于图像的二维语义分割旨在为图像的每个像素赋予有意义的标签，而基于点云的三维语义分割则为点云中的每个三维点赋予有意义的标签。实际上，关于三维语义分割的术语存在混淆现象。更具体地说，三维语义分割常被称作三维点云分类、三维点云逐点分类或三维标注。不过在本研究中，我们优先采用“三维语义分割”这一术语。 总而言之，本研究的贡献是多方面的。首先，第2节详细阐述并对比了以往三维语义分割综述论文中提出的三维语义分割深度学习方法的分类体系，最终形成了统一的分类体系。此外，还深入说明了基于所研究的三维语义分割方法来确定这些类别的总体思路。除了三维语义分割深度学习方法的一般类别外，针对其子类别也开展了同样的分析。另外，第3节介绍了超过40个室内和室外三维语义分割数据集，并附上了相关链接。除现有数据集外，第4节还介绍了三维语义分割算法常用的评估指标。随后，第5节对第2节中定义的各个类别和子类别下的已收集三维语义分割算法进行了详细分析。值得注意的是，除了主要类别外，针对基于混合的方法也设置了相应的子类别，包括基于点的方法、降维方法、离散化方法和基于图的方法。接着，第6节对三维语义分割的损失函数进行了简要但富有洞见的分析。最后，第7节对所研究的三维语义分割算法和数据集进行了深入剖析，以推动该领域的新研究方向和应用。据我们所知，本研究是首篇包含分类体系章节（即第2节）的三维语义分割综述论文。最后，本研究还提供了一个GitHub仓库（），其中包含了对超过400种三维语义分割算法的快速分类。除本研究内容外，该GitHub仓库也为研究传统的[^3]、[^4]、[^5]、[^6]以及深度学习三维语义分割算法提供了宝贵的资源。 ### 2. 深度学习三维语义分割方法的分类体系 过去十年间，许多研究人员发表了关于3D语义分割（3DSS）的综述和基准测试论文[^7]、[^8]、[^9]、[^10]、[^11]、[^12]、[^13]、[^14]、[^15]、[^16]、[^17]、[^18]、[^19]、[^20]、[^21]、[^22]，这些论文介绍了3D语义分割领域的研究进展，包括当前面临的挑战与问题、实际应用中遇到的困难、未来研究方向以及各类3D语义分割算法。在本节中，我们将对现有的3D语义分割综述论文进行文献梳理，旨在得出关于3D语义分割深度学习方法分类体系的可靠结论。具体而言，每篇综述论文都提出了不同的现有3D语义分割算法分类方式，且各类别的名称也各不相同。但这些类别真的存在差异吗？ 以往的3D语义分割综述论文：首先，3D语义分割算法大致可分为两大类：传统监督式机器学习方法和深度学习方法[^18]、[^19]、[^22]。属于第一类的方法通常被称为传统方法，而第二类则属于深度学习方法。这两类方法的主要区别在于特征提取的方式：传统方法依赖人工设计的特征，而深度学习方法无需人工干预即可从数据中自动学习特征。传统方法被广泛应用于诸多领域，例如文化遗产领域[^11]；但本节我们重点关注用于3D语义分割的深度学习方法，因为我们的目标是确定其分类体系。 总体而言，基于点云的3D语义分割深度学习方法可分为四类[^8]、[^12]、[^13]、[^14]： 基于点的方法：这类方法直接将原始点云作为3D语义分割算法的输入。 - 基于投影的方法：这类方法先将点云投影到二维网格上，再利用成熟的二维卷积技术进行二维语义分割，最后将分割标签重新投影到三维空间。 --- 基于离散化的方法：这类方法将点云转换为适合应用三维卷积运算的离散表示形式。 - 混合方法：这类方法结合了上述类别中的两种或多种技术。 为便于对比，我们将前述分类体系称为主要分类方案。接下来我们将说明每篇综述论文中所列的不同类别名称与主要分类方案之间的对应关系。 关于主要分类方案，(i) 多视角CNN与无序点云处理 [^10]、(ii) 基于多视角的 [^22]、(iii) 基于多视图的 [^18]、(iv) 多视角 [^7]、(v) 基于图像的 [^9]、(vi) 基于RGB-D图像的 [^23]、(vii) 降维处理 [^20] 以及 (viii) 多视图 [^21] 这些类别，均属于投影类方法的子类，或者包含一些投影类方法以及其他方法。此外，根据主要分类方案，(i) 体素化、无序点云处理及有序点云处理 [^10]、(ii) 体素化方法 [^22]、(iii) 基于体素的 [^9]、[^18]、[^21]、[^23]、(iv) 体素及更高维度网格 [^7] 以及 (v) 基于体素化的方法 [^20] 这些类别，均属于离散化类方法的子类，或者包含一些离散化类方法以及其他方法。再者，就主要分类方案而言，(i) 有序点云处理 [^10]、(ii) 直接处理 [^22]、(iii) 直接在点云数据上处理 [^18]、(iv) 直接在原始点云上应用深度学习 [^7]、(v) 基于点的方法 [^9]、[^23]、(vi) 基本点 [^20] 以及 (vii) 基于点云的 [^21] 这些类别，与基于点的方法属于同一类，或者包含一些基于点的方法以及其他方法。 Bello等人（2020年）、Zhang等人（2019年）以及R. Zhang等人（2023年）提出了一种更通用的3D语义分割深度学习方法分类方案，仅分为两大类，即： - 间接处理 [^22]、基于结构化网格的学习 [^7] 或基于规则的方法 [^23]，以及 - 直接处理 [^22]、直接在原始点云上应用深度学习 [^7] 或基于点的方法 [^23] 作者们用不同的名称来描述同一类方法。具体来说，第一类方法将给定的点云转换为规则网格表示，以便在其上应用卷积运算；而第二类方法则直接将点云作为深度学习算法的输入。因此，上述分类方案可视为主要分类方案的超集。此外，R. Zhang等人（2023年）在其分类方案中加入了基于RGB-D图像的方法。这一新类别是主要分类方案中投影类方法的核心子类。我们认为，“基于RGB-D图像的方法”这一名称容易与Griffiths和Boehm在2019年的综述论文中提到的RGB-D方法相混淆，后者指的是应用于RGB-D传感器采集的数据（例如室内环境中的数据）的方法。因此，“投影类方法”似乎是该类别更贴切的名称。最后，A. Zhang等人（2023年）将“多种数据格式”类别纳入其中，并将其细分为多表征方法和多模态方法。在主要分类方案中，多表征方法与混合方法属于同一类别，而用于3D语义分割的多模态方法可以按照与单模态3D语义分割方法相同的分类方案归类，即基于点的方法、离散化类方法等。更确切地说，多模态3D语义分割方法的分类方案与单模态3D语义分割方法相同，也就是说，多模态方法并非被视作单模态3D语义分割方法的子类，而是作为独立的方法类别。 拟议的3DSS分类方案：在研究了前述的3DSS综述论文后我们发现，主分类方案中的基于点的方法通常被归入诸如直接方法、直接处理点云数据、直接在原始点云上应用深度学习、基于基本点的方法等类别，但这些类别所包含的方法并无明显区别；也就是说，尽管类别名称不同，它们涵盖的方法却几乎一致。我们选用“基于点的方法”这一术语来对我们的分类方案中的这些方法进行分类，因为我们认为该术语能更简洁明了地描述这类方法的核心思想——即以原始点云为输入，提取对3DSS有意义的特征。此外，文献中通常将基于图的方法归入基于点的方法之中。在我们的分类方案中，基于图的方法被单独列为一类，因为其特征提取过程是基于图的节点和边，而不像基于点的方法那样仅依赖于三维点。 --- 此外，我们认为A. Zhang等人于2023年提出的“基于降维的方法”这一术语，能更好地描述主分类方案中投影类方法所包含的方法，因为投影方法也可用于描述采用不同投影方式（如鸟瞰图、圆柱形、极坐标等）来执行3DSS的方法子类。因此，我们在分类方案中采用了“基于降维的方法”这一术语。另外，“基于离散化的方法”这一术语能更准确地描述那些通常被称为体素、体素化方法，以及被称为置换格子或格子等方法，因为这些方法的核心思想是先基于三维点云创建新的离散表示，再利用三维卷积提取对3DSS有意义的特征。最后，混合方法类包括那些结合了前述各类技术的方法。 综上所述，我们使用以下分类方案来对3DSS深度学习方法进行分类（见图1）： 基于点的方法（第5.1节 基于点的方法）： 基于点的方法利用原始三维点来提取对3DSS有意义的特征。 – 基于降维的方法（第5.2节 基于降维的方法）： 将三维点云转换为低维空间（如图像），在该空间中进行语义分割，最后再将标签投影回三维空间。 基于离散化的方法（第5.3节 基于离散化的方法）： 将点云转换为无降维处理的离散表示，随后应用卷积运算来进行3DSS。 – 基于图的方法（第5.4节 基于图的方法）： 将点云转换为图，利用图的节点和边来提取对3DSS有意义的特征。 – 混合方法（混合方法章节）： - 结合前述两类或更多类的方法。 基于点的方法分类方案：基于点的方法直接利用原始三维点来提取用于三维语义分割的有意义特征。在本小节中，定义了基于点的方法的分类方案。首先，“逐点多层感知机”类别包含那些采用逐点处理方式、利用多个共享的多层感知机来提取局部特征，再通过对称聚合函数提取全局信息的方法 [^7], [^8], [^9], [^12], [^14], [^23]。一般来说，卷积是各类二维深度学习网络（如CNN）的基本操作，能取得显著效果。然而，由于三维点云的特性，在其上实现卷积操作并非易事。那些研究如何将卷积操作直接应用于三维点云的方法被归入“点卷积”类别。Guo等人（2021年）；Camuffo、Mari和Milani（2022年）根据应用空间的不同，将直接用于三维点云的基于卷积的方法划分为连续型和离散型。Gao等人（2022年）；Zhang等人（2023年）；Zhang等人（2023年）；Jhaldiyal和Chaudhary（2023年）；Rauch和Braml（2023年）将基于三维卷积的方法作为基于点的方法的一个子类别，但未进一步细分。第三，循环神经网络将输入数据（如图像、三维点云等）视为特征序列。此外，基于RNN的方法旨在通过对序列中先前收集的特征进行回忆或遗忘部分特征，来提取数据元素（如像素、三维点等）之间的上下文信息 [^8], [^9], [^12], [^14], [^21], [^23]。使用RNN的三维语义分割方法被归入“循环神经网络”类别。最后，采用Transformer架构和注意力机制的三维语义分割方法被归入“注意力机制与Transformer”类别 [^8], [^14], [^20], [^21], [^23]。 基于降维的方法分类方案：降维方法将三维点云转换为低维空间数据（如图像），进而应用语义分割技术…… --- 这些数据最终会被投影并融合，再将标签重新映射回三维空间。在本小节中，根据用于三维点云降维的投影方式，对降维方法进行了分类。具体而言，降维方法可进一步划分为多视角、球面视图和鸟瞰图（BEV）以及多投影类别。多视角方法模拟对物体、场景等的拍摄过程：它们将三维数据视为场景，然后围绕该数据从预定义视点集出发人工生成多幅图像，最终将这些图像用于二维语义分割。此外，球面视图和鸟瞰图方法分别利用球面投影和鸟瞰图投影来生成图像，再将其输入二维语义分割流程 [^7], [^8], [^9], [^10], [^12], [^13], [^14], [^18], [^20], [^21], [^22]。另外，多投影类别包含那些结合不同投影方式来执行三维语义分割的方法。通常，若这些图像是利用激光雷达数据生成且未附加相机色彩信息，则被称为距离图像。最后，点云序列化方法常与离散化技术配合使用，它将给定的点云转换为低维度的规则结构，以便后续进行三维语义分割处理，因此也可被视为一种降维技术。 基于离散化的方法分类体系：这类方法先将三维点云转换为无降维处理的离散表示，再应用卷积运算来执行三维语义分割。其核心思想是通过将三维点云转化为适合在三维空间中执行卷积运算的表示形式，从而解决三维点云的无序性问题。本小节将对基于离散化的方法进行分类。大多数关于三维语义分割的综述论文 [^9], [^10], [^18], [^19], [^21], [^22] 都侧重于体素类方法。不过，其他综述论文会将基于离散化的方法划分为密集型和稀疏型两类；有些论文还会专门设立一类，用于描述那些将三维点云转换为更高维度网格后再执行三维语义分割的方法 [^7], [^8], [^12], [^14], [^20]。然而，本文提出的分类体系将那些在三维语义分割前把三维点云转换为更高维度网格的方法归入稀疏型类别。密集型离散化方法不考虑点的分布情况，而是使用特定尺寸的三维网格对整个三维点云空间进行离散化处理。稀疏型离散化方法则会考虑三维点的分布特征，仅对已被占据的空间进行离散化，因此在执行效率上更为出色。鉴于此类方法在当今占据主导地位，本文仅介绍稀疏型方法。 基于图的方法分类方案：基于图的方法将点云转换为图结构，利用图中的节点和边来提取用于3D语义分割的有意义特征。在这一类别中，所提出的方法并未进一步细分。基于图的方法通常被归类为基于点的方法的一个子类。然而，本分类方案将其定义为独立的一类，因为它们将点云转换为新的表示形式——即图，而非直接应用于初始的3D点云。 混合方法分类方案：当某一算法采用了前述类别中的两种或更多技术时，便被归入混合方法类别。在本小节中，我们对混合方法进行了进一步分类。实际上，针对混合方法的分类方案考虑了构成该算法的各种技术的组合情况，最终划分为八个子类别，涵盖所有相关方法：离散化-点简化、图-离散化、图-简化、点-离散化、点-图、简化-离散化、简化-点。虽然可能的类别不止八个，但我们根据所研究的论文确定了这八个类别。 --- ![Image](images/d62c90b829515b9465480d47c3e734687d1fb6adfdfd1c3b1053b3b578b5befe.jpg)
Figure 1: The proposed taxonomy scheme of the deep learning 3D Semantic Segmentation methods. Abbreviations: Attention Mechanism and Transformers (Attention M. & Transformers), Discretization Based Methods (D), Dimensionality Reduction Based Methods (DR), Graph Based Methods (G), Point Based Methods (P)
### 3. 3D语义分割数据集 总体而言，基准数据集对于深度学习算法的深入研究具有重要作用。本节旨在提供关于现有3D语义分割数据集的有用指南，包括它们的特点及链接。在3D语义分割领域，现有数据集可分为室内数据集和室外数据集。因此，我们在表1中总结了现有的室内数据集，而在表2中则介绍了用于3D语义分割的室外数据集。
Table 1: The indoor 3D Semantic Segmentation Datasets
Freiburg Campus [^26]2D-3D-S S3DIS [^24], [^25]Dataset Name
SICK LIMSMatterport CameraSensors
Laser Range ScannerRGB-DSensor Type
NONOSynthetic
---13#Classes
13.090.000695.878.620#Points
775#Scans
---�Features & Notes
---70.000#Images
---YesMesh
http://ais.informatik.uni-freiburg.de/projects/datasets/fr360/http://buildingparser.stanford.edu/dataset.htmlLink
---
VIDRILO[^35]The Replica Dataset[^34]SUN3D[^33]SUN RGB-D[^32]SceneNN[^31]SceneNet[^30]RGB-D Scenes Dataset v2[^29]ScanNet[^28]Matterport3D[^27]
Microsoft KinectCustom System.1 RGB, 1 IR, IMU, IR Pattern Projector, 2 Grayscale,ASUS Xtion PRO LIVE sensorIntel RealSense, Asus Xtion and KinectAsus Xtion PRO - Microsoft Kinect------Structured Sensor on iPad Air 2Matterport Camera
RGB-DRGB-DRGB-DRGB-DRGB-DRGB-DRGB-DRGB-DRGB-D
NONONONONOYESNONONO
---88---800--->250--->5040
---------------------------
5---------------141513---
images, 3D point cloud, semantic category, presence/absence of a list of 15 predefined objectsimages, 3D point cloud, semantic category, presence/absence of a list of 15 predefined objectsgeometry, normals, semantic and instance segmentation labels2D semantic labels, camera poses, 2D to 3DTransfer annotations from 2D to 3DTransfer annotations from 2D to 3D3D scene labelling using voxels------
22.454------10.335------------194.400
---YESNONOYESYES------YES
https://www.rovit.ua.es/dataset/vidrilo/index.htmlhttps://github.com/facebookresearch/Replica-Datasethttps://sun3d.cs.princeton.edu/https://rgbd.cs.princeton.edu/https://hkust-vgd.github.io/scenenn/https://robotvault.bitbucket.io/scenenet-rgbd.htmlhttps://rgbd-dataset.cs.washington.edu/dataset/rgbd-scenes-v2/http://www.scan-net.org/https://niessner.github.io/Matterport/#/paper
表2：室外3D语义分割数据集。缩写说明：移动激光雷达（MLRF）、激光扫描仪（LS）、激光雷达（L）、摄影测量（P）、移动激光雷达（ML）、立体摄影测量（SP）、机载激光雷达（AL）、相机（C）、机载激光扫描仪（ALS）、移动激光扫描仪（MLS）、深度相机（DC）、机载激光雷达（ALR）、多光谱激光雷达（ML）。 --- 高光谱相机（HC）、地面激光扫描仪（TLS）、鱼眼相机（FC）、远距离雷达（LRR）、中距离激光雷达（MRL）、短距离激光雷达（SRL）、移动测绘系统（MMS）
RELLIS - 3D[^44]SWAN[^43]SensatUrban[^42]SEMANTIC3D $^{{14}}_{11}$SMARS[^40]LiDAR-CS[^39]Paris-CARLA-3D[^38]Swiss3DCities[^37]Freiburg, Pittsburgh, Wachtberg $^{{13,c1}}$Dataset Name
Ouster OS1, Velodyne Ultra Puck, 3D stereo camera, RGB cameraOuster (64 channels)fixed wing UAV, SODA camera---Synthetic CameraVelodyne Puck 16, 32E, HDL-64E, 128, ONCE-40, LivoxVelodyne HDL32Multicopter UAVSICK LMS, Different Laser Scanners, Velodyne HDL64-ESensors
ML, SPMLPLSSPMLMLPMLRF, LS, LSensor Type
NONONONOYESYESYESNONOSynthetic
16241388523513, 14, 5#Classes
≈0.18M≈16000M (900M labeled)≈3700M≈4000M---≈1.8M≈700M (Synthetic) ≈60M (Real)≈223M≈13M#Points
---------30------------77#Scans
-2D & 3D annotations-Both Instance & Semantic Labels-3 cities (Birmingham, Cambridge, York (test))-RGB from cameras-Multimodal -RGB 0.50 m -RGB-Labels only for Object Detection-Both Real & Synthetic Data -RGB (Ladybug5) -Tilted LiDAR acquisition-3 point clouds with different resolutions for each city (500k, 15M & 225M) - nadir & oblique images -RGB -GSD 1.28cm---Notes
NONONONOYESNONONONOSpatial Size
NONONONOYESNONONONOMesh
---
N3C-California [^55]MSNet [^54]Min3D [^53]Toronto 3D [^52]DLA-Net[^51]Paris-Lille-3D [^50]OpenGF [^49]Learnable Earth Parser [^48]Campus3D [^47]Hessigheim 3D (H3D) [^46]DAPS3D[^45]
---SICK LMS291 LRFVelodyne, Livox, Intel RealSense D455Teledyne Optech Maverick (32 Lines)2 RIEGL VQ-450 4 high resolution camerasVelodyne HDL-32E------DJI Phantom 4 proRiegl VUX-1LR, 2 RGB (Sony Alpha 6000)Ouster OS0 (64-lines)
AL, CMLRF, ALRML, DCMLMLSMLALSALPAL, CML
NONONONONONONONONONOYES
47---885022 - 424114
---≈8.2M46.138 point clouds≈78M≈158M≈143M≈550M≈100M≈0.95M≈74.5M---
------------6---97---------
------------Urban AreaNo RGBNo RGB---3D Labeling based on 2D labelsMultitemporal data, 800 pts/m $^{2}$Both real & synthetic data
Urban - Rural ≥8 pts/m $^{2}$
GSD 100 cm
LiDAR & Image
≈725 km $^{2}$---≈0.63km $^{2}$≈1km≈3km≈2km≈47km $^{2}$≈7.7km $^{2}$≈1.58 km $^{2}$------
NONONONONONONONONOYESYES
NONONONONONONONONOYESYES
https://github.com/wymogq/APS3D
https://github.com/wymogq/KDNet
https://kanba.readme-ov-file/p/t/anba/p/readme-ov-file/en?ubqu&q=pyu@/p/readme-ov-file&e?UBqu=p/readme&q=pyu@/p/readme&SPN?T=e0&q=pyu@/path=%2Fhttps://github.com/weileigthu/WHU_pointcloud_datasethttps://3dom.fbk.eu/benchm/https://github.com/WeikaiTan/Toronto-3Dhttps://github.com/suyanfei/DLA-Nethttps://npm3d.fr/paris-lille-3dhttps://github.com/Nathan-Uw/OpenGFhttps://romainloiseau.fr/learnable-earth-parser/https://github.com/shinke-li/Campus3Dhttps://f/www.lfo.uni-stuttgart/de/benchmark/hess/ipheim/default-asovhttps://github.com/subake/APS3D
---
TUM-City-Campus [^66]Waymo [^65]Paris-rue-Madame [^64]Oakland3D [^62], [^63]nuScenes [^61]KITTI-360 [^60]TerraMobilita/i Qmulus [^59]ArCH3D [^58]DublinCity [^57]DFC 2018 [^56]
Velodyne HDL64E---Velodyne HDL32Navlab11 SICK LMSBasler acA1600-60gc, Continental ARS 408-21, Velodyne HDL32EVelodyne HDL-64E, SICK LMS 200,Stereopolis IIFARO Focus 3D X 130 & 120, Riegl VZ-400\nNikon D880E, D3100 & D3X, SONY Ilce 5100L, DJI Phantom 4 proLeica RCD30, NIKON D800EMW (14SEN/CON340), ITRES CASI 1500 (S/N 2525), DIMAC ULTRALIIGHT+ (Optech D-8900)
MODIS SA MMS, ML1 MRL, 4 SRL, 5 CMLLS6 C, 5 LRR, LMLS, 2 FC, CMLSTLS, UAV C, CALS, CMSL, HC, C
NONONONONONONONONONO
823264423374-910...20
≈1700M (40M annotated)≈0.177M /frame≈20M≈1.6M≈1100M≈1000M≈300M≈130M≈1400M (260M Labeled)---
8000---------------------------
Urban CampusUrbanUrbanUniversityUrbanUrbanUrban EnvironmentCultural Heritage, Indoor & OutdoorUrban ≈299 pts/ $m^{{2}}$\nGSD = 3.4cmUniversity of Houston\nGSD 1m (HI)\nGSD 5cm (VHR)
0.2 $km^{{2}}$76 $km^{{2}}$0.16km------73.7km10km---≈2 $km^{{2}}$≈4.3 $km^{{2}}$
NONONONONONONONONONO
https://www.cf.edu/en/public/html/www.cf.html
---
SemanticKITT\n[^67]Velodyne HDL64EMLNO25 (28)≈4500M23201/20351Urban73.7kmhttp://www.semantic-kitt.org/
NO
### 4. 3D语义分割的评估指标 通常，开发出的算法性能是通过针对特定任务的不同指标来评定的。基本上，每个基准数据集都会提供一组测试数据以及用于比较的评估指标。采用该基准的所有新算法都会利用这些数据及指标进行评估。实际上，常见的指标包括准确率、召回率、精确度和F1分数。在2D和3D语义分割中，最常用的指标是交并比（IoU），它比其他指标更能有效评估模型性能。本节将对常用的评估指标进行说明。但首先，需要了解混淆矩阵。 混淆矩阵：混淆矩阵是利用测试数据评估算法的基础。它通过统计每个类别的真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN）来构建。实际上，这些指标会被进一步用于计算前文提到的评估指标。通常，所测得的指标（如TP、TN等）会通过混淆矩阵可视化展示。下面给出了一个包含两个类别的混淆矩阵示例。
Predicted ValuesActual Values
PositiveNegative
PositiveTPFP
NegativeFNTN
将预测值与实际值进行比较，便可得出 TP、FP、FN 和 TN 的值，进而形成混淆矩阵。虽然上述示例中的矩阵是 $2 \times 2$ 矩阵，但大多数情况下类别数会超过两个（例如 n 个），因此混淆矩阵可能会是 n × $\times$ 矩阵，具体取决于类别的数量。 评估指标：一般来说，最直观的指标就是准确率，即正确预测值与总数值之比。不过文献中提出了多种准确率指标，包括总体准确率（OAcc）、平均类别准确率（mAcc）以及平均平均准确率（maAcc）。具体而言，OAcc 或 Acc 是针对测试集预先定义的比率（公式 1），mAcc 是在特定迭代次数下某一类别的平均准确率（公式 2），而 maAcc 则是所有类别的平均准确率除以类别总数（公式 3）。实际上，不同准确率指标之间并不容易混淆，尤其是在多类别实验中。因此，读者在任何情况下都应仔细查看所使用的公式。 $$ OAcc=\frac{TP+TN}{TP+TN+FP+FN} $$ $$ m_{c}Acc=\frac{1}{\#n}\sum_{n}OAcc $$ $$ m_{a}Acc=\frac{1}{\#c}\sum_{c}OAcc $$ --- 其中： TP、TN、FP、FN：真阳性、真阴性、假阳性和假阴性 ### n：迭代次数 n：迭代 #### c：类别数量 C：类别 实际上，只有当使用类别分布均衡的数据计算时，准确率才能给出有参考价值的结果。因此，基于混淆矩阵还衍生出了更多评估指标，即精确度、召回率和 F1 分数。直观来说，精确度衡量模型在阳性预测中的可靠性，换句话说就是阳性预测的质量；召回率则反映模型正确做出阳性预测的能力；F1 分数是精确度与召回率的调和平均值。召回率的另一个术语是真阳性率或灵敏度。 $$ Precision=\frac{TP}{TP+FP} $$ $$ Recall=\frac{TP}{TP+FN} $$ $$ \mathsf{F1-score}=2\frac{Precision\times Recall}{Precision+Recall} $$ 在大多数情况下，IoU 指标被用于评估二维和三维语义分割模型的性能。常见的 IoU 指标包括平均 IoU（mIoU）和频率加权 IoU。IoU 的另一个名称是杰卡德指数。直观来讲，IoU 用于量化预测类别与实际类别之间的重叠程度，例如掩码之间的重叠情况。此外，频率加权 IoU 会考虑每个类别中的数据量；例如在城区，代表自行车类别的点数量会比代表街道类别的点数量少。利用混淆矩阵，可以按下述方式计算每个类别的 IoU。 $$ IoU=\frac{TP}{TP+FP+FN} $$ $$ mIoU=\frac{1}{\#c}\sum_{c}IoU $$ #### 5. 三维语义分割 #### 5.1. 基于点的方法 逐点多层感知机：在PointNet [^68] 架构提出之前，3D点云特征的提取都是手动完成的。PointNet [^68] 是首个能够直接利用3D点云提取深度学习特征的架构。具体来说，PointNet架构的输入是一个维度为nx3的点云。首先，研究者引入了T-Net，用于学习对给定点云进行变换，比如旋转、平移以及缩放。接着，变换后的点云被送入多个共享的多层感知机（MLP），生成维度为nx64的点云，即局部特征；这些局部特征最终会被转换为维度为nx1024的点云，也就是全局特征。然后，对维度为nx1024的点云执行最大池化操作，从中选出1024个值中的最大值。这样做的思路是：最大值与数值顺序无关，因此能够应对点云的无序特性。不过，PointNet存在若干局限性，比如无法充分利用点云中的局部结构信息。为此，Qi等人（2017年）提出了PointNet的扩展版本——PointNet++。PointNet++的主要贡献在于提出了分层结构， --- 该结构通过三个抽象层级来解析点云中的信息。第一层由采样层实现，它利用最远点采样（FPS）算法对给定的点云进行子采样，从而找到局部区域的质心。第二层由分组层实现，它借助球查询算法创建点的邻域；邻域中的每个点都以相对于邻域质心的坐标来表示，借此提取邻域的局部特征。最后，PointNet++架构采用多个小型PointNet层来从点集中提取有意义的特征。PointNet++利用多个抽象层级进行特征提取，也就是在不同尺度上提取特征，因此既能获取细粒度的特征，也能获取全局特征，最终成为PointNet的改进版本。 自PointNet和PointNet++问世以来，人们提出了多种方法来改进从点云中提取更丰富的局部信息，尤其是像RandLA-Net [^70]架构这样计算效率较高的方案。具体而言，Hu等人（2020年）[^70]试图将逐点MLP方法的应用范围从包含数千个点的小型点云扩展到包含数百万个点的大型点云，且无需进行预处理或后处理步骤，同时用计算量更小的方法取代了那些计算复杂的采样方法。更确切地说，Hu等人（2020年）指出，迄今为止提出的大多数方法都采用了复杂的采样方法，这些方法可分为两类：(i)启发式采样方法（最远点采样(FPS)、逆密度重要性采样(IDIS)以及随机采样(RS)）；(ii)基于学习的采样方法（基于生成器的采样(GS)、基于连续松弛的采样(CRS)以及基于策略梯度的采样(PGS)）。此外，现有的局部特征提取器都是基于点云变换的，例如体素化、图结构等，它们无法分解高度精细物体的复杂局部信息，导致使用这类数据时的处理方法既耗时又性能低下。为克服上述局限，作者提出了结合随机采样的局部特征聚合(LFA)模块。更具体地说，LFA模块包含了局部空间编码(LocSE)和注意力池化(AP)两个子模块。LocSE子模块首先利用欧几里得距离为每个中心点找到其k个最近邻点，接着确定这些邻近点相对于中心点的相对位置，最后将邻近点的特征与相对位置拼接起来，从而生成增强特征向量。AP子模块则是为了替代最大/平均池化方法而引入的。它首先接收所生成的特征向量，通过多个共享的MLP和SoftMax来计算注意力分数，最终基于加权求和的方式选出重要的特征。除了上述子模块外，作者还提出了扩张残差块(DRB)，它由多个LocSE、AP模块以及跳跃连接组成，旨在利用多种感受野来收集信息，同时保留点邻域的局部细节。总之，RandLA-Net架构是由多个LFA模块和随机采样构成的，其在3D语义分割基准测试上取得了顶尖的性能表现。 Fan等人（2021年）[^1]提出了SCF模块，旨在为大型点云的三维语义分割提供一种稳健的方法。SCF模块由三个主要部分构成：局部极坐标表示（LPR）、双距离注意力池化（DDAP）以及全局上下文特征（GCF）。具体而言，LPR旨在找到一种对Z轴旋转具有不变性的点局部邻域表示方法。实际上，属于同一类别的物体——比如办公室场景中的椅子——往往具有不同的朝向，这会导致三维语义分割特征对朝向敏感。因此，利用LPR，每个点的邻域采用极坐标而非笛卡尔坐标来表示。更确切地说，点的初始局部表示是基于欧几里得距离定义的。随后，通过计算并更新两个角度$\phi$和$\theta$，来提取邻域内每个点的局部方向。其中，$\phi$指的是待处理3D点邻域内的每个3D点、该3D点本身以及XY平面内的X轴之间所形成的夹角；而$\theta$则是待处理3D点邻域内的每个3D点、该3D点以及XY平面内的Z轴之间所形成的夹角。$\theta$和$\phi$会根据每个邻域的质心点进行更新。LPR模块回答了“如何表示3D点云的局部上下文？”这一研究问题。之后，研究人员提出了DDAP模块，利用LPR所得到的点邻域表示来学习局部上下文特征。具体来说，DDAP模块利用了世界空间中的几何距离、特征空间中的特征距离以及几何模式。特征距离是指中心点特征与待处理邻点特征之差的平均值。此外，几何模式也是由此生成的。 --- 具体做法是将LPR表示与原始坐标拼接起来，再将其输入到共享的MLP层中。随后，MLP的输出会被送入SoftMax函数，从而形成可学习的注意力池化层。最后，通过邻点特征与注意力池化层输出之间的加权求和操作，即可获取局部上下文特征。DDAP模块回答了“如何学习局部上下文特征？”这一研究问题。除了局部特征外，三维语义分割方法要取得优异效果还需要全局特征。为此，作者提出了GCF模块，该模块通过MLP将（i）局部的x、y、z坐标与（ii）一个比值结合起来，该比值定义为局部邻域内的点数与全局邻域内的点数之比。GCF模块回答了“如何学习全局上下文特征？”这一研究问题。最终，SCF架构是通过在编码器-解码器结构中运用多个SCF模块来构建的。 邱、安瓦尔和巴恩斯（2021）[^71]提出了一种3DSS网络，旨在解决现有最先进方法的若干局限性。具体而言，作者指出，现有最先进的方法耗时较长，或者会生成图或体素等中间表示形式，从而导致信息的部分丢失。为此，他们提出了一种基于点的方法，旨在弥补三大缺陷：(i) 邻近点的模糊性，(ii) 冗余特征，以及(iii) 不充分的全局表征。首先，邻近点的模糊性是指由于邻域选择过程（如重叠区域或异常值选取）而产生的局限性。为缓解这一弊端，作者提出了对点的邻域进行扩充的方法。其次，冗余特征指的是那些为了提升性能而多次使用相同特征的模型。作者指出，这种冗余信息反而增加了模型的复杂性，并未真正改善其性能。因此，他们建议对模型的输入进行分类，例如几何特征或语义特征，以便充分利用这些信息。最后，不充分的全局表征是指现有最先进方法在3DSS任务中生成的特征图的局限性。具体来说，作者指出，现有的编码器-解码器方法会削弱生成的特征图的细节，进而给3DSS任务带来困难。于是，作者提出了一种多分辨率方法，以通过模型保留细粒度的细节。作者提出的上述改进措施被整合到双边上下文模块和自适应融合模块中。首先，双边上下文模块被拆分为双边扩充单元、扩充损失函数和混合局部聚合单元。在双边扩充单元中，每个质心的邻域是通过基于3D欧几里得距离的kNN算法来定义的。接着，通过将每个质心的绝对坐标与其相邻点的相对坐标相结合，来确定该质心的局部上下文（包括几何和语义信息）。利用扩充损失函数在学习过程中施加的约束，通过双边偏移量来对局部上下文进行扩充。最后，混合局部聚合单元用于构建能够精确反映邻域局部差异性的邻域表征。其次，自适应融合模块用于利用多分辨率特征提取3DSS所需的特征图。具体来说，分辨率逐渐降低的多个点云会先经过双边上下文模块的处理，从而提取出多尺度信息。随后，每张特征图会被逐步上采样至原始表示形式，形成一组上采样后的特征图，最终在点级别上进行自适应融合。总体而言，作者提出了包含上述模块、单元和损失函数的BAAF-Net，并通过不同的基准测试、评估指标和训练方案对其进行了验证。 点卷积：Li等人（2018年）[^72]提出了PointCNN架构，旨在处理点云的不规则性和无序性特征，以应用于三维学习领域。首先，作者详细分析了将传统二维CNN扩展到三维空间时存在的局限性，这也是点卷积方法的主要研究问题。因此，他们提出将典型的CNN应用于3DSS特征而非原始三维点云。PointCNN旨在对提取的特征进行预定次数的加权与排列，随后再对其执行卷积运算。具体而言，PointCNN的输入是一组三维点及其对应的特征。作者提出了X-Conv算子作为PointCNN架构的核心单元，它基于输入特征生成一种新的表示形式，这种表示形式的特征维度更深且点数更少，也就是说，相较于原始数据，它是一种更抽象且信息量更大的表达方式。用于3DSS的X-Conv利用了无序点集上的最远点采样技术。 --- 这些点首先被从全局坐标系转换到局部坐标系，形成局部的点的区域。感受野对于二维CNN而言至关重要，它对二维信号处理算法的性能有着显著影响。PointCNN通过计算当前层（K）与前一层（N）中某个三维点的相邻点数量之比（K/N），来定义三维CNN中的感受野。总而言之，PointCNN是一种编码器-解码器架构，在编码器和解码器部分均采用了X-Conv算子。主要区别在于：在编码阶段生成的表示形式点数更少但特征更丰富；而在解码阶段则恰恰相反，同时还会加入跳跃连接。 Thomas等人（2019年）[^73]提出了核点卷积（KPOnv）架构，该架构的灵感来源于传统的二维卷积算子。具体而言，KPOnv的权重与特征一样，都由欧几里得空间中的三维点来承载。一般来说，刚性的KPOnv算子会作用于卷积位置附近的三维点。更确切地说，卷积位置的邻域是通过特定半径来定义的。KPOnv算子以相对于卷积位置的坐标所确定的点邻域作为输入。卷积核由带有对应权重的点构成，其作用是把给定邻域内点的特征转换为一组新的特征。具体来说，特征维度的转换是通过输入点与核点之间的相关函数来实现的，作者采用的是线性相关函数。此外，他们还对比了高斯相关函数和线性相关函数，以此支撑他们的选择。另外，作者还提出了KPOnv算子的可变形版本，该版本通过在卷积位置施加不同的偏移量来考虑点的局部几何特性。事实上，卷积位置对于所提出的算子而言至关重要。 furthermore，作者加入了网格下采样机制来处理某些三维点云密度不均的问题，还解释了池化层、KPOnv层的原理，随后分析了网络参数的选取方法。最后，作者提出了两种架构：第一种用于分类，第二种用于分割。更确切地说，分割架构将分类架构嵌入到编码器部分，而解码器部分则结合最近邻上采样技术与编码器和解码器特征间的跳跃连接。总之，所提出的KPOnv架构在多个分类和分割基准测试中均得到了验证。 刘等人（2021年）[^74]提出了FG-Net，这是一种通用的基于点的3D深度学习架构，可应用于3D语义分割或3D分类等不同下游任务。首先，作者指出了现有最先进方法的若干局限性。例如，这些方法包含耗时的操作，如最远点采样，或者图、体素等中间表示形式，无法应用于大规模点云数据，且难以捕捉精细的几何结构。为解决现有方法的这些局限，作者提出了FG-Net架构，其核心模块被称为FG-Conv。具体而言，FG-Conv模块由三个主要部分组成：逐点相关特征挖掘（PFM）、几何卷积建模（GCM）以及注意力聚合（AG）。在PFM之前，作者提出了一种噪声与异常值过滤（NOF）方法。更具体地说，每个点的邻域是通过半径最近邻查询算法确定的。随后，会计算该点邻域的密度估计值。若估计密度低于阈值，该点就会被判定为孤立点并被删除；否则，这些点的邻域会被建模为高斯分布（$\mu$，$\sigma$）。最后，如果平均距离不在高斯分布的置信区间内，相应的邻域点也会被移除。经过NOF处理后，点云会用3D坐标以及法线、颜色、学习得到的潜在特征等相关特征来表示。利用过滤后的点云以及每个点的邻域信息，PFM通过计算中心点与各邻近点之间的内积，在3D空间和特征空间内定义出相似度得分。之后，计算得到的相似度向量会被送入学习得到的注意力机制中，以便根据所应用的下游3D任务（如3D语义分割）来调整相似度得分。新的相似度得分会与3D点逐元素相乘，从而得到增强后的注意力特征矩阵，该矩阵再与原始特征拼接在一起。PFM旨在构建一个特征空间，在该空间中相关特征得到增强，而不相关特征则被削弱。此外，GCM将2D空间中的可变形卷积概念引入3D点云数据，旨在建模点的几何结构。首先，定义一个相关函数来计算卷积核点与局部几何结构之间的关联，即 --- 局部坐标系中的点邻域。相关函数的设计目的是通过提高核点与局部几何结构越近时的值，来克服三维点云的无结构性和无序性特征。随后，核函数被定义为带有可学习权重的相关值之和，用于捕捉局部几何特征。最后，定义了注意力聚合组件，通过识别有意义的特征并将其聚合起来，从而减少使用几何与特征模式时产生的信息损失。FG-Net是一种基于编码器-解码器的架构，它利用了多分辨率点云。具体而言，编码器基于受ResNet启发的残差学习块（RLB）[^75]。实际上，FG-Conv算子正是RLB的核心。在编码器和解码器之间设有点云全局特征提取模块，该模块利用非局部注意力模块来捕捉点云中的全局依赖关系。最后，他们提出了一种名为IGSAM的学习采样方法，该方法结合了逆密度（IDS）和Gumbel SoftMax采样的优势，从而取代了那些耗时较长的点采样方法。总之，FG-Net在多个基准测试集上针对三维分类和三维语义分割任务进行了评估，评估指标为mIoU。此外，作者还评估了不同模型在三维语义分割任务中的表现，涉及它们的采样技术以及计算和内存消耗情况。 循环神经网络：Huang、Wang和Neumann（2018）[^76]指出，现有最先进的方法并未充分利用嵌入到三维点云中的局部信息。他们还提到，这些最先进的方法在计算局部依赖关系上耗费了大量时间。因此，他们提出了RSNets，这是一种由切片池化层（SPL）、循环神经网络（RNN）层和切片反池化层（SUL）组成的架构。上述组件被整合到局部依赖模块中。首先，未经处理的三维点云被输入到输入特征块（IFB）中。更具体地说，IFB将无序的三维点云转换为一组无序的特征。这些无序特征随后被送入SPL中。具体来说，共有三层SPL，分别对应x、y、z三个方向，称为切片。每个切片包含一组三维点。之后，通过对切片内各点的特征进行聚合，生成每个切片的全局特征向量。最终，形成一组有序的特征序列，作为RNN层的输入。实际上，SPL生成了可供RNN双向层利用的特征表示。RNN层的输出特征被送入SUL，以便将其分配给各个点。总之，在对消融研究和实验进行详尽分析后，RSNets架构在不同的大规模点云基准测试集上接受了评估。 注意力机制与Transformer：总体而言，Transformer架构中所采用的注意力机制在三维场景分割领域具有广阔的应用前景，因为它不依赖于三维点云的不规则性、无序性等特征[^14]，[^23]。在Transformer于各类任务中取得最先进性能之后[^77]，Zhao等人（2021）[^78]指出，自注意力机制在三维任务中尤为适用，并由此提出了Point Transformer架构。作者首先指出，自注意力机制可分为标量注意力与向量注意力两类；实际上，二者之间的区别在于分别生成标量得分与向量得分。正因如此，Point Transformer架构选择了向量注意力机制，因为它能够捕捉到关于邻近三维点的更详细信息[^78]。向量注意力公式中的组成部分包括三种逐点特征变换（$\phi$、$\psi$、$\alpha$）。此外还包括类似MLP或线性投影的位置编码函数$\delta$、如SoftMax之类的归一化函数p、关系函数$\beta$以及映射函数$\gamma$。具体而言，在所提出的Point Transformer层（PTL）中应用的向量注意力机制，是针对特定位置上通过kNN算法定义的局部邻域点集而言的；该机制采用减法作为关系函数，以MLP、两层线性层以及ReLU非线性函数作为映射函数，同时将位置编码$\delta$同时引入到函数$\gamma$和$\alpha$中。此外，位置编码是Transformer架构中极为重要的组成部分，因为它相当于卷积与循环操作的对应物[^77]。具体到Point Transformer中，位置编码函数是一种基于三维点坐标的可训练函数；本质上，它是一种包含两层线性层与ReLU非线性函数的MLP，旨在界定邻近点之间的内在关系。上述单元共同构成了Point Transformer层，这也是Point Transformer块的核心。实际上，Point Transformer架构采用了编码器-解码器结构，编码器层与对应的解码器层之间存在跳转连接。更确切地说，编码器由Point Transformer块与Transition Down层构成，而解码器则由Point Transformer块与Transition Up层构成。Transition Down与Transition Up分别用于获取输入点的子集与超集。在三维场景分割任务中，输出头会通过MLP将解码器的输出映射到预测类别上。综上所述，Point Transformer架构在三维场景分割、分类等多种任务中均通过了不同实验的验证，相关评价指标也较为全面。 --- 编码器层与对应的解码器层之间存在着跳转连接。更具体地说，编码器由Point Transformer块与Transition Down层构成，而解码器则由Point Transformer块与Transition Up层构成。Transition Down与Transition Up分别用于确定输入点的子集与超集。在三维场景分割任务中，输出头会通过MLP将解码器的输出映射到预测类别上。总而言之，Point Transformer架构在三维场景分割、分类等多种任务中均通过了不同实验的验证，相关评价指标也较为全面。 吴等人（2022年）[^79]指出，Point Transformer架构在层数加深时会增加通道数和权重编码参数，从而导致过拟合问题，限制了模型进一步加深。为解决上述问题，作者引入了一种名为分组注意力（Group Attention, GA）的新注意力机制，以取代Point Transformer架构中使用的向量注意力。GA可视为向量注意力的更通用形式，旨在减少过拟合并提升模型的泛化能力。作者指出，邻域注意力的表现优于移位网格注意力。具体而言，利用kNN函数收集点的局部邻域，其效果优于通过均匀不重叠单元格构建局部邻域的方法，这是因为三维点云的点密度存在差异。此外，作者还添加了额外的位置编码机制，以更好地揭示三维点之间的关系，从而充分利用嵌入在三维坐标中的几何知识。总体而言，传统的池化操作并未考虑点密度和重叠问题。因此，他们提出了一种改进的池化运算，用均匀网格划分来取代FPS或Ball Query等常用的池化方法。最后，作者开展了扩展实验和消融研究，以验证所提架构的优势。总之，Point Transformer V2在不同三维任务（如3D语义分割和三维形状分类）中，通过不同基准测试和指标进行了评估。
Table 3: Mean Intersection over Union (mIoU) and Overall Accuracy (OA) for Different Benchmark Datasets for the Point Based Methods
AlgorithmYearStanford3DSemantic3DScanNetSemanticKITTIS3DISSenSat Urban
mIoUOAmIoUOAmIoUOAmIoUOAmIoUOAmIoUOA
PointNet201747.7178.6214.6---55.752.614.6---47.678.623.7180.78
PointNet++2017------63.185.7---84.520.1---54.581.039.9784.30
RandLA-2020------77.494.864.5---53.988.870.088.052.6989.78
Net
SCF-Net2021------------------------71.688.4------
BAAF-Net2021------75.494.9------59.9---72.288.9------
PointCNN2018------------45.8---------65.488.1------
KPConv2019------74.692.968.6---58.890.370.6---57.5893.20
FG-Net2021------------------------70.8---------
RSNets2018---------------76.5------56.585.7------
PTv12021------------------------73.590.2------
PTv22022---------------75.2------71.691.1------
#### 5.2. 基于降维的方法 多视角方法：Tatarchenko等人（2018年）[^80]提出了切线卷积技术，用于处理包含数百万个点的点云以实现三维语义分割。实际上，切线卷积方法是Su等人（2015年）提出的多视角CNN的极端情况。切线卷积是为密集预测任务而设计的，而非多视角CNN所针对的形状识别任务。切线卷积可应用于多种类型的三维数据，例如网格、点云、多边形集合，唯一的要求是能够基于这些数据估算法向量。总体而言，作者指出，不同传感器采集的三维数据表现为嵌入在三维空间中的二维结构，因此切线卷积基于“数据源自局部欧几里得曲面”这一理念。具体而言，切线卷积首先在每个点周围定义切平面，并将局部几何结构投影到该平面上，从而生成切线图像；例如，切平面被用作与点邻域正交的虚拟相机，即沿其法向量方向。此外，对于每个三维点而言，其方向…… --- 切平面是通过对其局部邻域进行协方差分析得出的。局部邻域是以待处理点为中心的一定半径范围内的区域。随后，估算该邻域的协方差矩阵，进而得到邻域法向量——即最小特征值对应的特征向量，以及切平面的x轴和y轴——也就是另外两个特征向量。不过，若要利用切平面生成虚拟图像，就必须用点信号来估算图像信号。这些邻域点会被投影到待处理3D点的切平面上，从而形成一组投影点。由于这些投影点属于连续图像空间的采样，因此作者研究了多种插值方法，例如最近邻插值、完整高斯混合模型插值，以及基于前3个邻居的高斯混合模型插值，以此生成最终的切平面图像。他们指出，复杂的插值方法并未显著改善切平面图像的质量，因此建议采用简单的最近邻插值法。在实际应用中，连续空间被替换为离散空间（即网格），由此得到的切平面图像被用于语义分割任务。此外，作者还提出了一种类似UNet的网络结构，用于切平面图像的语义分割。首先，他们定义了网络的核心操作，如池化和反池化。具体而言，池化操作是通过将3D点哈希映射到分辨率逐渐变粗的3D网格来实现的，这一过程会对每个点的坐标执行模运算。更准确地说，被哈希到同一3D网格中的点会被用来合并其信号。哈希技术能够有效应对3D点云的不规则性特点。反池化则通过复用池化操作中的哈希索引来完成。另外，他们还提出了“局部距离特征”这一概念，即邻域点与切平面之间的平均距离；局部距离特征被用来生成距离图像，并作为数据的额外通道加以利用。所提出的编码器-解码器架构包含两层池化层和两层反池化层，均采用3×3卷积核，后接Leaky ReLU激活函数，并设有跳跃连接；最后一层则通过1×1卷积来分配最终类别。切平面图像的像素尺寸以及定义邻域点时所用的半径，共同决定了卷积层的感受野大小。综上所述，作者利用不同的基准数据集和评价指标对其算法进行了验证。 球形投影：Wu等人（2017年）[^82]提出了SqueezeSeg架构，该架构结合了3D-2D球形投影与成熟的2D语义分割技术，从而在道路物体的3D语义分割中实现实时且高质量的结果。首先，作者将现有3D语义分割领域最先进方法的核心步骤概括为地面过滤、点群分组、针对每组提取手工设计的特征以及组分类这几步。不过他们指出，现有的地面去除方法存在泛化能力差、后处理步骤耗时久的问题，或者依赖RANSAC[^83]这类迭代算法，而这些算法的效果又取决于随机初始化的质量。此外，多阶段的现有方法还存在误差累积等局限性。因此，作者提出了一种基于2D卷积神经网络（CNN）和条件随机场（CRF）的降维学习算法。其基本思路是将输入的激光雷达点云转换为适合卷积运算的紧凑表示，以便提取语义标签，之后再借助CRF对标签进行优化。实际上，由于3D点云的特性，直接对其应用卷积操作较为困难。于是作者提出将输入的3D点云投影到球体上，生成类似普通图像的密集2D网格表示。所生成的球形投影中，每个点包含五个特征，即3D笛卡尔坐标、强度和距离。此外，所提出的网络结构借鉴了SqueezeNet[^84]这一2D架构的设计思路，该架构旨在减少AlexNet[^85]的参数数量同时保持其性能。SqueezeSeg的编码器-解码器架构采用fireModule和fireDeconv层来代替传统的卷积、反卷积层，以此降低模型的参数量。具体来说，fireModule的输入是经球形投影处理后的3D点云；随后，该球形图像会被送入1×1卷积层，从而减小特征通道的尺寸。之后，再并行应用3×3和1×1卷积来恢复通道尺寸。其中第一层被称为压缩层，第二层则称为扩展层。fireDeconv结构与fireModule类似，只是在压缩层和扩展层之间加入了反卷积层。一般来说，由于下采样操作的影响，2D语义分割的标签图会出现模糊区域，尤其是不同类别之间的边界处。因此作者引入了CRF来对生成的标签图进行优化。更具体地说， --- 他们提出了一种能量函数，该函数包含一元势项、二元势项以及其他项。其中其他项的作用是对被标记为不同类别的相似点进行惩罚。更确切地说，二元势项是通过两个高斯核来定义的：前者同时利用球形坐标和笛卡尔坐标，后者仅使用球形坐标。此外，这些高斯核包含一组经验参数。总体而言，标签优化过程就是试图最小化上述能量函数，这一过程通过定义为RNN的均值场迭代算法来实现。优化后的标签最终会被映射回3D空间，从而实现道路物体的实时3D语义分割。综上所述，SqueezeSeg架构是使用真实和合成的激光雷达数据进行训练的，并通过多种指标对其性能进行了评估。 不过，Wu等人（2018年）[^86]指出，SqueezeSeg算法在准确性方面仍需改进才能应用于实际场景，而且为3D语义分割系统手动创建3D训练数据的过程极其繁琐。为此，Wu等人（2018年）[^86]提出了SqueezeSegV2算法：一方面提升SqueezeSeg的性能，另一方面探索合成训练数据的优化方法。具体而言，作者指出精度下降主要是由于真实激光雷达数据中的丢失噪声所致，这类噪声源于探测范围有限或镜面反射等多种情况。为缓解精度下降问题，作者提出了上下文聚合模块（CAM）——这是一种卷积神经网络模块，可利用更大的感受野来整合上下文信息，从而增强对缺失点的鲁棒性。此外，作者将交叉熵损失函数替换为焦点损失函数，以应对激光雷达点云中点类别分布不平衡的问题。同时，作者在生成的球面图像中新增了一个通道，用于标识像素是缺失还是存在，这一改进提升了分割精度。另外，SqueezeSegV2架构中还加入了批量归一化层，以解决内部协变量偏移现象。除了提升精度外，作者还试图解决域偏移问题。具体来说，域偏移指的是神经网络在训练时所处域与实际应用域不同的情况——即源域与目标域存在差异，进而导致泛化能力较差。为缓解域偏移问题，SqueezeSegV2生成合成数据时除了常规信息外还会额外加入强度通道；该过程通过自监督方式训练神经网络，以点的坐标和深度作为输入，输出强度值，旨在模拟真实世界的数据。此外，他们提出了测地相关对齐和渐进式域校准方法，以缩小源域与目标域之间的差距。具体而言，在每次训练步骤中，SqueezeSegV2网络会同时接收合成数据和真实数据。此外，他们会对合成数据批次计算焦点损失，以获取语义信息，并计算合成数据批次与真实数据批次输出分布的测地距离，从而减少源域与目标域统计数据之间的差异。在渐进式域校准过程中，网络的每一层会依次进行校准，从第一层到最后一层，且前一层不会对后续层产生影响。具体来说，会先计算每层输出的统计数据，随后将输出均值重新归一化为0、标准差重新归一化为1，同时用这些新统计数据更新批量归一化参数。总体而言，作者通过消融实验评估了这些新组件，结果表明其性能优于SqueezeSeg架构。 Milioto等人（2019年）[^87]指出，现有的3DSS激光雷达SOTA方法耗时较长，且这些模型的表征能力有限，即神经元数量和可学习参数较少。除了这些耗时的SOTA方法外，作者还提到，目前可用于3DSS的公开数据集不足，而且像[^68]、[^69]、[^80]、[^88]这样的SOTA方法无法在大规模点云场景下实现实时应用。因此，作者提出了RangeNet++架构，该架构利用球面投影来辅助自动驾驶设备的快速场景评估与决策。实际上，作者指出由于自动驾驶车辆的移动，生成的点云会受到畸变影响，这与图像中的卷帘快门效应类似。因此，他们在投影前先对激光雷达点云进行去畸变处理。球面投影的输出是一种经过丰富化的距离图像表示形式，例如张量，其中包含了x、y、z坐标、距离以及反射率信息。随后，作者提出了一种沙漏型2DSS架构，即编码器-解码器结构，用于利用这种生成的表示进行2DSS任务。具体来说，编码器是对Darknet [^89]骨干网络的改进，例如使其能够接收五通道图像而非三通道图像。总体而言，2DSS任务常面临一些难题，例如模糊区域，尤其是物体边界处。此外，将3D点云投影到2D平面时会导致信息丢失。 --- 其他诸如SqueezeSeg之类的方法则利用条件随机场（CRF）来优化2DSS输出，进而提升3DSS效果，正如前文所述。不过，RangeNet++的作者指出，仅靠CRF优化2DSS并不必然能带来更好的3DSS效果，尤其是当使用2D标签恢复3D标签时，会涉及所谓的标签重投影问题。具体而言，2D表示中的每个像素都有对应的标签，但每个像素可能对应多个3D点，从而导致赋予同一像素的标签并不准确。此外，当使用分辨率较低的图像时，标签重投影问题的影响会更加明显，而低分辨率图像对于实时应用而言至关重要。为了利用生成的2D表示恢复全部信息，作者将每个3D点云点与对应的图像坐标建立索引，从而实现了3D标签的无损恢复。此外，作者还提出了基于GPU的kNN算法来解决标签重投影误差问题。更具体地说，对于用于生成2D球面图像的每个点，都会预先定义一个代表其邻域的窗口。随后，利用生成2D表示时存储的索引来扩展该邻域，使其包含整个距离邻域集合。接着，将中心线的距离读数从展开状态替换为真实值。这种表示方式是RangeNet++实现实时性能的关键。针对标签也构建了类似的矩阵表示形式。之后，他们创建了一个矩阵，用于表示查询点与其邻域点之间的距离差。最后，通过逆高斯核、argmin运算以及截断阈值处理，收集对查询点标签进行投票的k个最近点。上述基于kNN的后处理方法是许多新兴架构所采用的。总之，作者通过边界IoU等指标，以及详细的消融实验和图表对RangeNet++算法进行了评估。 Xu等人（2020）[^90]详细阐述了激光雷达图像中特征分布的空间变化问题。具体而言，作者指出激光雷达图像中的特征分布与RGB图像的特征分布存在差异，尤其是在SemanticKITTI [^67]数据集上，由于数据采用了球面投影方式，导致卷积运算的性能较差。更确切地说，激光雷达图像的特征分布在整幅图像中并不一致，某些特征可能仅存在于图像的局部区域。此外，作者还可视化了RangeNet++架构中不同层的平均激活值，以展示图像中稀疏的滤波器激活情况。为此，Xu等人（2020）提出了采用空间自适应卷积（SAC）算子的SqueezeSegV3架构。一方面，传统的卷积算子在整幅图像中不会改变核权重；另一方面，SAC会根据特征的变化在图像的各个部分表现出不同的行为。作者提出了多种SAC变体。SqueezeSegV3架构基于RangeNet++ [^87]架构，采用多层交叉熵损失函数，旨在利用具有语义意义的特征。总之，通过使用不同变体的SAC，作者在SemanticKITTI数据集上对多个类别的3D语义分割任务取得了更好的性能。 Cortinhal、Tzelepis和Aksoy（2020）[^91]指出，当前最先进的3D语义分割方法在预测3D标签时并未计算不确定性度量，因此他们提出了用于实时、具备不确定性感知能力的激光雷达点云3D语义分割的SalsaNext架构。与RangeNet++ [^87]架构类似，SalsaNext也采用了相同的球面表示方法，但使用的是强度信息而非反射率数据。此外，他们还引入了改进的SalsaNet [^92]架构，利用所提出的3D点云球面表示来执行2D语义分割。具体来说，他们在编码器的前几层引入了上下文模块，用残差空洞卷积块取代了传统的ResNet块，采用了像素重排层，设计了中心编码器-解码器随机失活操作，并且用平均池化下采样层替代了步长卷积，以减少内存占用。上下文模块包含多个空洞卷积，即具有不同核大小，能够融合不同尺度的感知域，从而聚合全局上下文信息。此外，在上采样阶段引入像素重排层而非转置卷积层，以降低网络的计算复杂度。最后，他们在编码器和解码器层之后添加了随机失活操作，但第一层和最后一层除外，从而提升了网络性能。此外，作者还对不确定性进行了深入分析，将其分为偶然不确定性（即数据本身的不确定性）和认知不确定性（即模型本身的不确定性）。其中，偶然不确定性又可进一步分为同方差不确定性（即不随输入数据类型变化而变化的偶然不确定性）和异方差不确定性。 --- 指的是依赖于它们的不确定性。如果已知传感器噪声特性，就可以使用基于假设密度滤波的改进型神经网络来提供预测结果及其随机异方差不确定性。最后，作者在推理过程中通过蒙特卡洛采样来估算认知不确定性。事实上，降维方法的主要缺点是由于从三维空间投影到更低维度空间而导致的信息丢失。作者采用了RangeNet++中提出的基于kNN的后处理技术，在推理阶段应用该技术以克服上述缺陷。总之，除了详细的消融研究和SalsaNext架构评估外，作者还提供了SemanticKITTI数据集图像上认知不确定性和随机不确定性的可视化结果。 Xiao等人（2021）[^93]发现，现有的最先进的降维方法通常是通过堆叠位置通道、深度、强度和反射率来创建多通道图像，通常会生成五通道图像，并且在不考虑各模态独特特性的情况下同时处理这些图像。因此，作者提出了FPS-Net，旨在通过将五通道图像分解为三种模态来解决上述模态差异问题，从而提升三维语义分割应用的性能。此外，他们指出，简单地将具有不同分布的像素值沿通道堆叠可能会导致模型训练出与模态无关的特征。为此，他们提出了一种模态融合卷积网络，该网络首先学习模态特定的特征，最终通过编码器-解码器结构在高维特征空间表示中对这些特征进行融合。更具体地说，模态特定特征是通过多感受野残差密集块（MRF-B）编码的，再通过递归卷积块（RCB）解码。其中，MRF-B由1x1、3x3等多维卷积以及拼接、批量归一化和ReLU操作组成；RCB则是一种包含3x3卷积、加法操作、批量归一化和ReLU的递归神经网络。MRF-B生成的模态特定高维特征会被拼接起来，然后送入1x1卷积操作。经过多个MRF-B和下采样层后，特征会被传入多个上采样层和RCB层。此外，分类器会输出预测结果。最后，采用类似于RangeNet++的[^87]后处理方法来得到最终的三维标签。总之，作者对所提算法进行了评估，同时开展了消融研究并在知名基准数据集上进行了实验。 李等人（2021年）[^94]指出，当前最先进的方法存在计算开销极大的问题，尤其是在需要嵌入式平台的应用中。这类方法要么精度较低，要么包含数百万个参数，因此他们提出了多尺度交互网络（MINet）来解决这些问题。他们设计了一种轻量级网络，包含多条尺度路径，每条路径可提取不同层次的特征——比如针对输入图像的低尺度或高尺度特征。此外，较高尺度的路径与所有较低尺度的路径之间采用了密集连接的方式。不过，作者还提出了一种计算策略以避免冗余计算。借鉴RangeNet++[^87]架构的思路，作者生成了5D球面投影图像，即x、y、z、深度和反射率，将其作为MINet架构的输入。MINet架构由三个模块组成：微型融合模块（MFM）、多尺度交互模块（MIM）和上采样融合模块（UFM）。除了这三个模块外，MINet架构还包含两种不同类型的块：MobileBlock和BasicBlock。前者由于采用了深度卷积，参数数量更少；后者则计算开销更大。不过，MobileBlock通常用于处理高分辨率图像，旨在提取细节特征，而BasicBlock则用于处理低分辨率图像，旨在提取更抽象的特征，从而平衡整体计算复杂度。首先，输入的5D图像被送入MFM。但由于不同模态（包括x、y、z坐标，被视为独立模态）的特征分布存在差异，需通过卷积操作将它们映射到不同的特征空间。随后，来自各模态的特征被拼接起来，并通过多个MobileBlock进行融合。经过MFM后，再应用MIM。具体来说，MIM包含三条不同尺度的路径：顶部、中间和底部。在每条路径中，随着尺度减小，会采用平均池化操作，同时扩大感受野，以收集更抽象的特征。作者指出，上述策略——即沿尺度路径逐步降低分辨率并扩大感受野——能够实现高效运算。此外，各尺度上提取的特征图先通过平均池化调整大小，再传递给所有较低尺度的路径，从而使后续尺度路径能够专注于尚未被提取的特征。最后，UFM将来自MFM第一层的特征进行融合，以收集低层空间信息；同时将MIM中各路径的特征进行融合，以获取多尺度信息。接着，融合后的特征会被上采样至原始分辨率，进一步处理后相加。最终，2D预测结果会被重新投影回3D空间。总之，作者进行了多项实验，通过将各种最先进的方法从头开始重新训练，并使用不同指标，将其与自身提出的方法进行比较。 --- 这些融合后的特征用于收集低层空间信息，而MIM中的各路径则用于收集多尺度信息。随后，融合后的特征会被上采样至原始分辨率，经过进一步处理后再相加。最终，2D预测结果会被重新投影回3D空间。综上所述，作者开展了多项实验，通过将各类最先进的方法从头开始重新训练，并采用不同评价指标，将其与自身提出的方法进行对比。 鸟瞰图视角：Zou和Li（2021）[^95]指出，近期的研究引入了利用无人机获取的城市级数据集，这些数据集同时包含图像和三维点云。总体而言，通过摄影测量生成的三维点云与使用激光雷达传感器获取的点云存在差异，例如前者包含RGB值以及三维几何信息。因此，他们比较了摄影测量点云和激光雷达点云中沿Z轴分布的点的类别重叠情况，并得出结论：大多数重叠点的类别与最上层点的类别一致。基于此，他们提出鸟瞰图（Bird's-Eye View, BEV）投影更适合用于处理无人机生成的摄影测量点云的三维语义分割。具体而言，BEV图像的生成是通过对三维点应用滑动窗口过程来实现的。首先，经过实验后经验性地确定了滑动窗口的比例、尺寸和移动步长等超参数。接着，根据每个点的x和y坐标对滑动窗口内的点进行排序，从而找出最小值和最大值。最后，每个滑动窗口会生成一个包含RGB信息和高度信息的BEV图像。之后，采用二维最大池化操作对稀疏的BEV图像进行补全，以改善投影到XY平面上的点的稀疏性，从而得到最终的BEV图像。此外，Zou和Li（2021）还提出了一种多模态二维分割UNet模型，该模型同时利用RGB信息和高度信息。作者还指出，RGB值在分割性能中起着重要作用。最后，作者使用Sensat-Urban [^96]基准测试集的验证集，将他们的方法与多种前沿方法在测试集上进行了对比评估。 多种投影方式：Alnaggar等人（2020）[^97]指出，BEV投影图像和球形投影图像都能为三维语义分割提供有用的特征，因此二者可以互补，以减少将三维点云投影到二维空间时造成的信息损失。球形投影图像的表达方式与RangeNet++ [^87]类似。BEV表示是将点云投影到XY平面上，并基于特定尺寸的二维网格进行离散化处理，其通道数与球形图像类似。此外，他们提出了一种双分支网络，分别对应两种投影方式，分别输出不同的预测结果，最后通过相加的方式将它们融合。具体来说，球形分支采用基于MobileNetV2 [^98]骨干网络的编码器-解码器架构，而BEV分支则基于UNet [^99]架构。在融合之前，分割后的图像会进入后处理步骤。具体而言，首先将三维点投影到每张分割图像上；然后以投影点为中心，定义一个二维方形窗口来确定每个点的邻域；接着，通过计算邻域内所有像素的SoftMax概率的加权和，得到每个点的得分向量，权重是根据待研究的三维点与邻域内像素所代表的点之间的距离来确定的。更确切地说，作者通过设定不同的权重值来赋予距离较近的点更高的关注度，而非距离较远的点。最终，两种投影方式对应的得分向量会在融合步骤中被整合起来。总之，作者不仅对所提出的方法进行了评估，还通过数据增强技术开展了相关实验。 邱、于和陶（2022）[^2]指出，针对3D语义分割任务，降维方法有两种广泛应用且互补的投影方式：球面距离图像（RV）和俯视图，即BEV。此外，他们提到，同时利用这两种表示的方法通常采用预测标签的后期融合策略，却忽略了不同视角间的互补几何信息。因此，作者提出了几何流网络（GFNet），旨在以原始点云为桥梁，通过“先对齐后融合”的方式挖掘各视角的几何对应关系。所提出的实时网络采用双分支ResNet [^75] 编码器-解码器结构分别处理每个视角，该结构在瓶颈层采用了ASPP [^100] 模块。具体而言，距离视图图像是通过Triess等人（2020）提出的改进型球面投影方法生成的。每张球面图像包含五个通道，类似于 --- Milioto等人（2019）。此外，BEV图像是通过俯视正交投影生成的，其中笛卡尔坐标被替换为相对极坐标。每张BEV图像有九个通道，即三个表示到BEV网格中心的距离的圆柱坐标（x、y、z）、三个圆柱坐标（x、y、z）、两个笛卡尔坐标（x、y）以及反射率值。此外，作者还提出了几何流模块（GFM），它分为几何对齐（GA）和注意力融合（AF）两部分。实际上，GA包含了从RV到BEV以及反之的特征融合所需的几何变换。为了计算变换矩阵，作者以原始点云（PC）作为桥梁，即RV→PC→BEV。而AF模块则将单视角特征（如来自RV图像的特征）与变换后的特征（如从BEV到RV的特征）进行拼接，随后对拼接后的特征应用自注意力机制以获得注意力分数，最后通过残差连接将其与单视角特征结合，从而得到最终特征。总体而言，两个ResNet解码器之间设置了多个GFM，从而为每个视角生成特征图。最后，各分支的2D预测结果会与网格采样及KPConv [^73] 技术结合，用以得出逐点预测结果。事实上，为了构建端到端可学习框架，作者采用了KPConv层，而非Milioto等人（2019）提出的kNN后处理方案。
Table 4: Mean Intersection over Union (mIoU) and Overall Accuracy (OA) for Different Benchmark Datasets for the Dimensionality Reduction Based Methods
AlgorithmYearSemantic3DScanNetSemanticKITTIS3DISSensat Urban
mIoUOAmIoUOAmIoUOAmIoUOAmIoUOA
TangentConv201866.489.343.855.140.9---52.882.533.3076.97
SqueezeSeg2017------------30.8---------------
SqueezeSegV22018------------39.7---------------
RangeNet++2019------------52.289.0------------
SqueezeSegV32020------------55.989.5------------
SalsaNext2020------------59.590.0------------
FPS-Net2021------------57.1---------------
MINet2021------------55.2---------------
Efficient BEV2021---------------------------91.37
MPF2020------------55.5---------------
GFNet2022------------65.492.4------------
#### 5.3. 基于离散化的方法 Riegler、Ulusoy和Geiger（2017）[^102]指出，基于离散化的当前最先进方法需要执行密集的卷积运算，也就是说，这些方法会考虑三维空区域，从而导致在3DSS等下游应用中的计算速度缓慢。针对这一问题，Riegler、Ulusoy和Geiger（2017）提出了OctNet——一种基于三维卷积的网络，该网络能够避开空区域，并提出了一种新的三维数据稀疏表示方式。具体而言，这种新的三维数据表示是通过将高分辨率三维数据按层次划分为八叉树来创建的，划分过程会参考三维点的密度，并在达到预设分辨率时停止。此外，作者还提出了混合网格-八叉树数据结构（HGODS），其实现方式是堆叠多个浅层八叉树，这一思路与Miller、Jain和Mundy（2011）[^103]提出的表示方法类似。HGODS的作用是创建一种稀疏表示，以便利用位字符串实现快速数据访问，因为3DSS等许多下游应用通常需要定义点的邻域，例如用于卷积或池化操作。对此，作者指出，数据的离散化过程遵循其密度特征，能够避开空区域，仅在非空区域进行计算，从而优化了计算效率和内存占用。此外，作者还介绍了OctNet的基本网络操作，即卷积、池化和反池化，以及其在三维分类和3DSS等不同应用场景中的运用。用于3DSS的OctNet是一种编码器-解码器结构的UNet型网络。总之，OctNet网络的训练采用了不同的体素尺寸和特征（RGB、法向量、二值体素占用情况、距地面高度），并结合了数据增强技术。 Su等人（2018）[^88]提出了SPLATNet架构，该架构利用高维格点空间对一组特征执行卷积操作。具体来说，作者指出，当前最先进的3DSS方法通常将原始三维点云转换为二维或三维网格表示，以便应用卷积运算。 --- 可以对它们进行操作。然而，这些变换会导致信息丢失，因此作者提出了用于卷积运算的高维格点空间，旨在减少现有最先进方法中的信息损失。基于此，他们提出了SPLATNet架构，该架构采用了Miller、Jain和Mundy于2011年提出的双边卷积层（BCL）。实际上，BCL能够轻松应用于高维格点空间，例如6维滤波空间XYZRGB，这一特性使其成为SPLATNet架构的核心运算方式。更具体地说，BCL被整合到Splat、Convolve和Slice这三个步骤中，每个步骤均通过矩阵乘法来实现。首先，Splat操作利用重心插值法及缩放因子，将输入特征投影到由格点特征定义的单形格点空间中。其次，Convolve操作在格点空间上应用，定义出类似于传统卷积运算的N维滤波权重。最后，Slice操作与Splat操作相反，但可以选择生成的点云是否与输入点云相同。作者针对基于3D点云的运算，深入分析了BCL的诸多优势特性。此外，他们使用两种变体的SPLATNet进行了3D语义分割实验：一种仅使用3D点云数据，另一种则同时纳入图像与3D点云数据。格点空间的一个独特特性在于其尺度，该尺度与卷积运算的感受野密切相关，作者也对格点尺度因子进行了详细分析。综上所述，SPLATNet架构在3D语义分割和3D零件分割等一系列下游应用中均得到了评估。 Choy、Gwak和Savarese（2019）[^104]提出了一种4D时空卷积神经网络，用于解析3D视频扫描数据，也就是跨越不同时间戳的3D场景。一般来说，点云或体素这类3D数据中包含空区域，计算过程中应避开这些区域，因为它们对网络性能没有贡献。为避免数据中的空区域，作者构建了两个N维稀疏张量，而非采用传统的3D数据表示方式。更具体地说，稀疏张量是更为实用且均匀的数据表示形式，尤其适用于高维空间。此外，作者还详细解释了广义稀疏卷积，它具有诸多优势：效率高、可应用于高维空间，还能将经典的2D技术拓展到高维空间。上述组件，比如稀疏张量和广义稀疏卷积，已被纳入开源的Minkowski Engine中。具体而言，Minkowski Engine包含了稀疏张量量化、广义稀疏卷积、最大池化、全局/平均池化、求和池化以及非空间函数等算法，每种算法都有详细说明，还配有相应的伪代码解释。利用Minkowski Engine中的组件，作者提出了Minkowski卷积神经网络，并以ResNet [^75]或UNet [^99]作为骨干架构。总体而言，时空卷积存在两个问题：其一，计算成本会随维度增加而呈指数级上升；其二，不同时间戳下的预测结果不一致。因此，作者研究了利用非传统核形状来解决计算成本问题，并针对第二个问题采用了三边静态条件随机场（CRF）。更具体地说，作者探索了在空间和时间维度上使用不同核的可能性，最终得到了性能优于传统四维超立方体核的混合形状核。此外，所提出的CRF包含了一个7维静态核（3D空间、1D时间和3D颜色空间），因此被称为三边静态CRF。总之，Minkowski网络在多种下游任务中进行了评估，包括3D语义分割任务，评估时采用了不同的指标和基准数据集。
Table 5: Mean Intersection over Union (mIoU) and Overall Accuracy (OA) for Different Benchmark Datasets for the Discretization Based Methods
AlgorithmYearSemantic3DScanNetSemanticKITTIS3DIS
mIoUOAmIoUOAmIoUOAmIoUOA
OctNet201750.780.718.176.6------26.368.9
SPLATNet2018------39.3---22.8---------
MinkowskiNet2019------73.6---54.3---65.4---
--- ### 5.4. 基于图的方法 Wang等人（2019年）[^105]指出，卷积神经网络（CNN）在许多二维下游任务中取得了优异的成果。然而，在三维空间中使用卷积运算并非易事。因此，他们提出了EdgeConv——一种与传统卷积类似的运算方式，用于分类和语义分割等三维下游应用。此外，他们还提出了DGCNN架构，该架构基于PointNet架构，但去掉了特征变换模块，同时引入了EdgeConv运算。具体而言，所提出的架构由点云变换块和EdgeConv块组成。前者通过拼接全局坐标与局部坐标来定义3×3的点云变换，从而将点云对齐到规范空间中；局部坐标是通过用中心点坐标减去kNN邻近点坐标得到的。后者即EdgeConv运算，它会在图边上应用基于卷积的运算，这一机制与图神经网络类似。更确切地说，作者为每个点构建了局部邻域图，通过边将邻近点连接起来以界定其邻域。具体来说，EdgeConv运算是通过（i）非线性函数和（ii）聚合函数来定义的。首先，通过计算有向图（如kNN图）来确定给定点云中每个点的局部结构；实际上，所生成的图的节点是三维点，这些节点通过边与邻近节点相连。其次，利用预定义的非线性函数对计算出的边赋予特征，也就是所谓的边特征。最后，通过对之前计算出的特征应用聚合函数，得到每个EdgeConv层的输出。总体而言，输出点云中的三维点数量与输入点云相同，但包含的边特征比输入点云更多。此外，作者详细阐述了不同非线性函数和聚合函数的选择，并指出一些最先进的方法（如PointNet）可视为EdgeConv运算的子集——只需选取合适的非线性和聚合函数组合即可。最后，他们引入了非对称边缘函数，该函数被选中用于DGCNN架构，因为他们认为它能有效融合全局和局部点云特征，且可被定义为共享的MLP。另外，作者发现，在特征空间而非欧几里得空间中寻找图的kNN，对网络性能有益；因此他们提出在每一层中动态更新图的kNN。综上所述，作者通过多种最先进方法作为基准，对DGCNN架构在三维分类、三维部件分割以及室内3D语义分割等一系列高级任务中的表现进行了评估。 李等人（2021年）[^106]发现，当前最先进的GCN模型层数较浅，这主要是由于梯度消失问题以及反向传播计算的高复杂性所致。因此，他们研究了将残差/密集连接和空洞卷积等源自CNN的技术迁移到GCN中，以构建用于3DSS等不同高层任务的深层GCN。首先，作者明确了图的定义；随后，他们阐述了GCN的一般概念，即更新函数（多层感知机、门控网络等）或非线性函数[^105]以及聚合（均值、最大值、注意力机制等）函数的定义与应用。在其框架中，作者选择了最大值聚合函数，并以带有批量归一化和ReLU激活函数的多层感知机作为更新函数。此外，他们描述了GCN中常用的固定图表示与Wang等人（2019年）提出的动态图表示之间的差异，得出后者对网络更为有利的结论。因此，他们引入了空洞kNN函数，以便在每层动态改变点的邻居，从而扩大GCN的感受野。之后，作者详细介绍了GCN的残差连接和空洞聚合操作。接着，他们分析了不同的深层GCN变体，例如将所引入的操作整合到EdgeConv中，以训练更深的GCN。最重要的是，作者采用大量图学习技术开展了详尽的实验过程。他们还提出了三种GCN骨干网络变体：PlainGCN、ResGCN和DenseGCN。在实验中，所选用的骨干网络是各架构间唯一不同的部分，也就是说，评估过程中重点考察的部分就是骨干网络架构。具体而言，PlainGCN架构与DGCNN类似。除了PlainGCN架构外，通过加入动态空洞kNN图和残差图连接便形成了ResGCN架构。最后， --- 通过将残差连接替换为密集图连接，便定义了DenseGCN。总之，作者通过大量的消融实验，对不同架构和模块进行了深入对比。
Table 6: Mean Intersection over Union (mIoU) and Overall Accuracy (OA) for the S3DIS Benchmark Datasets for the Graph Based Methods
AlgorithmYearS3DIS
mIoUOA
DGCNN201958.284.1
Deep GCN202160.085.9
### 5.5. 混合方法 离散化、基于点及降维的方法：Zhang等人（2020年）[^107]提出了PolarNet架构，旨在应对激光雷达点云的不规则特性以及大量细粒度语义类别的问题，同时保证实时感知性能。作者强调了感受野大小对二维语义分割性能的重要影响。不过他们指出，在三维语义分割中，感受野的形状与大小同样关键。首先，他们提出了鸟瞰图表示法，发现这种视角下的激光雷达扫描数据会以不同半径的环状结构排列点云。此外，他们指出若采用笛卡尔网格对鸟瞰图进行划分，会导致各网格单元内的点分布不均：距离激光雷达传感器越近的网格单元包含的点越多，距离越远则点越少；同时还存在大量空的笛卡尔网格单元。因此，他们提出了极坐标网格特征学习方法，以替代笛卡尔网格，从而利用前述的不同半径环状结构。具体而言，作者首先以激光雷达传感器为原点，计算每个点在XY平面上的方位角和半径，再根据算出的方位角和半径值将点分配到对应的网格单元，最终得到输入三维点云的鸟瞰图网格单元表示。实际上，每个网格单元类似于点柱体表示法[^108]，即具有XY平面坐标且Z方向的空间范围不受限。随后，每个单元内的点会被送入无需kNN操作的PointNet，再经过最大池化操作，生成一组固定长度的特征（1×512）。这些输出特征会根据对应网格单元的空间位置被存入环形矩阵中。此外，作者还提出了环形卷积算法，以环形矩阵作为输入来预测三维点的标签。具体来说，环形卷积是沿半径轴在环形矩阵上进行的运算。作者提到，任何二维卷积神经网络都可通过将传统卷积操作替换为离散环形卷积来处理这种表示形式。最后，他们将环形预测结果重塑为四维矩阵，以便应用基于体素的分割损失函数。总之，PolarNet融合了受点云处理、降维及离散化方法启发的一系列技术。作者还深入评估了PolarNet的性能，包括使用知名基准数据集开展的多次实验，以及与众多基线网络的对比分析。 Gerdzhev et al. (2020) [^109] proposed the TORNADO-Net architecture which included techniques proposed into the PolarNet [^107] and SalsaNext [^91] architecture. To be more specific, they used the general idea of PolarNet but they combined features from both BEV and Range images, under the pillar projection learning scheme. Furthermore, similar to SalsaNext, they used the same Range Image creation process as well as a similar to the Context Module called Diamond Contextual Block which included different 2D techniques to improve the SalsaNet architecture. However, the main contribution of this architecture was the implementation of a total loss function exploiting the combination of weighted cross entropy loss and Lovasz SoftMax loss, proposed in SalsaNext but with an addition of the total variation loss along with different weights for each part. Finally, a cut-off thresholding [^87] and a post processing approach using kNN [^87] were exploited to improve the networks performance. To conclude, the authors presented several quantitative and qualitative analysis achieving high end results, evaluated measuring the mIoU on the SemanticKITTI benchmark. --- 刘等人（2023年）[^110]指出，跨模态和跨视角融合方法尚未得到充分研究，而利用多模态数据和不同视角的点云所获取的信息彼此互补。此外，作者还发现3D点云携带详细的几何信息，而图像则包含详细的语义信息。因此，他们提出了UniSeg架构，该架构融合了从3D点云的-point、-range和-voxel表示中提取的特征，以及从2D图像中获取的特征，以提升3D语义分割和3D全景分割的性能。首先，作者采用传统方法——即MLP、球面投影图像、对体素表示进行最大池化以及ResNet架构——分别提取-point、-range、-voxel和图像特征。其次，他们提出了可学习的跨模态关联（LMA）模块和可学习的跨视角关联（LVA）模块，用于将-voxel和-range特征与图像特征融合，再将融合后的特征转换到点空间，随后根据点云的不同视角进行组合。具体而言，LMA模块将来自体素和距离表示的特征与图像特征融合，从而得到经过图像增强的体素和距离视角特征。更详细地说，对于每个体素，其体素特征及对应的图像特征会被送入多头交叉注意力模块，进而生成增强后的体素特征；距离视角特征的处理方式与体素特征类似，最终得到增强后的距离特征。在将增强后的特征送入LVA模块之前，先通过三线性插值和双线性插值将其转换到点空间，以解决数量不匹配的问题。之后，增强后的特征被送入LVA模块。此外，所有特征——即转换后的-range、-voxel特征以及点特征——会被拼接起来，形成多视角特征。接着，多视角特征会进一步处理，利用原始的点空间特征生成适应不同视角的特征，再将其投影回体素和距离表示，从而形成用于3D语义分割的最终特征集。总之，UniSeg架构会根据应用场景（即3D语义分割或3D全景分割）采用不同的头来处理生成的特征，同时该架构在SemanticKITTI、nuScenes和Waymo Open等基准数据集上进行了评估。 基于图与离散化的方法：Yan等人（2020年）[^111]发现，激光雷达生成的3D点云具有稀疏性，这会导致其在3D语义场景补全任务中表现不佳。他们还指出，将多时序扫描数据结合起来可以构建出场景的密集表示，进而提升3D语义场景补全任务的性能。不过，目前最先进的多时序方法通常仅能利用当前扫描前的数据，因此无法充分利用后续帧的信息。此外，这类方法采用了诸如kNN这类耗时较长的特征聚合技术，这增加了其在自动驾驶场景中的应用难度。因此，Yan等人（2020年）[^111]提出了JS3C-Net架构，该架构同时运用了3D语义场景补全模块和3D语义场景补全模块来同步提升两者的性能。具体而言，3D语义场景补全模块采用了基于Graham、Engelcke和Maaten（2018年）提出的SparseConv操作实现的U-Net架构，以生成基于体素的3D语义场景补全结果。随后，基于体素的预测结果通过最近邻插值方式映射到原始的3D点云上。接着，转换后的特征被输入到三个多层感知机中。第一个多层感知机将点级特征转换为形状嵌入，该嵌入随后被送入3D语义场景补全模块中的点-体素交互子模块。生成的形状嵌入会被多方面利用：首先，点级特征被输入到第二个多层感知机中，随后通过逐元素求和运算与形状嵌入进行融合；融合后的特征再被输入到第三个多层感知机，最终得到3D语义场景补全模块输出的3D点云语义分割预测结果，该结果也会作为3D语义场景补全模块的输入。此外，所提出的3D语义场景补全模块会先将生成的3D语义场景补全图进行密集体素化，从而创建出3D高分辨率体素，之后再利用卷积层、池化层、拼接层和上采样层以及跳跃连接来处理这些体素，以提取多尺度特征。最终，3D语义场景补全模块的输出是一组体素化的粗糙补全特征，这些特征也会被送入点-体素交互子模块。点-体素交互子模块会利用来自3D语义场景补全模块的形状嵌入以及来自3D语义场景补全模块的基于体素的粗糙补全结果，旨在将粗糙的补全结果转化为精细的结果。为实现这一目标，首先收集粗糙补全结果中非空体素的中心点来创建新的点云；接着找出形状嵌入与新点云之间的k个最近邻；最后堆叠多个受Wang等人（2019年）研究启发的图卷积网络层，利用这些kNN来生成精细化后的补全结果。 --- 综上所述，作者对其混合架构进行了评估，利用SemanticKITTI基准测试中的数据将其性能与现有最先进的方法进行了比较。 基于点和离散化的方法：Liu等人（2019年）[^113]发现，基于点的方法和基于体素的方法的局限性通常是互补的，因此将两者的技术结合可以构建出内存占用更低的3D深度学习模型。一方面，基于体素的方法会对给定的点云进行量化处理，这会导致信息丢失，但同时能生成具有良好内存局部性的规则表示形式，即模拟2D网格表示。另一方面，基于点的方法在克服不规则的内存访问问题以及计算点邻居与中心点之间的相对距离时存在显著的延迟。总体而言，点云虽然具有不规则的特性，但内存占用较小。基于此，作者提出了PVCNN架构作为一种混合方案，该架构利用所提出的点-体素卷积（PVConv）操作来发挥基于体素和基于点的方法的优势。具体来说，PVConv操作被拆分为两个分支：基于体素的特征聚合（VBFA）和基于点的特征变换（PBFT），分别用于提取粗粒度特征和细粒度特征。更详细而言，VBFA在体素化之前会先对给定的点云进行归一化处理。为实现这一点，需将3D点相对于点云的重心进行表示，并除以最大距离；最后对点进行缩放和平移，使其取值范围在0到1之间。归一化后的点云随后会被送入体素化步骤以生成3D体积表示。在这方面，作者给出了一张说明性图表，对比了GPU内存需求、信息丢失情况和体素分辨率。此外，在特征聚合步骤中，会利用3D体素网格应用多次3D卷积，随后进行批量归一化和非线性激活函数处理。最后，作者利用三线性插值将基于体素的特征映射回点云域。另外，PBFT直接应用于原始点云上的多层感知机，从而生成一组逐点特征。最终，分别由VBFA和PBFT生成的粗粒度特征与细粒度特征会通过加法操作进行融合。总之，作者针对所提架构与不同最先进方法进行了全面的实验和评估，结果表明PVCNN和PVConv既高效又有效。 唐等人（2020年）[^114]发现，由于点云的粗粒度体素化以及稀疏卷积的过度下采样，PVConv [^113]和稀疏卷积 [^104]操作难以捕捉3D场景中的小尺寸物体，尤其是在内存有限的硬件上。为克服这些局限，作者提出了稀疏点-体素卷积（SPVConv）模块以及3D神经架构搜索（3D-NAS）流程。具体而言，SPVConv操作包含基于点的分支和基于体素的分支，二者通过稀疏体素化和反体素化操作进行信息交互：前者保留了高分辨率细节，后者则以多感受野方式处理数据。首先，利用基于GPU的哈希表来表示数据，对原始点云进行稀疏体素化；随后，哈希表被应用于反体素化和特征聚合过程。更具体地说，特征聚合是通过稀疏卷积残差层实现的。通过基于体素的分支收集到的信息，经反体素化操作重新转换为3D点云。与此同时，原始点云会经过多层感知机处理，生成细节丰富的特征集。最终，来自基于体素和基于点两个分支的特征会被融合，用于点标注任务。此外，作者还提出了3D-NAS流程，该流程会自动评估多个模型，从而为每种应用场景找到最高效的模型。为此，作者通过纳入通道数和网络深度来定义搜索空间，最终依据预定义的硬件约束，采用进化式架构搜索来找到最高效的模型。总之，最佳模型在3DSS及其他下游任务中进行了评估，评估过程中使用了不同的前沿模型和SemanticKITTI数据集。 罗苏等人（2020年）[^115]提出了LatticeNet，这是一种用于3D语义分割的混合网络，它结合了PointNet架构和格结构。首先，作者详细介绍了论文中使用的符号、排列面体格结构以及现有的格操作，即Splatting、卷积和切片操作，这些与SplatNet架构类似。不过他们发现，在Splatting和切片操作中使用的权重…… --- 在SotA方法中，研究人员利用重心插值来定义模型，并指出通过将权重替换为一组可学习的参数，可以设计出更优的插值方式。此外，他们还提出了四种新的格子操作：Distribute、Downsampling、Upsampling和DeformSlicing。首先，Distribute操作旨在用一系列特征来丰富格子顶点。为实现这一点，需将参与点的坐标和特征拼接起来，再经由PointNet处理，从而得到最终的格子顶点值。在分配操作之前，坐标是参照参与点的平均值来定义的，这样就能包含语义类别的局部信息。作者还指出，这种操作方式旨在避免Splatting操作中简单的求和运算，进而确保信息能在网络中得以保留。Downsampling和Upsampling操作遵循相同的思路：首先通过反复将三维点云坐标除以2来生成粗格子；每一次迭代都会产生一个粗格子，而之前的格子则被视为细格子。在Downsampling操作中，先将粗格子放大两倍嵌入到对应的细格子空间中，使粗顶点映射到细顶点空间；随后对细格子顶点执行步长为1的卷积运算，从而得到粗顶点值，这一思路与步长卷积类似。而在Upsampling操作中，则是将细顶点除以2后嵌入到粗顶点空间，再执行步长为-0.5的卷积运算，这与转置卷积的原理相似。此外，DeformSlicing操作旨在通过学习调整重心坐标的位置来改进Slicing操作，也就是采用数据驱动的插值方式而非简单的重心插值。最后，作者提出了一种U-Net结构的网络，其组成依次为Distribute操作、一系列ResNet块、Downsampling与Upsampling操作，最后是DeformSlicing操作。总之，作者通过多项实验和消融研究来评估LatticeNet架构的性能。 Cheng et al. (2021) [^116] stated that the SotA methods for 3DSS were characterized by high computational complexity and inability to gather the fine details of small objects. To overcome these limitations, they proposed the (AF) $^{2}$-S3Net architecture, exploiting techniques from both the discretization and point based methods. To be more specific, the proposed network used the MinkNet42 [^104] as backbone, enriched with the Attentive Feature Fusion Module (AF2M) and the Adaptive Feature Selection Module (AFSM). First and foremost, the input point cloud was transformed into a sparse tensor, similar to the MinkowskiNet approach, containing the 3D cartesian coordinates along with per point normals and intensity, as features. Afterwards, the sparse tensor was fed into the hybrid AF2 module in which multi-scale point-wise and voxel based features were extracted using different branches. In total, three branches were used, the first one was focused on the fine details of smaller objects while the other two on global features using attention maps. Finally, the multi-branch features were fused using summation. Afterwards, the fused features were further processed by convolutional layers, in an encoder-decoder fashion, while each branch features were fed independently into the AFS module. In the AFS module, each branch features were firstly processed using convolutional layers resulting to a new set of features for each branch. Then, the new features were fused and fed into a shared squeeze re-weighting network [^117] resulting to the output of the module which was passed to the last transposed convolution for learning stability purposes. Finally, the predicted labels firstly for the sparse tensor and then for the original point cloud were exported from the network decoder. To conclude, the authors presented an evaluation of the proposed approach on two benchmark datasets for 3DSS and a qualitative analysis using several SotA methods. Zhu et al. (2021) [^118] stated that the dimensionality reduction based methods for 3DSS of outdoor scenes, inevitably lose a significant amount of information due to the projection operation. Furthermore, they stated that the discretization based methods were slightly improved the dimensionality reduction methods. Moreover, they observed that the outdoor 3D point clouds suffer from sparsity and varying density. To overcome these limitations, the authors proposed a new framework which incorporated two components: the Cylindrical Partition (CP) and the Asymmetrical 3D Convolution Network (A3DCN). To be more specific, the uniform cube voxelization process did not take into account the varying density of LiDAR outdoor point clouds i.e., the cell size was independent to the distance. The general idea of the authors was to use the cylindrical partition to follow the point density i.e., the cell size to be increased following the distance. Hence, the farther cells contained more points than their counterparts on uniform --- 立方体体素化，也就是说，这些单元格中的点分布更加均衡。作者详细阐述了均匀体素化和圆柱形体素化的优缺点。具体而言，CP组件首先将三维点从笛卡尔坐标系转换到圆柱坐标系，随后进行三维划分。与此同时，原始点云被输入到多个多层感知机中，生成一组特征并分配给对应的圆柱形单元格，从而收集到圆柱形特征集。之后，圆柱体被展开，得到的表示形式再被送入A3DCN组件。作者发现，物体通常占据圆柱形划分中的交叉区域，因此与其他单元格相比，这些单元格应得到强化，从而形成非对称的单元格操作。首先，作者定义了非对称的上采样和下采样操作。接着，非对称残差块增强了作用于交叉区域的核，并应用了一系列非对称的下采样和上采样操作。此后，采用基于维度分解的上下文建模（DDCM）组件，通过堆叠多个低秩特征来提取点云的全局上下文，最终得到基于离散化的3DSS——即每个单元格对应的标签，不过这种方式会导致信息丢失。为此，作者提出了逐点细化模块（PRM），以利用精细的细节来优化3DSS的输出。更具体地说，PRM首先将上述过程中得到的三维卷积特征投影为逐点特征。最后，一组与最初的多层感知机相互交互的多层感知机被用来融合逐点特征和体素特征，从而得到细化后的输出。总之，作者在SemanticKITTI和nuScenes数据集上对其框架进行了评估，并与各类最先进的方法进行了比较。 Yan et al. (2022) [^119] stated that modality specific 3DSS suffers from the limitations inherited by each sensor capability. Additionally, observed that the LiDAR and images complement each other and thus overcoming some of the limitations of each sensor and hence, fusion-base methods seem to be beneficial for 3DSS. However, different fusion techniques like the point-pixel correspondence construction along with the different Field-of-View (FOV) of the sensors and the more computational resources required, downgrade the SotA fusion based methods. To this end the authors proposed the 2D Priors Assisted Semantic Segmentation (2DPASS) framework aiming to overcome the aforementioned issues. To be more specific, each modality was processed using a modal-specific architecture. Concretely, the 2D encoder-decoder architecture was based on the ResNet34 architecture and the fully convolutional layer (FCN) while the 3D encoder-decoder architecture was based on the Sparse Convolution similar to the Tang et al. (2020) implementation, resulting to a 2D and a 3D set of multi-scale features. Moreover, the authors aim to use complementary information and thus to create point-pixel correspondences. To achieve that, the authors exploited the perspective projection along with a timestamp calibration between the two modalities. In fact, the authors used the 2D branch only during training using as 2D ground truths the projected ground truth 3D labels. Afterwards, the 2D-3D features were fused using the key component called Multi-Scale Fusion-to-Single Knowledge Distillation (MSFSKD). More specifically, the 3D features were fed into an MLP resulting to a new set of features which were further concatenated with the 2D features through another MLP gathering the fused features. However, similar to the ResNet idea the authors enhanced the original 3D features with the new set of features preserving the modality specific information through the process. Finally, both the fused and the 3D features were fed into independent classifiers gathering the semantic scores. To conclude, the authors evaluated their method on the SemanticKITTI and nuScenes benchmarks among a wide range of SotA methods. Point & Graph Based Methods: Landrieu and Simonovsky, (2018) [^120] observed that the SotA methods struggled to process large scale point clouds especially for 3DSS. Hence, they proposed a hybrid architecture which combined the point cloud graph representation with the PointNet architecture. Specifically, the main contribution was the SPGraph representation which was proposed to handle large scale point clouds. To be more specific, the proposed approach divided the 3DSS into four steps, Geometrically Homogeneous Partition (GHP), Superpoint Graph Construction (SGC), Superpoint Embedding (SE) and Contextual Segmentation (CS). The first step i.e., GHP, took as input the entire point cloud and aimed to decomposed it into different geometrically homogeneous parts. This process was similar to the simple segmentation. To achieve that, the neighborhood of each point was defined. Furthermore, several neighborhood characteristics were calculated e.g., linearity, planarity, scattering, verticality, elevation etc. based on the covariance matrix of points neighborhood which constitutes the features of the points in --- 除了上述观察结果外，还包括颜色、强度等特征。最终，利用邻接图技术和 $l_{0}$-割追踪算法 [^121] 找到了广义最小划分问题的近似解，从而得到了多个点组件，每个组件都构成了称为“超点”的均匀简单形状。此外，SGC的目标是创建一种称为SPG的有向属性图表示形式。更具体地说，SPG是一种图，其节点为前一步骤中生成的简单形状的3D超点集合，边则为这些超点之间的邻接关系，即所谓的超边。相邻超点是通过原始3D点云的对称Voronoi邻接图来定义的，而边的特征则是通过计算每组点的协方差矩阵来确定，进而得到表面比、体积比和长度比等不同特征。如此便创建了SPG表示形式。接下来，SE步骤旨在为每个超点找到描述符。为此，将PointNet架构应用于具有足够数量点的超点，并经过缩放处理。不过，在最大池化操作之后，原始的超点会被作为特征保留下来，以保存划分的原始形状。最后，利用超点中的每个点来确定SPG的值。SPG是一种基于数据的算法，它通过加权处理来自原始图像和新图像的数据。SPG是一种基于数据的算法，它通过加权处理来自原始图像和新图像的数据。SPG是一种基于数据的算法，它通过加权处理来自原始图像和新图像的数据。 通过神经网络、边缘条件卷积以及门控循环单元（GRU）生成点标签。最后，作者针对论文中涉及的每个术语进行了深入分析，同时评估了所提算法与现有最先进方法相比的表现，并使用了基准数据集进行测试。 降维与基于点的方法：Kochanov、Nejadasl和Booij（2020年）[^122] 提出了KPRNet架构，该架构利用了降维和基于点的方法。首先执行2DSS操作以生成2D标签，随后将2D标签投影回3D空间。作者发现，许多方法都会采用后处理步骤，利用kNN或CRF方法来优化重新投影后的标签；而他们则提出使用KPConv层来预测最终的3D标签。此外，作者指出，大多数降维方法都采用球面投影来生成距离图像，但他们建议按照激光雷达采集数据的方式展开扫描，从而生成比球面投影距离图像更平滑的距离图像。最后，作者在SemanticKITTI数据集上评估了KPRNet架构，并将相关指标与一些最先进方法的指标进行了比较。 Alonso et al. (2021) [^123] stated that the point based methods were computationally expensive due to the 3D point neighborhood search and that the 3D space operations were more complex than those in 2D space. Thus, they proposed the 3D-MiniNet architecture to overcome the aforementioned limitations. Specifically, the 3D-MiniNet architecture was decomposed into three submodules the Fast 3D Point Neighbor Search (F3PNS), 3D-MiniNet and Post-Processing. Firstly, the F3PNS module received the original 3D point cloud and projected it using the spherical projection. Then, the neighborhood of each point was gathered using a sliding window onto the spherical image. Afterwards, the features of each point of a neighborhood, were augmented computing the relative features to the mean point of them, resulting to a set of eleven features for each point. Furthermore, the 3D-MiniNet module had two submodules the Projection Learning Module (PLM) and the 2D Segmentation Module (2DSM). Firstly, the PLM extracted three types of features, the Local, Context and Spatial and finally fused them. To be more specific, the input group of points, defined into the F3PNS, were fed into the Local Feature Extractor (LFE) extracting PointNet like features. Meanwhile, after the second layer of the LFE the points and their features were fed into the Context Feature Extractor (CFE) in which the neighbor search implementation was applied using different window sizes resulting to an informative set of features. Both features, i.e., from LFE and CFE were concatenated and fed into the max pooling operation. Additionally, the input groups were also fed into the Spatial Feature Extractor (SFE) in which a convolution based implementation was applied. Then, the fused features were further concatenated with the SFE features and fed into the Feature Fusion (FF) submodule which fused the concatenated features using a three steps process. Firstly, the concatenated features were fed into a reshaping process. Meanwhile, the concatenated features were processed using average pooling, a 1x1 convolution and a sigmoid function. Afterwards self-attention was applied by multiplying the reshaped features and the computed features. Finally, the features were reduced to fed into the 2DSM module. More concretely, the 2DSM contained two branches. The first branch took as input the output of the PLM and processed using the MiniNet architecture. The second branch took as input the spherical image and processed it to extract high resolution features. Finally, the 2DSS labels were extracted and reprojected back into 3D space. --- Afterwards a kNN based postprocessing approach similar to Milioto et al. (2019) was applied. To conclude, the authors evaluated the 3DMiniNet architecture using the SemanticKITTI dataset and compared it with different SotA methods. Robert、Vallet和Landrieu（2022）[^124]提出了一种混合式3DSS方法，该方法利用了3D点云以及一组图像及其位姿信息。作者指出，总体而言，图像在捕捉纹理和上下文信息方面比3D点云表现更好。因此，所提出的方法旨在根据图像的观测条件对其进行评估，最终将其与3D点云结合用于3DSS任务。首先，构建了点-像素映射（PPM）流程，将每个3D点与能观察到该点的图像关联起来。为此，采用了类似Z缓冲的方法，为每个3D点生成对应的图像集合。随后，通过评估这些图像中的像素点对，利用包含归一化深度、局部几何描述符、局部密度以及相对于法向量的观测角等参数的向量来提取观测条件。 此外，作者利用输入数据及PPM的输出结果，为每个点提取多种特征。作者指出，基于前述的观测条件，不同图像可发挥不同作用，分别提供详细的纹理信息或重要的上下文线索等。为此，作者采用深度集架构来预测一个表征3D点对应图像质量的向量。接着，将该预测出的质量向量输入SoftMax函数以得到注意力分数。若图像质量较差，作者会通过一个门控参数阻止从中提取相关特征，仅依赖几何信息。 最后，将某个3D点所属图像集中各图像的特征进行融合，并赋予该3D点。作者将上述方法称为多视角特征聚合方法，并将其应用于双模态点-图像网络以实现3DSS任务。具体而言，所提出的双模态网络由2D FCN、3D编解码器网络以及2D-3D特征融合策略组成。总之，作者研究了早期融合、中期融合和后期融合等不同融合技术，并在S3DIS、ScanNet和KITTI-360三个基准数据集上将该网络与多种先进方法进行了对比评估。 Wang, Zhu and Zhang (2022) [^125] observed that autonomous vehicles capture sequences of LiDAR data while the SotA 3DSS methods usually processed them using a single frame at a time. Hence, they proposed a range residual spherical image representation, aiming to capture both the spatial and temporal information of LiDAR sequential data for 3DSS. More specifically, the proposed approach called Meta-RangeSeg, was composed by three steps the Range Residual Image Generation, the Feature Extraction and the Post processing. The former step created a nine-channel spherical residual image representation of the sequential 3D point clouds. To be more specific, the authors called the proposed representation as residual because they included three residual channels to the created spherical images, in addition to the remission, the 3D coordinates and an indicator m, which defined if a pixel position was a projected point or not. More concretely, the residual channels number was equal to the sequential frames that were used in addition to the current frame. The authors included three previous LiDAR scans hence the residual channels were three the d1, d2 and d3. Specifically, the residual channels were created applying three steps. Firstly, the 3D point clouds of the previous frames were transformed into the coordinate system of the current frame. After, the transformed point clouds were projected, creating range images. Finally, the residual images were created by calculating the absolute difference among the range images of the previous frames and the range image of the current frame. Moreover, the created spherical images were fed into the feature extraction step, which included the MetaKernel and the U-Net blocks. The MetaKernel block included a sliding 5x5 window on the spherical image, used to indicate the point neighbors. Then, the relative 3D coordinates and range of the neighborhood in respect to the center point were calculated and fed into an MLP. Finally, element-wise product between the learned weights and the MLP features was calculated followed by a concatenation and 1x1 convolution operations, resulting to a set of Meta-features. Afterwards, the meta-Features were fed into a U-Net encoder – decoder network with four downsampling layers and upsampling layers with skip connections. Hence, two types of features were produced the meta-features, using the MetaKernel, and the multi-scale features, using the meta-features fed into a UNet network. Following, the Post Processing step was applied, taking as input only the range channel, as the most valuable one regarding the authors, the multi-scale features and the meta features under the Feature Aggregation Module (FAM). Firstly, the range channel was fed into the Context Module presented into the SalsaNext [^91] architecture, followed --- 接下来会进行多次拼接、卷积、批量归一化、ReLU激活以及逐元素相乘操作。生成的特征会与多尺度特征融合，形成距离引导特征，再将其与元特征进行拼接。拼接之后，会再应用多层相同的操作，即卷积、批量归一化等，最终得到一组2D标签。最后，按照Milioto等人（2019）提出的kNN后处理方法，将2D标签转换为3D预测结果。总之，作者使用SemanticKITTI [^67]和SemanticPOSS [^126]基准数据集，并采用mIoU指标对Meta-RangeSeg算法进行了评估。 Dimensionality Reduction & Discretization Based Methods: Wu et. (2024) [^127] observed that the advancements of 2D deep learning methods were based on the scale principals e.g., dataset size, the number of the model parameters, the size of the receptive field etc. However, the investigation of the scale principals in 3D domain was not a straightforward process due to the limited size and diversity of the available 3D point cloud datasets. Additionally, by observing the advantages of the Sparse Convolution [^104] especially using large 3D point clouds, they hypothesized that the 3D deed learning algorithms performance was linked with the scale principals more than the complex architecture designs. Hence, Wu et. al. (2024) [^127] motivated by the introduction of scale principals into transformers, proposed the PTv3 architecture. In fact, the SoTA methods commonly investigate a tradeoff between the efficiency and accuracy. To be more specific, the authors emphasize the simplicity and efficiency over the accuracy in order to leverage the scale principals. Firstly, they propose a different to the kNN neighborhood extraction process, by using point cloud serialization along with specific patterns using space filling curves. Specifically, the 3D point cloud was transformed into a structured format using the space-filling curves and transforming the position of every 3D point to an integer which represented its order regarding the space filling curve. During the point cloud serialization, the neighboring points were not changed i.e., the points locality was preserved while a structured format was created. Following, the created representation the authors proposed the Patch Attention mechanism which was decomposed into the Patch Grouping and Patch Interaction designs. In more detail, the former uses the reordering and padding operations based on the serialization pattern, and neighboring patches respectively. The latter, described the interaction among points belonging to different patches using different techniques like Shift Patch, Shuffle Order etc. Finally, the overall architecture was designed using a U-Net structure. To conclude, the PTv3 architecture was evaluated on different tasks and benchmarks with remarkable results.
Table 7: Mean Intersection over Union (mIoU) and Overall Accuracy (OA) for Different Benchmark Datasets for the Hybrid Based Methods
AlgorithmYearSemantic3DNuScenesSemanticKITTIS3DISSensat Urban
mIoUOAmIoUOAmIoUOAmIoUOAmIoUOA
PolarNet2020------69.454.390.0------------
TORNADO-Net2020------------63.190.7------------
UniSeg2023------83.5---75.2---------------
JS3C-Net2020------73.6---66.0---------------
PVCNN2019------------------58.98---------
SPVConv2020------77.4---67.0---------------
LatticeNet2020------------52.9---------------
(AF) $^{2}$-S3Net2021------78.3---69.7---------------
Cylinder3D2021------------67.8---------------
2DPASS2022------80.8---------------------
SPGraph201876.294.0------20.0---63.286.437.2985.27
KPRNet2020------------63.1---------------
3D-MiniNet2021------------55.889.7------------
DeepViewAgg2022------------------69.5---------
Meta-RangeSeg2022------------61.0---------------
PTv32024------83.0---75.5---80.81---------
--- ### 6. LOSS FUNCTIONS IN 3D SEMANTIC SEGMENTATION The loss or objective function is an integral part of deep learning algorithms. During the research conducted about deep learning algorithms in 3DSS several loss functions have been encountered. For instance, the Boundary loss [^125], the Consistency loss [^128], the Contextual loss [^129], the Contrastive loss [^130], [^131], the Dice loss [^101], the Focal loss [^82], [^97], [^132], [^133], [^134] and Total Variation loss [^109]. However, a detailed analysis of the 3DSS loss functions is out of the scope of this effort. Thus, a small part of them is presented in this section. Categorical Cross Entropy Loss: One of the main losses used in 3DSS is the categorical cross entropy loss, which measures the difference between the predicted and the ground truth value formulated as: $$ \begin{array}{c} L_{ce}(y,\hat{y})=-\frac{1}{N}\displaystyle\sum_{i}^{N}\displaystyle\sum_{j}^{C} y_{ij}\log\hat{y}_{ij}\end{array} $$ Where: N: Number of samples C: Number of Classes • y: Ground Truth Label • y: Predicted Label 加权交叉熵损失：实际上，交叉熵损失并未考虑各类别的出现频率，而现实世界中的大多数数据都存在类别不平衡问题。因此，在三维语义分割中，加权交叉熵损失常被用作总损失的一部分，利用各类别的频率来解决类别不平衡问题。 $$ \begin{array}{r}{L_{w c e}(y,\hat{y})=-\frac{1}{N}\displaystyle\sum_{i}^{N}\displaystyle\sum_{j}^{C}\frac{1}{\sqrt{f_{j}}}y_{i j}\log\hat{y}_{i j}}\end{array} $$ 其中： N：样本数量 C：类别数量 • f：类别频率 • y：真实标签 • y：预测标签 地理感知各向异性损失：Liu等人（2020年）提出了一种指标，该指标考虑了当前体素与其相邻体素之间语义类别的差异性。具体而言，作者将这一指标称为局部几何各向异性，当处于语义类别边缘的体素被研究时，即相邻体素的类别与研究中的体素不同时，该指标取值更高。总体而言，LGA是一个用于量化体素位置重要性的因子，已被纳入作者提出的PA-Loss中。在三维语义分割中，LGA用于恢复三维点云的精细细节，并与其他损失函数结合形成总损失 [^116]、[^136]。通常，LGA会被纳入如下定义的地理感知各向异性损失中： $$ \begin{array}{r}{L_{g e o}(y,\hat{y})=-\frac{1}{N}\displaystyle\sum_{i,j,k}\displaystyle\sum_{c=1}^{c}\frac{M_{L G A}}{\phi}y_{i j k,c}\log\hat{y}_{i j k,c}}\end{array} $$ 其中： --- N：位于l、j、k处的体素邻域 c：类别C中的当前类别 $M_{LGA}$：局部几何各向异性指标 • y：真实标签 • y：预测标签 • $\Phi$：滑动窗口 Lovasz-SoftMax损失：一般来说，二维和三维语义分割中最常用的评估指标是平均交并比得分（mIoU）或杰卡德指数。Berman、Triki和Blaschko（2018年）提出了Lovasz-SoftMax损失以最大化IoU得分。通常，Lovasz-SoftMax损失会被纳入三维语义分割方法中，以保留数据中的精细细节 [^91]、[^93]、[^94]、[^109]、[^125]。不过，Lovasz-Softmax损失在计算过程中并未考虑点的邻域信息，这可能导致噪声预测结果 [^109]。Lovasz-SoftMax损失的定义如下： $$ L_{l s}=\frac{1}{|C|}\sum_{c\in C}\overline{{\varDelta_{J c}}}\bigl(m(c)\bigr),\qquad{a n d~}m_{i}=\left\{\begin{matrix}{1-x_{i}(c)}&{{~i f~}c=y_{i}(c)}\\ {x_{(i)}(c)}&{{~o t h e r w i s e~}}\\ \end{matrix}\right. $$ 其中： |C|：类别数量 • $\overline{\Delta}_{jc}$：杰卡德指数的Lovasz扩展 • $x_{(i)}(c) \in [0,1]$：点I属于类别c的预测概率 • $y_i(c) \in \{-1,1\}$：真实标签 ## 7. 讨论 本节对所研究的三维语义分割算法和数据集进行了深入分析，旨在为三维语义分割领域的新研究方向和应用提供借鉴。首先，图2展示了所纳入的三维语义分割方法的时间线。随后，表8总结了所纳入的方法及其代码实现情况。 --- ![Image](images/7f648fefc55c57de24d171608e09f52368a913eeba51ebd2e80ff32b443c2538.jpg)
Figure 2: The timeline of the methods included. Point Based Methods (Blue), Dimensionality Reduction Based Methods (Green), Discretization Based Methods (Yellow), Graph Based Methods (Orange), Hybrid Based Methods (Pink)
Table 8: The Included Methods for 3DSS Along with their Code Implementations
AlgorithmCategoryYearCode
PointNetPB2017https://github.com/charlesq34/pointnet
PointNet++PB2017https://github.com/charlesq34/pointnet2
SqueezeSegDRB2017https://github.com/BichenWuUCB/SqueezeSeg
OctNetDB2017https://github.com/griegler/octnet
PointCNNPB2018https://github.com/yangyanli/PointCNN
RSNetsPB2018---
SqueezeSegV2DRB2018---
TangenConvDRB2018---
SPLATNetDB2018https://suhangpro.github.io/splatnet/
SPGRaphHB2018https://github.com/loicland/superpoint_graph.
KPConvPB2019https://github.com/HuguesTHOMAS/KPConv
RangeNet++DRB2019https://github.com/PRBonn/lidar-bonnetal.
MinkowskiNetDB2019https://github.com/StanfordVL/MinkowskiEngine
DGCNNGB2019https://github.com/WangYueFt/dgcnn
PVCNNHB2019https://github.com/mit-han-lab/pvcnn
RandLA-NetPB2020https://github.com/QingyongHu/RandLA-Net\nhttps://github.com/aRIOU/RandLA-Net-pytorch
SqueezeSegV3DRB2020https://github.com/chenfengxu714/SqueezeSegV3.
SalsaNextDRB2020https://github.com/TiagoCortinhal/SalsaNext
MPFDRB2020---
PolarNetHB2020https://github.com/edwardzhou130/PolarSeg
TORNADO-NetHB2020---
JS3C-NetHB2020https://github.com/yanx27/JS3C-Net.
SPVConvHB2020https://github.com/mit-han-lab/torchsparse\nhttps://github.com/mit-han-lab/spvnas
LatticeNetHB2020https://github.com/AIS-Bonn/lattice_net.
---
KPRNetHB2020https://github.com/DeyvidKochanov-TomTom/kprnet
SCF-NetPB2021https://github.com/leofansq/SCF-Net
FG-NetPB2021https://github.com/KangchengLiu/Feature-Geometric-Net-FG-Net
PTv1PB2021https://github.com/POSTECH-CVLab/point-transformer (Unofficial)
style='text-align: center; word-wrap: break-word;'>BAAF-NetPB2021https://github.com/ShiQiu0419/BAAF-Net
FPS-NetDRB2021https://github.com/xiaoaoran/FPS-Net
MINetDRB2021https://github.com/sj-li/MINet
Efficient BEVDRB2021---
DeepGCNGB2021https://github.com/lightaime/deep_gcns_torch
style='text-align: center; word-wrap: break-word;'>$(AF)^{2}$_S3NetHB2021---
Cylinder3DHB2021https://github.com/xing008/Cylinder3D
3D-MiniNetHB2021https://sites.google.com/a/unizar.es/semanticseg/
style='text-align: center; word-wrap: break-word;'>PTv2PB2022https://github.com/Pointcept/Pointcept
GFNetDRB2022https://github.com/haibo-qiu/GFNet
2DPASSHB2022https://github.com/yanx27/2DPASS
DeepViewAggHB2022https://github.com/drprojects/DeepViewAgg
Meta-RangeSegHB2022https://github.com/songw-zju/Meta-RangeSeg
UniSegHB2023https://github.com/PJLab-ADG/PCSeg
PTv3HB2024https://github.com/Pointcept/PointTransformerV3
在第2节中，我们对以往的综述论文进行了分析，旨在为3DSS方法定义一个统一的分类体系。无论3DSS算法属于哪一类——基于点、降维、离散化、图或混合类型——它们都旨在解决类似的问题，比如计算成本和内存消耗、算法执行过程中的信息丢失、3D点云的特性（如稀疏性和不规则性）以及引入新的特征提取策略等。不过，根据所属类别的不同，它们的优缺点以及新的研究方向也各具特色。 关于3DSS方法的分类：具体而言，基于点的方法直接应用于给定的3D点云，提取有意义的3DSS点特征，因此无需额外的计算时间来创建数据的中间表示。这样一来，数据的3D空间结构信息得以保留，而不会丢失详细的几何信息[^125]。在使用基于点的方法进行3DSS处理时，关键在于算法执行过程中能保留数据的详细几何信息。在这方面，用于确定每个邻域质心点的采样方法是核心环节。最常用的采样方法是最远点采样（FPS）[^68]、[^69]、[^78]、[^138]。不过，有几种方法指出FPS耗时较长[^70]、[^139]，而其他采样方法如随机采样（RS）则能在保持高质量结果的同时缩短执行时间。实际上，由于随机选取点可能导致有用的点特征被丢弃[^70]，RS也存在一些缺点。因此，建议研究新的点采样策略，以提升基于点的方法的效率和效果。总体而言，[^70]对多种采样方法进行了深入分析，可作为参考资料。 此外，点的邻域定义对于保留点云的局部信息以及算法的执行时间有着重要影响。定义点邻域最常用的方法是k最近邻（kNN）和球查询算法。一般来说，基于点的方法会将大部分执行时间用于确定点的邻域，也就是处理随机内存访问问题，或者换句话说，将点邻居提取到连续空间中，而非用于特征提取[^95]、[^104]、[^113]、[^114]。通常，由于邻域定义步骤的存在，基于点的方法在大规模点云处理中往往被认为不可靠且耗时较长[^1]、[^90]、[^91]、[^94]、[^116]。 --- [^125], [^139], [^140], [^141]。实际上，基于点的方法是通过点云划分技术应用于大规模点云的。然而，这种划分操作会破坏点云的全局一致性，从而导致全局特征变弱 [^142]。此外，kNN算法不足以建模点的局部邻域 [^143]。因此，为了缓解在大规模点云上应用基于点的方法时遇到的问题，有必要研究定义点邻域的高效技术 [^144]。最终，对点邻域更高效的定义将进一步改善点邻域内所包含的局部信息的保留效果，从而让基于点的3DSS方法能够应用于更精细的场景，例如点云序列化。 此外，应用于点邻域以转换3DSS局部特征的局部特征聚合方法，对于保留局部信息至关重要。实际上，由于点云的特性以及3D点之间缺乏明确的关系，从点邻域中提取局部信息颇具挑战性 [^145]。而且，现有的3DSS方法无法充分捕捉局部信息 [^51], [^76], [^146]。一般来说，基于点的3DSS算法中的局部特征聚合操作通常采用最大值或求和运算。然而，这些运算往往会丢失几何结构的信息 [^147]。更深入地说，局部聚合方式在不同类别上的应用会影响模型性能。通常，现有3DSS算法对所有类别采用相同的聚合操作，这可能会导致相似类别之间产生混淆 [^148], [^149]。另外，点云中呈现的复杂细节会导致类别间的模式失衡——要么使得开发的算法只能学习到占主导地位的类别 [^150]，要么在同一类别内部造成模式失衡，进而降低模型性能 [^151]。总体而言，改进局部聚合算子将对基于点的3DSS算法产生多方面的积极影响，因此建议对此展开研究。一般来说，[^152] 对局部聚合算子进行了深入分析，他们惊讶地发现，复杂的局部聚合算子在采用相同残差网络时，其表现与传统算子相近。因此，这可以作为进一步探索的参考。 此外，大多数3DSS算法侧重于局部特征提取，而对全局特征的关注较少，而全局特征对3DSS算法的性能至关重要 [^153], [^154], [^155], [^156]。因此，可以研究全局特征提取过程以提升3DSS算法的性能。除了局部和全局特征提取外，多尺度特征提取也受到了研究，旨在获取多分辨率信息，从而提高3DSS方法的性能 [^157], [^158]。最后，与基于离散化的方法相比，基于点的方法所需的GPU内存更少 [^113]，同时它们在许多3D任务中也能取得优异的结果 [^90], [^152]。 一般来说，基于降维的方法会将给定的点云投影到低维空间，在该空间中对数据执行语义分割，然后再将其重新投影到三维空间。利用上述方法，基于降维的方法试图通过构建数据的规则化表示来消除三维点云的无结构性和不规则性。 然而，创建这种表示需要额外的计算时间，而且由于将三维数据投影到低维空间，还会导致信息丢失，比如几何信息和点云的细节[^1], [^70], [^73], [^78], [^87], [^97], [^116], [^118], [^136], [^139], [^152], [^159]。尽管创建新表示需要额外的计算时间，但基于降维的方法还是克服了基于点和基于图的方法中存在的昂贵的三维计算问题[^107]。此外，投影过程会改变并丢弃数据的三维拓扑结构和几何关系[^118], [^125], [^136], [^160]。不过，基于降维的方法可以借助成熟的二维语义分割算法和二维语义分割数据集，从而跟进这些领域的发展[^95], [^97], [^107]。总体而言，基于降维的方法看似速度较快，但却未能充分利用三维数据的优势[^91], [^123]。 此外，基于降维的方法还需要经过后处理步骤，才能将低维空间中获取的语义信息重新投影到三维空间。实际上，由于在低维空间生成的标签较为平滑，再被投影到三维空间后会影响三维语义分割的性能[^87], [^122]，因此通常需要采用细化技术来获得高质量的结果。这一问题被定义为标签重投影问题。 --- 最初的研究尝试使用条件随机场来解决这一标签重投影问题[^82]。一般来说，处理标签重投影问题最常用的方法是RangeNet++中采用的kNN算法[^87]。最近，有人提出了一种替代的后处理方案，即利用KPConv网络来避开kNN方法[^73], [^2], [^122]。总的来说，还可以探索新的后处理技术来缓解标签重投影问题。 实际上，基于降维的方法会堆叠多个通道，从三维点云数据生成多通道范围图像。通常，生成的图像包含x、y、z、距离以及反射率或强度等通道。然而，这类图像的特征分布与RGB图像存在差异。Xu等人（2020）指出，卷积运算在处理空间变化的特征图像时表现不佳。此外，Xiao等人（2021）指出每个通道具有独特的特性，因此应区别对待。总体而言，研究开发的算法如何充分利用基于降维的方法所生成的多通道图像中的信息，将具有重要意义。 此外，DRB方法最常使用的是3D数据的球面投影。不过，还有其他投影方式，比如鸟瞰图（BEV），它们也被用于执行3D语义分割。Jiang等人（2023）指出，采用BEV投影的方法能够在3D语义分割中实现实时推理。最近，人们结合多种投影方式来执行3D语义分割，并认为每种投影都包含对另一种投影而言互补的信息[^2]，[^97]。因此，可以进一步探索各种投影方式，以便充分利用点云中的3D信息，例如利用扫描展开技术[^122]。 实际上，基于点的方法和基于离散化（DB）的方法在特征提取过程上有些相似，即两者都利用点的邻域来提取特征，不过邻域的定义有所不同，分别是采用kNN或体素。DB方法会将非结构化的点云转换为规则的表示形式，比如体素网格，从而可以应用众所周知的卷积运算。然而，由于给定点云的密度以及体素网格分辨率的要求，体素数量会呈立方级增长，因此创建规则网格是一项耗时的操作[^1]，[^2]，[^70]，[^72]，[^78]，[^80]，[^87]，[^88]，[^97]，[^102]，[^104]，[^111]，[^113]，[^114]，[^139]，[^152]，[^159]，[^162]，[^163]。此外，对给定点云进行量化会导致信息丢失，尤其是当不同类别的点被包含在同一个体素中，或是使用大规模点云时[^1]，[^93]，[^105]，[^113]，[^114]，[^139]，[^152]，[^159]，[^164]。主要来说，DB方法的计算成本源于大量空体素，也就是计算中涉及的空白空间。因此，人们引入了八叉树、kd树和哈希表等稀疏结构[^67]，[^73]，[^80]，[^88]，[^102]，[^104]，[^162]，以及条件随机场等后处理技术[^67]，[^80]，以缓解上述问题。不过，基于稀疏体素的方法所使用的卷积核较小，因而会损害网络性能[^165]。此外，基于体素的方法具有良好的内存局部性，即由于规则网格表示形式而能够保留空间关系[^113]，[^139]。总之，DB方法通常单独应用，也会与其他方法（如基于点的方法）结合，形成混合架构。建议进一步研究利用DB方法优势的混合架构。此外，高维格子也可作为探索多模态3D语义分割的基础。 总体而言，基于图（GB）的方法旨在创建新的图表示，然后利用卷积运算提取三维特征。不过，这种表示的创建过程十分耗时 [^139]。此外，GB方法通常局限于非常浅层的模型 [^106]。然而，数据的图表示能够保留数据的局部几何结构，同时还能捕捉复杂的形状。而且，边可以用来承载其中的特征 [^105]。最后，图表示还可以应用于三维欧几里得空间之外的其他空间，例如特征空间 [^105]，这对于构建混合方法而言具有明显优势。 三维语义分割（3DSS）方法主要分为四大类：基于点的方法、降维方法、离散化方法和基于图的方法。这些类别通常会被组合在一起，从而形成能够发挥各自优势并弥补彼此不足的架构。一般来说，感受野对二维和三维模型的性能都有着重要影响。 --- 不过在三维空间中，除了感受野的大小之外，形状同样至关重要 [^104], [^107]。因此，一些采用离散化方法的混合方案试图定义出符合激光雷达点分布的体素，例如使用极坐标网格 [^107]，或者根据三维点的距离采用不同大小的圆柱形体素 [^118]，又或是交叉形状的体素 [^104]。实际上，基于激光雷达的方法在3DSS研究领域占据主导地位，因此不同形状的体素都是依据激光雷达点云的采集方式来设计的。进一步探索其他类型的体素形状将会很有意义。 此外，离散化方法和基于点的方法通常会被结合起来，分别利用高效的内存局部性和细粒度细节的提取能力 [^113], [^114], [^116], [^118]，具体是通过双分支特征提取方式来实现。利用不同方法获取的特征，可以探索不同的融合策略，比如早期融合或晚期融合。 另外，不同数据模态之间的互补性也常被研究，主要是通过将图像和三维点云相结合来实现 [^119], [^124]。总体思路是：图像比三维点云包含更丰富的纹理和上下文信息。总之，为了提升3DSS算法的性能和效率，还需进一步探索不同类别的3DSS方法之间的互补性。 关于数据集和数据：总体而言，大多数3D语义分割算法都是通过监督学习训练的，也就是说需要利用已有的3D真实标注信息。第3节中介绍了多种用于室内外环境的3D语义分割数据集。实际上，大部分数据集分别是利用RGB-D相机和激光雷达传感器在室内和室外环境中采集的。此外，现有数据集采用的传感器也相同，比如室内场景使用的Matterport相机以及室外场景使用的Velodyne激光雷达。一方面，由于数据采集传感器类型相同，因此将这些数据集结合起来会更加简便 [^166]。另一方面，应当发布采用不同采集方法（例如使用摄影测量技术或其他传感器）的数据集。更具体地说，利用激光雷达传感器生成的3D点云，在点密度和点分布方面与通过摄影测量或地面激光扫描仪生成的点云存在显著差异。因此，为了探索基于这些技术的3D语义分割概念，应当发布更多采用此类技术的数据集。 此外，探索多模态的3D语义分割数据集并不多。具体而言，应当研究多模态3D语义分割分割技术，即利用不同类型数据的互补信息来提升3D语义分割性能，例如将图像与3D点云或其他类型数据（如文本）结合使用。上述问题也被称为感知鸿沟问题 [^9]。不过，上述研究需要依托构建完善的基准数据集来支持，而目前这类数据集尚属稀缺。 此外，为了让3D语义分割算法具备更好的泛化能力，应当提供来自不同地理位置的数据。事实上，现有的3D语义分割数据集并未覆盖不同的地理位置 [^166]。因此，为了提升3D语义分割算法的解析能力，应当发布来自地球上不同地点的数据集。 此外，数据集普遍存在的问题是类别不平衡问题 [^91]、[^93]、[^95]。更具体地说，各类别的点数量存在显著差异，例如摩托车类别的点数量会少于街道或路面类别，从而导致3D语义分割在这些类别上的表现不佳。此外，各类别实例之间的内部几何结构对3D语义分割算法的性能也有重要影响。建议进一步探究类别不平衡问题以及各类别内部几何结构的差异，以提升3D语义分割算法在这些类别上的性能。 总体而言，现有的3D语义分割数据集提供的是静态信息，即特定时间点的信息。因此，为同一场景创建时空数据集，将对建筑施工检查等多种应用场景大有裨益。 最后，为了提升各应用场景下的3D语义分割性能，有必要创建面向特定应用的数据集，比如建筑、文化遗产、气候变化等领域的数据集。不过这一过程既耗时又繁琐，还需要专家参与标注工作。创建面向实际应用的数据集的替代方案是制作面向应用的合成数据集。然而，由于域偏移问题——即真实数据与合成数据之间的采集环境存在差异——这种方法存在局限性。 --- 关于应用场景：总体而言，应用场景对3D语义分割算法的特性有着重要影响。具体而言，某些应用场景需要实时3D语义分割算法，例如在自动驾驶场景中。此外，其他应用场景需要轻量级架构，比如基于嵌入式系统的应用；还有一些应用场景由于可用数据规模庞大（如城市级3D语义分割），因此需要独特的实现方式。总之，针对特定应用场景进一步探索新方法或改进现有方法是很有必要的。 关于学习方法：实际上，目前大多数现有的3D语义分割方法都采用监督式学习方法，即利用现有的3D真实标注数据进行算法训练。然而，这类数据的创建过程既耗时又繁琐，这通常被称为“数据饥渴问题”[^9]，也就是说，现有算法需要大量精细标注的数据来进行训练[^52]、[^86]、[^167]、[^168]。此外，手动标注数据的过程极易出错，尤其是在3D领域更是如此[^169]、[^170]。为此，人们提出了半监督学习、弱监督学习、少样本/零样本学习甚至无监督学习等其他学习方法，以缓解上述局限性[^168]、[^171]。更具体地说，在3D空间中，鉴于难以找到面向应用场景的数据集，运用这些学习技术显得尤为重要。此外，这些技术还可用于为现有数据集补充新类别、未见过的物体，也就是解决开放集问题。而且，目前已经出现了较为简单的标注类型，比如涂鸦标注[^128]，它们为创建标注数据集提供了更简便的方式。 furthermore，可以采用持续学习技术来进一步提升3D语义分割算法的解析能力。为此，还可以探索利用现有信息提取更多场景相关知识的方法，这通常被称为语义鸿沟问题[^9]。总之，为了缓解数据饥渴问题并构建开放集3D语义分割方案，建议探索除监督式学习之外的其他3D语义分割技术。 ## 8. 结论 在这项研究中，我们详细梳理了过去几年里最值得关注的深度学习3D语义分割算法及数据集。首先，基于对现有方法的分析以及对以往综述论文的调研，我们提出了一套统一的分类体系。具体来说，我们将3D语义分割方法分为基于点的方法、降维方法、离散化方法、图方法和混合方法。此外，我们还全面回顾了现有的室内外3D语义分割基准测试及其特点和评估指标。同时，文中也简要介绍了3D语义分割中使用的损失函数。更进一步，我们对所研究的3D语义分割算法和数据集进行了深入讨论，旨在为该领域的新研究方向和应用提供启发。最后，我们还提供了一个GitHub仓库()，其中包含了超过400种3D语义分割算法的快速分类信息。 ### 致谢 本手稿获得了Laura Bassi奖学金——2024年春季奖，该奖项由$\underline{\text{Bassi Foundation}}$和$\underline{\text{Editing Press}}$颁发，作为第一作者于NTUA攻读博士学位期间的研究成果。 ### 参考文献 [^1]: S. Fan, Q. Dong, F. Zhu, Y. Lv, P. Ye, and F.-Y. Wang, "SCF-Net: Learning Spatial Contextual Features for Large-Scale Point Cloud Segmentation," in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA: IEEE, Jun. 2021, pp. 14499–14508. doi: 10.1109/CVPR46437.2021.01427. [^2]: H. Qiu, B. Yu, and D. Tao, “GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation,” Sep. 24, 2022, arXiv: arXiv:2207.02605. Accessed: Jan. 13, 2023. [Online]. Available: [^3]: M. Weinmann, A. Schmidt, C. Mallet, S. Hinz, F. Rottensteiner, and B. Jutzi, “CONTEXTUAL CLASSIFICATION OF POINT CLOUD DATA BY EXPLOITING INDIVIDUAL 3D NEIGBOURHOODS,” ISPRS Ann. Photogramm. Remote Sens. Spat. Inf. Sci., vol. II-3/W4, pp. 271–278, Mar. 2015, doi: 10.5194/isprsannals-II-3-W4-271-2015. ## [^4]: F. Poux, R. Neuville, and R. Billen, “POINT CLOUD CLASSIFICATION OF TESSERAE FROM TERRESTRIAL LASER DATA COMBINED WITH DENSE IMAGE MATCHING FOR ARCHAEOLOGICAL INFORMATION EXTRACTION,” ISPRS Ann --- 《摄影测量、遥感与空间信息科学》第IV-2/W2卷，第203–211页，2017年8月，doi: 10.5194/isprs-annals-IV-2-W2-203-2017 [^5]: M. Weinmann, B. Jutzi, S. Hinz, and C. Mallet, “Semantic point cloud interpretation based on optimal neighborhoods, relevant features and efficient classifiers,” ISPRS J. Photogramm. Remote Sens., vol. 105, pp. 286–304, Jul. 2015, doi:10.1016/j.isprsjprs.2015.01.016. [^6]: E. Sevgen and S. Abdikan, “Classification of Large-Scale Mobile Laser Scanning Data in Urban Area with LightGBM,” Remote Sens., vol. 15, no. 15, Art. no. 15, Jan. 2023, doi: 10.3390/rs15153787. [^7]: S. A. Bello, S. Yu, and C. Wang, "Review: deep learning on 3D point clouds," Jan. 17, 2020, arXiv:2001.06280. Accessed: Dec. 06, 2022. [Online]. Available: [^8]: E. Camuffo, D. Mari, and S. Milani, “Recent Advancements in Learning Algorithms for Point Clouds: An Updated Overview,” Sensors, vol. 22, no. 4, p. 1357, Feb. 2022, doi: 10.3390/s22041357. [^9]: B. Gao, Y. Pan, C. Li, S. Geng, and H. Zhao, "Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey of Datasets and Methods," IEEE Trans. Intell. Transp. Syst., vol. 23, no. 7, pp. 6063–6081, Jul. 2022, doi:10.1109/TITS.2021.3076844. [^10]: D. Griffiths and J. Boehm, “A review on deep learning techniques for 3D sensed data classification,” Remote Sens., vol. 11, no. 12, p. 1499, Jun. 2019, doi: 10.3390/rs11121499. [^11]: E. Grilli, F. Menna, and F. Remondino, “A REVIEW OFPOINT CLOUDS SEGMENTATION AND CLASSIFICATION ALGORITHMS,” Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci., vol. XLII-2/W3, pp. 339–344, Feb. 2017, doi: 10.5194/isprs-archives-XLII-2-W3-339-2017. [^12]: Y. Guo, H. Wang, Q. Hu, H. Liu, L. Liu, and M. Bennamoun, “Deep Learning for 3D Point Clouds: A Survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 12, pp. 4338–4364, Dec. 2021, doi: 10.1109/TPAMI.2020.3005434. [^13]: A. Jhaldiyal and N. Chaudhary, “Semantic segmentation of 3D LiDAR data using deep learning: a review of projection-based methods,” Appl. Intell., vol. 53, no. 6, pp. 6844–6855, Mar. 2023, doi: 10.1007/s10489-022-03930-5. [^14]: L. Rauch and T. Braml, “Semantic Point Cloud Segmentation with Deep-Learning-Based Approaches for the Construction Industry: A Survey,” Appl. Sci., vol. 13, no. 16, Art. no. 16, Jan. 2023, doi: 10.3390/app13169146. [^15]: G. Rizzoli, F. Barbato, and P. Zanuttigh, “Multimodal Semantic Segmentation in Autonomous Driving: A Review of Current Approaches and Future Perspectives,” Technologies, vol. 10, no. 4, p. 90, Jul. 2022, doi: 10.3390/technologies10040090. [^16]: A. Xiao, X. Zhang, L. Shao, and S. Lu, “A Survey of Label-Efficient Deep Learning for 3D Point Clouds,” May 31, 2023, arXiv: arXiv:2305.19812. Accessed: Jun. 07, 2023. [Online]. Available: [^17]: A. Xiao, J. Huang, D. Guan, X. Zhang, S. Lu, and L. Shao, “Unsupervised Point Cloud Representation Learning with Deep Neural Networks: A Survey,” IEEE Trans. Pattern Anal. Mach. Intell., pp. 1–20, 2023, doi: 10.1109/TPAMI.2023.3262786. [^18]: Y. Xie, J. Tian, and X. X. Zhu, “Linking Points With Labels in 3D: A Review of Point Cloud Semantic Segmentation,” IEEE Geosci. Remote Sens. Mag., vol. 8, no. 4, pp. 38–59, Dec. 2020, doi: 10.1109/MGRS.2019.2937630. [^19]: S. Yang, M. Hou, and S. Li, “Three-Dimensional Point Cloud Semantic Segmentation for Cultural Heritage: A Comprehensive Review,” Remote Sens., vol. 15, no. 3, p. 548, Jan. 2023, doi: 10.3390/rs15030548. [^20]: A. Zhang, S. Li, J. Wu, S. Li, and B. Zhang, “Exploring Semantic Information Extraction From Different Data Forms in 3D Point Cloud Semantic Segmentation,” IEEE Access, vol. 11, pp. 61929–61949, 2023, doi: 10.1109/ACCESS.2023.3287940. [^21]: H. Zhang et al., “Deep learning-based 3D point cloud classification: A systematic survey and outlook,” Displays, vol. 79, p. 102456, Sep. 2023, doi: 10.1016/j.displa.2023.102456. [^22]: J. Zhang, X. Zhao, Z. Chen, and Z. Lu, “A Review of Deep Learning-Based Semantic Segmentation for Point Cloud,” IEEE Access, vol. 7, pp. 179118–179133, 2019, doi: 10.1109/ACCESS.2019.2958671. [^23]: R. Zhang, Y. Wu, W. Jin, and X. Meng, “Deep-Learning-Based Point Cloud Semantic Segmentation: A Survey,” Electronics, vol. 12, no. 17, p. 3642, Aug. 2023, doi: 10.3390/electronics12173642. [^24]: I. Armeni et al., “3D Semantic Parsing of Large-Scale Indoor Spaces,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA: IEEE, Jun. 2016, pp. 1534–1543. doi: 10.1109/CVPR.2016.170. [^25]: I. Armeni, S. Sax, A. R. Zamir, and S. Savarese, “Joint 2D-3D-Semantic Data for Indoor Scene Understanding,” Apr. 05, 2017, arXiv: arXiv:1702.01105. doi: 10.48550/arXiv.1702.01105. [^26]: “Freiburg Campus 360 degree 3D scans - Arbeitsgruppe: Autonome Intelligente Systeme.” Accessed: Mar. 17, 2023. [Online]. Available: [^27]: A. Chang et al., “Matterport3D: Learning from RGB-D Data in Indoor Environments,” Sep. 18, 2017, arXiv: arXiv:1709.06158. Accessed: Oct. 04, 2023. [Online]. Available: [^28]: A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser, and M. Nießner, “Scannet: Richly-annotated 3d reconstructions of indoor scenes,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 5828–5839. [^29]: "RGB-D Scenes Dataset v.2." Accessed: Oct. 04, 2023. [Online]. Available: ## [^30]: J. McCormac, A. Handa, S. Leutenegger, and A. J. Davison, "SceneNet RGB-D: 5M Photorealistic Images of Synthetic Indoor Trajectories with Ground Truth" --- [^31]: B.-S. Hua, Q.-H. Pham, D. T. Nguyen, M.-K. Tran, L.-F. Yu, and S.-K. Yeung, “Scenenn: A scene meshes dataset with annotations,” in 2016 fourth international conference on 3D vision (3DV), IEEE, 2016, pp. 92–101. Accessed: Oct. 05, 2023. [Online]. Available: [^32]: S. Song, S. P. Lichtenberg, and J. Xiao, “SUN RGB-D: A RGB-D scene understanding benchmark suite,” in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA: IEEE, Jun. 2015, pp. 567–576. doi:10.1109/CVPR.2015.7298655. [^33]: J. Xiao, A. Owens, and A. Torralba, “SUN3D: A Database of Big Spaces Reconstructed Using SfM and Object Labels,” in 2013 IEEE International Conference on Computer Vision, Sydney, Australia: IEEE, Dec. 2013, pp. 1625–1632. doi:10.1109/ICCV.2013.458. [^34]: J. Straub et al., “The Replica Dataset: A Digital Replica of Indoor Spaces,” Jun. 13, 2019, arXiv:1906.05797. Accessed: Oct. 04, 2023. [Online]. Available: [^35]: J. Martínez-Gómez, I. García-Varea, M. Cazorla, and V. Morell, "ViDRILO: The Visual and Depth Robot Indoor Localization with Objects information dataset," Int. J. Robot. Res., vol. 34, no. 14, pp. 1681–1687, Dec. 2015, doi:10.1177/0278364915596058. [^36]: J. Behely, V. Steinhage, and A. B. Cremers, “Performance of histogram descriptors for the classification of 3D laser range data in urban environments,” in 2012 IEEE International Conference on Robotics and Automation, St Paul, MN, USA: IEEE, May 2012, pp. 4391–4398. doi: 10.1109/ICRA.2012.6225003. [^37]: G. Can, D. Mantegazza, G. Abbate, S. Chappuis, and A. Giusti, “Swiss3DCities: Aerial Photogrammetric 3D Pointcloud Dataset with Semantic Labels.” Zenodo, Dec. 23, 2020. doi: 10.5281/zenodo.4390295. [^38]: J.-E. Deschaud, D. Duque, J. P. Richa, S. Velasco-Forero, B. Marcotegui, and F. Goulette, “Paris-CARLA-3D: A Real and Synthetic Outdoor Point Cloud Dataset for Challenging Tasks in 3D Mapping,” Remote Sens., vol. 13, no. 22, Art. no. 22, Jan. 2021, doi: 10.3390/rs13224713. [^39]: J. Fang, D. Zhou, J. Zhao, C. Tang, C.-Z. Xu, and L. Zhang, "LiDAR-CS Dataset: LiDAR Point Cloud Dataset with Cross-Sensors for 3D Object Detection," Jan. 29, 2023, arXiv:2301.12515. Accessed: Feb. 03, 2023. [Online]. Available: [^40]: M. Fuentes Reyes et al., “A 2D/3D multimodal data simulation approach with applications on urban semantic segmentation, building extraction and change detection,” ISPRS J. Photogramm. Remote Sens., vol. 205, pp. 74–97, Nov. 2023, doi: 10.1016/j.isprsjprs.2023.09.013. [^41]: T. Hackel, N. Savinov, L. Ladicky, J. D. Wegner, K. Schindler, and M. Pollefeys, “Semantic3D.net: A new Large-scale Point Cloud Classification Benchmark,” Apr. 12, 2017, arXiv:1704.03847. Accessed: Jan. 09, 2023. [Online]. Available: [^42]: Q. Hu, B. Yang, S. Khalid, W. Xiao, N. Trigoni, and A. Markham, “Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges,” Apr. 06, 2021, arXiv:2009.03137. doi: 10.48550/arXiv.2009.03137. [^43]: M. Ibrahim, N. Akhtar, S. Anwar, and A. Mian, “SAT3D: Slot Attention Transformer for 3D Point Cloud Semantic Segmentation,” IEEE Trans. Intell. Transp. Syst., pp. 1–11, 2023, doi: 10.1109/TITS.2023.3243643. [^44]: P. Jiang, P. Osteen, M. Wigness, and S. Saripalli, “RELLIS-3D Dataset: Data, Benchmarks and Analysis,” May 25, 2022, arXiv: arXiv:2011.12954. Accessed: Mar. 17, 2023. [Online]. Available: [^45]: A. A. Klokov et al., “DAPS3D: Domain Adaptive Projective Segmentation of 3D LiDAR Point Clouds,” IEEE Access, vol. 11, pp. 79341–79356, 2023, doi: 10.1109/ACCESS.2023.3298706. [^46]: M. Kölle et al., “The Hessigheim 3D (H3D) benchmark on semantic segmentation of high-resolution 3D point clouds and textured meshes from UAV LiDAR and Multi-View-Stereo,” ISPRS Open J. Photogramm. Remote Sens., vol. 1, p. 100001, Oct. 2021, doi: 10.1016/j.ophoto.2021.100001. [^47]: X. Li et al., “Campus3D: A Photogrammetry Point Cloud Benchmark for Hierarchical Understanding of Outdoor Scene,” in Proceedings of the 28th ACM International Conference on Multimedia, Oct. 2020, pp. 238–246. doi:10.1145/3394171.3413661. [^48]: R. Loiseau, E. Vincent, M. Aubry, and L. Landrieu, “Learnable Earth Parser: Discovering 3D Prototypes in Aerial Scans,” Apr. 19, 2023, arXiv:2304.09704. Accessed: Apr. 23, 2023. [Online]. Available: [^49]: N. Qin, W. Tan, L. Ma, D. Zhang, and J. Li, “OpenGF: An Ultra-Large-Scale Ground Filtering Dataset Built Upon Open ALS Point Clouds Around the World,” Apr. 12, 2021, arXiv:2101.09641. Accessed: Mar. 17, 2023. [Online]. Available: [^50]: X. Roynard, J.-E. Deschaud, and F. Goulette, “Paris-Lille-3D: A large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classification,” Int. J. Robot. Res., vol. 37, no. 6, pp. 545–557, May 2018, doi: 10.1177/0278364918767506. ## [^51]: Y. Su et al., “DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds,” Jun. 01, 2021, arXiv:2106.00376. Accessed: Mar. 17, 2023. [Online]. Available: --- [^52]: W. Tan et al., “Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, WA, USA: IEEE, Jun. 2020, pp. 797–806. doi: 10.1109/CVPRW50498.2020.00109. [^53]: P. Trybata et al., “MIN3D Dataset: Multi-seNsor 3D Mapping with an Unmanned Ground Vehicle,” PFG – J. Photogramm. Remote Sens. Geoinformation Sci., Oct. 2023, doi: 10.1007/s41064-023-00260-0. [^54]: L. Wang, Y. Huang, J. Shan, and H. Liu, “MSNet: Multi-Scale Convolutional Network for Point Cloud Classification,” Remote Sens., vol. 10, no. 4, p. 612, 2018, doi: 10.3390/rs10040612. [^55]: Y. Wang, Y. Wan, Y. Zhang, B. Zhang, and Z. Gao, “Imbalance knowledge-driven multi-modal network for land-cover semantic segmentation using aerial images and LiDAR point clouds,” ISPRS J. Photogramm. Remote Sens., vol. 202, pp. 385–404, Aug. 2023, doi: 10.1016/j.isprsjprs.2023.06.014. [^56]: Y. Xu et al., “Advanced Multi-Sensor Optical Remote Sensing for Urban Land Use and Land Cover Classification: Outcome of the 2018 IEEE GRSS Data Fusion Contest,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 12, no. 6, pp. 1709–1724, Jun. 2019, doi: 10.1109/JSTARS.2019.2911113. [^57]: S. M. I. Zolanvari et al., “DublinCity: Annotated LiDAR Point Cloud and its Applications,” Sep. 06, 2019, arXiv: arXiv:1909.03613. Accessed: Oct. 12, 2023. [Online]. Available: [^58]: F. Matrone et al., “A BENCHMARK FOR LARGE-SCALE HERITAGE POINT CLOUD SEMANTIC SEGMENTATION,” Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci., vol. XLIII-B2-2020, pp. 1419–1426, Aug. 2020, doi: 10.5194/isprs-archives-XLIII-B2-2020-1419-2020. [^59]: B. Vallet, M. Brédif, A. Serna, B. Marcotegui, and N. Paparoditis, "TerraMobilita/iQmulus urban point cloud analysis benchmark," Comput. Graph., vol. 49, pp. 126–133, Jun. 2015, doi: 10.1016/j.cag.2015.03.004. [^60]: Y. Liao, J. Xie, and A. Geiger, "KITTI-360: A Novel Dataset and Benchmarks for Urban Scene Understanding in 2D and 3D," IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 3, pp. 3292–3310, Mar. 2023, doi: 10.1109/TPAMI.2022.3179507. [^61]: H. Caesar et al., “nuScenes: A Multimodal Dataset for Autonomous Driving,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, Jun. 2020, pp. 11618–11628. doi:10.1109/CVPR42600.2020.01164. [^62]: J. Niemeyer, F. Rottensteiner, and U. Soergel, “Contextual classification of lidar data and building object detection in urban areas,” ISPRS J. Photogramm. Remote Sens., vol. 87, pp. 152–165, Jan. 2014, doi: 10.1016/j.isprsjprs.2013.11.001. [^63]: “Oakland 3-D Point Cloud Dataset - CVPR 2009 subset.” Accessed: Mar. 17, 2023. [Online]. Available: [^64]: “Paris-rue-Madame Database - A 3D Mobile Laser Scanner Dataset for Benchmarking Urban Detection, Segmentation and Classification Methods;” in Proceedings of the 3rd International Conference on Pattern Recognition Applications and Methods, ESEO, Angers, Loire Valley, France: SCITEPRESS - Science and Technology Publications, 2014, pp. 819–824. doi: 10.5220/0004934808190824. [^65]: “Open Dataset – Waymo.” Accessed: Feb. 18, 2023. [Online]. Available: [^66]: J. Zhu et al., “TUM-MLS-2016: An annotated mobile LiDAR dataset of the TUM city campus for semantic point cloud interpretation in urban areas,” Remote Sens., vol. 12, no. 11, p. 1875, 2020, Accessed: Oct. 16, 2023. [Online]. Available: [^67]: J. Behley et al., “SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences,” in 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South): IEEE, Oct. 2019, pp. 9296–9306. doi:10.1109/ICCV.2019.00939. [^68]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI: IEEE, Jul. 2017, pp. 77–85. doi: 10.1109/CVPR.2017.16. [^69]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space,” p. 10, 2017. [^70]: Q. Hu et al., “RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, Jun. 2020, pp. 11105–11114. doi:10.1109/CVPR42600.2020.01112. [^71]: S. Qiu, S. Anwar, and N. Barnes, “Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA: IEEE, Jun. 2021, pp. 1757–1767. doi: 10.1109/CVPR46437.2021.00180. [^72]: Y. Li, R. Bu, M. Sun, W. Wu, X. Di, and B. Chen, "PointCNN: Convolution On X-Transformed Points," 2018. [^73]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas, "KPConv: Flexible and Deformable Convolution for Point Clouds," Aug. 19, 2019, arXiv:1904.08889. Accessed: Sep. 27, 2022. [Online]. Available: ## [^74]: K. Liu, Z. Gao, F. Lin, and B. M. Chen, “FG-Net: Fast Large-Scale LiDAR Point Clouds Understanding Network Leveraging Correlated Feature Mining and Geometric-Aware Modelling,” Jun. 17, 2021, arXiv:2012.09439. Accessed: Jan. 13, 2023. [Online]. Available: --- [^75]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA: IEEE, Jun. 2016, pp. 770–778. doi: 10.1109/CVPR.2016.90. [^76]: Q. Huang, W. Wang, and U. Neumann, "Recurrent slice networks for 3d segmentation of point clouds," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 2626–2635. [^77]: A. Vaswani et al., “Attention is all you need,” Adv. Neural Inf. Process. Syst., vol. 30, 2017. [^78]: H. Zhao, L. Jiang, J. Jia, P. H. S. Torr, and V. Koltun, “Point Transformer Zhao,” 2021. [^79]: X. Wu, Y. Lao, L. Jiang, X. Liu, and H. Zhao, “Point Transformer V2: Grouped Vector Attention and Partition-based Pooling,” Oct. 12, 2022, arXiv:2210.05666. Accessed: Jan. 13, 2023. [Online]. Available: [^80]: M. Tatarchenko, J. Park, V. Koltun, and Q.-Y. Zhou, “Tangent Convolutions for Dense Prediction in 3D,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA: IEEE, Jun. 2018, pp. 3887–3896. doi:10.1109/CVPR.2018.00409. [^81]: H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller, “Multi-view Convolutional Neural Networks for 3D Shape Recognition,” Sep. 27, 2015, arXiv:1505.00880. Accessed: Apr. 13, 2024. [Online]. Available: [^82]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud,” Oct. 19, 2017, arXiv:1710.07368. Accessed: Sep. 20, 2022. [Online]. Available: [^83]: M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Commun. ACM, vol. 24, no. 6, pp. 381–395, Jun. 1981, doi:10.1145/358669.358692. [^84]: F. N. landola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer, “SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size,” Nov. 04, 2016, arXiv:1602.07360. Accessed: Sep. 24, 2022. [Online]. Available: [^85]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep convolutional neural networks," Commun. ACM, vol. 60, no. 6, pp. 84–90, May 2017, doi: 10.1145/3065386. [^86]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud,” Sep. 22, 2018, arXiv:1809.08495. Accessed: Sep. 20, 2022. [Online]. Available: [^87]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet +: Fast and Accurate LiDAR Semantic Segmentation,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, China: IEEE, Nov. 2019, pp. 4213–4220. doi: 10.1109/IROS40897.2019.8967762. [^88]: H. Su et al., “SPLATNet: Sparse Lattice Networks for Point Cloud Processing,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT: IEEE, Jun. 2018, pp. 2530–2539. doi: 10.1109/CVPR.2018.00268. [^89]: J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,” 2018. [^90]: C. Xu et al., “SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation,” in Computer Vision – ECCV 2020, vol. 12373, A. Vedaldi, H. Bischof, T. Brox, and J.-M. Frahm, Eds., in Lecture Notes in Computer Science, vol. 12373., Cham: Springer International Publishing, 2020, pp. 1–19. doi: 10.1007/978-3-030-58604-1_1. [^91]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, Uncertainty-aware Semantic Segmentation of LiDAR Point Clouds for Autonomous Driving,” Jul. 09, 2020, arXiv:2003.03653. Accessed: Jan. 13, 2023. [Online]. Available: [^92]: E. E. Aksoy, S. Baci, and S. Cavdar, “SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving,” in 2020 IEEE Intelligent Vehicles Symposium (IV), Las Vegas, NV, USA: IEEE, Oct. 2020, pp. 926–932. doi:10.1109/IV47402.2020.9304694. [^93]: A. Xiao, X. Yang, S. Lu, D. Guan, and J. Huang, “FPS-Net: A Convolutional Fusion Network for Large-Scale LiDAR Point Cloud Segmentation,” ISPRS J. Photogramm. Remote Sens., vol. 176, pp. 237–249, Jun. 2021, doi: 10.1016/j.isprsjprs.2021.04.011. [^94]: S. Li, X. Chen, Y. Liu, D. Dai, C. Stachniss, and J. Gall, “Multi-scale Interaction for Real-time LiDAR Data Segmentation on an Embedded Platform,” Nov. 28, 2021, arXiv:2008.09162. Accessed: Jan. 13, 2023. [Online]. Available: [^95]: Z. Zou and Y. Li, “Efficient Urban-scale Point Clouds Segmentation with BEV Projection,” Sep. 19, 2021, arXiv: arXiv:2109.09074. Accessed: Jan. 13, 2023. [Online]. Available: [^96]: Q. Hu, B. Yang, S. Khalid, W. Xiao, N. Trigoni, and A. Markham, “SensatUrban: Learning Semantics from Urban-Scale Photogrammetric Point Clouds,” Int. J. Comput. Vis., vol. 130, no. 2, pp. 316–343, Feb. 2022, doi: 10.1007/s11263-021-01554-9. ## [^97]: Y. A. Alnaggar, M. Afifi, K. Amer, and M. Elhelw, “Multi Projection Fusion for Real-time Semantic Segmentation of 3D LiDAR Point Clouds,” Nov. 06, 2020, arXiv:2011.01974. Accessed: Jan. 13, 2023. [Online]. Available: --- [^98]: M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L.-C. Chen, “MobileNetV2: Inverted Residuals and Linear Bottlenecks,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun. 2018, pp. 4510–4520. doi:10.1109/CVPR.2018.00474. [^99]: O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," in Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, vol. 9351, N. Navab, J. Hornegger, W. M. Wells, and A. F. Frangi, Eds., in Lecture Notes in Computer Science, vol. 9351., Cham: Springer International Publishing, 2015, pp. 234–241. doi: 10.1007/978-3-319-24574-4_28. [^100]: L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam, “Rethinking Atrous Convolution for Semantic Image Segmentation,” Dec. 05, 2017, arXiv:1706.05587. Accessed: May 27, 2022. [Online]. Available: [^101]: L. T. Triess, D. Peter, C. B. Rist, and J. M. Zöllner, “Scan-based semantic segmentation of lidar point clouds: An experimental study,” in 2020 IEEE Intelligent Vehicles Symposium (IV), IEEE, 2020, pp. 1116–1121. [^102]: G. Riegler, A. O. Ulusoy, and A. Geiger, “OctNet: Learning Deep 3D Representations at High Resolutions,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI: IEEE, Jul. 2017, pp. 6620–6629. doi: 10.1109/CVPR.2017.701. [^103]: A. Miller, V. Jain, and J. L. Mundy, “Real-time rendering and dynamic updating of 3-d volumetric data,” in Proceedings of the Fourth Workshop on General Purpose Processing on Graphics Processing Units, Newport Beach California USA: ACM, Mar. 2011, pp. 1–8. doi: 10.1145/1964179.1964190. [^104]: C. Choy, J. Gwak, and S. Savarese, “4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks,” in 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA: IEEE, Jun. 2019, pp. 3070–3079. doi: 10.1109/CVPR.2019.00319. [^105]: Y. Wang, Y. Sun, Z. Liu, S. E. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic Graph CNN for Learning on Point Clouds,” Jun. 11, 2019, arXiv:1801.07829. Accessed: May 31, 2022. [Online]. Available: [^106]: G. Li et al., “DeepGCNs: Making GCNs Go as Deep as CNNs,” IEEE Trans. Pattern Anal. Mach. Intell., pp. 1–1, 2021, doi:10.1109/TPAMI.2021.3074057. [^107]: Y. Zhang et al., “PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, Jun. 2020, pp. 9598–9607. doi: 10.1109/CVPR42600.2020.00962. [^108]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “PointPillars: Fast Encoders for Object Detection From Point Clouds,” presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 12697–12705. Accessed: Mar. 08, 2023. [Online]. Available: [^109]: M. Gerdzhev, R. Razani, E. Taghavi, and B. Liu, “TORNADO-Net: multiview tOtal vaRatiotN semAntic segmentation with Diamond inceptiOn module,” Aug. 24, 2020, arXiv:2008.10544. Accessed: Jan. 13, 2023. [Online]. Available: [^110]: Y. Liu et al., “UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase,” Sep. 11, 2023, arXiv: arXiv:2309.05573. Accessed: Sep. 14, 2023. [Online]. Available: [^111]: X. Yan et al., “Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion,” Dec. 07, 2020, arXiv:2012.03762. Accessed: Jan. 13, 2023. [Online]. Available: [^112]: B. Graham, M. Engelcke, and L. van der Maaten, “3D Semantic Segmentation with Submanifold Sparse Convolutional Networks,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA: IEEE, Jun. 2018, pp. 9224–9232. doi: 10.1109/CVPR.2018.00961. [^113]: Z. Liu, H. Tang, Y. Lin, and S. Han, “Point-Voxel CNN for Efficient 3D Deep Learning,” 2019. [^114]: H. Tang et al., “Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution,” in Computer Vision – ECCV 2020, vol. 12373, A. Vedaldi, H. Bischof, T. Brox, and J.-M. Frahm, Eds., in Lecture Notes in Computer Science, vol. 12373, Cham: Springer International Publishing, 2020, pp. 685–702. doi: 10.1007/978-3-030-58604-1_41. [^115]: R. A. Rosu, P. Schütt, J. Quenzel, and S. Behnke, “LatticeNet: Fast Point Cloud Segmentation Using Permutohedral Lattices,” Aug. 16, 2020, arXiv:1912.05905. Accessed: Jan. 13, 2023. [Online]. Available: [^116]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, "(AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network," Feb. 08, 2021, arXiv:2102.04530. Accessed: Sep. 26, 2022. [Online]. Available: [^117]: J. Hu, L. Shen, and G. Sun, “Squeeze-and-Excitation Networks,” vol. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7132–7141, 2018. ## [^118]: X. Zhu et al., “Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR Segmentation,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA: IEEE, Jun. 2021, pp. 9934–9943. doi:10.1109/CVPR46437.2021.00981 --- [^119]: X. Yan et al., “2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds,” Sep. 16, 2022, arXiv: arXiv:2207.04397. Accessed: Sep. 26, 2022. [Online]. Available: [^120]: L. Landrieu and M. Simonovsky, “Large-Scale Point Cloud Semantic Segmentation with Superpoint Graphs,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT: IEEE, Jun. 2018, pp. 4558–4567. doi:10.1109/CVPR.2018.00479. [^121]: L. Landrieu and G. Obozinski, “Cut Pursuit: Fast Algorithms to Learn Piecewise Constant Functions on General Weighted Graphs,” SIAM J. Imaging Sci., vol. 10, no. 4, pp. 1724–1766, Jan. 2017, doi: 10.1137/17M1113436. [^122]: D. Kochanov, F. K. Nejadasl, and O. Booij, “KPRNet: Improving projection-based LiDAR semantic segmentation,” Aug. 21, 2020, arXiv:2007.12668. Accessed: Jan. 13, 2023. [Online]. Available: [^123]: I. Alonso, L. Riazuelo, L. Montesano, and A. C. Murillo, “3D-MiniNet: Learning a 2D Representation from Point Clouds for Fast and Efficient 3D LIDAR Semantic Segmentation,” Apr. 27, 2021, arXiv:2002.10893. Accessed: Jan. 13, 2023. [Online]. Available: [^124]: D. Robert, B. Vallet, and L. Landrieu, “Learning Multi-View Aggregation In the Wild for Large-Scale 3D Semantic Segmentation,” in 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA: IEEE, Jun. 2022, pp. 5565–5574. doi: 10.1109/CVPR52688.2022.00549. [^125]: S. Wang, J. Zhu, and R. Zhang, "Meta-RangeSeg: LiDAR Sequence Semantic Segmentation Using Multiple Feature Aggregation," IEEE Robot. Autom. Lett., vol. 7, no. 4, pp. 9739–9746, Oct. 2022, doi: 10.1109/LRA.2022.3191040. [^126]: Y. Pan, B. Gao, J. Mei, S. Geng, C. Li, and H. Zhao, “SemanticPOSS: A Point Cloud Dataset with Large Quantity of Dynamic Instances,” Feb. 21, 2020, arXiv:2002.09147. Accessed: Mar. 30, 2023. [Online]. Available: [^127]: X. Wu et al., “Point Transformer V3: Simpler, Faster, Stronger,” Mar. 25, 2024, arXiv: arXiv:2312.10035. Accessed: May 15, 2024. [Online]. Available: [^128]: O. Unal, D. Dai, and L. Van Gool, “Scribble-Supervised LiDAR Semantic Segmentation,” in 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA: IEEE, Jun. 2022, pp. 2687–2697. doi:10.1109/CVPR52688.2022.00272. [^129]: K. Liu, Z. Gao, F. Lin, and B. M. Chen, “FG-Net: A Fast and Accurate Framework for Large-Scale LiDAR Point Cloud Understanding,” IEEE Trans. Cybern., vol. 53, no. 1, pp. 553–564, Jan. 2023, doi: 10.1109/TCYB.2022.3159815. [^130]: L. Jiang et al., “Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation,” in 2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada: IEEE, Oct. 2021, pp. 6403–6412. doi: 10.1109/ICCV48922.2021.00636. [^131]: D. Rozenberszki, O. Litany, and A. Dai, “Language-Grounded Indoor 3D Semantic Segmentation in the Wild,” Jul. 28, 2022, arXiv:arXiv:2204.07761. Accessed: Jan. 13, 2023. [Online]. Available: [^132]: A. Kuras, A. Jenul, M. Brell, and I. Burud, “Comparison of 2D and 3D semantic segmentation in urban areas using fused hyperspectral and lidar data,” J. Spectr. Imaging, vol. 11, Nov. 2022, doi: 10.1255/jsi.2022.a11. [^133]: J. Pan, K. Cao, B. Zhao, W. Li, and T. Zhang, “Semantic Segmentation of Large-Scale Point Clouds by Encoder-Decoder Shared MLPs with Weighted Focal Loss,” in 2022 IEEE 21st International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC), Dec. 2022, pp. 153–159. doi: 10.1109/ICCIC57084.2022.10101652. [^134]: Z. Yunxiang, J. Ankang, Z. Limao, and X. Xiaolong, “Sampling-attention deep learning network with transfer learning for large-scale urban point cloud semantic segmentation.” Accessed: Dec. 09, 2022. [Online]. Available: [^135]: Y. Liu et al., “Depth Based Semantic Scene Completion with Position Importance Aware Loss,” Jan. 30, 2020, arXiv: arXiv:2001.10709. Accessed: Jun. 20, 2024. [Online]. Available: [^136]: R. Cheng, R. Razani, Y. Ren, and L. Bingbing, “S3net: 3d lidar sparse semantic segmentation network,” in 2021 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2021, pp. 14040–14046. [^137]: M. Berman, A. R. Triki, and M. B. Blaschko, “The Lovasz-Softmax Loss: A Tractable Surrogate for the Optimization of the Intersection-Over-Union Measure in Neural Networks,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT: IEEE, Jun. 2018, pp. 4413–4421. doi: 10.1109/CVPR.2018.00464. [^138]: X. Yan, C. Zheng, Z. Li, S. Wang, and S. Cui, “Pointasnl: Robust point clouds processing using nonlocal neural networks with adaptive sampling,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 5589–5598. [^139]: K. Liu, Z. Gao, F. Lin, and B. M. Chen, “FG-Net: Fast Large-Scale LiDAR Point Clouds Understanding Network Leveraging Correlated Feature Mining and Geometric-Aware Modelling,” Jun. 17, 2021, arXiv:2012.09439. Accessed: Jan. 13, 2023. [Online]. Available: ## [^140]: G. Truong, S. Z. Gilani, S. M. S. Islam, and D. Suter, "Fast Point Cloud Registration using Semantic Segmentation," in 2019 Digital Image Computing: Techniques and Applications (DICTA), Perth, Australia: IEEE, Dec. 2019, pp. 1–8. doi:10.1109/DICTA47822.2019.8945870 --- [^141]: F. Zhang, J. Fang, B. Wah, and P. Torr, “Deep fusionnet for point cloud semantic segmentation,” in Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXIV 16, Springer, 2020, pp. 644–663. [^142]: W. Huang, L. Zhu, and W. Wang, “Semantic Segmentation for Point Cloud based on Distance Weighted and Adaptive Augmentation,” in 2022 34th Chinese Control and Decision Conference (CCDC), Aug. 2022, pp. 6106–6111. doi:10.1109/CCDC55256.2022.10034101. [^143]: Y. Xu et al., “NeiEA-NET: Semantic segmentation of large-scale point cloud scene via neighbor enhancement and aggregation,” Int. J. Appl. Earth Obs. Geoinformation, vol. 119, p. 103285, May 2023, doi: 10.1016/j.jag.2023.103285. [^144]: J. Balado, A. Fernández, E. González, and L. Díaz-Vilariño, “Semantic Point Cloud Segmentation Based on Hexagonal Klemperer Rosette and Machine Learning,” in Advances in Design Engineering III, F. Cavas-Martínez, M. D. Marín Granados, R. Mirálbes Buil, and O. D. de-Cózar-Macías, Eds., in Lecture Notes in Mechanical Engineering. Cham: Springer International Publishing, 2023, pp. 617–629. doi: 10.1007/978-3-031-20325-1_49. [^145]: R. Hassan, M. M. Fraz, A. Rajput, and M. Shahzad, “Residual learning with annular convolutional neural networks for classification and segmentation of 3D point clouds,” Neurocomputing, vol. 526, pp. 96–108, Mar. 2023, doi:10.1016/j.neucom.2023.01.026. [^146]: C. Wang, B. Samari, and K. Siddiqi, “Local spectral graph convolution for point set feature learning,” in Proceedings of the European conference on computer vision (ECCV), 2018, pp. 52–66. [^147]: Y. Fang, C. Xu, Z. Cui, Y. Zong, and J. Yang, “Spatial Transformer Point Convolution,” Sep. 02, 2020, arXiv:2009.01427. Accessed: May 06, 2023. [Online]. Available: [^148]: T. Lu, L. Wang, and G. Wu, “CGA-Net: Category Guided Aggregation for Point Cloud Semantic Segmentation,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA: IEEE, Jun. 2021, pp. 11688–11697. doi: 10.1109/CVPR46437.2021.01152. [^149]: Z. Wang, Y. Rao, X. Yu, J. Zhou, and J. Lu, “SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation,” May 26, 2022, arXiv:2205.13490. Accessed: May 10, 2023. [Online]. Available: [^150]: T. He, D. Gong, Z. Tian, and C. Shen, “Learning and memorizing representative prototypes for 3d point cloud semantic and instance segmentation,” in Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XVIII 16, Springer, 2020, pp. 564–580. [^151]: Y. Zhao et al., “Number-Adaptive Prototype Learning for 3D Point Cloud Semantic Segmentation,” in Computer Vision – ECCV 2022 Workshops, L. Karlinsky, T. Michaeli, and K. Nishino, Eds., in Lecture Notes in Computer Science. Cham: Springer Nature Switzerland, 2023, pp. 695–703. doi: 10.1007/978-3-031-25066-8_41. [^152]: Z. Liu, H. Hu, Y. Cao, Z. Zhang, and X. Tong, “A Closer Look at Local Aggregation Operators in Point Cloud Analysis,” in Computer Vision – ECCV 2020, vol. 12368, A. Vedaldi, H. Bischof, T. Brox, and J.-M. Frahm, Eds., in Lecture Notes in Computer Science, vol. 12368., Cham: Springer International Publishing, 2020, pp. 326–342. doi: 10.1007/978-3-030-58592-1_20. [^153]: Y. Ma, Y. Guo, H. Liu, Y. Lei, and G. Wen, “Global context reasoning for semantic segmentation of 3D point clouds,” in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2020, pp. 2931–2940. [^154]: Q. Chen, Z. Zhang, S. Chen, S. Wen, H. Ma, and Z. Xu, “A self-attention based global feature enhancing network for semantic segmentation of large-scale urban street-level point clouds,” Int. J. Appl. Earth Obs. Geoinformation, vol. 113, p. 102974, Sep. 2022, doi: 10.1016/j.jag.2022.102974. [^155]: X. Lai et al., “Stratified Transformer for 3D Point Cloud Segmentation,” 2022. [^156]: Z. Huang et al., “GeoSpark: Sparking up Point Cloud Segmentation with Geometry Clue,” Mar. 14, 2023, arXiv: arXiv:2303.08274. Accessed: Mar. 18, 2023. [Online]. Available: [^157]: Y. Zheng, X. Xu, J. Zhou, and J. Lu, “PointRas: Uncertainty-aware multi-resolution learning for point cloud segmentation,” IEEE Trans. Image Process., vol. 31, pp. 6002–6016, 2022. [^158]: J. Wan, Z. Zeng, Q. Qiu, Z. Xie, and Y. Xu, “PointNest: Learning Deep Multi-Scale Nested Feature Propagation for Semantic Segmentation of 3D Point clouds,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., pp. 1–15, 2023, doi:10.1109/JSTARS.2023.3315557. [^159]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation," in 2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada: IEEE, Oct. 2021, pp. 16004–16013. doi: 10.1109/ICCV48922.2021.01572. [^160]: H. Zhou et al., “Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation,” Aug. 04, 2020, arXiv:arXiv:2008.01550. Accessed: Mar. 17, 2023. [Online]. Available: [^161]: F. Jiang, H. Gao, S. Qiu, H. Zhang, R. Wan, and J. Pu, “Knowledge Distillation from 3D to Bird’s-Eye-View for LiDAR Semantic Segmentation,” Apr. 22, 2023, arXiv:2304.11393. Accessed: May 06, 2023. [Online]. Available: ## [^162]: B.-S. Hua, M.-K. Tran, and S.-K. Yeung, “Pointwise convolutional neural networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 984–993 --- [^163]: Z. Wang and F. Lu, “VoxSegNet: Volumetric CNNs for Semantic Part Segmentation of 3D Shapes,” Sep. 01, 2018, arXiv: arXiv:1809.00226. Accessed: Apr. 06, 2023. [Online]. Available: [^164]: W. Zhou, X. Cao, X. Zhang, X. Hao, D. Wang, and Y. He, “Multi Point-Voxel Convolution (MPVConv) for Deep Learning on Point Clouds,” Jul. 27, 2021, arXiv:2107.13152. Accessed: Jun. 15, 2024. [Online]. Available: [^165]: P.-S. Wang, "OctFormer: Octree-based Transformers for 3D Point Clouds," ACM Trans. Graph., vol. 42, no. 4, pp. 1–11, Aug. 2023, doi: 10.1145/3592131. [^166]: K. Genova et al., “Learning 3D Semantic Segmentation with only 2D Image Supervision,” in 2021 International Conference on 3D Vision (3DV), Dec. 2021, pp. 361–372. doi: 10.1109/3DV53792.2021.00046. [^167]: J. Wei, G. Lin, K.-H. Yap, T.-Y. Hung, and L. Xie, “Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds,” Mar. 29, 2020, arXiv:2003.13035. Accessed: Mar. 17, 2023. [Online]. Available: [^168]: X. Xu and G. H. Lee, “Weakly supervised semantic point cloud segmentation: Towards 10x fewer labels,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 13706–13715. [^169]: J. Zhao et al., “SemanticFlow: Semantic Segmentation of Sequential LiDAR Point Clouds from Sparse Frame Annotations,” IEEE Trans. Geosci. Remote Sens., pp. 1–1, 2023, doi: 10.1109/TGRS.2023.3264102. [^170]: T. Peters, C. Brenner, and K. Schindler, “Semantic segmentation of mobile mapping point clouds via multi-view label transfer,” ISPRS J. Photogramm. Remote Sens., vol. 202, pp. 30–39, Aug. 2023, doi: 10.1016/j.isprsjprs.2023.05.018. [^171]: N. Zhao, T.-S. Chua, and G. H. Lee, "Few-shot 3D Point Cloud Semantic Segmentation," in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA: IEEE, Jun. 2021, pp. 8869–8878. doi:10.1109/CVPR46437.2021.00876.