文章 # 基于多视角与跨模态紧凑特征及双分支知识蒸馏的实时LiDAR 3D语义分割张云 $^{1}$，钱坤 $^{1,2,*,\dagger}$，张子涵 $^{1}$，张敏奥 $^{1}$，余海 $^{3}$ 1 东南大学自动化学院，南京 210096，中国 2 东南大学深圳研究院，深圳 518063，中国中国电力科学研究院有限公司信息通信研究所，南京 210000，中国通讯作者：第二作者的所属机构为机构2。 ## 摘要利用手持式扫描仪进行同步在线建图与语义分割，可支持各类环境检测与测量任务。对于此类扫描仪而言，融合视觉数据与LiDAR数据有助于提升分割性能。但多模态、多视角特征的直接融合在实时性与鲁棒性方面均面临挑战。为解决这些问题，本文提出了一种用于支持运行时仅基于LiDAR的语义分割的多视角与跨模态知识蒸馏方法。该方法分层压缩多视角与跨模型先验信息，并将其蒸馏到两个分支中以提升分割精度。此外，我们设计了基于PolarMix的改进型数据增强技术，以生成更逼真的点云场景。在SemanticKITTI和nuScenes数据集上的实验结果表明，本方法的mIoU指标优于现有基于知识蒸馏的先进方法。同时，使用手持式扫描仪进行的建图实验也验证了所提方法在实时性与精度方面的优越性。关键词：LiDAR；语义分割；多视角与跨模型融合；知识蒸馏；手持式3D扫描仪 ![Image](images/20c3097011d63af38d223f071b7f1891448b1f45dd50ae4c1050535318924ca7.jpg) 学术编辑：王淼辉版权所有：© 2026 作者们。授权方：MDPI，瑞士巴塞尔。本文为开放获取文章依据知识共享协议的条款与条件进行分发。许可类型：署名（CC BY）许可。 ### 1. 引言手持式激光雷达扫描仪在检测应用中正得到日益广泛的使用。在扫描过程中，对这类扫描仪生成的点云进行在线语义分割，能够实现精细且可视的测量任务[^1] [^2]，例如测量树木和电杆的高度。对于语义分割任务而言，摄像头能够提供周围环境的颜色和纹理特征，从而实现较高的分割精度[^3]。不过，摄像头天生容易受到光照条件变化的影响（如图1a所示），且难以获取远处物体的精确深度信息。相比之下，激光探测与测距（LiDAR）传感器能够在较大范围内提供精确的空间数据，且对光照波动具有较强的鲁棒性。随着深度学习的快速发展，点云语义分割技术取得了显著进展。然而，深度学习模型的性能高度依赖于训练数据的规模和多样性。在实际应用中，点云数据往往受到传感器性能、扫描范围以及环境遮挡等因素的限制，常常存在点密度不均和稀疏的问题，这会导致模型容易过拟合，进而限制其泛化能力。此外，LiDAR的局限性在于它无法捕捉颜色和纹理等信息（如图1b所示），而大量点云的稀疏性和无序性也给其语义分割方法带来了挑战。 --- 在实际应用中，点云数据往往受到传感器性能、扫描范围以及环境遮挡等因素的限制，常常存在点密度不均和稀疏的问题，这使得模型容易过拟合，进而限制其泛化能力。此外，LiDAR的局限性在于它无法捕捉颜色和纹理等信息（如图1b所示），而大量点云的稀疏性和无序性也给其语义分割方法带来了挑战。 ![Image](images/19b0f8a86a9eef198c7b06fb2bcf62ffb923fe427ca7c851b3eff20ba9ca4605.jpg) ![Image](images/a5ab21c9e65333574f8e36fe952d4b77002095d4255f1995015e0420a48b311d.jpg)

(a) Point cloud and image

![Image](images/ce482e979fda2282cf639b3b97d63530599e24cbd9ab551d2c7177e1bff3674f.jpg) ![Image](images/54fea80c0f770644fea7e6815d346f79ad4a71491e9988874d643b68e8d82e70.jpg)

(b) Camera overexposure

![Image](images/2b8f9638b5dfa6ed31f30e63852f2d9a2d867c63e9d29f95e26b4d15ad6e1ac2.jpg) ![Image](images/1ae4120bb458879a2fd82636e079997d26f30f17f26b77e7eba46fc3bbbf43c3.jpg) ![Image](images/b4ef6f0ff5f97007130bdc8dcd36f9b4ad58167247f1ce3b88d03dde0b8909b1.jpg)

Figure 1. Visualization Multi-view and Cross-modal sensor data characteristics: (a) accurate position of the point clouds, as well as color and texture of the image, (b) one drawback of the camera: overexposure, (c) shortcomings of different LiDAR views: disorder, quantization error, projection error. x indicates that this point is obscured in the point cloud projection image.

数据增强技术已成为解决LiDAR语义分割中数据分布问题的重要方法。通过对原始数据应用一系列变换操作，人工扩大训练集的规模和多样性，从而提升模型的鲁棒性和泛化性能。在点云数据增强方法中，PolarMix[^4]是一种具有代表性的先进增强算法。该方法借鉴了图像混合增强的思路，对点云实例进行多角度旋转和粘贴操作，在有效丰富点云数据分布的同时保留了场景的几何结构。不过，PolarMix方法存在一些局限性：无论原始数据集中各类别实例数量有何差异，它都对所有实例类别应用相同的旋转粘贴操作。这种策略未能充分考虑到原始点云数据中显著的类别不平衡问题。此外，该策略也没有考虑真实点云的物理分布特性，还会引入大量相互遮挡、穿透或悬空的对象。这一问题限制了模型从稀疏类别中学习的能力，进而影响整体分割性能。为了解决LiDAR特征种类有限的问题，近年来出现了许多利用不同视角LiDAR的方法，主要包括基于点的方法[^5] [^6]、基于体素的方法[^7] [^8]以及基于投影的方法[^9] [^10]。然而，每种视角都存在其局限性。例如，如图1c所示，点云本身的无序性、体素化带来的量化误差以及投影产生的误差都会对精度造成制约。为解决上述问题，多视角融合策略应运而生。 --- 利用多视角之间的协同优势来实现更精确的分割，正如[^11]中所展示的那样。然而，这些方法常常面临来自同一传感器的不同视角间存在的冗余特征问题，而特征的多样性不足也会限制分割精度。与多视角方法相比，融合更多类型传感器的多模态方法能够带来更丰富的特征，理论上也能提升分割精度。不过，它们同样面临两大挑战：应用于手持式3D扫描仪时会出现精度下降以及实时性能低下的问题。例如，多个传感器之间的校准误差可能会降低分割精度；而任何传感器产生的异常数据，如图1b中所示的过曝现象，都会对精度和鲁棒性产生负面影响。此外，无论是多视角方法还是多模态方法，通常都需要为每种输入数据配备专门的特征编码器。这些编码器会带来巨大的计算负担并占用宝贵的内存资源，从而导致实时性能下降，阻碍数据的可扩展性。上述挑战使得在手持式3D扫描仪上实现在线语义分割与其他高实时性、高精度任务相结合变得十分困难。为解决上述问题，本文提出了一种双分支特征增强框架，该框架利用多模态和多视角特征融合来强化仅基于激光雷达的语义分割基线。负责推理的轻量级基线构成主分支，在本文中该基线由基于体素的轻量级分割范式实现。为了弥补轻量化带来的精度损失，辅助分支采用基于互注意力的方式对输入的多视角和多模态特征进行分层压缩，随后将最终融合的特征蒸馏给各个分支。与注重高实时性能的主分支不同，轻量级的辅助分支旨在尽可能节省内存资源以提升网络的可扩展性。为了进一步提高精度，我们还提出了一种名为APolarMix的改进型数据增强方法，该方法基于经典的PolarMix方法。与原始方法中通过交换激光雷达扫描的区域来进行场景级替换、以及实例级整体旋转粘贴的做法不同，APolarMix的主要目标是让插入的物体点云显得更加逼真。综上所述，本文的主要贡献如下： - 我们提出了一种多视角与跨模态融合方法，能够在保持语义分割实时性能的同时提升精度。该框架的关键在于通过基于互注意力的三步门控机制（GM）来实现多视角和跨模态特征的紧凑化表达。这种设计还具备输入特征之间耦合度低的特点，能够以较低成本轻松添加更多的视角/模态特征。 - 我们在辅助分支中采用了双向通道内增强与通道间融合技术，并结合双分支知识蒸馏（KD）来同步强化两个分支的性能。通过提升辅助分支的性能，主分支的性能也能间接得到增强。与全模态、全视角推理相比，我们的方法显著提高了分割精度。 - 本文提出了一种基于PolarMix的改进型数据增强算法。该方法通过引入旋转调整、高度变化以及遮挡修正，旨在实现更逼真的点云增强效果。 - 与其他基于KD的点云语义分割方法相比，我们的方法在SemanticKITTI和nuScenes数据集上的mIoU指标及推理速度方面均超越了现有最优水平。额外的实验进一步证明了实时且精准的语义分割对于手持式应用而言不可或缺。 --- 实验进一步证实了实时且精准的语义分割对于手持式应用的必要性。 ### 2. 相关工作 #### 2.1. 激光雷达点云语义分割当前基于激光雷达的语义分割技术主要可分为三类：基于点的方法、基于体素的方法和基于投影的方法。基于点的方法，如PointNet++ [^5]，擅长处理三维点云。这类技术在应用于小型点云数据集时表现出较高的效能；但面对大规模点云时，其精度会有所下降。为应对这一挑战并提升在大规模场景下的性能，研究人员提出了RandLA-Net [^6]。该网络采用了简单却有效的随机下采样流程以及局部特征聚合策略。基于投影的方法旨在将三维点云的各种视角（如鸟瞰图(BEV) [^12] 或距离视图(RV)）映射到二维图像平面。这类方法通常能实现较高的实时性能，但由于遮挡问题，容易出现信息丢失的情况。文献[^9]提出了一种快速的、基于GPU加速的最近邻(KNN)搜索算法，用于为每个点获取最近k个点的投票结果。而一种端到端方法 [^13] 通过在最终分类阶段前引入KPConv层，规避了这一后处理难题。一些基于体素的基准方法 [^14] 试图实现更快的三维卷积运算，在降低计算需求的同时提升性能。另一些方法则采用不同的卷积形状和网络结构来增强特征捕捉能力。文献[^8]提出了一种非对称残差块，旨在降低计算复杂度的同时保留与类长方体物体相关的特征。此外，AF2S3Net [^15] 提出了两种创新的注意力模块，能够有效捕捉局部和全局上下文信息。 #### 2.2. 跨模态与多视角语义分割跨模态和多视角方法存在多种配置。包括[^16]和[^17]在内的多位研究者已经探索了点和体素融合方法。具体而言，文献[^16]提出了一种针对单扫描激光雷达点云的语义分割框架，该框架利用了从语义场景补全网络中提取的上下文形状先验。文献[^17]则将多层感知机与稀疏卷积结合在同一模块中，以助力学习鲁棒的特征表示。[^18]的研究工作利用RV和BEV数据进行点云语义分割；该研究提出了一种新颖的模块，该模块在端到端学习范式下利用几何关系，以双向方式对齐并传播不同视角下的互补信息。文献[^19]将点特征投影到二维空间，并将其与距离数据相结合。文献[^20]通过融合距离信息、点坐标投影、残差投影以及强度投影来实现多尺度特征提取。文献[^11]提出了一种深度融合框架，该框架整合了点、体素和距离视角间的多层次互信息交互，并利用门控融合模块来自适应地融合所有特征。 #### 2.3. 知识蒸馏知识蒸馏最初被提出用于协助将大规模教师网络压缩为更小的学生网络[^21]。在计算机视觉领域，一些基于知识蒸馏的方法会利用各种形式的特征来提炼知识，例如视觉注意力图蒸馏[^22]、相互学习蒸馏[^23]以及相互关系蒸馏[^24]。在点云数据场景下，部分方法会从图像中提取先验信息。 --- 例如，文献[^25]使得基于体素的语义分割网络能够吸收部分图像特征。 ### 3. 方法在本节中，我们将介绍我们的方法。首先，图2展示了所提出的可扩展网络的简化结构。该网络架构包含一个利用激光雷达传感器特征的主分支，以及一个用于模态（来自其他传感器/特征）和视角（来自激光雷达）融合的辅助分支。这种可扩展网络的核心思想是通过分层特征融合来生成紧凑的特征，该过程采用基于互注意力的三步GM融合方法以及多分支知识蒸馏（KD）策略。基于GM的三步融合包括轻量化特征增强与融合（LWFAF）、辅助分支融合以及多分支融合这几个阶段。当需要融合更多模态或视角时，只需在网络中添加相应的LWFAF模块，从而让网络具备出色的可扩展性。辅助分支融合旨在融合并压缩所有LWFAF模块的输出特征。这一策略使得单个编码器就能提取多视角、跨模态和多层次的特征。第三级门控融合进一步将主分支和辅助分支在每一层编码后的特征进行融合，并利用KD来提升网络的分割精度。图3详细展示了该框架的实现方式：以体素视图（V）作为主分支输入，而将距离视图（R）和图像模态（I）作为辅助分支输入。3.1节描述了构成网络基线且同时参与训练和推理的主分支，该基线在实时性能与精度之间取得了平衡。3.2节和3.3节则详细说明了辅助分支的结构。3.2节重点介绍了内部的多层次融合机制，3.3节则探讨了分支间的融合方式。需要注意的是，辅助分支仅在训练期间使用。 ![Image](images/d819bd1b96e8e45500265ca760570adf7dba44982f0a8a8d953496c9115b5896.jpg)

Figure 2. The overall structure of the framework. The main branch takes one LiDAR view as input (depicted in purple). The auxiliary branch fuses features from different LiDAR views and cross-modal data from various sensors, and it distills these fused features to itself and the main branch.

--- ![Image](images/cebafb8af283070ad7ad817e57018bfd8b6616c86c79f54997a127fc08331136.jpg)

Figure 3. Details of a framework implementation. The main branch (voxel) is a simplified semantic segmentation scheme, shown by solid lines. The auxiliary branch first extracts features from the range and the image and then enhances them using the first-level GM. Next, the second-level fused features are encoded to generate multi-scale features. Finally, the third-level GM fusion and two-branch knowledge distillation are carried out in the inter-branch fusion scheme. The entire auxiliary branch is shown with dotted lines, indicating that it is only active during training.

#### 3.1. 主分支的结构在主分支中，对于点云$P=\left\{\left(x_{i}\quad y_{i}\quad z_{i}\right)\right\}_{i}^{N}$，我们首先通过式(1)计算第l层的点到体素映射关系，并记录用于体素到点映射的基于坐标的哈希映射。 $$ \begin{array}{r}{D_{l}^{v o x e l}=\left(\left\lfloor x_{i}/r_{l}\right\rfloor\quad\left\lfloor y_{i}/r_{l}\right\rfloor\quad\left\lfloor z_{i}/r_{l}\right\rfloor\right)_{i}^{N}\in\mathbb{R}^{N*3}}\end{array} $$ 其中N表示点云的数量，每个点包含x、y、z三个通道。$r_{1}$是第l层的体素化空间尺寸，$\lfloor\rfloor$表示向下取整运算。同时，如图3所示，我们通过特征提取头（FE）利用稀疏卷积来提取体素特征。随后，采用编码器以分层方式提取具有不同感受野的特征。为了便于后续的特征融合，我们将特征上采样至其原始空间分辨率。最后，采用简单的基于MLP的分类器对拼接后的多层特征进行分类。 #### 3.2. 基于门控机制的分层特征融合在辅助分支中，第一步是通过投影关系将点云映射到其他表示形式，从而得出有效的投影点（VP）。具体而言，对于距离视图，点云的投影可通过式(2)数学表达。 $$ \left(u\quad v\right)^{T}=\left\{\frac{1}{2}\left[1-\frac{\arctan\left(y,x\right)}{\pi}\right]W_{r},\quad\left[1-\frac{\arcsin\left(z r^{-1}\right)+f_{u p}}{f}\right]H_{r}\right\} $$ 其中$H_r$和$W_r$表示距离图像的尺寸，$(u\quad v)$是像素坐标，$f = f_{up} + f_{down}$是传感器的垂直视场角，$r = \|p_i\|_2$是每个点的深度。当多个点投影到同一个像素上时，我们选择深度最小的点作为投影点，以确保距离视图中描绘的所有点都包含在传感器当前的视场范围内。此外，激光雷达到相机的空间投影由式(3)描述。 --- $$ \begin{pmatrix}\boldsymbol{u}_{i}&\boldsymbol{v}_{i}&1\end{pmatrix}^{T}=\begin{matrix}\boldsymbol{K}\times\boldsymbol{T}/\boldsymbol{z}_{i}\times\begin{pmatrix}\boldsymbol{x}_{i}&\boldsymbol{y}_{i}&\boldsymbol{z}_{i}&1\end{pmatrix}^{T}\end{matrix} $$ 其中，$K \in \mathbb{R}^{3 \times 4}$ 和 $T \in \mathbb{R}^{4 \times 4}$ 分别是相机的内参矩阵和外参矩阵。此外，通过整合所有的映射关系（2）和（3），我们就能得到公共投影点（CVP）。同时，FE模块（对RGB图像采用二维卷积，对距离图像采用邻近卷积 [^26]）用于从各输入数据中提取特征。为了充分利用这些特征，辅助分支会基于通道注意力进一步提取加权特征，包括计算通道注意力权重（CA）以及CA的门控融合（CAGF）。GF模块首先计算互注意力权重，并将其拆分为N个子权重以供后续加权使用。如图3所示，通过堆叠多个CAGF层并经由多尺度聚合层（MSA）进行聚合，便可获得多尺度特征。最后，受CBAM [^27] 的启发，我们采用空间注意力（SA）来进一步提升特征质量。传统的多视角与跨模态深度融合网络通常为每种输入数据分配一个编码器。然而，由于计算资源有限，较大的特征和参数所带来的高计算负载，使得这些方法不太适合融合更多的视角和模态。因此，本文提出的方法在辅助分支中使用通道间GF层来融合先前的特征，随后利用单个编码器提取多感受野特征。该方法确保了增加更多模态或视角时不会显著增大计算负载。 #### 3.3. 分支间融合为了更有效地增强和提炼特征，同时保留不同感受野的信息，各主分支编码器层的特征（M_Feature）会与对应的辅助编码器特征（A_Feature）进一步融合。如图3所示，第三级门控融合（分支间融合）发生在每个编码器层的特征上。由于特征间的表示存在差异，融合前会采用特征变换层来双向弥合特征差距。门控融合之后，还会应用特征逆变换层，以填补融合特征与原始编码器特征之间的差距。经逆变换后的特征会与原始特征聚合，再输入分类器进行预测。融合后的特征会被同时传递至两个分支；此外，辅助分支的预测结果也会传递至主分支。这种双分支蒸馏策略旨在同时提升两个分支的分割精度。通过增强辅助分支的性能，我们也能强化主分支的分割表现。 #### 3.4. 增强型PolarMix PolarMix主要通过复制整个实例而非逐个添加物体来增强点云数据。但它并未充分考虑物体融入场景时的适应性，因此可能导致物体漂浮、碰撞以及相互遮挡，如图4a所示。为了提升增强后点云的真实性，本文提出了APolarMix数据增强技术。该方法包含两个部分：点云预处理和点云增强。 --- ![Image](images/0a101b8294146c9b5297f734681ec290e4e8098afe5cc4fba0b3dade821768ed.jpg)

(a)

![Image](images/01625d7d191ce037024070a1de5be00c4f648f0cd95f758271724c91ea17f1c0.jpg)

(b)

Figure 4. An enhanced point cloud frame by PolarMix, where the white points represent inserted instance objects and other colors indicate different categories of objects in the original scene. (a) illustrates an example of the interpenetration problem, where inserted cars overlap with the scene's walls (blue points), and (b) shows a case of objects incorrectly placed outside the scene without azimuth correction.

##### 3.4.1. 点云预处理点云预处理是在网络训练阶段之前进行的离线处理步骤。点云预处理包含三个主要步骤：首先，我们提取地面点（如道路和停车场上的点），分割单个物体，并对未标记的物体进行聚类；接着，我们计算每个物体中心到地面平面以及激光雷达传感器的距离；最后，为每个物体创建边界框，并移除这些边界框下方的地面点。 ##### 3.4.2. 点云增强这种数据增强方法仅在训练期间使用，因此不会影响推理时间。对于当前的点云场景$P^a$以及随机选取的场景$P^b$，我们首先采用PolarMix进行初步的数据增强。需要注意的是，在实例级旋转粘贴步骤中，必须移除那些边界框与场景点云重叠的物体。接下来，我们在地面点云集合G中找到$P^a$和$P^b$对应的地面点云，通过交换和下采样操作生成临时地面点云$P_g^{temp}$。随后，随机选取$P_g^{temp}$中的一个地面点，计算该点到激光雷达的距离$D_g^{temp}$。在实例集合I中，根据权重、分类cls以及距离$D_g^{temp}$随机选取物体；这一距离约束确保了这些物体的稀疏程度符合现实世界的情况。每次插入物体时，都会校准其高程和方位角，以保证物体与地面接触。尤其值得一提的是，以地面点为方位角校准的参考点，可防止物体超出场景边界。图4b展示了一个未进行方位角校正的情况。从$P_g^{temp}$中移除每个插入物体边界框下方的地面点。如图5所示，为了提升场景的真实感[^28]，我们会沿着远离激光雷达的方向为每个实例物体生成点云墙，并执行场景级距离投影与反投影操作；这一过程能消除被插入的实例物体遮挡的点云。 --- ![Image](images/58a9ab9dd9f8e685e343f2cab92bd5cd328efb41d5e42124f50e0db588490054.jpg)

Figure 5. (a) Original scene. (b) Inserting objects with generated walls. (c) Fusion of the original scene and the inserted instances. (d) Eliminating occluded points through projection and back projection.

### 4. 实验 #### 4.1. 实验设置 ##### 4.1.1. 数据集 SemanticKITTI [^29]包含43,551帧激光雷达数据，每帧约含130,000个点。nuScenes数据集[^30]在850个用于训练和验证的场景中包含14亿个带标签的点，另有150个场景用于测试。自定义数据集是通过手持/背包式扫描平台采集的（如图6所示）。该扫描仪配备了一台Livox Avia激光雷达（中国深圳的Livox Technology Co. Ltd.公司生产）、摄像头、电池以及用于触发所有传感器的同步器。点云和RGB图像的采集频率设为10 Hz，惯性测量单元数据的采样率为200 Hz。为防止极端光照条件导致网络训练时多模态融合精度下降，我们选择在光照相对稳定的白天采集数据，避免摄像头直接对准光源以免造成过曝；同时开启自动增益控制和自动曝光功能，以应对不断变化的光照条件。 ![Image](images/d1445ed26ca4ae7b6594715104a7fe2964a53fd93df84fda316bdea27b695953.jpg)

Figure 6. Handheld/backpack sensors platform.

##### 4.1.2. 网络实现在本研究中，主分支的编码器基于SPVCNN架构，稀疏卷积操作则基于TorchSparse++库[^31]。编码器的各层维度分别为16、32、64和128。随后，采用MLP作为解码器，对上采样后的特征进行分类预测。对于辅助分支，RGB图像和距离图像的特征提取层均采用三层$3 \times 3$卷积来学习局部特征。距离图像的特征提取层唯一的不同之处在于，第一层卷积被近邻卷积取代。辅助分支直接采用ResNet34的编码器[^32]。在分支间方案中进行特征融合之前，各编码器层的输出特征维度会被统一转换为64维。SemanticKITTI数据集的初始体素大小为0.05，nuScenes数据集则为0.1。RGB图像和距离图像分别被缩放为$640 \times 320$和$64 \times 2048$。我们选用交叉熵损失和Lovász损失[^33]作为损失函数。批量大小、学习率和训练轮数分别为2、0.24和80。网络采用SGD优化器进行训练。为了评估实时推理性能，我们在配备Intel Core i7-11800H CPU和NVIDIA GeForce RTX 3070 GPU的笔记本电脑上测量每秒帧数（FPS）。 --- 第二帧率（FPS）是在配备英特尔酷睿i7-11800H CPU和英伟达GeForce RTX 3070 GPU的笔记本电脑上测得的。 ##### 4.1.3. 评估指标本文采用了常用的评估指标——mIoU（平均交并比）。mIoU指标的定义如下： $$ mIoU=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_{c}}{TP_{c}+FP_{c}+FN_{c}} $$ 其中，$TP_{c}$、$FP_{c}$和$FN_{c}$分别表示给定类别c的真阳性、假阳性和假阴性预测结果，C为类别总数。 #### 4.2. 传感器校准由于手持设备的位置和朝向并不固定，因此必须尽量减小激光雷达点云在图像上的投影误差。该误差分为两部分：第一部分是静态误差，通过采集从近到远的校准板数据来对激光雷达和摄像头进行校准；为应对运动引起的动态误差，我们利用时间戳和IMU数据，将每个点云帧中的所有点投影到第一个点的坐标系中。 #### 4.3. 在SemanticKITTI和nuScenes数据集上的实验结果表1和表2中，“VIR”代表体素、RGB图像和距离图像的组合，而“LC”则表示激光雷达和摄像头。这些表格表明，基于体素的方法通常优于距离图像和点云方法。此外，多视角方法相比单视角方法具有显著优势；例如，RPVNet在分割精度上超过了SPVNAS，类似地，跨模态方法UniSeg也优于RPVNet。对于基于知识蒸馏的方法，同样可以发现跨模态方法2DPASS优于单模态的PVKD，而我们的方法又超越了2DPASS。UniSeg的mIoU值（147.6 M）高于我们的方法，这可能是由于我们的方法参数更少且为单视角推理所致。

Table 1. Class-wise mIoU and FPS of Our Method and Other Methods on the SemanticKITTI Leaderboard.

method	mlou (%)	Modality/View	speed (FPS)	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic sign
RandLA-Net [^6]	55.9	P	1.4	94.2	29.8	32.2	43.9	39.1	48.4	47.4	9.4	90.5	61.8	74	24.5	89.7	60.4	83.8	63.6	68.6	51	50.7
RangeNet53++ [^9]	52.2	R	13.9	91.4	25.7	34.4	25.7	23	38.3	38.8	4.8	91.8	65	75.2	27.8	87.4	58.6	80.5	55.1	64.6	47.9	55.9
SalsaNext [^34]	59.5		36.67	91.9	48.3	38.6	38.9	31.9	60.2	59	19.4	91.7	63.7	75.8	29.1	90.2	64.2	81.8	63.6	66.5	54.3	62.1
PolarNet [^12]	54.3		7.64	93.8	40.3	30.1	22.9	28.5	43.2	40.2	5.6	90.8	61.7	74.4	21.7	90	61.3	84	65.5	67.8	51.8	57.5
Cylinder3D [^8]	68.9	V	4.76	97.1	67.6	63.8	50.8	58.5	73.7	69.2	48	92.2	65	77	32.3	90.7	66.5	85.6	72.5	69.8	62.4	66.2
AF2S3 [^15]	69.7		-	94.5	65.4	86.8	39.2	41.1	80.7	80.4	74.3	91.3	68.8	72.5	53.5	87.9	63.2	70.2	68.5	53.7	61.5	71
SPVNAS [^17]	67	Fusion(L)VP	6.92	97.2	50.6	50.4	56.6	58	67.4	67.1	50.3	90.2	67.6	75.4	21.8	91.6	66.9	86.1	73.4	71	64.3	67.3
RPVNet [^11]	70.3	Fusion(L)VPR	3.36	97.6	68.4	68.7	44.2	61.1	75.9	74.4	43.4	93.4	70.3	80.7	33.3	93.5	72.1	86.5	75.1	71.7	64.8	61.4
UniSeg [^35]	75.2	Fusion(LC)VPRI	-	97.9	71.9	75.2	63.6	74.1	78.9	74.8	60.6	92.6	74	79.5	46.1	93.4	72.7	87.5	76.3	73.1	68.3	68.5
PVKD [^36]	71.2	KD(L)V	4.76	97	67.9	69.3	53.5	60.2	75.1	73.5	50.5	91.8	70.9	77.5	41	92.4	69.4	86.5	73.8	71.9	64.9	65.8
2DPASS [^25]	72.9	KD(LC)VI	14.33	97	63.6	63.4	61.1	61.5	77.9	81.3	74.1	89.7	67.4	74.7	40	93.5	72.9	86.2	73.9	71	65	70.4
Ours	73.5	KD(LC)VIR	19.8	97.3	70.9	70.3	58.9	67.8	80.1	81.1	66.9	91.2	69.1	77.3	34.1	92.1	69.2	86.5	75.2	71.9	65.8	70.7

#### 4.4. 消融实验决定基线性能的主要因素是体素大小和网络规模。不同的融合方法和蒸馏路径会对辅助分支产生显著影响，进而间接影响主分支的性能。分割精度和计算成本也会因组合方式的不同而有所差异。 --- 所使用的视图或模态类型。此外，为了进一步验证APolarMix，有必要将其与PolarMix进行比较。

Table 2. Class-wise mIoU and Frequency-weighted (FW) IoU of Our Method and Other Methods on the nuScenes Leaderboard.

method	mIoU (%)	FW mIoU (%)	Modality/View	barrier	bicycle	bus	car	construction	motorcycle	pedestrian	traffic cone	trailer	truck	driveable	other flat	sidewalk	terrain	mammage	vegetation
PolarNet [^12]	69.4	87.4	V	72.2	16.8	77	86.5	51.1	69.7	64.8	54.1	69.7	63.5	96.6	67.1	77.7	72.1	87.1	84.5
Cylinder3D [^8]	77.2	89.9		82.8	29.8	84.3	89.4	63	79.3	77.2	73.4	84.6	69.1	97.7	70.2	80.3	75.5	90.4	87.6
AF253 [^15]	78.3	88.5		78.9	52.2	89.9	84.2	77.4	74.3	77.3	72	83.9	73.8	97.1	66.5	77.5	74	87.7	86.8
PMF [^37]	77	89	KD(LC)RI	82	40	81	88	64	79	80	76	81	67	97	68	78	74	90	88
AMVNet [^38]	77.3	90.1	Fusion(L)RB	80.6	32	81.7	88.9	67.1	84.3	76.1	73.5	84.9	67.3	97.5	67.4	79.4	75.5	91.5	88.7
JS3C-Net [^16]	73.6	88.1	Fusion(L)PV	80.1	26.2	87.8	84.5	55.2	72.6	71.3	66.3	76.8	71.2	96.8	64.5	76.9	74.1	87.5	86.1
SPVCNN [^17]	77.4	89.7	Fusion(L)PV	80	30	91.9	90.8	64.7	79	75.6	70.9	81	74.6	97.4	69.2	80	76.1	89.3	87.1
UniSeg [^35]	83.5	-	Fusion(L)PVRI	85.9	71.2	92.1	91.6	80.5	88	80.9	76	86.3	76.7	97.7	71.8	80.7	76.7	91.3	88.8
2DPASS [^25]	80.8	90.1	KD(LC)VI	81.7	55.3	92	91.8	73.3	86.5	78.5	72.5	84.7	75.5	97.6	69.1	79.9	75.5	90.2	88
Ours	81.7	91.4	KD(LC)VIR	83.2	44.9	95.1	92.4	70.5	88.8	81.5	78.4	87.3	77.6	97.9	68.7	81.1	76.7	92.9	89.8

##### 4.4.1. 不同视图-模态组合与体素大小的比较如表3所示，随着体素大小的增加，分割精度和推理时间均会下降。对于VIR模式，不同体素大小下的mIoU得分分别为69.91（记为100.0%）、69.85（99.7%）和68.92（98.4%），对应的推理时间分别为310秒（记为100%）、205秒（66.1%）和132秒（42.6%）。与分割精度的轻微下降相比，推理速度的显著提升十分明显。本文选择0.05的体素大小，以在分割精度与实时性能之间取得平衡。

Table 3. Inference Times and mIoU Scores for Various View-Modality Combinations and Voxel Sizes.

PR (%)	Voxel Size (m)	V/M	Infer Time (s)	mIoU (%)
100	0.025	VIR	310	69.91
	0.025	VI		68.65
	0.025	VR		69.02
	0.025	V		65.54
	0.05	VIR	205	69.85
	0.05	VI		68.52
	0.05	VR		68.93
	0.05	V		65.32
	0.1	VIR	132	68.92
	0.1	VI		68.33
	0.1	VR		68.42
	0.1	V		65.16

##### 4.4.2. 不同视图-模态组合与参数比例（PRs）的比较主分支编码器中每一层的维度分别为16、32、64和128。因此，本文对更大维度的网络性能进行了对比，结果如表4所示。当参数数量翻倍时，VIR模式下mIoU在100% PR下达到69.85（记为100%），在200% PR下则达到69.98（100.18%）。不过，推理时间从205秒（记为100%）增加到了321秒（156.59%）。因此，本研究选择了较小的参数集，以便在不会造成显著精度损失的前提下提升系统的实时性能。 ---

Table 4. Inference Times and mIoU Scores for Various View-Modality Combinations and Parameter Ratios.

Voxel Size (m)	PR (%)	V/M	Infer Time (s)	mIoU (%)
0.05	100	VIR	205	69.85
		VI		68.52
		VR		68.93
		V		65.32
	200	VIR	321	69.98
		VI		68.78
		VR		69.22
		V		66.43

##### 4.4.3. 辅助分支中不同融合方法的比较与传统上为各输入数据流分配专用编码器的方法不同，辅助分支采用单个编码器（SE）从第二阶段门控融合中提取多感受野特征。为了对比这两种范式，我们开展了实验并将结果展示在图7中。“ME”（多编码器）指为体素、图像和距离数据分别独立分配编码器；“GATED”、“ADD”和“CAT”（拼接）代表不同的特征融合方法。与“ME GATED”相比，“SE GATED”可使参数减少52.7%，GPU显存占用降低2.5 GB，mIoU下降0.08，训练时间缩短21.31小时。此外，与“ME ADD”和“ME CAT”相比，“ME GATED”模式的mIoU最高，其参数分别增加0.1 M和减少0.3 M，显存占用分别增加0.4 GB和减少2.2 GB，训练时间分别延长3.25小时和0.33小时。 ![Image](images/da2567239ced9fd443d508ca360e148473acc16b464b6f6172045d14fbbc4b57.jpg)

Figure 7. Comparison between single and multiple encoders.

此外，表5展示了不同组合下参数数量、训练时间和GPU显存占用的变化。与体素视图相比，添加另一种模态或视图会导致参数和显存占用明显增加，这主要是由于额外的辅助分支所致。不过，在融合更多模态或视图时，参数数量、GPU显存占用和训练时间基本保持不变。这表明所提出的网络架构能够融合更多视图或模态，而不会显著增加计算和内存开销。 ---

Table 5. Number of Parameters, Training Time, and Memory Usage for Different VIR Combinations.

V/M	Param (M)	Epoch Train Time (min)	GPU Mem (GB)
V	2.1	23.9	2.1
V + I	24.9	38.2	13.9
V + R	25	48.6	21.6
V + IR	24.8	38.5	13.8

##### 4.4.4. 不同蒸馏方法的比较第三级GF的融合特征被蒸馏到两个分支中，随后辅助分支将增强后的特征蒸馏到主分支中。表6中的结果表明，将融合特征蒸馏到两个分支中，相比仅将辅助分支的特征蒸馏到主分支，能提升分割精度。此外，表中的第一行和第三行显示，将融合特征蒸馏到辅助分支可间接提升主分支的性能。

Table 6. mIoU Scores of Different KD Paths.

V/M	KD Pattern			mIoU (%)
V/M	auxiliary -> main	fuse -> main	fuse -> auxiliary	mIoU (%)
V	/	/	/	65.32
VIR	✓			68.76
	✓	✓		69.44
	✓	✓	✓	68.92
	✓	✓	✓	69.54
	✓	✓	✓	69.85

##### 4.4.5. APolarMix的评估表7展示了原始的PolarMix与APolarMix之间的对比。后者引入了多项改进，包括地面点选取、基于权重和距离的实例物体添加、高程/方位角校正（E/A校正），以及基于点云墙的遮挡点云移除。表中呈现的数据清楚地表明，这些改进显著提升了分割精度。此外，我们评估了APolarMix在SemanticKITTI数据集上的平均处理时间，结果展示在表7的“额外耗时”一列中。原始的PolarMix会使数据加载器的处理时间增加0.015秒；将点云场景中插入实例物体还会额外产生$0.003 \times IN \times CN$的时间成本，其中IN表示插入的实例数量，CN表示类别数量。最后，引入点云墙以移除遮挡点会使处理时间再增加0.02秒。

Table 7. Impact of Different Improvement Methods in APolarMix.

V/M	Data Augmentation Method							mIoU(%)	Added Time
V/M	PolarMix	+ groundpoint	+ weight	+ distance	+ E/A cor.	+ wall	+ distance	mIoU(%)	Added Time
VIR							69.36	/	/
	✓						69.6	+0.015
	✓	✓					69.67	+0.003 $\times$ IN $\times$ CN
	✓	✓	✓				69.72
	✓	✓	✓	✓			69.76
	✓	✓	✓	✓	✓		69.79
	✓	✓	✓	✓	✓	✓	69.85	+0.02

--- #### 4.5. 定性结果图8展示了分割误差的对比情况。最左侧列显示了点云的真实标注，不同颜色代表不同的语义物体。其余图像则分别展示了原始点云以及经过PolarMix和APolarMix增强后的推理结果。图9展示了不同模态/视角组合下，以及经过PolarMix/APolarMix增强的基线模型在不同距离处的分割精度。在近距离范围内，APolarMix带来的提升更为明显，因为近处的物体更容易遮挡其后方的点云；同时，与远距离物体相比，它对高程和方位角的变化也更敏感。VR曲线之所以优于VI曲线，主要是因为SemanticKITTI数据集中仅有的前向摄像头的CVP数值较小，因此距离超过30米时，VR曲线会更接近VIR曲线。 ![Image](images/75f2dc9801ff43e01e6f0463ac72d5441dcff581ec5d98c233635321667fac40.jpg)

Car bicycle moto truck O.veh ped b.list m.list road park walk O.gro build fenc veg trun terr pole sign

Figure 8. Qualitative results of PolarMix and APolarMix on the SemanticKITTI. The first column shows the semantic ground truth, while the other columns display the segmentation results, with red points indicating incorrect segmentations.

![Image](images/333a57643c5643fd1be942661b6adfaa07ff608260fc3b27aec2c2c65ee7eda8.jpg)

Figure 9. mIoU-distance extended experiment on the SemanticKITTI validation set at different distances.

--- #### 4.6. 基于地面约束的实时建图由于设备姿态不稳定且会随人体移动而变化，自定义数据集本身存在方向不确定性，这会导致构建的地图出现畸变。因此，基于地面约束的实时姿态校准至关重要。第一步就是提取地面点。图10展示了不同地面分割方法及我们所提方法的可视化结果；图11则给出了定量结果：我们的方法在精确度、召回率、准确率、F1分数和mIoU各项指标上均表现最优。误差指标用于衡量校准后传感器数据与未校准传感器数据之间的相对俯仰角误差百分比。从图11可以看出，我们方法的角度误差最小。尽管我们的方法需要更多的计算时间，但仍低于激光雷达的采样间隔（100毫秒），因此满足实时性要求。图12展示了(a)和(b)中的地图与轨迹结果，橙色结果由LIO-Livox生成，红色和蓝色结果是分别引入基于TRAVEL的姿态校准方法和我们提出的基于网络的姿态校准方法后得到的结果，绿色点和轨迹则为真实标注。 ![Image](images/6558f9a42bc80f361b9205ded4632f5ad9b2803d79692a536ac869126ab2297a.jpg)

Figure 10. Visualization results of real-time point cloud ground segmentation methods.

![Image](images/e93ca47d1f0284609d065d86aefbe33dfce58e0a26596e35b405b810ca36c7ec.jpg)

Figure 11. Quantitative results of accuracy of real-time point cloud ground segmentation methods and error of Z-axis vector.

--- ![Image](images/0d81b7b79ac01b7e78bf904528c4f9c477ca92a791ebefd03b816b682f074527.jpg)

(a) Point Cloud Maps

![Image](images/8b5afffae5fb089e510607006a47603745f99a969af17f459aa130d84ee6130c.jpg)

(b) Trajectories

Figure 12. Visualization results of handheld 3D scanning sensor mapping with different pose calibration methods.

### 5. 结论本文提出了一种基于互注意力机制的三步GM融合实时高精度语义分割方法，该方法能够提取紧凑的特征，并通过双分支蒸馏实现多分支协同增强。这些设计赋予了网络强大的可扩展性。与其他基于知识蒸馏的实时激光雷达语义分割方法相比，我们的方法进一步提升了准确率，并在SemanticKITTI和nuScenes基准测试中取得了更好的mIoU分数。最后，我们提出的APolarMix数据增强算法通过生成更逼真的点云来进一步提高分割精度。为了进一步提升准确率，我们计划在后续研究中探索利用时空信息来增加辅助分支内的公共点数量。 ### 6. 讨论激光雷达点云的海量数据量会拖慢点云处理、分割和建图等步骤的速度。如表A4所示，数据量对建图速度的影响最大。一些研究致力于探索如何压缩点云以减少数据量。参考文献[^39]系统总结了帧内和帧间点云压缩的常见方法，包括但不限于基于图像和八叉树的方法。尽管这些方法能有效减小点云数据的规模，但解压压缩点云时产生的误差会对下游任务造成显著影响。基于八叉树的LPCC（激光雷达点云压缩）方法可能会因将相邻点合并为单个点而引入失真。相比之下，基于自编码器的方法通过最小化重构误差来训练编码器和解码器，解码器本质上是在预测点的坐标；预测不准确就会导致点表示出错。基于语义的LPCC方法会从原始点云中移除某些类别的点，在传输和存储前就剔除不必要的点，从而减小数据规模。 --- 语义分割任务既可作为点云压缩的关键组成部分，也可作为下游任务。参考文献[^40]利用语义分割将场景点云与物体点云分离，再对不同类型的点云采用不同的压缩方法。在此场景下，语义分割的准确率直接影响点云压缩的质量。因此，将此类方法部署到在线系统时，分割的实时性和准确率都至关重要。作为点云压缩的下游任务之一，实现更快的语义分割同样依赖于减少数据量以及采用更紧凑的特征表示。由此可见，高效的点云压缩与高速语义分割通常是相互依存的。同时实现激光雷达点云的高效压缩与语义分割，是未来下游任务的重要研究方向。此外，在SLAM系统中，激光雷达点云压缩可能会对定位与建图性能产生不利影响。例如，来自移动物体的点会降低定位精度，还可能在静态地图中被错误显示。在帧间压缩过程中，某些被丢弃或预测错误的关键点可能会导致SLAM系统的帧间匹配出错，进而引发位姿误差和地图失真。对于差异较大的相邻帧而言，确保地图一致性会变得尤为困难。为了规避点云压缩可能导致的分割精度下降问题，本文采用多模态和多视角融合蒸馏技术来提升主分支的分割精度。同时，这种轻量级网络能显著减少端到端延迟，确保语义分割网络不会成为系统实时性能的瓶颈。作者贡献：概念化：Y.Z.；方法论：Y.Z.；验证：Y.Z.；调研：Y.Z.；资源提供：H.Y.；数据整理：Y.Z.、Z.Z.和M.Z.；初稿撰写：Y.Z.；审阅与编辑：Y.Z.；可视化：Y.Z.；监督：K.Q.；项目管理：K.Q.；经费获取：K.Q.。所有作者均已阅读并同意发表该手稿版本。经费支持：本研究由广东省基础与应用基础研究基金（2025A1515010397）以及东南大学未来技术学院太湖创新基金资助。机构审查委员会声明：不适用。知情同意声明：不适用。数据可用性声明：本研究未创建或分析新数据。数据共享不适用于本文。利益冲突：作者海宇受雇于中国电力科学研究院有限公司。其余作者声明，本研究是在没有任何可能被视作潜在利益冲突的商业或财务关系下开展的。 ## 附录A 附录A.1 为了便于复现网络结果，我们在图A1中列出了网络的关键参数。 --- ![Image](images/71424b430de9aa1d616edaf57ba0f7bc58586eca4f7b102468e9d1f272ca8475.jpg)

Figure A1. Training parameters.

Appendix A.2

我们在公式(A1)中给出了门控融合公式，其中$F_{i}$为输入特征，i表示此特征所对应的L个输入特征中的哪一个。$\bar{F}$为融合后的输出特征。$\sigma$表示Sigmoid函数。 $$ \bar{\boldsymbol{F}}=\sum_{i}^{L}s p l i t[s o f t m a x(\sum_{i}^{L}\sigma(M L P(\boldsymbol{F}_{i})))]_{i}\cdot\boldsymbol{F}_{i} $$ 通道/空间注意力权重公式如公式(A2)和(A3)所示，其中$W_0 \in \mathbb{R}^{(C/2)/C}$和$W_1 \in \mathbb{R}^{C/(C/2)}$为MLP权重，C为特征维度。$f^{7 \times 7}$表示卷积操作，其滤波器大小为$7 \times 7$。Cat为拼接操作。$M_C(F)$和$M_S(F)$分别为通道注意力图和空间注意力图。 $$ \begin{aligned}&{\boldsymbol{M}}_{C}(\boldsymbol{F})=\sigma(MLP(avgPool(\boldsymbol{F}))+MLP(maxPool(\boldsymbol{F})))\\ &=\sigma(\boldsymbol{W}_{1}(\boldsymbol{W}_{0}(avgPool(\boldsymbol{F})))+\boldsymbol{W}_{1}(\boldsymbol{W}_{0}(maxPool(\boldsymbol{F}))))\\ \end{aligned} $$ $$ \mathbf{M}_{s}(\mathbf{F})=\sigma(f^{7\times7}(C a t[A v g P o o l(\mathbf{F}),m a x P o o l(\mathbf{F})])) $$ 公式(A4)和(A5)分别展示了Sigmoid激活函数和ReLU激活函数，其中ReLU激活函数用于编码器及特征变换。公式(A6)给出了归一化公式。 $$ \operatorname{Sigmoid}(x)=\sigma(x)=\frac{1}{1+\exp(-x)} $$ $$ \mathrm{ReLU}(x)=(x)^{+}=\max(0,x) $$ $$ y=\frac{x-\mathrm{E}[x]}{\sqrt{\mathrm{Var}[x]+\epsilon}}*\gamma+\beta $$ --- ### 附录A.3

Tables A1–A3 show shapes the network structures. Figure A2 shows the tensor shape.

Table A1. The network structure of inter-branch. The arrow indicates the direction of feature distillation.

A_Feature Input (N, 64)		M_Feature Input (N, 64)
Transformation Layer:\nLinear (128, 64)/ReLU		Transformation Layer:\nLinear (128, 64)/ReLU
GF
MLP Weighting:\nLinear (64, 128) ①\nLinear (64, 64)/Sigmoid ②\nReLU (① $\times$ ②)
Inverse Transformation Layer:\nLinear (64, 64)/ReLU	Classifier:\nLinear (20, 64)		Inverse Transformation Layer:\nLinear $64 \times 64$/ReLU
ADD/Classifier:\nLinear (20, 64)	$\leftarrow$ KL_DIV	KL_DIV $\rightarrow$	ADD/Classifier:\nLinear (20, 64)
KL_DIV $\rightarrow$

Table A2. The network structure of GF.

Transformation Feature A (N, 128)	Transformation Feature M (N, 128)
Linear (128, 128)/BN/ReLU\nLinear (256, 128)	Linear (128, 128)/BN/ReLU\nLinear (256, 128)
ADD (N, 256)
Split/Sigmoid\n(N, 128)	Split/Sigmoid\n(N, 128)
mul (N, 128)	mul (N, 128)
add (N, 128)

Table A3. The network structure of Sparse Downsample Conv Block.

Downsample\nSPConv (Cin, Cout, K = 2, S = 2)/BN/ReLU
Residual	Residual
SPConv (Cout, Cout, K = 3)/BN/ReLU	nn.Identity()\n
SPConv (Cout, Cout, K = 3)
ADD/BN/ReLU
Residual	Residual
SPConv (Cout, Cout, K = 3)/BN/ReLU	nn.Identity()\n
SPConv (Cout, Cout, K = 3)
ADD/BN/ReLU
Next Layer	UpSample

--- ![Image](images/fdb78c6d85404859e7bc55f3b3ab22a2886239f43267bd06249214eec01a57d2.jpg)

Figure A2. The main structure of network and tensor shape of each stage.

--- ### 附录A.4 我们通过设备采集了20,000帧数据，并测量了端到端延迟。我们记录了传感器数据发布与校准完成之间的时间差、校准后数据发布与语义分割完成（包括体素化和推理时间）之间的时间差，以及语义标签发布与每帧映射完成之间的时间差。结果如表A4所示。功耗测量包含两个部分：传感器功耗和计算机功耗。传感器的功耗是通过采样率为2 Hz的蓝牙型Type-C功率计来测量的；同样，计算机功耗是通过采样率为1 Hz的蓝牙型直流功率计来测量的。所有数据均为多次长时间采样所得的平均值。计算机平均功耗为179瓦，而传感器的平均功耗为8.1瓦。根据表A4可知，映射任务占据了大部分的端到端延迟，此时最低帧率为13.97 Hz。不过，本文中的数据采集、校准、分割和映射任务是以流水线方式并行执行的；因此，每帧功耗为13.39瓦。

Table A4. End-to-end latency test.

Stage	Mean Time Consumption (ms)	Mean FPS	End-to-End Latency (ms)	STD	P95	P99
calib	25.048	39.92334717
voxelization	16.3	17.36111111	154.218	24.44	183.3	187.3
inference	41.3	17.36111111	154.218	24.44	183.3	187.3
mapping	71.57	13.97233478

## 参考文献 [^1]: Wald, J.; Tateno, K.; Sturm, J.; Navab, N.; Tombari, F. Real-Time Fully Incremental Scene Understanding on Mobile Platforms. IEEE Robot. Autom. Lett. 2018, 3, 3402–3409. [CrossRef] [^2]: Liu, H.; Liu, R.; Yang, K.; Zhang, J.; Peng, K.; Stiefelhagen, R. HIDA: Towards Holistic Indoor Understanding for the Visually Impaired via Semantic Instance Segmentation with a Wearable Solid-State LiDAR Sensor. In Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), Montreal, BC, Canada, 11–17 October 2021; pp. 1780–1790. [CrossRef] [^3]: Zhu, L.; Kang, Z.; Zhou, M.; Yang, X.; Wang, Z.; Cao, Z.; Ye, C. CMANet: Cross-Modality Attention Network for Indoor-Scene Semantic Segmentation. Sensors 2022, 22, 8520. [CrossRef] [PubMed] [^4]: Xiao, A.; Huang, J.; Guan, D.; Cui, K.; Lu, S.; Shao, L. PolarMix: A General Data Augmentation Technique for LiDAR Point Clouds. Proc. Adv. Neural Inf. Process. Syst. 2022, 35, 11035–11048. [^5]: Charles, R.Q.; Su, H.; Kaichun, M.; Guibas, L.J. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017; pp. 77–85. [CrossRef] [^6]: Hu, Q.; Yang, B.; Xie, L.; Rosa, S.; Guo, Y.; Wang, Z.; Trigoni, N.; Markham, A. RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020; pp. 11105–11114. [CrossRef] [^7]: Wang, F.; Wu, Z.; Yang, Y.; Li, W.; Liu, Y.; Zhuang, Y. Real-Time Semantic Segmentation of LiDAR Point Clouds on Edge Devices for Unmanned Systems. IEEE Trans. Instrum. Meas. 2023, 72, 8505011. [CrossRef] [^8]: Zhu, X.; Zhou, H.; Wang, T.; Hong, F.; Ma, Y.; Li, W.; Li, H.; Lin, D. Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR Segmentation. In Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 20–25 June 2021; pp. 9934–9943. [CrossRef] [^9]: Milioto, A.; Vizzo, I.; Behley, J.; Stachniss, C. RangeNet++: Fast and Accurate LiDAR Semantic Segmentation. In Proceedings of the 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, China, 3–8 November 2019; pp. 4213–4220. [CrossRef] ## [^10]: Liu, Y.; Xu, L.; Hu, W.; Chen, X.; Yi, B.; Mao, Q.; Kong, D.; Ruan, S. Accurate 3-D Semantic Segmentation of Point Clouds for Intelligent Vehicles Based on Multiview Edge Guidance and Fusion. IEEE Sens. J. 2024, 24, 26853–26865. [CrossRef] --- [^11]: Xu, J.; Zhang, R.; Dou, J.; Zhu, Y.; Sun, J.; Pu, S. RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation. In Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 10–17 October 2021; pp. 16004–16013. [CrossRef] [^12]: Zhang, Y.; Zhou, Z.; David, P.; Yue, X.; Xi, Z.; Gong, B.; Foroosh, H. PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020; pp. 9598–9607. [CrossRef] [^13]: Kochanov, D.; Nejadasl, F.K.; Booij, O. KPRNet: Improving projection-based LiDAR semantic segmentation. arXiv 2020, arXiv:2007.12668. [^14]: Graham, B.; Engelcke, M.; Maaten, L.v.d. 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks. In Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 18–23 June 2018; pp. 9224–9232. [CrossRef] [^15]: Cheng, R.; Razani, R.; Taghavi, E.; Li, E.; Liu, B. (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network. In Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 20–25 June 2021; pp. 12542–12551. [CrossRef] [^16]: Yan, X.; Gao, J.; Li, J.; Zhang, R.; Li, Z.; Huang, R.; Cui, S. Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion. Proc. Natl. Conf. Artif. Intell. 2021, 35, 9224–9232. [CrossRef] [^17]: Tang, H.; Liu, Z.; Zhao, S.; Lin, Y.; Lin, J.; Wang, H.; Han, S. Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution. In European Conference on Computer Visio; Springer: Cham, Switzerland, 2020; pp. 685–702. 18. Qiu, H.; Yu, B.; Tao, D. GFNet：用于三维点云语义分割的几何流网络。《机器学习研究交易》2022年。在线可获取：（访问日期：2026年3月9日）。 [^19]: Alonso, I.; Riazuelo, L.; Montesano, L.; Murillo, A.C. 3D-MiniNet: Learning a 2D Representation From Point Clouds for Fast and Efficient 3D LIDAR Semantic Segmentation. IEEE Robot. Autom. Lett. 2020, 5, 5432–5439. [CrossRef] [^20]: Wang, S.; Zhu, J.; Zhang, R. Meta-RangeSeg: LiDAR Sequence Semantic Segmentation Using Multiple Feature Aggregation. IEEE Robot. Autom. Lett. 2022, 7, 9739–9746. [CrossRef] [^21]: Hinton, G.E.; Vinyals, O.; Dean, J. Distilling the Knowledge in a Neural Network. arXiv 2015, arXiv:1503.02531. [CrossRef] [^22]: Zagoruyko, S.; Komodakis, N. Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer. In Proceedings of the International Conference on Learning Representations, Toulon, France, 24–26 April 2017. [^23]: Li, Z.; Ming, Y.; Yang, L.; Xue, J.H. Mutual-learning sequence-level knowledge distillation for automatic speech recognition. Neurocomputing 2021, 428, 259–267. [CrossRef] [^24]: Park, W.; Kim, D.; Lu, Y.; Cho, M. Relational Knowledge Distillation. In Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 15–20 June 2019; pp. 3962–3971. [CrossRef] [^25]: Yan, X.; Gao, J.; Zheng, C.; Zheng, C.; Zhang, R.; Cui, S.; Li, Z. 2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds. In European Conference on Computer Vision; Springer: Cham, Switzerland, 2022; pp. 677–695. [^26]: Sirohi, K.; Mohan, R.; Büscher, D.; Burgard, W.; Valada, A. Efficient LPS: Efficient LiDAR Panoptic Segmentation. IEEE Trans. Robot. 2022, 38, 1894–1914. [CrossRef] [^27]: Woo, S.; Park, J.; Lee, J.Y.; Kweon, I.S. CBAM: Convolutional Block Attention Module. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 3–19. [^28]: Kim, K.; Lee, S.; Kakani, V.; Li, X.; Kim, H. Point Cloud Wall Projection for Realistic Road Data Augmentation. Sensors 2024, 24, 8144. [CrossRef] [PubMed] [^29]: Behley, J.; Garbade, M.; Milioto, A.; Quenzel, J.; Behnke, S.; Stachniss, C.; Gall, J. SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Republic of Korea, 27 October–2 November 2019; pp. 9296–9306. [CrossRef] [^30]: Caesar, H.; Bankiti, V.; Lang, A.H.; Vora, S.; Liong, V.E.; Xu, Q.; Krishnan, A.; Pan, Y.; Baldan, G.; Beijbom, O. nuScenes: A Multimodal Dataset for Autonomous Driving. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020; pp. 11618–11628. [CrossRef] [^31]: Tang, H.; Yang, S.; Liu, Z.; Hong, K.; Yu, Z.; Li, X.; Dai, G.; Wang, Y.; Han, S. TorchSparse++: Efficient Point Cloud Engine. In Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Vancouver, BC, Canada, 17–24 June 2023; pp. 202–209. [CrossRef] [^32]: He, K.; Zhang, X.; Ren, S.; Sun, J. Deep Residual Learning for Image Recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016; pp. 770–778. [CrossRef] ## [^33]: Berman, M.; Triki, A.R.; Blaschko, M.B. The Lovasz-Softmax Loss: A Tractable Surrogate for the Optimization of the Intersection-Over-Union Measure in Neural Networks. In Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake, UT, USA, 18–23 June 2018; pp. 4413–4421. [CrossRef] --- [^34]: Cortinhal, T.; Tzelepis, G.; Erdal Aksoy, E. SalsaNext: Fast, Uncertainty-Aware Semantic Segmentation of LiDAR Point Clouds. In Advances in Visual Computing; Springer: Cham, Switzerland, 2020; pp. 207–222. [^35]: Liu, Y.; Chen, R.; Li, X.; Kong, L.; Yang, Y.; Xia, Z.; Bai, Y.; Zhu, X.; Ma, Y.; Li, Y.; et al. UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase. In Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France, 1–6 October 2023; pp. 21605–21616. [CrossRef] [^36]: Hou, Y.; Zhu, X.; Ma, Y.; Loy, C.C.; Li, Y. Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation. In Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 18–24 June 2022; pp. 8469–8478. [CrossRef] [^37]: Zhuang, Z.; Li, R.; Jia, K.; Wang, Q.; Li, Y.; Tan, M. Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation. In Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 10–17 October 2021; pp. 16260–16270. [CrossRef] [^38]: Liong, V.E.; Nguyen, T.N.T.; Widjaja, S.A.; Sharma, D.; Chong, Z.J. AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation. arXiv 2020, arXiv:2012.04934. [^39]: Wang, M.; Huang, R.; Xie, W.; Ma, Z.; Ma, S. Compression Approaches for LiDAR Point Clouds and Beyond: A Survey. ACM Trans. Multimed. Comput. Commun. Appl. 2025, 21, 1–31. [CrossRef] [^40]: Wang, M.; Huang, R.; Liu, Y.; Li, Y.; Xie, W. suLPCC: A Novel LiDAR Point Cloud Compression Framework for Scene Understanding Tasks. IEEE Trans. Ind. Informat. 2025, 21, 3816–3827. [CrossRef] 免责声明/出版商说明：所有出版物中所包含的陈述、观点和数据仅代表相关作者及贡献者的个人立场，并不代表MDPI和/或编辑部的观点。对于因文中提及的任何理念、方法、说明或产品而导致的人身伤害或财产损失，MDPI和/或编辑部概不负责。