# HARP-NeXt：用于3D激光雷达语义分割的高速高精度距离点融合网络

Samir Abou Haidar $^{1,2}$、Alexandre Chariot $^{1}$、Mehdi Darouich $^{1}$、Cyril Joly $^{2}$ 以及 Jean-Emmanuel Deschaud $^{2}$

摘要—激光雷达语义分割对于自动驾驶车辆和移动机器人而言至关重要，它要求具备高精度和实时处理能力，尤其是在资源受限的嵌入式系统上。以往的最先进方法往往要在精度和速度之间做出权衡。基于点的方法和基于稀疏卷积的方法虽然精度较高，但由于邻居搜索和3D卷积的复杂性而速度较慢；基于投影的方法虽然速度更快，但在2D投影过程中会丢失关键的几何信息。此外，许多近期方法依赖测试时增强（TTA）来提升性能，这进一步拖慢了推理速度。而且，所有方法的预处理阶段都会增加执行时间，对嵌入式平台而言负担较重。因此，我们提出了HARP-NeXt——一种高速且精准的激光雷达语义分割网络。我们首先提出了一种全新的预处理方法，可显著减少计算开销；接着设计了Conv-SE-NeXt特征提取模块，无需在每个网络阶段堆叠深层结构就能高效捕捉特征表示；我们还采用了多尺度距离点融合骨干网络，利用多个抽象层级的信息来保留关键的几何细节，从而提升精度。在nuScenes和SemanticKITTI基准测试上的实验表明，与所有现有最先进方法相比，HARP-NeXt实现了更优的速度-精度平衡；且在不依赖集成模型或TTA的情况下，其性能可与排名靠前的PTv3相媲美，运行速度却快24倍。代码可在<https://github.com/SamirAbouHaidar/HARP-NeXt>获取。

## I. 引言

自动驾驶车辆和机器人广泛依赖激光雷达传感器来生成3D点云数据，从而能够高精度地感知和理解周围环境。此类系统的关键组件就是激光雷达语义分割，它需要将原始点云中的每个点归类到汽车、行人、道路、建筑物等有意义的类别中。这是物体检测与识别的基础，对于实现安全的自主导航至关重要。近年来，人们提出了众多用于分割激光雷达3D点云的深度学习模型。然而，这些方法难以同时保证高精度和快速处理，尤其是在依赖资源受限计算平台的移动自主系统和机器人上，比如NVIDIA Jetson设备。

尽管3D点集包含丰富的信息，但它们本质上存在诸多挑战，包括格式无结构化、稀疏性（空间间隙）以及数据量庞大等问题。相关方法

![Image](images/b253a76856776f2c6abe3efc7c1498cc23a76a026fd8cca289ed51bdc21aa069.jpg)

<div style="text-align: center;">Fig. 1: mIoU vs. runtime on nuScenes validation set. HARP-NeXt achieves high accuracy in near real-time with fast execution, breaking performance trends when deployed on the Jetson AGX Orin.</div>

现有文献提出了多种应对这些挑战的方法，例如直接处理原始的非结构化点云，包括PointNeXt [^1]、WaffleIron [^2]和PTv3 [^3]。但为了维持空间关系，这些方法往往依赖耗时的操作，比如k近邻搜索、最远点采样或用于邻居映射的序列化处理。相比之下，Superpoint Transformer [^4]通过利用密集点云中的局部相似性，大幅减少了输入数据量，从而显著提升了效率。然而，稀疏的室外点云缺乏足够的局部相似性，导致这类方法效果较差。其他方法则将点云投影到中间网格中，比如距离图像，包括SalsaNext [^5]、CENet [^6]、RangeFormer [^7]和FRNet [^8]，以便利用经过高度优化的2D CNN。这种方式虽然提升了效率，但往往以牺牲精度为代价，因为空间信息在投影过程中可能会失真。另外，Minkowski [^9]和Cylinder3D [^10]通过将点云中的点量化成体素，并仅对稀疏体素执行3D卷积操作，从而忽略空区域，以此利用点云的稀疏性。不过，这些方法计算开销较大，无法实时运行。其他如SPVCNN [^11]、RPVNet [^12]和2DPASS [^13]等方法则融合来自不同视角或表示形式的点云数据以补充信息并提升预测精度，但这使得它们难以应用于移动端场景。

近期的一项研究 [^14] 系统评估了各类3D语义分割方法，分析了它们在资源受限的NVIDIA Jetson嵌入式系统上的性能及实时部署能力。研究结果凸显出对网络进行大幅重新设计以优化其在嵌入式平台上的性能的必要性。

---

此外，作者强调了预处理的关键作用，即包括基于CPU的操作，用于在GPU上进行网络推理前准备输入扫描数据。这一方面在现有先进方法中常被忽视，但其重要性可能甚至超过推理时间本身。

基于此，我们提出了HARP-NeXt——一种高速、精准且可部署的实时激光雷达语义分割网络。我们通过多尺度融合2D距离图像与3D点云来增强特征学习，从而提升预测精度。我们的主干网络核心是ConSE-NeXt，这是我们设计的一种模块：它采用深度可分离卷积，将卷积操作拆分为深度卷积和点卷积，大幅减少了参数数量；同时集成了挤压-激励 [^15] 机制，该机制能根据各通道的重要性自适应地重新校准特征，使网络能够聚焦于最具信息量的特征，进而兼顾效率与性能。我们的贡献总结如下：

- 我们提出了一种多尺度距离-点云融合主干网络，以增强不同层级和分辨率下的空间特征表达能力，从而提升模型捕捉细粒度细节与宏观上下文信息的能力；

- 我们提出了一种新颖的预处理流程，该流程利用GPU并行处理能力来加速数据准备过程，减轻CPU负载，消除数据传输瓶颈，并最大程度降低推理前的开销；

- 所提出的HARP-NeXt在nuScenes [^16]和SemanticKITTI [^17]基准测试中，无论是在NVIDIA RTX4090 GPU还是NVIDIA Jetson AGX Orin嵌入式系统上评估，都能在速度与精度之间实现最佳平衡。

- 我们提出了Conv-SE-NeXt，这是一种特征提取模块，它能够有效捕捉模式，而无需依赖深层堆叠，从而在降低计算成本的同时仍能超越传统的构建模块；

### 二、相关工作

激光雷达语义分割通过对系统传感器采集的原始3D点进行标注或分类，从而提供场景的细粒度语义信息。相关方法通常可分为以下几类：

基于点的方法。这类方法直接对原始3D点进行操作，无需依赖其他表示形式即可保留完整的几何信息。PointNeXt [^1]采用了共享多层感知机（MLP）和全局池化操作，但在捕捉局部上下文方面存在不足，限制了其在复杂场景中的性能。WaffleIron [^2]和PTv3 [^3]引入了局部特征聚合技术以提高精度，但较高的计算成本使其不太适合实时自动驾驶应用，尤其是在处理大规模激光雷达点云时。

基于投影的方法。SalsaNext [^5]、CENet [^6]和FRNet [^8]源自图像分割领域，尤其是利用为RGB图像分割设计的CNN架构，并将其适配于3D点云处理。通过将点云数据投影到中间网格上，它们完全在2D特征图上处理信息，这通常能提升计算效率。然而，由于投影过程中会丢失空间信息，它们在精度方面往往不如其他方法。

基于稀疏卷积的方法。由于能够高效处理室外激光雷达数据的稀疏性和密度变化特性，这类方法在处理点云时备受青睐。通过仅对占用区域进行计算而忽略空区域，Minkowski [^9]和Cylinder3D [^10]既降低了内存消耗和计算成本，又能保持较高的预测精度。不过，尽管有这些优势，基于稀疏卷积的方法仍不适合实时应用，尤其是在嵌入式平台上。

基于融合的方法。这类方法通过结合不同的数据表示来改进语义分割效果。SPVCNN [^11]和RPVNet [^12]融合了单个激光雷达扫描仪的多个视角，而2DPASS [^13]则结合了激光雷达与摄像头数据。通过这种方式，它们利用了每种数据表示的独特优势，从而获得了更好的分割结果。不过，处理多数据流会带来额外的计算开销，可能会影响这些方法的总体效率。在本研究中，我们提出了一种轻量级的融合策略，利用向量化索引和稀疏张量运算在3D点与2D距离图像之间映射特征，既能保留丰富的空间上下文信息，又不会牺牲效率。

### 三、方法论

### A. 预处理

为了获取距离图像，我们依据 [^5]、[^6]、[^8] 的描述，首先对点云进行球面投影：将每个点 $p_i = (x_i, y_i, z_i)$ 通过映射 $\mathbb{R}^3 \to \mathbb{R}^2$ 转换为球面坐标，再进一步转换为图像坐标 $(u, v)$：

 $$ \left(\begin{matrix}{u_{i}}\\ {v_{i}}\\ \end{matrix}\right)=\left(\begin{matrix}{\displaystyle\frac{1}{2}[1-\operatorname{a r c t a n}(y_{i},x_{i})\pi^{-1}]W}\\ {\displaystyle[1-(\operatorname{a r c s i n}(z_{i}d_{i}^{-1})+f_{u p})f^{-1}]H}\\ \end{matrix}\right), $$

其中 $(H, W)$ 是距离图像的预定义高度和宽度，$f = f_{up} + f_{down}$ 是传感器的垂直视场角，而 $d_i = ||p_i||_2$ 则是传感器捕获的每个点的深度。许多近期的研究采用距离投影而非直接处理三维点，以提升效率。然而，Abou Haidar等人 [^14] 指出，这种投影占此类方法总执行时间的很大一部分（高达83%）[^5]、[^6]、[^8]。因此，我们提出了一种新颖的预处理流程，如图2所示，旨在大幅加速网络推理前的预处理阶段。传统的预处理流程完全在CPU上运行，仅将准备好的网络输入传输到GPU进行推理。我们的方法利用GPU进行数据预处理，从而减轻CPU负担并减少数据传输瓶颈（由于添加了额外特征，网络输入的带宽比原始数据更高）。通过更早地将原始数据移至GPU，我们能够实现并行预处理并提高数据吞吐量。事实证明，我们的流程对实时应用具有显著优势。

---

![Image](images/9d91f19b48891da82fdc98d01d03ed44b43bd2e80200d69a8a8e80f479ecd9cc.jpg)

<div style="text-align: center;">Fig. 2: Pre-processing workflows. Dashed blocks indicate on GPU processes; arrow thickness reflects data bandwidth.</div>

由于增加了新功能，数据量也随之增大。通过更早地将原始数据转移到GPU上，我们能够实现并行预处理并提高数据吞吐量。我们的工作流程在实时应用中展现出明显优势。

### B. HARP-NeXt架构

为了实现高效且精确的激光雷达语义分割，我们提出了HARP-NeXt，它同时利用二维距离图像和三维点表示，在多个尺度上分层提取并融合像素（$P_{x}$）和点（$P_{t}$）特征，从而增强网络的学习能力。为加快推理速度，我们的方法在每个网络阶段采用单一的基础特征提取模块：即图3所示的Conv-SE-NeXt。这是我们提出的一种创新设计，能够在无需为每个网络阶段堆叠多个模块的情况下有效提取低级特征，同时确保每个阶段保持轻量且高效（见图4）。

Conv-SE-NeXt模块。图3展示了我们的设计灵感来源于ResNet [^18]、ConvNeXt [^19] 和 SE-ResNet [^15] 模块，但我们的目标是通过在每个网络阶段无需堆叠多个模块，来最大化计算效率与特征提取能力，进而加快推理速度。为此，我们首先采用深度可分离卷积来分离空间卷积和通道卷积，从而显著减少参数数量与计算量。深度卷积能够利用较大的感受野（$3\times3$、$5\times5$ 或 $7\times7$ 大小的核）捕捉空间模式，无需额外层即可获取更广阔的上下文信息。随后，使用（$1\times1$ 大小的核）的点卷积来聚合各通道的特征：

 $$ \mathbf{y}_{d w}=\sigma(\mathcal{N}(\mathbf{W}_{d w}\ast\mathbf{x})), $$

 $$ \mathbf{y}_{p w}=\mathcal{N}(\mathbf{W}_{p w}*\mathbf{y}_{d w}), $$

其中，$W_{dw}$ 和 $W_{pw}$ 分别代表深度卷积核和逐点卷积核，$*$ 表示卷积运算。$\mathcal{N}(\cdot)$ 指的是批量归一化，而 $\sigma(\cdot)$ 则代表Hardswish激活函数，选择它是因为其

![Image](images/c9b035a47d51252a012c4c92fe979e1928dcc1a969fc0699ee945a5abcfb6be8.jpg)

<div style="text-align: center;">Fig. 3: Design structure of ResNet [^18], ConvNeXt [^19], SE-ResNet [^15] and Conv-SE-NeXt blocks.</div>

计算效率高且非线性特性平滑，正如MobileNetV3中针对移动端和嵌入式系统所采用的那样[^20]：

 $$ \sigma(x)=x\cdot\mathrm{ReLU}6(x+3)/6, $$

其中 $\mathrm{ReLU6}(x)$ 是在 6 处截断的激活函数。接着，我们应用挤压-激励（SE）模块作为特征 $y_{pw}$ 的权重，以学习通道维度上的注意力机制。但与 [^15] 中采用全连接（FC）层来计算这种注意力不同，我们选择了 $1 \times 1$ 逐通道卷积，这种方式在计算上更高效，同时能保持模型的表达能力。首先通过全局平均池化（GAP）获取每个特征图的通道描述符：

 $$ \mathbf{z}_{c}=\mathrm{GAP}(\mathbf{y}_{pw})=\frac{1}{H\times W}\sum_{i=1}^{H}\sum_{j=1}^{W}\mathbf{y}_{pw}(i,j). $$

然后，我们通过以下方式捕捉通道间的依赖关系并为每个通道生成注意力权重：

 $$ \mathbf{s}_{c}=\sigma_{2}\big(\mathbf{W}_{2}\sigma_{1}\big(\mathbf{W}_{1}\mathbf{z}_{c}\big)\big), $$

其中 $\mathbf{W}_1$ 和 $\mathbf{W}_2$ 是学习得到的卷积权重，$\sigma_1(\cdot)$ 是 ReLU 激活函数，而 $\sigma_2(\cdot)$ 是 Hardsigmoid 激活函数——出于效率考虑，我们选择了它而非 Sigmoid 函数。最后，我们通过逐元素乘法将 SE 权重 $s_c$ 应用到特征图 $\mathbf{y}_{pw}$ 上：

 $$ \tilde{\mathbf{y}}_{c}=\mathbf{y}_{p w}\cdot\mathbf{s}_{c} $$

通过这种方式，SE 模块增强了模型关注重要通道的能力，无需额外层就能提升特征选择性。最后我们加入跳跃连接，以帮助缓解梯度消失问题：

 $$ \mathbf{z}=\tilde{\mathbf{y}}_{c}+\mathbf{x} $$

### [^21]: also proposed a depth-wise Squeeze and Excitation block (DSEB), to calculate the squeeze weight matrix $s_{c}=$

---

![Image](images/21d79458f15d5e18979e87b79e43fd143af8f8b38fd5383a24728d6dff9eca62.jpg)

<div style="text-align: center;">Fig. 4: HARP-NeXt architecture consists of: 1) a Features Encoder that embeds initial 2D and 3D features, 2) a Backbone that employs a single Conv-SE-NeXt feature extractor per network stage, and fuses pixel and point features at multi-scale via efficient mappings  $\mathcal{P}_i 2\mathcal{P}_x : \mathcal{P}_x = \mathcal{M}(\mathcal{P}_t)$ and  $\mathcal{P}_x 2\mathcal{P}_t : \mathcal{P}_t = \mathcal{M}^{-1}(\mathcal{P}_x)$ to hierarchically refine them, and 3) a Fusion Head that combines different context-aware information from pixel and point levels to predict a label for each 3D point.</div>

我们将来自逐点卷积的 $\frac{1}{1+e^{-\mathbf{y}_{pw}}}$ 直接应用到跳跃连接上：即 $\mathbf{z} = \mathbf{x} \cdot \mathbf{s}_{c}$，如 [^22] 中所述，不过采用了不同的非线性函数。MobileNetV3 [^20] 也会选择性地将 SE 模块集成到倒残差块中。消融实验表明，Conv-SE-NeXt 块的性能优于 DSEB 和 MobileNetV3 块。

特征编码器。它以原始点云 $\mathcal{P} \in \mathbb{R}^{N \times C}$ 作为输入，其中 N 表示点的数量，C 代表每个点的笛卡尔空间坐标以及激光雷达强度和深度，表示为 $(x, y, z, i, d)$。它还接收距离图像 $\mathcal{I} \in \mathbb{R}^{H \times W}$，以及投影到同一像素区域的 K 个点集 $(u, v)$，这些点在 (1) 中被聚类为 $\mathcal{P} = \{\mathcal{P}_1, \mathcal{P}_2, \ldots, \mathcal{P}_K\}$；我们对其应用平均池化函数，以获得每个像素的表征 $\mathcal{P}_m$。最终，通过一系列多层感知机提取初始的单点特征：

 $$ \mathcal{P}_{t}^{i}=\mathbf{M L P}([\mathcal{P};\mathcal{P}-\widetilde{\mathcal{P}}_{m}]), $$

其中 $[\cdot;\cdot]$ 表示 $\cdot$ 函数。接着对于图像中的每个像素，执行 $\cdot$ 函数。

 $$ \mathcal{P}_{x}^{i}=\mathrm{M L P}(\mathrm{M A X}(\mathcal{P}_{t}^{i})). $$

多尺度距离-点融合骨干网络。我们采用包含四个主要阶段的骨干网络，以分层融合像素级和点级的特征。我们利用 Conv-SE-NeXt 模块高效提取像素特征，同时保持计算效率。在每个阶段，都会融入像素与点之间的高效映射机制，以优化两个层级的特征。设 $\mathcal{P}_t 2\mathcal{P}_x$ 表示将点特征映射到像素特征的映射函数 $\mathcal{P}_x = \mathcal{M}(\mathcal{P}_t)$：$\mathbb{R}^{N \times C} \to \mathbb{R}^{H \times W \times C}$；$\mathcal{P}_x 2\mathcal{P}_t$ 则表示将像素特征逆映射回点特征的映射函数 $\mathcal{P}_t = \mathcal{M}^{-1}(\mathcal{P}_x)$：$\mathbb{R}^{H \times W \times C} \to \mathbb{R}^{N \times C}$。在网络各阶段之前，我们利用这些映射函数拼接点级和像素级的特征，随后由主干层进行编码，如图 4 所示。像素主干（stem $\mathcal{P}_x$）由三个连续的卷积层组成，每层后接批量归一化和 Hardswish 非线性激活函数；而点主干（stem $\mathcal{P}_t$）则包含一个线性层，后接批量归一化和 Hardswish 激活函数。在每个阶段，我们会在像素级进行多尺度融合：首先利用双线性插值拼接不同尺度的像素特征，再将其与以下内容融合：

 $$ \begin{array}{r}{\mathcal{F}_{x}^{n}=\mathrm{C o n v}\left(\tilde{\mathcal{P}}_{x}^{n}\parallel\mathrm{I n t e r p o l a t e}(\bar{\mathcal{P}}_{x}^{n-1})\right),}\end{array} $$

其中，$\parallel$ 表示通道级拼接，$\tilde{\mathcal{P}}_x^n$ 是来自Conv-SE-NeXt模块的第n阶段提取的特征，$\tilde{\mathcal{P}}_x^{n-1}$ 是上一阶段中各个点对应的映射像素特征$n-1$，而Conv $(\cdot)$ 则表示带有批量归一化和Hardswish激活函数的卷积层。接着，我们计算注意力图来对多尺度融合得到的特征进行加权：

 $$ \mathcal{A}=\sigma\left(h(\mathcal{F}_{x}^{n},\theta)\right), $$

其中，$\sigma$ 是Sigmoid函数，$h(\cdot)$ 是带有可训练参数$\theta$的线性函数。最后，我们将注意力机制应用于特征，并以残差注意力方式细化像素特征：

 $$ \mathcal{P}_{x}^{n}=\tilde{\mathcal{P}}_{x}^{n}+\mathcal{A}\odot\mathcal{F}_{x}^{n}, $$

其中，$\odot$ 表示逐元素乘法。在每个阶段，$\tilde{\mathcal{P}}_{x}^{n}$ 也用于通过将当前点的特征与上一阶段的特征结合来细化这些特征：

 $$ \mathcal{P}_{t}^{n}=\sigma\left(h\left(\mathcal{M}^{-1}(\tilde{\mathcal{P}}_{x}^{n})\parallel(\mathcal{P}_{t}^{n-1}),\theta\right)\right). $$

---

融合头。受CENet [^6] 和FRNet [^8] 的启发，我们利用多阶段特征来捕捉多样化的上下文感知信息，从而提升网络的预测能力。因此，我们聚合来自每个网络阶段的、具有不同感受野的像素特征和点特征，再加上用于编码初始描述符的$\mathcal{P}_x^0$ 和 $\mathcal{P}_t^0$。在融合头中，我们分别对聚合后的特征进行融合，以细化像素级和点级的特征表示：

 $$ \mathcal{P}_{x}^{f}=\mathrm{C o n v}\left(\left[\mathcal{P}_{x}\right]=\left[\mathcal{P}_{x}^{0},\mathcal{P}_{x}^{1},\ldots,\mathcal{P}_{x}^{4}\right]\right), $$

 $$ \mathcal{P}_{t}^{f}=\mathbf{M L P}\left(\left[\mathcal{P}_{t}\right]=\left[\mathcal{P}_{t}^{0},\mathcal{P}_{t}^{1},\ldots,\mathcal{P}_{t}^{4}\right]\right). $$

$P_x^f$ 包含了范围图像中对应像素内聚类点的全局信息，而 $P_t^f$ 则包含了3D空间中的细粒度局部信息。因此，我们将它们融合在一起，以帮助从全局到局部提取特征，最终得到逻辑级的点特征：

 $$ \mathcal{P}_{t}^{l o g i t}=\mathbf{M L P}\left(\mathcal{M}^{-1}(\mathcal{P}_{x}^{f})+\mathcal{P}_{t}^{f}\right). $$

随后，在$\mathcal{P}_{t}^{logit}$ 上应用线性头，以预测点云中每个3D点的最终语义得分。

### C. 损失函数

为了增强语义学习，我们在像素级和点级都施加监督。如同[^6] 中所述，我们在每个网络阶段引入多个辅助损失头，以细化不同分辨率下的特征图，从而通过专门的损失函数强化像素级学习。通常，图像I中的一个像素包含多个投影点，这些点可能属于不同类别。受[^8] 的启发，我们通过选取每个像素内投影点中出现频率最高的类别来为该像素分配伪标签。我们还采用点级损失函数来监督最终的语义得分。总体损失函数定义如下：

 $$ \mathcal{L}=\mathcal{L}_{c e}^{p t}+\lambda\left(\mathcal{L}_{c e}^{p x}+\beta\mathcal{L}_{l s}^{p x}+\mathcal{L}_{b d}^{p x}\right). $$

这里，$\mathcal{L}_{ce}^{pt}$ 和 $\mathcal{L}_{ce}^{px}$ 分别表示点级和像素级的交叉熵损失函数。$\mathcal{L}_{ls}^{px}$ 代表像素级的Lovász-Softmax损失[^23]，而 $\mathcal{L}_{bd}^{px}$ 则是像素级边界损失[^24]。超参数 $\lambda$ 用于平衡像素级监督，其取值设为1.0；$\beta$ 用于控制Lovász-Softmax损失的权重，其取值设为1.5。

### IV. 实验结果

我们在nuScenes [^16] 和SemanticKITTI [^17] 基准测试集上评估所提出的HARP-NeXt的性能。

nuScenes。这是一个户外数据集，配备了完整的自动驾驶传感器套件，包括Velodyne HDL-32E激光雷达，能够在波士顿和新加坡这两座交通密集且驾驶环境复杂的城市行驶过程中提供完整的$360^{\circ}$视场（FoV）。

SemanticKITTI。该数据集展示了使用Velodyne HDL-64E激光雷达采集的城市室外环境数据，覆盖了完整的$360^{\circ}$视场角。我们沿用其22个序列的划分方式，仅使用编号为00至10且用于训练的序列，其中$8^{th}$被用作验证集。

评估指标。我们采用所有评估类别的平均交并比（mIoU）作为评价指标，其计算公式如下：

 $$ mIoU=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_{c}}{TP_{c}+FP_{c}+FN_{c}} $$

其中，$TP_{c}$、$FP_{c}$和$FN_{c}$分别表示类别c的真阳性预测数、假阳性预测数和假阴性预测数，C为类别总数。我们还通过测量预处理与推理时间来评估模型效率，这两部分共同构成了网络的总运行时间；同时也会统计参数总量、乘加运算次数（MACs）以及GPU峰值显存占用情况。这些指标均基于各数据集中的1,000组扫描数据进行测算，最终报告的是平均值。

### A. 实验设置

为了与现有最先进方法做公平比较，所有模型均在不使用额外训练数据的情况下重新训练，正如[^3]中所述；也不采用测试时增强（TTA）技术，如[^2]中所示。不采用TTA（即在推理阶段应用翻转、缩放等增强操作或模型集成）是为了确保表I中所报告的结果能反映模型本身的能力，而非后处理带来的优化效果。

HARP-NeXt的设置。我们将点云投影为距离图像，nuScenes数据集的分辨率为$32 \times 480$，SemanticKITTI数据集的分辨率为$64 \times 512$。特征编码器的输入包含5个通道：笛卡尔坐标、强度和深度信息。其中深度信息融合了聚类中心信息，这些输入会通过多层感知机进行处理，其通道配置分别为：式(9)中点特征对应的64、128、256和256，式(10)中像素特征对应的16。主干网络共4个阶段，步长依次为(1, 2, 2, 2)，膨胀系数均为1；像素特征输入通道数为16，点特征输入通道数为256，最终在像素级和点级生成维度为[^128] [^128] [^128] [^128]的特征图。我们在nuScenes数据集上将Conv-SE-NeXt中深度可分离卷积的核大小设为$3 \times 3$，在SemanticKITTI数据集上则设为$7 \times 7$。最后，融合头会将128个输入通道缩减为64，随后通过分割层完成分类。

训练协议。我们对所有方法采用统一的训练流程，均在单张NVIDIA GeForce RTX4090 GPU上训练：在nuScenes数据集上训练80个周期（[^16]），在SemanticKITTI数据集上同样训练80个周期（[^17]）。优化器采用AdamW，权重衰减系数为0.003，批量大小为4。学习率采用线性预热策略，前4个周期从0逐步升至0.001，随后通过余弦退火机制在第80个周期时降至$10^{-5}$。为防止过拟合，我们采用了经典的点云增强手段，如绕z轴旋转、沿x轴或y轴翻转以及随机缩放。受[^8]启发，我们还根据俯仰角和偏航角对点云进行随机水平和垂直混合，并在距离图像中的空白像素处进行插值（若适用）。按照[^2]、[^12]、[^13]的方法，我们在SemanticKITTI数据集上针对自行车、摩托车、行人和骑手等稀有类别实施了实例级cutmix和polarmix增强。对于每个选定的类别，最多随机选择40个实例进行变换。

---

<div style="text-align: center;">TABLE I: Models' efficiency and performance trade-off on nuScenes and SemanticKITTI val sets. Total Runtime is the sum of pre-processing and inference. The best and  $\underline{\text{second best}}$ scores are highlighted in bold and  $\underline{\text{underline}}$ for each dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2"></td><td rowspan="2">Methods</td><td rowspan="2">Year</td><td rowspan="2">Category</td><td rowspan="2">mIoU (%)</td><td colspan="2">Pre-Processing (ms)</td><td colspan="2">Total Runtime (ms)</td><td rowspan="2">#Params (M)</td><td rowspan="2">#MACs (G)</td><td colspan="2">GPU</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RTX4090</td><td style='text-align: center; word-wrap: break-word;'>AGX Orin</td><td style='text-align: center; word-wrap: break-word;'>RTX4090</td><td style='text-align: center; word-wrap: break-word;'>AGX Orin</td><td style='text-align: center; word-wrap: break-word;'>Memory (MB)</td><td style='text-align: center; word-wrap: break-word;'>GPU</td></tr><tr><td rowspan="9">nuScenes [^16]</td><td style='text-align: center; word-wrap: break-word;'>WaffleIron [^2]</td><td style='text-align: center; word-wrap: break-word;'>2023</td><td rowspan="2">Point-based</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>64</td><td style='text-align: center; word-wrap: break-word;'>114</td><td style='text-align: center; word-wrap: break-word;'>111</td><td style='text-align: center; word-wrap: break-word;'>527</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>122.4</td><td style='text-align: center; word-wrap: break-word;'>750</td><td rowspan="2">346</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PTv3 [^3]</td><td style='text-align: center; word-wrap: break-word;'>2024</td><td style='text-align: center; word-wrap: break-word;'>78.4</td><td style='text-align: center; word-wrap: break-word;'>198</td><td style='text-align: center; word-wrap: break-word;'>736</td><td style='text-align: center; word-wrap: break-word;'>241</td><td style='text-align: center; word-wrap: break-word;'>872</td><td style='text-align: center; word-wrap: break-word;'>15.3</td><td style='text-align: center; word-wrap: break-word;'>96.9</td><td style='text-align: center; word-wrap: break-word;'>346</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SalsaNext [^5]</td><td style='text-align: center; word-wrap: break-word;'>2020</td><td rowspan="3">Projection-based</td><td style='text-align: center; word-wrap: break-word;'>68.2</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>26</td><td style='text-align: center; word-wrap: break-word;'>13</td><td style='text-align: center; word-wrap: break-word;'>51</td><td style='text-align: center; word-wrap: break-word;'>6.7</td><td style='text-align: center; word-wrap: break-word;'>31.4</td><td style='text-align: center; word-wrap: break-word;'>329</td><td rowspan="3">269</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CENet [^6]</td><td style='text-align: center; word-wrap: break-word;'>2022</td><td style='text-align: center; word-wrap: break-word;'>73.3</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>58</td><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>97</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>54.4</td><td style='text-align: center; word-wrap: break-word;'>269</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FRNet [^8]</td><td style='text-align: center; word-wrap: break-word;'>2025</td><td style='text-align: center; word-wrap: break-word;'>75.1</td><td style='text-align: center; word-wrap: break-word;'>70</td><td style='text-align: center; word-wrap: break-word;'>252</td><td style='text-align: center; word-wrap: break-word;'>82</td><td style='text-align: center; word-wrap: break-word;'>383</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>521</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Minkowski [^9]</td><td style='text-align: center; word-wrap: break-word;'>2019</td><td rowspan="2">Sparse Conv-based</td><td style='text-align: center; word-wrap: break-word;'>73.5</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>22</td><td style='text-align: center; word-wrap: break-word;'>47</td><td style='text-align: center; word-wrap: break-word;'>146</td><td style='text-align: center; word-wrap: break-word;'>21.7</td><td style='text-align: center; word-wrap: break-word;'>22.2</td><td style='text-align: center; word-wrap: break-word;'>351</td><td rowspan="2">1,421</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cylinder3D [^10]</td><td style='text-align: center; word-wrap: break-word;'>2021</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>136</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>176</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>55.9</td><td style='text-align: center; word-wrap: break-word;'>41.7</td><td style='text-align: center; word-wrap: break-word;'>1,421</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SPVCNN [^11]</td><td style='text-align: center; word-wrap: break-word;'>2020</td><td rowspan="2">Fusion-based</td><td style='text-align: center; word-wrap: break-word;'>72.6</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>23</td><td style='text-align: center; word-wrap: break-word;'>57</td><td style='text-align: center; word-wrap: break-word;'>169</td><td style='text-align: center; word-wrap: break-word;'>21.8</td><td style='text-align: center; word-wrap: break-word;'>23.1</td><td style='text-align: center; word-wrap: break-word;'>383</td><td rowspan="2">448</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HARP-NeXt (ours)</td><td style='text-align: center; word-wrap: break-word;'>2025</td><td style='text-align: center; word-wrap: break-word;'>77.1</td><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>71</td><td style='text-align: center; word-wrap: break-word;'>5.4</td><td style='text-align: center; word-wrap: break-word;'>79.1</td><td style='text-align: center; word-wrap: break-word;'>448</td></tr><tr><td rowspan="8">SemanticKITTI [^17]</td><td style='text-align: center; word-wrap: break-word;'>WaffleIron [^2]</td><td style='text-align: center; word-wrap: break-word;'>2023</td><td style='text-align: center; word-wrap: break-word;'>Point-based</td><td style='text-align: center; word-wrap: break-word;'>65.8</td><td style='text-align: center; word-wrap: break-word;'>232</td><td style='text-align: center; word-wrap: break-word;'>381</td><td style='text-align: center; word-wrap: break-word;'>370</td><td style='text-align: center; word-wrap: break-word;'>1,847</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>457.1</td><td style='text-align: center; word-wrap: break-word;'>2,384</td><td style='text-align: center; word-wrap: break-word;'>2,384</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SalsaNext [^5]</td><td style='text-align: center; word-wrap: break-word;'>2020</td><td rowspan="3">Projection-based</td><td style='text-align: center; word-wrap: break-word;'>55.9</td><td style='text-align: center; word-wrap: break-word;'>28</td><td style='text-align: center; word-wrap: break-word;'>58</td><td style='text-align: center; word-wrap: break-word;'>36</td><td style='text-align: center; word-wrap: break-word;'>109</td><td style='text-align: center; word-wrap: break-word;'>6.7</td><td style='text-align: center; word-wrap: break-word;'>62.8</td><td style='text-align: center; word-wrap: break-word;'>498</td><td rowspan="3">968</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CENet [^6]</td><td style='text-align: center; word-wrap: break-word;'>2022</td><td style='text-align: center; word-wrap: break-word;'>62.6</td><td style='text-align: center; word-wrap: break-word;'>31</td><td style='text-align: center; word-wrap: break-word;'>62</td><td style='text-align: center; word-wrap: break-word;'>58</td><td style='text-align: center; word-wrap: break-word;'>165</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>435.2</td><td style='text-align: center; word-wrap: break-word;'>968</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FRNet [^8]</td><td style='text-align: center; word-wrap: break-word;'>2025</td><td style='text-align: center; word-wrap: break-word;'>66.0</td><td style='text-align: center; word-wrap: break-word;'>67</td><td style='text-align: center; word-wrap: break-word;'>194</td><td style='text-align: center; word-wrap: break-word;'>86</td><td style='text-align: center; word-wrap: break-word;'>394</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>218.6</td><td style='text-align: center; word-wrap: break-word;'>999</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Minkowski [^9]</td><td style='text-align: center; word-wrap: break-word;'>2019</td><td rowspan="2">Sparse Conv-based</td><td style='text-align: center; word-wrap: break-word;'>64.3</td><td style='text-align: center; word-wrap: break-word;'>22</td><td style='text-align: center; word-wrap: break-word;'>45</td><td style='text-align: center; word-wrap: break-word;'>71</td><td style='text-align: center; word-wrap: break-word;'>211</td><td style='text-align: center; word-wrap: break-word;'>21.7</td><td style='text-align: center; word-wrap: break-word;'>113.9</td><td style='text-align: center; word-wrap: break-word;'>542</td><td rowspan="2">1,629</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cylinder3D [^10]</td><td style='text-align: center; word-wrap: break-word;'>2021</td><td style='text-align: center; word-wrap: break-word;'>63.2</td><td style='text-align: center; word-wrap: break-word;'>261</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>309</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>55.9</td><td style='text-align: center; word-wrap: break-word;'>140.6</td><td style='text-align: center; word-wrap: break-word;'>1,629</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SPVCNN [^11]</td><td style='text-align: center; word-wrap: break-word;'>2020</td><td rowspan="2">Fusion-based</td><td style='text-align: center; word-wrap: break-word;'>65.3</td><td style='text-align: center; word-wrap: break-word;'>26</td><td style='text-align: center; word-wrap: break-word;'>43</td><td style='text-align: center; word-wrap: break-word;'>85</td><td style='text-align: center; word-wrap: break-word;'>252</td><td style='text-align: center; word-wrap: break-word;'>21.8</td><td style='text-align: center; word-wrap: break-word;'>118.6</td><td style='text-align: center; word-wrap: break-word;'>657</td><td rowspan="2">872</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HARP-NeXt (ours)</td><td style='text-align: center; word-wrap: break-word;'>2025</td><td style='text-align: center; word-wrap: break-word;'>65.1</td><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'>13</td><td style='text-align: center; word-wrap: break-word;'>13</td><td style='text-align: center; word-wrap: break-word;'>120</td><td style='text-align: center; word-wrap: break-word;'>5.4</td><td style='text-align: center; word-wrap: break-word;'>174</td><td style='text-align: center; word-wrap: break-word;'>872</td></tr></table>

（例如旋转、翻转、重新缩放），并将其随机放置在道路、停车场或人行道上，以增强分割效果。

### B. 实验结果

如表I所示，我们将所提出的HARP-NeXt与现有最先进的方法进行了比较。HARP-NeXt在nuScenes和SemanticKITTI数据集上均展现出卓越的效率与具有竞争力的精度。它在nuScenes上的mIoU值达到77.1%，位居第二，性能优于所有基于投影、稀疏卷积及融合的方法，且与排名第一的PTv3 [^3]相当；同时，它在RTX4090上的总运行时间最短，在AGX Orin上则位居第二。与基于点云的方法不同，后者计算成本较高（例如PTv3在RTX4090上的平均执行时间为241毫秒，在AGX Orin上为872毫秒），而HARP-NeXt在保持高精度的同时，在RTX4090上的执行时间仅为10毫秒，在AGX Orin上为71毫秒。它具备显著的速度优势，执行速度比最接近的精准方法快7到24倍。我们在SemanticKITTI数据集上也观察到了同样的趋势：HARP-NeXt的精度（mIoU为65.1%）与现有最先进方法相当，但效率却远超后者。此外，它的参数数量最少（仅5.4M），在MACs和GPU内存占用方面的计算复杂度也适中，因此非常适合资源受限的平台。

表一也凸显了HARP-NeXt在预处理方面的卓越效率，这得益于我们在图2中展示的创新工作流程，其性能优于所有其他方法。与依赖CPU密集型操作（我们使用AMD Ryzen 9 5900X CPU）的[^2]和[^3]不同——这些方法采用KDTrees、空间填充曲线和点云序列化等技术，涉及层次化数据结构或顺序步骤，难以在GPU上并行处理——HARP-NeXt的预处理流程（如公式(1)所示）可在GPU上执行。图5展示了该方法与真实情况相比的定性结果，表明误分类现象主要出现在重要性较低的类别（如植被）中，而非自动驾驶中安全性更为关键的类别。更多定性结果见于图6和图7，我们在此将HARP-NeXt的错误与其他方法进行比较，从而凸显出我们网络预测结果的优越性。结果表明，尽管SalsaNext [^5]效率较高，但其精度却有所不足。而采用ResNet34 [^8]骨干网络且堆叠多层的FRNet [^18]，虽在分割精度上优于RangeFormer [^7]，效率也高出$5\times$，但其错误数量仍多于HARP-NeXt，且运行速度慢3到$8\times$倍。例如，在nuScenes数据集上，HARP-NeXt是唯一能正确分类行人互动区域中大多数点的算法，而SalsaNext和FRNet却会将行人行走的地面误分类。在SemanticKITTI数据集上，HARP-NeXt能准确识别行人、汽车、人行道及正确的停车位，而效率与之相近的SalsaNext却会将这些物体全部误分类，FRNet在各类别上的错误情况也与HARP-NeXt类似。表二列出了各类别的IoU分数，HARP-NeXt在6个类别中排名第一，在4个类别中排名第二，显示出在广泛任务中的强劲表现。

![Image](images/33d0b1b15957ed14117a72c2eb749a686be6c899d806a45c9c3d821ea0a91852.jpg)

<div style="text-align: center;">Fig. 5: HARP-NeXt's results compared to the ground truth.</div>

---

![Image](images/3017488846e6d819beda101b93e095ab570d98284e0decc2fdf9a02974e784b5.jpg)

<div style="text-align: center;">Fig. 6: Error comparison on nuScenes [^16]. Wrong classifications are in red.</div>

![Image](images/557c254cb11e6b3ae2f647df3d9b187d2d559f98a7af5a7a7a2e9ca86c620507.jpg)

<div style="text-align: center;">Fig. 7: Error comparison on SemanticKITTI [^17]. Wrong classifications are in red.</div>

<div style="text-align: center;">TABLE II: Class-wise IoU on nuScenes [^16] val set. The best and second best scores are in bold and  $\underline{\text{underlined}}$, respectively.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>mIoU %</td><td style='text-align: center; word-wrap: break-word;'>barrier</td><td style='text-align: center; word-wrap: break-word;'>bicycle</td><td style='text-align: center; word-wrap: break-word;'>bus</td><td style='text-align: center; word-wrap: break-word;'>car</td><td style='text-align: center; word-wrap: break-word;'>const. veh.</td><td style='text-align: center; word-wrap: break-word;'>motorcycle</td><td style='text-align: center; word-wrap: break-word;'>pedestrian</td><td style='text-align: center; word-wrap: break-word;'>traffic cone</td><td style='text-align: center; word-wrap: break-word;'>trailer</td><td style='text-align: center; word-wrap: break-word;'>truck</td><td style='text-align: center; word-wrap: break-word;'>div. surf.</td><td style='text-align: center; word-wrap: break-word;'>other flat</td><td style='text-align: center; word-wrap: break-word;'>sidewalk</td><td style='text-align: center; word-wrap: break-word;'>terrain</td><td style='text-align: center; word-wrap: break-word;'>manmade</td><td style='text-align: center; word-wrap: break-word;'>vegetation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WaffleIron [^2]</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>77.8</td><td style='text-align: center; word-wrap: break-word;'>45.8</td><td style='text-align: center; word-wrap: break-word;'>93.7</td><td style='text-align: center; word-wrap: break-word;'>85.3</td><td style='text-align: center; word-wrap: break-word;'>50.2</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>75.8</td><td style='text-align: center; word-wrap: break-word;'>66.2</td><td style='text-align: center; word-wrap: break-word;'>68.7</td><td style='text-align: center; word-wrap: break-word;'>83.2</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>72.9</td><td style='text-align: center; word-wrap: break-word;'>74.9</td><td style='text-align: center; word-wrap: break-word;'>73.7</td><td style='text-align: center; word-wrap: break-word;'>86.3</td><td style='text-align: center; word-wrap: break-word;'>84.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PTv3 [^3]</td><td style='text-align: center; word-wrap: break-word;'>78.4</td><td style='text-align: center; word-wrap: break-word;'>71.9</td><td style='text-align: center; word-wrap: break-word;'>59.1</td><td style='text-align: center; word-wrap: break-word;'>91.0</td><td style='text-align: center; word-wrap: break-word;'>90.1</td><td style='text-align: center; word-wrap: break-word;'>39.1</td><td style='text-align: center; word-wrap: break-word;'>70.7</td><td style='text-align: center; word-wrap: break-word;'>82.7</td><td style='text-align: center; word-wrap: break-word;'>77.7</td><td style='text-align: center; word-wrap: break-word;'>84.9</td><td style='text-align: center; word-wrap: break-word;'>80.9</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>70.9</td><td style='text-align: center; word-wrap: break-word;'>79.0</td><td style='text-align: center; word-wrap: break-word;'>79.7</td><td style='text-align: center; word-wrap: break-word;'>91.8</td><td style='text-align: center; word-wrap: break-word;'>87.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SalsaNext [^5]</td><td style='text-align: center; word-wrap: break-word;'>68.2</td><td style='text-align: center; word-wrap: break-word;'>68.1</td><td style='text-align: center; word-wrap: break-word;'>15.2</td><td style='text-align: center; word-wrap: break-word;'>76.3</td><td style='text-align: center; word-wrap: break-word;'>85.4</td><td style='text-align: center; word-wrap: break-word;'>34.0</td><td style='text-align: center; word-wrap: break-word;'>73.5</td><td style='text-align: center; word-wrap: break-word;'>71.1</td><td style='text-align: center; word-wrap: break-word;'>57.1</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>72.4</td><td style='text-align: center; word-wrap: break-word;'>95.6</td><td style='text-align: center; word-wrap: break-word;'>70.0</td><td style='text-align: center; word-wrap: break-word;'>72.6</td><td style='text-align: center; word-wrap: break-word;'>72.9</td><td style='text-align: center; word-wrap: break-word;'>85.8</td><td style='text-align: center; word-wrap: break-word;'>84.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CENet [^6]</td><td style='text-align: center; word-wrap: break-word;'>73.3</td><td style='text-align: center; word-wrap: break-word;'>75.8</td><td style='text-align: center; word-wrap: break-word;'>36.4</td><td style='text-align: center; word-wrap: break-word;'>87.7</td><td style='text-align: center; word-wrap: break-word;'>88.5</td><td style='text-align: center; word-wrap: break-word;'>44.6</td><td style='text-align: center; word-wrap: break-word;'>73.4</td><td style='text-align: center; word-wrap: break-word;'>75.2</td><td style='text-align: center; word-wrap: break-word;'>65.1</td><td style='text-align: center; word-wrap: break-word;'>62.3</td><td style='text-align: center; word-wrap: break-word;'>77.5</td><td style='text-align: center; word-wrap: break-word;'>96.2</td><td style='text-align: center; word-wrap: break-word;'>71.8</td><td style='text-align: center; word-wrap: break-word;'>72.3</td><td style='text-align: center; word-wrap: break-word;'>74.5</td><td style='text-align: center; word-wrap: break-word;'>86.8</td><td style='text-align: center; word-wrap: break-word;'>85.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FRNet [^8]</td><td style='text-align: center; word-wrap: break-word;'>75.1</td><td style='text-align: center; word-wrap: break-word;'>76.8</td><td style='text-align: center; word-wrap: break-word;'>28.8</td><td style='text-align: center; word-wrap: break-word;'>87.3</td><td style='text-align: center; word-wrap: break-word;'>91.3</td><td style='text-align: center; word-wrap: break-word;'>43.4</td><td style='text-align: center; word-wrap: break-word;'>80.3</td><td style='text-align: center; word-wrap: break-word;'>75.9</td><td style='text-align: center; word-wrap: break-word;'>64.0</td><td style='text-align: center; word-wrap: break-word;'>67.3</td><td style='text-align: center; word-wrap: break-word;'>81.3</td><td style='text-align: center; word-wrap: break-word;'>97.1</td><td style='text-align: center; word-wrap: break-word;'>76.3</td><td style='text-align: center; word-wrap: break-word;'>76.7</td><td style='text-align: center; word-wrap: break-word;'>76.7</td><td style='text-align: center; word-wrap: break-word;'>89.8</td><td style='text-align: center; word-wrap: break-word;'>87.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Minkowski [^9]</td><td style='text-align: center; word-wrap: break-word;'>73.5</td><td style='text-align: center; word-wrap: break-word;'>74.5</td><td style='text-align: center; word-wrap: break-word;'>39.8</td><td style='text-align: center; word-wrap: break-word;'>89.7</td><td style='text-align: center; word-wrap: break-word;'>91.0</td><td style='text-align: center; word-wrap: break-word;'>44.3</td><td style='text-align: center; word-wrap: break-word;'>78.7</td><td style='text-align: center; word-wrap: break-word;'>77.3</td><td style='text-align: center; word-wrap: break-word;'>60.4</td><td style='text-align: center; word-wrap: break-word;'>56.7</td><td style='text-align: center; word-wrap: break-word;'>82.6</td><td style='text-align: center; word-wrap: break-word;'>95.5</td><td style='text-align: center; word-wrap: break-word;'>68.8</td><td style='text-align: center; word-wrap: break-word;'>71.3</td><td style='text-align: center; word-wrap: break-word;'>74.4</td><td style='text-align: center; word-wrap: break-word;'>86.1</td><td style='text-align: center; word-wrap: break-word;'>84.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cylinder3D [^10]</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>76.4</td><td style='text-align: center; word-wrap: break-word;'>40.3</td><td style='text-align: center; word-wrap: break-word;'>91.2</td><td style='text-align: center; word-wrap: break-word;'>93.8</td><td style='text-align: center; word-wrap: break-word;'>51.3</td><td style='text-align: center; word-wrap: break-word;'>78.0</td><td style='text-align: center; word-wrap: break-word;'>78.9</td><td style='text-align: center; word-wrap: break-word;'>64.9</td><td style='text-align: center; word-wrap: break-word;'>62.1</td><td style='text-align: center; word-wrap: break-word;'>84.4</td><td style='text-align: center; word-wrap: break-word;'>96.8</td><td style='text-align: center; word-wrap: break-word;'>71.6</td><td style='text-align: center; word-wrap: break-word;'>76.4</td><td style='text-align: center; word-wrap: break-word;'>75.4</td><td style='text-align: center; word-wrap: break-word;'>90.5</td><td style='text-align: center; word-wrap: break-word;'>87.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SPVCNN [^11]</td><td style='text-align: center; word-wrap: break-word;'>72.6</td><td style='text-align: center; word-wrap: break-word;'>73.6</td><td style='text-align: center; word-wrap: break-word;'>40.8</td><td style='text-align: center; word-wrap: break-word;'>88.3</td><td style='text-align: center; word-wrap: break-word;'>88.6</td><td style='text-align: center; word-wrap: break-word;'>45.6</td><td style='text-align: center; word-wrap: break-word;'>78.6</td><td style='text-align: center; word-wrap: break-word;'>75.4</td><td style='text-align: center; word-wrap: break-word;'>59.4</td><td style='text-align: center; word-wrap: break-word;'>54.9</td><td style='text-align: center; word-wrap: break-word;'>82.3</td><td style='text-align: center; word-wrap: break-word;'>95.4</td><td style='text-align: center; word-wrap: break-word;'>67.3</td><td style='text-align: center; word-wrap: break-word;'>70.1</td><td style='text-align: center; word-wrap: break-word;'>72.9</td><td style='text-align: center; word-wrap: break-word;'>85.4</td><td style='text-align: center; word-wrap: break-word;'>83.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HARP-NeXt (ours)</td><td style='text-align: center; word-wrap: break-word;'>77.1</td><td style='text-align: center; word-wrap: break-word;'>76.2</td><td style='text-align: center; word-wrap: break-word;'>37.5</td><td style='text-align: center; word-wrap: break-word;'>94.2</td><td style='text-align: center; word-wrap: break-word;'>91.1</td><td style='text-align: center; word-wrap: break-word;'>60.8</td><td style='text-align: center; word-wrap: break-word;'>59.5</td><td style='text-align: center; word-wrap: break-word;'>75.9</td><td style='text-align: center; word-wrap: break-word;'>73.7</td><td style='text-align: center; word-wrap: break-word;'>65.0</td><td style='text-align: center; word-wrap: break-word;'>84.8</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>75.9</td><td style='text-align: center; word-wrap: break-word;'>79.4</td><td style='text-align: center; word-wrap: break-word;'>83.3</td><td style='text-align: center; word-wrap: break-word;'>91.0</td><td style='text-align: center; word-wrap: break-word;'>88.0</td></tr></table>

涵盖多种类别（在SemanticKITTI数据集上也观察到了类似趋势，但因篇幅限制未予展示）。总体而言，HARP-NeXt有效兼顾了精度与效率，在实时可行性方面优于所有方法，因此非常适合应用于自动驾驶车辆和移动机器人。

### V. 消融实验

在本节中，我们对HARP-NeXt网络中的各个组件和配置进行了消融分析。表III揭示了不同特征提取模块在性能上的权衡关系，这些模块包括ResNet [^18]、ConvNeXt [^19]、SE-ResNet [^15]、MobileNetV3 [^20]以及DSEB [^21]。实验结果表明，我们提出的Conv-SE-NeXt模块在准确性和效率方面均优于其他所有设计。值得注意的是，Conv-SE-NeXt在nuScenes [^16]和SemanticKITTI [^17]数据集上均取得了最高的mIoU值，分别比传统模块高出3.8%和6.4%，同时其在Jetson AGX Orin平台上的推理速度也更为出色。这充分证明了Conv-SE-NeXt作为领先的特征提取模块，能够在高性能与计算效率之间实现完美平衡。

此外，我们还评估了改变HARP-NeXt中阶段数量所产生的影响：将阶段数从4减少到3会限制特征提取的深度，从而导致mIoU值下降，而效率提升却十分有限；反之，将阶段数增加到5则会拖慢推理速度并降低准确性，这表明额外的阶段可能会引入冗余。表III还显示，当各阶段的模块数量增加（如1-2-2-1或2-2-2-2）且特征表示相同时，会给网络带来不必要的复杂性，进而引发过拟合现象，导致mIoU分数不佳。最后，我们引入了FRNet Fusion [^8]模块，该模块在同一阶段内融合特征，虽然其准确性相近，但计算成本也随之增加。这是因为与我们采用的多尺度融合策略——即整合不同抽象层次的信息不同，FRNet Fusion需要在每个阶段重新计算特征，而我们则可以直接利用前一阶段已生成的特征。最终，我们的基准模型在准确性和效率之间取得了最佳平衡。

---

<div style="text-align: center;">TABLE III: Ablation study of various building blocks, configurations and fusion strategies in HARP-NeXt architecture.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="3">Building Block</td><td rowspan="3">#Stages</td><td rowspan="3">#Blocks/Stage</td><td rowspan="3">Fusion</td><td colspan="3">nuScenes [^16]</td><td colspan="3">SemanticKITTI [^17]</td></tr><tr><td rowspan="2">mIoU</td><td colspan="2">Inference (ms)</td><td rowspan="2">mIoU</td><td colspan="2">Inference (ms)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RTX</td><td style='text-align: center; word-wrap: break-word;'>Orin</td><td style='text-align: center; word-wrap: break-word;'>RTX</td><td style='text-align: center; word-wrap: break-word;'>Orin</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ResNet Block [^18]</td><td rowspan="5">4</td><td rowspan="5">1-1-1-1</td><td rowspan="5">Multi-scale (ours)</td><td style='text-align: center; word-wrap: break-word;'>74.2</td><td style='text-align: center; word-wrap: break-word;'>7</td><td style='text-align: center; word-wrap: break-word;'>69</td><td style='text-align: center; word-wrap: break-word;'>61.4</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>115</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ConvNeXt Block [^19]</td><td style='text-align: center; word-wrap: break-word;'>73.3</td><td style='text-align: center; word-wrap: break-word;'>7</td><td style='text-align: center; word-wrap: break-word;'>66</td><td style='text-align: center; word-wrap: break-word;'>59.5</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>110</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SE-ResNet Block [^15]</td><td style='text-align: center; word-wrap: break-word;'>74.2</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>72</td><td style='text-align: center; word-wrap: break-word;'>58.8</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>109</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobileNetV3 Block [^20]</td><td style='text-align: center; word-wrap: break-word;'>76.9</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>73</td><td style='text-align: center; word-wrap: break-word;'>60.4</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>120</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DSEB Block [^21]</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>68</td><td style='text-align: center; word-wrap: break-word;'>58.7</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>139</td></tr><tr><td rowspan="2">Conv-SE-NeXt (Ours)</td><td style='text-align: center; word-wrap: break-word;'>3</td><td rowspan="2">1-1-1-1</td><td rowspan="2">Multi-scale (ours)</td><td style='text-align: center; word-wrap: break-word;'>71.1</td><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'>57</td><td style='text-align: center; word-wrap: break-word;'>56.8</td><td style='text-align: center; word-wrap: break-word;'>9</td><td style='text-align: center; word-wrap: break-word;'>92</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>5</td><td style='text-align: center; word-wrap: break-word;'>75.4</td><td style='text-align: center; word-wrap: break-word;'>9</td><td style='text-align: center; word-wrap: break-word;'>75</td><td style='text-align: center; word-wrap: break-word;'>59.1</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>133</td></tr><tr><td rowspan="2">Conv-SE-NeXt (Ours)</td><td rowspan="2">4</td><td style='text-align: center; word-wrap: break-word;'>1-2-2-1</td><td rowspan="2">Multi-scale (ours)</td><td style='text-align: center; word-wrap: break-word;'>71.4</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>72</td><td style='text-align: center; word-wrap: break-word;'>62.4</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>116</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2-2-2-2</td><td style='text-align: center; word-wrap: break-word;'>75.3</td><td style='text-align: center; word-wrap: break-word;'>9</td><td style='text-align: center; word-wrap: break-word;'>74</td><td style='text-align: center; word-wrap: break-word;'>58.6</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>123</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Conv-SE-NeXt (Ours)</td><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>1-1-1-1</td><td style='text-align: center; word-wrap: break-word;'>FRNet Fusion [^8]</td><td style='text-align: center; word-wrap: break-word;'>76.3</td><td style='text-align: center; word-wrap: break-word;'>9</td><td style='text-align: center; word-wrap: break-word;'>78</td><td style='text-align: center; word-wrap: break-word;'>65.0</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>118</td></tr><tr><td colspan="10">Our Baseline Model</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Conv-SE-NeXt (Ours)</td><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>1-1-1-1</td><td style='text-align: center; word-wrap: break-word;'>Multi-scale (ours)</td><td style='text-align: center; word-wrap: break-word;'>77.1</td><td style='text-align: center; word-wrap: break-word;'>7</td><td style='text-align: center; word-wrap: break-word;'>61</td><td style='text-align: center; word-wrap: break-word;'>65.1</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>107</td></tr></table>

## 六、结论

在这项工作中，我们提出了HARP-NeXt——一种用于实时激光雷达语义分割的高速高精度范围点融合网络。通过以残差注意力机制在多个尺度上融合2D像素和3D点，HARP-NeXt能够有效捕捉细微细节和更广泛的上下文信息，从而提升预测结果的鲁棒性。其核心特征提取模块Conv-SE-NeXt结合了深度可分离卷积与挤压-激励机制，既能提取关键模式又能减少计算量。在nuScenes和SemanticKITTI数据集上的实验证明，无论是在高端平台还是嵌入式平台上，HARP-NeXt都能实现最佳的速度与准确性平衡。

## 参考文献

[^1]: G. Qian, Y. Li, H. Peng, J. Mai, H. A. Al Kader Hammoud, M. Elhoseiny, and B. Ghanem, “Pointnext: revisiting pointnet++ with improved training and scaling strategies,” in International Conference on Neural Information Processing Systems (NeurIPS), 2022.

[^2]: G. Puy, A. Boulch, and R. Marlet, “Using a waffle iron for automotive point cloud semantic segmentation,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2023.

[^3]: X. Wu, L. Jiang, P.-S. Wang, Z. Liu, X. Liu, Y. Qiao, W. Ouyang, T. He, and H. Zhao, "Point transformer v3: Simpler, faster, stronger," in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.

[^4]: D. Robert, H. Raguet, and L. Landrieu, “Efficient 3d semantic segmentation with superpoint transformer,” in 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 2023, pp. 17149–17158.

[^5]: T. Cortinhal, G. Tzelepis, and E. Erdal Aksoy, “Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds,” in Advances in Visual Computing, 2020.

[^6]: H. Cheng, X. Han, and G. Xiao, “Cenet: Toward concise and efficient lidar semantic segmentation for autonomous driving,” in IEEE International Conference on Multimedia and Expo (ICME), 2022.

[^7]: L. Kong, Y. Liu, R. Chen, Y. Ma, X. Zhu, Y. Li, Y. Hou, Y. Qiao, and Z. Liu, "Rethinking range view representation for lidar segmentation," in 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 2023, pp. 228–240.

[^8]: X. Xu, L. Kong, H. Shuai, and Q. Liu, “Frnet: Frustum-range networks for scalable lidar segmentation,” IEEE Transactions on Image Processing, vol. 34, pp. 2173–2186, 2025.

[^9]: C. Choy, J. Gwak, and S. Savarese, “4d spatio-temporal convnets: Minkowski convolutional neural networks,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[^10]: X. Zhu, H. Zhou, T. Wang, F. Hong, Y. Ma, W. Li, H. Li, and D. Lin, "Cylindrical and asymmetrical 3d convolution networks for lidar segmentation," in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.

[^11]: H. Tang, Z. Liu, S. Zhao, Y. Lin, J. Lin, H. Wang, and S. Han, “Searching efficient 3d architectures with sparse point-voxel convolution,” in European Conference on Computer Vision (ECCV), 2020.

[^12]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation," in IEEE/CVF International Conference on Computer Vision (ICCV), 2021.

[^13]: X. Yan, J. Gao, C. Zheng, C. Zheng, R. Zhang, S. Cui, and Z. Li, "2dpass: 2d priors assisted semantic segmentation on lidar point clouds," in European Conference on Computer Vision (ECCV), 2022.

[^14]: S. Abou Haidar, A. Chariot, M. Darouich, C. Joly, and J.-E. Deschaud, “Are we ready for real-time lidar semantic segmentation in autonomous driving?” in 14th Planning, Perception and Navigation for Intelligent Vehicles Workshop at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2024.

[^15]: J. Hu, L. Shen, and G. Sun, “Squeeze-and-excitation networks,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

[^16]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[^17]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2019.

[^18]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

[^19]: Z. Liu, H. Mao, C.-Y. Wu, C. Feichtenhofer, T. Darrell, and S. Xie, "A convnet for the 2020s," in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[^20]: A. Howard, M. Sandler, B. Chen, W. Wang, L.-C. Chen, M. Tan, G. Chu, V. Vasudevan, Y. Zhu, R. Pang, H. Adam, and Q. Le, "Searching for mobilenetv3," in IEEE/CVF International Conference on Computer Vision (ICCV), 2019.

[^21]: H. Üzen, M. Turkoglu, M. Aslan, and D. Hanbay, “Depth-wise squeeze and excitation block-based efficient-unet model for surface defect detection,” Vis. Comput., vol. 39, no. 5, p. 1745–1764, Mar. 2022.

[^22]: M. E. Asker and M. Güngör, “A hybrid approach consisting of 3d depthwise separable convolution and depthwise squeeze-and-excitation network for hyperspectral image classification,” Earth Science Informatics, vol. 17, no. 6, pp. 5795–5821, 2024.

[^23]: M. Berman, A. R. Triki, and M. B. Blaschko, “The lovasz-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

[^24]: A. Bokhovkin and E. Burnaev, “Boundary loss for remote sensing imagery semantic segmentation,” in International Symposium on Neural Networks, 2019.