{
  "paper_id": "7a4f7d59cf57a681b3db76494944f23e",
  "paper_title": "HARP-NeXt: High-Speed and Accurate Range-Point Fusion Network for 3D LiDAR Semantic Segmentation",
  "paper_authors": [
    "Samir Abou Haidar",
    "Alexandre Chariot",
    "Mehdi Darouich",
    "Cyril Joly",
    "Jean-Emmanuel Deschaud"
  ],
  "publication_date": "2025",
  "publication_venue": "2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "LiDAR semantic segmentation is crucial for autonomous vehicles and mobile robots, requiring high accuracy and real-time processing, especially on resource-constrained embedded systems. Previous state-of-the-art methods often face a trade-off between accuracy and speed. Point-based and sparse convolution-based methods are accurate but slow due to the complexity of neighbor searching and 3D convolutions. Projection-based methods are faster but lose critical geometric information during the 2D projection. Additionally, many recent methods rely on test-time augmentation (TTA) to improve performance, which further slows the inference. Moreover, the pre-processing phase across all methods increases execution time and is demanding on embedded platforms. Therefore, we introduce HARP-NeXt, a high-speed and accurate LiDAR semantic segmentation network. We first propose a novel pre-processing methodology that significantly reduces computational overhead. Then, we design the Conv-SE-NeXt feature extraction block to efficiently capture representations without deep layer stacking per network stage. We also employ a multi-scale range-point fusion backbone that leverages information at multiple abstraction levels to preserve essential geometric details, thereby enhancing accuracy. Experiments on the nuScenes and SemanticKITTI benchmarks show that HARP-NeXt achieves a superior speed-accuracy trade-off compared to all state-of-the-art methods, and, without relying on ensemble models or TTA, is comparable to the top-ranked PTv3, while running 24× faster. The code is available at <https://github.com/SamirAbouHaidar/HARP-NeXt>",
  "keywords": [
    "LiDAR语义分割",
    "实时推理",
    "距离-点融合",
    "嵌入式系统",
    "自动驾驶",
    "点云分割",
    "多尺度融合",
    "通道注意力"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:02.508516Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLiDAR语义分割是自动驾驶车辆和移动机器人安全导航的关键任务，要求在资源受限的嵌入式系统上同时实现高精度与实时处理，但现有方法普遍存在精度与速度的权衡：基于点的方法（PointNeXt、WaffleIron、PTv3）和稀疏卷积方法（Minkowski、Cylinder3D）精度高但邻居搜索与3D卷积计算复杂导致速度慢，投影方法（SalsaNext、CENet、RangeFormer、FRNet）速度快但2D投影丢失关键几何信息，融合方法（SPVCNN、RPVNet、2DPASS）因处理多数据流而过于笨重，且许多方法依赖测试时增强（TTA）进一步拖慢推理，而预处理阶段（可占方法总执行时间的83%）在嵌入式平台上尤为耗时。为此，本文提出高速且精确的LiDAR语义分割网络HARP-NeXt：首先提出利用GPU并行处理的新颖预处理流程，将原始数据尽早移至GPU以减少CPU负载、缓解数据传输瓶颈并最小化推理前开销；其次设计Conv-SE-NeXt特征提取模块，通过深度可分离卷积（深度卷积捕获空间模式、1×1逐点卷积聚合通道特征）与挤压-激励（SE）通道注意力机制协同工作，其核心机制为通过全局平均池化得到通道描述符z_c并经s_c = σ2(W2σ1(W1z_c))生成通道注意力权重后对特征逐元素加权，无需深层堆叠即可高效提取表征；同时采用多尺度距离-点融合骨干网络，通过映射函数P_x = M(P_t)与P_t = M^{-1}(P_x)在四个阶段层级融合2D像素与3D点特征，并以残差-注意力方式（P_x^n = P̃_x^n + A⊙F_x^n）保留细粒度细节与更广泛的上下文信息。实验选用nuScenes（波士顿与新加坡密集交通、Velodyne HDL-32E、360°视场，距离图像分辨率32×480）和SemanticKITTI（城市环境、Velodyne HDL-64E、64×512）两个权威基准以验证不同传感器与场景下的泛化能力，在单张NVIDIA RTX4090上以AdamW优化器训练80轮（批大小4、线性预热加余弦退火），并在RTX4090与Jetson AGX Orin嵌入式平台上评估，以验证高端与资源受限平台的实际部署能力；评估指标包括mIoU、预处理与推理构成的总运行时间、参数量、MACs及GPU峰值内存。结果显示，HARP-NeXt在nuScenes验证集取得第二高的77.1% mIoU，超过所有投影、稀疏卷积和融合方法，与排名第一的PTv3（78.4%）相当但快24倍（RTX4090上10ms对241ms，AGX Orin上71ms对872ms），在SemanticKITTI上达到65.1% mIoU且效率显著领先，同时保持最低参数量（5.4M），消融实验证明Conv-SE-NeXt优于ResNet、ConvNeXt、SE-ResNet、MobileNetV3和DSEB模块（mIoU最高提升3.8%和6.4%），验证了预处理流程、特征模块与多尺度融合三项创新的有效性；未来可进一步探索嵌入式部署优化，其实际应用场景为自动驾驶与移动机器人实时感知，约束条件是需在NVIDIA Jetson等资源受限平台上近实时运行且不依赖集成模型或TTA。\n\n### 关键要点\n\n- 提出HARP-NeXt高速高精度距离-点融合网络用于实时LiDAR语义分割，在nuScenes和SemanticKITTI基准上实现最佳速度-精度权衡，且不依赖集成模型或测试时增强（TTA）。\n- 提出新颖的GPU并行预处理流程，将原始数据尽早移至GPU进行并行处理，减少CPU负载与数据传输瓶颈，预处理仅需3ms（RTX4090），而传统CPU预处理可占方法总执行时间的83%。\n- 设计Conv-SE-NeXt特征提取模块，结合深度可分离卷积与挤压-激励（SE）通道注意力机制（用1×1卷积替代全连接层计算注意力），每个网络阶段仅需单个模块即可高效提取特征，无需深层堆叠。\n- 采用多尺度距离-点融合骨干网络，通过映射函数M与M^{-1}在四个阶段层级间融合2D像素与3D点特征，并以残差-注意力方式细化特征，兼顾细粒度细节与上下文信息。\n- 损失函数在像素与点两级施加监督：L = L_ce^pt + λ(L_ce^px + βL_ls^px + L_bd^px)，其中λ=1.0、β=1.5，融合交叉熵、Lovász-Softmax与边界损失，并为每个像素分配投影点中最频繁类别的伪标签。\n- 实验设置：在nuScenes（32×480距离图像）和SemanticKITTI（64×512）上训练，使用单张RTX4090、AdamW优化器、80轮、批大小4，采用旋转、翻转、缩放及instance cutmix、polarmix等增强策略，所有对比方法均统一重训且不使用额外数据或TTA以保证公平。\n- 在nuScenes验证集上达到77.1% mIoU（第二高），超过所有投影、稀疏卷积和融合方法，与排名第一的PTv3（78.4%）精度相当；逐类IoU在6个类别排名第一、4个类别排名第二。\n- 运行效率显著领先：RTX4090上总运行时间10ms、Jetson AGX Orin上71ms，比精度最接近的方法快7至24倍（PTv3在RTX4090需241ms、AGX Orin需872ms）。\n- 模型参数量仅5.4M（所有对比方法中最低），nuScenes上MACs为79.1G、GPU内存448MB，计算复杂度适中，适合资源受限的嵌入式平台部署。\n- 消融研究表明Conv-SE-NeXt优于ResNet、ConvNeXt、SE-ResNet、MobileNetV3和DSEB模块，mIoU分别最高提升3.8%（nuScenes）和6.4%（SemanticKITTI）；4阶段、每阶段1个模块加多尺度融合的基线配置在精度与效率间取得最佳平衡。\n- 定性结果显示误分类主要发生在安全关键性较低的类别（如植被），HARP-NeXt是唯一在nuScenes行人交互场景中正确分类大多数点的方法，而SalsaNext和FRNet会误分类行人所走的地形。\n- 适用场景为自动驾驶车辆和移动机器人在NVIDIA Jetson等资源受限平台上的实时感知，约束条件包括需近实时处理、点云非结构化且稀疏、以及不依赖额外训练数据或TTA即可保持性能。"
}