{
  "paper_id": "5f713803372de5d2035cfbace89e8616",
  "paper_title": "PRNet: Point-Range Fusion Network for Real-Time LiDAR Semantic Segmentation",
  "paper_authors": [
    "Xiaoyan Li",
    "Gang Zhang",
    "Tao Jiang",
    "Xufen Cai",
    "Zhenhua Wang"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence",
  "abstract": "准确且实时的LiDAR语义分割对高级自动驾驶系统必不可少。为保证快速推理速度，以往方法利用高度优化的2D卷积在距离视图（RV）上提取特征，RV是LiDAR点云最紧凑的表示。然而这些方法精度较低，原因有二：1）3D点投影到RV时的信息损失；2）根据RV预测为3D点分配标签时的语义歧义。本文提出端到端点-距离融合网络（PRNet），主要在RV上提取语义特征，并迭代地将RV特征融合回3D点进行最终预测。此外，设计了新颖的距离视图投影（RVP）操作以缓解投影到RV时的信息损失，并提出点-距离卷积（PRConv）在将特征从RV传回3D点时自动缓解语义歧义。在SemanticKITTI和nuScenes基准上的实验表明，PRNet将range-based方法推向新的最先进水平，并实现了更好的速度-精度权衡。",
  "keywords": [
    "LiDAR语义分割",
    "距离视图",
    "点云",
    "实时推理",
    "自动驾驶",
    "点-距离融合网络",
    "语义歧义"
  ],
  "paper_institutions": [
    "Damo Academy, Alibaba Group",
    "University of Chinese Academy of Sciences",
    "Institute of Computing Technology, Chinese Academy of Sciences",
    "Beijing School"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:08.295758Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n自动驾驶与移动机器人要求LiDAR语义分割模型实时运行以支撑下游检测与规划，但点云非结构化且稀疏，高效处理困难。现有三类方法各有取舍：point-based方法（PointNet、KPConv、RandLA-Net等）直接处理原始点云但邻居搜索与特征聚合效率低；voxel-based方法（SPVNAS、AF2S3Net、RPVNet、Cylinder3D等）精度领先但速度是实际部署的瓶颈；range-based方法（RangeNet++、SqueezeSegV3、SalsaNext、Lite-HDSeg等）借助高度优化的2D卷积在距离视图（RV）上快速推理，却因3D点投影到RV时的信息损失（SalsaNext在SemanticKITTI上丢弃22%的点）和RV标签回传3D点时的语义歧义而精度受限。为此本文提出端到端点-距离融合网络PRNet：先通过距离视图投影（RVP）以max-pooling聚合同一RV像素内所有点特征以缓解信息损失，再用2D FCN在RV上高效提取语义特征，接着通过点-距离卷积（PRConv）将RV特征动态传回3D点以消除语义歧义，最后由点融合（PF）模块融合RV与3D点特征，整个网络可堆叠M次增强表达能力。其中PRConv的核心机制为 F_k^{3D} = Σ_{n=1}^{9} w_n · F^{RV}(p_k^{RV} + p_n + Δp_{k,n}) · Δm_{k,n}，即根据RV与3D点特征为每个点动态预测核偏移Δp_{k,n}（调整核位置）与核权重Δm_{k,n}（调制核幅度），使对应同一RV像素的不同3D点也能获得不同特征。实验选用SemanticKITTI（43,552次扫描、19类）与nuScenes（1,000个场景、16类）两个公开单扫描基准，以验证大规模自动驾驶场景下的有效性与效率；实现上采用两个堆叠PRNet，在8块GPU上以batch 16训练48个epoch（SGD，初始学习率0.02），推理在NVIDIA RTX 2080Ti上以PyTorch FP32进行。以官方指标mIoU评估，PRNet-2C在nuScenes验证集达78.0 mIoU（43ms），超过最强对手RPVNet的77.6；在SemanticKITTI测试集达67.2 mIoU，大幅超越所有point-based与range-based方法，且比RPVNet快约4倍，验证了RVP与PRConv两项创新的有效性（消融显示PRConv替换kNN后处理+1.2 mIoU、RVP+1.0、PF+0.9，完整PRConv较双线性采样基线+3.0 mIoU）。未来工作计划融合图像信息以进一步提升性能；实际部署中模型需在移动平台实时运行，且对训练样本稀少、易混淆类别（如motorcyclist）的表现仍受限于主要在2D RV上编码上下文。\n\n### 关键要点\n\n- 针对问题：现有range-based方法将3D点投影到RV时仅保留最近点造成信息损失（SalsaNext在SemanticKITTI上丢弃22%的点），且RV标签回传3D点时因距离维度被压缩产生语义歧义，导致遮挡区域（如植被被误标为交通标志）的错误预测。\n- 方法框架：PRNet是端到端点-距离融合网络，由RVP（点特征投影到RV）、2D FCN（RV上语义特征提取）、PRConv（RV特征传回3D点）、PF（点融合）四步组成，可堆叠M次增强表征能力，最终由单个全连接层输出逐点语义预测。\n- RVP机制：将3D点从笛卡尔坐标变换到球坐标（距离r、天顶角θ、方位角φ）并离散化得到RV坐标，对落入同一像素的所有点特征按通道做max-pooling，理论上可通过不同特征通道保留完整3D点信息。\n- PRConv核心公式：F_k^{3D} = Σ_{n=1}^{9} w_n · F^{RV}(p_k^{RV} + p_n + Δp_{k,n}) · Δm_{k,n}，其中核偏移Δp调整采样位置、核权重Δm调制幅度，二者由RV特征与3D点特征经MLP动态预测（每点输出27通道，前18通道为偏移、后9通道经sigmoid激活为权重）。\n- 损失设计：采用加权交叉熵（权重α_c = 1/(F_c + 0.001)以强调稀有类别）与Lovász-Softmax损失直接优化mIoU，总损失为 L_total = L_wce + 3L_ls。\n- 数据与设置：在SemanticKITTI（43,552次扫描、19类，序列00-10除08为训练、08为验证）和nuScenes（1,000场景、16类，28,130训练/6,019验证/6,008测试）上评估；训练48 epoch、batch 16、8 GPU、SGD（学习率0.02每10 epoch衰减0.1），数据增强含随机翻转、全局缩放、旋转、高斯噪声与实例CutMix。\n- 主要结果：nuScenes验证集上PRNet-2C达78.0 mIoU、43ms，超过RPVNet（77.6）等所有对比方法；SemanticKITTI测试集上PRNet-2C达67.2 mIoU，大幅领先所有point-based与range-based方法，与顶级voxel-based方法相当但快得多（比RPVNet快约4倍）。\n- 消融证据：在SemanticKITTI验证集上，PRConv替换kNN后处理带来+1.2 mIoU，RVP较仅保留最近点策略+1.0 mIoU，点融合再+0.9 mIoU；PRConv中核偏移贡献最大（+1.8 mIoU），完整PRConv较双线性采样基线共+3.0 mIoU。\n- 效率验证：自研2D骨干比SalsaNext更高效（14.6ms vs 27.4ms），两个堆叠PRNet优于单个（63.7 vs 61.8 mIoU）；PRNet-1C在nuScenes上仅需20ms且mIoU（75.3）高于更慢的SalsaNext（72.2）。\n- 适用约束：对训练样本少且易与其他类别混淆的类别（如motorcyclist易与bicyclist、motorcycle混淆），PRNet表现不如voxel-based的RPVNet，因其主要在2D RV上编码上下文。\n- 未来方向：计划融合图像信息以弥补RV上下文编码的不足，进一步提升难类别的分割性能。"
}