{
  "paper_id": "eaecf7e246e1479e44a9234045ae4720",
  "paper_title": "A dual projection method for semantic segmentation of large-scale point clouds",
  "paper_authors": [
    "Haoying Zhao",
    "Aimin Zhou"
  ],
  "publication_date": "2025-05-04",
  "publication_venue": "Springer-Verlag GmbH Germany, part of Springer Nature",
  "abstract": "3D point cloud semantic segmentation is an essential task for enhancing high-level perception in autonomous platforms. The projection-based method is an efficient approach since the central projection can transform sparse point clouds into dense pseudo-2D image. The projection suffers from scale imbalances, posing challenges for perceiving distant objects. We utilized parallel projection to adjust the distribution and scale of targets, enabling neural networks to better extract information from distant objects. We designed a joint training and inference framework to combine the perspectives of central projection and parallel projection, enhancing the final segmentation results. Our method achieves an mAcc of 89.7% and an mIoU of 59.3% on the SemanticKITTI validation set. On the SemanticKITTI test set, we achieve an mAcc of 89.0% and an mIoU of 58.7%. The experiments show that our method achieves superior segmentation performance, especially for distant targets and categories such as motor vehicles, distant road surfaces and column-like structures.",
  "keywords": [
    "Point cloud",
    "Semantic segmentation",
    "Parallel projection",
    "Autonomous driving system"
  ],
  "paper_institutions": [
    "School of Computer Science and Technology, East China Normal University",
    "Shanghai Institute of AI for Education"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:08.648459Z",
  "template_tag": "simple",
  "summary": "### 摘要\n3D点云语义分割是增强自动驾驶平台高层感知能力的关键任务，基于投影的方法因能将稀疏点云转换为稠密伪2D图像而高效，但中心投影存在尺度失衡问题，使远处物体难以感知。相关研究中，点基方法（PointNet、KPConv等）难以构建局部空间结构，体素方法（MinkowskiNet、Cylinder3D等）随分辨率提升参数与推理时间显著增加，投影方法（SqueezeSeg系列、RangeNet++、SalsaNext、PolarNet等）中中心投影稠密但尺度失衡、鸟瞰图（BEV）投影尺度平衡但过于稀疏。本文提出ParallelNet双重投影方法，首次将平行投影引入自动驾驶点云语义分割，采用圆形倾斜平行投影调整目标分布与尺度，其核心坐标变换机制为 v' = r·sin(arcsin(z/r)+α)（r为点距离，α为旋转角，v'经归一化后映射为图像纵坐标），并设计联合训练与推理框架：训练时将两种投影的伪图像拼接为同一batch输入网络，推理时按距离融合两种视角的分割结果（近处用中心投影、远处用平行投影，融合阈值15米）。实验选用SemanticKITTI数据集（22个序列、433,552个Velodyne HDL-64E采集的LiDAR扫描、19个语义类别，每帧约13.9万点、跨越160×160×20米），其大规模点云与远距离目标特性适合验证方法对尺度失衡问题的解决能力；实现基于PyTorch，在Intel i7-12700KF CPU与NVIDIA RTX 3090ti GPU上单卡训练，采用SGD优化器训练150个epoch，学习率由10^-2衰减至10^-4，网络为UNet式全卷积结构（输入2048×64×5，含x、y、z、range、remission五维）。评价指标采用mAcc与mIoU：方法在SemanticKITTI验证集上取得mAcc 89.7%、mIoU 59.3%，测试集上取得mAcc 89.0%、mIoU 58.7%，在19类中的7类达到最优，尤其在摩托车、行人、杆状结构与远处路面等远处及小尺度目标上表现突出，支持了平行投影尺度恢复与联合训练框架两项创新的有效性。未来可探索介于中心投影稠密性与BEV尺度平衡之间的新投影方法。该方法适用于自动驾驶感知等现实场景，但受LiDAR俯仰角约束（超过15米物体垂直压缩显著），且对建筑、植被等大型类别及道路、地形等平面类别优势有限。\n\n### 关键要点\n- 提出ParallelNet双重投影方法，同时利用平行投影与中心投影数据，以平行投影视角增强中心投影方法在大规模点云语义分割中的表现。\n- 核心机制为圆形倾斜平行投影坐标变换：v' = r·sin(arcsin(z/r)+α)，再经归一化映射到图像坐标，从而保留远处物体尺度并平衡远近物体的分布。\n- 投影角度通过将2至30度划分为50个区间并统计伪图像密度来选定，最终采用密度最高的第8个角度（6.48度）；角度过小会遮挡远处物体，过大则导致高度压缩与稀疏度增加。\n- 联合训练框架将两种投影的伪图像拼接为同一batch（batch大小b//2投影后拼接为b）输入网络训练；推理时按距离融合，近处点采用中心投影结果、远处点采用平行投影结果，融合阈值设为15米。\n- 网络采用UNet式全卷积结构，输入尺寸为2048×64×5（x、y、z、range、remission五维），下采样阶段使用dropout，上采样阶段使用pixel shuffle，整体遵循SalsaNext框架。\n- 实验基于SemanticKITTI数据集：22个序列、433,552个LiDAR扫描（Velodyne HDL-64E采集，每帧约13.9万点）、19个语义类别；序列00-07与09-10用于训练，08用于验证，11-21用于在线测试。\n- 实现细节：PyTorch框架，Intel i7-12700KF CPU与NVIDIA GeForce RTX 3090ti GPU单卡训练，SGD优化器，共训练150个epoch，学习率由10^-2衰减至10^-4。\n- 主要结果：SemanticKITTI验证集上mAcc 89.7%、mIoU 59.3%，测试集上mAcc 89.0%、mIoU 58.7%，在19个类别中的7类取得最优，整体mIoU为对比方法中最高。\n- 消融实验表明混合训练与推理在机动车、行人、杆状物、交通标志等类别显著提升；中心投影视角近距离占优、平行投影视角远距离占优，过渡点约在15米处。\n- 角度消融显示第8度角最优：随角度增大多数类别分割性能先提升（远处物体分布空间不再受限）后下降（空洞增加降低空间利用效率）。\n- 坐标融合实验显示，增加平行投影比例可提升远距离分割效果，但道路和停车场等依赖近处路面的类别性能下降；随机混合比例对分割效果影响很小。\n- 适用约束：对建筑、植被等大型类别优势不明显，道路和地形等平面类别不如保留原始3D坐标的方法；相比RangeViT、TransRVNet等Transformer方法，参数量、内存消耗与FLOPs更低。"
}