{
  "paper_id": "6bf343b0286023aab385a5693a5d7486",
  "paper_title": "Semantic segmentation of 3D LiDAR data using deep learning: a review of projection-based methods",
  "paper_authors": [
    "Alok Jhaldiyal",
    "Navendu Chaudhary"
  ],
  "publication_date": "2022-07-11",
  "publication_venue": "Springer Science+Business Media, LLC (Springer Nature)",
  "abstract": "LiDAR sensor is an active remote sensing sensor that is increasingly used to capture 3D information of real-world objects. Real-time decision-making applications such as autonomous driving heavily rely on 3D information to navigate an urban environment. LiDAR data processing is, however, very complex and resource-intensive. Deep learning on point cloud is a recent advancement that is aimed to extract 3D information. Deep learning implementations include procedures where raw points are fed to neural networks and converted to 3D voxels. Individual voxels are fed to 3D convolutional layers and techniques that transform the 3D points into 2D images and utilize the well-established 2D CNNs. Of these, the two former methods are majorly reviewed, while the projection-based methods are less reviewed although the technique is widely used in numerous applications. To fill the gap, this paper examines the existing literature on projection-based methods by detailing the recent progress made. Identifying the state-of-the-art methodology and summarizing the important interventions are among the significant tasks covered in this paper.",
  "keywords": [
    "LiDAR point cloud",
    "Deep learning",
    "Semantic segmentation",
    "Projection-based methods"
  ],
  "paper_institutions": [
    "University of Petroleum and Energy Studies, Dehradun, India",
    "Symbiosis International University, Pune, India"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:52.056712Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLiDAR点云的语义分割对自动驾驶等实时决策应用至关重要，但点云数据规模庞大、无结构且高维，处理过程复杂且资源密集。现有深度学习方法分为三类：直接处理原始点的点基方法（如PointNet、PointNet++）、将点云体素化并用3D CNN处理的体素基方法（如VoxNet），以及将3D点云投影为2D图像并利用成熟2D CNN的投影基方法；前两类方法计算开销大、内存需求高，而投影基方法虽精度略低但计算开销低、适合实时应用，却较少被系统综述。本文填补这一空白，全面综述了投影基方法的最新进展，涵盖球面投影、鸟瞰图（BEV）投影及多投影融合技术，并评述了SqueezeSeg、SqueezeSegV2、RangeNet++、VolMap、PolarNet、SalsaNet、FPS-Net等代表性模型及其关键改进。研究基于KITTI、SemanticKITTI等公开基准数据集（这些开放数据集的可用性是近年研究发展的关键驱动力，且多为MLS采集的室外城市场景数据），采用交并比（IoU）、总体精度（OA）和平均IoU（mIoU）作为评价指标，其中核心公式为 IoU_n = TP_n / (TP_n + FP_n + FN_n)，用于衡量各类别的分割精度。结果表明投影基方法精度与现有技术相当，如RangeNet++在KITTI上汽车类IoU达86.4%，多投影融合（MPF）方法超越了RangeNet++和PolarNet等最先进方法。未来方向包括在更大规模LiDAR场景上验证技术、改进小目标（行人、骑行者）分割精度不足的问题。实际应用场景包括自动驾驶、增强现实和城市移动性，但受限于标注数据缺乏和大规模数据采集成本高。\n\n### 关键要点\n\n- 投影基方法将3D点云投影为2D图像后利用成熟的2D CNN进行语义分割，计算开销和内存需求低，适合自动驾驶等近实时应用，且能将LiDAR强度等属性用作分类特征。\n- 点基方法（PointNet系列）直接处理原始点云但内存和GPU需求高；体素基方法（VoxNet）将数据分解为3D体素，但破坏点间几何关系且内存需求大，两者均难以满足实时性要求。\n- 球面投影将激光360°扫描形成的柱面几何展开为2D图像，把球坐标 (θ, φ, r) 映射为像素坐标 (x, y)，并编码点的x/y/z坐标、强度和距离信息，是降低3D数据维度的主流手段。\n- 鸟瞰图（BEV）投影由BirdNet于2018年提出，将点云编码为包含高度、强度和密度的三通道图像，但密度归一化依赖激光束数量，限制了其在部分神经网络训练之外的适用性。\n- 评价指标包括IoU（衡量单类分割精度）、OA（总体精度）和mIoU（平均IoU），核心公式为 IoU_n = TP_n / (TP_n + FP_n + FN_n)，其中TP、FP、FN分别为真阳性、假阳性和假阴性点数。\n- SqueezeSeg采用球面投影和CRF后处理，输入张量为64×512×5（64个垂直通道、512个前视网格、5个特征类），使用Fire模块减少参数量，在KITTI上汽车类IoU为60.9%。\n- RangeNet++用GPU加速的最近邻搜索替代CRF后处理，在KITTI上汽车类IoU达86.4%，在精度和运行时间上均优于多数先前模型。\n- PolarNet引入极坐标鸟瞰图投影，以传感器位置为原点计算各点的方位角和半径来分配网格点，解决笛卡尔坐标系下近处点密集、远处点稀疏的分布不均问题，并减轻模型负载。\n- 多投影融合（MPF）框架分别用球面和BEV投影数据集训练CNN后合并分割结果，在SemanticKITTI上精度超越RangeNet++和PolarNet等最先进方法。\n- FPS-Net分别处理点坐标、点深度和点强度三种模态的投影图像，通过多感受野残差密集块（MRF-DB）提取特征后融合，弥补了传统CNN用同一卷积核处理不同模态导致的效率损失。\n- 大多数投影基研究针对室外/城市场景分类并使用MLS数据（以KITTI为主），对汽车等大目标分割精度高，而对行人、骑行者等小目标的精度显著偏低。\n- 现有方法多基于小规模数据验证，大规模LiDAR场景的验证仍待开展，标注数据缺乏和大规模采集成本高是制约研究扩展的主要因素。"
}