{
  "paper_id": "e3e5cc52fb3fb7c8a4ab4d19f4ddb52d",
  "paper_title": "Fused Projection-Based Point Cloud Segmentation",
  "paper_authors": [
    "Maximilian Kellner",
    "Bastian Stahl",
    "Alexander Reiterer"
  ],
  "publication_date": "2022-02-02",
  "publication_venue": "Sensors (MDPI), 2022, Vol. 22, 1139",
  "abstract": "语义分割用于使计算机理解其周围环境。在图像处理中，为此目的将图像划分为多个片段，最先进的方法利用卷积神经网络对2D图像进行分割。相比之下，3D方法存在计算成本高的问题，若不经过进一步处理则无法直接应用。本工作专注于基于3D点云的语义分割，利用将3D数据投影到2D图像的思想来加速分割过程，随后将处理后的图像重投影以获得所需结果。我们研究了不同的投影视角并进行比较，以阐明它们各自的优缺点。为补偿投影误差和几何信息的损失，我们发展了该方法并展示了如何融合不同视角。我们决定融合鸟瞰图和球面投影，因为两者均能取得合理的结果，且这两种视角互补性最强。在训练和评估中，我们使用真实世界数据集SemanticKITTI；此外使用ParisLille以及由仿真框架Carla生成的合成数据来更详细地分析这些方法并阐明其优缺点。尽管这些方法取得了合理且具有竞争力的结果，但它们缺乏灵活性——依赖于所使用的传感器以及传感器使用的安装设置。",
  "keywords": [
    "point cloud segmentation",
    "supervised learning",
    "point cloud projection"
  ],
  "paper_institutions": [
    "Fraunhofer Institute for Physical Measurement Techniques IPM, Freiburg, Germany",
    "Department of Sustainable Systems Engineering INATECH, Albert Ludwig University Freiburg, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:12.512411Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对3D点云语义分割中计算成本高、2D图像分割的成熟技术无法直接迁移的问题展开研究。现有方法可分为投影式、离散化式和基于点的方法：投影式方法速度快、内存消耗与点数无关但存在遮挡和离散化误差；离散化方法保留几何信息但计算复杂度高；点式方法避免离散误差但受限于可处理点数和内存。作者提出将3D点云投影为2D图像以利用成熟的2D卷积网络加速分割，随后将结果重投影回点云，并系统比较了球面、鸟瞰和圆柱三种投影视角的优劣。为补偿投影误差和几何信息损失，进一步提出融合不同视角的方法，选择互补性最强的鸟瞰图与球面投影进行融合，设计了基线（概率相加）、KPConv、PointNet和最近邻四种融合策略。实验选用SemanticKITTI（Velodyne HDL64，43k+扫描，19类，标注点最多，用于训练评估）、ParisLille（HDL32传感器、后向朝下安装，用于检验跨传感器设置的泛化能力）以及Carla仿真数据（无需标注即可灵活生成任意设置的数据）。采用mIoU作为评价指标，核心公式为 mIoU=(1/C)Σ|Pc∩Gc|/|Pc∪Gc|。结果表明：球面投影加入法向量特征达53.6% mIoU；多平面鸟瞰图（32×512×512）从单平面的34.3%提升至50.2%；采用大尺寸输入配合KPConv融合取得最佳60.7% mIoU，优于SalsaNext基准。未来方向包括探索其他融合方式及利用CycleGAN学习传感器模型以弥合仿真与真实数据的差距。实际应用中，该方法高度依赖所用传感器及其安装设置（强度值因传感器个体校准而异），且融合引入的最近邻计算瓶颈使其暂不适合实时分割，而适用于高精度离线任务。\n\n### 关键要点\n\n- 方法核心是将3D点云投影为2D图像（球面、鸟瞰、圆柱三种视角），利用成熟的2D卷积网络（如SalsaNext、改进U-Net）分割后重投影回点云，从而兼顾速度与精度，且内存需求取决于投影尺寸而非点数。\n- 鸟瞰视角采用RANSAC检测地面平面并归一化点云，将点云体素化为多个高度平面作为特征图，配合改进的Inception模块（含K=3、D=2膨胀卷积分支），可训练参数相比常规U-Net减少约10倍。\n- 球面投影实验表明坐标x、y、z作为输入通道无优势，而表面法向量n可小幅提升性能（验证集mIoU从52.65%升至53.6%），法向量通过参数化曲面r(x,y)=(x,y,f(x,y))的偏导数叉积在GPU上高效计算。\n- 多平面鸟瞰投影显著降低遮挡误差：单平面[3×512×512]仅34.3% mIoU，32平面[32×512×512]达50.2%，代价是推理时间从33ms增至114ms。\n- 圆柱视角虽避免球面投影造成的物理维度变形，但性能最差（128平面仅37.1% mIoU），自行车等小物体识别效果很差。\n- 融合策略包括四种：基线（两分支一致预测直接接受、不一致则概率相加取最大类）、KPConv融合（以近邻、点坐标和两分支预测为特征学习融合）、PointNet融合（仅处理不一致点以降低计算量）、最近邻融合（对NN和两分支预测做共识投票）。\n- PointNet融合中两分支预测一致率在小输入下约86.4%、大输入下89.1%，道路、汽车、建筑等两网络均强的类别不再出现在分歧图中，从而大幅减少需重新计算的点数。\n- 最佳结果由大尺寸输入（球面[3×64×2048]+鸟瞰[32×512×512]）配合KPConv融合取得60.7% mIoU，推理时间445ms；小尺寸输入下融合难以补偿大量投影误差。\n- 训练采用加权交叉熵损失（wc=1/√fc）与Lovász-Softmax损失的线性组合以同时优化像素精度和IoU，SGD优化器配合one cycle学习率，数据增强包括随机丢点（U(0,0.3)）、xy平移U(-5,5)和绕z轴30°–330°旋转。\n- 泛化实验显示强度值分布因传感器个体校准而异（ParisLille与SemanticKITTI在道路和植被类别上差异显著），去除强度通道后球面投影在ParisLille上mIoU从50.1%骤降至约5%–6%，凸显对传感器设置的依赖。\n- Carla仿真数据与真实传感器输出差异大，投影方法直接应用困难，需借助CycleGAN学习传感器模型生成逼真的鸟瞰图，这是未来弥合仿真与真实差距的方向。\n- 融合引入的最近邻计算成为主要瓶颈，使方法暂无法实时应用，但凭借误差补偿能力适合高精度离线分割任务；方法整体缺乏灵活性，依赖所用传感器及其安装设置。"
}