{
  "paper_id": "aa893120df0b714a47c21a974f087068",
  "paper_title": "Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation",
  "paper_authors": [
    "Yu Zheng",
    "Guangming Wang",
    "Jiuming Liu",
    "Marc Pollefeys",
    "Hesheng Wang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "LiDAR点云语义分割使机器人能够获得周围环境的细粒度语义信息。近来，许多工作将点云投影到2D图像上，并采用2D卷积神经网络（CNN）或视觉Transformer进行LiDAR点云语义分割。然而，由于多个点可能被投影到同一2D位置而只能保留一个点，以往的基于2D投影的分割方法存在不可避免的量化信息损失，导致几何结构不完整，尤其是对小目标。为避免量化信息损失，本文提出了一种新颖的球面视锥结构，保留投影到同一2D位置的所有点。此外，提出了基于哈希的表示以实现内存高效的球面视锥存储。基于球面视锥结构，提出了球面视锥稀疏卷积（SFC）和视锥最远点采样（F2PS），分别对存储在球面视锥中的点进行卷积和采样。最后，我们提出了球面视锥稀疏卷积网络（SFCNet），在不产生量化信息损失的情况下采用2D CNN进行LiDAR点云语义分割。在SemanticKITTI和nuScenes数据集上的大量实验表明，SFCNet优于以往基于传统球面投影的2D投影语义分割方法，并通过保留完整几何结构在小目标分割上表现出更好的性能。代码将在 https://github.com/IRMVLab/SFCNet 提供。",
  "keywords": [
    "LiDAR点云语义分割",
    "球面视锥",
    "稀疏卷积",
    "量化信息损失",
    "2D投影",
    "最远点采样",
    "自动驾驶感知",
    "SemanticKITTI",
    "nuScenes"
  ],
  "paper_institutions": [
    "Department of Automation, Shanghai Jiao Tong University",
    "University of Cambridge",
    "ETH Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:54.616331Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLiDAR点云语义分割使机器人能够获得环境的细粒度语义理解，但现有基于2D投影的方法（如RangeNet++、SalsaNext、CENet、RangeViT）在将点云投影到2D图像时，由于多个点可能落在同一2D位置而仅保留一个点，产生不可避免的量化信息损失，导致几何结构不完整，尤其伤害小目标分割；此前工作（如RangeNet++的KNN后处理、KPRNet的KPConv精炼）仅从部分预测中恢复完整语义，特征聚合中的信息损失依然存在。为此，本文提出球面视锥结构，保留投影到同一2D位置的所有点，并设计基于哈希表的内存高效表示（以(u_k, v_k, m_k)为键唯一标识每个点）；在此基础上提出球面视锥稀疏卷积（SFC）与视锥最远点采样（F2PS），前者通过哈希表查询卷积核内各视锥的点集、依据距离度量 argmin_j |r_j - r| 选取每个视锥中距中心点最近的点并执行稀疏卷积 f' = Σ_{i=1}^{K'} W_i f_i，后者先按步长采样视锥再在视锥内用最远点采样均匀采样点集，整体计算复杂度为O(N)；最终构建编码器-解码器网络SFCNet（采用ResNet残差块，卷积替换为SFC）。实验选用大规模自动驾驶数据集SemanticKITTI（43551帧、64线LiDAR、每帧约12万点、19类）与nuScenes（34149帧、32线LiDAR、每帧约4万点、16类），以验证方法在不同传感器线数、点密度与类别设置下的泛化能力；实现上采用PyTorch，投影分辨率分别为64×1800与32×1024，特征通道维度为128/256，F2PS步长为(2,2)，采用多层加权交叉熵与Lovász-Softmax损失、Adam优化器（初始学习率0.001，每epoch衰减5%），在单张NVIDIA Quadro RTX 8000上以批大小4训练，并使用随机旋转、翻转、平移与缩放做数据增强。以mIoU为指标，SFCNet在SemanticKITTI测试集达65.0%、在nuScenes验证集达75.9%，均超越此前2D投影方法（CENet 64.7%、RangeViT 64.0%/75.2%），消融实验显示SFC带来4.3%、F2PS带来2.4%的mIoU提升（基线56.2%→62.9%），并比KNN后处理与KPConv精炼分别高3.2%和2.8%，小目标类别提升显著（如motorcycle +14.6、motorcyclist +9.5 IoU），验证了消除量化信息损失与均匀采样两项创新的有效性；推理仅需59.7毫秒/帧（归一化0.49 ms/千点），满足实时性要求。未来方向包括结合更大感受野的视觉Transformer或Vision Mamba、扩展至弱监督与多模态分割以及点云配准、场景流估计等任务；实际应用面向安全自动驾驶感知，但SFC仅采用邻近视锥中最近点进行卷积，限制了感受野，导致在大范围类别（道路、停车场、地形）上性能略弱，这是实际部署中需权衡的约束。\n\n### 关键要点\n\n- 提出球面视锥结构，保留投影到同一2D位置的所有点，从根本上消除传统球面投影的量化信息损失，保持完整几何结构，尤其改善小目标分割。\n- 设计基于哈希表的球面视锥表示，以(u_k, v_k, m_k)为键唯一标识每个点，避免稠密网格填充带来的冗余内存开销，实现内存高效的规则化存储。\n- 球面视锥稀疏卷积（SFC）通过哈希表查询卷积核内视锥的点集，依据距离度量 argmin_j |r_j - r| 选取每个视锥中距中心点最近的点，并执行稀疏卷积 f' = Σ_{i=1}^{K'} W_i f_i 聚合局部特征。\n- 视锥最远点采样（F2PS）先按步长合并采样视锥，再在视锥点集内用最远点采样（FPS）均匀采样，实现3D点云的均匀下采样，整体计算复杂度为O(N)。\n- SFCNet采用编码器-解码器架构，编码器由ResNet残差块构成（卷积替换为SFC），配合F2PS进行多尺度下采样，解码器通过上采样SFC与特征拼接输出逐点语义预测。\n- 实验在SemanticKITTI（43551帧、64线LiDAR、19类）和nuScenes（34149帧、32线LiDAR、16类）两个大规模自动驾驶数据集上进行，采用mIoU评价指标，验证方法在不同LiDAR线数与类别设置下的有效性。\n- SFCNet在SemanticKITTI测试集取得65.0% mIoU，超过CENet（64.7%）与RangeViT（64.0%）等2D投影方法；在nuScenes验证集取得75.9% mIoU，超过SalsaNext（72.2%）与RangeViT（75.2%）。\n- 小目标分割显著提升：相比带KNN后处理的基线，SemanticKITTI验证集上motorcycle提升14.6、motorcyclist提升9.5 IoU，nuScenes上bicycle提升9.8 IoU，证明消除量化信息损失保留了小目标的完整几何信息。\n- 消融实验表明：将球面投影替换为球面视锥+SFC使mIoU提升4.3%（56.2%→60.5%），再用F2PS替换步长采样进一步提升2.4%（→62.9%）；SFCNet比KNN后处理高3.2%、比KPConv精炼高2.8%。\n- 效率方面，SFCNet单帧推理59.7毫秒，归一化时间0.49 ms/千点，优于PointNet++、RandLA、Cylinder3D、SphereFormer、RangeViT及2D投影基线，满足实时LiDAR点云处理需求。\n- 局限性：SFC仅采用邻近视锥中最近点进行卷积，限制了网络感受野，导致在大范围类别（道路、停车场、地形）上性能略弱；未来可通过结合视觉Transformer或Vision Mamba等大感受野架构加以改进。\n- 未来工作还包括将球面视锥结构扩展至弱监督与多模态点云语义分割，以及点云配准、场景流估计等LiDAR点云任务，实际应用场景为安全自动驾驶感知。"
}