{
  "paper_id": "018a7e74d591889727c0235086222a27",
  "paper_title": "GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation",
  "paper_authors": [
    "Haibo Qiu",
    "Baosheng Yu",
    "Dacheng Tao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Point cloud semantic segmentation from projected views, such as range-view (RV) and bird's-eye-view (BEV), has been intensively investigated. Different views capture different information of point clouds and thus are complementary to each other. However, recent projection-based methods for point cloud semantic segmentation usually utilize a vanilla late fusion strategy for the predictions of different views, failing to explore the complementary information from a geometric perspective during the representation learning. In this paper, we introduce a geometric flow network (GFNet) to explore the geometric correspondence between different views in an align-before-fuse manner. Specifically, we devise a novel geometric flow module (GFM) to bidirectionally align and propagate the complementary information across different views according to geometric relationships under the end-to-end learning scheme. We perform extensive experiments on two widely used benchmark datasets, SemanticKITTI and nuScenes, to demonstrate the effectiveness of our GFNet for project-based point cloud semantic segmentation. Concretely, GFNet not only significantly boosts the performance of each individual view but also achieves state-of-the-art results over all existing projection-based models. Code is available at https://github.com/haibo-qiu/GFNet.",
  "keywords": [
    "点云语义分割",
    "几何流网络",
    "距离视图",
    "鸟瞰图",
    "多视图融合",
    "自动驾驶"
  ],
  "paper_institutions": [
    "School of Computer Science, The University of Sydney, Australia"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:22.283061Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究基于投影视图（距离视图RV与鸟瞰图BEV）的3D点云语义分割问题。现有投影类方法（如MVLidarNet、TornadoNet、MPF、AMVNet）通常按顺序处理RV/BEV或仅对两视图预测结果做朴素后期融合，未能在表示学习阶段从几何角度挖掘视图间互补信息，且单视图方法难以处理投影遮挡点。为此，作者提出几何流网络GFNet，以\"先对齐后融合\"的方式探索视图间几何对应关系：核心机制是几何流模块GFM，其以原始点云为中介构建视图间几何变换矩阵（如 T_{R→B} 由 T_{R→P} 与 T_{P→B} 复合而成），先将源视图特征按几何对应关系对齐到目标视图，再经注意力融合（拼接后通过 Conv-BN-ReLU 与 Conv-BN-Softmax 两路卷积生成注意力权重并结合残差连接）双向传播互补信息；GFM嵌入双分支编码器-解码器网络（ResNet-34骨干+ASPP）解码器的每个上采样层，并用KPConv替代KNN后处理，实现端到端训练。实验选用SemanticKITTI（43551个激光雷达扫描、19类）和nuScenes（1000个驾驶场景、16类）两个大规模户外基准，以验证方法在大规模稀疏场景下的有效性与泛化能力；采用mIoU与Accuracy（及FW IoU）作为指标，GFNet在SemanticKITTI测试集取得65.4% mIoU与92.4%准确率，超越所有现有投影类模型（如SalsaNext 59.5%、AMVNet 65.3%），在nuScenes测试集取得76.1% mIoU与90.4% FW IoU；消融实验表明GFM使BEV分支从55.7%提升至61.0%，RV分支truck类别从32.4%跃升至69.9%，验证了几何信息双向传播的有效性。未来方向包括通过数据采样/增强与损失函数设计改进稀有/小类别性能，以及将GFM扩展至目标检测框架。该方法以10 FPS实时运行，契合自动驾驶等安全关键场景中Velodyne HDL-64E（10 Hz）传感器的实时需求，但受限于RV/BEV投影特性（BEV丢失高度信息、RV依赖激光扫描周期），难以直接应用于S3DIS等室内数据集，且主流检测框架缺乏相应解码器结构而难以直接迁移。\n\n### 关键要点\n\n- GFNet提出几何流网络，通过几何流模块（GFM）在RV与BEV两个投影视图间以\"先对齐后融合\"的方式双向传播互补信息，克服了现有方法仅做朴素后期融合的局限。\n- 几何对齐以原始点云为中介构建视图间变换矩阵（如 T_{R→B} 由 T_{R→P} 与 T_{P→B} 复合而成），将源视图特征按几何对应关系映射到目标视图，解决RV投影中远距离遮挡点被误分类的问题。\n- 注意力融合模块将目标特征与对齐特征沿通道拼接，经 Conv-BN-ReLU（μ）与 Conv-BN-Softmax（θ）两路卷积生成注意力权重，再通过残差连接得到融合特征。\n- 网络采用双分支编码器-解码器结构（ResNet-34骨干+ASPP模块），GFM嵌入解码器每个上采样层，顶部用KPConv替代KNN后处理，使整个多视图分割流程可端到端训练。\n- 训练损失包含2D预测损失（交叉熵与Lovasz-Softmax按1:1组合）、各分支3D预测交叉熵及最终融合3D预测交叉熵，默认权重 λ=[2,2,2,1,1]，消融显示3D监督权重较大时效果更佳。\n- 在SemanticKITTI验证集上，GFM使BEV分支mIoU从55.7%提升至61.0%，RV分支在truck类别从32.4%大幅提升至69.9%，最终GFNet达63.0%，验证了几何信息双向传播对单视图性能的显著增益。\n- SemanticKITTI测试集上GFNet取得65.4% mIoU与92.4%点级准确率，超越KPConv（58.8%）、SalsaNext（59.5%）、AMVNet（65.3% mIoU/91.3%准确率）等方法，且无需像AMVNet那样分别训练各分支与后处理头。\n- GFNet运行速度为10 FPS，满足SemanticKITTI所用Velodyne HDL-64E激光雷达（10 Hz采集频率）的实时性要求，适用于自动驾驶等安全关键场景。\n- nuScenes测试集上GFNet取得76.1% mIoU与90.4% FW IoU，FW IoU超过AMVNet的89.5%，表明其在常见类别上表现更优，但在稀有/小类别上仍有提升空间。\n- 消融实验显示softmax注意力（63.0%）优于sigmoid注意力（62.9%）与无注意力（62.0%）；RV分辨率尺度因子S=3在速度与精度间取得最佳平衡（S从2增至3使mIoU从61.7%升至63.0%，S=4仅微增至63.2%）。\n- 方法依赖RV与BEV两种特定投影：BEV丢失垂直方向高度信息、RV需要激光雷达扫描周期，因此不适用于S3DIS等室内数据集（室内物体密集且扫描方式不同会导致严重畸变）。\n- GFM应用于解码器上采样层，而主流点云目标检测框架缺乏此类解码器结构，直接迁移到检测任务仍具挑战性，是未来研究方向之一。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}