{
  "paper_id": "77d343edbe8f7ac015635c884ce69807",
  "paper_title": "MFINet: Multi-view Fusion and 2D-3D Interaction Enhancement for Real-Time LiDAR Semantic Segmentation",
  "paper_authors": [
    "Nan Ma",
    "Zhijie Liu",
    "Yiheng Han"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "LiDAR语义分割是高级自动驾驶系统中的关键任务。基于投影的方法因其高效性而具备实时潜力，但存在不可避免的3D信息损失，并依赖耗时的后处理，限制了整体性能。为此，本文提出MFINet，一种基于多视图融合与2D-3D交互增强的实时语义分割网络。它采用整合3D点视图（3D-PV）、2D鸟瞰视图（2D-BEV）和2D距离视图（2D-RV）的三分支架构，以充分利用2D和3D表示。在3D到2D方向，设计了3D点特征投影器（3DPFP），将3D特征注入2D BEV和RV伪图像以保留有效的3D信息；在2D到3D方向，设计了特征增强（FE）模块以利用2D信息在提取几何和语义特征方面的优势。还引入2D-3D融合头（FH）来聚合来自多个视图的点特征。此外，加入了采用滑动窗口策略的多尺度空洞注意力（MSDA）模块以增强特征判别性。在SemanticKITTI和NuScenes基准上的大量实验表明，MFINet在SemanticKITTI和NuScenes验证集上超越了现有方法，并在NuScenes测试集上取得竞争性结果。",
  "keywords": [
    "LiDAR语义分割",
    "多视图融合",
    "2D-3D交互增强",
    "实时语义分割",
    "点云",
    "自动驾驶"
  ],
  "paper_institutions": [
    "Beijing University of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:30.821611Z",
  "template_tag": "simple",
  "summary": "### 摘要\nLiDAR语义分割是高级自动驾驶系统中的关键任务，基于投影的方法虽因高效而具备实时潜力，但在将3D点云降维为2D伪图像时不可避免地丢失3D信息，并依赖耗时的后处理，限制了整体性能。围绕这一问题，现有研究可分为点基方法（如PointNet++、KPConv、Point Transformer，几何保真但难以高效建模不规则数据、计算开销大）、体素基方法（如Cylinder3D、PVKD、SphereFormer，效率提升但精度与内存消耗存在权衡）和投影基方法（如SqueezeSeg、GFNet、RangeFormer、RangeViT，实时性与部署灵活性好但降维造成信息损失，且LiDAR稀疏性使伪图像含大量空像素引入噪声）。为此，本文提出MFINet——一种基于多视图融合与2D-3D交互增强的实时语义分割网络，采用3D点视图（3D-PV）、2D鸟瞰视图（2D-BEV）与2D距离视图（2D-RV）三分支架构以充分利用视图互补性；从3D到2D，设计3D点特征投影器（3DPFP）将3D特征注入BEV与RV伪图像，其核心机制为 I_2D-BEV/RV = Proj(Pool(MLP3(P)))，即先用MLP提取逐点3D特征、对投影至同一像素的多个特征做最大池化、再投影生成富含3D信息的伪图像；从2D到3D，特征增强（FE）模块利用2D信息提取几何与语义特征；2D-3D融合头（FH）聚合多视图多语义层级的点特征实现端到端实时预测；浅层编码器还引入带滑动窗口策略的多尺度空洞注意力（MSDA）以高效建模稀疏特征并增强判别性。实验选用大规模权威基准SemanticKITTI（43000余个360°扫描、19个语义类别，序列00-10训练、08验证、11-21测试）与NuScenes（波士顿和新加坡1000个城市场景，28130训练、6019验证、6008测试样本）以验证方法在多样场景下的鲁棒性与泛化能力；实现基于PyTorch，采用RTX 4090训练、RTX 2080Ti评估以保证公平，Adam优化器（初始学习率0.006、动量0.9）配合OneCycle策略，RV伪图像分辨率64×2048、BEV为600×600。在mIoU与FPS指标上，MFINet于SemanticKITTI验证集取得68.1% mIoU并保持28.1 FPS实时推理，在NuScenes验证集以80.3% mIoU居首（超AMVNet、RangeFormer、PC-BEV分别4.2%、2.2%、1.5%），在NuScenes测试集取得79.7%的竞争性结果，验证了多视图融合、2D-3D交互增强与轻量架构在精度-效率平衡上的有效性；消融实验进一步表明三分支融合显著优于双分支组合，3DPFP、MSDA、FE、FH分别带来0.6%、0.9%、1.5%、1.6%的mIoU增益。模型仅10.1M参数、151.9G FLOPs，以纯LiDAR输入即可媲美或超越依赖RGB的多模态方法，并在Jetson TX2边缘设备上达5.1 FPS（LSK3DNet仅1.2 FPS），展现了实际部署价值；未来可进一步探索更高效的多模态融合与边缘端优化。在实际自动驾驶与机器人感知场景中，该方法需在实时性约束下平衡精度与计算开销，且作为纯LiDAR投影式设计，motorcyclist等稀有类别（IoU为0.0）的分割仍是挑战。\n\n### 关键要点\n- **方法架构**：MFINet采用3D点视图（3D-PV）、2D鸟瞰视图（2D-BEV）与2D距离视图（2D-RV）三分支架构，利用视图互补性缓解投影造成的3D信息损失，其中3D-PV分支保持最大程度简洁以确保实时效率。\n- **3DPFP模块**：3D点特征投影器按 I_2D-BEV/RV = Proj(Pool(MLP3(P))) 将MLP提取的逐点3D特征经最大池化后投影至BEV与RV伪图像，增强投影过程的几何保真度。\n- **MSDA模块**：多尺度空洞注意力置于2D分支浅层编码器，默认采用3×3卷积核与膨胀率r=1、2、3（对应3×3、5×5、7×7感受野）的滑动窗口策略，在避免全局注意力二次计算开销的同时高效建模稀疏特征并增强特征判别性。\n- **FE模块**：2D-3D特征增强仅在训练阶段激活，对上采样特征图生成分割图并用3×3拉普拉斯卷积（步长1、2、4）提取边界细节，联合优化图像级语义（WCE+Lovasz-Softmax）、边界（BCE）与点级预测损失，权重λ1=0.4、λ2=0.2、λ3=0.4。\n- **FH融合头**：将BEV与RV解码器三个层级的2D特征反投影至3D空间并拼接压缩，再与3DPFP提取的3D特征拼接为 F_fused = Concat(F_BEV^point, F_RV^point, F_point)，经线性头输出逐点语义预测。\n- **数据集设置**：SemanticKITTI含43000余个360°扫描、19个语义类别（序列00-10训练、08验证、11-21测试）；NuScenes含波士顿与新加坡1000个城市场景的28130训练、6019验证与6008测试样本。\n- **实现细节**：基于PyTorch框架，RTX 4090训练、RTX 2080Ti评估，Adam优化器（初始学习率0.006、动量0.9）与OneCycle学习率策略，RV伪图像分辨率64×2048、BEV为600×600。\n- **SemanticKITTI结果**：验证集上取得68.1% mIoU与28.1 FPS，超越RangeNet++（52.8%）、SalsaNext（59.4%）、Cylinder3D（63.2%）、AMVNet（65.2%）与PC-BEV（66.4%）等对比方法。\n- **NuScenes结果**：验证集80.3% mIoU为所有方法最高，超AMVNet 4.2%、RangeFormer 2.2%、PC-BEV 1.5%；测试集79.7%，仅低于RangeFormer（80.1%）。\n- **效率与部署**：仅10.1M参数、151.9G FLOPs，纯LiDAR输入下mIoU与多模态方法（LCPs、EPMF、2DPASS）相当或更优；Jetson TX2上达5.1 FPS，优于LSK3DNet（1.2 FPS）与LSK3DNet-S（3.8 FPS）。\n- **消融证据**：三分支配置（68.1%）显著优于3D-PV+2D-RV（64.1%）与3D-PV+2D-BEV（62.6%）；3DPFP、MSDA、FE、FH分别带来+0.6%、+0.9%、+1.5%、+1.6% mIoU增益，移除3DPFP或MSDA分别导致2%与1.4%的精度下降。\n- **适用约束**：方法为纯LiDAR投影式设计，SemanticKITTI上motorcyclist与other-ground类别IoU为0.0，稀有类别分割仍是局限；三分支融合以速度（28.1 FPS对比双分支46.8/40.9 FPS）换取精度，实际部署需在实时性要求下权衡。"
}