{
  "paper_id": "414912b0d91615a01885975afa57fe86",
  "paper_title": "AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation",
  "paper_authors": [
    "Venice Erin Liong",
    "Thi Ngoc Tho Nguyen",
    "Sergi Widjaja",
    "Dhananjai Sharma",
    "Zhuang Jie Chong"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "In this paper, we present an Assertion-based Multi-View Fusion network (AMVNet) for LiDAR semantic segmentation which aggregates the semantic features of individual projection-based networks using late fusion. Given class scores from different projection-based networks, we perform assertion-guided point sampling on score disagreements and pass a set of point-level features for each sampled point to a simple point head which refines the predictions. This modular-and-hierarchical late fusion approach provides the flexibility of having two independent networks with a minor overhead from a light-weight network. Such approaches are desirable for robotic systems, e.g. autonomous vehicles, for which the computational and memory resources are often limited. Extensive experiments show that AMVNet achieves state-of-the-art results in both the SemanticKITTI and nuScenes benchmark datasets and that our approach outperforms the baseline method of combining the class scores of the projection-based networks.",
  "keywords": [
    "LiDAR semantic segmentation",
    "multi-view fusion",
    "late fusion",
    "range view",
    "bird's-eye view",
    "point cloud",
    "assertion-guided sampling",
    "autonomous driving"
  ],
  "paper_institutions": [
    "Motional",
    "Nanyang Technological University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:33:18.952455Z",
  "template_tag": "simple",
  "summary": "### 摘要\nLiDAR点云语义分割是自动驾驶系统构建高精地图、定位动态物体与可行驶表面的关键任务，但单一投影视图各有局限：距离视图（RV）在点数增多时出现像素重叠、鸟瞰图（BEV）则受稀疏柱体与垂直物体表示困难制约，且类级IOU分析表明两者无全面胜者、信息互补。现有融合方法（MV3D、MVLidarNet、MVF、TornadoNet等）多为早期特征融合或顺序融合，后期融合因需将不同视图特征投影回3D再处理而带来点级计算瓶颈。受PointRend启发，本文提出AMVNet：RV网络采用ResNet式全卷积结构并在后几层特征图注入带循环填充的单向GRU循环层以学习方位方向的空间关系，BEV网络采用PolarNet极坐标柱体表示，两网络独立预测后，以余弦相似度断言进行点采样——核心机制为当 s(f_i, g_i) ≤ τ（τ=0.85）时将点标记为不确定，仅将这些点（SemanticKITTI约10%、nuScenes约20%）的点级特征 p_i=[f_i, g_i, x_i] 及其n=15个邻居的集合特征送入仅18.5K参数的轻量点头部（MLP+最大池化+全连接）精化预测，确定点则直接取两网络预测的几何平均。方法在SemanticKITTI（43551次扫描、19类、Velodyne HDL-64E、每扫描约13万点）与nuScenes（1000个20秒场景、16类、Velodyne HDL-32E、每扫描约3.4万点）上验证，分别取得65.3与77.2的mIOU：前者仅次于SPVNAS、比最佳多视图方法TornadoNet高2.2%并在bicycle、motorcycle、person、other-ground类别上最佳，后者比最佳基线高3%（行人+6、交通锥+6、摩托车+3），且均优于简单几何平均集成（SemanticKITTI上高约2.5 mIOU），消融实验证明RNN层与类别加权各贡献1% mIOU、邻居数n=15最优、τ=1随机采样仅与集成相当，从而支持断言采样与轻量点头部两项创新。该模块化分层设计允许两网络并行推理、组件独立升级，特别适合计算与内存资源受限的机器人系统；未来方向包括增加更多断言类型（如类别熵）、将点头部升级为transformer架构、点头部集成与端到端训练，而sidewalk/parking、terrain/vegetation等类别混淆仍是待改进的现实约束。\n\n### 关键要点\n- AMVNet采用后期融合策略聚合RV与BEV两个独立投影网络的语义特征，动机是两者互补：RV对行人、骑行者、杆状物等垂直小目标结构表示充分，BEV则能有效分辨远距离空间中的物体。\n- 断言引导采样以RV与BEV归一化类别预测的余弦相似度为核心：当 s(f_i, g_i) ≤ τ（τ=0.85）时将该点标记为不确定，仅约10%（SemanticKITTI）至20%（nuScenes）的点需送入点头部，大幅降低推理时的点级计算。\n- 点头部架构轻量（18.5K参数、MLP仅3个隐藏层加最大池化与全连接层），输入为点特征 p_i=[f_i, g_i, x_i] 与基于KDTree kNN选取的n=15个邻居集合特征 S_i，处理1万个不确定点仅需约1 GFLOPs（约为RV网络单次扫描的0.2%）。\n- 最终预测规则：不确定点（u_i=1）采用点头部输出 h_i，确定点（u_i=0）取RV与BEV预测的几何平均，即 y_i 在两种情形下分别由点头部和两网络融合得分给出。\n- RV网络为ResNet式全卷积网络，在后几层特征图注入单向GRU循环层并沿宽度维度循环填充，以学习方位方向的空间关系（如人行道邻接道路、地形邻接植被）；BEV网络采用PolarNet的极坐标柱体表示与U-Net架构。\n- 训练设置：RV与BEV网络使用交叉熵+Dice损失（含按类别频率平方根逆加权的类别权重）、one-cycle学习率与AdamW优化器；点头部用交叉熵损失、SGD训练20个epoch，各网络独立训练。\n- 数据集：SemanticKITTI含43551次扫描（训练19130、验证4071、测试20351），19类官方评估，每扫描约13万点；nuScenes含1000个20秒场景（训练28130、验证6019、测试6008样本），16类评估，每扫描约3.4万点，且涵盖不同地点与多样天气。\n- SemanticKITTI测试集mIOU达65.3%，仅次于SPVNAS（67.0%），比此前最佳多视图方法TornadoNet高2.2%，并在bicycle、motorcycle、person和other-ground等类别上取得最佳IOU。\n- nuScenes上AMVNet取得77.2 mIOU，比最佳基线高3%，其中行人(+6)、交通锥(+6)、摩托车(+3)提升显著；作者认为类别更粗粒度（不区分行人/骑行者/摩托车手）是其mIOU高于SemanticKITTI的原因之一。\n- 消融分析：RNN层与类别加权各带来约1% mIOU提升、两者结合提升2%；邻居数从3增至7差距巨大、n=15最优；τ=1（随机采样）时性能降至与简单集成相当，验证了断言引导采样的必要性。\n- 验证集上AMVNet优于单个网络与几何平均集成（SemanticKITTI上比集成高约2.5 mIOU），并在除other-ground外的所有类别上取得最佳IOU（other-ground验证样本过少不具结论性）。\n- 局限与约束：定性分析显示sidewalk/parking、terrain/vegetation及sidewalk/building边缘仍存在混淆；方法适用于计算与内存受限的自动驾驶系统，未来可扩展更多断言类型、transformer点头部、点头部集成与端到端训练。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}