{
  "paper_id": "b130215b2adfaad07778f5b8fc7b21f5",
  "paper_title": "FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation",
  "paper_authors": [
    "Xiang Xu",
    "Lingdong Kong",
    "Hui Shuai",
    "Qingshan Liu"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Image Processing",
  "abstract": "LiDAR segmentation has become a crucial component of advanced autonomous driving systems. Recent range-view LiDAR segmentation approaches show promise for real-time processing. However, they inevitably suffer from corrupted contextual information and rely heavily on post-processing techniques for prediction refinement. In this work, we propose FRNet, a simple yet powerful method aimed at restoring the contextual information of range image pixels using corresponding frustum LiDAR points. First, a frustum feature encoder module is used to extract per-point features within the frustum region, which preserves scene consistency and is critical for point-level predictions. Next, a frustum-point fusion module is introduced to update per-point features hierarchically, enabling each point to extract more surrounding information through the frustum features. Finally, a head fusion module is used to fuse features at different levels for final semantic predictions. Extensive experiments conducted on four popular LiDAR segmentation benchmarks under various task setups demonstrate the superiority of FRNet. Notably, FRNet achieves 73.3% and 82.5% mIoU scores on the testing sets of SemanticKITTI and nuScenes. While achieving competitive performance, FRNet operates 5 times faster than state-of-the-art approaches. Such high efficiency opens up new possibilities for more scalable LiDAR segmentation. The code has been made publicly available at <https://github.com/Xiangxu-0103/FRNet>.",
  "keywords": [
    "LiDAR semantic segmentation",
    "autonomous driving",
    "real-time processing",
    "frustum-range representation"
  ],
  "paper_institutions": [
    "Nanjing University of Aeronautics and Astronautics",
    "National University of Singapore",
    "Nanjing University of Posts and Telecommunications"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:52.195723Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLiDAR语义分割是现代自动驾驶、机器人等安全关键应用的核心组件，其关键挑战在于构建兼顾效率与精度的可扩展分割系统。现有方法各有取舍：点云方法保留空间粒度但邻域搜索计算昂贵，稀疏体素方法依赖计算密集的稀疏卷积，多视图方法聚合多种表示的计算量，均难以实时在线应用；而range-view（距离视图）伪图像方法虽计算高效，但3D到2D投影不可避免地丢失被遮挡点的上下文信息（如nuScenes中约60%像素为空），且严重依赖KNN等无监督后处理恢复完整语义，后处理超参数会显著影响最终性能。针对这些问题，本文提出FRNet（Frustum-Range Network），利用视锥LiDAR点恢复距离图像像素的上下文信息，包含三个核心组件：视锥特征编码器（FFE）用多个MLP提取视锥区域内每点特征（核心机制：F_p^0 = MLP([P; P−P̃])，其中P̃为视锥内平均池化得到的聚类点），经最大池化得到视锥特征并投影为2D表示；视锥-点融合模块（FP）在每个2D卷积阶段通过视锥到点融合（F_p^i = MLP([Infl(F̂_f^{i−1}); F_p^{i−1}])）分层更新点特征，并以残差注意力方式增强视锥特征，避免耗时的3D邻域搜索；融合头模块（FH）融合不同层级的点特征与视锥特征（F_logit = MLP(MLP(Infl(F_f^out)) + F_p^out) + F_p^0）实现端到端预测，无需后处理。此外提出两种数据增强：FrustumMix沿俯仰角/方位角方向交替交换两个场景的视锥区域生成混合样本，保持视锥内语义一致性；RangeInterpolation利用预定义窗口内非空像素的平均池化插值空像素，重建语义表面以获得更紧凑的2D表示。实验在四个主流基准上验证：SemanticKITTI（22序列、19类）、nuScenes（1000场景、16类）、ScribbleKITTI（弱涂鸦标注）和SemanticPOSS（更稀疏、动态实例多），这些数据集覆盖不同传感器（64线/32线）、场景与标注条件，可全面验证方法的精度、效率和泛化能力；实现基于MMDetection3D代码库，采用CENet作为2D骨干，AdamW优化器（初始学习率0.01）配合OneCycle调度器，4 GPU训练（SemanticKITTI/ScribbleKITTI为50 epoch、64×512视锥分辨率，nuScenes/SemanticPOSS为80 epoch、32×480）。评估指标包括mIoU、mAcc及鲁棒性指标mCE、mRR。结果表明：FRNet在SemanticKITTI和nuScenes测试集上分别取得73.3%和82.5% mIoU，推理速度29.1 FPS（单块RTX 2080Ti），比最先进方法快5倍，验证了视锥-距离表示在保持精度的同时大幅提升效率；在1%–50%标注配额的半监督任务中FrustumMix一致优于LaserMix和PolarMix；在Robo3D的SemanticKITTI-C和nuScenes-C上分别取得96.8和98.6的mCE，展现分布外鲁棒性；消融实验证实视锥级监督、融合头、RangeInterpolation分别带来1.9%/2.8%、0.8%、约0.5%的mIoU增益。未来方向包括增强表示学习能力、扩展至3D目标检测、语义占用预测及车路协同感知。该方法适用于资源受限的实时车载感知场景，在数据负载增加时仍能维持高性能，满足实际部署的实时性约束。\n\n### 关键要点\n\n- FRNet提出视锥-距离表示，将点级几何信息整合到伪图像中，既保留点云完整几何结构，又利用2D卷积网络的高效性，实现可扩展的LiDAR语义分割。\n- 视锥特征编码器（FFE）将点云按垂直和水平方向划分为H×W个视锥区域，通过MLP嵌入每点特征并经最大池化生成视锥特征，保持场景一致性，对点级预测至关重要。\n- 视锥-点融合模块在每个2D骨干阶段通过视锥到点融合（F_p^i = MLP([Infl(F̂_f^{i−1}); F_p^{i−1}])）分层更新点特征，使每个点能通过视锥特征获取更多周围信息，避免高计算成本的3D邻域搜索。\n- 融合头模块融合不同层级的点特征与视锥特征（F_logit = MLP(MLP(Infl(F_f^out)) + F_p^out) + F_p^0），低层特征偏几何、高层特征偏语义，融合后实现端到端预测，无需KNN等后处理。\n- FrustumMix沿俯仰角或方位角方向将两个LiDAR扫描划分为M个不重叠视锥区域并交替交换，以视锥为混合单元保持语义一致性和几何结构，性能优于LaserMix和PolarMix等策略。\n- RangeInterpolation针对range图像中的空像素（nuScenes中约60%像素为空），在预定义窗口内聚合非空像素的距离信息进行平均池化插值，重建语义表面以获得更紧凑的2D表示。\n- 训练采用点级损失加视锥级辅助损失（L = L_p + λL_f），视锥伪标签通过统计区域内最高频类别生成，视锥级损失包含交叉熵、Lovász-Softmax和边界损失。\n- 在SemanticKITTI和nuScenes测试集上分别达到73.3%和82.5% mIoU，参数量10.0M，推理速度29.1 FPS（单块RTX 2080Ti），比最先进方法快5倍；Fast-FRNet变体达33.8 FPS。\n- 在1%、10%、20%、50%标注配额的半监督设置下，FrustumMix在SemanticKITTI、nuScenes和ScribbleKITTI上均取得最佳mIoU（如SemanticKITTI 1%配额下达55.8%），尤其在标注有限时优势明显。\n- 在Robo3D基准的SemanticKITTI-C和nuScenes-C八种损坏类型（雾、雪、运动模糊等）上，FRNet分别取得96.8和98.6的mCE及80.0%和77.5%的mRR，优于稀疏体素、range-view、多视图和点云方法。\n- 消融实验验证各组件贡献：仅用FFE加KNN后处理为62.7%/72.8% mIoU，加入FP融合提升1.6%/0.8%，视锥级监督提升1.9%/2.8%，融合头提升0.8%，RangeInterpolation提升约0.5%，TTA提升1.1%/1.3%。\n- 实现基于MMDetection3D代码库和CENet 2D骨干，AdamW优化器（学习率0.01）配OneCycle调度，4 GPU训练；视锥分辨率64×512（SemanticKITTI/ScribbleKITTI）或32×480（nuScenes/SemanticPOSS），最优分辨率需平衡特征丰富度与计算需求。"
}