{
  "paper_id": "d500011208318ca7a5ab8bf877f1d55c",
  "paper_title": "TransRVNet: LiDAR Semantic Segmentation With Transformer",
  "paper_authors": [
    "Hui-Xian Cheng",
    "Xian-Feng Han",
    "Guo-Qiang Xiao"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Intelligent Transportation Systems",
  "abstract": "Effective and efficient 3D semantic segmentation from large-scale LiDAR point cloud is a fundamental problem in the field of autonomous driving. In this paper, we present Transformer-Range-View Network (TransRVNet), a novel and powerful projection-based CNN-Transformer architecture to infer point-wise semantics. First, a Multi Residual Channel Interaction Attention Module (MRCIAM) is introduced to capture channel-level multi-scale feature and model intra-channel, interchannel correlations based on attention mechanism. Then, in the encoder stage, we use a well-designed Residual Context Aggregation Module (RCAM), including a residual dilated convolution structure and a context aggregation module, to fuse information from different receptive fields while reducing the impact of missing points. Finally, a Balanced Non-square-Transformer Module (BNTM) is employed as fundamental component of decoder to achieve locally feature dependencies for more discriminative feature learning by introducing the non-square shifted window strategy. Extensive qualitative and quantitative experiments conducted on challenging SemanticKITTI and SemanticPOSS benchmarks have verified the effectiveness of our proposed technique. Our TransRVNet presents superior performance over most existing state-of-the-art approaches. The source code and trained model are available at https://github.com/huixiancheng/TransRVNet.",
  "keywords": [
    "CNN",
    "transformer",
    "point cloud",
    "range image",
    "semantic segmentation",
    "autonomous driving"
  ],
  "paper_institutions": [
    "College of Computer and Information Science, Southwest University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:01.701135Z",
  "template_tag": "simple",
  "summary": "### 摘要\n大规模LiDAR点云的高效、精确3D语义分割是自动驾驶环境感知的基础性问题。传统CNN因卷积定义于规则网格且点云稀疏、无序而不适用；点法（PointNet++、RandLA-Net等）计算与内存开销过大，难以实时处理360°大场景扫描；体素法存在稀疏性与粒度信息损失；纯Transformer分割网络（如SETR）参数量大、训练昂贵且缺乏多尺度特征提取能力。为此，本文提出基于投影的CNN-Transformer混合架构TransRVNet：先将360°点云经球面投影 u=½[1−arctan(y,x)π⁻¹]W、v=[1−(arcsin(z,d⁻¹)+f_u)/(f_u+f_d)]H（其中 d=√(x²+y²+z²)）转为稠密紧凑的range image（H×W×5，含x、y、z、d、r五个通道），再由多残差通道交互注意力模块（MRCIAM）对各模态通道独立提取多尺度上下文并建模通道内/通道间交互；编码器采用含残差空洞卷积与上下文聚合模块（CAM）的残差上下文聚合模块（RCAM），融合不同感受野信息并抑制缺失点噪声；解码器基于借鉴Swin Transformer思想设计的平衡非方形Transformer模块（BNTM），以非方形移位窗口适应range image宽高比严重失衡的尺寸特性并捕获局部长程依赖；最后用KNN后处理将2D语义回投影至3D点。实验在大型基准SemanticKITTI（43,000+扫描、21个序列，00–10训练、08验证、11–21测试，用于验证大规模场景下的性能）与小规模稀疏基准SemanticPOSS（2,988个含大量动态实例的场景，part 2测试，用于检验稀疏与动态条件下的泛化能力）上进行，基于PyTorch与单张NVIDIA RTX 2080Ti GPU，采用AdamW优化器及加权交叉熵、Lovász-Softmax与边界损失的加权组合（L=λ₁L_wce+λ₂L_ls+λ₃L_bd，最优λ₁=1.0、λ₂=3.0、λ₃=1.0、幂次i=0.5）监督训练。以mIoU为指标，TransRVNet在SemanticKITTI测试集上以64×1024输入取得62.8% mIoU并保持26 fps，较RangeNet++提升14.8%，与TORNADONet/KPRNet精度相当但输入更小、速度更快；在SemanticPOSS上取得49.3% mIoU（加KNN后处理达51.5%），较RangeNet++与MINet分别提升20.6%与8.3%，验证了MRCIAM、RCAM、BNTM各设计的有效性。未来可针对不同模型规模、输入尺寸与数据集搜索最优窗口大小，并通过双三次插值微调相对位置偏置以适应不同输入尺寸；实际部署需满足自动驾驶实时性约束（Velodyne HDL-64E采集频率10 Hz，FPS>10视为实时），并应对传感器限制、镜面反射、遮挡与球面投影导致的缺失点噪声及类别不平衡、边界模糊等挑战。\n\n### 关键要点\n- **架构定位**：TransRVNet是首个将Transformer应用于LiDAR点云语义分割的工作，采用CNN编码器（RCAM）+Transformer解码器（BNTM）的混合架构；消融显示其mIoU（58.1%）显著优于Swin-T-CNN（46.3%）与ViT-CNN（47.5%）等Transformer编码器方案。\n- **MRCIAM模块**：针对range image不同通道（xyz、深度、反射率）呈现不同模态信息与数值分布的现象，对每通道独立提取多尺度特征（3×3、5×5、7×7卷积加残差连接），并借SA-NET的空间-通道注意力（SCA）建模通道内与通道间交互，为ViT-CNN变体带来+5.5% mIoU提升。\n- **RCAM编码器**：以两个3×3卷积、膨胀率为2的3×3空洞卷积及1×1降维残差连接构成基本编码块以低成本扩大感受野，并在每块末端加入上下文聚合模块（CAM），增强对传感器限制、镜面反射、自身遮挡及球面投影造成的缺失点噪声的鲁棒性。\n- **BNTM解码器**：借鉴Swin Transformer的移位窗口自注意力机制（如 Z'_l = MSA(LN(Z_{l-1})) + Z_{l-1}），但改用非方形窗口以适应range image宽远大于高的尺寸失衡问题，并在每个上采样层后堆叠四个Transformer块，末端以卷积解码块处理最大分辨率特征图。\n- **数据集划分**：SemanticKITTI含43,000+扫描、21个序列（00–10训练、08验证、11–21测试）；SemanticPOSS由北京大学采集，含2,988个稀疏且动态实例丰富的场景（part 2为测试集），两者均提供逐点语义标注且遵循相同数据格式。\n- **训练设置**：基于PyTorch与单张NVIDIA RTX 2080Ti，AdamW优化器（权重衰减0.0001），随机旋转、随机丢点与XY符号翻转（概率0.5）数据增强；SemanticKITTI训练30 epochs（batch 6，输入64×1024，窗口[4][64]），SemanticPOSS训练60 epochs（batch 4，输入64×1600，窗口[4][50]）。\n- **损失函数设计**：联合加权交叉熵（中值频率类平衡加幂次平滑）、Lovász-Softmax（直接优化IoU）与边界损失（max-pooling提取边界图，θ₀=3），总损失L=λ₁L_wce+λ₂L_ls+λ₃L_bd；网格搜索得最优λ₁=1.0、λ₂=3.0、λ₃=1.0、i=0.5，三者组合较单独交叉熵提升9.0% mIoU。\n- **SemanticKITTI结果**：测试集上以64×1024输入取得62.8% mIoU、26 fps，较RangeNet++（48.0%）提升14.8%、较其64×2048版本（52.2%）提升10.6%，与TORNADONet/KPRNet（63.1%）精度相当，但输入尺寸远小且推理速度远高（26 fps vs 4/0.3 fps）。\n- **SemanticPOSS结果**：取得领先性能（正文报告49.3% mIoU，表格显示加KNN后处理达51.5%），较RangeNet++（30.9%）与MINet（43.2%）分别提升20.6%与8.3%；因该数据集更小更稀疏，所有方法的mIoU普遍偏低。\n- **窗口大小消融**：非方形窗口[4][8]、[4][16]、[4][32]较方形[4][4]分别提升0.2%、0.9%、1.2% mIoU，[4][64]因参数量限制反而退化至57.1%；[4][32]使最小特征图（4×32）获得全局自注意力，对小目标类提升显著（bicycle +8.1、person +5.6）。\n- **模块消融**：在backbone上仅加MRCIAM或RCAM分别提升2.2%与1.6% mIoU，两者组合提升3.1%（55.0%→58.1%）；MRCIAM使person类mIoU提升14.6，但other-vehicle类下降11.8。\n- **后处理与局限**：KNN后处理（搜索窗口7、k=7、σ=1、截断2 m）解决多个LiDAR点映射至同一像素的误分类问题；局限在于窗口大小为需针对不同模型规模、输入尺寸与数据集搜索的超参数，且相对位置偏置对不同输入尺寸需经双三次插值微调。"
}