{
  "paper_id": "401d8e55fc6fe18b32982e0a8813ee1c",
  "paper_title": "RPV-CASNet: range-point-voxel integration with channel self-attention network for lidar point cloud segmentation",
  "paper_authors": [
    "Jiajiong Li",
    "Chuanxu Wang",
    "Chenyang Wang",
    "Min Zhao",
    "Zitai Jiang"
  ],
  "publication_date": "2024-06-14",
  "publication_venue": "Springer Science+Business Media, LLC (Springer Nature)",
  "abstract": "在细粒度分割任务中，最大化不同视图的优势并缓解其各自的缺点是点云多视图融合领域的一个重要挑战。传统多视图融合方法忽略了两个致命问题：1. 映射和体素化操作导致的深度和量化信息丢失，造成提取的特征中出现“异常”；2. 在点云学习过程中如何关注不同视图间物体尺寸的巨大差异，并微调融合效率以提高网络性能。本文提出了一种利用通道自注意力融合距离-点-体素的新算法，简称RPV-CASNet。RPV-CASNet通过交互式结构（距离-点-体素交叉自适应层，简称RPVLayer）以更精细的方式集成距离、点和体素三种不同视图，以充分利用它们之间的差异。RPVLayer包含两个关键设计：特征精炼模块（FRM）和多细粒度特征自注意力模块（MFGFSAM）。具体而言，FRM允许对携带异常特征的点进行重推理表示，从而校正特征；MFGFSAM解决两个挑战：高效聚合来自遥远区域的token，以及在单个注意力层内保留多尺度特征。此外，我们为网络部署设计了一个动态特征金字塔提取器（DFPE），用于从球面距离图像中提取丰富特征。我们的方法在SemanticKITTI和nuScenes数据集上分别取得了69.8%和77.1%的mIoU分数。",
  "keywords": [
    "多视图融合",
    "特征精炼",
    "多细粒度自注意力机制",
    "3D语义分割"
  ],
  "paper_institutions": [
    "青岛科技大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:03.705315Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究LiDAR点云多视图融合中的细粒度语义分割问题：传统融合方法忽略了映射与体素化操作导致的深度和量化信息丢失（使提取特征出现“异常”），以及不同视图间物体尺寸差异巨大时如何调整融合效率这两个关键挑战。在相关研究方面，点基方法（PointNet、KPConv）邻域搜索低效且难以扩展到大场景，体素基方法（Cylinder3D、AF2S3Net）存在量化损失且计算量随分辨率立方增长，距离基方法（RangeNet++、SalsaNext）因球面投影丢失深度信息并造成物体尺寸失真，而PVCNN、RPVNet等现有融合策略采用简单加法融合，性能提升有限。为此，本文提出RPV-CASNet算法，通过距离-点-体素交叉自适应层（RPVLayer）融合三种视图，其包含两个关键设计：特征精炼模块（FRM）借鉴视频异常检测思想，将点划分为低置信度异常点与高置信度正常点，利用点分支无损特征、异常点坐标信息及KDTree检索的16个邻近点特征进行联合重推理表示；多细粒度特征自注意力模块（MFGFSAM）基于通道多头自注意力，通过点-距离与点-体素分支建模大感受野粗粒度特征，并与点分支细粒度特征在单注意力层内拼接，核心机制为 F' = Concat(F_coarse1^PR, F_coarse2^PV, F_fine3^P)，同时将查询、键、值维度降至原来的三分之一以降低计算消耗。此外还设计了由Conv 3×3、5×5、7×7并行动态残差块构成的动态特征金字塔提取器（DFPE）处理球面距离图像，并提出GANMix数据增强方法，利用GAN生成稀缺类别真实样本以缓解类别不平衡。实验选用大规模自动驾驶场景数据集SemanticKITTI（43551次LiDAR扫描、19个有效类别）和nuScenes（1000个场景、16个类别）以验证方法在真实驾驶场景下的泛化能力，采用ADAM优化器（初始学习率0.006、多步衰减）、交叉熵损失，分别训练60和80轮（单张RTX 3090约一周），评价指标为平均交并比 mIoU=(1/C)Σ TP_c/(TP_c+FP_c+FN_c)。结果表明，该方法在SemanticKITTI和nuScenes上分别达到69.8%和77.1%的mIoU，优于大多数最先进算法，其中GANMix支撑了SemanticKITTI上的结果，消融实验验证了FRM（分别提升3.5%和4.8% mIoU）与MFGFSAM（分别提升3.7%和3.9% mIoU）的有效性，且三视图组合显著优于两两组合。作者进一步发现自注意力计算中距离分支和体素分支约三分之一特征未被充分利用，可能限制了网络性能，未来将继续探索新的高效融合机制；在效率方面模型参数量（28.2M）偏高但延迟（115ms）低于RPVNet（168ms），适用于自动驾驶、增强现实和虚拟现实等对场景理解精度要求高且感知错误可能导致严重事故的实时应用场景。\n\n### 关键要点\n\n- **方法核心**：RPV-CASNet通过RPVLayer交互结构以通道自注意力融合距离、点、体素三种视图，直接捕获三视图间关系，使不同视图以更柔和的方式相互补偿增强，克服单视图方法缺陷。\n- **FRM异常点处理**：特征精炼模块通过向量乘积与sigmoid激活筛选异常点（约10%–25%特征被判定为异常），利用点分支无损特征、异常点坐标及KDTree检索的16个邻近点特征联合重推理，防止网络过度依赖点分支。\n- **MFGFSAM设计**：多细粒度特征自注意力模块在点级别直接计算通道注意力，点-距离与点-体素分支建模粗粒度特征、点分支捕获细粒度特征，三者拼接实现单注意力层内的多尺度特征保留与远程token聚合。\n- **DFPE提取器**：动态特征金字塔提取器由Conv 3×3、5×5、7×7三个并行动态残差块加1×1卷积构成，采用深度卷积降低开销，为距离分支提取多尺度上下文特征，避免专用编解码网络引入的额外内存与计算开销。\n- **GANMix增强**：针对LiDAR语义分割类别不平衡，从训练集提取自行车等稀缺类别实例构建小样本池，借助GAN生成真实样本，经随机缩放旋转后放置于地面类别点上，在训练最后十个轮次用于微调网络。\n- **数据与训练设置**：在SemanticKITTI（43551次扫描、19类）和nuScenes（1000场景、16类）上评估，采用ADAM优化器、初始学习率0.006多步衰减、交叉熵损失，分别训练60和80轮，单张RTX 3090耗时约一周。\n- **主要结果**：在SemanticKITTI测试集和nuScenes验证集上分别取得69.8%和77.1%的mIoU，整体性能与RPVNet接近且优于大多数最先进算法（如Cylinder3D 67.8%/76.1%、AF2S3 69.7%）。\n- **小目标分割优势**：相比RPVNet，自行车、其他车辆、行人和交通标志四类小目标精度分别提升0.5、0.6、0.5和0.7个百分点；相比CPGNet，自行车、摩托车等小目标类别提升最高达6.9个百分点。\n- **消融实验证据**：三视图RPV组合（SemanticKITTI 62.9%）显著优于RP（47.6%）、PV（59.9%）、RV（60.4%）；FRM在两数据集分别提升3.5%和4.8% mIoU，MFGFSAM分别提升3.7%和3.9%。\n- **融合方式对比**：MFGFSAM相比加法融合在SemanticKITTI上高3.7个百分点、相比拼接融合在nuScenes上高3.9个百分点，相比普通多头自注意力机制分别提升1.8和2.2个百分点。\n- **效率与约束**：模型参数量28.2M高于RPVNet（24.8M），但RTX 3090上延迟115ms低于RPVNet的168ms（V100）及SPVCNN（150ms）、RandLANet（416ms），适合对精度要求高的自动驾驶实时感知。\n- **局限与未来方向**：作者发现MFGFSAM自注意力计算中距离分支和体素分支约三分之一特征未被充分利用，可能限制网络性能，后续将探索更高效的融合机制。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}