{
  "paper_id": "628858b5654f66e4abf65252646b50e2",
  "paper_title": "RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation",
  "paper_authors": [
    "Jianyun Xu",
    "Ruixiang Zhang",
    "Jian Dou",
    "Yushi Zhu",
    "Jie Sun",
    "Shiliang Pu"
  ],
  "publication_date": "2021",
  "publication_venue": "CVPR 2021",
  "abstract": "Point clouds can be represented in many forms (views), typically, point-based sets, voxel-based cells or range-based images (i.e., panoramic view). The point-based view is geometrically accurate, but it is disordered, which makes it difficult to find local neighbors efficiently. The voxel-based view is regular, but sparse, and computation grows cubically when voxel resolution increases. The range-based view is regular and generally dense, however spherical projection makes physical dimensions distorted. Both voxel-and-range-based views suffer from quantization loss, especially for voxels when facing large-scale scenes. In order to utilize different view's advantages and alleviate their own shortcomings in fine-grained segmentation task, we propose a novel range-point-voxel fusion network, namely RPVNet. In this network, we devise a deep fusion framework with multiple and mutual information interactions among these three views, and propose a gated fusion module (termed as GFM), which can adaptively merge the three features based on concurrent inputs. Moreover, the proposed RPV interaction mechanism is highly efficient, and we summarize it to a more general formulation. By leveraging this efficient interaction and relatively lower voxel resolution, our method is also proved to be more efficient. Finally, we evaluated the proposed model on two large-scale datasets, i.e., SemanticKITTI and nuScenes, and it shows state-of-the-art performance on both of them. Note that, our method currently ranks 1st on SemanticKITTI leaderboard without any extra tricks.",
  "keywords": [
    "LiDAR点云语义分割",
    "多视图融合",
    "距离-点-体素交互",
    "门控融合模块",
    "自动驾驶",
    "SemanticKITTI",
    "nuScenes"
  ],
  "paper_institutions": [
    "Hikvision Research Institute",
    "Zhejiang University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:47.425220Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对自动驾驶等大规模场景下LiDAR点云语义分割中单一表示视图各有缺陷的问题：点视图几何精确但无序、局部邻域搜索低效；体素视图规则但稀疏、分辨率提升带来计算与内存的立方级增长且存在量化损失；距离视图规则稠密但球面投影导致物理尺寸畸变。在PointNet、KPConv等点方法，RangeNet++、SalsaNext等距离方法，以及Cylinder3D、SPVCNN/PVCNN等体素与融合方法的研究背景下，作者提出深度且高效的距离-点-体素融合网络RPVNet：以点为中间载体，在网络中多次进行三视图相互信息交互，并设计门控融合模块GFM，其核心机制为 X̃ = Σ_i split[softmax(Σ_i G_i)]_i · X_i，其中门向量 G_i = sigmoid(w_i * X_i) 由卷积层估计，经softmax将各通道权重投票转为概率后对输入特征加权，从而自适应合并三路特征；同时利用哈希映射构建高效RPV交互机制并总结为一般化公式，配合较低体素分辨率与稀疏卷积保证效率，还提出实例CutMix增强缓解类别不平衡。实验选择两个大规模驾驶场景数据集SemanticKITTI（43551帧LiDAR扫描、19个有效类别）与nuScenes（40000帧、16类）以验证方法在真实大规模场景下的有效性与效率，采用mIoU指标，设置体素分辨率0.05m、距离图64×2048，用SGD（batch 12、学习率0.24、60 epochs、2块Tesla V100约100小时，与SPVCNN保持一致以便公平比较）或ADAM（batch 40、学习率0.003、80 epochs、8块V100）端到端从零训练：结果显示SemanticKITTI测试集mIoU达70.3（19类中11类最佳，当时排行榜第一且无额外技巧）、nuScenes验证集mIoU达77.6，同时以24.8M参数、119.5G Macs、168ms延迟保持竞争力，这些结果支持了深层多视图交互、门控融合与高效RPV交互等创新的有效性；消融实验进一步表明RPV融合优于单视图、双视图融合与模型集成，体素分辨率降至0.1m时仍达68.3 mIoU，对实时应用很有价值。未来可将RPV交互机制推广为更一般的形式以支持扩展，并在效率约束下继续探索多视图融合；实际应用涵盖自动驾驶、AR/VR与机器人，需应对类别极度不平衡、大规模场景量化损失与实时性等约束。\n\n### 关键要点\n\n- 三分支架构：RPVNet由体素、点、距离三个分支组成，体素与距离分支采用相似Unet结构（stem加4次下采样与4次上采样，各阶段维度32至256），点分支仅为若干逐点MLP（维度32、256、128、32），RPV融合发生在stem、第4次下采样、第2次上采样和最后上采样阶段之后。\n- 门控融合模块（GFM）：核心公式为 X̃ = Σ_i split[softmax(Σ_i G_i)]_i · X_i，门向量 G_i = sigmoid(w_i * X_i) 由参数为 w_i 的卷积层估计，可按通道自适应加权三视图特征，相比加法融合在SemanticKITTI提升约1% mIoU、在nuScenes提升0.7%。\n- 高效RPV交互机制：通过投影函数与哈希函数建立多视图表示索引，点到其他视图采用平均传播 Ω(j, F_P) = Σ F_P(u)/Num(K_X(j))，体素到点用三线性插值、距离到点用双线性插值，避免了低效的邻域搜索。\n- 数据集规模：SemanticKITTI包含43551帧LiDAR扫描（训练19130、验证4071、测试20351），官方评估使用19个有效类别；nuScenes包含40000帧（训练8130、验证6019、测试6008），合并相似类并去除稀有类后保留16类。\n- 训练设置：SemanticKITTI排行榜模型用SGD、batch size 12、学习率0.24训练60个epochs（2块Tesla V100约100小时，与SPVCNN一致以便公平比较）；nuScenes与消融实验用ADAM、batch size 40、学习率0.003训练80个epochs（8块V100），并采用余弦退火学习率衰减。\n- SemanticKITTI结果：测试集mIoU达70.3，在19个类别中11类取得最佳，超过AF2S3（69.7）、Cylinder3D（67.8）、SPVNAS（67.0）等方法，当时位列SemanticKITTI排行榜第一且未使用额外技巧。\n- nuScenes结果：验证集mIoU达77.6，优于AMVNet与Cylinder3D（均为76.1）、SalsaNext（72.2）、PolarNet（71.0）等方法，且该结果未使用包括实例CutMix在内的任何技巧。\n- 效率表现：RPVNet为24.8M参数、119.5G Macs、168ms延迟（Tesla V100，含前后处理）；体素分辨率降至0.1m时仅需74.6G Macs、111ms延迟仍达68.3 mIoU，兼顾精度与实时性。\n- 消融证据：使用1/4训练数据时，单视图R、P、V分别为47.5、14.4、63.6 mIoU，RPV融合达65.5；完整设置下RPV融合（68.2）显著优于模型集成（64.5），且加R分支比加P分支带来更大提升。\n- 实例CutMix增强：从训练帧中提取稀有类实例（如自行车、车辆）构建小样本库，训练时按类别均衡随机选取并施加随机缩放与旋转，粘贴到地面类点上方以贴近现实，使SemanticKITTI验证集从68.2提升至69.6 mIoU。\n- 适用约束：点方法邻域搜索低效难以实时、体素方法在低分辨率下性能骤降、距离方法物理尺寸畸变且物体易重叠；RPVNet通过三视图互补缓解上述缺陷，适用于自动驾驶等大规模室外场景，但训练中需处理类别极度不平衡问题。"
}