{
  "paper_id": "3b4ec1e6dcba4752cc41fdbd0ee74ec9",
  "paper_title": "MVP-Net: Multiple View Pointwise Semantic Segmentation of Large-Scale Point Clouds",
  "paper_authors": [
    "Chuanyu Luo",
    "Xiaohan Li",
    "Nuo Cheng",
    "Han Li",
    "Shengguang Lei",
    "Pu Li"
  ],
  "publication_date": "",
  "publication_venue": "Journal of WSCG",
  "abstract": "Semantic segmentation of 3D point cloud is an essential task for autonomous driving environment perception. The pipeline of most pointwise point cloud semantic segmentation methods includes points sampling, neighbor searching, feature aggregation, and classification. Neighbor searching method like K-nearest neighbors algorithm, KNN, has been widely applied. However, the complexity of KNN is always a bottleneck of efficiency. In this paper, we propose an end-to-end neural architecture, Multiple View Pointwise Net, MVP-Net, to efficiently and directly infer large-scale outdoor point cloud without KNN or any complex pre/postprocessing. Instead, assumption-based space filling curves and multi-rotation of point cloud methods are introduced to point feature aggregation and receptive field expanding. Numerical experiments show that the proposed MVP-Net is 11 times faster than the most efficient pointwise semantic segmentation method RandLA-Net and achieves the same accuracy on the large-scale benchmark SemanticKITTI dataset.",
  "keywords": [
    "Point Cloud",
    "Semantic Segmentation",
    "Space Filling Curves",
    "Convolutional Neural Networks"
  ],
  "paper_institutions": [
    "LiangDao GmbH",
    "Ilmenau University of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:13.288049Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n自动驾驶环境感知中大规模三维点云的语义分割是关键任务，但主流逐点方法的流程（采样、邻域搜索、特征聚合、分类）依赖K近邻（KNN）算法，其计算复杂度成为效率瓶颈。已有研究包括体素化方法（计算与内存开销随分辨率立方增长且大 voxel 丢失细粒度特征）、投影方法（3D-2D投影存在信息损失）以及 PointNet、RandLA-Net 等逐点方法（仍需 KNN 或球查询进行邻域搜索）。本文提出端到端网络 MVP-Net，通过基于假设的空间填充曲线将3D点映射为1D序列并保留局部特征，核心排序公式为 scores = kx·round(x·rx) + ky·round(y·ry) + kz·round(z·rz) + kρ·ρ（其中 kx≫ky≫kz≫kρ，ρ=√(x²+y²)），复杂度仅 O(n)，而 KDTree 加速的 KNN 为 O(n log n)；同时将原始点云沿 z 轴旋转4个固定角度（0、π/4、2π/4、3π/4）分别排序以扩展每点感受野，从而完全去除 KNN 及复杂前后处理。实验在 SemanticKITTI 大规模基准数据集上进行（序列08作验证集，其余10个序列作训练集，采用19类 mIoU 作为标准指标），使用 PyTorch 实现、Adam 优化器（学习率0.0003无衰减）、交叉熵加 Lovász-softmax 损失，在 Tesla V100 单卡32G 上训练测试。结果表明 MVP-Net 达到 53.9% mIoU（与逐点基准方法 RandLA-Net 精度相同），推理速度 19.20 FPS，比最高效的逐点方法 RandLA-Net 快11倍，是所有对比方法中效率最高的，验证了空间填充曲线可保留3D局部特征、多视角旋转可弥补 SFC 映射的信息损失。消融实验证明4次旋转、邻域显式编码（NEE）和假设排序函数均实现效率与精度的最优权衡。未来可探索与体素化等方法的融合，并直接引入计算机视觉与自然语言处理领域的先进神经模块。实际应用中该方法适用于自动驾驶实时感知场景，但精度仍低于体素化方法（Cylinder3D 67.8%）和融合方法（RPVNet 70.3%），且排序超参数需经验设定。\n\n### 关键要点\n\n- MVP-Net 是端到端逐点语义分割网络，完全去除 KNN 等邻域搜索及复杂前后处理，直接高效推断大规模室外点云。\n- 核心排序公式 Eq.8：scores = kx·round(x·rx) + ky·round(y·ry) + kz·round(z·rz) + kρ·ρ（kx≫ky≫kz≫kρ），复杂度仅 O(n)，而 KDTree 加速的 KNN 为 O(n log n)。\n- 排序基于两条自动驾驶场景假设：邻域点应尽量与待分类点属于同一物体；沿物体高度 z 轴的点（除地面点外）更可能属于同一物体（如汽车、树木、建筑）。\n- 原始点云沿 z 轴旋转4个固定角度（0、π/4、2π/4、3π/4）后分别排序，扩展每点在1D序列中的感受野，弥补空间填充曲线映射造成的信息损失。\n- SFA（序列特征聚合）骨干仅由1D卷积层构成，对排序后的规则点序列聚合局部与全局特征，1D卷积复杂度 O(M·K·Cin·Cout) 低于2D和3D卷积。\n- 邻域显式编码（NEE）将中心点与排序序列中最近8个邻居的坐标差显式编码（xi = pi ⊕ (pi − pi^k) ⊕ pi^other features），实现点云平移不变性。\n- 实验在 SemanticKITTI 数据集上进行，序列08作验证集，其余10个序列作训练集，每点包含三维坐标和反射强度，采用19类 mIoU 作为标准指标。\n- 实现细节：PyTorch 框架，每帧采样10^5点，Adam 优化器学习率0.0003无衰减，先交叉熵损失、进入平台期后加 Lovász-softmax 损失，训练时随机绕 z 轴旋转增强，测试时输入整帧原始点云，实验在 Tesla V100 单卡32G 上进行。\n- 结果：MVP-Net 达 53.9% mIoU 与 19.20 FPS，与 RandLA-Net 精度相同但快11倍，是所有对比的点基、投影基、体素化和融合方法中推理效率最高的。\n- 消融实验：旋转1/2/8次的 mIoU 分别为47.4/51.7/54.8%，去除 NEE 降至50.2%，改用不优先 z 轴的 Eq.13 排序降至43.7%，验证4次旋转、NEE 和假设排序函数为最优权衡。\n- 约束：精度仍低于体素化方法（Cylinder3D 67.8%）和融合方法（RPVNet 70.3%），other-vehicle 等类别存在分类失败案例，排序超参数（如柱体尺寸 rx、ry、rz 及权重系数）需经验设定。\n- 未来方向：与体素化等其他类型方法融合，并因纯1D卷积架构可直接引入计算机视觉与自然语言处理领域的先进神经模块。"
}