{
  "paper_id": "0c3871dfb0acb5e4099c7df1c2445058",
  "paper_title": "Knowledge Distillation for 3D LiDAR Segmentation",
  "paper_authors": [
    "Huancheng Xiao",
    "Qiang Li",
    "Ye Gu"
  ],
  "publication_date": "",
  "publication_venue": "2025 6th International Conference on Machine Learning and Computer Application (ICMLCA)",
  "abstract": "Accurate semantic segmentation of LiDAR point clouds is critical for autonomous driving, yet single-modal approaches often struggle with complex environments due to limited depth and geometric information. While multi-modal fusion of LiDAR and camera data has shown promise, existing fusion-based models suffer from high computational costs and inadequate fine-grained details. This paper proposes a novel framework that enhances 3D point cloud segmentation by integrating 2D image features and 1D serialized point cloud features through cross-attention. Our approach leverages space-filling curves to preserve local spatial structures in serialized point clouds and employs dynamic grid pooling to adaptively capture multi-scale features. By distilling 2D and 1D knowledge into the 3D backbone, our method achieves superior performance, significantly reducing computational overhead. Extensive experiments on the SemanticKITTI dataset demonstrate that our approach outperforms state-of-the-art methods, achieving a mean IoU of 0.733, with notable improvements in segmenting tiny size objects like bicycles and motorcycles.",
  "keywords": [
    "point cloud segmentation",
    "knowledge distillation",
    "space-filling curves"
  ],
  "paper_institutions": [
    "School of Artificial Intelligence, Shenzhen Technology University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:47.330357Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对自动驾驶中LiDAR点云语义分割任务，单模态方法因深度与几何信息不足难以应对复杂环境，而现有多模态融合模型（如PointNet/KPConv等点基方法、VoxNet/Cylinder3D/AF2S3Net等体素方法及RGB-LiDAR融合框架）存在推理时需同时处理图像与点云数据导致计算开销高、体素化与3D稀疏卷积造成局部细粒度信息丢失两大局限。本文提出一种通过交叉注意力整合2D图像特征与1D序列化点云特征以增强3D分割的新框架：利用空间填充曲线（Hilbert/Z-order，双射函数 φ: Z→Z^n）将3D点云转换为保留局部空间结构的1D序列，并引入动态网格池化（D-GridPool）依据局部密度（如平均k近邻距离）自适应分配网格尺寸以捕获多尺度特征；2D分支（ResNet34）与1D序列分支仅在训练阶段参与，通过知识蒸馏将图像纹理颜色先验与序列细粒度空间知识转移至3D主干（Cylinder3D），推理时仅保留3D分支从而显著降低计算开销。选择SemanticKITTI数据集（23,201个训练点云、20,351个测试点云）是因为它是自动驾驶LiDAR序列语义理解的标准基准，能够验证方法在大规模户外场景及小目标上的泛化能力；实验采用mIoU指标，方法达到0.733，超过2DPass（0.729）等最先进方法，并在person（0.832）、bicyclist（0.838）等类别上表现突出，支持了细粒度知识蒸馏与动态网格机制的创新有效性；消融实验进一步表明序列分支贡献0.012的mIoU提升、D-GridPool贡献0.003的提升。核心机制为总损失 L_total = L_sup + α·L_distill，其中 L_sup 为三模态预测与对应真值的加权交叉熵之和，蒸馏损失 L_distill = KL(P_v‖P_r) + KL(P_v‖P_s) 实现2D与1D知识向3D网络的单向蒸馏。未来可进一步探索密度度量与多尺度蒸馏策略的优化；实际应用中需考虑相机标定精度、点云-像素对齐误差以及车载平台算力与实时性约束。\n\n### 关键要点\n\n- 问题背景：自动驾驶中的LiDAR点云语义分割依赖单模态LiDAR时受限于无纹理、稀疏的数据特性，深度与几何信息不足导致复杂环境下分割精度受限。\n- 现有融合方法局限：多数多任务或级联融合架构在推理阶段需同时处理图像与点云数据，计算资源消耗大；体素化与3D稀疏卷积特征提取会造成局部细粒度信息丢失。\n- 框架设计：采用三个独立特征提取分支——2D图像分支（ResNet34）、3D体素分支（Cylinder3D主干）与1D序列化点云分支，通过交叉注意力融合并以知识蒸馏增强3D主干。\n- 点云序列化机制：利用空间填充曲线（Hilbert、Z-order）的双射性质 φ: Z→Z^n，将点 p 以网格尺寸 g 量化后映射为一维整数索引并升序排序，得到保留空间邻近关系的1D点云序列。\n- 动态网格池化（D-GridPool）：计算每点平均k近邻距离等局部密度度量，为密集复杂区域（物体边缘、表面）分配小网格保留细节，为稀疏区域分配大网格降低冗余，替代PTv3的均匀GridPool。\n- 融合模块设计：Sequence-Voxel与Image-Voxel融合模块对序列特征 F_s 与体素特征 F_v 进行线性投影生成Q/K/V，经自注意力、层归一化及双向交叉注意力得到 F_v-s-fusion 等四个增强融合特征。\n- 知识蒸馏机制：由3D真值分别生成2D真值（相机标定投影 G_r=Π_proj(G_v,K,T)）与1D序列真值（序列化映射记录 G_s=Γ_seq(G_v,M)），总损失 L_total=L_sup+α·L_distill，其中蒸馏损失为 KL(P_v‖P_r)+KL(P_v‖P_s)。\n- 训练推理分离策略：2D与序列化分支仅在训练阶段参与，推理时被丢弃，显著降低计算开销，区别于简单融合预测结果而无法舍弃辅助分支的方法。\n- 数据与评估设置：在SemanticKITTI数据集（23,201个训练点云、20,351个测试点云）上实验，以各类别IoU的平均值mIoU作为评估指标。\n- 主要结果：方法mIoU达0.733，较同时利用2D与3D特征的2DPass（0.729）提升0.004，与RangeFormer持平，在person（0.832）、bicyclist（0.838）、bicycle（0.689）等小目标类别上提升显著。\n- 消融实验证据：移除序列分支使mIoU从0.733降至0.721（下降0.012），bicyclist从0.838降至0.765；D-GridPool较原始GridPool提升0.003（0.733对0.730），验证细粒度知识蒸馏与动态网格的有效性。\n- 适用约束：方法依赖数据集提供的相机标定参数生成2D真值，点云-像素错位需可学习跨模态模块缓解，适用于自动驾驶等对实时性与算力敏感的实际部署场景。"
}