{
  "paper_id": "4cebf88116c33b307f22e44aad4c00d4",
  "paper_title": "Lidar Annotation Is All You Need",
  "paper_authors": [
    "Dinar Sharafutdinov",
    "Stanislav Kuskov",
    "Saian Protasov",
    "Alexey Voropaev"
  ],
  "publication_date": "2023",
  "publication_venue": "IEEE Access",
  "abstract": "近年来，计算机视觉已经改变了医学成像、物体识别和地理空间分析等领域。语义图像分割是计算机视觉的基本任务之一，对精确的物体描绘至关重要。自动驾驶是计算机视觉算法应用的关键领域之一。路面分割在自动驾驶系统中至关重要，但它需要在多个数据域中进行劳动密集型的标注过程。本文描述的工作旨在利用多传感器设置中的卷积神经网络提高图像分割的效率。该方法利用激光雷达标注直接在RGB图像上训练图像分割模型。激光雷达通过发射激光脉冲并测量反射来提供深度信息，从而补充图像。然而，激光雷达的稀疏点云常常给精确的物体分割带来困难。点云分割需要耗时的初步数据准备和大量计算资源。我们方法的关键创新是掩码损失，解决来自激光雷达点云的稀疏地面真值掩码。通过仅在存在激光雷达点的位置计算损失，模型使用激光雷达点作为地面真值来学习图像上的道路分割。这种方法允许在模型训练期间无缝混合不同类型的地面真值数据。在基准数据集上的实验验证表明，该方法与高质量图像分割模型的性能相当。结合激光雷达减少了标注负担，并能在不损失分割质量的情况下训练图像分割模型。该方法通过多样化的公开和专有数据集实验进行测试，并讨论了所提方法的优缺点。",
  "keywords": [
    "Autonomous vehicles",
    "computer vision",
    "deep learning",
    "lidar point clouds",
    "semantic segmentation",
    "road surface detection"
  ],
  "paper_institutions": [
    "Evocargo LLC, Moscow, Russia"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:54.790056Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n自动驾驶系统中的道路表面分割是计算机视觉的关键任务，但传统方法需要在图像和点云等多个数据域进行昂贵且耗时的标注。现有研究包括基于神经网络的语义分割模型（如U-Net、PSPNet）以及基于激光雷达的方法（如PointNet、SqueezeSeg、PolarNet、多投影融合等），但点云分割需要大量计算资源且标注成本高昂。本文提出一种新颖的掩码损失方法，利用激光雷达点云投影到图像平面作为稀疏地面真值，直接在RGB图像上训练图像分割模型，其核心机制为掩码损失函数 L_MASKED = -(1/M)Σ m_i(y_i log(p_i) + (1-y_i)log(1-p_i))，仅在存在激光雷达投影点的像素处计算二元交叉熵损失，从而实现不同类型地面真值数据的无缝混合训练。实验在Waymo Open Dataset（含交集过滤版1852张训练图像和完整版34130张图像）、KITTI-360（49004训练样本）以及Evocargo专有数据集（由配备两个Robosense RS-Helios 32激光雷达和一个Lucid Triton相机的自动货运车辆采集的5000张图像）上验证，这些数据集被选择是因为它们同时提供同步的图像与激光雷达数据及多种标注类型，能够公平比较不同训练设置。实现采用PSPNet模型（ResNet34骨干网络）、PyTorch框架、Adam优化器和LambdaLR调度器。以IoU为评价指标，仅使用投影点训练的模型达到94.4%（Waymo with intersection）和89.6%（KITTI-360），略低于2D掩码基线（96.1%和92.3%），而混合训练在Waymo full上达到96.3%甚至超过基线的96.1%，证明该方法可在不损失分割质量的情况下大幅减少标注工作量，并支持将掩码损失创新推广至多类分割。未来方向包括扩大投影激光雷达点尺寸、利用多相机视角、探索不同激光雷达配置以及在冬季和夜间等条件下测试。该方法适用于自动驾驶物流等实际场景，尤其适合大规模数据集无法同时对3D点云和图像进行人工标注的情况。\n\n### 关键要点\n\n- 方法核心是掩码损失：仅在激光雷达投影点存在的像素处计算二元交叉熵损失，使模型能够利用稀疏点云地面真值直接在RGB图像上训练道路分割模型。\n- 数据投影使用齐次变换方程 y = K·T(lidar→camera)·x 将激光雷达坐标系中的点投影到图像平面，生成道路掩码和损失计算掩码，并在图像上半部分添加随机负类点以平衡损失分布。\n- 分割模型采用PSPNet（ResNet34骨干网络），因其被计算机视觉社区广泛研究、在道路分割任务中表现良好且在多个数据集上有基准结果，便于研究比较。\n- 实验使用三个数据集：Waymo Open Dataset（过滤后1852训练/315验证图像，完整版含34130张图像）、KITTI-360（49004训练/12276验证样本）以及Evocargo专有数据集（5000张图像）。\n- 专有数据由Evocargo自动货运车辆采集，配备两个Robosense RS-Helios 32激光雷达和一个Lucid Triton TRI023S-CC彩色相机，点云使用SUSTechPOINTS工具手动标注。\n- Waymo数据集结果：仅投影点训练达94.4% IoU，2D基线为96.1%，混合为95.3%（Waymo with intersection）；在Waymo full上混合训练达96.3%，超过2D基线的96.1%。\n- KITTI-360数据集结果：仅投影点89.6%，2D基线92.3%，混合92.7%（提升0.4%），2.7%的下降归因于点分布差异、激光雷达光束数量和标定等硬件特性。\n- 混合比例实验表明：在100%激光雷达地面真值基础上添加25%的2D图像掩码即可达到接近纯2D掩码的效果（95.9% vs 96.1%），可减少50%的图像标注需求而不损失预测质量。\n- 方法局限性包括：激光雷达有限的距离范围导致远处点预测质量较低，物体边界预测不如2D地面真值精确，整体质量下降最多达2.5%。\n- 掩码损失具有灵活性：当使用标准2D掩码时掩码为全1数组，退化为普通二元交叉熵，因此可在训练中混合两种地面真值类型，并可推广到多类分割问题。\n- 未来研究方向包括将掩码损失推广到多类情况、利用车辆周围多相机视角、探索不同激光雷达配置、在冬季和夜间等条件下测试，以及研究将投影激光雷达点作为输入的新神经架构。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}