数字对象标识符：10.1109/ACCESS.2023.3337995 ![Image](images/23103839f87f1f32fa28f0e68efb862990f4d763f7bbcd6c8f8dd31ac1268482.jpg) 研究论文 # 激光雷达标注足矣 DINAR SHARAFUTDINOV $^{ID}$、STANISLAV KUSKOV、SAIAN PROTASOV和ALEXEY VOROPAEV，Evocargo LLC，俄罗斯莫斯科，邮编129085 通讯作者：Dinar Sharafutdinov () 本研究利用了Evocargo LLC提供的工作能力和数据开展。 ## 摘要 近年来，计算机视觉改变了医学成像、物体识别和地理空间分析等领域。计算机视觉中的核心任务之一是语义图像分割，它对精确勾勒物体轮廓至关重要。自动驾驶是计算机视觉算法应用的关键领域之一。路面分割任务在自动驾驶系统中举足轻重，但该任务需要在多个数据域中进行耗费大量人力的工作来标注数据。本文所述工作旨在利用多传感器环境下的卷积神经网络提升图像分割的效率。该方法借助激光雷达（光探测与测距）标注数据，直接基于RGB图像训练图像分割模型。激光雷达通过发射激光脉冲并测量反射信号来获取深度信息，从而补充图像数据。然而，激光雷达生成的点云较为稀疏，往往会给精确的物体分割带来困难。点云分割需要耗时的前期数据预处理过程，且会占用大量的计算资源。我们方法的核心创新在于采用掩码损失函数，以解决激光雷达点云产生的稀疏真实标签掩码问题。通过仅在存在激光雷达点的区域计算损失，模型便能借助激光雷达点作为真实标签来学习图像中的道路分割。该方法能够在模型训练过程中无缝融合不同类型的真实标签数据。在基准数据集上对该方法进行的实验验证表明，其性能可与高质量的图像分割模型相媲美。引入激光雷达能减轻标注负担，同时在不牺牲分割质量的前提下训练图像分割模型。我们通过公开及专有等多种数据集的实验对该方法进行了测试，文中也探讨了该方法的优势与不足。本研究通过优化用于图像分割的神经网络训练方式，促进了点云在图像模型训练中的高效应用。 关键词：自动驾驶汽车、计算机视觉、深度学习、激光雷达点云、语义分割、路面检测。 ### 一、引言 近年来，计算机视觉取得了巨大进步，彻底革新了自动驾驶、医学成像和物体识别等领域。图像分割是计算机视觉中的核心任务之一，它在准确识别并勾勒图像中感兴趣的物体方面发挥着至关重要的作用。现代自动驾驶系统依赖图像分割技术，在其感知流程中运用卷积神经网络。当前最先进的模型已能有效解决图像分割任务，但这一过程需要海量数据和高昂的标注成本。 负责协调本手稿评审并批准其发表的副编辑是Okyay Kaynak $^{ID}$。 大多数自动驾驶系统会使用激光雷达（光探测与测距）等传感器来执行各种计算机视觉任务。激光雷达技术通过发射激光脉冲并测量其反射信号，被广泛用于获取场景的详细深度信息。该技术在机器人、自动驾驶汽车和环境测绘等领域有着广泛应用。虽然激光雷达数据能提供精确的深度信息，但无法精准地对场景中的物体进行分割。激光雷达通常生成稀疏的点云；它们能测量物体表面的距离，但在提供物体形状、纹理和颜色等完整信息方面，却不如可见光相机。 --- 基于激光雷达数据的物体分割颇具挑战性，因为所获取的点并不总是能与特定物体直接对应。例如，在物体密集聚集的区域或道路交叉口，来自不同物体的点可能会混杂在同一个点云中。 这些不便之处给创建高质量数据集以及利用激光雷达点云训练模型带来了困难。同时运用两种数据域可以发挥各自的优势，但这需要投入大量资源来进行数据标注。在二维道路分割训练中有效融合点云与图像，有望提升预测质量并降低标注成本。 在这项研究中，我们提出了一种新方法，能够充分利用激光雷达标注信息，直接在RGB图像上训练图像分割模型。我们将激光雷达标注作为真实标签，利用其提供的信息来指导分割过程。无需手动标注每张图像，我们只需利用激光雷达标注来生成道路区域标签，这样就能专注于一种数据的标注工作。随后，我们基于投影后的激光雷达数据训练图像分割模型，从而得到能够自动分割图像中道路的模型。 所提出的方法具有多项优势。首先，仅需激光雷达标注，这大大减轻了标注工作量。其次，将激光雷达数据与图像混合使用能提升分割质量。第三，我们的方法灵活性强，适用于各类图像和分割任务。它不仅优化了标注流程，还能实现激光雷达数据与RGB数据的融合，帮助分割模型更出色地应对低光照条件、复杂背景以及各种形状的物体等棘手场景。通过混合不同类型的数据，我们减少了为获得高质量训练结果所需的图像数量。 我们通过使用基准数据集开展全面实验来评估该方法的有效性，并将我们的方法与高质量的图像分割模型性能进行对比。结果显示，两者的准确性和效率相当，这证实了在图像分割模型训练过程中融入激光雷达数据的益处。 本文详细阐述了我们的方法，并展示了证明其有效性和适用性的实验结果。我们还将其与传统分割模型训练方法进行了比较，探讨了我们方法的优势与局限性。 本文的贡献如下： - 我们提出了一种新颖且高效的图像分割方法，该方法利用卷积神经网络，并将激光雷达点云数据作为真实标签。 - 我们在多个数据集上评估了所提出的方法，将其与使用标准二维真实标签训练的模型进行比较，同时考虑了该方法的特点，包括混合能力以及传感器设置上的差异。本文的相关代码、处理后的数据集以及用于未来研究的代码库均已发布在GitHub仓库$^{1}$中。 ### 二、相关工作 道路分割是自动驾驶软件中的常见任务，也是任何自动驾驶系统的重要组成部分。针对图像中的道路分割有多种方法[^1]、[^2]、[^3]。目前，基于神经网络的语义分割是道路分割任务中最常用的解决方案。语义分割[^4]指的是将属于同一物体类别的图像部分进行聚类。这是一种像素级预测形式，因为图像中的每个像素都会根据所属类别进行分类。 传统的语义图像分割模型主要由两部分组成：编码器和解码器。编码器会降低输入数据的空间分辨率以提取重要特征；解码器则会将特征的上采样表示还原为全尺寸的分割图[^5]。在语义分割任务中，通常会使用真实标签分割掩码来进行训练。这类掩码会标注出每个像素所属的类别。针对道路分割的语义图像分割方法有很多，它们都使用分割掩码，且需要为图像标注分割数据集，例如U-Net[^6]基础实现、PSPNet[^7]等，这些方法能够实现高精度的图像聚类。 激光雷达也应用于自动驾驶领域。在摄像头无法工作的场景下（如低光照条件），它能提供环境信息。激光雷达数据[^8]是由激光雷达读取到的从表面反射回来的点云。点云和摄像头图像一样，也可用于分割任务[^9]、[^10]，且同样需要标注。基于激光雷达数据的分割需要更多的计算资源和额外的训练操作。基于激光雷达的方法虽然效果不错，但也存在局限性[^11]。基于点的方法（如PointNet[^12]）通常耗时较长；基于投影的方法[^13]是针对激光雷达点云的高效方案，但其能达到的分割精度有限；基于体素的方法则在速度和精度之间取得了平衡，不过其精度仍不及图像分割方法。另一种方法是多表征融合方法，如LIF-Seg[^14]。这些方法结合了多种表征（如点、投影图像和体素），并利用不同网络分支间的特征融合，这需要更多的计算资源，且图像标注与激光雷达点标注是相互依赖的。 还有另一类不涉及神经网络的激光雷达语义分割方法。 --- 诸如[^15]、[^16]和[^17]之类的方法通常仅适用于有限场景，且需要针对每种情况分别定制。它们的推理速度高度依赖于数据量。不过，如果我们使用同类数据，就能获得精确的道路分割结果。这使得这类方法有望成为激光雷达数据的道路表面标注选项。 由于基于激光雷达的模型训练难度大，且点云标注成本高昂，因此人们想到了采用另一种点云表示形式[^18]、[^19]。SqueezeSeg [^20]提出将点云转换为密集的球面视图，随后将其作为图像输入供神经网络处理。相比之下，VolMap [^21]是一种针对360度激光雷达数据的语义分割模型，采用体积鸟瞰视图表示方式。PolarNet [^9]则提议使用点云的极坐标鸟瞰视图表示形式。多投影融合（MPF）框架[^22]结合了多种点云表示方式，以减少信息损失并提升模型性能。这些方法的表现优于传统的3D深度神经网络，能够对激光雷达点云中的物体进行分割。同时，它们通常忽略图像数据，在中间空间（球面、鸟瞰视图、极坐标）中进行预测。 另一类方法会融合来自多个传感器的信息，比如单目相机和激光雷达。这类方法面临的主要挑战在于图像和点云属于不同的数据域。PLARD [^23]通过投影点云并应用基于海拔差的变换，使其适配图像。随后通过特征空间适配，实现图像特征与激光雷达数据特征在神经网络中的融合。在另一种方法[^24]中，图像和以激光雷达网格图形式存在的激光雷达数据会分别由FCN的不同分支进行处理，之后再通过融合层加以整合，从而得到鸟瞰视图形式的道路预测结果。[^25]中的作者提出了融合两种道路分割结果的方法：一种结果来自逆深度感知全卷积神经网络（IDA-FCNN），该网络整合了图像和重投影后的点云；第二种预测结果则由基于逆深度的直方图线扫描方法对激光雷达的3D点云进行处理得到。[^26]中提出的方法会将点云转换为网格，并利用其多个图像视图；这些以RGB和深度数据形式存在的图像视图会在多种分割神经网络架构中以不同方式被融合。 以及从激光雷达空间投影得到的道路真实标注点。后者既可以通过点云标注获得，也可以借助辅助的激光雷达道路分割模型得到。这种方法能够利用激光雷达数据的优势在图像空间中预测道路表面，同时无需在多个领域进行数据标注。 这些方法在预测质量方面也展现出不错的效果。但它们可能需要来自多个传感器的标注数据，而这类数据往往难以获取。此外，这些方法采用了包含多种处理和融合步骤的复杂网络架构，这可能导致训练过程不稳定，并且会消耗更多的计算资源。 ### 三、研究方法 在我们的方法中，我们决定借助掩码损失函数来训练基于图像的语义分割模型。我们方法的整体流程如图1所示，它包含四个主要部分：点云道路标注、数据准备、掩码损失以及分割模型本身。首先，我们获取带有道路标注的点云数据；随后，利用齐次变换和相机参数对点进行投影。接着，通过投影后的点得到道路的真实标签以及用于损失计算的掩码，并为其添加随机噪声。相机拍摄的图像会由分割模型进行处理；上一步得到的预测结果和掩码会被送入掩码损失函数，从而允许模型利用稀疏的真实标签数据进行训练。最终，在模型训练完成后，我们就能得到一幅包含分割后道路的图像。训练过程以及掩码损失函数使得投影后的真实标签能够与传统的2D掩码相融合，从而让该方法在数据适应性方面更具灵活性。在接下来的小节中，我们将详细描述各个部分。 ### A. 点云道路标注 为了在训练过程中使用激光雷达数据，我们需要在点云上对道路表面进行标注。这既可以通过人工方式使用点云标注工具（如SUSTechPOINTS [^27]）来完成，也可以采用道路表面检测的传统方法[^15]、[^16]、[^17]，这些方法在相关工作部分已有提及。由于道路表面的均匀性，根据数据的不同，道路标注可以相对快速地完成。传统方法甚至有可能完全无需人工标注即可得到道路标注结果，但针对特定数据仍需进行微调。 ### B. 数据准备 带有道路标注的点云会通过齐次变换投影到图像平面上。进行此类投影时，我们会使用同步的相机与激光雷达帧数据、相机参数，以及从激光雷达坐标系到相机坐标系的变换矩阵。为了将激光雷达坐标系中的齐次点$\mathbf{x} = (x, y, z, 1)^T$投影为图像平面上的点$\mathbf{y} = (u, v, 1)^T$，我们使用以下公式： $$ \mathbf{y}=\mathbf{K}\mathbf{T}_{l i d a r}^{c a m e r a}\mathbf{x} $$ 其中$\mathbf{K}$是相机内参矩阵，$\mathbf{T}_{lidar}^{camera}$则是用于将激光雷达坐标转换为相机坐标的变换矩阵。 经过变换后，我们在图像上得到像素掩码形式的点，既包括道路类别的点，也包括激光雷达扫描中的所有其他点。我们以两个掩码的形式来使用这些点：第一个是道路掩码（图2c）。与 --- ![Image](images/41266f9fb368dc760f134e6056b40f4bd690911843a698c36dab045625530c0e.jpg)
FIGURE 1. The overall scheme of our approach.
传统的分割训练方案不同，这里的掩码较为稀疏，因此无法直接以这种形式使用。为解决这一问题，我们采用了掩码损失函数，相关内容将在下一小节中说明。此外，我们还需要激光雷达扫描中的所有其他点，因此第二个掩码包含了整个激光雷达扫描数据，其中也涵盖道路表面。由于激光雷达点主要位于图像的下半部分，图像上半部分根本没有点存在，这可能导致该区域的预测结果不准确，进而影响分割指标并产生误检。鉴于此，我们在掩码的上半部分添加随机点（负类），以平衡用于计算损失的点分布。这两个掩码的合并结果将被用作损失计算的空间（图2d）。 ### C. 掩码损失 为了解决从激光雷达点云中获取的道路真实掩码稀疏性问题，我们采用了掩码损失函数。其思路是改变损失计算的空间：不再使用整幅图像，而仅在存在激光雷达点的像素上计算损失，这些像素就是所有投影点。换句话说，我们通过测量模型在网格点上的预测误差，迫使模型学习道路分割。这类似于戴着遮光眼镜看图像——尽管镜片上有条纹可能会降低可见度，但人眼仍能看到几乎相同的画面。图3展示了这种视图的示意图。同样，模型通过在图像的特定区域计算损失来获取足够的场景信息，而这些区域仍覆盖了包括路面在内的大部分重要部分。每幅图像的掩码损失$L_{MASKED}$可表示为 ![Image](images/050789679dd8dc2955a1760250444076cc7f2364ce6a4d3f1f4e42d72acad782.jpg)
(a) Camera image
![Image](images/6817de430b977895ca026fef8d74341c19a44ae9895982dd6cae76185ef2f032.jpg)
(b) 2D road mask
![Image](images/f2d19f8f89ef387cec937973825aa0cdcdd7010b025de8ad64f0c01e32e31caf.jpg)
(c) Projected road points
![Image](images/c7c13c67ff0addeda03fc0d60ec33c07468367163aea1631be8ef38b3fbc95a3.jpg)
(d) Loss calculation mask
FIGURE 2. Examples of images and masks used during model training.
如下所示： $$ L_{MASKED}=-\frac{1}{M}\sum_{i=1}^{N}m_{i}(y_{i}\log(p_{i})+(1-y_{i})\log(1-p_{i})) $$ 其中$y_i$用于指示某像素类别是否确实为道路，$p_i$是模型对该像素类别的预测结果，$m_i$是表示该像素中是否存在投影点的指标，N为图像中的像素总数，M为投影到图像上的激光雷达点总数，例如m中的所有非零值。 本质上，这是一种应用了逐像素掩码的二元交叉熵损失，并按激光雷达点的数量取平均值。 --- 这些激光雷达点被投影到图像上。对于带有二维道路真实掩码的图像，我们对图像中的每个像素使用全为1的掩码。此时，m是一个全为1的数组，而$N = M$。这与使用未掩码的二元交叉熵损失效果相同。这使得在模型训练过程中能够混合使用两种类型的真实数据。尽管本文仅聚焦于路面检测，但掩码损失也可应用于不同类别，还能推广到多类别分割问题。 ![Image](images/28cc762e2c72f03a9fd6b2331a1d4715cbfcc3ec280530e419a897ba4807e0c6.jpg)
FIGURE 3. Shutter glasses view of the street.
### D. 模型 我们采用的模型是PSPNet语义分割模型[^7]，该模型在计算机视觉领域已有深入研究。PSPNet及其变体在不同领域的分割任务以及道路分割任务中均表现出色[^28]、[^29]。此外，它在各种数据集上都有相关基准测试，对研究工作很有帮助。模型以RGB相机图像作为输入。 ### IV. 实验与讨论 ### A. 实验设置 ## 1) 数据集 为了验证本文提出的方法，我们使用了两个开源数据集和一个专有数据集。 首批实验采用了Waymo开放数据集[^30]（版本1.4.0）。该数据集包含来自城市环境的同步图像与激光雷达数据，同时提供了3D和2D数据的语义分割标注。这使得在不同数据设置下开展实验变得十分便捷：仅使用2D掩码、仅使用投影掩码，或是混合使用这两种掩码。遗憾的是，2D和3D标注是分别创建的，且并非针对完全相同的图像。因此，我们对数据集进行了筛选，确保所有图像都同时包含2D道路掩码和投影道路掩码（“带交叉路口的Waymo数据集”）。这样才能在不同设置下公平地比较各项指标。筛选后，训练集包含1852张图像，验证集包含315张图像。所有的筛选代码以及筛选后的数据均可在项目的GitHub页面上找到。点云中点的投影是利用数据集仓库中的Waymo工具完成的。相机参数以及激光雷达与相机之间的变换矩阵由数据集作者提供。此外，我们还提取了所有不含交叉路口的图像（“完整的Waymo数据集”）。该数据集包含12291个带有2D真值的掩码、23691个带有投影点的掩码、35982个用于混合情况的掩码，以及34130张图像（由于2D掩码与投影点掩码之间存在重叠，总图像数量较少）。 另一个用于训练和推理的开源数据集是KITTI-360数据集[^31]。KITTI-360是一个郊区驾驶数据集，具备更丰富的输入能力、全面的语义实例标注以及精确的定位功能，有助于推动视觉、图形学与机器人技术交叉领域的研究。与Waymo开放数据集类似，该数据集也包含了必要的数据，比如与相机图像同步的激光雷达扫描数据、用于训练的3D激光雷达扫描语义分割数据、用于验证和混合训练的2D图像语义分割数据、相机参数以及激光雷达-相机变换矩阵。在提取出与投影后的标注激光雷达扫描相对应的标注图像后，我们得到了49004个训练样本和12276个验证样本。 我们采用Evocargo研发的自动驾驶货运车辆采集了一套专有数据集（见图4）。该车辆配备了两台Robosense RS-Helios 32激光雷达和一台Lucid Triton TRI023S-CC彩色相机。相机图像与激光雷达点云实现了精确同步。点云是在SUSTechPOINTS标注工具中手动标注的[^27]。利用相机参数和变换矩阵，我们按照此前实验中的方法将点云投影到图像上。最终得到的数据集包含5000张图像。 ![Image](images/17fd37ca4302d67c580b86e9f8cf187e3f25647d31f2bd2f8d34e16070b88dac.jpg)
FIGURE 4. Evocargo autonomous vehicle used to collect proprietary data.
训练和推理阶段采用了交并比（IoU）指标： ## 2) 评估 $$ \mathbf{I o U}=\frac{|\mathbf{P}\cap\mathbf{G}|}{|\mathbf{P}\cup\mathbf{G}|} $$ 其中，P和G分别代表类别预测结果与真实标签。 ## 3) 实现细节 我们选用PyTorch作为深度学习框架。PSPNet模型实现（基于ResNet34骨干网络）取自 --- segmentation_models.pytorch[^32]包。YOLOP包[^33]被用作代码基础。 在所有实验中，我们均采用动量值为0.937的Adam优化器。训练过程中采用了LambdaLR调度器来调整学习率。训练时使用了常规的数据增强手段，如透视变换、HSV颜色变换以及左右翻转。 在利用Waymo交叉口数据集进行的实验中，我们将模型训练了300个周期，学习率设为0.001，最终学习率则为0.0005。由于“Waymo完整版”数据集规模更大，因此我们将模型训练时间缩短为200个周期，学习率设为0.0001，最终学习率定为0.00005。 对于KITTI-360和专有数据集的实验，我们将模型分别训练200个周期（专有数据集为100个周期），所用学习率与Waymo实验中的一致，即0.001，训练结束时的学习率则调整为0.0005。 ### B. 实验结果 ## 1) Waymo数据集 我们开展了三组实验：分别仅使用2D道路真值、仅使用投影点作为真值，以及混合使用这两类真值。此外，我们在两种类型的数据集上训练和评估模型：“含交叉口的Waymo数据集”和“Waymo完整版数据集”。关于数据集解析的详细说明可参见第III.A节。相关的IOU分数结果详见表1和表2。 从表1中我们可以得出结论：仅在小型数据集上利用2D真值训练的模型，其基准IOU达到96.1%；而仅使用投影点作为真值的模型，其IOU分数为94.4%。这一结果虽仍属高质量，但比前者低1.7%。混合数据实验的IOU达到95.3%，这表明混合两类真值能够提升模型质量，不过效果不如仅使用2D掩码的实验。 观察表2中“Waymo完整版”数据集的结果可知，在更复杂多变的数据上模型性能会有所下降。仅用2D数据训练的模型在“Waymo完整版”上的结果比在“含交叉口的Waymo数据集”上低0.5%；而使用投影点训练的模型结果仅低0.2%。这意味着使用投影点训练的模型对数据变化的适应性更强，且只需较少的数据就能获得高质量结果。对于在大型数据集上训练的模型而言也是如此（分别低0.4%和0.1%）。此外，“Waymo完整版”数据集上的混合实验质量有所提升（96.3%，而仅用2D数据的实验为96.1%），这说明加入投影数据能够提升仅基于2D真值训练的模型的质量。 使用更大型的数据集时，我们同样观察到2D掩码实验与投影点实验之间存在同样的差距。同时，混合实验的质量比仅用2D掩码的实验高0.2%。此外，与“含交叉口的Waymo数据集”相比，仅用2D数据和仅用投影点的实验质量均有所提升。 ![Image](images/06f11ad1b2beb84f5e07a77febaf9a65359b3cccb2367c8768d0872304fb8df9.jpg)
(a) Obstacles
![Image](images/a71d53b26260ad2894be58a79fff5b009cc448528b5ea5892a7ef6ecfb47ebe2.jpg)
(c) Car object
![Image](images/343923b966d392dfd4b6b0f3640d157e89bd4558aabb6c59808c3b071e875e49.jpg)
(b) Person
![Image](images/9333a35ec766c5c5afe8d771d71c35b7f33fd86035107b3745a20f7bd00225e8.jpg)
(d) Empty road
FIGURE 5. Road prediction examples of the model on proprietary data.
同时，混合实验的质量比仅用2D掩码的实验高0.2%。此外，与“含交叉口的Waymo数据集”相比，仅用2D数据和仅用投影点的实验质量均有所提升。 我们还可以注意到，尽管数据集版本间的规模差异巨大，但在小型和大型数据集上训练的模型在预测质量上并无显著差异。原因在于大型数据集的帧率更高，但场景与小型数据集中的相似，只有细节和动态物体才会造成差异。
TABLE 1. Road segmentation results (% of IoU) on validation split of "Waymo with intersection."
ExperimentTrained on
Waymo with intersectionWaymo full
2D only (baseline)96.196.5
Projected 3D only94.494.8
mix 2D + projected 3D95.396.5
TABLE 2. Road segmentation results (% of IoU) on validation split of "Waymo full."
ExperimentTrained on
Waymo with intersectionWaymo full
2D only (baseline)95.696.1
Projected 3D only94.294.7
mix 2D + projected 3D95.196.3
## 2) KITTI-360数据集 我们在KITTI-360数据集上系统应用了三种不同的实验条件：仅使用2D道路真值、仅使用投影点作为真值，以及结合这两种真值的混合方法。与针对Waymo数据集的实验流程不同，由于KITTI-360数据集中数据对应关系具有内在一致性，因此并未对完整数据集和子集进行划分。 --- ![Image](images/73e1f76a1e2e2fd22c87f0600ea02c5f61d7ecde86e1cfb47a9b0ff6052ed6a6.jpg)
FIGURE 6. Comparison of predictions of three models on the Waymo Open Dataset. From top to bottom: 2D only, projected 3D only, mix 2D + projected 3D.
![Image](images/83b6bcb1fecf353b09c311f0bafd434a86070b830586131e9730d98fa4bab8ac.jpg)
FIGURE 7. Comparison of predictions of three models on KITTI-360 dataset. From top to bottom: 2D only, projected 3D only, mix 2D + projected 3D.
针对Waymo数据集所采用的流程，由于KITTI-360数据集中各数据项之间的对应关系具有内在一致性，因此并未对KITTI-360数据集进行完整数据集与部分数据集的划分。 实验结果表明，使用投影点进行训练仍能取得令人满意的效果，如表3所示。不过，将其与Waymo数据集的结果对比时，会发现IOU存在明显偏差，较基准值下降了2.7%。这种数值上的差异与KITTI-360数据集的独特特性密切相关。我们的研究中一个重要的发现是：如图9所示，KITTI-360图像中的点分布与Waymo数据集存在差异。这种点分布的差异很可能与激光雷达系统中的激光束数量以及设备中激光雷达的总个数有关；通常来说，点数越多，分布就越密集。尽管存在这些细微差别，仅利用点进行掩码训练的方法仍表现出较好的一致性，仅有轻微波动。 --- ![Image](images/cd673c2fdb9181b4680325fc9fc7af131c770654a512347f6e0087e94d06e5cc.jpg)
FIGURE 8. Road segmentation results (% of IoU) on the validation split of the "Waymo full" dataset for models trained on different ratios of 2D image masks and lidar-based ground truth.
至于使用重投影的3D点与2D图像掩码的混合数据进行模型训练，其结果与该模型在“Waymo全量”数据集上对应实验的结果相似。混合数据后，IOU较任务基准值提升了0.4%。
TABLE 3. Road segmentation results (% of IoU) on validation split of KITTI-360 dataset.
ExperimentKITTI-360
2D only (baseline)92.3
Projected 3D only89.6
mix 2D + projected 3D92.7
## 3）专有数据集 我们在同一模型上，使用Evocargo自动驾驶车辆采集的数据集进行了训练。此处的唯一实验设置是仅将投影的3D点用作真值。最终预测结果可见图5。可以发现，尽管与Waymo和Kitti数据集相比，该数据集中的激光雷达点分布存在差异（如图9所示，包括密度、激光雷达环之间的距离以及激光雷达环的形状均不同），但模型仍能良好训练。对于不同类型的场景（如路上有障碍物、行人、停放的车辆以及十字路口），预测结果都非常精确，这意味着该方法可应用于不同的传感器设置和专有数据集。 ### C. 讨论 通过观察图6中的预测结果，我们可以得出几点结论。首先，仅使用2D数据的实验结果（第一行）与仅使用投影3D点的实验结果（第二行）在道路覆盖范围和分割质量方面非常相似，这一结论也得到了指标的证实。其次，我们发现使用基于激光雷达的真值存在若干局限性：真值的作用距离有限，导致远距离点的预测质量较低，且物体边界处的预测精度也较差。第三，我们可以看到混合实验（第三行）消除了基于2D真值模型的缺陷以及基于激光雷达点模型的局限性，从而实现了更好的道路分割效果。 基于此，我们可以得出结论：激光雷达数据的特性会影响图像分割预测的质量。由于激光雷达的探测范围有限且数据采集频率固定，图像上的对应点也会具有固定的范围，与二维真实数据相比，物体边界也不够清晰。这可能是导致预测质量下降多达2.5%的原因。同时我们也能发现，尽管存在这种基于激光雷达的真实数据的特点，预测质量仍然很高。 为了探究消除这一特性的可能性，我们针对二维图像掩码与基于激光雷达的真实数据之间的不同混合比例开展了实验。从图8中可以看出，将二维图像掩码添加到100%的基于激光雷达的真实数据中能够提升预测质量。使用25%的二维图像掩码就能得到与使用100%纯图像相近的结果（95.9%对比96.1%），而添加50%的二维图像掩码后质量可提升至96.1%。此外，如前一节所示，添加100%的二维图像掩码能实现最高的整体性能。 关于KITTI-360数据集的实验（图7），结果似乎与Waymo数据集实验的结果类似。乍一看，道路分割效果与仅用二维道路掩码训练得到的道路分割效果十分相近。如前所述，这种情况下的指标下降幅度略大于Waymo实验中的下降幅度（$-2.7\%$）。我们认为指标较差的原因可能涉及多种因素，包括硬件相关问题。最终的结果可能受到点在图像上的投影密度、图像的透视效果、投影到图像上的点生成的掩码以及激光雷达与相机的校准情况等因素的影响。从KITTI-360数据集中值得注意的一点是，将点投影到图像上后，激光雷达似乎能“看到”车辆下方的情况。这一现象源于激光雷达的安装位置以及设备激光能够照射到的区域（图9），而这些区域在训练过程中也会被纳入考虑。 ### 五、结论 在本文中，我们提出了一种全新的道路表面分割方法，该方法同时利用了标注好的激光雷达点云和传统二维图像掩码。通过我们的流程——包括点云道路标注、真实数据准备、分割神经网络以及专门设计的掩码损失函数——我们证明了源自激光雷达的道路掩码能够帮助神经网络在图像分割任务中取得更好的表现。我们的方法仅需较少的资源就能以相当的质量完成不同类型传感器数据的标注工作。 --- ![Image](images/e0081cad57bb96804137d4b4c3f4637176f32f2cf136e4368aff237f72d02278.jpg)
FIGURE 9. Comparison of lidar-based road ground truth for three setups placed from top to bottom: Waymo Open Dataset (five proprietary lidar sensors [^34]), KITTI-360 (Velodyne HDL-64E lidar [^31]), Proprietary dataset (two Robosense RS-Helios lidars).
我们的方法的一个显著优势在于其灵活性。在训练过程中，它可以将二维图像掩码与三维点云掩码结合使用于数据集中。这种多功能性非常有价值，尤其是在针对三维激光雷达点和图像的手动标注难以实现时（例如数据集规模非常大时）。该方法已在两个公开数据集（Waymo Open Dataset和KITTI-360）以及一个私有数据集上进行了测试，结果令人鼓舞。仅基于投影激光雷达点掩码训练的模型性能略逊于基于二维掩码训练的模型，但前者的质量仍然很高，且可与后者相媲美。基于二维掩码与激光雷达投影组合训练的模型，其性能指标不仅与传统二维掩码模型持平，甚至更胜一筹，这凸显了这种混合方法的潜力。混合实验表明：我们能够将训练所需的图像数量减少50%，同时增加投影的三维数据量，而不会牺牲预测质量。 对Waymo和KITTI-360数据集的结果分析表明，激光雷达的特性——如图像上的点分布、探测范围和频率——会影响分割效果。这种差异性提示我们：尽管基于激光雷达的标注很重要，但每个数据集的独特属性（包括硬件规格和环境因素）同样不容忽视。 未来的研究可以采用不同路径。增大投影激光雷达点的尺寸或许能提升覆盖度，但会牺牲部分精度；将掩码损失函数推广到多类别场景后，就能在各种分割任务中同时分割多个类别。数据融合技术还有拓展空间，比如利用车辆周围的多摄像头视角，或探索多样化的激光雷达配置。理解不同激光雷达之间的差异至关重要，我们还需在各种条件下（冬季、夜间场景等）验证该方法的有效性。最后，将投影激光雷达点作为输入的新型神经网络架构仍需进一步研究，以期优化二维图像标注与三维激光雷达数据的结合方式，从而提升分割效果。 ## 参考文献 [^1]: C. C. T. Mendes, V. Frémont, and D. F. Wolf, “Exploiting fully convolutional neural networks for fast road detection,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2016, pp. 3174–3179. [^2]: J. M. Alvarez, T. Gevers, Y. LeCun, and A. M. Lopez, “Road scene segmentation from a single image,” in Proc. Eur. Conf. Comput. Vis. Berlin, Germany: Springer, 2012, pp. 376–389. ## [^3]: P. Y. Shinzato, V. Grassi, F. S. Osorio, and D. F. Wolf, “Fast visual road recognition and horizon detection using multiple artificial neural networks,” in Proc. IEEE Intell. Vehicles Symp., Jun. 2012, pp. 1090–1095 --- [^4]: M. Thoma, “A survey of semantic segmentation,” 2016, arXiv:1602.06541. [^5]: K. M. Sediqi and H. J. Lee, “A novel upsampling and context convolution for image semantic segmentation,” Sensors, vol. 21, no. 6, p. 2170, Mar. 2021. [^6]: O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in Proc. Int. Conf. Med. Image Comput. Comput.-Assist. Intervent. Springer, 2015, pp. 234–241. [^7]: H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, “Pyramid scene parsing network,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 6230–6239. [^8]: Y. Li, L. Ma, Z. Zhong, F. Liu, M. A. Chapman, D. Cao, and J. Li, “Deep learning for LiDAR point clouds in autonomous driving: A review,” IEEE Trans. Neural Netw. Learn. Syst., vol. 32, no. 8, pp. 3412–3432, Aug. 2021. [^9]: Y. Zhang, Z. Zhou, P. David, X. Yue, Z. Xi, B. Gong, and H. Foroosh, “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9598–9607. [^10]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, “RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation,” 2021, arXiv:2103.12978. [^11]: X. Yan, J. Gao, C. Zheng, C. Zheng, R. Zhang, S. Cui, and Z. Li, “2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds,” in Proc. Eur. Conf. Comput. Vis. Switzerland: Springer, 2022, pp. 677–695. [^12]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 77–85. [^13]: T.-H. Chen and T. S. Chang, “RangeSeg: Range-aware real time segmentation of 3D LiDAR point clouds,” IEEE Trans. Intell. Vehicles, vol. 7, no. 1, pp. 93–101, Mar. 2022. [^14]: L. Zhao, H. Zhou, X. Zhu, X. Song, H. Li, and W. Tao, “LIF-seg: LiDAR and camera image fusion for 3D LiDAR semantic segmentation,” 2021, arXiv:2108.07511. [^15]: P. Chu, S. Cho, S. Sim, K. Kwak, and K. Cho, “A fast ground segmentation method for 3D point cloud,” J. Inf. Process. Syst., vol. 13, no. 3, pp. 491–499, 2017. [^16]: F. Moosmann, O. Pink, and C. Stiller, “Segmentation of 3D lidar data in non-flat urban environments using a local convexity criterion,” in Proc. IEEE Intell. Vehicles Symp., Jun. 2009, pp. 215–220. [^17]: B. Douillard, J. Underwood, N. Kuntz, V. Vlaskine, A. Quadros, P. Morton, and A. Frenkel, “On the segmentation of 3D LiDAR point clouds,” in Proc. IEEE Int. Conf. Robot. Autom., May 2011, pp. 2798–2805. [^18]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3D object detection network for autonomous driving,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 6526–6534. [^19]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220. [^20]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2018, pp. 1887–1893. [^21]: H. Radi and W. Ali, “VolMap: A real-time model for semantic segmentation of a LiDAR surrounding view,” 2019, arXiv:1906.11873. [^22]: Y. Ali Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2021, pp. 1799–1808. [^23]: Z. Chen, J. Zhang, and D. Tao, “Progressive LiDAR adaptation for road detection,” IEEE/CAA J. Autom. Sinica, vol. 6, no. 3, pp. 693–702, May 2019. [^24]: X. Lv, Z. Liu, J. Xin, and N. Zheng, “A novel approach for detecting road based on two-stream fusion fully convolutional network,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2018, pp. 1464–1469. [^25]: S. Gu, T. Lu, Y. Zhang, J. M. Alvarez, J. Yang, and H. Kong, “3-D LiDAR + monocular camera: An inverse-depth-Induced fusion framework for urban road detection,” IEEE Trans. Intell. Vehicles, vol. 3, no. 3, pp. 351–360, Sep. 2018. [^26]: A. Boulch, B. Le Saux, and N. Audebert, “Unstructured point cloud semantic labeling using deep segmentation networks,” 3DOR@ Eurographics, vol. 3, pp. 1–8, Apr. 2017. [^27]: E. Li, S. Wang, C. Li, D. Li, X. Wu, and Q. Hao, “SUSTech POINTS: A portable 3D point cloud interactive annotation platform system,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 1108–1115. [^28]: V. Taran, N. Gordienko, Y. Kochura, Y. Gordienko, A. Rokovyi, O. Alienin, and S. Stirenko, “Performance evaluation of deep learning networks for semantic segmentation of traffic stereo-pair images,” in Proc. 19th Int. Conf. Comput. Syst. Technol., Sep. 2018, pp. 73–80. [^29]: J. Ge, Y. Li, M. Jiu, Z. Cheng, and J. Zhang, “PFANet: A network improved by PSPNet for semantic segmentation of street scenes,” in Proc. Int. Conf. Commun., Signal Process., Syst. Switzerland: Springer, 2022, pp. 128–134. [^30]: P. Sun et al., “Scalability in perception for autonomous driving: Waymo open dataset,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 2443–2451. [^31]: Y. Liao, J. Xie, and A. Geiger, "KITTI-360: A novel dataset and benchmarks for urban scene understanding in 2D and 3D," IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 3, pp. 3292–3310, Mar. 2023. [^32]: P. Iakubovskii. (2019). Segmentation Models PyTorch. [Online]. Available: [^33]: D. Wu, M.-W. Liao, W.-T. Zhang, X.-G. Wang, X. Bai, W.-Q. Cheng, and W.-Y. Liu, "YOLOP: You only look once for panoptic driving perception," Mach. Intell. Res., vol. 19, no. 6, pp. 550–562, Dec. 2022. [^34]: P. Sun and Kretzschmar. Waymo Open Dataset. Accessed: Aug. 1, 2023. [Online]. Available: ![Image](images/cc3fc3aca95fa01c542e5ccc99a0ac8f6d3f955b4d73f1ebe23bcf49e50d1694.jpg) Dinar Sharafutdinov于2018年在俄罗斯圣彼得堡大学获得学士学位，2021年于斯科尔科沃科学技术研究院获得数学与计算机科学硕士学位。 2019年至2021年间，他作为Gonzalo Ferrer教授指导下的移动机器人实验室成员，参与了视觉定位识别、无监督深度视觉里程计以及点云融合等相关项目。在Sber机器人实验室的暑期实习期间，他参与了对SLAM算法的评估工作（评估结果已发表在论文中）。自2021年起，他担任莫斯科Evocargo公司的计算机视觉工程师，专注于自动驾驶物流车辆所用的物体检测与道路分割模型研发。他还负责多任务模型、训练流程、数据流程以及与图像和点云融合相关的研究项目。他的研究方向涵盖计算机视觉、深度学习、生成式模型、自主机器人及自动驾驶技术。 Stanislav Kuskov于2015年在莫斯科国立机械工程大学获得控制与数据管理及工业系统专业的理学学士学位，2017年于莫斯科理工大学获得计算机科学硕士学位。 ![Image](images/9b00cb33b60e31696ea6f70a534ac099038692e6b3fcf98f1e2bd1864d67f0d3.jpg) 2016年，他曾在德国帕德博恩大学的帕德博恩分校担任研究助理。 2018年9月至2020年7月，他在Vist Robotics公司担任软件开发人员，负责开发一种计算机视觉系统，该系统能够利用监控摄像头帮助煤矿中的自动驾驶卡车检测并避开障碍物。他还设计并实现了其他多个系统，包括卡车轨迹规划、车轮角度校正、制动控制、功能测试以及驾驶员注意力控制系统。2021年11月至2022年4月，他担任SberAutoTech公司的技术负责人，致力于研发用于动态物体检测的多任务架构，并成功将该系统优化后应用于自动驾驶车辆。自2022年4月起，作为Evocargo公司的团队负责人，他负责开发用于物体检测和分割的计算机视觉系统架构及训练流程。他还领导着一个专注于2D任务的团队，涉及分割和检测领域，并运用各种技术来提升2D算法的质量。他的研究兴趣包括自动微分库之间的界面交互构建。 --- ![Image](images/a56049a80ec902ccb550faa3b48aca913e591c75cdb1bdd476546b7d89149fc3.jpg) SAIAN PROTASOV于2019年在俄罗斯新西伯利亚国立大学获得物理学学士学位，2021年在俄罗斯莫斯科斯科尔科沃科学技术研究院获得信息系统与技术硕士学位。 2019年至2021年间，他作为团队成员在Dzmitry Tsetserukou教授指导下的智能空间机器人实验室工作。 他还是Skoltech Eurobot团队的成员，该团队在俄罗斯比赛中名列前茅，并在全球Eurobot竞赛中获奖。他的实验室工作侧重于利用深度学习方法改进移动机器人的计算机视觉算法。自2021年起，他作为深度学习工程师加入Evocargo LLC，专门从事自动驾驶车辆自动驾驶系统的3D检测系统开发。他的主要研究兴趣包括3D计算机视觉、深度学习、自主移动机器人以及自动驾驶技术。 ![Image](images/394d36d0eea27309a372af7acc6a3b26103372901cb1124bc36fd7f307508e4a.jpg) ALEXEY VOROPAEV于2007年在俄罗斯哈巴罗夫斯克的太平洋国立大学获得软件工程学位，2009年在德国萨尔兰大学获得计算机科学理学硕士学位。 2009年9月至2021年7月，他在VK集团（前身为Mail.Ru）担任多项机器学习和深度学习项目的技术负责人，涉及语音识别/合成、人脸识别以及各类图像处理项目。2021年7月至2022年4月，他带领一支由35名以上工程师组成的团队，开发用于自动驾驶重型卡车的软件栈，这些卡车已在公共道路上成功通过测试。2022年4月至2023年7月，他在Evocargo LLC负责监管一个由15名以上工程师组成的小组，致力于为在封闭区域内运行的N1自动驾驶卡车研发感知系统。目前，该卡车车队已在多个生产场所投入运营。他当前的研究兴趣包括自动驾驶软件、计算机视觉、强化学习以及高性能计算。