![Image](images/87779bf471217f2828d915afa73a0f99763105476e4c6bcc364a47dc161e0587.jpg) 研究论文 # DAPS3D：3D激光雷达点云的域自适应投影分割 ALEXEY A. KLOKOV$^{1,2}$、DI UN PAK$^{3}$、ALEKSANDR KHORIN$^{3}$、DMITRY A. YUDIN$^{3,4}$、LEON KOCHIEV$^{2}$、VLADIMIR D. LUCHINSKIY$^{2}$ 以及 VITALY D. BEZUGLYJ$^{3}$ $^{1}$俄罗斯科学院“计算机科学与控制”联邦研究中心，俄罗斯莫斯科，邮编11933 $^{2}$Autonomics.tech公司，塞浦路斯利马索尔，邮编3032 $^{3}$莫斯科物理技术学院，俄罗斯莫斯科多尔戈普鲁德尼，邮编141701 $^{4}$人工智能研究所（AIRI），俄罗斯莫斯科，邮编121170 通讯作者：Dmitry A. Yudin() 本研究得到了俄罗斯科学基金会项目21-71-00131的支持。 ## 摘要 激光雷达是自动驾驶车辆获取可靠环境测距信息的关键来源之一。然而，基于激光雷达点云的3D场景元素（道路、建筑物、行人、汽车等）分割存在局限性。一方面，基于点和体素的分割神经网络运算速度不够快；另一方面，现有的标注数据集主要由为无人驾驶汽车采集的街道场景数据组成，针对需在行人密集的公园和庭院中作业的移动配送机器人或清洁机器人的数据较少。本文旨在克服这些局限。我们提出了一种名为DAPS3D的新方法，用于训练用于3D语义分割的深度神经网络。该方法基于点云的球面投影以及激光雷达专用的掩码，使模型能够适配不同类型的激光雷达。首先，我们推出了多种高速多尺度球面投影分割模型，包括卷积、循环和Transformer架构。其中，带有循环块的SalsaNextRecLSTM架构效果最佳，该模型在SemanticKitti数据集上采用合并类别时的mIoU指标达到了83.5%。其次，我们针对激光雷达数据的球面投影提出了几种独创的数据增强方式，包括视场角、翻转和旋转增强，以及特殊的T区裁剪增强；这些增强方式能提升模型应对数据域变化的鲁棒性。最后，我们介绍了一种用于生成域适应问题合成数据集的新方法。我们开发了两个用于验证3D室外场景分割算法的新数据集：DAPS-1数据集基于重构的3D语义地图进行增强得到；DAPS-2激光雷达数据集则由清洁机器人在公园区域搭载的传感器采集而成。文中特别强调了所开发模型的性能，证明它们能够实现实时运行。本研究用到的代码和数据集已公开，网址为：github.com/subake/DAPS3D。 关键词：自动驾驶车辆、计算机视觉、人工神经网络、投影算法、图像分割。 ### 一、引言 过去十年间，得益于深度学习的快速发展，自动驾驶汽车技术不断进步，这也引发了关于其安全性和可靠性的问题。 负责协调这篇手稿的评审并批准其发表的副主编是Thomas Canhao Xu $^{ID}$。 导航系统。导航流程中的一个关键挑战就是语义分割。 三维点云的语义分割是自动驾驶系统的重要基础模块之一 [^1], [^2], [^3], [^4]。它利用激光雷达提供的精确且密集的距离数据来更好地理解驾驶场景，有助于区分易受伤害的道路使用者。 --- 解决点云分割问题的方法主要有几大类，它们均基于可学习的深度神经网络架构 [^5], [^6], [^7], [^8], [^9]。它们之间的关键差异在于三维场景的表示方法：可以基于点 [^10], [^11]，也可以基于体素 [^6], [^12]，或是将点云投影到球体上 [^3], [^7]，还可以采用这些方法的各种组合 [^5], [^8]。另一个独立的研究领域是将各种传感器数据源（包括车载摄像头）进行融合，以提升激光雷达点云的分割质量 [^13], [^14]。 目前，最先进的模型能够在公开数据集上高质量地解决分割问题 [^3], [^6], [^9], [^15], [^16]。不过，不同环境下模型的性能指标可能存在巨大差异。 投影神经网络方法类 [^3], [^7], [^17] 的性能最优，也具备实时处理的潜力。但与此同时，与所有基于图像的方法一样，它们对数据域的变化极为敏感。 在本文中，我们探讨了当搭载特殊传感器装置的移动地面机器人需要在行人密集的公园区域行驶时，激光雷达点云的分割问题。现有的数据集和神经网络模型并不太适合应对这种情况下的高精度、快速三维分割需求。 为解决这一问题，我们提出了一种名为DAPS3D的新型方法，用于实现域自适应投影式三维激光雷达点云分割。该方法包含针对三维激光雷达点云的新增增强技术，旨在使最终模型能够抵御域偏移的影响： - 我们正在研究的增强集包括视场角、翻转、噪声、随机丢弃和旋转增强，以及特殊的T区裁剪，这些内容此前在公开资料中尚未被提及。 - 我们提出的标注优化流程，成功实现了对与我们研究场景相近的RELLIS-3D公开数据集 [^18] 的标注增强与质量提升。 - 我们提出的通过将三维人体模型添加到现有的热门SemanticKITTI数据集 [^15] 中来构建半合成数据集的创新方法，已在DAPS-1数据集的制作过程中得到验证。 我们DAPS3D方法的另一个重要部分是开发并研究用于投影式点云语义分割的新型神经网络模型： - 我们提出了SalsaNetRec、SalsaNetRecLSTM和SalsaNextRecLSTM这三种深度神经网络架构。它们与现有的SalsaNet [^2]及SalsaNext [^7]投影基线模型的不同之处在于模型中采用了循环模块。这使我们能够从点云序列中提取更多有用信息。就SalsaNextRecLSTM模型而言，它能显著提升分割质量。 - 我们最初尝试将基于卷积的DDRNet [^19]和SegFormer Transformer [^20]等快速二维分割方法，应用于投影式三维点云分割任务中。 我们的另一项贡献是开发并发布了两个新数据集，用于验证所提出的DAPS3D方法的质量：基于重建的三维语义图原始增强版数据集DAPS-1，以及由清洁机器人车载传感器在独特园区内采集的DAPS-2激光雷达数据集。 我们证明了DAPS3D所提出的分割模型具备实时性能，且在应用于自主机器人和车辆的计算机视觉系统时具有具有竞争力的质量。 ### 二、相关工作 过去五年间，语义分割领域取得了显著进展。最先进的模型之间的主要差异体现在神经网络架构、传感器配置和数据表示方式上。在本节中，我们将回顾语义分割任务的当前研究现状，重点关注数据表示和领域稳定性问题。 ### A. 基于点和体素的点云分割 第一类模型利用原始点云来处理数据 [^11]、[^16]、[^21]。采用点级表示的模型会使用三维卷积模块来聚合关于点的几何形状和相对位置的信息。这类方法的缺点在于时间复杂度高、对传感器敏感且数据具有非单调性，因此无法在户外环境中实现实时计算。不过在离线应用场景中，这类模型往往能胜过其他模型。关于点级模型已有不少值得关注的论文：例如S3Net [^10]的作者证明，采用稀疏卷积的点级模型能够达到最先进的性能；[^22]的作者则指出，通过随机采样，这类模型也能实现较高的推理速度。 点级方法的自然延伸是体素级方法。它们将空间划分为网格，并汇总每个单元格中的信息。体素的大小决定了速度与精度之间的权衡，这一现象已在体素模型的论文 [^5]、[^12] 和 [^8] 中得到证实和研究。这种表示方式具备点级表示的内在特性，但通过改变体素大小，可使模型在速度和领域鲁棒性方面更具灵活性。SPVNAS [^5] 就利用了这一优势，实现了实时推理速度与具有竞争力的精度的平衡。[^6] 这篇论文提出了另一种看待体素的方式：他们将体素的概念应用于激光雷达语义分割任务，把网格形状从立方体改为圆柱扇形。最近的一篇论文 [^23] 提出了一种多任务模型，填补了多任务网络与多个单任务网络之间的性能差距。全局上下文池化模块有助于 --- 从激光雷达扫描数据中提取全局上下文特征，每个任务都有独立的学习头，因此分割结果会基于检测结果得到优化。为了处理稀疏的远距离点云，SphereFormer [^9] 引入了径向窗口自注意力机制，该机制将空间划分为多个互不重叠的狭长窗口。这有助于解决点云不连续的问题，同时扩大模型的感受野。 ### B. 投影式点云分割 利用三维点的另一种方法是将其投影到球面上。由于激光雷达的工作机制是按固定的偏航角和俯仰角步长发射激光，因此这种方法十分自然。FIDNet [^30]、SalsaNext [^7] 均采用这种投影方式，在速度与精度的权衡上表现优异。一方面，这种表示形式允许使用二维卷积层和图像增强技术，既能保持高处理速度，又能充分利用计算机视觉领域的已有成果；另一方面，由于二维卷积只能识别二维模式，整体几何结构可能会丢失。此外，以投影数据为输入源的模型还存在域不稳定问题，因为投影操作不仅受激光雷达摆放位置和配置的影响，还会受到机器人几何形状的影响。[^17] 中提出了一种将这一思路推向极致的方法：该模型采用轻量化的谐波密集卷积和改进后的全局上下文模块，在不牺牲推理时间的前提下实现高精度。 ### C. 融合模型 部分模型还会额外利用其他传感器的数据进行三维分割 [^1]、[^31]、[^32]、[^33]、[^34]。对于车载摄像头图像的语义分割，也有许多可靠且快速的方法 [^4]、[^35]。将激光雷达获取的可靠、精确但空间分辨率较低的信息，与携带丰富颜色和纹理信息的摄像头图像相补充，就能更全面地了解周围空间的情况。 为了充分利用激光雷达和摄像头数据，早期的研究通过融合两种传感器的信息来提升三维分割算法的鲁棒性和精度 [^1]、[^31]、[^32]、[^33]。RGBAL [^1] 将RGB图像转换为极坐标网格表示，实现了早期和中期模型融合。PointPainting [^33] 先获取图像的分割结果，再通过球面投影将其映射到激光雷达空间 [^36]，随后与原始点云特征进行拼接。庄等人 [^13] 提出了一种包含摄像头和激光雷达两条并行信息流的模型：将激光雷达点云投影到图像平面后，数据会传入网络，其中从图像中获取的特征会与稀疏的激光雷达特征混合。所提出的感知感知损失函数能够衡量激光雷达和摄像头两种模态之间的巨大感知差异，从而促进不同感知信息的融合 [^13]。 值得一提的是2DPASS [^14]，它仅在训练阶段使用摄像头图像。采用文中提出的方法，可以在验证阶段不对输入数据做任何限制的情况下，提升表征学习能力。 ### D. 三维分割中的域适应 不同激光雷达之间的域适应问题是一项重要任务，它有助于利用采集和合成的数据在现实场景中运行，而无需额外成本。目前，针对这一问题有几种不同的解决方法。[^37]和[^38]中的模型依赖对抗性损失来学习域无关的嵌入表示。这种方法可用于跨模态任务，但会限制可用架构的种类。另一种解决此问题的方法是使用差异损失，它直接衡量不同域之间表征的距离。这种方法在[^39]中得到了应用。通过这种方式，模型的嵌入表示会被强制保持相似。然而，如果域差异足够大，这类模型便无法胜任。最后一种方法基于合成及半合成数据[^36]。这些方法的缺点是需要解决另一个域适应任务，或者使生成流程来自同一域。不过，如果生成得当，这类数据几乎无需额外努力就能用于训练任何语义分割模型，且不会造成显著的质量下降。 另一种缩小域间差距的方法是调整真实标签数据。近期有几篇论文探讨了这些方案。[^40]的作者提出从各域中选择特定点周围的矩形区域并进行互换。[^41]则提出了另一种思路，采用编码器-解码器网络来适配物体的整体模式。 ### E. 点云分割数据集 用于解决城市环境中360度激光雷达数据语义分割问题的数据集数量有限。主要的数据集列于表1中，我们还提供了属于五个合并类别的点占激光雷达扫描总点数的比例统计信息。它们的映射关系如表2所示。这些是最具代表性的类别，可进一步用于机器人或无人车的导航与运动规划。 用于评估分割方法的最受欢迎的数据集之一是大规模SemanticKITTI数据集[^15]。类似的KITTI-360数据集[^27]为3D点云提供了逐点实例和语义分割标注。该数据集包含对齐的360度2D图像和3D点云，可用于对模型进行多种任务的基准测试，包括语义场景理解、新视角外观合成等。还有一些其他类似的自动驾驶汽车采集的室外数据集：SemanticPOSS [^42]和Pandaset [^43]。所有这些数据集的一个重要缺点是，在距离自车10-15米的近区范围内，行人数量较少。 ---
TABLE 1. Modern datasets for projective semantic segmentation of 3D LiDAR point clouds.
DatasetResolutionScans / MapsLiDARVehicleHumanSurfaceStatic ObstacleUnlabeled
Paris-Lille-3D [^24], 20181024x3217Velodyne HDL-32E5.91%0.65%56.32%34.45%3.30%
SemanticKITTI [^15], 20192048x6419,130Velodyne HDL-64E5.14%0.019%43.92 %48.89%2.02%
Toronto-3D [^25], 20201024x32432-lines Teledyne Optech Maverick5.02%N/A53.44%24.38%3.94%
SemanticUSL [^26], 20201024x64120064-lines Ouster OS10.82%0.12%17.82%20.81%60.41%
RELLIS-3D [^18], 20211024x3213,55664-lines Ouster OS1N/A0.81%20.18%54.54%24.45%
KITTI-360 [^27], 20212048x6480,000Velodyne HDL-64E19.76%10.04%17.43%51.87%0.89%
NuScenes [^28], 20221024x3240,000Velodyne HDL-32E33.96%0.20%38.58%27.1%0.173%
Waymo Open Dataset [^29],20222650x6429,667Waymo Driver8.92%12.50%2.04%65.44%11.08%
DAPS-1, 20231024x6419,06164-lines Ouster OS03.89%0.46%70.70%24.89%0.03%
DAPS-2, 20231024x6410964-lines Ouster OS00.04%7.97%47.96%43.98%0.05%
TABLE 2. Category mapping for different datasets.
Joint CategoriesDataset Categories
SemanticKITTI
unlabeledunlabeled, outlier, other-structure, other-object
vehiclecar, bicycle, bus, motorcycle, on-rails, truck, other-vehicle
humanperson, bicyclist, motorcyclist
surfaceroad, parking, sidewalk, lane-marking, terrain, other-ground
obstacle (static)building, fence, vegetation, trunk, pole, traffic-sign
RELLIS-3D
unlabeledunlabeled, other-object
vehiclecar
humanperson
surfaceroad, terrain, other-ground
obstacle (static)building, fence, vegetation, pole
DAPS-1, DAPS-2
unlabeledunlabeled
vehiclevehicle
humanhuman
surfacesurface
obstacle (static)obstacle (static)
标注完善的Toronto-3D [^25]和Paris-Lille-3D [^24]数据集存在一个问题：它们不包含单独的激光雷达扫描数据，而是已经合并好的语义地图，这限制了它们在实时分割任务中的应用可能性。 最近，两个大规模开源数据集nuScenes [^28]和Waymo [^29]发布了3D语义分割扩展数据。它们都与检测数据集采用相同的标签体系。它们的特点是仅包含城市街道场景，没有公园区域。 相关的越野数据集包括SemanticUSL [^26]及其更新版本RELLIS-3D [^18]。这些数据集包含来自越野环境的、经过完整标注的激光雷达扫描数据，其中涵盖大量草坪、土路以及各种植被场景。同时，这些数据集中标注的人和车辆数量相对较少。 由于现有数据集中近区域人群以及公园区域内数据的局限性，我们收集并公开了两个数据集：DAPS-1和DAPS-2。关于它们的更详细描述见第III-D小节。 ### III. 方法论 ### A. 任务说明 本文探讨的是仅使用单个激光雷达传感器进行3D语义分割任务的域适应问题。 更正式地说，所提出的名为DAPS3D的方法接收来自激光雷达的原始$(N \times 3)$点云P，并输出包含每个点的语义类别的$(N)$标签向量$C_P$。该方法的一个特点是研究具有参数$\theta$的神经网络模型M，这些模型利用激光雷达点云在球面上的投影$\pi$。这种投影使得能够利用专为处理二维图像而设计的最先进的快速神经网络来识别三维数据。各种所提出的M模型架构的详细信息见第III-B小节。 为确保模型的域适应性，我们针对球面投影提出了原创的增强集合A，相关细节在第III-C小节中详细讨论。 因此，我们可以用一个公式来简单描述激光雷达点云的分割过程： $$ C_{P}=M(A(\pi(P)),\theta). $$ 学习模型M的最优参数$\theta$，被定义为最小化数据集内已知真实掩码$C_P^{gt}$对应的2D图像分割损失函数的任务： $$ {\cal L}={c r o s s e n t r o p y}(M(A(\pi(P)),\theta),C_{P}^{g t}). $$ 所提出的方法还包括用于域适应问题的合成数据集生成方法，相关内容见第III-D小节。为了便于不同数据集之间的比较，我们将所有类别合并为N=4个真实标签：车辆、人类、地表和静态障碍物。 本研究的一个重要方面是对不同方法在不同数据域上的质量指标进行研究（详见第IV-C小节）。这一指标就是语义分割任务中普遍认可的交并比（IoU）[^7]、[^8]、[^20]。 开发的模型还需具备实时性能。所谓实时，是指算法的延迟应小于传感器数据采集的周期。 --- ![Image](images/d368b1ffb82f51e40a01a4e29837b2ea9d9a1c44d9d1b24fc2580ea47edec69c.jpg)
FIGURE 1. Proposed projective segmentation models SalsaNetRec and SalsaNextRec. The figure shows the basic architecture and blocks specific to different models.
在我们的案例中，该数值等于100毫秒（这对于缓慢移动的移动地面机器人及时识别三维场景来说已经足够）。 ### B. 投影神经网络模型 ## 1) 数据表示 在我们的研究中，我们采用球面投影作为模型的数据表示方式。这种表示方式的主要优势在于实时推理速度快、能够涵盖计算机视觉领域的各种增强方法和模型架构，且能达到最先进的质量水平。投影过程会生成一种有机的、密集且紧凑的表示形式，且不会造成任何信息丢失。为了获得这种范围视图（Range View, RV）图像，我们使用了特定的公式。原始激光雷达点云中的每个3D点$(x, y, z)$都会与另一个点$(u, v)$相关联，从而实现投影$\pi$： $$ \begin{align*}\binom{u}{v}&=\pi(x,y,z,w,h)\\&=\binom{\frac{1}{2}[1-\arctan(y,x)\pi^{-1}]w}{[1-(\arcsin(z,r^{-1})+f_{down})f^{-1}]h},\end{align*} $$ 其中，h和w分别表示球面投影的高度和宽度，r表示每个点的范围，即$r = \sqrt{x^{2} + y^{2} + z^{2}}$，而f则定义了传感器的垂直视场角范围，即$[f_{down}, f_{up}]$。 借助正确的激光雷达参数，该公式能确保3D点云中的每个点都有对应的像素，且该像素中存储有$(x, y, z)$向量。不过，如果我们扩大垂直视场角，就会出现点重叠现象，进而形成密度较高的范围图像，但会伴随一定程度的信息丢失。当我们选择的h和w小于激光雷达的网格参数时，也会出现同样的现象。重要的是，即便丢失了一些信息，范围图像依然保持密集。在使用更宽的视场角和较小的投影尺寸以适应目标域时，我们会在训练过程中利用这一特性。 ## 2) 基线模型 作为基线，我们选择了SalsaNet [^2]和SalsaNext [^7]，因为它们在性能与速度之间取得了良好的平衡。这些模型运行速度快且可转换为TensorRT格式，这对我们的核心任务而言至关重要。在我们的研究中，对这些模型进行了修改，使其仅接收$(x, y, z, r)$向量而非$(x, y, z, r, i)$，其中r为范围索引，i为依赖激光雷达的强度值[^7]。这样做的原因是，在域适应场景中，我们不想使用因数据集不同而产生差异的额外数据。 ## 3) 循环模型 通常，分割神经网络会接收经过球面投影后得到的范围视图图像。这种数据表示方式使得我们能够使用2D卷积循环模块。在我们的DAPS3D方法中，我们提出了SalsaNetRec和SalsaNextRec模型（图1），它们针对不同用途采用了两种不同类型的循环处理方式（图2）。 我们将其命名为SalsaNetRecLSTM和SalsaNextRecLSTM的模型包含图2中所示的模块1。这是一个LSTM 2D模块，其描述见[^46]。它的主要目标是将原始模型中的记忆概念转化为图像数据序列。 --- ![Image](images/d2714936c979b0f382193455b48ce0affa3c7d35ba84fedf063e99310cca3320.jpg)
FIGURE 2. Recurrent blocks under study. SalsaNetRecLSTM and SalsaNextRecLSTM use recurrent block 1. SalsaNetRec contains recurrent block 2.
![Image](images/86ae8512b29a4bf80b5fc04114d3fd13471a107dfb1ead97191da00bb55ea993.jpg)
FIGURE 3. Modified DDRNet architecture. "RB" denotes sequential residual basic blocks. "RBB" denotes the single residual bottleneck block. "DAPPM" denotes the Deep Aggregation Pyramid Pooling Module [^19]. "OC" and "DA" denote Object Contest Block [^44] and Deformable Attention Block [^45] respectively.
循环模块2（图2）直接应用于名为SalsaNetRec的架构中。它是在[^47]中提出的，旨在利用循环架构来增强分割任务的特征表示，同时不增加参数数量。 ## 4) 基于注意力机制和Transformer的模型 我们还考虑了将2D分割模型适配以执行3D分割任务。根据质量与速度的权衡，我们选择了DDRNet [^19]和SegFormer [^20]模型。由于激光雷达点云的球面投影特性，我们决定调整网络架构，通过改变卷积核的大小和步长来压缩狭长的图像。如图3所示，这样做的效果是提高了特征图沿垂直轴的分辨率。 对于SegFormer模型，我们调整了第一个Transformer块的卷积核大小和步长，这导致后续特征图尺寸增大。图4展示了采用不同特征图形状的SegFormer架构。 我们还测试了不同注意力机制的效果。我们选取了物体上下文模块[^44]以及较新的可变形注意力模块[^45]，将它们嵌入DDRNet模型的架构中，如图3所示。选择物体上下文模块是因为它能够提升快速图像语义分割模型的质量，例如在[^35]中展示的那样。 --- ![Image](images/78c6147fa275c23309f816f3fa2cab9d7c499006eb00639e238742a18d0b358d.jpg)
FIGURE 4. SegFormer architecture with feature maps shapes.
可变形注意力模块非常适合有效扩展神经网络的感受野[^45]。图3中所示的DAPPM（深度聚合金字塔池化模块）架构与原始模型类似[^19]，它能够在点云投影的分割过程中利用多尺度特征图中的信息。 ## 5) 评估指标 常用的交并比（IoU）被用作评估所提方法结果的基本质量指标。由于其实用性强且在不同数据集上测试时操作简单，我们事先将其中的语义类别分为四类：“车辆”（包括汽车、卡车、公共汽车、自行车、摩托车及其他车辆）、“行人”（包括步行者、骑自行车的人和骑摩托车的人）、“地面”（包括道路、停车场、路面标记、人行道、地形，即地面移动机器人可以通行的区域）以及“静态障碍物”（包括建筑物、围栏、电线杆、植被等）。 ### C. 数据增强 在这项工作中，我们为3D点云及其投影开发了保持几何特性的数据增强方法，以提升投影语义分割模型的质量（见图5）。主要目标是在训练过程中向模型引入多样化的数据，从而实现更好的域稳定性。每种增强方法都旨在解决推理过程中产生伪影的特定问题。 ## 1) 视场增强 使用预训练模型时的一个主要问题是视场差异。投影模型对激光雷达的这一参数十分敏感。为解决这一问题，我们提出了视场增强方法，该方法 ![Image](images/b1d6ea1ffb2837c6df2e67986a6d72a1b3edccdb734aeea0a511efc28d5afb93.jpg)
FIGURE 5. Visualization of the proposed augmentation process.
通过在数据准备流程中修改$f_{down}$和$f_{up}$，随机限制或扩大投影区域，从而在最终的投影结果中产生零值条带。 --- ## 2) 高度增强 另一个重大挑战是激光雷达安装高度的差异。这种差异会导致不同物体的视角发生显著变化，使得模型无法正确识别物体。为缩小这一差距，我们开发了高度增强方法。在该增强方法中，整个点云会在垂直方向上平移相同的数值。为了生成逼真的场景，算法会先确定地面高度，然后将所有点沿该方向平移一个随机值。 ## 3) 翻转与旋转增强 我们决定对投影应用翻转和旋转增强技术，以消除激光雷达旋转角带来的偏差。这种变形可以解释为激光雷达传感器的旋转和翻转，在非道路环境中能发挥重要作用。由于翻转和旋转都能保持几何特性，因此采用这种方式十分自然。 ## 4) 掩码噪声与Dropout增强 掩码噪声和Dropout是借鉴自计算机视觉领域的其他正则化技术。它们在投影过程之后应用，可理解为对特定区域的遮挡和传感器噪声模拟。这种方法有助于防止模型对常见形状的物体过拟合，还能让模型接触到在视场增强过程中可能产生的“零值”区域。 ## 5) 人工数据增强 为解决两个数据集之间的类别平衡差异问题，我们开发了人工数据增强技术。在点云增强阶段，我们会从样本库中随机选取样本添加到场景中。这些样本库是通过NuScenes数据集的API收集的，具体来说，我们根据NuScenes的标签提取了对应实例ID的人体边界框。为确保样本质量，我们仅保留密度较高的样本以过滤掉噪声。与高度增强方法类似，我们先计算地面高度，再将人体放置在该高度上，以维持场景的真实性。 ## 6) T区增强 在实际场景中，用于各类实验的机器人配置与用于数据集采集的机器人配置可能存在显著差异。点云中的某些点可能会落在机器人本体上，或被各种传感器遮挡。为了模拟机器人本体的存在，我们采用了T区增强技术：它会从激光雷达点云投影中剔除那些在现实中会落在机器人本体上的点，如图5所示。 ### D. 数据集开发 ## 1) 研发动机 在我们的研究中，我们探索了为采用不同激光雷达配置的小型自主机器人采用类似SalsaNext的[^7]解决方案的可能性。然而，我们遇到了数据域偏移带来的挑战。最初的SalsaNext论文[^2]以及现有的开源研究数据集主要针对自动驾驶汽车，与我们特定的激光雷达设置不匹配。我们的激光雷达传感器在光束角度和光束数量上都与SalsaNext的目标数据集存在差异。因此，现有为投影分割方法设计的预训练模型并不适用于我们所期望的数据域。解决这一问题既不简单，成本也较高。于是，我们设计了一种高效的替代方案。 该方案以SemanticKitti数据集[^15]为基础。为了模拟小型机器人采用不同激光雷达配置时采集的激光雷达数据，我们创建了一个名为DAPS1的合成数据集。这个合成数据集以SemanticKitti为蓝本，但模拟了仿佛来自采用我们所期望的激光雷达配置的小型机器人的数据。DAPS1的创建分为两个步骤： - 网格地图生成：首先，我们构建了场景的详细网格地图。这一过程涉及用相互连接的三角形来表示环境的3D结构。通过创建精确的网格地图，我们能够有效地建模场景及其物体。 - 虚拟激光雷达传感器仿真：一旦网格地图准备就绪，我们便模拟了一个与我们小型机器人激光雷达配置完全匹配的虚拟激光雷达传感器。该虚拟激光雷达传感器用于生成与预期设置下采集的激光雷达读数极为相似的数据。 通过创建DAPS1，我们成功制备了一个合成数据集，能够模拟采用不同激光雷达配置的小型机器人所采集的激光雷达数据。这一合成数据集使我们能够对SalsaNext架构进行预训练，从而减少后续用于微调的DAPS2数据集的规模。 ## 2) SemanticKITTI 首先，我们使用了常用的SemanticKITTI数据集[^15]。我们采用了SalsaNext原始论文中描述的相同训练、验证和测试划分方式[^7]。具体而言，我们将序列用作验证集，而00到10号序列则被选为训练集。该数据集包含22个类别，我们将其映射为五个跨域类别以便统一评估，如表2所示。选择该数据集是因为其规模较大且道路场景丰富多样。 ## 3) 扩展版RELLIS-3D 选择RELLIS-3D数据集[^18]的主要原因是其规模庞大且具备独特的非铺装路面环境。我们将数据集划分为训练集和验证集，其中前三个序列被用作训练数据。 在RELLIS-3D数据集上的训练过程中，我们发现属于“人类”类别的部分点云在近距离区域内未被标注（见图6）。这一问题对模型评估产生了显著影响，因为这些点会被映射到空类别中，虽然不影响训练过程，但相关点云信息实际上是准确的。不过，在SemanticKITTI和RELLIS-3D数据集上训练80个周期后，模型便能准确标注这类点云。 --- ![Image](images/2048e304ef770fb759d911e2c08abd6d9562affa5fabed5b6cd62d6af852e3e3.jpg)
FIGURE 6. Example of inaccurate labels in the RELLIS-3D dataset. a) Range-view image; b) Model inference after 80 epochs. c) Ground truth.
![Image](images/a80a5d4d68e15d492b9ca4571aae988943402f3fe6fbd537af8f21ffee9f84bb.jpg)
FIGURE 7. Labeling enhancing process.
![Image](images/6e11cfa75dc0496fbfa1a533e85d3191f953347a82c51a56fb97a7f3dd749d18.jpg)
FIGURE 8. Domain gap between scaled point cloud projections from different LiDARs. Orange vertical field of view (FOV) visualization is shown for Velodyne LiDAR used in SemanticKITTI. Blue FOV is shown for Ouster LiDAR used in our DAPS datasets.
随后，我们利用这个训练好的模型来优化标签。我们对原始点云进行分割，将模型判定为“人类”的点云赋予“人类”类别，而这些点在原始标注中却被标记为空类别。我们提出的标签优化流程如图7所示。 随后，我们利用这个训练好的模型来优化标签。我们对原始点云进行分割，将模型判定为“人”的点赋予“人”类别，而这些点在原始标注中属于空类别。我们所提出的标签优化流程如图7所示。 ## 4) DAPS-1 克服域差异的自然方法（见图8）是采集或合成来自类似域的真实数据。这一思路在我们的研究中得到了应用。 ![Image](images/56e116afd17d7a3dbb8f4deb06028406d5c0b2acbd011b057d444e83b7fd2b70.jpg)
FIGURE 9. Example of semi-synthetic DAPS-1 dataset.
![Image](images/e82d777145eb413da06e63724bd68303a255e3ee0c4eeacc18ef36e9c494cc2f.jpg)
FIGURE 10. Example 3D semantic mesh reconstructed by Kimera-Semantic approach [^48].
半合成的DAPS-1数据集（见图9）便是基于SemanticKITTI [^15]生成的数据集。其主要优势在于，只要拥有机器人的三维模型和激光雷达参数，就能针对任何场景复现该流程。该流程包含5个步骤：首先，如图10所示，使用Kimera-Semantic方法[^48]将数据转换为三维语义网格；接着，在开源软件Mesh-Lab [^49]中对地图的各图层进行分离。需要注意的是，Kimera-Semantic仅适用于静态场景。 ---
TABLE 3. Augmentation set configurations. The letter "T" in the name of the augmentation sets means the use of T-zone augmentation.
ConfigurationFoV aughuman augheight augxy flip augxy rotatedropout augnoise augT-Zone
No augmentationFalseFalseFalseFalseFalseFalseFalseFalse
Augmentation set 1TrueTrue$h \in [0.3, 1.8]$TrueTrueFalseFalseFalse
Augmentation set 2TrueTrue$h \in [0.3, 1.8]$TrueTrueTrueFalseFalse
Augmentation set 3TrueTrue$h \in [0.3, 1.8]$TrueTrueFalseTrueFalse
Augmentation set 4TrueFalse$h \in [0.3, 1.8]$TrueTrueTrueFalseFalse
Augmentation set 5TrueFalseFalseTrueTrueFalseFalseFalse
Augmentation set 5TTrueFalseFalseTrueTrueFalseFalseTrue
Augmentation set 6TrueTrueFalseTrueTrueFalseTrueFalse
Augmentation set 7TrueTrueFalseTrueTrueTrueFalseFalse
Augmentation set 7TTrueTrueFalseTrueTrueTrueFalseTrue
Augmentation set 8TrueFalse$h \in [0.3, 1.8]$TrueTrueFalseTrueFalse
Augmentation set 9TrueFalse$h \in [0.3, 1.8]$TrueTrueTrueFalseFalse
Augmentation set 10TrueTrueFalseTrueTrueTrueTrueFalse
![Image](images/05ab45ddb23dc0a9959b293970d3e79a7a34791f5df807ecde07f6aa821423ae.jpg)
FIGURE 11. Cleaning robot used in DAPS-2 dataset recording process.
物体，这就是为什么我们在轨道上手动添加了一些在MakeHuman [^50]程序中生成的人体模型。下一步是在Gazebo [^51]中利用语义层和理想的激光雷达配置以及开源插件进行仿真。最后，我们还原机器人的原始位置并将数据捕获到rosbag存档中。 ## 5) DAPS-2 该数据集记录于2021年夏季，当时清洁机器人（见图11）在莫斯科VDNH公园进行了一次实地考察。该机器人配备了3个激光雷达传感器（1个中央传感器和2个侧边传感器）。DAPS-2包含了公园不同区域的多个机器人场景，这些场景中的行人密度各异，且所有数据均来自中央激光雷达。 ## 6) 类别映射 在本研究中，我们整合了3D场景元素的主要语义类别：“车辆”、“人”、“地面”以及“障碍物（静态）”。我们的模型中并未包含“未标记”类别。表2展示了我们所定义的五个跨领域类别与不同数据集标签之间的映射关系。 ### IV. 实验结果 ### A. 模型训练 我们使用PyTorch实现模型，并在NVIDIA GeForce RTX 2080 Ti GPU上进行训练和评估。对于基于SalsaNet和SalsaNext的模型，我们采用随机初始权重从头开始训练。训练过程中应用了多种数据增强配置，具体参数见表3。我们不对投影后的点云进行裁剪，且在所有数据集上批量大小均设为8。模型使用SGD优化器训练40个周期，其中第一个周期为预热阶段。SGD的动量参数设为0.9，初始学习率设为0.05，学习率衰减因子为0.99。 对于SegFormer模型，我们采用了在Imagenet-1K数据集上预训练的MiT-B1编码器，而解码器部分则随机初始化。我们将批量大小设为6，初始学习率设为0.001。其余设置与基于SalsaNet的模型保持一致。 基于DDRNet的模型配置与基于SalsaNet的模型相同，仅训练周期数和学习率调度器有所不同。模型使用SGD优化器训练140个周期，其中第一个周期为预热阶段。SGD的动量参数设为0.9，初始学习率设为0.05；前40个周期的学习率衰减因子为0.99，其余周期则为0.96。 ### B. 数据增强的影响 表4列出了模型在SemanticKITTI+RELLIS-3D数据集上的测试结果。增强参数详见表3。我们提出的增强集5使基线模型的mIoU提升了4.3%，在人这一类别上的表现提升了8.5%；人类别在推理中至关重要且属于数据量较少的类别。这表明我们能够在训练阶段通过增强技术有效调节模型，从而解决类别不平衡问题且不影响模型质量。从表中可以看出，第二组增强在动态类别上效果最佳，第四组则在静态类别上表现最优。其原因在于，尽管数据存在噪声，但人体增强为模型提供了大量关于动态物体的新信息，因为用于构建增强库的数据集在激光雷达参数上存在显著差异。结果还表明，我们能够在框架内修改并训练序列模型。 ---
TABLE 4. Results of the SalsaNet baseline model on SemanticKITTI and RELLIS-3D with different input data augmentation.
ModelIoU avgIoU [vehicle]IoU [human]IoU [surface]IoU [obstacle]
No augmentation0.7990.9070.7940.7540.742
Augmentation set 10.7980.8660.8480.7510.728
Augmentation set 20.7910.8810.8270.7370.717
Augmentation set 30.7820.8410.8520.7240.711
Augmentation set 40.8090.8740.8520.7680.744
Augmentation set 50.8420.9130.8810.7200.713
Augmentation set 5T0.8320.8690.8860.7890.782
Augmentation set 60.8150.9070.8490.7470.759
Augmentation set 70.8200.9050.8740.7460.757
Augmentation set 7T0.8110.8940.8500.7440.755
Augmentation set 80.8090.8620.8730.7490.753
Augmentation set 90.8160.8290.8860.7770.771
Augmentation set 100.8100.8860.8370.7550.761
TABLE 5. Comparison of the segmentation models trained and evaluated on the SemanticKITTI dataset.
ModelIoU avgIoU [vehicle]IoU [human]IoU [surface]IoU [obstacle]
SalsaNet0.7870.8820.4120.9290.924
SalsaNetRec0.7890.8550.4880.9130.900
SalsaNetRecLSTM0.7510.8870.2710.9270.920
SalsaNext0.8210.9070.5640.9050.907
SalsaNextRecLSTM0.8350.9140.6000.9110.914
DDRNet0.6920.7500.2250.9010.893
DDRNetOC0.6870.7390.2220.9000.889
DDRNetDA0.6960.7540.2320.9030.895
SegFormer0.5390.4370.0480.8930.777
TABLE 6. Comparison of the segmentation models trained and evaluated on SemanticKITTI and RELLIS-3D.
ModelIoU avgIoU [vehicle]IoU [human]IoU [surface]IoU [obstacle]
SalsaNet0.8320.8690.8860.7890.782
SalsaNetRec0.8080.8580.8470.7630.766
SalsaNetRecLSTM0.8280.8890.8800.7700.774
SalsaNext0.8320.9040.9060.7550.763
SalsaNextRecLSTM0.8330.9080.9160.7480.760
DDRNet0.7060.7590.6540.6850.725
DDRNetOC0.7050.7490.6520.6930.728
DDRNetDA0.6580.7150.4710.7160.731
SegFormer0.5330.4480.4230.6160.643
![Image](images/608271290c8fe5c3ec26bf666b12a4c74830189c252763db600ab21863bb36a7.jpg)
FIGURE 12. Example of 3D semantic segmentation with different models trained and evaluated on SemanticKITTI extended with RELLIS-3D dataset. Here and in the following figures, we show the effect of adding the highest quality LSTM-based recurrent block to SalsaNet and SalsaNext-based architectures. We also show the results of lower quality models based on the DDRNet and Segformer architectures.
在同一流程中训练的SalsaNet经过递归修改后，语义分割的质量得到了提升。循环块的有效性也显而易见：即便仅使用最基础的增强方式，它们也能达到与最佳增强集相近的效果。 ### C. 开源数据集上的结果 ## 1）基于SemanticKITTI的实验 表5展示了在SemanticKITTI的激光雷达数据上，四个联合类别——“车辆”、“人”、“地面”和“障碍物”的分割结果[^15]。所有模型均采用增强集5进行训练。SalsaNextRecLSTM的整体指标最优，与基础的SalsaNext模型相比有显著提升。 ## 2）基于扩展版SemanticKITTI与RELLIS-3D的实验 表6呈现了在扩展版SemanticKITTI（融合了RELLIS-3D数据）的激光雷达数据上的分割结果[^15] [^18]。扩展方式是将两个数据集中的类别归为四类。所有模型均采用包含增强集5和T-Zone裁剪的配置进行训练。SalsaNextRecLSTM在扩展版SemanticKITTI+RELLIS-3D上的表现最佳；SalsaNet和SalsaNext紧随其后排名第二。在“人”的分割任务中，DDRNetDA的表现不如DDRNetOC和基础版DDRNet。 ---
TABLE 7. Comparison of the segmentation models trained and evaluated on the DAPS-1 dataset.
ModelIoU avgIoU [vehicle]IoU [human]IoU [surface]IoU [obstacle]
SalsaNet0.8670.8800.6460.9890.953
SalsaNetRec0.8500.8360.6800.9740.908
SalsaNetRecLSTM0.8620.8780.6320.9880.949
SalsaNext0.8860.8780.7210.9900.954
SalsaNextRecLSTM0.9320.9290.8300.9940.974
DDRNet0.6900.7730.1260.9770.886
DDRNetOC0.6940.7690.1380.9780.889
DDRNetDA0.6910.7700.1290.9770.886
Segformer0.5300.4950.0520.9090.665
![Image](images/d414a674d923b7f26db11c536167b57eb66fd937eed17f74dc989e3251e99cdf.jpg)
FIGURE 13. Example of 3D semantic segmentation with different models trained and evaluated on the DAPS-1 dataset.
![Image](images/103a4e7cbe3d4f67577476d8b13cc226b042b9b53ba8720f0a53ee74b6daa62c.jpg)
FIGURE 14. Comparison of 3D semantic segmentation results on the DAPS-2 dataset for models trained on the DAPS-1 dataset.
将来自两个数据集的类别归为四类后，所有模型均采用包含增强集5和T-Zone裁剪的配置进行训练。SalsaNextRecLSTM在扩展版SemanticKITTI+RELLIS-3D上的结果最佳。SalsaNet和SalsaNext紧随其后排名第二；在“人”的分割任务中，DDRNetDA的表现不如DDRNetOC和基础版DDRNet。 图12展示了基于SalsaNet的模型在RELLIS-3D上的可视化结果。循环模型和SalsaNext在分割“人”的腿部方面均优于SalsaNet。不过，DDRNet模型在“人”类别中存在伪影，且对“地面”的识别实例较少。 ## 3）基于DAPS-1的实验 表7显示了在DAPS-1合成数据集上的分割结果。所有模型均采用增强集5和T-Zone裁剪的配置进行训练。带有循环模块的模型在分割质量上比SegFormer低0.5–1%。DDRNet和SegFormer模型表现尤为突出。 --- ![Image](images/1e97778a3509b9d844f4b600437e4209008a1155b94333dc717b625679ac5ab5.jpg)
FIGURE 15. Comparison of 3D semantic segmentation results on the DAPS-2 dataset for models trained on SemanticKITTI with augmentation set 5 (first line) and DAPS-1 with augmentation set 5 + T-Zone cutout (second line).
TABLE 8. Comparison of the segmentation models trained and evaluated on the DAPS-2 dataset.
ModelIoU avgIoU [human]IoU [surface]IoU [obstacle]
Trained on SemanticKITTI
SalsaNet0.4050.0560.6620.498
SalsaNetRec0.2670.0340.4780.290
SalsaNetRecLSTM0.3380.0750.5650.373
SalsaNext0.2580.0740.4230.277
SalsaNextRecLSTM0.3270.0390.5480.394
DDRNet0.3450.0800.7680.187
DDRNetOC0.3230.0150.7390.216
DDRNetDA0.3690.0400.7050.361
Segformer0.2300.1660.1820.343
Trained on SemanticKITTI + RELLIS-3D
SalsaNet0.7120.7330.7600.643
SalsaNetRec0.4810.4460.5900.406
SalsaNetRecLSTM0.6890.7700.7610.537
SalsaNext0.6630.7990.6840.505
SalsaNextRecLSTM0.7360.8130.7840.612
DDRNet0.5800.6970.5350.509
DDRNetOC0.6160.7240.5860.539
DDRNetDA0.5410.6140.5070.503
Segformer0.2900.4120.0540.404
Trained on DAPS-1
SalsaNet0.5750.4790.7410.504
SalsaNetRec0.6090.5960.7480.482
SalsaNetRecLSTM0.6240.5320.7830.557
SalsaNext0.6430.7060.6200.602
SalsaNextRecLSTM0.7590.7090.7460.823
DDRNet0.5160.3540.7370.458
DDRNetOC0.5620.4030.7050.577
DDRNetDA0.5310.3600.7180.515
Segformer0.3930.3550.4180.407
在“人”类别上表现不佳，因为分辨率较低，导致它们无法将“人”与其周围环境区分开来。 图13展示了神经网络模型在DAPS-1数据集上的可视化结果。所有模型在分割远处的“车辆”时都面临挑战，结果较为嘈杂；但靠近的“人”则能被较好识别。SalsaNetRec模型错误地将左侧的“地面”识别为其他物体，而SalsaNet则将第一辆“车辆”的部分区域标记为“障碍物”。 所提出的SalsaNextRecLSTM模型被证明是最优质的方法，无论是在指标还是可视化结果方面都优于其他模型。
TABLE 9. Parameter number and latency comparison using hardware with RTX2080Ti GPU.
ModelParams, MLatency, ms
SalsaNet23.314.35
SalsaNetRec23.320.96
SalsaNetRecLSTM10824.11
SalsaNext6.7119.69
SalsaNetRecLSTM25.124.85
DDRNet5.7318.63
DDRNetOC5.9618.89
DDRNetDA6.5930.32
Segformer13.721.38
## 4）基于DAPS-2的实验 表8展示了DAPS-2公园区域数据集上的语义分割质量指标对比。所有模型均采用增强集5进行训练。在SemanticKITTI+RELIS-3D和DAPS-1上训练的模型还额外使用了T-Zone增强技术。由于数据域不同且训练集中绿色公园区域较少，在SemanticKITTI上训练的模型质量指标较低。SalsaNextRecLSTM在SemanticKITTI+RELIS-3D、DAPS-1和DAPS-2上的表现显著优于其他模型。值得注意的是，采用基于LSTM的循环模块后，SalsaNet和SalsaNext基线的质量都有所提升。 在SemanticKITTI+RELLIS-3D上训练的SegFormer模型在“地面”类别上的IoU值属于异常值，这可能是由于“人”的实例数量较多所致。在DAPS-1上训练的带有循环模块的模型，其mIoU比基础版SalsaNet高出3.4–4.9%。 图14展示了各种模型在DAPS-2上的可视化结果。所有列出的模型均使用包含增强集5和T-Zone裁剪的DAPS-1数据进行训练。SalsaNextRecLSTM在“人”类和“障碍物”类上的表现优于其他模型，且在“地面”类别中也取得了最佳结果之一。与其他模型相比，DDRNetOC的输出噪声更少，且它不会将长椅标记为“车辆”。值得注意的是，由于分辨率较低，DDRNet和SegFormer模型经常会将“人”周围的物体标记为不合适的类别。 图15体现了域适配的重要性。利用机器人的真实3D模型和激光雷达参数来创建DAPS-1合成数据集是至关重要的。 --- 这些模型适用于实际应用场景。所有列出的模型都展现出了显著更好的效果，尤其是在“人”类别中。域适配使SalsaNetRecLSTM的质量指标提升了43%以上，DDRNetOC的质量指标则提升了23%。 除了SalsaNetRecLSTM外，我们的所有模型可训练参数数量都较少，如表9所示，它们能够在RTX2080Ti GPU上实现实时的点云分割。 ### 五、结论 在本文中，我们深入探讨了三维激光雷达点云的投影分割问题，并研究了名为DAPS3D的域自适应方法。 我们发现，现有的公开数据集缺乏由移动机器人激光雷达在公园或道路上采集、且周边有较多人员的场景。为解决这一局限，我们提出了一种通过在车辆近场添加“人”物体来扩充现有数据集的方法。我们利用该方法创建了半合成的DAPS-1数据集。此外，我们还使用真实机器人在公园区域采集了DAPS-2数据集。这些数据集证明了当在其他公开数据集上训练不同的先进深度神经网络时，域迁移所具有的潜力。 本文对现有的投影分割基础神经网络方法进行了改进，重点研究了快速SalsaNet模型以及各类循环模块的结合应用。我们开发的SalsaNextRecLSTM模型在所提出的DAPS-1和DAPS-2数据集上评估时取得了最佳性能指标。对于该模型而言，循环模块的引入使SemanticKitti数据集上的mIoU指标提升了1.4%，DAPS-1数据集上提升了4.6%，DAPS-2数据集上则提升了6.9%到11.6%，相比之下，基础版的先进投影模型SalsaNext的性能则有明显差距。 我们还探索了卷积模型在3D分割中的应用，采用了实时DDRNet架构并结合不同注意力模块，以及为激光雷达球面投影适配的SegFormerTransformer方法。不过，就质量和性能而言，它们的表现仍无法超越基于SalsaNet和SalsaNext的方法。 我们提出并验证了多种增强技术的有效性。其中，视场、翻转和旋转增强的组合，再加上T-Zone裁剪方法，在利用公开数据集训练神经网络模型时取得了最佳效果。这些增强技术确保了投影神经网络分割方法在遇到数据域变化（包括使用不同激光雷达设备）时的稳定性。 在我们未来的工作中，我们计划大幅增加包含其他公园区域的DAPS-2数据集规模。研究时空特征聚合方法——[^52]——在数据点序列上的应用，以及将其与循环模块结合用于点云投影分割模型，具有广阔前景。我们还打算探索将所提出的神经网络模型适配到边缘设备上使用的可能性。 在评估所提出及探究方法的实验中，我们发现各种方法的PyTorch实现在常用的RTX2080Ti GPU上测试时，延迟范围在14.4毫秒到30.2毫秒之间。这一性能凸显了加速模型或直接将其应用于自动驾驶车辆车载感知系统的潜力。 ## 致谢 作者们感谢LLC Integrant公司提供用于开发DAPS-1和DAPS-2数据集的材料。 ## 参考文献 [^1]: K. E. Madawi, H. Rashed, A. E. Sallab, O. Nasr, H. Kamel, and S. Yogamani, "RGB and LiDAR fusion based 3D semantic segmentation for autonomous driving," in Proc. IEEE Intell. Transp. Syst. Conf. (ITSC), Oct. 2019, pp. 7–12. [^2]: E. E. Aksoy, S. Daci, and S. Cavdar, Saisavet: Fast road and vehicle segmentation in LiDAR point clouds for autonomous driving," in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 926–932. [^3]: J. Jeong, H. Song, J. Park, P. Resende, B. Bradaï, and K. Jo, “Fast and lite point cloud semantic segmentation for autonomous driving utilizing LiDAR synthetic training data,” IEEE Access, vol. 10, pp. 78899–78909, 2022. [^4]: S. Abdigaporov, S. Miraliev, V. Kakani, and H. Kim, “Joint multiclass object detection and semantic segmentation for autonomous driving,” IEEE Access, vol. 11, pp. 37637–37649, 2023. [^5]: H. Tang, Z. Liu, S. Zhao, Y. Lin, J. Lin, H. Wang, and S. Han, “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 685–702. [^6]: X. Zhu, H. Zhou, T. Wang, F. Hong, Y. Ma, W. Li, H. Li, and D. Lin, "Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 9934–9943. [^7]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in Proc. Int. Symp. Vis. Comput. Cham, Switzerland: Springer, 2020, pp. 207–222. [^8]: J. Xu, R. Zhang, J. Dou, Y. Zhu, J. Sun, and S. Pu, "RPVNet: A deep and efficient range-point-voxel fusion network for LiDAR point cloud segmentation," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 16004–16013. [^9]: X. Lai, Y. Chen, F. Lu, J. Liu, and J. Jia, “Spherical transformer for LiDAR-based 3D recognition,” 2023, arXiv:2303.12766. [^10]: R. Cheng, R. Razani, Y. Ren, and L. Bingbing, “S3Net: 3D LiDAR sparse semantic segmentation network,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 14040–14046. [^11]: G. Qian, Y. Li, H. Peng, J. Mai, H. A. A. K. Hammoud, M. Elhoseiny, and B. Ghanem, “PointNext: Revisiting PointNet++ with improved training and scaling strategies,” in Proc. Adv. Neural Inf. Process. Syst., vol. 35, 2022, pp. 23192–23204. [^12]: X. Roynard, J.-E. Deschaud, and F. Goulette, “Classification of point cloud scenes with multiscale voxel deep network,” 2018, arXiv:1804.03583. [^13]: Z. Zhuang, R. Li, K. Jia, Q. Wang, Y. Li, and M. Tan, “Perception-aware multi-sensor fusion for 3D LiDAR semantic segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 16260–16270. [^14]: X. Yan, J. Gao, C. Zheng, C. Zheng, R. Zhang, S. Cui, and Z. Li, “2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds,” in Proc. 17th Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2022, pp. 1–16. [^15]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 9296–9306. ## [^16]: B. Wang, M. Zhu, Y. Lu, J. Wang, W. Gao, and H. Wei, “Real-time 3D object detection from point cloud through foreground segmentation,” IEEE Access, vol. 9, pp. 84886–84898, 2021 --- [^17]: R. Razani, R. Cheng, E. Taghavi, and L. Bingbing, “Lite-HDSeg: LiDAR semantic segmentation using lite harmonic dense convolutions,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 9550–9556. [^18]: P. Jiang, P. Osteen, M. Wigness, and S. Saripalli, “RELLIS-3D dataset: Data, benchmarks and analysis,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 1110–1116. [^19]: Y. Hong, H. Pan, W. Sun, and Y. Jia, “Deep dual-resolution networks for real-time and accurate semantic segmentation of road scenes,” 2021, arXiv:2101.06085. [^20]: E. Xie, W. Wang, Z. Yu, A. Anandkumar, J. M. Alvarez, and P. Luo, “SegFormer: Simple and efficient design for semantic segmentation with transformers,” 2021, arXiv:2105.15203. [^21]: I. Alonso, L. Riazuelo, L. Montesano, and A. C. Murillo, “3D-MiniNet: Learning a 2D representation from point clouds for fast and efficient 3D LiDAR semantic segmentation,” IEEE Robot. Autom. Lett., vol. 5, no. 4, pp. 5432–5439, Oct. 2020. [^22]: Q. Hu, B. Yang, L. Xie, S. Rosa, Y. Guo, Z. Wang, N. Trigoni, and A. Markham, "RandLA-Net: Efficient semantic segmentation of large-scale point clouds," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11105–11114. [^23]: D. Ye, Z. Zhou, W. Chen, Y. Xie, Y. Wang, P. Wang, and H. Foroosh, "LiDAR MultiNet: Towards a unified multi-task network for LiDAR perception," 2022, arXiv:2209.09385. [^24]: X. Roynard, J.-E. Deschaud, and F. Goulette, “Paris-Lille-3D: A large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classification,” Int. J. Robot. Res., vol. 37, no. 6, pp. 545–557, May 2018. [^25]: W. Tan, N. Qin, L. Ma, Y. Li, J. Du, G. Cai, K. Yang, and J. Li, “Toronto-3D: A large-scale mobile LiDAR dataset for semantic segmentation of urban roadways,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2020, pp. 797–806. [^26]: P. Jiang and S. Saripalli, "LiDARNet: A boundary-aware domain adaptation model for point cloud semantic segmentation," 2020, arXiv:2003.01174. [^27]: Y. Liao, J. Xie, and A. Geiger, "KITTI-360: A novel dataset and benchmarks for urban scene understanding in 2D and 3D," 2021, arXiv:2109.13410. [^28]: W. K. Fong, R. Mohan, J. V. Hurtado, L. Zhou, H. Caesar, O. Beijbom, and A. Valada, “Panoptic nuscenes: A large-scale benchmark for LiDAR panoptic segmentation and tracking,” IEEE Robot. Autom. Lett., vol. 7, no. 2, pp. 3795–3802, Apr. 2022. [^29]: P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui, J. Guo, Y. Zhou, and Y. Chai, “Scalability in perception for autonomous driving: Waymo open dataset,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 2443–2451. [^30]: Y. Zhao, L. Bai, and X. Huang, "FIDNet: LiDAR point cloud semantic segmentation with fully interpolation decoding," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2021, pp. 4453–4458. [^31]: G. Krispel, M. Opitz, G. Waltner, H. Possegger, and H. Bischof, “FuseSeg: LiDAR point cloud segmentation fusing multi-modal data,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Mar. 2020, pp. 1863–1872. [^32]: G. P. Meyer, J. Charland, D. Hegde, A. Laddha, and C. Vallespi-Gonzalez, “Sensor fusion for joint 3D object detection and semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2019, pp. 1230–1237. [^33]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “PointPainting: Sequential fusion for 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 4603–4611. [^34]: F. Zhang, J. Fang, B. W. Wah, and P. H. S. Torr, “Deep fusionnet for point cloud semantic segmentation,” in Proc. ECCV, 2020, pp. 1–10. [^35]: I. Shepel, V. Adeshkin, I. Belkin, and D. A. Yudin, “Occupancy grid generation with dynamic obstacle segmentation in stereo images,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 9, pp. 14779–14789, Sep. 2022. [^36]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220. [^37]: P. Jiang and S. Saripalli, "LiDARNet: A boundary-aware domain adaptation model for point cloud semantic segmentation," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 2457–2464. [^38]: S. Zhao, Y. Wang, B. Li, and B. Wu, “ePointDA: An end-to-end simulation-to-real domain adaptation framework for LiDAR point cloud segmentation,” in Proc. AAAI Conf. Artif. Intell., Dec. 2021, vol. 35, no. 4, pp. 3500–3509. [^39]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud,” in Proc. Int. Conf. Robot. Autom. (ICRA), May 2019, pp. 4376–4382. [^40]: D. Tsai, J. Stephany Berrio, M. Shan, E. Nebot, and S. Worrall, "Viewer-centred surface completion for unsupervised domain adaptation in 3D object detection," 2022, arXiv:2209.06407. [^41]: Y. Wang, J. Yin, W. Li, P. Frossard, R. Yang, and J. Shen, “SSDA3D: Semi-supervised domain adaptation for 3D object detection from point cloud,” 2022, arXiv:2212.02845. [^42]: Y. Pan, B. Gao, J. Mei, S. Geng, C. Li, and H. Zhao, “SemanticPOSS: A point cloud dataset with large quantity of dynamic instances,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 687–693. [^43]: P. Xiao, Z. Shao, S. Hao, Z. Zhang, X. Chai, J. Jiao, Z. Li, J. Wu, K. Sun, K. Jiang, Y. Wang, and D. Yang, “PandaSet: Advanced sensor suite dataset for autonomous driving,” in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 3095–3101. [^44]: Y. Yuan and J. Wang, “OCNET: Object context network for scene parsing,” 2018, arXiv:1809.00916. [^45]: Z. Xia, X. Pan, S. Song, L. E. Li, and G. Huang, "Vision transformer with deformable attention," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 4784–4793. [^46]: X. Shi, Z. Chen, H. Wang, D.-Y. Yeung, W.-K. Wong, and W.-C. Woo, “Convolutional LSTM network: A machine learning approach for precipitation nowcasting,” in Proc. Adv. Neural Inf. Process. Syst., vol. 28, 2015, pp. 123–145. [^47]: M. Zahangir Alom, M. Hasan, C. Yakopcic, T. M. Taha, and V. K. Asari, "Recurrent residual convolutional neural network based on U-Net (R2U-Net) for medical image segmentation," 2018, arXiv:1802.06955. [^48]: A. Rosinol, M. Abate, Y. Chang, and L. Carlone, “Kimera: An open-source library for real-time metric-semantic localization and mapping,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2020, pp. 1689–1696. [^49]: P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, and G. Ranzuglia, “MeshLab: An open-source mesh processing tool,” in Proc. Eurograph. Italian Chapter Conf., Salerno, Italy, 2008, pp. 129–136. [^50]: L. Briceno and G. Paul, “MakeHuman: A review of the modelling framework,” in Proc. 20th Congr. Int. Ergonom. Assoc. (IEA). Cham, Switzerland: Springer, 2019, pp. 224–232. [^51]: E. Ackerman, “Latest version of gazebo simulator makes it easier than ever to not build a robot,” IEEE Spectr., Feb. 2016. [Online]. Available: [^52]: Y. Murhij and D. Yudin, "FMFNet: Improve the 3D object detection and tracking via feature map flow," in Proc. Int. Joint Conf. Neural Netw. (IJCNN), Jul. 2022, pp. 1–8. ![Image](images/55032b51c64c0ad3bf5d1b324d00d3bfe909ed26ac8c667af11222176ec423c1.jpg) 阿列克谢·A·克洛科夫于1995年出生于俄罗斯莫斯科。他于2020年从莫斯科物理技术学院获得应用数学与物理学硕士学位。目前，他正在俄罗斯科学院“计算机科学与控制”联邦研究中心攻读博士学位。 自2020年起，他担任Autonomics.tech公司的首席数据科学家。他曾负责领导…… ![Image](images/4cd2174eac9f8d0dbb689b3680512695f3c4fc4d699a2c795d920ab969c9485f.jpg) 迪·昂·帕克于2000年出生于俄罗斯新西伯利亚。他于2022年从俄罗斯莫斯科高等经济学院获得计算机科学学士学位。 2021年至2022年间，他在莫斯科物理技术学院智能交通实验室担任研究助理。他的主要研究方向为计算机视觉及其在机器人领域的应用。 --- ![Image](images/23ce3fa0fc0c2b5458e6b292a41b9b5e2be983bd0e6d87b0f9811cb0258471f4.jpg) 亚历山大·霍林于1999年出生于俄罗斯图拉。他于2021年从莫斯科物理技术学院获得数学与计算机科学学士学位。 自2021年起，他担任莫斯科物理技术学院智能交通实验室的研究工程师。他的研究兴趣包括计算机视觉、光学字符识别和深度学习。 霍林先生是2021年全俄学生奥林匹克竞赛“Yandex”中“数学建模”项目的铜牌得主，并于2021年至2022年间获得俄罗斯联邦总统颁发的针对杰出教育及科研人才的奖学金。 ![Image](images/b00398789330ee2122d8a69694a6525f2c4091d4d850adc71e240d28e29b89b4.jpg) 德米特里·A·尤金于1988年出生于俄罗斯别尔哥罗德。他于2010年获得工艺过程与生产自动化工程文凭，2014年从别尔哥罗德国立技术大学（以V. G. 舒霍夫命名）获得计算机科学博士学位。 2009年至2019年，他在该大学的技术控制论系担任研究员及助理教授。自2019年起，他担任莫斯科物理技术学院智能交通实验室主任。自2021年起，他成为莫斯科人工智能研究所的高级研究员。他发表了100多篇论文。他的研究兴趣包括计算机视觉、深度学习和机器人技术。 尤金·尤丁博士曾于2017年荣获IEEE捷克斯洛伐克分会青年科学家论文奖，同年获得俄罗斯联邦总统颁发的用于资助年轻科学家的国家补助金，并于2021年获得俄罗斯科学基金会的资助。 ![Image](images/be6fc043fcc907732c27dc0cc3763d63400a72a1047a4649a68426bb038d9fd2.jpg) 列昂·科奇耶夫于1998年出生于俄罗斯的弗拉季高加索。他于2021年在伯纳比的西蒙弗雷泽大学（SFU）获得计算机科学硕士学位。 2021年至2022年间，他在Autonomics.tech公司担任机器学习工程师。他的主要研究兴趣集中在三维计算机视觉和视觉问答领域。 ![Image](images/ccc4f97deebd264b37be383e9f4f1d3c1fee3004e25bccc843a47a9c3a09b752.jpg) 弗拉基米尔·D·卢钦斯基于1998年出生于俄罗斯的乌里扬诺夫斯克。他于2020年在圣彼得堡国立大学（SPbU）获得信息系统软件与管理专业的学士学位。 2020年至2021年，他在Autonomics.tech公司担任机器学习工程师。他的研究兴趣包括深度学习计算机视觉问题。 ![Image](images/760c30aae2747dc3a404c17d24192f0479f3969da611f1c64602b462b58d02b9.jpg) 维塔利·D·贝祖格利于2000年出生于乌克兰的基辅。他于2022年在俄罗斯莫斯科的国立核研究大学——莫斯科物理技术学院获得应用数学与计算机科学专业的学士学位。 自2021年起，他一直在莫斯科物理技术学院的智能交通实验室担任研究工程师。他的研究兴趣包括三维语义建图、计算机视觉和机器人技术。