# LESS：面向激光雷达点云的标签高效语义分割方法 刘明华 $^{1*}$、周颖 $^{2**}$、齐查尔斯·R. $^{2}$、龚博庆 $^{3}$、苏浩 $^{1}$、安杰洛夫·德拉戈米尔 $^{2}$ $^{1}$加州大学圣地亚哥分校，$^{2}$Waymo公司，$^{3}$谷歌公司 摘要：激光雷达点云的语义分割是自动驾驶领域的重要任务。然而，采用传统监督方法训练深度模型需要大量标注成本极高的数据集。为了实现模型在新应用场景中的规模化部署，或是提升对罕见场景的处理能力，开发标签高效的分割方法至关重要。以往的研究大多聚焦于室内场景，我们是首批针对室外激光雷达点云提出标签高效语义分割流程的研究团队之一。我们的方法将高效的标注流程与半监督/弱监督学习相结合，可适配几乎任何3D语义分割骨干网络。具体而言，我们利用室外场景中的几何特征进行启发式预分割，以减少人工标注工作量，同时结合标注流程设计学习目标。在学习阶段，我们采用原型学习来获取更具描述性的点特征嵌入，并利用多扫描蒸馏技术从时间聚合的点云中提取更丰富的语义信息，从而提升单扫描模型的性能。在SemanticKITTI和nuScenes数据集上的实验表明，我们提出的方法优于现有的标签高效方法。即便仅使用极少的人工标注数据（例如0.1%的点标签），该方法的表现仍能与采用100%标签的全监督方法相媲美。 ## 1 引言 激光探测与测距（LiDAR）传感器已成为大多数自动驾驶车辆的必备组件。与视觉摄像头相比，它们能获取更精确的深度测量数据，且在不同光照条件下表现更稳定。激光雷达点云的语义分割是一项不可或缺的技术，它能提供细粒度的场景理解能力，与物体检测技术形成互补。例如，语义分割能够帮助自动驾驶汽车区分可行驶路面与不可行驶路面，并识别其功能属性，比如停车区和人行道，而这些是现有物体检测器无法实现的。 基于大规模公开驾驶场景数据集 [^4] [^5]，近期已经开发出多种激光雷达语义分割方法 [^68] [^59] [^9] [^62] [^50]。通常，这些方法在训练时需要使用完全标注的点云数据。由于 --- ![Image](images/036bef9d3b1ac624f97e1bfa92c1ef2ae84913485c8bde72b70f52c83c40ead2.jpg)
Fig. 1: We compare LESS with Cylinder3D [^68] (our fully-supervised counterpart), ContrastiveSceneContext [^23], SQN [^24], OneThingOneClick [^33], and ReDAL [^55] on the SemanticKITTI [^4] and nuScenes [^5] validation sets. The ratio between labels used and all points is listed below each bar. Please note that all competing label-efficient methods mainly focus on indoor settings and are not specially designed for outdoor LiDAR segmentation.
激光雷达传感器每秒可采集数百万个点，要对所有点进行 exhaustive 标注极其耗时且费力。此外，当我们拓展应用场景（如不同城市、不同天气条件）或覆盖更多罕见场景时，这种标注方式难以满足需求。因此，要实现系统的规模化应用，开发标签高效的激光雷达语义分割方法至关重要，这类方法的目标是在保证高性能的前提下尽可能减少人工标注量。 虽然已有一些研究关注标签效率高的语义分割问题，但它们大多集中于室内场景[^11] [^3]或3D物体部件[^6]，这些场景在点云外观和物体类型分布上与室外驾驶场景存在显著差异（例如，点密度差异显著，地面、车辆等常见类别与自行车、行人等罕见类别之间的点数分布极不平衡）。此外，以往的研究大多从两个独立的角度来解决这一问题，这在室外环境中可能效果欠佳。具体而言，一个角度是提升标注效率，相关方法借助主动学习[^47] [^55] [^34]、弱标签[^44] [^54]以及2D监督[^53]来减少标注工作量。另一个角度则聚焦于模型训练，这类方法假定已有部分标签，并设计半监督/弱监督学习算法来利用有限的标签以追求更好的性能[^33] [^60] [^44] [^61] [^20] [^34] [^66]。 本文提出了一种用于自动驾驶汽车采集的激光雷达点云的新型框架——标签高效语义分割（LESS）。与以往研究不同，我们的方法将标注过程与模型学习进行协同设计。这种协同设计基于两大原则：1）标注步骤旨在提供最少的监督信息，以适应最先进的半监督/弱监督分割方法；2）模型训练步骤能够利用标注策略作为先验知识，推导出更多的学习目标。所提出的方法能够直接适配大多数最先进的半监督系统。 --- 该方法无需对现有的激光雷达分割骨干网络进行架构调整，部署在车载设备上时也不会增加额外的计算复杂度。我们的方法适用于高效的标注工作以及从零开始的学习过程。它还与长尾实例挖掘高度兼容；在实际应用中，我们主要希望基于已训练的模型来识别并标注罕见案例。 具体而言，我们基于“室外场景中的物体在剔除地面点后往往彼此分离”这一理念，设计了一种启发式方法，将室外场景预先分割成一组连通组件。这些组件划分结果的纯度很高（即仅包含一类或几类物体），且能覆盖大部分点。这样一来，标注人员无需为所有点逐一标注，只需为每个组件中每一类物体标注一个点即可。在模型学习过程中，我们直接用人类标注的稀疏标签以及基于组件划分结果生成的标签来训练骨干分割网络。为了构建更具描述性的嵌入空间，我们采用了对比原型学习[^18] [^29] [^48] [^63] [^33]，以此提升同类样本间的相似度并强化不同类样本间的区分度。我们还利用多扫描教师模型来挖掘时间融合点云中更丰富的语义信息，并将这些知识蒸馏出来以提升单扫描模型的性能。 我们在两个大规模自动驾驶数据集SemanticKITTI [^4]和nuScenes [^5]上评估了所提出的方法。结果表明，我们的方法显著优于现有的标签高效方法（见图1）。即便仅使用极少的人工标注数据，例如0.1%的标注点，该方法也能取得与全监督方法相媲美的出色性能，充分体现了其在实际应用中的潜力。 综上所述，我们的主要贡献包括： – 分析了室外激光雷达点云的标签高效分割与室内场景的差异，指出类别分布不平衡是主要挑战之一。 – 利用激光雷达点云独特的几何结构，设计了一种启发式算法，将输入点预先分割成纯度较高的连通组件；随后提出了定制的标注策略，针对这些组件采用适配的标签与损失函数。 – 将有效的组件整合到标签高效的激光雷达分割任务中，并精心设计了与网络无关的流水线，使其性能可与全监督方法相媲美。 - 在两个大规模自动驾驶数据集上评估所提出的流水线，并对各个模块进行了详尽的消融实验。 ## 2 相关工作 ### 2.1 激光雷达点云的分割网络 与室内场景点云不同,户外LiDAR点云的大规模、变化的密度和稀疏性要求分割网络更加高效。许多工作将3D点云从球面视图 [^43] [^27] [^10] [^12] [^58] [^2] [^30] [^39](i.e., range images) 或鸟瞰视图 [^45] [^65] 投影到2D图像上,或尝试融合不同的视图 [^31] [^19] [^1]。也有一些工作直接 ---
datasetvegetationroadbuildingcarmotorcyclepersonbicycle
SemanticKITTI16061197799257221
nuScenes867224212612703161
Table 1: Point distribution across the most common and rarest categories of SemanticKITTI [^4] and nuScenes [^5]. Numbers are normalized by the sample quantity of bicycles.
消耗点云 [^52] [^14] [^25] [^8]。它们旨在更高效地组织不规则数据。Zhu等人 [^68] 采用基于体素的表示方法,并通过利用圆柱形划分和稀疏非对称卷积来减轻高计算负担。最近的工作也尝试融合点和体素的表示 [^50] [^62] [^64] [^9],甚至与距离图像融合 [^59]。所有这些工作都可以作为我们标签高效框架中的主干网络。 ### 2.2 标签高效的3D语义分割 标签高效的3D语义分割近年来受到了广泛关注 [^17]。以往的相关研究主要分为两类：标注与训练。 在标注方面，有几种方法致力于主动学习[^47] [^55] [^34]，即在网络训练期间迭代地选择并请求对数据点进行标注。Hou等人[^23]利用无监督预训练得到的特征来挑选待标注的点。Wang等人[^53]则将点云投影到二维空间，并利用二维监督信号。一些研究采用场景级或子云级的弱标签[^44] [^54]。还有几种方法利用基于规则的启发式规则或手工设计的特征来辅助标注[^37] [^51] [^20]。 在训练方面，Xie等人[^23] [^57]利用对比学习进行无监督预训练。有些方法采用自训练来生成伪标签[^33] [^60] [^44]。大量研究使用条件随机场（CRF）[^33] [^61] [^20] [^34]或随机游走[^66]来传播标签。此外，还有一些研究利用原型学习[^33] [^66]、孪生学习[^61] [^44]、时间约束[^36]、平滑约束[^44] [^47]、注意力机制[^54] [^66]、跨任务一致性[^44]以及合成数据[^56]来辅助训练。 不过，近期的大多数研究主要聚焦于室内场景[^11] [^3]或三维物体部件[^6]，而室外场景则鲜有涉及。 ## 3 方法 在本节中，我们将介绍我们的LESS框架。由于现有的标签高效分割研究通常针对自动驾驶以外的领域，我们首先开展了一项初步研究，以了解这一新场景中的挑战，并阐述开发LESS的动机（第3.1节）。在简要介绍LESS框架（第3.2节）之后，我们将深入讲解各个部分的细节（第3.3节至3.6节）。 ### 3.1 初步研究：我们需要关注什么？ 以往关于标签高效的三维语义分割的研究[^33] [^23] [^47] [^53] [^44] [^54] [^61] [^66]主要集中在室内数据集上，例如ScanNet-v2[^11]和S3DIS[^3]。在这些数据集中，输入点是从高质量重建的网格中采样的，因此分布密集且均匀。此外，室内场景中的物体尺寸通常相近，类别分布也相对均衡。然而，在室外环境中，输入点云的复杂程度要高得多，原因在于点密度存在差异，且场景中普遍存在遮挡现象。 --- 在室外驾驶场景中，由于物体出现频率和尺寸等因素的影响，不同类别的样本分布极不均衡。表1展示了两个自动驾驶数据集中的点分布情况：道路点的数量分别是自行车点数量的1,197倍和2,242倍。这种极度不平衡的分布给标签高效分割带来了额外难度，因为这类分割方法的目标仅为标注极少一部分点。 我们开展了一项试点研究，以进一步探讨这一挑战。具体而言，我们在SemanticKITTI数据集上，采用三种直观的设置来训练最先进的语义分割网络Cylinder3D [^68]：(a) 使用100%的标签；(b) 每次扫描随机标注0.1%的点；(c) 随机选择0.1%的扫描数据，并对所选扫描中的所有点进行标注。相关结果见附录S.1。无需额外特殊处理，“0.1%随机点”设置下的平均IoU值即可达到48.0%，而全监督版本的平均IoU值则为65.9%。在汽车、道路、建筑物和植被等常见类别上，“0.1%标签”模型的性能与全监督模型相近。 ![Image](images/9cd3f6acc4ff9fb807a415c1f51ccf4dbd06e3ae4a3271961b07808c0c2230f0.jpg)
Fig. 2: Pilot study: performances (IoU) of the most common and rarest categories. Models are trained with 100% of labels and 0.1% of labels (in terms of points or scans) on SemanticKITTI [^4].
在自行车、行人和摩托车等样本量较少的类别上，我们发现其与全监督模型相比存在显著的性能差距。这些类别通常体积较小、出现频率较低，因此在减少标注量时更容易受到影响。不过，它们对于自动驾驶等诸多应用场景而言仍至关重要。此外，我们发现“0.1%随机点”模型的性能远优于“0.1%随机扫描”模型，主要原因在于其标签的多样性更高。 这些发现促使我们重新思考现有的标签高效分割范式。以往的研究往往要么侧重于提高标注效率，要么致力于改进训练方法，而我们认为将两者协同设计来解决这一问题会更有效。通过整合这两部分，我们能够在有限的标注预算下覆盖更多样本量较少的实例，并在网络训练过程中更高效地利用标注成果。 ### 3.2 概述 我们的LESS框架集成了预分割、标注和网络训练三个环节。该框架无需更改现有激光雷达分割模型的架构或推理延迟，即可与大多数现有模型兼容。如图3所示，我们的流程以原始激光雷达序列为输入，首先采用启发式方法将点云划分为一组纯度较高的组件。 --- ![Image](images/cb7382253a07151fe695009cefa9868c49722f49b77bb1df88cf1f4f8e995e51.jpg)
Fig. 3: Overview of our LESS pipeline. (a) We first utilize a heuristic algorithm to pre-segment each LiDAR sequence into a set of connected components. (b) Examples of the proposed components. Different colors indicate different components. For clear visualization, components of ground points are not shown. (c) Human annotators only need to coarsely label each component. Each color denotes a proposed component, and each click icon indicates a labeled point. Only sparse labels are directly annotated by humans. (d) We then train the network to digest various labels and utilize multi-scan distillation to exploit richer semantics in the temporally fused point clouds.
（详见第3.3节）。标注人员无需标注所有点，只需为每个组件提案快速标注少量点即可（例如，每个出现的类别标注一个点）。除了人工标注的稀疏标签外，我们还会生成其他类型的标签，以便利用更多上下文信息来训练网络（详见第3.4节）。在网络训练阶段，我们采用对比原型学习来构建更具描述性的嵌入空间（详见第3.5节）。此外，我们还通过从多扫描教师模型中蒸馏知识来提升单扫描模型的性能，该教师模型能够利用时间融合后的点云中的更丰富语义信息（详见第3.6节）。 ### 3.3 预分割 我们设计了启发式的预分割方法，将点云细分为多个组件。每个生成的组件提案纯度较高，仅包含一两种类别，这便于标注人员对全部提案进行粗略标注，即每个类别标注一个点（详见第3.4节）。通过这种方式，我们可以将稀疏的点级标注推广到整个组件，从而得到密集的监督信号。由于现代网络能够从稀疏标注中学习同类邻域的语义，因此在大物体上耗费大量标注资源可能收效甚微。我们这种基于组件的粗略标注方式不受物体大小的限制，对样本量较少的小物体尤为有利。 对于室内场景，许多现有技术[^33] [^20] [^47]会利用表面法线和颜色信息来生成超体素，并假设每个超体素内的点属于同一类别。然而，这些方法可能无法推广到室外激光雷达点云，因为室外表面的噪声较大且缺乏颜色信息。由于同质性假设难以成立，我们决定取消这一限制，允许每个组件包含多个类别。 与室内场景不同，室外扫描中的物体通常在检测出地面点并将其分离后就能很好地分开。受此启发，我们设计了一种直观的方法对每段激光雷达序列进行预分割，具体步骤如下： --- 共分为四个步骤：(a) 融合重叠扫描。我们首先将一段激光雷达序列拆分为若干个子序列，每个子序列包含t个连续扫描帧。然后基于提供的自车位姿来融合每个子序列中的扫描数据。通过这种方式，只需点击一次即可为重叠扫描中的同一实例打上标签。(b) 检测地面点。虽然整个场景尺度下的地面可能并不平坦，但我们假设在每个局部区域$(e.g., 5\mathrm{m} \times 5\mathrm{m})$内，地面点可以用平面来拟合。因此，我们根据xy坐标将整个场景划分为均匀的网格，随后运用RANSAC算法[^15]来检测每个网格单元内的地面点。由于地面点可能属于不同类别（如停车场、人行道和道路），我们将每个网格单元内的地面点视为一个单独的组件，而非将它们合并。我们允许单个地面组件包含多个类别，后续会为每个类别标注一个点。(c) 构建连通组件。在检测出地面点并将其分离后，剩余物体通常能很好地分开。我们构建一个图G，其中每个节点代表一个点。对于图中任意两点$(u, v)$，若它们之间的欧几里得距离小于阈值$\tau$，我们就将它们连接起来。随后通过计算图G的连通组件来将点分组。由于激光雷达点云的点密度分布不均匀，很难在不同范围内使用固定阈值。因此我们提出了自适应阈值$\tau(u, v) = \max(r_u, r_v) \times d$来补偿这种密度差异，其中$r_u$和$r_v$分别表示点与传感器中心的距离，d是一个预先定义的超参数。(d) 细分大型组件。步骤(c)之后，通常会存在一些覆盖面积极大的连通组件（如建筑物和植被），它们容易包含一些小物体。为了保持每个组件的纯度并便于网络训练，我们对过大的组件进行细分，确保每个组件的大小被限制在固定范围内。此外，我们还会忽略那些只包含少量点的小型组件，这类组件往往噪声较大，会导致生成的组件数量过多。 实践中我们发现，我们的预分割方法能为每个序列生成少量组件。这些组件覆盖了大部分点，且每个组件的纯度都较高。这为从零开始快速启动标注工作提供了可能。此外，与其他依赖各种手工设计特征的方法[^33] [^20] [^47]不同，我们的方法仅利用简单的几何连通性，无需调整大量超参数就能适应各种场景。预分割结果的统计数据详见第4.4节，更多细节可参阅补充材料。 ### 3.4 标注策略与训练标签 我们建议对组件提案进行粗略标注，而非为每个点逐一仔细标记。具体而言，针对每个组件提案，标注者需先浏览该组件，然后为每个识别出的类别仅标注一个点。图3(c)展示了一个示例：预分割生成的三个组件分别呈红色、蓝色和绿色。由于蓝色组件中仅有交通标志点，标注者只需随机选取一个点进行标注；绿色组件同理，它只包含道路点。而在红色组件中，有一辆自行车倚靠着交通标志。 --- 标注者需要为每个类别各选一个点进行标注。通过这种粗略标注所有组件的方式，我们不太可能遗漏任何代表性不足的样本，因为所提出的组件涵盖了大部分点。此外，由于组件数量比点的数量少几个数量级，且我们的粗略标注策略让标注者无需仔细标注实例边界（构建SemanticKITTI [^4]数据集时标注流程中要求的步骤），因此我们能够降低人工标注成本。 基于组件提案，我们可以获得三种类型的标签。稀疏标签：由标注者直接标注的点。尽管只有极少数的点被标注，但稀疏标签能提供最准确且多样的监督信息。弱标签：每个组件中出现的类别。弱标签是基于每个组件内人类标注的稀疏标签推导而来的。以图3(c)为例，所有红色点只能是自行车或交通标志。我们将每个组件中的弱标签传播给其中的点。多类别弱标签能提供较弱但密集的监督，且覆盖大多数点。传播标签：对于纯组件（即仅包含一种类别的组件），我们可以将标签传播到整个组件。鉴于我们的预分割方法效果显著，传播标签也覆盖了广泛的点。不过，由于某些类别更容易被分离并倾向于形成纯组件，传播标签的分布可能会存在偏差，多样性也不如稀疏标签。 我们利用这三种类型的标签构建了联合损失函数：$\mathcal{L} = \mathcal{L}_{\text{sparse}} + \mathcal{L}_{\text{propagated}} + \mathcal{L}_{\text{weak}}$，其中$\mathcal{L}_{\text{sparse}}$和$\mathcal{L}_{\text{propagated}}$分别是针对稀疏标签和传播标签的加权交叉熵损失。我们使用类别频率的平方根倒数[^38] [^69] [^35]作为类别权重，以突出代表性不足的类别。此处我们为每种标签类型分别计算交叉熵损失，因为传播标签的数量远多于稀疏标签，而稀疏标签能提供更多样化的监督信息。 将弱标签表示为点i和类别j对应的二进制掩码$l_{ij}$。当点i属于包含类别j的组件时，$l_{ij} = 1$取值为1。我们通过惩罚不可能的预测来利用多类别弱标签： $$ \mathcal{L}_{\mathrm{w e a k}}=-\frac{1}{n}\sum_{i=1}^{n}\log(1-\sum_{l_{i j}=0}p_{i j}) $$ 其中 $p_{ij}$ 是点 i 的预测概率，n 表示点的数量。以往的方法 [^54] [^44] 会将每个点的预测结果聚合为组件级别的预测，然后利用多实例学习损失（MIL）[^41] [^42] 来指导学习过程。在这里，我们仅对负预测进行惩罚，而不鼓励正预测。这是因为我们的网络以单次扫描的点云作为输入，而标签是基于时间上融合后的点云收集和生成的。因此，由于遮挡或传感器覆盖范围有限，正实例未必会出现在每次单独扫描中。 ### 3.5 对比原型学习 除了在自监督表征学习领域取得巨大成功 [^7] [^21] [^40] 外，对比学习在监督学习和小样本学习中也展现出了有效性。 --- 学习[^26] [^18] [^46] [^49]。它能够克服交叉熵损失的缺点，比如较差的边界[^13] [^32] [^26] [^63]，并构建更具描述性的嵌入空间。借鉴[^18] [^29] [^48] [^63] [^33]的思路，我们利用有限的标注数据来学习具有区分度的类别原型（即特征空间中的类别质心）。在未进行预训练的情况下，对比原型损失$\mathcal{L}_{\text{proto}}$被作为辅助损失添加到第3.4节中。由于标注数据有限且标签分布不均衡，仅依靠每个批次内的样本来确定类别原型可能会导致结果不稳定。受动量对比思想[^21]的启发，我们转而通过迭代过程中的移动平均值来学习类别原型$\mathbf{P}_c$： $$ \mathbf{P}_{c}\leftarrow m\mathbf{P}_{c}+(1-m)\frac{1}{n_{c}}\sum_{u_{i}=c}stopgrad(h(f(x_{i}))) $$ 其中$f(x_i)$是点$x_i$的嵌入表示，h是带有向量归一化的线性投影头，stopgrad表示停止梯度传播操作，$y_i$是$x_i$的标签，$n_c$是批次中具有标签c的点数，m为动量系数。最初，$\mathbf{P}_c$会被随机初始化。 对于批次内标签稀疏的点以及传播得到的标签，会计算对应的原型损失$\mathcal{L}_{\text{proto}}$： $$ \mathcal{L}_{\mathrm{p r o t o}}=\frac{1}{n}\sum_{i}^{n}-w_{y_{i}}\log\frac{\exp\left(h\left(f\left(x_{i}\right)\right)\cdot\mathbf{P}_{y_{i}}/\tau\right)}{\sum_{c}\exp\left(h\left(f\left(x_{i}\right)\right)\cdot\mathbf{P}_{c}/\tau\right)} $$ 其中 $h(f(x_i)) \cdot \mathbf{P}_{y_i}$ 表示投影后的嵌入向量与原型之间的余弦相似度，$\tau$ 是温度超参数，n 表示点的数量，$w_{y_i}$ 是类别 $y_i$ 的平方根倒数权重。$\mathcal{L}_{\text{proto}}$ 旨在通过增强类内紧凑性和类间可分性来学习更优的嵌入空间。 ### 3.6 多扫描知识蒸馏 我们的目标是训练一个能以单次激光雷达扫描为输入、可实时部署在车载应用中的分割网络。在标注数据有限的训练过程中，我们可以训练一个多扫描网络作为教师模型。该模型会对多次扫描进行时间上的融合，并以密集化的点云作为输入，从而弥补单次扫描中的稀疏性和不完整性。因此，教师模型有望利用更丰富的语义信息，表现出优于单次扫描模型的性能。尤其是对于那些体积小且稀疏、代表性不足的类别，其性能提升可能更为明显。之后，我们将从多扫描教师模型中蒸馏知识，以提升单次扫描学生模型的性能。 具体来说，对于时间t的扫描，我们利用激光雷达传感器的自身位姿，将时间$\{t + i\Delta; i \in [-2,2]\}$内的相邻扫描点云进行融合（其中$\Delta$表示时间间隔）。为了实现较大的批量大小，我们采用体素下采样[^67]技术，将融合后的点云归一化为固定尺寸。随后再相应地融合标签。除了空间坐标外，我们还会为每个点添加一个额外的通道，用于标识其对应的时间索引i。教师模型使用第3.4节和3.5节中介绍的损失函数进行训练。 学生模型采用相同的骨干网络，除单扫描输入外，其训练方式与学生模型一致，即从头开始训练。 --- 之后我们通过加入额外的蒸馏损失$\mathcal{L}_{\text{dis}}$对其进行微调。具体而言，按照[^22]的描述，我们通过交叉熵损失将学生的预测结果与教师模型生成的软伪标签进行匹配： $$ \mathcal{L}_{\mathrm{d i s}}=-\frac{T^{2}}{n}\sum_{i}^{n}\sum_{c}\frac{\exp(u_{i c}/T)}{\sum_{c^{\prime}}\exp(u_{i c^{\prime}}/T)}\log\left(\frac{\exp(v_{i c}/T)}{\sum_{c^{\prime}}\exp(v_{i c^{\prime}}/T)}\right) $$ 其中$u_{ic}$和$v_{ic}$分别是教师模型和学生模型对点i和类别c的预测对数，T是一个温度超参数。通常会使用较高的温度值，以使各类别的概率分布更平滑，从而促使蒸馏过程匹配包含丰富信息的负对数。交叉熵会乘以$T^{2}$，以使梯度的量级与现有其他损失保持一致[^22]。 请注意，多扫描蒸馏的思路可能仅对我们的标签高效型激光雷达分割任务有益。在完全监督的场景中，所有标签均已准确可用，无需利用伪标签；在室内场景中，所有点均来自高质量的重建网格，因此也不需要多扫描教师模型。 ## 4 实验 我们选用Cylinder3D [^68]作为骨干网络，这是近期激光雷达语义分割领域的最先进方法。我们利用真实标签来模拟人工标注结果，不添加额外噪声。更多实现和训练细节请参阅补充材料。 我们在两个大规模自动驾驶数据集SemanticKITTI [^4]和nuScenes [^5]上评估所提出的方法。SemanticKITTI [^4]数据在德国采集，采用64线激光雷达传感器，数据采集和标注频率为10 Hz。该数据集包含10个训练序列（1.9万次扫描）、1个验证序列（4千次扫描）以及11个测试序列（2万次扫描），用于分割的类别数为19类。nuScenes [^5]数据在波士顿和新加坡采集，采用32线激光雷达传感器；尽管数据采集频率为20 Hz，但标注频率仅为2 Hz。该数据集包含700个训练序列（2.8万次扫描）、150个验证序列（6千次扫描）以及150个测试序列（6千次扫描），用于分割的类别数为16类。对于这两个数据集，我们遵循官方指南[^4] [^5]，采用平均交并比（mIoU）作为评估指标。 ### 4.1 SemanticKITTI上的对比实验 我们将所提出的方法与标签效率高的[^55] [^24] [^33] [^23]方法以及完全监督的[^58] [^65] [^1] [^16] [^12] [^27] [^50] [^31] [^68]方法进行比较。请注意，所有具有竞争力的标签高效方法主要针对室内场景设计，并未专门为室外激光雷达分割而设计。其中，ContrastiveSC [^23]采用对比学习作为无监督预训练，并利用学到的特征进行主动标注；ReDAL [^55]也采用主动标注方式；OneThingOneClick [^33]提出了一种自训练方法并迭代传播标签；SQN [^24]则利用邻近点之间的相似性来构建网络。我们报告在验证集上的结果。由于ContrastiveSC [^23]和OneThingOneClick [^33]仅在原文中的室内数据集上进行了测试， ---
MethodAnnot.mIoUcarbicyclemotorcycletruckother-vehiclepersonbicyclistmotorcyclistroadparkingsidewalkother-groundbuildingfencevegetationtrunktrainpoletraffic-sign
SqueezeSegV3 [^58]100%52.7863148514252520954782080478353724238
PolarNet [^65]53.6923139462454620924778289468560725842
MPF [^1]57.0942855623657740954781188538654735742
S-BKI [^16]57.4943457452753720945084089608763756445
TemporalLidarSeg [^12]61.3924354846164680954483189608564715947
KPRNet [^27]63.1954360765175810965184090608866766343
SPVNAS [^50]64.7973572816671860944881092678865746449
AMVNet [^31]65.2964965895571860965483091628867746549
Cylinder3D [^68]65.9975579806775861954682189538771716653
Cylinder3D $^{{*}}$66.2974872946774910934479391608870726353
ReDAL [^55]5%59.8953059635063841923978189548762746450
OneThingOneClick [^33]0.1%26.07700210206303807344783953250
ContrastiveSC [^23]0.1%46.0930062452800903971690428957755434
SQN [^24]0.1%52.093835594641590913776189518561735335
LESS (Ours)0.1%66.0975073946776920934079391608768716251
SQN [^24]0.01%38.383022121715470852165079377746674412
LESS (Ours)0.01%61.0963361735968870923876589528767715946
Table 2: Comparison on the SemanticKITTI validation set. Cylinder3D [^68] is our fully supervised counterpart. Cylinder3D $^{*}$ is our re-trained version with our proposed prototype learning and multi-scan distillation.
我们采用了作者发布的源代码，并在SemanticKITTI [^4]数据集上训练他们的模型。对于其他方法，其结果要么来自文献记载，要么通过与作者沟通获得。 表2列出了相关结果，我们的方法以较大优势超越了现有的标签高效方法。仅使用0.1%的稀疏标签（如第3.4节所定义），其性能甚至完全可与完全监督基线模型Cylinder3D [^68]相媲美，这展现了其在实际应用中部署的潜力。通过查看细分结果我们发现，各方法间的差异主要源于自行车、摩托车、行人及自行车群等类别的样本数量不足。现有主要为室内场景设计的标签高效方法，受样本分布严重不均衡的影响较大，而我们的方法在这些样本量较少的类别中仍具备显著竞争力。更多演示详见图4。OneThingOneClick [^33]未能产生理想结果，部分原因是其基于超体素的假设在室外场景中并不总能成立。在0.01%的标注设置下，SQN [^24]的性能骤降至38.3%，而我们提出的方法仍能实现61.0%的高mIoU值。为求完整起见，我们也用我们提出的原型学习和多扫描蒸馏技术重新训练了Cylinder3D [^68]。我们发现，在所有标签均可用且准确的情况下，这两种策略在完全监督设定中带来的提升十分有限。 ### 4.2 在nuScenes数据集上的比较 我们还在nuScenes [^5]数据集上将所提出的方法与现有方法进行比较，并报告验证集上的结果。由于Cylinder3D [^68]的作者发布的模型是以SemanticKITTI数据集进行预训练的，为了公平比较，此处我们基于从头训练模型的方式来汇报其结果。 --- ![Image](images/a6e6f859574caa566917becf30211555402ccbc3bc9035d8b0d2e7ec4e1bbc49.jpg)
Fig. 4: Qualitative examples on the SemanticKITTI [^4] (first row) and nuScenes [^5] (second row) validation sets. Please zoom in for the details. Red rectangles highlight the wrong predictions. Our results are similar to the fully supervised counterpart, while ContrastiveSceneContext [^23] produces worse results on underrepresented categories (see persons and bicycles). Please noet that, points in two datasets (with different density) are visualized in different point size for better visualization.
Method|Anno|mIOU(%)
(AF)2-S3Net [^9]100%62.2
SPVNAS [^50]74.8
Cylinder3D [^68]75.4
AMVNet [^31]77.2
RPVNet [^59]77.6
ContrastiveSC [^23]0.2%63.5
LESS (Ours)0.2%73.5
ContrastiveSC [^23]0.9%65.5
LESS (Ours)0.9%74.8
Table 3: Comparison on nuScenes validation set. Cylinder3D [^68] is our fully supervised counterpart.
pre-seg.weak labelsprop. labelsproto. learningmulti-scan distillationmIoU (%)
✗✗✗✗✗48.1
✓✗✗✗✗59.3
✓✓✗✗✗61.6
✓✗✓✗✗62.2
✓✓✓✗✗63.5
✓✓✓✓✗64.9
✓✓✓✓✓66.0
Table 4: Ablation study on the SemanticKITTI validation set. All variants use 0.1% sparse labels.
对于其他完全监督方法[^9] [^50] [^31] [^59]，其结果要么来自文献记载，要么通过与作者沟通获得。由于此前没有标签高效方法在nuScenes [^5]数据集上经过测试，我们采用了作者发布的源代码，从头训练ContrastiveSceneContext [^23]模型。 我们想指出，nuScenes数据集中的点云比SemanticKITTI中的要稀疏得多。在nuScenes中，每秒仅标注2次扫描数据，而在SemanticKITTI中，每秒标注10次扫描数据。由于传感器差异（32线对比64线），nuScenes中每次扫描的点数也少得多（26k对比120k）。关于两个数据集的对比结果，可参见右侧插图（0.5秒内的融合点云）。考虑到原始标注标签的稀疏性，此处我们报告了0.2%和0.9%两种标注设置下的结果。 表3展示了相关结果，其中我们提出的方法大幅优于ContrastiveSceneContext [^23]。即便仅使用0.2%的稀疏标签，我们的结果也与完全监督方法[^68]相比极具竞争力。 ![Image](images/50925a242084d0c101bfa7d8789d427e7ef5b61e50c22f3fc74773e31df684a1.jpg) ---
LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds
StatisticsSemanticKITTInuScenes
one-category components68.6%80.6%
two-category components23.8%14.9%
components with more than two categories7.6%4.5%
average number of categories per component1.401.25
coverage of sparse labels0.1%0.2%
coverage of propagated labels42.0%53.6%
coverage of weak labels95.5%99.0%
Table 5: Statistics of the pre-segmentation and labeling. Only sparse labels are directly annotated by humans.
annotation policypre-segmentationmIoU (%)#labels for motorcycleIoU (%) of motorcycle
randomly sample points✗48.194322.2
randomly sample scans✗35.65480.0
active labeling [^23]✗54.245636.7
uniform grid partition✓61.41024 (76k)61.3
geometric partition [^28] [^33]✓61.91190 (294k)64.0
LESS (Ours)✓64.91146 (933k)72.3
Table 6: Comparison of various annotation policies on SemanticKITTI. All methods utilize 0.1% annotations and the same backbone network [^68]. The fourth column indicates the number of sparse labels (and propagated labels) for an underrepresented category (i.e., motorcycle). Multi-scan distillation is not utilized here. The IoU results are calculated on the validation set.
### 4.3 消融实验 表4展示了各组件的消融实验结果。第一行是使用0.1%随机点标签训练得到的结果。通过引入预分割机制，我们将有限的标注预算用在更具代表性的实例上，从而使mIoU从48.1%显著提升至59.3%。基于组件提议生成的弱标签与传播标签，能够补充人工标注的稀疏标签并提供密集的监督信息。与多类别弱标签相比，传播标签能提供更精准的监督，因此带来的性能提升也更明显。对比原型学习与多扫描蒸馏机制进一步推动了性能的提升，最终缩小了LESS与完全监督方法在mIoU指标上的差距。 ### 4.4 预分割与标注分析 借助独特的几何结构与精心的设计，我们的预分割方法在室外激光雷达点云上表现优异。表5总结了预分割与标注结果的一些统计数据。对于这两个数据集而言，包含超过两类物体的组件占比均不足10%，这验证了我们的预分割方法能生成纯度较高的组件。“传播标签的覆盖率”较高，说明我们能从纯组件中获取大量“免费”的监督信息。“稀疏标签的覆盖率”较低，表明标注人员确实只需标注极少部分点云，从而减少了人力成本。“弱标签的覆盖率”则证实所提出的组件能够完整覆盖大部分点云。此外，两个不同数据集上一致的结果也验证了该方法在实际应用中的良好泛化能力。 --- ![Image](images/8ab975b0e50cf5058218d4eeee22256d9e87765f6423da1dcdbeb5cc5d4578af.jpg)
Fig. 5: Improving segmentation with multi-scan distillation. The multi-scan teacher leverages the richer semantics via temporal fusion to accurately segment the bicycle and ground, which provides high-quality supervision to enhance the single-scan model.
single-scan (before)multi-scan teachersingle-scan (after)
mIoUbicyclemIoUbicyclemIoUbicycle
64.9%45.6%66.8%51.5%66.0%49.9%
Table 7: Results of the multi-scan distillation on the SemanticKITTI validation set. 0.1% annotations are used.
表6展示了不同标注策略（即标注预算的使用方式）的对比结果。前两种基线方法在第3.1节已有介绍：“主动标注”利用对比预训练得到的特征来主动选择点云[^23]；“均匀网格划分”则根据xy坐标将融合点云均匀划分为网格，并将每个网格视为一个组件；“几何划分”提取手工设计的几何特征并求解最小划分问题[^28] [^68]。所有方法均采用相同的骨干网络Cylinder3D [^68]进行训练。前三种方法未采用预分割机制，且仅用$\mathcal{L}_{sparse}$进行训练。其他方法则采用我们的标注策略（即每个组件每个类别标注一个标签），并额外使用$\mathcal{L}_{propagated}$、$\mathcal{L}_{weak}$和$\mathcal{L}_{proto}$进行训练。结果显示，它们的性能远高于前三种方法。我们还报告了各类别的标注数量与IoU值。可以看出，我们的策略能提供更有效的监督信息，从而提升代表性较弱类别的IoU值。 ### 4.5 多扫描蒸馏分析 表7和图5展示了多扫描蒸馏的结果。教师模型通过时间融合利用了密集化的点云，因此其性能优于单扫描模型（甚至比完全监督的单扫描模型表现更好）。通过从教师模型进行知识蒸馏，学生模型在类别样本量较少的类上的表现得到显著提升，其mIoU指标也完全达到了完全监督模型的水平。 ## 5 结论与未来工作 我们研究了标签效率高的激光雷达点云语义分割问题，提出了一种将标注与模型学习协同设计的流程，该流程可适配大多数3D分割骨干网络。实验表明，我们的方法仅需极少量的人工标注即可实现极具竞争力的性能。 我们已经证明LESS是一种用于启动标注及从零开始学习的有效方法。此外，LESS在高效优化高性能模型方面也具有极高的兼容性。借助现有模型的预测结果，所提出的流程可帮助标注员挑选并标注高价值的组件提议，例如类别样本量较少的类、长尾实例、错误率最高的类等。这部分内容我们将留待未来进一步探索。 --- 在这份补充材料中，我们首先介绍了所提方法及基线方法的实现与训练细节（附录S.1）。随后展示了预分割结果的视觉示例（附录S.2）、nuScenes数据集上的完整实验结果（附录S.3），以及SemanticKITTI数据集上的多扫描蒸馏结果（附录S.4）。最后，我们分析了生成的标签分布（附录S.5）以及对标签噪声的鲁棒性（附录S.6）。 ### S.1 实现与训练细节 预分割与标注：虽然部分先前的研究要求完美的预分割结果，但我们提出的基于弱标签和传播标签的标注与训练流程能够容忍不完美的组件提议（例如包含多个类别的组件，或某个物体实例被拆分为多个组件），这大大降低了预分割质量对最终性能的影响。我们的预分割启发式方法仅包含两个关键步骤：地面去除和连通分量构建。与其他复杂的启发式方法相比，它的超参数更少。同时，得益于室外点云的良好特性（即物体之间分隔明显），我们在实验中发现这些超参数的选择直观且容易确定，无需花费太多精力。 例如，在地面去除环节，我们发现单元格大小和RANSAC阈值在不同数据集上均具有鲁棒性，因此我们对两个数据集均将其设置为$5m \times 5m$和$0.2m$。在构建连通分量时，参数d需根据激光雷达传感器的特性进行调整（点云越稀疏，d的取值越大）。对于SemanticKITTI [^4]数据集和nuScenes [^5]数据集，我们分别将d设为0.01和0.02。在我们的实验中，通过视觉检查来选择超参数既方便又能获得令人满意的结果。 对于SemanticKITTI [^4]数据集，在0.1%的设置下我们会融合每5个相邻的扫描结果；而在0.01%的设置下则融合每100个相邻的扫描结果。融合更多相邻扫描结果能够提升标注效率，但可能会牺牲预分割的质量，因为点云可能会变得模糊，尤其是针对动态物体而言。在构建连通分量之后，尺寸过大的分量会沿xy轴被细分，以确保每个分量的大小都控制在固定范围内（即非地面分量对应的$2m \times 2m$）。我们还会忽略那些包含点数不超过100个的小分量。对于每个大小为s的分量而言， ![Image](images/70822399af1a1fb90596ce2eab4ac1266d36d162b15af59068152f305a7e59d9.jpg)
SemanticKITTI (617k points)
![Image](images/f9308db6bd4c75122cc774a1dd643035bb26f3ca23ab6a0912dff1cac6476178.jpg)
nuScenes (26k points)
我们会为点数超过0.05s的每一类别随机标注1个点。这样做的目的是防止每个分量内的噪声点和模糊点降低分量的纯度。在实际应用中，人工标注员为了加快标注速度，也可能会忽略或跳过这些噪声类别。 ---
MethodAnno.mIoUconstruction-vehicledrivable-surfacevegetation
barrierbicyclebuscarmotorcyclepedestriantraffic-conetrailertruckother-flatterrian
(AF)2-S3Net [^9]100%62.260.312.682.380.020.162.059.049.042.267.494.268.064.168.682.982.4
RangeNet++ [^39]65.566.021.377.280.930.266.869.652.154.272.394.166.663.570.183.179.8
PolarNet [^65]71.074.728.285.539.093.5177.571.358.857.476.196.571.174.774.087.385.7
SPVNAS [^50]74.874.939.991.186.445.883.772.164.362.583.396.272.773.674.188.387.4
Cylinder3D [^68]75.475.341.791.186.615.279.379.266.161.581.796.472.373.873.588.186.5
AMVNt [^31]77.077.743.891.179.305.11.180.378.865.769.683.596.971.475.175.390.188.3
RPVNet [^59]77.678.243.492.793.224.085.780.566.066.984.096.973.575.976.090.688.9
ContrastiveSC [^23]0.2%63.565.60.082.787.342.846.357.132.259.076.494.262.565.968.887.788.6
LESS (Ours)0.2%73.573.738.392.089.746.975.670.958.464.883.095.566.767.091.889.287.3
ContrastiveSC [^23]0.9%64.564.012.780.787.641.1155.861.637.559.175.294.265.667.070.188.087.2
LESS (Ours)0.9%74.875.042.391.989.951.080.072.660.164.983.695.767.571.773.189.587.6
Table S8: Comparison of different methods on the nuScenes validation set. Cylinder3D [^68] is our fully supervised counterpart.
对于nuScenes [^5]数据集，我们采用的超参数与SemanticKITTI数据集相同，仅有以下区别：我们会融合每40个相邻的扫描结果，并且忽略那些包含点数不超过10个的小分量。对于每个大小为s的分量提议，我们会为点数超过0.01s的每一类别随机标注1个（或4个）点，这分别对应0.2%（0.9%）的设置。这些细微差异主要是由于nuScenes [^5]数据集中的点云更为稀疏（例如右侧插图展示了0.5秒内的融合点云），因此我们需要融合更多点并标注更多标签来弥补点云稀疏的问题。 网络训练方面，在对比原型学习环节，动量参数m经实验设定为0.99，温度参数$\tau$设为0.1。在多扫描蒸馏环节，我们对SemanticKITTI数据集在时间点$\{t + 0.5i; i \in [-2,2]\}$进行扫描融合，对nuScenes数据集则在时间点$\{t + 0.5i; i \in [-3,3]\}$进行扫描融合。我们尝试了多组参数（不同的扫描数量和间隔），它们确实会导致一些差异（$\sim3\%$ mIOU），最终我们凭经验选择了最佳参数。我们保留扫描$i = 0$中的所有点，并使用体素下采样从其他扫描中选取12万个点。温度T被设定为4。 我们将所有损失项按相等权重求和，并在4块NVIDIA A100 GPU上训练模型。对于SemanticKITTI数据集，单扫描模型和多扫描模型的批量大小分别为12和8；对于nuScenes数据集，单扫描模型和多扫描模型的批量大小分别为16和12。我们采用Adam优化器，初始学习率设为$1e-3$，收敛后再衰减至$1e-4$。在蒸馏过程中，学习率被设定为$1e-4$。其他训练参数与Cylinder3D [^68]保持一致。 --- ![Image](images/93bab9a011a2aeb0fe4bf079d99c33fdf5937d4c22428584680441fb242bf414.jpg)
Fig. S6: Examples of the pre-segmentation results. First row: detected ground points of each cell. Non-ground points are colored in gray. Each other color indicates a proposed ground component. Second row: connected components of the non-ground points. Each color indicates a connected component. The example is from the nuScenes dataset, where 40 scans are fused.
基线方法方面，我们采用作者发布的代码，在SemanticKITTI和nuScenes数据集上训练OneThingOneClick [^33]以及ContrastiveSceneContext [^23]。至于其他方法，其结果是要么来自文献报道，要么是经作者确认的结果。 对于ContrastiveSceneContext [^23]，我们首先计算每个序列内每对扫描结果之间的重叠比例，其中体素大小被设定为0.3米。接着，我们选取重叠比例不低于30%的扫描对用于对比预训练。在预训练阶段，模型以0.15米的体素大小进行训练，迭代次数为10万次。SemanticKITTI和nuScenes数据集上的批量大小分别为12和20。随后，我们按照既定流程推断点特征并挑选待标注的点。之后，我们利用预训练权重对分割网络进行训练，迭代次数为3万次。此时体素大小被设定为0.1米，SemanticKITTI和nuScenes数据集上的批量大小则分别设为18和36。我们还启用了弹性形变以及色彩相关的数据增强技术。 对于OneThingOneClick [^33]，我们首先应用[^28]中描述的几何划分方法来生成超体素，该过程仅以点坐标作为输入。接着，在给定的标注预算范围内随机为一部分超体素打上标签。我们遵循作者的指导，将各模块的训练迭代次数设为3次。每次迭代中，3D-U-Net的训练周期数为32（即5.1万次迭代）， ---
carbicyclemotorcycletruckother-vehiclepersonbicyclistmotorcyclistroadparkingsidewalkother-groundbuildingfencevegetationtrunkterrainpoletraffic sign
sparse ( $\times 0.1\%$)0.82.70.90.60.81.81.82.70.40.70.61.40.81.01.02.01.03.14.1
propagated (%)79127577755264481669177725552932289
Table S9: The coverage of sparse labels and propagated labels for the SemanticKITTI dataset. The numbers are the ratios between the number of sparse labels (and propagated labels) and the number of points within each category.
barrierbicyclebuscarconstruction-vehiclemotorcyclepedestriantraffic-conetrailertruckdrivable-surfaceother-flatsidewalkterrianmanmadevegetation
sparse ( $\times 0.1\%$)2.420.94.04.64.88.019.912.23.43.40.61.71.93.14.87.9
propagated (%)161653525446292049593222116255
Table S10: The coverage of sparse labels and propagated labels for the nuScenes dataset. The numbers are the ratios between the number of sparse labels (and propagated labels) and the number of points within each category.
RelationNet的训练周期数则为64（即10.2万次迭代）。训练期间，体素大小被设定为0.1米，批量大小为12。我们关闭了用于数据增强的弹性形变功能。 ### S.2 预分割的可视化结果 图S6展示了我们的预分割结果示例。 ### S.3 nuScenes上的完整结果 表S8展示了nuScenes验证集上的完整结果。 ### S.4 多扫描蒸馏的完整表格 表S11展示了多扫描蒸馏的完整结果。多扫描教师模型通过时间融合利用了更丰富的语义信息，因此在自行车、行人和骑手等样本量较少的类别上取得了显著更好的性能。通过从教师模型进行知识蒸馏，学生模型在这些类别上的表现也大幅提升。 ---
MethodmIOUcarbicyclemotorcycletruckother-vehiclepersonbicyclistmotorcyclistroadparkingsidewalkother-groundbuildingfencevegetationtrunkterrainpoletraffic sign
single-scan (before)64.9974672916973880923977490588866736152
multi-scan teacher66.8975282947278920934079189548770726453
single-scan (after)66.0975073946776920934079391608768716251
Table S11: Results of the multi-scan distillation on the SemanticKITTI validation set. 0.1% annotations are used.
### S.5 标签分布 表S9和表S10总结了生成的稀疏标签与传播标签的分布情况。借助我们提出的预分割和标注策略，我们对样本量较少的类别给予了更多关注。例如，在SemanticKITTI数据集中，自行车和道路的稀疏标签占比分别为2.68和0.36；在nuScenes数据集中，这一比例则为20.85和0.63。至于传播标签，我们发现其分布并不均衡。汽车和建筑物等类别更容易被分离并形成纯净的组件，因此传播标签的覆盖率较高。然而，自行车、道路、人行道和停车场等类别容易与其他类别相互粘连，导致传播标签的覆盖率较低。这两类标签分布的差异表明，我们必须对它们区别对待，而不能简单地用单一损失函数将它们合并处理。 ### S.6 对标签噪声的鲁棒性 在论文中，我们使用原始数据集中的点标签来模拟标注策略，并未添加额外的噪声。 为了评估我们的方法对标签噪声的鲁棒性，我们将3%（或10%）的稀疏点标签随机更改为其他类别，从而相应地改变弱标签和传播标签。结果显示，mIoU值下降了2.1%（或3.7%），这一降幅在合理范围内，证明我们的方法不会受到标签噪声的显著影响。 ## 参考文献 [^1]: Alnaggar, Y.A., Affi, M., Amer, K., ElHelw, M.: Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 1800–1809 (2021) 3, 10, 11 [^2]: Alonso, I., Riazuelo, L., Montesano, L., Murillo, A.C.: 3d-mininet: Learning a 2d representation from point clouds for fast and efficient 3d lidar semantic segmentation. IEEE Robotics and Automation Letters 5(4), 5432–5439 (2020) 3 ## [^3]: Armeni, I., Sax, S., Zamir, A.R., Savarese, S.: Joint 2d-3d-semantic data for indoor scene understanding. arXiv preprint arXiv:1702.01105 (2017) 2, 4 --- [^4]: Behley, J., Garbade, M., Milioto, A., Quenzel, J., Behnke, S., Stachniss, C., Gall, J.: Semantickitti: A dataset for semantic scene understanding of lidar sequences. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). pp. 9297–9307 (2019) 1, 2, 3, 4, 5, 8, 10, 11, 12, 15 [^5]: Caesar, H., Bankiti, V., Lang, A.H., Vora, S., Liong, V.E., Xu, Q., Krishnan, A., Pan, Y., Baldan, G., Beijbom, O.: NusCenes: A multimodal dataset for autonomous driving. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 11621–11631 (2020) 1, 2, 3, 4, 10, 11, 12, 15, 16 [^6]: Chang, A.X., Funkhouser, T., Guibas, L., Hanrahan, P., Huang, Q., Li, Z., Savarese, S., Savva, M., Song, S., Su, H., et al.: Shapenet: An information-rich 3d model repository. arXiv preprint arXiv:1512.03012 (2015) 2, 4 [^7]: Chen, T., Kornblith, S., Norouzi, M., Hinton, G.: A simple framework for contrastive learning of visual representations. In: Proceedings of the International Conference on Machine Learning (ICML). pp. 1597–1607. PMLR (2020) 8 [^8]: Cheng, M., Hui, L., Xie, J., Yang, J., Kong, H.: Cascaded non-local neural network for point cloud semantic segmentation. In: 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). pp. 8447–8452. IEEE (2020) 4 [^9]: Cheng, R., Razani, R., Taghavi, E., Li, E., Liu, B.: Af2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12547–12556 (2021) 1, 4, 12, 16 [^10]: Cortinhal, T., Tzelepis, G., Aksoy, E.E.: Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds. In: International Symposium on Visual Computing. pp. 207–222. Springer (2020) 3 [^11]: Dai, A., Chang, A.X., Savva, M., Halber, M., Funkhouser, T., Nießner, M.: Scannet: Richly-annotated 3d reconstructions of indoor scenes. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 5828–5839 (2017) 2, 4 [^12]: Duerr, F., Pfaller, M., Weigel, H., Beyerer, J.: Lidar-based recurrent 3d semantic segmentation with temporal memory alignment. In: Proceedings of the International Conference on 3D Vision (3DV). pp. 781–790. IEEE (2020) 3, 10, 11 [^13]: Elsayed, G.F., Krishnan, D., Mobahi, H., Regan, K., Bengio, S.: Large margin deep networks for classification. In: Advances in Neural Information Processing Systems (NeurIPS) (2018) 9 [^14]: Fang, Y., Xu, C., Cui, Z., Zong, Y., Yang, J.: Spatial transformer point convolution. arXiv preprint arXiv:2009.01427 (2020) 4 [^15]: Fischler, M.A., Bolles, R.C.: Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM 24(6), 381–395 (1981) 7 [^16]: Gan, L., Zhang, R., Grizzle, J.W., Eustice, R.M., Ghaffari, M.: Bayesian spatial kernel smoothing for scalable dense semantic mapping. IEEE Robotics and Automation Letters 5(2), 790–797 (2020) 10, 11 [^17]: Gao, B., Pan, Y., Li, C., Geng, S., Zhao, H.: Are we hungry for 3d lidar data for semantic segmentation? ArXiv abs/2006.04307 3, 20 (2020) 4 [^18]: Gao, Y., Fei, N., Liu, G., Lu, Z., Xiang, T., Huang, S.: Contrastive prototype learning with augmented embeddings for few-shot learning. arXiv preprint arXiv:2101.09499 (2021) 3, 9 ## [^19]: Gerdzhev, M., Razani, R., Taghavi, E., Bingbing, L.: Tornado-net: multiview total variation semantic segmentation with diamond inception module. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). pp. 9543–9549. IEEE (2021) 3 --- [^20]: Guinard, S., Landrieu, L.: Weakly supervised segmentation-aided classification of urban scenes from 3d lidar point clouds. In: ISPRS Workshop 2017 (2017) 2, 4, 6, 7 [^21]: He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.: Momentum contrast for unsupervised visual representation learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 9729–9738 (2020) 8, 9 [^22]: Hinton, G., Vinyals, O., Dean, J.: Distilling the knowledge in a neural network. In: Advances in Neural Information Processing Systems (NeurIPS) (2015) 10 [^23]: Hou, J., Graham, B., Nießner, M., Xie, S.: Exploring data-efficient 3d scene understanding with contrastive scene contexts. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 15587–15597 (2021) 2, 4, 10, 11, 12, 13, 14, 16, 17 [^24]: Hu, Q., Yang, B., Fang, G., Guo, Y., Leonardis, A., Trigoni, N., Markham, A.: Sqn: Weakly-supervised semantic segmentation of large-scale 3d point clouds with 1000x fewer labels. arXiv preprint arXiv:2104.04891 (2021) 2, 10, 11 [^25]: Hu, Q., Yang, B., Xie, L., Rosa, S., Guo, Y., Wang, Z., Trigoni, N., Markham, A.: Randla-net: Efficient semantic segmentation of large-scale point clouds. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 11108–11117 (2020) 4 [^26]: Khosla, P., Teterwak, P., Wang, C., Sarna, A., Tian, Y., Isola, P., Maschinot, A., Liu, C., Krishnan, D.: Supervised contrastive learning. In: Advances in Neural Information Processing Systems (NeurIPS) (2020) 9 [^27]: Kochanov, D., Nejadasl, F.K., Booij, O.: Kprnet: Improving projection-based lidar semantic segmentation. arXiv preprint arXiv:2007.12668 (2020) 3, 10, 11 [^28]: Landrieu, L., Simonovsky, M.: Large-scale point cloud semantic segmentation with superpoint graphs. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4558–4567 (2018) 13, 14, 17 [^29]: Li, J., Zhou, P., Xiong, C., Hoi, S.C.: Prototypical contrastive learning of unsupervised representations. In: Proceedings of the International Conference on Learning Representations (ICLR) (2020) 3, 9 [^30]: Li, S., Chen, X., Liu, Y., Dai, D., Stachniss, C., Gall, J.: Multi-scale interaction for real-time lidar data segmentation on an embedded platform. arXiv preprint arXiv:2008.09162 (2020) 3 [^31]: Liong, V.E., Nguyen, T.N.T., Widjaja, S., Sharma, D., Chong, Z.J.: Amvnet: Assertion-based multi-view fusion network for lidar semantic segmentation. arXiv preprint arXiv:2012.04934 (2020) 3, 10, 11, 12, 16 [^32]: Liu, W., Wen, Y., Yu, Z., Yang, M.: Large-margin softmax loss for convolutional neural networks. In: Proceedings of the International Conference on Machine Learning (ICML). vol. 2, p. 7 (2016) 9 [^33]: Liu, Z., Qi, X., Fu, C.W.: One thing one click: A self-training approach for weakly supervised 3d semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1726–1736 (2021) 2, 3, 4, 6, 7, 9, 10, 11, 13, 17 [^34]: Luo, H., Wang, C., Wen, C., Chen, Z., Zai, D., Yu, Y., Li, J.: Semantic labeling of mobile lidar point clouds via active learning and higher order mrf. IEEE Transactions on Geoscience and Remote Sensing 56(7), 3631–3644 (2018) 2, 4 ## [^35]: Mahajan, D., Girshick, R., Ramanathan, V., He, K., Paluri, M., Li, Y., Bharambe, A., Van Der Maaten, L.: Exploring the limits of weakly supervised pretraining. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 181–196 (2018) 8 --- [^36]: Mei, J., Gao, B., Xu, D., Yao, W., Zhao, X., Zhao, H.: Semantic segmentation of 3d lidar data in dynamic scene using semi-supervised learning. IEEE Transactions on Intelligent Transportation Systems 21(6), 2496–2509 (2019) 4 [^37]: Mei, J., Zhao, H.: Incorporating human domain knowledge in 3-d lidar-based semantic segmentation. IEEE Transactions on Intelligent Vehicles 5(2), 178–187 (2019) 4 [^38]: Mikolov, T., Sutskever, I., Chen, K., Corrado, G.S., Dean, J.: Distributed representations of words and phrases and their compositionality. In: Advances in Neural Information Processing Systems (NeurIPS). pp. 3111–3119 (2013) 8 [^39]: Milioto, A., Vizzo, I., Behley, J., Stachniss, C.: Rangenet++: Fast and accurate lidar semantic segmentation. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). pp. 4213–4220. IEEE (2019) 3, 16 [^40]: Oord, A.v.d., Li, Y., Vinyals, O.: Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748 (2018) 8 [^41]: Pathak, D., Shelhamer, E., Long, J., Darrell, T.: Fully convolutional multi-class multiple instance learning. arXiv preprint arXiv:1412.7144 (2014) 8 [^42]: Pinheiro, P.O., Collobert, R.: From image-level to pixel-level labeling with convolutional networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1713–1721 (2015) 8 [^43]: Razani, R., Cheng, R., Taghavi, E., Bingbing, L.: Lite-hdseg: Lidar semantic segmentation using lite harmonic dense convolutions. arXiv preprint arXiv:2103.08852 (2021) 3 [^44]: Ren, Z., Misra, I., Schwing, A.G., Girdhar, R.: 3d spatial recognition without spatially labeled 3d. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 13204–13213 (2021) 2, 4, 8 [^45]: Rist, C.B., Schmidt, D., Enzweiler, M., Gavrila, D.M.: Scssnet: Learning spatially-conditioned scene segmentation on lidar point clouds. In: 2020 IEEE Intelligent Vehicles Symposium (IV). pp. 1086–1093. IEEE (2020) 3 [^46]: Schroff, F., Kalenichenko, D., Philbin, J.: Facenet: A unified embedding for face recognition and clustering. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 815–823 (2015) 9 [^47]: Shi, X., Xu, X., Chen, K., Cai, L., Foo, C.S., Jia, K.: Label-efficient point cloud semantic segmentation: An active learning approach. arXiv preprint arXiv:2101.06931 (2021) 2, 4, 6, 7 [^48]: Snell, J., Swersky, K., Zemel, R.S.: Prototypical networks for few-shot learning. In: Advances in Neural Information Processing Systems (NeurIPS) (2017) 3, 9 [^49]: Sohn, K.: Improved deep metric learning with multi-class n-pair loss objective. In: Advances in Neural Information Processing Systems (NeurIPS). pp. 1857–1865 (2016) 9 [^50]: Tang, H., Liu, Z., Zhao, S., Lin, Y., Lin, J., Wang, H., Han, S.: Searching efficient 3d architectures with sparse point-voxel convolution. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 685–702. Springer (2020) 1, 4, 10, 11, 12, 16 [^51]: Thomas, H., Agro, B., Gridseth, M., Zhang, J., Barfoot, T.D.: Self-supervised learning of lidar segmentation for autonomous indoor navigation. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). pp. 14047–14053. IEEE (2021) 4 ## [^52]: Thomas, H., Qi, C.R., Deschaud, J.E., Marcotegui, B., Goulette, F., Guibas, L.J.: Kpconv: Flexible and deformable convolution for point clouds. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). pp. 6411–6420 (2019) 4 --- [^53]: Wang, H., Rong, X., Yang, L., Feng, J., Xiao, J., Tian, Y.: Weakly supervised semantic segmentation in 3d graph-structured point clouds of wild scenes. arXiv preprint arXiv:2004.12498 (2020) 2, 4 [^54]: Wei, J., Lin, G., Yap, K.H., Hung, T.Y., Xie, L.: Multi-path region mining for weakly supervised 3d semantic segmentation on point clouds. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4384–4393 (2020) 2, 4, 8 [^55]: Wu, T.H., Liu, Y.C., Huang, Y.K., Lee, H.Y., Su, H.T., Huang, P.C., Hsu, W.H.: Redal: Region-based and diversity-aware active learning for point cloud semantic segmentation. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). pp. 15510–15519 (2021) 2, 4, 10, 11 [^56]: Xiao, A., Huang, J., Guan, D., Zhan, F., Lu, S.: Synlidar: Learning from synthetic lidar sequential point cloud for semantic segmentation. arXiv preprint arXiv:2107.05399 (2021) 4 [^57]: Xie, S., Gu, J., Guo, D., Qi, C.R., Guibas, L., Litany, O.: Pointcontrast: Unsupervised pre-training for 3d point cloud understanding. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 574–591. Springer (2020) [^58]: Xu, C., Wu, B., Wang, Z., Zhan, W., Vajda, P., Keutzer, K., Tomizuka, M.: Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 1–19. Springer (2020) 3, 10, 11 [^59]: Xu, J., Zhang, R., Dou, J., Zhu, Y., Sun, J., Pu, S.: Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation. arXiv preprint arXiv:2103.12978 (2021) 1, 4, 12, 16 [^60]: Xu, K., Yao, Y., Murasaki, K., Ando, S., Sagata, A.: Semantic segmentation of sparsely annotated 3D point clouds by pseudo-labelling. In: Proceedings of the International Conference on 3D Vision (3DV). pp. 463–471. IEEE (2019) 2, 4 [^61]: Xu, X., Lee, G.H.: Weakly supervised semantic point cloud segmentation: Towards 10x fewer labels. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 13706–13715 (2020) 2, 4 [^62]: Yan, X., Gao, J., Li, J., Zhang, R., Li, Z., Huang, R., Cui, S.: Sparse single sweep lidar point cloud segmentation via learning contextual shape priors from scene completion. In: Proceedings of the AAAI Conference on Artificial Intelligence (AAAI) (2020) 1, 4 [^63]: Yang, H.M., Zhang, X.Y., Yin, F., Liu, C.L.: Robust classification with convolutional prototype learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 3474–3482 (2018) 3, 9 [^64]: Zhang, F., Fang, J., Wah, B., Torr, P.: Deep fusionnet for point cloud semantic segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 644–663. Springer (2020) 4 [^65]: Zhang, Y., Zhou, Z., David, P., Yue, X., Xi, Z., Gong, B., Foroosh, H.: Polarnet: An improved grid representation for online lidar point clouds semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 9601–9610 (2020) 3, 10, 11, 16 [^66]: Zhao, N., Chua, T.S., Lee, G.H.: Few-shot 3d point cloud semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 8873–8882 (2021) 2, 4 ## [^67]: Zhou, Y., Tuzel, O.: Voxelnet: End-to-end learning for point cloud based 3d object detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (June 2018) 9 --- [^68]: Zhu, X., Zhou, H., Wang, T., Hong, F., Ma, Y., Li, W., Li, H., Lin, D.: Cylindrical and asymmetrical 3d convolution networks for lidar segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 9939–9948 (2021) 1, 2, 4, 5, 10, 11, 12, 13, 14, 16 [^69]: Zou, Y., Weinacker, H., Koch, B.: Towards urban scene semantic segmentation with deep learning from lidar point clouds: A case study in baden-württemberg, germany. Remote Sensing 13(16), 3220 (2021) 8