# BEV-MAE: 用于自动驾驶场景中点云预训练的俯视图掩码自编码器林志伟 $^{1}$，王永涛 $^{1*}$，戚盛祥 $^{2}$，董楠 $^{2}$，杨明轩 $^{3}$ $^{1}$北京大学计算机技术王轩研究院 $^{2}$重庆长安汽车有限公司 $^{3}$加州大学默塞德分校 {zwlin, wyt}@pku.edu.cn, , , ## 摘要现有的基于 LiDAR 的 3D 目标检测方法主要采用从头开始训练的范式。不幸的是，这种范式在很大程度上依赖于大规模的标注数据，而收集这些数据既昂贵又耗时。自监督预训练是一种有效且理想的方法，可以减轻对大量标注数据的依赖。在本文中，我们提出了 BEV-MAE，这是一种用于自动驾驶场景中基于 LiDAR 的 3D 目标检测的有效掩码自编码器预训练框架。具体来说，我们提出了一种基于俯视图 (BEV) 的掩码策略，以引导 3D 编码器在俯视图中学习特征表示，并在预训练过程中避免复杂的解码器设计。此外，我们引入了一种可学习的点令牌，以保持 3D 编码器的受样范围大小与细调的掩码点云输入保持一致。基于自动驾驶场景中室外点云的特性，即远距离对象的点云更加稀疏，我们提出了点密度预测，以使 3D 编码器能够学习位置信息，这对于目标检测至关重要。实验结果表明，BEV-MAE 优于现有的最先进的自监督方法，并且在预训练效率方面表现良好。此外，基于 TransFusion-L，BEV-MAE 在 nuScenes 基准测试中实现了新的最先进的基于 LiDAR 的 3D 目标检测结果，NDS 为 73.6，mAP 为 69.6。源代码将在上发布。 ## 引言 3D 目标检测是自动驾驶中最基本的任务之一。它旨在在 3D 空间中定位对象并同时对它们进行分类。近年来，由于可用的标注训练数据的增加，基于 LiDAR 的 3D 目标检测方法取得了显著的进展 (Caesar et al. 2020)。然而，现有的基于 LiDAR 的 3D 目标检测方法通常采用从头开始训练的范式，这带来了两个问题。首先，从头开始训练的范式在很大程度上依赖于大量的标注数据。对于 3D 目标检测，注释精确的边界框和分类标签既昂贵又耗时，例如，在 KITTI 上注释一个对象需要 ![Image](images/1efb97054f334c2ecaa831716dd939d79162c4f07bdc2db6f33c7e859dd536d4.jpg)

Figure 1: Performance improvement vs. Pre-training time trade-off. All entries are benchmarked by a P40 GPU. The 3D object detector is CenterPoint (Yin, Zhou, and Krahenbuhl 2021). All models are pre-trained on full Waymo and then fine-tuned with 20% training samples on Waymo.

大约 114 秒。其次，在许多实际场景中，自动驾驶汽车每天可以生成大量的未标注点云数据，而这些数据无法用于从头开始训练的范式。一个简单而可行的解决方案是自监督预训练，该方法在计算机视觉（He 等，2022 年）和自然语言处理（Devlin 等，2019 年）等领域得到广泛应用。通过解决预先设计的预设任务，自监督预训练可以在大规模无标签数据上学习通用且可转移的特征表示。自监督学习中的一种主流方法是掩码建模，如图 2 所示。具体来说，许多方法采用掩码图像建模（He 等，2022 年；Xie 等，2022 年）和掩码语言建模（Devlin 等，2019 年）来通过从掩码输入中重建图像、单词和句子来预训练网络。最近，有几种方法（Yu 等，2022 年；Pang 等，2022 年）使用掩码点建模来处理密集点云，并在形状分类、形状分割和室内 3D 对象检测方面取得了令人鼓舞的成果。 --- ![Image](images/ca5375d1f3e2905663643e03c45f8e02d6ffbc395eae9ef054c61ab2dc31775b.jpg)

Figure 2: Illustration of several masking strategies in the masked modeling. MAE (He et al. 2022) masks non-overlapping image patches. BERT (Devlin et al. 2019) masks words or sentences. Point-MAE (Pang et al. 2022) uses furthest point sampling to create overlapping point patches. Our method (right) projects point clouds into a BEV plane, and masks points in non-overlapping BEV grids.

然而，这些方案主要关注合成或室内数据集，例如 ShapeNet（Chang 等，2015 年）、ModelNet40（Wu 等，2015 年）和 ScanNet（Dai 等，2017 年）。当应用于自动驾驶场景时，由于场景范围更广，点云密度更稀疏，其结果并不令人满意（Liang 等，2021 年）。为了解决这个问题，一些研究（Hess 等，2023 年；Tian 等，2023 年）探索了用于自动驾驶场景的掩码建模。然而，这些方法主要采用基于体素的掩码策略，并在体素中恢复掩码点。这些基于体素的预训练流程与流行的基于俯视图 (BEV) 的 3D 对象检测方法之间存在特征表示差距。在本文中，我们提出了专为在自动驾驶点云上预训练 3D 对象检测器的俯视图掩码自编码器，即 BEV-MAE。与随机掩码点云或体素不同，我们提出了一种基于俯视图的掩码策略（图 2 的右侧），具有两个优点。首先，我们通过在俯视图平面上重建掩码信息，强制 3D 编码器以俯视图视角学习特征表示。因此，在微调过程中，预训练的 3D 编码器可以促进 3D 检测器在俯视图视角的训练过程。其次，基于 LiDAR 的 3D 对象检测器的 3D 编码器通常会降低点或体素的分辨率，以节省计算开销，例如 GPU 内存和训练时间。借助基于俯视图的掩码策略，我们无需设计复杂的具有上采样操作的解码器（Shi 等，2020 年），因为掩码网格的大小与俯视图特征的分辨率相匹配。BEV-MAE 采用简单的单层 $3 \times 3$ 卷积作为解码器，即可实现出色的结果。通过设计基于俯视图的掩码策略，我们获得了相当大的预训练效率提升，如图 1 所示。由于常用的稀疏 3D 卷积仅在占据区域附近执行计算，因此当输入带有遮挡点的时，3D 编码器的感受野大小可能会减小，从而导致学习效率低下和泛化能力差。为了解决这个问题，我们在预训练期间，用共享的可学习点token替换遮挡点，以保持3D编码器在微调期间的感受野大小一致。共享的可学习点token可以帮助未遮挡区域之间的通信，同时避免向预训练任务提供额外信息。此外，我们还引入了对遮挡区域的点密度预测，除了使用遮挡点云的坐标作为重建目标外（Hess et al. 2023; Yang et al. 2023）。由于点云在远离LiDAR传感器时会变得稀疏，因此点云密度可以反映点与中心LiDAR传感器之间的距离。自然地，密度预测可以引导模型学习位置信息，这对于目标检测至关重要。本工作的主要贡献包括： - 我们提出了一种简单高效的自监督预训练方法，BEV-MAE，专为自动驾驶中的基于LiDAR的3D目标检测器设计。通过我们提出的基于BEV的遮挡策略，3D目标检测器的3D编码器可以直接学习以BEV视角为特征表示，并使用一个简单轻量级的解码器。 - 我们引入了一个共享的可学习点token，以减轻预训练和微调期间3D编码器感受野大小的不一致性，并提出了密度预测，以学习3D编码器的位置信息。 - BEV-MAE在性能和预训练效率方面优于现有的自监督方法。此外，BEV-MAE还可以进一步提高最先进的3D目标检测器的性能。结合TransFusion-L，BEV-MAE在nuScenes数据集上实现了新的最先进结果。 ## 相关工作 ## 3D目标检测 3D目标检测的目的是使用3D bounding box定位感兴趣的对象，并对检测到的对象进行分类。由于室内和室外数据集之间的巨大差异，室内和室外的3D目标检测方法几乎是独立发展的。我们重点介绍用于自动驾驶的室外3D目标检测方法。最近的基于BEV表示的室外3D目标检测方法（Yan, Mao, and Li 2018; Yin, Zhou, and Krahenbuhl 2021; Lang et al. 2019）因其方便地融合各种信息而受到广泛关注，包括多视点（Huang et al. 2021）、多模态（Liang et al. 2022）和时序输入（Huang and Huang 2022）。为了获得BEV特征，基于LiDAR的方法首先通过3D编码器提取点特征，例如PointPillar (Lang et al. 2019) 和 VoxelNet (Zhou and Tuzel 2018)，然后根据点坐标将特征投影到BEV平面。对于基于相机的方法，它们通过常用的2D骨干网络（包括ResNet (He et al. 2016) 和 SwinTransformer (Liu et al. 2021)）提取2D特征，并使用基于几何的视图变换。 --- ![Image](images/06f25fd692841f1da78d533028249f8ade012c6982123326bef7e4fb6093aac4.jpg)

BEV-guided masking strategy

Figure 3: Overall pipeline of BEV-MAE. We first mask point clouds with the BEV-guided masking strategy. Then, the masked points are replaced with a shared learnable point token. After extracting BEV features by a 3D encoder from visible points, we send the features to a light decoder to reconstruct masked point clouds and predict the point density of masked grids.

tion (Philion and Fidler 2020) 构建从多视角图像特征中提取 BEV 特征。接下来，使用 2D 编码器和检测头 (Yan, Mao, and Li 2018; Yin, Zhou, and Krahenbuhl 2021) 来处理这些 BEV 特征，并预测最终的检测结果。本质上，这种流程将 3D 目标检测任务简化为 2D 目标检测任务。因此，这些方法可以充分利用高度发达的 2D 目标检测算法。同样，我们的工作在 BEV 空间中预训练 3D 目标检测器的 3D 编码器，并且可以直接促进 BEV 视角的 3D 检测任务。 ## 自监督学习用于户外点云自监督学习的主要思想是在无标签数据上训练网络，使用预设任务。由于没有引入先验的人类知识，预训练的网络可以学习更通用的特征表示，并且具有出色的迁移能力。最近，户外点云的 3D 表示学习尝试采用自监督学习的核心思想。GCC-3D (Liang et al. 2021) 提出几何感知对比和和谐聚类，以学习稀疏点云的几何和语义信息。ProposalContrast (Yin et al. 2022) 使用最远点采样 (FPS) 为每个点云采样区域建议，并联合优化跨建议的区分和跨聚类的分离。除了对比学习方法，最近还研究了遮蔽建模，因为它简单高效。Voxel-MAE (Hess et al. 2023) 提出了一种基于体素的遮蔽策略，用于基于 Transformer 的编码器。它重建遮蔽的体素，并预测点的数量和占用情况。GD-MAE (Yang et al. 2023) 提出了一种多级 Transformer 架构，并采用一种多尺度遮蔽策略。它使用生成解码器来恢复具有多尺度特征的遮蔽补丁。GeoMAE (Tian et al. 2023) 将点云的金字塔中心、占用、表面法线和表面曲率作为预测目标。MV-JAR (Xu et al. 2023) 提出了一种遮蔽体素拼图和重建方法。MSP (Jiang et al. 2023) 构建了一个用于 3D 场景理解的遮蔽形状预测流程。ALSO (Boulch et al. 2023) 提出了一种基于查询的占用估计，以捕获 3D 语义信息。然而，这些工作主要采用基于体素的遮蔽策略。本文提出了一种用于在自动驾驶场景中预训练点云的高效遮蔽建模框架，BEV-MAE。与遮蔽体素不同，BEV-MAE 采用 BEV 指导的遮蔽策略来学习 BEV 特征表示，并实现了最先进的自监督学习性能。 ## 方法 BEV-MAE 的总体流程图如图 3 所示。BEV-MAE 首先使用 BEV 指导的遮蔽策略来遮蔽点云。然后，用共享的可学习的点标记替换这些遮蔽的点。我们将处理后的点输入 3D 编码器和轻量级解码器，然后，轻量级解码器将重建遮蔽的点并预测遮蔽区域的点密度。 ## BEV 指导的遮蔽策略在基于激光雷达的3D目标检测中，点云通常被划分为规则的体素。一种直接的遮蔽策略是像在视觉中遮蔽补丁一样遮蔽体素（He 等，2022；Xie 等，2022）。但是，这种简单的体素遮蔽策略使得后续解码器的设计变得困难。此外，它很少考虑主流3D目标检测方法中特征表示的类型，即BEV特征表示。为此，我们提出了一种基于BEV的引导遮蔽策略，以遮蔽BEV平面中的点。具体来说，假设在编码和转换后，BEV视角的特征分辨率为$X \times Y \times C$，我们首先预定义一个尺寸为$X \times Y$的网格形状的BEV平面。然后，我们根据每个激光雷达点的坐标$p_k$，将每个激光雷达点$g_{i,j}$投影到预定义的BEV平面的相应BEV网格$(x_{p_k}, y_{p_k})$中。每个BEV网格将包含不同数量的点： $$ g_{i,j}=\{p_{k}\mid\lfloor x_{p_{k}}/d\rfloor=i,\lfloor y_{p_{k}}/d\rfloor=j\}, $$ --- 其中d是3D编码器的下采样比率，$\lfloor x \rfloor$表示x的向下取整。我们随机选择一个重要比例的非空BEV网格，$i.e., g_{i,j} \neq \emptyset$，作为遮蔽网格$\{g_i^m\}$，并将剩余的BEV网格表示为可见网格$\{g_i^v\}$。最后，我们通过合并$\{g_i^m\}$和$\{g_i^v\}$中的点，获得可见和遮蔽的点云，分别表示为$\{p_k^v\} = \bigcup_{i} g_i^v$和$\{p_k^m\} = \bigcup_{i} g_i^m$。 ## 可学习的点令牌最近基于体素的3D目标检测器的3D编码器通常由多个稀疏卷积操作组成，这些操作仅处理非空体素附近的特征。当仅将可见点云$\{p_k^v\}$作为输入时，3D编码器的感受野会变小。为了解决这个问题，我们用共享的可学习点令牌替换遮蔽点云$\{p_k^m\}$。具体来说，我们使用完整点云的坐标作为稀疏卷积的输入索引（Yan, Mao, and Li 2018），并在第一层稀疏卷积中用共享的可学习点令牌替换遮蔽点云的特征。我们保持其他稀疏卷积层不变。所提出的共享可学习点令牌的目标是从一个点或体素传递信息到另一个点，以保持感受野的大小。它不会引入任何额外的信息，包括遮蔽点的坐标。 ## 解码器设计在基于BEV的遮蔽策略中，遮蔽区域的大小与BEV特征的分辨率对齐。因此，可以直接从相应的BEV特征预测一个遮蔽网格的重建结果，而无需进行上采样操作。 BEV-MAE的解码器仅用于预训练以解决遮蔽任务。自然地，解码器的设计是灵活的，并且与3D编码器架构无关。我们评估了三种类型的解码器，即单层$3 \times 3$卷积、transformer块（He 等，2022）和残差卷积块（He 等，2016），并且发现轻量级的解码器，即单层$3 \times 3$卷积，可以在减少预训练时间和GPU内存成本的同时实现出色的性能。 ## 重建目标所提出的BEV-MAE通过两个任务进行监督，即点云重建和密度预测。为每个任务应用一个单独的线性层作为预测头来预测结果。我们下面描述每个任务。点云重建。BEV-MAE 通过预测遮挡点的坐标来重建遮挡的输入。然而，预定义的 BEV 平面中的每个遮挡网格包含不同数量的点，这导致设计预测头的挑战。为了解决这个问题，我们提出使用集合到集合的预测来重建遮挡点云的局部结构。具体来说，我们使用线性层来预测一组具有固定数量的 3D 点，记为 $P_i = \{p_l \mid l = 1, 2, ..., L\}$，用于每个遮挡网格 $g_i^m$。给定 $\hat{P}_i = \{\hat{p}_k \mid k = 1, 2, ..., N\}$ 中的原始点 $g_i^m$，其中 N 随网格而变化，我们使用 Chamfer Distance (Fan, Su, 和 Guibas 2017) 来衡量预测 $P_i$ 和地面真实值 $\hat{P}_i$ 之间的距离，作为重建损失： $$ \mathcal{L}_{c}^{i}=\frac{1}{L}\sum_{p_{l}\in P_{i}}\min_{\hat{p_{k}}\in\hat{P}_{i}}||p_{l}-\hat{p_{k}}||_{2}^{2}+\frac{1}{N}\sum_{\hat{p_{k}}\in\hat{P}_{i}}\min_{p_{l}\in P_{i}}||\hat{p_{k}}-p_{l}||_{2}^{2}. $$ 然后，我们将损失值在所有遮挡网格上进行平均，得到最终的重建损失： $$ \mathcal{L}_{c}=\frac{1}{n_{m}}\sum_{i=1}^{n_{m}}\mathcal{L}_{c}^{i}, $$ 其中 $n_{m}$ 是遮挡网格的数量。Chamfer 距离测量两个具有不同基数集合之间的距离。因此，它强制预测点云的形状模仿遮挡输入的局部结构 (Fan, Su, 和 Guibas 2017)。由于每个地面真实点坐标的值在不同的网格中变化很大，因此直接预测每个点的绝对坐标可能会在预训练过程中导致不稳定。为了解决这个问题，我们预测点云重建中的归一化坐标。具体来说，我们首先计算每个地面真实点坐标到其对应 BEV 网格中心的偏移量，然后通过 BEV 网格的大小归一化偏移量值。点密度预测。与图像、语言和室内点云不同，自动驾驶场景中的室外点云具有以下特性：当点云远离 LiDAR 传感器时，点云的密度会减小。因此，密度可以反映每个点或对象的的位置。此外，对于目标检测，检测器的定位能力至关重要。基于以上分析，我们提出了 BEV-MAE 的另一个任务，即点密度预测，以引导 3D 编码器实现更好的定位能力。与 Voxel-MAE (Hess 等人 2023) 中预测网格箱数量不同，我们提出的密度预测在训练过程中更稳定和有效。对于每个遮挡网格 $g_i^m$，我们计算此网格中的点数，并通过将点数除以 3D 空间中的占用体积来计算密度 $\hat{\rho}_i$，作为密度预测的地面真实值。然后，我们使用线性层作为预测头来获得密度预测 $\rho_i$。我们使用 $S_{smooth}-\ell_1$ 损失来监督此任务： $$ \mathcal{L}_{d}^{i}={S m o o t h-}\ell_{1}(\rho_{i}-\hat{\rho}_{i}). $$ 同样，我们对所有遮挡网格上的损失进行平均，得到最终的密度预测损失： $$ \mathcal{L}_{d}=\frac{1}{n_{m}}\sum_{i=1}^{n_{m}}\mathcal{L}_{d}^{i}. $$ ## 实验结果 ## 实施细节我们在两个流行的、大规模的自动驾驶数据集上评估了提出的 BEV-MAE，即 nuScenes 和 ---

The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)

Pre-traing Method	Epochs	Time	Dataset fraction	L2 (mAP/APH)
Pre-traing Method	Epochs	Time	Dataset fraction	Overall	Vehicle	Pedestrian	Cyclist
From-scratch	-	-	-	65.60 / 63.21	64.18 / 63.69	65.22 / 59.68	67.41 / 66.25
GCC-3D (Liang et al. 2021) $^{{*}}$	40	-	100%	65.29 / 62.79	63.97 / 63.47	64.23 / 58.47	67.68 / 66.44
PointContrast (Xie et al. 2020)	50	54h	100%	$65.88^{+0.28} / 63.28^{+0.07}$	63.81 / 63.33	66.67 / 60.51	67.17 / 66.00
DepthContrast (Zhang et al. 2021)	50	56h	100%	$65.84^{+0.24} / 63.33^{+0.12}$	64.45 / 63.95	65.61 / 59.86	67.43 / 66.22
Point-M2AE (Zhang et al. 2022)	30	56h	100%	$66.10^{+0.50} / 63.59^{+0.38}$	64.26 / 63.77	65.64 / 60.00	68.20 / 67.01
ProposalContrast (Yin et al. 2022)	50	64h	100%	$66.42^{+0.82} / 63.85^{+0.64}$	65.03 / 64.53	65.93 / 59.95	68.26 / 67.04
MSP (Jiang et al. 2023)	30	-	100%	- / $64.26^{+1.05}$	- / -	- / -	- / -
GD-MAE $^{{\dagger}}$ (Yang et al. 2023)	30	60h	100%	$66.98^{+1.38} / 64.53^{+1.32}$	65.64 / 64.95	66.39 / 61.12	68.92 / 67.52
BEV-MAE (Ours)	20	5h	20%	$66.70^{+1.10} / 64.25^{+1.04}$	64.71 / 64.22	66.21 / 60.59	69.11 / 67.93
BEV-MAE (Ours)	30	38h	100%	$67.02^{+1.42} / 64.55^{+1.34}$	65.01 / 64.53	66.58 / 60.87	69.46 / 68.25

Table 1: Comparisons between BEV-MAE and state-of-the-art self-supervised learning methods on Waymo validation set. All detectors are fine-tuning with 20% training samples on Waymo following the OpenPCDet configuration. Here, the entry with * denotes the results are from the paper (Liang et al. 2021); the entry with † indicates the results are implemented by the released official code¹. 'Epochs' indicates the pre-training epochs; 'Dataset fraction' means the data fraction of the Waymo training set used for pre-training; and 'Time' refers to the pre-training time estimated by 8 P40 GPU.

Method	NDS	mAP
CenterPoint (Yin, Zhou, and Krahenbuhl 2021)	65.5	58.0
VISTA (Deng et al. 2022)	69.8	63.0
FocalsConv (Chen et al. 2022)	70.0	63.8
VoxelNeXt (Chen et al. 2023b)	70.0	64.5
TransFusion-L (Bai et al. 2022)	70.2	65.5
LargeKernel3D (Chen et al. 2023a)	70.6	65.4
Link (Lu et al. 2023)	71.0	66.9
GeoMAE $^{\dagger}$ (Tian et al. 2023)	72.5	67.8
BEV-MAE (Ours)	71.7	67.0
BEV-MAE $^{\dagger}$ (Ours)	73.6	69.6

Table 2: Performances of 3D object detection on the nuScenes test split. † results are obtained using a modified model structure.

Waymo Open Dataset。我们主要关注 nuScenes 的 mAP 和 NDS 评估指标，以及 Waymo 的更困难的 LEVEL_2 指标 (L2 mAP 和 L2 APH)。在预训练阶段，我们使用Adam优化器和单周期调度来训练BEV-MAE。最大学习率为0.0003，批次大小为4。遮罩比例为0.7。每个遮罩网格中用于点云重建的预测点数L为20。对于nuScenes数据集，我们使用一种常见的策略（Yin, Zhou, and Krahenbuhl 2021），即连接一个带有标签的点云帧和九个连续的不带标签的点云扫描，以形成更密集的点云输入。 ## Waymo结果在Waymo数据集上，我们采用VoxelNet作为3D编码器，并使用CenterPoint作为基于LiDAR的对象检测器，遵循ProposalContrast。为了进行公平比较，我们将GD-MAE的多尺度编码器替换为VoxelNet，类似于MV-JAR。表1显示，与从头开始训练的基线和最先进的自监督学习方法相比，BEV-MAE显著优于其他方法。具体来说，BEV-MAE在mAP和APH上分别比从头开始训练的基线提高了1.42和1.34，在mAP和APH上分别比ProposalContrast提高了0.60和0.70。BEV-MAE在63%的预训练成本下优于GA-MAE。此外，我们观察到，即使只使用20%的训练数据和7%的计算成本，BEV-MAE也能获得比使用100%数据进行预训练的ProposalContrast更好的结果。同时，BEV-MAE在20%的预训练数据下，实现了与MSP相当的结果。这些结果表明了BEV-MAE预训练的效率。 ## nuScenes结果对于nuScenes数据集，我们将BEV-MAE应用于一个强大的3D对象检测器，即TransFusion-L。表2比较了BEV-MAE与在nuScenes测试集上使用的多个基于LiDAR的3D对象检测器。BEV-MAE在NDS和mAP上分别比TransFusion-L基线提高了1.5，超过了Link，提高了0.7 NDS。值得注意的是，GeoMAE使用多步结构来进一步提高检测性能。为了与GeoMAE进行比较，我们增加了3D编码器中卷积块的通道数和层数。BEV-MAE优于GeoMAE，并以73.6 NDS和69.6 mAP实现了新的最先进结果。 ## 数据效率为了评估BEV-MAE的数据效率，我们在不同数量的带标签数据上训练3D检测器。我们遵循MV-JAR提出的数据高效基准中的设置，将微调数据集划分为多个部分，并训练检测器。如表3所示，使用BEV-MAE进行预训练可以始终提高不同比例训练数据的检测结果。特别是， ---

The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)

Data amount	Initialization	Overall		Car		Pedestrian		Cyclist
Data amount	Initialization	L2 mAP	L2 mAPH	L2 mAP	L2 mAPH	L2 mAP	L2 mAPH	L2 mAP	L2 mAPH
5%	Random	44.41	40.34	51.01	50.49	52.74	42.26	29.49	28.27
	PointContrast(Xie et al. 2020)	45.32	41.30	52.12	51.61	53.68	43.22	30.16	29.09
	ProposalContrast(Yin et al. 2022)	46.62	42.58	52.67	52.19	54.31	43.82	32.87	31.72
	MV-JAR (Xu et al. 2023)	50.52	46.68	56.47	56.01	57.65	47.69	37.44	36.33
	BEV-MAE (Ours)	51.63	47.77	56.35	55.81	58.11	48.37	40.44	39.13
10%	Random	54.31	50.46	54.84	54.37	60.55	50.71	47.55	46.29
	PointContrast(Xie et al. 2020)	53.69	49.94	54.76	54.30	59.75	50.12	46.57	45.39
	ProposalContrast(Yin et al. 2022)	53.89	50.13	55.18	54.71	60.01	50.39	46.48	45.28
	MV-JAR (Xu et al. 2023)	57.44	54.06	58.43	58.00	63.28	54.66	50.63	49.52
	BEV-MAE (Ours)	58.16	54.75	58.51	57.94	63.83	55.23	52.13	51.07
20%	Random	60.16	56.78	58.79	58.35	65.63	57.04	56.07	54.94
	PointContrast(Xie et al. 2020)	59.35	55.78	58.64	58.18	64.39	55.43	55.02	53.73
	ProposalContrast(Yin et al. 2022)	59.52	55.91	58.69	58.22	64.53	55.45	55.36	54.07
	MV-JAR (Xu et al. 2023)	62.28	59.15	61.88	61.45	66.98	59.02	57.98	57.00
	BEV-MAE (Ours)	62.88	59.97	61.79	61.37	67.35	59.39	59.51	59.14
50%	Random	66.43	63.36	63.81	63.38	70.78	63.05	64.71	63.66
	PointContrast(Xie et al. 2020)	65.51	62.21	62.66	62.23	69.82	61.53	64.04	62.86
	ProposalContrast(Yin et al. 2022)	65.76	62.49	62.93	62.50	70.09	61.86	64.26	63.11
	MV-JAR (Xu et al. 2023)	66.70	63.69	64.30	63.89	71.14	63.57	64.65	63.63
	BEV-MAE (Ours)	67.16	64.07	64.33	63.84	71.38	63.61	65.76	64.77
100%	Random	68.50	65.54	64.96	64.56	72.38	64.89	68.17	67.17
	PointContrast(Xie et al. 2020)	68.06	64.84	64.24	63.82	71.92	63.81	68.03	66.89
	ProposalContrast(Yin et al. 2022)	68.17	65.01	64.42	64.00	71.94	63.94	68.16	67.10
	MV-JAR (Xu et al. 2023)	69.16	66.20	65.52	65.12	72.77	65.28	69.19	68.20
	BEV-MAE (Ours)	69.35	66.46	65.54	65.02	72.84	65.31	69.67	69.05

Table 3: Results about data efficiency on Waymo. The detectors are fine-tuned on various fractions of Waymo training split following MV-JAR (Xu et al. 2023). ‘Random’ denotes the training-from-scratch baseline.

我们的方法在带标签数据较少时可以获得更显著的提升。例如，当使用5%的带标签数据时，BEV-MAE在mAP和APH上分别比从头开始训练的基线提高了7.22和7.43。这些结果表明了BEV-MAE在利用大量无标签数据的潜力。此外，我们观察到，当在完整的Waymo数据集上进行微调时，BEV-MAE带来的改进效果有限。原因是检测器的容量成为检测性能的瓶颈（Xu et al. 2023）。 ## 迁移学习我们通过在不同的数据集上进行微调来评估预训练编码器的跨数据集迁移能力。由于不同的数据集使用各种类型的传感器，我们仅将坐标作为点云的输入特征，以实现数据集之间的兼容性。表 4 显示，BEV-MAE 在不同数据集上始终提高了检测性能。此外，我们发现，当在相同的数据集上进行预训练和微调时，CenterPoint 效果更好。数据集之间的领域差距可能会对迁移性能产生负面影响，例如，Waymo 中的点云密度是 nuScenes 中的五倍。此外，我们进行了一种更真实的预训练设置，

Fine-tune Pre-train	nuScenes		Waymo
Fine-tune Pre-train	mAP	NDS	L2 mAP	L2 APH
Random init.	48.6	58.4	63.97	61.53
nuScenes	49.7 $^{+1.1}$	58.9 $^{+0.5}$	64.79 $^{+0.82}$	62.28 $^{+0.75}$
Waymo	49.4 $^{+0.8}$	58.8 $^{+0.4}$	65.13 $^{+1.16}$	62.63 $^{+1.10}$
nuScenes + Waymo	50.1 $^{+1.5}$	59.1 $^{+0.7}$	65.36 $^{+1.39}$	62.89 $^{+1.36}$

Table 4: Results of transfer learning. The contents in the column and row show the datasets for pre-training and fine-tuning, respectively.

即在组合数据集上进行预训练，然后在目标数据集上进行微调。在设置下，3D 目标检测器在 Waymo 和 nuScenes 上的性能可以进一步提高。这些结果表明，BEV-MAE 可以利用各种现有数据集进行更好的预训练。 ## 消融研究我们进行消融实验，以分析 BEV-MAE 的每个设置的有效性，包括主要组件和超参数。在以下实验中，我们使用 CenterPoint 作为 3D 检测器。我们首先使用 BEV-MAE 在 Waymo 的 20% 训练数据上预训练 3D 编码器，然后使用 CenterPoint 在相同的 20% 训练数据上进行微调以评估其性能。 ---

Pre-train	Reconstruction target	LT	L2 mAP	L2 APH
None	-	-	65.60	63.21
BEV-MAE	Coord. (w/o norm)	✓	65.66	63.09
	Coord. (w norm)	✓	66.20	63.71
	Density	✓	65.80	63.27
	Number of points	✓	65.32	62.88
	Coord. (w norm) + Density	✗	66.49	63.99
	Coord. (w norm) + Density	✓	66.70	64.25

Table 5: Ablation on main components. ‘LT’ denotes the shared learnable point token. Each component brings performance improvement for BEV-MAE.

在 3D 编码器上使用 BEV-MAE 预训练 20% 的 Waymo 训练数据，然后使用 CenterPoint 在相同 20% 的训练数据上进行微调，以评估其性能。主要组件。表 5 显示了我们评估了所提出的 BEV-MAE 的每个组件的有效性。使用归一化坐标或密度预测进行预训练可以提高 3D 检测性能。通过将坐标和密度预测都用作预训练任务，检测结果可以进一步提高，达到 66.49 mAP 和 63.99 APH。对于坐标预测，对点的坐标进行归一化操作对于处理至关重要。将密度预测替换为 Voxel-MAE (Hess et al. 2023) 中的点数预测会降低检测性能。原因是，由于 BEV 网格中的点数从一到数百不等，因此当使用点数预测作为目标时，预训练过程不稳定。此外，使用共享的可学习令牌进行预训练可带来 0.21 mAP 和 0.26 APH 的额外性能提升。解码器设计。除了单层 $3 \times 3$ 卷积之外，我们还测试了具有更复杂设计的两个解码器，即 Transformer 块 (He et al. 2022) 和残差卷积块 (He et al. 2016)，如表 6 所示。结果表明，使用更复杂的解码器会降低检测性能。当使用 Transformer 块作为解码器时，性能下降更多，这归因于编码器和解码器之间的不同架构（稀疏卷积与 Transformer）。此外，我们观察到，复杂的解码器会带来额外的训练成本，例如，与单层 $0.2 \times$ 卷积相比，残差卷积块会带来额外的 $3 \times 3$ 训练成本。这些结果表明，探索解码器设计可能对 BEV-MAE 来说并非至关重要。一个简单的单层 $3 \times 3$ 卷积就足够了。遮蔽策略。我们研究了不同的遮蔽策略（包括简单的体素遮蔽策略和我们提出的基于 BEV 的遮蔽策略）如何影响表示学习的有效性。对于体素遮蔽策略，我们随机遮蔽非空体素，并使用稀疏反卷积层 (Shi et al. 2020) 作为解码器来恢复遮蔽体素中的点。在表 7 中，我们观察到

Decoder	L2 mAP	L2 APH	Training cost
One-layer $3 \times 3$ Conv	66.70	64.25	1\times
Residual Conv block	66.61	64.09	1.2\times
Transformer block	65.80	63.26	1.4\times

Table 6: Ablation on different deocders. One-layer $3 \times 3$ Conv achieves the best results with the least training cost.

Masking strategy	L2 mAP	L2 APH	Memory	Training cost
BEV-guided masking	66.70	64.25	4.1G	1 $\times$
Voxel masking	66.63	64.16	12.6G	1.4 $\times$

Table 7: Ablation on the masking strategy. Pre-training with the BEV-guided masking strategy performs better with less GPU memory consumption and pre-training cost.

Masking ratio	L2 mAP	L2 APH
50%	66.45	64.00
60%	66.62	64.13
70%	66.70	64.25
80%	66.52	64.06

Table 8: Ablation on masking ratio. The fine-tuning results are less sensitive to the masking ratio.

该研究表明，所提出的基于俯视引导的掩码策略在下游的 3D 目标检测任务中实现了更好的迁移性能。此外，与体素掩码策略相比，基于俯视引导的掩码策略显著降低了预训练过程中的 GPU 内存消耗（4.1GB vs. 12.6GB）和训练成本（1倍 vs. 1.4倍）。掩码比例。表 8 评估了掩码比例的影响。所提出的 BEV-MAE 在广泛的掩码比例范围内表现良好（50%-80%）。当掩码比例为 70% 时，可以获得最佳结果。 ## 结论在本文中，我们解决了在自动驾驶场景下对点云进行自监督预训练的问题。我们提出了 BEV-MAE，用于预训练基于 LiDAR 的 3D 目标检测器的 3D 编码器。与简单地掩码点或体素不同，我们提出了一种基于俯视引导的掩码策略，以获得更好的俯视表示学习，并避免复杂的解码器设计。此外，我们引入了一个共享的可学习点 token，以在预训练和微调过程中保持编码器的感受野大小。通过利用自动驾驶场景中室外点云的特性，我们提出了一种点密度预测方法，以引导编码器学习位置信息。实验结果表明，BEV-MAE 在性能和预训练效率方面优于之前的自监督学习方法。此外，BEV-MAE 还可以进一步提高最先进的 3D 目标检测器的性能，并在 nuScenes 数据集上实现新的最先进结果。 --- ## 致谢本工作得到了中国国家重点研发计划（项目编号：2022ZD0160305）的支持。 ## 参考文献白(X. Bai)；胡(Z. Hu)；朱(X. Zhu)；黄(Q. Huang)；陈(Y. Chen)；付(H. Fu)；邰(C.-L. Tai)。2022。Transfusion：面向基于Transformer的鲁棒激光雷达-相机融合三维目标检测。收录于CVPR。布尔什(A. Boulch)；索捷(C. Sautier)；米歇尔(B. Michele)；普伊(G. Puy)；马莱(R. Marlet)。2023。ALSO：基于占用估计的车载激光雷达自监督学习。收录于CVPR。凯撒(H. Caesar)；班基蒂(V. Bankiti)；朗(A. H. Lang)；沃拉(S. Vora)；梁(V. E. Liong)；徐(Q. Xu)；克里希南(A. Krishnan)；潘(Y. Pan)；巴尔丹(G. Baldan)；贝伊博姆(O. Beijbom)。2020。nuScenes：面向自动驾驶的多模态数据集。收录于CVPR。 Chang, A. X.; Funkhouser, T. A.; Guibas, L. J.; Hanrahan, P.; Huang, Q.; Li, Z.; Savarese, S.; Savva, M.; Song, S.; Su, H.; Xiao, J.; Yi, L.; and Yu, F. 2015. ShapeNet: An Information-Rich 3D Model Repository. arXiv:1512.03012. 陈(Y. Chen)；李(Y. Li)；张(X. Zhang)；孙(J. Sun)；贾(J. Jia)。2022。面向三维目标检测的焦点稀疏卷积网络。收录于CVPR。陈(Y. Chen)；刘(J. Liu)；张(X. Zhang)；祁(X. Qi)；贾(J. Jia)。2023a。LargeKernel3D：在三维稀疏CNN中扩展卷积核尺寸。收录于CVPR。陈(Y. Chen)；刘(J. Liu)；张(X. Zhang)；祁(X. Qi)；贾(J. Jia)。2023b。VoxelNeXt：用于三维目标检测与跟踪的全稀疏VoxelNet。收录于CVPR。戴(A. Dai)；张(A. X. Chang)；萨瓦(M. Savva)；哈尔伯(M. Halber)；方克豪瑟(T. Funkhouser)；尼斯纳(M. Nießner)。2017。ScanNet：富含标注的室内场景三维重建数据集。收录于CVPR。邓(S. Deng)；梁(Z. Liang)；孙(L. Sun)；贾(K. Jia)。2022。Vista：通过双跨视图空间注意力提升三维目标检测性能。收录于CVPR。德夫林(J. Devlin)；张(M.-W. Chang)；李(K. Lee)；图塔诺娃(K. Toutanova)。2019。BERT：用于语言理解的深度双向Transformer预训练方法。收录于NAACL。 Fan, H.; Su, H.; and Guibas, L. J. 2017. 一种用于从单张图像重建 3D 对象的点集生成网络。发表于 CVPR 会议。 He, K.; Chen, X.; Xie, S.; Li, Y.; Dollár, P.; and Girshick, R. B. 2022. Masked Autoencoders 是一种可扩展的视觉学习方法。发表于 CVPR 会议。 He, K.; Zhang, X.; Ren, S.; and Sun, J. 2016. 用于图像识别的深度残差学习。发表于 CVPR 会议。 Hess, G.; Jaxing, J.; Svensson, E.; Hagerman, D.; Petersson, C.; and Svensson, L. 2023. 一种用于 LiDAR 点云自监督预训练的掩码自编码器。发表于 WACV 会议。 Huang, J.; and Huang, G. 2022. BEVDet4D: Exploit Temporal Cues in Multi-camera 3D Object Detection. arXiv:2203.17054. Huang, J.; Huang, G.; Zhu, Z.; and Du, D. 2021. BEVDet: High-performance Multi-camera 3D Object Detection in Bird-Eye-View. arXiv:2112.11790. Jiang, L.; Yang, Z.; Shi, S.; Golyanik, V.; Dai, D.; and Schiele, B. 2023. 用于 3D 场景理解的基于掩码形状预测的自监督预训练。发表于 CVPR 会议。 Lang, A. H.; Vora, S.; Caesar, H.; Zhou, L.; Yang, J.; and Beijbom, O. 2019. PointPillars: 用于从点云中进行目标检测的快速编码器。发表于 CVPR 会议。 Liang, H.; Jiang, C.; Feng, D.; Chen, X.; Xu, H.; Liang, X.; Zhang, W.; Li, Z.; and Van Gool, L. 2021. 用于自监督 3D 目标检测的几何感知对比和聚类和谐。发表于 ICCV 会议。 Liang, T.; Xie, H.; Yu, K.; Xia, Z.; Lin, Z.; Wang, Y.; Tang, T.; Wang, B.; and Tang, Z. 2022. BEVFusion：一种简单而鲁棒的 LiDAR-相机融合框架。发表于 NeurIPS 会议。 Liu, Z.; Lin, Y.; Cao, Y.; Hu, H.; Wei, Y.; Zhang, Z.; Lin, S.; and Guo, B. 2021. Swin Transformer：一种使用偏移窗口的分层视觉 Transformer。发表于 ICCV 会议。 Lu, T.; Ding, X.; Liu, H.; Wu, G.; and Wang, L. 2023. LinK：用于 LiDAR 3D 感知的一种线性核方法。发表于 CVPR 会议。 Meng, Q.; Wang, W.; Zhou, T.; Shen, J.; Van Gool, L.; and Dai, D. 2020. 基于激光点云的弱监督3D目标检测。在ECCV上发表。 Pang, Y.; Wang, W.; Tay, F. E. H.; Liu, W.; Tian, Y.; and Yuan, L. 2022. 用于点云自监督学习的掩码自动编码器。在ECCV上发表。 Philion, J.; and Fidler, S. 2020. Lift, Splat, Shoot: 通过隐式反投影将图像编码到3D中，以支持任意相机配置。在ECCV上发表。 Shi, S.; Wang, Z.; Shi, J.; Wang, X.; and Li, H. 2020. From points to parts: 3d object detection from point cloud with part-aware and part-aggregation network. IEEE TPAMI. Tian, X.; Ran, H.; Wang, Y.; and Zhao, H. 2023. GeoMAE: 用于自监督点云预训练的掩码几何目标预测。在CVPR上发表。 Wu, Z.; Song, S.; Khosla, A.; Yu, F.; Zhang, L.; Tang, X.; and Xiao, J. 2015. 3D ShapeNets: 用于体积形状的深度表示。在CVPR上发表。 Xie, S.; Gu, J.; Guo, D.; Qi, C. R.; Guibas, L. J.; and Litany, O. 2020. PointContrast: 用于3D点云理解的无监督预训练。在ECCV上发表。 Xie, Z.; Zhang, Z.; Cao, Y.; Lin, Y.; Bao, J.; Yao, Z.; Dai, Q.; and Hu, H. 2022. SimMIM: 一个用于掩码图像建模的简单框架。在CVPR上发表。 Xu, R.; Wang, T.; Zhang, W.; Chen, R.; Cao, J.; Pang, J.; and Lin, D. 2023. MV-JAR: 基于激光雷达的自监督预训练的掩码体块拼图和重建。在CVPR上发表。 Yan, Y.; Mao, Y.; and Li, B. 2018. Second: 稀疏嵌入卷积检测。在Sensors上发表。 Yang, H.; He, T.; Liu, J.; Chen, H.; Wu, B.; Lin, B.; He, X.; and Ouyang, W. 2023. GD-MAE: 用于 LiDAR 点云的掩蔽增强预训练的生成式解码器。发表于 CVPR。 Yin, J.; Zhou, D.; Zhang, L.; Fang, J.; Xu, C.; Shen, J.; and Wang, W. 2022. ProposalContrast: 用于基于 LiDAR 的 3D 目标检测的无监督预训练。发表于 ECCV。 --- Yin, T.; Zhou, X.; and Krahenbuhl, P. 2021. 基于中心的 3D 目标检测和跟踪。发表于 CVPR。 Yu, X.; Tang, L.; Rao, Y.; Huang, T.; Zhou, J.; and Lu, J. 2022. Point-BERT: 通过掩蔽点建模预训练 3D 点云 Transformer。发表于 CVPR。 Zhang, R.; Guo, Z.; Gao, P.; Fang, R.; Zhao, B.; Wang, D.; Qiao, Y.; and Li, H. 2022. Point-M2AE: 用于分层点云预训练的多尺度掩蔽自动编码器。arXiv:2205.14401. Zhang, Z.; Girdhar, R.; Joulin, A.; and Misra, I. 2021. 基于自监督的 3D 特征预训练，适用于任何点云。发表于 ICCV。 Zhou, Y.; and Tuzel, O. 2018. VoxelNet: 基于端到端的点云 3D 目标检测。发表于 CVPR。