{
  "paper_id": "ba3b64549a0d0882033d428647fc74b1",
  "paper_title": "BEV-MAE: Bird's Eye View Masked Autoencoders for Point Cloud Pre-training in Autonomous Driving Scenarios",
  "paper_authors": [
    "Zhiwei Lin",
    "Yongtao Wang",
    "Shengxiang Qi",
    "Nan Dong",
    "Ming-Hsuan Yang"
  ],
  "publication_date": "2024",
  "publication_venue": "The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)",
  "abstract": "Existing LiDAR-based 3D object detection methods for autonomous driving scenarios mainly adopt the training-from-scratch paradigm. Unfortunately, this paradigm heavily relies on large-scale labeled data, whose collection can be expensive and time-consuming. Self-supervised pre-training is an effective and desirable way to alleviate this dependence on extensive annotated data. In this work, we present BEV-MAE, an efficient masked autoencoder pre-training framework for LiDAR-based 3D object detection in autonomous driving. Specifically, we propose a bird's eye view (BEV) guided masking strategy to guide the 3D encoder learning feature representation in a BEV perspective and avoid complex decoder design during pre-training. Furthermore, we introduce a learnable point token to maintain a consistent receptive field size of the 3D encoder with fine-tuning for masked point cloud inputs. Based on the property of outdoor point clouds in autonomous driving scenarios, i.e., the point clouds of distant objects are more sparse, we propose point density prediction to enable the 3D encoder to learn location information, which is essential for object detection. Experimental results show that BEV-MAE surpasses prior state-of-the-art self-supervised methods and achieves a favorably pre-training efficiency. Furthermore, based on TransFusion-L, BEV-MAE achieves new state-of-the-art LiDAR-based 3D object detection results, with 73.6 NDS and 69.6 mAP on the nuScenes benchmark. The source code will be released at <https://github.com/VDIGPKU/BEV-MAE>.\n",
  "keywords": [
    "BEV-MAE",
    "Masked Autoencoders",
    "Point Cloud Pre-training",
    "Autonomous Driving",
    "LiDAR-based 3D Object Detection",
    "Self-supervised Learning",
    "BEV-guided Masking",
    "Point Density Prediction"
  ],
  "paper_institutions": [
    "Wangxuan Institute of Computer Technology, Peking University",
    "Chongqing Changan Automobile Co., Ltd",
    "University of California, Merced"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:30:26.284915Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nBEV-MAE 针对自动驾驶场景中基于 LiDAR 的 3D 目标检测依赖大规模标注数据、训练成本高的问题，提出一种高效的自监督预训练框架。现有掩码建模方法多用于合成或室内点云，或采用体素掩码，与主流的 BEV 检测表示存在差距；BEV-MAE 提出 BEV 引导掩码策略，将点云按坐标投影到预定义 BEV 网格（核心机制为 g_{i,j}={p_k | floor(x_pk/d)=i, floor(y_pk/d)=j}），在 BEV 平面重建掩码点云，从而避免复杂解码器设计，仅用一层 3×3 卷积即可完成预训练。同时引入共享可学习点令牌以保持 3D 编码器在预训练和微调时感受野一致，并利用户外点云远距离更稀疏的特性提出点密度预测任务，帮助编码器学习位置信息。在 nuScenes 和 Waymo 两个大规模自动驾驶数据集上，采用 VoxelNet/CenterPoint 和 TransFusion-L 等检测器进行预训练与微调，使用 Adam、one-cycle、最大学习率 0.0003、batch size 4、掩码率 0.7、每网格预测 20 个点等设置；实验表明 BEV-MAE 在 Waymo L2 mAP/APH 上超越此前自监督方法，预训练效率显著更高（如 20% 数据、5 小时即可超过 ProposalContrast 的 100% 数据、64 小时），在 nuScenes 上结合 TransFusion-L 达到 73.6 NDS 和 69.6 mAP 的新 state-of-the-art，且在 5% 标注数据下比从零训练提升 7.22 mAP 和 7.43 APH。进一步探索包括跨数据集迁移、组合数据集预训练、解码器设计和掩码率选择；实际场景中可利用海量无标注 LiDAR 数据，但需注意传感器差异带来的域间隙、远距离点云稀疏性以及检测器容量瓶颈等约束。\n\n### 关键要点\n\n- BEV-MAE 提出 BEV 引导掩码策略，将 LiDAR 点云按坐标投影到与 BEV 特征分辨率对齐的网格中，并随机掩码非空网格，使 3D 编码器直接在 BEV 视角学习特征表示。\n- 与体素掩码相比，BEV 引导掩码避免复杂解码器设计，仅需一层 3×3 卷积作为解码器，预训练显存从 12.6G 降至 4.1G，训练成本从 1.4× 降至 1×。\n- 共享可学习点令牌用于替换被掩码点的特征，保持稀疏 3D 卷积编码器在预训练和微调时感受野大小一致，且不引入掩码点坐标等额外信息。\n- 点密度预测利用户外点云远距离更稀疏的特性，以掩码网格内点云密度作为回归目标，使用 smooth-L1 损失监督，帮助编码器学习对检测至关重要的位置信息。\n- 点云重建采用 Chamfer Distance 作为损失，对每个掩码网格预测固定数量 L=20 的归一化坐标点，以解决不同网格内点数不同的问题并提升训练稳定性。\n- 在 Waymo 上以 VoxelNet 为 3D 编码器、CenterPoint 为检测器，BEV-MAE 在 20% 预训练数据和 5 小时预训练时间下达到 66.70 L2 mAP 和 64.25 L2 APH，超过 ProposalContrast 等 prior 方法。\n- 在 nuScenes 上基于 TransFusion-L，BEV-MAE 达到 73.6 NDS 和 69.6 mAP，超过 TransFusion-L 基线 1.5 NDS 和 1.5 mAP，并超越 GeoMAE 等新方法。\n- 数据效率实验中，BEV-MAE 在 5% 标注数据下比从零训练提升 7.22 L2 mAP 和 7.43 L2 APH，表明其能有效利用大规模无标注点云数据。\n- 跨数据集迁移实验中，在 nuScenes 预训练后微调到 Waymo 或反之均能提升检测性能，且使用 nuScenes+Waymo 联合预训练可进一步提升目标数据集上的结果。\n- 消融实验显示，归一化坐标重建、密度预测和共享可学习点令牌均带来性能提升；用点数预测替代密度预测会降低性能，说明密度预测更稳定有效。\n- 解码器消融显示，一层 3×3 卷积优于 Transformer block 和 Residual Conv block，复杂解码器增加训练成本但降低或未提升检测性能。\n- 掩码率在 50%–80% 范围内表现稳定，70% 掩码率取得最佳结果；实际应用中需考虑传感器差异导致的域间隙（如 Waymo 点云密度约为 nuScenes 的五倍）和检测器容量瓶颈。"
}