# BEVPose: 通过姿势引导的多模态BEV对齐，揭示场景语义 Mehdi Hosseinzadeh $^{1}$ 和 Ian Reid $^{1,2}$ 摘要：在自动驾驶和移动机器人的领域，创建鸟瞰图 (BEV) 表示的方法发生了显著变化。 这种变化以使用变换器为特征，并学习将来自各种视觉传感器的测量值（主要为激光雷达和相机）融合到 2D 平面地面表示中。 然而，这些创建此类地图的基于学习的方法通常很大程度上依赖于大量的标注数据，这带来了显著的挑战，尤其是在大型数据集稀少的各种或非城市环境中。 在这项工作中，我们提出了 BEVPose，这是一个将来自相机和激光雷达数据的 BEV 表示集成的框架，并使用传感器姿势作为指导监督信号。 这种方法显着减少了对昂贵标注数据的依赖。 通过利用姿势信息，我们对齐和融合多模态传感器输入，从而促进学习潜在的 BEV 嵌入，这些嵌入可以捕捉环境的几何和语义方面。 我们的预训练方法在 BEV 地图分割任务中显示出很有前景的性能，优于完全监督的最新方法，同时只需要少量标注数据。 这种发展不仅克服了 BEV 表示学习中的数据效率挑战，而且还扩大了此类技术在各种领域的应用潜力，包括越野和室内环境。 ## 1. 引言 环境的映射和重建对于自主系统（无论是移动机器人还是自动驾驶汽车）至关重要。 了解周围环境不仅是先决条件，更是必要条件，可以实现导航、规划或在这些环境中进行操作等后续任务。 机器人和计算机视觉领域的几十年研究都致力于此，采用各种方法、表示和传感器，这些方法、表示和传感器针对特定任务。 这包括从同步定位与地图构建 (SLAM) [^1] [^2] [^3] 等在线序列方法，到结构从运动 (SfM) [^4]，[^5] 等批处理解决方案，利用各种传感器模态，例如相机 [^2]，[^6] 和激光雷达 [^7]，[^8]。 表示形式从具有手工特征 [^2]，[^3] 或深度学习特征 [^9] 的稀疏地标，到密集 3D 形式，如网格和体素，包括隐式格式，从经典的有符号距离函数到神经表示 [^10] [^11] [^12]。 表示形式的选择——几何地标或具有语义信息的实体 [^2]，[^13] [^14] [^15] [^16]，- 进一步多样化了映射方法。 在确定映射方法时，几何和语义信息之间的理想平衡至关重要。 然而，没有一种“通用最佳”的解决方案，可以涵盖所有这些方面并提供通用的映射解决方案。 正确的表示、传感器输入以及 鸟瞰图（BEV）表示在近年来得到了显著的发展，这在很大程度上受到了自动驾驶行业不断增长的需求的影响，在该行业中，准确确定平面世界中物体的3DOF姿态和语义起着重要作用。这对于诸如2D/3D物体检测[^17]、[^18]以及2D地图语义分割[^19]、[^20]等应用至关重要。鸟瞰图提供了一种统一的表示方法，将来自各种传感器的信息合并成一种单一、一致的格式。这种整合，与场景的平面几何形状一致，增强了学习丰富表示的能力，这些表示对于特定应用所需的世界的2D投影至关重要。 采用这种方法的主要挑战，与其他完全监督的方法类似，是需要大量的标注。对于与鸟瞰图相关的任务，标注必须从与输入传感器模态不同的角度提供，这会带来额外的成本和限制。当将这种知识转移到不同的场景时，尤其是在非城市或室内环境中，这种问题尤为严重，因为这些环境缺乏大规模、高质量的数据集。 近年来，自监督范式越来越受到关注，它提供了一种解决方案，尽管在自监督鸟瞰图表示 [^21]，[^22] 用于多模态融合（特别是与摄像头和激光雷达）的背景下，这种方法尚未得到充分研究。我们的工作，BEVPose，旨在填补这一空白。我们利用相对便宜且易于获得的地面真实数据，即传感器姿态，来学习和融合来自摄像头和激光雷达输入的鸟瞰图表示。已知的相对传感器姿态为学习潜在的鸟瞰图嵌入并对齐鸟瞰图，从而融合模态，提供了一种丰富的监督信号。在学习的“自姿态监督”鸟瞰图表示中，会显式地出现不同的地图特征和地标，为后续对诸如地图语义分割等下游任务进行微调奠定了坚实的基础。我们的结果表明，我们仅使用他们所需的少量昂贵标注数据，就可以超越最先进的鸟瞰图地图分割方法。 总而言之，我们介绍了 BEVPose，这是一种基于自监督、多模态预训练的方法，其核心在于姿态监督。这种方法不仅可以有效地进行下游任务（如地图语义分割）的预训练，而且优于现有的完全监督方法。此外，BEVPose 的特点在于其数据效率，它在仅使用少量标注数据的情况下，就能够达到与完全监督方法相当的性能水平，并且在微调时，即使只使用五分之一的数据，也能获得接近的性能。 --- 即使仅将微调所用的数据量限制为原数据的五分之一，也只会带来极小的性能折损。 ### 二、相关工作 尽管我们已经在第一节中提及了部分相关工作，但为方便引用、梳理相关研究，我们在此按类别对相关工作进行总结。 BEV 地图表示：在 BEV 地图分割方面，最近的进展涌现出各种创新的方法。BEVFusion [^19], [^20] 将多传感器数据集成到统一的 BEV 表示中 [^19]。 类似地，[^17], [^18], [^23] [^24] [^25]、FCOS3D [^26] 和 DETR3D [^27] 将相机和 LiDAR 数据集成以增强 3D 感知。 多模态传感器数据的融合在诸如 [^28], [^29] 和 [^30] 等论文中得到了进一步的探索，这些论文提出了用于对象检测和 BEV 地图分割的方法。 此外，[^31] 和 LSS [^32] 在基于相机的 3D 感知方面取得了进展，将相机特征转换为 BEV 并扩展现有模型以进行 3D 对象检测。 在诸如 [^33] [^34] [^35] 中研究的多相机 3D 对象检测中的时序线索集成，代表了另一个方向。 这些努力共同促进了 BEV 地图分割的持续发展，表明多模态融合和高级感知技术在该领域具有潜力。 自监督学习：近年来自监督学习发展势头迅猛，大量研究利用无标注数据集开展可服务于下游任务的表示学习。该领域的核心成果包括[^36]、[^37]，而针对自监督视觉Transformer的研究[^38]、[^39]和[^40]分别在密集视觉表示和可扩展视觉学习器领域取得了进展。[^41]探索了细粒度分割网络，而NeRF [^42]将场景表示为用于视图合成的神经辐射场。近期的研究进展还包括针对静动态解耦的工作[^43]，以及用于连续对比三维场景表示的CoCoNets [^44]。 ### 三、BEV表示 在我们的方法中，我们利用鸟瞰图 (BEV) 地图作为一种紧凑但全面的方法来重建周围的 3D 场景。它提供了一个统一的框架，用于集成多模态传感器数据并嵌入语义层，从而丰富了对整个场景的理解。 我们在模型中使用了两种不同且互补的传感输入模态：由$N_c$个经过校准的环绕相机组成的多视角相机装置，以及一个全环绕$360^\circ$激光雷达点云。我们假设相机和激光雷达均已完成校准，即相机内参（$K_{c_i} \in \mathbb{R}^{3 \times 3}$）以及相机与激光雷达之间的外参变换（$T_{c_j}^{c_i}, T_{c_i}^{l} \in \mathrm{SE}(3)$）均为已知。场景的几何信息与语义信息被封装在位于xz平面、以激光雷达原点为中心的二维网格鸟瞰（BEV）图$\mathbf{B}$中。$\mathbf{B}$的每个网格单元对应一个D维特征向量柱，例如$\mathbf{B}_{x_i z_j} \in \mathbb{R}^D$，编码了该特定网格单元相关的几何与语义信息。图1给出了我们框架的说明性概述。 ### A. 图像编码器 每个 RGB 图像 ( $\mathbb{R}^{H \times W \times 3}$) 都使用共享的骨干网络和颈部结构编码到图像特征空间，该空间具有 $C_c$ 维。为了将这些编码的特征转换为 BEV 空间，需要了解特征上的深度分布。受 LSS [^32] 的启发，我们通过学习每个图像特征在其投影射线上的离散深度分布，将相机特征提升到 BEV 空间。在学习了这种分布后，相应的特征向量会根据来自分布的权重沿射线重新分配。沿射线深度分布被视为在 L 个均匀量化的深度值上的有限概率质量函数。BEV 池化过程 [^19]，通过聚合和扁平化每个相机中的特征体积 ( $\mathbb{R}^{H \times W \times L \times C_c}$) 中的特征，沿着 y 轴（垂直方向）将每个相机的特征转换为 BEV 网格，从而生成一个相机 BEV 映射 $\mathbf{B}_{cam}^i$。随后，所有单个相机 BEV 映射都会集成在一起，形成一个多视图相机 BEV 映射 $\mathbf{B}_{cam}$。为了加快池化过程，我们利用预先建立的相机校准，从而可以预先计算每个相机 BEV 体积的柱与最终 BEV 网格映射之间的关联。 ### B. LiDAR 编码器 LiDAR 点云首先使用预定的分辨率进行体素化，然后输入到 3D 编码器中。这个过程会产生一个 4D 特征体积 ( $\mathbb{R}^{L_x \times L_z \times L_y \times C_l}$)。然后，这个特征体积沿着 y 轴进行垂直池化，以生成 LiDAR BEV 映射，记为 $\mathbf{B}_{lidar}$。 ### C. 多模态融合 我们通过连接相机和 LiDAR BEV 映射，然后对每个单元执行最大池化操作，从而获得最终的融合 BEV 映射。然后，将融合的映射通过一个 MLP BEV 编码器进行处理。这个额外的编码器对于解决 BEV 网格映射中潜在的特征错位是必要的。 ### IV. BEV 对齐 如第 I 节所述，我们受自监督学习中成功研究的启发 [^22]，[^36]，[^44]，我们把我们的 BEV 特征预训练视为一个自监督 BEV 对齐问题，该问题建立在校准的多视点相机和 LiDAR 传感器相对姿态先验衍生的姿态监督的基础之上。我们的目标是使这些 BEV 映射对齐，以学习足够丰富的潜在嵌入，从而既能捕捉场景的语义特征，又能捕捉几何特征，这对于有效对齐特征至关重要。 遵循自监督方法中既定的做法 [^27]，[^39]，我们把我们的对齐问题表述为一种对比学习问题，通过结合对比损失，将对齐目标纳入我们的框架。一种将此对齐问题表述为一种对比学习问题的方法是，将 LiDAR BEV，$B_{lidar}$，视为参考 BEV 映射，并将每个单个相机视场 BEV 映射，$B_{cam}^{i}$，视为相应的查询。这些相机查询和 --- ![Image](images/175531612453459887ce5888990c2b65120c78ada530f91aa894dfe8d9731f9c.jpg)
Fig. 1. BEVPose's Framework. This figure illustrates our framework designed to learn latent BEV representations through self-supervision, leveraging pose as a supervisory signal within a contrastive learning paradigm. Within the framework, multi-view camera images and lidar point-cloud data are encoded and subsequently transformed and fused into a latent BEV space. This BEV representation encapsulates high-level semantic and geometric features of the scene in a self-supervised manner by aligning BEV features, which are then fine-tuned for additional downstream tasks like semantic segmentation, requiring significantly less annotated data compared to fully-supervised BEV segmentation approaches.
LiDAR 参考地图定义在其各自的局部坐标网格中。目标是使用地面真实相对姿态（正样本），$T_{c}^{l+}$，最大化查询和参考 BEV 映射之间的一致性，并最小化所有其他不正确的相对姿态（负样本），$T_{c_j}^{l}$。此目标转化为最小化对比损失，如 1 中所述： $$ \mathcal{L}_{a l i g n}=-\log\frac{\exp(\mathfrak{s}(\mathbf{B}_{c a m},\mathbf{B}_{l i d a r};T_{c}^{l+})/\tau)}{\sum_{j=1}^{N_{s}}\exp(\mathfrak{s}(\mathbf{B}_{c a m},\mathbf{B}_{l i d a r};T_{c_{j}}^{l})/\tau)} $$ 其中，$N_s$ 表示样本总数，$\mathbf{s}(\mathbf{B}_{cam}, \mathbf{B}_{lidar}; T_c^l)$ 计算两个鸟瞰图（BEV）之间的相似度或一致性。 这通过对齐和将特征向量映射到相同的 BEV 网格地图后，对相应特征向量的内积进行求和来实现。此外，$\tau$ 在此框架中用作可学习的温度参数。 为了说明，将 $p_c$ 视为特定相机 BEV 网格单元中的一个代表点。 该点使用 $T_c^l$ 转换为激光雷达帧。 随后，通过对相关网格单元的激光雷达 BEV 特征进行插值来推断相应的激光雷达 BEV 特征。 相似性度量计算为相应对齐的 BEV 特征的内积之和，如以下方程所示： $$ \mathfrak{s}(\mathbf{B}_{c a m},\mathbf{B}_{l i d a r};T_{c}^{l})=\sum_{x,z}\hat{\mathbf{B}}_{c a m_{x z}}^{\top}[x,z,:]\hat{\mathbf{B}}_{l i d a r_{x z}}[\mathfrak{i}(p_{l}),:] $$ 这里，$\hat{\mathbf{B}}[:, :]$ 表示各自网格中的 BEV 特征，$p_l$ 是 $p_c$ 的变换，即 $p_l = T_c^l p_c$，而 $\mathbf{i}(\cdot)$ 表示网格单元中的插值函数。 对比学习的一个广泛研究方面是负样本的选择 [^37]。 为了识别难以区分的负样本（即，具有高度可能性但预测不正确的样本），从而引导概率分布趋向于真实值，我们采用一种策略，从以其他非重叠相机的姿态为中心的分布中采样负姿态。 ### V. 实验 我们进行了一系列实验，以评估我们姿态监督预训练方法的性能，特别关注将其应用于 BEV 地图分割任务。 该任务被选为代表性示例，以展示我们该方法在捕获场景的语义和几何方面的有效性。 在“自监督姿态”预训练阶段，我们的模型在整个训练数据集上进行初始训练，明确排除分割标注。 在此准备阶段之后，该模型通过使用包含（资源密集型）标注的训练集的一个选定部分进行进一步的微调，此时分割头部集成到模型中。 ### A. 实验设置和架构 我们的实验设置采用一种广泛认可的策略，即首先使用大量未标记数据预训练模型，然后通过在指定下游任务上使用较小的数据集进行微调来提高其性能。 遵循 [^17]、[^19]，我们的实验设置采用 Swin-Transformer [^45] 作为图像骨干网，FPN [^46] 作为图像编码器的颈部，以及 VoxelNet [^47] 作为激光雷达骨干网。 相机图像的大小调整为 $(H, W) = (256, 704)$，而激光雷达点云以 0.1 米的比例进行体素化 --- 分辨率为0.1米。相机特征经抬升后，分布在被离散化为步长0.5米的[^1] [^80]米深度范围内，最终得到$L = 158$个离散深度值。优化过程采用AdamW [^48]，权重衰减设置为$10^{-2}$。 我们在这项研究中采用了 nuScenes 数据集 [^49]，它是一个广泛使用的、大型的公共户外城市数据集。它包含 850 个场景，用于训练和验证，以及另外 150 个场景用于测试。该数据集配备了来自 $N_c = 6$ 个摄像头和 1 个激光雷达的数据，其中六个摄像头共同实现了 $360^\circ$ 的视野范围。对于我们的 BEV 地图分割任务，我们关注 6 个背景类别的标注（通常被称为“stuff”）。 对于自监督预训练，我们的模型在整个训练集上进行预训练，而不使用分割标注。 在此初始阶段之后，选择一小部分训练集（从 10% 到 50%），其中包含（昂贵）标注的数据，用于微调我们的模型，此时已集成分割头，以进一步提高其性能。 ### B. 预训练和分割评估的有效性 在自监督预训练阶段之后，我们遵循 [^50] 和 [^19] 中的做法，采用特定于任务的头进行语义分割。 然后，我们将我们的分割精度与基线模型和其他最先进方法进行比较。 对于在指定的“stuff”标签中对每个语义类别的分类，我们使用一个二元语义分割解码器。 该解码器配备了三个上采样层，每个上采样层将潜在的 BEV 表示上采样 2 倍，最终达到其尺寸。 为了训练此分割头，使用焦点损失 [^51]。 我们的比较遵循 [^32] 之后建立的标准设置，例如，地图大小和分辨率定义为围绕车辆的 $100 \times 100$ 米区域，分辨率为每个网格单元 0.5 米。 对于每个语义标签，使用交并比 (IoU) 和平均 IoU (mIoU) 作为主要指标来指示模型性能的准确性。 我们对我们的框架的性能进行了基准测试，与各种基线和竞争方法进行比较，包括单模态（仅使用摄像头或激光雷达）和多模态（摄像头+激光雷达）配置。 我们的目标是量化归因于我们的自监督预训练的性能提升。 最初，我们使用整个训练数据集进行预训练和微调阶段，以比较我们模型的有效性与完全监督的模型。 结果如表 I 所示。 正如表 I 中 IoU 和 mIoU 指标所示，我们的方法始终优于单模态和多模态基线，以及最先进的方法（总体改进 5.1%）。 这强调了通过我们的自监督预训练实现的显着性能提升，而与微调所需的广泛分割掩码相比，这大大降低了注释成本。 ![Image](images/36e6a06349ad4f384765cb542dba792f107ce43e991209826224996cc960e693.jpg) ![Image](images/d227ed6c93e9f99ddeca31af30db9ed88403f5c3be7f387b0ada064cc5e96541.jpg)
Fig. 2. BEVPose Performance Across Training Data Proportions. This figure presents a detailed comparison of the BEVPose model, employing self-supervised pretraining, against the fully-supervised method of BEVFusion [^19], across a range of training dataset proportions used for fine-tuning. It is noteworthy that BEVFusion [^19] utilizes the full dataset for training. The left graph illustrates the mean IoU achieved by both approaches, underscoring that BEVPose equates to BEVFusion [^19] with less than 44% of the annotated training data, thus showcasing the value of self-supervised learning when leveraging a smaller quantity of ground-truth annotations. The right graph extends this analysis to the performance in individual categories (carpark, walkway, lane, drivable, stop line, and crossing). This comparison reveals BEVPose's potential for real-world deployment where the availability of annotated data might limit fully supervised methods.
虽然性能提升至关重要，但另一个关键的考虑因素，特别是对于自动驾驶和机器人技术而言，是数据效率。在后续的实验中，我们评估了我们的模型在仅使用训练数据集的一小部分进行微调时的有效性，并将结果与完全监督的方法（如 BEVFusion [^19]）进行比较。如表 II 和图 2 所示，BEVPose 在使用不到 44% 的标注训练数据时就与 [^19] 相当，并且仅使用 20% 的数据进行微调即可实现可比的结果。这种数据效率表明，在某些应用中，整体性能的轻微下降是可以接受的，因为可以减少标注的需求。此外，这使得我们的方法特别适合于迁移到其他领域，尤其是崎岖的越野环境，因为在城市环境中，类似于 nuScenes [^49] 这样的大规模、高质量数据集并不容易获得。 ### C. 实验结果 在图 3 中，我们展示了我们的实验结果，这些结果展示了不同复杂度的场景。每个集合的第一列显示了 2D 投影的激光雷达点云，而随后的列显示了来自周围多视角摄像头的图像，包括前、后、前右、后右、前左和后左视角。接下来是预测的 BEV 分割图。有关更多实验结果，请参阅补充视频文件。 ### D. 消融研究 为了验证我们的设计决策并分析我们的框架在各种条件下的行为，我们研究了其在不同参数设置下的性能，包括体素大小和深度离散化分辨率。在单独的研究中，我们探讨了用于微调的模态对影响。在多模态自监督预训练之后，我们使用真实数据对模型进行微调，同时冻结一种模态的骨干网络，并微调另一种模态。 ---
TABLE I
EVALUATION OF BEV MAP SEGMENTATION ON THE NUSCENES DATASET. OUR APPROACH OUTPERFORMS BOTH SINGLE AND MULTI-MODAL BASELINES, INCLUDING THE STATE-OF-THE-ARTS. INITIATED WITH SELF-SUPERVISED PRETRAINING USING POSE DATA, IT IS FINE-TUNED WITH GROUND-TRUTH SEGMENTATION ACROSS THE COMPLETE TRAINING SET. THE ABBREVIATIONS 'C', 'L', AND 'C+L' DENOTE CAMERA, LIDAR, AND CAMERA+LIDAR MODALITIES, RESPECTIVELY. THE MEAN IOU (MIOU) FOR EACH METHOD IS LISTED IN THE FINAL COLUMN.
MethodModalitycarparkwalkwaylanedrivablestop_linecrossingmean
LSS [^32]C39.146.336.575.430.338.844.4
CVT [^50]C35.039.929.474.325.836.840.2
OFT [^52]C35.945.933.974.027.535.342.1
$M^{2}BEV$ [^53]C--40.577.2---
CenterPoint [^54]L31.757.541.975.636.548.448.6
PointPillars [^55]L27.753.137.572.029.743.1443.8
MVP [^56]C+L33.057.042.276.136.948.749.0
PointPainting [^57]C+L34.557.141.975.936.948.549.1
BEVFusion [^19]C+L57.067.653.785.552.060.562.7
BEVPose (Ours)C+L62.172.558.989.657.266.567.8
TABLE II
EFFICACY OF SELF-SUPERVISED PRETRAINING. EVALUATION RESULTS OF BEVPOSE, LEVERAGING SELF-SUPERVISED PRETRAINING WITH POSE SUPERVISION, AGAINST THE FULLY-SUPERVISED BENCHMARK METHOD PROPOSED IN [^19]. THIS EVALUATION SPANS VARIOUS PROPORTIONS OF THE TRAINING DATASET, ALL UTILISING GROUND-TRUTH ANNOTATIONS FOR FINE-TUNING. 'C+L' DENOTES THE USE OF BOTH CAMERA AND LIDAR MODALITIES. THE FINAL COLUMN REPRESENTS THE MEAN INTERSECTION OVER UNION (MIOU).
Training DataMethodModalitycarparkwalkwaylanedrivablestop_linecrossingmean
100%BEVFusion [^19]C+L57.067.653.785.552.060.562.7
10%BEVPose (Ours)C+L49.160.546.976.345.552.455.1
20%BEVPose (Ours)C+L54.263.951.181.949.857.159.7
50%BEVPose (Ours)C+L57.768.554.486.852.761.263.5
TABLE III
BEVPOSE 的消融研究。本研究检查了我们的模型在不同设计参数和用于微调阶段的不同输入模态组合下的性能。最后一列表示 mIOU。粗体数字表示我们在最终选择的配置中获得的性能。
mIoU
Fine-tuned ModalityCamera-only61.0
Lidar-only53.2
Camera+Lidar67.8
Lidar Voxel Resolution0.2m63.6
0.1m67.8
#Depth Discrete Values (L)7960.1
15867.8
表 III 总结了这些消融研究的结果，粗体数字表示我们在最佳配置中获得的性能。如表 III 所示，仅使用摄像头数据的微调比仅使用激光雷达数据的微调效果更好，而多模态方法可以获得最佳结果。 ### E. BEV 嵌入 为了对学习的姿态监督 BEV 嵌入进行定性评估，特别是为了评估其有效性，即捕获场景的高级几何和语义信息，我们将高维、融合的潜在 BEV 特征通过主成分分析 (PCA) 投影到 RGB 3 空间中。如图 4 所示，这种可视化有效地揭示了 BEV 表示中固有的各种语义和几何结构，包括道路、交叉路口等。此外，它清楚地突出了来自周围视锥体的摄像头 BEV 特征。 ### F. 鲁棒性评估 评估对传感器中断的鲁棒性是评估多模态融合框架的一个关键方面。图 5 演示了我们的框架（经过预训练和微调）在推理过程中，即使缺少一种传感器模式，也能保持性能完整性的能力。该模型在传感器中断的情况下表现出稳定的性能。在仅使用摄像头模式的情况下，预测的 BEV 地图范围更广，但几何精度有所下降。相反，仅使用激光雷达模式，虽然范围受限，但可以获得更高的几何精度。 --- ![Image](images/12fb0d041a268e387350464f8958f966bb9cca0936593a82d14351af5bef60aa.jpg)
Fig. 3. Qualitative Results. This figure presents the predicted BEV map segmentations across scenes with diverse levels of complexity. The leftmost column illustrates the lidar point-clouds. The middle columns display the six surrounding cameras, arranged from left to right as follows: front-left, front, front-right, back-left, back, and back-right. The rightmost column features the predicted BEV segmentations, with class labels including car park, walkway, lane divider, drivable area, stop line, and pedestrian crossing. The ego-vehicle is positioned at the centre of each map, facing upwards.
![Image](images/2d620c55a45615505f6d951061acc2522816e74b45ca0a2c74677932e7d5bb39.jpg)
Fig. 4. BEV Embeddings. An illustration of the self-supervised latent BEV 256-dimensional features projected into the RGB 3-space using PCA. The visualisation clearly demonstrates that these latent BEV representations capture high-level geometric and semantic information, such as roads, intersections, walkways, and other significant landmarks observable in camera frustums. The first row displays the lidar point-cloud, all 6 surrounding camera images, and their corresponding latent BEV embeddings. For brevity, only BEV features for various scenes are shown in the second row.
### VI. 局限性 BEVPose 解决了最近采用 2D BEV 表示的趋势中的一个重要挑战，特别是数据效率方法的追求。它引入了一种姿势引导的多模态 BEV 预训练方法，该方法采用自监督学习。但是，本文没有探索将显式的多视图摄像头约束（例如立体视觉或深度传感）集成到我们的流水线中——这是我们计划在未来研究的方向。一个实际的场景是考虑在移动机器人导航中应用立体视觉或 RGB-D 摄像头。将显式立体摄像头配置集成到 BEVPose 中可以显著扩展其在更广泛的室内和越野环境中的适用性。 ### VII. 结论 我们提出的 BEVPose 框架，在利用自监督学习融合来自摄像头和激光雷达的数据的 BEV 表示方面，展示了显著的进步。通过利用传感器姿势信息，它有效地减少了对大量标注数据的依赖，这对于各种环境都非常有利。该框架在 BEV 地图分割任务中显示出很有前景的结果，并且在标注数据显著减少的情况下，可以与最先进的方法相媲美。 我们旨在通过使用自主代理的轨迹数据来整合时间约束，从而改进 BEVPose。 --- ![Image](images/88d52ae368a8aeb15c851989e350ccd1422efef26c60d6643a1645a1b3f7ffed.jpg)
Fig. 5. Robustness Evaluation for Sensor Modality Dropout. This figure assesses the robustness of our framework against sensor dropout, illustrating BEV segmentation predictions when various modalities are omitted. The first column displays the lidar point-cloud, and the second column shows the camera image (only the front camera is represented, with the other 5 camera views omitted for brevity). The leftmost predicted map results from using only the camera modality (excluding lidar), the middle map depicts predictions based on lidar-only, and the rightmost column illustrates predictions derived from fusing both modalities. The prediction maps confirm the framework's robustness to sensor dropout: the camera-only mode achieves broader coverage with less precise geometry, while the lidar-only mode provides enhanced geometric fidelity albeit over a more limited range. This robustness is crucial for the practical application of multi-modal fusion models in real-world autonomous driving scenarios.
这可以实现更具时间一致性的 BEV 表示。此外，我们计划探索该框架在各种环境（例如越野和室内环境）中的应用，并将其用于其他自主导航任务，例如 2D/3D 对象检测。整合其他传感器模式，例如深度传感器和雷达，也为进一步研究提供了一个令人兴奋的途径。 ## 参考文献 [^1]: C. Campos, R. Elvira, J. J. Gomez, J. M. M. Montiel, and J. D. Tardos, "ORB-SLAM3: An accurate open-source library for visual, visual-inertial and multi-map SLAM," IEEE Transactions on Robotics, vol. 37, no. 6, pp. 1874–1890, 2021. [^2]: R. MurArtal, J. M. M. Montiel, and J. D. Tardos, “ORB-SLAM: a versatile and accurate monocular SLAM system,” IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147–1163, 2015. [^3]: J. Engel, T. Schöps, and D. Cremers, “Lsd-slam: Large-scale direct monocular slam,” in Computer Vision – ECCV 2014, D. Fleet, T. Pajdla, B. Schiele, and T. Tuytelaars, Eds. Cham: Springer International Publishing, 2014, pp. 834–849. [^4]: J. L. Schönberger, E. Zheng, M. Pollefeys, and J.-M. Frahm, "Pixelwise view selection for unstructured multi-view stereo," in European Conference on Computer Vision (ECCV), 2016. [^5]: J. L. Schönberger and J.-M. Frahm, “Structure-from-motion revisited,” in Conference on Computer Vision and Pattern Recognition (CVPR), 2016. [^6]: J. Engel, V. Koltun, and D. Cremers, "Direct sparse odometry," 2016. [^7]: T. Shan and B. Englot, "Lego-loam: Lightweight and ground-optimized lidar odometry and mapping on variable terrain," in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018, pp. 4758–4765. [^8]: H. Wang, C. Wang, C. Chen, and L. Xie, "F-loam : Fast lidar odometry and mapping," in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020. [^9]: M. Bloesch, J. Czarnowski, R. Clark, S. Leutenegger, and A. J. Davison, “Codeslam - learning a compact, optimisable representation for dense visual slam,” 2019. [^10]: E. Bylow, J. Sturm, C. Kerl, F. Kahl, and D. Cremers, “Real-time camera tracking and 3d reconstruction using signed distance functions.” in Robotics: Science and Systems, vol. 2, 2013, p. 2. [^11]: Z. Wang, S. Wu, W. Xie, M. Chen, and V. A. Prisacariu, "Nerf:: Neural radiance fields without known camera parameters," arXiv preprint arXiv:2102.07064, 2021. [^12]: A. Pumarola, E. Corona, G. Pons-Moll, and F. Moreno-Noguer, “Dnerf: Neural radiance fields for dynamic scenes,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 10318–10327. [^13]: S. Yang and S. Scherer, “Cubeslam: Monocular 3-d object slam,” IEEE Transactions on Robotics, vol. 35, no. 4, pp. 925–938, 2019. [^14]: Y. Taguchi, Y.-D. Jian, S. Ramalingam, and C. Feng, “Point-plane slam for hand-held 3d sensors,” in 2013 IEEE international conference on robotics and automation. IEEE, 2013, pp. 5182–5189. [^15]: M. Hosseinzadeh, K. Li, Y. Latif, and I. Reid, “Real-time monocular object-model aware sparse slam,” in 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019, pp. 7123–7129. [^16]: M. Hosseinzadeh, Y. Latif, T. Pham, N. Suenderhauf, and I. Reid, “Structure aware slam using quadrics and planes,” in Computer Vision–ACCV 2018: 14th Asian Conference on Computer Vision, Perth, Australia, December 2–6, 2018, Revised Selected Papers, Part III 14. Springer, 2019, pp. 410–426. [^17]: J. Huang, G. Huang, Z. Zhu, Y. Yun, and D. Du, “Bevdet: High-performance multi-camera 3d object detection in bird-eye-view,” arXiv preprint arXiv:2112.11790, 2021. [^18]: J. Huang and G. Huang, “Bevdet4d: Exploit temporal cues in multi-camera 3d object detection,” arXiv preprint arXiv:2203.17054, 2022. [^19]: Z. Liu, H. Tang, A. Amini, X. Yang, H. Mao, D. Rus, and S. Han, "Bevfusion: Multi-task multi-sensor fusion with unified bird's-eye view representation," in IEEE International Conference on Robotics and Automation (ICRA), 2023. [^20]: T. Liang, H. Xie, K. Yu, Z. Xia, Z. Lin, Y. Wang, T. Tang, B. Wang, and Z. Tang, "BEVFusion: A Simple and Robust LiDAR Camera Fusion Framework," in Neural Information Processing Systems (NeurIPS), 2022. [^21]: P.-E. Sarlin, D. DeTone, T.-Y. Yang, A. Avetisyan, J. Straub, T. Malisiewicz, S. R. Bulo, R. Newcombe, P. Kontschieder, and V. Balntas, "OrienterNet: Visual Localization in 2D Public Maps with Neural Matching," in CVPR, 2023. [^22]: P.-E. Sarlin, E. Trulls, M. Pollefeys, J. Hosang, and S. Lynen, “SNAP: Self-Supervised Neural Maps for Visual Positioning and Semantic Understanding,” in NeurIPS, 2023. [^23]: T. Yin, X. Zhou, and P. Krähenbühl, “Center-based 3d object detection and tracking,” arXiv preprint arXiv:2006.11275, 2020. ## [^24]: J. Huang, Y. Ye, Z. Liang, Y. Shan, and G. Huang, "Detecting as --- labeling: Rethinking lidar-camera fusion in 3d object detection," arXiv preprint arXiv:2311.07152, 2023. [^25]: J. Huang and G. Huang, “Bevpoolv2: A cutting-edge implementation of bevdet toward deployment,” arXiv preprint arXiv:2211.17111, 2022. [^26]: Z. Tian, C. Shen, H. Chen, and T. He, "Fcos: Fully convolutional one-stage object detection," in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 9627–9636. [^27]: N. Carion et al., “End-to-end object detection with transformers,” arXiv preprint arXiv:2005.12872, 2020. [^28]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915. [^29]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3d object detection from rgb-d data,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 918–927. [^30]: J. Wang et al., “End-to-end multi-modal multi-task vehicle control for self-driving cars with visual perceptions,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 8858–8867. [^31]: C. Reading, A. Harakeh, and S. L. Waslander, “Categorical depth distribution network for monocular 3d object detection,” arXiv preprint arXiv:2103.01100, 2021. [^32]: J. Philion and S. Fidler, “Lift, splat, shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3d,” arXiv preprint arXiv:2008.05711, 2020. [^33]: X. Zhu, W. Su, L. Lu, B. Li, X. Wang, and J. Dai, “Deformable detr: Deformable transformers for end-to-end object detection,” in International Conference on Learning Representations, 2020. [^34]: Y. Liu, T. Wang, X. Zhang, and J. Sun, "Petr: Position embedding transformation for multi-view 3d object detection," arXiv preprint arXiv:2203.05625, 2022. [^35]: Y. Liu, J. Yan, F. Jia, S. Li, Q. Gao, T. Wang, X. Zhang, and J. Sun, "Petrv2: A unified framework for 3d perception from multi-camera images," arXiv preprint arXiv:2206.01256, 2022. [^36]: A. van den Oord, Y. Li, and O. Vinyals, “Representation learning with contrastive predictive coding,” arXiv preprint arXiv:1807.03748, 2018. [^37]: K. He, H. Fan, Y. Wu, S. Xie, and R. Girshick, “Momentum contrast for unsupervised visual representation learning,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 9726–9735. [^38]: M. Caron, H. Touvron, I. Misra, H. Jégou, J. Mairal, P. Bojanowski, and A. Joulin, “Emerging properties in self-supervised vision transformers,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 9650–9660. [^39]: P. O. Pinheiro, A. Almahairi, R. Benmalek, F. Golemo, and A. C. Courville, “Unsupervised learning of dense visual representations,” in Advances in Neural Information Processing Systems, vol. 33, 2020, pp. 7048–7060. [^40]: K. He, X. Chen, S. Xie, Y. Li, P. Dollár, and R. Girshick, “Masked autoencoders are scalable vision learners,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 16000–16009. [^41]: M. Larsson, E. Stenborg, C. Toft, L. Hammarstrand, T. Sattler, and F. Kahl, “Fine-grained segmentation networks: Self-supervised segmentation for improved long-term visual localization,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 9915–9924. [^42]: B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng, “Nerf: Representing scenes as neural radiance fields for view synthesis,” in European Conference on Computer Vision. Springer, 2020, pp. 405–421. [^43]: P. Sharma, A. Tewari, Y. Du, S. Zakharov, R. Ambrus, A. Gaidon, W. T. Freeman, F. Durand, J. B. Tenenbaum, and V. Sitzmann, “Seeing 3d objects in a single image via self-supervised static-dynamic disentanglement,” in Advances in Neural Information Processing Systems, 2022. [^44]: S. Lal, M. Prabhudesai, I. Mediratta, A. W. Harley, and K. Fragki-adaki, “Coconets: Continuous contrastive 3d scene representations,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 16995–17004. [^45]: Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, “Swin transformer: Hierarchical vision transformer using shifted windows," in Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 10012–10022. [^46]: T.-Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie, "Feature pyramid networks for object detection," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 2117–2125. [^47]: Y. Zhou and O. Tuzel, “Voxelnet: End-to-end learning for point cloud based 3d object detection,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 4490–4499. [^48]: I. Loshchilov and F. Hutter, “Decoupled weight decay regularization,” arXiv preprint arXiv:1711.05101, 2017. [^49]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11621–11631. [^50]: B. Zhou and P. Krähenbühl, “Cross-view transformers for real-time map-view semantic segmentation,” in CVPR, 2022. [^51]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 2980–2988. [^52]: T. Roddick, A. Kendall, and R. Cipolla, “Orthographic feature transform for monocular 3d object detection,” arXiv preprint arXiv:1811.08188, 2018. [^53]: E. Xie, Z. Yu, D. Zhou, J. Philion, A. Anandkumar, S. Fidler, P. Luo, and J. M. Alvarez, “M²bev: Multi-camera joint 3d detection and segmentation with unified birds-eye view representation,” arXiv preprint arXiv:2204.05088, 2022. [^54]: T. Yin, X. Zhou, and P. Krahenbuhl, “Center-based 3d object detection and tracking,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 11784–11793. [^55]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Pointpillars: Fast encoders for object detection from point clouds,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 12697–12705. [^56]: T. Yin, X. Zhou, and P. Krähenbühl, “Multimodal virtual point 3d detection,” Advances in Neural Information Processing Systems, vol. 34, pp. 16494–16507, 2021. [^57]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “Pointpainting: Sequential fusion for 3d object detection,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 4604–4612.