# BEVFusion：基于统一鸟瞰图表示的多任务多传感器融合刘子健 $^{*}$, $^{1}$, 唐浩天 $^{*}$, $^{1}$, Alexander Amini $^{1}$, 杨新宇 $^{1}$, 毛惠子 $^{2}$, Daniela L. Rus $^{1}$, 韩松 $^{1}$ 摘要—多传感器融合对于准确可靠的自动驾驶系统至关重要。近年的主流方法基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影会丢弃相机特征的语义密度，限制了这类方法的效果，对于面向语义的任务（例如3D场景分割）来说尤其明显。本文提出BEVFusion，这是一个高效通用的多任务多传感器融合框架。它在共享的鸟瞰图（bird's-eye view, BEV）表示空间中统一多模态特征，能够完好保留几何信息与语义信息。为实现这一目标，我们通过优化的BEV池化定位并解决了视角变换中的核心效率瓶颈，将延迟降低了$40\times$以上。BEVFusion本质上不依赖特定任务，几乎无需修改架构就能无缝支持不同的3D感知任务。它在nuScenes基准上建立了新的SOTA性能，在3D目标检测上mAP和NDS分别提升1.3%，在BEV地图分割上mIoU提升13.6%，同时计算成本降低了$1.9\times$。复现本文结果的代码可在获取。 ## 一、引言自动驾驶系统配备了多种不同的传感器。例如，Waymo的自动驾驶汽车拥有29台相机、6台雷达和5台激光雷达。不同传感器提供互补的信号：相机可以捕捉丰富的语义信息，激光雷达提供准确的空间信息，而雷达能够输出即时速度估计。因此，多传感器融合对于获得准确可靠的感知结果至关重要。不同传感器的数据属于完全不同的模态：相机以透视视角采集数据，激光雷达则在三维空间采集数据。为了解决这种视角差异，我们需要找到一个适合多任务多模态特征融合的统一表示。得益于二维感知领域的巨大成功，一个自然的思路是将激光雷达点云投影到相机平面，用二维CNN处理RGB-D数据。然而，这种激光雷达到相机的投影会引入严重的几何畸变（参见图1a），导致它在面向几何的任务（例如3D目标识别）上效果不佳。近年的传感器融合方法遵循另一种方向。它们用来自二维图像的语义标签[^1]、CNN特征[^2], [^3]或虚拟点[^4]增强激光雷达点云，之后使用现有基于激光雷达的检测器预测 ![Image](images/086bbe236fff4c3c26fd40ae4934d9f3ec9a35bd1a945e491af1290697a52f10.jpg)

(a) To Camera: geometric-lossy

![Image](images/7d894f9158b6ef071b58d8f14de129233fb2862e12e28780029f3d691ad4cbe2.jpg)

(b) To LiDAR: semantic-lossy

![Image](images/2340e66233525cacb204f5b30dff849a48c555a0f28d691c6da514ba5333a3cc.jpg)

Fig. 1: BEVFusion unifies camera and LiDAR features in a shared BEV space instead of mapping one modality to the other. It preserves camera's semantic density and LiDAR's geometric structure.

三维包围框。尽管这类点级融合方法已经在大规模检测基准上展现出出色的性能，但它们在面向语义的任务（例如BEV地图分割[^5], [^6], [^7], [^8]）上几乎无法发挥作用。这是因为相机到激光雷达的投影本身存在语义损失（参见图1b）：对于典型的32线激光雷达扫描仪，只有5%的相机特征会被匹配到激光雷达点，其余所有特征都会被丢弃。这种密度差异对于更稀疏的激光雷达（或雷达）来说会更加显著。本文提出BEVFusion，用于在共享的鸟瞰图（bird's-eye view, BEV）表示空间中统一多模态特征，实现任务无关学习。我们同时保留了几何结构和语义密度（见图1c），并天然支持大多数3D感知任务，因为这类任务的输出空间可以自然地在BEV中表示。在将所有特征转换为BEV的过程中，我们发现视图变换中存在一个严重限制效率的关键瓶颈：仅BEV池化操作就占用了模型超过80%的运行时间。随后，我们提出了一种结合预计算和区间缩减的专用内核来消除该瓶颈，实现了超过40倍的加速。最后，我们使用全卷积BEV编码器融合统一后的BEV特征，并添加数个任务特定头来支持不同的目标任务。 BEVFusion在nuScenes和Waymo基准测试上均取得了当前最优的3D目标检测性能。无论是否使用测试时增强和模型集成，它都优于所有已发表的方法。BEVFusion在BEV地图分割任务上的提升更加显著：其mIoU比仅相机模型高6%，比仅激光雷达（LiDAR）模型高13.6%，而现有融合方法几乎无法取得有效效果。此外，BEVFusion --- ![Image](images/33d871c68828b986688ae4243ea99be743b4731e518324a3a419c8a8a1aa1f91.jpg)

Fig. 2: BEVFusion extracts features from multi-modal inputs and converts them into a shared bird's-eye view (BEV) space efficiently using view transformations. It fuses the unified BEV features with a fully-convolutional BEV encoder and supports different tasks with task-specific heads.

效率极高，在获得上述所有结果的同时，仅需$1.9 \times$更低的计算成本。在过去三年中，点级融合一直是多传感器融合领域的首选方案，而BEVFusion通过重新思考「激光雷达空间是否是进行传感器融合的正确场所？」，为该领域提供了全新的视角。它展示了这种此前被忽视的替代范式的优异性能。简洁性也是BEVFusion的核心优势。我们希望这项工作能够为未来的传感器融合研究提供一个简单而强大的基线，并激励研究人员重新思考通用多任务多传感器融合的设计与范式。 ### 二、相关工作基于激光雷达的3D感知。研究人员设计了单阶段3D目标检测器[^9]、[^10]、[^11]、[^12]、[^13]、[^14]，这类检测器利用PointNets [^15]或SparseConvNet [^16]提取展平的点云特征，并在BEV空间中完成检测。随后，[^17]、[^18]、[^19]、[^20]、[^21]、[^22]、[^23]探索了无锚框单阶段3D目标检测方法。另一方向的研究[^24]、[^25]、[^26]、[^27]、[^28]、[^29]聚焦于两阶段目标检测器设计，即在现有单阶段目标检测器的基础上添加RCNN网络。基于相机的三维感知。由于激光雷达（LiDAR）传感器成本高昂，研究人员在纯相机三维感知方向投入了大量精力。FCOS3D [^30] 为图像检测器 [^31] 扩展了额外的三维回归分支，后续 [^32]、[^33] 从深度建模角度对该方法进行了改进。[^34]、[^35] 没有在透视图中执行目标检测，而是设计了一个基于DETR [^36]、[^37] 的检测头，在三维空间中使用可学习的目标查询。受基于激光雷达的检测器设计启发，另一类纯相机三维感知模型借助视图变换器 [^5]、[^38]、[^39]、[^6] 将相机特征从透视图显式转换为鸟瞰图。BEVDet [^40] 和 M²BEV [^41] 将LSS [^6] 和 OFT [^38] 扩展到三维目标检测任务，CaDDN [^42] 为视图变换器添加了显式深度估计监督。近期研究 [^43]、[^8] 也开展了利用多头注意力实现视图变换的相关研究。多传感器融合。近年来，多传感器融合在三维检测领域引起了广泛关注。现有方法可分为候选框级融合与点级融合两类。早期方法MV3D [^44] 在三维空间生成目标候选框，再将候选框投影到图像提取感兴趣区域（RoI）特征。[^45]、[^46]、[^47] 均将图像候选框提升到三维平截头体中。近期工作FUTR3D [^48] 和 TransFusion [^49] 在三维空间定义目标查询，并将图像特征融合到这些候选框上。所有候选框级融合方法都是以目标为中心的，无法轻易推广到BEV地图分割等其他任务。另一方面，点级融合方法通常将图像语义特征附加到前景激光雷达点上，在修饰后的点云输入上执行基于激光雷达的检测。因此这类方法同时兼顾以目标为中心和以几何为中心。在这些方法中，[^1]、[^2]、[^4]、[^50]、[^51] 属于（激光雷达）输入级修饰，而DCF [^52] 和 DeepFusion [^3] 属于特征级修饰。与所有现有方法不同，BEVFusion在共享的BEV空间中执行传感器融合，对前景与背景、几何信息与语义信息同等处理。它是一个通用的多任务多传感器感知框架。 ### 三、方法如图2所示，BEVFusion面向多任务三维感知（即目标检测和分割），聚焦于多传感器融合（即多视图相机与激光雷达的融合）。针对不同的传感器输入，我们首先使用对应模态的编码器提取特征。我们将多模态特征转换为同时保留几何信息和语义信息的统一BEV表示。我们定位了视图变换的效率瓶颈，并通过预计算和区间缩减加速了BEV池化。随后我们对统一BEV特征应用基于卷积的BEV编码器，缓解不同特征之间的局部错位问题。最后我们添加数个任务专用头来支持不同的三维任务。 ### A. 统一表示不同特征可存在于不同视图中。例如，相机特征位于透视图中，而 --- ![Image](images/41de67b930147694df2871cebd8f63b0d0d7eba7f5645e1433004a45a7d4ffe4.jpg) ![Image](images/ec12ff29f0c528bacb811db0e7e31972e0ad29022b647d513e6d0dd00f447a1a.jpg)

(b) Efficient BEV pooling

![Image](images/765032f2e0d0db555cd370d511b80f558b84178a6825fff7038284ff278c0002.jpg) ![Image](images/54caf8b46ec755c0dee61ae09877f39956621208618cca76ce006f1dbaa3284b.jpg)

(d) Scalability

Fig. 3: Camera-to-BEV transformation (a) is the key step to perform sensor fusion in the unified BEV space. Existing implementation is extremely slow and takes up to 2s for a single scene. We propose efficient BEV pooling (b) using interval reduction and fast grid association with precomputation, bringing about $40\times$ speedup to view transformation (c, d).

LiDAR/雷达特征通常处于3D/鸟瞰视角。即使是相机特征，每个相机也有独特的视角（即前、后、左、右）。这种视角差异使得特征融合难度很大，因为同一元素在不同特征张量中可能对应差异很大的空间位置，朴素的逐元素特征融合在这种情况下无法生效。因此，找到一个共享表征至关重要，需要满足：(1) 所有传感器特征都可以轻松转换为该表征，且无信息损失；(2) 该表征适用于不同类型的任务。转换到相机视角。受RGB-D数据思路启发，一种方案是将LiDAR点云投影到相机平面，生成2.5D稀疏深度图。但这种转换会产生几何信息损失：深度图上相邻的两个点在三维空间中可能相距很远。这使得相机视角对于聚焦物体/场景几何的任务（比如3D目标检测）效果不佳。转换到LiDAR视角。绝大多数当前最优的传感器融合方法[^1]、[^4]、[^3] 为LiDAR点添加对应的相机特征（例如语义标签、CNN特征或虚拟点）。但这种相机到LiDAR的投影会产生语义信息损失。相机特征和LiDAR特征的密度差异极大，对于32线LiDAR扫描仪而言，只有不到5%的相机特征能匹配到LiDAR点。放弃相机特征的语义密度会严重损害模型在语义导向任务（例如BEV地图分割）上的性能。类似的缺陷也出现在近期隐空间中的融合方法（例如目标查询）中[^48]、[^49]。转换到鸟瞰视角。我们采用鸟瞰图（BEV）作为融合的统一表征。这种视角几乎对所有感知任务都友好，因为任务的输出空间本身也处于BEV下。更重要的是，转换到BEV可以同时保留来自LiDAR特征的几何结构和来自相机特征的语义密度。一方面，LiDAR-to-BEV投影将稀疏LiDAR特征沿高度维度展平，因此不会产生几何失真，对应图1a的情况。另一方面，相机-to-BEV投影将每个相机特征像素反向投影到三维空间中的一条射线上（下一节会详细介绍），最终可以得到图1c中所示的稠密BEV特征图，完整保留了来自相机的全部语义信息。 ### B. 高效的相机到BEV变换相机到BEV变换并非易事，因为每个相机特征像素对应的深度本质上存在固有不确定性。遵循LSS [^6] 的方法，我们显式预测每个像素的离散深度分布。之后我们将每个特征像素沿相机射线分散为D个离散点，并按照对应的深度概率对关联特征进行重缩放（图3a）。这一步会生成尺寸为$N\mathit{HWD}$的相机特征点云，其中N是相机数量，$(H,W)$是相机特征图尺寸。这种三维特征点云会沿x、y轴以步长r（例如0.4m）进行量化。我们使用BEV池化操作聚合每个$r\times r$ BEV网格内的所有特征，并沿z轴对特征进行展平。虽然结构简单，但BEV池化的效率却低得惊人、运行缓慢，在一块RTX 3090 GPU上耗时超过500毫秒，而我们模型的其余部分仅需约100毫秒。这是因为相机特征点云的规模非常大：对于典型任务$^{*}$，每帧会生成约200万个点，密度比激光雷达特征点云高出两个数量级。为了解决这一效率瓶颈，我们提出通过预计算和区间缩减对BEV池化进行优化。预计算。BEV池化的第一步是将相机特征点云中的每个点映射到对应的BEV网格。与激光雷达点云不同，只要相机内参和外参保持不变（经过正确标定后通常都是如此），相机特征点云的坐标就是固定的。基于这一特性，我们预先计算每个点的三维坐标和对应的BEV网格索引，还按照网格索引对所有点排序，并记录每个点的排序位次。推理过程中，我们只需根据预计算得到的位次对所有特征点重新排序即可。这种缓存机制可以将网格关联的延迟从17毫秒降低到4毫秒。 $^{*}N = 6, (H, W) = (32, 88), \text{ and } D = (60 - 1)/0.5 = 118.$ 这对应六台多视角相机，每台相机对应一张$32 \times 88$尺寸的相机特征图（该特征图由$256 \times 704$尺寸的原图下采样$8 \times$倍得到）。深度被离散划分到[^1] [^60]米的范围，步长为0.5米。 ---

1ab. 1: BEVFusion achieves state-of-the-art 3D object detection performance on nuScenes (val and test) without bells and whistles. It breaks the convention of decorating camera features onto the LiDAR point cloud and delivers at least 1.3% higher mAP and NDS with $1.5-2\times$ lower computation cost. (*: our re-implementation; †: with test-time augmentation)

	Modality	mAP (test)	NDS (test)	mAP (val)	NDS (val)	MACs (G)	Latency (ms)
$M^{2}BEV$ [^41]	C	42.9	47.4	41.7	47.0	-	-
BEVFormer [^43]	C	44.5	53.5	41.6	51.7	-	-
PointPillars [^10]	L	-	-	52.3	61.3	65.5	34.4
SECOND [^11]	L	52.8	63.3	52.6	63.0	85.0	69.8
CenterPoint [^17]	L	60.3	67.3	59.6	66.8	153.5	80.7
PointPainting [^1]	C+L	-	-	$65.8^{{*}}$	$69.6^{{*}}$	370.0	185.8
PointAugmenting [^2]	C+L	$66.8^{{\dagger}}$	$71.0^{{\dagger}}$	-	-	408.5	234.4
MVP [^4]	C+L	66.4	70.5	$66.1^{{*}}$	$70.0^{{*}}$	371.7	187.1
FusionPainting [^50]	C+L	68.1	71.6	66.5	70.7	-	-
AutoAlign [^51]	C+L	-	-	66.6	71.1	-	-
FUTR3D [^48]	C+L	-	-	64.5	68.3	1069.0	321.4
TransFusion [^49]	C+L	68.9	71.6	67.5	71.3	485.8	156.6
BEVFusion (Ours)	C+L	70.2	72.9	68.5	71.4	253.2	119.2

区间缩减。完成网格关联后，同一BEV网格内的所有点在张量表示中是连续排列的。BEV池化的下一步是通过某种对称函数（例如均值、最大值和求和）聚合每个BEV网格内的特征。如图3b所示，现有实现[^6]会先计算所有点的前缀和，随后在索引发生变化的边界处对值做差得到结果。但前缀和操作在GPU上需要树规约，还会生成大量未使用的部分和（因为我们只需要边界处的值），这两种情况都十分低效。为了加速特征聚合，我们实现了一个专门的GPU核函数，直接在BEV网格层面实现并行化：我们为每个网格分配一个GPU线程，由该线程计算区间和并写回结果。该核函数消除了输出之间的依赖关系（因此不需要多层树规约），还避免了将部分和写入DRAM，将特征聚合的延迟从500毫秒降低到了2毫秒（图3c）。研究结论。经过我们优化的BEV池化，相机到BEV变换的速度提升了$40 \times$：延迟从超过500毫秒降低到12毫秒，仅占我们模型端到端运行时间的10%，并且在不同特征分辨率下都有良好的扩展性（图3d）。这是在共享BEV表示中统一多模态感知特征的关键支撑。我们另外两项同期工作也发现了纯相机3D检测中的这一效率瓶颈。他们通过假设均匀深度分布[^41]或截断每个BEV网格内的点[^40]来对视图变换器做近似。相比之下，我们的方法无需任何近似，结果是精确的，同时速度仍然更快。 ### C. 全卷积融合当所有感知特征都转换为共享BEV表示后，我们可以很容易地通过逐元素算子（例如拼接）将它们融合在一起。尽管处于同一空间，由于视角转换器中的深度估计不准确，激光雷达BEV特征与相机BEV特征仍可能在一定程度上存在空间错位。为此，我们采用了基于卷积的BEV编码器（包含若干残差

Tab. II: BEVFusion achieves state-of-the-art 3D object detection performance among all submissions on Waymo open dataset (test). ( $^{\dagger}$: with test-time augmentation, $^{\ddagger}$: with both test-time augmentation and model ensemble)

	Frames	mAP/L1	mAPH/L1	mAP/L2	mAPH/L2
AFDetV2-Ens [^18] $^{\dagger}$	3	84.1	82.6	79.0	77.6
InceptionLiDAR	10	83.8	82.5	79.2	77.8
3DAL-Ens [^20]	5	84.6	83.1	79.7	78.2
DeepFusion-Ens [^3] $^{\dagger}$	5	84.4	83.2	79.5	78.4
MT-Net $^{\ddagger}$ [^55]	3	84.7	83.2	79.9	78.5
MT3D	4	85.0	83.7	80.1	78.7
LIVOX-Detection	7	84.8	83.5	80.2	79.0
MPPNet-Ens $^{\ddagger}$ [^56]	16	85.0	83.7	80.5	79.1
3DAM-Ens	5	85.3	83.8	80.7	79.2
BEVFusion (Ours) $^{\dagger}$	3	85.7	84.4	80.8	79.5

blocks) to compensate for such local misalignments. Our method could potentially benefit from more accurate depth estimation (e.g., supervising the view transformer with ground-truth depth [^42], [^53]), which we leave for future work.

### D. 多任务头我们对融合后的BEV特征图应用多个特定任务头。本文方法适用于大多数3D感知任务。对于3D目标检测，我们遵循[^17]、[^49]的方案，使用类别专属的中心热图头预测所有目标的中心位置，并使用多个回归头估计目标的尺寸、旋转角度和速度。对于地图分割，不同地图类别可能存在重叠（例如，人行横道是可行驶区域的子集）。因此，我们将该问题建模为每个类别对应一个独立的二值语义分割任务。我们遵循CVT [^8]的方法，使用标准焦点损失[^54]训练分割头。 ### IV. 实验我们在3D目标检测和BEV地图分割任务上评估了面向相机-激光雷达融合的BEVFusion，覆盖了面向几何和面向语义两类任务。我们的框架可以轻松扩展，支持其他类型传感器（如雷达和事件相机）以及其他3D感知任务（如3D目标跟踪和运动预测）。 ---

Tab. III: BEVFusion outperforms the state-of-the-art multi-sensor fusion methods by 13.6% on BEV map segmentation on nuScenes (val) with consistent improvements across different categories.

	Modality	Drivable	Ped. Cross.	Walkway	Stop Line	Carpark	Divider	Mean
OFT [^38]	C	74.0	35.3	45.9	27.5	35.9	33.9	42.1
LSS [^6]	C	75.4	38.8	46.3	30.3	39.1	36.5	44.4
CVT [^8]	C	74.3	36.8	39.9	25.8	35.0	29.4	40.2
$M^{{2}}$BEV [^41]	C	77.2	-	-	-	-	40.5	-
BEVFusion (Ours)	C	81.7	54.8	58.4	47.4	50.7	46.4	56.6
PointPillars [^10]	L	72.0	43.1	53.1	29.7	27.7	37.5	43.8
CenterPoint [^17]	L	75.6	48.4	57.5	36.5	31.7	41.9	48.6
PointPainting [^1]	C+L	75.9	48.5	57.1	36.9	34.5	41.9	49.1
MVP [^4]	C+L	76.1	48.7	57.0	36.9	33.0	42.2	49.0
BEVFusion (Ours)	C+L	85.5	60.5	67.6	52.0	57.0	53.7	62.7

Tab. IV: BEVFusion is robust under different lighting and weather conditions, significantly boosting the performance single-modality models under challenging rainy $(+10.7)$ and nighttime $(+12.8)$ scenes.

		Sunny		Rainy		Day		Night
	Modality	mAP	mIoU	mAP	mIoU	mAP	mIoU	mAP	mIoU
CenterPoint [^17]	L	62.9	50.7	59.2	42.3	62.8	48.9	35.4	37.0
BEVFormer [^43]	C	41.0	-	44.0	-	41.9	-	21.2	-
BEVFusion	C	-	59.0	-	50.5	-	57.4	-	30.8
MVP	C+L	65.9 (+3.0)	51.0 (+0.3)	66.3 (+7.1)	42.9 (+0.6)	66.3 (+3.5)	49.2 (+0.3)	38.4 (+3.0)	37.5 (+0.5)
BEVFusion	C+L	68.2 (+5.3)	65.6 (+6.6)	69.9 (+10.7)	55.9 (+5.4)	68.5 (+5.7)	63.1 (+5.7)	42.8 (+7.4)	43.6 (+12.8)

模型。我们使用Swin-T [^57]作为图像骨干网络，VoxelNet [^11]作为激光雷达骨干网络。我们应用FPN [^58]融合多尺度相机特征，生成尺寸为输入1/8的特征图。我们将相机图像下采样至$256 \times 704$，并对激光雷达点云进行体素化，用于检测任务的体素大小为0.075m，用于分割任务的体素大小为0.1m。由于检测和分割任务需要不同空间范围和尺寸的BEV特征图，我们在每个任务特定头之前，使用带双线性插值的网格采样在不同BEV特征图之间进行显式转换。数据集。我们在nuScenes [^59]和Waymo [^60]上评估了本文方法，二者均是面向3D感知的大规模数据集，包含超过4万个标注场景。两个数据集中的每个样本都同时配备了激光雷达和环视相机输入。 ### A. 3D目标检测我们首先在以几何为核心的3D目标检测基准上开展实验，BEVFusion以更低的计算成本和实测延迟取得了更优异的性能。我们使用10个前景类别的平均精度均值（mAP）和nuScenes检测分数（NDS）作为检测指标。我们还在一块RTX3090 GPU上测量了所有开源方法的单次推理MACs数量和延迟。无论是验证集还是测试集结果，我们都使用单个模型，不采用任何测试时增强。如表I所示，BEVFusion在nuScenes检测基准上取得了当前最优结果，在桌面级GPU上可实现接近实时（8.4 FPS）的推理速度。与TransFusion [^49]相比，BEVFusion在测试拆分集上的mAP和NDS分别提升了1.3%，同时将MACs降低了1.9倍，实测延迟降低了1.3倍。相比代表性点级融合方法PointPainting [^1]和MVP [^4]，BEVFusion也取得了更优表现：在测试集上mAP高出3.8%，同时速度提升1.6倍，MACs降低1.5倍。我们认为BEVFusion的效率增益来源于我们选择BEV空间作为共享融合空间，这一做法充分利用了全部相机特征，而非仅利用5%的稀疏集合。因此，BEVFusion可以在相机输入分辨率低得多的情况下实现相同性能，从而大幅降低MACs。结合本文第三节B部分的高效BEV池化算子，BEVFusion将MACs的降低转化为了实测的速度提升。 BEVFusion在Waymo开放数据集[^60]上也取得了当前最优性能（表II）。仅使用60%输入帧的BEVFusion性能就超过了此前最优的多模态检测器DeepFusion [^3]。此外，DeepFusion集成了25个模型并使用测试时增强进行评估，而我们仅对单个BEVFusion模型应用测试时增强就取得了更优性能。 ### B. BEV地图分割我们进一步在以语义为中心的BEV地图分割任务上将BEVFusion与当前最优的3D感知模型进行对比，BEVFusion在该任务上取得了幅度更大的性能提升。我们使用6个背景类的交并比（IoU）以及类别平均mIoU作为评估指标。由于不同类别可能存在重叠（例如停车区域同时也属于可行驶区域），我们对每个类别的二值分割性能单独评估，并在不同阈值中选取最高IoU [^8]。遵循[^6]、[^8]、[^41]、[^43]中的设定，我们对每一帧仅在自车周围[-50m, 50m]×[-50m, 50m]区域内进行评估。我们在表III中给出了BEV地图分割的实验结果。与面向几何任务的3D目标检测不同，地图分割是面向语义的任务。因此， --- ![Image](images/245ead370e5f64fe468a46c7dc77b39a6d6215b62a7a0686c8fb62c72e8d35e7.jpg)

(a) Different object sizes

![Image](images/3f8a3bbe7badbe480d7732412485dbe1dc028f278ea26ed658f625b1a862e4d2.jpg)

(b) Different object distances

![Image](images/707efa625613f5d751421eb05ba6ef126d2eb9d415206501f9007dd186856f6d.jpg)

Fig. 4: BEVFusion consistently outperforms state-of-the-art single- and multi-modality detectors under different LiDAR sparsity, object sizes and object distances from the ego car, especially under the more challenging settings (i.e., sparser point clouds, small/distant objects).

仅使用相机的BEVFusion模型性能优于仅使用LiDAR的基准方法8-13%。这一观察结果与表I中的结果完全相反，表I中最优的仅相机 3D检测器性能被仅LiDAR检测器拉开接近20 mAP的差距。我们的仅相机模型提升了现有单目BEV地图分割方法的性能至少12%。在多模态设置下，我们进一步提升了单目BEVFusion的性能 6 mIoU，并且相比当前最优的传感器融合方法提升超过13% [^1], [^4]. This is because both 基准方法都是以目标为中心、面向几何的。 PointPainting [^1]仅对前景LiDAR 点进行装饰，而MVP仅致密化前景3D目标。两种方法都对地图组件分割没有帮助。更糟糕的是，这两种方法都假设LiDAR应当是传感器融合中更有效的模态，这一观点并不正确根据我们在表III中的观察结果。 ### 五、分析我们对BEVFusion开展了深入分析，将其与单模态模型以及当前最先进的多模态模型进行了对比。天气与光照。我们在表IV中系统分析了BEVFusion在不同天气和光照条件下的性能。由于存在显著的传感器噪声，雨天的目标检测对仅使用LiDAR的模型而言极具挑战性。得益于相机传感器在不同天气下的鲁棒性，BEVFusion比CenterPoint提升了10.7 mAP，缩小了晴天和雨天场景之间的性能差距。恶劣光照条件对检测模型和分割模型都颇具挑战。在检测任务中，MVP取得的提升远小于BEVFusion，因为它需要准确的2D实例分割来生成虚拟点，这在黑暗或过曝场景中难度极高。在分割任务中，即使仅使用相机的BEVFusion在表III的整个数据集上表现远优于CenterPoint，它在夜间的性能仍然差很多。我们的BEVFusion将其性能显著提升了12.8 mIoU，这一提升幅度甚至大于白天的提升，证明了当相机传感器失效时，几何线索的作用十分重要。尺寸与距离。我们还分析了不同目标尺寸和距离下的模型性能。从图4a可以看出，无论针对小目标还是大目标，BEVFusion相比仅使用LiDAR的对应模型都取得了稳定的提升，而MVP对于尺寸大于4米的目标仅带来可忽略不计的提升。这是因为更大的目标通常点云密度更高，从这些增强多模态虚拟点（MVP）中获益更少。此外，对于更小的目标（图4a）和更远的目标（图4b），BEVFusion对仅LiDAR模型带来的提升更大，这两类目标都存在LiDAR覆盖不足的问题，因此能从密集的相机信息中获益更多。更稀疏的LiDAR场景。我们在图4c中展示了仅LiDAR检测器CenterPoint [^17]、多模态检测器MVP [^4] 以及我们的BEVFusion在不同LiDAR稀疏度下的性能。BEVFusion在所有稀疏度水平上都始终优于MVP，且实现了$1.6\times$ MACs降低，在1线束LiDAR场景下取得了12%的性能提升。MVP对输入点云进行增密修饰，直接将CenterPoint应用到着色增密后的LiDAR输入上。因此该方法天然要求仅LiDAR的CenterPoint检测器本身性能良好，这一点在稀疏LiDAR设置下并不成立（图4c中1线束输入的NDS仅为35.8）。相比之下，BEVFusion在共享的BEV空间中融合多传感器信息，因此不依赖于性能良好的仅LiDAR检测器。 ### 六、结论我们提出了BEVFusion，这是一个面向多任务多传感器3D感知的高效通用框架。BEVFusion将相机与LiDAR特征统一到共享的BEV空间中，完整保留了几何信息与语义信息。为实现这一目标，我们将原本缓慢的相机到BEV转换过程加速了$40\times$以上。BEVFusion重新思考了点级融合在多传感器感知系统中的有效性，在nuScenes 3D检测和BEV地图分割两项任务上都取得了优异性能，相比现有方案，它的计算量减少了$1.5$- $1.9\times$，实测加速比达到$1.3$- $1.6\times$。BEVFusion在Waymo开放数据集上的表现也优于所有现有传感器融合方法。我们希望BEVFusion能够作为一个简单而强大的基线，为未来多任务多传感器融合方向的研究提供启发。 --- ## 参考文献 [^1]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “PointPainting: Sequential Fusion for 3D Object Detection,” in CVPR, 2020. [^2]: C. Wang, C. Ma, M. Zhu, and X. Yang, "PointAugmenting: Cross-Modal Augmentation for 3D Object Detection," in CVPR, 2021. [^3]: Y. Li, A. W. Yu, T. Meng, B. Caine, J. Ngiam, D. Peng, J. Shen, B. Wu, Y. Lu, D. Zhou et al., “DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection,” in CVPR, 2022. [^4]: T. Yin, X. Zhou, and P. Krähenbühl, “Multimodal Virtual Point 3D Detection,” in NeurIPS, 2021. [^5]: B. Pan, J. Sun, H. Y. T. Leung, A. Andonian, and B. Zhou, “Cross-View Semantic Segmentation for Sensing Surroundings,” RA-L, 2020. [^6]: J. Philion and S. Fidler, “Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D,” in ECCV, 2020. [^7]: Q. Li, Y. Wang, Y. Wang, and H. Zhao, "HDMapNet: An Online HD Map Construction and Evaluation Framework," in ICRA, 2022. [^8]: B. Zhou and P. Krähenbühl, “Cross-View Transformers for Real-Time Map-View Semantic Segmentation,” in CVPR, 2022. [^9]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection," in CVPR, 2018. [^10]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, and J. Yang, “PointPillars: Fast Encoders for Object Detection from Point Clouds,” in CVPR, 2019. [^11]: Y. Yan, Y. Mao, and B. Li, “SECOND: Sparsely Embedded Convolutional Detection,” Sensors, 2018. [^12]: B. Zhu, Z. Jiang, X. Zhou, Z. Li, and G. Yu, “Class-Balanced Grouping and Sampling for Point Cloud 3D Object Detection,” arXiv, 2019. [^13]: Z. Yang, Y. Sun, S. Liu, and J. Jia, "3DSSD: Point-Based 3D Single Stage Object Detector," CVPR, 2020. [^14]: Y. Zhou, P. Sun, Y. Zhang, D. Anguelov, J. Gao, T. Ouyang, J. Guo, J. Ngiam, and V. Vasudevan, “End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds,” CoRL, 2019. [^16]: B. Graham, M. Engelcke, and L. van der Maaten, “3D Semantic Segmentation With Submanifold Sparse Convolutional Networks,” in CVPR, 2018. [^15]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space,” in NeurIPS, 2017. [^17]: T. Yin, X. Zhou, and P. Krähenbühl, “Center-Based 3D Object Detection and Tracking,” in CVPR, 2021. [^18]: R. Ge, Z. Ding, Y. Hu, W. Shao, L. Huang, K. Li, and Q. Liu, “1st Place Solutions to the Real-time 3D Detection and the Most Efficient Model of the Waymo Open Dataset Challenge 2021,” in CVPRW, 2021. [^19]: Q. Chen, L. Sun, Z. Wang, K. Jia, and A. Yuille, "Object as Hotspots: An Anchor-Free 3D Object Detection Approach via Firing of Hotspots," in ECCV, 2020. [^20]: C. R. Qi, Y. Zhou, M. Najibi, P. Sun, K. Vo, B. Deng, and D. Anguelov, "Offboard 3D Object Detection from Point Cloud Sequences," in CVPR, 2021. [^21]: L. Fan, X. Xiong, F. Wang, N. Wang, and Z. Zhang, “RangeDet: In Defense of Range View for LiDAR-Based 3D Object Detection,” in ICCV, 2021. [^22]: Q. Chen, S. Vora, and O. Beijbom, “PolarStream: Streaming Lidar Object Detection and Segmentation with Polar Pillars,” in NeurIPS, 2021. [^23]: Y. Wang and J. M. Solomon, "Object DGCNN: 3D Object Detection using Dynamic Graphs," in NeurIPS, 2021. [^24]: S. Shi, X. Wang, and H. Li, “PointRCNN: 3D Object Proposal Generation and Detection From Point Cloud,” in CVPR, 2019. [^25]: Y. Chen, S. Liu, X. Shen, and J. Jia, “Fast Point R-CNN,” in ICCV, 2019. [^26]: S. Shi, Z. Wang, J. Shi, X. Wang, and H. Li, "From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network," TPAMI, 2020. [^27]: S. Shi, C. Guo, L. Jiang, Z. Wang, J. Shi, X. Wang, and H. Li, "PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection," in CVPR, 2020. [^28]: S. Shi, L. Jiang, J. Deng, Z. Wang, C. Guo, J. Shi, X. Wang, and H. Li, “PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection,” arXiv, 2021. [^29]: Z. Li, F. Wang, and N. Wang, "LiDAR R-CNN: An Efficient and Universal 3D Object Detector," CVPR, 2021. [^30]: T. Wang, X. Zhu, J. Pang, and D. Lin, "FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection," in ICCVW, 2021. [^31]: Z. Tian, C. Shen, H. Chen, and T. He, "FCOS: Fully Convolutional One-Stage Object Detection," in ICCV, 2019. [^32]: T. Wang, X. Zhu, J. Pang, and D. Lin, “Probabilistic and geometric depth: Detecting objects in perspective,” in CoRL, 2021. [^33]: H. Chen, P. Wang, F. Wang, W. Tian, L. Xiong, and H. Li, "EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation," in CVPR, 2022. [^34]: Y. Wang, V. Guizilini, T. Zhang, Y. Wang, H. Zhao, and J. M. Solomon, "DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries," in CoRL, 2021. [^35]: Y. Liu, T. Wang, X. Zhang, and J. Sun, "PETR: Position Embedding Transformation for Multi-View 3D Object Detection," arXiv, 2022. [^36]: X. Zhu, W. Su, L. Lu, B. Li, X. Wang, and J. Dai, “Deformable DETR: Deformable Transformers for End-to-End Object Detection,” in ICLR, 2021. [^37]: Y. Wang, X. Zhang, T. Yang, and J. Sun, “Anchor DETR: Query Design for Transformer-Based Detector,” in AAAI, 2022. [^38]: T. Roddick, A. Kendall, and R. Cipolla, “Orthographic Feature Transform for Monocular 3D Object Detection,” in BMVC, 2019. [^39]: T. Roddick and R. Cipolla, “Predicting Semantic Map Representations from Images using Pyramid Occupancy Networks,” in CVPR, 2020. [^40]: J. Huang, G. Huang, Z. Zhu, Y. Ye, and D. Du, “BEVDet: High-performance Multi-camera 3D Object Detection in Bird-Eye-View,” arXiv, 2021. [^41]: E. Xie, Z. Yu, D. Zhou, J. Philion, A. Anandkumar, S. Fidler, P. Luo, and J. M. Alvarez, “M²BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation,” arXiv, 2022. [^42]: C. Reading, A. Harakeh, J. Chae, and S. L. Waslander, “Categorical depth distribution network for monocular 3d object detection,” in CVPR, 2021. [^43]: Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Y. Qiao, and J. Dai, "BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers," arXiv, 2022. [^44]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-View 3D Object Detection Network for Autonomous Driving,” in CVPR, 2017. [^45]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D Object Detection from RGB-D Data,” in CVPR, 2018. [^46]: Z. Wang and K. Jia, “Frustum ConvNet: Sliding Frustums to Aggregate Local Point-Wise Features for Amodal 3D Object Detection,” in IROS, 2019. [^47]: R. Nabati and H. Qi, “CenterFusion: Center-Based Radar and Camera Fusion for 3D Object Detection,” in WACV, 2021. [^48]: X. Chen, T. Zhang, Y. Wang, Y. Wang, and H. Zhao, “FUTR3D: A Unified Sensor Fusion Framework for 3D Detection,” arXiv, 2022. [^49]: X. Bai, Z. Hu, X. Zhu, Q. Huang, Y. Chen, H. Fu, and C.-L. Tai, "TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers," in CVPR, 2022. [^50]: S. Xu, D. Zhou, J. Fang, J. Yin, B. Zhou, and L. Zhang, "FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection," in ITSC, 2021. [^51]: Z. Chen, Z. Li, S. Zhang, L. Fang, Q. Jiang, F. Zhao, B. Zhou, and H. Zhao, “AutoAlign: Pixel-Instance Feature Aggregation for Multi-Modal 3D Object Detection,” arXiv, 2022. [^52]: M. Liang, B. Yang, S. Wang, and R. Urtasun, “Deep Continuous Fusion for Multi-Sensor 3D Object Detection,” in ECCV, 2018. [^53]: D. Park, R. Ambrus, V. Guizilini, J. Li, and A. Gaidon, “Is Pseudo-Lidar needed for Monocular 3D Object detection?” in ICCV, 2021. [^54]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal Loss for Dense Object Detection,” in ICCV, 2017. [^55]: S. Chen, Z. Jie, X. Wei, and L. Ma, “MT-Net Submission to the Waymo 3D Detection Leaderboard,” arXiv, 2022. [^56]: X. Chen, S. Shi, B. Zhu, K. C. Cheung, H. Xu, and H. Li, "MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D Temporal Object Detection," in ECCV, 2022. [^57]: Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows," in ICCV, 2021. [^58]: T.-Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie, "Feature Pyramid Networks for Object Detection," in CVPR, 2017. ## [^59]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, "nuScenes: A Multimodal Dataset for Autonomous Driving," in CVPR, 2020. --- [^60]: P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui, J. Guo, Y. Zhou, Y. Chai, B. Caine, V. Vasudevan, W. Han, J. Ngiam, H. Zhao, A. Timofeev, S. Ettinger, M. Krivokon, A. Gao, A. Joshi, Y. Zhang, J. Shlens, Z. Chen, and D. Anguelov, “Scalability in Perception for Autonomous Driving: Waymo Open Dataset,” in CVPR.