# TransFusion: 用于 3D 目标检测的鲁棒 LiDAR-相机融合，采用 Transformer
白旭阳 $^{1}$ 胡泽宇 $^{1}$ 朱新格 $^{2}$ 黄庆秋 $^{2}$ 陈一伦 $^{2}$ 付宏博 $^{3}$ 戴秋兰 $^{1}$
$^{1}$香港科技大学 $^{2}$ADS, IAS BU, 华为 $^{3}$香港城市大学
## 摘要
LiDAR 和相机是用于自动驾驶中 3D 目标检测的两种重要传感器。 尽管传感器融合在这一领域越来越受欢迎，但对劣质图像条件的鲁棒性，例如光照不足和传感器对准不准确，仍然未得到充分研究。 现有的融合方法很容易受到这些条件的影响，这主要是由于校准矩阵对 LiDAR 点和图像像素之间的关联是固定的。
我们提出了 TransFusion，这是一种利用软关联机制来处理劣质图像条件的鲁棒 LiDAR-相机融合解决方案。 具体来说，我们的 TransFusion 由卷积骨干网络和一个基于 Transformer 解码器的检测头组成。 解码器的第一层使用一组稀疏的对象查询，从 LiDAR 点云中预测初始边界框，其第二层解码器层自适应地将对象查询与有用的图像特征融合，利用空间和上下文关系。 Transformer 的注意力机制使我们的模型能够自适应地确定从图像中获取哪些信息，从而实现一种鲁棒有效的融合策略。 我们还设计了一种基于图像的查询初始化策略，以处理在点云中难以检测到的对象。 TransFusion 在大型数据集上实现了最先进的性能。 我们提供了广泛的实验，以证明其对退化图像质量和校准误差的鲁棒性。 我们还将所提出的方法扩展到 3D 跟踪任务，并在 nuScenes 跟踪排行榜上获得了 $1^{st}$ 名，这表明了其有效性和泛化能力。[代码发布]
### 1. 引言
作为自动驾驶中的一项基本任务，3D 目标检测旨在在 3D 空间中定位一组对象并识别其类别。 早期研究，例如 VoxelNet [^67] 和 PointPillar [^14]，仅使用点云作为输入，即可实现合理的结果。 然而，这些仅使用 LiDAR 的方法通常不如在大型数据集（例如 nuScenes [^1] 和 Waymo [^42]）中具有更稀疏点云的多模态检测器性能。 仅使用 LiDAR 的方法由于点云的稀疏性，通常不足以进行鲁棒的 3D 检测。 例如，小物体或远距离物体很难在 LiDAR 模态中检测到。 相比之下，这些物体在高清图像中仍然清晰可见且易于区分。 点云和图像的互补作用促使研究人员设计利用两者的优势的多模态检测器。
现有的激光雷达-相机融合方法大致可以分为三大类：结果级别、提案级别和点级别。结果级别的融合方法，包括 FPointNet [^29] 和 RoarNet [^39]，使用现成的 2D 检测器来生成 3D 提案，然后使用 PointNet [^30] 进行目标定位。提案级别的融合方法，包括 MV3D [^5] 和 AVOD [^12]，通过在每个模态上应用 RoIPool [^31] 来在区域提案级别执行融合，从而实现共享提案。这些粗粒度的融合方法由于感兴趣区域（RoI）通常包含大量的背景噪声，因此效果不尽如人意。最近，大多数方法都尝试进行点级别的融合，并取得了令人鼓舞的结果。它们首先根据校准矩阵找到激光雷达点和图像像素之间的硬关联，然后通过逐点连接，将激光雷达特征与关联像素的分割分数 [^46] [^51] 或 CNN 特征 [^10] [^22] [^40] [^47] [^62] 增强。类似地，[^16] [^17] [^50] [^59] 首先将点云投影到鸟瞰图（BEV）平面上，然后将图像特征与 BEV 像素进行融合。
尽管这些点级别融合方法取得了令人印象深刻的改进，但它们存在两个主要问题，如图 1 所示。首先，它们只是通过逐元素相加或连接来融合激光雷达特征和图像特征，因此当图像特征质量较低时（例如，在光照条件较差的情况下），其性能会严重下降。其次，找到稀疏激光雷达点和密集图像像素之间的硬关联，不仅会浪费许多包含丰富语义信息的图像特征，而且还会严重依赖于两个传感器之间的高质量校准，而由于固有的空间-时间不对齐，这通常难以获得 [^63]。
为了解决先前融合方法的缺点，我们在此论文中提出了一种有效且鲁棒的多模态
---
Figure 1. Left: An example of bad illumination conditions. Right: Due to the sparsity of point clouds, the hard-association based fusion methods waste many image features and are sensitive to sensor calibration, since the projected points may fall outside objects due to a small calibration error.
检测框架。 我们的核心思想是将融合过程的重点从硬关联转移到软关联，从而在图像质量下降和传感器不对齐的情况下，提高鲁棒性。
具体来说，我们设计了一种序列融合方法，该方法使用两个Transformer解码器层作为检测头部。 我们的研究表明，我们是第一个使用Transformer进行LiDAR-相机3D检测的人。 我们的第一层解码器利用一组稀疏的对象查询来从LiDAR特征生成初始边界框。 与2D中的输入无关的对象查询不同 [^2] [^44]，我们使对象查询依赖于输入并具有类别感知性，以便查询包含更好的位置和类别信息。 接下来，第二层Transformer解码器自适应地将对象查询与通过空间和上下文关系关联的有用图像特征进行融合。 我们利用局部归纳偏差，通过在初始边界框周围空间约束交叉注意力来帮助网络更好地访问相关位置。 我们的融合模块不仅为对象查询提供了丰富的语义信息，而且由于LiDAR点和图像像素之间的关联以软性和自适应的方式建立，因此对图像质量较差的情况具有更好的鲁棒性。 此外，为了处理在点云中难以检测到的对象，我们引入了一个图像引导查询初始化模块，以在查询初始化阶段引入图像引导。 总体而言，这些组件的结合显着提高了我们LiDAR-相机3D检测器的有效性和鲁棒性。 总结一下，我们的贡献有四个方面：
1. 我们的研究调查了LiDAR-相机融合固有的困难，并揭示了一个至关重要的方面，即鲁棒融合，即软关联机制。
2. 我们提出了一种基于Transformer的新型LiDAR-相机融合模型，用于3D检测，该模型以关注的方式进行精细融合，并对图像质量下降和传感器不对齐具有出色的鲁棒性。
3. 我们引入了几种简单但有效的对象查询调整，以提高图像融合的初始边界框预测质量。 还设计了一个图像引导查询初始化模块，以处理在点云中难以检测到的对象。
4. 我们在nuScenes数据集上实现了最先进的3D检测性能，并在Waymo数据集上取得了有竞争力的结果。 我们还将我们的模型扩展到3D跟踪任务，并在nuScenes跟踪挑战赛排行榜上获得了 $1^{st}$ 名。
### 2. 相关工作
LiDAR仅限3D检测旨在根据给定的点云预测目标的三维边界框[^3] [^4] [^27] [^28] [^38] [^46] [^53] [^66] [^68] [^69]. 由于点云的无序和不规则性，许多3D检测器首先将它们投影到规则的网格上，例如3D体素[^52] [^67]、柱子[^14]或范围图像[^8] [^43]. 之后，使用标准的2D或3D卷积来计算BEV平面中的特征，其中目标被自然地分离，并且它们的物理尺寸得到保留。 其他工作[^36] [^37] [^54] [^55]直接在原始点云上运行，而无需量化。 3D检测头的常用方法是基于锚框[^14] [^67]，而[^48] [^57]采用基于中心的表示方法来表示3D对象，这大大简化了3D检测流程。 尽管在2D检测中，基于转换器的架构已变得非常流行[^2]，但用于户外场景的3D检测模型主要使用转换器进行特征提取[^21] [^24] [^35]. 然而，每个转换器层的注意力操作需要$\mathcal{O}(N^{2})$的计算复杂度，这在处理每帧具有数百万个点的LiDAR点云时，需要仔细设计的内存减少操作。 相比之下，我们的模型保留了一个高效的卷积骨干网络用于特征提取，并利用了一个具有少量对象查询的转换器解码器作为检测头，从而使计算成本可控。 并行工作[^19] [^20] [^23]采用了转换器作为检测头，但侧重于室内场景，将这些方法扩展到户外场景并非易事。
LiDAR-Camera 3D Detection 越来越受到关注，因为点云和图像在检测中起着互补的作用。早期的研究 [^5] [^29] [^39] 采用结果级别或提案级别的融合，融合粒度太粗，无法充分发挥两种模态的潜力。自从 PointPainting [^46] 提出后，点级别融合方法 [^10] [^40] [^47] 表现出很大的优势和有前景的结果。然而，这些方法容易受到传感器不对准的影响，因为校准矩阵在点和像素之间建立了硬关联。此外，简单的逐点连接忽略了真实数据的质量以及两种模态之间的上下文关系，这会导致当图像特征出现缺陷时，性能下降。在我们的工作中，我们探索了一种更稳健有效的融合机制，以减轻 LiDAR-相机融合过程中这些限制。
---
Figure 2. Overall pipeline of TransFusion. Our model relies on standard 3D and 2D backbones to extract LiDAR BEV feature map and image feature map. Our detection head consists of two transformer decoder layers sequentially: (1) The first layer produces initial 3D bounding boxes using a sparse set of object queries, initialized in an input-dependent and category-aware manner. (2) The second layer attentively associates and fuses the object queries (with initial predictions) from the first stage with the image features, producing rich texture and color cues for better detection results. A spatially modulated cross attention (SMCA) mechanism is introduced to involve a locality inductive bias and help the network better attend to the related image regions. We additionally propose an image-guided query initialization strategy to involve image guidance on LiDAR BEV. This strategy helps produce object queries that are difficult to detect in the sparse LiDAR point clouds.
### 3. 方法论
在本节中，我们介绍了一种用于 LiDAR-相机 3D 目标检测的 TransFusion 方法。如图 2 所示，给定来自卷积骨干网络的 LiDAR BEV 特征图和图像特征图，我们的基于 Transformer 的检测头部首先使用 LiDAR 信息将对象查询解码为初始的边界框预测，然后通过注意力机制将对象查询与有用的图像特征进行融合，从而实现 LiDAR-相机融合。下面我们首先提供关于用于检测的 Transformer 架构的基本知识，然后详细介绍 TransFusion。
#### 3.1. 预备知识：用于2D检测的Transformer
Transformer [^45] 已被广泛应用于2D目标检测 [^9] [^44] [^56] [^70]，自从DETR [^2] 被提出以来。DETR使用CNN作为骨干网络来提取图像特征，并使用Transformer架构将一小部分学习到的嵌入（称为对象查询）转换为一组预测结果。后续工作 [^44] [^56] [^70] 进一步为对象查询配备了位置信息 $^{1}$。最终的边界框预测是相对于查询位置的相对偏移量，以减少优化难度。我们建议读者参考原始论文 [^2] [^70] 以获取更多详细信息。在我们的工作中，每个对象查询包含一个查询位置，该位置提供对象的定位信息，以及一个查询特征，该特征编码实例信息，例如边界框的大小、方向等。
#### 3.2. 查询初始化
输入相关。在开创性的工作中，对象查询位置是随机生成的或作为网络参数学习的 [^2] [^44] [^70]，与输入数据无关。这种输入无关的查询位置需要模型中的多个解码层 [^2] [^70] 来学习移动到真实对象中心的过程。最近，人们观察到在2D目标检测中 [^56]，如果对象查询具有更好的初始化，则1层结构和6层结构之间的差距可以被弥补。受此观察的启发，我们提出了一种基于中心热图的输入相关初始化策略，以实现具有竞争力的性能，并且仅使用一个解码层。
具体来说，给定一个d维的LiDAR BEV特征图 $F_L \in \mathbb{R}^{X \times Y \times d}$，我们首先预测一个类别特定的热图 $\hat{S} \in \mathbb{R}^{X \times Y \times K}$，其中 $X \times Y$ 描述了BEV特征图的大小，K是类别的数量。然后，我们将热图视为 $X \times Y \times K$ 个对象候选，并选择所有类别中的前N个候选作为我们的初始对象查询。为了避免空间上过于接近的查询，我们遵循 [^65]，选择局部最大元素作为我们的对象查询，其值大于或等于其8连通邻居。否则，需要大量的查询来覆盖BEV平面。所选候选的位置和特征用于初始化查询位置和查询特征。通过这种方式，我们的初始对象查询将位于或靠近潜在的对象中心，从而消除了多个解码层 [^20] [^23] [^49] 来细化位置的需要。
类别感知。与它们在图像上的2D投影不同
---
在俯视视图平面上，对象的比例均为绝对比例，并且同一类别的对象之间的比例差异很小。 为了更好地实现多类别检测，我们通过为每个查询配备类别嵌入来使对象查询具有类别感知性。 具体来说，对于每个选定的候选对象（例如，属于第 k 个类别的 $\hat{S}_{ijk}$），我们逐元素地将查询特征与由线性投影一个热类别向量生成的 $\mathbb{R}^d$ 向量进行相加。 类别嵌入在两个方面具有优势：一方面，它在自注意力模块中对对象之间的关系以及在交叉注意力模块中对对象与上下文之间的关系进行建模时，可以作为有用的辅助信息。 另一方面，在预测过程中，它可以提供有关对象的有价值的先验知识，使网络关注类别内部的差异，从而有利于属性预测。
#### 3.3. Transformer 解码器和 FFN
解码器层遵循 DETR [^23] 的设计，详细架构见补充材料中的第 ?? 节。 交叉注意力机制在对象查询和特征图（无论是来自点云还是图像）之间，将相关上下文聚合到对象候选对象上，而对象查询之间的自注意力机制则对不同的对象候选对象之间的成对关系进行推理。 将查询位置嵌入到 d 维的位置编码中，使用多层感知器 (MLP)，并逐元素地与查询特征相加。 这使网络能够同时推理上下文和位置。
包含丰富实例信息的 N 个对象查询被独立地解码为框和类别标签，由前馈神经网络 (FFN) 负责。 类似于 CenterPoint [^57]，我们的 FFN 预测从查询位置到中心的偏移量，即 $\delta x$、$\delta y$，以及边界框的高度 z，大小 l、w、h，分别为 $\log(l)$、$\log(w)$、$\log(h)$，以及 Yaw 角度 $\alpha$，为 $\sin(\alpha)$、$\cos(\alpha)$，以及速度（如果可用）为 $v_x$、$v_y$。 我们还预测每个类别的概率 $\hat{p} \in [0, 1]^K$，用于 K 个语义类别。 每个属性由一个单独的、具有两个层的 $1 \times 1$ 卷积计算得出。 通过将每个对象查询并行解码为预测，我们得到一组预测 $\{\hat{b}_t, \hat{p}_t\}_{t}^{N}$ 作为输出，其中 $\hat{b}_t$ 是第 i 个查询的预测边界框。 类似于 [^23]，我们采用了辅助解码机制，在每个解码器层之后添加 FFN 和监督。 因此，我们可以从第一个解码器层获得初始的边界框预测。 我们在激光雷达-相机融合模块中使用这些初始预测来约束交叉注意力，如下一节所述。
#### 3.4. 激光雷达-相机融合
图像特征提取。 尽管点级融合方法带来了显著的改进 [^46] [^47]，但它们的融合质量很大程度上受到激光雷达点云稀疏性的限制。
Figure 3. The first row shows the input images and the predictions of object queries projected on the images, and the second row shows the cross-attention maps. Our fusion strategy is able to dynamically choose relevant image pixels and is not limited by the number of LiDAR points. The two images are picked from nuScenes and Waymo, respectively.
当一个对象仅包含少量激光雷达点时，它只能提取相同数量的图像特征，从而浪费了高分辨率图像中丰富的语义信息。 为了解决这个问题，我们不根据激光雷达点和图像像素之间的硬关联来提取多视图图像特征。 相反，我们保留所有图像特征 $F_C \in \mathbb{R}^{N_v \times H \times W \times d}$ 作为我们的内存，并使用 transformer 解码器中的交叉注意力机制以稀疏到密集的、自适应的方式进行特征融合，如图 2 所示。
SMCA 用于图像特征融合。 多头注意力是一种流行的机制，用于执行信息交换并在两个输入集合之间建立软关联，并且它已被广泛用于特征匹配任务 [^34] [^41]。 为了减轻硬关联策略带来的对传感器校准和劣质图像特征的敏感性，我们利用交叉注意力机制在 LiDAR 和图像之间建立软关联，使网络能够自适应地确定从图像中获取哪些信息以及在哪里获取这些信息。
具体来说，我们首先使用之前的预测以及校准矩阵来识别包含对象查询的特定图像，然后在对象查询和相应的图像特征图之间执行交叉注意力。 但是，由于 LiDAR 特征和图像特征来自完全不同的领域，因此对象查询可能会关注与要预测的边界框无关的视觉区域，这会导致网络准确识别图像中的适当区域需要很长时间。 受到 [^9] 的启发，我们设计了一个空间调制交叉注意力 (SMCA) 模块，该模块通过围绕每个查询投影的二维最小外接圆的二维高斯掩码来加权交叉注意力。 2D 高斯权重掩码 M 的生成方式类似于 CenterNet [^65]，$M_{ij} = \exp(-\frac{(i - c_x)^2 + (j - c_y)^2}{\sigma r^2})$，其中 $(i, j)$ 是权重掩码 M 的空间索引，$(c_x, c_y)$ 是投影到图像平面上的 2D
---
中心，r 是投影的 3D 边界框角的最小外接圆的半径，而 $\sigma$ 是用于调节高斯分布带宽的超参数。 然后，将此权重图按元素方式与所有注意力头的交叉注意力图相乘。 这样，每个对象查询仅关注投影 2D 框周围的相关区域，从而使网络能够更好地更快地学习如何根据输入 LiDAR 特征选择图像特征。 注意力图的可视化结果如图 3 所示。 网络通常倾向于关注靠近对象中心的图像像素，并忽略不相关的像素，从而为对象分类和边界框回归提供有价值的语义信息。 在 SMCA 之后，我们使用另一个 FFN 来利用包含 LiDAR 和图像信息的对象查询生成最终的边界框预测。
#### 3.5. 标签分配和损失
类似于 DETR [^23]，我们通过匈牙利算法 [^13] 找到预测和地面实况对象之间的双向匹配，其中匹配成本由分类、回归和 IoU 成本的加权和定义：
$$ C_{m a t c h}=\lambda_{1}L_{c l s}(p,\hat{p})+\lambda_{2}L_{r e g}(b,\hat{b})+\lambda_{3}L_{i o u}(b,\hat{b}), $$
其中，$L_{cls}$ 是二元交叉熵损失，$L_{reg}$ 是预测的 BEV 中心点与真实中心点之间的 L1 损失（均在 $[0,1]$ 中归一化），$L_{iou}$ 是预测框与真实框之间的 IoU 损失 [^64]。$\lambda_{1}$、$\lambda_{2}$、$\lambda_{3}$ 是各个代价项的系数。我们在补充材料的第??节中提供了这些项的灵敏度分析。由于预测的数量通常大于真实框的数量，因此未匹配的预测被视为负样本。对于分类分支，我们计算一个焦点损失 [^18]。对于边界框回归，我们仅对正样本使用 L1 损失。对于热图预测，我们采用一种减少惩罚的焦点损失，该损失遵循 CenterPoint [^57]。总损失是每个组件损失的加权和。我们对两个解码层都采用了相同的标签分配策略和损失公式。
#### 3.6. 基于图像的查询初始化
由于我们当前的物体查询仅使用 LiDAR 特征选择，这可能会导致检测召回率方面的次优情况。经验表明，我们的模型已经实现了很高的召回率，并且在性能上优于基线（第 5 节）。尽管如此，为了进一步利用高分辨率图像检测小物体并使我们的算法对稀疏的 LiDAR 点云更具鲁棒性，我们提出了一种基于图像的查询
Figure 4. We first condense the image features along the vertical dimension, and then project the features onto the BEV plane using cross attention with the LiDAR BEV features. Each image is processed by a separate multi-head attention layer, which captures the relation between image column and BEV locations.
初始化策略，该策略利用 LiDAR 和相机信息来选择物体查询。
具体来说，我们通过将图像特征 $F_{LC}$ 通过跨注意力投影到 LiDAR BEV 特征 $F_{C}$ 上，生成一个 LiDAR-相机 BEV 特征图 $F_{L}$。受到 [^32] 的启发，我们使用沿高度轴聚合的多视图像特征作为注意力机制的键值序列，如图 4 所示。聚合操作基于以下观察：使用相机几何关系，BEV 位置与图像列之间的关系可以轻松建立，并且通常每个图像列最多只有一个物体。因此，沿高度轴进行聚合可以显着减少计算量，而不会丢失关键信息。虽然在此过程中可能会丢失一些精细的图像特征，但它已经满足了我们的需求，因为我们只需要关于潜在物体位置的提示。之后，类似于第 3.2 节，我们使用 $F_{LC}$ 预测热图，该热图与仅使用 LiDAR 的热图 $\hat{S}$ 组合，作为最终热图 $\hat{S}_{LC}$。使用 $\hat{S}_{LC}$ 选择和初始化物体查询，我们的模型能够检测在 LiDAR 点云中难以检测到的物体。
请注意，提出一种新颖的方法将图像特征投影到 BEV 平面上超出了本文的范围。我们相信，我们的方法可以从该方向的更多研究进展中受益 [^26] [^32] [^33]。
### 4. 实现细节
训练。我们在 PyTorch [^25] 中使用开源的 MMDetection3D [^6] 实现我们的网络。对于 nuScenes，我们使用预训练的 CenterNet 的 DLA34 [^60] 作为我们的 2D 主干网络，并在训练期间保持其权重不变，遵循 [^47]。我们将图像大小设置为 $448 \times 800$，这与全分辨率（$896 \times 1600$）相比，效果相当。我们选择 VoxelNet [^52] [^67] 作为我们的 3D 主干网络。我们的训练由两个阶段组成：1）我们首先训练 3D 主干网络和第一个解码器层以及 FFN 进行 20 个 epoch，该网络仅需要 LiDAR 点云作为输入，并生成初始的 3D 边界框预测。我们采用与先前基于 LiDAR 的作品相同的增强和训练计划 [^57] [^68]。注意，我们还发现复制粘贴增强策略 [^52] 有助于收敛。
---
| Method | Modality | Voxel Size (m) | mAP | NDS | Car | Truck | C.V. | Bus | Trailer | Barrier | Motor. | Bike | Ped. | T.C. |
| PointPillar [^14] | L | (0.2, 0.2, 8) | 40.1 | 55.0 | 76.0 | 31.0 | 11.3 | 32.1 | 36.6 | 56.4 | 34.2 | 14.0 | 64.0 | 45.6 |
| CBGS [^68] | L | (0.1, 0.1, 2) | 52.8 | 63.3 | 81.1 | 48.5 | 10.5 | 54.9 | 42.9 | 65.7 | 51.5 | 22.3 | 80.1 | 70.9 |
| CenterPoint [^57] | L | (0.075, 0.075, 0.2) | 60.3 | 67.3 | 85.2 | 53.5 | 20.0 | 63.6 | 56.0 | 71.1 | 59.5 | 30.7 | 84.6 | 78.4 |
| PointPainting [^46] | LC | (0.2, 0.2, 8) | 46.4 | 58.1 | 77.9 | 35.8 | 15.8 | 36.2 | 37.3 | 60.2 | 41.5 | 24.1 | 73.3 | 62.4 |
| 3D-CVF [^59] | LC | (0.05, 0.05, 0.2) | 52.7 | 62.3 | 83.0 | 45.0 | 15.9 | 48.8 | 49.6 | 65.9 | 51.2 | 30.4 | 74.2 | 62.9 |
| PointAugmenting [^47] | LC | (0.075, 0.075, 0.2) | 66.8 | 71.0 | 87.5 | 57.3 | 28.0 | 65.2 | 60.7 | 72.6 | 74.3 | 50.9 | 87.9 | 83.6 |
| MVP [^58] | LC | (0.075, 0.075, 0.2) | 66.4 | 70.5 | 86.8 | 58.5 | 26.1 | 67.4 | 57.3 | 74.8 | 70.0 | 49.3 | 89.1 | 85.0 |
| FusionPainting [^51] | LC | (0.075, 0.075, 0.2) | 68.1 | 71.6 | 87.1 | 60.8 | 30.0 | 68.5 | 61.7 | 71.8 | 74.7 | 53.5 | 88.3 | 85.0 |
| TransFusion-L | L | (0.075, 0.075, 0.2) | 65.5 | 70.2 | 86.2 | 56.7 | 28.2 | 66.3 | 58.8 | 78.2 | 68.3 | 44.2 | 86.1 | 82.0 |
| TransFusion | LC | (0.075, 0.075, 0.2) | 68.9 | 71.7 | 87.1 | 60.0 | 33.1 | 68.3 | 60.8 | 78.1 | 73.6 | 52.9 | 88.4 | 86.7 |
Table 1. Comparison with SOTA methods on the nuScenes test set. 'C.V', 'Ped.", and 'T.C.' are short for construction vehicle, pedestrian, and traffic cone, respectively. 'L' and 'C' represent LiDAR and Camera, respectively. The best results are in boldface (Best LiDAR-only results are marked blue and best LC results are marked red). For FusionPainting [^51], we report the results on the nuScenes website, which are better than what they reported in their paper. Note that CenterPoint [^57] and PointAugmenting [^47] utilize double-flip testing while we do not use any test time augmentation. Please find detailed results here.²
但可能会干扰真实的数据分布，因此我们禁用此增强策略，在最后 5 个 epoch 中遵循 [^47]（他们称之为淡出策略）。2）然后，我们训练 LiDAR-相机融合和图像引导查询初始化模块，持续 6 个 epoch。我们发现这种两阶段训练方案比联合训练效果更好，因为我们可以在第一阶段的训练中采用更灵活的增强策略。有关 Waymo 的详细超参数和设置，请参阅补充材料的第 ?? 节。
测试。在推理过程中，最终得分计算为热图得分 $\hat{S}_{ij}$ 和分类得分 $\hat{p}_{t}$ 的几何平均值。我们使用所有输出作为我们的最终预测，而不使用非最大抑制 (NMS)（请参阅补充材料的第 ?? 节中 NMS 的效果）。值得注意的是，以前的基于点级的融合方法，如 PointAugmenting [^47]，如果相机不是 360 度相机，则需要使用两个不同的模型来处理相机 FOV 和仅基于 LiDAR 的区域，因为只有位于相机 FOV 内的点才能获取相应的图像特征。相比之下，我们使用单个模型来处理相机 FOV 和仅基于 LiDAR 的区域，因为位于相机 FOV 之外的对象查询将直接忽略融合阶段，并且来自第一个解码器层的初始预测将起到保护作用。
### 5. 实验
在本节中，我们首先在 nuScenes 和 Waymo 上与其他最先进的方法进行比较。然后，我们进行广泛的消融研究，以证明 TransFusion 的每个关键组件的重要性。此外，我们设计了两个实验，以显示我们的 TransFusion 对劣质图像条件的鲁棒性。除了 TransFusion 之外，我们还包括一个模型变体，该变体基于第一阶段训练，即仅使用点云生成初始的边界框预测。我们将其称为 TransFusion-L，并且我们认为它可以作为基于 LiDAR 的检测的强大基线。我们将在补充材料的第 ?? 节中提供定性结果。
nuScenes 数据集。nuScenes 数据集是一个用于 3D 检测和跟踪的大规模自动驾驶数据集，包含 700 个场景用于训练，150 个场景用于验证，以及 150 个场景用于测试。每个帧包含一个点云和六个经过校准的图像，覆盖 360 度的水平视野。对于 3D 检测，主要指标是平均精度均值 (mAP) [^7] 和 nuScenes 检测分数 (NDS)。mAP 是根据 BEV 中心距离定义的，而不是 3D IoU，最终的 mAP 是通过对十个类别的距离阈值（0.5m、1m、2m、4m）进行平均计算得到的。NDS 是 mAP 和其他属性指标（包括平移、缩放、方向、速度和其他框属性）的综合指标。我们遵循 CenterPoint [^57]，将体素大小设置为 $(0.075m, 0.075m, 0.2m)$。
Waymo Open 数据集。该数据集包含 798 个场景用于训练和 202 个场景用于验证。官方指标是 mAP 和 mAPH（按方向精度加权的 mAP）。mAP 和 mAPH 是基于 3D IoU 阈值 0.7（用于车辆）和 0.5（用于行人和平民）定义的。这些指标进一步分为两个难度级别：LEVEL1 用于具有五个以上 LiDAR 点的框，以及 LEVEL2 用于至少有一个 LiDAR 点的框。与 nuScenes 中的 360 度摄像头不同，Waymo 中的摄像头仅覆盖约 250 度的水平范围。体素大小设置为 $(0.1m, 0.1m, 0.15m)$。
#### 5.1. 主要结果
nuScenes 结果。我们向 nuScenes 评估服务器提交了我们的检测结果。在没有使用任何测试时间增强或模型集成的情况下，我们的 TransFusion 在提交时在 nuScenes 排行榜上优于所有其他非集成方法。如表 1 所示，我们的 TransFusion-L 已经优于最先进的仅 LiDAR 方法，差距很大（+5.2% mAP，+2.9% NDS），甚至超过了一些多模态方法。我们认为这种性能提升归功于转换器解码器的关系建模能力，以及我们提出的查询初始化策略，这些策略在第 5.3 节中进行了详细说明。启用我们提出的融合组件后，我们的 TransFusion 获得了显著的性能提升（+3.4% mAP，+1.5% NDS），并优于所有以前的方法，包括 FusionPainting [^51]，该方法使用额外的数据来训练其分割子网络。此外，由于我们的软关联机制，TransFusion 对图像质量下降和传感器对齐不准确等不良图像条件具有鲁棒性，如下一节所示。
---
| Vehicle | Pedestrian | Cyclist | Overall |
| PointPillar $^{[46]}$ | 62.5 | 50.2 | 59.9 | 57.6 |
| PVRCNN $^{[36]}$ | 64.8 | 46.7 | - | - |
| LiDAR-RCNN $^{[15]}$ | 64.2 | 51.7 | 64.4 | 60.1 |
| CenterPoint $^{[57]}$ | 66.1 | 62.4 | 67.6 | 65.3 |
| PointAugmenting $^{[47]}$ | 62.2 | 64.6 | 73.3 | 66.7 |
| TransFusion-L | 65.1 | 63.7 | 65.9 | 64.9 |
| TransFusion | 65.1 | 64.0 | 67.4 | 65.5 |
Table 2. LEVEL_2 mAPH on Waymo validation set. For CenterPoint, we report the performance of single-frame one-stage model trained in 36 epochs.
| AMOTA $\uparrow$ | TP $\uparrow$ | FP $\downarrow$ | FN $\downarrow$ | IDS $\downarrow$ |
| CenterPoint [^57] | 63.8 | 95877 | 18612 | 22928 | 760 |
| EagerMOT [^11] | 67.7 | 93484 | 17705 | 24925 | 1156 |
| AlphaTrack [^61] | 69.3 | 95851 | 18421 | 22996 | 718 |
| TransFusion-L | 68.6 | 95235 | 17851 | 23437 | 893 |
| TransFusion | 71.8 | 96775 | 16232 | 21846 | 944 |
Table 3. Comparison of the tracking results on nuScenes test set. Please find detailed results here. $^{3}$
使用额外的数据来训练其分割子网络。此外，由于我们的软关联机制，TransFusion 对图像质量下降和传感器对齐不准确等不良图像条件具有鲁棒性，如下一节所示。
Waymo 结果。我们在表 2 中报告了我们的模型在 Waymo 验证集上对所有三个类别的性能。我们的融合策略提高了行人和平民类别的 mAPH，分别提高了 0.3 和 1.5 倍。我们推测，图像组件带来的相对较小的改进有两个原因。首先，图像的语义信息可能对 Waymo 的粗粒度分类影响较小。其次，由于 Waymo 中的点云比 nuScenes 中的点云密度更高（请参阅补充信息第 ? 节的更多讨论），因此第一层解码器的初始边界框已经具有准确的位置。请注意，CenterPoint 使用多帧输入和二级精细化模块实现了更好的性能。这些组件与我们的方法是正交的，我们将为 Waymo 开发更强大的 TransFusion 作为未来的工作。PointAugmenting 获得了比我们更好的性能，但它依赖于 CenterPoint 来获取摄像头视野之外的预测，从而实现全区域检测，这使得他们的系统不太灵活。
扩展到跟踪。为了进一步展示模型的泛化能力，我们在一个 3D 多目标跟踪 (MOT) 任务中评估我们的模型，通过使用与 CenterPoint 相同的跟踪算法进行基于检测的跟踪。我们建议读者参考原始论文 [^57] 以获取详细信息。如表 3 所示，我们的模型明显优于 CenterPoint，并在 nuScenes 跟踪排行榜上取得了新的最佳结果。
#### 5.2. 对劣质图像条件的鲁棒性
我们设计了三个实验来展示我们提出的融合模块的鲁棒性。由于 nuScenes
| Nighttime | Daytime |
| TransFusion-L | 49.2 | 60.3 |
| CC | 49.4 (+0.2) | 63.4 (+3.1) |
| PA | 51.0 (+1.8) | 64.3 (+4.0) |
| TransFusion | 55.2 (+6.0) | 65.7 (+5.4) |
Table 4. mAP breakdown over daytime and nighttime. We exclude categories that do not have any labeled samples.
测试集最多只允许三次提交，所有实验都在验证集上进行。为了快速迭代，我们将第一阶段的训练缩短为 12 个 epoch，并移除了衰减策略。所有其他参数与主实验相同。为了避免夸大，我们还构建了两个基于 LiDAR 的相机检测器，通过在 nuScenes 上使用我们 TransFusion-L 模块，分别采用点对点连接 (表示为 CC) 和 PointAugmenting (表示为 PA) 的融合策略。
夜间。我们首先根据 nuScenes 提供的场景描述，将验证集拆分为白天和夜间，并在表 4 中显示不同情况下的性能提升。我们的方法在夜间表现出更大的性能提升，因为较差的照明条件对基于硬关联的融合策略 CC 和 PA 产生负面影响。
图像质量下降。在表 5 中，我们通过在推理过程中将每个帧中的若干图像随机删除，并将这些图像的特征设置为零，来模拟图像质量下降的情况。由于 CC 和 PA 以紧密耦合的方式融合 LiDAR 和图像特征，因此当推理过程中某些图像不可用时，它们的性能会显著下降。相比之下，我们的 TransFusion 能够在所有情况下保持较高的 mAP。当所有六个图像都不可用时，CC 和 PA 的 mAP 分别下降了 23.8% 和 17.2%，而 TransFusion 仍然保持在 61.7% 的竞争力水平。这种优势来自其顺序设计和自适应注意力的融合策略，该策略首先基于 LiDAR 数据生成初始预测，然后仅从图像特征中收集有用的信息。此外，如果已知相机出现故障，我们甚至可以直接禁用融合模块，从而使整个系统可以在仅使用 LiDAR 的模式下无缝运行。
| # Dropped Images | 0 | 1 | 3 | 6 |
| CC | 63.3 | 59.8 (-3.5) | 50.9 (-12.4) | 39.5 (-23.8) |
| PA | 64.2 | 61.6 (-2.6) | 55.4 (-8.8) | 47.0 (-17.2) |
| TransFusion | 65.6 | 65.1 (-0.5) | 63.9 (-1.7) | 61.7 (-3.9) |
Table 5. mAP under different numbers of dropped images. The number in each bracket is the mAP drop from the standard input.
传感器对齐。我们评估了在 LiDAR 和图像未良好校准的情况下，不同的融合方法。具体来说，我们随机地向从相机到 LiDAR 传感器的变换矩阵添加一个平移偏移，这遵循了 RoarNet [^39] 的方法。如图 5 所示，与其它融合方法相比，我们的 TransFusion 对校准误差具有更好的鲁棒性。当两个传感器
---
Figure 5. mAP under sensor misalignment cases. The X axis refers to the translational discrepancy between two sensors.
发生 1 米的偏差时，我们模型的 mAP 仅下降了 0.49%，而 PA 和 CC 的 mAP 分别下降了 2.33% 和 2.85%。在我们的方法中，校准矩阵仅用于将对象查询投影到图像上，由于注意力机制可以根据上下文信息自适应地找到相关图像特征，因此融合模块对投影位置并不严格。对传感器校准不敏感也使得 2D 和 3D 后端可以流水线化，从而使 LiDAR 特征可以与来自先前图像的特征融合 [^46]。
#### 5.3. 消融研究
我们对 nuScenes 验证集进行了消融实验，以研究所提出的组件的有效性。
| C.A. | I.D. | #Layers | #Epochs | mAP | NDS |
| a) | ✓ | ✓ | 1 | 12 | 60.0 | 66.8 |
| b) | | ✓ | 1 | 12 | 54.3 | 63.9 |
| c) | ✓ | ✓ | 3 | 12 | 59.9 | 67.1 |
| d) | ✓ | | 1 | 12 | 24.0 | 33.8 |
| e) | ✓ | | 3 | 12 | 28.3 | 43.4 |
| f) | ✓ | | 3 | 36 | 46.9 | 57.8 |
Table 6. Ablation of the query initialization module. C.A.: category-aware; I.D.: input-dependent.
查询初始化。 在表 6 中，我们研究了查询初始化策略如何影响初始边界框预测的性能。 a) 第一行是 TransFusion-L。 b) 当移除类别嵌入时，NDS 降至 63.9%。 d)-f) 显示了在不使用输入相关策略的情况下训练的模型的性能。 具体来说，我们将查询位置设置为一组可学习的参数 ( $N \times 2$)，以捕获数据集中潜在对象位置的统计信息。 在这种设置下，该模型仅达到 33.8% 的 NDS。 增加解码层或训练时段的数量可以提高性能，但 TransFusion-L 仍然比 (f) 中的模型在 NDS 上高 9.0%。 a)、c)：相比之下，使用我们提出的查询初始化策略，我们的 TransFusion-L 不需要更多的解码层。
融合组件。 为了研究图像信息如何提高检测结果，我们通过移除提出的融合组件来研究其影响，即移除特征融合模块（表示为 w/o Fusion）和图像引导的查询初始化（表示为 w/o Guide）。 如表 7 所示，图像特征融合和图像引导的查询初始化分别带来了 4.8% 和 1.6% 的 mAP 提升。前者提供了更具区分性的实例特征，这对于 nuScenes 中的分类至关重要，因为某些类别难以区分，例如拖车和建筑车辆。后者影响较小，因为 TransFusion-L 已经具有足够的召回率。 我们认为，当点云更稀疏时，后者将更有用。 与其他融合方法相比，我们的融合策略在参数和延迟略有增加的情况下，带来了更大的性能提升。 为了更好地了解改进来自哪里，我们在表 8 中显示了基于物体中心与车辆距离的 mAP 分布。 我们的融合方法在距离较远且 3D 对象难以在 LiDAR 模式下检测或分类的区域，可以带来更大的性能提升。
| mAP | NDS | Params (M) | Latency (ms) |
| CenterPoint | 57.4 | 65.2 | 8.54 | 117.2 |
| TransFusion-L | 60.0 | 66.8 | 7.96 | 114.9 |
| CC | 63.3 | 67.6 | 8.01 + 18.34 | 212.3 |
| PA | 64.2 | 68.7 | 13.9 + 18.34 | 288.2 |
| w/o Fusion | 61.6 | 67.4 | 9.08 + 18.34 | 215.0 |
| w/o Guide | 64.8 | 69.3 | 8.35 + 18.34 | 236.9 |
| TransFusion | 65.6 | 69.7 | 9.47 + 18.34 | 265.9 |
Table 7. Ablation of the proposed fusion components. 18.34 represents the parameter size of the 2D backbone. The latency is measured on an Intel Core i7 CPU and a Titan V100 GPU. For CenterPoint, we use re-implementations in MMDetection3D.
表 8. 基于物体中心与车辆距离（以米为单位）的 BEV 距离的 mAP 分布。
| <15m | 15-30m | >30m |
| TransFusion-L | 70.4 | 59.5 | 35.3 |
| TransFusion | 75.5 (+5.1) | 66.9 (+7.4) | 43.7 (+8.4) |
### 6. 结论
我们设计了一个有效且稳健的基于 Transformer 的 LiDAR-相机 3D 检测框架，该框架采用软关联机制，以自适应地确定从图像中应该在哪里以及应该获取哪些信息。 我们的 TransFusion 在 nuScenes 检测和跟踪排行榜上取得了新的最先进结果，并在 Waymo 检测基准测试中取得了有竞争力的结果。 广泛的消融实验证明了我们的方法在图像质量较差情况下的鲁棒性。 我们希望我们的工作能够激发对 LiDAR-相机融合在驾驶场景感知中的进一步研究，并将基于软关联的融合策略应用于其他任务，例如 3D 分割。
致谢。 本研究由香港 RGC (GRF 16206819, 16203518, T22-603/15N)、广州 Okay 信息技术（项目 GZETDZ18EG05）和香港城市大学（编号 7005729）资助。
## 参考文献
---
## 参考文献
[^1]: Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuScenes: A multimodal dataset for autonomous driving. CVPR, 2020. 1
[^2]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. DETR: End-to-end object detection with transformers. ECCV, 2020. 2, 3
[^3]: Qi Chen, Lin Sun, Ernest C. H. Cheung, and A. Yuille. Every View Counts: Cross-view consistency in 3d object detection with hybrid-cylindrical-spherical voxelization. NeurIPS, 2020. 2
[^4]: Qi Chen, Lin Sun, Zhixin Wang, K. Jia, and A. Yuille. Object as Hotspots: An anchor-free 3d object detection approach via firing of hotspots. ECCV, 2020. 2
[^5]: Xiaozhi Chen, Huimin Ma, Jixiang Wan, B. Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. CVPR, 2017. 1,2
[^6]: MMDetection3D Contributors. MMDetection3D: Open-MMLab next-generation platform for general 3D object detection. , 2020. 5
[^7]: M. Everingham, L. Gool, Christopher K. I. Williams, J. Winn, and Andrew Zisserman. The pascal visual object classes (voc) challenge. IJCV, 2009. 6
[^8]: Lue Fan, Xuan Xiong, Feng Wang, Naiyan Wang, and Zhaoxiang Zhang. RangeDet: In defense of range view for lidar-based 3d object detection. ICCV, 2021. 2
[^9]: Peng Gao, Minghang Zheng, Xiaogang Wang, Jifeng Dai, and Hongsheng Li. Fast convergence of detr with spatially modulated co-attention. ICCV, 2021. 3,4
[^10]: Tengteng Huang, Zhe Liu, Xiwu Chen, and X. Bai. EPNet: Enhancing point features with image semantics for 3d object detection. ECCV, 2020. 1,2
[^11]: Aleksandr Kim, Aljosa Osep, and Laura Leal-Taixé. EagerMOT: 3d multi-object tracking via sensor fusion. ICRA, 2021. 7
[^12]: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, and Steven L. Waslander. Joint 3d proposal generation and object detection from view aggregation. IROS, 2018. 1
[^13]: H. Kuhn. The hungarian method for the assignment problem. Naval Research Logistics Quarterly, 1955. 5
[^14]: Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. PointPillars: Fast encoders for object detection from point clouds. CVPR, 2019. 1, 2, 6
[^15]: Zhichao Li, Feng Wang, and Naiyan Wang. LiDAR R-CNN: An efficient and universal 3d object detector. CVPR, 2021. 7
[^16]: Ming Liang, Binh Yang, Yun Chen, Rui Hu, and R. Urta-sun. Multi-task multi-sensor fusion for 3d object detection. CVPR, 2019. 1
[^17]: Ming Liang, Binh Yang, Shenlong Wang, and R. Urtasun. Deep continuous fusion for multi-sensor 3d object detection. ECCV, 2018. 1
[^18]: Tsung-Yi Lin, Priya Goyal, Ross B. Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. ICCV, 2017. 5
[^19]: Zili Liu, Guodong Xu, Honghui Yang, Minghao Chen, Kuoliang Wu, Zheng Yang, Haifeng Liu, and Deng Cai. Suppress-and-refine framework for end-to-end 3d object detection. arXiv, 2021. 2
[^20]: Ze Liu, Zheng Zhang, Yue Cao, Han Hu, and Xin Tong. Group-free 3d object detection via transformers. ICCV, 2021. 2,3
[^21]: Jiageng Mao, Yujing Xue, Minzhe Niu, Haoyue Bai, Jiashi Feng, Xiaodan Liang, Hang Xu, and Chunjing Xu. Voxel transformer for 3d object detection. ICCV, 2021. 2
[^22]: Gregory P. Meyer, Jake Charland, Darshan Hegde, Ankita Gajanan Laddha, and Carlos Vallespi-Gonzalez. Sensor fusion for joint 3d object detection and semantic segmentation. CVPRW, 2019. 1
[^23]: Ishan Misra, Rohit Girdhar, and Armand Joulin. An End-to-End Transformer Model for 3D Object Detection. ICCV, 2021. 2, 3, 4, 5
[^24]: Xuran Pan, Zhuofan Xia, Shiji Song, L. Li, and Gao Huang. 3d object detection with pointformer. CVPR, 2021. 2
[^25]: Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer. Automatic differentiation in pytorch. NeurIPS-W, 2017. 5
[^26]: Jonah Philion and S. Fidler. Lift, Splat, Shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3d. ECCV, 2020. 5
[^27]: C. Qi, Xinlei Chen, O. Litany, and L. Guibas. ImVoteNet: Boosting 3d object detection in point clouds with image votes. CVPR, 2020. 2
[^28]: C. Qi, O. Litany, Kaiming He, and L. Guibas. Deep hough voting for 3d object detection in point clouds. ICCV, 2019. 2
[^29]: C. Qi, W. Liu, Chenxia Wu, Hao Su, and L. Guibas. Frustum pointnets for 3d object detection from rgb-d data. CVPR, 2018. 1, 2
[^30]: C. Qi, Hao Su, Kaichun Mo, and L. Guibas. PointNet: Deep learning on point sets for 3d classification and segmentation. CVPR, 2017. 1
[^31]: Shaoqing Ren, Kaiming He, Ross B. Girshick, and J. Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. TPAMI, 2015. 1
[^32]: Thomas Roddick and R. Cipolla. Predicting semantic map representations from images using pyramid occupancy networks. CVPR, 2020. 5
[^33]: Thomas Roddick, Alex Kendall, and R. Cipolla. Orthographic feature transform for monocular 3d object detection. BMVC, 2019. 5
[^34]: Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich. SuperGlue: Learning feature matching with graph neural networks. CVPR, 2020. 4
[^35]: Hualian Sheng, Sijia Cai, Yuan Liu, Bing Deng, Jianqiang Huang, Xiansheng Hua, and Min-Jian Zhao. Improving 3d object detection with channel-wise transformer. ICCV, 2021.
## [^36]: Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. PV-RCNN: Point-voxel feature set abstraction for 3d object detection. CVPR, 2020. 2,7
---
[^37]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. PointR-CNN: 3d object proposal generation and detection from point cloud. CVPR, 2019. 2
[^38]: Shaoshuai Shi, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. From Points to Parts: 3d object detection from point cloud with part-aware and part-aggregation network. TPAMI, 2021. 2
[^39]: Kiwoo Shin, Y. Kwon, and M. Tomizuka. RoarNet: A robust 3d object detection based on region approximation refinement. IV, 2019. 1, 2, 7
[^40]: Vishwanath A. Sindagi, Yin Zhou, and Oncel Tuzel. MVX-Net: Multimodal voxelnet for 3d object detection. ICRA, 2019. 1, 2
[^41]: Jiaming Sun, Zehong Shen, Yuang Wang, Hujun Bao, and Xiaowei Zhou. LoFTR: Detector-free local feature matching with transformers. CVPR, 2021. 4
[^42]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, P. Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, S. Ettinger, Maxim Krivokon, A. Gao, Aditya Joshi, Y. Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in perception for autonomous driving: Waymo open dataset. CVPR, 2020. 1
[^43]: Pei Sun, Weiyue Wang, Yuning Chai, Gamaleldin F. Elsayed, Alex Bewley, Xiao Zhang, Cristian Sminchisescu, and Drago Anguelov. RSN: Range sparse net for efficient, accurate lidar 3d object detection. CVPR, 2021. 2
[^44]: Pei Sun, Rufeng Zhang, Yi Jiang, T. Kong, Chenfeng Xu, W. Zhan, M. Tomizuka, L. Li, Zehuan Yuan, C. Wang, and Ping Luo. Sparse R-CNN: End-to-end object detection with learnable proposals. CVPR, 2021. 2, 3
[^45]: Ashish Vaswani, Noam M. Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS, 2017. 3
[^46]: Sourabh Vora, Alex H. Lang, Bassam Helou, and Oscar Beijbom. PointPainting: Sequential fusion for 3d object detection. CVPR, 2020. 1, 2, 4, 6, 7, 8
[^47]: Chunwei Wang, Chao Ma, Ming Zhu, and Xiaokang Yang. PointAugmenting: Cross-modal augmentation for 3d object detection. CVPR, 2021. 1, 2, 4, 5, 6, 7
[^48]: Yue Wang, Alireza Fathi, Abhijit Kundu, David A. Ross, Caroline Pantofaru, Thomas A. Funkhouser, and Justin M. Solomon. Pillar-based object detection for autonomous driving. In ECCV, 2020. 2
[^49]: Yue Wang and Justin Solomon. Object DGCNN: 3d object detection using dynamic graphs. NeurIPS, 2021. 3
[^50]: Liang Xie, Chao Xiang, Zhengxu Yu, Guodong Xu, Zheng Yang, Deng Cai, and Xiaofei He. PI-RCNN: An efficient multi-sensor 3d object detector with point-based attentive cont-conv fusion module. AAAI, 2020. 1
[^51]: Shaoqing Xu, Dingfu Zhou, Jin Fang, Junbo Yin, Bin Zhou, and Liangjun Zhang. FusionPainting: Multimodal fusion with adaptive attention for 3d object detection. ITSC, 2021. 1,6
[^52]: Yan Yan, Yuxing Mao, and B. Li. SECOND: Sparsely embedded convolutional detection. Sensors, 2018. 2, 5
[^53]: Binh Yang, Wenjie Luo, and R. Urtasun. PIXOR: Real-time 3d object detection from point clouds. CVPR, 2018. 2
[^54]: Zetong Yang, Y. Sun, Shu Liu, and Jiaya Jia. 3DSSD: Point-based 3d single stage object detector. CVPR, 2020. 2
[^55]: Zetong Yang, Y. Sun, Shu Liu, Xiaoyong Shen, and Jiaya Jia. STD: Sparse-to-dense 3d object detector for point cloud. ICCV, 2019. 2
[^56]: Z. Yao, Jiangbo Ai, Boxun Li, and Chi Zhang. Efficient DETR: Improving end-to-end object detector with dense prior. arXiv, 2021. 3
[^57]: Tianwei Yin, Xingyi Zhou, and Philipp Krähenbühl. Center-based 3d object detection and tracking. CVPR, 2021. 2, 4, 5, 6, 7
[^58]: Tianwei Yin, Xingyi Zhou, and Philipp Krähenbühl. Multi-modal virtual point 3d detection. NeurIPS, 2021. 6
[^59]: Jin Hyeok Yoo, Yeocheol Kim, Ji Song Kim, and J. Choi. 3D-CVF: Generating joint camera and lidar features using cross-view spatial feature fusion for 3D object detection. ECCV, 2020. 1,6
[^60]: F. Yu, Dequan Wang, and Trevor Darrell. Deep layer aggregation. CVPR, 2018. 5
[^61]: Yihan Zeng, Chao Ma, Ming Zhu, Zhiming Fan, and Xiaokang Yang. Cross-modal 3d object detection and tracking for auto-driving. IROS, 2021. 7
[^62]: Wenwei Zhang, Zhe Wang, and Chen Change Loy. Multi-modality cut and paste for 3d object detection. arXiv, 2020.1
[^63]: Lin Zhao, Hui Zhou, Xinge Zhu, Xiao Song, Hongsheng Li, and Wenbing Tao. LIF-Seg: Lidar and camera image fusion for 3d lidar semantic segmentation. arXiv, 2021. 1
[^64]: Dingfu Zhou, Jin Fang, Xibin Song, Chenye Guan, Junbo Yin, Yuchao Dai, and Ruigang Yang. Iou loss for 2d/3d object detection. 3DV, 2019. 5
[^65]: Xingyi Zhou, Dequan Wang, and Philipp Krähenbühl. Objects as points. arXiv, 2019. 3, 4
[^66]: Yin Zhou, Pei Sun, Y. Zhang, Dragomir Anguelov, J. Gao, Tom Y. Ouyang, James Guo, Jiquan Ngiam, and Vijay Vasudevan. MVF: End-to-end multi-view fusion for 3d object detection in lidar point clouds. CoRL, 2019. 2
[^67]: Yin Zhou and Oncel Tuzel. VoxelNet: End-to-end learning for point cloud based 3d object detection. CVPR, 2018. 1, 2, 5
[^68]: Benjin Zhu, Zhengkai Jiang, Xiangxin Zhou, Zeming Li, and Gang Yu. Class-balanced grouping and sampling for point cloud 3d object detection. arXiv, 2019. 2, 5, 6
[^69]: Xinge Zhu, Yuexin Ma, Tai Wang, Yan Xu, Jianping Shi, and Dahua Lin. SSN: Shape signature networks for multi-class object detection from point clouds. ECCV, 2020. 2
[^70]: Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng Dai. Deformable DETR: Deformable transformers for end-to-end object detection. ICLR, 2021. 3