# TiG-BEV: 通过目标内部几何学习的基于多视图的BEV 3D目标检测黄培翔 $^{1\dagger}$，刘莉 $^{2\dagger\S}$，张仁锐 $^{3\dagger}$，张松 $^{4}$，徐新力 $^{2}$ Baichao Wang $^{2}$ Guoyi Liu $^{2}$ $^{1}$ 北京大学 $^{2}$ NIO $^{3}$ 中国香港中文大学 $^{4}$ 中国科学院大学 , , , , , {baichao.wang, gary.liu}@nio.com ## 摘要为了实现准确的多视图3D目标检测，现有的方法建议利用基于相机的检测器，并通过LiDAR模态提供的空间线索，例如密集深度监督和鸟瞰图（BEV）特征蒸馏。然而，它们直接从LiDAR到相机进行点对点的模仿，这忽略了前景目标的内部几何结构，并受到2D-3D特征模态差距的影响。在本文中，我们提出了一种从LiDAR模态到基于相机BEV检测器的目标内部几何学习方案，用于密集深度和BEV特征，称为TiG-BEV。首先，我们引入了一个内部深度监督模块，以学习不同前景像素之间的低级相对深度关系。这使得基于相机的检测器能够更好地理解对象的空间结构。其次，我们设计了一个内部特征BEV蒸馏模块，以模仿前景目标中不同关键点的的高级语义。为了进一步缓解两种模态之间的BEV特征差距，我们采用了跨通道和跨关键点的蒸馏，用于特征相似性建模。通过我们的目标内部几何学习，TiG-BEV可以有效地提升学生模型的性能，例如，在nuScenes验证集上，BEVDepth的NDS提高了+2.3%，mAP提高了+2.4%，而BEVDet在不使用CBGS的情况下，NDS提高了+9.1%，mAP提高了+10.3%。代码将在上提供。 ### 1. 引言三维目标检测旨在识别和定位三维空间中的物体，该任务比对应的二维目标检测更具挑战性，目前已在各—— ![Image](images/c689087fb774cbf739296b35793f874137de23833d0f38fddfc0411fb1f5da12.jpg)

(a) Dense Depth Supervision

![Image](images/0bd4706d6098e936af1c1eb69cb325369f8c9a759c50eece1d6d886677db501e.jpg)

(b) BEV Feature Distillation

![Image](images/94b02f0024f64609941724317153f1cd546cbc959ea8ee81230e3b50ca69df73.jpg)

Figure 1. Different LiDAR-to-Camera Learning Schemes: (a) Dense Depth Supervision [^23] [^37], (b) BEV Feature Distillation [^6] [^16], (c) Our Target Inner-Geometry Learning (TiG-BEV).

各种应用，例如机器人 [^1]、虚拟现实 [^39] 和自动驾驶 [^3] [^7] [^41] [^47]。 3D目标检测的主要方法可以分为基于激光雷达的检测器 [^11] [^41] [^42] 和基于摄像头的检测器 [^23] [^24] [^45] [^46] [^53] [^54]。在其中，基于激光雷达的方法通过将3D点云作为输入，从而获得了出色的性能，因为点云本身包含足够的空间结构，可以实现准确的物体定位。相比之下，基于摄像头的技术成本相对较低，并且具有彩色上下文信息，但受到缺乏几何深度线索的限制。考虑到基于摄像头和基于激光雷达的检测器之间的性能差距，现有方法利用激光雷达模态提供的空间线索来提高基于摄像头的检测器的准确性，主要有两种方案，如图 1 所示。(1) 密集深度监督 (图 1 (a))，例如 CaDDN [^37] 和 BEVDepth [^23]。这些方法首先使用内在和外参相机参数将输入的激光雷达点投影到图像平面。然后，这些派生的深度图用于显式地监督前景和背景区域中的分类深度预测。 --- ![Image](images/c9f5f6f48b91b3d3f226ad7f961bcccdb15199820f80e14622257480e6805922.jpg)

Figure 2. Inner-depth Supervision. We guide the camera-based detector to learn the relative spatial structures within the target foreground areas. A depth reference point (dotted in yellow) is adaptively selected to calculate relative depth values.

(2) BEV 特征蒸馏 (图 1 (b))，例如 CMKD [^16] 和 BEVDistill [^6]。这些方法采用教师-学生范式进行 BEV 特征蒸馏。它们强制基于摄像头的检测器 (学生) 生成的 BEV 表示模仿由预训练的基于激光雷达的检测器 (教师) 生成的表示。通过直接模仿 BEV 特征，预计学生将继承教师编码的高级 BEV 语义。然而，现有方法未能捕捉到不同前景目标的内部几何特征，即空间轮廓和逐部分语义关系。例如，BEVDepth 仅采用像素级的深度监督，而没有专门处理对象内部的相对深度，并且 BEVDistill 采用基于前景的蒸馏，但忽略了 BEV 特征的内部关系。此外，[^6] 和 [^16] 等方法用于 BEV 特征蒸馏，直接强制跨模态 BEV 表示之间的通道对通道对齐。这种严格的模仿可能会由于摄像头和激光雷达 BEV 特征之间的模态差距而对性能产生不利影响，即视觉外观与空间几何之间的差异。为了缓解这个问题，我们提出了一种新的 LiDAR 到相机的学习方案，名为 TiG-BEV，该方案将前景目标的内部几何信息融入基于相机的检测器中，以进行多视角的 BEV 3D 目标检测。如图 1 (c) 所示，我们同时进行目标内部几何的学习，用于密集深度预测和 BEV 特征生成。首先，除了之前的绝对深度图预测 [^23] [^37]，我们引入了一个内部深度监督模块，用于不同前景目标的像素。对于每个目标，都会自适应地选择一个参考深度点，以获得如图 2 所示的相对深度关系，这有助于高质量的深度图预测，并更好地理解目标的结构。其次，我们提出了一种内部特征 BEV 蒸馏模块，该模块模仿由预训练的 LiDAR 驱动的检测器生成的的高层前景 BEV 语义。不同 ![Image](images/90a2140468ce94a1cd3ec6ff81c2fde91d886bb228a0645e21824441174fa1f9.jpg)

Figure 3. Inner-feature BEV Distillation. We respectively conduct inter-channel and inter-keypoint feature distillation in BEV space for the camera-based detector, which alleviates the cross-modal semantic gap and boosts inner-geometry learning.

与以前的密集和严格的特征蒸馏 [^6] 和 [^16] 不同，我们对每个 BEV 前景区域中的几个关键点进行采样，并引导基于摄像头的检测器学习它们的内部特征相似性，如图 3 所示，这既在通道间，也在关键点间。通过这种方式，基于摄像头的检测器不仅可以继承来自激光雷达的高级逐部分语义，还可以通过避免严格的特征模仿来缓解模态差距。通过大量的实验，我们观察到 TiG-BEV 在基线模型上带来了持续的性能提升。在具有等效设置的 nuScenes [^3] val 数据集上，强大的 BEVDepth [^23] 可以提高 +2.3% 的 NDS 和 +2.4% 的 mAP，并且 BEVDet [^19] 在没有 CBGS 的情况下，还可以进一步提高 +9.1% 的 NDS 和 +10.3% 的 mAP，这很好地说明了我们 TiG-BEV 的重要性。 TiG-BEV 的贡献总结如下： - 我们引入了一个内部深度监督模块，用于建模前景目标的相对深度关系，这可以实现更好的深度图预测。 - 我们提出了一种内部特征 BEV 蒸馏模块，用于将从 LiDAR 模态中学到的知识转移到基于相机的 BEV 表示中。 - 广泛的实验已经验证了我们的方法可以有效地提高多视角 BEV 3D 目标检测的能力。 ### 2. 相关工作基于相机的 3D 目标检测。基于相机的 3D 目标检测因其成本低于 LiDAR 探测器而被广泛用于自动驾驶等应用。FCOS3D [^45] 首先通过围绕 2D 中心的特征来预测对象的 3D 属性，PGD [^44] 利用关系图来改进 3D 单目目标检测的深度估计。此外，MonoDETR [^53] 引入了类似于 DETR [^4] 的架构，无需复杂的后处理。最近，鸟瞰图 (BEV) 作为一种统一的周围环境表示，与基于 LiDAR 的探测器类似，具有以下优点。 --- 它吸引了许多关注。DETR3D [^46] 遵循 DETR [^4] 的思路，通过使用对象查询，在 BEV 空间中采用 3D 参考点。BEVDet [^19] 利用 Lift-Splat-Shoot (LSS) 操作 [^34]，将 2D 图像特征转换为 3D 自我车辆坐标，以生成 3D BEV 特征。PETR [^27] 通过 3D 位置嵌入获得位置感知的能力。受最近开发的注意力机制的启发，BEVFormer [^24] 和 PolarFormer [^21] 通过可学习的注意力模块自动执行相机到 BEV 的过程，并根据其在 3D 空间中的位置查询 BEV 特征。为了进一步提高检测性能，BEVDet4D [^18] 和 PETRv2 [^28] 引入了时间信息，从而实现了显着的性能提升。此外，BEVDepth [^23] 观察到准确的深度估计对于受投影 LiDAR 点监督的 BEV 3D 对象检测至关重要。MonoDETR-MV [^54] 提出了一种基于深度的 Transformer，用于多视图几何线索，但仅预测前景深度图，而没有密集深度监督。作为一种 LiDAR 到相机的学习方案，我们的 TiG-BEV 利用预训练的基于 LiDAR 的检测器，以提高多视图 BEV 3D 对象检测中基于相机的检测器的性能。深度估计。深度估计是计算机视觉中的一个经典问题。这些方法可以分为单视图深度估计和多视图深度估计。单视图深度估计通常被视为将密集深度图回归为一个回归问题，或将深度分布视为一个分类问题。[^2] [^12] [^13] [^35] [^36] 通常构建一个编码器-解码器架构，以从上下文特征中回归深度图。多视图深度估计方法通常构建一个成本体，以基于光度一致性来回归视差。[^15] [^33] [^40] [^49] [^52] [^56] 对于3D目标检测，以前的方法[^16] [^32] [^37] 也引入了额外的网络来进行深度估计，以提高3D空间中的定位精度。值得注意的是，MonoDETR [^53] [^54] 提出仅预测前景深度图而不是密集深度值，但它无法利用LiDAR模态提供的先进几何信息。与这些方法不同，我们的TiG-BEV进行内部深度监督，以捕获不同前景目标的局部空间结构。知识蒸馏。知识蒸馏已被证明在将从更大的模型（教师）学习到的表示转移到较小的模型（学生）方面具有非常大的潜力。以前的研究[^20] [^26] [^43] [^51] 提出了帮助学生网络学习结构表示，以获得更好的泛化能力。这些方法通常利用实例之间的相关性来描述特征空间中的几何、相似性或不相似性。以下方法将教师-学生范式扩展到许多视觉任务，证明了其有效性，包括动作识别[^9]、视频字幕[^31]、3D表示学习[^14] [^29] [^38] [^55]、目标检测[^5] [^10] 和语义分割[^17] [^48]。然而，只有少数工作考虑了不同传感器源之间的多模态设置。在3D表示学习中，I2P-MAE[^55] 利用掩码自动编码器将2D预训练的知识蒸馏到3D转换器中。UVTR[^22] 提供了一种简单的方法，直接正则化学生和教师模型之间的体素表示。BEVDistill[^6] 通过密集特征蒸馏和稀疏实例蒸馏，将LiDAR特征的知识转移到相机特征。我们的TiG-BEV也遵循这种教师-学生范式，并有效地将知识从LiDAR模态蒸馏到相机模态。 ### 3. 方法 TiG-BEV的总体架构如图4所示，它由三个组件组成：基于相机的学生检测器、基于LiDAR的教师检测器以及我们提出的目标内部几何学习方案。在第3.1节中，我们首先介绍了所采用的基线模型。然后，我们专门说明了TiG-BEV在第3.2节中用于内部深度监督的设计，以及在第3.3节中用于内部BEV特征蒸馏的设计。最后，在第3.4节中，我们展示了TiG-BEV的总体损失函数，用于LiDAR到相机的学习。 #### 3.1. 基线模型基于相机的学生检测器。默认情况下，我们采用BEVDepth [^23] 作为面向多视图三维目标检测任务的基于相机的学生检测器。给定输入多视图图像（一个场景通常包含6个视图），学生模型首先利用共享的二维骨干网络和FPN模块 [^25] 提取C通道视觉特征 $\{F_i\}_{i=1}^6$，其中 $F_i \in \mathbb{R}^{C \times H_v \times W_v}$ 和 $H_v, W_v$ 表示特征图的尺寸。这些特征被输入到共享深度网络，生成分类深度图 [^37]，$\{D_i\}_{i=1}^6$，其中 $D_i \in \mathbb{R}^{D \times H_v \times W_v}$，D表示预定义的深度箱数量。训练过程中，BEVDepth对预测得到的深度图采用密集深度监督，将配对的LiDAR输入投影到多视图图像平面，构建逐像素绝对深度真值，$\{D_i\}_{i=1}^{6}$，其中 $D_i^{gt} \in \mathbb{R}^{1 \times H_v \times W_v}$。随后，遵循 [^34] 的方法，多视图视觉特征通过预测得到的深度图投影到统一的BEV表征中，再由BEV编码器进一步编码，记为 $F_{blev}^{2d} \in \mathbb{R}^{C \times H_{blev} \times W_{blev}}$。最后，在输出特征上应用检测头预测三维空间中的物体。我们将学生模型的两个基础损失表示为 $\mathcal{L}_{depth}^A$ 和 $\mathcal{L}_{det}$，分别对应密集绝对深度值的Binary Cross Entropy损失和三维目标检测损失。 --- ![Image](images/54df155c59be0665c15382b82db29e03bfcbfe7be534f8ca1d4acce0e07590c5.jpg)

Figure 4. Overall Framework of TiG-BEV, which contains a pre-trained LiDAR-based detector as teacher, a camera-based detector as student, and a target inner-geometry scheme for cross-model learning. Our proposed learning paradigm effectively transfers the inner-geometry semantics of the LiDAR modality via two components, an inner-depth supervision (Section 3.2) for foreground relative depth, and an inner-feature BEV distillation (Section 3.3) from both channel-wise and keypoint-wise.

基于激光雷达的检测器。我们选择流行的激光雷达检测器CenterPoint [^50]作为目标内部几何学习的“教师”。给定输入的点云数据，CenterPoint将其转换为基于网格的数据，并利用3D主干网络获取C通道的激光雷达BEV特征 $F_{bev}^{3d} \in \mathbb{R}^{C \times H_{bev} \times W_{bev}}$，该特征与学生检测器的 $F_{bev}^{2d}$ 具有相同的特征尺寸。由于CenterPoint已经过良好的预训练，$F_{bev}^{3d}$ 可以为学生BEV特征提供足够的几何和语义知识，尤其是在目标前景区域。需要注意的是，基于激光雷达的“教师”仅在训练阶段用于跨模态学习，在推理阶段，仅使用多视图像作为输入，用于基于摄像头的检测器。 #### 3.2. 内部深度监督除了密集的绝对深度监督外，我们建议引导学生模型学习不同目标前景区域的内部深度几何信息。如图5(a)所示，对于实例级别，现有的绝对深度监督采用分类表示，忽略了每个对象内部的相对结构信息，并且没有提供明确的精细深度信号。因此，我们建议额外进行内部深度监督，采用来自激光雷达投影深度图的连续值，如图5(b)所示，这可以有效地提高网络以捕获目标对象的内部几何形状。前景目标定位。为了准确获得内部深度值，我们首先对深度图中每个目标对象的“前景”像素进行定位。针对给定的 3D 边界框，我们提取每个目标对象内部框内的相应 3D LiDAR 点，并将它们投影到不同的图像平面上。这样，我们就可以获得预测的深度图和地面真值深度图中“前景”对象区域内的像素，$\{D_i, D_i^{gt}\}_{i=1}^6$。 “前景”像素大致描绘了不同目标对象的几何轮廓，并可以很好地提高随后的内部深度学习。我们以第 i 个视图为例，并在以下文本中省略索引 i 以简化描述。假设图像中存在 M 个目标对象，我们将 M 个对象的“前景”深度值集合表示为 $\{S_j, S_j^{gt}\}_{j=1}^M$，其中每个 $\{S_j, S_j^{gt}\}$ 包含第 j 个目标的“前景”分类深度预测和地面真值深度值。 --- ![Image](images/f98ff9ce37819a93acc70eb5689c51387039b1d617dd8bc16388cbe21da3cb82.jpg)

Figure 5. Comparison of Categorical Absolute Depth and Continuous Inner Depth. We adopt the inner-depth supervision with continuous depth values to guide the camera-based student to learn local spatial structures of foreground object targets.

连续深度表示。与绝对深度值的分类表示不同，我们通过连续值表示“前景”目标的预测内部深度，这反映了更精细的几何变化。对于第 j 个目标对象 $(x, y)$ 的像素 $S_j$，第 k 个深度 bin 的预测概率表示为 $S_j(x, y)[k]$，其中 $1 \leq k \leq D$。参考 MonoDETR [^53] [^54]，我们计算像素 $d_j(x, y)$ 的连续深度值 $(x, y)$ 为 $$ d_{j}(x,y)=\sum_{k=1}^{D}(d[k]\cdot S_{j}(x,y)[k]), $$ 其中 $d[k]$ 表示第 k 个 bin 的中心深度值。通过此方法，我们将不同目标对象的分类深度预测，$\{S_j\}_{j=1}^M$，转换为连续表示，记为 $\{\hat{S}_j\}_{j=1}^M$。自适应深度参考。为了计算相对深度值，我们提出使用针对不同“前景”目标的自适应深度参考。具体来说，根据 $\{\hat{S}_j\}_{j=1}^M$ 中的预测连续深度值，我们为每个目标选择具有最小深度预测误差的像素，并将该像素的深度值设置为深度参考，如图 5 所示。对于具有地面真值内部深度 $\{\hat{S}_j, \hat{S}_j^{gt}\}_{j=1}^M$ 的第 j 个目标，我们通过以下公式计算深度参考点 $(x_r, y_r)$： $$ \left(x_{r},y_{r}\right)=\underset{(x,y)\in\hat{S}_{j}}{\mathrm{A r g m i n}}\left(S_{j}^{g t}(x,y)-\hat{S}_{j}(x,y)\right). $$ 然后，预测的参考深度值和地面真值参考深度值分别表示为 $d_{j}(x_{r}, y_{r})$ 和 $d_{j}^{gt}(x_{r}, y_{r})$。通过自适应选择具有最小误差的参考点，内部深度分布可以动态适应具有不同形状和外观的对象，从而稳定了对某些被截断和遮挡的对象进行网络学习。内部深度计算。除了参考深度值之外，我们还计算每个目标对象“前景”区域内的相对深度值。对于第 j 个目标 $(x, y)$ 的像素 $\{\hat{S}_j, S_j^{gt}\}$，预测的内部深度值和地面真值内部深度值的公式如下： $$ \begin{align*}rd_{j}(x,y)&=d_{j}(x,y)-d_{j}(x_{r},y_{r}),\\rd_{j}^{gt}(x,y)&=d_{j}^{gt}(x,y)-d_{j}^{gt}(x_{r},y_{r}).\end{align*} $$ 我们将 M 个目标对象的获得的相对深度值集合表示为 $\{\hat{R}_j, R_j^gt\}_{j=1}^M$。最后，我们使用 L2 损失对学生的深度预测进行监督，公式如下： $$ \mathcal{L}_{\mathrm{d e p t h}}^{R}=\sum_{j=1}^{M}||\hat{R}_{j}-R_{j}^{g t}||_{2}. $$ #### 3.3. 内部特征 BEV 蒸馏除了对低级空间信息的深度监督外，我们的 TiG-BEV 还采用内部几何学习，从预训练的基于 LiDAR 的检测器中提取高级 BEV 语义。之前的研究 [^6] [^16] 用于 BEV 蒸馏，直接强制学生网络在 BEV 空间中逐点模仿教师网络的特征。尽管性能有所提高，但这些策略受到以下两个方面的限制。一方面，由于扫描点云的稀疏性，基于 LiDAR 的 BEV 特征可能在背景区域包含冗余和噪声信息。尽管 BEVDistill [^6] 使用前景掩码来减轻此问题，但这种密集特征蒸馏仍然无法为学生网络提供集中和有效的指导。另一方面，基于摄像头的和基于 LiDAR 的 BEV 特征分别描绘场景的不同特征，即视觉外观和空间结构。因此，强制 BEV 特征在两种模态之间完全一致，考虑到语义差距，这并不理想。在我们的 TiG-BEV 中，我们提出了一种内部特征 BEV 蒸馏（图 6），它由跨通道和跨关键点的学习方案组成，该方案进行注意力目标特征蒸馏，并缓解了跨模态的语义差距。目标关键点提取。为了仅在稀疏的前景区域蒸输基于 LiDAR 的检测器的知识，我们提取每个目标对象的 BEV 区域，并将其表示为一系列关键点特征。给定每个目标的 3D 边界框，我们首先在 BEV 空间中稍微扩大框的大小，以覆盖整个前景区域，例如对象的轮廓和边缘。 --- ![Image](images/f5062533494bf4cb344e1b05d55bef3dd9bcb4c7cc8198d00f7209f933e9afa6.jpg)

Figure 6. Details of Inner-feature BEV Distillation. For each foreground area in BEV space, we represent each target feature by a set of keypoints and conduct feature distillation in both interchannel and inter-keypoint manners.

然后，我们通过 N 个关键点对它的 BEV 边界框进行均匀采样，并采用双线性插值从编码的 BEV 表示中获取关键点特征。我们分别从基于摄像头的 $F_{bev}^{2d}$ 和基于 LiDAR 的 $F_{bev}^{3d}$ 中提取所有 M 个目标对象的关键点特征，记为 $\{f_j^{2d}, f_j^{3d}\}_{j=1}^M$，其中 $f_j^{2d}, f_j^{3d} \in \mathbb{R}^{N \times C}$。通过均匀采样，这些 BEV 关键点可以很好地表示前景目标的局部特征和内部几何语义。跨通道 BEV 蒸馏。以 j 个目标对象为例，我们首先进行跨通道 BEV 蒸馏，引导学生的关键点特征模仿教师网络的通道级关系。这些跨通道信号暗示每个目标对象的整体几何语义。与之前的逐通道监督相比，我们的跨通道蒸馏可以保留两个模态的独特方面，同时有效地传输基于 LiDAR 的检测器预训练的知识。具体来说，我们计算基于摄像头的和基于 LiDAR 的关键点特征的跨通道相似性，公式如下： $$ A_{j}^{2d}=f_{j}^{2d}f_{j}^{2d^{\top}};\quad A_{j}^{3d}=f_{j}^{3d}f_{j}^{3d^{\top}}, $$ 其中，$A_j^{2d}$，$A_j^{3d} \in \mathbb{R}^{C \times C}$ 表示两个模态中不同 C 通道之间的特征关系。对于场景中的所有 M 个对象，我们采用 L2 损失，对两组跨通道相似性进行特征蒸馏，公式如下： $$ \mathcal{L}_{\mathrm{b e v}}^{I C}=\sum_{j=1}^{M}||A_{j}^{3d}-A_{j}^{2d}||_{2}. $$ Inter-keypoint BEV 蒸馏。跨通道蒸馏引导基于摄像头的检测器从基于 LiDAR 的教师模型学习通道级别的多样性。但是，它是在没有考虑每个目标对象中不同关键点之间的内部相关性的情况下进行的，这无法捕捉不同前景部分之间的局部几何形状，例如汽车的前部和后部。为此，我们建议利用基于 LiDAR 的 BEV 特征的跨关键点相关性，并将这种内部几何语义转移到基于摄像头的检测器中。类似于前面提到的跨通道模块，对于第 j 个目标对象，我们以反向方式计算两个模态之间的跨关键点相似性： $$ B_{j}^{2d}=f_{j}^{2d}{}^{\top}f_{j}^{2d};\quad B_{j}^{3d}=f_{j}^{3d}{}^{\top}f_{j}^{3d}, $$ 其中 $B_j^{2d}, B_j^{3d} \in \mathbb{R}^{N \times N}$ 分别表示相机和 LiDAR 之间不同 N 个关键点之间的特征关系。我们还对所有 M 个目标采用 L2 损失： $$ \mathcal{L}_{\mathrm{b e v}}^{I K}=\sum_{j=1}^{M}||B_{j}^{3d}-B_{j}^{2d}||_{2}. $$ 然后，在 BEV 空间中跨通道和跨关键点特征的蒸馏损失可以表示为： $$ \mathcal{L}_{\mathrm{b e v}}=\mathcal{L}_{\mathrm{b e v}}^{I C}+\mathcal{L}_{\mathrm{b e v}}^{I K}, $$ 其中两个项分别对应通道级别的特征多样性和关键点级别的语义相关性。 #### 3.4. 总体损失总而言之，我们通过以下两个方面为基于摄像头的学生检测器提供目标内部几何信息，即用于低级信号的内部深度监督，以及用于高级语义的内部特征 BEV 蒸馏。它们产生两个损失，即 $\mathcal{L}_{\mathrm{depth}}^{R}$ 和 $\mathcal{L}_{\mathrm{bev}}$。此外，还包括原始的两个损失，即密集绝对深度监督 $\mathcal{L}_{\mathrm{depth}}^{A}$ 和 3D 检测 $\mathcal{L}_{\mathrm{det}}$。因此，我们 TiG-BEV 的总体损失可以表示为： $$ \mathcal{L}_{\mathrm{T i G}}=\mathcal{L}_{\mathrm{d e t}}+\mathcal{L}_{\mathrm{d e p t h}}^{A}+\mathcal{L}_{\mathrm{d e p t h}}^{R}+\mathcal{L}_{\mathrm{b e v}}^{I C}+\mathcal{L}_{\mathrm{b e v}}^{I K}. $$ ### 4. 实验在本节中，我们首先介绍我们采用的数据集和实现设置。然后，我们进行了一系列实验，并进行了详细的消融研究，以显示我们方法的有效性。 #### 4.1. 实验设置数据集和指标。我们在 nuScenes 数据集 [^3] 上评估我们的 TiG-BEV，它是在用于自动驾驶的最大的公开户外数据集之一。它包含 700、150 和 150 个场景，分别用于训练、验证和测试。它提供了以 20Hz 的速率从 32 束 LiDAR 以及以 12Hz 的速率覆盖 360 度的六个相机捕获的同步数据。我们采用 nuScenes 提供的官方评估工具箱，该工具箱报告了 nuScenes 检测分数 (NDS) 和平均精度 (mAP)，以及平均绝对翻译误差 (mATE)、平均绝对尺度误差 (mASE)、平均绝对方向误差 (mAOE)、平均绝对速度误差 (mAVE) 和平均绝对属性误差 (mAAE)。 ---

Table 1. Performance Comparison on nuScenes [^3] Val Set. 'C' and 'L' denote the camera-based and LiDAR-based methods, which refer to the input data during inference. * denotes our implementation using BEVDet [^19] codebase.

Method	Modality	Backbone	Resolution	mAP $\uparrow$	NDS $\uparrow$	mATE $\downarrow$	mASE $\downarrow$	mAOE $\downarrow$	mAVE $\downarrow$	mAAE $\downarrow$
FCOS3D [^45]	C	ResNet-101	$900 \times 1600$	0.343	0.415	0.725	0.263	0.422	1.292	0.153
PGD [^44]	C	ResNet-101	$900 \times 1600$	0.369	0.428	0.683	0.260	0.439	1.268	0.185
MonoDETR [^53]	C	ResNet-101	$900 \times 1600$	0.372	0.434	0.676	0.258	0.429	1.253	0.176
DETR3D [^46]	C	ResNet-101	$900 \times 1600$	0.303	0.374	0.860	0.278	0.437	0.967	0.235
PETR [^27]	C	ResNet-101	$512 \times 1408$	0.357	0.421	0.710	0.270	0.490	0.885	0.224
BEVFormer [^24]	C	ResNet-101	$900 \times 1600$	0.416	0.517	0.673	0.274	0.372	0.394	0.198
PETRv2 [^28]	C	ResNet-101	$640 \times 1600$	0.421	0.524	0.681	0.267	0.357	0.377	0.186
MonoDETR-MV [^54]	C	ResNet-101	$640 \times 1600$	0.428	0.531	0.676	0.268	0.352	0.380	0.169
CenterPoint [^50] (Teacher)	L	VoxelNet	-	0.564	0.646	0.299	0.254	0.330	0.286	0.191
BEVDet $^{*}$ [^19]	C	ResNet-50	$256 \times 704$	0.298	0.379	0.725	0.279	0.589	0.860	0.245
+ TIG-BEV	C	ResNet-50	$256 \times 704$	0.331	0.411	0.678	0.271	0.589	0.784	0.218
				+3.3%	+3.2%	-4.7%	-0.8%	-0.0%	-7.6%	-2.7%
BEVDet4D $^{*}$ [^18]	C	ResNet-50	$256 \times 704$	0.322	0.451	0.724	0.277	0.520	0.366	0.212
+ TIG-BEV	C	ResNet-50	$256 \times 704$	0.356	0.477	0.648	0.273	0.517	0.364	0.210
				+3.4%	+2.6%	-7.6%	-0.4%	-0.3%	-0.2%	-0.2%
BEVDepth $^{*}$ [^23]	C	ResNet-101	$512 \times 1408$	0.416	0.521	0.605	0.268	0.455	0.333	0.203
+ TIG-BEV	C	ResNet-101	$512 \times 1408$	0.440	0.544	0.570	0.267	0.392	0.331	0.201
				+2.4%	+2.3%	-3.5%	-0.1%	-6.3%	-0.2%	-0.2%

Table 2. Performance Comparison without CBGS Strategy [^57]. For all methods, we adopt ResNet-101 as the 2D backbone and $512 \times 1408$ as the image resolution. * denotes our implementation.

Method	mAP	NDS
BEVDet $^{{*}}$	0.272	0.297
+ TiG-BEV	0.375 (+10.3%)	0.388 (+9.1%)
BEVDet4D $^{{*}}$	0.336	0.435
+ TiG-BEV	0.409 (+7.3%)	0.489 (+5.4%)
BEVDepth $^{{*}}$	0.393	0.487
+ TiG-BEV	0.430 (+3.7%)	0.514 (+2.7%)

and testing, 分别。它提供了从 32 束 LiDAR 设备以 20Hz 的频率和六个摄像头以 12Hz 的频率捕获的同步数据，这些摄像头覆盖了 360 度的水平视野。我们采用了 nuScenes 提供的官方评估工具箱，该工具箱报告了 nuScenes 检测分数 (NDS) 和平均精度 (mAP)，以及平均平均翻译误差 (mATE)、平均平均缩放误差 (mASE)、平均平均方向误差 (mAOE)、平均平均速度误差 (mAVE) 和平均平均属性误差 (mAAE)。实现细节。我们在 8 个 NVIDIA A100 GPU 上使用 BEVDet [^18] [^19] 代码库实现了我们的 TiG-BEV，该代码库基于 MMDetection3D 工具包 [^8]。采用预训练的 CenterPoint [^50]，体素大小为 [0.1, 0.1, 0.2]。

Table 3. Comparison with BEVDistill [^6]. † and * denote the implementation of BEVDistill and ours, respectively. We present the performance improvement of the learning methods correspondingly to their implemented baselines.

Method	mAP	NDS
BEVDepth $^{\dagger}$	0.311	0.432
BEVDepth $^{*}$	0.329	0.431
+ BEVDistill	0.332 (+2.1%)	0.454 (+2.2%)
+ TiG-BEV	0.366 (+3.7%)	0.461 (+3.0%)

作为 LiDAR 驱动的教师，而基于摄像头的学生包括 BEVDepth [^23]、BEVDet [^19] 和 BEVDet4D [^18]。在推理过程中，基于摄像头的检测器仅接收多视图像作为输入，而没有 LiDAR 数据或教师。类似于 BEVDepth，我们除了我们的 TiG-BEV 之外，还在 BEVDet 和 BEVDet4D 上添加了密集深度监督。我们遵循其官方的训练配置和超参数，包括数据增强（随机翻转、缩放和平移）、训练计划（2 倍）、以及其他内容（AdamW 优化器 [^30]、学习率 2e-4 和批次大小 8）。对于表 1 中 nuScenes val 集合的主要结果，我们将我们的 TiG-BEV 与所有其他方法在 CBGS 策略 [^57] 下进行比较。为了更好地揭示所提出的方法的意义，在所有其他结果中，我们没有使用 CBGS。 ---

w TiG-BEV

![Image](images/89c9bb4e54e00e291194da7970847373dd5adcb9395b4dd84d974e8bf920783c.jpg)

Figure 7. Visualization of Detection Results. From left to right, we show the 3D object detection before and after the TiG-BEV learning schemes, ground-truth annotations, along with the overall BEV-space results.

Table 4. Ablation Study of Target Inner-geometry Learning. $\mathcal{L}_{\text{depth}}^{R}$ and $\mathcal{L}_{\text{bev}}$ denote the losses of inner-depth supervision and inner-feature BEV distillation, respectively.

$\mathcal{L}^{R}_{depth}$	$\mathcal{L}_{bev}$	mAP	NDS
		0.329	0.431
✓		0.339	0.440
	✓	0.359	0.454
✓	✓	0.366	0.461

#### 4.2. Main Results 在 nuScenes 验证集上。在表 1 中，我们将我们的 TiGBEV 与 nuScenes 验证集上的其他 3D 目标检测器进行比较。如所示，我们的 LiDAR 到相机学习方案分别将三个基线模型，BEVDet、BEVDet4D 和 BEVDepth，的 NDS 提高了 +3.2%、+2.6% 和 +2.3%。这清楚地表明了我们的 TiGBEV 对提高多视角 BEV 3D 目标检测性能的重要性。不使用 CBGS [^57] 策略。在表 2 中，我们展示了不使用 CBGS 训练策略的 TiG-BEV 的结果。在不重新采样训练数据的情况下，学习目标内部几何形状的性能提升更加显著，对三个基线模型的 mAP 分别提高了 +10.3%、+7.3% 和 +3.7%，这表明了我们 TiG-BEV 具有卓越的 LiDAR 到相机知识迁移能力。与 BEVDistill [^6] 的比较。在表 3 中，我们在相同的设置下将我们的 TiG-BEV 与另一种 LiDAR 到相机学习方法 BEVDistill 进行比较。如所示，在

Table 5. Ablation Study of Inner-depth Supervision. We compare different settings for relative depth value calculation and depth reference selection. * denotes our implementation.

Setting	Depth Reference	mAP	NDS
BEVDepth $^{{*}}$	-	0.329	0.431
All-to-Certain	3D Center	0.358	0.452
All-to-Certain	2D Center	0.358	0.452
One-to-One	Each Pair	0.360	0.458
All-to-Adaptive	Highest Conf	0.357	0.455
All-to-Adaptive	Smallest Error	0.366	0.461

更好的基线模型之上，我们的方法可以实现 mAP 和 NDS 的更高性能提升。这充分证明了目标内部几何形状学习相对于 BEVDistill 的前导密集蒸馏的优势。可视化。如 Figure 7 所示，我们展示了 BEVDepth 在使用和未使用 TiG-BEV 时的检测结果，以及真实标注。我们可以清楚地观察到，通过我们的内部几何形状学习，可以获得更准确的结果。具体来说，在橙色圆圈中，可以减少虚假正例和幽灵对象的检测，并且一些 3D 位置和边界框的方向也得到了优化。 #### 4.3. Ablation Study 在此，我们提供了详细的实验，以验证我们方法的每个组件的有效性。我们默认采用 BEVDepth 作为学生模型。 ---

Table 6. Ablation Study of 2D Backbones and Temporal Information. CenterPoint [^50] and BEVDepth [^23] are adopted as the teacher and student models, respectively.

Backbone	Resolution	Multi-frame	Method	mAP	NDS
VoxelNet	-	✓	Teacher	0.564	0.646
ResNet-18	$256 \times 704$	✓	Student\n+ TiG-BEV	0.285\n0.323 (+3.8%)	0.405\n0.430 (+2.5%)
ResNet-18	$256 \times 704$		Student\n+ TiG-BEV	0.260\n0.294 (+3.4%)	0.295\n0.335 (+4.0%)
ResNet-50	$256 \times 704$	✓	Student\n+ TiG-BEV	0.329\n0.366 (+3.7%)	0.431\n0.461 (+3.0%)
ResNet-50	$256 \times 704$		Student\n+ TiG-BEV	0.298\n0.338 (+4.0%)	0.328\n0.375 (+4.7%)
ResNet-101	$512 \times 1408$	✓	Student\n+ TiG-BEV	0.393\n0.430 (+3.7%)	0.487\n0.514 (+2.7%)
ResNet-101	$512 \times 1408$		Student\n+ TiG-BEV	0.345\n0.403 (+5.8%)	0.366\n0.416 (+5.0%)

Before Inner-Depth

After Inner-Depth

![Image](images/615203883746bff415f867c475e3e52113b4decbef183a34c7fbca34a5d0c415.jpg)

Figure 8. Visualization of Predicted Depth Maps, which are before and after the inner-depth supervision, respectively.

Inner-geometry Learning. 可以通过只使用其中一个主要组件来检查两个主要组件的个体有效性。我们首先研究内部深度监督的影响。如表 4 所示，我们仅将内部深度监督引入到原始模型 BEVDepth，其 mAP 从 32.9% 提高到 33.9%，提高了 +1.0%，其 NDS 从 43.1% 提高到 44.0%，提高了 +0.9%。另一方面，仅使用内部特征 BEV 蒸馏时，mAP 从 32.9% 提高到 35.9%，提高了 +3.0%，NDS 从 43.1% 提高到 45.4%，提高了 +2.3%。此外，这两种组件的组合可以获得更好的 +3.7% mAP 和 +2.7% NDS，这表明这两种提出的目标可能具有互补性。 Inner-depth Supervision. 为了计算前景目标的相对深度值，我们比较了几种方法，这些方法涉及不同内部点之间的关系，可以分为三种范式：1) All-

Table 7. Ablation Study of Inner-feature BEV Distillation. $\mathcal{L}_{\mathrm{bev}}^{IC}$ and $\mathcal{L}_{\mathrm{bev}}^{IK}$ denote the losses of inter-channel and inter-keypoint distillation, respectively.

$\mathcal{L}^{IC}_{bev}$	$\mathcal{L}^{IK}_{bev}$	mAP	NDS
		0.329	0.431
✓		0.342	0.444
	✓	0.358	0.452
✓	✓	0.366	0.461

to-Certain 计算从所有采样点到某个参考点的相对深度，例如 3D 边界框的投影中心或 2D 边界框的中心。 2) All-to-Adaptive 以动态方式设置参考深度，它选择具有最高置信度的参考像素，或者选择与地面真实值之间的最小深度误差（我们的方法）。 3) One-to-One 计算每个两个采样点对之间的相对深度。如表 5 所示，与 other patterns 相比，我们的 All-to-Adaptive 方法采用最小深度误差，可以获得最佳的性能提升，这表明动态深度参考点可以灵活地适应不同的目标，从而实现内部几何学习。此外，我们可视化了解释和未解释内部深度监督的深度预测结果，如图 8 所示，该结果可以有效地细化前景对象的轮廓和边缘。内部特征 BEV 蒸馏。我们的 TiG-BEV 从两个方面探索 BEV 特征蒸馏，分别是通道间和关键点间。为了验证它们的有效性， --- 我们在模型中分别使用其中一种方法，并在表 7 中报告了结果。如表所示，通道间和关键点间蒸馏都对最终性能有所贡献，分别提高了 NDS 1.3% 和 2.1%。这很好地说明了在 BEV 空间中学习不同前景目标的内部几何语义的重要性。进一步结合两种方法可以使 mAP 和 NDS 性能分别提高 3.7% 和 3.0%。 2D 主干网络和时间信息。我们进一步探索了 2D 主干网络和时间信息对 TiG-BEV 的影响，结果如表 6 所示。我们观察到，我们的 TiG-BEV 在不同的 2D 主干网络上都带来了显著的性能提升。此外，我们的目标内部几何学习方案对单帧和多帧设置都有积极的作用。mAP 的改进范围为 +3.4% 到 +5.8%，NDS 的改进范围为 +2.5% 到 +5.0%。 ### 5. 结论在本文中，我们提出了一种新型的目标内部几何学习框架，该框架使基于相机的检测器能够从 LiDAR 模态继承有效的先验几何语义。我们首先引入了具有目标自适应深度参考的内部深度监督，以帮助学生学习更好的局部几何结构。然后，我们对通道级和关键点级进行了 BEV 空间内的内部特征蒸馏，这有助于从 LiDAR 模态学习高层内部几何语义。我们进行了广泛的实验，以说明 TiG-BEV 对多视角 BEV 3D 目标检测的重要性。在未来的工作中，我们将重点探索一种多模态学习策略，该策略可以增强相机和 LiDAR 模态，以实现统一的现实世界感知。 ## 参考文献 [^1]: Morris Antonello, Marco Carraro, Marco Pierobon, and Emanuele Menegatti. Fast and robust detection of fallen people from a mobile robot. In 2017 IEEE/RSJ international conference on intelligent robots and systems (IROS), pages 4159–4166. IEEE, 2017. 1 [^2]: Shariq Farooq Bhat, Ibraheem Alhashim, and Peter Wonka. Adabins: Depth estimation using adaptive bins. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4009–4018, 2021. 3 [^3]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. Nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11621–11631, 2020. 1, 2, 6, 7 [^4]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In European conference on computer vision, pages 213–229. Springer, 2020. 2, 3 [^5]: Guobin Chen, Wongun Choi, Xiang Yu, Tony Han, and Manmohan Chandraker. Learning efficient object detection models with knowledge distillation. Advances in neural information processing systems, 30, 2017. 3 [^6]: Zehui Chen, Zhenyu Li, Shiquan Zhang, Liangji Fang, Qinhong Jiang, and Feng Zhao. Bevdistill: Cross-modal bev distillation for multi-view 3d object detection. arXiv preprint arXiv:2211.09386, 2022. 1, 2, 3, 5, 7, 8 [^7]: Zehui Chen, Zhenyu Li, Shiquan Zhang, Liangji Fang, Qinghong Jiang, Feng Zhao, Bolei Zhou, and Hang Zhao. Autoalign: Pixel-instance feature aggregation for multimodal 3d object detection. arXiv preprint arXiv:2201.06493, 2022. 1 [^8]: MMDetection3D Contributors. MMDetection3D: Open-MMLab next-generation platform for general 3D object detection. , 2020.7 [^9]: Zijun Cui, Tengfei Song, Yuru Wang, and Qiang Ji. Knowledge augmented deep neural networks for joint facial expression and action unit recognition. Advances in Neural Information Processing Systems, 33:14338–14349, 2020. 3 [^10]: Xing Dai, Zeren Jiang, Zhao Wu, Yiping Bao, Zhicheng Wang, Si Liu, and Erjin Zhou. General instance distillation for object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7842–7851, 2021. 3 [^11]: Jiajun Deng, Shaoshuai Shi, Peiwei Li, Wengang Zhou, Yanyong Zhang, and Houqiang Li. Voxel r-cnn: Towards high performance voxel-based 3d object detection. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 35, pages 1201–1209, 2021. 1 [^12]: David Eigen, Christian Puhrsch, and Rob Fergus. Depth map prediction from a single image using a multi-scale deep network. Advances in neural information processing systems, 27, 2014. 3 [^13]: Huan Fu, Mingming Gong, Chaohui Wang, Kayhan Batmanghelich, and Dacheng Tao. Deep ordinal regression network for monocular depth estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2002–2011, 2018. 3 [^14]: Kexue Fu, Peng Gao, Renrui Zhang, Hongsheng Li, Yu Qiao, and Manning Wang. Distillation with contrast is all you need for self-supervised point cloud representation learning. arXiv preprint arXiv:2202.04241, 2022. 3 [^15]: Vitor Guizilini, Igor Vasiljevic, Rares Ambrus, Greg Shakhnarovich, and Adrien Gaidon. Full surround monodepth from multiple cameras. IEEE Robotics and Automation Letters, 7(2):5397–5404, 2022. 3 Ding. Cross-modality knowl- 3d object detection. res 87–104. --- [^17]: Yuenan Hou, Xinge Zhu, Yuexin Ma, Chen Change Loy, and Yikang Li. Point-to-voxel knowledge distillation for lidar semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8479–8488, 2022. 3 [^18]: Junjie Huang and Guan Huang. Bevdet4d: Exploit temporal cues in multi-camera 3d object detection. arXiv preprint arXiv:2203.17054, 2022. 3, 7 [^19]: Junjie Huang, Guan Huang, Zheng Zhu, and Dalong Du. Bevdet: High-performance multi-camera 3d object detection in bird-eye-view. arXiv preprint arXiv:2112.11790, 2021. 2, 3, 7 [^20]: Zehao Huang and Naiyan Wang. Like what you like: Knowledge distill via neuron selectivity transfer. arXiv preprint arXiv:1707.01219, 2017. 3 [^21]: Yanqin Jiang, Li Zhang, Zhenwei Miao, Xiatian Zhu, Jin Gao, Weiming Hu, and Yu-Gang Jiang. Polarformer: Multicamera 3d object detection with polar transformers. arXiv preprint arXiv:2206.15398, 2022. 3 [^22]: Yanwei Li, Yilun Chen, Xiaojuan Qi, Zeming Li, Jian Sun, and Jiaya Jia. Unifying voxel-based representation with transformer for 3d object detection. arXiv preprint arXiv:2206.00630, 2022. 3 [^23]: Yinhao Li, Zheng Ge, Guanyi Yu, Jinrong Yang, Zengran Wang, Yukang Shi, Jianjian Sun, and Zeming Li. Bevdepth: Acquisition of reliable depth for multi-view 3d object detection. arXiv preprint arXiv:2206.10092, 2022. 1, 2, 3, 7, 9 [^24]: Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chong-hao Sima, Tong Lu, Qiao Yu, and Jifeng Dai. Bevformer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers. arXiv preprint arXiv:2203.17270, 2022. 1, 3, 7 [^25]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2117–2125, 2017. 3 [^26]: Li Liu, Qingle Huang, Sihao Lin, Hongwei Xie, Bing Wang, Xiaojun Chang, and Xiaodan Liang. Exploring inter-channel correlation for diversity-preserved knowledge distillation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8271–8280, 2021. 3 [^27]: Yingfei Liu, Tiancai Wang, Xiangyu Zhang, and Jian Sun. Petr: Position embedding transformation for multi-view 3d object detection. arXiv preprint arXiv:2203.05625, 2022. 3, 7 [^28]: Yingfei Liu, Junjie Yan, Fan Jia, Shuailin Li, Qi Gao, Tiancai Wang, Xiangyu Zhang, and Jian Sun. Petrv2: A unified framework for 3d perception from multi-camera images. arXiv preprint arXiv:2206.01256, 2022. 3, 7 [^29]: Yueh-Cheng Liu, Yu-Kai Huang, Hung-Yueh Chiang, Hung-Ting Su, Zhe-Yu Liu, Chin-Tang Chen, Ching-Yu Tseng, and Winston H Hsu. Learning from 2d: Contrastive pixel-to-point knowledge transfer for 3d pretraining. arXiv preprint arXiv:2104.04687, 2021. 3 [^30]: Ilya Loshchilov and Frank Hutter. Fixing weight decay regularization in adam. ArXiv, abs/1711.05101, 2017.7 [^31]: Boxiao Pan, Haoye Cai, De-An Huang, Kuan-Hui Lee, Adrien Gaidon, Ehsan Adeli, and Juan Carlos Niebles. Spatio-temporal graph for video captioning with knowledge distillation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10870–10879, 2020. 3 [^32]: Dennis Park, Rares Ambrus, Vitor Guizilini, Jie Li, and Adrien Gaidon. Is pseudo-lidar needed for monocular 3d object detection? In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3142–3152, 2021. 3 [^33]: Rui Peng, Rongjie Wang, Zhenyu Wang, Yawen Lai, and Ronggang Wang. Rethinking depth estimation for multiview stereo: A unified representation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8645–8654, 2022. 3 [^34]: Jonah Philion and Sanja Fidler. Lift, splat, shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3d. In European Conference on Computer Vision, pages 194–210. Springer, 2020. 3 [^35]: Matteo Poggi, Filippo Aleotti, Fabio Tosi, and Stefano Mattoccia. On the uncertainty of self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3227–3237, 2020. 3 [^36]: René Ranftl, Alexey Bochkovskiy, and Vladlen Koltun. Vision transformers for dense prediction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12179–12188, 2021. 3 [^37]: Cody Reading, Ali Harakeh, Julia Chae, and Steven L Waslander. Categorical depth distribution network for monocular 3d object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8555–8564, 2021. 1, 2, 3 [^38]: Corentin Sautier, Gilles Puy, Spyros Gidaris, Alexandre Boulch, Andrei Bursuc, and Renaud Marlet. Image-to-lidar self-supervised distillation for autonomous driving data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9891–9901, 2022. 3 [^39]: Martijn J Schuemie, Peter Van Der Straaten, Merel Krijn, and Charles APG Van Der Mast. Research on presence in virtual reality: A survey. CyberPsychology & Behavior, 4(2):183–201, 2001. 1 [^40]: Zhelun Shen, Yuchao Dai, and Zhibo Rao. Cfnet: Cascade and fused cost volume for robust stereo matching. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13906–13915, 2021. 3 [^41]: Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. Pv-rcnn: Point-voxel feature set abstraction for 3d object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10529–10538, 2020. 1 ## [^42]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Point-cnn: 3d object proposal generation and detection from point cloud. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 770–779, 2019. 1 --- [^43]: Frederick Tung and Greg Mori. Similarity-preserving knowledge distillation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1365–1374, 2019. 3 [^44]: Tai Wang, ZHU Xinge, Jiangmiao Pang, and Dahua Lin. Probabilistic and geometric depth: Detecting objects in perspective. In Conference on Robot Learning, pages 1475–1485. PMLR, 2022. 2, 7 [^45]: Tai Wang, Xinge Zhu, Jiangmiao Pang, and Dahua Lin. Fcos3d: Fully convolutional one-stage monocular 3d object detection. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, pages 913–922, October 2021. 1, 2, 7 [^46]: Yue Wang, Vitor Campagnolo Guizilini, Tianyuan Zhang, Yilun Wang, Hang Zhao, and Justin Solomon. Det3d: 3d object detection from multi-view images via 3d-to-2d queries. In Aleksandra Faust, David Hsu, and Gerhard Neumann, editors, Proceedings of the 5th Conference on Robot Learning, volume 164 of Proceedings of Machine Learning Research, pages 180–191, 08–11 Nov 2022. 1, 3, 7 [^47]: Yingjie Wang, Qiuyu Mao, Hanqi Zhu, Yu Zhang, Jianmin Ji, and Yanyong Zhang. Multi-modal 3d object detection in autonomous driving: a survey. arXiv preprint arXiv:2106.12735, 2021. 1 [^48]: Yukang Wang, Wei Zhou, Tao Jiang, Xiang Bai, and Yongchao Xu. Intra-class feature variation distillation for semantic segmentation. In European Conference on Computer Vision, pages 346–362. Springer, 2020. 3 [^49]: Yi Wei, Linqing Zhao, Wenzhao Zheng, Zheng Zhu, Yongming Rao, Guan Huang, Jiwen Lu, and Jie Zhou. Surrounddepth: Entangling surrounding views for self-supervised multi-camera depth estimation. arXiv preprint arXiv:2204.03636, 2022. 3 [^50]: Tianwei Yin, Xingyi Zhou, and Philipp Krahenbuhl. Center-based 3d object detection and tracking. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11784–11793, 2021. 4, 7, 9 [^51]: Sergey Zagoruyko and Nikos Komodakis. Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer. arXiv preprint arXiv:1612.03928, 2016. 3 [^52]: Feihu Zhang, Victor Prisacariu, Ruigang Yang, and Philip HS Torr. Ga-net: Guided aggregation net for end-to-end stereo matching. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 185–194, 2019. 3 [^53]: Renrui Zhang, Han Qiu, Tai Wang, Xuanzhuo Xu, Ziyu Guo, Yu Qiao, Peng Gao, and Hongsheng Li. Monodetr: Depth-aware transformer for monocular 3d object detection. arXiv preprint arXiv:2203.13310, 2022. 1, 2, 3, 5, 7 [^54]: Renrui Zhang, Han Qiu, Tai Wang, Xuanzhuo Xu, Ziyu Guo, Yu Qiao, Peng Gao, and Hongsheng Li. Monodetr: Depth-guided transformer for monocular 3d object detection. arXiv preprint arXiv:2203.13310, 2022. 1, 3, 5, 7 [^55]: Renrui Zhang, Liuhui Wang, Yu Qiao, Peng Gao, and Hongsheng Li. Learning 3d representations from 2d pre-trained models via image-to-point masked autoencoders. arXiv preprint arXiv:2212.06785, 2022. 3 [^57]: Benjin Zhu, Zhengkai Jiang, Xiangxin Zhou, Zeming Li, and Gang Yu. Class-balanced grouping and sampling for point cloud 3d object detection. arXiv preprint arXiv:1908.09492, 2019. 7, 8 [^56]: Renrui Zhang, Ziyao Zeng, Ziyu Guo, and Yafeng Li. Can language understand depth? In Proceedings of the 30th ACM International Conference on Multimedia, pages 6868–6874, 2022. 3