Digital Object Identifier 10.1109/ACCESS.2025.3623276

![Image](images/242fc9c5b3532f81d9f375c30533d81ba82dcb7a66591cb08dd7046c4e74c467.jpg)

RESEARCH ARTICLE

# LGD-BEV: 基于标签的蒸馏用于 BEV 3D 目标检测

JI-YONG LEE $^{1,2}$, MINHO PARK $^{1}$, YOUNGJOO JO $^{1}$, 和 DONG-OH KANG $^{1}$

 $^{1}$ 韩国电子与电信研究院 (ETRI) 视觉智能实验室，大田 34129，韩国

 $^{2}$ 德克萨斯大学奥斯汀分校，奥斯汀，TX 78712，美国

通讯作者：Dong-Oh Kang (<mailto:dongoh@etri.re.kr>)

本研究部分由韩国政府 (MSIT) 资助的韩国信息与通信技术规划与评估院 (IITP) 资助，项目为“人工智能机器人协作平台和自组织人工智能”，编号为 RS-2022-II220907，资助比例为 90%；以及由韩国政府资助的韩国电子与电信研究院 (ETRI) 资助的项目“自适应集成人工智能系统的核心技术研究”，编号为 25ZB1100，资助比例为 10%。

## 摘要

 在自动驾驶中，知识蒸馏通常涉及将来自高成本传感器模态（如 LiDAR）的信息传递给基于摄像头的模型，以提高 3D 目标检测的性能。 但是，这些方法通常需要在训练或推理过程中访问其他模态，这会导致工程复杂性增加，并且需要大量的试错工作。 这种限制阻碍了其在实际应用中的可扩展性和部署。 相比之下，我们的方法仅利用 3D ground-truth 注解作为辅助中间监督，充当轻量级的“教师”，从而消除了对外部传感器或强大预训练模型的依赖。 在本文中，我们引入了一个标签编码器模块，以在鸟瞰图 (BEV) 空间中生成密集语义表示，以指导基于摄像头的网络的训练，从而实现知识蒸馏。 具体来说，我们在 3D ground-truth 注解上训练一个自编码器，并使用其编码器生成信息丰富的 BEV 特征，这些特征随后用作基于摄像头的检测后端的辅助损失。 这提供了一种轻量级、模态无关且可扩展的解决方案，如我们在 NuScenes 数据集上的广泛评估所证明的。

关键词：自编码器，自动驾驶，知识蒸馏，多视图摄像头，目标检测。

### I. 引言

 在自动驾驶中，最近的研究探索了仅使用摄像头进行 3D 感知，该方法利用标准 RGB 摄像头捕获的多视图图像 [^1], [^2], [^3]。 尽管基于摄像头的系统比基于 LiDAR 的系统更具成本效益和广泛的部署性，但由于缺乏明确的深度和几何线索，它们的性能通常不如基于 LiDAR 的系统。 为了弥补这种性能差距，知识蒸馏 (KD) [^4] 已经成为一种重要的技术。 知识蒸馏使一个紧凑的基于摄像头的学生网络能够从一个高容量的基于 LiDAR 的教师网络中学习 [^5], [^6], [^7]，从而提高学生的性能，而无需增加推理成本。

 审稿协调员和批准发表本手稿的编辑是 Angelo Trotta。

尽管知识蒸馏方法在3D检测方面具有潜力，但现有的方法通常分为两大类：依赖于高容量教师模型的知识，以及利用诸如红外线或LiDAR等附加传感器模态 [^8]。第一类方法通常需要复杂的、计算密集型的教师网络来有效地指导学生，从而增加了训练成本和模型复杂性 [^9]，[^10]，[^11]。第二类方法则依赖于额外的数据源，而这些数据源可能昂贵、不可用或在实际部署中不切实际 [^12]，[^13]，[^14]。这两种方法都会带来显著的工程 overhead，导致传感器之间的紧密耦合，并且可扩展性有限。此外，它们通常需要大量的微调和超参数调整，进一步使训练过程复杂化。

在本文中，我们提出了一种轻量级、与模态无关的知识蒸馏框架，该框架专为

---

![Image](images/d87aceaf3a3ecaccd4f3a4754846695bb2df0af3494a568dba1c2b7da021b586.jpg)

<div style="text-align: center;">FIGURE 1. Comparison between traditional cross-modal knowledge distillation and our proposed approach. 'S' denotes student and 'T' denotes teacher network. (a) Traditional methods rely on additional sensor modalities (e.g., LiDAR) during training to distill knowledge. (b) Our method, LGD-BEV, removes the dependency on extra modalities by distilling from a lightweight teacher trained solely with feature representations derived from ground truth annotations.</div>

仅使用摄像头进行3D感知。与依赖于外部传感器或预训练的LiDAR模型不同，我们利用3D ground-truth标注作为蒸馏空间知识的来源。具体来说，我们设计了一个标签编码器模块，该模块充当隐式教师，通过仅使用3D标注来学习鸟瞰图 (BEV) 空间中对象的语义和空间分布。

图1提供了传统跨模态蒸馏 (a) 和我们的方法 (b) 之间的概念比较。在我们的方法中，教师是从3D ground-truth标签本身派生的，从而避免了对多传感器对齐的需求，并实现了与传感器无关的训练流程。这种设计允许学生网络在没有访问任何外部传感器数据的情况下，从空间监督中受益。

标签编码器以自编码设置进行训练，学习将3D标签图压缩为信息丰富的2D BEV表示。然后，这些表示通过辅助蒸馏损失来监督基于摄像头的检测器的训练，遵循标准的知识蒸馏实践。 我们的方法简单而高效，无需任何额外的传感器，无需推理时期的教师，也无需大量的预训练。

为了进一步提高我们的蒸馏框架的有效性，我们引入了一个门控融合模块，该模块动态调整由自编码器的基于标签的重建和基于几何属性的特征之间的加权。与之前的工作不同，该工作只是简单地将两个特征流相加 [^15]，该模块采用可学习的门控机制，生成一个元素级权重图。此图控制每个空间位置的BEV空间中每个特征类型的相对贡献。因此，模型可以自适应地强调来自标签的类特定语义线索或来自框特征的几何信息，从而实现更精确的BEV表示。

此外，我们还应用了类感知渲染策略，以进一步提高标签编码器在自动编码过程中生成的俯视图标签图的语义质量。在以前的栅格化过程中 [^15]，重叠对象经常以任意顺序写入，导致稀有或小对象被主类（如汽车）覆盖。我们的方法根据nuScenes [^16]数据集中的类频率统计信息，为每个类分配优先级级别，参考 [^17] 的见解，允许低频率或关键类（如拖车或自行车）在栅格化步骤中覆盖高频率类。这确保了在标签编码过程中，未充分表示的类不会被抑制。这种机制易于实现，但能有效维护标签编码的俯视图特征的表示丰富性和监督质量。

总而言之，我们提出的框架通过以自监督的方式提炼基于标签的俯视图表示，实现了有效的仅摄像头的三维对象检测，从而消除了对外部传感器教师的依赖。通过结合基于标签编码器的监督、自适应特征融合和类感知编码，我们的方法为单目三维检测提供了一种可扩展、轻量级且高性能的解决方案。

为了验证我们提出的框架的有效性，我们在用于自动驾驶的户外三维检测的nuScenes [^16]基准数据集上进行了实验。我们的方法显著提高了仅摄像头三维对象检测器的性能，并与最先进的方法相比，取得了有竞争力的结果。我们的主要贡献总结如下：

- 我们提出了标签引导知识蒸馏框架，该框架使仅摄像头三维检测器能够仅使用三维地面真值标注进行有效训练，而无需依赖外部传感器。

- 我们引入了一种门控融合模块，该模块通过空间自适应融合动态平衡标签编码器生成的基于标签的语义特征和基于盒子的几何特征，从而增强了俯视图表示。

- 我们在标签编码器中应用了一种类感知渲染策略，以在俯视图标签生成过程中保留稀有对象类。

- 我们在nuScenes基准数据集上进行了广泛的实验，并表明我们的标签引导蒸馏在仅摄像头检测中实现了显着的性能提升，而不会产生额外的推理成本。

### II. 相关工作

### A. 仅摄像头三维对象检测

仅摄像头三维对象检测由于其成本效益和在自动驾驶系统中易于部署，而越来越受到关注 [^18]，[^19]，[^20]，[^21]。与

---

基于LiDAR的方法直接捕获几何结构和深度信息不同，基于摄像头的技术依赖于从RGB图像推断空间线索，而这些线索本质上具有歧义性且精度较低。早期的FCOS3D [^22] 和MonoDLE [^23] 等方法尝试从单目图像回归三维框，但定位精度较差。

为了克服这些限制，最近的一些研究采用了鸟瞰图（BEV）表示，以在空间上对齐多视角图像特征。BEVDet 及其扩展 [^1]、[^2]、[^24] 将图像特征投影到 BEV 视图中，使用学习到的深度先验和校准的几何结构，从而实现显著的性能提升。BEVDepth [^1] 通过利用深度监督进一步提高检测性能，而 BEVFormer [^2] 引入了时间建模以进行特征聚合。然而，这些方法仍然受到深度歧义的影响，并且无法达到基于 LiDAR 的检测器的精度，尤其是在远距离和遮挡场景中。

### B. 用于 3D 目标检测的知识蒸馏

知识蒸馏（KD）是一种广泛采用的范式，用于将知识从高性能的教师网络转移到轻量级的学生模型 [^4]。在 3D 检测中，KD 通常以跨模态的方式应用，其中基于摄像头的检测器从基于 LiDAR 的教师那里学习 [^6]、[^7]、[^25]、[^26]。BEVDistill [^26] 从 LiDAR BEV 特征中蒸馏特征级别和响应级别的知识到摄像头 BEV 特征，而 X3KD [^25] 使用教师生成的锚点，结合跨模态指导。TiG-BEV [^7] 通过几何感知注意力增强这种方法。尽管这些方法取得了成功，但它们引入了显著的工程复杂性和对 LiDAR 数据的依赖，而 LiDAR 数据成本高昂，并且在实际部署中通常不可用 [^8]。

其他研究，例如 2DPASS [^14] 和 Drive&Segment [^13]，探索了辅助模态以进行蒸馏，例如 2D 语义先验或多模态融合。然而，对额外传感器或跨模态对齐的需求仍然是一个实际瓶颈。此外，微调大型预训练模型以及平衡多个损失函数通常需要大量的超参数调整 [^9]、[^10]、[^11]。

除了跨模态 KD 之外，最近的一些研究 [^27]、[^28]、[^29] 探索了体素感知的或锚点/区域感知的 KD 策略。体素感知的 KD 通常依赖于 LiDAR 或雷达体素特征作为特权教师信号，而锚点或区域感知的 KD 从检测头输出蒸馏知识，在锚点或区域级别。虽然有效，但这些方法仍然依赖于预训练或基于传感器的教师，从而继承了对教师依赖框架的复杂性和局限性。

与以前的研究不同，我们的方法完全避免了外部传感器和预训练的教师。相反，我们直接从基准 nuScenes 数据集提供的无噪声的 3D 标注中蒸馏几何和语义知识 [^16]，通过学习密集 BEV 表示，该表示通过一个纯粹基于标签图训练的自编码器。

### C. 基于标签的蒸馏和监督

基于标签的蒸馏提供了一种有吸引力的替代方案，它利用地面真实标注作为中间监督的来源。LabelEnc [^30] 提出了一种两阶段训练策略，其中学习一个标签编码器，以近似检测头的逆，生成语义嵌入以指导后端学习。这种方法提高了泛化能力和训练效率，从而实现了模型无关的重用。

LGD [^31] 将标签引导蒸馏扩展到自蒸馏，通过标签外观编码器和关系适配器，整合对象内部关系。 类似于，LG3D [^32] 使用点级标签云和标注编码器，通过辅助监督，丰富 3D 检测器中的对象级特征。 尽管有效，这些方法通常依赖于手动设计的编码器，并且通常应用于基于点云的网络。

与这些方法互补的是，LAD [^8] 探索了在 2D 语义分割中的标签引导蒸馏，通过在没有预训练模型或额外模态的情况下，将噪声添加到标签作为特权输入。

LabelDistill [^15] 引入了一个跨模态蒸馏框架，其中训练一个标签编码器来近似预训练的 LiDAR 检测头的逆映射。 融合 LiDAR 特征的 BEV 标签嵌入，作为相机网络的蒸馏目标。 一种特征分区策略将 BEV 表示划分为 LiDAR 引导、标签引导和自学习组件，以平衡语义和模态特定信息。

受先前工作的启发，我们的工作建立在标签引导范例之上，但消除了对外部传感器源（如 LiDAR）的依赖。 相反，我们直接从 3D 边界框注释训练一个标签编码器，使用自编码目标，生成密集 2D BEV 映射作为监督信号，而无需依赖于预训练或基于传感器的教师网络的体素级特征或锚点级输出。 我们进一步使用门控融合模块增强标签派生的特征，该模块自适应地平衡语义和几何线索，并应用一种类感知渲染策略，以确保在标签光栅化过程中保留稀有或被遮挡的对象类别。 这些贡献产生了一个可扩展且与模态无关的蒸馏管道，可以在没有推理时间开销的情况下，提高仅使用相机的 3D 对象检测。

### III. 提出的方法

我们的提出的框架由两个阶段组成：(1) 如 Fig. 2 所示，一个标签编码阶段，学习将结构化的地面真实标注压缩为密集语义 BEV 表示；(2) 如 Fig. 3 所示，一个标签引导蒸馏阶段，其中预训练的标签编码器为仅使用相机的检测网络提供辅助监督。

---

![Image](images/178a6803e8e012a50c3fba0d2ee3afef2a066546d03ae76bd0265699416fa499.jpg)

<div style="text-align: center;">FIGURE 2. Architecture of the label encoder in the autoencoder training setup. The label encoder is jointly trained with a detection head to reconstruct object-level heatmaps and box attributes from 3D ground-truth annotations. Each object's semantic class and bounding box attributes are first embedded using two separate MLPs. A Gating Module adaptively fuses semantic and geometric features via element-wise modulation. The fused embeddings are then spatially projected into the BEV plane using the CaR-BEV label mapping strategy, which applies class-aware priority rules to resolve overlaps. The convolutional block f further refines the rasterized BEV features into the final dense representation  $F^{label}$. Once training is completed, the detection head is discarded and the label encoder is ready to use for distillation.</div>

### A. 标签编码模块

如图 2 所示，我们的提出的框架首先在一个自编码设置中，联合训练标签编码器和检测头。 编码器学习从 3D 对象标注生成密集 BEV 特征。 这些特征随后通过标签引导蒸馏来指导学生模型。 与学习来自复杂基于传感器的检测头的逆映射的先前工作 [^15] 不同，我们的方法构建了一个直接的前向编码器，该编码器完全由标签派生的监督训练，无需 LiDAR 输入或预训练的教师依赖。 训练完成后，检测头将被丢弃。

对于场景的地面真实标注集，记为 $y = \{(c_n, b_n)\}_{n=1}^N$，其中 $c_n \in \{0, 1\}^m$ 是一个在 m 个语义类别上的 one-hot 编码类向量，$b_n \in \mathbb{R}^z$ 是一个包含 z 个属性的 3D 边界框属性向量：

 $$ b_{n}=(x_{n},y_{n},z_{n},w_{n},l_{n},h_{n},\theta_{n},\nu_{x_{n}},\nu_{y_{n}}). $$

由于地面真实标注的结构化和无噪声特性，我们使用两个独立的 MLP 嵌入语义和几何信息：

 $$ f_{n}^{\mathrm{cls}}=\Phi_{\mathrm{cls}}(c_{n}),\quad f_{n}^{\mathrm{box}}=\Phi_{\mathrm{box}}(b_{n}). $$

每个对象的最终融合表示是通过一个可学习的门控机制获得的（详细信息见下文），从而产生 $f_n \in \mathbb{R}^C$。

嵌入 $f_n$ 使用空间投影算子 $q(\cdot)$ 栅格化到 BEV 平面上，该算子基于边界框几何：

 $$ F_{\mathrm{r a w}}=q\left(\{(f_{n},b_{n})\}_{n=1}^{N}\right)\in\mathbb{R}^{H\times W\times C} $$

然后，我们使用由堆叠的 Conv-BN-ReLU 块组成的卷积编码器 $F_{raw}$ 来细化 $f(\cdot)$，从而生成最终的 BEV 标签特征图：

 $$ F^{\mathrm{l a b e l}}=f(F_{\mathrm{r a w}})\in\mathbb{R}^{H\times W\times C} $$

标签编码器被训练来从标签 BEV 特征 $F^{label}$ 重构对象级别的热图和回归目标。 类似于 [^33]、[^34]，我们采用与 [^1] 相同的训练损失：

 $$ \mathcal{L}_{\mathrm{e n c}}=\mathcal{L}_{\mathrm{c l s}}(\hat{c},c^{\mathrm{g t}})+\mathcal{L}_{\mathrm{b b o x}}(\hat{b},b^{\mathrm{g t}}), $$

其中 $\mathcal{L}_{\mathrm{cls}}$ 是应用于对象热图的高斯焦点损失，而 $\mathcal{L}_{\mathrm{bbox}}$ 是在地面真值框属性上计算的 L1 损失，包括中心偏移、高度、大小、方向和速度。 $\hat{c}$ 和 $\hat{b}$ 分别表示由编码相应的地面真值 $c^{\mathrm{gt}}$ 和 $b^{\mathrm{gt}}$ 通过自编码流水线生成的类热图和边界框预测。

## 1) 门控融合模块

为了更好地编码语义和几何线索，我们引入了一个门控融合模块，该模块通过一个可学习的门控自适应地混合 $f_{n}^{\mathrm{cls}}$ 和 $f_{n}^{\mathrm{box}}$。 具体来说，该模块首先连接这两个特征：

 $$ f_{n}^{\mathrm{cat}}=[f_{n}^{\mathrm{cls}};f_{n}^{\mathrm{box}}]\in\mathbb{R}^{2C}, $$

并通过以下方式生成门控权重：

 $$ \gamma_{n}=\sigma(W_{g}f_{n}^{\mathrm{c a t}}+b_{g})\in(0,1)^{C}, $$

其中 $\sigma(\cdot)$ 是 sigmoid 函数，而 $W_g$、$b_g$ 是可学习参数。

---

![Image](images/d9d13ccd41b150790fa008cd8416474973487f22606c5bb11712494262826a53.jpg)

<div style="text-align: center;">FIGURE 3. Overall training pipeline of the label-guided distillation framework. During training, a camera-only student model [^1] receives multi-view images and generates image-based BEV features via an Image BEV Encoder. Through label distillation, the Label Encoder provides noise-free supervision from 3D ground-truth annotations. Finally, the Detection Head predicts and is trained using detection loss computed against ground truth. Note that the label encoder is only used during training and removed at inference time.</div>

然后，计算最终融合特征如下：

 $$ f_{n}=\gamma_{n}\odot f_{n}^{\mathrm{b o x}}+(1-\gamma_{n})\odot f_{n}^{\mathrm{c l s}}, $$

其中 $\odot$ 表示逐元素乘法。

这种设计使编码器能够动态调整每个对象的几何和语义成分的贡献，从而提高特征的表达能力和空间推理能力。

## 2) 具有类别感知的渲染

在栅格化步骤 $q(\cdot)$ 期间，重叠的对象可能会争夺同一个 BEV 网格位置。 为了防止主导类别的对象（例如，汽车）压制较小或罕见的类别（例如，自行车或交通锥），如 [^17] 中观察到的，我们引入了一种类别优先级渲染方案，即 CaR-BEV 标签映射。

为每个类别 $c_k$ 分配一个连续的优先级分数 $p(c_k)$，该分数基于其训练集频率 $f_{c_k}$，遵循一种类别平衡公式：

 $$ p(c_{k})=\frac{1}{\log(1+f_{c_{k}})},\quad f_{c_{k}}>0 $$

在渲染每个对象 n 时，我们仅当当前内容的优先级低于传入对象的优先级时，才更新网格位置 $(i,j)$。 设 $p_{\mathrm{curr}}(i,j)$ 表示当前占据位置 $(i,j)$ 的特征的优先级，而 $p(c_n)$ 是新对象的优先级。 那么：

 $$ \mathrm{i f}p(c_{n})>p_{\mathrm{c u r r}}(i,j),\quad F_{\mathrm{r a w}}[i,j,:]\leftarrow f_{n} $$

此频率感知的覆盖规则可确保保留对应于稀有或代表性不足类别的特征，从而增强标签派生 BEV 表示的语义丰富性和多样性。

### B. 基于标签的知识蒸馏

在预训练标签编码器后，我们冻结其参数，并使用其输出 $F^{label}$ 作为辅助监督信号，用于训练一个学生网络，该网络在多视角图像上进行训练。如图 3 所示，学生模型通过其图像骨干网络提取 BEV 表示 $F^{img}$，并使用从 [^2]、[^35] 采用的视图转换模块将视角从透视视图转换为 BEV。学生模型使用标准检测损失以及来自标签编码器的特征级蒸馏损失进行优化。

我们采用特征级标签蒸馏损失，公式如下：

 $$ \mathcal{L}_{\mathrm{f e a t}}=\frac{1}{N_{p}}\sum_{i,j}\mathcal{M}_{i j}\left\|\alpha\left(F_{i j}^{\mathrm{i m g}}\right)-F_{i j}^{\mathrm{l a b e l}}\right\|_{2}^{2}, $$

其中，$F_{ij}^{\text{img}} \in \mathbb{R}^C$ 和 $F_{ij}^{\text{label}} \in \mathbb{R}^C$ 分别表示学生模型和冻结的标签编码器在空间位置 $(i, j)$ 处的 BEV 特征。掩码 $\mathcal{M} \in \{0,1\}^{H \times W}$ 仅将蒸馏应用于前景区域，这些区域是从地面实况对象中心的 Gaussian 热图中派生的。

函数 $\alpha(\cdot)$ 是一个自适应模块，由卷积层组成，用于调整 $F^{\mathrm{img}}$ 的通道维度，使其与 $F^{\mathrm{label}}$ 的通道维度匹配。$N_p = \sum_{i,j} \mathcal{M}_{ij}$ 是用于归一化的前景像素数量。

此外，我们采用了在 [^15] 中介绍的特征分区策略，以实现一致性和公平比较，以在允许来自标签编码器的监督的同时，保留图像特征的固有语义容量。这种方法将 $F^{img}$ 沿通道维度划分为不相交的组，允许某些分区通过检测损失进行训练，而其他分区则从标签编码器接收监督。

检测损失遵循在自编码器训练期间使用的相同公式：

 $$ \mathcal{L}_{\mathrm{d e t}}=\mathcal{L}_{\mathrm{c l s}}+\mathcal{L}_{\mathrm{b b o x}}, $$

相机网络的总训练损失为：

 $$ \mathcal{L}_{\mathrm{t o t a l}}=\mathcal{L}_{\mathrm{d e t}}+\lambda_{1}\mathcal{L}_{\mathrm{f e a t}}+\lambda_{2}\mathcal{L}_{\mathrm{d e p t h}}, $$

其中，$\lambda_{1}$ 和 $\lambda_{2}$ 分别是特征蒸馏和深度监督 [^1] 术语的平衡系数。

---

这种组合损失鼓励学生模型与空间上定位的、基于标签的 BEV 特征对齐，同时受益于显式的深度学习，以增强来自多视角输入的几何推理能力。

### IV. 实验

### A. 数据集和指标

我们在广泛使用的用于自动驾驶的 3D 感知大型户外基准数据集 nuScenes [^16] 上评估了我们的方法 LGD-BEV。该数据集包含 1000 个驾驶场景，每个场景约为 20 秒，并提供 10 个对象类别的标注。每个场景包括来自六个摄像头、一个 LiDAR 和五个雷达的传感器数据。该数据集官方划分为 700 个训练场景、150 个验证场景和 150 个测试场景。

为了进行评估，我们遵循两个官方主要指标：平均精度均值 (mAP) 和 nuScenes 检测分数 (NDS)。对于检测质量和准确性，我们报告五个真实正例 (TP) 指标：平均翻译误差 (ATE)、平均缩放误差 (ASE)、平均方向误差 (AOE)、平均速度误差 (AVE) 和平均属性误差 (AAE)。NDS 的公式如下，

 $$ NDS=\frac{1}{10}\left[5mAP+\sum_{mTP\in\mathcal{TP}}(1-\min(1,mTP))\right] $$

，其中 TP 是五个平均真实正例指标的集合。

### B. 实施细节

我们的框架建立在 BEVDepth [^1] 代码库之上。所有实验都在 4 个 NVIDIA A40 GPU 上进行，每个 GPU 具有 46 GB 的内存。我们使用总批次大小为 16，未使用 CBGS [^17] 策略。

训练分为两个阶段：（1）我们首先使用 AdamW [^47] 优化器，学习率为 $1e^{-3}$，在自编码设置中训练标签编码器以及检测头，共 12 个 epoch；（2）然后，我们冻结标签编码器，并使用学习率为 $4e^{-4}$ 的速率训练学生网络 24 个 epoch。

我们采用 [^1] 中引入的图像和 BEV 数据增强策略，并遵循 [^15] 中定义的标签配置。除非另有说明，我们使用 ResNet-50 作为学生网络的骨干网络。输入图像分辨率调整为 $256 \times 704$，并在训练过程中使用 5 个时间帧（1 个关键帧和 4 个前导帧）。请注意，在浮动点运算 (GFLOPs) 和每秒帧数 (FPS) 方面，计算成本仅取决于输入分辨率和帧数，LGD-BEV 除了 BEVDepth [^1] 之外，没有引入额外的推理时间模块。

### C. 主要结果

我们比较了我们提出的方法 LGD-BEV 与各种最先进的基于 BEV 的 3D 目标检测方法，在 nuScenes [^16] 验证集上进行比较。如表 1 所示，我们的模型在多个评估指标上表现出色，达到了 40.2 mAP 和 51.5 NDS。

尽管我们没有使用 CBGS [^17]，这是一种每 epoch 扩展训练数据的增强技术，约为 4.5 倍，或者更大的输入分辨率，但我们的方法与更复杂的模型（如 StreamPETR [^42]（40.2 mAP，50.5 NDS）和 SOLOFusion [^41]（40.6 mAP，49.7 NDS））相匹配或超过，同时保持更简单的架构和训练流程，并且使用 ResNet-50 骨干网络和 $256 \times 704$ 的输入分辨率。

我们还在表 2 中将 LGD-BEV 与其他基于 LiDAR 的跨模态知识蒸馏方法进行了基准测试。报告了与基线方法（$\Delta$）相比的性能改进，包括 mAP 和 NDS。LGD-BEV 不依赖于训练期间的外部 LiDAR 数据，其性能超过了大多数现有的蒸馏方法，并且与最高性能的 CBGS 训练模型（如 DistillBEV [^6]（40.3 mAP，51.0 NDS））的性能相当，进一步验证了基于标签的蒸馏的有效性。

### D. 消融研究

## 1) 训练标签编码器

我们以自编码方式训练标签编码器，以直接从结构化的 3D 真实标注中学习 BEV 特征表示。与依赖于学生特征或基于 LiDAR 的检测头的先前基于标签的指导方法不同，我们的方法仅使用基于标签的输入和监督。

为了评估我们的训练效果，我们与先前的基于标签编码器的基线方法进行比较，如表 3 所示。LabelEnc [^30] 使用自编码设置，但引入了额外的编码机制，该机制在训练过程中依赖于学生网络的特征。LabelDistill [^15] 通过逼近预训练的 LiDAR 检测头的反向映射来构建标签嵌入，从而在训练过程中引入对 LiDAR 的依赖。相比之下，我们的方法消除了对预训练的 LiDAR 检测器的依赖，而是直接从标签语义和几何结构重建对象热图和框属性。

作为基线，我们实现了一个简单的自编码器，其中编码器和解码器都从头开始训练，使用标签注释作为输入和目标。在此基础上，我们进一步在编码器中引入两种架构改进：（1）门控融合模块（GFM），该模块动态地融合语义类别和几何框特征；（2）感知类别的渲染（CaR），该技术防止在光栅化过程中主要类别覆盖罕见类别。如表3所示，每个组件都贡献了可测量的性能提升。具有CaR和GFM的完整模型实现了最佳结果，验证了结构化监督和自适应特征融合的优势。

这种基于标签的训练策略产生了高质量的俯视鸟瞰图（BEV）特征，这些特征随后用于通过特征级蒸馏指导学生网络。由于不涉及任何外部

---

<div style="text-align: center;">TABLE 1. Comparison of BEV-based 3D object detection methods on the nuScenes validation set. †: trained with CBGS. Best is in bold.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Set</td><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Backbone</td><td style='text-align: center; word-wrap: break-word;'>Size</td><td style='text-align: center; word-wrap: break-word;'>mAP $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>NDS $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>mATE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mASE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAOE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAVE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAAE $\downarrow$</td></tr><tr><td rowspan="10">Validation</td><td style='text-align: center; word-wrap: break-word;'>BEVDet4D [^36]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>32.3</td><td style='text-align: center; word-wrap: break-word;'>45.3</td><td style='text-align: center; word-wrap: break-word;'>0.674</td><td style='text-align: center; word-wrap: break-word;'>0.272</td><td style='text-align: center; word-wrap: break-word;'>0.503</td><td style='text-align: center; word-wrap: break-word;'>0.429</td><td style='text-align: center; word-wrap: break-word;'>0.208</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVDepth [^1]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>33.3</td><td style='text-align: center; word-wrap: break-word;'>44.1</td><td style='text-align: center; word-wrap: break-word;'>0.683</td><td style='text-align: center; word-wrap: break-word;'>0.276</td><td style='text-align: center; word-wrap: break-word;'>0.545</td><td style='text-align: center; word-wrap: break-word;'>0.526</td><td style='text-align: center; word-wrap: break-word;'>0.226</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVStereo [^3]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>34.1</td><td style='text-align: center; word-wrap: break-word;'>44.9</td><td style='text-align: center; word-wrap: break-word;'>0.659</td><td style='text-align: center; word-wrap: break-word;'>0.276</td><td style='text-align: center; word-wrap: break-word;'>0.579</td><td style='text-align: center; word-wrap: break-word;'>0.503</td><td style='text-align: center; word-wrap: break-word;'>0.216</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PETR v2 [^37]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>34.9</td><td style='text-align: center; word-wrap: break-word;'>45.6</td><td style='text-align: center; word-wrap: break-word;'>0.700</td><td style='text-align: center; word-wrap: break-word;'>0.275</td><td style='text-align: center; word-wrap: break-word;'>0.580</td><td style='text-align: center; word-wrap: break-word;'>0.437</td><td style='text-align: center; word-wrap: break-word;'>0.187</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FB-BEVT [^38]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>35.0</td><td style='text-align: center; word-wrap: break-word;'>47.9</td><td style='text-align: center; word-wrap: break-word;'>0.642</td><td style='text-align: center; word-wrap: break-word;'>0.275</td><td style='text-align: center; word-wrap: break-word;'>0.459</td><td style='text-align: center; word-wrap: break-word;'>0.391</td><td style='text-align: center; word-wrap: break-word;'>0.193</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>P2D [^39]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>37.4</td><td style='text-align: center; word-wrap: break-word;'>48.8</td><td style='text-align: center; word-wrap: break-word;'>0.631</td><td style='text-align: center; word-wrap: break-word;'>0.272</td><td style='text-align: center; word-wrap: break-word;'>0.508</td><td style='text-align: center; word-wrap: break-word;'>0.384</td><td style='text-align: center; word-wrap: break-word;'>0.212</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVFormer v2 $\dagger$ [^40]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>640 $\times$ 1600</td><td style='text-align: center; word-wrap: break-word;'>38.9</td><td style='text-align: center; word-wrap: break-word;'>49.6</td><td style='text-align: center; word-wrap: break-word;'>0.679</td><td style='text-align: center; word-wrap: break-word;'>0.276</td><td style='text-align: center; word-wrap: break-word;'>0.417</td><td style='text-align: center; word-wrap: break-word;'>0.403</td><td style='text-align: center; word-wrap: break-word;'>0.189</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SOLOFusion [^41]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>40.6</td><td style='text-align: center; word-wrap: break-word;'>49.7</td><td style='text-align: center; word-wrap: break-word;'>0.609</td><td style='text-align: center; word-wrap: break-word;'>0.284</td><td style='text-align: center; word-wrap: break-word;'>0.650</td><td style='text-align: center; word-wrap: break-word;'>0.315</td><td style='text-align: center; word-wrap: break-word;'>0.204</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>StreamPETR [^42]</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>40.2</td><td style='text-align: center; word-wrap: break-word;'>50.5</td><td style='text-align: center; word-wrap: break-word;'>0.660</td><td style='text-align: center; word-wrap: break-word;'>0.273</td><td style='text-align: center; word-wrap: break-word;'>0.470</td><td style='text-align: center; word-wrap: break-word;'>0.316</td><td style='text-align: center; word-wrap: break-word;'>0.210</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LGD-BEV (Ours)</td><td style='text-align: center; word-wrap: break-word;'>ResNet50</td><td style='text-align: center; word-wrap: break-word;'>256 $\times$ 704</td><td style='text-align: center; word-wrap: break-word;'>40.2</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>0.598</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.408</td><td style='text-align: center; word-wrap: break-word;'>0.373</td><td style='text-align: center; word-wrap: break-word;'>0.214</td></tr><tr><td rowspan="6">Validation</td><td style='text-align: center; word-wrap: break-word;'>DETR3D $\dagger$ [^43]</td><td style='text-align: center; word-wrap: break-word;'>ResNet101</td><td style='text-align: center; word-wrap: break-word;'>900 $\times$ 1600</td><td style='text-align: center; word-wrap: break-word;'>34.9</td><td style='text-align: center; word-wrap: break-word;'>43.4</td><td style='text-align: center; word-wrap: break-word;'>0.716</td><td style='text-align: center; word-wrap: break-word;'>0.268</td><td style='text-align: center; word-wrap: break-word;'>0.379</td><td style='text-align: center; word-wrap: break-word;'>0.842</td><td style='text-align: center; word-wrap: break-word;'>0.200</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVDepth [^1]</td><td style='text-align: center; word-wrap: break-word;'>ResNet101</td><td style='text-align: center; word-wrap: break-word;'>512 $\times$ 1408</td><td style='text-align: center; word-wrap: break-word;'>40.6</td><td style='text-align: center; word-wrap: break-word;'>49.0</td><td style='text-align: center; word-wrap: break-word;'>0.626</td><td style='text-align: center; word-wrap: break-word;'>0.278</td><td style='text-align: center; word-wrap: break-word;'>0.513</td><td style='text-align: center; word-wrap: break-word;'>0.489</td><td style='text-align: center; word-wrap: break-word;'>0.226</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVFormer [^2]</td><td style='text-align: center; word-wrap: break-word;'>ResNet101</td><td style='text-align: center; word-wrap: break-word;'>900 $\times$ 1600</td><td style='text-align: center; word-wrap: break-word;'>41.6</td><td style='text-align: center; word-wrap: break-word;'>51.7</td><td style='text-align: center; word-wrap: break-word;'>0.673</td><td style='text-align: center; word-wrap: break-word;'>0.274</td><td style='text-align: center; word-wrap: break-word;'>0.372</td><td style='text-align: center; word-wrap: break-word;'>0.394</td><td style='text-align: center; word-wrap: break-word;'>0.198</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PolarFormer [^44]</td><td style='text-align: center; word-wrap: break-word;'>ResNet101</td><td style='text-align: center; word-wrap: break-word;'>900 $\times$ 1600</td><td style='text-align: center; word-wrap: break-word;'>43.2</td><td style='text-align: center; word-wrap: break-word;'>52.8</td><td style='text-align: center; word-wrap: break-word;'>0.648</td><td style='text-align: center; word-wrap: break-word;'>0.270</td><td style='text-align: center; word-wrap: break-word;'>0.348</td><td style='text-align: center; word-wrap: break-word;'>0.409</td><td style='text-align: center; word-wrap: break-word;'>0.201</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>P2D [^39]</td><td style='text-align: center; word-wrap: break-word;'>ResNet101</td><td style='text-align: center; word-wrap: break-word;'>512 $\times$ 1408</td><td style='text-align: center; word-wrap: break-word;'>43.3</td><td style='text-align: center; word-wrap: break-word;'>52.8</td><td style='text-align: center; word-wrap: break-word;'>0.619</td><td style='text-align: center; word-wrap: break-word;'>0.265</td><td style='text-align: center; word-wrap: break-word;'>0.432</td><td style='text-align: center; word-wrap: break-word;'>0.364</td><td style='text-align: center; word-wrap: break-word;'>0.211</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LGD-BEV (Ours)</td><td style='text-align: center; word-wrap: break-word;'>ResNet101</td><td style='text-align: center; word-wrap: break-word;'>512 $\times$ 1408</td><td style='text-align: center; word-wrap: break-word;'>43.2</td><td style='text-align: center; word-wrap: break-word;'>53.9</td><td style='text-align: center; word-wrap: break-word;'>0.595</td><td style='text-align: center; word-wrap: break-word;'>0.265</td><td style='text-align: center; word-wrap: break-word;'>0.327</td><td style='text-align: center; word-wrap: break-word;'>0.385</td><td style='text-align: center; word-wrap: break-word;'>0.201</td></tr></table>

<div style="text-align: center;">TABLE 2. Performance comparison of LiDAR-guided cross-modal knowledge distillation methods. †: trained with CBGS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Model</td><td style='text-align: center; word-wrap: break-word;'>Baseline</td><td style='text-align: center; word-wrap: break-word;'>Image Size</td><td style='text-align: center; word-wrap: break-word;'>mAP ( $\Delta$)</td><td style='text-align: center; word-wrap: break-word;'>NDS ( $\Delta$)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniDistill [^45]</td><td style='text-align: center; word-wrap: break-word;'>BEVDet</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>29.6 (3.2)</td><td style='text-align: center; word-wrap: break-word;'>39.3 (3.2)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVSimDet [^27]</td><td style='text-align: center; word-wrap: break-word;'>BEVFusion</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>37.3 (1.7)</td><td style='text-align: center; word-wrap: break-word;'>43.8 (2.6)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEVDistill [^5]</td><td style='text-align: center; word-wrap: break-word;'>BEVDepth</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>33.0 (1.3)</td><td style='text-align: center; word-wrap: break-word;'>45.2 (1.2)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TiG-BEV [^7]</td><td style='text-align: center; word-wrap: break-word;'>BEVDepth</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>36.6 (3.7)</td><td style='text-align: center; word-wrap: break-word;'>46.1 (3.0)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>X $^{3}$KD $^{\dagger}$ [^46]</td><td style='text-align: center; word-wrap: break-word;'>BEVDepth</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>39.0 (3.1)</td><td style='text-align: center; word-wrap: break-word;'>50.5 (3.3)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DistillBEV $^{\dagger}$ [^6]</td><td style='text-align: center; word-wrap: break-word;'>BEVDepth</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>40.3 (3.9)</td><td style='text-align: center; word-wrap: break-word;'>51.0 (2.6)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LGD-BEV</td><td style='text-align: center; word-wrap: break-word;'>BEVDepth</td><td style='text-align: center; word-wrap: break-word;'>704 $\times$256</td><td style='text-align: center; word-wrap: break-word;'>40.2 (3.4)</td><td style='text-align: center; word-wrap: break-word;'>51.5 (3.2)</td></tr></table>

<div style="text-align: center;">TABLE 3. Evaluation of different label encoder training methods. CaR: Class-Aware Rendering, GFM: Gating Fusion Module.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>mAP $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>NDS $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>mATE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mASE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAOE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LabelEnc [^30]</td><td style='text-align: center; word-wrap: break-word;'>90.22</td><td style='text-align: center; word-wrap: break-word;'>86.33</td><td style='text-align: center; word-wrap: break-word;'>0.209</td><td style='text-align: center; word-wrap: break-word;'>0.265</td><td style='text-align: center; word-wrap: break-word;'>0.105</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LabelDistill [^15]</td><td style='text-align: center; word-wrap: break-word;'>93.43</td><td style='text-align: center; word-wrap: break-word;'>89.01</td><td style='text-align: center; word-wrap: break-word;'>0.202</td><td style='text-align: center; word-wrap: break-word;'>0.142</td><td style='text-align: center; word-wrap: break-word;'>0.105</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Label Encoder</td><td style='text-align: center; word-wrap: break-word;'>93.47</td><td style='text-align: center; word-wrap: break-word;'>89.04</td><td style='text-align: center; word-wrap: break-word;'>0.192</td><td style='text-align: center; word-wrap: break-word;'>0.161</td><td style='text-align: center; word-wrap: break-word;'>0.069</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ GFM</td><td style='text-align: center; word-wrap: break-word;'>93.59</td><td style='text-align: center; word-wrap: break-word;'>89.39</td><td style='text-align: center; word-wrap: break-word;'>0.192</td><td style='text-align: center; word-wrap: break-word;'>0.169</td><td style='text-align: center; word-wrap: break-word;'>0.066</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ GFM + CaR</td><td style='text-align: center; word-wrap: break-word;'>93.70</td><td style='text-align: center; word-wrap: break-word;'>90.00</td><td style='text-align: center; word-wrap: break-word;'>0.190</td><td style='text-align: center; word-wrap: break-word;'>0.131</td><td style='text-align: center; word-wrap: break-word;'>0.061</td></tr></table>

<div style="text-align: center;">TABLE 4. Ablation study on student performance under different Label Encoder configurations.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">Label Encoder</td><td colspan="5">Student Model</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GFM</td><td style='text-align: center; word-wrap: break-word;'>CaR</td><td style='text-align: center; word-wrap: break-word;'>mAP $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>NDS $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>mATE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mASE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAOE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>39.7</td><td style='text-align: center; word-wrap: break-word;'>50.4</td><td style='text-align: center; word-wrap: break-word;'>0.623</td><td style='text-align: center; word-wrap: break-word;'>0.270</td><td style='text-align: center; word-wrap: break-word;'>0.461</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>39.8</td><td style='text-align: center; word-wrap: break-word;'>51.0</td><td style='text-align: center; word-wrap: break-word;'>0.604</td><td style='text-align: center; word-wrap: break-word;'>0.268</td><td style='text-align: center; word-wrap: break-word;'>0.425</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>40.2</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>0.598</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.408</td></tr></table>

模态或预训练网络，因此生成的标签编码器作为一种轻量级、可解释且与模态无关的教师模型。

## 2 ) 与学生模型的比较

如表4所示，我们评估了使用来自标签编码器的BEV特征训练的学生模型。在没有任何改进的情况下，学生模型实现了39.7 mAP和

<div style="text-align: center;">TABLE 5. Performance comparison across different channel splits between label and image BEV features.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Channel Ratio\n $F_{label}$</td><td style='text-align: center; word-wrap: break-word;'>$F_{image}$</td><td style='text-align: center; word-wrap: break-word;'>mAP $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>NDS $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>mATE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mASE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAOE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>38.9</td><td style='text-align: center; word-wrap: break-word;'>50.4</td><td style='text-align: center; word-wrap: break-word;'>0.621</td><td style='text-align: center; word-wrap: break-word;'>0.273</td><td style='text-align: center; word-wrap: break-word;'>0.423</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>40.0</td><td style='text-align: center; word-wrap: break-word;'>51.2</td><td style='text-align: center; word-wrap: break-word;'>0.610</td><td style='text-align: center; word-wrap: break-word;'>0.269</td><td style='text-align: center; word-wrap: break-word;'>0.412</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'>40.2</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>0.598</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.408</td></tr></table>

<div style="text-align: center;">TABLE 6. Detection performance at near ( $\leq$30m) and far ( $\geq$30m) ranges with different Label Encoder configurations.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Distance</td><td style='text-align: center; word-wrap: break-word;'>GFM</td><td style='text-align: center; word-wrap: break-word;'>CaR</td><td style='text-align: center; word-wrap: break-word;'>mATE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mASE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>mAOE $\downarrow$</td></tr><tr><td rowspan="3">$\le$ 30m</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>0.548</td><td style='text-align: center; word-wrap: break-word;'>0.285</td><td style='text-align: center; word-wrap: break-word;'>0.421</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.539</td><td style='text-align: center; word-wrap: break-word;'>0.276</td><td style='text-align: center; word-wrap: break-word;'>0.402</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.535</td><td style='text-align: center; word-wrap: break-word;'>0.269</td><td style='text-align: center; word-wrap: break-word;'>0.392</td></tr><tr><td rowspan="3">$\ge$ 30m</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>0.917</td><td style='text-align: center; word-wrap: break-word;'>0.296</td><td style='text-align: center; word-wrap: break-word;'>0.582</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>0.908</td><td style='text-align: center; word-wrap: break-word;'>0.287</td><td style='text-align: center; word-wrap: break-word;'>0.558</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.912</td><td style='text-align: center; word-wrap: break-word;'>0.283</td><td style='text-align: center; word-wrap: break-word;'>0.520</td></tr></table>

50.4 NDS。仅采用GFM可以提高性能至39.8（0.1+）mAP和51.0（0.6+）NDS。

当同时使用GFM和CaR时，学生模型实现了最佳结果，达到了40.2 mAP和51.5 NDS，优于仅使用CaR或没有改进的版本。这表明学生网络不仅可以成功地从标签编码器的监督中学习，还可以超出其范围进行泛化。

## 3 ) 特征分区

为了研究基于标签的特征的影响，我们采用了来自 [^15] 的特征分区策略，并使用了不同的通道比例。 在这种设置下，只有学生 BEV 特征图的一部分接收来自标签编码器的蒸馏损失。 这使我们能够研究部分标签监督如何影响性能，以及保留某些通道用于特定于图像的特征是否有助于保持语义多样性。

---

![Image](images/f819b76a2356dbf5abdeef7afb1474d354f9da44574feed5a00f66d7d2df7cb1.jpg)

<div style="text-align: center;">FIGURE 4. Visualization of detection results on the nuScenes dataset, comparing the BEVDepth [^1] baseline with our proposed method. Predicted 3D bounding boxes are shown in the camera views using class-specific colors: blue for car, gray for bicycle, yellow for pedestrian, and pink for motorcycle. On the BEV maps, predicted boxes are shown in green and ground-truth boxes in red. Numbered circles indicate key differences.</div>

表 5 显示了在标签和图像特征之间使用不同通道比例时的性能。 随着图像通道数量的增加和标签通道数量的减少，mAP 和 NDS 始终得到提高。 这表明图像特征对最终性能的贡献更大，而用于指导的标签特征用量较小。

## 4) 对象距离

我们通过将对象划分为近距离（$\leq$30 米）和远距离（$\geq$30 米）组来评估不同距离下的检测性能。 距离是从每个对象的 3D 中心到标注时车辆位置的距离。

如表 6 所示，同时使用 GFM 和 CaR 可以提高近距离和远距离对象的性能。 对于近距离对象，综合设置可以提供更好的定位和方向，尤其是在拥挤区域。 对于远距离对象，GFM 提高了整体空间特征，而 CaR 通过保持特定于类别的特征的一致性来减少方向误差。

## 5) 质量比较结果

我们在图 4 中对 nuScenes 数据集上的 BEVDepth 基线进行了质量比较。 红色框表示地面真实值，绿色框分别表示来自 BEVDepth 和我们方法的预测结果。

如图所示，我们的方法在城市场景中的预测准确性优于基线。值得注意的是，在编号区域 (1) 中，基线出现误报。在区域 (2) 中，基线检测到重叠或拥挤的边界框，包括一辆摩托车 (粉色) 和一名行人 (黄色)。

### V. 结论

在本文中，我们介绍了 LGD-BEV，这是一种基于标签引导的蒸馏框架，用于仅使用摄像头进行的三维目标检测。与依赖于外部传感器模态或大型教师网络的传统跨模态蒸馏方法不同，LGD-BEV 通过使用仅根据三维地面真值注释训练的轻量级标签编码器来消除这些依赖性。此编码器提供密集且语义丰富的 BEV 表示，作为训练学生网络的监督信号。

为了提高标签特征的监督质量和空间表达能力，我们提出了两个关键组件：（1）自适应平衡标签编码过程中语义类特征和几何框特征的门控融合模块，以及（2）在 BEV 光栅化过程中，通过频率感知覆盖来保留稀有或小物体类的类感知渲染策略。

---

在BEV栅格化过程中，通过频率感知覆盖来处理稀有或小对象类别。

我们在nuScenes [^16]基准测试中进行了广泛的实验，结果表明，LGD-BEV的性能优于或与更复杂的蒸馏方法相当，包括使用CBGS [^17]和额外传感器数据的蒸馏方法。同时，LGD-BEV保持了简单、可扩展且与传感器无关的训练流程。我们的消融研究进一步验证了每个模块的贡献以及我们方法的有效性。

然而，其有效性本质上取决于地面真实标注的可靠性。当数据集包含噪声或低质量的标签时，性能可能会相应下降。最后，本研究没有探讨LGD-BEV在半监督或合成标签场景下的适应性，这仍然是未来研究的重要方向。

## 参考文献

[^1]: Y. Li, Z. Ge, G. Yu, J. Yang, Z. Wang, Y. Shi, J. Sun, and Z. Li, “BEVDepth: Acquisition of reliable depth for multi-view 3D object detection,” 2022, arXiv:2206.10092.

[^2]: Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Q. Yu, and J. Dai, "BEVFormer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers," 2022, arXiv:2203.17270.

[^3]: Y. Li, H. Bao, Z. Ge, J. Yang, J. Sun, and Z. Li, “BEVStereo: Enhancing depth estimation in multi-view 3D object detection with dynamic temporal stereo,” 2022, arXiv:2209.10248.

[^4]: G. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in a neural network,” 2015, arXiv:1503.02531.

[^5]: T. Jiao, Y. Chen, Z. Zhang, C. Guo, and J. Song, “MMDistill: Multi-modal BEV distillation framework for multi-view 3D object detection,” Comput., Mater. Continua, vol. 81, no. 3, pp. 4307–4325, 2024.

[^6]: Z. Wang, D. Li, C. Luo, C. Xie, and X. Yang, "DistillBEV: Boosting multi-camera 3D object detection with cross-modal knowledge distillation," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 8603–8612.

[^7]: P. Huang, L. Liu, R. Zhang, S. Zhang, X. Xu, B. Wang, and G. Liu, "TiG-BEV: Multi-view bev 3D object detection via target inner-geometry learning," 2022, arXiv:2212.13979.

[^8]: S. Qiu, J. Chen, X. Li, R. Wan, X. Xue, and J. Pu, “Make a strong teacher with label assistance: A novel knowledge distillation approach for semantic segmentation,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 371–388.

[^9]: D. Chen, J.-P. Mei, Y. Zhang, C. Wang, Y. Feng, and C. Chen, “Cross-layer distillation with semantic calibration,” in Proc. AAAI Conf. Artif. Intell., 2021, pp. 7028–7036.

[^10]: T. He, C. Shen, Z. Tian, D. Gong, C. Sun, and Y. Yan, “Knowledge adaptation for efficient semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 578–587.

[^11]: C. Shu, Y. Liu, J. Gao, Z. Yan, and C. Shen, "Channel-wise knowledge distillation for dense prediction," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 5291–5300.

[^12]: Z. Liu, X. Qi, and C.-W. Fu, “3D-to-2D distillation for indoor scene parsing,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 4462–4472.

[^13]: A. Vobecky, D. Hurych, O. Siméoni, S. Gidaris, A. Bursuc, P. Pérez, and J. Sivic, “Drive&segment: Unsupervised semantic segmentation of urban scenes via cross-modal distillation,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 478–495.

[^14]: X. Yan, J. Gao, C. Zheng, C. Zheng, R. Zhang, S. Cui, and Z. Li, “2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds,” in Proc. Eur. Conf. Comput. Vis., 2022, pp. 677–695.

[^15]: S. Kim, Y.-S. Kim, S. Hwang, H. Jeong, and D. Kum, "LabelDistill: Label-guided cross-modal knowledge distillation for camera-based 3D object detection," in Proc. Eur. Conf. Comput. Vis., 2024, pp. 19–37.

[^16]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. Erin Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, "nuScenes: A multimodal dataset for autonomous driving," 2019, arXiv:1903.11027.

[^17]: B. Zhu, Z. Jiang, X. Zhou, Z. Li, and G. Yu, “Class-balanced grouping and sampling for point cloud 3D object detection,” 2019, arXiv:1908.09492.

[^18]: G. Brazil and X. Liu, “M3D-RPN: Monocular 3D region proposal network for object detection,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 9286–9295.

[^19]: Z. Liu, Z. Wu, and R. Tóth, “SMOKE: Single-stage monocular 3D object detection via keypoint estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2020, pp. 4289–4298.

[^20]: A. Mousavian, D. Anguelov, J. Flynn, and J. Kosecká, “3D bounding box estimation using deep learning and geometry,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 5632–5640.

[^21]: D. Park, R. Ambrus, V. Guizilini, J. Li, and A. Gaidon, “Is pseudo-LiDAR needed for monocular 3D object detection?” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 3122–3132.

[^22]: T. Wang, X. Zhu, J. Pang, and D. Lin, "FCOS3D: Fully convolutional one-stage monocular 3D object detection," in Proc. IEEE/CVF Int. Conf. Comput. Vis. Workshops (ICCVW), Oct. 2021, pp. 913–922.

[^23]: X. Ma, Y. Zhang, D. Xu, D. Zhou, S. Yi, H. Li, and W. Ouyang, “Delving into localization errors for monocular 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 4719–4728.

[^24]: J. Huang, G. Huang, Z. Zhu, Y. Ye, and D. Du, “BEVDet: High-performance multi-camera 3D object detection in bird-eye-view,” 2022, arXiv:2112.11790.

[^25]: J. Yang, H. Xu, X. Liang, L. Zhang, and L. Lin, "X3-KD: Improving multi-sensor 3D object detection via cross-modal cross-level cross-task knowledge distillation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 9966–9976.

[^26]: Y. Huang, Q. Li, Z. Cao, X. Ma, H. Xu, and D. Lin, “Bevdistill: Crossmodal bev distillation for multi-view 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 16345–16354.

[^27]: H. Zhao, Q. Zhang, S. Zhao, Z. Chen, J. Zhang, and D. Tao, “Simdistill: Simulated multi-modal distillation for bev 3D object detection,” in Proc. AAAI Conf. Artif. Intell., 2024, pp. 7460–7468.

[^28]: Y. Li, Y. Wang, L. Zhang, H. Wang, X. Sun, X. Huang, and C. R. Qi, "Distillbev: Boosting 3D object detection with cross-modal knowledge distillation for bev representation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 9997–10006.

[^29]: J. Li, M. Lu, J. Liu, Y. Guo, Y. Du, L. Du, and S. Zhang, “BEV-LGKD: A unified LiDAR-guided knowledge distillation framework for multi-view BEV 3D object detection,” IEEE Trans. Intell. Vehicles, vol. 9, no. 1, pp. 2489–2498, Jan. 2024.

[^30]: M. Hao, Y. Liu, X. Zhang, and J. Sun, "LabelEnc: A new intermediate supervision method for object detection," 2020, arXiv:2007.03282.

[^31]: P. Zhang, Z. Kang, T. Yang, X. Zhang, N. Zheng, and J. Sun, "LGD: Label-guided self-distillation for object detection," 2021, arXiv:2109.11496.

[^32]: Y. Huang, X. Liu, Y. Zhu, Z. Xu, C. Shen, Z. Che, G. Zhang, Y. Peng, F. Feng, and J. Tang, "Label-guided auxiliary training improves 3D object detector," in Proc. Comput. Vision–ECCV: 17th Eur. Conf., Oct. 2022, pp. 684–700.

[^33]: T. Yin, X. Zhou, and P. Krähenbühl, “Center-based 3D object detection and tracking,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 11779–11788.

[^34]: X. Zhou, D. Wang, and P. Krähenbühl, “Objects as points,” 2019, arXiv:1904.07850.

[^35]: J. Philion and S. Fidler, “Lift, splat, shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3D,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 194–210.

[^36]: J. Huang and G. Huang, “BEVDet4D: Exploit temporal cues in multi-camera 3D object detection,” 2022, arXiv:2203.17054.

[^37]: Y. Liu, J. Yan, F. Jia, S. Li, A. Gao, T. Wang, and X. Zhang, "PETRv2: A unified framework for 3D perception from multi-camera images," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 3239–3249.

[^38]: Z. Li, Z. Yu, W. Wang, A. Anandkumar, T. Lu, and J. M. Alvarez, "FB-BEV: BEV representation from forward-backward view transformations," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 6919–6928.

## [^39]: S. Kim, Y. Kim, I.-J. Lee, and D. Kum, “Predict to detect: Prediction-guided 3D object detection using sequential images,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 18011–18020

---

[^40]: C. Yang, Y. Chen, H. Tian, C. Tao, X. Zhu, Z. Zhang, G. Huang, H. Li, Y. Qiao, L. Lu, J. Zhou, and J. Dai, "BEVFormer v2: Adapting modern image backbones to bird's-eye-view recognition via perspective supervision," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 17830–17839.

[^41]: J. Park, C. Xu, S. Yang, K. Keutzer, K. Kitani, M. Tomizuka, and W. Zhan, “Time will tell: New outlooks and a baseline for temporal multi-view 3D object detection,” 2022, arXiv:2210.02443.

[^42]: S. Wang, Y. Liu, T. Wang, Y. Li, and X. Zhang, “Exploring object-centric temporal modeling for efficient multi-view 3D object detection,” 2023, arXiv:2303.11926.

[^43]: Y. Wang, V. Guizilini, T. Zhang, Y. Wang, H. Zhao, and J. Solomon, "DETR3D: 3D object detection from multi-view images via 3D-to-2D queries," in Proc. Conf. Robot Learn., 2021, pp. 180–191.

[^44]: Y. Jiang, L. Zhang, Z. Miao, X. Zhu, J. Gao, W. Hu, and Y.-G. Jiang, "Polarformer: Multi-camera 3D object detection with polar transformers," in Proc. AAAI, 2023, pp. 1–17.

[^45]: S. Zhou, W. Liu, C. Hu, S. Zhou, and C. Ma, “UniDistill: A universal cross-modality knowledge distillation framework for 3D object detection in bird's-eye view,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 5116–5125.

[^46]: M. Klingner, S. Borse, V. R. Kumar, B. Rezaei, V. Narayanan, S. Yogamani, and F. Porikli, “X3KD: Knowledge distillation across modalities, tasks and stages for multi-camera 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 13343–13353.

[^47]: I. Loshchilov and F. Hutter, “Decoupled weight decay regularization,” 2019, arXiv:1711.05101.

![Image](images/1c1496258624ff2474afb6041a713385ef6aee98455e52631687ff58d8ce33fc.jpg)

MINHO PARK 获得了韩国大田科学技术高等研究院 (KAIST) 的学士和硕士学位，分别于 2018 年和 2020 年。他目前是韩国大田电子与通信研究院 (ETRI) 视觉智能研究部的研究员。他的研究兴趣包括生成模型、多模态表示和图像/视频分析。

![Image](images/2a5df00ca4865465201043afe569ec66d281274aebc8be860d5835bb5fd36866.jpg)

![Image](images/743815975eb9997e4fc7575477bf061eab0f1647ac3edcbc4852b9345fda8c0a.jpg)

YOUNGJOO JO 获得了韩国大田科学技术高等研究院 (KAIST) 电气工程硕士学位，于 2016 年。他目前是韩国大田电子与通信研究院 (ETRI) 的研究员。他目前的研究兴趣包括机器学习、计算机视觉和生成模型。

JI-YONG LEE 获得了德克萨斯大学奥斯汀分校的电气和计算机工程学士学位，于 2021 年。他目前正在攻读人工智能硕士学位。他是韩国大田电子与通信研究院 (ETRI) 的研究助理。他的研究兴趣包括机器学习、知识蒸馏和多模态传感器融合。

![Image](images/21b3d27797d5276c308d731ebe148401ccbf3f9ad1fc1076568fe49667159ce6.jpg)

DONG-OH KANG 获得了韩国延世大学电子工程学士学位，并在 1996 年和 2001 年分别获得了韩国科学技术院 (KAIST) 的电子工程硕士和博士学位。自 2001 年以来，他一直在电子与通信研究院 (ETRI) 工作。目前，他是视觉智能研究组的高级研究员。他的研究兴趣包括多模态知识表示、知识图谱补全和自增长智能代理。