# RaLiBEV: 基于雷达和激光雷达的鸟瞰图融合学习，用于无锚框目标检测系统

Yanlong Yang $^{ID}$, 会员，IEEE，Jianan Liu $^{ID}$, Tao Huang $^{ID}$, 资深会员，IEEE，Qing-Long Han $^{ID}$, 院士，IEEE，Gang Ma，和 Bing Zhu $^{ID}$, 资深会员，IEEE。

摘要：在自动驾驶中，激光雷达和雷达对于环境感知至关重要。激光雷达提供精确的 3D 空间感应信息，但在雾等恶劣天气下表现不佳。相反，雷达信号由于其特定的波长可以穿透雨或雾，但容易受到噪声干扰。最近的先进研究表明，雷达和激光雷达的融合可以在恶劣天气下实现鲁棒的检测。当前的方法通常使用基本的卷积/transformer 网络架构来融合来自各种数据源的特征，并采用简单的标签分配策略来进行目标检测。然而，这些方法存在两个主要局限性：它们未能充分捕获特征交互，并且缺乏一致的回归约束。在本文中，我们提出了一种基于鸟瞰图融合学习的无锚框目标检测系统。我们的方法引入了一种新颖的交互式transformer模块，用于增强特征融合，以及一种高级的标签分配策略，用于更一致的回归，从而解决了现有方法中的关键局限性。具体来说，实验表明，我们的方法的平均精度排名 $1^{st}$，并且在“清晰+雾天”训练条件下，在“清晰”和“雾天”测试中，交并比 (IoU) 为 0.8 时，我们的方法显著优于最先进的方法，分别提高了 13.1% 和 19.0%。我们的代码库位于：<https://github.com/yyxr75/RaLiBEV>。

关键词：自动驾驶，无锚框目标检测，激光雷达，点云，雷达，极角热图。

最近的研究表明，在原始数据流级别融合激光雷达和摄像头数据可以显着提高自动驾驶感知系统的鲁棒性 [^15] [^16] [^17]。然而，在恶劣天气（如雨、雪和雾）下，摄像头或激光雷达的性能会严重下降 [^18] [^19]。例如，摄像头会变得模糊，激光雷达的有效范围会显著减小，并且由于大雪或雾的影响，激光雷达会产生更多的噪声点。如图 1(b) 所示，与图 1(a) 中清晰天气下的激光雷达点云相比，车辆周围的噪声点数量会增加，而远端的激光雷达点会消失。

## 1. 引言

标签分配，鸟瞰图融合，交互式transformer，深度学习。

自动驾驶系统通常使用诸如激光雷达、摄像头和雷达等传感器来构建其感知功能。 这种感知方案在许多研究中得到了广泛的应用，涵盖了数据采集/生成 [^1]、[^2]、算法开发 [^3] 以及实际测试 [^4] 等各个方面。 这种多模态硬件感知系统与开发的软件最终有助于解决诸如轨迹预测和车辆运动规划 [^5]、[^6] 等下游任务。 激光雷达是高级驾驶辅助系统 (ADAS) 和自动驾驶中使用的关键传感器之一，它为环境感知任务提供了丰富的语义和几何信息 [^7]。 这些任务包括目标检测 [^8]、[^9]、多目标跟踪 [^10]、[^11]、车辆定位 [^3] 以及用于地图测绘的点云配准 [^12]、[^13]、[^14]。 然而，仅使用激光雷达的感知方式无法全面了解周围环境。

与摄像头和激光雷达相比，雷达可以自然地避免恶劣天气的影响，因为毫米波能够穿透雨、雪和雾 [^20]。 这种特性使得雷达成为 ADAS 和自动驾驶中一种强大的互补传感器 [^21]，甚至在协同感知中 [^22]。 常见的调频连续波 (FMCW) 雷达，广泛应用于汽车系统，具有准确分离目标在距离和速度维度上的能力，但由于紧凑空间内的天线数量有限，其角度分辨率较低 [^23]、[^24]、[^25]、[^26]。 因此，雷达只能提供较少、带有角度信息模糊性的检测点，与密集激光雷达点云相比。 这种缺点

---

![Image](images/536265200364db29d6f0a13a68306e033733d09901a10c12a219599a5f275384.jpg)

<div style="text-align: center;">(a). Ground-truth LiDAR only (Clear)</div>

<div style="text-align: center;">(b). Ground-truth LiDAR only (Foggy)</div>

<div style="text-align: center;">(c). Ground-truth LiDAR & radar (Foggy) (d). RaLiBEV LiDAR & radar (Foggy)</div>

<div style="text-align: center;">Fig. 1. Performance of the RaLiBEV in clear and foggy weather. The LiDAR and radar visualization results are combined by radar range azimuth heatmap with jet pseudo-color in the background and LiDAR with white point cloud and 2D object bounding boxes. The ground-truth boxes are orange, and the predicted boxes by RaLiBEV are red. All the boxes use green lines to indicate the heading direction.</div>

限制了其在感知系统中的性能。

为了利用雷达在恶劣天气中的鲁棒性，最近的方法 [^27]、[^28] 使用雷达的范围-方位角热图而不是检测点，与激光雷达点云进行融合，以进行车辆检测。 然而，这些基于锚框的方法面临泛化问题，因为它们需要预定义的锚框，这些锚框是针对特定数据集定制的，导致高精度性能不佳。

为了应对这些挑战，我们提出了 RaLiBEV，这是一种融合模型，它将雷达和激光雷达数据集成到俯视图 (BEV) 中，以增强目标检测，而无需依赖锚框。 与 [^3] 关注使用仅激光雷达的方法进行全局定位不同，我们的工作强调通过融合雷达和激光雷达来提高目标检测的准确性，尤其是在恶劣天气条件下。 与探索摄像头-激光雷达融合以进行 3D 语义分割的 [^16] 不同，我们利用雷达-激光雷达融合来提高在多雾天气条件下的检测准确性。 与强调平衡不同质量的锚框或不同类别的样本的基于锚框的方法 [^64] 不同，我们提出的方法优先实现分类和回归的一致性。

RaLiBEV 将 LiDAR 点云转换为结构化的俯视（BEV）格式（柱状化），并使用雷达范围-方位角热图进行离散的 BEV 采样。 雷达和 LiDAR 数据在 BEV 中进行独立特征提取，然后进行融合以创建详细的 BEV 特征。 该特征通过神经网络主干和多尺度检测头进行处理，该检测头在不使用锚框的情况下估计车辆的边界框。

在这项工作中，提出了两种关键的创新方法。 第一，提出了一种创新的标签分配策略，以减少分类和回归的不一致性。 第二，提出了一种交互式基于 Transformer 的 BEV 融合技术，以增强雷达和 LiDAR 特征图之间的交互。 实验结果表明，在清晰和多雾天气测试中，RaLiBEV 分别比最先进的方法提高了 13.1% 和 19.0%，IoU 为 0.8。

本文的主要贡献总结如下：

- 提出了一种基于雷达和 LiDAR BEV 融合的无锚框目标检测器，即 RaLiBEV。 RaLiBEV 能够通过融合雷达范围-方位角热图和 LiDAR 点云提取的特征，生成准确的 2D 俯视边界框。

- 采用了一种新颖的标签分配策略，即基于高斯面积的一致热图和 IoU 成本正样本分配 (GACHIPS)，以克服雷达和 LiDAR 融合的无锚框目标检测器中，关键点分类和相应的边界框回归任务之间的不一致性。

- 提出了一种新颖的交互式基于 Transformer 的融合模块，即基于密集查询图的交互式 BEV 融合 (DQMITBF)，用于融合雷达和 LiDAR 特征图。 通过引入密集的可学习查询和对称的融合架构，该融合模块提供了一种信息敏感的融合机制，可以在各种天气条件下聚合来自两个地图的合适的特征。

- 所提出的目标检测器即使在恶劣天气条件下也能实现相当准确的检测性能，如图 1(d) 所示，与图 1(c) 中所示的地面真实边界框相比，在流行的 Oxford Radar RobotCar (ORR) 数据集中，其性能优于基于雷达和 LiDAR 融合的最先进的目标检测器，并且具有很大的优势 [^1]。

本文的其余部分组织如下。第二节讨论相关工作，包括基于 LiDAR 的感知方法、基于雷达的感知方法以及融合雷达和 LiDAR 用于目标检测的方法。 在第三节中，介绍了所提出的基于雷达和 LiDAR 融合的目标检测方法，即 RaLiBEV。 此外，还描述了所提出的标签分配策略和交互式基于 Transformer 的融合方案。 然后，在第四节中，解释和分析了在 ORR 数据集上的实验过程和相应结果。 最后，在第五节中，总结了结论和进一步的工作。

### II. 相关工作

### A. 基于 LiDAR 的目标检测

LiDAR 是一种在环境感知中起关键作用的传感器，在周围环境中的目标检测中发挥着至关重要的作用。 深度学习技术已经实现了各种基于 LiDAR 的目标检测方法，这些方法可以根据其处理的输入点云进行分类为四种主要方法。

第一种方法，基于点云的检测方法，使用线性层从无序点云中提取特征 [^29]，[^30]。 相比之下，基于网格的方法将点云离散化为 2D 网格或 3D 体素，并使用卷积神经网络 (CNN) 来提取特征。

---

用于特征提取的神经网络（CNNs）[^8]、[^9]、[^31]、[^32]。基于图的方法将点云转换为图数据结构，利用图神经网络（GNNs）提取特征并检测目标[^33]。在此框架中，点被表示为顶点，点之间的关联被定义为边。第四类组合方法会融合从点云的不同表示形式或二维网格的多视图中提取得到的特征，提升整体检测性能[^34]、[^35]。

### B. 基于雷达的对象检测

### B. 基于雷达的目标检测

雷达在毫米波频段工作，即使在恶劣的天气条件下，也能有效进行对象检测。 传统的诸如 CFAR [^36] 和聚类技术 [^37] 等方法动态调整检测阈值并将点分组为对象，但面临复杂环境和重叠对象的问题。

深度学习方法，包括语义分割和聚类 [^38]，[^39]，提供详细的对象检测，但需要大量的计算资源。 近期的进展，例如 PointNet [^40]，[^41] 和图神经网络 (GNN) [^42]，[^43] 直接处理点云数据，从而提高检测精度。 这些方法需要大量的训练数据和计算资源。

范围-方位热图也用于雷达对象检测，可以通过聚类和分类 [^44]，[^45] 或深度学习模型来预测对象存在和位置 [^46]，[^47]，[^48]，[^49]，[^50]。 尽管雷达在恶劣天气中具有鲁棒性，但诸如多径传播和较低分辨率等限制阻碍了详细的对象识别，这突出了传感器融合的重要性。 将雷达与提供高分辨率点云数据的 LiDAR 集成可以显着提高对象检测和识别能力。

### C. 基于雷达和 LiDAR 融合的对象检测

雷达和 LiDAR 都有其优点和缺点。 融合两种传感器的信息可以实现更好的环境感知 [^27]，[^28]，[^51]，[^52]，[^53]。 通常，传感器融合可以在结果或特征级别进行。

在结果级别融合中，每个传感器被表征为独立的检测结果集合。 然后，聚合检测到的对象以生成最终结果。 这种方法消耗的传输带宽较少，并且具有快速的操作速度。 但是，其性能受到每个单独的传感器检测器的严重限制。

在特征级融合中，聚合来自两种传感器的特征信息至关重要，能够为端到端网络提供丰富可靠的数据 [^54]，[^55]。通用融合策略（例如在基于CNN的特征提取后对不同传感器的数据进行拼接或相加）计算速度更快，但在特征信息加权组合方面能力有限。利用transformer的注意力机制[^56]进行信息提取已被证明效果更佳[^57]。然而，以往采用交叉注意力的研究工作，无论是跨不同数据通道、不同时间数据[^27]，[^28]，[^58]还是跨不同模态数据[^59]，都存在有效性不足的问题。这是因为仅依靠注意力捕获信息而缺乏查询约束的方式存在局限性，限制了模型对复杂样本的适应能力。Bi-LRFusion[^60]提出了一种激光雷达与雷达的双向特征融合方案，该方案采用基于查询的方法，在仰角视图和鸟瞰图双视角引导下融合激光雷达和雷达特征。但该方法使用的稀疏查询，严重限制了其处理密集雷达距离-方位角热图数据时的性能。为解决这一问题，我们提出了一个基于可学习稠密查询图的transformer块，用于融合各传感器的特征。该方法能够提供稠密且可自适应的注意力权重，提升传感器融合效果。

### D. 目标检测中的标签分配

传统的标签分配方法最初是为基于锚框和无锚框目标检测框架而设计的。 这些框架使用固定的阈值来对锚框或点进行分类，以将其视为正样本，基于诸如锚框与地面真值框之间的 IoU 等标准，或者锚点是否位于地面真值框内。 然而，这些启发式设计忽略了分类和框回归之间的一致性，导致推理过程中的子优框选择以及检测性能降低 [^61]。

在基于锚框的框架 [^62]、[^63] 中，所有与真值框的IoU或IoU加框中心距离 [^64] 高于指定阈值的锚框，都会计算分类与边界框回归的组合损失。然而，这种并行损失设计会引发不一致性问题。类似地，在无锚框框架 [^65]、[^66]、[^67] 中，固定阈值标签分配会将真值框内的部分锚点划分为正样本。分类损失和边界框回归损失的单独计算与组合会产生数值缺口，使得不一致性问题持续存在。

为了解决这个问题，诸如 freeAnchor [^68]、ATSS [^69]、AutoAssign [^70]、PAA [^71] 和 OTA [^72] 等方法将预测结果与地面真值对齐，从而减少一致性差距。 然而，这些方法侧重于基于图像的目标检测，通过为单个目标分配多个正样本来解决不同大小和遮挡的问题。 这会导致训练过程中正样本之间的竞争，从而加剧推理过程中的一致性差距。

### III. 提出的方法

本节首先介绍了所提出的基于雷达和激光雷达融合的无锚框目标检测框架。然后，详细描述了 RaLiBEV 的两个增强部分，一个涉及标签分配策略，另一个涉及交互式转换器融合策略。

---

![Image](images/3360ba3d05407843728bbb6df0b79f025ba3fbab78555fa311d6e3f188d3602e.jpg)

<div style="text-align: center;">Fig. 2. The pipeline of the proposed radar and LiDAR fusion-based anchor box free object detector, RaLiBEV.</div>

### A. 无锚框目标检测

从每个传感器聚合特征并将其表示为俯视图 (BEV) 非常简单。如图 2 所示，原始激光雷达点云和雷达范围方位图通过各自的特征提取器进行预处理。这些特征然后由基于 YOLOV4 的 [^73] 特征提取器和多尺度无锚框检测头进行融合和处理，以解码 2D BEV 旋转边界框。

雷达数据使用双线性插值从极坐标转换为笛卡尔坐标，从而得到形状为 $[W_r, H_r, C_r]$。激光雷达数据使用 PointPillars [^9] 结构化为固定形状 $[W_l, H_l, C_l]$，并以 BEV 形式表示。

使用 N 个卷积层对每个传感器分支应用高级特征提取技术。提取的特征使用带有交互式转换器机制的增强融合模块进行集成。然后，融合的特征由基于 YOLOv4 的骨干网络进一步处理。

一个多尺度无锚框检测头解码检测结果。第一个输出通道生成一个表示对象存在概率的热图。后续通道预测 $\Delta x$、$\Delta y$、宽度、长度、角度分类、角度偏移和对象类别。

使用无锚框检测方法，在特征图中识别出正锚点，并从这些点开始进行回归。对于 BEV 中的每个 ground-truth 边界框，生成一个高斯分布图作为热图预测的监督信号：

 $$ G(x|\mu,\Sigma)=\frac{1}{2\pi^{\frac{d}{2}}|\Sigma|^{\frac{1}{2}}}e^{-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)}, $$

其中 $\boldsymbol{x} = [i, j]$ 是 BEV 空间向量，$\boldsymbol{\mu}$ 是 ground-truth 框的中心坐标，$\boldsymbol{\Sigma}$ 是协方差矩阵：

 $$ \boldsymbol{\Sigma}=E(\boldsymbol{x}-E(\boldsymbol{x}))(\boldsymbol{x}-E(\boldsymbol{x}))^{T}, $$

使用一个框的四个角点的 2D 坐标作为 x。

### B. 标签分配策略

对于目标检测，总损失是分类损失 ( $\mathcal{L}_{cls}$) 和边界框回归损失 ( $\mathcal{L}_{box}$) 的总和：

 $$ \mathcal{L}=\mathcal{L}_{c l s}+\mathcal{L}_{b o x}, $$

分类损失 $(\mathcal{L}_{cls})$ 使用带有高斯混合分布权重的焦点损失 $G_{i,j}$：

 $$ \mathrm{L}_{cls}=\left\{\begin{aligned}&-\sum_{i,j=0}^{M}G_{i,j}(1-p_{i,j})^{\gamma}\log(p_{i,j})&\text{if}G_{i,j}=1,\\ &-\sum_{i,j=0}^{M}G_{i,j}p_{i,j}^{\gamma}\log(1-p_{i,j})&\text{otherwise.}\end{aligned}\right. $$

边界框损失 $(\mathcal{L}_{box})$ 包括 $\triangle x$、$\triangle y$、宽度、长度和角度偏移 $\triangle\theta$ 损失，采用平滑 $L1$ 损失，以及角度分类损失 $(l_{\theta}^{ce})$：

 $$ \mathcal{L}_{b o x}=\sum_{i,j=0}^{M}\alpha_{i,j}(l_{\triangle x y}^{r e g}+l_{w l}^{r e g}+l_{\theta}^{c e}+l_{\triangle\theta}^{r e g}). $$

边界框回归损失仅在正样本 $(\alpha_{i,j}=1)$ 上发生，而分类损失在所有锚点上计算。这可能会导致标签分配不一致，从而影响检测精度。

通常使用三种标签分配策略：双向匹配、多正样本和单正样本标签分配。 “多/单” 表示为每个对象选择的正样本数量。

---

![Image](images/9489df47e584a2f6e823460689e99bb8c75bda881272cc20fb6359144d753c3a.jpg)

<div style="text-align: center;">Fig. 3. Overview of label assignment strategies for object detection. (a) Identifies the object with a red-bordered ground-truth bounding box and a green headline. Yellow and red ellipses represent ground-truth and predicted Gaussian distributions, respectively. Red dots are positive sample points, and green dots mark the ground-truth Gaussian centers. Strategies (b) to (e) show different methods for selecting positive samples for box loss calculation, ranging from (b) using all anchor points within the ground-truth area, to (c) selecting the center, (d) the point with the highest foreground-background classification score, and (e) the point with the highest "score plus IoU". Strategy (f) integrates the approach from (e) with an alternative loss function as Eq. (14).</div>

1) 双向匹配标签分配：典型的双向匹配标签分配基于匈牙利算法。这种基于集合的标签分配构建了预测框和真实框之间的 IoU 成本矩阵，其中预测框是从预定义的定位中解码出来的。然后，它通过匈牙利算法找到最佳匹配的正样本。传统的双向匹配过程基于锚点 [^75]，而 DETR [^76] 通过对象查询的变化，将这种匹配方式转变为一种完全端到端的风格。使用匈牙利算法，DETR 直接在预定义的对象查询和真实对象框之间计算损失。然后，经过训练后，收敛的查询可以直接解码为最终的预测框，而无需非最大抑制 (NMS)。但是，我们提出的方法中，查询图的大小设置为与雷达和 LiDAR 特征图的大小相同。如此大量的查询会导致巨大的计算消耗，这在应用匈牙利算法时不可行。因此，这种双向匹配标签分配不适用于我们提出的方法。

2) 多正样本标注：为了解决无锚检测架构中正负样本不平衡的问题，提出了一种基于高斯区域的多正样本标注方法。基于在第 III 节 A 介绍的高斯混合分布热图 G，使用静态阈值提取特定区域作为正样本锚点。然后，对每个正样本锚点同时应用分类和框回归。如图 3(b) 所示，所有红色点都是选定的正样本。它们都位于地面实况高斯分布的黄色区域内，因此这种方法被称为基于高斯区域的多正样本标注。

然而，引入多个正样本不可避免地会在训练过程中导致它们之间的竞争，因为它们都致力于优化结果，从而加剧了干涉阶段的不一致性。实验结果将在第 IV 节 C1 中展示。

3) 单个正标签分配：为了防止由于多个正样本而引起的数值回归冲突，设计了一种单正样本分配策略。单正样本的基本特征是，对于每个ground truth对象，只有一个与之对应的正锚点，该锚点在每个训练迭代中都会贡献损失函数的梯度。为了缓解前面讨论中提到的前景-背景分类和框回归之间的不一致性，提出了四种方法。实验表明，放弃中心先验可以最有效地缓解目标检测和回归之间的不一致性问题。这四种方法与以下相同的训练框架：

① 生成候选锚点：对于每个ground truth对象，创建一组候选锚点。

② 设计独特的成本：为每个候选锚点分配一个独特的成本。

③ 选择正样本：选择最合适的候选锚点作为正样本。

④ 计算损失：基于所选的正锚点计算损失结果。

这四种标签分配策略在流程中贡献了不同的创新。详细内容如下。

第一步是生成候选锚点。此步骤是所有四种标签分配策略的常用程序。根据公式 (1)，为每个 ground-truth 对象生成一个高斯分布 $\{G_k, k=1,\ldots,n\}$，并且多个对象形成一个高斯混合分布 G。通过设置一个固定阈值，可以获得每个高斯分布内的锚点，这些锚点被称为候选锚点。此步骤可以描述如下：

 $$ \boldsymbol{A}_{k}^{\boldsymbol{G}}=\mathcal{A}\cap\boldsymbol{G}_{k}, $$

---

其中，$A_k^G$ 表示 k 个 ground-truth 高斯分布中的所有候选锚点，$\mathcal{A}$ 表示 BEV 网格上的所有锚点，$\cap$ 表示交集运算。

第二步和第三步是为这些候选锚点设计独特的成本，然后选择一个作为正样本。在这些步骤中，前三种标签分配策略在设计上进行了改进：

- 第一种设计是基于直接索引的正样本分配 (DIPS)。如图 3(c) 所示，DIPS 将 ground-truth 对象的中心位置视为正锚点，然后对这些锚点进行前景-背景分类和框回归。DIPS 的样本分配是 CenterPoint [^8] 的标准设计，其成本和选择方式如下：

  $$ a_{k}=\frac{1}{n}\sum_{i=1}^{n}A_{k}^{G}. $$

该过程首先确定候选锚点是否位于$A_k^G$的中心。这里，n表示$k^{th}$对象的锚点数量。中心锚点$a_k$的位置是从所有候选锚点位置的平均位置计算得出。该值被计算并表示为$a_k$，如公式(7)所示。 接下来，使用一个二元掩码，符号为$\alpha$，以指示正样本的选择。该掩码根据以下规则赋值为1：

 $$ \alpha(a_{k})=1. $$

在建立 $\alpha$ 之后，用于框回归损失的位置被确定。然后，最终损失基于公式 (3) 计算，该公式是根据公式 (4) 和公式 (5) 对所有正样本获得的值的总和。

- 第二种方法被称为基于高斯区域的热图成本正样本分配 (GAHPS)。在该方法中，我们用评估每个锚点最大预测热图值来代替从确定 ground-truth 框的中心来计算成本。其余步骤，包括第一步和第四步，保持不变。首先，模型推断出预测的热图 $\boldsymbol{P}_{k}^{cls}$ 和框 $\boldsymbol{P}_{k}^{box}$，遵循公式 (9)。如图 3(d) 所示，红色渐变椭圆表示预测的高斯分布热图。此步骤描述如下：

  $$ \begin{array}{r}{\mathbf{P}_{k}^{c l s},\mathbf{P}_{k}^{b o x}=D e c o d e(\mathbf{F},\mathbf{A}_{k}^{\mathbf{\mathit{G}}}).}\end{array} $$

解码函数，记为 $\text{Decode}(\cdot)$，接收两个输入：特征图 F 和 k 个高斯分布中的锚点 $A_k^G$。与 DIPS 不同，成本设计为预测的热图，如以下公式所示：

 $$ \begin{array}{r}{C_{k}^{a}=P_{k}^{c l s}.}\end{array} $$

具有最高预测热图值的锚点被选择为正样本 $a_{k}$，如以下公式所示：

 $$ a_{k}=\mathop{a r g m a x}(C_{k}^{a}). $$

使用公式(9)、(10)和(11)来代替公式(7)。 之后，使用公式(8)计算二元掩码$\alpha$。 与第一种DIPS策略类似，最终损失也使用公式(3)、(4)和(5)计算。 然而，最终损失是基于此处建立的$\alpha$来确定的。

- 第三种方法被称为基于高斯面积的热图和IoU成本正样本分配（GAHIPS），如图3(e)所示。 在这种方法中，我们不仅仅是使用预测的热图值来替换成本。 而是将其替换为预测的热图值之和以及预测框和真实框之间的IoU值。 因此，第一步是计算预测边界框和真实边界框的IoU分数。 从方程(9)推导出的解码值$\boldsymbol{P}_k^{box}$用于计算与真实边界框$\boldsymbol{S}_k^{IoU}$相关的IoU分数$\boldsymbol{G}_k^{box}$：

  $$ \begin{array}{r}{\mathbf{S}_{k}^{I o U}=c o m p u t e I o U(\mathbf{P}_{k}^{b o x},\pmb{\mathcal{G}}_{k}^{b o x}).}\end{array} $$

随后，使用预测的热图值和IoU分数的总和，表示为$C_k^a$，用作新的成本，如所示：

 $$ \boldsymbol{C}_{k}^{a}=\boldsymbol{P}_{k}^{cls}+\boldsymbol{S}_{k}^{IoU}. $$

正样本锚点$a_{k}$然后使用方程(11)选择，二进制掩码$\alpha$也由方程(8)确定。 最后，与前述策略相同，最终损失仍然使用方程(3)计算，它是方程(5)和方程(4)的组合。

需要注意的是，尽管在DIPS、GAHPS和GAHIPS中确定$\alpha$的步骤不同，但计算最终损失的方法是相同的。 然而，由于前景-背景分类损失和框回归损失是相互独立的，这种最终损失的定义会导致上述两种损失之间存在一致性差距。 为了解决这个问题，提出了第四种设计。

- 第四种设计是基于高斯面积的一致热图和IoU成本正样本分配（GACHIPS），它是GAHIPS的一个变体。 GACHIPS遵循与GAHIPS相同的先前三个步骤，但修改了如3(f)所示的损失计算的最后一步。 通过这样做，前景-背景分类损失和框回归损失都由$\alpha$控制。 具体来说，应该用以下方程替换前面所示的前景-背景分类损失函数：

  $$ \begin{array}{r}{\mathrm{L}_{c l s}=\left\{\begin{array}{l l}{-\displaystyle\sum_{i,j=0}^{M}\alpha_{i,j}(1-p_{i,j})^{\gamma}l o g(p_{i,j})}&{\mathrm{i f~}\alpha_{i,j}=1,}\\ {-\displaystyle\sum_{i,j=0}^{M}p_{i,j}^{\gamma}l o g(1-p_{i,j})}&{\mathrm{o t h e r w i s e}.}\end{array}\right.}\end{array} $$

在推理过程中，关键步骤是从预测的热图中提取峰值。 我们设置一个静态阈值来选择每个锚点以生成相应的框，然后

---

![Image](images/e02729b2b67dd3d2084ef1b05e4ccd66f064ad8ebcdf94b9c84d556aeee2b729.jpg)

<div style="text-align: center;">(a). Direct Transformer for BEV Fusion</div>

<div style="text-align: center;">(b). Dense Query Map-based Interactive Transformer BEV Fusion</div>

<div style="text-align: center;">Fig. 4. Comparison of direct transformer for BEV fusion with dense query map-based interactive transformer for BEV fusion.</div>

NMS用于丢弃与置信度更高的框重叠的其他框，重叠程度由某个值决定。 需要注意的是，NMS仍然可以过滤掉一些从多个尺度的三个分支中估计的重叠边界框。 但是，由于采用了单正样本分配策略的无锚框方法，因此估计的边界框在单个尺度分支中很少重叠。

### C. 用于BEV中雷达和激光雷达的交互式Transformer

为了提高自动驾驶系统中传感器融合的性能，我们提出了一种新颖的方法，该方法超越了简单地连接来自每个传感器特征的传统方法。 标准的基于transformer[^57]的传统方法虽然简单，但其能力受到限制，无法有效地权衡来自每个传感器的特征。 因此，我们设计了一种创新的基于交互式transformer的BEV融合块，以更有效地融合来自两个传感器分支的数据。 在以下内容中，我们将描述用于比较目的的传统的基于transformer的融合方法，然后是我们的提出的交互式transformer融合方法。 我们的方法基于传统方法，但具有显著的创新。

传统的基于Transformer的融合方法，称为Direct Transformer for BEV Fusion，是一种基础方法，它使用一个简单的Transformer机制进行BEV融合。如图4(a)所示，它使用雷达特征图作为查询，而LiDAR特征图作为键和值。融合过程涉及通过查询和键的矩阵乘积计算权重矩阵，然后使用softmax函数进行归一化，最后对权重和值进行点积运算，并包含一个残差过程，该过程涉及值本身。这可以用以下数学表达式表示：

 $$ \boldsymbol{X}_{out}=\sigma(\boldsymbol{X}_{R}\boldsymbol{X}_{L}^{T})\odot\boldsymbol{X}_{L}+\boldsymbol{X}_{L}. $$

其中，X表示特征图，$\sigma(\cdot)$表示softmax函数，$\odot$表示逐元素乘法，$X_R, X_L$分别表示雷达和LiDAR特征图。这种基线方法证明了基于Transformer的BEV融合的初步有效性。

本文提出的方法，即基于密集查询图的交互式Transformer用于BEV融合（DQMITBF），基于传统的Direct Transformer的核心概念。然而，DQMITBF在查询机制方面引入了显著的变化。如图4(b)所示，该方法采用一个随机初始化、可学习的BEV查询，其大小与输入键特征图相同。它促进了该BEV查询与雷达和LiDAR特征图之间的交互式注意力，这些特征图分别被视为键和值。融合过程包括三个步骤：首先，计算BEV查询与雷达特征图之间的相关性，以实现雷达到LiDAR的交互。其次，使用softmax输出作为LiDAR特征图的权重因子。第三，将加权LiDAR特征图添加到原始LiDAR特征图。此过程针对LiDAR到雷达特征的融合而镜像，最终将融合的雷达和LiDAR特征图连接起来，以便进一步处理。该过程可以用以下简洁的表达式表示为公式(15)，该公式位于页面底部。在该公式中，$X_Q$是可学习的查询，$X_R$和$X_L$分别是雷达和LiDAR特征图，©表示连接过程。

DQMITBF架构通过BEV查询对称地与雷达和LiDAR特征进行交互，并在统一阶段将其集成。这种交互式查询允许模型优先考虑富含特征的分支，尤其是在不同的天气条件下。因此，这种新颖的方法以自适应的方式优化了异构传感器特征的加权和组合，从而提高了自动驾驶系统在不同场景中的有效性。

### D. 可扩展到其他感知任务

虽然RaLiBEV主要关注目标检测，但由于其灵活的基于Transformer的融合模块和密集BEV查询，它有可能推广到诸如实例和语义分割之类的任务。对于实例分割，可以扩展检测头部，使其包含一个掩码预测分支，对于语义分割，可以优化融合机制以进行像素级别的分类。RaLiBEV中的基于BEV的表示有效地捕获空间和

 $$ \boldsymbol{X}_{out}=(\sigma(\boldsymbol{X}_{Q}\boldsymbol{X}_{R}^{T})\odot\boldsymbol{X}_{L}+\boldsymbol{X}_{L})\textcircled{c}(\sigma(\boldsymbol{X}_{Q}\boldsymbol{X}_{L}^{T})\odot\boldsymbol{X}_{R}+\boldsymbol{X}_{R}) $$

---

<div style="text-align: center;">TABLE I</div>

<div style="text-align: center;">EXAMPLE LIST OF PR CURVE AT IOU = 0.5</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Scores</td><td style='text-align: center; word-wrap: break-word;'>0.98</td><td style='text-align: center; word-wrap: break-word;'>0.97</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.94</td><td style='text-align: center; word-wrap: break-word;'>0.92</td><td style='text-align: center; word-wrap: break-word;'>0.91</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Prediction Objects</td><td style='text-align: center; word-wrap: break-word;'>TP</td><td style='text-align: center; word-wrap: break-word;'>TP</td><td style='text-align: center; word-wrap: break-word;'>FP</td><td style='text-align: center; word-wrap: break-word;'>TP</td><td style='text-align: center; word-wrap: break-word;'>TP</td><td style='text-align: center; word-wrap: break-word;'>TP</td><td style='text-align: center; word-wrap: break-word;'>FP</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Precision</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>2/3</td><td style='text-align: center; word-wrap: break-word;'>3/4</td><td style='text-align: center; word-wrap: break-word;'>4/5</td><td style='text-align: center; word-wrap: break-word;'>5/6</td><td style='text-align: center; word-wrap: break-word;'>5/7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Recall</td><td style='text-align: center; word-wrap: break-word;'>1/5</td><td style='text-align: center; word-wrap: break-word;'>2/5</td><td style='text-align: center; word-wrap: break-word;'>2/5</td><td style='text-align: center; word-wrap: break-word;'>3/5</td><td style='text-align: center; word-wrap: break-word;'>4/5</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>1</td></tr></table>

几何关系，使其适用于这些密集预测任务。

### IV. 实现和结果

### A. 数据集和评估指标

ORR 数据集 [^1] 用于其同步的 LiDAR 点云、雷达范围方位图热图以及车辆运动姿态参数。LiDAR 数据由两个 Velodyne HDL-32E LiDAR 采集，雷达数据由一个 360° 视场的 NavTech CTS350-X 雷达采集。雷达角度分辨率为每 400 毫秒 0.9°，而 LiDAR 为每 20 毫秒 0.33°。

通过使用自车姿态进行插值，可以实现 LiDAR 和雷达数据之间的同步，以及标注生成 [^27]。姿态参数校正了不对齐，并且每 20 帧生成一个标注，中间帧通过插值。对于雾霾场景，MVDNet [^27] 使用 DEF [^51] 重新定位 LiDAR 点，并将雾概率设置为 0.05 以调整可见度。该数据集包含 8862 帧，其中 7071 帧用于训练，1791 帧用于测试。

评估使用不同 IoU 阈值下的 2D 旋转边界框平均精度 (AP)。AP 测量精度和召回率，较高的 AP 表示更好的性能。如果预测框与地面真实对象在 IoU 阈值之上重叠，则将其分类为真阳性 (TP)，如果低于该阈值，则为假阳性 (FP)。定义了精度和召回率：

 $$ \begin{aligned}Precision&=\frac{TP}{TP+FP},\\Recall&=\frac{TP}{TP+FN}.\end{aligned} $$

表 I 显示了 IoU = 0.5 时的 AP 计算结果。随着物体分数降低，精度降低，召回率增加。AP@IoU = 0.5 是精度-召回曲线下的面积，较高的值表示更好的模型性能。

### B. 实现细节

- 架构细节：LiDAR 数据的预处理基于 PointPillars 框架，其中使用 $0.2 \, m \times 0.2 \, m$ 的 BEV 空间分辨率。这会将非结构化的 LiDAR 点云转换为具有 $320 \times 320 \times 9$ 维度的结构化矩阵。类似地，雷达数据自然地以 $320 \times 320 \times 1$ 维度的 BEV 格式表示。

如图 2 所示，随后的卷积块包括一个 $3 \times 3$ 卷积层、一个批归一化层和一个 ReLU 激活层。此块重复 N = 3 次。经过卷积网络处理后，LiDAR 和雷达特征都转换为 $320 \times 320 \times 16$ 的形状。

<div style="text-align: center;">TABLE II</div>

<div style="text-align: center;">PARAMETERS OF PROPOSED NETWORK</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Parameters</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEV Resolution (m)</td><td style='text-align: center; word-wrap: break-word;'>$0.2 \times 0.2$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pre-process Feature Shape of Both Branch</td><td style='text-align: center; word-wrap: break-word;'>$320 \times 320$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LiDAR Pillar Feature Channel</td><td style='text-align: center; word-wrap: break-word;'>9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Radar Range-azimuth Feature Channel</td><td style='text-align: center; word-wrap: break-word;'>1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Fusion Module Input Feature Channel of LiDAR/Radar</td><td style='text-align: center; word-wrap: break-word;'>16/16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Fusion Module Output Feature Channel</td><td style='text-align: center; word-wrap: break-word;'>32</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Detection Head Scale Number</td><td style='text-align: center; word-wrap: break-word;'>3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Detection Head Channel Number</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr></table>

此预处理之后，LiDAR 和雷达特征输入到基于交互 Transformer 的 BEV 融合模块。在此模块中，使用预设的 BEV 查询对特征进行加权和融合，该查询也具有 $320 \times 320 \times 16$ 的形状。融合特征现在具有 $320 \times 320 \times 32$ 的维度，并将其传递到基于 YOLO-V4 的特征提取和检测网络。

YOLO-V4 主体由 Darknet-53 和一个三尺度检测头组成。在推理过程中，预测框从三尺度输出的无锚点头解码。应用 0.1 的静态阈值以提取峰值，这些峰值代表预测热图中关键点。从三尺度输出特征图生成框后，使用阈值设置为 0.2 的非最大抑制 (NMS) 来消除冗余框。

- 参数细节：我们提出的网络的参数详细信息见表 II。

• 训练过程细节：在训练过程中，使用批次大小为 32，使用四个 Nvidia Tesla V100S GPU。前两个 epoch 作为一个预热阶段，在此阶段学习率从 0 线性增加到 0.01。此后，每 10 个 epoch 学习率降低 0.1 倍。使用 ADAM 优化器进行优化。

### C. 实验结果和分析

1) 关于标签分配策略的消融研究：在 Oxford Radar RobotCar 数据集上进行的实验评估了所提出的策略，重点关注在 IoU 0.5、0.65 和 0.8 时的汽车 AP。

表 III 显示了 RaLiBEV 中不同标签分配策略和交互式转换器融合架构的结果。使用 YOLOv4 主干网络和颈部的基于高斯区域的多正样本分配策略作为基线。它在 IoU 0.5 时实现了 95.4% 的 AP，在 IoU 0.65 时实现了 94.2% 的 AP，都比 ST-MVDNet++ [^58] 提高了 2.2%，但在 IoU 0.8 时下降了 5.8%，为 75.7%，而 ST-MVDNet++ 的 AP 分别为 93.2%、92.0% 和 81.5%。

DIPS 分配策略在 IoU 0.5 和 0.65 时仅显示了 0.7% - 0.9% 的小幅改进，但在 IoU 0.8 时提高了 6%。GAHPS 策略进一步提高了高精度 AP，提高了 5%，在 IoU 0.8 时达到 89.5%。GAHPS 策略在 IoU 0.5 时保持了相似的性能，但在 IoU 0.8 时显着提高了 AP，提高了 10.5%，达到 92.0%。GACHIPS 策略使用热图

---

<div style="text-align: center;">TABLE III</div>

<div style="text-align: center;">ABLATION STUDY OF LABEL ASSIGNMENT METHODS</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>AP@IoU=0.5</td><td style='text-align: center; word-wrap: break-word;'>AP@IoU=0.65</td><td style='text-align: center; word-wrap: break-word;'>AP@IoU=0.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Gaussian Area-based Multi-Positives Sample Assignment</td><td style='text-align: center; word-wrap: break-word;'>95.4</td><td style='text-align: center; word-wrap: break-word;'>94.2</td><td style='text-align: center; word-wrap: break-word;'>75.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Direct Index-based Positive Sample assignment (DIPS)</td><td style='text-align: center; word-wrap: break-word;'>96.3</td><td style='text-align: center; word-wrap: break-word;'>94.9</td><td style='text-align: center; word-wrap: break-word;'>84.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Gaussian Area-based Heatmap cost Positive Sample assignment (GAHPS)</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>95.4</td><td style='text-align: center; word-wrap: break-word;'>89.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Gaussian Area-based Heatmap and IoU cost Positive Sample assignment (GAHIPS)</td><td style='text-align: center; word-wrap: break-word;'>96.8</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>92.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Gaussian Area-based Consistent Heatmap and IoU cost Positive Sample assignment (GACHIPS)</td><td style='text-align: center; word-wrap: break-word;'>97.4</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>93.9</td></tr></table>

<div style="text-align: center;">TABLE IV</div>

<div style="text-align: center;">ABLATION STUDY OF FUSION METHODS. (w/O: WITHOUT)</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Query</td><td style='text-align: center; word-wrap: break-word;'>Key</td><td style='text-align: center; word-wrap: break-word;'>Value</td><td style='text-align: center; word-wrap: break-word;'>AP@IoU=0.5</td><td style='text-align: center; word-wrap: break-word;'>AP@IoU=0.65</td><td style='text-align: center; word-wrap: break-word;'>AP@IoU=0.8</td></tr><tr><td rowspan="2">DQMITBF</td><td rowspan="2">BEV Query</td><td style='text-align: center; word-wrap: break-word;'>L</td><td style='text-align: center; word-wrap: break-word;'>R</td><td rowspan="2">98.8</td><td rowspan="2">97.7</td><td rowspan="2">94.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>L</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>One Side 1</td><td style='text-align: center; word-wrap: break-word;'>BEV Query</td><td style='text-align: center; word-wrap: break-word;'>L</td><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>97.9</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>93.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>One Side 2</td><td style='text-align: center; word-wrap: break-word;'>BEV Query</td><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>L</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>97.5</td><td style='text-align: center; word-wrap: break-word;'>92.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o BEV Query</td><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>L</td><td style='text-align: center; word-wrap: break-word;'>L</td><td style='text-align: center; word-wrap: break-word;'>96.3</td><td style='text-align: center; word-wrap: break-word;'>94.7</td><td style='text-align: center; word-wrap: break-word;'>84.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o Transformer</td><td style='text-align: center; word-wrap: break-word;'>/</td><td style='text-align: center; word-wrap: break-word;'>/</td><td style='text-align: center; word-wrap: break-word;'>/</td><td style='text-align: center; word-wrap: break-word;'>96.2</td><td style='text-align: center; word-wrap: break-word;'>94.0</td><td style='text-align: center; word-wrap: break-word;'>82.0</td></tr></table>

和 IoU 作为成本，进一步将 AP 提高到 IoU 0.5 时的 97.4% 和 IoU 0.8 时的 93.9%。

实验表明，多正样本策略可能会对高精度性能产生不利影响，因为存在样本之间的竞争。该策略涉及为同一对象计算多个损失，从而引入了不一致性，尤其是在 $\Delta x$ 和 $\Delta y$ 值方面，从而阻碍了最佳的收敛。

在传统的图像检测中，多正样本策略可以提高重叠条件下的检测率。但是，这种方法不适用于自动驾驶中的 BEV 感知，因为目标通常不重叠。通过假设单个正样本点，消除了样本之间的竞争，使模型能够专注于单个的收敛点。然而，这可能会导致前景-背景分类和边界框回归之间的不匹配，从而限制了峰值性能。DIPS 策略使用固定的目标中心来计算框回归损失，这可能与推理过程中最佳的分类点不一致，从而导致由于分类-回归不一致而产生精度损失。

GAHPS 策略通过使用推理热图中的峰值点作为训练期间的框回归锚点，解决了这个问题，从而提高了性能。与 DIPS 相比，GAHPS 在 IoU 0.8 处提高了 5% 的精度。

通过将 IoU 与热图集成以进一步改进成本设计，可以获得额外的精度提升。GACHIPS 比 GAHPS 在 IoU 0.8 处提高了 2.5%。在此基础上，GACHIPS 允许所选的正样本同时管理分类和回归损失，从而最大限度地提高一致性。它使用推理过程中获得的最佳锚点进行训练和计算损失，以及在推理过程中解码最佳检测框，从而统一了分类和回归，并使训练和推理阶段对齐。这种方法实现了最高的精度，在 IoU 0.8 处达到 93.9%。

2) 关于基于交互式转换器的 BEV 融合方法的消融研究：为了验证我们提出的方法的有效性，与其他融合方法进行比较。表 IV 中呈现了多个不同融合方法的对照组。

如图 (15) 和图 4 所示，我们提出的方法采用了一个对称的数据交互融合模块。 该模块由两部分对称结构组成：其中一部分以 LiDAR 为关键，以雷达为值，另一部分以雷达为关键，以 LiDAR 为值。 因此，我们设计了消融研究，以评估每个融合侧的功能、BEV Query 的有效性以及 Transformer 架构的影响。

根据表 IV 中呈现的结果，可以总结如下：基于 Transformer 的对称交互传感器融合算法在目标检测方面实现了最高的性能。

• 对称融合架构：在最初的两项消融研究中，分别命名为“一侧 1”和“一侧 2”，验证了对称交互融合设计的有效性。 当仅使用交互融合的其中一侧时，模型的性能无法达到最佳水平，这表明对称架构是必要的。

- BEV Query：在第三次实验中，移除了 BEV Query，导致在 AP@IoU = 0.8 的情况下，性能明显下降。 这表明 BEV Query 在模型满足更高精度要求方面起着重要作用。

- Transformer 模块：在最后一次实验中，用一个简单的连接过程替换了 Transformer 融合模块。 这种替换导致模型的整体性能明显下降，这突出了 Transformer 架构在所提出的设计中的关键作用。

这些消融研究共同证明了对称交互融合模块、BEV Query 和 Transformer 架构在实现卓越的目标检测性能方面的重要性。

为了更直观地展示 DQMITBF 的有效性，可视化了交互 Transformer 融合模块中两个选定的帧的特征图，如图 5 所示。 在图 5 中，前两行对应于第 2799 帧，后两行对应于第 3299 帧，这些帧是随机选择的。 每个帧都包含清晰和雾天条件的选择，以便进行分析。 对于每一列，都展示了特征图 $X_Q, X_R, X_L, X_Q X_R^T$ 和 $X_Q X_L^T$，以便进行视觉

---

<div style="text-align: center;">TABLE V</div>

<div style="text-align: center;">COMPARISON OF LIDAR ONLY APPROACHES AND RALIBEV WHICH EMPLOYS FUSION OF RADAR AND LIDAR. THE NUMBERS IN BOLD ARE THE BEST OF ALL METHODS</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="3">Method</td><td colspan="2">Train</td><td colspan="6">Clear+Foggy</td><td colspan="6">Clear-Only</td></tr><tr><td colspan="2">Test</td><td style='text-align: center; word-wrap: break-word;'>Modality</td><td colspan="3">Clear</td><td colspan="2">Foggy</td><td colspan="3">Clear</td><td colspan="3">Foggy</td></tr><tr><td colspan="2">IoU</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td></tr><tr><td colspan="3">PointPillars [^9]</td><td style='text-align: center; word-wrap: break-word;'>85.8</td><td style='text-align: center; word-wrap: break-word;'>83.0</td><td style='text-align: center; word-wrap: break-word;'>58.3</td><td style='text-align: center; word-wrap: break-word;'>72.8</td><td style='text-align: center; word-wrap: break-word;'>70.3</td><td style='text-align: center; word-wrap: break-word;'>48.6</td><td style='text-align: center; word-wrap: break-word;'>85.8</td><td style='text-align: center; word-wrap: break-word;'>82.9</td><td style='text-align: center; word-wrap: break-word;'>60.6</td><td style='text-align: center; word-wrap: break-word;'>71.3</td><td style='text-align: center; word-wrap: break-word;'>68.3</td><td style='text-align: center; word-wrap: break-word;'>47.8</td></tr><tr><td colspan="3">RaLiBEV LiDAR-Only</td><td style='text-align: center; word-wrap: break-word;'>96.3</td><td style='text-align: center; word-wrap: break-word;'>93.8</td><td style='text-align: center; word-wrap: break-word;'>78.3</td><td style='text-align: center; word-wrap: break-word;'>92.2</td><td style='text-align: center; word-wrap: break-word;'>88.3</td><td style='text-align: center; word-wrap: break-word;'>74.4</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>96.4</td><td style='text-align: center; word-wrap: break-word;'>87.5</td><td style='text-align: center; word-wrap: break-word;'>68.2</td><td style='text-align: center; word-wrap: break-word;'>62.7</td><td style='text-align: center; word-wrap: break-word;'>40.2</td></tr><tr><td colspan="3">RaLiBEV with GACHIPS (Ours)</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>93.9</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>93.7</td><td style='text-align: center; word-wrap: break-word;'>97.4</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>93.9</td><td style='text-align: center; word-wrap: break-word;'>84.6</td><td style='text-align: center; word-wrap: break-word;'>82.4</td><td style='text-align: center; word-wrap: break-word;'>73.8</td></tr><tr><td colspan="3">RaLiBEV with DQMITBF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>95.1</td><td style='text-align: center; word-wrap: break-word;'>97.9</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>94.1</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>94.8</td><td style='text-align: center; word-wrap: break-word;'>83.3</td><td style='text-align: center; word-wrap: break-word;'>80.3</td><td style='text-align: center; word-wrap: break-word;'>70.6</td></tr></table>

![Image](images/6e75690533fde39fbc41328d7d8270ba3deb315772c628e7e0518eccbfe09558.jpg)

<div style="text-align: center;">Fig. 5. Interactive transformer feature map visualization results. Above two rows and below two rows represent model performance in different scenarios.</div>

理解。 此外，所有特征图都归一化到范围 [^0] [^1] 中，以获得一致的表示。

使用统一的 BEV Query $X_Q$，输入雷达特征图 $X_R$ 和 LiDAR 特征图 $X_L$ 分别加权为 $X_Q X_R^T$ 和 $X_Q X_L^T$，随后生成一个融合特征以进行进一步处理。 可以观察到，$X_Q$ 在不同天气条件下以不同的方式处理雷达和 LiDAR 特征。 在晴朗的天气中，数值上 $X_Q X_L^T$ 明显大于 $X_Q X_R^T$。 然而，在雾天条件下，输入 $X_L$ 受噪声的显著影响，导致 $X_Q X_R^T$ 大于 $X_Q X_L^T$。 从这些观察结果，我们可以得出以下结论：

- 该方法使用交互 Transformer 以统一的方式聚合来自 LiDAR 和雷达分支的数据。

- 交互 Transformer 中的 BEV Query 可以在不同天气条件下关注更多信息丰富的信号。

此外，如图 5 所示，输入 $X_L$ 和 $X_R$ 类似于原始数据，而 $X_Q$ 未针对特定对象区域进行优化。 这是因为交互式变换器融合模块在编码过程的早期阶段运行，此时数据特征存在于原始能量分布空间中，而不是位于框的位置特征空间中。

实验结果表明，合理的融合逻辑可以显著提高 RaLiBEV 的性能。 虽然特征图之间的直接变换器融合可以提高性能，但基于交互式变换器的概念由于其创新的查询融合方法，可以获得更好的结果，该方法为模型引入了对称性和统一性。

3) 多模态数据融合的消融研究：为了突出多模态融合的优势，表 V 比较了仅使用 LiDAR 和融合雷达和 LiDAR 的性能指标。 比较结果表明，仅使用 LiDAR 的 RaLiBEV 也无法与雷达和 LiDAR 融合所实现的性能水平相匹配。 这种提升在雾天情况下尤为明显。 当在“晴朗+雾天”数据集上进行训练时，雷达和 LiDAR 融合模式下的 RaLiBEV（标记为“R+L”）表现出卓越的性能，尤其是在“雾天”测试场景下，需要达到 0.8 的 IoU。

“仅晴朗”训练实验评估了模型的鲁棒性。 表 V 证明了在“雾天”条件下，GACHIPS 略优于 DQMITBF，并且在各种阈值下都观察到 IoU 的提升。 尽管如此，这两个模型在训练数据中不存在的“雾天”条件下都表现出显著的性能下降。 这种下降源于它们处理新雾天数据的能力有限，其中 DQMITBF 受影响尤为明显，因为它依赖于 LiDAR 数据，因此容易受到大气噪声的影响。 这些结果强调了在各种条件下进行训练的必要性，如实验中包含的“晴朗”和“雾天”数据，以增强模型的鲁棒性和适应性。

4) 在不同天气条件下与最先进方法的性能比较：本研究，参考 MVDNet [^27]，评估了模型在不同天气条件下的性能，详细信息见表 VI。 我们使用 MVDNet 的方法来模拟雾天 LiDAR 数据，以比较在“仅晴朗”和“晴朗+雾天”数据上进行训练，与“晴朗”和“雾天”测试场景的性能。 重点介绍了两个表现出色的模型，即 GACHIPS 和 DQMITBF。 GACHIPS 在“晴朗”训练和“雾天”测试中优于 DQMITBF，在数据增强后性能提高了 10%。 具体来说，GACHIPS 的性能在“雾天”测试中分别达到 97.8%、96.7% 和 93.7%，优于 ST-MVDNet [^28] 超过 20%，优于 Bi-LRFusion [^60] 20.7% 的 IoU。 此外，在“晴朗+雾天”训练和“雾天”测试下，RaLiBEV 在 IoU 0.5、0.65 和 0.8 分别提高了 4.4%、7.8% 和 19.0%，优于 ST-MVDNet++ [^58]。 这些结果表明，在恶劣天气条件下，RaLiBEV 的准确性更高，这得益于其融合逻辑和标签分配策略。

---

<div style="text-align: center;">TABLE VI</div>

<div style="text-align: center;">COMPARISON OF AP OF ORIENTED BOUNDING BOXES IN BIRD'S EYE VIEW BETWEEN OUR PROPOSED RALIBEV AND OTHER STATE-OF-THE-ART RADAR AND LIDAR FUSION-BASED METHODS. THE NUMBERS IN BOLD ARE THE BEST OF ALL METHODS</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="3">Method</td><td style='text-align: center; word-wrap: break-word;'>Train</td><td rowspan="3">Modality</td><td colspan="6">Clear+Foggy</td><td colspan="6">Clear-Only</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Test</td><td colspan="3">Clear</td><td colspan="3">Foggy</td><td colspan="3">Clear</td><td colspan="3">Foggy</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IoU</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.65</td><td style='text-align: center; word-wrap: break-word;'>0.8</td></tr><tr><td colspan="2">DEF (CVPR 2020 [^51])</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>86.6</td><td style='text-align: center; word-wrap: break-word;'>78.2</td><td style='text-align: center; word-wrap: break-word;'>46.2</td><td style='text-align: center; word-wrap: break-word;'>81.4</td><td style='text-align: center; word-wrap: break-word;'>72.5</td><td style='text-align: center; word-wrap: break-word;'>41.1</td><td style='text-align: center; word-wrap: break-word;'>85.9</td><td style='text-align: center; word-wrap: break-word;'>78.1</td><td style='text-align: center; word-wrap: break-word;'>44.2</td><td style='text-align: center; word-wrap: break-word;'>71.8</td><td style='text-align: center; word-wrap: break-word;'>63.7</td><td style='text-align: center; word-wrap: break-word;'>32.4</td></tr><tr><td colspan="2">MVDNet (CVPR 2021 [^27])</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>90.9</td><td style='text-align: center; word-wrap: break-word;'>88.8</td><td style='text-align: center; word-wrap: break-word;'>74.6</td><td style='text-align: center; word-wrap: break-word;'>87.4</td><td style='text-align: center; word-wrap: break-word;'>84.6</td><td style='text-align: center; word-wrap: break-word;'>68.9</td><td style='text-align: center; word-wrap: break-word;'>87.2</td><td style='text-align: center; word-wrap: break-word;'>86.1</td><td style='text-align: center; word-wrap: break-word;'>72.6</td><td style='text-align: center; word-wrap: break-word;'>78.0</td><td style='text-align: center; word-wrap: break-word;'>75.9</td><td style='text-align: center; word-wrap: break-word;'>61.6</td></tr><tr><td colspan="2">TransFusion (T-ITS 2024 [^53])</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>91.8</td><td style='text-align: center; word-wrap: break-word;'>89.6</td><td style='text-align: center; word-wrap: break-word;'>75.4</td><td style='text-align: center; word-wrap: break-word;'>88.6</td><td style='text-align: center; word-wrap: break-word;'>85.3</td><td style='text-align: center; word-wrap: break-word;'>70.0</td><td style='text-align: center; word-wrap: break-word;'>88.2</td><td style='text-align: center; word-wrap: break-word;'>87.2</td><td style='text-align: center; word-wrap: break-word;'>74.0</td><td style='text-align: center; word-wrap: break-word;'>79.1</td><td style='text-align: center; word-wrap: break-word;'>76.3</td><td style='text-align: center; word-wrap: break-word;'>63.2</td></tr><tr><td colspan="2">Bi-LRFusion (CVPR 2023 [^60])</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>92.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>74.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td colspan="2">ST-MVDNet (CVPR 2022 [^28])</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>94.7</td><td style='text-align: center; word-wrap: break-word;'>93.5</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>91.8</td><td style='text-align: center; word-wrap: break-word;'>88.3</td><td style='text-align: center; word-wrap: break-word;'>73.6</td><td style='text-align: center; word-wrap: break-word;'>91.4</td><td style='text-align: center; word-wrap: break-word;'>89.9</td><td style='text-align: center; word-wrap: break-word;'>78.4</td><td style='text-align: center; word-wrap: break-word;'>81.2</td><td style='text-align: center; word-wrap: break-word;'>80.8</td><td style='text-align: center; word-wrap: break-word;'>64.9</td></tr><tr><td colspan="2">ST-MVDNet++ (ICASSP 2023 [^58])</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>96.0</td><td style='text-align: center; word-wrap: break-word;'>94.7</td><td style='text-align: center; word-wrap: break-word;'>82.0</td><td style='text-align: center; word-wrap: break-word;'>93.4</td><td style='text-align: center; word-wrap: break-word;'>90.0</td><td style='text-align: center; word-wrap: break-word;'>75.1</td><td style='text-align: center; word-wrap: break-word;'>93.2</td><td style='text-align: center; word-wrap: break-word;'>92.0</td><td style='text-align: center; word-wrap: break-word;'>81.5</td><td style='text-align: center; word-wrap: break-word;'>83.7</td><td style='text-align: center; word-wrap: break-word;'>83.2</td><td style='text-align: center; word-wrap: break-word;'>67.5</td></tr><tr><td colspan="2">RaLiBEV with GACHIPS (Ours)</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>93.9</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>93.7</td><td style='text-align: center; word-wrap: break-word;'>97.4</td><td style='text-align: center; word-wrap: break-word;'>96.7</td><td style='text-align: center; word-wrap: break-word;'>93.9</td><td style='text-align: center; word-wrap: break-word;'>84.6</td><td style='text-align: center; word-wrap: break-word;'>82.4</td><td style='text-align: center; word-wrap: break-word;'>73.8</td></tr><tr><td colspan="2">RaLiBEV with DQMITBF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>L+R</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>95.1</td><td style='text-align: center; word-wrap: break-word;'>97.9</td><td style='text-align: center; word-wrap: break-word;'>97.8</td><td style='text-align: center; word-wrap: break-word;'>94.1</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>97.7</td><td style='text-align: center; word-wrap: break-word;'>94.8</td><td style='text-align: center; word-wrap: break-word;'>83.3</td><td style='text-align: center; word-wrap: break-word;'>80.3</td><td style='text-align: center; word-wrap: break-word;'>70.6</td></tr></table>

![Image](images/0d264cfd22f35b30363bd49e9b4562e51a5631a7fb2daa2d8e20d22ad11d99c0.jpg)

![Image](images/2d8e34387a90999ff2c4093c20495ed9623593428d638ba67e90822c62f672f1.jpg)

![Image](images/a8bc8f97e6dd4ad65274379b4d8ba92cb71ceda32454e18af55d5694107ecd30.jpg)

![Image](images/9fafc94b6e863462236646b9792d13ddff13564b554d7252d49c0e4c76190c55.jpg)

![Image](images/5cb92e86535b2aa86d068080df6c0e474f9c41698f027ccc41dc5697eaa0533b.jpg)

<div style="text-align: center;">Ground-truth</div>

![Image](images/e8efe634d1492dc51a48dfeecb76c5d5c8d430941e6be255cceb8d19ff8a0818.jpg)

<div style="text-align: center;">MVDNet</div>

![Image](images/69d305b877fa6865744683da3b4838ce2f89267912cc0b2b18653da0a104b31a.jpg)

![Image](images/8d3e3f73ce85546adb76efeab7adcf600e6db509d7e2c3704a2c7f22c8910d14.jpg)

<div style="text-align: center;">RaLiBEV (Foggy)</div>

<div style="text-align: center;">Fig. 6. Visualization of detection results of MVDNet and RaLiBEV.</div>

图 6 比较了在清晰和雾天条件下，MVDNet 和 RaLiBEV 在 $3332^{th}$ 和 $4103^{th}$ 帧中的真实值和预测结果。真实值框为黄色，预测框为红色，对象标题为绿色线。即使在晴朗天气下，MVDNet 的预测结果在第一行显示了 3 个遗漏和 4 个不正确的标题，在第二行显示了 1 个误报和 2 个标题错误。相反，RaLiBEV 在清晰条件下实现了完美检测，并且在雾天条件下只有一个误报，没有标题错误，适用于两个帧。

## V. 结论

在本文中，我们介绍了 RaLiBEV，这是一种融合激光雷达和雷达数据的创新方法。根据实验结果，该方法有效展示了雷达在融合自动驾驶感知技术中的重要作用，尤其是在恶劣天气条件下。为了提高模型的性能，特别是对于高精度检测，提出了新的标签分配和基于 Transformer 的融合策略。具体来说，提出了 GACHIPS 策略，用于动态调整分类和回归的正样本位置，以解决损失过程中的不一致问题。同时，提出了 DQMITBF 策略，用于动态聚合来自不同传感器数据的加权特征。由于密集的可学习 BEV 查询与雷达和激光雷达以对称方式进行交互，RaLiBEV 可以根据环境和天气条件的改变，自适应地将重点放在不同的传感器模态上。值得注意的是，将 GACHIPS 标签分配集成到更简单的融合架构中，使模型能够实现与更复杂的基于 Transformer 的融合方法相当的性能。在 ORR 数据集上的实验表明，RaLiBEV 显著优于现有的最先进方法。

虽然我们的方法在模拟的雾天环境中表现出色，但在给定数据集上，重要的是要认识到模拟和实际天气条件之间的差距，后者通常更复杂和具有挑战性。为了进一步改进此类算法，收集和标注在恶劣天气条件下收集的实际数据至关重要。

---

此外，未来的研究可以侧重于集成多模态传感器信息，例如 3D 空间结构、几何布局和语义信息，以提高在恶劣天气下的驾驶安全性。为了提高模型效率，可以使用稀疏计算技术。用通过可变形 Transformer 过程实现的稀疏查询替换当前融合架构中的密集 BEV 查询，可以显著降低计算开销，同时保持对融合过程中关键信息的关注。动态标签分配可以通过在训练过程中逐渐减少候选锚点数量来进一步改进。此外，可以通过闭环测试来提高融合模块的鲁棒性。同样，可以通过结合多个对象类别来提高标签分配模块的鲁棒性，从而提高在各种场景中的性能。这些方面代表了未来探索的重要方向。

## 参考文献

[^1]: D. Barnes, M. Gadd, P. Murcutt, P. Newman, and I. Posner, “The Oxford radar RobotCar dataset: A radar extension to the Oxford RobotCar dataset,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), Aug. 2020, pp. 6433–6438.

[^2]: A. Li, S. Chen, L. Sun, N. Zheng, M. Tomizuka, and W. Zhan, “SceGene: Bio-inspired traffic scenario generation for autonomous driving testing,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 9, pp. 14859–14874, Sep. 2022.

[^3]: Z. Wang, L. Zhang, S. Zhao, and Y. Zhou, “Global localization in large-scale point clouds via roll-pitch-yaw invariant place recognition and low-overlap global registration,” IEEE Trans. Circuits Syst. Video Technol., vol. 34, no. 5, pp. 3846–3859, May 2024.

[^4]: D. J. Fremont et al., “Formal scenario-based testing of autonomous vehicles: From simulation to the real world,” in Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–8.

[^5]: X. Zhu et al., “Interaction-aware cut-in trajectory prediction and risk assessment in mixed traffic,” IEEE/CAA J. Autom. Sinica, vol. 9, no. 10, pp. 1752–1762, Oct. 2022.

[^6]: L. Chen, X. Hu, W. Tian, H. Wang, D. Cao, and F.-Y. Wang, “Parallel planning: A new motion planning framework for autonomous driving,” IEEE/CAA J. Autom. Sinica, vol. 6, no. 1, pp. 236–246, Jan. 2019.

[^7]: S. Chen, B. Liu, C. Feng, C. Vallespi-Gonzalez, and C. Wellington, "3D point cloud processing and learning for autonomous driving: Impacting map creation, localization, and perception," IEEE Signal Process. Mag., vol. 38, no. 1, pp. 68–86, Jan. 2021.

[^8]: T. Yin, X. Zhou, and P. Krahenbuhl, “Center-based 3D object detection and tracking,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 11784–11793.

[^9]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "PointPillars: Fast encoders for object detection from point clouds," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 12697–12705.

[^10]: J. Liu, L. Bai, Y. Xia, T. Huang, B. Zhu, and Q.-L. Han, “GNN-PMB: A simple but effective online 3D multi-object tracker without bells and whistles,” IEEE Trans. Intell. Vehicles, vol. 8, no. 2, pp. 1176–1189, Feb. 2023.

[^11]: G. Ding, J. Liu, Y. Xia, T. Huang, B. Zhu, and J. Sun, "LiDAR point cloud-based multiple vehicle tracking with probabilistic measurement-region association," 2024, arXiv:2403.06423.

[^12]: Y. Yuan et al., “Learning discriminative features via multi-hierarchical mutual information for unsupervised point cloud registration,” IEEE Trans. Circuits Syst. Video Technol., vol. 34, no. 9, pp. 8343–8354, Sep. 2024.

[^13]: Y. Yuan et al., “Learning compact transformation based on dual quaternion for point cloud registration,” IEEE Trans. Instrum. Meas., vol. 73, pp. 1–12, 2024.

[^14]: Y. Yuan, Y. Wu, X. Fan, M. Gong, W. Ma, and Q. Miao, "EGST: Enhanced geometric structure transformer for point cloud registration," IEEE Trans. Vis. Comput. Graphics, vol. 30, no. 9, pp. 6222–6234, Sep. 2024.

[^15]: L. Wang et al., “Multi-modal 3D object detection in autonomous driving: A survey and taxonomy,” IEEE Trans. Intell. Vehicles, vol. 8, no. 7, pp. 3781–3798, Jul. 2023.

[^16]: X. Chang, H. Pan, W. Sun, and H. Gao, "A multi-phase camera-LiDAR fusion network for 3D semantic segmentation with weak supervision," IEEE Trans. Circuits Syst. Video Technol., vol. 33, no. 8, pp. 3737–3746, Aug. 2023.

[^17]: Z. Lu, B. Cao, and Q. Hu, "LiDAR-camera continuous fusion in voxelized grid for semantic scene completion," IEEE Trans. Circuits Syst. Video Technol., early access, Jul. 29, 2024, doi:10.1109/TCSVT.2024.3435045.

[^18]: A. Singha and M. K. Bhowmik, “Salient features for moving object detection in adverse weather conditions during night time,” IEEE Trans. Circuits Syst. Video Technol., vol. 30, no. 10, pp. 3317–3331, Oct. 2020.

[^19]: M. Dreissig, D. Scheuble, F. Piewak, and J. Boedecker, “Survey on LiDAR perception in adverse weather conditions,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2023, pp. 1–8.

[^20]: A. Chen, X. Wang, K. Shi, Y. Huo, J. Chen, and Q. Ye, “Towards weather-robust 3D human body reconstruction: Millimeter-wave radar-based dataset, benchmark, and multi-modal fusion,” IEEE Trans. Circuits Syst. Video Technol., early access, Sep. 16, 2024, doi:10.1109/TCSVT.2024.3461960.

[^21]: S. Sun, A. P. Petropulu, and H. V. Poor, “MIMO radar for advanced driver-assistance systems and autonomous driving: Advantages and challenges,” IEEE Signal Process. Mag., vol. 37, no. 4, pp. 98–117, Jul. 2020.

[^22]: T. Huang et al., “V2X cooperative perception for autonomous driving: Recent advances and challenges,” 2023, arXiv:2310.03525.

[^23]: J. Liu, Q. Zhao, W. Xiong, T. Huang, Q.-L. Han, and B. Zhu, "SMURF: Spatial multi-representation fusion for 3D object detection with 4D imaging radar," IEEE Trans. Intell. Vehicles, vol. 9, no. 1, pp. 799–812, Jan. 2024.

[^24]: L. Zheng et al., "RCFusion: Fusing 4-D radar and camera with bird's-eye view features for 3-D object detection," IEEE Trans. Instrum. Meas., vol. 72, pp. 1–14, 2023.

[^25]: W. Xiong, J. Liu, T. Huang, Q.-L. Han, Y. Xia, and B. Zhu, "LXL: LiDAR excluded lean 3D object detection with 4D imaging radar and camera fusion," IEEE Trans. Intell. Vehicles, vol. 9, no. 1, pp. 79–92, Jan. 2024.

[^26]: J. Liu et al., “Which framework is suitable for online 3D multi-object tracking for autonomous driving with automotive 4D imaging radar?” 2023, arXiv:2309.06036.

[^27]: K. Qian, S. Zhu, X. Zhang, and L. E. Li, “Robust multimodal vehicle detection in foggy weather using complementary LiDAR and radar signals,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 444–453.

[^28]: Y.-J. Li, J. Park, M. O'Toole, and K. Kitani, "Modality-agnostic learning for radar-LiDAR fusion in vehicle detection," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 918–927.

[^29]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 652–660.

[^30]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Annu. Conf. Neural Inf. Process. Syst. (NeurIPS), 2017, pp. 5099–5108.

[^31]: D. Maturana and S. Scherer, "VoxNet: A 3D convolutional neural network for real-time object recognition," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2015, pp. 922–928.

[^32]: C. He, R. Li, S. Li, and L. Zhang, “Voxel set transformer: A set-to-set approach to 3D object detection from point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8417–8427.

[^33]: W. Shi and R. Rajkumar, “Point-GNN: Graph neural network for 3D object detection in a point cloud,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 1711–1719.

[^34]: J. S. K. Hu, T. Kuai, and S. L. Waslander, “Point density-aware voxels for LiDAR 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 8469–8478.

## [^35]: A. Laddha, S. Gautam, S. Palombo, S. Pandey, and C. Vallespi-Gonzalez, "MVFuseNet: Improving end-to-end object detection and motion forecasting through multi-view fusion of LiDAR data," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2021, pp. 2859–2868

---

[^36]: M. Kronauge and H. Rohling, “Fast two-dimensional CFAR procedure,” IEEE Trans. Aerosp. Electron. Syst., vol. 49, no. 3, pp. 1817–1823, Jul. 2013.

[^37]: S. Lim, S. Lee, and S.-C. Kim, "Clustering of detected targets using DBSCAN in automotive radar systems," in Proc. 19th Int. Radar Symp. (IRS), Jun. 2018, pp. 1–7.

[^38]: J. Liu et al., “Deep instance segmentation with automotive radar detection points,” IEEE Trans. Intell. Vehicles, vol. 8, no. 1, pp. 84–94, Jan. 2023.

[^39]: W. Xiong, J. Liu, Y. Xia, T. Huang, B. Zhu, and W. Xiang, “Contrastive learning for automotive mmWave radar detection points based instance segmentation,” in Proc. IEEE 25th Int. Conf. Intell. Transp. Syst. (ITSC), Oct. 2022, pp. 1255–1261.

[^40]: A. Danzer, T. Griebel, M. Bach, and K. Dietmayer, “2D car detection in radar data with PointNets,” in Proc. IEEE Intell. Transp. Syst. Conf. (ITSC), Oct. 2019, pp. 61–66.

[^41]: M. Dreher, E. Ercelik, T. Bänziger, and A. Knoll, “Radar-based 2D car detection using deep neural networks,” in Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–8.

[^42]: P. Svenningsson, F. Fioranelli, and A. Yarovoy, "Radar-PointGNN: Graph based object recognition for unstructured radar point-cloud data," in Proc. IEEE Radar Conf., May 2021, pp. 1–6.

[^43]: M. Meyer, G. Kuschk, and S. Tomforde, “Graph convolutional networks for 3D object detection on radar data,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. Workshops (ICCVW), Oct. 2021, pp. 3053–3062.

[^44]: K. Patel, K. Rambach, T. Visentin, D. Rusev, M. Pfeiffer, and A. B. Yang, “Deep learning-based object classification on automotive radar spectra,” in Proc. IEEE Radar Conf., Apr. 2019, pp. 1–6.

[^45]: A.-E. Cozma, L. Morgan, M. Stolz, D. Stoeckel, and K. Rambach, “DeepHybrid: Deep learning on automotive radar spectra and reflections for object classification,” in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 2682–2687.

[^46]: B. Major et al., “Vehicle detection with automotive radar using deep learning on range-azimuth-Doppler tensors,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. Workshop (ICCVW), Oct. 2019, pp. 924–932.

[^47]: C. Decourt, R. VanRullen, D. Salle, and T. Oberlin, “DAROD: A deep automotive radar object detector on range-Doppler maps,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2022, pp. 112–118.

[^48]: C. Decourt, R. VanRullen, D. Salle, and T. Oberlin, “A recurrent CNN for online object detection on raw radar frames,” IEEE Trans. Intell. Transp. Syst., vol. 25, no. 10, pp. 13432–13441, Oct. 2024, doi: 10.1109/TITS.2024.3404076.

[^49]: P. Li, P. Wang, K. Berntorp, and H. Liu, “Exploiting temporal relations on radar perception for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 17071–17080.

[^50]: T.-Y. Huang, M.-C. Lee, C.-H. Yang, and T.-S. Lee, “YOLO-ORE: A deep learning-aided object recognition approach for radar systems,” IEEE Trans. Veh. Technol., vol. 72, no. 5, pp. 5715–5731, May 2023.

[^51]: M. Bijelic et al., “Seeing through fog without seeing fog: Deep multimodal sensor fusion in unseen adverse weather,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 11679–11689.

[^52]: Y. Chae, H. Kim, and K.-J. Yoon, “Towards robust 3D object detection with LiDAR and 4D radar fusion in various weather conditions,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 15162–15172.

[^53]: C. Zhang, H. Wang, Y. Cai, L. Chen, and Y. Li, "TransFusion: Multimodal robust fusion for 3D object detection in foggy weather based on spatial vision transformer," IEEE Trans. Intell. Transp. Syst., vol. 25, no. 9, pp. 10652–10666, Sep. 2024, doi: 10.1109/TITS.2024.3420432.

[^54]: L. Wang et al., “InterFusion: Interaction-based 4D radar and LiDAR fusion for 3D object detection,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2022, pp. 12247–12253.

[^55]: L. Wang et al., “Multi-modal and multi-scale fusion 3D object detection of 4D radar and LiDAR for autonomous driving,” IEEE Trans. Veh. Technol., vol. 72, no. 5, pp. 5628–5641, May 2023.

[^56]: S. Chen, L. Zhang, and L. Zhang, "Cyclic cross-modality interaction for hyperspectral and multispectral image fusion," IEEE Trans. Circuits Syst. Video Technol., early access, Sep. 16, 2024, doi:10.1109/TCSVT.2024.3461829.

[^57]: A. Vaswani et al., “Attention is all you need,” in Proc. Adv. Neural Inform. Process. Syst. (NIPS), 2017, pp. 5998–6008.

[^58]: Y.-J. Li, M. O'Toole, and K. Kitani, "ST-MVDNet++: Improve vehicle detection with LiDAR-radar geometrical augmentation via self-training," in Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), Jun. 2023, pp. 1–5.

[^59]: M. Chen, Z. Zheng, and Y. Yang, “Transferring to real-world layouts: A depth-aware framework for scene adaptation,” in Proc. 32nd ACM Int. Conf. Multimedia, Oct. 2024, pp. 399–408.

[^60]: Y. Wang et al., “Bi-LRFusion: Bi-directional LiDAR-RADAR fusion for 3D dynamic object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 13394–13403.

[^61]: S. Li, C. He, R. Li, and L. Zhang, “A dual weighting label assignment scheme for object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 9387–9396.

[^62]: R. Girshick, "Fast R-CNN," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1440–1448.

[^63]: J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 779–788.

[^64]: W. Xiao, Y. Peng, C. Liu, J. Gao, Y. Wu, and X. Li, “Balanced sample assignment and objective for single-model multi-class 3D object detection,” IEEE Trans. Circuits Syst. Video Technol., vol. 33, no. 9, pp. 5036–5048, Sep. 2023.

[^65]: Z. Tian, C. Shen, H. Chen, and T. He, "FCOS: Fully convolutional one-stage object detection," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 9626–9635.

[^66]: K. Duan, S. Bai, L. Xie, H. Qi, Q. Huang, and Q. Tian, "CenterNet: Keypoint triplets for object detection," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 6568–6577.

[^67]: H. Law and J. Deng, “CornerNet: Detecting objects as paired keypoints,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2020, pp. 642–656.

[^68]: X. Zhang, F. Wan, C. Liu, R. Ji, and Q. Ye, "FreeAnchor: Learning to match anchors for visual object detection," in Proc. Neural Inf. Process. Syst. (NIPS), Dec. 2019, pp. 147–155.

[^69]: S. Zhang, C. Chi, Y. Yao, Z. Lei, and S. Z. Li, “Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9759–9768.

[^70]: B. Zhu et al., “AutoAssign: Differentiable label assignment for dense object detection,” 2020, arXiv:2007.03496.

[^71]: C. H. Nguyen, T. C. Nguyen, T. N. Tang, and N. L. H. Phan, "Improving object detection by label assignment distillation," in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2022, pp. 1322–1331.

[^72]: Z. Ge, S. Liu, Z. Li, O. Yoshie, and J. Sun, "OTA: Optimal transport assignment for object detection," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 303–312.

[^73]: A. Bochkovskiy, C.-Y. Wang, and H.-Y. M. Liao, “YOLOv4: Optimal speed and accuracy of object detection,” 2020, arXiv:2004.10934.

[^74]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 2980–2988.

[^75]: D. Erhan, C. Szegedy, A. Toshev, and D. Anguelov, “Scalable object detection using deep neural networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 2155–2162.

[^76]: N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko, “End-to-end object detection with transformers,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 213–229.

![Image](images/45174d4c29008d69df6fedc3716de0ba0eabb56e547eb5f0cc3c0279b95bea8e.jpg)

Yanlong Yang (IEEE会员) 2017年获得天津大学电子科学与技术（光电）专业的学士学位，2020年获得北京理工大学光学工程专业的硕士学位。他目前正在澳大利亚凯恩斯詹姆斯·库克大学科学与工程学院攻读博士学位。自2020年7月起，他担任北京Vanjee Technology公司的算法工程师。他的研究兴趣包括感知、雷达/激光雷达传感和人工智能。

---

![Image](images/580208ab909e973bd00993f13a6734d37d589962ea18cb64da3bda1b27844954.jpg)

Jianan Liu 2007年获得华中科技大学电子信息工程专业的学士学位，2009年获得澳大利亚墨尔本大学的电信工程硕士学位，2012年获得瑞典隆德大学的通信系统硕士学位。他拥有超过十年的软件和算法设计与开发经验。他在人工智能咨询、汽车和电信行业担任过高级研发职位。他的研究兴趣包括将统计信号处理和深度学习应用于医学影像处理、无线通信、物联网网络、室内传感和利用各种传感器模式（如雷达、摄像头、激光雷达和WiFi）进行室外感知。

![Image](images/a4b7fa5487b2878b1ff46cb4c6c5504ad75506baf1e1fcac415a8067da2b27fd.jpg)

Tao Huang (IEEE高级会员) 2003年获得华中科技大学电子信息工程专业的学士学位，2007年获得澳大利亚阿德莱德大学传感器系统信号处理专业的硕士学位，2016年获得澳大利亚新南威尔士大学的电气工程博士学位。

他曾是澳大利亚奋斗学者奖（Endeavour Australia Cheung Kong Research Fellow），香港中文大学的访问学者，新南威尔士大学的研究助理，以及詹姆斯·库克大学凯恩斯分校的博士后研究员。在进入学术界之前，他在行业工作，担任过高级软件工程师、高级数据科学家、项目团队负责人和技术负责人。他目前是詹姆斯·库克大学的高级讲师。他是多项国际专利的发明人，该专利涉及MIMO系统。他的研究兴趣包括电子系统、深度学习、智能传感、计算机视觉、模式识别、无线通信和物联网安全。

Huang博士是IEEE工业电子学会、IEEE通信学会、IEEE车辆技术学会和IEEE计算智能学会的会员。他曾获得澳大利亚研究生奖、新南威尔士大学的工程研究奖、IEEE WCNC的最佳论文奖、IEEE杰出领导力奖和JCU为学生学习做出的杰出贡献的表彰。他担任MTT-S/ComSoc分会主席和IEEE澳大利亚北部分会的副主席。他曾担任国际会议的TPC主席、项目副主席和研讨会主席。他是IEEE OPEN JOURNAL OF COMMUNICATIONS SOCIETY、IEEE ACCESS和IET Communications的副编辑。他是IEEE Access 2023年的杰出副编辑。

![Image](images/bdb062478f4ff92e13326565c0e61f93fa4eed9ea6ec6086a577d00d4564ab90.jpg)

Qing-Long Han (IEEE院士) 1983年获得山东师范大学数学专业的学士学位，1992年和1997年分别获得中国上海东华大学控制工程专业的硕士和博士学位。

他目前是斯温伯恩科技大学的研究质量副校长，并担任杰出教授。他曾在格里菲斯大学和中央昆士兰大学担任各种学术和管理职务。他的研究兴趣包括网络控制系统、多智能体系统、时延系统、智能电网、无人水面车辆和神经网络。

Han教授是欧洲科学院（The Academy of Europe）的成员。他是国际自动控制联合会（FIFAC）的会员，澳大利亚工程师协会的荣誉会员（HonFIEAust），以及中国自动化协会的会员（FCAA）。他荣获2024年IEEE Dr.-Ing. Eugene Mittelmann成就奖（工业电子领域的最高奖项）、2021年诺伯特·维纳奖（系统科学与工程、以及控制领域的最高奖项）、以及2021年M. A. Sargent奖（澳大利亚电气工程师协会的最高奖项）。他于2022年、2020年和2019年获得了IEEE系统、人类与网络学会Andrew P. Sage最佳论文奖，于2020年获得了IEEE/CAA《自动化技术》杂志诺伯特·维纳评论奖，以及于2020年获得了IEEE《工业信息学》期刊杰出论文奖。他是工程和计算机科学领域的杰出研究人员（Clarivate）。他曾担任IEEE工业电子学会（IES）理事会成员、IEEE IES院士委员会成员、IEEE IES出版委员会成员、IEEE IES技术委员会（网络控制系统与应用）主席，以及IEEE《工业信息学》杂志的副主编。他担任IEEE/CAA《自动化技术》杂志的主编，以及《澳大利亚电气与电子工程》杂志的副主编。

马刚获得了北京航空大学的材料科学与工程学士学位和计算机测量与控制材料加工硕士学位，分别于2005年和2008年。他目前是高级硬件工程师，在激光雷达产品开发方面拥有丰富的经验。

![Image](images/b573dfd7758dde44174d4c36532f7ee4b29ae1bb7e73873c37062e589b086827.jpg)

![Image](images/e6154c05ae81661d434f6b4f97a985fc547c2f11d5a511e235b97d2e12a2f3cf.jpg)

朱冰（电气工程师，高级会员）出生于中国武汉。他于2007年和2013年分别获得北京航空大学的控制理论与应用学士学位和博士学位。他于2013年至2015年担任南非比勒陀利亚大学的博士后研究员，并获得了副校长博士后奖学金。他于2015年至2016年担任新加坡南洋理工大学的研究员。他于2016年加入北京航空大学，担任副教授。他的研究兴趣包括模型预测控制、用于无人机和无人地面车辆的智能传感，以及用于新能源系统的需求侧管理。他担任《中国自动化学报》的副主编。