# 实时鸟瞰全景分割用于单目室内导航 Dawit Kim $^{*1}$、Jungmo Koo $^{*1}$、Jongseob Yun $^{1}$ 和 Soonyong Park $^{1}$ 摘要：鸟瞰图 (BEV) 分割是安全高效导航的关键技术。这在室内驾驶中尤其重要，因为室内环境存在动态且无结构的对象，例如人和其他机器人。然而，由于缺乏生成训练数据的途径，大多数研究主要集中在室外环境。本文提出了一种创新的方法来解决这一挑战。我们基于模拟器的物理引擎，自动生成室内环境的 BEV 训练数据。这消除了对大量真实数据的需求，并且无需虚拟环境。我们还提出了一种轻量级网络架构，该架构能够在实时处理 BEV 全景分割任务。基于该网络和简单的图像处理，我们的框架在真实环境中表现出快速且鲁棒的性能，并且仿真与现实之间没有差距。该网络可以在 AGX Orin 上以 FP16 模式实现约 61 FPS 的推理速度。此外，它在语义分割任务中优于现有算法，达到了 14% 更高的 mIoU。 ## 1. 绪论 移动机器人的驾驶环境通常很复杂，因为它周围存在大量的障碍物。为了确保安全高效的导航，获取有关这些障碍物空间位置和体积的精确信息至关重要。一种优先考虑安全的方法可以防止事故，但可能会牺牲准确性。另一方面，一种专注于准确性而非安全的方法可能需要更高的成本，因为它需要更多的传感器和更高的计算能力。因此，在安全性和效率之间取得平衡是自动驾驶感知的重要组成部分。 基于 LiDAR 的导航是专注于安全性的代表性方法。LiDAR 可以根据物理信号准确地测量到障碍物的距离。由于这对于识别驾驶环境非常重要，许多与感知相关的研究都使用基于 LiDAR 的方法，并取得了良好的效果，例如 3D 物体检测 [^1] [^2] [^3] [^4] [^5] [^6] [^7]. 然而，LiDAR 需要较高的初始成本，并且可能根据物体的材料而提供不太准确的测量结果。与其它传感器相比，它还需要更高的功耗。 与此同时，基于视觉的导航正在积极研究，作为 LiDAR 的一种经济有效的替代方案。特别是，3D 物体检测 [^8] [^9] [^10] 和占用预测 [^11]，[^12] 可以作为 LiDAR 的良好替代品，因为它们包含物理距离信息的预测。这些研究使用大型开放数据集（如 nuScene [^13] 和 KITTI [^14]）显示出了有前景的性能。然而，3D 物体检测仅预测实例，不包括可行驶区域等区域。虽然占用预测密集地表示环境，但它需要大量的计算能力，并且速度太慢，无法用于实时应用。 鸟瞰图 (BEV) 分割 [^15] [^16] [^17] [^18] 可以成为克服上述问题的有效方法。通过预测场景的俯视图，它有效地表示周围环境。这种方法还可以预测被障碍物遮挡的区域，为高效导航提供帮助。但是，在训练数据方面，BEV 图像必须与前视图像配对，这在现实世界中很难实现。为了解决这个问题，必须使用卫星或航拍图像，但这在完全匹配它们以及与相应的正视图像进行配对方面是不现实的，因为存在时间戳不一致的问题。即使这样，它也只能用于室外环境。对于被天花板遮挡的室内环境，无法获得数据。 - 我们提出了一种自动生成室内 BEV 数据的​​方法，以及一个连接模拟与现实之间的桥梁，用于在真实世界中进行推理的流程。 在本文中，我们提出了重要的贡献，这些贡献推动了室内 BEV 分割领域的进步。我们的工作重点是解决与数据生成和实际应用相关的关键挑战。我们的主要贡献如下： - 我们提出了一种轻量级的 BEV 全景分割网络，称为 PeneBEV (Penetrating Bird's-EyeView)。该网络提供了一个类似于鸟瞰图的室内空间视图。在 AGX Orin 上以 FP16 模式运行时，该网络实现了 61fps 的速度。 - 我们的模型在仅使用自动生成的数据进行训练时，在测试集中实现了 77.25% 的 mIoU 性能和约 6.6 厘米的距离误差。 ### II. 相关工作 ### A. 基于 RGB 图像的 BEV 分割 先驱研究 [^10], [^15] [^16] [^17] [^18] [^19] [^20] [^21] 直接从前方摄像头 RGB 图像以端到端的​​方式预测 BEV 映射。该算法需要准确对应于正面图像的 BEV 分割地面真值。对于室外环境，可以通过各种方法获得 BEV 数据，包括卫星图像、地图、LiDAR 和 GPS。但是，在室内 --- ![Image](images/c506bf86d292a3d2a4d4e271d3a8ecb8d0ba179f03cb0f8228d3fabd3056f296.jpg)
Fig. 1. Overall architecture of PeneBEV. During training, we use the semantic color map from a simulated ideal pinhole camera, and during inference, we convert a real image into an image with the same geometric characteristics as the simulation. PeneBEV extracts features from this map, converting them into BEV features for efficient localization and segmentation.
机器人驾驶环境中收集 BEV 图像面临着挑战，甚至直接捕获受到天花板的限制。SkyEye [^22] 采用一种自监督方法来克服生成准确地面真值数据的挑战。这种方法非常有价值，因为它允许基于正面视图的语义地面真值进行 BEV 估计的学习。然而，由于尺度歧义和不一致性，伪标签生成的输出可能会因后处理方法的不同而发生变化。 ### B. 基于语义地图的 BEV 分割 某些方法 [^23]，[^24] 不使用摄像头图像作为输入，而是采用分割掩码作为输入源。首先，这种方法可以使用较小的网络，因为无需由网络处理语义信息。其次，它简化了 BEV 分割过程，因为网络只需要使用已知的输入掩码中的语义信息进行透视转换。最后，最大的优点是，不存在模拟与真实之间的差距。BEV 可以在没有视觉辅助的情况下进行模拟。我们的研究受到这种方法的启发。 ### III. 方法论 由于无法在真实的室内环境中收集 BEV 数据，因此训练 BEV 分割模型唯一的途径是使用由模拟生成的数据。然而， 实际环境中的所有室内设置都难以模拟， 存在模拟与真实之间的差距， 这可能是由于模拟中缺少某些特征和摄像头 参数。为了最大限度地减少这种差距， 我们设计了一个系统，该系统具有 以下优点： 具有相同的几何特征（第 III 节 B），并且可以完全自动生成数据，以覆盖各种室内环境（第 III 节 C）。此外，我们还引入了一种网络架构，该架构可以实现边缘设备上的实时 BEV 全景分割（第 III 节 D）。 ### A. 总体架构 图 1 阐述了我们提出的方法的总体架构。在训练阶段，我们直接使用从模拟中的理想针孔摄像头获取的语义颜色图。同时，在推理阶段，我们将由真实摄像头捕获的失真图像转换为具有与模拟完全相同的几何属性的图像。 PeneBEV 从语义颜色图中提取特征，并通过空间变换器将其转换为 BEV 特征。这些融合的特征由对象检测、实例分割和语义分割模块用于推导 BEV 中的边界框、实例掩码和语义图。 ### B. 真实到模拟摄像头设置 第 III 节 C 中的 NLST 数据集的正面图像是由模拟摄像头在无失真的情况下捕获的。因此，当使用来自真实世界的失真图像作为输入时，会存在差异。为了解决此问题，我们同步模拟和真实世界的摄像头。首先，我们使用图案板对真实世界的摄像头进行内部校准。在我们的设置中，我们使用玄武岩 [^25] 和双球模型 [^26]，因为我们的摄像头具有超过 150 度的广阔视野。内部校准后，所有图像都经过失真校正并裁剪为密集图像。具体来说，我们预先计算了视角的有效范围，以防止裁剪时出现图像区域为空。其次，我们使用 AprilTag [^27] 和 PnP 精确地解决了 6 自由度 (DOF) 的摄像头姿态，该姿态相对于地面。我们将该结果视为与地面相比的摄像头姿态，假设 --- AprilTag 飞机与地面相同。最后，我们将模拟摄像头设置为与精确校准的真实摄像头相同。同步的虚拟摄像头确保来自真实图像的像素射线可以与模拟图像的像素射线一一对应。这种同步消除了模拟和真实世界图像之间的任何差异。此过程如图 2 所示。 ![Image](images/c834e3e78642146b94049a344327562c1183239598f7704bb09db817e27cb4a8.jpg)
Fig. 2. The process of generating perfectly identical images between the real-world and the simulated camera. Since the camera used in the real-world uses a wide-angle lens, it was calibrated using double sphere camera model. To find the valid angle of view and resolution, crop from the undistorted image and use it in the simulation environment for NLST dataset.
### C. BEV 数据的自动生成 室内的驾驶环境的动态性相对较弱，不如室外环境。 这是因为它们受交通系统的影响，并且在道路上出现的物体数量有限，例如汽车、交通信号灯和行人。 此外，诸如 NVIDIA Drive Sim [^28]、CARLA [^29] 和 LGSVL [^30] 等室外驾驶模拟环境正在积极使用。 这使得可以获取大量的、高质量的模拟数据。 另一方面，室内驾驶模拟的场景变化很大，物体的形状也不一致。 这使得创建逼真的场景具有挑战性。 为了解决这个问题，我们提出了一种名为 NLST（NAVER LABS Sliding Things）的、用于室内场景生成的高效方法。 NLST 的工作方式类似于 Falling Things [^31]，它使用模拟器的物理引擎在各种场景中收集数据。 图 3 描述了 NLST 如何生成一个场景。 它通过以下方式从单个场景生成多个数据：首先，生成各种距离前方摄像头的随机组合的人员、家具、机器人和障碍物，然后让它们滑动到前方摄像头。 在每个模拟步骤中，通过同时从前方摄像头和 BEV 摄像头收集图像和语义地图来收集训练数据。 在滑动过程中，物体之间的距离会发生变化，物体之间由于碰撞会发生反弹。 由于这些现象，可以从单个场景生成大量的数据。 我们还对物理引擎施加了一个约束：物体在所有方向上都固定，除了滑动方向。 原因是防止物体因碰撞而被抛到空中。 在真实的室内环境中，物体并不总是紧挨在一起。 当使用上述方法生成场景时，物体最初是分开的，但随着每个模拟步骤的进行，物体会逐渐靠近。 为了模拟物体之间的空间，我们创建了空间立方体。 这些立方体具有随机大小，没有视觉模型，只有碰撞模型。 它的目的是充当物体之间的支撑，即使在摄像头图像中不可见，也能在物体之间创建间隙。 Sliding Things 基于 Isaac Sim [^32]，它提供了合理的物理引擎和高度的开发舒适性。 还有其他基于物理的模拟器，例如 Unreal Engine [^33] 和 Unity [^34]，但 Isaac Sim 提供了广泛的 AI 研究工具，可以轻松获得所需的标签。 用于数据生成的模型包括 10 个人类模型、1 个自定义机器人模型以及从 Amazon-Berkeley-objects [^35] 中提取的 87 个家具模型。 然后，我们使用大约 80,000 个合成数据训练了一个 BEV 分割网络。 遮挡区域在生成 BEV 掩码后进行后处理，并将其添加为训练的类别。 此遮挡类别与障碍物类别不同，被分类为导航过程中无法通过的区域。 ![Image](images/4a8176c97779c154bf47e7d5c3359cc9cba6886a7b7a4df0de824d7e2d8b3fcd.jpg) ![Image](images/10bc459a85260f48426fd2ed6f2812df6250ada58e08f8a3abf1685ff25f59af.jpg)
Fig. 3. Conceptual diagram of NLST. It randomly selects various types of obstacles and forces them to slide towards the front-view camera. For each simulation step, RGB image and semantic map for Front-view / BEV are collected.
### D. PeneBEV 在本节中，我们描述了 PeneBEV 的架构。 它基于 RTMDet-ins [^36]，这是一种实时实例分割网络。 我们在此结构中添加了一个空间变换器 [^23] 和一个分割头部。 空间变换器将骨干网络提取的前视图特征转换为 BEV 特征，分割头部使用非常小的特征进行语义分割。 PeneBEV 采用单目语义彩色图 $I_s$ $\mathbb{R}^{3 \times H \times W}$ 作为输入。 对于特征提取，它使用 CSPNeXt --- $\mathcal{B}$ [^36] 作为基础，并推导出前端视图特征 $F_f^i$ $\mathbb{R}^{C_i \times H_i \times W_i}$ 在第 i 层。为了高效推理，我们只使用最后三层的特征。由于 CSPNeXt 有 N 层，这可以表示如下。 $$ \begin{array}{r l}{F_{f}=}&{{}F_{f}^{\mathrm{~i~}_{i=N-2}^{N}}=\mathcal{B}(I_{s})}\end{array} $$ 提取的分层视图特征 $F_f$ 通过空间变换器 S，并转换为 BEV 特征 $F_b^i$ $\mathbb{R}^{C_i \times H_i \times W_i}$ 在第 i 层。空间变换器以以下内容为输入：分层视图特征 $F_f$、内在参数 $K_f$ $\mathbb{R}^{3 \times 3}$、旋转外参 $R_f$ $\mathbb{R}^{3 \times 3}$ 和平移外参 $t_f$ $\mathbb{R}^3$（用于分层视图）以及内在参数 $K_b$ $\mathbb{R}^{3 \times 3}$、旋转外参 $R_b$ $\mathbb{R}^{3 \times 3}$ 和平移外参 $t_b$ $\mathbb{R}^3$（用于 BEV）。这可以表示为以下内容。 $$ F_{b}{}^{i}=\mathcal{S}(F_{f}{}^{i}~\mathcal{K}_{f}~\left[R_{f}\quad t_{f}\right]~K_{b}~\left[R_{b}\quad t_{b}\right]) $$ 与分层视图特征 $F_f$ 类似，BEV 特征 $F_b$ 由三层特征组成，通过 PAFPN $\mathcal{F}$ $\mathcal{P}$ 获得融合特征 [^37]。 在这个过程中，多层 BEV 特征被融合，以产生尺寸非常小但包含丰富信息的特征。这可以表示为以下内容。 $$ \mathcal{F}=\mathcal{P}(\textit{F}_{b}^{i}\textit{N}_{i=N-2}) $$ 融合特征 $\mathcal{F}$ 提供有效的线索，用于执行各种任务。 最后，使用目标检测头 $\mathcal{H}_d$、实例分割头 $\mathcal{H}_i$ 和语义分割头 $\mathcal{H}_s$ 来执行每个任务。 我们使用多任务损失，以确保骨干网络和所有任务头都得到良好训练。 对于目标检测损失，我们使用 QFL [^38] 和 GIoU 损失 [^39] 的组合。 以下表达式表示每个损失。 $$ \mathcal{L}_{q}=-y_{q}-\sigma^{\beta}((1-y_{q})\mathrm{l o g}(1-\sigma)+y_{q}\mathrm{l o g}(\sigma)) $$ $$ \mathcal{L}_{g}=1-(\frac{A\setminus B}{A\quad B}-\frac{C\quad(A\quad B)}{C}) $$ 在式4中，$y_q$ 是质量得分，它是分类得分和IoU得分的联合表示，$\sigma$ 是对预测结果取sigmoid得到的$\sigma(\mathcal{H}_d(\mathcal{F}))$，$\beta$ 是缩放因子对应的参数。在式5中，A、B、C分别是真值框、预测框和同时包含二者的最小框。对于语义分割损失 $\mathcal{L}_s$，我们使用交叉熵损失；对于实例分割损失 $\mathcal{L}_i$，我们使用Dice损失 [^40]。最后，训练所用的损失如下。 $$ \mathcal{L}=\lambda_{q}\mathcal{L}_{q}+\lambda_{g}\mathcal{L}_{g}+\lambda_{s}\mathcal{L}_{s}+\lambda_{i}\mathcal{L}_{i} $$ 其中，$\lambda_{q}$、$\lambda_{g}$、$\lambda_{s}$ 和 $\lambda_{i}$ 是用于调整每个任务损失对总损失影响的权重。 我们使用所有值为 1。 ### IV. 实验 在本节中，我们定量和定性地比较了我们方法的与其他算法的性能。 此外，我们展示了使用放置在真实环境中的机器人的实验结果，以证明可以使用我们提出的方法，通过单目摄像头实现室内机器人驾驶。 对于定量评估，由于在室内环境中无法获得 BEV 地图，因此没有公开数据集。 因此，我们使用了在模拟环境中收集的数据。 此外，对于定性评估，我们使用了来自真实环境和模拟环境的数据。 ### A. 定量评估 为了定量评估算法的泛化性能，我们从英伟达发布的开放源代码办公场景中收集了 1000 个数据集。该环境中所有家具均未用于训练，所有网络仅在自动生成的数据上进行训练。因此，我们可以进行定量评估，而无需担心作弊。距离是通过比较通过光线追踪获得的地面真实 BEV 掩码和预测的 BEV 掩码而得出的 2D LiDAR。我们还在 NVIDIA Orin AGX 32GB 上测量了推理速度，以验证实时推理是可能的。 表 I 显示了每种算法的评估结果。由于需要在边缘进行实时计算，因此我们没有创建大型模型。在语义分割中，PeneBEV 具有最高的 mIoU，比 IPM（逆透视映射）[^41] 高约 162%，比 Cam2BEV（中型模型）高约 14%。在表 II 中，该表显示了每个类别的 IoU，Cam2BEV 在属于实例级别类别的“人物”和“机器人”上的性能较低，但我们的方法具有更高的性能。这意味着 Cam2BEV 在实例级别类别的训练效果不佳，因为它仅执行语义分割。在表 I 中，随着模型大小的增加，RTMDDet 的语义分割性能下降。这意味着由于模型容量增加而导致的过拟合问题，导致泛化性能不佳。特别是，这种趋势在目标检测和实例分割中更加明显。tiny 和 medium 模型的性能从 89.42 降至 84.57，从 82.84 降至 74.44。语义头上的性能下降相对较小，但仍显示相同的趋势。另一方面，PeneBEV 在 tiny 模型上优于所有其他算法，并且随着模型大小的增加，其性能趋于提高。这表明我们提出的网络架构具有良好的泛化性能。最后，在距离估计中，Cam2BEV 显示误差约为 6.93 厘米，而 PeneBEV-m 表现更好，误差约为 6.65 厘米。 此外，我们在 AGX Orin 上评估了算法的推理时间。Cam2BEV 的推理时间为 19.66 毫秒，而 PeneBEV-s 模型的推理时间为 16.32 毫秒。我们的模型比基线快 3.21 毫秒，并且 mIoU 提高了约 9.0%。这意味着 PeneBEV 具有高效的架构，在性能和速度方面都优于现有算法。 ### B. 质量评估 图 5 显示了 Cam2BEV 和 PeneBEV 之间的质量比较结果。位于顶部的结果来自仿真环境，该环境中存在 BEV 语义图的地面真实数据。每行最右边的图形显示了性能差异。在这些图中，白色区域表示两种算法都正确，绿色区域表示仅 PeneBEV 正确，蓝色区域表示仅 Cam2BEV 正确，红色区域表示两种算法都错误。总体而言，PeneBEV 对未连接到地面的物体（例如桌子和椅子）比 Cam2BEV 更稳健。由于结构同时执行实例分割，因此它比 Cam2BEV 更准确地预测了实例级别类别的区域。 ---
TABLE I
EXPERIMENTAL RESULTS. PENEBEV-TINY IS THE SMALLEST MODEL, PENEBEV-S IS THE SMALL MODEL, AND PENEBEV-M IS THE MEDIUM MODEL.
MethodSemantic HeadInput ShapeLatency (ms)Object DetectionInstance SegmentationSemantic SegmentationDistance Estimation
APAP50APAP50mIoU (%)MAE (cm)RMSE
IPM-768 $\times$ 3840.56----29.499.0930.2061
Cam2BEV-768 $\times$ 38419.66----67.886.9280.1692
RTMDet-tiny✓768 $\times$ 38414.5944.2389.4236.5282.84---
PeneBEV-tiny (Ours)✓768 $\times$ 38415.0044.8690.4335.9682.8274.266.9420.1738
RTMDet-s✓768 $\times$ 38416.3247.7391.9037.4282.9976.076.8380.1676
PeneBEV-s (Ours)✓768 $\times$ 38415.4544.8388.0936.7482.47---
RTMDet-m✓768 $\times$ 38415.8444.0487.0636.2681.3473.906.9510.1773
PeneBEV-m (Ours)✓768 $\times$ 38416.4547.6092.2737.0784.9176.916.6760.1638
RTMDet-m✓768 $\times$ 38420.0740.3984.5731.6274.44---
PeneBEV-m (Ours)✓768 $\times$ 38420.4544.7987.2436.1479.8873.557.0670.1781
PeneBEV-m (Ours)✓768 $\times$ 38421.2348.7991.9239.0786.8277.256.6460.1646
TABLE II
IOU (%) FOR EACH CLASS ON THE EVALUATION DATASET
MethodDrivableObstaclePersonRobotOccluded
IPM63.3750.747.2215.5610.57
Cam2BEV90.9284.9332.7669.2261.57
RTMDet-tiny87.2781.5550.6076.6475.22
PeneBEV-tiny (Ours)88.1682.6052.7379.5477.31
RTMDet-s87.1881.2748.1978.1374.75
PeneBEV-s (Ours)88.2482.4055.6078.3479.98
RTMDet-m87.3781.5546.5678.7073.55
PeneBEV-m (Ours)90.8885.0154.4477.7278.19
图 5 显示了 Cam2BEV 和 PeneBEV 之间的质量比较结果。位于顶部的结果来自仿真环境，该环境中存在 BEV 语义图的地面真实数据。每行最右边的图形显示了性能差异。在这些图中，白色区域表示两种算法都正确，绿色区域表示仅 PeneBEV 正确，蓝色区域表示仅 Cam2BEV 正确，红色区域表示两种算法都错误。总体而言，PeneBEV 对未连接到地面的物体（例如桌子和椅子）比 Cam2BEV 更稳健。它还比 Cam2BEV 更准确地预测了实例级别类别的区域，这是由于结构执行实例分割带来的积极影响。 图 5 底部显示的结果比较了在真实数据上的结果。使用在小数据集上训练的 PIDNet-s [^42] 模型执行了前视分割。由于无法在现实世界中收集俯视图 (BEV) 图像，因此将预测的 BEV 结果进行了扭曲以使其适应前视图，并将其叠加。结果表明，当行人的一个脚离地面时，Cam2BEV 仅预测另一个脚的区域，而 PeneBEV 正确地预测了该区域。此外，如上所述，Cam2BEV 错误地将桌子下的区域预测为可行驶区域，而 PeneBEV 正确地预测了被桌子占据的区域。此外，与 Cam2BEV 相比，PeneBEV 对前视分割中的噪声更具鲁棒性，并且在包含许多桌子和椅子的场景中，能够更准确地预测区域。 ### C. 现实世界的自动驾驶 我们进行了一项现实世界的实验，以验证仅使用俯视图 (BEV) 分割是否足以实现安全驾驶。我们对俯视图 (BEV) 分割应用光线追踪，以获得虚拟的 2D LiDAR，并使用 DWA 规划器 [^43] 执行驾驶。如图所示的结果表明，在各种情况下，可以准确地定位障碍物。它还表明，使用 NLST 生成的数据训练的 PeneBEV 在真实环境中具有鲁棒性。 ![Image](images/9d6bc04af4a6455818b7ccba1f6010a0ba0f0fe71aba281e0c2f3775014d7a75.jpg)
Fig. 4. Experimental results of robot driving in real environment. The input of DWA is the result calculated using only BEV segmentation without any other sensor. The robot used in the experiment is a two-wheeled robot.
### V. 结论 在本文中，我们提出了一种用于室内环境的俯视图 (BEV) 分割方法，该方法以前仅适用于室外环境。NLST 通过自动收集训练数据来解决俯视图 (BEV) 分割的数据挑战。我们还提出了 PeneBEV，这是一种能够在边缘设备上进行实时全景分割的网络。我们通过定性和定量实验证明了其优于其他算法的性能。最后，通过在真实环境中的移动机器人的实验，我们表明仅使用基于 PeneBEV 的单目摄像头即可实现安全的室内驾驶。 ### VI. 致谢 本工作由韩国工业技术评估院 (KEIT) 资助，该资助由韩国政府 (MOTIE) 提供（项目编号：20023455，用于开发适用于大型室内工作空间的多个移动机器人的协同地图、环境识别和自动驾驶技术）。 --- ![Image](images/6c5ab7412a69242afafb3a74ebeef0f675ece5d8076362588af183bc7bcd4242.jpg)
Fig. 5. Qualitative evaluation results in simulation (top) and real (bottom) environments. We compare the performance of PeneBEV with baseline. For the simulation, the results of each algorithm were overlaid on the ground truth, and for the real environment, they were warped and overlaid on the front-view RGB image. The yellow circles show where baseline incorrectly predicts. In both simulated and real-world environments, PeneBEV performs more robustly.
--- ## 参考文献 [^1]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915. [^2]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "Pointpillars: Fast encoders for object detection from point clouds," in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 12697–12705. [^3]: T. Yin, X. Zhou, and P. Krahenbuhl, “Center-based 3d object detection and tracking,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 11784–11793. [^4]: Z. Yang, Y. Sun, S. Liu, and J. Jia, "3dssd: Point-based 3d single stage object detector," in Proc. IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11040–11048. [^5]: S. Shi, X. Wang, and H. Li, “Pointrcnn: 3d object proposal generation and detection from point cloud,” in Proc. of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 770–779. [^6]: Y. Yan, Y. Mao, and B. Li, “Second: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, p. 3337, 2018. [^7]: Y. Zhou and O. Tuzel, "Voxelnet: End-to-end learning for point cloud based 3d object detection," in Proc. of the IEEE conference on computer vision and pattern recognition, 2018, pp. 4490–4499. [^8]: T. Wang, X. Zhu, J. Pang, and D. Lin, "FCOS3D: Fully convolutional one-stage monocular 3d object detection," in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 913–922. [^9]: Y. Wang, V. C. Guizilini, T. Zhang, Y. Wang, H. Zhao, and J. Solomon, "DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries," in Proc. Conference on Robot Learning. PMLR, 2022, pp. 180–191. [^10]: Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Y. Qiao, and J. Dai, “Bevformer: Learning bird’s-eye-view representation from multi-camera images via spatiotemporal transformers,” in Proc. European conference on computer vision. Springer, 2022, pp. 1–18. [^11]: Y. Wei, L. Zhao, W. Zheng, Z. Zhu, J. Zhou, and J. Lu, “SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving,” arXiv preprint arXiv:2303.09551, 2023. [^12]: X. Tian, T. Jiang, L. Yun, Y. Wang, Y. Wang, and H. Zhao, “Occ3d: A large-scale 3d occupancy prediction benchmark for autonomous driving,” arXiv preprint arXiv:2304.14365, 2023. [^13]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuScenes: A multimodal dataset for autonomous driving,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 11621–11631. [^14]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The kitti dataset,” The International Journal of Robotics Research, vol. 32, no. 11, pp. 1231–1237, 2013. [^15]: A. Saha, O. Mendez, C. Russell, and R. Bowden, “Translating images into maps,” in Proc. IEEE international conference on robotics and automation, 2022, pp. 9200–9206. [^16]: B. Zhou and P. Krähenbühl, “Cross-view transformers for real-time map-view semantic segmentation,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13760–13769. [^17]: N. Gosala and A. Valada, “Bird’s-eye-view panoptic segmentation using monocular frontal view images,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 1968–1975, 2022. [^18]: R. Xu, Z. Tu, H. Xiang, W. Shao, B. Zhou, and J. Ma, “CoBEVT: Cooperative bird’s eye view semantic segmentation with sparse transformers,” arXiv preprint arXiv:2207.02202, 2022. [^19]: C. Pan, Y. He, J. Peng, Q. Zhang, W. Sui, and Z. Zhang, “BAEFormer: Bi-Directional and Early Interaction Transformers for Bird’s Eye View Semantic Segmentation,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 9590–9599. [^20]: S. Sirko-Galouchenko, A. Boulch, S. Gidaris, A. Bursuc, A. Vobecky, P. Pérez, and R. Marlet, “OccFeat: Self-supervised Occupancy Feature Prediction for Pretraining BEV Segmentation Networks,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 4493–4503. [^21]: J. Ross, O. Mendez, A. Saha, M. Johnson, and R. Bowden, “BEV SLAM: Building a Globally-Consistent World Map Using Monocular Vision,” in Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems, 2022, pp. 3830–3836. [^22]: N. Gosala, K. Petek, P. L. Drews-Jr, W. Burgard, and A. Valada, "SkyEye: Self-Supervised Bird's-Eye-View Semantic Mapping Using Monocular Frontal View Images," in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 14901–14910. [^23]: L. Reiher, B. Lampe, and L. Eckstein, “A sim2real deep learning approach for the transformation of images from multiple vehicle-mounted cameras to a semantically segmented image in bird's eye view,” in Proc. IEEE International Conference on Intelligent Transportation Systems, 2020, pp. 1–7. [^24]: S. Gong, X. Ye, X. Tan, J. Wang, E. Ding, Y. Zhou, and X. Bai, "Gitnet: Geometric prior-based transformation for birds-eye-view segmentation," in Proc. European conference on computer vision. Springer, 2022, pp. 396–411. [^25]: V. Usenko, N. Demmel, D. Schubert, J. Stueckler, and D. Cremers, “Visual-inertial mapping with non-linear factor recovery,” IEEE Robotics and Automation Letters (RA-L), vol. 5, no. 2, pp. 422–429, 2020. [^26]: V. Usenko, N. Demmel, and D. Cremers, “The double sphere camera model,” in 2018 International Conference on 3D Vision (3DV). IEEE, 2018, pp. 552–560. [^27]: E. Olson, “AprilTag: A robust and flexible visual fiducial system,” in 2011 IEEE international conference on robotics and automation. IEEE, 2011, pp. 3400–3407. [^28]: "NVIDIA DRIVE Sim," , 2018. [^29]: A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, and V. Koltun, "CARLA: An open urban driving simulator," in Proc. Conference on robot learning. PMLR, 2017, pp. 1–16. [^30]: "LGSVL Simulator — An Autonomous Vehicle Simulator," , 2019. [^31]: J. Tremblay, T. To, and S. Birchfield, “Falling Things: A synthetic dataset for 3d object detection and pose estimation,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2018, pp. 2038–2041. [^32]: "NVIDIA Isaac Sim," , 2021. [^33]: “Unreal Engine,” , 2019. [^34]: “Unity,” , 2005. [^35]: J. Collins, S. Goel, K. Deng, A. Luthra, L. Xu, E. Gundogdu, X. Zhang, T. F. Y. Vicente, T. Dideriksen, H. Arora, et al., “ABO: Dataset and benchmarks for real-world 3d object understanding,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 21126–21136. [^36]: C. Lyu, W. Zhang, H. Huang, Y. Zhou, Y. Wang, Y. Liu, S. Zhang, and K. Chen, "RTMDet: An empirical study of designing real-time object detectors," arXiv preprint arXiv:2212.07784, 2022. [^37]: S. Liu, L. Qi, H. Qin, J. Shi, and J. Jia, “Path aggregation network for instance segmentation,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 8759–8768. [^38]: X. Li, W. Wang, L. Wu, S. Chen, X. Hu, J. Li, J. Tang, and J. Yang, “Generalized focal loss: Learning qualified and distributed bounding boxes for dense object detection,” Advances in Neural Information Processing Systems, vol. 33, pp. 21002–21012, 2020. [^39]: H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, and S. Savarese, “Generalized intersection over union: A metric and a loss for bounding box regression,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 658–666. [^40]: C. H. Sudre, W. Li, T. Vercauteren, S. Ourselin, and M. Jorge Cardoso, “Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations,” in Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer, 2017, pp. 240–248. [^41]: H. A. Mallot, H. H. Bülthoff, J. J. Little, and S. Bohrer, “Inverse perspective mapping simplifies optical flow computation and obstacle detection,” Biological cybernetics, vol. 64, no. 3, pp. 177–185, 1991. [^42]: J. Xu, Z. Xiong, and S. P. Bhattacharyya, "PIDNet: A Real-Time Semantic Segmentation Network Inspired by PID Controllers," in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 19529–19539. [^43]: D. Fox, W. Burgard, and S. Thrun, “The dynamic window approach to collision avoidance,” IEEE Robotics and Automation Magazine, vol. 4, no. 1, pp. 23–33, 1997.