# OneBEV++: 迈向统一的鸟瞰语义地图与全景图 Jiale Wei, Zhifeng Teng, Fei Teng, Junwei Zheng, Ruiping Liu, Yufan Chen, Jie Hu, Kailun Yang $^{*}$, Jiaming Zhang $^{*}$, 和 Rainer Stiefelhagen 摘要：鸟瞰视图（BEV）感知对于全面的场景理解至关重要，但它受到窄视场传感器的限制（室内）以及复杂的多摄像头设置（室外）。为了解决这些限制，并使用单个图像实现全范围感知，我们提出了一种新的流水线，称为全景到BEV语义映射。我们扩展现有的与家庭相关的和驾驶场景数据集，以创建四个全景BEV基准，分别适用于室内和室外环境。作为突破性的解决方案，360BEV（室内）和OneBEV（室外）方法在其各自领域显示出良好的前景。此外，我们提出了一种统一的框架OneBEV++，可以从单个全景图像生成BEV语义地图，适用于所有环境。我们在四个全景数据集上的广泛实验表明，OneBEV++在准确性和效率方面均优于以前的方法。通过简化复杂性并提高性能，OneBEV++可以实现可扩展的应用，适用于各种环境，例如室外自动驾驶汽车和室内机器人，为更全面的跨环境自主系统铺平道路。数据和代码将在处提供。 关键词：全范围图像处理，视图变换，语义映射，场景理解。 ## 1 引言 鸟瞰视图（BEV）语义映射涉及生成一个俯视视图，其中每个像素都标记为其语义类别，例如对于室外场景，道路、行人、汽车[^1]、[^2]、[^3]，或者对于室内环境，墙壁、地板和家具[^4]、[^5]。这种映射对于诸如导航[^6]、[^7]和场景理解[^8]、[^9]、[^10]等高级的现实世界任务至关重要。对于自动驾驶，BEV地图对于路径规划、障碍物检测以及理解道路布局至关重要，从而促进安全高效的导航[^1]、[^8]、[^10]。在室内机器人中，它们有助于机器人导航复杂的空间、定位物体以及执行诸如清洁或送货等任务，从而提高运营效率[^6]、[^11]、[^12]。 传统的BEV语义映射方法通常依赖于针孔摄像头[^1]、[^2]、[^3]、[^13]，这存在显著的局限性。这些方法通常需要多个摄像头放置在车辆或机器人的周围，以捕获整个周围环境，这会导致硬件复杂性增加、同步问题以及计算开销。此外，针孔摄像头具有有限的视场，通常需要复杂的视图融合算法来生成全面的BEV表示。此外，这些摄像头布置通常是平台特定的，这使得跨平台部署具有挑战性，并且需要大量的重新配置才能适用于不同类型的车辆或环境。 360°全景摄像头是一种有前景的替代方案，可以通过捕获整个周围环境的单张图像来提供解决方案。这些全方位摄像机使用单个传感器提供完整的视觉信息，从而减少了硬件复杂性，并消除了多个摄像头之间的同步问题。全景图像的连续性简化了地图构建流程，因为它提供了一个统一的视觉输入，并且固有地提供了更丰富的语义解释上下文信息。尽管具有这些优点，但利用全景图像进行BEV语义映射也面临自身的挑战，例如处理几何失真以及将前视特征转换为俯视视角，这些任务需要创新的架构解决方案。 在我们的先前会议发表的360BEV [^5]和OneBEV [^14]等基础概念和成功案例的基础上，我们引入了一个新颖且统一的框架，称为OneBEV++。OneBEV++的主要目标是创建一个更高级的、用于全景图像BEV语义映射的单一解决方案，该方案在室内和室外环境中都有效。虽然以前的方法（如专注于室内环境的360BEV和专为室外环境设计的OneBEV）在各自领域都显示出一定的潜力，但它们针对特定应用进行了优化，缺乏跨域部署所需的通用性。OneBEV++通过引入一种统一的架构来弥补这一差距，该架构利用两种方法的优势并解决了它们的局限性，无需针对不同环境进行特定领域的重新设计。 我们的框架引入了两个关键的技术创新，这些创新使其能够实现跨域有效性。首先，我们开发了一种称为柱状径向投影 (CRP) 的专用全景投影技术，该技术有效地将BEV坐标映射到全景图像的列。CRP通过方位角计算，在BEV空间和前视全景之间建立几何关系，为不同环境比例和几何形状的特征变换提供了坚实的基础。该方法天然地适应全景图像的特性，同时通过可学习的参数实现自适应特征采样。其次，我们设计了一个特征选择块 (FSB)，该块通过战略性地使用最大池化操作高效地识别和提取最显著的特征，然后再应用状态空间建模。此机制通过将计算资源集中在关键的视觉线索上，提高效率，从而在减少开销的同时确保准确的BEV变换。这些进步嵌入在我们名为MVTv2 (Mamba View Transformation version 2) 的模块中，该模块可以无缝地将全景特征转换为BEV域。 --- ![Image](images/883d90f9b883d53e0d5a780dfff638cb90115882b89fddab116910bba882d5ef.jpg)
Fig. 1: Our OneBEV++ performs unified panoramic BEV semantic mapping across all scenes, outperforming specialized methods 360BEV (indoor) and OneBEV (outdoor). Our method achieves better performance (higher mIoU) with fewer FLOPs and parameters across four panoramic datasets: Stanford-360 and Matterport-360 (indoor), and NuScenes-360 and DeepAccident-360 (outdoor).
该计算为不同环境尺度和几何结构下的特征变换提供了坚实基础。该方法天然适配全景图像的特性，同时可通过可学习参数实现自适应特征采样。其次，我们设计了特征选择模块（Feature Selection Block, FSB），可在应用状态空间建模之前，通过策略性最大池化操作高效识别并提取最具显著性的特征。该机制通过将计算资源集中分配给关键视觉线索来提升效率，确保在降低开销的同时实现精准的BEV变换。这些改进均嵌入在我们的MVTv2（Mamba View Transformation version 2）模块中，该模块可将全景特征无缝转换到BEV域。 得益于这一先进的架构设计，我们的新框架在室内场景数据集Stanford-360 [^5]和Matterport-360 [^5]、室外场景数据集NuScenes-360 [^14]和DeepAccident-360 [^14]上均取得了当前最优性能，同时与使用独立专用模型相比，计算复杂度（FLOPs）降低了46%，参数量降低了7%。我们的大量实验表明，OneBEV++不仅在各对应领域的性能优于以往的专用方法，还能在多样环境下保持稳定一致的性能，充分证明了它的鲁棒性与通用性。 相较于此前发表的会议工作，我们新增贡献如下： (1) 我们提出了一种名为 OneBEV++ 的新型统一框架，用于全景到鸟瞰视图的语义映射，该框架在室内和室外环境中均能有效运行，克服了先前方法的领域特定局限性。 (2) 我们扩展并标准化了四个全景鸟瞰视图映射的基准数据集，即用于室内场景的 Stanford-360 和 Matterport-360，以及用于室外场景的 NuScenes-360 和 DeepAccident-360，提供了全面的评估环境，具有一致的标注协议和评估指标。 (3) 我们引入了一种通用的架构，该架构以优化的 MVTv2 模块为基础，实现了顶级性能，同时降低了计算需求，从而为高效有效的鸟瞰视图感知树立了新的标准。 (4) 我们提供了广泛的分析，涵盖了 MVT 和 CRP 组件的消融实验、视场影响以及在各种损坏类型下的拼接鲁棒性，从而对 OneBEV++ 的设计选择和实际应用提供了详细的见解。 ## 2 相关工作 ### 2.1 全景图像处理 全景图像理解已成为一项重要的研究领域，因为它能够提供超出传统窄视成像局限性的全面场景表示。全景图像捕获 $360^{\circ}$ 场景，为整体环境感知奠定了基础 [^15]。然而，通常用于表示这些全方位场景的等矩形投影会产生显着的几何失真，这给下游计算机视觉任务带来了独特的挑战。解决这些挑战的研究在多个方面取得了进展。早期的工作侧重于将传统的计算机视觉任务适应全景图像，对象检测方法 [^16]、[^17] 解决了等矩形投影中的扭曲和比例变化问题。随后，语义分割技术取得了进展 [^15]、[^18]、[^19]、[^20]、[^21]、[^22]，这些技术考虑了全景视图的连续性。深度估计方法 [^23]、[^24]、[^25]、[^26] 和全景分割方法 [^27]、[^28]、[^29] 进一步扩展了全方位场景理解的能力。尽管取得了这些进展，但大多数现有方法主要在正面视角下运行，这使得准确地将全方位特征转换为鸟瞰视图仍然是一个挑战。我们的工作解决了这一特定差距，开发了一个框架，该框架不仅可以处理正面全景图像中的失真，还可以准确地将这些全方位特征转换为鸟瞰视图表示。 ### 2.2 全景场景理解 场景理解涵盖了旨在全面解释视觉环境的一系列计算机视觉任务。 --- 这些任务在室内和室外环境中通常沿着不同的发展轨迹，因为它们的根本特性和挑战截然不同。在室内环境中，相对可控的条件和结构化的几何形状促进了专门的方法。房间布局估计方法 [^30]，[^31] 利用几何约束，而室内语义分割技术 [^4]，[^32]，[^33] 利用明确定义的物体关系。室内3D重建方法 [^34]，[^35] 进一步利用室内空间的封闭性来创建详细的空间表示。室外场景理解，尤其是在自动驾驶的背景下，由于空间无界、动态条件以及更大的环境变化，呈现出不同的挑战。诸如KITTI [^36] 和Cityscapes [^37] 等基础数据集推动了该领域的发展。 较新的方法已经发展成多任务学习框架 [^1]，[^38]，这些框架整合了多个感知目标。专门用于解决恶劣条件，如恶劣天气 [^39]，[^40] 和低光环境 [^41]，[^42] 的方法进一步提高了室外感知系统的鲁棒性。室内和室外方法的二分法凸显了一个重要的研究差距：缺乏可以在不同环境背景下无缝运行的统一框架。最近的架构，如 [^43]，[^44]，开始探索更通用的方法，显示出有前景的潜力，可用于跨环境的应用。我们的工作通过开发一个统一的全向场景理解框架来推进这一方向，该框架有效地连接室内和室外领域，同时保持共享的表示基础。 ### 2.3 鸟瞰图语义地图 鸟瞰视图（BEV）语义映射已经通过两种主要视图变换范式发展而来：2D-3D和3D-2D方法 [^45]，每种方法都为将透视图像转换为俯视表示提供了不同的优势。 3D-2D范式起源于逆透视映射（IPM） [^46]，它使用齐次变换将相机图像转换为BEV。 这种方法已经得到了显着的改进，当代方法 [^1]、[^2]、[^47]、[^48]、[^49]采用多层感知器（MLP）或Transformer架构来执行3D到2D投影，同时使用相机参数。 [^13]、[^50]通过实现无需依赖显式相机参数的视图投影，进一步推动了该领域的发展。 2D-3D方法由LSS [^51]提出，它建立了一个将BEV分割与3D特征图连接的新框架，通过从2D特征估计隐式像素深度。 后续工作，包括BEVDet [^3]、$M^{2}BEV$、[^52]和BEVFusion [^38]，在此基础上进行了改进，通过改进深度估计技术来提高变换精度。 尽管这些方法在多视角相机设置中显示出有希望的结果，但将全景图像转换为BEV表示提出了独特的挑战。 360BEV [^5]率先探索了室内环境的方向，使用Transformer架构和监督深度信息，随后是OneBEV [^14]，它引入了一个基于Mamba [^53]的、对失真有意识的框架，用于无需地面真值深度即可处理室外全景图。 我们的工作在此发展轨迹的基础上，并对其进行了扩展，提出了一个统一的模型，该模型可以无缝处理室内和室外全景图到BEV的转换。 通过解决每个领域的独特挑战，同时保持一个通用的 ![Image](images/5bbb4fbbead17a99db7381513e6a84f7bc01909a897c143f6fc2c4c8944d88b9.jpg)
Fig. 2: BEV semantic map generation via orthographic projection, derived from the front-view semantic image and the global XYZ image into the BEV semantic map.
架构框架，我们的方法代表了通向通用全方位场景理解的重要进步。 ## 3 全景图到BEV基准 在我们的先前工作中 [^5]、[^14]的基础上，本节详细介绍了用于四个全方位数据集的图像处理流程，涵盖室内和室外环境： (A) 室内：位于3.1节的Stanford-360数据集。 (B) 室内：位于3.2节的Matterport-360数据集。 (C) 室外：位于3.3节的NuScenes-360数据集。 (D) 室外：位于3.4节的DeepAccident-360数据集。 每个数据集都经过一个结构化的处理流程，该流程涉及全景图像构建和BEV标注生成，以确保不同环境之间的一致性。 ### 3.1 Stanford-360数据集构建 全景图生成。 Stanford-360数据集建立在现有的Stanford2D3D数据集 [^54]的基础上，该数据集提供了在各种室内环境中拍摄的前视图全景图像。 这些图像直接纳入新的数据集中。 BEV标注生成。虽然斯坦福2D3D数据集包含俯视全景图像，以及俯视语义分割和全局XYZ图像（如图2左侧所示），但它缺乏相应的BEV语义标签。为了解决这个问题，我们通过正交投影提供的语义分割和全局XYZ信息来生成BEV语义图。生成的BEV语义图代表地面真实值，生成在可见范围内（如图2右侧所示，不可见区域为黑色，可见区域为彩色）。 ### 3.2 Matterport-360数据集构建 全景图生成。Matterport-360数据集建立在Matterport3D [^55]的基础上，该数据集最初由窄视场（FoV）针孔相机图像组成。为了生成俯视全景图像，我们使用旋转和平移矩阵拼接18个窄视图像，合成 $360^{\circ}$ 全景图，如图3所示。相应的语义标签也经过类似的处理，以确保与全景投影的空间对齐。 --- ![Image](images/a731ab66809565f69888c10f8f93cff49ced4c3d5ea225f749af55fcb7e560bc.jpg) ![Image](images/55e8ccbba38e079309af800edc835c699df4e1652c309fd6d124f0d12da773c9.jpg)
Fig. 3: Panoramic front-view generation in the Matterport3D dataset. For each center point $P_{ij}$ of the narrow-view images, rotation R and translation t relative to a reference center O are used to construct the panoramic front-view image.
BEV标注生成。利用提供的俯视深度图，我们为每个全景图像构建一个全局XYZ，灵感来自斯坦福2D3D数据集的全局XYZ。构建过程分为三个步骤：（1）计算每个全景像素的球坐标；（2）使用深度图将它们转换为相机坐标系中的3D点；（3）通过正交投影矩阵将这些点投影到BEV平面上。完整的推导见附录？。 ### 3.3 NuScenes-360数据集构建 全景图生成。NuScenes-360数据集是从原始NuScenes数据集 [^56]生成的，该数据集提供了安装在车辆上的六个窄视场相机的图像。这些相机的位置设计为确保在车辆周围提供完整的 $360^{\circ}$ 覆盖，其中五个相机具有 $70^{\circ}$ 视场，后置摄像头具有更宽的 $110^{\circ}$ 视场，间隔为 $55^{\circ}$，并且具有重叠的视野。由于相机具有非一致的光学中心，我们通过将每个全景像素投影到观察球上并将它映射回相应相机的图像平面，从而通过射线-平面交集来拼接图像。完整的几何推导见附录？？。 由于数据集内多个相机之间存在视场重叠区域的限制，可能会出现同一物体在相邻图像中不存在的情况。因此，使用基于特征点的方法 [^57]、[^58]、[^59] 进行匹配可能效率低下或效果不佳。我们的拼接技术基于相机的物理模型，速度很快，但无法实现高质量的拼接。此外，全景图像中的物体可能会出现失真或扭曲，这给神经网络的鲁棒性带来了挑战。图4显示了其中的一些挑战。 BEV标注生成。原始的NuScenes数据集包含高分辨率的BEV语义分割图。类似于 [^38]，我们获取给定位置的语义标注。 ### 3.4 DeepAccident-360数据集构建 全景图生成。我们还提供了一个合成数据集，即DeepAccident [^60]，该数据集使用CARLA [^61]模拟器生成。DeepAccident的结构与NuScenes相同，因此我们使用相同的技术来创建DeepAccident-360数据集中的俯视全景图。 BEV 注释生成。原始的 DeepAccident 数据集也包含 BEV 语义分割图，这些图是从其俯视图语义分割图转换而来。我们直接将其用于我们新的 DeepAccident-360 数据集。 ### 3.5 数据集统计 在进行前视图全景图组合和 BEV 注释生成后，可以获得两个室内和两个室外的全景语义映射 BEV 数据集。我们提供了这些数据集的综合统计数据，以及关于特定 BEV 语义类别的分析和选择的更多详细信息，请参见附录 $\ref{app3}$。 ## 4 统一的 OneBEV++ 框架 本节介绍 OneBEV++ 框架，这是一种统一的方法，用于使用单个全景图像跨室内和室外环境进行鸟瞰图 (BEV) 语义映射。首先，我们定义了全景到 BEV 语义映射任务（第 4.1 节）。接下来，我们介绍总体架构及其主要组件（第 4.2 节）。最后，我们详细介绍了视图转换模块，重点是改进的 MVTv2 设计（第 4.5 节）。 ### 4.1 任务定义 给定单个全景 RGB 图像 $I \in \mathbb{R}^{H \times W \times 3}$，OneBEV++ 旨在生成一个俯视语义图 $M \in \mathbb{R}^{H_q \times W_q \times C}$，其中 C 表示语义类的数量。与依赖于多个针孔摄像头或 LiDAR 的传统 BEV 方法不同，OneBEV++ 利用单个全景图像来推断 BEV 语义，使其能够适应各种环境。这通过一个感知失真的视图转换来实现，该转换将来自前视图全景域的特征映射到结构化的 BEV 空间。通过将 BEV 感知扩展到特定领域的解决方案之外，OneBEV++ 提供了一种统一的方法，适用于机器人、自动驾驶和场景理解。 ### 4.2 架构概述 OneBEV++ 遵循类似于 OneBEV [^14] 的端到端架构，该架构用于使用单个全景图像进行 BEV 语义分割。如图 5 所示，该模型由三个主要组件组成：特征提取主干网络、视图转换模块和 BEV 分割头。该流程从通过 VMamba-T [^62] 主干网络处理前视图全景图像开始，以提取分层特征表示。然后，将提取的特征传递到 MVTv2 模块，MVTv2 是原始 Mamba 视图转换 (MVT) 的优化版本，旨在提高计算效率，同时保持准确的 BEV 特征转换。MVTv2 从前视图域中选择关键特征点，并将它们映射到 BEV 空间，以确保室内和室外环境中的空间对齐。最后，一个轻量级的 BEV 分割头处理转换后的特征以生成俯视语义图。通过整合 MVTv2 并保留整个流程的计算效率，OneBEV++ 提供了一个可扩展且轻量级的框架，用于各种 BEV 感知任务。 ### 4.3 BEV 查询 BEV 语义映射的基础是与它们对应的位置嵌入 $Q \in \mathbb{R}^{H_q \times W_q \times C_{Emb}}$ 配对的一组 BEV 查询 $Z \in \mathbb{R}^{H_q \times W_q \times C_{Emb}}$。这些嵌入编码了空间先验，从而使模型能够在转换过程中保持几何一致性。Q 和 Z 都在由 BEV 平面维度 $H_q$ 和 $W_q$ 以及嵌入大小为 $C_{Emb}$ 定义的结构化空间框架中运行。 --- ![Image](images/41c0870f18743e9c56c073c8aa8e04acb068c05ad01138913db5217453b70532.jpg)
Fig. 4: Reconstructed panorama and associated challenges. The top row shows images from six cameras surrounding a car. The second row displays the multi-view images mapped into panorama. As seen in the panorama, some challenges exist. A straight road appears curved and incomplete, with scattered segments (blue shade). Due to stitching quality issues, seams and ghosting are present at the junctions of adjacent views (orange boxes), leading to object misalignment.
![Image](images/da2aac6f033d953d3c1e0820446e9d6e5daa661f3c57e696f55244a4b0e166f5.jpg)
Fig. 5: Architecture of OneBEV++. The VMamba-T [^62] backbone extracts features from the panorama. The optimized Mamba-based view transformation (MVTv2) module maps these features into BEV space through iterative refinement, followed by a lightweight decoder for semantic segmentation.
每个查询 $q_{i}$ 代表 BEV 空间中的一个离散位置，负责从全景输入中聚合相关特征。 ### 4.4 列径向投影 我们在此基础上，提出了专为缺乏深度信息场景设计的全景投影技术，称为列径向投影 (CRP)，该技术是基于 360BEV 中提出的逆径向投影 (IRP) [^5]。在具有深度监督的环境中，IRP 能够实现 BEV 和前视图图像之间的精确点对点映射。然而，在无深度环境中，直接对应关系并不总是可行。相反，CRP 建立了一种点对列的映射，确保对于任何给定的 BEV 查询 $q_i$，都可以通过几何变换在全景视图中识别出相应的相对列位置 $c_i$。如图 6 所示，对于地面平面坐标系中的一个 BEV 查询点 $q_i = (x_i, y_i)$，CRP 通过以下变换计算其在全景图像中的相应列索引 $c_i$： $$ \begin{aligned}\phi_{i}&=\tan^{-1}\left(\frac{-x_{i}}{y_{i}}\right),\\\phi_{i}&=\phi_{i}+2\pi,if\phi_{i}<0,\\c_{i}&=\frac{\phi_{i}}{2\pi},\end{aligned} $$ --- ![Image](images/67b12d73bffbce5c57f2c114c77da7186bcc38f310b5a9fa3722005462d3aa66.jpg)
Fig. 6: Columnar Radial Projection (CRP) translates BEV features $q_{i}$ into columnar representations $c_{i}$ in a panoramic front view. Blue arrows indicate the ego-vehicle's driving direction, while the magenta region highlights radial-to-columnar mapping where points along a ray (varying radial distances) collapse to a single column.
其中，$\phi_{i}$ 表示 $q_{i}$ 与 y 轴之间的方位角。 阴影区域说明了不同径向距离的点如何映射到全景视图中的同一列，这突出了 CRP 的列状特性。虽然该方法会因为图像拼接伪影和几何失真而引入一些细微的不准确性，但这些限制通过在第 4.5 节中结合可学习参数来减轻。这些参数允许每个 BEV 查询 $q_{i}$ 自适应地根据 CRP 预测的列来细化其注意力，从而实现更强大的特征采样。 ### 4.5 视图变换 如图 5 的下半部分所示，MVTv2 模块通过三个关键操作，有效地将前视图全景特征转换为 BEV 空间： 1. 基于查询的采样：MVTv2 通过对 BEV 查询位置生成可学习的采样偏移量 $\Delta p \in \mathbb{R}^{H_q \times W_q \times D \times L \times 2}$，从而处理每个 BEV 查询位置。这里，L 表示采样位置的数量，D 表示每个位置的采样点数。参考采样点 $p := (r, c)$ 结合可学习的高度索引 $r \in \mathbb{R}^{H_q \times W_q \times L \times 1}$ 和 CRP 导出的列索引 c。对于全景特征 $f_{360} \in \mathbb{R}^{H_{360} \times W_{360} \times C_{Emb}}$，采样点位置的计算如下： $$ P_{i}=W f_{360}(p_{i,j}+\Delta p_{i,j,k}), $$ 其中，$W \in \mathbb{R}^{C_{Emb} \times C_{Emb}}$ 表示可学习的投影矩阵。 2. 特征选择和状态空间建模：采样的特征 $P \in \mathbb{R}^{H_q \times W_q \times LD \times C_{Emb}}$ 经过两个处理阶段：首先，特征选择块 (FSB) 使用最大池化来识别和提取最显著的特征。然后，来自 VMamba 的 Vanilla VSS 块 (VVB) [^62] 通过状态空间计算在 BEV 域中执行高效的空间建模。 3. 迭代增强：转换后的特征 Q 既是 BEV 表示，也是用于后续 MVTv2 层的查询输入，从而通过额外的全景采样迭代实现渐进式细化。
TABLE 1. Comparison with the state-of-the-arts on the outdoor datasets (NU-360: NuScenes-360, DA-360: DeepAccident-360).
Method#Param.FLOPsNU-360 valDA-360 val
BEVFusion [^38]53.7M215G42.223.8
BEVSegformer [^13]53.1M112G44.830.8
BEVFormer [^1]38.8M213G45.326.1
360BEV (ours)32.9M107.0G47.834.3
OneBEV (ours)31.0M177.0G51.136.1
OneBEV++ (ours)28.9M94.1G56.338.2
w.r.t. 360BEV(-4.0M)(-12.9G)(+8.5)(+3.9)
这种增强的架构保留了原始 MVT 的变换保真度，同时大大降低了计算复杂度。生成的 BEV 特征提供了一种丰富的表示，能够有效地捕获全景输入的空间关系和语义内容，为下游分割任务奠定了坚实的基础。 ## 5 实验结果 ### 5.1 实施细节 我们的实现主要遵循OneBEV [^14] 的设置，并根据OneBEV++的改进进行了修改。嵌入维度设置为128。对于MVTv2模块，我们配置了2层，2个采样位置，以及每个位置2个偏移点，同时保持原始VSS块的内部维度和深度分别为128和1。OneBEV++使用4个A100 GPU进行训练，批次大小为每个GPU 2。初始学习率设置为$5 \times 10^{-5}$，适用于所有数据集，采用训练时间为50个epoch的线性预热和余弦退火策略。我们使用AdamW优化器，权重衰减为0.01，以增强泛化能力。输入分辨率因室内和室外场景而异：室内全景图像以$512 \times 1024$处理，而室外图像使用$180 \times 3200$。BEV语义地图保持一致的输出分辨率为$200 \times 200$像素，对于室外环境，自适应感知范围为$[-50m, 50m] \times [-50m, 50m]$，对于室内空间为$[-5m, 5m] \times [-5m, 5m]$。在评估中，我们遵循OneBEV [^14] 的协议，使用类别平均的交并比（mIoU）作为我们的主要指标。评估涵盖了具有不同语义类别的多个数据集：Stanford-360（13个类别），Matterport-360（20个类别），NuScenes-360（6个类别）和DeepAccident-360（17个类别）。 ### 5.2 室外OneBEV++结果 在我们的先前工作中，我们使用OneBEV [^14]，在室外数据集上评估了各种最先进的模型，特别是真实世界的NuScenes-360和合成的DeepAccident-360，如表1所示。这些数据集代表了OneBEV的原始预期应用，涵盖了复杂的室外驾驶场景，包括多样的天气条件、不同的照明和动态交通环境。 得益于Mamba View Transformation (MVT) 模块，原始OneBEV（31.0M参数，177.0G FLOPs）在两个室外基准测试中都表现出色，在NuScenes-360上实现了51.1%的mIoU，在DeepAccident-360上实现了36.1%的mIoU。这些结果优于我们早期的基线模型360BEV [^5]，分别提高了3.3%和1.8%， ---
TABLE 2. Comparison with the state-of-the-arts on the indoor datasets (S-360: Stanford-360, MP-360: Matterport-360).
Method#Param.FLOPsS-360 valMP-360 valtest
BEVFusion [^38]53.7M208.0G7.821.018.3
BEVSegformer [^13]53.1M100.0G16.121.618.4
BEVFormer [^1]38.8M206G17.520.117.4
360BEV (ours)32.9M99.1G17.828.324.0
OneBEV (ours)31.0M171G20.328.123.6
OneBEV++ (ours)28.9M88G22.028.824.3
w.r.t. 360BEV(-4.0M)(-11.1G)(+4.2)(+0.5)(+0.3)
证实了OneBEV架构在室外BEV语义分割任务中的有效性。值得注意的是，在NuScenes-360数据集上，OneBEV超越了所有现有的领先方法，如BEVFusion [^38]（42.2%）、BEVSegformer [^13]（44.8%）和BEVFormer [^1]（45.3%），同时在具有更大语义类别集的更具挑战性的DeepAccident-360基准测试中也实现了非常具有竞争力的结果。 受到这些令人鼓舞的结果的鼓舞，我们通过引入增强的视图转换模块（MVTv2）进一步改进了架构，从而创建了优化版本OneBEV++。值得注意的是，尽管模型复杂度显著降低（28.9M参数，94.1G FLOPs），OneBEV++在两个室外数据集上都取得了显著的改进。具体来说，它在NuScenes-360上达到了新的最佳mIoU，为56.3%，比原始OneBEV高出5.2%，比360BEV基线高出8.5%。同样，在DeepAccident-360数据集上，OneBEV++达到了38.2%的mIoU，比OneBEV高出2.1%，比360BEV高出3.9%。 这些结果表明，OneBEV++成功地实现了其设计目标：在不牺牲户外BEV语义分割任务的准确性的前提下，提供轻量级的效率。其一致且显著的性能提升，以及降低的计算成本，不仅验证了我们的架构创新，还将OneBEV++定位为高效户外BEV语义分割的新领先方法。 ### 5.3 室内OneBEV++结果 在这项工作中，我们进一步扩展了我们架构的范围，探索了其在室内任务中的性能。表2将我们的OneBEV [^14]模型系列与现有方法在室内斯坦福-360和Matterport-360数据集上的比较。 之前，OneBEV仅在大型户外数据集上进行验证。 如今，我们首次将其适配到室内环境。 原始的室内适配OneBEV（31.0M参数，171G FLOPs）在斯坦福-360上实现了20.3%的mIoU，超过了360BEV基线的2.5%。 然而，在更多样和更具挑战性的Matterport-360数据集的验证和测试集中，其性能略有下降，这表明还有进一步改进的空间。 为了解决这个问题，我们引入了适用于室内环境的OneBEV++，进一步减小了模型尺寸，同时提高了分割精度。 具体来说，OneBEV++在斯坦福-360上实现了更高的mIoU，达到了22.0%，超过了基线3.1%，并在Matterport-360上显示出适度的提升，验证和测试mIoU分数分别为28.8%和24.3%，分别比基线提高了0.5%和0.3%。 这些发现表明，OneBEV++有效地将其轻量级效率和强大准确性的标志性优势从户外转移到室内场景。 通过针对性地增强MVT架构，OneBEV++提高了几何理解和特征表示能力，从而在相对简单的室内环境（斯坦福-360）和更复杂、多样的场景（Matterport-360）中都实现了稳健的性能提升。 ### 5.4 分析
TABLE 3. Analysis of OneBEV++ components on Standford-360 dataset. 'VT Type' denotes the method of view transformation. 'VVB' denotes whether to use Vanilla VSS Block. 'Pooling Type' denotes the pooling type (max: max-pooling, avg: average-pooling) in Feature Selection Block.
BackboneVT TypeVVBPooling TypemIoU
VMamba-T [^62]CrossAtt [^13]--15.2
VMamba-T [^62]MVT✓-18.9 (+3.7)
VMamba-T [^62]MVTv2✓max22.0 (+6.8)
VMamba-T [^62]MVTv2-max21.0
VMamba-T [^62]MVTv2✓max22.0 (+1.0)
VMamba-T [^62]MVTv2✓avg19.7
VMamba-T [^62]MVTv2✓max22.0 (+2.3)
VMamba-T [^62]MVTv2✓max22.0
GroupMamba-T [^63]MVTv2✓max22.2 (+0.2)
MVT分析。 为了更好地理解我们提出的视觉变换方法（MVT），我们进一步分析了其组件和超参数选择，如表3所示。 通过行（1-3），我们可以观察到，当使用VMamba-T [^62]作为骨干时，我们的提出的MVT方法 [^14]在去除视觉变换模块时，与多摄像头可变形交叉注意力方法 [^13]相比，实现了3.7%的性能提升。 这表明使用基于Mamba的视觉变换方法具有优势。 随着下一代MVTv2的引入，性能进一步提高了相对6.8%。 具体来看，从行（4-5）我们分析了MVTv2中的组件，即Vanilla VSS Block (VVB)，它是使用扫描机制来代替交叉注意力机制进行特征融合的核心Mamba方法。 当我们从MVTv2中排除此模块时，我们模型的性能会下降，这表明VVB是整个MVTv2框架中的一个不可或缺的模块，并在精细特征融合中起着关键作用。 检查表格中的第6-7行，我们采用了不同的池化方法——平均池化和最大池化。我们发现，使用最大池化可以使模型更具鲁棒性，因为它迫使模型只选择最突出的特征。如图7所示，我们还可视化MVT和MVTv2在俯视平面点上采样点的差异。在BEV语义图中，红色点•对应于标签'floor'。在图7的左下角，我们可以看到MVTv2更准确地识别出正面视图中的相应区域。这种改进得益于我们提出的CRP方法，该方法减少并集中在列向量附近的相应点范围。我们用蓝色•突出显示通过最大池化选择的最突出的特征点，我们可以观察到该特征点正好位于地面区域内。但是，当我们观察图7的左上方时，MVT在找到相关特征方面会遇到更多困难。 实验结果表明，我们提出的MVTv2的每个组件都有助于整体性能，其中VVB提供必要的精细特征融合能力，而最大池化通过基于显著性的过滤来增强特征选择的鲁棒性。最后，检查第8-9行，我们比较了不同的骨干网络架构，其中GroupMamba-T在mIoU上比VMamba-T略有提高，为0.2%，这表明虽然骨干的选择会产生一定影响，但核心的MVTv2架构提供了主要的性能提升。 --- 实验结果表明，我们提出的MVTv2的每个组件都有助于整体性能，其中VVB提供必要的精细特征融合能力，而最大池化通过基于显著性的过滤来增强特征选择的鲁棒性。最后，检查第8-9行，我们比较了不同的骨干网络架构，其中GroupMamba-T [^63] 在mIoU上比VMamba-T略有提高，为0.2%，这表明虽然骨干的选择会产生一定影响，但核心的MVTv2架构提供了主要的性能提升。 ![Image](images/6d9b960105bf3443334967b409f250e798af3d99978c3001e078ee65c28ec9bf.jpg)
Fig. 7: Deformable offsets visualization in MVT (OneBEV) and MVTv2 (OneBEV++). Left column: Deformable offsets for MVT (top) and the proposed MVTv2 (bottom). The green points indicate sampling locations, red points • represent deformable offsets, and blue point • denotes salient point identified via max-pooling and selected as final features. Right column: Ground-truth BEV semantic map, with red points • marking semantic locations to be computed.
CRP分析。为了量化每个CRP组件的贡献，我们在Stanford-360上消除了四种变体，通过选择性地禁用ColumnSampling模块的各个部分：（V1）完整的CRP，包括列先验、垂直索引和学习的偏移量；（V2）移除偏移量；（V3）仅使用列先验；（V4）完全学习采样，不使用几何先验（即OneBEV的原始采样）。我们还报告了来自360BEV的逆径向投影（IRP）的理想结果 [^5]，该结果使用地面真实深度，作为上限。结果列在表4中。
TABLE 4. CRP component ablation on Stanford-360 (mIoU %). Column prior: geometric azimuth-to-column mapping. Vertical index: learned height sampling. Sampling offset: learned local refinement.
VariantmIoU$\Delta$
V1: Full CRP (col. prior + vert. index + offset)22.02-
V2: No sampling offset13.73-8.29
V3: Column prior only13.59-8.43
V4: Fully learned, no CRP (OneBEV Sampling)20.33-1.69
IRP with oracle depth45.80+23.78
学习的采样偏移量是最重要的组件：移除它（V2 vs. V1）会导致mIoU下降8.29个点。这验证了粗到精的设计，其中CRP定位每个BEV查询的正确全景列，而偏移量在列内细化采样位置。 单独的垂直索引几乎没有效果：V2（列先验 + 垂直索引，13.73）和V3（仅列先验，13.59）之间的差异仅为0.14 mIoU。 它的价值只有在与偏移量配对时才会显现，这表明高度感知的采样主要提供了一个学习细化的初始化种子。 CRP中的几何先验始终优于纯粹的学习采样：V1（22.02）超过V4（20.33，OneBEV的原始采样）1.69 mIoU。 尽管偏移量提供了最大的准确性增益，但列先验会将优化引导到具有几何意义的特征，并导致比不受约束的采样更好的收敛性。 带有地面真实深度的IRP理想结果达到45.80 mIoU，比CRP高出23.78个点。 这种差距反映了无深度投影的固有成本。 在实践中，地面真实深度很少适用于全景图像。 CRP通过将该准确性上限与广泛的适用性进行权衡：它可以在任何全景图像上运行，而无需深度传感器。 当有深度信息可用时，该框架可以通过用完整的2D参考点替换列参考来切换到IRP，而其余的管道保持不变。 视野范围分析。 为了衡量更广的输入范围对BEV性能的提升，我们在NuScenes-360上，以[^13]、[^5]和$60^{\circ}$的参数重新训练了BEVSegFormer $180^{\circ}$、360BEV $360^{\circ}$和OneBEV++。 在每个视野范围内，全景图像会被裁剪到围绕前进方向的目标角度范围，并且BEV的ground truth会被掩码到相应的可见扇形区域（图8）。 由于BEV的评估区域会随着视野范围的变化而变化，因此原始的mIoU值在不同列之间无法直接比较。 ![Image](images/f419f4824c35173c5cf52d2d33ee187977cbcd17387877dd0b4d419bda21ab66.jpg)
Fig. 8: FoV ablation visualization on NuScenes-360. The panoramic input is restricted to a forward-facing sector and the BEV supervision is masked accordingly.
TABLE 5. FoV ablation on NuScenes-360 (mIoU %). Each model is retrained at the target FoV. $\Delta$: gain from $60^\circ$ to $360^\circ$.
Method$60^{\circ}$$180^{\circ}$$360^{\circ}$$\Delta_{60\rightarrow360}$
BEVSegFormer20.0919.7744.80+24.71
360BEV27.5730.0847.80+20.23
OneBEV++32.4134.5056.30+23.89
如表5所示，$360^\circ$输入始终在所有三种方法中获得最高的mIoU。当从$60^\circ$扩展到$360^\circ$时，OneBEV++的mIoU增加了+23.89，这证实了全景上下文包含狭窄的前视无法恢复的信息。OneBEV++在每个视野级别（32.41、34.50、56.30）均领先，表明CRP + MVTv2架构在不同输入范围内具有良好的泛化能力。$60^\circ$设置类似于单个前视摄像头；与$360^\circ$之间的巨大差距突出了全景输入在BEV映射中的实际价值。 缝合鲁棒性分析。由于我们的户外全景图由多摄像头图像拼接而成，因此不可避免地会出现拼接伪影。因此，我们在NuScenes-360上设计了一个鲁棒性基准，其中OneBEV++和OneBEV在干净的数据上进行训练，并在四个严重级别（S1–S4）下的四个损坏类型影响下进行评估（仅在推理时应用）。结果列于表6。 ---
TABLE 6. Stitching robustness on NuScenes-360 (mIoU %). Models trained on clean data; perturbations applied at test time.
OneBEV++ (clean: 56.30)OneBEV (clean: 51.11)
CorruptionS1S2S3S4S1S2S3S4
Seam Shift56.3756.2954.8253.2050.9050.8450.4049.19
Yaw Bias56.3955.6651.7747.1850.6650.6648.6644.87
Exposure Mis.56.2656.2256.1756.0451.0851.0450.9950.91
Missing View43.6638.4329.4615.4241.0834.7626.0813.63
损坏分为两个严重程度类型。外观级别的扰动——缝隙偏移（摄像头边界处的3–15像素水平错位）和曝光不匹配（每个部分的±20%–±80%亮度/对比度变化）——几乎没有影响：在S4级别，OneBEV++仅分别降低了5.5%和0.5%。这种鲁棒性可能源于卷积骨干和MVTv2基于可以容忍小空间偏移和中等光度变化的局部特征模式。 几何级别的扰动更为严重。偏航偏差（每个部分的$\pm2^{\circ}-\pm10^{\circ}$角度偏移，模拟校准漂移）会导致逐步降低（$-16.2\%$在S4级别），但即使在$\pm10^{\circ}$扰动下，OneBEV++仍达到47.18的mIoU，超过了所有基线在干净数据上的性能。这表明CRP采样网格可以部分吸收中度的几何失真。缺失视图（$30^{\circ}-120^{\circ}$零出区域，模拟摄像头故障）是最具破坏性的扰动（$-72.6\%$在S4级别），如预期，因为三分之二的全景输入被移除。 值得注意的是，在缺失视图下，OneBEV++和OneBEV显示出几乎相同的相对下降（-72.6% vs. -73.3%），这表明这种敏感性是全景BEV范式的固有属性，而不是CRP的弱点。在所有损坏类型和严重级别下，OneBEV++始终保持其相对于OneBEV的绝对mIoU优势（约为+5 mIoU），这证实了CRP + MVTv2的优势不会以鲁棒性为代价。 效率分析。表7提供了各种BEV语义分割模型（包括我们的OneBEV系列：OneBEV和OneBEV++）的推理效率详细比较。关键指标包括参数（Param.）、浮点运算（FLOPs）、每秒帧数（FPS）和平均交并比（mIoU）。 OneBEV 系列在性能和效率方面表现出色。OneBEV++ 在 Stanford-360 数据集上实现了 22.0 的令人印象深刻的 mIoU，参数量仅为 28.9M，FLOPs 为 88G，超过了所有其他模型。这标志着与 OneBEV [^14] 相比有了显着改进（参数量为 31M，FLOPs 为 171G，mIoU 为 20.3），反映了我们在优化准确性和效率方面的持续努力。 与 BEVFusion [^38]、BEVSegformer [^13]、BEVFormer [^1] 和 360BEV [^5] 等其他领先模型相比，OneBEV 系列在性能和效率之间提供了更好的平衡。例如，BEVFusion 和 BEVFormer 的计算成本非常高（分别为 207G 和 206G FLOPs），但准确性较低（分别为 7.8 和 17.3 mIoU）。虽然 360BEV 实现了更高的 FPS（47.75），但其准确性有限（17.8 mIoU）。相比之下，OneBEV++ 实现了显着更高的 mIoU（22.0），同时保持了强大的 28.15 FPS，使其非常适合需要高准确性和高效处理的实时应用。 图 9 突出了 OneBEV 家族的强大学习行为。
TABLE 7. Comparison of inference efficiency.
ModelVTParam.FLOPsFPSmIoU
BEVFusion [^38]CrossAtt [^13]53.7M207G34.137.8
BEVSegformer [^13]CrossAtt [^13]53.1M100G31.1916.0
BEVFormer [^1]CrossAtt [^13]38.9M206G33.9017.3
360BEV (ours)CrossAtt [^13]32.9M99G47.7517.8
OneBEV (ours)MVT [^14]31M171G13.3620.3
OneBEV++ (ours)MVTv228.9M88G28.1522.0
![Image](images/8bec8207769c2b8fc2e67b9f7341b4c66be474db8b9a03f6c1c31d67be6f514a.jpg)
Fig. 9: Training convergence curves of 360BEV, OneBEV, and OneBEV++ on the Stanford-360 Dataset. OneBEV++ achieves faster convergence and superior performance.
ior。OneBEV 最初落后于 360BEV，但最终在最终性能上超过了它。OneBEV++ 在收敛速度更快，并且始终具有更高的准确性，优于 OneBEV 和 360BEV。 总之，以 OneBEV++ 为首的 OneBEV 系列，通过在减少模型大小和计算成本的同时实现最先进的性能，为 BEV 语义分割树立了新的标准，使其非常适合需要准确性和效率的实际应用。 ## 6 结论 在本工作中，我们介绍了一种名为 OneBEV++ 的统一且高效的框架，用于全景 BEV 语义地图，该框架能够处理室内和室外环境，仅使用单个全景图像作为输入，无需特定领域的适配。通过利用一种新颖的柱状径向投影 (CRP) 和一种特征选择块 (FSB)，并将这些集成到优化的 MVTv2 架构中，我们的框架在准确性方面实现了显着的性能提升，同时减少了计算复杂性。在四个基准数据集（Stanford-360、Matterport-360、NuScenes-360 和 DeepAccident-360）上的广泛实验表明，OneBEV++ 在准确性方面始终优于现有的专用方法，同时显着减少了模型大小和 FLOPs。这些结果突出了 OneBEV++ 的多功能性和鲁棒性，为在各种实际应用中实现可扩展和实用的部署铺平了道路，从自动驾驶到室内机器人。 --- 本文已发表在 IEEE 模式分析与机器智能交易期刊上。这是作者的版本，尚未完全编辑，内容可能在最终发表前发生变化。引用信息：DOI 10.1109/TPAMI.2026.3719109 ## 参考文献 [^1]: Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Y. Qiao, and J. Dai, “BEV-Former: Learning bird’s-eye-view representation from multi-camera images via spatiotemporal transformers,” in ECCV, 2022. 1, 3, 6, 7, 9 [^2]: C. Ge, J. Chen, E. Xie, Z. Wang, L. Hong, H. Lu, Z. Li, and P. Luo, "Metabev: Solving sensor failures for 3d detection and map segmentation," in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 8721–8731. 1, 3 [^3]: J. Huang, G. Huang, Z. Zhu, Y. Ye, and D. Du, “Bevdet: High-performance multi-camera 3d object detection in bird-eye-view,” arXiv preprint arXiv:2112.11790, 2021. 1, 3 [^4]: C. Chen, J. Zhang, K. Yang, K. Peng, and R. Stiefelhagen, “Trans4Map: Revisiting Holistic Bird’s-Eye-View Mapping From Egocentric Images to Allocentric Semantics With Vision Transformers,” in WACV, 2023. 1, 3 [^5]: Z. Teng, J. Zhang, K. Yang, K. Peng, H. Shi, S. Reiß, K. Cao, and R. Stiefelhagen, “360BEV: Panoramic Semantic Mapping for Indoor Bird’s-Eye View,” in WACV, 2024. 1, 2, 3, 5, 6, 8, 9 [^6]: J. Jiang, Y. Yang, Y. Deng, C. Ma, and J. Zhang, "BEVNav: Robot autonomous navigation via spatial-temporal contrastive learning in bird's-eye view," IEEE RAL, 2024. 1 [^7]: F. Cao, S. Wang, X. Chen, T. Wang, and L. Liu, “BEV-LSLAM: A novel and compact bev lidar slam for outdoor environment,” IEEE RAL, 2025. [^8]: J. Schramm, N. Vodisch, K. Petek, B. R. Kiran, S. Yogamani, W. Burgard, and A. Valada, "BEVCar: Camera-radar fusion for bev map and object segmentation," in IROS. IEEE, 2024. 1 [^9]: H. Shi, C. Pang, J. Zhang, K. Yang, Y. Wu, H. Ni, Y. Lin, R. Stiefel-hagen, and K. Wang, "CoBEV: Elevating roadside 3d object detection with depth and height complementarity," IEEE Transactions on Image Processing, 2024. 1 [^10]: S. Xie, L. Kong, W. Zhang, J. Ren, L. Pan, K. Chen, and Z. Liu, “Benchmarking and improving bird's eye view perception robustness in autonomous driving,” IEEE T-PAMI, 2025. 1 [^11]: A. Singh, “Vision-radar fusion for robotics bev detections: A survey,” in IEEE IV. IEEE, 2023. 1 [^13]: L. Peng, Z. Chen, Z. Fu, P. Liang, and E. Cheng, “BEVSegFormer: Bird’s eye view semantic segmentation from arbitrary camera rigs,” in WACV, 2023. 1, 3, 6, 7, 8, 9 [^12]: Q. Zhang, Z. Zhang, W. Cui, J. Sun, J. Cao, Y. Guo, G. Han, W. Zhao, J. Wang, C. Sun, L. Zhang, H. Cheng, Y. Chen, L. Wang, J. Tang, and R. Xu, "Humanoidpano: Hybrid spherical panoramic-lidar cross-modal perception for humanoid robots," arXiv preprint arXiv:2503.09010, 2025.1 [^14]: J. Wei, J. Zheng, R. Liu, J. Hu, J. Zhang, and R. Stiefelhagen, “OneBEV: Using One Panoramic Image for Bird’s-Eye-View Semantic Mapping,” in ACCV, 2024, pp. 583–596. 1, 2, 3, 4, 6, 7, 9 [^15]: J. Zhang, K. Yang, H. Shi, S. Reiβ, K. Peng, C. Ma, H. Fu, P. H. Torr, K. Wang, and R. Stiefelhagen, “Behind every domain there is a shift: Adapting distortion-aware vision transformers for panoramic semantic segmentation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024. 2 [^16]: W. Yang, Y. Qian, J.-K. Kämäräinen, F. Cricri, and L. Fan, "Object detection in equirectangular panorama," in 2018 24th international conference on pattern recognition (icpr). IEEE, 2018, pp. 2190–2195. 2 [^17]: P. Zhao, A. You, Y. Zhang, J. Liu, K. Bian, and Y. Tong, “Spherical criteria for fast and accurate 360 object detection,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, no. 07, 2020, pp. 12959–12966. 2 [^18]: S. Orhan and Y. Bastanlar, “Semantic segmentation of outdoor panoramic images,” Signal, Image and Video Processing, vol. 16, no. 3, pp. 643–650, 2022. 2 [^19]: Y. Xu, K. Wang, K. Yang, D. Sun, and J. Fu, “Semantic segmentation of panoramic images using a synthetic dataset,” in Artificial Intelligence and Machine Learning in Defense Applications, vol. 11169. SPIE, 2019, pp. 90–104. 2 [^20]: K. Yang, X. Hu, and R. Stiefelhagen, “Is context-aware cnn ready for the surroundings? panoramic semantic segmentation in the wild,” IEEE Transactions on Image Processing, vol. 30, pp. 1866–1881, 2021. 2 [^21]: J. Zhang, K. Yang, C. Ma, S. Reiβ, K. Peng, and R. Stiefelhagen, “Bending reality: Distortion-aware transformers for adapting to panoramic semantic segmentation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 16917–16927. 2 [^22]: J. Zheng, R. Liu, Y. Chen, K. Peng, C. Wu, K. Yang, J. Zhang, and R. Stiefelhagen, "Open panoramic segmentation," in European Conference on Computer Vision. Springer, 2024, pp. 164–182. 2 [^23]: G. Pintore, M. Agus, E. Almansa, J. Schneider, and E. Gobbetti, “Slicenet: deep dense depth estimation from a single indoor panorama using a slice-based representation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 11536–11545. 2 [^24]: H. Jiang, Z. Sheng, S. Zhu, Z. Dong, and R. Huang, "Unifuse: Unidirectional fusion for 360 panorama depth estimation," IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 1519–1526, 2021. 2 [^25]: M. Rey-Area, M. Yuan, and C. Richard, “360monodepth: High-resolution 360deg monocular depth estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 3762–3772. 2 [^26]: C.-H. Peng and J. Zhang, “High-resolution depth estimation for 360deg panoramas through perspective and panoramic depth images registration,” in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2023, pp. 3116–3125. 2 [^27]: A. Jaus, K. Yang, and R. Stiefelhagen, “Panoramic panoptic segmentation: Towards complete surrounding understanding via unsupervised contrastive learning,” in 2021 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2021, pp. 1421–1427. 2 [^28]: —, “Panoramic panoptic segmentation: Insights into surrounding parsing for mobile agents via unsupervised contrastive learning,” IEEE Transactions on Intelligent Transportation Systems, vol. 24, no. 4, pp. 4438–4453, 2023. 2 [^29]: J. Mei, A. Z. Zhu, X. Yan, H. Yan, S. Qiao, L.-C. Chen, and H. Kretzschmar, “Waymo open dataset: Panoramic video panoptic segmentation,” in European Conference on Computer Vision. Springer, 2022, pp. 53–72. 2 [^30]: C. Sun, M. Sun, and H.-T. Chen, "Hohonet: 360 indoor holistic understanding with latent horizontal features," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 2573–2582. 3 [^31]: H.-a. Gao, B. Tian, P. Li, X. Chen, H. Zhao, G. Zhou, Y. Chen, and H. Zha, "From semi-supervised to omni-supervised room layout estimation using point clouds," in 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023, pp. 2803–2810. 3 [^32]: V. Cartillier, Z. Ren, N. Jain, S. Lee, I. Essa, and D. Batra, “Semantic mapnet: Building allocentric semantic maps and representations from egocentric views,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 35, no. 2, 2021, pp. 964–972. 3 [^33]: H. Liu, R. Liu, K. Yang, J. Zhang, K. Peng, and R. Stiefelhagen, “Hida: Towards holistic indoor understanding for the visually impaired via semantic instance segmentation with a wearable solid-state lidar sensor,” in Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 1780–1790. 3 [^34]: Z. Zhu, S. Peng, V. Larsson, Z. Cui, M. R. Oswald, A. Geiger, and M. Pollefeys, “Nicer-slam: Neural implicit scene encoding for rgb slam,” in International Conference on 3D Vision (3DV), March 2024. 3 [^35]: H. Zhou, Z. Guo, Y. Ren, S. Liu, L. Zhang, K. Zhang, and M. Li, “Mod-slam: monocular dense mapping for unbounded 3d scene reconstruction,” IEEE Robotics and Automation Letters, 2024. 3 [^36]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? the kitti vision benchmark suite,” in 2012 IEEE conference on computer vision and pattern recognition. IEEE, 2012, pp. 3354–3361. 3 [^37]: M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The cityscapes dataset for semantic urban scene understanding,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 3213–3223. 3 [^38]: Z. Liu, H. Tang, A. Amini, X. Yang, H. Mao, D. L. Rus, and S. Han, "Bevfusion: Multi-task multi-sensor fusion with unified bird's-eye view representation," in 2023 IEEE international conference on robotics and automation (ICRA). IEEE, 2023, pp. 2774–2781. 3, 4, 6, 7, 9 [^39]: M. Kondapally, K. N. Kumar, and C. K. Mohan, “Object detection in transitional weather conditions for autonomous vehicles,” in 2024 International Joint Conference on Neural Networks (IJCNN). IEEE, 2024, pp. 1–8. 3 [^40]: X. Yan, J. Yang, X. Zhu, Y. Liang, and H. Huang, “Denoising framework based on multiframe continuous point clouds for autonomous driving lidar in snowy weather,” IEEE Sensors Journal, vol. 24, no. 7, pp. 10515–10527, 2024. 3 [^41]: Z. Guo, S. Perminov, M. Konenkov, and D. Tsetserukou, “Hawkdrive: A transformer-driven visual perception system for autonomous driving in night scene,” in 2024 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2024, pp. 2598–2603. 3 ## [^42]: J. Li, B. Li, Z. Tu, X. Liu, Q. Guo, F. Juefei-Xu, R. Xu, and H. Yu, "Light the night: A multi-condition diffusion framework for unpaired --- 低光照增强在自动驾驶中的应用," 发表于 IEEE/CVF 计算机视觉与模式识别会议论文集，2024 年，第 15205–15215 页。3 [^43]: J. Hu, J. Zheng, J. Wei, J. Zhang, and R. Stiefelhagen, “Deformable mamba for wide field of view segmentation,” arXiv preprint arXiv:2411.16481, 2024. 3 [^44]: J. Strader, N. Hughes, W. Chen, A. Speranzon, and L. Carlone, “Indoor and outdoor 3d scene graph generation via language-enabled spatial ontologies,” IEEE Robotics and Automation Letters, 2024. 3 [^45]: H. Li, C. Sima, J. Dai, W. Wang, L. Lu, H. Wang, J. Zeng, Z. Li, J. Yang, H. Deng et al., “Delving into the devils of bird’s-eye-view perception: A review, evaluation and recipe,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. 3 [^46]: H. A. Mallot, H. H. Bülthoff, J. Little, and S. Bohrer, “Inverse perspective mapping simplifies optical flow computation and obstacle detection,” Biological cybernetics, vol. 64, no. 3, pp. 177–185, 1991. 3 [^47]: B. Zhou and P. Krähenbühl, “Cross-view transformers for real-time map-view semantic segmentation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 13760–13769. 3 [^48]: A. Saha, O. Mendez, C. Russell, and R. Bowden, “Translating images into maps,” in 2022 International conference on robotics and automation (ICRA). IEEE, 2022, pp. 9200–9206. 3 [^49]: H. Wang, H. Tang, S. Shi, A. Li, Z. Li, B. Schiele, and L. Wang, “Unit: A unified and efficient multi-modal transformer for bird's-eye-view representation,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 6792–6802. 3 [^50]: C. Pan, Y. He, J. Peng, Q. Zhang, W. Sui, and Z. Zhang, “Baeformer: bi-directional and early interaction transformers for bird’s eye view semantic segmentation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 9590–9599. 3 [^51]: J. Philion and S. Fidler, “Lift, splat, shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3d,” in Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIV 16. Springer, 2020, pp. 194–210. 3 [^52]: E. Xie, Z. Yu, D. Zhou, J. Philion, A. Anandkumar, S. Fidler, P. Luo, and J. M. Alvarez, “M ${}^{2}$ bev: Multi-camera joint 3d detection and segmentation with unified birds-eye view representation,” arXiv preprint arXiv:2204.05088, 2022. 3 [^53]: A. Gu and T. Dao, “Mamba: Linear-time sequence modeling with selective state spaces,” arXiv preprint arXiv:2312.00752, 2023. 3 [^54]: I. Armeni, S. Sax, A. R. Zamir, and S. Savarese, “Joint 2D-3D-semantic data for indoor scene understanding,” arXiv preprint arXiv:1702.01105, 2017. 3 [^55]: A. Chang, A. Dai, T. Funkhouser, M. Halber, M. Niessner, M. Savva, S. Song, A. Zeng, and Y. Zhang, “Matterport3D: Learning from RGB-D data in indoor environments,” in 3DV, 2017. 3 [^56]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11621–11631. 4 [^57]: D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” International journal of computer vision, vol. 60, pp. 91–110, 2004. 4 [^58]: H. Bay, T. Tuytelears, and L. Van Gool, “Surf: Speeded up robust features,” in Computer Vision–ECCV 2006: 9th European Conference on Computer Vision, Graz, Austria, May 7-13, 2006. Proceedings, Part I 9. Springer, 2006, pp. 404–417. 4 [^59]: E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “Orb: An efficient alternative to sift or surf,” in 2011 International conference on computer vision. Ieee, 2011, pp. 2564–2571. 4 [^60]: T. Wang, S. Kim, J. Wenxuan, E. Xie, C. Ge, J. Chen, Z. Li, and P. Luo, “Deepaccident: A motion and accident prediction benchmark for v2x autonomous driving,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 38, no. 6, 2024, pp. 5599–5606. 4 [^61]: A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, and V. Koltun, “Carla: An open urban driving simulator,” in Conference on robot learning. PMLR, 2017, pp. 1–16. 4 [^62]: Y. Liu, Y. Tian, Y. Zhao, H. Yu, L. Xie, Y. Wang, Q. Ye, and Y. Liu, "Vmamba: Visual state space model," arXiv preprint arXiv:2401.10166, 2024. 4, 5, 6, 7 [^63]: A. Shaker, S. T. Wasim, S. Khan, J. Gall, and F. S. Khan, “Groupmamba: Efficient group-based visual state space model,” in Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, pp. 14912–14922. 7, 8 ![Image](images/a04b498b60e76937da2cf35dfee3242145c3329dbe7961a4bf82b13bf65471e3.jpg) ![Image](images/a2ba0a05de0e146ce33af202874383b4dbea8070e0825aef9936b403b8a79dad.jpg) Jiale Wei 获得了 2018 年常熟理工学院机械工程自动化专业的学士学位。他于 2024 年获得了卡尔斯鲁厄理工学院（KIT）机械工程和信息技术硕士学位，目前是 KIT 位于卡尔斯鲁厄机器人与人类交互研究所（IAR）的计算机视觉与人类交互实验室（CV:HCI）的研究助理。他的研究兴趣包括计算机视觉、自动驾驶和 AI4Health。 Zhifeng Teng 获得了浙江大学 2016 年的机械工程与自动化学士学位。他于 2023 年获得卡尔斯鲁厄理工学院 (KIT) 的精密工程与信息技术硕士学位，目前是 XYZ Robotics GmbH 的机器人系统工程师。他曾在 Robert Bosch GmbH 实习，并在 SolarLab Aiko 工作。他的研究兴趣包括计算机视觉、深度学习和物流机器人系统。 ![Image](images/4cdd686841e10ea0bbb644e72ff8009a3ea7d5d177d7ddbd214082d3279b272a.jpg) Fei Teng 获得了中国矿业技术大学 (CUMT) 2015 年的过程设备与控制工程学士学位。他于 2023 年获得卡尔斯鲁厄理工学院 (KIT) 的计算机科学硕士学位。他目前正在湖南大学长沙攻读控制科学与工程博士学位。他的研究领域包括场景理解和智能汽车。 ![Image](images/20b679304ea7685fe388b33477494150049466e9fd3e55cd8c14350173671a36.jpg) Junwei Zheng 获得了广东工业大学 (GDUT) 2016 年的学士学位。他于 2022 年获得卡尔斯鲁厄理工学院 (KIT) 的硕士学位，目前是卡尔斯鲁厄理工学院 (KIT) 人体工程与机器人研究所 (IAR) 计算机视觉与人机交互 (CV:HCI) 实验室的研究助理。他曾在德国弗劳恩霍夫应用与集成安全研究所 (Fraunhofer-AISEC) 实习。他的研究兴趣包括视觉导航/定位、语义分割和实时应用。 Ruiping Liu 获得了同济大学 2018 年的精密工程学士学位。她于 2022 年获得卡尔斯鲁厄理工学院 (KIT) 的精密工程与信息技术硕士学位，目前是卡尔斯鲁厄理工学院 (KIT) 人体工程与机器人研究所 (IAR) 计算机视觉与人机交互 (CV:HCI) 实验室的研究助理。她曾在上海申洲车辆能源环保有限公司和博世力控实习。她的研究兴趣包括计算机视觉、深度学习、语义分割和实时应用。 Yufan Chen 获得了北京交通大学 2018 年的通信工程学士学位。他于 2022 年获得斯图加特大学的电气工程与信息技术硕士学位，目前是卡尔斯鲁厄理工学院 (KIT) 人体工程与机器人研究所 (IAR) 计算机视觉与人机交互 (CV:HCI) 实验室的研究助理。他曾在 ZTE Co.，中国和德国斯图加特索尼研发中心实习。他的研究兴趣包括计算机视觉、文档分析、图像信息检索和神经网络鲁棒性。 ![Image](images/7adb36d37fe152d736a4d55e3a3dd19a2b7be4ce2b69113ccc7513a83372ca01.jpg) ![Image](images/5ea41f52db49d2584d1a34f30e1b55c9ba369a4ea4682a3bec9d383e1e024148.jpg) --- ![Image](images/2add72a2b8de7e419fe4d44c9486cf803ff0502b3b0967fc2e87d2bd46563f82.jpg) Jie Hu 获得了中国哈尔滨工业大学 (HIT) 的精密工程学士学位，时间为 2019 年。他于 2025 年获得德国卡尔斯鲁厄理工学院 (KIT) 的精密工程与信息技术硕士学位。他目前是卡尔斯鲁厄理工学院 (KIT) 计算机视觉与人机交互 (CV:HCI) 实验室和测量与控制系统研究所 (MRT) 的研究助理。他的研究兴趣包括计算机视觉、语义分割、 和自动驾驶。 ![Image](images/676f3246f2eac7b583fe0db01bce2e3b700591025b1c2b422bbdbf5deb5703e8.jpg) Kailun Yang 于 2014 年从北京理工大学 (BIT) 获得测量技术和仪器学士学位，并从北京大学 (PKU) 获得经济学士学位。他于 2019 年从浙江大学 (ZJU) 极光和仪器国家重点实验室获得信息传感与仪器博士学位。他于 2017 年至 2018 年在西班牙阿尔卡拉大学 (UAH) 的机器人和安全 (RobeSafe) 研究小组进行博士实习。 他于 2019 年至 2023 年在卡尔斯鲁厄理工学院 (KIT) 的计算机视觉与人机交互 (CV:HCI) 实验室担任博士后研究员。他目前是湖南大学 (HNU) 机器人学院和国家机器人视觉感知与控制技术工程研究中心教授。如需更多信息，请访问他的网站：. Jiaming Zhang (IEEE 成员) 2020 年和 2023 年分别获得德国卡尔斯鲁厄理工学院 (KIT) 的硕士和博士学位（优等）。 他曾在卡尔斯鲁厄理工学院 (KIT) 的计算机视觉与人机交互 (CV:HCI) 实验室担任博士后研究员。他于 2023 年是牛津大学 Torr 视觉组 (TVG) 的访问学者，于 2024 年是苏黎世联邦理工学院 (ETH Zurich) 计算机视觉与几何 (CVG) 组的学术访问学者。他目前是湖南大学 (HNU) 人工智能与机器人学院的教授。 他的研究兴趣在于计算机视觉和辅助技术领域，致力于构建智能和包容的系统，以帮助人类，特别是残疾人士。 Rainer Stiefelhagen 于 1996 年和 2002 年分别获得卡尔斯鲁厄大学 (TH) 的信息学士学位和博士学位。他目前是卡尔斯鲁厄理工学院 (KIT) 的“为视力障碍学生提供信息技术系统”的教授，并担任人机交互计算机视觉实验室以及数字可访问性和辅助技术中心的负责人。 他的研究兴趣包括用于人类和其活动的视觉感知的计算机视觉方法，以促进感知多模态界面、人形机器人、智能环境、多媒体分析以及为视力障碍人士提供的辅助技术。 ![Image](images/f632cb1472f8f77ab91e85389ad52a1d5532253e35ded68b1134f46a890ba616.jpg) ![Image](images/a8adf69761b621bdc58ca1dad975c72dbc43026d7d5f28ccf69221caa4a3c34d.jpg)