# 360BEV: 全景语义映射用于室内鸟瞰视图
滕志峰 $^{1,*}$，张家铭 $^{1,*,\dagger}$，杨凯伦 $^{2}$，彭坤钰 $^{1}$，史浩 $^{3}$，西蒙·雷伊 $\beta^{1}$，曹可 $^{1}$，赖纳·斯蒂费尔哈根 $^{1}$
$^{1}$卡尔斯鲁厄理工学院, $^{2}$湖南大学, $^{3}$浙江大学
## 摘要
只见局部，不知全局。 鸟瞰视图 (BEV) 感知是一种从主观视角获取全景地图的过程，当仅使用狭窄的视野 (FoV) 时，这种感知会受到限制。 在这项工作中，我们首次建立了从 $360^{\circ}$ 全景图到 BEV 语义的映射，即 360BEV 任务，以实现室内场景的顶视图全局表示。 与依赖于狭窄 FoV 图像序列的方法不同，只需一个包含深度信息的全景图像即可生成一个全局 BEV 语义地图。 为了对 360BEV 进行基准测试，我们提出了两个室内数据集，即 360BEV-Matterport 和 360BEV-Stanford，这两个数据集都包含主观全景图像和语义分割标签，以及全景语义地图。 除了深入研究不同的映射范式外，我们还提出了一种专用的全景语义映射解决方案，即 360Mapper。 通过广泛的实验，我们的方法在两个数据集上分别实现了 44.32% 和 45.78% 的 mIoU，分别比以前的方法提高了 +7.60% 和 +9.70% 的 mIoU。 $^{1}$
### 1. 引言
语义场景理解在室内和室外场景中通过像素级的语义分割实现了显著的性能 [^22]。 它可以直接应用于各种下游应用，例如自动驾驶 [^10] [^13]、机器人导航 [^4] [^6] 或辅助技术 [^37]，仅举几例。 近来，鸟瞰视图 (BEV) 语义感知 [^17] 可以作为一种解决方案，以实现对环境和其中的对象的直观理解。 虽然 BEV 语义分割已在自动驾驶的室外场景中获得关注 [^17]，但 BEV 感知尚未在室内场景中得到广泛探索，而室内场景通常具有复杂且多样的结构、物体和挑战。
(a) Narrow BEV
(b) 360BEV
Figure 1. Semantic mapping from egocentric front-view images to allocentric BEV semantics. While (a) the narrow-BEV method has limited perception and map range, (b) 360BEV has an omnidirectional Field of View, yielding a more complete BEV map by using our 360Mapper model.
在室内光照条件下，为了语义地映射这些室内场景，提出了一些基于序列的方法 [^4] [^6]，这些方法需要处理整个视频，并且存在移动的摄像头。如图 1a 所示，(1) 这些方法依赖于对整个视频帧序列进行计算量大的处理，这是由于针孔摄像头的视野范围有限；(2) 它们被限制在合成模拟器上进行室内映射 [^26] [^32]，这是由于缺乏真实的室内数据集。这些缺点限制了它们在真实世界室内语义映射中的应用。
为解决这些局限，本研究我们提出360BEV，以实现室内BEV的全景语义建图，该方法如图1b所示。我们的考量分为两方面：（1）为释放室内语义建图在真实场景中的潜力，带有BEV语义标签的真实室内数据集至关重要；（2）为降低窄视场序列方法[^4]（需要处理$\geq$20帧视频）或多相机设置[^17]（需要$\geq$6个相机视角）的计算复杂度，我们利用带有深度信息的单帧$360^\circ$图像，从而绕过多传感器校准，同
---
时序同步和数据融合过程。 考虑到这一点，为了实现 360BEV 分割，我们提出了两个真实的室内 BEV 数据集，这些数据集是 Matterport3D [^5] 和 Stanford2D3D [^3] 数据集的扩展。 首先，从 Matterport3D 捕获的正视图图像被扩展为 $360^{\circ}$ 全景图，用于在 360FV-Matterport 上进行基准测试。 此外，我们首次建立了两个 BEV 数据集，即 360BEV-Matterport 和 360BEV-Stanford，以实现从单帧 $360^{\circ}$ 图像预测完整的 BEV 语义地图的鸟瞰全景语义映射。 此外，通过解耦计算密集型的序列或多视图处理，我们的直接 360BEV 语义映射更适合于生成室内语义地图。
然而，空间失真和物体变形[^38]严重影响了针对窄范围图像[^12] [^33]或多视图感知[^17]提出的方法的性能。 因此，为了全面研究已建立的360BEV任务，我们首先回顾了三种可能的投影范例：(1) 早期投影，(2) 晚期投影，以及(3) 介于投影。 考虑到我们的观察结果是，中间特征保留了密集的信息，我们探索了中间投影范例，并提出了一种专用的360BEV映射解决方案，我们称之为360Mapper。 该方案的挑战在于特征转换。 虽然之前的BEVFormer [^17]依赖于多视图感知，而SMNet [^4]直接通过基于深度变换的索引投影提取的特征，这对于全景图像是不合适的，因为它会产生扭曲和变形。 因此，我们提出了一种新的变换方法，称为逆径向投影（IRP），它使用仅深度信息将特征从2D投影到3D表示。 此外，深度信息有助于在将物体传递到俯视视图后保持物体的形状和空间布局，从而使特征图以及鸟瞰视图的2D参考索引更准确、更一致。 此外，与使用多尺度层和多视图摄像头融合的变形注意力[^17] [^44]不同，我们采用360Attention，通过自适应采样偏移从全视向特征图中提取信息，从而获得具有自适应方式的鸟瞰特征，并且变形较小。 这些都与由IRP获得的2D索引结合，以在360场景中包含一种感知变形的机制，从而补偿变形带来的不利影响。 凭借这些设计，我们的360Mapper模型是实现更完整和更准确的室内语义映射的一步，这对于诸如室内导航和场景理解等下游应用具有重要意义。
通过广泛的实验，新的 360BEV 任务使用两个真实的室内 BEV 数据集、三种投影范式以及超过十种方法进行了全面的基准测试。与语义映射方法相比，我们的 360Mapper 模型实现了最先进的性能，在 360BEV-Matterport 数据集上平均 IoU（mean intersection-over-union）提高了 >7%，在 360BEV-Stanford 数据集上提高了 >9%。
总而言之，我们提出了以下贡献：
- 首次引入新的 360BEV 任务，用于通过单帧全景图像进行室内语义映射，从而解耦多视图或序列输入的复杂处理。
- 扩展了两个室内 BEV 数据集，即 360BEV-Matterport 和 360BEV-Stanford，增加了前方全景图像和 BEV 语义标签，从而对全景语义映射进行了全面的基准测试。
- 提出了一种专用于室内全景语义映射的 360Mapper 模型，该模型解决了全景图像中的空间失真和对象变形问题，并实现了最先进的性能。
### 2. 相关工作
#### 2.1. 全景语义分割
图像语义分割 [^31] [^33] [^35] [^40] 取得了显著进展。与窄视场（narrow-FoV）感知相比，全景语义分割 [7–9, 14, 29, 30, 36, 38]，通过使用单个 $360^{\circ}$ 前视图像实现对场景的整体理解，近年来受到了越来越多的关注。此外，3D60 [^45] 和 Pano3D [^1] 数据集用于从 $360^{\circ}$ 图像进行深度估计，但缺乏语义标签。在室内全景分割中，有一些基准提供了合成 [^16] [^41] 和真实 [^3] 全景图像和标签，用于训练。Matterport3D [^5] 包含来自 90 个室内建筑的大规模全景图像，但由于缺乏相应的全景语义标签而未被基准化。为了解决这个问题，我们通过结合原始的 18 个针孔相机标签及其相机变换矩阵，生成了全景语义分割标签。因此，提供了一个 $360^{\circ}$ 前视（FV）数据集，即 360FV-Matterport，该数据集包含大规模的真实室内场景，以促进全景语义分割。此外，360FV-Matterport 数据集对于执行 BEV 语义映射的后期投影范式是必需的。
#### 2.2. BEV 语义映射
除了前视图像语义分割之外，一些先前的工作探索了俯视语义分割，即室内场景中的语义映射 [^6] [^22] 以及户外驾驶场景中的鸟瞰语义分割 [^17] [^24]。室内语义映射方法可以根据从前视到顶视的投影级别分为三大类。
---
(a) Multi-view
(b) Sequence-based
(c) Early-projection
(d) Late-projection
(e) Intermediate-projection
Figure 2. Paradigms of semantic mapping. While the narrow-FoV (a) multi-view and (b) sequence-based methods rely on $V \geq 6$ and $N \geq 20$ views, the $360^\circ$-BEV (c) Early-, (d) Late-, and (e) Intermediate-projection methods use a single panorama.
view: 早期的投影方法 [^20] [^28] 通过通用的语义分割方法实现，这些方法首先从透视图像构建俯视图，然后应用分割。不幸的是，这些流水线在投影过程中会丢失细粒度的视觉线索，从而导致小物体分割性能不佳。中间投影方法 [^4] [^6] 直接将前视图作为输入进行室内场景的整体理解，但是，它们使用 Gibson [^32] 或 Habitat [^26] 模拟器生成的合成数据，并且依赖于耗时的图像序列。例如，SMNet [^4] 会逐渐对每个楼层进行平均，以获取 2500 个视角的图像，从而生成室内场景的语义地图。相反，我们探索通过单个全景图像实现高效的全局场景理解。后期投影流水线 [^2] [^11] [^21] [^25] [^27] 对中心视角的语义分割进行操作，并将标签投影到俯视图，这对于深度图和代理姿态信息非常敏感，不可避免地会产生投影误差和模型训练的欠拟合现象，因此仍然是一个次优的解决方案。有一些与俯视图相关的方法利用多个透视视图传感器或 LiDAR 传感器，并侧重于室外物体检测 [^17] [^18] [^34]、光流估计 [^15] [^19] 和语义分割 [^23] [^43]。与以前的方法不同，我们的 360Mapper 经过精心设计，用于通过转发单个全景图像来学习室内整体表示，而无需使用多视图图像、图像序列或点云。
### 3. 全景语义地图 (360BEV)
为了研究 360BEV 任务，我们分析了潜在的全景投影范式（参见第 3.1 节）。数据集的生成和统计信息详述在第 3.2 节。为了解决具有挑战性的全景语义映射问题，在第 3.3 节，我们提出了我们的解决方案 360Mapper，该方案采用反向径向投影方法和 360Attention 模块，从而能够对失真进行感知特征处理。
#### 3.1. 360 投影范式
如图 2 所示，与依赖于六个以上视图 (图 2a 中的 V) 的多视图方法和使用超过 20 个窄视图 (图 2b 中的 N) 的基于序列的方法不同，全景语义映射使用单个深度图像。我们研究了三种投影范式，即如何处理来自前视图全景的数据以进行鸟瞰语义，这些范式包括：
(1) 早期投影：Proj. $\rightarrow$ Enc. $\rightarrow$ Seg. in Fig. 2c。
(2) 后期投影：Enc. $\rightarrow$ Seg. $\rightarrow$ Proj. in Fig. 2d。
(3) 中间投影：$Enc.\rightarrow Proj.\rightarrow Seg.$ in Fig. 2e。 基于这些属性，我们主要探索使用中间投影的 360BEV，我们识别出以下挑战：在特征提取阶段，空间失真和物体变形严重阻碍编码器从前视图全景图像中提取有代表性的特征。对于中间特征投影，仅使用深度信息来一致地转换高维特征的视图。此外，前视图中的许多大型物体（例如墙壁）在俯视图中被投影为细长的物体，这在投影过程中极大地阻碍了捕获范围广泛的特征。
#### 3.2. 360FV 和 360BEV 数据生成
360FV-Matterport。原始的Matterport3D [^5] 是通过窄视场相机采集的。如图3所示，我们使用旋转和平移矩阵，将18张窄视场图像和标注转换为 $360^{\circ}$ 格式。
360BEV-Stanford。Stanford2D3D数据集 [^3] 包含前后视全景图像和语义标签。但是，它缺乏BEV语义标签。如图4所示，我们利用全局XYZ图像中的空间语义信息，生成相应的BEV语义图。通过应用正交投影，我们生成BEV语义图，其可见范围作为BEV地面真值，从而实现从前视图像到俯视语义的端到端训练。
360BEV-Matterport。受全局XYZ模态
---
Figure 3. 360FV semantics generation from 18 narrow views to a panoramic view on the 360FV-Matterport dataset. H, M, and L represent high, medium, and low positions, respectively.
Figure 4. 360BEV semantics generation by orthographic projection, from (a) the front-view semantic image and (b) the global XYZ image, to (c) the 360BEV semantic map.
性 [^3] 的启发，我们使用提供的深度地面真值，为每个全景图像生成全局XYZ。为了生成与全景视图对应的BEV语义地面真值，必须考虑几个关键步骤。首先，可以将全景图像处理为球体，从球体中心（相机位置）发射射线。
$$ \begin{align*}\Theta_{i,j}&=\frac{i\pi}{H}+\frac{\pi}{2H},\\i&=\{0,\ldots,H-1\},j=\{0,\ldots,W-1\},\\\Phi_{i,j}&=-\frac{2\pi j}{W}+\pi-\frac{\pi}{W},\\i&=\{0,\ldots,H-1\},j=\{0,\ldots,W-1\}.\end{align*} $$
这里，$\Theta$ 和 $\Phi$ 是全景图像的角度矩阵，大小为 $H\times W$，由二维欧拉角等参量级组成。给定球坐标系中的表示，每个3D点 $(X_{i,j},Y_{i,j},Z_{i,j})$ 在相机坐标系中，将通过计算公式(2)获得。
$$ \begin{aligned}\boldsymbol{X}_{i,j}&=\boldsymbol{D}_{i,j}\cdot\sin(\Theta_{i,j})\cdot\sin(\Phi_{i,j}),\\\boldsymbol{Y}_{i,j}&=\boldsymbol{D}_{i,j}\cdot\cos(\Theta_{i,j}),\\\boldsymbol{Z}_{i,j}&=\boldsymbol{D}_{i,j}\cdot\sin(\Theta_{i,j})\cdot\cos(\Phi_{i,j}),\end{aligned} $$
其中，D是全景深度信息。获得3D点后，应用正交投影矩阵 $P_v$ 将3D坐标转换为2D全景BEV索引 $(u, v)$，如公式(3)所示，其中 $[R|t]$ 是
Table 1. The data statistics of the generated 360BEV-Matterport and 360BEV-Stanford datasets.
| Dataset | #Scene | #Room | #Frame | #Category |
| train | 5 | 215 | 1,040 | 13 |
| val | 1 | 55 | 373 | 13 |
| 360BEV-Stanford | 6 | 270 | 1,413 | 13 |
| train | 61 | - | 7,829 | 20 |
| val | 7 | - | 772 | 20 |
| test | 18 | - | 2,014 | 20 |
| 360BEV-Matterport | 86 | 2,030 | 10,615 | 20 |
(a) Class distribution of 360BEV-Stanford dataset
(b) Class distribution of 360BEV-Matterport dataset
Figure 5. Per-class pixel number (logarithmic) and frequency (%) distribution of two 360BEV datasets.
变换矩阵。
$$ \left[\begin{array}{l}x\\ y\\ z\end{array}\right]=\mathbf{R}^{-1}\left[\begin{array}{l}X_{i,j}\\ Y_{i,j}\\ Z_{i,j}\end{array}\right]-\mathbf{t}, $$
$$ \underbrace{\left[\begin{array}{c}{u}\\ {v}\\ {0}\\ {1}\\ \end{array}\right]}_{{O r t h o g r a p h i c~p r o j e c t i o n}}=P_{v}\left[\begin{array}{c}{x}\\ {y}\\ {z}\\ {1}\\ \end{array}\right]. $$
数据集统计。因此，获得了两个用于全景语义映射的BEV数据集。360BEV-Stanford和360BEV-Matterport数据集的详细数据统计如表1所示。360BEV-Stanford数据集包含13个类别和1413张图像，而360BEV-Matterport数据集包含20个类别和10615个样本。在Matterport3D数据集 [^5] 中，有40个对象类别在密集标注中。但是，其中许多在原始数据集中相对稀有，例如电视和横梁（$\ll$0.1%），这些都被排除。因此，360BEV-Matterport保留了20个最常见的对象类别，并将一些不常见的类别合并。此外，我们还进一步展示了每个类别的像素数量和每个类别的频率，如图5所示。值得注意的是，地板类别的频率在两个数据集中的都非常高。此类别对于依赖于完整地图的任务（如室内导航）至关重要，因此也保留了此类别。
---
Figure 6. Architecture of 360Mapper and the 360Attention module. The 360Mapper model includes the encoder for extracting features from the front-view panoramic image, the 360Attention module for feature projection, and the decoder for parsing the projected feature to the BEV semantic map. The offsets are obtained by a linear layer and added with the 2D index that is obtained by Inverse Radial Projection (IRP), yielding the sampling locations for 360BEV feature projection.
#### 3.3. 提出的模型：360Mapper
总体架构。如图6所示，我们的端到端360Mapper框架包括四个步骤：（1）基于transformer的骨干网络从全景图像中提取特征。（2）反向径向投影（IRP）模块通过投影由深度生成的参考点，获得2D索引。（3）360Attention模块通过2D索引增强前视特征，并从BEV查询中生成偏移量，以消除失真影响。（4）轻量级解码器解析投影特征图，并预测语义BEV图。
逆向径向投影。接下来，我们提出一种灵活的投影方法，称为逆向径向投影 (IRP)，该方法将全景深度作为输入。我们可以通过从深度信息中投影来轻松获得一个俯视图的掩码图。然后，使用此掩码图生成具有相应地图高度的 3D 参考点。3D 参考点被投影到球面上以生成 2D 参考索引，如等式 (4) 所示，其中 $ID_{h}$ 和 $ID_{w}$ 分别表示特征图的高度和宽度的 2D 参考索引值。然后，使用这些 2D 参考索引来定位编码的俯视图特征图中相应的特征点。
$$ \begin{aligned}\Phi&=\tan^{-1}\frac{y}{x},\\\Theta&=\tan^{-1}\left(\frac{x}{z}\cdot\frac{1}{\cos(\Phi)}\right),\end{aligned} $$
$$ \begin{aligned}&I D_{h}=\left\lceil\frac{H\Theta}{\pi}\right\rceil,\quad\\ &I D_{w}=\left\lceil\left(\frac{\Phi}{\pi}-\frac{1}{W}\right)\cdot\frac{W}{2}\right\rceil.\\ \end{aligned} $$
由于全景图像拼接过程中的失真，很难通过旋转和平移将 3D 参考点精确地投影到 2D 俯视图平面上。因此，我们使用深度图生成一个更好的描述地图形状的掩码图，以便准确的投影不仅可以使进入 360Attention 的数据量大大减少，从而有利于模型的快速收敛，而且还可以使用采样偏移量进行 360Attention。
360Attention。如图 6b 所示，我们提出的 360Attention 通过线性层以自适应方式生成采样偏移量。给定 BEV 查询 $q \in \mathbb{R}^{N \times C_{Emb}}$ 作为输入，其中 $N = h \times w$ 是查询的长度，对 q 和 p 应用掩码操作 ( $\cdot$)，以根据来自 IRP 的掩码图 $M_{map}$ 屏蔽不相关的点和 2D 索引，这对于保持 q 和 p 的效率以及减少 360Attention 的计算量至关重要 ( $\sum M_{map} < N$)。通过线性层分别预测采样偏移量 $\Delta p_{q,ij}$ 和注意力权重 $\mathcal{A}_{ij} \in [0, 1]$。然后，将自适应采样偏移量添加到扩展的 2D 索引 p，以获得感知失真的采样位置。360Attention 模块可以表示为：
$$ \begin{array}{r l}&{\mathrm{360A t t n}(q,p,\pmb{f}_{360})=}\\ &{\displaystyle\sum_{i=1}^{N_{\mathrm{h e a d}}}\mathcal{W}_{i}\displaystyle\sum_{j=1}^{N_{\mathrm{p o i n t}}}\mathcal{A}_{i j}\cdot\pmb{f}_{360}\left(m a s k\left(\pmb{p}\right)+\Delta\pmb{p}_{q,i j}\right),}\end{array} $$
其中 q、p 和 $f_{360}$ 分别表示查询、扩展的 2D 索引和全景特征图。线性层 $\mathcal{W}_i \in \mathbb{R}^{C \times (C/N_{head})}$ 针对每个注意力头 i 是特定的，其中 C 是特征维度，$N_{head}$ 是头的数量。注意力权重 $\mathcal{A}_{ij}$ 表示采样点的权重，其中 $\sum \mathcal{A}_{ij}=1$。
---
Table 2. Panoramic semantic segmentation (360FV) on the Stanford2D3D dataset.
| Method | Backbone | mIoU(%) |
| Tangent [^8] | ResNet-101 | 45.6 |
| SegFormer [^33] | MiT-B2 | 51.9 |
| HoHoNet [^29] | ResNet-101 | 52.0 |
| Trans4PASS [^38] | MiT-B2 | 52.1 |
| CBFC [^42] | ResNet-101 | 52.2 |
| Ours | MiT-B2 | 54.3 |
全景特征 $f_{360}$ 和自适应采样位置 $(mask(p)+\Delta p_{q,ij})$ 使用注意力权重 $\mathcal{A}_{ij}$ 进行聚合，以生成 BEV 输出。之后，应用掩码图 $M_{map}$ 对 BEV 输出进行组装，得到 $q' \in \mathbb{R}^{N \times C_{Emb}}$。在与 q 的残差项相加后，来自 $q+q'$ 的 BEV 结果被传递到下一个 360Attention 模块。
与BEVFormer [^17]中的空间交叉注意力模块相比，区别在于：（1）我们的360Attention模块不依赖多相机的多视图特征，而是设计为直接采用自适应采样偏移量，从单张全景特征图中提取特征。（2）我们的模块省去了使用投影矩阵将三维参考点投影到不同图像视图的步骤，因此弥补了前向视角感知的不足。（3）采用掩码操作，以深度信息为桥梁，保持BEV查询的高效性，并使其适配前向全景特征。通过这些非平凡的设计，360Attention生成的BEV特征图能够有效抵消前向畸变的影响。
### 4. 实验
#### 4.1. 实施细节
我们使用 4 个 A100 GPU 训练 360Mapper 模型，初始学习率为 $6e^{-5}$，采用步长策略在 50 个 epoch 中进行调整。优化器为 AdamW，epsilon 为 $1e^{-8}$，权重衰减为 0.01，每个 GPU 的批次大小为 4。360FV-Matterport 和 Stanford2D3D [^3] 的全景图像大小均为 $512\times1024$。360BEV-Stanford 和 360BEV-Matterport 数据集的全景图像分辨率均为 $512\times1024$，作为 360Mapper 训练的输入，而输出的 BEV 地图设置为 $500\times500$，这对应于 $10m\times10m$ 的感知范围。遵循 [^4] [^6]，评估指标为像素级准确率 (Acc)、像素级召回率 (mRecall)、精度 (mPrecision) 和平均交并比 (mIoU)。
#### 4.2. 全景语义分割 (360FV)
结果在 Stanford2D3D 数据集上。为了验证处理对象变形和图像失真的能力，我们首先在正面全景语义分割上评估我们的方法。
Table 3. Panoramic semantic segmentation (360FV) on the val set of 360FV-Matterport dataset.
| Method | Backbone | mIoU(%) |
| HoHoNet [^29] | ResNet-101 | 44.10 |
| Trans4PASS [^38] | MiT-B2 | 41.91 |
| Trans4PASS+ [^39] | MiT-B2 | 42.60 |
| SegFormer [^33] | MiT-B2 | 45.53 |
| Ours | MiT-B2 | 46.35 |
表 2 呈现了在 Stanford2D3D 数据集上的结果。所有结果都是通过 3 次交叉验证的平均值。由于我们提出的 360Attention 模块，我们的 360Mapper 模型在处理全景中的变形方面表现更好，mIoU 达到 54.3%，与之前的最先进模型 Trans4PASS [^38] 和 CBFC [^42] 相比，提高了 2% 以上。在正面全景中的良好结果初步揭示了我们模型在提取 360° 正面特征方面的潜力，这对于 BEV 语义映射任务至关重要。
结果在 360FV-Matterport 数据集上。我们首次将一个大型 360FV-Matterport 数据集提供给正面全景语义分割社区。在表 3 中，选择了四个最先进的方法并进行了重现。与 Trans4PASS [^38] 和 Trans4PASS+ [^39] 模型相比，我们的模型分别提高了 4.44% 和 3.75% 的 mIoU。此外，我们的模型在 mIoU 上优于 RGB-D HoHoNet [^29] 和 SegFormer [^33]，分别提高了 1.50% 和 0.82%。结果表明，我们的模型在大型全景语义分割数据集上始终能够实现最先进的性能。
#### 4.3. 全景语义映射 (360BEV)
为了全面研究 360BEV 任务，我们一致地分析了早期、晚期和中间投影，并在两个 360BEV 基准测试中比较了最先进的方法。
在 360BEV-Stanford 数据集上的结果。为了研究早期投影模式，我们选择了 SegFormer [^33] 和 SegNeXt [^12]，它们使用不同的骨干网络，结果表明，仅能达到不令人满意的结果。结果表明，预投影的 RGB 图像包含较少的正面图像的空间和视觉信息。使用晚期投影，具有相同 MiT-B2 骨干网络的 SegFormer 达到了 18.65% 的 mIoU，但仍产生亚最优的语义映射结果。有趣的是，所有使用中间投影的方法都获得了超过 30% 的 mIoU。在使用相同的 MiT-B2 骨干网络时，我们提出的 360Mapper 达到了 45.78% 的 mIoU，比基线 Trans4Map [^6] 提高了 9.70%。此外，我们的高效模型 (MiT-B0) 在 mIoU 上优于 Trans4Map (MiT-B4)，提高了 0.73%。使用更强大的 CNN 骨干网络 MSCA-B 来自 SegNeXt [^12]，我们的模型达到了最佳分数 46.44%
---
Table 4. Panoramic semantic mapping (360BEV) on the 360BEV-Stanford dataset.
| Method | Backbone | Acc | mRecall | mPrecision | mIoU |
| (1) Early projection: Proj.→Enc.→Seg. |
| SegFormer [^33] | MiT-B2 | 71.69 | 20.82 | 26.34 | 14.15 |
| SegNeXt [^12] | MSCA-B | 79.77 | 34.13 | 47.39 | 25.85 |
| (2) Late projection: Enc.→Seg.→Proj. |
| HoHoNet [^29] | ResNet101 | 70.01 | 31.62 | 30.46 | 18.49 |
| Trans4PASS [^38] | MiT-B2 | 65.73 | 31.08 | 33.15 | 17.86 |
| Trans4PASS+ [^39] | MiT-B2 | 66.11 | 38.06 | 34.14 | 20.44 |
| SegFormer [^33] | MiT-B2 | 70.50 | 30.97 | 30.65 | 18.65 |
| (3) Intermediate projection: Enc.→Proj.→Seg. |
| BEVFormer [^17] | MiT-B2 | 85.50 | 40.22 | 51.71 | 31.69 |
| Trans4Map [^6] | MiT-B0 | 86.41 | 40.45 | 57.47 | 32.26 |
| Trans4Map [^6] | MiT-B2 | 86.53 | 45.28 | 62.61 | 36.08 |
| Trans4Map [^6] | MiT-B4 | 86.99 | 46.18 | 58.19 | 36.69 |
| Ours | MiT-B0 | 92.07 | 50.14 | 65.37 | 42.42 (+10.16) |
| Ours | MiT-B2 | 92.80 | 53.56 | 67.72 | 45.78 (+49.70) |
| Ours | MSCA-B | 92.67 | 55.02 | 68.02 | 46.44 |
Table 5. Panoramic semantic mapping (360BEV) on the val set of 360BEV-Matterport dataset.
| Method | Backbone | Acc | mRecall | mPrecision | mIoU |
| (1) Early projection: Proj.→Enc.→Seg. |
| SegFormer [^33] | MiT-B2 | 68.12 | 41.33 | 45.25 | 29.22 |
| SegNeXt [^12] | MSCA-B | 68.53 | 42.13 | 46.12 | 30.01 |
| (2) Late projection: Enc.→Seg.→Proj. |
| HoHoNet [^29] | ResNet101 | 62.84 | 38.99 | 44.22 | 26.21 |
| Trans4PASS [^38] | MiT-B2 | 55.99 | 29.59 | 40.91 | 20.07 |
| Trans4PASS+ [^39] | MiT-B2 | 57.89 | 32.75 | 40.93 | 21.58 |
| SegFormer [^33] | MiT-B2 | 62.98 | 41.84 | 45.30 | 27.78 |
| (3) Intermediate projection: Enc.→Proj.→Seg. |
| BEVFormer [^17] | MiT-B2 | 72.99 | 43.61 | 51.70 | 32.51 |
| Trans4Map [^6] | MiT-B0 | 70.19 | 44.31 | 50.39 | 31.92 |
| Trans4Map [^6] | MiT-B2 | 73.28 | 51.60 | 53.02 | 36.72 |
| Trans4Map [^6] | MiT-B4 | 73.51 | 50.78 | 56.67 | 38.04 |
| Ours | MiT-B0 | 75.44 | 48.80 | 56.01 | 36.98 (+5.06) |
| Ours | MiT-B2 | 78.80 | 59.54 | 59.97 | 44.32 (+7.60) |
| Ours | MSCA-B | 78.93 | 60.51 | 62.83 | 46.31 |
的 mIoU，这表明 360Mapper 既可以与 CNN 骨干网络，也可以与 Transformer 骨干网络兼容。
360BEV-Matterport数据集上的结果。在表5中，我们进一步展示了在360BEV-Matterport数据集上的实验结果。SegFormer [^33] 和SegNeXt [^12] 采用Early projection，性能优于采用Late projection的方法。原因在于Late projection方法的性能受限于其在前视图语义分割中的较低表现，这会影响投影得到的BEV语义图。相比之下，我们采用Intermediate projection的360Mapper模型基于两种不同的模型规模（即MiT-B0和MiT-B2），整体展现出出色的性能，mIoU分别达到36.98%和44.32%。与此前的最优方法Trans4Map [^6]（MiT-B2）相比，我们采用MiT-B2的方法在准确率上提升了+5.52%，mRecall提升了+7.94%，mPrecision提升了+6.95%，且
Table 6. Analysis of offset mechanisms in 360Attention and backbone variants on 360BEV-Matterport dataset.
| Methods | Backbone | #Param | FLOPs | mIoU |
| ① Ours (360Attention offset) | MiT-B0 | 04.60M | 248.57G | 36.98 |
| ② Ours (360Attention offset) | MiT-B2 | 26.30M | 283.94G | 44.32 |
| ③ Ours (360Attention offset) | MiT-B4 | 62.91M | 341.34G | 45.53 |
| ④ Ours (Multi-scale offset) | MiT-B2 | 26.43M | 284.17G | 43.65 (-0.67) |
| ⑤ Ours (Fixed-range offset) | MiT-B2 | 26.30M | 283.44G | 43.28 (-1.04) |
| ⑥ Ours (Separate offset) | MiT-B2 | 26.19M | 279.18G | 42.82 (-1.50) |
| ⑦ Ours (360Attention offset) | MSCA-B | 27.69M | 274.59G | 46.31 (+1.99) |
mIoU提升了+7.60%。令人惊讶的是，我们采用MiT-B2的360Mapper在mIoU指标上超出了采用MiT-B4的Trans4Map +6.28%。此外，为了和多视图方法进行对比，我们复现了BEVFormer [^17]，实验中使用单张全景图替代六个针孔相机视图。我们的360Mapper比基于MiT-B2的BEVFormer的mIoU高出+11.81%。更进一步，我们使用基于CNN的MSCA-B骨干网络 [^12] 验证了360Mapper的灵活性，该配置取得了最高的mIoU分数，为46.31%。所有实验结果都符合我们的观察结论：Intermediate projection可以保留前视全景图中的稠密视觉线索和长程信息，为BEV语义制图提供更有价值的上下文，这使得360Mapper相较于其他范式具备性能优势。
每类结果。为了研究 360BEV 数据集上的每类性能，我们展示了比较结果，如图 7 所示。为了比较，Trans4Map 和我们的 360Mapper 模型都基于相同的骨干网络，即 MiT-B2。在 360BEV-Stanford 数据集（图 7a）上，我们的 360Mapper 模型在大多数类别上都取得了显著的提升，例如板 (>14%)、墙 (>16%)、门 (>28%) 等。在 360BEV-Matterport 数据集（图 7b）上，很明显，我们的模型可以更好地识别椅子和桌子，与 Trans4Map 相比，IoU 提高了 >6% [^6]。在 360BEV-Matterport 数据集的测试集中，我们的 360Mapper 在水槽和马桶类别上获得了 >12% 和 >15% 的 IoU 提升，与 Trans4Map 相比。总体而言，在两个数据集上的一致改进表明了我们的 360Mapper 在全景语义映射方面的优势。
#### 4.4. 定性分析
---
(a) 360BEV-Stanford
(b) 360BEV-Matterport
Figure 7. Distribution of per-class semantic mapping results (per-class IoU in %) on the 360BEV-Stanford and the 360BEV-Matterport datasets. Compared to the baseline model Trans4Map [^6], our 360Mapper models achieve overall better 360BEV results.
Figure 8. Qualitative analysis on the 360BEV-Matterport dataset. Black regions are void. Zoom in for a better view.
ority 的变形偏移方案，该方案的性能最佳 (44.32%)。然而，这些可比的结果证明了我们的 360Attention 设计对偏移机制具有鲁棒性。此外，为了分析主干网络选择的效果，我们选择了基于转换器的 MiT-B2 [^33] 和基于 CNN 的 MSCA-B [^12]，如 $\mathbf{2}$7 所示。更强大的主干网络 [^12] 进一步提高了 mIoU (+1.99%)，这表明我们的方法在主干网络变体方面具有灵活性。
### 4.4. 定性分析
为了分析预测得到的语义图，我们对360BEV-Matterport数据集验证集的结果进行了可视化。图8从左到右依次为输入图像、基准模型[^6]的结果、我们提出的360Mapper的结果以及真值。得益于IRP投影和360Attention，360Mapper的分割结果明显更优。在图8的第一个场景中，360Mapper能够成功分类出椅子，而基准模型未能完成该任务：它预测出多个桌子，还将远处的地面错误分类为另一张桌子。在第二个场景中，基准模型得到的桌子分割结果不完整。此外，在最后一个放大的场景中，360Mapper给出了准确的语义图，例如柜台、椅子和墙类别的分割都正确，而基准模型Trans4Map [^6]将这些类别错误分类为桌子和门。基于定性分析，我们的360Mapper能够有效处理物体变形和图像畸变，生成质量更优的BEV语义图。
## 5. 结论
在本文中，我们引入了 360BEV，这是一种用于在室内环境中进行全景语义映射的新任务，即从单个全景图像生成一个整体的鸟瞰图语义地图。为了实现这一点，我们提出了 360BEV-Matterport 和 360BEV-Stanford，扩展了现有的数据集以适应这种 360BEV 任务。我们回顾了现有的变换范式，并提出了 360Mapper，这是一种专为全景语义映射设计的全新端到端架构。因此，360Mapper 在很大程度上优于最先进的模型。
致谢。本工作部分由“KIT 未来领域”项目资助，部分由巴登-符腾堡州科学、研究和艺术部 (MWK) 通过德国学术交流协会 (DAAD) 的 IFI 项目中的合作研究生院“人工智能驱动的辅助技术可及性” (KATE) 资助，部分由德国联邦教育和研究部 (BMBF) 通过德国学术交流协会 (DAAD) 的奖学金资助，以及由杭州 SurImage Technology Company Ltd. 资助。我们感谢 HoreKA@KIT、HAICORE@KIT 以及 bwHPC 超级计算机集群。
---
## 参考文献
[^1]: Georgios Albanis, Nikolaos Zioulis, Petros Drakoulis, Vasileios Gkitsas, Vladimiros Sterzentsenko, Federico Alvarez, Dimitrios Zarpalas, and Petros Daras. Pano3D: A holistic benchmark and a solid baseline for $360^{\circ}$ depth estimation. In CVPRW, 2021. 2
[^2]: Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Anton Van Den Hengel. Vision-and-language navigation: Interpreting visually-grounded navigation instructions in real environments. In CVPR, 2018. 3
[^3]: Iro Armeni, Sasha Sax, Amir R. Zamir, and Silvio Savarese. Joint 2D-3D-semantic data for indoor scene understanding. arXiv preprint arXiv:1702.01105, 2017. 2, 3, 4, 6
[^4]: Vincent Cartillier, Zhile Ren, Neha Jain, Stefan Lee, Irfan Essa, and Dhruv Batra. Semantic MapNet: Building allocentric semantic maps and representations from egocentric views. In AAAI, 2021. 1, 2, 3, 6
[^5]: Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGB-D data in indoor environments. In 3DV, 2017. 2, 3, 4
[^6]: Chang Chen, Jiaming Zhang, Kailun Yang, Kunyu Peng, and Rainer Stiefelhagen. Trans4Map: Revisiting holistic bird's-eye-view mapping from egocentric images to allocentric semantics with vision transformers. In WACV, 2023. 1, 2, 3, 6, 7, 8
[^7]: Taco Cohen, Maurice Weiler, Berkay Kicanaoglu, and Max Welling. Gauge equivariant convolutional networks and the icosahedral CNN. In ICML, 2019. 2
[^8]: Marc Eder, Mykhailo Shvets, John Lim, and Jan-Michael Frahm. Tangent images for mitigating spherical distortion. In CVPR, 2020. 2, 6
[^9]: Carlos Esteves, Ameesh Makadia, and Kostas Daniilidis. Spin-weighted spherical CNNs. In NeurIPS, 2020. 2
[^10]: Di Feng, Christian Haase-Schütz, Lars Rosenbaum, Heinz Hertlein, Claudius Glaeser, Fabian Timm, Werner Wiesbeck, and Klaus Dietmayer. Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges. T-ITS, 2020. 1
[^11]: Margarita Grinvald, Fadri Furrer, Tonci Novkovic, Jen Jen Chung, Cesar Cadena, Roland Siegwart, and Juan Nieto. Volumetric instance-aware semantic mapping and 3D object discovery. RA-L, 2019. 3
[^12]: Meng-Hao Guo, Cheng-Ze Lu, Qibin Hou, Zhengning Liu, Ming-Ming Cheng, and Shi-Min Hu. SegNeXt: Rethinking convolutional attention design for semantic segmentation. In NeurIPS, 2022. 2, 6, 7, 8
[^13]: Joel Janai, Fatma Güney, Aseem Behl, and Andreas Geiger. Computer vision for autonomous vehicles: Problems, datasets and state of the art. Foundations and Trends® in Computer Graphics and Vision, 2020. 1
[^14]: Chiyu Max Jiang, Jingwei Huang, Karthik Kashinath, Prabhat, Philip Marcus, and Matthias Nießner. Spherical CNNs on unstructured grids. In ICLR, 2019. 2
[^15]: Kuan-Hui Lee, Matthew Kliemann, Adrien Gaidon, Jie Li, Chao Fang, Sudeep Pillai, and Wolfram Burgard. PillarFlow:
端到端鸟瞰流估计，用于自动驾驶。发表于IROS，2020年。3
[^16]: Wenbin Li, Sajad Saeedi, John McCormac, Ronald Clark, Dimos Tzoumanikas, Qing Ye, Yuzhong Huang, Rui Tang, and Stefan Leutenegger. InteriorNet: Mega-scale multi-sensor photo-realistic indoor scenes dataset. In BMVC, 2018. 2
[^17]: Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chong-hao Sima, Tong Lu, Yu Qiao, and Jifeng Dai. BEVFormer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers. In ECCV, 2022. 1, 2, 3, 6, 7
[^18]: Yingfei Liu, Tiancai Wang, Xiangyu Zhang, and Jian Sun. PETR: Position embedding transformation for multi-view 3D object detection. In ECCV, 2022. 3
[^19]: Chenxu Luo, Xiaodong Yang, and Alan Yuille. Self-supervised pillar motion learning for autonomous driving. In CVPR, 2021. 3
[^20]: Gellert Mattyus, Shenlong Wang, Sanja Fidler, and Raquel Urtasun. Enhancing road maps by parsing aerial images around the world. In ICCV, 2015. 3
[^21]: Daniel Maturana, Po-Wei Chou, Masashi Uenoyama, and Sebastian Scherer. Real-time semantic mapping for autonomous off-road navigation. In FSR, 2018. 3
[^22]: Branislav Mičušlík and Jana Košečka. Semantic segmentation of street scenes by superpixel co-occurrence and 3D geometry. In ICCVW, 2009. 1,2
[^23]: Bowen Pan, Jiankai Sun, Ho Yin Tiga Leung, Alex Andonian, and Bolei Zhou. Cross-view semantic segmentation for sensing surroundings. RA-L, 2020. 3
[^24]: Lang Peng, Zhirong Chen, Zhangjie Fu, Pengpeng Liang, and Erkang Cheng. BEVSegFormer: Bird's eye view semantic segmentation from arbitrary camera rigs. In WACV, 2023. 2
[^25]: Teng Ran, Liang Yuan, Jianbo Zhang, Dingxin Tang, and Li He. RS-SLAM: A robust semantic SLAM in dynamic environments based on RGB-D sensor. IEEE Sensors Journal, 2021. 3
[^26]: Manolis Savva, Jitendra Malik, Devi Parikh, Dhruv Batra, Abhishek Kadian, Oleksandr Maksymets, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, and Vladlen Koltun. Habitat: A platform for embodied AI research. In CVPR, 2019. 1, 3
[^27]: Sunando Sengupta, Paul Sturgess, Lubor Ladicky, and Philip H. S. Torr. Automatic dense visual semantic mapping from street-level imagery. In IROS, 2012. 3
[^28]: Suriya Singh, Anil Batra, Guan Pang, Lorenzo Torresani, Saikat Basu, Manohar Paluri, and C. V. Jawahar. Self-supervised feature learning for semantic segmentation of overhead imagery. In BMVC, 2018. 3
[^29]: Cheng Sun, Min Sun, and Hwann-Tzong Chen. HoHoNet: 360 indoor holistic understanding with latent horizontal features. In CVPR, 2021. 2, 6, 7
## [^30]: Keisuke Tateno, Nassir Navab, and Federico Tombari. Distortion-aware convolutional filters for dense prediction in panoramic images. In ECCV, 2018. 2
---
[^31]: Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, Wenyu Liu, and Bin Xiao. Deep high-resolution representation learning for visual recognition. TPAMI, 2021. 2
[^32]: Fei Xia, Amir R Zamir, Zhiyang He, Alexander Sax, Jitendra Malik, and Silvio Savarese. Gibson env: Real-world perception for embodied agents. In CVPR, 2018. 1, 3
[^33]: Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, and Ping Luo. SegFormer: Simple and efficient design for semantic segmentation with transformers. In NeurIPS, 2021. 2, 6, 7, 8
[^34]: Chenyu Yang, Yuntao Chen, Hao Tian, Chenxin Tao, Xizhou Zhu, Zhaoxiang Zhang, Gao Huang, Hongyang Li, Yu Qiao, Lewei Lu, Jie Zhou, and Jifeng Dai. BEVFormer v2: Adapting modern image backbones to bird's-eye-view recognition via perspective supervision. In CVPR, 2023. 3
[^35]: Yuhui Yuan, Xilin Chen, and Jingdong Wang. Object-contextual representations for semantic segmentation. In ECCV, 2020. 2
[^36]: Chao Zhang, Stephan Liwicki, William Smith, and Roberto Cipolla. Orientation-aware semantic segmentation on icosa-hedron spheres. In ICCV, 2019. 2
[^37]: Jiaming Zhang, Kailun Yang, Angela Constantinescu, Kunyu Peng, Karin Müller, and Rainer Stiefelhagen. Trans4Trans: Efficient transformer for transparent object segmentation to help visually impaired people navigate in the real world. In ICCVW, 2021. 1
[^38]: Jiaming Zhang, Kailun Yang, Chaoxiang Ma, Simon Reiß, Kunyu Peng, and Rainer Stiefelhagen. Bending reality: Distortion-aware transformers for adapting to panoramic semantic segmentation. In CVPR, 2022. 2, 6, 7
[^39]: Jiaming Zhang, Kailun Yang, Hao Shi, Simon Reiß, Kunyu Peng, Chaoxiang Ma, Haodong Fu, Kaiwei Wang, and Rainer Stiefelhagen. Behind every domain there is a shift: Adapting distortion-aware vision transformers for panoramic semantic segmentation. arXiv preprint arXiv:2207.11860, 2022. 6, 7
[^40]: Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, and Jiaya Jia. Pyramid scene parsing network. In CVPR, 2017. 2
[^41]: Jia Zheng, Junfei Zhang, Jing Li, Rui Tang, Shenghua Gao, and Zihan Zhou. Structured3D: A large photo-realistic dataset for structured 3D modeling. In ECCV, 2020. 2
[^42]: Zishuo Zheng, Chunyu Lin, Lang Nie, Kang Liao, Zhijie Shen, and Yao Zhao. Complementary bi-directional feature compression for indoor $360^{\circ}$ semantic segmentation with self-distillation. In WACV, 2023. 6
[^43]: Brady Zhou and Philipp Krähenbühl. Cross-view transformers for real-time map-view semantic segmentation. In CVPR, 2022. 3
[^44]: Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng Dai. Deformable DETR: Deformable transformers for end-to-end object detection. In ICLR, 2021. 2
[^45] Nikolaos Zioulis, Antonis Karakottas, Dimitrios Zarpalas, Federico Alvarez, and Petros Daras. 面向自监督$360^{\circ}$深度估计的球面视图合成。发表于3DV会议，2019年。