{ "paper_id": "2b5a43d167d55d0a40f7ef7bf5f155b8", "paper_title": "360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View", "paper_authors": [ "Zhifeng Teng", "Jiaming Zhang", "Kailun Yang", "Kunyu Peng", "Hao Shi", "Simon Reiß", "Ke Cao", "Rainer Stiefelhagen" ], "publication_date": "", "publication_venue": "2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)", "abstract": "Seeing only a tiny part of the whole is not knowing the full circumstance. Bird's-eye-view (BEV) perception, a process of obtaining allocentric maps from egocentric views, is restricted when using a narrow Field of View (FoV) alone. In this work, mapping from 360° panoramas to BEV semantics, the 360BEV task, is established for the first time to achieve holistic representations of indoor scenes in a top-down view. Instead of relying on narrow-FoV image sequences, a panoramic image with depth information is sufficient to generate a holistic BEV semantic map. To benchmark 360BEV, we present two indoor datasets, 360BEV-Matterport and 360BEV-Stanford, both of which include egocentric panoramic images and semantic segmentation labels, as well as allocentric semantic maps. Besides delving deep into different mapping paradigms, we propose a dedicated solution for panoramic semantic mapping, namely 360Mapper. Through extensive experiments, our methods achieve 44.32% and 45.78% mIoU on both datasets respectively, surpassing previous counterparts with gains of +7.60% and +9.70% in mIoU.\n", "keywords": [ "360BEV", "Panoramic Semantic Mapping", "Indoor Bird's-Eye View", "Inverse Radial Projection", "360Attention", "Semantic Segmentation" ], "paper_institutions": [ "Karlsruhe Institute of Technology", "Hunan University", "Zhejiang University" ], "output_language": "zh", "provider": "doubao", "model": "deepseek-v4-flash", "prompt_template": "simple", "extracted_at": "2026-08-18T10:30:52.807614Z", "template_tag": "deep_read", "summary": "# 360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View\n\n\n**作者 / Authors:** Zhifeng Teng, Jiaming Zhang, Kailun Yang, Kunyu Peng, Hao Shi, Simon Reiß, Ke Cao, Rainer Stiefelhagen\n\n\n**单位 / Institutions:** Karlsruhe Institute of Technology, Hunan University, Zhejiang University\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n### 分类理由\n\n- 论文的主要贡献是提出一个新的室内全景BEV语义映射任务（360BEV）、两个数据集（360BEV-Matterport、360BEV-Stanford）以及一个专用模型（360Mapper）。\n- 核心贡献属于新算法/模型设计（Inverse Radial Projection 与 360Attention），因此归类为 `method`。\n\n### 1. Paper metadata\n\n- **Title:** 360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View\n- **Authors:**\\ \n - Zhifeng Teng（Karlsruhe Institute of Technology）\\ \n - Jiaming Zhang（Karlsruhe Institute of Technology）\\ \n - Kailun Yang（Hunan University）\\ \n - Kunyu Peng（Karlsruhe Institute of Technology）\\ \n - Hao Shi（Zhejiang University）\\ \n - Simon Reiß（Karlsruhe Institute of Technology）\\ \n - Ke Cao（Karlsruhe Institute of Technology）\\ \n - Rainer Stiefelhagen（Karlsruhe Institute of Technology）\\ \n 注：文档未提供每位作者的详细背景信息。\n- **Publication venue or outlet:** 未提供（文档中未标注期刊/会议名称、年份或级别）。\n\n### 2. Research positioning\n\n- **Research area:** 计算机视觉、全景感知、BEV（Bird's-Eye View）语义映射、室内场景理解。\n- **Concrete task:** 从单张 360° 全景图像及其深度信息，生成室内场景的俯视 BEV 语义图（360BEV 任务）。\n- **Target users or application scenario:** 室内导航、机器人感知、辅助技术、场景理解等需要完整俯视语义地图的下游应用。\n\n### 3. Input material checklist\n\n- **PDF:** 是（以 Markdown 文档形式提供，包含正文、图表、参考文献）。\n- **Appendix / supplement:** 未提供。\n- **Code link:** 未提供。\n- **Dataset link:** 未提供（论文中提出 360BEV-Matterport 和 360BEV-Stanford 数据集，但未给出公开链接）。\n\n### 4. Missing materials and risks\n\n- **Missing items:** 官方 PDF 版本信息、出版日期/会议信息、附录或补充材料、代码链接、数据集下载链接。\n- **Likely impact:** 无法直接复现实验；无法核对数据生成与预处理细节；无法确认该版本是否为最终发表版本；缺少代码和数据集会限制对 360Mapper 和两个基准数据集的深入验证。\n\n### 5. Reading route (3-6 steps)\n\n- **Step 1:** 第一遍快速浏览：阅读标题、摘要、引言（Sec. 1）和结论（Sec. 5），明确任务定义、主要贡献和核心结果（mIoU 提升 +7.60% / +9.70%）。\n- **Step 2:** 第二遍理解方法：细读 Sec. 3，重点理解三种投影范式（Early/Late/Intermediate）、IRP（Inverse Radial Projection）和 360Attention 的设计动机与公式。\n- **Step 3:** 第二遍理解实验：阅读 Sec. 4.1 实现细节和 Sec. 4.2-4.3 的定量结果，结合 Table 2-6 分析不同范式、骨干网络和消融实验。\n- **Step 4:** 深入图表分析：结合 Fig. 2、Fig. 6、Fig. 7、Fig. 8 和 Table 4-6，理解方法在定性结果和每类 IoU 上的表现。\n- **Step 5:** 第三遍批判性评估：检查假设、局限、可复现性，并思考后续改进方向（如更轻量模型、更多场景泛化、与导航系统结合等）。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n[Paper type and category]\n\n- 类型：方法类论文（method），同时提出新任务、新数据集和新模型。\n- 具体类别：计算机视觉 / 全景感知 / BEV语义映射 / 室内场景理解。\n\n[Context and research background]\n\n- 背景：BEV感知在户外自动驾驶中已有进展，但室内BEV语义映射研究较少；现有室内方法依赖多视图或视频序列，计算开销大且多基于仿真环境。\n- 本文定位：首次提出360BEV任务，用单张360°全景图+深度生成完整室内BEV语义图，避免多相机标定、同步和序列处理（Sec. 1, Fig. 1）。\n- 相关路线：Early/Late/Intermediate三种投影范式；中间投影保留密集特征，适合全景到BEV的转换（Sec. 3.1, Fig. 2）。\n\n[Intuitive correctness check]\n\n- 关键假设1：单张全景+深度足以生成完整BEV语义图。合理：全景FoV覆盖360°，深度提供几何约束，可恢复俯视布局。\n- 关键假设2：中间投影优于早/晚投影。合理：早投影损失视觉细节，晚投影受前视分割误差和深度噪声影响；中间投影在特征层面转换，保留更多信息（Sec. 3.1, Table 4/5）。\n- 关键假设3：IRP+360Attention能缓解全景畸变。合理：IRP用深度生成2D索引，360Attention用自适应偏移采样，可补偿畸变（Sec. 3.3, Fig. 6）。\n- 总体判断：假设在论文实验中得到支持，但需注意数据集由已有数据集扩展而来，标注生成依赖深度/XYZ，存在误差传播风险。\n\n[Core contributions]\n\n1. 首次提出360BEV任务：从单帧360°全景图+深度预测室内全景BEV语义图，简化多视图/序列流程（Sec. 1）。\n2. 构建两个真实室内BEV数据集：360BEV-Matterport（20类，10,615帧）和360BEV-Stanford（13类，1,413帧），并附带360FV-Matterport全景分割数据（Sec. 3.2, Table 1）。\n3. 系统比较三种投影范式（Early/Late/Intermediate），验证中间投影的优越性（Sec. 3.1, Table 4/5）。\n4. 提出360Mapper模型：包含Inverse Radial Projection (IRP)和360Attention，专门处理全景畸变与物体形变（Sec. 3.3, Fig. 6）。\n5. 达到SOTA：在360BEV-Stanford和360BEV-Matterport上分别达45.78%和44.32% mIoU，较Trans4Map提升+9.70%和+7.60%（Table 4/5）。\n\n[Clarity assessment]\n\n- 结构：清晰，按引言、相关工作、方法、实验、结论组织，符合三遍阅读法。\n- 图表：Fig. 1/2/6直观展示任务、范式和架构；Fig. 7/8提供每类IoU和定性结果；Table 1-6数据完整。\n- 公式：Eq. (1)-(5)给出球面坐标、正交投影、IRP和360Attention定义，符号基本明确。\n- 可读性：总体易读，但存在少量笔误/排版问题，如Table 4中\"+49.70\"应为\"+9.70\"；Table 1中360BEV-Stanford与Matterport的train/val行顺序易混淆；部分引用编号为占位符（如[^22]）。\n- 建议：阅读时以Table 4/5和Fig. 6为核心，结合公式理解IRP和360Attention。\n\n[Continue-or-stop recommendation]\n\n- 建议：继续进入第二遍（Module D）和第三遍（Module E）精读。\n- 理由：论文提出新任务、新数据集和新模型，方法细节（IRP、360Attention）和实验设计（三种范式、多骨干、消融）值得深入分析；且需要评估数据集生成流程和可复现性。\n\n[Structural outline diagram]\n\n```markmap\n# 360BEV 论文概览\n## 1. 引言\n### 问题背景：室内BEV语义映射\n### 360BEV任务定义\n### 贡献总结\n## 2. 相关工作\n### 全景语义分割\n### BEV语义映射\n## 3. 方法\n### 3.1 三种投影范式\n### 3.2 数据集生成（360FV/360BEV）\n### 3.3 360Mapper模型\n#### IRP\n#### 360Attention\n## 4. 实验\n### 4.1 实现细节\n### 4.2 360FV全景分割\n### 4.3 360BEV语义映射\n### 4.4 定性分析\n## 5. 结论\n```\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n### Module C1: 论文试图解决什么问题？\n\n#### 1. 一句话问题定义\n\n论文要解决的问题是：如何仅利用单张室内 360° 全景图像及其深度信息，高效且鲁棒地生成完整、准确的俯视 BEV 语义地图（即 360BEV 任务），以克服窄视场、多视图或序列方法在感知范围、计算复杂度和真实场景泛化上的局限。\n\n#### 2. 痛点或现有缺陷\n\n- **窄视场导致感知范围有限**：传统 pinhole 相机只能看到场景的一小部分，基于窄 FoV 的 BEV 方法需要处理大量视频帧（序列方法通常 ≥20 帧）或多相机设置（通常 ≥6 个视角），计算开销大，且涉及多传感器标定、同步与数据融合（Sec. 1, Fig. 1, Fig. 2）。\n- **缺乏真实室内 BEV 数据集**：现有室内语义映射方法多依赖 Gibson、Habitat 等合成仿真器，缺少真实室内场景的 BEV 语义标注，限制了向真实世界应用的迁移（Sec. 1, Sec. 2.2）。\n- **全景图像的畸变与形变问题**：360° 全景在拼接过程中存在空间畸变和物体形变，直接套用为窄视场图像或室外多视图感知设计的方法会严重损害性能（Sec. 1, Sec. 3.1）。\n- **已有投影范式存在固有缺陷**：Early projection 在投影过程中丢失细粒度视觉线索；Late projection 对深度图和位姿信息敏感，容易产生投影误差和模型欠拟合；而现有 Intermediate projection 方法依赖合成数据或耗时序列（Sec. 2.2, Sec. 4.3）。\n\n#### 3. 形式化目标或优化目标\n\n文档未给出显式的损失函数数学表达式，但任务可形式化为：给定单张全景图像 \\(I \\in \\mathbb{R}^{H \\times W \\times 3}\\) 与对应深度图 \\(D \\in \\mathbb{R}^{H \\times W}\\)，学习一个映射 \\(f: (I, D) \\rightarrow S_{BEV}\\)，其中 \\(S_{BEV} \\in \\mathbb{R}^{h \\times w \\times C}\\) 是俯视 BEV 语义图，目标是使预测的 BEV 语义图与真实 BEV 标注尽可能一致。训练采用 AdamW 优化器，初始学习率 \\(6e^{-5}\\)，训练 50 epochs，输入全景分辨率为 \\(512 \\times 1024\\)，输出 BEV 图为 \\(500 \\times 500\\)，对应 \\(10m \\times 10m\\) 的感知范围（Sec. 4.1）。\n\n#### 4. 成功标准（指标或期望性质）\n\n- **定量指标**：采用像素准确率（Acc）、平均召回率（mRecall）、平均精确率（mPrecision）和平均交并比（mIoU）作为评估指标（Sec. 4.1）。\n- **核心性能目标**：在 360BEV-Stanford 和 360BEV-Matterport 两个数据集上达到 SOTA，分别取得 45.78% 和 44.32% 的 mIoU，相比之前最优方法提升 +9.70% 和 +7.60%（Abstract, Sec. 4.3, Table 4, Table 5）。\n- **期望性质**：仅用单帧全景图加深度即可生成完整 BEV 语义图，无需多视图、序列或点云输入；能有效处理全景畸变和物体形变；对 Transformer 和 CNN 骨干均具有灵活性（Sec. 1, Sec. 3.3, Sec. 4.3, Table 6, Fig. 8）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n### 1. 最强基线（Strongest baselines）与比较轴\n\n- **Trans4Map**（Chen et al., WACV 2023）[^6]：方法为 intermediate projection 的室内 BEV 语义映射，核心思想是用视觉 Transformer 从 egocentric 图像回归 allocentric BEV 语义；局限是依赖窄 FoV 图像/序列，未针对全景畸变设计。比较轴：在 360BEV-Stanford 与 360BEV-Matterport 上的 mIoU（Table 4/5），以及相同骨干（MiT-B2）下的 Acc、mRecall、mPrecision 和 mIoU；360Mapper 以 MiT-B2 分别超出 +9.70% 和 +7.60% mIoU（Table 4/5）。\n- **BEVFormer**（Li et al., ECCV 2022）[^17]：方法为多相机 BEV 表示学习，核心思想是通过 Spatial Cross-Attention 将多视角特征投影到 BEV；局限是需要 ≥6 个相机视图和投影矩阵，不适合单全景输入。本文将其改造为单全景输入作为 intermediate projection 基线；在 360BEV-Matterport 上 360Mapper 超出 +11.81% mIoU（Sec. 4.3）。\n- 其他比较对象：Early projection 的 SegFormer/SegNeXt，Late projection 的 HoHoNet/Trans4PASS/Trans4PASS+/SegFormer（Table 4/5）。比较轴还包括三种投影范式（Early/Late/Intermediate）的划分（Sec. 3.1, Fig. 2）。\n\n### 2. 最接近的方法（Closest approaches）与关键差异\n\n- **Trans4Map**：核心思想是用视觉 Transformer 从 egocentric 图像直接回归 allocentric BEV 语义，属于 intermediate projection。关键差异：Trans4Map 依赖窄 FoV 图像/序列或直接深度索引投影，未针对全景畸变设计；360Mapper 使用单张 360° 全景+深度，提出 Inverse Radial Projection (IRP) 生成 2D 索引，并用 360Attention 的自适应采样偏移补偿全景畸变（Sec. 3.3, Fig. 6）。\n- **BEVFormer**：核心思想是通过 Spatial Cross-Attention 将多相机特征投影到 BEV，使用 deformable attention 和多尺度特征。关键差异：BEVFormer 需要多相机视图和投影矩阵；360Mapper 仅需单全景特征图，用 IRP 的 mask 和 360Attention 直接采样，无需多视图融合与相机标定（Sec. 2.2, Sec. 3.3）。\n\n### 3. 正交方向（Orthogonal directions）\n\n- **全景语义分割**（Trans4PASS, HoHoNet, CBFC, Tangent）：只做 egocentric 前视分割，不生成 BEV 地图；可作为 360Mapper 的 front-view 特征提取对照（Sec. 2.1, Table 2/3）。\n- **室外 BEV 感知**（BEVFormer v2, PETR, Cross-view transformers, BEVSegFormer）：面向自动驾驶，使用多相机/LiDAR/点云，不针对室内单全景输入（Sec. 2.2）。\n- **序列式室内语义建图**（SMNet, Habitat/Gibson 模拟器）：依赖 ≥20 帧视频序列和移动相机，计算量大且局限于仿真环境；360BEV 用单帧全景+深度绕开该路线（Sec. 1, Sec. 2.2）。\n- **全景深度估计**（Pano3D, 3D60）：提供 360° 深度但缺少语义标签，与本文的 BEV 语义标签生成互补（Sec. 2.1）。\n\n### 4. 一句话定位\n\n360BEV/360Mapper 是首个面向室内场景的“单张 360° 全景图像 + 深度 → 完整 BEV 语义图”的专用方法，通过 IRP 与 360Attention 显式处理全景畸变，在两个新基准上以较大 mIoU 优势超越此前室内 BEV 映射与多相机 BEV 方法。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n### 1. 核心机制概览\n\n论文针对新提出的 360BEV 任务（单张 360° 全景图 + 深度 → 室内俯视 BEV 语义图），提出端到端模型 **360Mapper**。其核心思路是采用 **Intermediate projection（编码→投影→分割）** 范式，在特征层面完成从全景前视图到 BEV 的转换，避免 Early projection 的信息丢失和 Late projection 的投影误差。360Mapper 由四个部分组成：Transformer 骨干编码器、**Inverse Radial Projection (IRP)**、**360Attention** 模块和轻量解码器。IRP 利用深度信息生成 2D 参考索引，360Attention 在此基础上用自适应采样偏移补偿全景图畸变，最终由解码器输出 BEV 语义图。\n\n### 2. 逐步拆解\n\n1. **输入与特征提取**：输入单张 360° 全景 RGB 图像（512×1024）及对应深度图。Transformer 骨干（如 MiT-B2）提取全景前视特征 $f_{360}$（Sec. 3.3, Fig. 6）。\n2. **IRP 生成 2D 索引**：由深度图生成 top-view mask $M_{map}$，再生成 3D 参考点并投影到球面，得到 2D 参考索引 $p=(ID_h, ID_w)$（Eq. 4-5）。该索引用于在编码特征图上定位采样点。\n3. **360Attention 特征投影**：以 BEV query q 为输入，通过线性层预测采样偏移 $\\Delta p_{q,ij}$ 和注意力权重 $\\mathcal{A}_{ij}$；将偏移加到 mask 后的 2D 索引上，得到畸变感知的采样位置，从 $f_{360}$ 中聚合特征，输出 BEV 特征（Eq. 6）。\n4. **解码与预测**：轻量解码器对投影后的 BEV 特征进行解析，输出 500×500 的 BEV 语义图（对应 10m×10m 范围）。\n\n### 3. 关键公式与模块作用\n\n- **IRP 索引计算**（Eq. 4-5）：\n - 由 3D 点 $(x,y,z)$ 计算球面角：$\\Phi=\\tan^{-1}(y/x)$, $\\Theta=\\tan^{-1}((x/z)\\cdot(1/\\cos\\Phi))$。\n - 2D 索引：$ID_h=\\lceil H\\Theta/\\pi\\rceil$, $ID_w=\\lceil(\\Phi/\\pi-1/W)\\cdot W/2\\rceil$。\n - 作用：将 BEV 空间中的参考点映射回全景特征图，建立前视与俯视的对应关系。\n- **360Attention**（Eq. 6）：\n - $\\mathrm{360Attn}(q,p,f_{360})=\\sum_{i=1}^{N_{head}}\\mathcal{W}_i\\sum_{j=1}^{N_{point}}\\mathcal{A}_{ij}\\cdot f_{360}(mask(p)+\\Delta p_{q,ij})$。\n - 作用：用可变形采样偏移补偿全景畸变；mask 操作使参与计算的 query/索引数量 $\\sum M_{map} B[\"Transformer 骨干编码器\\n提取全景特征 f_360\"]\n B --> C[\"IRP: 深度图 → mask 地图 → 3D 参考点 → 2D 索引 p\"]\n C --> D[\"360Attention: BEV query q + 自适应偏移 Δp\\n从 f_360 采样聚合 → BEV 特征\"]\n D --> E[\"轻量解码器\\n解析 BEV 特征\"]\n E --> F[\"输出: 500×500 BEV 语义图\"]\n```\n\n### 5. 与已有方法的区别（简要）\n\n- 相比 BEVFormer 的多视角 Spatial Cross-Attention，360Attention 只使用单张全景特征图，且不需要将 3D 参考点投影到多个相机视图（Sec. 3.3）。\n- 相比 SMNet/Trans4Map 的序列或直接深度索引投影，IRP 结合深度 mask 和自适应偏移，更适合全景图的畸变与形变（Sec. 1, Sec. 3.3）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n### 模块 C4：数据集、基准与实现/评测设置\n\n#### 1. 数据集/基准清单\n\n- **360BEV-Matterport**（本文新提出，Sec. 3.2, Table 1）：由 Matterport3D 扩展而来，室内真实场景。规模：86 个场景、2,030 个房间、10,615 帧；类别数 20。划分：train 61 场景/7,829 帧，val 7 场景/772 帧，test 18 场景/2,014 帧。输入为单张 360° 全景图+深度，输出为 500×500 的 BEV 语义图（对应 10m×10m）。\n- **360BEV-Stanford**（本文新提出，Sec. 3.2, Table 1）：由 Stanford2D3D 扩展而来，室内真实场景。规模：6 个场景、270 个房间、1,413 帧；类别数 13。划分：train 5 场景/1,040 帧，val 1 场景/373 帧（Table 1 中未列出 test 划分）。\n- **360FV-Matterport**（本文附带生成，Sec. 2.1, Sec. 3.2, Fig. 3）：将 Matterport3D 的 18 张窄视图像及标注转换为 360° 全景语义分割数据集，用于前视全景分割基准以及 late-projection 范式。\n- **Stanford2D3D 前视全景分割基准**（Sec. 4.2, Table 2）：用于验证模型对全景畸变的处理能力，报告 3 折交叉验证平均 mIoU。\n\n#### 2. 预处理与划分/覆盖设置\n\n- 360FV-Matterport：利用旋转-平移矩阵将 18 个窄视图像及标注转换为 360° 全景格式（Sec. 3.2, Fig. 3）。\n- 360BEV-Stanford：利用 Stanford2D3D 的全局 XYZ 图像，通过正交投影生成 BEV 语义真值（Sec. 3.2, Fig. 4）。\n- 360BEV-Matterport：由全景深度生成全局 XYZ；按球坐标公式（Eq. 1-2）将每个像素映射到 3D 点，再用正交投影矩阵 P_v（Eq. 3）得到 2D BEV 索引，从而生成 BEV 语义真值（Sec. 3.2）。\n- 类别筛选：Matterport3D 原始 40 类中剔除罕见类（如 TV、beam，占比 <<0.1%），保留 20 个最常见类别并合并部分不常见类；floor 类因对导航等任务重要而保留（Sec. 3.2, Fig. 5）。\n- 输入/输出分辨率：全景图 512×1024；BEV 输出 500×500，对应 10m×10m 感知范围（Sec. 4.1）。\n\n#### 3. 训练/推理/评测环境\n\n- 训练：4 块 A100 GPU；初始学习率 6e-5，step 策略，50 epochs；优化器 AdamW（epsilon=1e-8，weight decay=0.01）；每 GPU batch size=4（Sec. 4.1）。\n- 推理：未单独说明；模型为端到端单帧全景图+深度输入，输出 BEV 语义图（Sec. 3.3, Fig. 6）。\n- 评测指标：像素精度 Acc、mRecall、mPrecision、mIoU，沿用 Trans4Map/SMNet 的设置（Sec. 4.1）。\n- 对比方法：Early/Late/Intermediate 三种投影范式下共十余种方法，包括 SegFormer、SegNeXt、HoHoNet、Trans4PASS、Trans4PASS+、BEVFormer、Trans4Map 等（Table 4-5）。\n\n#### 4. 这些选择的意义与验证作用\n\n- 单张全景+深度替代多视图/序列：避免多相机标定、同步与融合，降低计算复杂度（Sec. 1, Fig. 2），使 360BEV 任务可端到端学习。\n- 正交投影生成真值：利用深度/XYZ 将前视语义映射到俯视图，提供可扩展的 BEV 标注生成方式，支撑两个真实室内基准（Sec. 3.2）。\n- 10m×10m/500×500 输出：与室内场景尺度匹配，同时保证足够分辨率以评估细粒度语义映射质量（Sec. 4.1）。\n- 类别筛选与保留 floor：缓解类别不平衡，保留对导航/完整地图重要的结构类别（Sec. 3.2, Fig. 5）。\n- 多范式对比：Early/Late/Intermediate 的对比验证了 intermediate projection 能保留密集视觉线索和长程信息，是 360Mapper 取得优势的关键（Sec. 4.3, Table 4-5）。\n- 消融与骨干实验：Table 6 验证 360Attention 的 deformable offset 设计、模型容量和骨干灵活性；Fig. 7-8 的逐类 IoU 与定性结果进一步说明数据集能有效区分方法优劣。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n### 1. 评估指标\n\n- **Acc（像素级准确率）**：预测正确的像素占总像素的比例，衡量整体预测正确程度。\n- **mRecall（平均召回率）**：对每个类别计算召回率后取平均，反映各类别被正确检出的能力。\n- **mPrecision（平均精确率）**：对每个类别计算精确率后取平均，反映预测结果中各类别的纯净度。\n- **mIoU（平均交并比）**：各类别预测区域与真实区域的交并比的平均值，是本文最主要的评价指标。\n- 实验设置（Sec. 4.1）：输入全景图像尺寸为 512×1024，输出 BEV 图为 500×500，对应 10m×10m 感知范围；使用 4 张 A100 GPU、50 个 epoch、AdamW 优化器、初始学习率 6e-5、权重衰减 0.01、每卡 batch size 4。\n\n### 2. 主要结果\n\n- **360FV 全景语义分割（Stanford2D3D）**：本文方法（MiT-B2）达到 54.3% mIoU，比此前最优的 Trans4PASS 和 CBFC 提升超过 2%（Table 2）。\n- **360FV 全景语义分割（360FV-Matterport val）**：本文方法（MiT-B2）达到 46.35% mIoU，优于 HoHoNet（44.10%）、Trans4PASS（41.91%）、Trans4PASS+（42.60%）和 SegFormer（45.53%）（Table 3）。\n- **360BEV-Stanford**：本文 360Mapper（MiT-B2）达到 45.78% mIoU，相比同骨干的 Trans4Map（MiT-B2，36.08%）提升 +9.70%；轻量版 MiT-B0 达到 42.42%，相比 Trans4Map（MiT-B0，32.26%）提升 +10.16%；使用 MSCA-B 骨干达到 46.44% mIoU（Table 4）。注：Table 4 中 Ours/MiT-B2 的 mIoU 增量显示为“+49.70”，结合摘要和上下文应为 +9.70，疑似排版错误。\n- **360BEV-Matterport（val）**：本文 360Mapper（MiT-B2）达到 44.32% mIoU，相比同骨干 Trans4Map（MiT-B2，36.72%）提升 +7.60%；MiT-B0 版本达到 36.98%，相比 Trans4Map（MiT-B0，31.92%）提升 +5.06%；使用 MSCA-B 骨干达到 46.31% mIoU（Table 5）。\n\n### 3. 与基线/先前工作对比\n\n- **三种投影范式对比**：论文系统比较了 Early projection（Proj.→Enc.→Seg.）、Late projection（Enc.→Seg.→Proj.）和 Intermediate projection（Enc.→Proj.→Seg.）。Intermediate projection 能保留更多稠密视觉线索和长程信息，因此效果最好（Sec. 3.1、Table 4、Table 5）。\n- **360BEV-Stanford 上的代表性对比（Table 4）**：\n - Early projection：SegFormer（MiT-B2）mIoU 14.15%，SegNeXt（MSCA-B）25.85%。\n - Late projection：HoHoNet 18.49%，Trans4PASS 17.86%，Trans4PASS+ 20.44%，SegFormer 18.65%。\n - Intermediate projection：BEVFormer（MiT-B2）31.69%，Trans4Map（MiT-B0/B2/B4）32.26%/36.08%/36.69%，本文 360Mapper（MiT-B0/B2/MSCA-B）42.42%/45.78%/46.44%。\n- **360BEV-Matterport 上的代表性对比（Table 5）**：\n - Early projection：SegFormer（MiT-B2）29.22%，SegNeXt（MSCA-B）30.01%。\n - Late projection：HoHoNet 26.21%，Trans4PASS 20.07%，Trans4PASS+ 21.58%，SegFormer 27.78%。\n - Intermediate projection：BEVFormer（MiT-B2）32.51%，Trans4Map（MiT-B0/B2/B4）31.92%/36.72%/38.04%，本文 360Mapper（MiT-B0/B2/MSCA-B）36.98%/44.32%/46.31%。\n- **与强基线的具体差距**：在 360BEV-Matterport 上，360Mapper（MiT-B2）比 Trans4Map（MiT-B4）高 +6.28% mIoU；比单全景图适配的 BEVFormer（MiT-B2）高 +11.81% mIoU（Sec. 4.3）。\n- **跨数据集一致性**：360Mapper 在两个数据集、多种骨干（Transformer 和 CNN）下均稳定超过所有对比方法，说明方法对骨干类型具有灵活性。\n\n### 4. 消融、敏感性分析\n\n- **360Attention 偏移机制消融（Table 6，骨干均为 MiT-B2）**：\n - 可变形偏移（deformable offset）：44.32% mIoU。\n - 多尺度偏移（multi-scale offset）：43.65%（-0.67）。\n - 固定范围偏移（fixed-range offset）：43.28%（-1.04）。\n - 分离偏移（separate offset）：42.82%（-1.50）。\n - 结论：可变形偏移效果最好，但各偏移机制差距不大，说明 360Attention 对偏移设计具有鲁棒性。\n- **骨干网络敏感性（Table 6）**：\n - MiT-B0：36.98% mIoU，参数量 4.60M，FLOPs 248.57G。\n - MiT-B2：44.32% mIoU，参数量 26.30M，FLOPs 283.94G。\n - MiT-B4：45.53% mIoU，参数量 62.91M，FLOPs 341.34G。\n - MSCA-B：46.31% mIoU，参数量 27.69M，FLOPs 274.59G，比 MiT-B2 提升 +1.99%。\n - 结论：增大模型容量可提升性能，且 CNN 骨干 MSCA-B 也能取得最佳结果，验证了 360Mapper 对骨干的适应性。\n- **逐类结果（Fig. 7）**：\n - 360BEV-Stanford 上，相比 Trans4Map（MiT-B2），360Mapper 在 board（>14%）、wall（>16%）、door（>28%）等类别上有显著 IoU 提升。\n - 360BEV-Matterport 上，360Mapper 在 chair 和 table 类别上比 Trans4Map 提升超过 6% IoU；在测试集上，sink 和 toilet 类别的 IoU 提升分别超过 12% 和 15%。\n- **定性分析（Fig. 8）**：360Mapper 能更好处理全景图中的物体形变和图像畸变，例如正确分割椅子、完整分割桌子、区分 counter/chair/wall 等类别，而基线 Trans4Map 会出现误分类为 table/door 的情况。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n### 模块 C6：下一步可探索的方向\n\n基于论文已建立的 360BEV 任务、360BEV-Matterport/360BEV-Stanford 数据集以及 360Mapper 模型（Sec. 3.2、Sec. 3.3），以下从理论、工程、数据与评测三个方向给出后续研究建议。\n\n#### 1. 理论方向\n\n- **投影范式的统一理论框架**：论文在 Sec. 3.1 中对比了 Early、Late、Intermediate 三种投影范式，并在 Sec. 4.3 的 Table 4 和 Table 5 中显示 Intermediate 投影显著更优。后续可从理论上分析三种范式的信息损失来源，建立统一的投影-编码-分割框架，解释为何中间层投影能保留更密集的视觉线索。\n- **IRP 与 360Attention 的几何与误差分析**：Inverse Radial Projection（IRP）利用深度信息生成 2D 索引（Sec. 3.3 式 4-5），360Attention 通过自适应采样偏移补偿全景畸变。可进一步推导深度噪声、相机位姿误差对 IRP 索引和 BEV 映射误差的上界，并研究畸变补偿的几何不变性。\n- **注意力偏移机制的归纳偏置研究**：Table 6 比较了 deformable、multi-scale、fixed-range、separate 四种 offset 机制，结果显示 deformable offset 最好。后续可从理论上分析不同偏移机制的表达能力、收敛性和对全景畸变的适应性，为注意力设计提供更系统的指导。\n\n#### 2. 工程方向\n\n- **轻量化与实时化部署**：当前 360Mapper 在 MiT-B2 骨干下 FLOPs 为 283.94G（Table 6），距离机器人或辅助设备的实时运行仍有差距。可探索知识蒸馏、模型剪枝、量化、高效注意力或更轻量的骨干网络，在保持 mIoU 的同时降低计算开销。\n- **与 SLAM 和导航系统集成**：论文在 Sec. 1 和 Sec. 5 中强调室内导航和场景理解等下游应用。后续可将 360Mapper 作为感知模块接入 SLAM 或导航流水线，利用多帧信息进行时序融合，生成增量式、一致的语义地图，并评估端到端导航成功率。\n- **深度信息鲁棒性增强**：IRP 依赖深度图生成投影索引，而真实传感器深度常含噪声或缺失。可设计深度补全、不确定性建模或多模态融合策略，使模型在深度质量下降时仍能保持稳定的 BEV 映射性能。\n- **多任务联合学习**：可尝试将全景语义分割、深度估计与 360BEV 映射联合训练，利用任务间的互补信息提升特征质量，并减少对精确深度标注的依赖。\n\n#### 3. 数据与评测方向\n\n- **数据集规模与多样性扩展**：当前 360BEV-Stanford 有 1,413 帧、13 类，360BEV-Matterport 有 10,615 帧、20 类（Table 1）。后续可扩展更多建筑、房间类型、光照条件和动态物体，并增加罕见类别样本，缓解 Fig. 5 中 floor 类频率过高导致的类别不平衡问题。\n- **更丰富的标注与任务**：可在 BEV 语义图基础上增加实例级标注、3D 边界框、可通行区域或物体朝向信息，支持导航、抓取、避障等更细粒度的下游任务。\n- **标准化评测协议**：建议增加对深度噪声、相机位姿误差、跨数据集泛化、不同感知范围等条件的评测协议，并补充每类 IoU、长尾类别指标和推理延迟等报告维度，使 360BEV 任务更具可比性。\n- **真实机器人平台验证**：论文目前基于 Matterport3D 和 Stanford2D3D 的离线数据。后续可在真实室内机器人上采集在线全景图像与深度，评估模型在实际部署中的地图一致性、延迟和导航性能，验证从仿真/离线数据到真实世界的泛化能力。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n### 实际应用场景\n\n- 室内导航与机器人：单张全景图+深度即可生成 10m×10m 的俯视语义地图（Sec. 4.1），可用于服务机器人、扫地机器人、巡检机器人的局部地图构建与路径规划。\n- 辅助技术：论文在 Sec. 1 提到 assistive technologies（如视障者导航），360BEV 可提供比前视窄 FoV 更完整的空间语义。\n- 其他：AR/VR 空间理解、设施管理、安防监控等需要快速获取室内俯视布局的场景。\n\n### 部署约束\n\n- 传感器要求：需要 360° 全景相机且必须同时提供深度信息（论文方法依赖 depth 进行 IRP 和 mask，Sec. 3.3）；若深度缺失或噪声大，投影和注意力采样会退化。\n- 感知范围固定：输出 BEV 为 500×500，对应 10m×10m（Sec. 4.1），超出该范围需要多位置拼接或 SLAM 式累积，不能单帧覆盖大空间。\n- 计算资源：训练需 4×A100、50 epochs、batch size 16（Sec. 4.1）；推理虽为单帧，但模型 FLOPs 较高（Table 6：MiT-B0 248.57G，MiT-B2 283.94G，MiT-B4 341.34G），边缘设备直接部署有压力。\n- 模型体积：MiT-B0 4.60M 参数，MiT-B2 26.30M，MiT-B4 62.91M（Table 6），轻量版可考虑，但精度会下降（36.98% vs 44.32% mIoU）。\n- 数据与代码可得性：论文未提供代码和数据集下载链接，复现和二次开发需要自行生成 360BEV 标签（Sec. 3.2），增加部署前工程成本。\n\n### 计算与延迟影响\n\n- 单帧处理：相比 sequence-based 方法（≥20 帧）和多相机方法（≥6 视角），360Mapper 只需单张 512×1024 全景图（Sec. 1, Fig. 2），避免多传感器同步/标定，延迟上限更低。\n- 注意力开销：360Attention 通过 mask 操作使参与计算的 query/索引数小于 N（Sec. 3.3），可降低计算量；但具体推理延迟未在论文中报告，无法直接判断是否满足实时性。\n- 骨干网络权衡：MiT-B0 到 MiT-B4 的 FLOPs 从 248.57G 增至 341.34G，mIoU 从 36.98% 增至 45.53%（Table 6），部署时需按算力预算选择。\n- 潜在优化：可考虑量化、蒸馏、TensorRT/ONNX 导出、或使用 MSCA-B 等 CNN 骨干（274.59G FLOPs，46.31% mIoU）在精度/速度间折中（Table 6）。\n\n### 鲁棒性与安全性\n\n- 深度质量敏感：IRP 和 mask 依赖深度图（Sec. 3.3），深度噪声/空洞会导致 2D 索引偏移和 BEV 特征缺失，影响地图完整性。\n- 全景畸变：论文专门设计 360Attention 和 IRP 来缓解畸变（Sec. 3.3），但极端视角、遮挡、运动模糊下仍可能产生错误语义。\n- 类别不均衡：floor 类频率远高于其他类（Fig. 5），模型可能偏向常见类别；小物体（如椅子、桌子）虽有提升但仍存在误分类（Sec. 4.4）。\n- 安全关键应用：用于视障导航或机器人自主移动时，BEV 语义错误（如把障碍物误判为地面）可能造成碰撞风险；需要融合其他传感器、设置置信度阈值和人工接管机制。\n- 泛化性：训练数据来自 Matterport3D/Stanford2D3D（Sec. 3.2），场景风格、家具布局、光照变化可能导致域偏移，部署到新环境前需微调或域适应。\n\n### 可维护性\n\n- 模块化设计：360Mapper 由 encoder、IRP、360Attention、decoder 组成（Fig. 6），骨干可替换（Transformer/CNN 均验证，Table 6），便于升级。\n- 数据集维护：360BEV-Matterport 和 360BEV-Stanford 由已有数据集扩展生成（Sec. 3.2），但未见公开链接，后续版本更新和标签修正需要作者或社区持续维护。\n- 代码依赖：方法涉及自定义 IRP 和 360Attention，若官方不发布代码，复现和集成成本高；长期维护依赖文档和社区支持。\n- 持续改进：论文未讨论在线学习/增量更新；实际部署中需定期用新场景数据重训，并监控 mIoU 和每类 IoU 变化（Fig. 7）。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n### 总结段落\n\n本文首次提出 360BEV 任务，目标是从单张 360° 全景图像及其深度信息生成室内场景的俯视 BEV 语义图，从而避免窄视场多视图或序列方法的高计算复杂度。为支撑该任务，作者构建了两个真实室内数据集 360BEV-Matterport 与 360BEV-Stanford，并额外提供 360FV-Matterport 用于全景语义分割。文中系统比较了 Early、Late、Intermediate 三种投影范式，指出 Intermediate 投影能保留更密集的视觉信息。基于此，作者提出 360Mapper 模型，包含 Inverse Radial Projection (IRP) 与 360Attention 两个核心模块，分别用于由深度生成 2D 参考索引和以自适应采样偏移缓解全景畸变。在 360BEV-Stanford 上，360Mapper (MiT-B2) 达到 45.78% mIoU，较 Trans4Map 提升 +9.70%；在 360BEV-Matterport 验证集上达到 44.32% mIoU，提升 +7.60%。消融实验表明 360Attention 的 deformable offset 设计优于多尺度、固定范围和分离偏移等变体，且模型对 CNN 与 Transformer 骨干均具灵活性。总体而言，360BEV 与 360Mapper 为室内全景 BEV 语义映射提供了新基准和有效方案。\n\n### 五个关键要点\n\n1. **新任务**：360BEV 首次将室内语义映射定义为从单张全景图+深度到完整 BEV 语义图的端到端预测，摆脱对多相机或视频序列的依赖。\n2. **新数据集**：构建 360BEV-Matterport（20 类，10,615 帧）和 360BEV-Stanford（13 类，1,413 帧），并生成 360FV-Matterport 以支持全景分割与 Late-projection 基准。\n3. **范式结论**：Early、Late、Intermediate 三种投影中，Intermediate projection 效果最佳，因为其在特征层面保留密集视觉线索并减少投影误差。\n4. **核心设计**：IRP 利用深度生成 mask 与 2D 参考索引，360Attention 通过自适应采样偏移从全景特征中聚合信息，共同应对全景畸变与物体形变。\n5. **SOTA 结果**：360Mapper 在 360BEV-Stanford 和 360BEV-Matterport 上分别达到 45.78% 与 44.32% mIoU，较 Trans4Map 提升 +9.70% 与 +7.60%；使用 MSCA-B 骨干可进一步提升至 46.44% 与 46.31%。\n\n### 核心公式/机制\n\n360Attention 是 360Mapper 的关键机制，其公式为：\n\n$$\n\\mathrm{360Attn}(q,p,\\mathbf{f}_{360}) = \\sum_{i=1}^{N_{\\mathrm{head}}} \\mathcal{W}_i \\sum_{j=1}^{N_{\\mathrm{point}}} \\mathcal{A}_{ij} \\cdot \\mathbf{f}_{360}\\left(\\mathrm{mask}(\\mathbf{p}) + \\Delta \\mathbf{p}_{q,ij}\\right)\n$$\n\n其中 \\(q\\) 为 BEV query，\\(p\\) 为 IRP 生成的扩展 2D 索引，\\(\\mathbf{f}_{360}\\) 为全景特征图，\\(\\mathcal{A}_{ij}\\) 为注意力权重且满足 \\(\\sum \\mathcal{A}_{ij}=1\\)。该机制通过 mask 操作剔除无关位置，并利用可变形偏移 \\(\\Delta \\mathbf{p}_{q,ij}\\) 自适应采样，从而在单张全景图上完成从 front-view 特征到 BEV 特征的投影，缓解全景图像中的空间畸变。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n### 1. 结构树（Structure Tree）\n\n- **标题与摘要**：提出 360BEV 任务、两个数据集和 360Mapper 模型；报告 mIoU 44.32% / 45.78%。\n- **1. 引言**：说明窄 FoV 与序列/多视图方法的局限，提出单张全景图+深度生成 BEV 语义图；列出三点贡献。\n- **2. 相关工作**：\n - 2.1 全景语义分割：回顾 Tangent、HoHoNet、Trans4PASS 等，并介绍 360FV-Matterport 的生成动机。\n - 2.2 BEV 语义映射：划分 Early / Intermediate / Late 三类投影，对比 SMNet、BEVFormer 等。\n- **3. 方法（360BEV）**：\n - 3.1 三种 360 投影范式：Early (Proj.→Enc.→Seg.)、Late (Enc.→Seg.→Proj.)、Intermediate (Enc.→Proj.→Seg.)。\n - 3.2 数据生成：360FV-Matterport、360BEV-Stanford、360BEV-Matterport 的构建流程与统计（Table 1、Fig. 3-5）。\n - 3.3 360Mapper：总体架构、IRP、360Attention（Fig. 6、Eq. 4-6）。\n- **4. 实验**：\n - 4.1 实现细节：训练配置、输入输出分辨率、评估指标。\n - 4.2 360FV 全景分割：Table 2-3。\n - 4.3 360BEV 语义映射：Table 4-6、Fig. 7。\n - 4.4 定性分析：Fig. 8。\n- **5. 结论**：总结任务、数据集、模型与性能。\n- **参考文献**：45 篇。\n\n### 2. 方法/系统拆解\n\n- **输入**：单张 360° 全景 RGB 图像（512×1024）及其对应的深度图。\n- **输出**：500×500 的 BEV 语义图，对应 10m×10m 的俯视范围（Sec. 4.1）。\n- **整体流程**：\n 1. Transformer 骨干网络从全景图中提取前视特征 f_360；\n 2. IRP 利用深度图生成 mask 和 2D 参考索引；\n 3. 360Attention 以 BEV query 为中心，用自适应偏移在 f_360 上采样，生成 BEV 特征；\n 4. 轻量 decoder 将 BEV 特征解析为语义图。\n- **IRP（Inverse Radial Projection）**：\n - 输入深度图，生成 top-view mask；\n - 由 mask 生成 3D 参考点，再投影到球面得到 2D 索引 ID_h、ID_w（Eq. 4-5）；\n - 作用：减少进入 360Attention 的数据量、加速收敛，并提供变形感知的采样位置。\n- **360Attention**：\n - 输入 BEV query q、扩展 2D 索引 p、全景特征 f_360；\n - mask 操作过滤无关点；线性层预测偏移 Δp 和注意力权重 A；\n - 输出 q'，与 q 残差相加后进入下一层（Eq. 6）。\n - 与 BEVFormer 的 Spatial Cross-Attention 相比：单全景特征、无多视图投影矩阵、用深度 mask 保持高效。\n- **损失函数**：文档未明确写出具体损失；训练采用 AdamW、初始学习率 6e-5、50 epoch、batch size 4/GPU（Sec. 4.1）。\n- **训练/推理流**：\n - 训练：全景图+深度 → 骨干 → IRP+360Attention → decoder → 与 BEV GT 计算损失 → 反向传播。\n - 推理：单张全景图+深度 → 前向一次 → 直接输出 BEV 语义图，无需多视图或序列。\n\n### 3. 重要图表解读\n\n- **Figure 6（360Mapper 架构与 360Attention）**：\n - 该图展示端到端流程：编码器提取全景特征；IRP 从深度生成 2D 索引；360Attention 用线性层生成偏移并加到 2D 索引上，得到采样位置；解码器输出 BEV 语义图。\n - 关键点：mask 操作使参与注意力的位置远少于全部 N 个 query，降低计算量；偏移量用于补偿全景拼接造成的空间变形。\n- **Table 4 / Table 5（360BEV 两个数据集上的定量结果）**：\n - 两个表都按 Early / Late / Intermediate 三种投影范式组织。\n - 在 360BEV-Stanford 上，Ours (MiT-B2) 达到 45.78% mIoU，比 Trans4Map (MiT-B2) 的 36.08% 高 +9.70%；在 360BEV-Matterport 上，Ours (MiT-B2) 达到 44.32%，比 Trans4Map (MiT-B2) 的 36.72% 高 +7.60%。\n - 结论：Intermediate 投影保留密集特征，显著优于 Early/Late；360Mapper 在相同骨干下全面超过 BEVFormer 和 Trans4Map。\n- **Table 6（消融）**：\n - 对比不同 offset 机制：deformable（44.32%）> multi-scale（43.65%）> fixed-range（43.28%）> separate（42.82%），说明自适应可变形偏移最有效。\n - 骨干选择：MSCA-B 达 46.31%，比 MiT-B2 高 +1.99%，说明 360Mapper 对 CNN/Transformer 骨干均适用。\n\n### 4. 实验/评估细节\n\n- **数据集**：\n - 360BEV-Stanford：13 类，共 1,413 帧（train 1,040 / val 373），来自 6 个场景。\n - 360BEV-Matterport：20 类，共 10,615 帧（train 7,829 / val 772 / test 2,014），来自 86 个场景（Table 1）。\n- **指标**：Acc、mRecall、mPrecision、mIoU（Sec. 4.1）。\n- **对比对象**：SegFormer、SegNeXt、HoHoNet、Trans4PASS、Trans4PASS+、BEVFormer、Trans4Map。\n- **公平性**：主要对比使用相同 MiT-B2 骨干；同时报告 MiT-B0/B4 和 CNN 骨干 MSCA-B 的结果，验证模型尺度与骨干泛化性。\n- **消融**：Table 6 覆盖 offset 机制和骨干变体；Fig. 7 给出每类 IoU；Fig. 8 给出定性可视化。\n\n### 5. 方法类论文示意图\n\n```text\n输入: 全景图(512×1024) + 深度图\n |\n v\n [Transformer Backbone] --> 全景特征 f_360\n |\n v\n [IRP: 深度 -> mask + 2D索引] --> p, M_map\n |\n v\n [360Attention: BEV query q + 偏移 Δp] --> BEV特征\n |\n v\n [Lightweight Decoder] --> BEV语义图(500×500)\n```\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n### 1. 可重建性（Reconstructability）\n\n**重建笔记/伪代码**：\n\n根据 Sec. 3.3 与 Fig. 6，360Mapper 的前向过程可重建为：\n\n```text\n输入：全景图 I (H×W)，深度图 D，BEV query q，IRP 生成的 mask map M_map\n1. f_360 = Encoder(I) # Transformer/CNN 骨干提取全景特征\n2. 由 D 生成 3D 参考点，并投影到球面得到 2D index p（IRP，Eq. 4-5）\n3. 用 M_map 对 q 和 p 做 mask，保留有效位置\n4. 对每个 360Attention 层：\n a. 由 q 经线性层预测采样偏移 Δp 和注意力权重 A\n b. 采样位置 = mask(p) + Δp\n c. 在 f_360 上采样并加权聚合，得到 q'\n d. q = q + q'（残差连接）\n5. Decoder(q) -> BEV 语义图 (500×500)\n```\n\n**训练配置**（Sec. 4.1）：4×A100，初始学习率 6e-5，step 策略，50 epochs，AdamW（epsilon 1e-8，weight decay 0.01），每卡 batch size 4；输入全景 512×1024，输出 BEV 500×500，对应 10m×10m 范围；评估指标为 Acc、mRecall、mPrecision、mIoU。\n\n**数据生成可重建性**（Sec. 3.2）：360FV-Matterport 由 Matterport3D 的 18 个窄视图像经旋转-平移矩阵拼接为全景；360BEV 标签通过球面坐标（Eq. 1-2）得到 3D 点，再经正交投影矩阵 P_v（Eq. 3）生成 BEV 语义图。360BEV-Stanford 利用全局 XYZ 图像做正交投影生成标签。\n\n**限制**：论文未提供代码或数据集链接，因此上述重建只能达到“算法级”复现；精确的 360Attention 头数、采样点数、mask 阈值等超参数未完全公开。\n\n### 2. 假设（Assumptions）\n\n- 单张 360° 全景图加上对应的深度图足以推断完整的室内 BEV 语义图（Sec. 1, 3）。\n- 深度图与 RGB 已对齐且可靠；IRP 的 2D index 和 mask map 都直接依赖深度质量（Sec. 3.3）。\n- 全景图采用等距柱状投影，可用球面坐标（Θ, Φ）建模，且相机位于球心（Eq. 1-2）。\n- BEV 语义图只需覆盖当前可见范围；对遮挡或未观测区域不做外推（Sec. 3.2 的“visible range”生成方式）。\n- 室内主要结构可近似为平面/固定高度，因此 3D 参考点可投影到 2D BEV 网格（Eq. 3-5）。\n- 数据集中高频类别（如 floor）对下游任务重要，因此保留；稀有类别（如 TV、beam，<0.1%）被合并或剔除（Sec. 3.2, Fig. 5）。\n\n### 3. 失败模式或盲点（Failure Modes / Blind Spots）\n\n- 深度噪声、缺失或估计误差会直接破坏 IRP 的 mask 和 2D index，导致采样位置偏移，BEV 语义图出现错位或空洞（Sec. 3.3）。\n- 单帧方法无法感知被遮挡区域或视点外的内容；BEV ground truth 本身只含可见范围，因此模型不会学习“补全”不可见区域（Sec. 3.2）。\n- 类别不平衡显著：floor 等高频类别主导训练，稀有类别（如 sink、toilet）的 IoU 可能偏低；Fig. 7 显示部分类别提升明显，但整体 mIoU 仍受长尾影响。\n- 对 BEVFormer 的对比仅将其六视图输入改为单全景，可能未充分适配其多视图设计；且缺少与序列方法（如 SMNet）在真实数据上的直接运行时间/计算量对比（Sec. 4.3）。\n\n### 4. 优势与劣势（Strengths and Weaknesses）\n\n**优势**：\n\n- 首次定义 360BEV 任务，并构建两个真实室内 BEV 数据集（360BEV-Matterport、360BEV-Stanford），填补了室内全景 BEV 语义映射的空白（Sec. 1, 3.2）。\n- 系统比较 Early/Late/Intermediate 三种投影范式，实验设计清晰，结论有据（Sec. 3.1, 4.3）。\n- 360Mapper 在 360BEV-Stanford 和 360BEV-Matterport 上分别达到 45.78% 和 44.32% mIoU，比 Trans4Map 提升 +9.70% 和 +7.60%，且对 CNN/Transformer 骨干均适用（Table 4-6）。\n- 单帧全景+深度输入避免了多相机标定、同步和序列计算，流程更简洁（Sec. 1）。\n\n**劣势**：\n\n- 强依赖深度信息；实际部署若使用估计深度，误差会传播到 BEV 结果。\n- 数据集来自 Matterport3D 和 Stanford2D3D，场景类型和风格有限，跨域泛化能力未验证。\n- 未提供代码、预训练模型或数据集链接，复现门槛高。\n- 消融实验主要围绕 360Attention 的 offset 机制和骨干网络（Table 6），未对 IRP、mask 操作、深度质量、BEV 分辨率等关键组件做深入消融。\n- 与 BEVFormer 的对比可能受输入适配方式影响，缺少对多视图/序列方法在同等条件下的全面公平比较。\n\n### 5. 下一步研究方向（Next-step Research Directions）\n\n- 探索无深度或自监督深度估计的 360BEV 映射，降低对深度真值的依赖，提升实际可用性。\n- 引入时序或多帧全景信息，处理遮挡、动态物体和跨视点一致性，使 BEV 地图更完整。\n- 设计轻量化和实时版本，面向机器人导航、辅助技术等下游应用部署。\n- 在更多室内数据集和跨域场景上验证泛化性，并研究域适应/域泛化方法。\n- 将 360BEV 与导航、规划等下游任务端到端结合，评估语义地图对实际决策的增益。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n### 术语表\n\n以下按论文理解顺序组织，每个条目包含英文术语/中文译名、定义、直觉、在论文中的作用、前置知识。\n\n1. **360BEV（任务）**\n - 定义：从单张360°全景图像及其深度信息生成室内场景俯视BEV语义图的任务。\n - 直觉：用一张全景图替代多视角或视频序列，获得完整俯视语义地图。\n - 作用：论文首次提出并建立基准，是全文核心任务。\n - 前置知识：BEV感知、全景图像、语义分割。\n\n2. **BEV（Bird's-Eye View，鸟瞰图）**\n - 定义：从场景上方俯视的、以固定世界坐标系表示的语义图。\n - 直觉：像地图一样展示物体位置和空间布局。\n - 作用：模型输出空间，也是任务目标。\n - 前置知识：坐标变换、语义映射。\n\n3. **Egocentric view（自我中心视角）**\n - 定义：以观察者自身位置和朝向为中心的视角。\n - 直觉：第一人称看到的内容，如相机拍摄的前视图像。\n - 作用：360BEV的输入形式，即全景前视图像。\n - 前置知识：相机成像、视角定义。\n\n4. **Allocentric map（异我中心/客观中心地图）**\n - 定义：以场景固定坐标系表示的地图，不随观察者移动而改变。\n - 直觉：独立于观察者的全局地图，类似导航地图。\n - 作用：BEV语义图属于allocentric表示，是模型预测目标。\n - 前置知识：世界坐标系、机器人地图表示。\n\n5. **Panoramic image（全景图像）**\n - 定义：水平方向覆盖360°视场的图像，通常用等距柱状投影表示。\n - 直觉：一张图包含周围全部视觉信息。\n - 作用：360BEV的输入，替代多相机或视频序列。\n - 前置知识：图像拼接、全景投影。\n\n6. **Field of View（FoV，视场角）**\n - 定义：相机或传感器能够观测到的角度范围。\n - 直觉：视野大小；窄FoV只能看到局部，360° FoV看到全部。\n - 作用：指出窄FoV方法的局限，引出360BEV的必要性。\n - 前置知识：相机模型、光学基础。\n\n7. **Depth information（深度信息）**\n - 定义：图像中每个像素到相机中心的距离值。\n - 直觉：提供3D几何线索，帮助从2D图像恢复空间结构。\n - 作用：用于IRP投影、生成掩码图以及BEV标签。\n - 前置知识：深度估计、3D几何。\n\n8. **Semantic segmentation（语义分割）**\n - 定义：对图像每个像素进行类别标签预测的任务。\n - 直觉：给每个像素涂上对应物体类别的颜色。\n - 作用：BEV语义映射的基础能力，也是前视分割对比实验的内容。\n - 前置知识：深度学习、图像分类。\n\n9. **mIoU（mean Intersection-over-Union，平均交并比）**\n - 定义：所有类别IoU的平均值，衡量预测区域与真值区域的重叠程度。\n - 直觉：预测和真值重合越多越好。\n - 作用：论文的主要评估指标，用于对比方法性能。\n - 前置知识：IoU、混淆矩阵、语义分割评估。\n\n10. **Early projection（早期投影）**\n - 定义：先对输入做投影，再编码和分割的范式，即 Proj.→Enc.→Seg.。\n - 直觉：在RGB层面直接构造BEV图，再交给分割网络。\n - 作用：作为对比范式之一，证明其会丢失细粒度视觉信息。\n - 前置知识：图像投影、语义分割。\n\n11. **Late projection（晚期投影）**\n - 定义：先做前视语义分割，再将分割结果投影到BEV的范式，即 Enc.→Seg.→Proj.。\n - 直觉：先理解前视图像，再根据深度和位姿把标签投到俯视图。\n - 作用：作为对比范式之一，说明其受分割误差和深度噪声影响。\n - 前置知识：语义分割、深度投影、相机位姿。\n\n12. **Intermediate projection（中间投影）**\n - 定义：先编码特征，再在特征层面投影，最后分割的范式，即 Enc.→Proj.→Seg.。\n - 直觉：在特征图中保留密集信息，投影后再解码为BEV语义。\n - 作用：360Mapper采用的核心范式，实验证明其最优。\n - 前置知识：特征图、可变形注意力、视图变换。\n\n13. **Inverse Radial Projection（IRP，逆径向投影）**\n - 定义：利用深度信息生成3D参考点，再投影到球面得到2D特征索引的投影方法。\n - 直觉：从BEV空间反查全景特征图上的对应位置，类似“查表”。\n - 作用：360Mapper的核心组件，为360Attention提供2D参考索引和掩码图。\n - 前置知识：球坐标系、深度投影、特征图索引。\n\n14. **360Attention（全景注意力）**\n - 定义：针对单张全景特征图设计的注意力模块，通过自适应采样偏移聚合BEV特征。\n - 直觉：类似可变形注意力，但只使用一个全景特征图，并用掩码和偏移补偿畸变。\n - 作用：360Mapper的核心组件，负责从全景特征生成BEV特征。\n - 前置知识：注意力机制、可变形注意力、BEV query。\n\n15. **BEV query（鸟瞰图查询向量）**\n - 定义：BEV空间中每个位置对应的可学习查询向量，用于聚合全景特征。\n - 直觉：每个查询代表一个俯视网格位置，主动去“询问”前视特征。\n - 作用：360Attention的输入，最终被解码为BEV语义图。\n - 前置知识：Transformer、query-key-value机制。\n\n16. **Sampling offset（采样偏移）**\n - 定义：在参考索引上叠加的可学习偏移量，使注意力能够自适应选择采样位置。\n - 直觉：让模型不局限于固定投影位置，而是学习到哪里取特征更准确。\n - 作用：补偿全景图像畸变和投影误差。\n - 前置知识：可变形注意力、反向传播。\n\n17. **Mask map（掩码图）**\n - 定义：由深度投影得到的二值图，标记BEV空间中哪些位置有有效3D点。\n - 直觉：只关注有实际观测的区域，忽略空洞和无效位置。\n - 作用：过滤无效query和索引，减少计算量并加速收敛。\n - 前置知识：深度投影、二值掩码。\n\n18. **2D reference index（二维参考索引）**\n - 定义：3D参考点投影到全景特征图上得到的二维坐标。\n - 直觉：告诉注意力“去特征图的哪个位置取特征”。\n - 作用：IRP的输出，也是360Attention采样的基准位置。\n - 前置知识：特征图坐标、球面投影。\n\n19. **Orthographic projection（正交投影）**\n - 定义：将3D点沿某一方向平行投影到2D平面的投影方式。\n - 直觉：去掉高度信息，得到俯视的BEV图。\n - 作用：用于从3D点云或XYZ图像生成BEV语义标签。\n - 前置知识：3D到2D投影、相机几何。\n\n20. **Spherical coordinate system（球坐标系）**\n - 定义：用半径、仰角和方位角表示3D点的坐标系。\n - 直觉：适合描述全景图像中每个像素对应的空间方向。\n - 作用：用于全景图像与3D点之间的转换，是IRP的基础。\n - 前置知识：三角函数、坐标变换。\n\n21. **Global XYZ image（全局XYZ图像）**\n - 定义：每个像素存储该点在世界/相机坐标系下三维坐标的图像。\n - 直觉：把深度和位姿信息编码成逐像素的3D位置。\n - 作用：用于生成BEV语义标签，提供空间语义信息。\n - 前置知识：深度图、相机位姿、坐标变换。\n\n22. **360FV-Matterport（数据集）**\n - 定义：从Matterport3D生成的360°前视全景语义分割数据集。\n - 直觉：把18张窄视图像拼接成全景，并融合对应标签。\n - 作用：用于前视全景分割实验，也是Late projection所需数据。\n - 前置知识：Matterport3D、图像拼接、标签融合。\n\n23. **360BEV-Matterport / 360BEV-Stanford（数据集）**\n - 定义：论文提出的两个室内BEV语义映射数据集，包含全景图、深度和BEV语义标签。\n - 直觉：为360BEV任务提供训练和评测基准。\n - 作用：用于验证360Mapper及对比方法的性能。\n - 前置知识：数据生成、语义标注、正交投影。\n\n24. **Transformer backbone（Transformer骨干网络）**\n - 定义：基于Transformer架构的特征提取网络，如MiT-B0/B2/B4。\n - 直觉：通过自注意力捕捉全局上下文，适合处理全景图像。\n - 作用：360Mapper的编码器，提取前视全景特征。\n - 前置知识：Transformer、ViT、特征金字塔。\n\n25. **Deformable attention（可变形注意力）**\n - 定义：通过可学习偏移在稀疏采样位置上进行注意力计算的机制。\n - 直觉：只关注少量关键位置，计算高效且能适应几何变化。\n - 作用：360Attention的设计基础，用于处理全景畸变。\n - 前置知识：注意力机制、DETR、稀疏采样。\n\n26. **Trans4Map**\n - 定义：一种基于Transformer的室内BEV语义映射方法，采用中间投影。\n - 直觉：从单张前视图直接预测BEV语义图，是360Mapper的主要基线。\n - 作用：作为对比方法，360Mapper在mIoU上显著超越它。\n - 前置知识：BEV映射、Transformer、语义分割。\n\n27. **BEVFormer**\n - 定义：一种基于多相机图像和时空Transformer的BEV感知方法。\n - 直觉：用空间交叉注意力把多视角特征聚合到BEV空间。\n - 作用：作为对比方法，360Mapper用单张全景图超越其单全景适配版本。\n - 前置知识：多视角几何、注意力机制、BEV感知。\n\n28. **Distortion（畸变）**\n - 定义：全景图像中物体形状被拉伸或变形的现象，尤其在等距柱状投影的上下区域。\n - 直觉：靠近图像顶部和底部的物体看起来被拉长或扭曲。\n - 作用：360Mapper要解决的核心问题，IRP和360Attention均针对此设计。\n - 前置知识：全景投影、图像几何。\n\n29. **Encoder-Decoder（编码器-解码器）**\n - 定义：由特征提取网络和预测网络组成的整体结构。\n - 直觉：编码器压缩输入信息，解码器生成输出语义图。\n - 作用：360Mapper的整体架构，包含骨干编码器和轻量解码器。\n - 前置知识：深度学习基础、语义分割网络。\n\n30. **FLOPs / #Param（计算量与参数量）**\n - 定义：FLOPs表示浮点运算次数，参数量表示模型可学习参数总数。\n - 直觉：衡量模型的计算开销和存储开销。\n - 作用：在消融实验中用于比较不同骨干和偏移机制的成本。\n - 前置知识：模型复杂度分析。\n\n### 概念依赖图（文本形式）\n\n```text\n360BEV任务\n├─ 输入：全景图像 + 深度信息\n│ ├─ 全景图像 → 畸变问题 → 360Attention / IRP\n│ └─ 深度信息 → IRP / 掩码图 / BEV标签生成\n├─ 输出：BEV语义图（allocentric map）\n├─ 投影范式：Early / Late / Intermediate\n│ └─ Intermediate → 360Mapper\n├─ 360Mapper\n│ ├─ Encoder（Transformer backbone）\n│ ├─ IRP：深度 → 3D参考点 → 2D索引\n│ ├─ 360Attention：BEV query + 2D索引 + 偏移 → BEV特征\n│ └─ Decoder → 语义BEV图\n├─ 数据集：360BEV-Matterport / 360BEV-Stanford\n│ ├─ 由 Matterport3D / Stanford2D3D 生成\n│ └─ 使用正交投影 / 全局XYZ图像\n└─ 评估：mIoU、Acc、mRecall、mPrecision\n```\n\n依赖关系要点：\n\n- 360Attention 依赖 IRP 提供的 2D 索引、深度生成的掩码图、BEV query 和可变形注意力中的采样偏移。\n- IRP 依赖深度信息、球坐标系和全景特征图坐标。\n- BEV 标签生成依赖正交投影、全局 XYZ 图像和相机位姿。\n- 360Mapper 整体依赖 Transformer/CNN 骨干、中间投影范式和注意力机制。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n### 1. 关键事实主张与来源\n\n以下关键事实主张均提供论文内至少两处定位作为交叉验证来源。\n\n- **主张1：论文首次提出360BEV任务，即从单张360°全景图像加深度信息生成室内场景的俯视BEV语义图。**\n - 来源1：Abstract（“mapping from 360° panoramas to BEV semantics, the 360BEV task, is established for the first time”）。\n - 来源2：Sec. 1 Introduction（“we introduce 360BEV to achieve panoramic semantic mapping for indoor BEV”）。\n - 来源3：Sec. 3 开头（“To investigate the 360BEV task, we analyze potential panoramic projection paradigms”）。\n\n- **主张2：论文构建了两个室内BEV数据集：360BEV-Matterport和360BEV-Stanford。**\n - 来源1：Abstract（“we present two indoor datasets, 360BEV-Matterport and 360BEV-Stanford”）。\n - 来源2：Sec. 3.2（“360BEV-Stanford”、“360BEV-Matterport”数据生成小节）。\n - 来源3：Table 1（两个数据集的统计信息）。\n\n- **主张3：论文提出专用模型360Mapper，核心组件为Inverse Radial Projection（IRP）和360Attention。**\n - 来源1：Abstract（“we propose a dedicated solution for panoramic semantic mapping, namely 360Mapper”）。\n - 来源2：Sec. 3.3（“Proposed Model: 360Mapper”及IRP、360Attention描述）。\n - 来源3：Figure 6（360Mapper架构图及360Attention模块图）。\n\n- **主张4：360Mapper在360BEV-Stanford上达到45.78% mIoU，比Trans4Map（MiT-B2）提升+9.70%；在360BEV-Matterport上达到44.32% mIoU，比Trans4Map（MiT-B2）提升+7.60%。**\n - 来源1：Abstract（“44.32% and 45.78% mIoU ... gains of +7.60% and +9.70%”）。\n - 来源2：Table 4（360BEV-Stanford结果，Ours MiT-B2为45.78）。\n - 来源3：Table 5（360BEV-Matterport结果，Ours MiT-B2为44.32）。\n - 来源4：Sec. 4.3文字描述（“our proposed 360Mapper achieves 45.78% with +9.70% gains”、“44.32% ... +7.60% in mIoU”）。\n\n- **主张5：论文首次提供大规模360FV-Matterport全景语义分割数据集，并在该数据集上取得46.35% mIoU。**\n - 来源1：Sec. 2.1（“a 360° Front-View (FV) dataset, 360FV-Matterport, with large-scale real indoor scenes, is provided”）。\n - 来源2：Sec. 3.2（“360FV-Matterport”数据生成描述）。\n - 来源3：Table 3（360FV-Matterport val结果，Ours为46.35）。\n - 来源4：Sec. 4.2（“our model ... 46.35%”）。\n\n- **主张6：中间投影（Intermediate projection）范式优于早期投影和晚期投影。**\n - 来源1：Sec. 3.1（三种投影范式定义及分析）。\n - 来源2：Table 4（360BEV-Stanford上Intermediate投影方法整体mIoU高于Early/Late）。\n - 来源3：Table 5（360BEV-Matterport上Intermediate投影方法整体mIoU高于Early/Late）。\n - 来源4：Sec. 4.3（“Intermediate projection can preserve dense visual cues and long-range information”）。\n\n- **主张7：360Attention中的可变形偏移（deformable offset）优于多尺度偏移、固定范围偏移和分离偏移。**\n - 来源1：Table 6（②④⑤⑥对比：44.32 vs 43.65 vs 43.28 vs 42.82）。\n - 来源2：Sec. 4.3“Analysis of 360Attention”（“② shows the superiority of the model ... deformable offset which has a better performance (44.32%)”）。\n\n- **主张8：360Mapper可适配CNN和Transformer骨干，使用MSCA-B骨干在360BEV-Matterport上达到46.31% mIoU。**\n - 来源1：Table 5（Ours MSCA-B为46.31）。\n - 来源2：Table 6（⑦ Ours MSCA-B为46.31，+1.99）。\n - 来源3：Sec. 4.3（“our method reaches the best score with 46.44% ... 360Mapper is flexible to both CNN- and Transformer-based backbones”；Matterport部分“obtains the highest mIoU score with 46.31%”）。\n\n### 2. 冲突与不确定性说明\n\n- **Table 4中的疑似排版错误**：Table 4中“Ours / MiT-B2”的mIoU列写为“45.78 (+49.70)”，但摘要、正文和上下文均表明相对Trans4Map（MiT-B2）的提升应为+9.70%。该处“+49.70”应为笔误或排版错误。\n- **Table 1的数据统计表结构混乱**：表格中360BEV-Stanford与360BEV-Matterport的行交错排列，且“360BEV-Stanford”总行与train/val子行、以及“360BEV-Matterport”总行的对应关系不够清晰。例如360BEV-Stanford总行显示6 scenes、270 rooms、1,413 frames、13 categories，但后续train/val/test行又出现61/7/18 scenes、7,829/772/2,014 frames、20 categories，这些数字更符合360BEV-Matterport的划分。因此Table 1的原始排版可能发生错位，需以原始PDF或作者发布版本核对。\n- **出版信息缺失**：文档未标注发表会议/期刊、年份、DOI或正式出版状态，无法确认该版本是否为最终发表版本。\n- **可复现性信息缺失**：文档未提供代码链接、数据集下载链接或补充材料，因此无法直接复现实验或验证数据生成细节。\n- **作者姓名排版问题**：文档中作者“Simon Reiß”被排版为“Simon Rei β”，应为“Simon Reiß”的OCR/排版误差。\n- **实验对比的外部验证**：论文中对比方法（如Trans4Map、BEVFormer、Trans4PASS等）的结果均为论文作者复现或报告，未提供第三方独立验证；在引用这些对比数字时需注意其来源为论文自身。\n\n### 3. 参考文献列表\n\n以下为论文中与关键主张直接相关的参考文献（按论文引用编号）：\n\n- [^3] Iro Armeni, Sasha Sax, Amir R. Zamir, and Silvio Savarese. Joint 2D-3D-semantic data for indoor scene understanding. arXiv preprint arXiv:1702.01105, 2017. （Stanford2D3D数据集来源）\n- [^4] Vincent Cartillier, Zhile Ren, Neha Jain, Stefan Lee, Irfan Essa, and Dhruv Batra. Semantic MapNet: Building allocentric semantic maps and representations from egocentric views. AAAI, 2021. （序列式室内语义映射方法）\n- [^5] Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGB-D data in indoor environments. 3DV, 2017. （Matterport3D数据集来源）\n- [^6] Chang Chen, Jiaming Zhang, Kailun Yang, Kunyu Peng, and Rainer Stiefelhagen. Trans4Map: Revisiting holistic bird's-eye-view mapping from egocentric images to allocentric semantics with vision transformers. WACV, 2023. （主要基线方法）\n- [^12] Meng-Hao Guo, Cheng-Ze Lu, Qibin Hou, Zhengning Liu, Ming-Ming Cheng, and Shi-Min Hu. SegNeXt: Rethinking convolutional attention design for semantic segmentation. NeurIPS, 2022. （MSCA-B骨干来源）\n- [^17] Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chong-hao Sima, Tong Lu, Yu Qiao, and Jifeng Dai. BEVFormer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers. ECCV, 2022. （多视角BEV方法对比）\n- [^29] Cheng Sun, Min Sun, and Hwann-Tzong Chen. HoHoNet: 360 indoor holistic understanding with latent horizontal features. CVPR, 2021. （全景分割对比方法）\n- [^33] Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, and Ping Luo. SegFormer: Simple and efficient design for semantic segmentation with transformers. NeurIPS, 2021. （MiT骨干及对比方法）\n- [^38] Jiaming Zhang, Kailun Yang, Chaoxiang Ma, Simon Reiß, Kunyu Peng, and Rainer Stiefelhagen. Bending reality: Distortion-aware transformers for adapting to panoramic semantic segmentation. CVPR, 2022. （Trans4PASS对比方法）\n- [^42] Zishuo Zheng, Chunyu Lin, Lang Nie, Kang Liao, Zhijie Shen, and Yao Zhao. Complementary bi-directional feature compression for indoor 360° semantic segmentation with self-distillation. WACV, 2023. （CBFC对比方法）\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n### 1. 图表完整索引\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支撑的结论 | 优先级 |\n|---|---|---|---|---|---|\n| Figure 1 | Semantic mapping from egocentric front-view images to allocentric BEV semantics. (a) Narrow BEV vs (b) 360BEV | 任务示意图 | Sec. 1 引言 | 窄FoV方法感知范围有限，360BEV用单张全景生成更完整BEV图 | 4 |\n| Figure 2 | Paradigms of semantic mapping: (a) Multi-view, (b) Sequence-based, (c) Early-, (d) Late-, (e) Intermediate-projection | 范式对比图 | Sec. 2.2 / Sec. 3.1 | 全景语义映射只需单张全景+深度，区别于多视角/序列方法 | 5 |\n| Figure 3 | 360FV semantics generation from 18 narrow views to a panoramic view on 360FV-Matterport | 数据生成流程图 | Sec. 3.2 | 360FV-Matterport数据集的构建方式 | 3 |\n| Figure 4 | 360BEV semantics generation by orthographic projection from front-view semantic image and global XYZ image to 360BEV semantic map | 数据生成流程图 | Sec. 3.2 | 360BEV-Stanford/Matterport的BEV真值生成方式 | 3 |\n| Figure 5 | Per-class pixel number (logarithmic) and frequency (%) distribution of two 360BEV datasets | 数据分布图 | Sec. 3.2 | 类别不均衡，floor类频率最高 | 3 |\n| Figure 6 | Architecture of 360Mapper and the 360Attention module | 模型架构图 | Sec. 3.3 | 360Mapper整体流程与IRP/360Attention设计 | 5 |\n| Figure 7 | Per-class semantic mapping results (per-class IoU in %) on 360BEV-Stanford and 360BEV-Matterport | 每类结果图 | Sec. 4.3 | 360Mapper在多数类别上优于Trans4Map | 4 |\n| Figure 8 | Qualitative analysis on the 360BEV-Matterport dataset | 定性结果图 | Sec. 4.4 | 360Mapper能更好处理形变与畸变，生成更准确的BEV语义图 | 4 |\n| Table 1 | Data statistics of the generated 360BEV-Matterport and 360BEV-Stanford datasets | 数据统计表 | Sec. 3.2 | 两个数据集的规模、场景数、类别数 | 3 |\n| Table 2 | Panoramic semantic segmentation (360FV) on the Stanford2D3D dataset | 定量结果表 | Sec. 4.2 | 360Mapper在前视全景分割上达到54.3% mIoU，优于Trans4PASS/CBFC | 4 |\n| Table 3 | Panoramic semantic segmentation (360FV) on the val set of 360FV-Matterport dataset | 定量结果表 | Sec. 4.2 | 360Mapper在360FV-Matterport上达到46.35% mIoU，SOTA | 4 |\n| Table 4 | Panoramic semantic mapping (360BEV) on the 360BEV-Stanford dataset | 定量结果表 | Sec. 4.3 | 中间投影优于早/晚投影；360Mapper达45.78% mIoU，+9.70% | 5 |\n| Table 5 | Panoramic semantic mapping (360BEV) on the val set of 360BEV-Matterport dataset | 定量结果表 | Sec. 4.3 | 360Mapper达44.32% mIoU，+7.60%，优于BEVFormer/Trans4Map | 5 |\n| Table 6 | Analysis of offset mechanisms in 360Attention and backbone variants on 360BEV-Matterport dataset | 消融实验表 | Sec. 4.3 | 可变形偏移最佳；MSCA-B骨干带来+1.99%提升 | 5 |\n\n### 2. 优先深度阅读（Top-priority deep reads）\n\n1. **Figure 6（360Mapper架构与360Attention）** — 核心方法图。需结合Sec. 3.3公式(4)-(6)理解IRP如何由深度生成2D索引、mask操作如何压缩查询、360Attention如何用自适应偏移消除畸变。这是理解论文贡献的关键。\n2. **Table 4与Table 5（360BEV两个基准的定量结果）** — 核心实验证据。需对比Early/Late/Intermediate三组结果，确认中间投影的优越性；同时对比Ours与Trans4Map/BEVFormer的mIoU差距。注意Table 4中Ours MiT-B2的“+49.70”疑为笔误，按正文应为+9.70。\n3. **Figure 2（三种投影范式）** — 任务设定图。需理解(a)多视角、(b)序列式与(c)(d)(e)单全景三种范式的流程差异，以及为何中间投影能保留密集特征。\n4. **Table 6（360Attention消融）** — 方法有效性证据。需比较②④⑤⑥四种offset机制（deformable/multi-scale/fixed-range/separate）以及①-③和⑦的骨干影响，判断360Attention设计的稳健性与可扩展性。\n5. **Figure 7与Figure 8（每类IoU与定性结果）** — 细粒度分析。需结合Sec. 4.3 per-class描述，确认360Mapper在board/wall/door/chair/table/sink/toilet等类别上的增益，并从定性图中观察边界与形状恢复能力。\n\n### 3. 图表关系 / 实验设置图\n\n```text\n[Fig.1 任务示意] --> [Fig.2 三种投影范式] --> [Fig.6 360Mapper架构]\n |\n[Fig.3/Fig.4 数据生成] --> [Table 1 数据统计] --> [Fig.5 类别分布]\n |\n[Table 2/Table 3 360FV前视分割] --> [Table 4/Table 5 360BEV映射] --> [Fig.7 每类IoU] --> [Fig.8 定性结果]\n |\n [Table 6 消融实验]\n```\n\n实验设置要点：输入全景图512×1024，输出BEV图500×500（对应10m×10m范围）；4张A100 GPU，50 epochs，初始学习率6e-5，AdamW，batch size 4/GPU；评估指标为Acc、mRecall、mPrecision、mIoU。\n\n### 4. 图表到结论的映射\n\n- **360BEV任务定义与动机**：Figure 1展示窄FoV与360BEV的差异；Figure 2展示多视角/序列方法需要V≥6或N≥20个视角，而360BEV仅需单张全景+深度。\n- **数据集构建**：Figure 3说明360FV-Matterport由18个窄视角拼接生成；Figure 4说明BEV真值通过正交投影从全局XYZ生成；Table 1给出两个数据集的规模（360BEV-Stanford 1,413帧/13类，360BEV-Matterport 10,615帧/20类）；Figure 5显示类别不均衡，floor占比最高。\n- **方法设计**：Figure 6展示360Mapper的编码器→IRP→360Attention→解码器流程，以及IRP生成2D索引、360Attention生成自适应采样偏移的细节。\n- **前视全景分割能力**：Table 2在Stanford2D3D上54.3% mIoU（+2.2% vs Trans4PASS）；Table 3在360FV-Matterport上46.35% mIoU，验证模型处理畸变的能力。\n- **中间投影范式的优越性**：Table 4和Table 5中，Early投影mIoU最低（14.15-30.01），Late投影次之（17.86-27.78），Intermediate投影最高（31.69-46.44），支持“中间投影保留密集视觉线索”的结论。\n- **360Mapper的SOTA性能**：Table 4中360Mapper（MiT-B2）在360BEV-Stanford达45.78% mIoU，比Trans4Map（MiT-B2）高+9.70%；Table 5中在360BEV-Matterport达44.32% mIoU，比Trans4Map（MiT-B2）高+7.60%，比BEVFormer高+11.81%。\n- **360Attention与骨干的消融**：Table 6显示deformable offset（②）优于multi-scale（④）、fixed-range（⑤）、separate（⑥）；使用MSCA-B骨干（⑦）比MiT-B2（②）高+1.99%，说明方法对骨干灵活。\n- **每类与定性优势**：Figure 7显示360Mapper在board、wall、door、chair、table、sink、toilet等类别上显著提升；Figure 8定性显示360Mapper能正确分割椅子、桌子、柜台、墙壁，而Trans4Map存在误分类。" }