{
  "paper_id": "2b5a43d167d55d0a40f7ef7bf5f155b8",
  "paper_title": "360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View",
  "paper_authors": [
    "Zhifeng Teng",
    "Jiaming Zhang",
    "Kailun Yang",
    "Kunyu Peng",
    "Hao Shi",
    "Simon Reiß",
    "Ke Cao",
    "Rainer Stiefelhagen"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "Seeing only a tiny part of the whole is not knowing the full circumstance. Bird's-eye-view (BEV) perception, a process of obtaining allocentric maps from egocentric views, is restricted when using a narrow Field of View (FoV) alone. In this work, mapping from 360° panoramas to BEV semantics, the 360BEV task, is established for the first time to achieve holistic representations of indoor scenes in a top-down view. Instead of relying on narrow-FoV image sequences, a panoramic image with depth information is sufficient to generate a holistic BEV semantic map. To benchmark 360BEV, we present two indoor datasets, 360BEV-Matterport and 360BEV-Stanford, both of which include egocentric panoramic images and semantic segmentation labels, as well as allocentric semantic maps. Besides delving deep into different mapping paradigms, we propose a dedicated solution for panoramic semantic mapping, namely 360Mapper. Through extensive experiments, our methods achieve 44.32% and 45.78% mIoU on both datasets respectively, surpassing previous counterparts with gains of +7.60% and +9.70% in mIoU.\n",
  "keywords": [
    "360BEV",
    "Panoramic Semantic Mapping",
    "Indoor Bird's-Eye View",
    "Inverse Radial Projection",
    "360Attention",
    "Semantic Segmentation"
  ],
  "paper_institutions": [
    "Karlsruhe Institute of Technology",
    "Hunan University",
    "Zhejiang University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:30:52.807614Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对窄视场（FoV）下鸟瞰图（BEV）感知只能看到局部环境的问题，首次提出360BEV任务：利用单张360°全景图像及其深度信息，直接生成室内场景的完整BEV语义图，从而避免多视角相机或视频序列带来的高计算复杂度、多传感器标定与同步等约束。相关工作表明，现有室内语义映射多依赖合成模拟器或序列输入，而全景分割中的空间畸变和物体形变会损害窄视场方法。为此，作者在Matterport3D和Stanford2D3D基础上构建了360BEV-Matterport（86个场景、10,615帧、20类）和360BEV-Stanford（6个场景、1,413帧、13类）两个真实室内BEV数据集，并生成360FV-Matterport用于全景语义分割。方法上，作者比较了早、晚、中间三种投影范式，提出专用模型360Mapper，其核心是逆径向投影（IRP）——利用深度生成掩码和3D参考点，通过球面坐标反投影得到2D索引——以及360Attention模块，该模块以BEV查询预测自适应采样偏移，结合掩码操作从单张全景特征图中采样，从而缓解畸变并保持形状与布局。在512×1024输入、500×500 BEV输出（10m×10m范围）的设置下，采用AdamW、初始学习率6e-5、50轮训练，360Mapper在360BEV-Matterport和360BEV-Stanford上分别达到44.32%和45.78% mIoU，较之前最优方法提升+7.60%和+9.70%；在360FV-Matterport和Stanford2D3D全景分割上也取得46.35%和54.3% mIoU。消融实验表明，可变形偏移优于多尺度、固定范围和分离偏移方案，且模型对Transformer与CNN骨干均具灵活性。未来可探索更高效的特征转换、跨场景泛化以及将该任务用于室内导航、助残技术等真实场景；其核心机制可概括为360Attention(q,p,f_360)=Σ_i W_i Σ_j A_ij·f_360(mask(p)+Δp_q,ij)，其中IRP提供的2D索引p与自适应偏移Δp共同实现畸变感知的BEV特征投影。\n\n### 关键要点\n\n- 360BEV任务首次实现从单张360°全景图像加深度信息直接预测室内完整BEV语义图，无需多视角相机或长视频序列。\n- 相比窄FoV方法需处理≥6个相机视角或≥20帧视频，360BEV仅需单帧全景，显著降低计算复杂度和多传感器标定/同步开销。\n- 作者构建了360BEV-Matterport（86场景、10,615帧、20类）和360BEV-Stanford（6场景、1,413帧、13类）两个真实室内BEV数据集，并扩展出360FV-Matterport全景分割数据集。\n- 360BEV标签通过球面坐标公式将深度图转换为3D点，再经正交投影矩阵P_v生成BEV语义真值，其中角度矩阵Θ和Φ由全景图像尺寸H×W确定。\n- 作者系统比较了早投影（Proj.→Enc.→Seg.）、晚投影（Enc.→Seg.→Proj.）和中间投影（Enc.→Proj.→Seg.）三种范式，发现中间投影能保留密集视觉线索和长程信息。\n- 360Mapper采用逆径向投影（IRP）生成2D索引：利用深度掩码生成3D参考点，再通过Φ=atan2(y,x)、Θ=atan(x/(z·cosΦ))投影到球面，得到ID_h和ID_w用于定位全景特征。\n- 360Attention模块通过BEV查询预测自适应采样偏移Δp，与IRP得到的2D索引相加得到采样位置，并使用掩码操作过滤无关点，从而缓解全景畸变和物体形变。\n- 在512×1024输入、500×500 BEV输出（10m×10m范围）的设置下，360Mapper在360BEV-Matterport和360BEV-Stanford上分别达到44.32%和45.78% mIoU，较Trans4Map提升+7.60%和+9.70%。\n- 在360FV-Matterport全景分割上，360Mapper达到46.35% mIoU，超过HoHoNet、Trans4PASS、SegFormer等现有方法；在Stanford2D3D上达到54.3% mIoU，比Trans4PASS和CBFC高约2%。\n- 消融实验显示，可变形偏移（44.32% mIoU）优于多尺度偏移（43.65%）、固定范围偏移（43.28%）和分离偏移（42.82%），且使用CNN骨干MSCA-B可进一步提升至46.31%。\n- 定性分析表明，360Mapper能正确分割椅子、桌子、柜台、墙壁等类别，而基线Trans4Map常将远处地面误判为桌子或将柜台/椅子误判为门/桌。\n- 该工作适用于室内导航、机器人探索和助残技术等依赖完整地图的下游任务，但当前方法依赖深度信息，且数据集类别分布中地板类占比很高，实际部署需考虑深度获取与类别不平衡问题。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}