{
  "paper_id": "dc02efe9d33f332980969537dc7bbe88",
  "paper_title": "HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots",
  "paper_authors": [
    "Qiang Zhang",
    "Zhang Zhang",
    "Wei Cui",
    "Jingkai Sun",
    "Jiahang Cao",
    "Yijie Guo",
    "Gang Han",
    "Wen Zhao",
    "Jiaxue Wang",
    "Chenghao Sun",
    "Lingfeng Zhang",
    "Hao Cheng",
    "Yujie Chen",
    "Lin Wang",
    "Jian Tang",
    "Renjing Xu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "The perceptual system design for humanoid robots poses unique challenges due to inherent structural constraints that cause severe self-occlusion and limited field-of-view (FOV). We present HumanoidPano, a novel hybrid cross-modal perception framework that synergistically integrates panoramic vision and LiDAR sensing to overcome these limitations. Unlike conventional robot perception systems that rely on monocular cameras or standard multi-sensor configurations, our method establishes geometrically-aware modality alignment through a spherical vision transformer, enabling seamless fusion of 360° visual context with LiDAR's precise depth measurements. First, Spherical Geometry-aware Constraints (SGC) leverage panoramic camera ray properties to guide distortion-regularized sampling offsets for geometric alignment. Second, Spatial Deformable Attention (SDA) aggregates hierarchical 3D features via spherical offsets, enabling efficient 360°-to-BEV fusion with geometrically complete object representations. Third, Panoramic Augmentation (AUG) combines cross-view transformations and semantic alignment to enhance BEV-panoramic feature consistency during data augmentation. Extensive evaluations demonstrate state-of-the-art performance on the 360BEV-Matterport benchmark. Real-world deployment on humanoid platforms validates the system's capability to generate accurate BEV segmentation maps through panoramic-LiDAR co-perception, directly enabling downstream navigation tasks in complex environments. Our work establishes a new paradigm for embodied perception in humanoid robotics. The codes will be released soon.\n",
  "keywords": [
    "人形机器人",
    "全景感知",
    "LiDAR",
    "跨模态感知",
    "BEV语义分割",
    "球面可变形注意力",
    "HumanoidPano"
  ],
  "paper_institutions": [
    "Beijing Innovation Center of Humanoid Robotics",
    "Hong Kong University of Science and Technology (Guangzhou)",
    "Hong Kong University of Science and Technology",
    "Beijing Institute of Technology",
    "ETH Zurich",
    "Nanyang Technological University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:32:06.811782Z",
  "template_tag": "deep_read",
  "summary": "# HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots\n\n\n**作者 / Authors:** Qiang Zhang, Zhang Zhang, Wei Cui, Jingkai Sun, Jiahang Cao, Yijie Guo, Gang Han, Wen Zhao, Jiaxue Wang, Chenghao Sun, Lingfeng Zhang, Hao Cheng, Yujie Chen, Lin Wang, Jian Tang, Renjing Xu\n\n\n**单位 / Institutions:** Beijing Innovation Center of Humanoid Robotics, Hong Kong University of Science and Technology (Guangzhou), Hong Kong University of Science and Technology, Beijing Institute of Technology, ETH Zurich, Nanyang Technological University\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n**归类理由**：本文核心贡献是提出 HumanoidPano 跨模态感知方法，包含 Spherical Geometry-aware Constraints (SGC)、Spatial Deformable Attention (SDA) 和 Panoramic Augmentation (AUG) 三个算法创新，并在 360BEV-Matterport 上验证；虽然包含真机系统部署，但主要贡献是新的算法/模型，因此归类为 `method`。\n\n### 1. Paper metadata\n\n- **标题**：HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots\n- **作者（姓名 / 单位 / 简介）**：\n  - Qiang Zhang（北京人形机器人创新中心；香港科技大学（广州）；共同一作）\n  - Zhang Zhang（北京人形机器人创新中心；北京理工大学；共同一作）\n  - Wei Cui（北京人形机器人创新中心；共同一作）\n  - Jingkai Sun（北京人形机器人创新中心；香港科技大学（广州））\n  - Jiahang Cao（北京人形机器人创新中心；香港科技大学（广州））\n  - Yijie Guo（北京人形机器人创新中心）\n  - Gang Han（北京人形机器人创新中心）\n  - Wen Zhao（北京人形机器人创新中心）\n  - Jiaxue Wang（北京人形机器人创新中心；香港科技大学（广州）；香港科技大学）\n  - Chenghao Sun（北京人形机器人创新中心）\n  - Lingfeng Zhang（香港科技大学（广州））\n  - Hao Cheng（香港科技大学（广州））\n  - Yujie Chen（苏黎世联邦理工学院 ETH Zurich）\n  - Lin Wang（南洋理工大学）\n  - Jian Tang（北京人形机器人创新中心；通讯作者）\n  - Renjing Xu（香港科技大学（广州）；通讯作者）\n- **发表 venue/outlet**：未明确标注（期刊/会议/年份/级别均未在文档中给出）\n\n### 2. Research positioning\n\n- **研究领域**：机器人感知、全景视觉、LiDAR 融合、BEV 语义分割、人形机器人\n- **具体任务**：全景-LiDAR 跨模态 BEV 语义分割（Panoramic-LiDAR Cross-modal BEV Semantic Segmentation），从全景图像和深度/LiDAR 点云生成语义 BEV 地图（见 Sec. 3.1, Eq. 1）\n- **目标用户/应用场景**：人形机器人在复杂室内环境中的自主导航与下游任务；面向具身智能、移动操作等场景\n\n### 3. Input material checklist\n\n- **PDF**：是（提供的文档为完整正文，含参考文献与附录 A）\n- **附录/补充材料**：是（附录 A 包含数据增强细节与 Figure 7-9；文中还提到视频演示在附录材料中）\n- **代码链接**：无（摘要称 \"The codes will be released soon\"）\n- **数据集链接**：无直接链接（使用 360BEV-Matterport 数据集，引用 [^41]）\n\n### 4. Missing materials and risks\n\n- **缺失项**：代码仓库链接、数据集下载链接、真机演示视频、附录中提到的部分可视化结果（如噪声设置可视化）未在本文档中完整呈现\n- **可能影响**：无法复现实验细节；难以验证数据增强与真机部署的完整效果；代码未开源会限制方法直接对比与二次开发\n\n### 5. Reading route (3-6 steps)\n\n- **Step 1**：先读摘要、引言（Sec. 1）和结论（Sec. 5），把握问题定义、三大贡献（SGC/SDA/AUG）与真机验证结论。\n- **Step 2**：读方法部分（Sec. 3），重点理解问题形式化（Eq. 1）、PD Attention 中的球面几何约束（Eq. 2-5）与空间可变形注意力（Eq. 6），以及数据增强策略。\n- **Step 3**：读实验部分（Sec. 4），对比 Table 1-2 的 SOTA 结果、Table 3 的噪声鲁棒性、Table 4 的消融和 Table 5 的逐类结果；结合 Figure 6 看定性对比。\n- **Step 4**：读 Sec. 4.4 真机部署与 Figure 4 硬件设计，理解 Insta360 X4 + Livox Mid-360 + Jetson Orin AGX 的工程实现。\n- **Step 5**：回到附录 A 与 Figure 7-9，核对数据增强公式与可视化；若需深入，再对照参考文献追溯 360BEV、Trans4Map 等基线。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n### 1. 论文类型与类别\n\n- **类型**：方法论文（method），提出新的跨模态感知框架 HumanoidPano。\n- **子类别**：机器人感知 / 全景视觉与 LiDAR 融合 / BEV 语义分割 / 人形机器人具身感知。\n- **对应定位**：属于“算法/模型创新 + 真机验证”型工作，核心贡献在方法（Sec. 3），实验验证在 Sec. 4。\n\n### 2. 背景与研究脉络\n\n- 人形机器人因仿生结构存在自遮挡和 FOV 受限，传统多传感器方案难以直接迁移（Sec. 1）。\n- 全景视觉可提供 360° 上下文，但球面投影带来结构断裂、尺度不一、深度特征退化（Sec. 1）。\n- LiDAR 提供精确深度，但点云稀疏；现有自动驾驶 LiDAR-相机标定范式与球面投影几何不兼容（Sec. 1, Sec. 3.2.2）。\n- 360BEV-Matterport 提供全景 RGB + BEV 语义标注，适合作为评测基准（Sec. 4.1）。\n- 本文定位：首次将全景相机 + LiDAR 融合用于人形机器人 BEV 语义感知（Sec. 2.1, Sec. 5）。\n\n### 3. 直觉正确性检查\n\n- 关键假设 1：全景相机的光线方向可由球面坐标 (Φ, Θ) 描述，因此用球面几何约束来引导采样偏移是合理的（Eq. 2-5）。该假设与 equirectangular 投影模型一致，直觉上成立。\n- 关键假设 2：LiDAR 稀疏深度足以支撑 BEV 语义分割。作者通过“稀疏语义查询”和几何约束机制来弥补稀疏性（Sec. 3.2.2），但训练时 360BEV-Matterport 使用的是 ray casting 生成的稠密深度（Sec. 4.1），与真实 LiDAR 稀疏深度存在 domain gap，需在真机实验中验证。\n- 关键假设 3：BEV 空间与全景图像空间的增广可以通过对应翻转/旋转/混合保持几何对齐（Sec. 3.3, Appendix A）。该假设在理论上合理，但实现细节（如旋转中心、边界连续性）需要附录公式支撑。\n- 总体判断：核心假设在几何层面自洽，主要风险在于合成深度与真实 LiDAR 深度之间的差异，以及真机验证的定量指标不足。\n\n### 4. 核心贡献\n\n1) 提出 HumanoidPano，面向人形机器人结构约束的通用跨模态感知框架，融合全景视觉与 LiDAR（Sec. 1, Sec. 3）。\n2) 提出 Spherical Geometry-aware Constraints (SGC)，利用全景相机光线属性引导畸变感知的跨模态对齐（Sec. 3.2.1, Eq. 2-5）。\n3) 提出 Spatial Deformable Attention (SDA)，通过球面偏移聚合分层 3D 特征，实现 360°-to-BEV 融合（Sec. 3.2.1, Eq. 6）。\n4) 提出 Panoramic Augmentation (AUG)，联合全景图像空间与 BEV 空间的翻转/混合/旋转增广，保持跨视角度量一致性（Sec. 3.3, Appendix A）。\n5) 在 360BEV-Matterport 上取得 SOTA，并在 Tiangong 人形机器人上完成真机部署，支持下游导航（Sec. 4.3, Sec. 4.4, Figure 1）。\n\n### 5. 清晰度评估\n\n- 结构：摘要→引言→相关工作→方法→实验→结论→附录，逻辑清晰，符合三遍阅读法的第一遍预期。\n- 图表：Figure 1-6 覆盖系统总览、LiDAR 投影、硬件设计、定性对比；Table 1-5 覆盖 val/test、噪声、消融、逐类结果，信息量充足。\n- 公式：Eq. 1-6 给出问题形式化和 PD Attention 的关键计算，但部分符号（如 mask()、f_pos）未充分展开，读者需结合正文理解。\n- 可读性：存在少量笔误/排版问题，如 “360FV-Matterport”（Sec. 4.2）、\"camere\"（Sec. 1）、\"We establishes\"（Sec. 1），但不影响核心内容理解。\n- 总体：第一遍可读性良好，方法部分需要第二遍细读。\n\n### 6. 继续或停止建议\n\n- **建议**：继续进入第二遍（Module D）和第三遍（Module E）精读。\n- **理由**：本文属于方法创新 + 真机验证型工作，第一遍已能把握整体贡献；但 SGC/SDA 的公式细节、消融实验的增量来源、以及真实 LiDAR 与合成深度之间的 gap 需要第二/三遍深入核查，才能判断方法的可复现性与实际有效性。\n\n### 7. 结构大纲图\n\n```markmap\n# HumanoidPano 论文概览\n## 1. 引言\n### 问题：人形机器人自遮挡与 FOV 受限\n### 挑战：全景畸变、跨模态对齐、数据增广\n### 贡献：SGC / SDA / AUG / 真机验证\n## 2. 相关工作\n### 人形机器人感知\n### 全景感知\n## 3. 方法\n### 问题形式化 (Eq.1)\n### 全景畸变感知注意力 (PD Attention)\n#### SGC 球面几何约束 (Eq.2-5)\n#### SDA 空间可变形注意力 (Eq.6)\n### 全景-LiDAR 跨模态感知\n### 数据增广 (AUG)\n## 4. 实验\n### 数据集：360BEV-Matterport\n### 训练细节\n### 全景语义映射结果 (Table 1-2)\n### 噪声鲁棒性 (Table 3)\n### 消融研究 (Table 4)\n### 逐类结果 (Table 5)\n### 人形机器人真机部署\n## 5. 结论\n## 附录 A\n### 鲁棒性可视化 (Figure 7)\n### 全景图像增广 (Figure 8)\n### BEV 增广 (Figure 9)\n```\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n### 1. 一句话问题定义\n\n本文要解决的核心问题是：在人形机器人固有的结构自遮挡与有限视场（FOV）约束下，如何通过融合 360° 全景视觉与 LiDAR 深度信息，实现从全景图像到鸟瞰图（BEV）的跨模态语义分割，从而生成准确、实时且几何一致的语义 BEV 地图，支撑复杂室内环境中的自主导航（Sec. 1, Sec. 3.1）。\n\n### 2. 痛点/不足\n\n- 人形机器人仿生结构造成持续自遮挡（如肘部遮挡胸部相机、大腿遮挡腰部传感器），使常规立体视觉方案显著失效（Sec. 1）。\n- 全景球面投影带来三重特征退化：线性元素结构断裂、跨区域尺度差异、深度感知特征退化；现有基于 2D offset 的解码器无法建模畸变与场景深度的耦合效应（Sec. 1）。\n- 自动驾驶中的 LiDAR-相机配准范式不适用于球面投影与点云的几何不兼容；关节运动导致跨模态几何对齐矩阵实时漂移（Sec. 1）。\n- 全景-BEV 统一表征所需的训练数据存在几何稀疏性，传统数据增强无法保持跨视角度量一致性，限制 3D 场景理解（Sec. 1）。\n\n### 3. 形式化目标/优化目标\n\n论文将感知任务形式化为 Panoramic-LiDAR Cross-modal BEV Semantic Segmentation（Sec. 3.1）：\n\n$$ M = F_{seg}(I, D) $$\n\n其中 \\(I \\in R^{3 \\times h \\times w}\\) 为输入全景图像，\\(D\\) 为深度图像（实际部署中由 LiDAR 点云投影得到），\\(F_{seg}\\) 为分割模型，\\(M \\in R^{L \\times X \\times Y}\\) 为输出语义 BEV 图，\\(L\\) 为类别数，\\((X,Y)\\) 为 BEV 感知范围。文档未给出显式损失函数，但以该映射为学习目标，并通过 SGC、SDA、AUG 三个模块优化全景-LiDAR 融合与 BEV 生成（Sec. 3.2-3.3）。\n\n### 4. 成功标准\n\n- 定量指标：在 360BEV-Matterport val/test 上采用像素准确率 Acc、mRecall、mPrecision、mIoU 评估（Sec. 4.2, Table 1-2）；在 MiT-B0/MiT-B2/MSCA-B 三种骨干下均超过 360BEV 等基线，val mIoU 最高 46.47（MSCA-B, Table 1），test mIoU 最高 40.41（MSCA-B, Table 2）。\n- 鲁棒性：在 pitch/roll 噪声扰动下性能下降幅度小于 360BEV（Table 3），且数据增强（AUG）进一步提升鲁棒性。\n- 消融验证：SDA、SGC、AUG 均带来 mIoU 提升（Table 4）。\n- 真机验证：在 Tiangong 全尺寸人形机器人（1.65m, 23 DoF）上部署 Insta360 X4 + Livox Mid-360 + Jetson Orin AGX，以 10Hz 实时生成 BEV 语义分割图，支持穿门、避障等下游导航任务（Sec. 4.4, Figure 1, Figure 4）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n### 1. 最强基线（Strongest baseline）与比较轴\n\n- **最强基线**：360BEV [^41]（Sec. 4.3, Table 1/2）。360BEV 定义了 360BEV-Matterport 上的全景 BEV 语义映射任务，采用 intermediate projection（I）与 transformer/deformable attention，是本文在同一数据集、同一任务上的直接 SOTA 基线。\n- **比较轴**：在 360BEV-Matterport val/test 上，以 Acc、mRecall、mPrecision、mIoU 为指标，按 backbone（MiT-B0 / MiT-B2 / MSCA-B）和投影范式（E/L/I）进行对比；另加噪声鲁棒性（pitch/roll 扰动，Table 3）和消融实验（Table 4）。\n- **结果**：HumanoidPano 在 val 上以 MiT-B0 超过 360BEV 达 1.99 / 5.73 / 2.56 / 4.66 个百分点（Acc / mRecall / mPrecision / mIoU），MiT-B2 超过 1.50 / 4.02 / 1.89 / 3.12，MSCA-B 超过 0.84 / 2.33 / 0.55 / 1.43（Table 1）；test 上同样全面领先（Table 2）。\n\n### 2. 最接近的方法与关键差异\n\n- **360BEV [^41]**：核心思想是全景图到 BEV 的 intermediate projection 语义映射，用可变形注意力做视图变换。局限：未显式建模球面投影的几何畸变，采样偏移在 2D 图像空间预测，难以处理全景畸变与场景深度的耦合；且未做全景-BEV 联合增强。HumanoidPano 的差异：用 SGC 将相机射线属性编码进偏移预测（Eq. 2-5），用 SDA 在球面位置做空间可变形聚合（Eq. 6），并加入 AUG 保持跨视图几何一致。\n- **Trans4Map [^7]**：核心思想是用 vision transformer 从 egocentric 图像生成 allocentric BEV 语义图，强调全局上下文。局限：面向普通透视/有限 FOV 图像，未针对 360° 全景畸变和 LiDAR 深度融合设计。差异：HumanoidPano 面向全景-LiDAR 跨模态，且用球面几何约束替代普通 2D 偏移。\n- **BEVFormer [^30]**：核心思想是 spatiotemporal transformer 从 LiDAR-camera 生成 BEV 表示，是自动驾驶领域强基线。局限：面向车载刚性传感器配置，假设无自遮挡和固定外参；直接迁移到人形机器人时存在几何不匹配。差异：HumanoidPano 针对人形机器人形态，用全景相机替代多相机，用球面几何对齐替代传统 LiDAR-camera 注册。\n\n### 3. 正交方向\n\n- **人形机器人 locomotion 感知**：elevation maps [^35]、深度图 [^13][^33][^37][^42][^57] 等，主要服务行走控制，只含几何信息、缺乏语义理解。\n- **人形机器人 manipulation 感知**：RGB/RGB-D 示教 + 模仿学习 [^16][^22][^23][^25][^28]、3D LiDAR + diffusion policy [^48] 等，面向操作任务而非大范围环境语义建图。\n- **全景深度估计 / 全景语义分割**：HoHoNet [^39]、OmniFusion [^29]、PanFormer [^38]、Trans4PASS [^49][^50]、PanoSwin [^32] 等，处理全景理解但未做全景-LiDAR 跨模态 BEV 语义映射。\n- **自动驾驶多传感器融合**：nuScenes [^4]、KITTI [^18][^19]、BEVFormer [^30] 等，面向车规级刚性传感器布局，不处理人形自遮挡与动态外参漂移。\n\n### 4. 一句话定位\n\n本文提出 HumanoidPano，将人形机器人的结构约束转化为设计优势，首次用球面几何约束 + 空间可变形注意力实现全景-LiDAR 跨模态 BEV 语义分割，在 360BEV-Matterport 上达到 SOTA，并在真实人形平台 Tiangong 上验证（Sec. 1, 4.4）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n### 1. 核心机制概述\n\nHumanoidPano 将任务形式化为全景-LiDAR 跨模态 BEV 语义分割（Sec. 3.1, Eq. 1）：给定全景图像 I 和深度图 D，模型输出语义 BEV 图 M。整体架构（Sec. 3.2, Figure 2）包含三部分：\n\n- 基于 transformer 的全景图像编码器与变换模块；\n- 全景畸变感知注意力（PD Attention），由 Spherical Geometry-aware Constraints (SGC) 和 Spatial Deformable Attention (SDA) 组成，完成全景到 BEV 的视角变换与自适应空间特征提取；\n- BEV 解码器，解析投影后的特征图并预测语义 BEV 图。\n\n核心创新在于：SGC 利用全景相机光线属性引导畸变正则化的采样偏移，实现几何对齐；SDA 通过球面偏移聚合分层 3D 特征，实现 360°-to-BEV 融合；AUG 在训练时对全景图像空间和 BEV 空间进行联合增强，保持跨视角度量一致性。\n\n### 2. 逐步拆解\n\n1. 输入：全景图像 I ∈ R^{3×h×w} 与深度图 D（LiDAR 点云经外参投影到全景相机坐标系得到，Sec. 3.2.2, Figure 3）。\n2. 全景图像编码器提取多尺度全景特征图 F。\n3. 深度图 D 投影为伪点云，得到 3D 参考点 P ∈ R^{N×3}（Sec. 3.2.1）。\n4. SGC 阶段：\n   - 将 3D 参考点 P 转换到球面坐标系，得到球面参考点 S（Eq. 2）。\n   - 用 BEV queries Q 和 S 预测球面角偏移 (ΔΦ, ΔΘ)（Eq. 3）。\n   - 生成新球面位置 S'（Eq. 4）。\n   - 将 S' 映射为全景图像特征图上的 2D 索引 I（Eq. 5）。\n5. SDA 阶段：以 I 为参考点，从全景特征图 F 中采样，并用注意力权重加权求和（Eq. 6）。\n6. BEV 解码器将聚合后的特征解码为语义 BEV 图 M ∈ R^{L×X×Y}。\n7. 训练阶段使用 AUG：对全景图像随机翻转/混合，对 BEV 语义图施加对应的翻转/旋转/混合，保持几何对齐（Sec. 3.3, Appendix A）。\n\n### 3. 关键公式与模块作用\n\n- Eq. 1（任务定义）：M = F_seg(I, D)。F_seg 为分割模型，L 为类别数，(X,Y) 为 BEV 感知范围。\n- Eq. 2（球面投影）：Φ = tan^{-1}(y/x)，Θ = tan^{-1}((x/z)·(1/cos(Φ)))。将笛卡尔 3D 参考点转为球面角，为畸变感知提供几何先验。\n- Eq. 3（球面偏移预测）：(ΔΦ, ΔΘ) = f_Δs(mask(Q) + f_pos(mask(S)))。用线性层从 BEV queries 和球面位置编码预测角度偏移。\n- Eq. 4（位置更新）：Φ' = Φ + ΔΦ，Θ' = Θ + ΔΘ。得到新的球面采样位置。\n- Eq. 5（2D 索引映射）：I_h = ceil(HΘ'/π)，I_w = ceil((Φ'/π - 1/W)·W/2)。将球面位置映射到全景特征图坐标。\n- Eq. 6（SDA 聚合）：SDA(Q,I,F) = Σ_i A_i · F[I + f_Δref(mask(Q))]。以可变形偏移采样全景特征并加权求和，得到 BEV 查询对应的特征。\n\n模块作用总结：SGC 解决全景投影导致的畸变与尺度不一致；SDA 解决 360° 上下文到 BEV 的高效融合；AUG 缓解全景-BEV 联合增强中的几何不一致与数据稀疏问题。\n\n### 4. 流程示意图\n\n```mermaid\nflowchart TD\n  A[\"输入全景图 I 与深度图 D\"] --> B[\"全景图像编码器提取特征 F\"]\n  A --> C[\"深度图 D 投影为 3D 参考点 P\"]\n  C --> D[\"SGC: 球面几何约束生成球面参考点 S 与偏移 ΔS\"]\n  D --> E[\"SDA: 空间可变形注意力采样全景特征\"]\n  B --> E\n  E --> F[\"BEV 解码器\"]\n  F --> G[\"输出语义 BEV 图 M\"]\n  H[\"AUG: 全景/BEV 联合增强\"] -.-> B\n  H -.-> F\n```\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n### 1. 数据集 / 基准列表\n\n- **360BEV-Matterport**（主要基准，Sec. 4.1, Table 1-5）：\n  - 来源：由 Matterport3D 派生（引用 [^41]）。\n  - 规模/构成：文中未给出具体图像数量或场景数量；仅说明提供全景 RGB 图像（512×1024），配密集 BEV 语义标注，共 20 个导航相关类别（Figure 5）；合成深度图通过 ray casting 生成，保证与全景输入的几何一致性。\n  - 场景：覆盖杂乱室内环境（居住空间、办公室等），接近人形机器人真实运行场景。\n  - 划分：实验在 val 集（Table 1）和 test 集（Table 2）上报告结果；另有逐类结果（Table 5）。\n- **360BEV-Stanford**（辅助训练数据，Sec. 4.2）：文中仅提到训练时也使用该数据集，图像分辨率同为 512×1024，但未给出规模、划分或标注细节。\n\n### 2. 预处理与划分 / 覆盖设置\n\n- **输入与输出**：输入全景图像分辨率 512×1024；输出 BEV 语义图 500×500，对应 10m×10m 感知范围（Sec. 4.2）。\n- **深度/LiDAR 预处理**：在真实部署中，LiDAR 点云通过相机内参和外参标定矩阵变换到全景相机坐标系，并利用时间戳同步实现精确对齐；随后构建 BEV 地图 mask 和地图高度（Sec. 3.2.2, Figure 3）。\n- **数据增强**：全景图像空间与 BEV 空间联合增强，包括随机水平翻转、随机混合（mixing）以及 BEV 旋转，并要求图像空间与 BEV 空间的变换保持几何对齐（Sec. 3.3, Appendix A, Figure 8-9）。\n- **噪声设置**：将全景图像变换到球面坐标系后沿 pitch 和 roll 方向施加旋转，旋转矩阵为 R(α,β,0)，用于模拟真实相机扰动（Sec. 4.3, Table 3, Figure 7）。\n\n### 3. 训练 / 推理 / 评估环境\n\n- **训练环境**：4 张 A100 GPU；初始学习率 6×10⁻⁵；step 学习率策略；共 50 epochs；AdamW 优化器（epsilon=1×10⁻⁸，weight decay=0.01）；每张 GPU batch size=4（Sec. 4.2）。\n- **训练数据**：使用 360BEV-Matterport 以及 360BEV-Stanford 的全景图像（512×1024）作为输入（Sec. 4.2）。\n- **推理/部署环境**：真机平台为 Tiangong 人形机器人（1.65m 高，23 DoF）；感知模块集成 Insta360 X4 全景相机与 Livox Mid-360 LiDAR；由 Nvidia Jetson Orin AGX 以 10Hz 同步处理球面视觉数据与 LiDAR 点云，并在线标定补偿关节运动引起的外参漂移（Sec. 4.4, Figure 4）。\n- **评估指标**：像素精度（Acc）、平均召回（mRecall）、平均精度（mPrecision）和平均交并比（mIoU），沿用 [^5][^7] 的设置（Sec. 4.2）。\n\n### 4. 这些选择为何重要以及验证了什么\n\n- **数据集选择**：360BEV-Matterport 是少有的同时提供全景 RGB、合成深度和 BEV 语义标注的室内基准，其球面投影与人形机器人传感器配置一致，20 个导航关键类别直接对应下游导航任务需求；因此适合验证“全景-LiDAR 跨模态 BEV 语义分割”这一新任务（Sec. 4.1, Figure 5）。\n- **合成深度 vs 真实 LiDAR 深度**：数据集用 ray casting 合成深度以保证几何一致性，便于受控实验；真实部署改用 Livox Mid-360 LiDAR，验证了框架在更稀疏深度下仍能工作，说明方法对 LiDAR 稀疏性具有内在适应性（Sec. 3.2.2, Sec. 4.4）。\n- **训练设置与增强**：采用与 360BEV 一致的训练设置，保证与基线公平对比；联合全景-BEV 增强（AUG）用于保持跨视角度量一致性，缓解训练数据几何匮乏（Sec. 3.3, Table 4）。\n- **评估设置**：在 val/test 双集合上对比 SegFormer、SegNeXt、HoHoNet、Trans4PASS、Trans4Map、BEVFormer、360BEV 等基线，覆盖 early/late/intermediate 三类投影范式，验证 intermediate 投影与 PD Attention 的优势（Sec. 4.3, Table 1-2）。\n- **鲁棒性验证**：pitch/roll 噪声实验表明 HumanoidPano 的性能下降幅度小于 360BEV（Table 3），说明球面几何约束带来的 3D 理解能力在真实扰动下更稳健。\n- **消融验证**：Table 4 逐步加入 SDA、SGC、AUG，分别验证空间上下文补充、畸变感知几何约束和数据增强对最终 mIoU 的贡献。\n- **真机验证**：在 Tiangong 人形机器人上的部署证明了系统能在复杂室内环境中生成准确 BEV 语义分割图并支持下游导航，弥补了现有全景感知方法缺乏真实世界验证的不足（Sec. 4.4, Figure 1）。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n### 1. 评估指标（Metrics）\n\n- **Acc（Pixel-wise Accuracy）**：像素级准确率，预测正确的像素占总像素比例（Sec. 4.2，沿用 [^5][^7] 的设置）。\n- **mRecall（Mean Recall）**：各类别召回率的平均值。\n- **mPrecision（Mean Precision）**：各类别精确率的平均值。\n- **mIoU（Mean Intersection-over-Union）**：各类别 IoU 的平均值，是 BEV 语义分割的主要指标。\n- 输出 BEV 地图为 500×500，感知范围 10m×10m；输入全景图 512×1024（Sec. 4.2）。\n\n### 2. 主要结果（Main Results）\n\n- **360BEV-Matterport val set（Table 1）**：\n  - HumanoidPano（MiT-B0）：Acc 76.19，mRecall 50.41，mPrecision 57.86，mIoU 38.50；+AUG 后 Acc 76.71，mRecall 52.87，mPrecision 57.76，mIoU 40.12。\n  - HumanoidPano（MiT-B2）：Acc 77.72，mRecall 57.54，mPrecision 60.18，mIoU 43.52；+AUG 后 Acc 78.48，mRecall 58.32，mPrecision 61.52，mIoU 44.54。\n  - HumanoidPano（MSCA-B）：Acc 79.21，mRecall 60.41，mPrecision 63.17，mIoU 46.47；+AUG 后 Acc 79.47，mRecall 60.92，mPrecision 62.66，mIoU 46.35。\n- **360BEV-Matterport test set（Table 2）**：\n  - HumanoidPano（MiT-B0）：Acc 76.48，mRecall 47.09，mPrecision 51.42，mIoU 33.56；+AUG 后 Acc 77.50，mRecall 49.26，mPrecision 52.23，mIoU 35.37。\n  - HumanoidPano（MiT-B2）：Acc 78.02，mRecall 53.22，mPrecision 53.93，mIoU 37.95；+AUG 后 Acc 78.16，mRecall 53.60，mPrecision 54.81，mIoU 38.49。\n  - HumanoidPano（MSCA-B）：Acc 78.96，mRecall 55.64，mPrecision 56.61，mIoU 40.27；+AUG 后 Acc 78.92，mRecall 55.69，mPrecision 56.86，mIoU 40.41。\n- 在 val 上，HumanoidPano（MiT-B0）相对 360BEV 的 mIoU 提升 4.66 个百分点（38.50 vs 35.46）；MiT-B2 提升 3.12（43.52 vs 41.42）；MSCA-B 提升 1.43（46.47 vs 45.04）。在 test 上，MiT-B0 提升 3.56（33.56 vs 31.81），MiT-B2 提升 2.49（37.95 vs 36.00），MSCA-B 提升 1.31（40.27 vs 39.10）。\n\n### 3. 与基线/代表性工作的对比（Comparison）\n\n- 对比方法包括：SegFormer（MiT-B2）、SegNeXt（MSCA-B）、HoHoNet（ResNet101）、Trans4PASS/Trans4PASS+（MiT-B2）、Trans4Map（MiT-B0/MiT-B2）、360BEV（MiT-B0/MiT-B2/MSCA-B）、BEVFormer（MiT-B2）（Table 1-2）。\n- 投影方式分为 E（early）、L（late）、I（intermediate）；HumanoidPano 采用 I 类投影，保留密集视觉线索与长程信息（Sec. 4.3）。\n- 在 val 上，HumanoidPano（MiT-B2 + AUG）mIoU 44.54，超过 360BEV（MiT-B2）41.42、Trans4Map（MiT-B2）36.72、BEVFormer 32.51；在 MSCA-B 上 mIoU 46.47，超过 360BEV 45.04。\n- 在 test 上，HumanoidPano（MiT-B2 + AUG）mIoU 38.49，超过 360BEV 36.00、Trans4Map 31.08、BEVFormer 27.46；MSCA-B 上 mIoU 40.41，超过 360BEV 39.10。\n- 定性对比（Figure 6）显示 HumanoidPano 在畸变区域（尤其严重扭曲物体）优于 360BEV。\n\n### 4. 消融、敏感性及跨论文差异（Ablations / Sensitivity）\n\n- **消融实验（Table 4，test set，MiT-B0）**：\n  - 基线（无 SDA/SGC/AUG）：Acc 75.98，mRecall 44.75，mPrecision 48.59，mIoU 31.81。\n  - +SDA：Acc 76.38，mRecall 46.78，mPrecision 49.72，mIoU 33.05（mIoU +1.24）。\n  - +SDA+SGC：Acc 76.48，mRecall 47.09，mPrecision 51.42，mIoU 33.56（mIoU +0.51）。\n  - +SDA+SGC+AUG：Acc 77.50，mRecall 49.26，mPrecision 52.23，mIoU 35.37（mIoU +1.81）。\n  - 结论：SDA 补充空间上下文，SGC 增强畸变感知，AUG 提升数据多样性与鲁棒性（Sec. 4.3）。\n- **噪声鲁棒性（Table 3，val set，MiT-B0）**：对全景图施加 pitch/roll 旋转扰动。\n  - 360BEV 在 pitch+roll 扰动下 mIoU 从 35.46 降至 26.67（-24.78%）；HumanoidPano 从 38.50 降至 29.58（-23.16%）；HumanoidPano+AUG 从 40.12 降至 31.13（-22.40%）。\n  - 在单独 pitch 或 roll 扰动下，HumanoidPano 的 mIoU 均高于 360BEV（如 pitch：32.84 vs 29.74；roll：32.79 vs 29.64）。\n- **逐类结果（Table 5，MiT-B2）**：HumanoidPano+AUG 在 val 上 mIoU 44.54，test 上 38.49；多数类别（如 wall、floor、chair、door、table、sofa、bed、toilet、mirror、shower、bathtub、counter、shelfing 等）较 Trans4Map/360BEV 有提升或持平，void 类略低。\n- **跨论文/数据集差异**：本文仅在 360BEV-Matterport 上量化评估；真实世界部署（Tiangong 人形机器人 + Insta360 X4 + Livox Mid-360 + Jetson Orin AGX，10Hz）为定性验证，未给出真实场景的数值指标（Sec. 4.4）。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n### 模块 C6：未来可探索方向\n\n基于三遍阅读法，本文在结论（Sec. 5）中已提出两个方向：多视角/全景相机感知优化、采集并标注人形机器人相关场景数据。结合方法（Sec. 3）与实验（Sec. 4）中的局限，可进一步从理论、工程、数据/评测三个层面展开。\n\n#### 理论方向\n\n- **球面几何与深度耦合的显式建模**：当前 SGC 通过相机射线属性引导采样偏移（Eq. 2-5），SDA 用球形偏移聚合 3D 特征（Eq. 6），但偏移预测仍由线性层隐式学习。可探索将球面畸变模型、深度不确定性（如 LiDAR 稀疏深度）与注意力权重解析耦合，推导可证明的几何不变性或畸变上界，使跨模态对齐在理论上更可解释。\n- **动态形态下的在线标定理论**：文中提到关节运动导致外参实时漂移（Sec. 1, Sec. 4.4），但未给出漂移模型。可研究基于全景-LiDAR 共视几何的动态外参估计理论，例如将人体运动学约束融入位姿图优化，或建立自遮挡与感知退化之间的理论关系。\n- **数据增强的几何一致性理论**：AUG 在图像空间与 BEV 空间联合翻转/混合/旋转（Sec. 3.3, 附录 A），但缺乏对增强后跨视图度量一致性的形式化保证。可推导增强变换群与 BEV 投影的交换性条件，保证任意增强组合不破坏几何对齐。\n\n#### 工程方向\n\n- **实时性与轻量化部署**：当前真机平台使用 Jetson Orin AGX 以 10Hz 运行（Sec. 4.4），但未报告延迟/吞吐量。可探索模型量化、知识蒸馏、稀疏注意力加速，或设计专用算子融合 SGC/SDA，以降低计算开销并提升帧率。\n- **多传感器与多形态泛化**：本文仅验证 Insta360 X4 + Livox Mid-360 组合（Sec. 4.4, Figure 4）。可扩展至多目全景相机、固态 LiDAR 或不同安装位置，并开发自动外参标定与传感器故障自愈机制，增强模块在不同人形平台上的即插即用能力。\n- **与下游任务闭环**：当前输出 BEV 语义图用于导航（Figure 1），但未与规划/控制闭环。可构建感知-导航-操作一体化系统，将 BEV 语义不确定性传递给下游规划器，或在仿真环境中进行大规模强化学习验证。\n\n#### 数据/评测方向\n\n- **真实人形机器人数据集**：360BEV-Matterport 是合成深度/室内静态场景（Sec. 4.1），真机实验缺少定量指标。应采集包含自遮挡、动态关节运动、不同光照与杂乱场景的真实全景-LiDAR 数据，并标注 BEV 语义真值，建立公开 benchmark。\n- **评测维度扩展**：现有指标仅 Acc/mRecall/mPrecision/mIoU（Table 1-5），缺少对感知范围边缘、小物体、严重畸变区域、动态物体、时序一致性的专门评测。可增加逐距离/逐区域 mIoU、畸变敏感度曲线、噪声鲁棒性标准化测试（如 Table 3 的 pitch/roll 扰动协议）。\n- **跨域与开放类别评测**：可评测模型在未见场景、跨数据集（如 360BEV-Stanford）和开放词汇/长尾类别上的泛化；同时探索利用无标注全景数据或 LiDAR 点云自监督预训练，减少对稠密 BEV 标注的依赖。\n\n以上方向分别对应理论深化（几何建模、在线标定、增强一致性）、工程落地（实时化、多形态泛化、任务闭环）与数据评测（真实数据集、指标扩展、跨域泛化），与论文结论中提出的未来工作一致。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n### 模块 C7：现实世界应用中的表现\n\n#### 1. 部署约束\n\n- **硬件平台与传感器**：系统部署在 Tiangong 全尺寸人形机器人（1.65m 高、23 DoF）上，感知模块集成 Insta360 X4 全景相机与 Livox Mid-360 LiDAR（Sec. 4.4, Figure 4）。该组合通过运动学碰撞分析实现最小结构干扰，保证在爬行、爬楼梯等动态动作中持续 360° 感知覆盖。\n- **结构约束与自遮挡**：人形机器人形态导致自遮挡和有限 FOV 是核心部署约束（Sec. 1）。HumanoidPano 通过全景视觉 + LiDAR 的混合感知来缓解，但传感器安装位置仍需针对不同形态进行运动学分析，无法做到完全通用。\n- **标定与同步**：需要精确的外参标定矩阵将 LiDAR 点云变换到全景相机坐标系（Sec. 3.2.2），并采用时间戳同步（Sec. 3.2.2）。动态关节运动会引起跨模态几何对齐矩阵的实时漂移，因此部署中采用在线标定协议动态调整外参（Sec. 4.4）。\n- **计算平台**：使用 Nvidia Jetson Orin AGX 作为边缘计算平台，硬件加速处理流水线以 10Hz 同步球面视觉数据与 LiDAR 点云（Sec. 4.4）。\n\n#### 2. 计算与延迟影响\n\n- **实时性**：系统在 Jetson Orin AGX 上以 10Hz 运行，满足人形机器人导航的实时性需求（Sec. 4.4）。摘要和 Sec. 1 也强调“real-time operational efficiency”。\n- **模型效率**：框架采用 PD Attention（SGC + SDA）实现 360°-to-BEV 融合，相比原始 360 attention 更高效（Sec. 3.2.1）；LiDAR 深度稀疏性被设计为可接受，以维持计算效率（Sec. 3.2.2）。\n- **训练成本**：训练使用 4 块 A100 GPU，50 epochs，batch size 4/GPU（Sec. 4.2）。训练成本较高，但推理部署在边缘设备上可行。\n- **延迟瓶颈**：文中未给出具体端到端延迟数值，仅给出 10Hz 同步频率；实际延迟可能受全景图像分辨率（512×1024）、BEV 输出 500×500、以及在线标定计算影响（Sec. 4.1, 4.2, 4.4）。\n\n#### 3. 鲁棒性与安全性问题\n\n- **姿态扰动鲁棒性**：Table 3 显示在 pitch/roll 旋转噪声下，HumanoidPano 的性能下降（如 MiT-B0 在 pitch+roll 下 mIoU 从 38.50 降至 29.58，下降 23.16%）小于 360BEV（下降 24.78%），且加入 AUG 后进一步改善（下降 22.40%）。说明方法对相机姿态扰动有一定鲁棒性，但绝对性能仍显著下降，存在安全风险。\n- **数据增强的鲁棒性**：AUG 通过全景图像与 BEV 空间的联合翻转、混合、旋转和语义对齐增强泛化与鲁棒性（Sec. 3.3, Appendix A, Figure 8-9）。\n- **传感器失效模式**：LiDAR 深度比结构光更稀疏，但框架通过几何约束机制适应稀疏性（Sec. 3.2.2）。若 LiDAR 或全景相机任一失效，系统没有冗余备份机制，可能影响 BEV 语义地图生成。\n- **安全关键场景**：系统用于复杂室内环境中的自主导航（Figure 1），BEV 语义地图直接支持下游导航模块（Sec. 4.4）。若感知出错（如小物体漏检、边界模糊），可能导致碰撞或路径规划失误。文中未讨论安全验证、故障切换或不确定性量化。\n- **动态环境**：在线标定补偿关节运动导致的传感器位移（Sec. 4.4），但未评估快速运动或剧烈振动下的标定稳定性。\n\n#### 4. 可维护性\n\n- **模块化设计**：Figure 4 显示通用感知模块为紧凑、轻量、模块化设计，支持灵活部署到不同人形平台（Sec. 4.4）。\n- **代码与可复现性**：摘要称“codes will be released soon”，但当前未提供代码链接，限制二次开发与维护（Sec. Abstract）。\n- **数据集依赖**：训练使用 360BEV-Matterport 数据集（Sec. 4.1），该数据集基于 Matterport3D 合成深度，与真实 LiDAR 深度分布存在差异；真实部署需要额外数据采集与标注（Sec. 4.4）。\n- **标定维护**：外参在线标定协议需要持续运行，传感器位移或碰撞后需重新标定；长期使用中机械磨损可能影响标定精度（Sec. 4.4）。\n- **未来演进**：结论部分提出未来将优化多视图与全景相机感知，并收集人形机器人相关场景数据（Sec. 5），表明系统仍有持续迭代空间。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n### 1. 总结段落\n\nHumanoidPano 是针对人形机器人结构自遮挡与有限视场问题提出的混合跨模态感知框架，融合全景相机与 LiDAR，实现 360° 视觉上下文与精确深度测量的几何对齐（见 Sec. 1, Figure 1）。方法核心包括三项创新：Spherical Geometry-aware Constraints (SGC) 利用全景相机光线属性引导畸变正则化采样偏移，Spatial Deformable Attention (SDA) 通过球面偏移聚合分层 3D 特征，Panoramic Augmentation (AUG) 联合全景图像与 BEV 空间增强并保持语义对齐（见 Sec. 3.2, Sec. 3.3）。在 360BEV-Matterport 基准上，HumanoidPano 在 val/test 集上均取得 SOTA 结果，例如 MiT-B2 骨干下 val mIoU 达 43.52%，加入 AUG 后达 44.54%，超过 360BEV 的 41.42%（Table 1）。在 pitch/roll 噪声扰动下，HumanoidPano 的性能下降幅度小于 360BEV，表现出更强的 3D 理解鲁棒性（Table 3）。消融实验表明 SDA、SGC、AUG 均带来稳定提升（Table 4）。真实系统部署在 Tiangong 人形机器人上，使用 Insta360 X4 与 Livox Mid-360，以 Jetson Orin AGX 在 10Hz 下生成 BEV 语义分割图并支持下游导航（Sec. 4.4）。该工作首次在全尺寸人形平台上实现全景-BEV 具身感知，为人形机器人形态感知提供了新范式（Sec. 5）。\n\n### 2. 五大要点\n\n1. **问题定位**：人形机器人因仿生结构产生自遮挡和有限 FOV，传统单目/多传感器方案不适用；本文将任务形式化为 Panoramic-LiDAR Cross-modal BEV Semantic Segmentation（Sec. 1, Eq. 1）。\n2. **SGC 机制**：将 3D 参考点投影到球面坐标，用线性层预测球面角偏移，再映射回全景图像 2D 索引，从而显式建模全景畸变与深度耦合（Sec. 3.2.1, Eq. 2-5）。\n3. **SDA 机制**：以 BEV query 为基准，在球面偏移引导下从全景特征图采样并加权聚合，实现高效 360°-to-BEV 融合（Sec. 3.2.1, Eq. 6）。\n4. **AUG 策略**：对全景图像和 BEV 语义图同步进行随机翻转、混合与旋转，并保持跨视角几何/语义一致性，缓解训练数据几何稀疏问题（Sec. 3.3, Appendix A）。\n5. **实验与部署**：在 360BEV-Matterport 上超越 360BEV/Trans4Map/BEVFormer 等基线，并在 Tiangong 人形机器人上完成真机验证，支持实时 BEV 语义建图与导航（Table 1-5, Sec. 4.4）。\n\n### 3. 核心公式/机制\n\n核心机制是 PD Attention 中的球面几何约束与空间可变形注意力。给定 BEV queries Q 和 3D 参考点 P，先通过球面投影得到球面参考点：\n\n$$\n\\Phi=\\tan^{-1}\\frac{y}{x},\\quad \\Theta=\\tan^{-1}\\left(\\frac{x}{z}\\cdot\\frac{1}{\\cos(\\Phi)}\\right)\n$$\n\n然后预测球面角偏移并生成全景图像索引：\n\n$$\n(\\Delta\\Phi,\\Delta\\Theta)=f_{\\Delta s}(mask(Q)+f_{pos}(mask(S)))\n$$\n\n$$\nI_h=\\left\\lceil\\frac{H\\Theta'}{\\pi}\\right\\rceil,\\quad I_w=\\left\\lceil\\left(\\frac{\\Phi'}{\\pi}-\\frac{1}{W}\\right)\\cdot\\frac{W}{2}\\right\\rceil\n$$\n\n最终 SDA 对采样特征加权求和：\n\n$$\nSDA(Q,I,F)=\\sum_{i}^{N_{ref}} A_i \\cdot F[I+f_{\\Delta ref}(mask(Q))]\n$$\n\n这一机制将全景畸变先验嵌入可变形注意力，使模型在严重畸变区域仍能保持几何完整的物体表征。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读（Second-pass Understanding）\n\n### 1. 结构树（Structure Tree）\n\n- **标题/摘要**：提出 HumanoidPano，面向人形机器人的全景-LiDAR 跨模态 BEV 语义分割框架；三大贡献为 SGC、SDA、AUG。\n- **1. 引言**：分析人形机器人自遮挡与 FOV 受限问题；指出全景投影的三种特征退化；提出三阶段处理与四项创新（SGC、SDA、AUG、真机验证）。\n- **2. 相关工作**：\n  - 2.1 人形机器人感知： locomotion 用高程图/深度图，manipulation 用 RGB/RGB-D/3D LiDAR 模仿学习；现有方法 FOV 有限、缺乏大范围语义理解。\n  - 2.2 全景感知：全景深度估计、语义分割、BEV 生成；缺乏真实世界验证。\n- **3. HumanoidPano 方法**：\n  - 3.1 问题形式化：Eq.(1) M = F_seg(I, D)。\n  - 3.2 总体架构：全景图像编码器 + PD Attention（SGC + SDA）+ BEV 解码器。\n    - 3.2.1 Panoramic Distortion-aware Attention：SGC（Eq.2-5）与 SDA（Eq.6）。\n    - 3.2.2 Panoramic-LiDAR Cross-Modal Perception：LiDAR 深度投影、外参标定、真机传感器配置。\n  - 3.3 数据增强：全景图像空间与 BEV 空间的随机翻转、混合、旋转与语义对齐。\n- **4. 实验**：\n  - 4.1 数据集：360BEV-Matterport。\n  - 4.2 训练细节：4×A100、50 epochs、AdamW 等。\n  - 4.3 全景语义映射：Table 1/2 主结果、Table 3 噪声鲁棒性、Table 4 消融、Table 5 逐类结果。\n  - 4.4 人形机器人实现：Tiangong 平台、Insta360 X4 + Livox Mid-360 + Jetson Orin AGX。\n- **5. 结论**：首次实现全尺寸人形机器人上的全景-BEV 感知。\n- **附录 A**：噪声旋转可视化（Figure 7）、全景图像增强可视化（Figure 8）、BEV 增强可视化（Figure 9）及增强公式。\n\n### 2. 方法/系统拆解\n\n**输入**：\n\n- 全景图像 I ∈ R^{3×h×w}（360BEV-Matterport 中为 512×1024）。\n- 深度图 D：训练时由 ray casting 生成的合成深度；真机部署时由 Livox Mid-360 LiDAR 点云投影到全景相机坐标系得到（Sec. 3.2.2, Figure 3）。\n\n**输出**：\n\n- 语义 BEV 图 M ∈ R^{L×X×Y}，其中 (X,Y) 为 BEV 感知范围，实验中为 500×500，对应 10m×10m；L 为类别数（20 类，Figure 5）。\n\n**模块拆解**：\n\n1. **Transformer 全景图像编码器**：使用 MiT-B0、MiT-B2（SegFormer）或 MSCA-B（SegNeXt）作为 backbone，提取全景图像特征 F。\n2. **PD Attention（Panoramic Distortion-aware Attention）**：\n   - **SGC（Spherical Geometry-aware Constraints）**：将 BEV queries Q 对应的 3D 参考点 P（由深度图 D 投影为伪点云）通过 Eq.(2) 转换到球面坐标 (Φ, Θ)；用线性层预测球面角偏移 (ΔΦ, ΔΘ)（Eq.3-4），再通过 Eq.(5) 生成全景特征图上的 2D 索引 I。\n   - **SDA（Spatial Deformable Attention）**：以 2D 索引 I 为参考点，从全景特征图 F 中采样，并用线性层预测 2D 偏移 f_Δref，最后加权求和得到输出（Eq.6）。\n3. **BEV 解码器**：解析投影后的 BEV 特征图，预测逐像素类别的语义 BEV 图。\n4. **数据增强 AUG**：对全景图像和 BEV 语义图联合进行随机水平翻转、随机混合、随机旋转，并保持图像空间与 BEV 空间的几何对齐（Sec. 3.3, Appendix A）。\n\n**训练/推理流程**：\n\n- 训练：输入全景图 + 深度图 → 编码器 → PD Attention（SGC 引导球面偏移，SDA 采样融合）→ BEV 解码器 → 与 BEV 真值计算分割损失（论文未显式给出损失函数形式，通常为语义分割交叉熵类损失）。训练设置见 Sec. 4.2：4×A100，初始学习率 6×10^-5，50 epochs，AdamW（epsilon=1×10^-8，weight decay=0.01），每卡 batch size=4。\n- 推理：全景相机与 LiDAR 时间戳同步，外参标定后将点云转换到全景相机坐标系，生成深度/掩码；网络输出 BEV 语义图；真机部署在 Jetson Orin AGX 上以 10Hz 运行（Sec. 4.4）。\n\n### 3. 重要图表解读\n\n**Figure 2（框架总览）**：展示了 HumanoidPano 的三阶段结构。SGC 利用全景相机光线属性，将 3D 参考点投影到球面并预测畸变正则化的采样偏移，从而对齐全景特征与深度信息；SDA 通过球面偏移自适应聚合层次化 3D 特征，实现 360°-to-BEV 融合。该图是理解方法核心创新（SGC/SDA）的关键。\n\n**Figure 4（硬件设计）**：展示了通用多模态感知模块，集成 Insta360 X4 全景相机与 Livox Mid-360 LiDAR，通过运动学碰撞分析实现紧凑轻量化布局，最小化自遮挡并保持 360° 覆盖。该图支撑 Sec. 4.4 的真机部署论证，说明系统可在 Tiangong 人形机器人上实现全景-LiDAR 融合。\n\n**Table 1（val 集主结果）**：在 360BEV-Matterport val 集上，HumanoidPano 在三种 backbone 下均超过 360BEV：MiT-B0 的 mIoU 38.50 vs 35.46；MiT-B2 的 mIoU 43.52 vs 41.42；MSCA-B 的 mIoU 46.47 vs 45.04。带 AUG 的 HumanoidPano† 进一步提升（MiT-B0 达 40.12，MiT-B2 达 44.54）。该表验证了方法相对 SOTA 的优越性。\n\n**Table 4（消融实验）**：在 test 集上，基线（无 SDA/SGC/AUG）mIoU 为 31.81；加入 SDA 后提升至 33.05；再加入 SGC 提升至 33.56；三者全加（含 AUG）达到 35.37。说明 SDA 提供空间上下文，SGC 增强全景畸变感知，AUG 提升数据多样性与鲁棒性。\n\n### 4. 实验/评估细节\n\n- **数据集**：360BEV-Matterport（源自 Matterport3D），全景 RGB 分辨率 512×1024，20 个导航相关类别，BEV 标注为 500×500（10m×10m），合成深度由 ray casting 生成（Sec. 4.1, Figure 5）。\n- **评估指标**：像素准确率（Acc）、平均召回（mRecall）、平均精度（mPrecision）、平均交并比（mIoU），沿用 360BEV/Trans4Map 的设置（Sec. 4.2）。\n- **对比方法**：SegFormer（MiT-B0/B2）、SegNeXt（MSCA-B）、HoHoNet、Trans4PASS、Trans4PASS+、Trans4Map、360BEV、BEVFormer；按投影方式分为 Early（E）、Late（L）、Intermediate（I）三类，HumanoidPano 属于 I 类。\n- **公平性**：在相同 backbone 下与 360BEV、Trans4Map 等对比；Table 1/2 中分别报告 MiT-B0、MiT-B2、MSCA-B 的结果，并标注 SOTA 与次优。\n- **消融**：Table 4 逐步加入 SDA、SGC、AUG，验证各组件贡献。\n- **鲁棒性**：Table 3 在 pitch/roll 旋转扰动下评估，HumanoidPano 的性能下降幅度小于 360BEV（如双扰动下 mIoU 下降 23.16% vs 24.78%），且 AUG 进一步提升鲁棒性。\n- **逐类结果**：Table 5 给出 val/test 上 21 类（含 void）的 IoU，HumanoidPano†（MiT-B2）在 val 上 mIoU 44.54，test 上 38.49，多数类别优于 360BEV。\n- **真机验证**：Tiangong 人形机器人（1.65m，23 DoF），Insta360 X4 + Livox Mid-360 + Jetson Orin AGX，10Hz 处理，在线标定补偿关节运动导致的传感器位移；在穿门、避障等场景验证 BEV 语义建图与导航（Sec. 4.4, Figure 1）。\n\n### 5. 方法架构图示（适用于 method 类论文）\n\n```text\n全景图像 I ──> Transformer 编码器 ──> 全景特征 F\n                                        │\n深度图 D ──> 伪点云 P ──> 球面投影 S ──> SGC 球面偏移预测 ──> 2D 索引 I\n                                        │\nBEV Queries Q ──> SDA 可变形采样/加权求和 ──> BEV 特征 ──> BEV 解码器 ──> 语义 BEV 图 M\n```\n\n该图概括了 HumanoidPano 的核心数据流：全景图像与深度图分别提供语义特征和几何深度，SGC 将 3D 几何约束编码为球面采样偏移，SDA 在全景特征图上完成 360°-to-BEV 的可变形特征聚合，最终由 BEV 解码器输出语义地图。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n### 1. 可重建性（Reconstructability）\n\n**重建要点**：论文提供了方法级重建所需的核心公式（Eq. 1-6）、整体架构（Figure 2）和训练设置（Sec. 4.2），但缺少代码、部分超参数（如 SDA 采样点数、注意力头数、BEV query 数量、PD Attention 层数）以及推理延迟/参数量，因此属于“部分可重建”。\n\n**伪代码**：\n\n```text\n输入: 全景图 I (H×W), 深度图 D, BEV queries Q, 3D参考点 P (由D反投影)\n输出: 语义BEV图 M (L×X×Y)\n\n1. F = PanoramicEncoder(I)          # 全景transformer编码器，得到多尺度特征\n2. P = unproject(D)                 # 深度图 -> 伪点云 (Eq.1 中的D)\n3. S = cartesian_to_spherical(P)    # Eq.2: Φ=atan2(y,x), Θ=atan2(x/(z·cosΦ), ...)\n4. for each BEV query q in Q:\n     ΔS = Linear( mask(Q) + pos_enc(mask(S)) )   # Eq.3\n     S' = S + ΔS                                  # Eq.4\n     I_idx = spherical_to_pano_index(S')          # Eq.5\n     offsets = Linear(mask(Q))                    # 2D residual offsets\n     sampled = F[ I_idx + offsets ]\n     out_q = sum_i A_i * sampled_i                # Eq.6 SDA\n5. M = BEVDecoder(out_q)             # BEV解码器输出语义BEV图\n6. 训练时使用AUG: 全景图随机翻转/混合 + BEV对应翻转/旋转/混合\n```\n\n**重建缺口**：未给出 SDA 的采样点数、注意力头数、BEV query 的网格分辨率、PD Attention 层数、推理帧率/延迟、模型参数量；附录 A 只给出增强公式，未给出 mix 概率 p 和 λ 的分布。另外，Eq.2 中 Θ 的表达式疑似有笔误（通常球坐标中 Θ 应由 z 与水平半径的比值定义），但整体流程仍可理解。\n\n### 2. 假设（Assumptions）\n\n- 全景相机与 LiDAR 的外参已标定且基本稳定；在线标定只能补偿缓慢漂移（Sec. 3.2.2, Sec. 4.4）。\n- 深度图 D 与全景图逐像素对齐，且 LiDAR 的稀疏深度足以提供有效的 3D 参考点（Sec. 3.2.2）。\n- 球面投影模型为理想等距柱状投影，Eq.2-5 的几何关系成立（Sec. 3.2.1）。\n- BEV 语义地图为机器人中心、10m×10m、20 类室内导航标签（Sec. 4.1, Sec. 4.2）。\n- 训练用的合成深度（ray casting）与真实 LiDAR 深度分布差异不影响跨模态融合（Sec. 4.1, Sec. 4.4）。\n- 人形机器人的自遮挡可通过传感器模块布局和运动学碰撞分析来避免（Sec. 4.4, Figure 4）。\n\n### 3. 失败模式或盲点（Failure Modes / Blind Spots）\n\n- **外参漂移/动态自遮挡**：当关节运动导致相机-LiDAR 相对位姿变化超出在线标定范围时，Eq.2-5 的球面几何对齐会失效，BEV 语义图可能出现重影或错位（Sec. 3.2.2, Sec. 4.4）。\n- **稀疏/缺失深度**：远距离、玻璃、反光表面或低纹理区域导致 LiDAR 点云缺失，3D 参考点 P 稀疏，SDA 采样退化（Sec. 3.2.2）。\n- **数据增强不一致**：全景图翻转/混合与 BEV 翻转/旋转/混合需要严格同步；若旋转中心或角度不匹配，会生成几何不一致的训练对（Sec. 3.3, Appendix A）。\n- **评估与论文一致性问题**：仅在一个室内数据集（360BEV-Matterport）和一个真机平台（Tiangong）上验证，缺少跨数据集、跨机器人、室外场景和定量真机指标；且 Table 5 中 HumanoidPano † 在 val/test 各出现两行且 mIoU 不同（43.52/44.54, 37.95/38.49），正文只报告 44.54/38.49；参考文献编号也存在错位（如 Trans4PASS+ 标为 [^50]，但 [^50] 实际是 BEVFormer），影响可重建性。\n\n### 4. 优势与劣势（Strengths and Weaknesses）\n\n**优势**：\n\n- 问题定义清晰：首次将全景-LiDAR 跨模态 BEV 语义分割形式化为 Eq.1，针对人形机器人自遮挡和 FOV 限制（Sec. 1, Sec. 3.1）。\n- 方法有几何可解释性：SGC 将相机射线属性编码进偏移预测，SDA 在球面坐标下做可变形采样，而非纯 2D 偏移（Sec. 3.2.1）。\n- 实验较充分：在 360BEV-Matterport val/test 上全面超越 360BEV/Trans4Map/BEVFormer（Table 1-2），噪声鲁棒性更好（Table 3），消融验证各组件贡献（Table 4）。\n- 真机验证：在 Tiangong 人形机器人上以 10Hz 运行，支持下游导航（Sec. 4.4, Figure 1）。\n\n**劣势**：\n\n- 可复现性不足：代码未开源，训练/推理细节缺失，附录只提供增强可视化（Sec. 4.2, Appendix A）。\n- 真机评估以定性为主：没有给出 BEV mIoU、导航成功率等定量指标（Sec. 4.4）。\n- 对比方法有限：未与最新的全景分割/全景深度估计方法（如 PanoContext-Former、Depth Anything 等）在 BEV 任务上对比（Sec. 2.2, Sec. 4.3）。\n- 写作和引用质量有待提高：存在公式疑似笔误、表格重复行、参考文献编号错位等问题（Eq.2, Table 5, References）。\n\n### 5. 下一步研究方向（Next-step Research Directions）\n\n- **开源代码与基准**：发布 HumanoidPano 代码、训练配置和真机数据，补充定量真机指标，便于复现和社区对比。\n- **时序与在线标定融合**：利用多帧全景-LiDAR 序列和 SLAM/在线外参优化，解决动态自遮挡和标定漂移。\n- **扩展任务与场景**：将框架推广到多视角/多相机配置、室外场景和操作任务，并收集人形机器人专属数据集（论文结论也提到）。\n- **轻量化与端到端导航**：在 Jetson 等边缘设备上进一步压缩模型，并将 BEV 语义图直接接入规划/控制策略，形成感知-导航闭环。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F: 术语表与概念依赖图\n\n### 术语表\n\n## 1. HumanoidPano（人形全景感知框架）\n\n- **定义**：本文提出的混合跨模态感知框架，融合全景视觉与 LiDAR，实现 360° 到 BEV 的语义分割。\n- **直觉**：给机器人装“全景眼 + 激光测距”，生成俯视语义地图。\n- **在论文中的角色**：全文核心方法，包含 SGC、SDA、AUG 三大组件（Sec. 3, Figure 2）。\n- **前置知识**：BEV、全景图像、LiDAR、语义分割。\n\n## 2. Panoramic image（全景图像）\n\n- **定义**：通过全景相机获得的宽视场图像，本文使用等距柱状投影表示，分辨率 512×1024。\n- **直觉**：一张图看到周围 360° 环境，但边缘和上下区域有严重畸变。\n- **在论文中的角色**：输入模态之一，提供 360° 视觉上下文（Sec. 3.1, Eq. 1）。\n- **前置知识**：相机投影、图像坐标。\n\n## 3. LiDAR（激光雷达）\n\n- **定义**：通过激光测距获取三维点云的传感器，本文使用 Livox Mid-360。\n- **直觉**：直接测量物体距离，不受光照影响，但点云稀疏。\n- **在论文中的角色**：提供深度信息，弥补全景图像缺乏精确深度的不足（Sec. 3.2.2）。\n- **前置知识**：点云、传感器融合。\n\n## 4. BEV（Bird's Eye View，鸟瞰图）\n\n- **定义**：从正上方俯视场景的表示，输出语义地图 M ∈ R^{L×X×Y}。\n- **直觉**：像地图一样俯瞰，便于导航规划。\n- **在论文中的角色**：任务输出空间，也是 BEV queries 的查询空间（Sec. 3.1）。\n- **前置知识**：坐标变换、栅格地图。\n\n## 5. Semantic segmentation（语义分割）\n\n- **定义**：为每个像素或栅格分配语义类别标签的任务。\n- **直觉**：把图像或地图“涂色”，区分墙、地板、椅子等。\n- **在论文中的角色**：全景-BEV 语义分割是核心任务，用 mIoU 等指标评估（Sec. 4）。\n- **前置知识**：深度学习分类、像素级标注。\n\n## 6. Cross-modal fusion（跨模态融合）\n\n- **定义**：将不同传感器模态（图像、点云/深度）的信息进行对齐和融合。\n- **直觉**：视觉给颜色和语义，LiDAR 给距离，两者互补。\n- **在论文中的角色**：全景-LiDAR 跨模态感知是框架核心（Sec. 3.2.2）。\n- **前置知识**：多传感器标定、特征融合。\n\n## 7. Spherical projection（球面投影）\n\n- **定义**：将 3D 点映射到球面坐标 (Φ, Θ) 的投影方式，对应全景相机的成像模型。\n- **直觉**：把世界“包”在一个球上，再展开成平面。\n- **在论文中的角色**：SGC 利用球面投影性质计算采样偏移（Eq. 2-5）。\n- **前置知识**：球坐标系、相机内参。\n\n## 8. Distortion（畸变）\n\n- **定义**：全景图像在展开后产生的形状扭曲，如直线变弯、物体比例失真。\n- **直觉**：全景图边缘的物体被拉长或压扁。\n- **在论文中的角色**：PD Attention 要解决的核心问题之一（Sec. 3.2.1）。\n- **前置知识**：等距柱状投影、图像变形。\n\n## 9. Field of View (FOV，视场角)\n\n- **定义**：传感器能观察到的角度范围。\n- **直觉**：人眼有盲区，全景相机能看到 360°。\n- **在论文中的角色**：人形机器人因结构自遮挡导致 FOV 受限，全景视觉用于突破限制（Sec. 1）。\n- **前置知识**：相机成像、机器人运动学。\n\n## 10. Self-occlusion（自遮挡）\n\n- **定义**：机器人自身肢体遮挡传感器视野的现象。\n- **直觉**：胳膊肘挡住胸口相机，大腿挡住腰部传感器。\n- **在论文中的角色**：人形机器人感知的核心挑战，驱动全景+LiDAR 方案（Sec. 1）。\n- **前置知识**：人形机器人结构、传感器布局。\n\n## 11. Spherical Geometry-aware Constraints (SGC，球面几何感知约束)\n\n- **定义**：利用全景相机光线属性指导畸变正则化采样偏移的几何约束机制。\n- **直觉**：告诉网络“全景图哪里扭曲了”，让采样更符合真实 3D 几何。\n- **在论文中的角色**：三大贡献之一，生成球面参考点和偏移（Sec. 3.2.1, Eq. 2-5）。\n- **前置知识**：球面坐标、可变形注意力。\n\n## 12. Spatial Deformable Attention (SDA，空间可变形注意力)\n\n- **定义**：通过球面偏移聚合分层 3D 特征，实现 360° 到 BEV 的高效融合。\n- **直觉**：不扫描整张图，只关注与 BEV query 相关的关键位置。\n- **在论文中的角色**：三大贡献之一，完成特征采样与加权求和（Eq. 6）。\n- **前置知识**：注意力机制、可变形卷积/注意力。\n\n## 13. Panoramic Augmentation (AUG，全景增强)\n\n- **定义**：联合全景图像空间和 BEV 空间的随机翻转、混合与语义对齐的数据增强方法。\n- **直觉**：通过“翻转+混合”制造更多训练样本，同时保持跨视图几何一致。\n- **在论文中的角色**：三大贡献之一，提升泛化与鲁棒性（Sec. 3.3, 附录 A）。\n- **前置知识**：数据增强、图像变换。\n\n## 14. PD Attention（Panoramic Distortion-aware Attention，全景畸变感知注意力）\n\n- **定义**：由 SGC 和 SDA 组成的注意力模块，完成全景到 BEV 的视图变换与特征提取。\n- **直觉**：先算球面几何偏移，再在对应位置采样特征。\n- **在论文中的角色**：HumanoidPano 的核心模块（Sec. 3.2.1, Figure 2）。\n- **前置知识**：SGC、SDA、Transformer。\n\n## 15. BEV queries（BEV 查询）\n\n- **定义**：BEV 空间中每个位置对应的可学习查询向量 Q ∈ R^{N×C}。\n- **直觉**：每个查询“问”全景图某个俯视位置应该是什么。\n- **在论文中的角色**：作为注意力机制的查询输入，生成 3D 参考点（Sec. 3.2.1）。\n- **前置知识**：DETR/BEVFormer 中的 query 概念。\n\n## 16. 3D reference points（3D 参考点）\n\n- **定义**：由深度图投影得到的伪点云中的点 P ∈ R^{N×3}。\n- **直觉**：把每个 BEV query 对应到 3D 空间中的一个位置。\n- **在论文中的角色**：用于生成球面参考点 S（Eq. 2）。\n- **前置知识**：深度图、点云投影。\n\n## 17. Spherical reference points（球面参考点）\n\n- **定义**：3D 参考点经球面投影得到的 2D 球面坐标 S ∈ R^{N×2}\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n### 1. 关键事实核查\n\n### 主张 1：HumanoidPano 在 360BEV-Matterport 基准上达到 SOTA。\n\n- 证据 1：摘要明确写道 \"Extensive evaluations demonstrate state-of-the-art performance on the 360BEV-Matterport benchmark.\"\n- 证据 2：Table 1（val）中 HumanoidPano †（MiT-B2）mIoU 为 44.54，高于 360BEV 的 41.42；Table 2（test）中 HumanoidPano †（MiT-B2）mIoU 为 38.49，高于 360BEV 的 36.00。\n- 证据 3：Sec. 4.3 给出相对 360BEV 的逐项提升（如 MiT-B0 val mIoU +4.66）。\n\n### 主张 2：三大贡献为 SGC、SDA、AUG。\n\n- 证据 1：Sec. 1 的贡献列表列出 Spherical Geometry-aware Constraints (SGC)、Spatial Deformable Attention (SDA)、Panoramic Augmentation (AUG)。\n- 证据 2：Sec. 3.2.1 详细描述 SGC（Eq. 2-5）与 SDA（Eq. 6）。\n- 证据 3：Table 4 消融实验显示 SDA、SGC、AUG 依次带来 mIoU 提升（31.81 → 33.05 → 33.56 → 35.37，MiT-B0 test）。\n\n## 主张 3：真机部署于 Tiangong 人形机器人，使用 Insta360 X4 + Livox Mid-360 + Jetson Orin AGX。\n\n- 证据 1：Sec. 4.4 明确说明部署平台为 Tiangong（1.65m, 23 DoF），传感器为 Insta360 X4 与 Livox Mid-360，计算平台为 Nvidia Jetson Orin AGX。\n- 证据 2：Figure 4 标题描述 \"integrating an Insta360 X4 panoramic camera and Livox Mid-360 LiDAR\"。\n- 证据 3：Figure 1 标题展示人形机器人使用 HumanoidPano 进行实时 BEV 语义建图与导航。\n\n## 主张 4：在 pitch/roll 噪声下比 360BEV 更鲁棒。\n\n- 证据 1：Table 3 显示同时加 pitch+roll 时 360BEV mIoU 下降 24.78%，HumanoidPano 下降 23.16%（无 AUG）或 22.40%（有 AUG）。\n- 证据 2：Sec. 4.3 \"Results on noisy settings\" 说明 HumanoidPano 性能下降更小。\n\n## 主张 5：数据增强同时作用于全景图与 BEV 空间。\n\n- 证据 1：Sec. 3.3 描述 Panoramic Image Augmentation 与 BEV Augmentation。\n- 证据 2：Appendix A 给出水平翻转、混合、旋转的公式。\n- 证据 3：Table 4 中 AUG 使 mIoU 从 33.56 提升到 35.37（MiT-B0 test）。\n\n### 2. 冲突与不确定性\n\n- 文档未标注 publication venue 与 publication date，无法核实发表渠道与年份。\n- 参考文献编号存在异常：正文与表格中 [^50] 既被用于 Trans4PASS+（Table 1/2），又在参考文献列表中被重复定义为 BEVFormer 和 Trans4PASS+ 的 \"Behind every domain...\" 两篇不同文献；[^30] 缺失。\n- Sec. 4.2 出现 \"360FV-Matterport\" 与 \"360BEV-Stanford\"，但 Sec. 4.1 只介绍了 360BEV-Matterport；\"360FV\" 疑为 \"360BEV\" 笔误，Stanford 数据集未在数据章节说明。\n- Table 5 中两行均标注 \"HumanoidPano †\"，但数值不同（val 43.52 与 44.54；test 37.95 与 38.49），未明确区分是否为同一配置，容易引起歧义。\n- 摘要称 \"The codes will be released soon\"，但文档未提供代码链接，复现与第三方验证受限。\n- 360BEV-Matterport 数据集仅以引用 [^41] 给出，无直接下载链接。\n\n### 3. 参考文献列表（核查中直接引用）\n\n- [^7] Chang Chen, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer Stiefelhagen. Trans4Map: Revisiting Holistic Bird's-Eye-View Mapping from Egocentric Images to Allocentric Semantics with Vision Transformers. WACV 2023.\n- [^20] Meng-Hao Guo et al. SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation. NeurIPS 2022.\n- [^30] 缺失（正文引用 BEVFormer 时使用 [^30]，但参考文献列表无此编号）。\n- [^39] Cheng Sun, Min Sun, Hwann-Tzong Chen. HoHoNet: 360 Indoor Holistic Understanding with Latent Horizontal Features. CVPR 2021.\n- [^41] Zhifeng Teng et al. 360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View. WACV 2024.\n- [^47] Ilwi Yun et al. Eformer: Equirectangular Geometry-Biased Transformer for 360 Depth Estimation. ICCV 2023.\n- [^49] Jiaming Zhang et al. Bending Reality: Distortion-Aware Transformers for Adapting to Panoramic Semantic Segmentation. CVPR 2022.\n- [^50] 编号冲突：一处为 Ziqi Li et al. BEVFormer (TPAMI 2024)，另一处为 Jiaming Zhang et al. Behind Every Domain There Is a Shift (TPAMI 2024)。\n- [^5] Vincent Cartillier et al. Semantic MapNet. AAAI 2021.（评估指标来源）\n- [^6] Angel Chang et al. Matterport3D. arXiv:1709.06158.（数据集来源）\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n### 1. 图表全量索引\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支撑的结论 | 优先级评分（1-5） |\n|---|---|---|---|---|---|\n| Figure 1 | 人形机器人使用 HumanoidPano 自主导航，融合全景视觉与 LiDAR 生成实时 BEV 语义地图；左上角显示实时传感器数据与感知结果，并展示通用感知模块细节 | 图 | 第1节（Introduction） | 真机部署可行性与下游导航能力；系统级验证 | 4 |\n| Figure 2 | HumanoidPano 框架总览：SGC 引导 3D 自适应采样偏移，SDA 自适应聚合全景特征 | 图 | 第3节（Method） | 方法架构与三大组件（SGC/SDA）的设计逻辑 | 5 |\n| Figure 3 | LiDAR 深度提取与投影过程：原始点云 -> 投影到全景图 -> 输入网络 | 图 | 第3.2.2节 | 全景-LiDAR 跨模态数据对齐与深度信息利用方式 | 4 |\n| Figure 4 | 通用传感器模块硬件设计：Insta360 X4 + Livox Mid-360，紧凑轻量、减少自遮挡、360°覆盖 | 图 | 第3.2.2节/第4.4节 | 真机部署的硬件基础与模块化设计 | 4 |\n| Figure 5 | 360BEV-Matterport 数据集按类别的数据分布 | 图 | 第4.1节 | 数据集类别与室内导航任务匹配；20类导航关键类别 | 3 |\n| Figure 6 | 360BEV-Matterport 上的定性对比：HumanoidPano 在畸变区域优于 360BEV | 图 | 第4.3节 | 方法在严重畸变区域的优势；SGC/SDA 的有效性 | 5 |\n| Figure 7 | 全景鲁棒性评估可视化：Roll/Pitch 旋转方向 | 图 | 附录A | 噪声设置下评估方法的可视化说明 | 3 |\n| Figure 8 | 全景图像增强可视化：水平翻转与混合 | 图 | 附录A | AUG 中全景图像增强策略的具体形式 | 3 |\n| Figure 9 | BEV 图像增强可视化：水平翻转与混合 | 图 | 附录A | AUG 中 BEV 空间增强与对齐策略 | 3 |\n| Table 1 | 360BEV-Matterport val 集全景语义映射结果（Acc/mRecall/mPrecision/mIoU） | 表 | 第4.3节 | HumanoidPano 在 val 集上超越 360BEV 等 SOTA；不同 backbone 均提升 | 5 |\n| Table 2 | 360BEV-Matterport test 集全景语义映射结果 | 表 | 第4.3节 | 在 test 集上同样超越 SOTA；泛化性 | 5 |\n| Table 3 | MiT-B0 backbone 在 val 集噪声（Pitch/Roll）下的结果 | 表 | 第4.3节 | 方法在姿态扰动下性能下降更小，鲁棒性更强；AUG 进一步提升鲁棒性 | 5 |\n| Table 4 | test 集消融实验（SDA/SGC/AUG） | 表 | 第4.3节 | 三个组件各自贡献；SDA 补充空间上下文，SGC 学习畸变特征，AUG 提升多样性 | 5 |\n| Table 5 | MiT-B2 backbone 在 val/test 集的逐类 IoU 结果 | 表 | 第4.3节 | 在多数类别上优于 Trans4Map/360BEV；mIoU 提升来源 | 4 |\n\n### 2. 优先深度阅读清单（Top-priority deep reads）\n\n1. **Table 1 与 Table 2（val/test 集 SOTA 对比）**：这是核心定量证据。重点比较同一 backbone 下 HumanoidPano 与 360BEV 的 Acc/mRecall/mPrecision/mIoU 差距，以及 †（数据增强）带来的增量；同时注意 Proj 类型 E/L/I 对结果的影响。\n2. **Table 4（消融实验）**：验证 SDA、SGC、AUG 的独立贡献。从 baseline（31.81 mIoU）到完整模型（35.37 mIoU）的逐步提升，可判断每个组件的边际收益。\n3. **Figure 2 与第3.2.1节（方法架构）**：理解 SGC 与 SDA 的具体机制，包括球面坐标变换（Eq. 2）、球面偏移预测（Eq. 3-4）、2D 索引生成（Eq. 5）以及 SDA 加权采样（Eq. 6）。\n4. **Table 3（噪声鲁棒性）**：验证真实场景中相机姿态扰动下的稳定性。重点看 360BEV 在 pitch+roll 下 mIoU 下降 24.78%，而 HumanoidPano 下降 23.16%，† 后下降 22.40%。\n5. **Figure 6 与 Table 5（定性对比与逐类结果）**：Figure 6 展示畸变区域的可视化优势；Table 5 显示 door、toilet、mirror 等类别上的提升，帮助理解 mIoU 领先的来源。\n\n### 3. 图表关系 / 实验设置图\n\n```text\n[传感器层] Insta360 X4 全景相机 + Livox Mid-360 LiDAR（Figure 4）\n          |\n          v\n[数据生成] 全景图像 + LiDAR 点云 -> 投影生成深度图/伪点云（Figure 3）\n          |\n          v\n[模型] HumanoidPano：全景编码器 -> PD Attention（SGC + SDA）-> BEV 解码器（Figure 2）\n          |\n          v\n[输出] 语义 BEV 图（Figure 1）\n          |\n          +-- 仿真实验：360BEV-Matterport 数据集（Figure 5）\n          |       -> Table 1/2（SOTA 对比）、Table 4（消融）、Table 5（逐类）、Figure 6（定性）\n          |\n          +-- 鲁棒性实验：Pitch/Roll 旋转噪声（Figure 7）-> Table 3\n          |\n          +-- 数据增强实验：全景/BEV 翻转与混合（Figure 8/9）-> Table 4 中 AUG 项\n          |\n          +-- 真机部署：Tiangong 人形机器人（Figure 1/4）-> 下游导航任务\n```\n\n### 4. 图表到结论的映射\n\n| 图表 | 支撑结论 | 位置 |\n|---|---|---|\n| Figure 1 | 真机系统能够生成实时 BEV 语义图并支持导航 | 第1节/第4.4节 |\n| Figure 2 | 方法由全景编码器、PD Attention、BEV 解码器组成 | 第3.2节 |\n| Figure 3 | LiDAR 点云可投影到全景图并作为深度输入 | 第3.2.2节 |\n| Figure 4 | 硬件模块 Insta360 X4 + Livox Mid-360 实现紧凑 360° 感知 | 第3.2.2节/第4.4节 |\n| Figure 5 | 数据集包含 20 个导航关键类别，适合人形机器人任务 | 第4.1节 |\n| Figure 6 | HumanoidPano 在畸变区域定性优于 360BEV | 第4.3节 |\n| Figure 7 | 噪声实验的旋转方式（pitch/roll） | 附录A |\n| Figure 8/9 | AUG 包含全景与 BEV 空间的翻转/混合增强 | 附录A |\n| Table 1/2 | HumanoidPano 在 val/test 集上达到 SOTA，全面超越 360BEV | 第4.3节 |\n| Table 3 | HumanoidPano 在 pitch/roll 噪声下更鲁棒 | 第4.3节 |\n| Table 4 | SDA/SGC/AUG 均带来性能提升 | 第4.3节 |\n| Table 5 | 逐类 IoU 显示多数类别提升，mIoU 领先 | 第4.3节 |"
}