{
  "paper_id": "ef8175ddc86e60314e0062349df98246",
  "paper_title": "FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment",
  "paper_authors": [
    "Sebastián Barbas Laina",
    "Simon Boche",
    "Sotiris Papatheodorou",
    "Simon Schaefer",
    "Jaehyung Jung",
    "Helen Oleynikova",
    "Stefan Leutenegger"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Geometrically accurate and semantically expressive map representations have proven invaluable for robot deployment and task planning in unknown environments. Nevertheless, real-time, open-vocabulary semantic understanding of large-scale unknown environments still presents open challenges, mainly due to computational requirements. In this paper we present FindAnything, an open-world mapping framework that incorporates vision-language information into dense volumetric submaps. Thanks to the use of vision-language features, FindAnything combines pure geometric and open-vocabulary semantic information for a higher level of understanding. It proposes an efficient storage of open-vocabulary information through the aggregation of features at the object level. Pixelwise vision-language features are aggregated based on eSAM segments, which are in turn integrated into object-centric volumetric submaps, providing a mapping from open-vocabulary queries to 3D geometry that is scalable also in terms of memory usage. We demonstrate that FindAnything performs on par with the state-of-the-art in terms of semantic accuracy while being substantially faster and more memory-efficient, allowing its deployment in large-scale environments and on resource-constrained devices, such as MAVs. We show that the real-time capabilities of FindAnything make it useful for downstream tasks, such as autonomous MAV exploration in a simulated Search and Rescue scenario.",
  "keywords": [
    "open-vocabulary mapping",
    "volumetric submaps",
    "vision-language models",
    "CLIP",
    "eSAM",
    "object-centric mapping",
    "SLAM",
    "MAV exploration",
    "semantic mapping",
    "Search and Rescue"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:02.757633Z",
  "template_tag": "deep_read",
  "summary": "# FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment\n\n\n**作者 / Authors:** Sebastián Barbas Laina, Simon Boche, Sotiris Papatheodorou, Simon Schaefer, Jaehyung Jung, Helen Oleynikova, Stefan Leutenegger\n\n\n**单位 / Institutions:** ETH Zurich（据项目页 ethz-mrl.github.io 推断；原文仅以上标数字 1–6 标注机构，未附图例）\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未明确标注；据引用文献最晚至2025年（如 OKVIS2-X, IEEE T-RO 2025；RayFronts, arXiv 2025），推测为2025年前后\n\n\n\n**期刊/会议 / Publication Venue:** 原文未明确标注期刊/会议名称；IEEE 双栏会议排版（罗马数字章节、Fig./Table 编号），推测为机器人领域会议（如 ICRA/IROS）论文\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 分类依据（简述）\n\n- **分类：system（系统）**。核心贡献是一个可在线部署的完整建图系统 FindAnything：将 VI-SLAM（OKVIS2-X）、基于 supereight2 的体积占据子图、以及视觉-语言特征融合（CLIP + eSAM）集成为端到端工程栈，并在资源受限的真实 MAV 机载平台（Jetson Orin NX）上在线运行（见 Abstract、Sec. I、Sec. III、Fig. 2、Sec. IV-E）。\n- 不选 method 的原因：论文虽提出特征聚合方法（Eq. (1)、as-fine-as-possible 分割策略，Sec. III-D、Fig. 3），但重点在系统集成、实时性、内存效率与下游探索任务的完整部署，超出单一算法贡献；亦非综述。\n\n### 1. 论文元数据\n\n- **标题**：FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment\n- **作者**（姓名 / 机构编号 / 备注）：\n  - Sebastián Barbas Laina（1,5；共同一作 *）\n  - Simon Boche（1；共同一作 *）\n  - Sotiris Papatheodorou（1,3,4,5,6；共同一作 *）\n  - Simon Schaefer（1）\n  - Jaehyung Jung（1）\n  - Helen Oleynikova（2）\n  - Stefan Leutenegger（1,2,3,5,6）\n  - 注：原文以上标数字 1–6 标注机构，但提供的文本未包含机构图例；项目页为 ethz-mrl.github.io，提示与 ETH Zurich 相关实验室有关（推断）。\n- **发表载体**：未明确标注；IEEE 双栏会议格式，引用文献最晚至 2025 年，推测为 2025 年前后的机器人领域会议论文（如 ICRA/IROS）。\n\n### 2. 研究定位\n\n- **研究领域**：机器人学 / SLAM 与三维建图 / 开放词汇语义感知（open-vocabulary semantic mapping）。\n- **具体任务**：在未知大规模环境中进行实时、可扩展的开放词汇、以物体为中心的体积建图：将逐像素 CLIP 视觉-语言特征按 eSAM 分割段聚合到体积占据子图中，支持自然语言查询物体/房间位置，并服务于 MAV 自主探索（Sec. I、Sec. III、Fig. 2）。\n- **目标用户/应用场景**：搜救（Search and Rescue）与灾难响应中的远程操作员与自主 MAV；资源受限平台上的机载实时部署；消防等紧急场景中定位灭火器、出口等兴趣点（Sec. I、Fig. 1、Sec. IV-E）。\n\n### 3. 输入材料清单\n\n- **PDF**：有（已提供全文正文与参考文献）。\n- **附录/补充材料**：未提供。\n- **代码链接**：正文未给出代码仓库；项目页：<https://ethz-mrl.github.io/findanything/（可从中查找代码与演示）。>\n- **数据集链接**：正文未直接给出下载链接；实验使用 Replica [^34]、SemanticKITTI [^35]、Habitat-Matterport 3D [^42] 及其语义标注 [^43]，均为公开数据集，需自行检索。\n\n### 4. 缺失材料与风险\n\n- **缺失项**：机构编号图例；正式发表信息（会议/期刊与年份）；附录/补充材料；官方代码仓库直链；数据集预处理细节（如 Replica 合成右目图像的渲染脚本，仅见 Sec. IV-B 文字描述）。\n- **可能影响**：无法从文本直接确认作者机构与发表层级；复现实验需依赖项目页与第三方数据集；部分实现细节（eSAM 查询点设置、相似度阈值 β、多线程调度）可能需查阅补充材料或代码。\n\n### 5. 阅读路线（3–6 步）\n\n- **Step 1**：读 Abstract、Sec. I 与 Fig. 1/Fig. 2，建立系统级认识：VI-SLAM → 体积子图 → eSAM 分割 → CLIP 特征按物体聚合 → 语言查询与探索引导。\n- **Step 2**：精读 Sec. III 方法部分，重点理解 as-fine-as-possible 分割策略（Fig. 3）、图像空间段跟踪、以及加权平均特征更新公式 Eq. (1)。\n- **Step 3**：读 Sec. IV-A/IV-B/IV-C 与 Table I–III，掌握评测协议（mAcc、f-mIoU、运行时间、内存）及与 RayFronts 等基线的对比与消融（分割模型选择、特征融合、子图划分）。\n- **Step 4**：读 Sec. IV-D/IV-E 与 Fig. 5、Table IV，理解下游探索任务扩展（段立方体内候选视角采样与效用加权，Sec. IV-D 第二个公式）及真实 MAV 机载部署细节。\n- **Step 5**：读 Sec. II 相关工作与 Sec. V 结论，梳理与场景图/点云/NeRF 类方法的差异及未来方向（动态物体、层级地图、语义先验）。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型：system（系统类论文）**。FindAnything 是一个端到端、可在线部署的开放词汇、以物体为中心的体积建图系统：VI-SLAM（OKVIS2-X，Sec. III-B）提供位姿 → supereight2 体积占据子图（Sec. III-C）→ eSAM 分割 + CLIP 特征按物体聚合（Sec. III-D，Eq. (1)）→ 支持自然语言查询与自主探索（Sec. IV-D/IV-E，Fig. 2）。\n- 判断依据：核心贡献在系统集成、实时性与内存效率，并在真实 MAV 机载平台（Jetson Orin NX 16 GB）上完整部署（Sec. IV-E，Table IV）；超出单一算法贡献范畴，亦非综述。\n\n### 2. 研究背景与上下文\n\n- **应用背景**：搜救（Search and Rescue）与灾难响应中，MAV 需在危险或人类难以进入的环境替代人类，向远程操作员提供几何+语义的实时信息（Sec. I；Fig. 1 展示火灾场景中查询灭火器与出口）。\n- **技术矛盾**：封闭类别语义地图（Sec. I 引 [^3][^4][^5]）存储紧凑但表达受限；CLIP 等视觉-语言（VL）模型开放词汇、灵活，但每像素数百维浮点特征带来巨大计算与内存开销（Sec. I）。\n- **现有方案缺口**（Sec. II-B）：NeRF/3DGS 类方法需部署前耗时训练；单体 TSDF/点云方案（Open-Fusion、ConceptFusion）受内存限制难以扩展；场景图/实例点云方案（ConceptGraphs、HOV-SG、Clio）缺乏完整 3D 几何或缺少回环等漂移纠正机制；RayFronts 体素级融合内存过高，限制大场景适用性。\n\n### 3. 直觉正确性检查（关键假设及合理性）\n\n- **假设 1：物体级特征聚合可在大幅省内存的同时保持语义精度**——合理。Table I/III 验证：Replica 上 f-mIoU 62.71 与 SOTA 相当；KITTI 上内存仅为 RayFronts 的约 40%（9.91 GB vs 24.61 GB）。\n- **假设 2：图像空间段跟踪（将地图段渲染至图像平面，Fig. 3）可避免体素级不一致**——合理，且全程 CPU 计算释放 GPU 资源给基础模型（Sec. III-D）。\n- **假设 3：语义一致性 + 子图间空间一致性 ⇒ 无需跨子图段跟踪**——大体合理，但存在隐患：大场景漂移下使用 SLAM 位姿时精度明显下降（KITTI：SLAM 行 mAcc 32.26 vs GT 行 51.24，Table III）；子图+回环可部分缓解（优于 FindAnything-Monolithic）。\n- **假设 4：多视角加权平均更新（Eq. (1)）提升嵌入一致性**——成立。消融 FA - no Fusion 显示 f-mIoU 由 50.26 提升至 53.90（Table III）。\n- **假设 5：分割模型精度差异可被体积聚合抵消**——成立。FA - SAM2 与 FA - half-res 消融显示语义精度基本不变（Table III），仅影响运行时间与内存。\n\n### 4. 核心贡献（3–5 条）\n\n1) **以物体为中心的内存高效 VL 特征体积聚合方法**：图像过分割、段跟踪与关联、特征嵌入合并（Sec. I 贡献列表；Sec. III-D；Fig. 3）。\n2) **与基于子图的视觉(-惯性) SLAM 系统集成**：实现大规模、在线、计算与内存高效建图，可部署于资源受限平台（Sec. III-B/C；Sec. IV-E）。\n3) **仿真与真实基准评测**：语义精度与 SOTA 相当，同时处理更快、内存最多节省 60%（Table I–III）。\n4) **下游任务展示**：MAV 自主探索可由自然语言查询在线引导（Sec. IV-D 效用加权公式；Fig. 5），并完成真实机载消防场景演示（Fig. 1；Sec. IV-E）。\n\n### 5. 清晰度评估\n\n- **结构**：引言 → 相关工作 → 方法 → 实验 → 结论，逻辑线性清晰；Fig. 2 系统总览图有效传达数据流（SLAM 位姿 → 子图 → eSAM/CLIP → 查询/探索）。\n- **图表**：Fig. 1（真实演示）、Fig. 3（as-fine-as-possible 策略示意）、Fig. 4（过分割定性对比）、Fig. 5（探索任务箱线图）直观；Table I–IV 覆盖精度、序列处理时间、内存与分阶段每帧耗时。\n- **公式**：Eq. (1) 加权平均特征更新与 Sec. IV-D 候选视角效用加权公式简洁、可复现。\n- **不足**：机构编号 1–6 缺图例；阈值 β、eSAM 查询点设置（仅真实实验提及 36 点）等超参未系统列出；多线程调度仅以 Table IV 横线示意，细节需查代码/项目页。\n\n### 6. 继续或停止建议\n\n- **建议：继续深入阅读（进入第二、三遍）**。理由：该系统论文复现价值高——子图管理、段跟踪与特征融合的关键细节集中在 Sec. III-D 与 Table IV；实验协议（GT vs SLAM 位姿、体素分辨率、批大小设置）直接影响结论解读；对从事开放词汇建图或 MAV 机载部署的读者，消融实验（Table III）与探索任务扩展（Sec. IV-D）值得精读。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# FindAnything 概览\n\n## I. 引言\n\n### S&R 场景动机\n\n### 开放词汇建图挑战\n\n## II. 相关工作\n\n### 基础模型\n\n### 开放词汇建图与导航\n\n## III. 方法\n\n### VI-SLAM（OKVIS2-X）\n\n### 体积占据子图（supereight2）\n\n### 视觉-语言特征融合（eSAM + CLIP）\n\n### as-fine-as-possible 分割与 Eq. (1)\n\n## IV. 实验评估\n\n### Replica 室内评测（Table I/II）\n\n### SemanticKITTI 评测与消融（Table III）\n\n### 自主 MAV 探索（Fig. 5）\n\n### 真实机载实验（Fig. 1，Table IV）\n\n## V. 结论与未来方向\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文旨在解决：如何在资源受限的机器人平台（如 MAV）上，对大规模未知环境进行**实时、内存高效的开放词汇（open-vocabulary）、以物体为中心的体积建图**，使地图同时支持安全导航所需的几何信息与自然语言查询（如\"灭火器\"、\"出口\"的位置）（Abstract、Sec. I、Fig. 1、Fig. 2）。\n\n### 2. 痛点与现有方法的不足\n\n- **封闭类别集合限制表达力**：传统语义建图方法（SemanticFusion、Kimera 等，Sec. I 引 [^3][^4][^5]）依赖先验已知的有限类别集合，语义信息虽紧凑（单整数标签即可存储），但无法泛化到未知场景的开放查询需求（Sec. I）。\n- **VL 特征的内存与计算开销**：视觉-语言模型（CLIP [^6]）虽支持开放词汇，但特征嵌入为数百维浮点向量（本文为 768 维/像素，Sec. III-D），逐体素融合导致内存需求巨大，难以在资源受限硬件上在线构建大规模地图（Sec. I、Sec. III-D）。\n- **现有开放词汇方法缺乏几何完整性或漂移校正**：场景图/点云类方法（ConceptGraphs [^33]、HOV-SG [^9] 等，Sec. II-B）要么不保留完整 3D 几何信息（下游导航必需），要么缺乏回环检测等漂移校正机制，在大规模场景中易产生地图错误；RayFronts [^7] 虽支持大规模体素级融合，但内存占用高，在 0.1 m 分辨率下因 GPU 内存不足而失败（Sec. II-B、Sec. IV-C、Table III）。\n- **NeRF/Gaussian splat 类方法不可在线部署**：需部署前耗时训练，限制了向大环境扩展及机载实时使用（Sec. II-B）。\n\n### 3. 形式化目标（系统设计目标形式，无单一全局优化函数）\n\n论文未提出单一端到端优化目标，而是以可计算的设计目标呈现：\n\n- **特征聚合目标**：将逐像素 VL 特征按 eSAM 分割段聚合为每段平均特征，采用加权平均更新（Eq. (1)，Sec. III-D）：\n  $$\\bar{\\mathbf{f}}_k \\leftarrow \\frac{N_k \\bar{\\mathbf{f}}_k + \\sum_{i=1}^{N} \\mathbf{F}_t[\\mathbf{u}_i]}{N_k + N}, \\quad N_k \\leftarrow N_k + N$$\n  目标是**解耦体素分辨率与语言表示**，使高分辨率建图不显著增加内存（Sec. III-D）。\n- **隐式权衡目标**：在语义精度、运行时间与内存占用之间取得最佳平衡（消融验证见 Sec. IV-C、Table III）。\n- **下游探索目标**：以语言查询嵌入 $\\mathbf{f}_q$ 与段嵌入 $\\bar{\\mathbf{f}}_k$ 的余弦相似度加权候选视角效用 $w_j$（Sec. IV-D 第二个公式，阈值 $\\beta$），引导 MAV 优先重建语言指定的兴趣物体/区域。\n\n### 4. 成功标准（指标与期望性质）\n\n- **语义精度与 SOTA 相当**：以 mAcc（class-mean recall）与 f-mIoU 衡量（Sec. IV-A）。Replica 上 FindAnything 达 48.87/62.71，换用 NARADIO 编码器后达 53.55/66.91 超过 RayFronts（Table I）；SemanticKITTI 上 f-mIoU 51.48@0.5m 优于 RayFronts 的 35.60（Table III）。\n- **显著更快的运行时间**：Replica 每序列 5m24s，远快于 HOV-SG（11h12m）与 RayFronts（9m19s）（Table II）。\n- **内存效率**：比 RayFronts 节省约 60% 内存（KITTI 上 9.91 GB vs 24.61 GB，Table III；摘要称 up to 60% less memory）。\n- **可扩展性**：在 RayFronts 因 GPU 内存不足失败的 0.1 m 细分辨率下仍能以适中内存成功运行（Sec. IV-C）。\n- **在线机载部署能力**：系统完全在线运行，已在 Jetson Orin NX 16 GB 的真实 MAV 上机载部署（Sec. IV-E、Table IV）。\n- **下游任务有效性**：语义引导探索在 mesh completeness 与重建 RMSE 上优于无语义基线 [^41]，且更稳定（Fig. 5，Sec. IV-D）；真实消防模拟场景中可定位\"fire extinguisher\"、\"exit\"等兴趣点（Fig. 1、Sec. IV-E）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作分析（哪些相关工作在此重要？）\n\n### 1. 最强基线与对比轴\n\n### RayFronts [^7]（arXiv 2025）——论文明确指定的主基线（Sec. IV-A：\"As a main baseline, we chose to benchmark against RayFronts\"）\n\n- **方法**：面向室外机器人探索的开集语义 3D 建图框架；在基于 VDB 的占据地图中于体素（voxel）级别融合细粒度稠密视觉-语言特征，编码器可选 RADIO [^27]（NARADIO）或 NACLIP。\n- **核心思想**：以语义射线前沿（semantic ray frontiers）支持在线场景理解与探索，体素级特征融合保证语义细粒度与稠密查询。\n- **局限**：体素级 VL 特征（每体素数百维浮点向量）导致内存/显存占用极高——KITTI 上 0.5 m 分辨率 M_avg≈24.61 GB，0.1 m 分辨率因超出 24.5 GB GPU 内存在所有序列上失败（Table III 及脚注）；难以部署到资源受限平台与更大规模环境。\n- **对比轴**（Sec. IV-A：等体素分辨率、等深度范围、batch size=1 模拟在线建图；并关闭 RayFronts 的 ray frontiers 以聚焦底层体积地图本身）：\n  1. **语义精度（mAcc / f-mIoU）**：Replica 上 FindAnything (NARADIO) f-mIoU 66.91 vs RayFronts (NARADIO) 64.97；KITTI @0.5m 上 51.48 vs 35.60（Table I/III）。\n  2. **运行时间**：Replica 每序列 5m24s vs 9m19s（Table II）；KITTI 上两者相近（≈288 s vs 278 s，Table III）。\n  3. **内存**：KITTI 上 9.91 GB vs 24.61 GB（约为其 40%，即节省约 60%，Table III；与 Abstract \"up to 60% less memory\" 一致）。\n  4. **可扩展性**：0.1 m 分辨率下 FindAnything 以 16.23 GB 成功且 f-mIoU 升至 53.90，RayFronts 完全失败（Sec. IV-C）。\n\n### 2. 最接近的方法与关键差异（按 方法 -> 核心思想 -> 局限 -> 关键差异 组织）\n\n- **Clio [^8]（RA-L 2024，任务驱动开集 3D 场景图）**\n  - 方法：用分割基础模型在实例级累积 VL 特征，构建任务驱动的开集 3D 场景图。\n  - 核心思想：按任务相关性组织实例语义，支持实时开集查询。\n  - 局限：场景图不保留完整 3D 几何（对导航/探索类下游任务至关重要），且缺乏回环闭合等漂移校正机制（Sec. II-B）。\n  - 关键差异：本文同样使用分割基础模型（Sec. II-B \"Similar to [^8], we use segmentation foundation models\"），但以**自适应分辨率的实例级体积占据子图**替代场景图，并把段跟踪从 3D 空间改到**图像空间**（将地图段渲染到当前视角做 2D 重叠匹配，Sec. II-B、Fig. 3），消除物体与其当前视图之间的体积不一致问题。\n- **ConceptFusion [^10]（RSS 2023）/ ConceptGraphs [^33]（ICRA 2024）/ HOV-SG [^9]（RSS 2024）/ OVIR-3D [^21]**\n  - 方法：将区域级与全局 VL 特征直接存储在点云或 3D 场景图中。\n  - 核心思想：基础模型特征驱动的开放词汇 3D 感知与语言定位导航。\n  - 局限：要么不保留完整 3D 几何信息，要么不支持回环等漂移校正，大规模场景下易产生地图错误（Sec. II-B）；HOV-SG 处理一条 Replica 序列需 11h12m（Table II）。\n  - 关键差异：本文用 supereight2 [^30] 体积占据子图保留可直接用于安全导航的完整几何，OKVIS2-X [^28] 子图 SLAM 提供回环校正；语义精度 f-mIoU 62.71 显著高于 ConceptFusion 38.70、ConceptGraphs 35.95、HOV-SG 38.60（Table I）。\n- **OVO-SLAM [^24]（arXiv 2024，开放词汇在线 SLAM）**\n  - 方法：在 SLAM 框架内在线融合开放词汇特征。\n  - 核心思想：定位与开放词汇建图紧耦合的在线系统。\n  - 局限：仅处理每第 10 帧（Table I/II 脚注 †），且精度与速度均落后（f-mIoU 46.19、3m02s）。\n  - 关键差异：本文在同等隔帧策略下更快（1m19s）且更准（62.01），全帧处理亦保持实时（Sec. IV-B）。\n- **Octree-Graph (OVSeg) [^26]（ICCV 2025）**\n  - 方法：八叉树与场景图结合的开放词汇 3D 场景理解。\n  - 核心思想：以层级结构组织实例级语义。\n  - 局限：仍属场景图范式，几何完整性与漂移校正问题同上；GT 位姿下 f-mIoU 55.30 低于本文 62.71（Table I）。\n- **Open-Fusion [^20]（ICRA 2024）**\n  - 方法：将 VL 特征融合进单体（monolithic）TSDF 地图。\n  - 核心思想：高效更新与查询的可查询场景表示。\n  - 局限：单体地图受内存约束，地图规模受限（Sec. II-B）。\n  - 关键差异：本文子图划分 + 回环校正实现大规模扩展；消融直接证明必要性——SLAM 位姿下 Monolithic 版 f-mIoU 28.24 vs 子图版 37.77（Table III SLAM 组）。\n\n### 3. 正交方向\n\n- **NeRF / 3DGS 语言场**：LERF [^17]、OV-NeRF [^18]、LangSplat [^19] 将 VL 特征嵌入神经辐射场或高斯泼溅，可生成照片级渲染，但部署前需耗时训练，难以扩展到大环境或机载在线使用（Sec. II-B）——与本文“在线、机载建图”目标正交，本文不追求渲染质量。\n- **2D 俯视语言地图与导航**：VLMaps [^23]、OVExp [^22] 将特征集成到 2D 自上而下地图，面向物体级导航；Sec. IV-D 指出此类支持开放词汇查询的探索方法要么仅 2D、要么需预先给定查询，不适合 3D 探索——表示维度与任务不同，属正交方向。\n- **基础模型升级替换**：RADIO [^27]、SAM2 [^38] 及更精确的像素级特征定位方法 [^15], [^16], [^14] 与本文框架正交且可插拔；论文以 FindAnything (NARADIO)、FA-SAM2、FA-half-res 等消融（Table I/III）验证模块化兼容性，而非与之竞争。\n- **探索规划**：本文扩展的子图探索器 [^41] 及语言引导导航方法 [^39], [^40] 属下游任务方向；本文贡献在于为其提供 3D 开放词汇地图后端（Sec. IV-D）。\n\n### 4. 一句话定位\n\nFindAnything 是首个在资源受限 MAV 上完全在线、机载运行的开放词汇、以物体为中心的体积建图系统：以子图化 VI-SLAM + 图像空间段跟踪 + 物体级 VL 特征聚合，同时补齐了场景图/点云方法所缺的完整 3D 几何与回环漂移校正、以及体素级方法（RayFronts）所缺的内存可扩展性，在语义精度持平或超越 SOTA 的同时内存最多降低约 60%、速度提升数倍至数十倍（Sec. II-B、Table I–III、Sec. V）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（核心机制与系统流程）\n\n### 1. 核心机制概述（浅层理解）\n\nFindAnything 解决的核心矛盾是：**开放词汇视觉-语言（VL）特征维度极高（CLIP 每像素 768 维浮点向量，Sec. III-D），而 MAV 等资源受限平台要求实时、低内存的在线建图**。逐体素存储特征（如 RayFronts [^7]）会导致内存爆炸，无法扩展到大环境。\n\n论文的解法可概括为三个关键设计（Sec. I 贡献列表、Sec. III、Fig. 2）：\n\n1. **以物体为中心的特征聚合**：不逐体素存特征，而是将逐像素 CLIP 特征按 eSAM 分割段（物体/物体部件级）聚合为**每段一个平均特征向量 f̄_k**，段 ID 直接写入 supereight2 占据体素的扩展字段中。这使语言表示与体素分辨率**解耦**——可在高分辨率建图的同时几乎不增加语义内存开销（Sec. III-D 第一段）。\n2. **图像空间段跟踪 + as-fine-as-possible 分割策略**：跟踪在 2D 图像平面完成（把地图中已有物体投影到当前图像，与 eSAM 新提议做重叠匹配），而非 3D 跟踪，避免了物体与其当前视图之间的体积差异问题；融合时**贪心优先选择更小的分割段**（超过阈值者），实现“尽可能细”的表示——既支持细粒度查询（如“wheel”），又靠 VL 特征的泛化能力保留大概念理解（如“car”）（Sec. III-D、Fig. 3、Fig. 4）。\n3. **子图化 SLAM 耦合**：基于 OKVIS2-X VI-SLAM + supereight2 子图，回环检测后可对子图间刚体变换做漂移校正，保证大规模环境下的全局一致性（Sec. III-B/III-C；消融证据见 Table III 中 FindAnything-Monolithic 在 SLAM 位姿下 mAcc 从 32.26 掉到 23.81）。\n\n工程上的额外巧思：段跟踪**完全在 CPU 上运行**，把 GPU 算力留给 eSAM 与 CLIP 两个基础模型（Sec. III-D 末段）；这使整个系统可在 Jetson Orin NX 16GB 上机载实时运行（Sec. IV-E、Table IV）。\n\n---\n\n### 2. 分步流程拆解（中层分析）\n\n### Step 1 — VI-SLAM 状态估计（Sec. III-B）\n\n- 模块：OKVIS2-X [^28]（OKVIS2 的深度增强扩展）。\n- 输入：立体图像对 + IMU；对每个时间戳 l 估计状态 x_l，执行实时滑动窗口优化与回环检测，必要时回溯更新先前状态 x_{l-k}。\n- 输出：机器人位姿 T_WS（IMU 系相对世界系 F_W）。\n- 角色：为建图提供几何基准，并通过回环为子图提供漂移校正信号。\n\n### Step 2 — 体积占据子图集成（Sec. III-C）\n\n- 模块：supereight2 [^30] 占据建图框架。\n- 用位姿将深度图 D_t 积分进体积占据子图；占据/自由/未映射三态表示可直接用于安全路径规划。\n- 每个子图关联一个关键帧，跟踪子图间刚体变换，并在每次 SLAM 优化（含回环）后更新（沿用 [^31] 方案）。\n- 角色：提供可扩展、内存高效的几何骨架；浅层数据结构加快访问。\n\n### Step 3 — eSAM 分割提议（Sec. III-D）\n\n- 模块：EfficientSAM（eSAM）[^\\12]，SAM 的轻量版本。\n- 对当前 RGB 帧推理，得到二值分割掩码集合 E_t = {E_0, ..., E_m}。\n- 角色：提供物体级候选分割；选 eSAM 而非 SAM 是为换取推理速度（消融 Table III：换 SAM2 使每序列时间从 289.4s 增至 359.4s，精度几乎不变）。\n\n## Step 4 — 图像空间段跟踪与 as-fine-as-possible 融合（Sec. III-D、Fig. 3）\n\n- 从当前位姿 T_WS_t 将当前子图中已有段渲染为掩码+ID 集合 P_t = {(k_0, R_0), ..., (k_p, R_p)}。\n- 基于 eSAM 段 E_t 与渲染段 R_t 的 **2D 图像重叠**做贪心划分：优先保留较小段（高于阈值），对两路分割源尽可能切分，生成逐像素段 ID 图像 K_t。\n- 依赖“语义一致性 + 子图间空间一致性”假设，因此**无需跨子图段跟踪**（Sec. III-D）。\n- 角色：实现物体的长期跟踪与过分割，是内存效率与细粒度查询能力的关键。\n\n## Step 5 — CLIP 特征加权聚合（Sec. III-D、Eq. (1)）\n\n- 模块：CLIP ViT-L/14（336×336 输入），按 [^32] 方法得到逐像素 768 维特征图 F_t。\n- 对 K_t 中每个段 ID k，取其像素坐标集合 N = {u_1, ..., u_N}，执行加权平均更新（见下节公式）。\n- 角色：多视角累积使 VL 嵌入更一致；消融 Table III（FA - no Fusion：只存首帧特征，f-mIoU 从 53.90 降至 50.26）验证了该设计的必要性。\n\n## Step 6 — 语言查询与下游探索引导（Sec. IV-D、Eq. (2)、Fig. 5）\n\n- 查询：自然语言编码为 CLIP 嵌入 f_q，与各段 f̄_k 计算余弦相似度，高激活区域即物体/房间位置（Fig. 1 展示 \"fire extinguisher\"/\"exit\" 查询激活）。\n- 探索扩展（基于 [^41] 采样式规划器）：\n  - 相似度 > 阈值 β 的段各绑定一个以体积质心为中心的 1 m³ 立方体，做 3D 非极大值抑制后，在立方体内采样候选视角（最多接受 n_c 个，否则回退到 frontier 采样）；\n  - 用语言相似度对信息增益效用加权（Eq. (2)），引导 MAV 飞向查询目标。\n- 效果：HM3D 仿真中，对 \"bed\"/\"bathroom\" 查询，网格完整度与 RMSE 均优于无语义基线 [^41]（Fig. 5）。\n\n---\n\n### 3. 关键公式与模块角色（深层分析）\n\n## 公式 (1)：段级加权平均特征更新（Sec. III-D）\n\n$$ \\bar{f}_{k}\\leftarrow\\frac{N_{k}\\bar{f}_{k}+\\sum_{i=1}^{N}\\mathbf{F}_{t}[\\mathbf{u}_{i}]}{N_{k}+N}, \\qquad N_{k}\\leftarrow N_{k}+N $$\n\n- f̄_k：段 k 的平均语言特征描述子；N_k：此前关联到段 k 的像素总数；N：当前帧中该跟踪段的像素数。\n- **作用与意义**：这是一个在线流式均值更新——每段只需存储一个 768 维向量 + 一个计数器，而非逐体素/逐像素特征，这是内存降低约 60%（Abstract、Table III：KITTI 上 9.91 GB vs RayFronts 24.61 GB）的直接来源。多视角加权使嵌入对视角噪声更鲁棒。\n\n## 公式 (2)：探索效用语言加权（Sec. IV-D）\n\n$$w_{j}=\\begin{cases}\\dfrac{\\bar{f}_{k}\\cdot f_{q}}{\\|\\bar{f}_{k}\\|\\|f_{q}\\|} & \\text{if } \\dfrac{\\bar{f}_{k}\\cdot f_{q}}{\\|\\bar{f}_{k}\\|\\|f_{q}\\|}\\geq\\beta \\\\[2mm] \\dfrac{\\beta}{2} & \\text{otherwise}\\end{cases}$$\n\n- 候选视角 j 若落在某段立方体内，取该段与查询的余弦相似度为权重；否则（含 f_k = 0 情形）权重降为 β/2。\n- **作用与意义**：将开放词汇语义平滑注入信息增益效用函数，实现“边探索边响应即时语言查询”的 3D 探索——区别于仅支持 2D 或需预先固定查询的先前方法 [^22], [^39], [^40]（Sec. IV-D 第一段）。\n\n## 模块角色一览\n\n| 模块 | 基础组件 | 角色 | 定位依据 |\n|---|---|---|---|\n| 状态估计 | OKVIS2-X [^28] | 位姿 + 回环 + 漂移校正 | Sec. III-B |\n| 几何建图 | supereight2 [^30] | 占据子图、安全导航、子图变换管理 | Sec. III-C |\n| 分割提议 | eSAM [^12] | 轻量物体级掩码生成 | Sec. III-D |\n| VL 特征 | CLIP ViT-L/14 [^6][^32] | 逐像素 768 维开放词汇嵌入 | Sec. III-D |\n| 段跟踪/融合 | 自研（CPU） | 2D 重叠匹配、as-fine-as-possible 划分、Eq. (1) 更新 | Sec. III-D、Fig. 3 |\n| 下游探索 | [^41] 扩展 | 段立方体采样 + Eq. (2) 效用加权 | Sec. IV-D |\n\n---\n\n### 4. 系统流程图\n\nmermaid\nflowchart TD\n  A[\"传感器输入: 立体RGB-D + IMU\"] --> B[\"VI-SLAM (OKVIS2-X): 滑窗优化 + 回环检测\"]\n  A --> C[\"eSAM 推理: 分割提议 E_t\"]\n  A --> D[\"CLIP 推理: 逐像素特征图 F_t\"]\n  B --> E[\"深度积分 → supereight2 体积占据子图\"]\n  B -. \"回环后更新子图间变换\" .-> E\n  E --> F[\"按当前位姿渲染已有段掩码 R_t\"]\n  C --> G[\"图像空间段跟踪 + as-fine-as-possible 贪心融合\"]\n  F --> G\n  G --> H[\"逐像素段ID图像 K_t\"]\n  D --> I[\"段级加权平均特征更新 Eq.(1)\"]\n  H --> I\n  I --> J[\"物体中心子图: 体素段ID + 平均特征 f̄_k + 计数 N_k\"]\n  J --> K[\"自然语言查询: cos(f̄_k, f_q) 高激活定位\"]\n  J --> L[\"自主探索: 段立方体采样候选视角 + 效用加权 Eq.(2)\"]\n  L --> B\n\n## ``n\n\n---\n\n### 5. 机制层面的设计权衡小结\n\n- **精度 vs. 内存**：选 CLIP（768 维）而非 NARADIO，牺牲少量精度换取更低内存（Sec. IV-B、Table I：FindAnything 62.71 vs FindAnything (NARADIO) 66.91 f-mIoU）；模块化设计允许按需换编码器。\n- **分割精度 vs. 速度**：体素级聚合会“抹平”分割边界像素误差，故换 eSAM 半分辨率或 SAM2 对精度影响很小，但速度/内存差异大（Table III 消融 a）。\n- **子图 vs. 单体地图**：小场景（Replica）差异微小，大场景 + SLAM 漂移下子图优势显著（Table III SLAM 组：32.26 vs 23.81 mAcc），证明子图 + 回环校正对可扩展性不可或缺。\n- **实时性保障**：段跟踪全 CPU 化 + 基础模型轻量化（eSAM 半分辨率、36 个提示点，Sec. IV-E），使每帧总耗时在 MAV 机载平台可控（Table IV：CLIP 340 ms 为瓶颈，深度积分允许以 3 Hz 降级运行以保证几何完整性）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集 / 基准清单（名称、规模、场景）\n\n| 数据集 / 场景 | 规模 | 场景类型 | 用途与定位 |\n|---|---|---|---|\n| **Replica** [^34]（Sec. IV-B） | 室内房间级序列（沿用 ConceptFusion [^10] 的预渲染序列） | 室内 | 语义精度评测（mAcc、f-mIoU，Table I）、单序列处理时间（Table II）、子图 vs 单体地图（FindAnything-Monolithic）对比 |\n| **SemanticKITTI** [^35]（Sec. IV-C） | 大规模户外序列 | 户外大场景 | 可扩展性核心评测：语义精度、平均处理时间 T_avg、平均内存 M_avg（Table III）；全部消融实验 |\n| **Habitat-Matterport 3D (HM3D)** [^42] 场景 00848-ziup5kvtCCR（Sec. IV-D） | 单栋住宅场景 | 仿真室内探索 | 下游自主 MAV 探索任务评测（Fig. 5），GT 网格取自 HM3D 语义标注 [^43] |\n| **真实办公环境**（Sec. IV-E, Fig. 1） | 单次真实自主飞行 | 真实室内（模拟消防 S&R） | 真实 MAV 机载在线部署验证（语言查询 \"fire extinguisher\"、\"kitchen\"、\"exit\"） |\n\n### 2. 预处理与划分 / 覆盖设置\n\n- **Replica**：\n  - 使用与 [^10] 相同的预渲染序列，保证与已发表结果直接可比（Sec. IV-B）。\n  - Replica 原为单目数据，为适配双目 VI-SLAM（OKVIS2-X），用 Habitat-Sim [^36] 在原图右侧 6 cm 处渲染合成彩色右目图像（Sec. IV-B）。\n  - 体素分辨率 5 cm（Sec. IV-B）。\n- **SemanticKITTI**：\n  - 深度图由双目图像经 FoundationStereo [^37] 预处理获得；最大深度积分范围 10 m（Sec. IV-C）。\n  - 语义评测排除标注为 \"moving\" 或 \"other\" 的类别（Sec. IV-C）。\n  - 分辨率设置：0.5 m（与 RayFronts 公平对比）与 0.1 m（可扩展性验证；RayFronts 在 0.1 m 因 GPU 显存不足全部序列失败，Table III 脚注）。\n- **HM3D 探索仿真**：\n  - 用 [^43] 语义标注生成 GT 网格；MAV 平台以 Gazebo [^44] 仿真；体素 5 cm（Sec. IV-D）。\n  - 查询词选择标准（Sec. IV-D）：i) HM3D 仅含住宅场景；ii) 在场景中多次出现；iii) 存在于 GT 标注中；iv) 从 MAV 起始位置不可见——最终选物体 \"bed\" 与房间 \"bathroom\"。\n  - 每个「方法 × 查询」组合运行 10 次、每次 10 分钟（典型 MAV 续航）；完整性 = GT 网格顶点 5 cm 内存在重建多边形的百分比；另报告 RMSE 与第 10–90 百分位（Sec. IV-D, Fig. 5）。\n- **真实 MAV 实验**：\n  - eSAM 降采样至原图一半分辨率并查询 36 个均匀分布点以加速机载推理；在缺少 CLIP 特征或 eSAM 分割时，以软件限制的 3 Hz 速率仍允许深度积分，避免稀疏重建（Sec. IV-E）。\n- **公平对比协议与评测指标**（Sec. IV-A）：\n  - 指标沿用 [^7][^8][^10][^33]：mAcc（class-mean recall）与 f-mIoU（frequency-weighted mean IoU），基于闭集语义类预测。\n  - 与 RayFronts 对比时：相同体素分辨率与深度范围限制、batch size = 1 模拟在线建图、禁用其 ray frontiers 超深度感知范围建图以隔离底层体积地图性能；内存报告为 GPU+RAM 合计。\n  - 竞品结果均用 GT 位姿；FindAnything 同时报告 GT 与 SLAM 位姿两种设置（区分理想上限与真实性能）。\n  - SLAM 位姿评测时，先计算估计轨迹与 GT 轨迹的 Sim(3) 对齐并应用于地图后再评测（Sec. IV-C）。\n\n### 3. 训练 / 推理 / 评测环境\n\n- **无训练环节**：CLIP ViT-L/14（336×336 预训练，768 维逐像素特征，Sec. III-D）、eSAM、SAM2 均为零样本推理使用，无微调——本身即验证系统在无场景先验的未知环境中的泛化能力。\n- **离线评测硬件**：Table II 计时使用 NVIDIA RTX 4500（HOV-SG 时间引自 [^24]，其使用 RTX 3090）；RayFronts 可用 GPU 显存上限 24.5 GB（Table III 脚注）。\n- **机载部署硬件**：自研四旋翼 + RealSense D455 双目 RGB-D 相机 + NVIDIA Jetson Orin NX 16 GB，完全机载计算（Sec. IV-E）。\n- **逐阶段耗时分解**（Table IV，Replica / 探索仿真 / 探索 MAV）：CLIP 推理 14/14/340 ms、eSAM 推理 105/105/171 ms、段跟踪 109/6/22 ms、VL 融合 30/14/37 ms、深度积分 40/24/64 ms、SLAM 前端 25/41/32 ms、后端 13/24/16 ms；横线分隔不同线程的阶段。\n\n### 4. 这些选择为何重要、验证了什么\n\n- **Replica（室内小规模）**：开放词汇建图标准基准，竞品数值可直接引用（Table I 脚注），验证语义精度与 SOTA 相当（f-mIoU 62.71；换用同款 NARADIO 编码器后 66.91 超过 RayFronts 的 64.97），且速度快一个量级（5m24s vs HOV-SG 11h12m，Table II）；SLAM 设置下与 Monolithic 对照（48.80 vs 47.57 mAcc）验证子图+回环即便在小场景也有轻微增益（Table I）。\n- **SemanticKITTI（户外大规模）**：验证核心主张——内存可扩展性：0.5 m 分辨率下内存仅约 RayFronts 的 40%（9.91 vs 24.61 GB），0.1 m 下 RayFronts 因显存不足全部失败而本方法仍以中等内存运行且精度显著更高（Table III）。消融分别验证：(a) 分割模型选择不敏感（FA-SAM2、FA-half-res 精度基本不变，Sec. IV-C）；(b) 加权平均特征融合（Eq. (1)）优于仅存首帧特征（FA-no Fusion：f-mIoU 50.26 vs 53.90）；(c) as-fine-as-possible 过分割可区分物体部件（\"wheel\"）同时保留整体概念（\"car\"）（Fig. 4）；(d) 漂移下子图机制必要性（SLAM 设置：子图 32.26 vs Monolithic 23.81 mAcc，Table III）。\n- **HM3D + Gazebo（下游任务）**：验证语言引导探索的实用价值——与无语义的 SOTA 子图探索基线 [^41] 相比，\"bed\"/\"bathroom\" 查询下网格完整度与 RMSE 均更优且更稳定（Fig. 5），证明物体级 VL 表征可直接服务于 3D 探索规划，而现有开放词汇探索方法仅支持 2D 或需预先已知查询（Sec. IV-D）。\n- **真实 MAV（部署可行性）**：在 Jetson Orin NX 上完全机载在线运行（Table IV Exploration MAV 列），验证\"资源受限设备上实时开放词汇建图\"的核心主张；3 Hz 深度积分降级策略展示了工程权衡（Sec. IV-E）。\n- **协议设计意义**：GT 与 SLAM 双设置报告区分理想上限与真实可用性能；Sim(3) 对齐保证漂移评测公平；统一分辨率/深度范围/batch size 排除混杂因素，使运行时间与内存对比可信（Sec. IV-A）。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：评价指标与结果\n\n### 1. 评价指标（定义与简要说明）\n\n**语义精度**（Sec. IV-A，遵循 [^7][^8][^10][^33] 的标准闭集评测协议）\n\n- **mAcc（class-mean recall，类别平均召回率）**：先对每个语义类别计算召回率，再取类别平均，衡量各类别被正确识别的平均水平。\n- **f-mIoU（frequency-weighted mean intersection-over-union，频率加权平均交并比）**：按各类别出现频率加权的 IoU 均值，更反映常见类别的整体分割质量。\n- 两者均由聚合的 VL 特征对闭集语义类别做预测后计算。\n\n### 效率指标\n\n- **平均每序列处理时间 T_avg [s]**（Table III）与 **Replica 每序列平均耗时**（Table II）。\n- **平均每序列内存 M_avg [GB]**（Table III）；因 RayFronts 主要运行于 GPU，其内存按 GPU+RAM 合计报告（Sec. IV-A）。\n- **每帧各阶段耗时 [ms]**（Table IV），用于定位系统瓶颈并验证机载实时性。\n\n**下游探索任务指标**（Sec. IV-D）\n\n- **Completeness（完整度）**：真值网格顶点中，在 5 cm 范围内存在重建网格多边形的比例。\n- **RMSE（重建均方根误差）**：重建网格相对真值的均方根误差；两者均报告第 10–90 百分位（Fig. 5）。\n\n#### 2. 主要结果（具体数字）\n\n#### 2.1 室内 Replica（Table I，体素 5 cm）\n\n- **GT 位姿**：FindAnything 默认 CLIP 配置 mAcc **48.87** / f-mIoU **62.71**；换用与 RayFronts 相同的 NARADIO 编码器后达 **53.55 / 66.91**，为全表最高，超过 RayFronts (NARADIO) 的 52.90 / 64.97（Sec. IV-B）。\n- **SLAM 位姿**：FindAnything **48.80 / 62.91**，优于单体地图版本 FindAnything-Monolithic 的 47.57 / 61.37；小场景下 GT 与 SLAM 差异可忽略（SLAM 精度高）。\n- **速度**（Table II，NVIDIA RTX 4500）：FindAnything 每序列 **5m 24s**，RayFronts **9m 19s**，HOV-SG **11h 12m**（其计时取自 [^24]，用 RTX 3090）；每 10 帧处理一次时，FindAnything† **1m 19s** 快于 OVO-SLAM† 的 **3m 2s**，且语义更准（44.48/62.01 vs 32.18/46.19，Table I）。\n\n#### 2.2 大规模室外 SemanticKITTI（Table III；深度由 FoundationStereo [^37] 预处理，最大积分距离 10 m，排除 moving/other 类）\n\n- **0.5 m 分辨率（GT）**：FindAnything f-mIoU **51.48** 显著高于 RayFronts 的 **35.60**（mAcc 36.89 低于 45.85，因 supereight2 在粗分辨率下难以保留杆状物等细结构，而多数类别为道路/人行道等粗结构）；内存 **9.91 GB** 仅为 RayFronts **24.61 GB** 的约 40%（对应摘要所称最高节省 60% 内存）；运行时间相近（288.2 s vs 277.9 s）。\n- **0.1 m 分辨率**：RayFronts 因 GPU 显存不足（可用 24.5 GB）在所有序列上失败（Table III 脚注 1）；FindAnything 以 **16.23 GB** 内存成功完成，mAcc **51.24** / f-mIoU **53.90**，显著优于 RayFronts@0.5m，且运行时间几乎不变（289.4 s），体现更优可扩展性（Sec. IV-C）。\n- **SLAM 位姿**：FindAnything **32.26 / 37.77**，明显优于 Monolithic 的 **23.81 / 28.24**（评测前对轨迹做 Sim(3) 对齐），证明存在漂移的大场景中子图+回环校正的必要性。\n\n#### 2.3 下游自主探索（Sec. IV-D，Fig. 5；HM3D 场景 00848-ziup5kvtCCR，Gazebo 仿真，5 cm 体素）\n\n- 查询词为物品 **“bed”** 与区域 **“bathroom”**，每种方法×查询组合运行 **10 次**、每次 **10 分钟**；基线为不含语义信息的 SOTA 子图探索方法 [^41]。\n- 结果：FindAnything 在两个查询上均取得**更高完整度与更低 RMSE**，且第 10–90 百分位分布显示其**更稳定**；对区域查询 “bathroom” 的优势大于物品查询 “bed”，因为区域需要持续观测，而段立方体内候选视角采样恰好满足该需求。\n\n### 2.4 真实 MAV 机载部署（Sec. IV-E，Table IV；RealSense D455 + Jetson Orin NX 16 GB）\n\n- eSAM 以半分辨率、36 个均匀分布查询点运行。每帧耗时（MAV 列）：CLIP 推理 **340 ms**、eSAM 推理 **171 ms**、地图段渲染 16 ms、段跟踪 22 ms、VL 融合 37 ms、深度积分 64 ms、SLAM 前端 32 ms / 后端 16 ms。\n- 为避免网络推理慢导致重建稀疏，允许在缺少 CLIP/eSAM 输出时以软件限制的 **3 Hz** 频率积分深度。\n- 对照 Replica 列（各阶段合计约 348 ms/帧），验证系统实时性；Table IV 横线区分运行于不同线程的阶段。\n\n### 3. 与基线/代表性先前工作的对比\n\n- **语义精度**：与 SOTA 相当或更优——相同编码器（NARADIO）下在 Replica 上超过 RayFronts（66.91 vs 64.97 f-mIoU）；默认 CLIP 配置略低于 RayFronts (NARADIO)，但换取更低内存与更小嵌入维度（Sec. IV-B, Table I）。\n- **速度**：Replica 上比 RayFronts 快约 1.7 倍（5m24s vs 9m19s），比 HOV-SG 快约两个数量级（Table II）。\n- **内存**：KITTI 0.5 m 下内存约为 RayFronts 的 40%；0.1 m 下 RayFronts 完全失败而本方法可行（Table III）。\n- **公平性说明**：所有竞品结果基于 GT 位姿（多取自原论文，Table I 脚注 1）；FindAnything 同时报告 GT 与 SLAM 位姿两种结果，覆盖理想与真实情形（Sec. IV-A）。\n\n### 4. 消融、敏感性与综合分析（Table III，Sec. IV-C）\n\n- **分割模型选择**：eSAM → SAM2（FA-SAM2：49.06/54.28，359.4 s，18.22 GB）或 eSAM 半分辨率（FA-half-res：50.59/53.29，**124.5 s**，15.11 GB）。语义精度基本不受影响（像素级分割差异在体素聚合跟踪时被抵消），但效率差异大：half-res 将每序列时间从 289.4 s 降至 124.5 s。\n- **特征融合策略**：FA-no Fusion（每段仅存首个特征向量）使 f-mIoU 从 53.90 降至 **50.26**、mAcc 从 51.24 降至 49.88，验证 Eq. (1) 跨视角加权平均更新的有效性。\n- **过分割策略**：Fig. 4 定性展示 as-fine-as-possible 策略可同时支持部件级查询（“wheel”）与整体概念查询（“car”），激活更集中准确。\n- **子图 vs 单体地图**：小场景（Replica SLAM）差异小（62.91 vs 61.37 f-mIoU）；大场景（KITTI SLAM）差异显著（37.77 vs 28.24 f-mIoU），说明子图机制的价值随环境规模与漂移增大。\n- **综合结论**：默认配置（eSAM 全分辨率 + CLIP + 加权融合 + 子图）在语义精度、运行时间与内存之间取得最佳平衡（Sec. IV-C 末段）。\n\n### 5. 结果解读注意事项\n\n- 硬件不完全一致：HOV-SG 计时取自 [^24]（RTX 3090），其余为 RTX 4500（Table II 脚注），跨方法速度对比需谨慎。\n- Replica 为仿真数据，且为适配立体 SLAM 额外用 Habitat-Sim [^36] 渲染了右移 6 cm 的合成右目图像（Sec. IV-B）；KITTI 深度来自立体预处理（Sec. IV-C）。\n- 结果存在轻微随机性：即使使用 GT 位姿，子图创建仍依赖后台运行的 SLAM（Sec. IV-B）。\n- Table III 中标注 RayFronts@1m 的行计时为失败前外推值（脚注 2），而脚注 1 与正文均说明 RayFronts 在 0.1 m 失败；表格行标签与正文存在轻微不一致，解读时以正文为准。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：未来可探索的方向（What could be explored next?）\n\n### 一、浅层：论文自述的未来工作（Sec. V）\n\n论文在结论中明确给出两个方向：\n\n1. **语义先验与层级地图表示**：引入 semantic priors 或 hierarchical map representations，使机器人在当前场景缺乏观测时也能进行\"有先验知识的探索\"（informed exploration）（Sec. V）。\n2. **动态物体与人**：在场景中考虑动态物体和行人仍是待解决的开放挑战（Sec. V）。当前系统隐含静态场景假设（Sec. III-D 的语义/空间一致性假设），且 SemanticKITTI 评测中直接排除了 \"moving\"/\"other\" 类（Sec. IV-C）。\n\n### 二、中层：理论方向\n\n1. **聚合特征的表达力与一致性理论**：Eq. (1) 的加权平均更新（Sec. III-D）经消融验证可提升多视角一致性（Table III \"FA - no Fusion\" 对比），但缺乏对\"平均 CLIP 特征在查询时判别性损失\"的理论刻画；可研究特征流形上更鲁棒的聚合方式（如中位数、注意力加权）及其收敛性/可分性保证。\n2. **as-fine-as-possible 分割策略的形式化**：Fig. 3 的贪心\"优先取最小段\"策略缺乏最优性分析；可将其建模为在线集合划分/跟踪问题，给出查询粒度—内存—精度之间的权衡界。\n3. **层级化开放词汇地图理论**：将物体级特征聚合扩展为\"物体—房间—楼层\"层级（呼应 Sec. V 的 hierarchical map representations），研究跨层级查询的语义传播与不确定性传播机制。\n4. **语义引导探索的理论基础**：Sec. IV-D 的效用加权（第二个公式，相似度阈值 β）是启发式的；可建立\"语义信息增益\"与覆盖信息增益的统一目标函数，并分析查询条件下的探索完备性与次优性界。\n5. **漂移—语义耦合建模**：Table III 显示使用 SLAM 位姿时大场景语义精度显著下降（mAcc 51.24→32.26），可研究位姿不确定性如何传播到段关联与特征聚合，形成 SLAM 与语义地图的联合优化框架。\n\n### 三、中层：工程方向\n\n1. **动态环境鲁棒性**：在 supereight2 占据子图与段跟踪（Sec. III-C/III-D）中引入动态掩码与运动一致性检验，支持移动物体/人员的地图更新与遗忘机制（直接呼应 Sec. V）。\n2. **机载算力优化**：Table IV 显示 MAV 上 CLIP 推理达 340 ms/帧，是主要瓶颈；可探索蒸馏/量化版 CLIP、TensorRT/半精度部署、或异步关键帧级特征融合，减少对深度积分降频至 3 Hz 的依赖（Sec. IV-E）。\n3. **分割与编码器模型升级**：Table III 消融已测试 SAM2 与半分辨率 eSAM；Table I 显示换用 NARADIO 编码器后 f-mIoU 最高达 66.91，可研究在内存与精度之间自适应切换编码器的机制。\n4. **多机器人/协同扩展**：子图+回环架构（Sec. III-B/III-C）天然适合分布式建图；可研究跨机段关联、特征一致性合并与协同探索任务分配。\n5. **下游任务深化**：将语言查询地图与抓取、操作及 VLM 推理（如论文引用的 LLaVA [^13]）结合，实现\"找到—报告—操作\"闭环；扩展查询驱动的多目标任务规划（Sec. IV-D/IV-E）。\n6. **长期运行与地图生命周期管理**：当前仅展示单次任务部署（Sec. IV-E）；需研究重复观测下的特征更新策略、光照/季节变化适应与内存回收机制。\n\n### 四、中层：数据与评测方向\n\n1. **开放词汇评测协议改进**：当前沿用闭集 mAcc/f-mIoU（Sec. IV-A），无法完全反映开放词汇查询质量；可构建自由文本查询—定位基准，涵盖同义词、物体部件（如 Fig. 4 的 \"wheel\" vs \"car\"）与房间级查询。\n2. **动态与真实 S&R 数据集**：现有评测（Replica、SemanticKITTI、HM3D，Sec. IV-B/IV-C/IV-D）均为静态场景；需要含行人/车辆运动、烟雾遮挡等真实灾难响应数据，以验证 Sec. V 指出的动态挑战。\n3. **更大规模与多楼层场景**：Table III 显示 0.1 m 分辨率下 RayFronts 因 GPU 内存不足失败而本方法可行；可进一步在多楼层建筑、公里级户外评测子图机制与回环校正的扩展极限。\n4. **端到端任务级指标**：Sec. IV-D 仅评测网格完整度与 RMSE（Fig. 5）；可补充\"查询目标发现时间/成功率\"\"语言引导探索增益\"等指标，并扩展查询集（当前仅 \"bed\"/\"bathroom\" 两个，Sec. IV-D）。\n5. **跨域泛化评测**：室内→户外、仿真→真实的编码器域差（CLIP vs RADIO）对段级聚合精度的影响尚缺系统研究（Sec. IV-B/IV-C 结果差异暗示此问题）。\n\n### 五、深层：优先级建议（结合系统定位）\n\n- **短期（工程收益最高）**：机载推理加速（Table IV 瓶颈）+ 动态物体掩码——直接决定 S&R 场景可用性（Sec. I 应用动机）。\n- **中期（理论+系统）**：层级语义地图与语义引导探索的统一效用函数（Sec. IV-D 公式 + Sec. V 层级方向），支撑\"无观测先验的探索\"。\n- **长期（社区层面）**：建立开放词汇 3D 建图的标准化评测协议与动态真实基准，弥合闭集指标（Sec. IV-A）与开放词汇能力之间的鸿沟。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界使用视角（部署约束、算力/延迟、鲁棒性/安全性与可维护性）\n\n### 1. 部署形态与目标场景（浅层理解）\n\n- **目标应用**：搜救（S&R）与灾难响应中的 MAV 自主探索；火灾场景下定位“灭火器”“出口”等兴趣点（Sec. I、Fig. 1、Sec. IV-E）。\n- **部署形态**：完全在线、机载运行——系统在自定义四旋翼上仅依赖机载计算：RealSense D455 立体 RGB-D 相机 + NVIDIA Jetson Orin NX 16 GB（Sec. IV-E）。作者强调这是首个在资源受限 MAV 上完全在线部署的此类系统（Sec. V）。\n- **与离线方法的区别**：无需部署前训练（对比 NeRF/Gaussian Splat 类方法需耗时训练，Sec. II-B），建图与语言查询实时完成，适合时间敏感的应急任务。\n\n### 2. 部署约束（中层分析）\n\n- **内存约束**：开放词汇特征按物体级聚合是关键使能因素——SemanticKITTI 上 0.5 m 分辨率仅 9.91 GB（RayFronts 为 24.61 GB）；0.1 m 分辨率下 RayFronts 因 GPU 内存不足（可用 24.5 GB）在所有序列上失败，FindAnything 以 16.23 GB 成功（Table III 及脚注 1）。摘要声称相比基线最高节省 60% 内存。\n- **传感器约束**：依赖 VI-SLAM（OKVIS2-X），需要立体/RGB-D 相机与 IMU（Sec. III-B）；单目数据（如 Replica）需用 Habitat-Sim 额外合成右目图像（Sec. IV-B），实际部署须保证双目基线。\n- **分辨率-内存解耦**：语言表征绑定段 ID 而非体素，使高分辨率建图不显著增加内存（Sec. III-D），这是资源受限平台可行的核心设计。\n- **感知范围限制**：室外实验深度积分范围设为 10 m（Sec. IV-C），感知受限时探索效率依赖前端策略；对比中禁用了 RayFronts 的射线前沿远距离建图以公平评测（Sec. IV-A）。\n\n### 3. 计算/延迟影响（中层分析）\n\n- **逐帧耗时分解（Table IV）**：\n  - 桌面 GPU（RTX 4500）：eSAM 推理 105 ms 为最大瓶颈，段跟踪 109 ms、深度积分 40 ms、CLIP 仅 14 ms。\n  - 机载 Jetson Orin NX：CLIP 推理飙升至 340 ms（约为桌面 24 倍），eSAM 171 ms——网络推理是机载主要延迟来源。\n- **机载降级策略**：eSAM 输入降采样至半分辨率并仅查询 36 个均匀分布点（Sec. IV-E）；为避免稀疏重建，允许在缺少 CLIP/eSAM 输出时以软件限制的 3 Hz 继续深度积分（Sec. IV-E）——这是精度-实时性的显式工程权衡。\n- **CPU/GPU 分工**：段跟踪与过分割完全在 CPU 计算，释放 GPU 给基础模型（Sec. III-D）；Table IV 横线表明各阶段分布于不同线程，构成多线程流水线。\n- **序列级吞吐**：Replica 全序列 5 m 24 s，快于 RayFronts（9 m 19 s），远快于 HOV-SG（11 h 12 m）（Table II）；SemanticKITTI 上与 RayFronts 运行时间相当（约 288 s vs 278 s，Table III），且分辨率提升到 0.1 m 时开销几乎不变（瓶颈在网络图像处理）。\n\n### 4. 鲁棒性与安全性（深层分析）\n\n- **漂移与地图一致性**：大场景下 SLAM 漂移不可避免——KITTI 上使用 SLAM 位姿使 mAcc 从 51.24 降至 32.26（Table III）；但子图+回环校正机制显著优于单体地图（mAcc 23.81 vs 32.26），证明子图架构是真实大场景鲁棒性的必要条件（Sec. IV-C）。Replica 小场景中 GT 与 SLAM 位姿差异可忽略（Sec. IV-B）。\n- **几何保真风险**：supereight2 在粗分辨率（0.5 m）下可能丢失细结构（如杆状物），导致该类语义召回下降（Sec. IV-C）；实际部署需按任务需求选择体素分辨率。\n- **安全导航基础**：占据地图显式区分 occupied/free/unmapped，可直接用于安全路径规划（Sec. III-C），满足应急场景“最小人工监督下安全运行”的需求（Sec. I）。\n- **已知局限与失效模式**：动态物体与行人未处理，被列为开放挑战（Sec. V）；结果存在轻微随机性（即使 GT 位姿，子图创建仍依赖后台 SLAM，Sec. IV-B）；隔帧处理策略（每 10 帧）的精度依赖数据集运动连续性，快运动场景可能退化（Sec. IV-B）。\n- **语义假设风险**：方法依赖语义一致性与子图间空间一致性假设，跨子图段跟踪被省略（Sec. III-D）——若回环校正幅度大或物体外观剧变，特征关联可能出错。\n\n### 5. 可维护性（深层分析）\n\n- **模块化设计**：SLAM（OKVIS2-X）、体积建图（supereight2）、分割基础模型（eSAM）、VL 编码器（CLIP）均为可替换组件：\n  - 换用 NARADIO 编码器可提升精度（Replica f-mIoU 66.91 vs 62.71，Table I），但作者因 CLIP 嵌入维度低、内存占用小而默认选 CLIP（Sec. IV-B）——精度/资源可按平台调节。\n  - 消融显示分割模型替换（SAM2）或半分辨率推理对语义精度影响很小（Table III：FA-SAM2 f-mIoU 54.28 vs FA 53.90），主要影响运行时间与内存——维护时可灵活降级。\n- **加权特征融合（Eq. (1)）**：多视角加权平均更新优于仅存首帧特征（FA-no fusion f-mIoU 50.26 vs 53.90，Table III），提升长期运行下的表征一致性。\n- **代码与资料**：项目页 <https://ethz-mrl.github.io/findanything/> 提供系统信息与演示；正文未附机构图例与补充材料，复现需结合 OKVIS2-X、supereight2 等开源依赖及公开数据集（Replica、SemanticKITTI、HM3D）。\n- **演进方向**：作者计划引入语义先验/层级地图以支持无观测时的探索引导，并处理动态物体（Sec. V）。\n\n### 6. 落地可行性小结\n\n- **已验证的真实使用证据链**：仿真探索（HM3D + Gazebo，每查询 10 次重复、每次 10 分钟典型飞行时间，语言引导显著提升目标区域完整度与 RMSE，Sec. IV-D、Fig. 5）→ 真实办公室火灾场景模拟（在线查询“fire extinguisher”/“kitchen”，Sec. IV-E、Fig. 1）→ 机载 Jetson 实时运行（Table IV）。\n- **结论**：该系统在“资源受限 + 大规模未知环境 + 实时语言查询”三重约束下已具备真实部署雏形；主要落地风险在于机载网络推理延迟（CLIP 约 340 ms/帧）、动态场景缺失与 SLAM 漂移下的语义退化，需通过降级策略、分辨率选择与未来动态处理模块缓解。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：简明总结\n\n### 1. 总结段落（6–8 句）\n\n本文提出 FindAnything，一个面向大规模未知环境的实时开放词汇、以物体为中心的体积建图系统，旨在解决资源受限平台（如 MAV）上开放词汇语义建图的计算与内存瓶颈（Abstract, Sec. I）。系统集成三大模块：基于 OKVIS2-X 的 VI-SLAM 提供位姿估计与回环校正，基于 supereight2 的体积占据子图提供几何表示与安全导航，CLIP + eSAM 的视觉-语言特征融合提供开放词汇语义（Sec. III, Fig. 2）。核心机制是 as-fine-as-possible 分割策略：在图像空间将 eSAM 分割提议与地图渲染段贪心融合并优先保留更小分割，实现跨帧段跟踪，并将逐像素 CLIP 特征按段加权平均聚合到物体级（Sec. III-D, Fig. 3, Eq. (1)）。在 Replica 与 SemanticKITTI 基准上，FindAnything 语义精度与 SOTA 相当（换用相同 NARADIO 编码器时最高），同时处理速度显著更快、内存最多节省约 60%（Table I–III, Sec. IV-B/IV-C）。子图结构配合 SLAM 回环在大规模漂移场景下明显优于单体地图（SLAM 位姿下 f-mIoU 37.77 对 28.24，Table III）。系统进一步扩展采样式探索规划器，以查询嵌入与段嵌入的余弦相似度加权候选视角效用，在模拟搜救任务中提升目标物体/区域的重建完整度与精度（Sec. IV-D, Eq. (2), Fig. 5）。最终，FindAnything 在搭载 Jetson Orin NX 的真实四旋翼 MAV 上完全在线机载运行，并在模拟消防场景中成功定位 “fire extinguisher” 等目标，验证了实际部署能力（Sec. IV-E, Table IV, Fig. 1）。\n\n### 2. 五个关键要点\n\n1. **物体级特征聚合是内存效率的核心**：将 768 维逐像素 CLIP 特征按分割段（物体/部件）聚合存储而非逐体素存储，解耦体素分辨率与语言表示；SemanticKITTI 上内存约为 RayFronts 的 40%（Sec. III-D, Table III）。\n2. **as-fine-as-possible 分割兼顾细粒度与泛化**：图像空间贪心优先更小的 eSAM 分割段进行跟踪与过分割，既支持 “wheel” 等部件级查询，又借 VL 特征保留 “car” 等整体概念（Fig. 3, Fig. 4）。\n3. **子图 + 回环保证大规模一致性**：submap 结构使漂移可被回环校正；SLAM 位姿下子图版本显著优于单体地图（f-mIoU 37.77 对 28.24，Table III），证明子图设计在大规模场景的必要性。\n4. **精度与效率兼得**：Replica 上 FindAnything (NARADIO) 取得最高 mAcc 53.55 / f-mIoU 66.91，单序列处理 5m24s，远快于 HOV-SG 的 11h12m；加权平均特征融合（Eq. (1)）较仅存首帧特征（FA - no fusion）提升精度（Table I–III）。\n5. **真实 MAV 机载在线部署与语言引导探索**：在 Jetson Orin NX 上完全在线运行（eSAM 半分辨率 + 36 查询点等工程优化，Table IV），语言相似度加权探索效用（Eq. (2)）在模拟消防场景中定位 “fire extinguisher” 并引导探索（Sec. IV-D/IV-E, Fig. 1, Fig. 5）。\n\n### 3. 核心公式/机制\n\n**逐段加权平均 VL 特征更新（Sec. III-D, Eq. (1)）**：\n\n$$\\bar{\\mathbf{f}}_{k}\\leftarrow\\frac{N_{k}\\,\\bar{\\mathbf{f}}_{k}+\\sum_{i=1}^{N}\\mathbf{F}_{t}[\\mathbf{u}_{i}]}{N_{k}+N},\\qquad N_{k}\\leftarrow N_{k}+N$$\n\n其中 $\\bar{\\mathbf{f}}_k$ 为分割段 k 的平均语言特征描述子，$N_k$ 为此前关联到该段的像素总数，$\\mathbf{F}_t$ 为逐像素 CLIP 特征图，$\\mathbf{u}_i$ 为当前帧段 ID 图像 $\\mathbf{K}_t$ 中取值为 k 的像素坐标。该机制使每个段仅需存储一个 768 维向量与像素计数器，即可跨视角累积语义观测，是物体级建图在内存与精度之间取得平衡的关键；消融实验表明其优于仅存储首帧特征的策略（FA - no fusion，Table III）。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 论文结构树\n\n``nFindAnything\n├── I. Introduction（动机：S&R 场景下 MAV 实时开放词汇建图；四大贡献）\n├── II. Related Work\n│   ├── A. Foundation Models（CLIP/LSeg 等视觉-语言模型及其精确定位局限）\n│   └── B. Open-Vocabulary-based Mapping & Navigation（NeRF/Gaussian、TSDF、点云、2D 地图、场景图、RayFronts）\n├── III. Methodology（系统核心）\n│   ├── A. Notation and Definitions（坐标系与符号：F_W、F_S、T_WS）\n│   ├── B. VI-SLAM（OKVIS2-X：滑窗优化 + 回环）\n│   ├── C. Volumetric Occupancy Mapping（supereight2 子图占据地图 + 子图位姿跟踪）\n│   └── D. Vision-Language Feature Fusion（CLIP + eSAM + as-fine-as-possible 分割 + 加权融合 Eq.(1)）\n├── IV. Evaluation and Experiments\n│   ├── A. Evaluation Criteria（mAcc、f-mIoU、运行时间、内存）\n│   ├── B. Indoor: Replica（精度 + 速度，Table I/II）\n│   ├── C. Outdoor: SemanticKITTI（大规模精度/内存 + 消融，Table III、Fig. 4）\n│   ├── D. Application: Autonomous MAV Exploration（语义引导探索，Fig. 5）\n│   └── E. Real-World Experiments（真实 MAV 机载部署，Fig. 1、Table IV）\n└── V. Conclusion（总结与未来方向：语义先验、层级地图、动态物体）\n``n\n\n### 2. 方法/系统分解（system 原型）\n\n### 输入\n\n- 双目 RGB 图像 + IMU 数据（VI-SLAM 输入，Sec. III-B）。\n- 深度图像 D_t（Replica 直接提供；KITTI 由 FoundationStereo [^37] 从双目预处理得到，最大积分深度 10 m，Sec. IV-C）。\n- 机器人位姿 T_WS_t（来自 OKVIS2-X [^28]）。\n- 自然语言查询（下游任务，Sec. IV-D）。\n\n### 输出\n\n- 以物体为中心的体积占据子图：每个占据体素携带 segment ID k，每个 segment 存储平均 VL 特征 f̄_k 与累计像素数 N_k（Sec. III-D）。\n- 语言查询激活图（cosine 相似度）→ 3D 几何位置映射。\n- 探索目标视角（供下游探索规划器使用）。\n\n### 模块与数据流\n\n1. **VI-SLAM（OKVIS2-X）**：对新双目帧估计状态 x_l，实时滑窗优化 + 回环校正，并按需更新历史状态（Sec. III-B）。\n2. **体积占据建图（supereight2 [^30]）**：将深度按位姿积分到子图；区分 occupied/free/unmapped，可直接用于安全路径规划；每个子图绑定一个 keyframe，子图间刚体变换在每次 SLAM 优化（含回环）后更新 [^31]（Sec. III-C）。\n3. **VL 特征提取**：CLIP ViT-L/14（336×336 输入），按 [^32] 得到每像素 768 维特征图 F_t；eSAM [^12] 生成二值分割掩码集合 E_t（Sec. III-D）。\n4. **图像空间 segment 跟踪（as-fine-as-possible 策略）**：将当前子图已有 segment 渲染到当前视角得 P_t = {(k_i, R_i)}；基于 eSAM 提议 E_t 与渲染 segment R_t 的 2D 重叠，贪心划分并优先保留较小 segment（高于阈值），生成逐像素 segment ID 图 K_t（Sec. III-D、Fig. 3）。该策略实现长期跟踪，且完全在 CPU 上计算，把 GPU 留给基础模型。\n5. **特征融合（Eq. (1)）**：对 K_t 中每个 segment ID k，取对应像素集合 N，按加权平均更新 f̄_k 与 N_k；多视角加权更新提升嵌入一致性。\n6. **查询与探索引导（Sec. IV-D）**：查询文本 → CLIP 文本嵌入 f_q；与各 segment f̄_k 计算 cosine 相似度，超过阈值 β 的 segment 关联 1 m³ 立方体，再做 3D 非极大值抑制去重；在立方体内采样候选视角（至多 n_c 个，否则回退到 frontier 采样），并按 Eq. (2) 的相似度加权效用函数排序（扩展自 [^41] 的信息增益效用）。\n\n## 训练/推理流程\n\n- **无训练环节、无损失函数**：系统纯推理，CLIP 与 eSAM 直接使用预训练权重；作者贡献在于系统集成与特征聚合策略。\n- 推理为多线程流水线（Table IV 横线分隔不同线程）：CLIP 推理、eSAM 推理、segment 渲染/跟踪、VL 融合、深度积分为一组；SLAM 前端/后端为另一组。\n\n### 3. 重要图表解读\n\n**Fig. 2（系统总览图）**\n展示完整数据流：VI-SLAM 提供位姿 → 深度 + RGB 积分到体积占据子图；eSAM 从 RGB 生成物体提议并与当前地图跟踪；CLIP 特征按物体掩码聚合后融合进当前子图；子图直接服务下游自主探索；自然语言输入转成 CLIP 特征，在地图中找高激活区域并引导探索。该图是理解系统架构的入口，与 Sec. III 各小节一一对应。\n\n**Fig. 3（as-fine-as-possible 分割策略示意）**\n从当前相机位姿渲染地图的 segment 图像，将渲染 segment 与 eSAM 提议融合，优先选择更小的可用分割。这解释了物体如何被过分割成细粒度实体（支持 wheel 级查询），同时 VL 特征的泛化能力保留对整体概念（car）的理解；Fig. 4 定性验证了这一点（wheel 与 car 查询的激活对比）。\n\n## Table I（Replica 3D 语义精度）\n\n- FindAnything（GT 位姿，CLIP）：mAcc 48.87 / f-mIoU 62.71，显著优于同编码器的 RayFronts(NACLIP)（26.44/32.66）；换用 NARADIO 编码器后达 53.55/66.91，为全表最高，验证模块化设计的可插拔性。\n- SLAM 位姿下 48.80/62.91，与 GT 几乎无差（小场景 SLAM 精度高）；子图版略优于单体版 FindAnything-Monolithic（61.37），体现回环校正带来的全局一致性收益。\n- † 表示每 10 帧处理一次：FindAnything† 44.48/62.01 仍优于 OVO-SLAM†（32.18/46.19）。\n\n**Table II（Replica 平均序列处理时间）**\nFindAnything 全帧 5m24s，快于 RayFronts（9m19s）与 HOV-SG（11h12m）；每 10 帧处理时 1m19s，快于 OVO-SLAM†（3m2s）。注意硬件差异：HOV-SG 时间取自 [^24]（RTX 3090），其余为 RTX 4500。\n\n## Table III（SemanticKITTI 精度 + 资源占用）\n\n- 0.5 m 分辨率：FindAnything 内存 9.91 GB，约为 RayFronts（24.61 GB）的 40%；f-mIoU 51.48 高于 RayFronts 的 35.60（mAcc 36.89 低于 45.85，因粗分辨率下 supereight2 丢失杆状等细结构）。\n- 0.1 m 分辨率：RayFronts 因 GPU 内存不足（24.5 GB）全部失败；FindAnything 以 16.23 GB 成功且精度升至 51.24/53.90，证明可扩展性。\n- 消融：FA-SAM2 与 FA-half-res 精度几乎不变（49.06/54.28 与 50.59/53.29），说明体素聚合抵消了分割像素级差异，但运行时间差异大（half-res 仅 124.5 s）；FA-no fusion（存首帧特征、不融合）f-mIoU 降至 50.26，验证 Eq. (1) 多视角加权平均有效。\n- SLAM 位姿：子图版 32.26/37.77 显著优于单体版 23.81/28.24，证明漂移存在时子图 + 回环校正的必要性。\n\n**Table IV（各阶段每帧耗时）**\n对比 Replica / 仿真探索 / 真实 MAV（Jetson Orin NX）：MAV 上 CLIP 推理升至 340 ms（图像降采样 + 36 个均匀查询点后 eSAM 为 171 ms），深度积分 64 ms，SLAM 前端 32 ms；横线分隔不同线程，体现流水线并行设计。为避免稀疏重建，MAV 上允许以软件限制的 3 Hz 在缺少 CLIP/eSAM 结果时仍积分深度（Sec. IV-E）。\n\n**Fig. 5（探索任务定量结果）**\nbed 与 bathroom 两类查询下，FindAnything（蓝）与无语义基线 [^41]（橙）的 mesh completeness 与 RMSE（10–90 百分位）：FindAnything 完整度更高、RMSE 更低且更稳定；bathroom（区域）优势大于 bed（物体），因为区域需要持续观测，而 segment 立方体内采样候选视角正好满足该需求（Sec. IV-D）。\n\n### 4. 实验与评测细节\n\n## 数据集\n\n- Replica [^34]（室内）：使用 [^10] 的预渲染序列；为适配双目 SLAM，用 Habitat-Sim [^36] 在原图右侧 6 cm 渲染合成右目；体素 5 cm。\n- SemanticKITTI [^35]（室外大规模）：双目经 FoundationStereo [^37] 预处理得深度；最大积分深度 10 m；分辨率 0.5 m 与 0.1 m；语义评测排除 moving/other 类。\n- Habitat-Matterport 3D [^42] 场景 00848-ziup5kvtCCR + 语义标注 [^43]：Gazebo [^44] 仿真 MAV，查询 bed 与 bathroom，每组合 10 次运行、每次 10 分钟（典型 MAV 续航）。\n- 真实实验：办公室消防场景，自定义四旋翼 + RealSense D455 + Jetson Orin NX 16 GB，纯机载计算。\n\n## 指标\n\n- 语义：mAcc（类平均召回）、f-mIoU（频率加权平均交并比），遵循 [^7][^8][^10][^33] 的闭集预测评测协议。\n- 效率：每序列平均时间 T_avg、每序列平均内存 M_avg（RayFronts 主要跑 GPU，故报告 GPU+RAM 总和）。\n- 探索：mesh completeness（GT 顶点 5 cm 内有重建多边形的百分比）与 RMSE。\n\n## 对比目标与公平性\n\n- 主基线 RayFronts [^7]；其余结果（ConceptFusion、ConceptGraphs、HOV-SG、Clio-batch、OVO-SLAM、Octree-Graph）多取自原论文。\n- 公平措施：相同体素分辨率与深度范围；batch size = 1 模拟在线建图；禁用 RayFronts 的 ray frontiers（超出深度范围的建图）以聚焦底层体积地图的语义与内存；竞品均用 GT 位姿，FindAnything 同时报告 GT 与 SLAM 位姿结果；评测前用 Sim(3) 对齐估计轨迹与 GT（Sec. IV-A/IV-C）。\n\n**消融汇总**\n(a) 分割模型选择（eSAM vs SAM2 vs 半分辨率 eSAM）；(b) 特征融合与过分割策略（加权平均 vs 首帧特征；过分割 vs 不过分割，Fig. 4）；(c) 子图 vs 单体地图（Replica 与 KITTI 双验证）；(d) VL 编码器（CLIP vs NARADIO，Table I）。结论：默认配置在精度、速度、内存间取得最佳平衡（Sec. IV-C）。\n\n### 5. 系统架构图（适配 system 原型）\n\n``n              双目 RGB + IMU             深度图 D_t\n                    │                        │\n                    ▼                        │\n       ┌─────────────────────┐              │\n       │  VI-SLAM (OKVIS2-X) │              │\n       │  滑窗优化 + 回环     │═══╗ 位姿 T_WS │\n       └─────────────────────┘   ║          │\n                 ║(回环校正)      ║          │\n                 ▼               ▼          ▼\n  RGB ──► CLIP ──► F_t ─┐   ┌──────────────────────┐\n                        ├──►│ 体积占据子图          │◄── 深度积分\n  RGB ──► eSAM ──► E_t ─┘   │ (supereight2, 多子图) │\n             │             └──────────────────────┘\n             │  渲染 P_t ◄──────────┘\n             ▼\n  as-fine-as-possible segment 跟踪（CPU）\n             │ K_t（逐像素 segment ID）\n             ▼\n  加权平均特征融合 Eq.(1) ──► segment {k: f̄_k, N_k}\n             │\n             ▼\n  ┌──────────────────────────────┐\n  │ 下游任务                      │\n  │ · 语言查询：f_q·f_k 相似度    │\n  │ · 探索引导：segment 立方体    │\n  │   采样 + Eq.(2) 加权效用      │\n  └──────────────────────────────┘\n``n\n关键设计点：segment 跟踪在图像空间进行（将地图物体投影到图像平面），避免了物体与其当前视图之间的体积不一致问题；语言表示与体素分辨率解耦，使高分辨率建图不会显著增加内存（Sec. III-D）。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍精读——深度评审\n\n### 1. 可复现性重构（Reconstructability）\n\n#### 1.1 系统流水线伪代码（依据 Sec. III、Fig. 2、Fig. 3、Sec. IV-D 重构）\n\n``n输入: 立体 RGB + 深度 D_t + IMU 流\n初始化: 子图集合 M ← {}\nfor 每帧 t:\n    1. x_l ← OKVIS2-X 滑窗优化 + 回环校正 (Sec. III-B)\n    2. 若触发关键帧: 新建子图; 回环后更新子图间刚体变换 (Sec. III-C, 方案源自 [^31])\n    3. E_t ← eSAM(RGB_t)                    # 二值分割掩码集合 (Sec. III-D)\n    4. F_t ← CLIP ViT-L/14@336px(RGB_t)     # 768 维逐像素特征 (Sec. III-D, [^32])\n    5. P_t ← Render(当前子图, T_WS_t)        # 渲染已有段掩码 + 段 ID (Sec. III-D)\n    6. K_t ← GreedyPartition(E_t, P_t)      # as-fine-as-possible: 2D 重叠贪心划分, 优先更小段 (Fig. 3)\n    7. 将 D_t 深度积分至占据子图 (Sec. III-C)\n    8. for 每段 ID k ∈ K_t:\n         N ← {u | K_t[u] = k}\n         f̄_k ← (N_k·f̄_k + Σ_{u∈N} F_t[u]) / (N_k + |N|)   # Eq. (1) 加权平均更新\n         N_k ← N_k + |N|\n语言查询 q:\n    f_q ← CLIP_text(q); 命中段 = {k | cos(f̄_k, f_q) ≥ β}   (Sec. IV-D)\n语义引导探索 (Sec. IV-D):\n    命中段 → 以段质心为中心的 1 m³ 立方体 → 3D 非极大值抑制\n    → 立方体内采样候选视角 (至多 n_c 个接受 / 3n_c 次尝试, 其余靠近 frontier)\n    效用 = [^41] 的信息增益/时间 × w_j;  w_j = cos(f̄_k, f_q) 若 ≥ β, 否则 β/2 (Sec. IV-D 第二个公式)\n``n\n\n#### 1.2 关键数据结构\n\n- supereight2 占据体素（occupied/free/unmapped）+ 扩展的段 ID k（Sec. III-D）；每个段 ID 存储 {平均特征 f̄_k, 累计像素数 N_k}。\n- 子图与关键帧一一关联，子图间变换随 SLAM 优化（含回环）更新（Sec. III-C, [^31]）。\n\n#### 1.3 复现所需但文中未完全量化的细节（风险点）\n\n- 相似度阈值 β 的具体数值未给出（Sec. IV-D）。\n- as-fine-as-possible 策略中“较小段”的判定阈值仅描述为 above a threshold，未量化（Sec. III-D, Fig. 3）。\n- 桌面 GPU 上 eSAM 的查询点设置未说明；仅 MAV 机载配置明确为半分辨率 + 36 个等分布点（Sec. IV-E）。\n- 子图创建/关联的触发条件依赖 [^31]，需查阅原文。\n- 多线程划分可由 Table IV 横线推断：CLIP/eSAM 推理、渲染+跟踪+融合、深度积分、SLAM 前端/后端分属不同线程。\n\n#### 1.4 复现可行性评估\n\n- 核心组件均有公开实现：OKVIS2-X [^28]、supereight2 [^30]、CLIP [^6]、eSAM [^12]；项目页 <https://ethz-mrl.github.io/findanything/>。\n- 数据集公开：Replica [^34]（需按 Sec. IV-B 用 Habitat-Sim [^36] 渲染偏移 6 cm 的合成右目）、SemanticKITTI [^35]（深度由 FoundationStereo [^37] 预处理，最大积分 10 m，Sec. IV-C）、HM3D [^42][^43]。\n- 总体判断：算法流程可重构，主要不确定性在超参默认值与线程调度细节，需依赖代码发布。\n\n### 2. 关键假设（Assumptions）\n\n- **语义一致性假设**：同一物体/段在不同视角与光照下的 CLIP 特征可直接加权平均（Sec. III-D 明示 the assumption of semantic consistency）。\n- **空间一致性假设**：子图经回环校正后空间一致，因此无需跨子图的段跟踪（Sec. III-D 末段）。\n- **静态世界假设**：系统不处理动态物体与行人（Sec. V 明确列为开放挑战）。\n- **零样本泛化假设**：CLIP + eSAM 足以在无场景先验时产生可靠分割与开放词汇特征（Sec. I、Sec. II-A）。\n- **资源受限降级假设**：MAV 上允许在缺少 CLIP/eSAM 输出时以软件限速 3 Hz 积分深度，以维持建图连续性（Sec. IV-E）。\n- **立方体近似假设**：物体空间范围可用 1 m³ 立方体近似，用于候选视角采样与 NMS（Sec. IV-D）。\n\n### 3. 失效模式与盲点（Failure Modes / Blind Spots）\n\n- **大尺度漂移退化**：SemanticKITTI 使用 SLAM 位姿时 mAcc 由 51.24 降至 32.26、f-mIoU 由 53.90 降至 37.77（Table III）；在回环稀少的长走廊场景退化可能更严重。\n- **粗分辨率下细结构丢失**：0.5 m 体素下 supereight2 难以保留杆状细结构，导致 mAcc 落后 RayFronts（36.89 vs 45.85，Sec. IV-C、Table III）。\n- **特征平均的语义稀释**：Eq. (1) 的简单加权平均在分割错误或段内视觉不一致时会被污染；消融仅对比“不融合”（FA - no Fusion，Table III），未研究鲁棒聚合（如中值、不确定性加权）。\n- **评估覆盖不足**：探索实验仅单一 HM3D 场景、两个查询（“bed”/“bathroom”）、各 10 次重复（Sec. IV-D、Fig. 5）；真实 MAV 实验（Fig. 1）为定性展示、无定量 S&R 指标；β 等超参未做敏感性分析。\n\n### 4. 优点与缺点（Strengths & Weaknesses）\n\n### 优点\n\n- **内存与速度优势显著**：KITTI @0.5 m 内存 9.91 GB vs RayFronts 24.61 GB（约 40%）；0.1 m 分辨率下 RayFronts 因 GPU 内存不足失败，FindAnything 仍正常运行且精度显著更高（Table III）；Replica 全序列 5m24s vs HOV-SG 11h12m（Table II）。\n- **语义精度具竞争力**：Replica 上 f-mIoU 62.71（CLIP）/ 66.91（NARADIO），同编码器下超过 RayFronts（Table I）。\n- **系统完整性与在线部署**：VI-SLAM + 子图占据建图 + VL 特征融合 + 语言查询 + 语义引导探索的端到端系统，首个在 Jetson Orin NX 上完全机载在线运行（Sec. IV-E、Table IV、Sec. V）。\n- **子图机制价值被量化验证**：SLAM 位姿下子图版 f-mIoU 37.77 vs 单体版 28.24（Table III），证明回环校正对大尺度语义建图的必要性。\n- **as-fine-as-possible 分割兼顾细粒度与概念级查询**：可区分“wheel”同时保留“car”的整体理解（Fig. 4 定性验证）。\n\n## 缺点\n\n- **每帧 GPU 推理开销大**：MAV 上 CLIP 340 ms + eSAM 171 ms（Table IV），帧率受限，需 3 Hz 降级策略维持几何完整性（Sec. IV-E）。\n- **KITTI 粗分辨率 mAcc 落后**：细结构保留强依赖体素分辨率（Table III）。\n- **无动态场景处理、无层级/房间级语义推理**（Sec. V 自述为未来工作）。\n- **部分超参未公开**（β、段大小阈值、桌面端 eSAM 点数），影响严格复现。\n- **探索评估规模小**：单场景、两查询，统计效力有限（Fig. 5）。\n\n### 5. 下一步研究方向（Next-Step Research Directions）\n\n- **语义先验与层级地图**：引入房间/楼层级表示，在当前场景缺乏观测时实现知情探索（Sec. V 明确规划的方向）。\n- **动态环境扩展**：结合时空 SLAM 思路（如 Khronos [^25]）处理动态物体与行人，支持长时程地图维护与更新（Sec. V 列出的开放挑战）。\n- **鲁棒特征聚合**：以不确定性加权、中值统计或注意力机制替代 Eq. (1) 的简单平均，抑制分割噪声、遮挡边界与视角差异对 f̄_k 的污染。\n- **嵌入压缩与更强编码器的权衡**：NARADIO 提升精度但嵌入维度更高（Table I），可研究低维蒸馏嵌入在段级聚合范式下的精度-内存帕累托前沿，进一步释放资源受限平台潜力。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（Glossary，共 35 条）\n\n#### 1. Open-Vocabulary Mapping（开放词汇建图）\n\n- **定义**：无需预先定义封闭类别集合，直接以自然语言查询三维地图中物体/区域位置的建图范式。\n- **直觉**：传统语义地图只能回答“这是不是椅子”，开放词汇地图能回答“灭火器在哪”这类任意问题。\n- **论文中的作用**：系统的核心目标能力，通过 CLIP 特征实现（Abstract、Sec. I）。\n- **前置知识**：封闭集语义分割的局限性、特征嵌入。\n\n#### 2. Vision-Language (VL) Model（视觉-语言模型）\n\n- **定义**：将图像与文本编码到同一特征空间的基础模型，使图像内容可用自然语言检索。\n- **直觉**：给每个像素/区域打上“可被语言搜索的指纹”。\n- **论文中的作用**：提供开放词汇语义来源；论文以 CLIP 为 VL 特征提取器（Sec. I、III-D）。\n- **前置知识**：对比学习、特征嵌入。\n\n#### 3. CLIP\n\n- **定义**：视觉-语言对比预训练模型；论文使用 ViT-L/14（336×336 输入），经 [^32] 方法获得每像素 768 维特征图 F_t。\n- **直觉**：把图片和文字放进同一“语义坐标系”的编码器。\n- **论文中的作用**：VL 特征来源；768 维嵌入在精度与内存间取得平衡（Sec. III-D、Table I 中 NARADIO 对比）。\n- **前置知识**：ViT/Transformer、对比学习。\n\n#### 4. SAM（Segment Anything Model）\n\n- **定义**：可提示的通用图像分割基础模型，生成二值分割掩码 [^11]。\n- **直觉**：自动告诉你“这个物体到哪为止”。\n- **论文中的作用**：相关工作中分割基础模型代表；FindAnything 采用其轻量变体 eSAM（Sec. II-A）。\n- **前置知识**：图像分割、掩码概念。\n\n#### 5. eSAM（EfficientSAM）\n\n- **定义**：SAM 的轻量化版本，推理更快；论文中从 RGB 图像生成二值掩码集合 E_t = {E_0,...,E_m}。\n- **直觉**：牺牲少量分割精度换取速度的 SAM 精简版。\n- **论文中的作用**：提供图像空间分割提案，是物体级特征聚合的基础（Sec. III-D、Fig. 2）；机载部署时降采样至半分辨率并查询 36 个点以加速（Sec. IV-E、Table IV）。\n- **前置知识**：SAM、掩码提示分割。\n\n#### 6. VI-SLAM（Visual-Inertial SLAM，视觉惯性 SLAM）\n\n- **定义**：融合相机与 IMU 的同步定位与建图，实时估计传感器相对世界坐标系 F_W 的位姿。\n- **直觉**：机器人边走边知道“我在哪、我看过什么”。\n- **论文中的作用**：为建图提供位姿 T_WS；采用 OKVIS2-X 实现（Sec. III-A/B）。\n- **前置知识**：状态估计、因子图优化、IMU 预积分。\n\n#### 7. OKVIS2-X\n\n- **定义**：多传感器关键帧 SLAM 系统，OKVIS2 的扩展，可融合深度信息，含滑动窗口与回环优化 [^28]。\n- **直觉**：FindAnything 的“定位引擎”。\n- **论文中的作用**：提供实时位姿估计与回环校正，驱动子图位姿更新（Sec. III-B、Fig. 2）。\n- **前置知识**：关键帧 SLAM、回环检测。\n\n#### 8. Volumetric Occupancy Mapping（体积占据建图）\n\n- **定义**：将空间划分为体素并标记占据/自由/未知状态的地图表示。\n- **直觉**：用大量小方块判断“哪里能走、哪里有东西”。\n- **论文中的作用**：几何地图基础，直接服务安全路径规划（Sec. III-C），基于 supereight2 实现。\n- **前置知识**：体素、占据概率。\n\n#### 9. supereight2\n\n- **定义**：支持多分辨率与显式自由空间表示的体积建图框架 [^30]。\n- **直觉**：FindAnything 的“几何骨架”库。\n- **论文中的作用**：提供占据子图表示；论文扩展其体素结构以携带 segment ID（Sec. III-C/D）。\n- **前置知识**：八叉树/哈希体素、占据建图。\n\n#### 10. Submap（子图）\n\n- **定义**：将大地图划分为多个局部体积地图，各自关联关键帧，经刚体变换连接 [^31]。\n- **直觉**：把厚书拆成章节，每章可单独修正再装订。\n- **论文中的作用**：大规模可扩展性与回环后校正的关键；SLAM 位姿下子图版 f-mIoU 37.77 显著优于单体版 28.24（Sec. IV-C、Table III）。\n- **前置知识**：SLAM 漂移、回环优化。\n\n#### 11. Loop Closure（回环检测）\n\n- **定义**：识别重访地点并施加约束以消除累积漂移的 SLAM 机制。\n- **直觉**：认出“这里我来过”，从而纠正走偏的轨迹。\n- **论文中的作用**：每次 SLAM 优化（含回环）后更新子图间变换（Sec. III-C）。\n- **前置知识**：位姿图优化、地点识别。\n\n#### 12. Object-Centric Map Representation（以物体为中心的地图表示）\n\n- **定义**：语义信息按物体/物体部件（segment）聚合存储，而非逐体素存储。\n- **直觉**：给每个物体存一份“语义摘要”，而不是给每个小方块都存一份。\n- **论文中的作用**：内存效率的核心来源——KITTI 上仅用 RayFronts 约 40% 内存（Sec. IV-C、Table III：9.91 vs 24.61 GB）。\n- **前置知识**：实例分割、特征聚合。\n\n#### 13. Segment / Segment ID (k)\n\n- **定义**：图像或地图中的连通语义分区；地图中每个占据体素携带 segment ID k，关联平均语言特征 f_k 与累计像素数 N_k。\n- **直觉**：地图里每个物体挂一个“名牌 + 语义档案”。\n- **论文中的作用**：特征聚合与语言查询的基本单元（Sec. III-D）。\n- **前置知识**：分割掩码、体素属性存储。\n\n#### 14. Segment Tracking（图像空间分割段跟踪）\n\n- **定义**：将当前子图已有 segment 渲染到当前视角图像平面，与 eSAM 新提案基于 2D 重叠进行关联或拆分。\n- **直觉**：不直接在 3D 里对齐物体，而是“把地图拍成照片”在照片里认物体。\n- **论文中的作用**：避免物体与当前视角的体积不一致；纯 CPU 计算，释放 GPU 给基础模型（Sec. III-D、Table IV：Replica 上 109 ms/帧）。\n- **前置知识**：渲染、2D 重叠（IoU）。\n\n#### 15. As-fine-as-possible Segmentation Strategy（尽可能细分割策略）\n\n- **定义**：贪心融合地图渲染 segment 与 eSAM 提案，优先保留较小分割（高于阈值）的建图策略（Fig. 3）。\n- **直觉**：宁可把车拆成“车轮 + 车身”，也不把两辆车粘成一坨。\n- **论文中的作用**：支持细粒度查询（“wheel”）同时保留大概念（“car”）；Fig. 4 定性展示优势（Sec. III-D、Fig. 4）。\n- **前置知识**：过分割、贪心算法。\n\n#### 16. Oversegmentation（过分割）\n\n- **定义**：将物体分割为比语义实体更小的部件单元。\n- **直觉**：把物体切成乐高积木，查询时再按语义拼回去。\n- **论文中的作用**：细粒度查询能力来源；查询时相似 segment 可被分组（Sec. I、III-D）。\n- **前置知识**：分割粒度权衡。\n\n#### 17. Weighted Average Feature Update（加权平均特征更新，Eq. (1)）\n\n- **定义**：按像素数递归更新每 segment 平均特征：f̄_k ← (N_k·f̄_k + ΣF_t[u_i])/(N_k+N)，随后 N_k ← N_k + N。\n- **直觉**：多角度看同一物体，把“语义印象”做滚动平均。\n- **论文中的作用**：提升嵌入的多视角一致性；消融显示优于只存首帧特征（FA - no Fusion：f-mIoU 50.26 vs 53.90，Table III）。\n- **前置知识**：在线均值估计、特征嵌入。\n\n#### 18. Feature Embedding（特征嵌入）\n\n- **定义**：高维连续向量表示（CLIP 为 768 维），编码语义信息，可与文本查询嵌入比对。\n- **直觉**：语义内容的“数字指纹”。\n- **论文中的作用**：开放词汇查询的载体，也是内存挑战的根源（Sec. I：类别标签 1 个整数 vs 数百个浮点数）。\n- **前置知识**：向量空间、内积。\n\n#### 19. Cosine Similarity（余弦相似度）\n\n- **定义**：两向量夹角余弦，度量查询嵌入 f_q 与 segment 嵌入 f_k 的语义匹配度。\n- **直觉**：两个“指纹”方向越一致，语义越接近。\n- **论文中的作用**：语言查询激活与探索目标选择（阈值 β）（Sec. IV-D、Eq. (2)）。\n- **前置知识**：向量内积、归一化。\n\n#### 20. mAcc（class-mean recall，类平均召回率）\n\n- **定义**：对每个语义类别计算召回率后取平均的封闭集评测指标。\n- **直觉**：每类“找全了多少”的平均。\n- **论文中的作用**：语义精度评测指标之一（Sec. IV-A、Table I/III）。\n- **前置知识**：分类评测、混淆矩阵。\n\n#### 21. f-mIoU（frequency-weighted mean IoU，频率加权平均交并比）\n\n- **定义**：按类别频率加权的平均交并比。\n- **直觉**：常见类权重更大的“重叠度”评分。\n- **论文中的作用**：主要语义精度指标；KITTI 上 FindAnything@0.5m 达 51.48，优于 RayFronts 的 35.60（Table III）。\n- **前置知识**：IoU、语义分割评测协议。\n\n#### 22. Replica Dataset\n\n- **定义**：高保真室内重建数据集，含语义标注 [^34]；论文使用与 [^10] 相同的预渲染序列，并用 Habitat-Sim 合成右目 6 cm 偏移图像以适配双目 SLAM。\n- **直觉**：室内语义建图的标准“考场”。\n- **论文中的作用**：室内精度与运行时评测（Sec. IV-B、Table I/II，体素 5 cm）。\n- **前置知识**：合成数据、Habitat 仿真。\n\n#### 23. SemanticKITTI\n\n- **定义**：大规模户外 LiDAR 语义数据集 [^35]；论文用 FoundationStereo [^37] 从双目图像预处理得到深度，最大积分距离 10 m。\n- **直觉**：户外大规模可扩展性的“考场”。\n- **论文中的作用**：评测内存、运行时与全部消融实验（Sec. IV-C、Table III）。\n- **前置知识**：LiDAR/双目深度估计、KITTI 里程计。\n\n#### 24. Habitat-Matterport 3D (HM3D)\n\n- **定义**：大规模室内场景数据集 [^42]；论文使用 00848-ziup5kvtCCR 场景与 [^43] 语义标注做探索仿真评测，平台由 Gazebo 仿真。\n- **直觉**：探索任务的虚拟住宅区。\n- **论文中的作用**：下游探索任务定量评测（Sec. IV-D、Fig. 5，查询 “bed”/“bathroom”）。\n- **前置知识**：具身 AI 仿真、语义标注。\n\n#### 25. MAV（Micro Aerial Vehicle，微型飞行器）\n\n- **定义**：小型无人机，可在三维空间自由移动，但算力、内存与续航受限。\n- **直觉**：算力弱但机动强的“空中救援员”。\n- **论文中的作用**：目标部署平台；真实实验为四旋翼 + RealSense D455 + Jetson Orin NX 16GB，仅机载计算（Sec. I、IV-E、Fig. 1）。\n- **前置知识**：机载计算、机器人平台约束。\n\n#### 26. Search and Rescue (S&R)（搜救）\n\n- **定义**：灾难场景中机器人替代人类进入危险区域执行侦察与定位的应用领域。\n- **直觉**：火灾中找“灭火器”和“出口”的机器人使命。\n- **论文中的作用**：论文动机与真实实验场景（Sec. I、IV-E、Fig. 1）。\n- **前置知识**：应急响应流程。\n\n#### 27. Foundation Model（基础模型）\n\n- **定义**：在互联网规模数据上预训练、可零样本迁移到多任务的通用模型（CLIP、SAM、LLaVA、LSeg 等）。\n- **直觉**：见多识广的“通才”，无需针对场景再训练。\n- **论文中的作用**：使系统无需场景先验即可部署于未知环境（Sec. II-A、V）。\n- **前置知识**：预训练-微调范式、零样本学习。\n\n#### 28. RADIO / NARADIO\n\n- **定义**：聚合式视觉基础模型 [^27]；RayFronts 基于其构建细粒度密集 VL 编码器（NARADIO）。\n- **直觉**：精度更高但维度更高、更耗资源的特征编码器。\n- **论文中的作用**：消融对比——FindAnything(NARADIO) 在 Replica 达最高 mAcc 53.55 / f-mIoU 66.91（Table I），但默认选 CLIP 以降低内存占用。\n- **前置知识**：知识蒸馏/模型聚合。\n\n#### 29. RayFronts\n\n- **定义**：户外开放集语义体素建图方法，将 VL 特征逐体素融合进 VDB 占据地图 [^7]；论文主要基线。\n- **直觉**：逐体素存特征的“高内存”对照方案。\n- **论文中的作用**：精度/速度/内存对比基准；0.1 m 分辨率下因 GPU 内存不足（24.5 GB）在所有序列上失败（Sec. II-B、IV-C、Table III）。\n- **前置知识**：VDB 体素数据结构、开放集感知。\n\n#### 30. ConceptFusion / ConceptGraphs / HOV-SG（场景图与点云类方法）\n\n- **定义**：将 VL 特征存入点云或 3D 场景图的实例级开放词汇建图代表工作 [^9][^10][^33]。\n- **直觉**：语义强，但几何信息不完整或缺乏回环校正机制的同类方法。\n- **论文中的作用**：相关工作对比与 Table I 精度参照（Sec. II-B）。\n- **前置知识**：3D 场景图、点云表示。\n\n#### 31. NeRF / Gaussian Splatting（语言嵌入辐射场/高斯泼溅）\n\n- **定义**：将语言特征嵌入神经渲染表示的方法（LERF、LangSplat 等 [^17]–[^19]），需部署前耗时训练。\n- **直觉**：照片级逼真但“先训练后用”，不适合在线机器人。\n- **论文中的作用**：相关工作动机对比，说明为何选择体积地图（Sec. II-B）。\n- **前置知识**：神经渲染基础。\n\n#### 32. Frontier-based Exploration（前沿探索）\n\n- **定义**：以已知与未知区域边界（frontier）附近采样候选视角、按信息增益-时间效用排序的自主探索策略 [^41]。\n- **直觉**：机器人总往“没看过的方向”飞。\n- **论文中的作用**：基线探索器核心机制；FindAnything 在其上加入 segment cube 采样与效用加权（Sec. IV-D）。\n- **前置知识**：信息增益、占据地图。\n\n#### 33. Segment Cube（段立方体）\n\n- **定义**：以 segment 体积质心为中心的 1 m³ 立方体，用于采样候选下一视角；先做 3D 非极大值抑制去重。\n- **直觉**：给疑似目标物体画一个“搜索框”，让相机凑近看。\n- **论文中的作用**：语义引导探索的关键扩展；解释了 “bathroom” 等区域查询收益更大的原因（Sec. IV-D、Fig. 5）。\n- **前置知识**：非极大值抑制（NMS）、采样式规划。\n\n#### 34. Information-Gain Utility Weighting（信息增益效用加权，Eq. (2)）\n\n- **定义**：候选视角 j 的效用按其所在 segment 与查询的余弦相似度加权：相似度 ≥ β 时权重为相似度本身，否则为 β/2。\n- **直觉**：既“看得多”又“像目标”的视角优先。\n- **论文中的作用**：将自然语言查询融入探索排序，实现语言引导的 3D 探索（Sec. IV-D）。\n- **前置知识**：效用函数、信息增益规划、余弦相似度。\n\n#### 35. Mesh Completeness & RMSE（网格完整度与均方根误差）\n\n- **定义**：完整度为 5 cm 内存在重建多边形的真值顶点百分比；RMSE 为重建网格相对真值的均方根误差。\n- **直觉**：“目标看全了吗、看得准吗”。\n- **论文中的作用**：探索任务定量指标；FindAnything 在 “bed”/“bathroom” 查询上完整度与精度均优于无语义基线且更稳定（Sec. IV-D、Fig. 5）。\n- **前置知识**：网格重建、点到面误差度量。\n\n### 二、概念依赖图（文本版）\n\n``n【基础层：数学与机器人基础】\n├── 位姿 T_WS / 坐标系 F_W, F_S\n│ └── 依赖：刚体变换、SE(3)\n├── 特征嵌入 / 余弦相似度\n│ └── 依赖：线性代数、向量空间\n└── 体素 / 占据概率\n    └── 依赖：三维几何、概率表示\n\n【感知与定位层】\n├── VI-SLAM（OKVIS2-X）\n│ ├── 依赖：视觉惯性状态估计、关键帧、滑动窗口优化\n│ └── 输出：位姿 T_WS、回环校正\n├── 回环检测（Loop Closure）\n│ └── 依赖：地点识别、位姿图优化\n└── 深度积分（Depth Integration）\n    └── 依赖：深度相机/双目立体（FoundationStereo）、位姿\n\n【几何建图层】\n├── 体积占据建图（supereight2）\n│ ├── 依赖：体素、占据概率、深度积分\n│ └── 输出：占据/自由/未知 → 安全路径规划\n├── 子图（Submap）\n│ ├── 依赖：体积建图、关键帧关联\n│ └── 支撑：回环后子图变换更新 → 大规模可扩展性\n└── 单体地图（Monolithic，对照）\n    └── 消融证据：SLAM 漂移下精度显著下降（Table III：28.24 vs 37.77 f-mIoU）\n\n【语义感知层】\n├── 基础模型（Foundation Models）\n│ ├── CLIP → 每像素 768 维 VL 特征图 F_t\n│ └── SAM → eSAM → 二值分割掩码集合 E_t\n└── 开放词汇建图范式\n    ├── 依赖：VL 模型 + 分割基础模型\n    └── 对照：封闭集语义建图、NeRF/高斯泼溅、场景图/点云方法（RayFronts、ConceptFusion 等）\n\n【核心方法层（FindAnything 贡献）】\n├── 物体中心表示（segment ID k、f_k、N_k）\n│ ├── 依赖：占据建图 + eSAM 分割\n│ └── 产出：内存效率（Table III：约 RayFronts 的 40%）\n├── 图像空间 segment tracking\n│ ├── 依赖：地图 segment 渲染 + 2D 重叠匹配\n│ └── 产出：跨帧物体关联（纯 CPU 实现，Table IV）\n├── as-fine-as-possible 过分割策略\n│ ├── 依赖：segment tracking、贪心小段优先（Fig. 3）\n│ └── 产出：细粒度查询能力（Fig. 4：wheel vs car）\n└── 加权平均特征更新（Eq. (1)）\n    ├── 依赖：segment ID 图 K_t、CLIP 特征图 F_t\n    └── 产出：多视角一致的 f_k（消融：FA - no Fusion 对照）\n\n【查询与下游任务层】\n├── 自然语言查询\n│ ├── 依赖：CLIP 文本编码器 + f_k 余弦相似度\n│ └── 产出：地图 3D 激活（Fig. 1：fire extinguisher / exit）\n└── 语义引导探索\n    ├── 依赖：segment cube + 3D NMS + 效用加权 Eq. (2)\n    │ └── 基础：前沿探索 [^41] + 信息增益\n    └── 评测：mesh completeness / RMSE（Fig. 5，HM3D + Gazebo）\n\n【部署层】\n├── Jetson Orin NX 机载平台\n│ └── 约束适配：eSAM 半分辨率 + 36 查询点、3 Hz 深度积分降级\n└── 实时性\n    └── 依赖：CPU/GPU 多线程分工（Table IV：CLIP/eSAM 在 GPU，tracking/fusion 在 CPU）\n\n【依赖主线总结】\nVI-SLAM 位姿 → 深度积分 → 占据子图 →（eSAM 分割 + segment tracking + 过分割）→ segment ID 写入体素\n→（CLIP 特征 + Eq.(1) 加权聚合）→ 物体级 f_k →（余弦相似度查询）→ 语言定位\n→（segment cube + Eq.(2) 效用加权）→ 语言引导 MAV 探索 → 机载实时部署\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证、冲突与参考文献核查\n\n### 1. 关键事实性主张核查（每条给出论文内多源定位与交叉验证）\n\n### 主张 1：语义精度与 SOTA 相当；使用与 RayFronts 相同的 VL 编码器（NARADIO）时取得最高精度。\n\n- 来源 A：Table I（Sec. IV-B）——FindAnything (NARADIO)：mAcc 53.55 / f-mIoU 66.91；RayFronts (NARADIO)：52.90 / 64.97；FindAnything（CLIP，GT 位姿）：48.87 / 62.71。\n- 来源 B：Abstract（声称 performs on par with the state-of-the-art in terms of semantic accuracy）与 Sec. IV-B 正文（it can achieve the highest semantic accuracy when using the same VL encoder (NARADIO) as RayFronts）。\n- 核查结论：论文内两处相互印证，一致。保留项：Table I 中带脚注 1 的竞品数字取自各自原论文，评测协议与硬件可能不完全一致。\n\n### 主张 2：内存最多节省约 60%（Abstract 声称 up to 60% less memory）。\n\n- 来源 A：Table III（Sec. IV-C）——SemanticKITTI @0.5 m：FindAnything 9.91 GB vs RayFronts 24.61 GB；9.91/24.61 ≈ 40.3%，即节省约 59.7%。\n- 来源 B：Sec. IV-C 正文（FindAnything uses only 40% of the memory thanks to the aggregation of VL features at the segment level）。\n- 核查结论：三处数值自洽（使用 40% 与节省 60% 等价）。保留项：@0.1 m 分辨率下 RayFronts 直接失败，该分辨率无法对比；60% 的说法仅在 @0.5 m 可验证。\n\n## 主张 3：RayFronts 在 0.1 m 分辨率因 GPU 内存不足（24.5 GB 可用）在所有序列上失败。\n\n- 来源 A：Table III 脚注 1（RayFronts@0.1m failed on all sequences due to insufficient GPU memory, 24.5 GB available）。\n- 来源 B：Sec. IV-C 正文（RayFronts fails at finer resolutions (0.1 m) due to insufficient GPU memory）。\n- 核查结论：论文内一致；属作者单方报告，无独立复现。另注意 Table III 脚注 2：RayFronts@0.1 m 的时间为外推值，非实测。\n\n## 主张 4：Replica 上运行时间显著快于基线。\n\n- 来源 A：Table II——FindAnything 5m24s；RayFronts 9m19s；HOV-SG 11h12m；每 10 帧设置下 FindAnything 1m19s vs OVO-SLAM 3m/2s。\n- 来源 B：Sec. IV-B 正文（our method is substantially faster than [^9] and faster than other competitors, e.g. OVO-SLAM or RayFronts）。\n- 核查结论：一致，但有两点保留： HOV-SG 时间取自文献 [^24] 且硬件为 NVIDIA RTX 3090，其余为 RTX 4500（Table II 脚注），跨硬件比较不完全公平； Table II 中 3m/2s 与 9m/19s 的分数式排版含义正文未明示（疑为两种设置下的数值），需对照原 PDF 确认。\n\n## 主张 5：系统组件构成（OKVIS2-X + supereight2 + CLIP + eSAM）。\n\n- 来源 A：Sec. III-B（VI-SLAM 基于 OKVIS2-X [^28]，含深度、滑窗与回环优化）；Sec. III-C（几何用 supereight2 [^30] 占据子图，子图-关键帧关联与回环后更新依 [^31]）；Sec. III-D（CLIP ViT-L/14@336px [^6]，经 [^32] 得 768 维逐像素特征；eSAM [^12] 生成二值分割掩码）。\n- 来源 B：Fig. 2 系统概览与 Sec. I 贡献列表。\n- 外部核对：引用条目与各组件实际文献一致（CLIP=ICML 2021；eSAM=CVPR 2024；OKVIS2-X=IEEE T-RO 2025；supereight2 对应 Funk et al., RA-L 2021）。\n- 核查结论：一致。\n\n## 主张 6：Eq. (1) 的按段加权平均特征更新优于仅存首个特征（FA - no Fusion）。\n\n- 来源 A：Sec. III-D Eq. (1)（f̄_k 按 N_k 与当前帧 N 个像素加权平均更新）。\n- 来源 B：Table III 消融行——FA - no Fusion：mAcc 49.88 / f-mIoU 50.26，低于完整 FA 的 51.24 / 53.90（GT 位姿）。\n- 核查结论：一致；f-mIoU 提升约 3.6 点，属中等效应，与 Fig. 4 的定性过分割收益相互补充。\n\n## 主张 7：真实 MAV 机载在线部署（Jetson Orin NX 16 GB + RealSense D455）。\n\n- 来源 A：Sec. IV-E 正文（自定义四旋翼、图像降采样至半分辨率、eSAM 均匀 36 个查询点、无 CLIP/eSAM 时以软件限制的 3 Hz 兜底积分深度）。\n- 来源 B：Table IV 的 Exploration MAV 列（CLIP 340 ms、eSAM 171 ms、深度积分 64 ms 等）与 Fig. 1（办公室场景对 fire extinguisher / exit 的查询激活演示）。\n- 核查结论：图文一致；但为作者自报，无第三方复现。另见第 2 节第 7 条的图引用疑误。\n\n## 主张 8：语义引导探索优于无语义基线（HM3D，查询 bed / bathroom）。\n\n- 来源 A：Sec. IV-D 正文（场景 00848-ziup5kvtCCR、Gazebo 仿真、5 cm 体素、每组合 10 次 × 10 分钟、完整性定义为 5 cm 内 GT 顶点百分比、候选视角采样与效用加权公式）。\n- 来源 B：Fig. 5（完整度与 RMSE 的 10–90 分位数，FindAnything 对两个查询均优于基线 [^41]，bathroom 优势大于 bed）。\n- 核查结论：图文一致；但结果仅以图呈现、无精确数值表，且作者自述查询选择受 HM3D 场景与标注限制（Sec. IV-D 四条理由），外部效度有限。\n\n## 主张 9：子图机制相对单体地图的必要性（尤其大场景 + SLAM 位姿）。\n\n- 来源 A：Table I（Replica，SLAM 行：子图 48.80/62.91 vs 单体 47.57/61.37）与 Table III（KITTI，SLAM 行：子图 32.26/37.77 vs 单体 23.81/28.24）。\n- 来源 B：Sec. IV-B / IV-C 正文（回环校正后对子图做刚体变换可消除地图不一致；KITTI 大规模场景漂移不可避免）。\n- 核查结论：一致；大场景下差距显著放大，支持作者论点。注意 Replica 上 GT 与 SLAM 位姿差异可忽略（Sec. IV-B），两数据集结论适用范围不同，不构成矛盾。\n\n### 2. 冲突与不确定性说明\n\n1. **发表信息缺失**：正文未标注会议/期刊与年份；IEEE 双栏会议排版，参考文献最晚至 2025（[^26] ICCV 2025、[^28] T-RO 2025、[^31] IROS 2025、[^37] CVPR 2025、[^38] ICLR 2025、[^41] ICRA 2025），推测为 2025 年前后机器人会议（ICRA/IROS），无法从文本确证。\n2. **机构图例缺失**：作者上标 1–6 无对应说明；仅能由项目页 ethz-mrl.github.io 推断与 ETH Zurich 相关实验室有关；Helen Oleynikova（上标 2）与 S. Leutenegger（1,2,3,5,6）的多机构归属无法从文本确认（Leutenegger 兼职 TUM 属外部常识，非论文内证据）。\n3. **Table II 排版歧义**：OVO-SLAM 的 3m/2s 与 RayFronts 的 9m/19s 疑为两种设置（如每 10 帧 vs 全帧）下的数值，正文未明示，需对照原 PDF。\n4. **跨硬件比较**：HOV-SG 时间来自 [^24]（RTX 3090），本文其余实验为 RTX 4500（Table II 脚注），时间对比存在硬件混杂。\n5. **竞品数字来源混杂**：Table I 中带脚注 1 的行取自各自论文，协议、硬件与实现细节可能不一致。\n6. **比较不完整**：Table III 中 RayFronts@1m 行精度为 -；@0.1m 时间为外推值（脚注 2）；Abstract 的 60% 省内存仅在 @0.5m 可验证。\n7. **正文疑似笔误**：Sec. IV-C 中 Table 111 应为 Table III；Sec. IV-E 中 custom-built quadcopter (see Fig. 2) 的图引用与 Fig. 2（系统概览图）不匹配，硬件照片更可能对应 Fig. 1，疑为编号笔误。\n8. **超参数披露不足**：语言查询相似度阈值 β 仅给符号（β ∈ R+，Sec. IV-D）；eSAM 点提示策略仅部分披露（36 个均匀点，Sec. IV-E）；多线程调度细节未给全，复现需依赖代码或补充材料。\n9. **全部结果为作者自报**：无独立第三方复现；正文未给代码仓库直链（仅有项目页 <https://ethz-mrl.github.io/findanything/）>。\n10. **输入非原始传感器数据**：Replica 为仿真数据、复用 [^10] 的预渲染序列，且为适配立体 SLAM 以 Habitat-Sim 人工合成右目（右移 6 cm，Sec. IV-B）；KITTI 深度由 FoundationStereo [^37] 预处理（Sec. IV-C）。与真实在线传感条件存在差距。\n11. **评测协议局限**：语义精度采用闭集化协议（mAcc / f-mIoU，Sec. IV-A），与真正的开放词汇定位能力不完全等价；KITTI 评测排除 moving / other 类（Sec. IV-C），可能影响与 RayFronts 的可比性。\n\n### 3. 参考文献列表（按主题分组，编号与原文一致）\n\n## 基础模型与分割\n\n- [^6] A. Radford et al., Learning Transferable Visual Models From Natural Language Supervision（CLIP）, ICML 2021.\n- [^11] A. Kirillov et al., Segment Anything（SAM）, ICCV 2023.\n- [^12] Y. Xiong et al., EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything, CVPR 2024.\n- [^27] M. Ranzinger et al., AM-RADIO: Agglomerative Vision Foundation Model Reduce All Domains Into One, CVPR 2024.\n- [^32] C. Zhou, C. C. Loy, B. Dai, Extract Free Dense Labels from CLIP, ECCV 2022.\n- [^38] N. Ravi et al., SAM 2: Segment Anything in Images and Videos, ICLR 2025.\n\n## 开放词汇 3D 建图与导航（基线与相关工作）\n\n- [^7] O. Alama et al., RayFronts: Open-set Semantic Ray Frontiers for Online Scene Understanding and Exploration, arXiv:2504.06994, 2025（主要基线）.\n- [^8] D. Maggio et al., Clio: Real-time Task-driven Open-set 3D Scene Graphs, IEEE RA-L 2024.\n- [^9] A. Werby et al., Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation（HOV-SG）, RSS 2024.\n- [^10] K. M. Jatavallabhula et al., ConceptFusion: Open-set Multimodal 3D Mapping, RSS 2023.\n- [^20] K. Yamazaki et al., Open-Fusion: Real-time Open-vocabulary 3D Mapping and Queryable Scene Representation, ICRA 2024.\n- [^21] S. Lu et al., OVIR-3D: Open-vocabulary 3D Instance Retrieval without Training on 3D Data, CoRL 2023.\n- [^22] M. Wei et al., OVExp: Open Vocabulary Exploration for Object-oriented Navigation, arXiv:2407.09016, 2024.\n- [^23] C. Huang et al., Visual Language Maps for Robot Navigation, ICRA 2023.\n- [^24] T. B. Martins, M. R. Oswald, J. Civera, OVO-SLAM: Open-Vocabulary Online Simultaneous Localization and Mapping, arXiv:2411.15043, 2024.\n- [^25] L. Schmid et al., Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments, RSS 2024.\n- [^26] Z. W. Wang et al., Open-Vocabulary Octree-Graph for 3D Scene Understanding, ICCV 2025.\n- [^33] Q. Gu et al., ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning, ICRA 2024.\n\n## SLAM 与体积建图框架\n\n- [^28] S. Boche, J. Jung, S. B. Laina, S. Leutenegger, OKVIS2-X: Open Keyframe-based Visual-Inertial SLAM Configurable with Dense Depth or LiDAR, and GNSS, IEEE Transactions on Robotics, 2025.\n- [^29] S. Leutenegger, OKVIS2: Realtime Scalable Visual-Inertial SLAM with Loop Closure, arXiv:2202.09199, 2022.\n- [^30] N. Funk et al., Multi-resolution 3D Mapping with Explicit Free Space Representation for Fast and Accurate Mobile Robot Motion Planning（supereight2）, IEEE RA-L 2021.\n- [^31] S. Barbas Laina et al., Scalable Autonomous Drone Flight in the Forest with Visual-Inertial SLAM and Dense Submaps Built without LiDAR, IROS 2025.\n- [^41] S. Papatheodorou, S. Boche, S. Barbas Laina, S. Leutenegger, Efficient Submap-based Autonomous MAV Exploration using Visual-Inertial SLAM Configurable for LiDARs or Depth Cameras, ICRA 2025（探索基线）.\n\n## 数据集、仿真与感知工具\n\n- [^34] J. Straub et al., The Replica Dataset: A Digital Replica of Indoor Spaces, arXiv:1906.05797, 2019.\n- [^35] J. Behley et al., SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences, ICCV 2019.\n- [^36] M. Savva et al., Habitat: A Platform for Embodied AI Research, ICCV 2019.\n- [^37] B. Wen et al., FoundationStereo: Zero-shot Stereo Matching, CVPR 2025.\n- [^42] S. K. Ramakrishnan et al., Habitat-Matterport 3D Dataset (HM3D): 1000 Large-scale 3D Environments for Embodied AI, NeurIPS Datasets and Benchmarks, 2021.\n- [^43] K. Yadav et al., Habitat-Matterport 3D Semantics Dataset, CVPR 2023.\n- [^44] Open Robotics, Gazebo Fortress, <https://gazebosim.org>, 2021.\n\n**其余文献**（早期语义建图 [^3][^4][^5]、NeRF/高斯泼溅语言场 [^17][^18][^19]、VL 定位 [^13] [^14] [^15] [^16]、零样本导航 [^39][^40]、MAV 系统与探索 [^1][^2]）合计全文共 44 条，完整列表见原文 References；本模块仅详列与上述验证直接相关的条目。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与深度解读\n\n### 1. 图表完整索引\n\n#### 1.1 图（Figures）索引\n\n| 编号 | 标题/说明（意译） | 类型 | 位置 | 支持的论断 | 评分(1–5) |\n|---|---|---|---|---|---|\n| Fig. 1 | 真实 MAV 在含厨房的办公室环境中的探索演示：体积地图提取的彩色网格 + 物体中心地图中对 “fire extinguisher” 与 “exit” 查询的 3D CLIP 激活 | 定性演示 / 真实部署 | Sec. I（第1页）；Sec. IV-E 再次引用 | 系统可在真实场景在线运行；语言查询可定位消防场景兴趣点；支撑 S&R 应用动机 | 4 |\n| Fig. 2 | 系统总览：VI-SLAM 提供位姿→深度/RGB 积分为体积占据子图；eSAM 生成物体提议并与当前地图跟踪；CLIP 特征按物体掩码聚合融合入子图；子图直接服务下游探索；自然语言→CLIP 特征→高激活区域→引导探索 | 系统架构 / 数据流图 | Sec. II 末（第2页），Sec. III 开篇引用 | 完整端到端数据流；模块化设计（SLAM / 建图 / 特征融合 / 查询 / 探索解耦） | 5 |\n| Fig. 3 | as-fine-as-possible 分割策略示意：从当前位姿渲染地图段图像，渲染段与 eSAM 提议段融合，优先最小段 | 方法示意图 | Sec. III-D（第3页） | 图像空间段跟踪与过分割机制；解释段ID图 K_t 的生成方式 | 4 |\n| Fig. 4 | 过分割收益定性对比：左列为过分割激活，右列为不过分割激活；上行为查询 “wheel”，下行为 “car” | 定性结果 | Sec. IV-C（第5页） | 过分割可区分物体部件（wheel）同时保留整体概念（car）的理解 | 3 |\n| Fig. 5 | 探索任务定量结果：网格完整度（左列）与重建 RMSE（右列）的 10–90 百分位；FindAnything（蓝）vs 基线 [^41]（橙）；查询 “bed”（上行）与 “bathroom”（下行） | 定量结果（百分位分布图） | Sec. IV-D（第6页） | 语义引导探索在完整度与精度上整体优于无语义基线且更一致；区域目标（bathroom）收益大于物体目标（bed） | 4 |\n\n#### 1.2 表（Tables）索引\n\n| 编号 | 标题 | 类型 | 位置 | 支持的论断 | 关键数值 | 评分(1–5) |\n|---|---|---|---|---|---|---|\n| Table I | 3D SEMANTIC MAP ACCURACY (REPLICA) | 定量对比表 | Sec. IV-B（第4页） | 语义精度与 SOTA 竞争；同编码器（NARADIO）下最高；GT vs SLAM 差异可忽略；子图优于单体地图 | FindAnything (NARADIO)：mAcc 53.55 / f-mIoU 66.91（全场最高）；RayFronts (NARADIO)：52.90/64.97；SLAM 下子图 62.91 vs 单体 61.37 f-mIoU | 5 |\n| Table II | MEAN REPLICA SEQUENCE PROCESSING TIME | 运行时间对比表 | Sec. IV-B（第4页） | FindAnything 显著快于基线 | FindAnything 5m24s vs RayFronts 9m19s；每10帧处理：1m19s vs OVO-SLAM 3m2s；HOV-SG 11h12m | 4 |\n| Table III | 3D SEMANTIC MAP ACCURACY AND RESOURCE USAGE (KITTI) | 定量对比 + 消融表 | Sec. IV-C（第5页） | 内存效率（约省60%）；0.1m 高分辨率可扩展性；分割模型选择影响小；加权特征融合（Eq. (1)）有效；漂移下子图必要性 | @0.5m 内存 9.91 vs 24.61 GB；@0.1m：FA 51.24/53.90、16.23 GB，RayFronts OOM 失败；FA-no Fusion f-mIoU 50.26；SLAM 下子图 37.77 vs 单体 28.24 | 5 |\n| Table IV | MEAN PER-FRAME TIMES FOR THE STAGES OF FindAnything | 运行时分解表 | Sec. IV-E（第6页） | 各阶段毫秒级耗时；机载部署实时性；瓶颈在网络推理 | MAV 列：CLIP 340ms、eSAM 171ms、段跟踪 22ms、深度积分 64ms；水平线分隔不同线程 | 4 |\n\n注：Sec. IV-C 正文中出现的 “Table 111” 为 Table III 的排版笔误。\n\n关键公式（非图表，但与图表证据链直接相关）：\n\n- **Eq. (1)**（Sec. III-D）：按段加权平均特征更新 f̄_k 与 N_k；由 Table III “FA - no Fusion” 消融（f-mIoU 50.26 < 53.90）验证。\n- **Eq. (2)**（Sec. IV-D）：候选视角效用加权 w_j（与查询的余弦相似度 ≥ β 时取相似度，否则取 β/2）；由 Fig. 5 探索结果验证。\n\n### 2. 优先深度解读（Top-priority deep reads，5项）\n\n1. **Fig. 2 + Table IV（系统数据流与实时性验证）**：先以 Fig. 2 建立端到端数据流（VI-SLAM→子图→eSAM/CLIP→物体级融合→查询/探索），再用 Table IV 定位瓶颈：Replica/仿真中 eSAM 推理（105ms）与段跟踪（109ms/6ms）为主，MAV 机载上 CLIP 推理骤增至 340ms，解释 Sec. IV-E 的两项工程妥协（eSAM 半分辨率 + 36 均匀查询点；无特征时以 3Hz 降级积分深度）。\n2. **Table I（Replica 精度对比）**：验证核心声明“精度与 SOTA 相当”。注意三点：(a) 同编码器公平对比——FindAnything (NARADIO) 66.91 f-mIoU 超过 RayFronts (NARADIO) 64.97；(b) 默认 CLIP 版本以少量精度换更低内存（Sec. IV-B 明确说明该取舍）；(c) GT 与 SLAM 位姿差异可忽略（48.87 vs 48.80 mAcc），因小场景 SLAM 精度高；Monolithic 对照（61.37 vs 62.91）初步显示子图+回环收益。\n3. **Table III（KITTI 精度+资源+消融）**：全文最重证据表。(a) 内存：@0.5m 下 9.91 GB 约为 RayFronts 24.61 GB 的 40%（对应摘要“最多省 60%”）；(b) 可扩展性：0.1m 分辨率下 RayFronts 因 24.5 GB GPU 内存不足全部失败，本方法以 16.23 GB 完成且 f-mIoU 53.90 显著优于 RayFronts@0.5m 的 35.60；(c) 消融：FA-SAM2 / FA-half-res 精度接近但时间/内存不同，说明体素化跟踪抵消了分割像素精度差异；FA-no Fusion 验证 Eq. (1)；SLAM 行验证漂移下子图必要性（37.77 vs 28.24）。\n4. **Fig. 5 + Sec. IV-D 评测协议（下游任务价值）**：注意协议细节——HM3D 00848-ziup5kvtCCR 场景、Gazebo 仿真 MAV、每组合 10 次运行 × 10 分钟、完整度 = 5cm 内存在重建多边形的 GT 顶点百分比、基线为无语义的子图探索 [^41]、两者均 5cm 体素。解读时区分 “bed”（单视角即可观测的物体）与 “bathroom”（需持续观测的区域）的收益差异，后者正是段立方体内候选视角采样（Eq. (2)）的设计目标。\n5. **Fig. 3 + Fig. 4（分割策略机制与定性证据）**：理解 as-fine-as-possible 的贪心合并逻辑（优先更小的段，超过阈值者保留），以及为何在图像空间而非 3D 中跟踪（避免物体与当前视角间的体积差异，Sec. II 末）；Fig. 4 以 “wheel”/“car” 展示部件—整体双层语义可查询性。\n\n### 3. 图表关系 / 实验设置图\n\ntext\n                    ┌─────────────────────────────────────────────┐\n                    │ 系统数据流（Fig. 2） │\n                    └─────────────────────────────────────────────┘\n  立体 RGB-D + IMU\n        │\n        ▼\n  VI-SLAM (OKVIS2-X, Sec. III-B) ──位姿 T_WS──► 体积占据子图 (supereight2, Sec. III-C)\n        │                                            ▲\n        │                                            │ 深度积分 (Table IV: 24–64ms)\n        ▼                                            │\n  eSAM 分割提议 E_t ──► Fig.3 图像空间段跟踪 ──► 段ID图 K_t ──► Eq.(1) 加权特征融合\n                          (as-fine-as-possible) │\n        ▼                                                        ▼\n  CLIP 逐像素特征 F_t ──────────────────────────► 物体级特征 f_k（存于子图段ID）\n                                                                 │\n                    ┌────────────────────────────────────────────┤\n                    ▼                                            ▼\n       语言查询：文本→CLIP特征→激活区域 下游探索：段立方体采样 + Eq.(2) 效用加权\n                    │                                            │\n                    ▼                                            ▼\n       Fig. 1（真实MAV消防演示, Sec. IV-E） Fig. 5（HM3D 仿真探索评测, Sec. IV-D）\n\n  证据链（图表 ↔ 实验）：\n  Sec. IV-B 室内 Replica ──► Table I（精度）＋ Table II（时间）\n  Sec. IV-C 室外 SemanticKITTI ──► Table III（精度+内存+消融）＋ Fig. 4（过分割定性）\n  Sec. IV-D 仿真探索（HM3D + Gazebo）──► Fig. 5\n  Sec. IV-E 真实 MAV 机载（Jetson Orin NX + RealSense D455）──► Table IV（每帧耗时）＋ Fig. 1\n``n\n注意事项（审稿人视角）：\n\n- Sec. IV-E 写 “custom-built quadcopter (see Fig. 2)”，但 Fig. 2 为系统总览图而非硬件照片，疑为笔误（或指项目页硬件图），不应据 Fig. 2 推断硬件外观。\n- Table II 中 HOV-SG 计时取自 [^24]（NVIDIA RTX 3090），其余为 RTX 4500，硬件不一致，横向比较需留意。\n- Table III 脚注：RayFronts@0.1m 因 24.5 GB GPU 内存不足在所有序列失败；其计时为外推值（表中标注 >24.5 GB）。\n- Table I/III 中 † 表示仅处理每第 10 帧（与 OVO-SLAM 对齐的公平设置）；Table I 中上标 1 表示结果取自原论文。\n\n### 4. 图表 → 结论映射\n\n| 论文结论 | 支撑图表 | 关键证据/数值 | 位置 |\n|---|---|---|---|\n| 语义精度与 SOTA 相当；同编码器下最高 | Table I | FindAnything (NARADIO) 53.55/66.91 > RayFronts (NARADIO) 52.90/64.97 | Sec. IV-B |\n| 处理速度显著快于基线 | Table II | 5m24s vs RayFronts 9m19s；每10帧 1m19s vs OVO-SLAM 3m2s；HOV-SG 11h12m | Sec. IV-B |\n| 内存最多省 60%，可扩展至大场景与高分辨率 | Table III | @0.5m：9.91 vs 24.61 GB；@0.1m：本方法 16.23 GB 成功（f-mIoU 53.90），RayFronts OOM | Sec. IV-C |\n| 漂移存在时子图+回环必要 | Table I（SLAM 行）、Table III（SLAM 行） | KITTI：子图 37.77 vs 单体 28.24 f-mIoU；Replica：62.91 vs 61.37 | Sec. IV-B/C |\n| as-fine-as-possible 过分割有效（部件+整体双层查询） | Fig. 4；Table III（FA-no Fusion） | “wheel”/“car” 激活对比；无融合 50.26 < 完整 53.90 f-mIoU | Sec. IV-C |\n| 分割模型选择对精度影响小（体素跟踪抵消像素差异） | Table III | FA-SAM2 54.28、FA-half-res 53.29 vs FA 53.90（f-mIoU）；half-res 时间 124.5s 远低于 289.4s | Sec. IV-C |\n| 语义引导探索提升下游重建完整度与精度 | Fig. 5 | 两查询（bed/bathroom）的完整度与 RMSE 分布均优于基线 [^41]，且更一致 | Sec. IV-D |\n| 资源受限 MAV 机载在线部署可行 | Table IV；Fig. 1 | MAV 各阶段毫秒级（CLIP 340ms 为瓶颈）；真实办公室消防场景演示 | Sec. IV-E、Sec. I |\n| Eq. (1) 加权特征更新有效 | Table III（FA-no Fusion 消融） | 50.26 vs 53.90 f-mIoU | Sec. III-D / IV-C |\n| Eq. (2) 效用加权引导探索有效 | Fig. 5 | 区域类目标（bathroom）收益更大，源于段立方体内持续采样候选视角 | Sec. IV-D |"
}