{
  "paper_id": "ef8175ddc86e60314e0062349df98246",
  "paper_title": "FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment",
  "paper_authors": [
    "Sebastián Barbas Laina",
    "Simon Boche",
    "Sotiris Papatheodorou",
    "Simon Schaefer",
    "Jaehyung Jung",
    "Helen Oleynikova",
    "Stefan Leutenegger"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Geometrically accurate and semantically expressive map representations have proven invaluable for robot deployment and task planning in unknown environments. Nevertheless, real-time, open-vocabulary semantic understanding of large-scale unknown environments still presents open challenges, mainly due to computational requirements. In this paper we present FindAnything, an open-world mapping framework that incorporates vision-language information into dense volumetric submaps. Thanks to the use of vision-language features, FindAnything combines pure geometric and open-vocabulary semantic information for a higher level of understanding. It proposes an efficient storage of open-vocabulary information through the aggregation of features at the object level. Pixelwise vision-language features are aggregated based on eSAM segments, which are in turn integrated into object-centric volumetric submaps, providing a mapping from open-vocabulary queries to 3D geometry that is scalable also in terms of memory usage. We demonstrate that FindAnything performs on par with the state-of-the-art in terms of semantic accuracy while being substantially faster and more memory-efficient, allowing its deployment in large-scale environments and on resource-constrained devices, such as MAVs. We show that the real-time capabilities of FindAnything make it useful for downstream tasks, such as autonomous MAV exploration in a simulated Search and Rescue scenario.",
  "keywords": [
    "open-vocabulary mapping",
    "volumetric submaps",
    "vision-language models",
    "CLIP",
    "eSAM",
    "object-centric mapping",
    "SLAM",
    "MAV exploration",
    "semantic mapping",
    "Search and Rescue"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:02.757633Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n在大规模未知环境中实现实时、开放词汇的语义理解仍然是机器人领域的重要挑战，主要瓶颈在于计算与内存开销。现有方法要么依赖预定义类别集合限制了语义表达能力，要么将高维视觉-语言（VL）特征嵌入NeRF或体素级地图导致内存需求过大而难以在资源受限的微型飞行器（MAV）上在线部署。FindAnything提出了一种以对象为中心的开放世界建图框架，将VL信息融合到基于子地图的稠密体积占用地图中：利用eSAM生成图像分割掩码，将逐像素CLIP特征聚合到对象级别，并通过图像空间的段跟踪与关联实现跨帧特征融合，其核心更新机制为加权平均公式 $\\mathbf{\\bar{f}}_{k}\\leftarrow\\frac{N_{k}\\mathbf{\\bar{f}}_{k}+\\sum_{i=1}^{N}\\mathbf{F}_{t}[\\mathbf{u}_{i}]}{N_{k}+N}$，其中$N_k$为先前关联像素数，$N$为当前帧跟踪段内像素数。系统基于OKVIS2-X视觉惯性SLAM和supereight2体积占用子地图框架，在Replica室内数据集和SemanticKITTI大规模室外数据集上评估语义精度（mAcc和f-mIoU）、运行时间和内存使用，结果表明其语义精度与最先进方法相当（Replica上mAcc 48.87、f-mIoU 62.71），同时处理速度显著更快（Replica序列平均5m24s vs RayFronts 9m19s），内存使用最多减少60%（KITTI上9.91GB vs RayFronts 24.61GB@0.5m分辨率）。在Habitat-Matterport 3D仿真探索任务和真实办公环境消防场景中验证了系统在MAV上的在线部署能力。未来方向包括引入语义先验和层次化地图表示以在缺乏观测时进行信息充分的探索，以及处理场景中的动态物体和人员。系统适用于搜索救援（S&R）等时间敏感场景，但受限于机载计算资源，需在图像分辨率与推理速度间权衡。\n\n### 关键要点\n\n- **核心方法**：FindAnything将eSAM分割掩码与CLIP视觉-语言特征聚合到对象级别，通过在占用体素中存储段ID及关联的平均语言特征向量，实现从开放词汇查询到3D几何的可扩展映射，显著降低内存需求。\n- **子地图架构**：系统采用基于supereight2的体积占用子地图，结合OKVIS2-X视觉惯性SLAM，支持回环检测等漂移校正机制，使大规模环境部署成为可能，同时保持较浅的数据结构以加速数据访问。\n- **段跟踪策略**：采用\"尽可能细\"的过分割策略，在图像空间中通过eSAM段与渲染地图段的2D重叠进行贪心分割，完全在CPU上计算，释放GPU资源给基础模型，同时支持细粒度查询和更大概念的语义理解。\n- **特征融合公式**：核心更新机制为加权平均 $\\mathbf{\\bar{f}}_{k}\\leftarrow\\frac{N_{k}\\mathbf{\\bar{f}}_{k}+\\sum_{i=1}^{N}\\mathbf{F}_{t}[\\mathbf{u}_{i}]}{N_{k}+N}$，从不同视角累积更新VL嵌入，消融实验证明相比仅存储首个特征向量（no fusion）提升了语义精度（KITTI上f-mIoU从50.26提升至53.90）。\n- **Replica室内评估**：在Replica数据集上（5cm体素分辨率），FindAnything使用GT位姿达到mAcc 48.87、f-mIoU 62.71，使用SLAM位姿达到mAcc 48.80、f-mIoU 62.91，与最先进方法竞争，且使用NARADIO编码器时达到最高精度（mAcc 53.55、f-mIoU 66.91）。\n- **运行时间优势**：Replica序列平均处理时间为5m24s，显著快于HOV-SG（11h12m）、RayFronts（9m19s）和OVO-SLAM（3m2s，仅处理每第10帧）；FindAnything以相同策略处理每第10帧时仅需1m19s且精度更高。\n- **SemanticKITTI大规模评估**：在0.5m粗分辨率下，FindAnything使用9.91GB内存（RayFronts需24.61GB），f-mIoU更高（51.48 vs 35.60）；在0.1m细分辨率下RayFronts因GPU内存不足失败，而FindAnything成功运行（16.23GB），证明其优越的可扩展性。\n- **消融实验**：替换eSAM为SAM2或使用半分辨率图像对语义精度影响较小（mAcc从51.24变为49.06/50.59），但显著影响运行时间和内存；子地图与单体地图对比证明在存在漂移的大规模场景中子地图的必要性（SLAM位姿下mAcc 32.26 vs 23.81）。\n- **探索应用**：将对象级语言表示集成到基于采样的MAV探索规划器中，通过计算查询嵌入与段嵌入的余弦相似度选择候选视点，在Habitat-Matterport 3D场景中对\"bed\"和\"bathroom\"查询实现了比无语义基线更高的网格完整性和重建精度。\n- **真实世界部署**：在配备RealSense D455和NVIDIA Jetson Orin NX 16GB的自建四旋翼上完全在线运行，通过将图像降采样至半分辨率和查询36个均匀分布点加速eSAM推理，在模拟消防场景中成功定位灭火器和出口等关键目标。\n- **资源约束与权衡**：系统在MAV上部署时需将图像降采样以加速网络推理，并允许在缺少CLIP特征或eSAM段时以3Hz软件限制速率集成深度测量以避免稀疏重建，体现了计算资源与建图质量间的实际权衡。\n- **未来方向**：计划引入语义先验或层次化地图表示以在当前场景缺乏观测时实现信息充分的探索，同时处理场景中的动态物体和人员仍是待解决的开放挑战。"
}