# FindAnything：面向任意环境的机器人探索用开放词汇与以物体为中心的地图构建方法
塞巴斯蒂安·巴尔巴斯·莱纳 $^{1,5,*}$、西蒙·博赫 $^{1,*}$、索蒂里斯·帕帕西奥多鲁 $^{1,3,4,5,6,*}$、西蒙·舍费尔 $^{1}$、杰赫英·郑 $^{1}$、海伦·奥列尼科娃 $^{2}$、斯特凡·洛伊特内格 $^{1,2,3,5,6}$
摘要—几何精度高且语义表达丰富的地图表示，已被证明在未知环境中进行机器人部署和任务规划时具有不可估量的价值。然而，对大规模未知环境实现实时的开放词汇语义理解仍面临诸多挑战，主要源于计算需求较高。在本文中，我们提出了*FindAnything*——一种将视觉语言信息融入密集体素子图的开放世界地图构建框架。借助视觉语言特征，*FindAnything*结合了纯几何信息与开放词汇语义信息，从而实现更高层次的环境理解。该系统通过在物体层面聚合特征，实现了开放词汇信息的高效存储。基于eSAM分割结果对像素级的视觉语言特征进行聚合，再将其整合到以物体为中心的体素子图中，从而建立起从开放词汇查询到3D几何的映射关系，且该映射在内存占用方面也具有可扩展性。实验表明，*FindAnything*在语义精度方面可与现有技术相媲美，同时速度更快、内存效率更高，能够应用于大规模环境以及资源受限的设备（如微型无人机）。我们还证实，*FindAnything*的实时处理能力使其可服务于下游任务，例如在模拟的搜救场景中用于微型无人机的自主探索。
项目页面：。
## 一、引言
机器人技术的一个关键应用领域是搜救（S&R）与灾害响应：机器人需在危险或人类无法到达的环境中取代人类开展工作，并为救援人员提供有用的、关乎安全的关键信息。微型无人机在此领域尤为重要，因为它们能在三维空间中自由移动，轻松抵达人类和地面机器人无法触及的区域。
适用于应急情况的机器人需要能够在最少人工干预下安全运行，同时向远程操作员提供关于其环境的实时、最新信息：不仅包括几何形状和外观，还有更高层次的语义信息以及物体位置。
Fig. 1. Real-world MAV exploration demonstration of *FindAnything* in an office environment, including a kitchen. Colored meshes extracted from volumetric maps are shown alongside the 3D CLIP activations in our object-centric map representation for the language queries "fire extinguisher" and "exit", which are potential points of interest in a fire scenario.
远程操控人员能够实时获取环境的最新信息：不仅包括几何形状和外观，还有更高层次的语义信息和物体位置。
我们提出的*FindAnything*是一种可在微型无人机上在线运行的地图构建系统，旨在满足上述需求：它构建了可扩展的、基于子图的体素地图，其中不仅包含场景几何信息和外观信息，还以以物体为中心的方式编码了开放词汇特征，从而使操作员能够实时查询地图，获取房间、物体位置或场景属性等信息。
例如，考虑一场火灾紧急情况，此时可能会指派机器人去寻找对灭火有用的物体或工具，比如灭火器或最近的出口（见图1）。为了成功完成这项要求高且时间紧迫的任务，机器人必须具备在线实时逐步重建未知场景的能力，同时还能安全地在其中导航。为了确保能应用于大型环境（如多层住宅），底层地图表示必须在资源受限的平台（如微型无人机）上运行时具备高效的内存利用率。最后，上述任务还需要先进的场景理解能力，这种能力不仅涉及纯粹的几何推理，还包括无需依赖场景先验知识即可进行的通用语义推理。
对于微型航空飞行器而言，体素地图是一种常见的场景表达方式，它既可用于机载导航，也可作为机器人操作员可解读的地图 [^1]、[^2]。为了进一步拓展……
---
为了超越单纯的几何形状和外观描述，实现更深层次的场景理解，已有诸多研究致力于将类别级的语义信息整合到体素地图中 [^3]、[^4]、[^5]。不过，这些方法需要预先确定类别集合，这虽然使得语义信息的存储更为紧凑（因为类别数量是有限的），却限制了地图的表达能力和适用范围。
CLIP等视觉-语言模型 [^6] 不存在这类限制，它们会将语义信息存储为高维特征嵌入，这种嵌入可实时查询以匹配人类语言描述。虽然这赋予了这类模型极高的灵活性，但也带来了计算和内存方面的开销：类别标签仅需用一个整数存储，而特征嵌入通常包含数百个浮点数值。这使得在资源受限的硬件上将它们聚合为三维地图颇具挑战性。为解决这一问题，近期的研究探索了更紧凑的特征表示方式 [^7]，或将视觉-语言和分割基础模型相结合 [^8], [^9], [^10]，比如SegmentAnything（SAM） [^11] 或其更高效变体EfficientSAM（eSAM） [^12]。不过，这些方法大多仍无法满足在微型无人机上在线构建大规模地图的计算需求。
我们提出了*FindAnything*，这是一个具备开放词汇语义能力的大规模体素地图构建系统。通过将空间划分为较小的子地图，可以利用闭环检测等漂移校正机制，从而使其能够在存在一定程度状态估计漂移的大型环境中部署。我们的方法会在物体或物体部件层面随时间聚合开放词汇信息。将物体过度分割为更小的实体能够实现细粒度的查询，而视觉-语言特征的泛化能力则能保留对较大物体或概念的理解。这种以物体为中心的地图表示大幅降低了内存需求，同时允许使用以速度换取精度的基础模型。事实证明，这些特性使*FindAnything*适用于下游任务，比如在模拟的火灾紧急情况下部署微型无人机进行自主探索。本文的主要贡献如下：
- 一种以高效利用内存、以物体为中心的方式将高维视觉-语言特征聚合为体素地图的方法：该方法利用基于图像的语义过度分割、分割跟踪与关联，以及特征嵌入合并技术。
- 将所提出的以物体为中心的视觉-语言特征映射方法与基于子地图的视觉（惯性）SLAM系统相结合，即便在资源受限的平台上也能实现大规模、在线且计算与内存效率高的地图构建。
- 仿真和真实世界基准测试表明，FindAnything的语义精度可与最先进的方法相媲美，同时计算时间更短，内存占用最多可减少60%。
- 在微型无人机上开展的下游探索任务演示表明，*FindAnything*可用于辅助引导机器人通过自然语言进行探索。
### 二、相关工作
### A. 基础模型
基础模型基于互联网规模的数据训练而成，是零样本处理各类任务的基石。像CLIP [^6]、LLaVA [^13]和LSeg [^14]这类模型，能够将视觉与文本信息编码到同一个特征空间中，从而实现用自然语言对图像进行推理。
虽然这些模型是通过对图像块进行对比学习训练而成的 [^6]，但在精准定位图像中的特征方面已经取得了显著进展 [^15]、[^16]、[^14]。不过，在准确表征复杂物体形状和长尾物体类别方面仍存在挑战 [^10]。
在本研究中，我们通过将视觉-语言基础模型CLIP [^6]与通用分割模型eSAM [^12]相结合来解决这些局限性。我们在概率映射框架内，在物体（或部件）层面累积提取的特征，从而有效利用视觉-语言模型的广泛开放词汇能力，无需依赖其生成高精度特征图的能力。这种方法即便针对复杂多样的物体类型，也能实现稳健的语义理解。
### B. 基于开放词汇的地图构建与导航
近期的研究尝试在不依赖互联网规模的3D数据集的情况下，将2D基础模型拓展到3D领域。一些方法将视觉-语言特征嵌入到NeRFs [^17]、[^18]或高斯泼溅模型 [^19]中。虽然这些方法能生成环境的照片级渲染结果，但部署前需要耗时的训练过程，这限制了它们在大型环境中的可扩展性，也无法应用于无人机等载具上。
为解决这一局限，[^20]提出了一种将视觉-语言特征融合到整体TSDF地图中的方法，该方法支持高效的更新与查询，但由于内存需求限制，地图尺寸仍受到限制。ConceptFusion [^10]及相关研究 [^9]、[^21]直接将特征存储在点云中，结合了区域级和全局嵌入信息。[^22]、[^23]则将特征集成到2D俯视图地图中。最近，有几种方法 [^8]、[^9]、[^24]、[^25]、[^26]专注于利用3D场景图或实例级点云在实例层面累积视觉-语言特征。虽然这些方法的可扩展性有所提升，但它们要么无法保留完整的3D几何信息（这对下游任务至关重要），要么容易因缺乏回环闭合等漂移校正机制而产生地图误差。
相比之下，RayFronts [^7]提出了一种用于户外机器人探索的开放集语义3D映射框架。为了提升效率和语义准确性，他们基于RADIO [^27]提出了一种细粒度的密集视觉-语言编码器。然而，在体素层面融合视觉-语言特征并将其纳入基于VDB的占据图中会导致内存占用过高，从而限制了其在更大环境中的适用性。
FindAnything旨在结合两者的优势。与[^8]类似，我们采用分割基础模型。不过，我们并非使用场景图或点云，而是利用具有自适应分辨率的实例级体积占据图。此外，我们并非进行3D跟踪，而是采用分割……
---
Fig. 2. Overview of FindAnything: VI-SLAM provides estimated poses to integrate depth and RGB images into volumetric occupancy submaps. eSAM [^12] creates object proposals from the RGB images which are tracked against the current map. CLIP [^6] features are aggregated per object mask and fused into the current submap. The submaps can be directly used in downstream tasks, such as autonomous exploration. In addition, natural language user input is translated into a CLIP feature to find regions of high activation in the map and guide the exploration towards those areas of interest.
跟踪过程是通过将地图物体投影到图像平面而在图像空间中完成的。这缓解了物体与其当前视图之间的体积差异问题。该方法能够实时积累视觉-语言特征，支持高效的自然语言查询，还能通过将映射功能与同步定位与地图构建（SLAM）流程相结合来实现误差校正。在实例层面聚合特征可大幅降低内存占用并提升可扩展性。与以往的研究不同，我们的系统甚至能在资源受限的设备上完全在线运行。通过保留详细的3D几何信息以及物体级语义信息，我们的方法克服了以往研究的局限性，非常适合大规模环境及探索等应用场景。
### 三、方法论
在本节中，我们将介绍构成系统的各个模块，其示意图如图2所示。
### A. 符号与定义
所使用的视觉-惯性SLAM（VI-SLAM）系统可追踪搭载有惯性测量单元（IMU）和多个摄像头的移动物体相对于静态世界坐标系的位置 $\mathcal{F}_W$。以IMU坐标系表示的机器人姿态 $\mathcal{F}_S$ 记为 $T_{WS}$。图像以矩阵形式呈现，即 $\mathbf{I}$，我们通过 $\mathbf{u}$ 获取像素坐标 $\mathbf{I}[\mathbf{u}]$ 处（或作为掩码的像素范围）的数值。
### B. VI-SLAM
我们的状态估计模块基于多传感器SLAM系统OKVIS2-X [^28]，它是OKVIS2 [^29]的扩展版本，该系统融入了深度信息以提升状态估计的准确性。SLAM姿态用于将深度信息整合到体积占据子图中。对于时间戳l处的一对新立体图像，会估算出一个新状态 $\mathbf{x}_l$。状态估计器会执行实时滑动窗口优化和闭环优化。最终，针对一对新帧，会估算出状态 $\mathbf{x}_l$，并根据需要更新先前状态 $\mathbf{x}_{l-k}$，包括闭环情况。
### C. 体积占据映射
几何信息是通过使用 $supereight2$ [^30] 映射框架将环境划分为体积子图来表示的。$Supereight2$的占据图表示方式能够区分已占据区域、空闲区域和未映射区域，因此可直接用于安全的路径规划与导航。通过采用子图，我们既能实现在大型环境中的可扩展性，又能使用更浅的数据结构进行映射，从而加快数据访问速度。我们追踪子图之间的刚性变换，并在每次SLAM优化后（包括闭环情况）更新这些变换，这一流程遵循 [^31] 中提出的方案，即每个子图都与一个关键帧相关联。
### D. 视觉-语言特征融合
作为视觉-语言特征提取器，我们采用针对[^6]像素图像预训练的CLIP $336 \times 336$ ViT-L/14模型。遵循[^32]的方法，我们可得到每个像素对应768维特征嵌入的图像F。若将这些特征在体素层面聚合成体积子图，会消耗海量内存，从而限制系统在更大环境中的扩展性。因此，我们采用以物体为中心的方法：将基于图像分割得到的片段与体素关联起来。对于后续帧，我们执行图像到地图的片段跟踪。这种选择能将体素分辨率与语言表示解耦，从而在不显著增加内存占用的情况下实现高分辨率映射，而内存占用正是资源受限机器人面临的关键限制因素。
我们采用eSAM [^12]基础模型——一种推理速度更快的轻量级SAM [^11]版本，来生成一组二值分割掩码$\mathcal{E}_t \in \{\mathbf{E}_0, \mathbf{E}_1, ..., \mathbf{E}_m\}$。当智能体在环境中移动时，我们会跟踪或拆分那些此前已被加入子图的物体。
---
Fig. 3. Schematic of our as-fine-as-possible segmentation strategy. A segment image of the map is rendered from the current camera pose. Rendered segments and eSAM segment proposals are fused into the map favoring the smallest option available.
对于此前已添加到子图中的物体，我们会为其补充新片段，同时也会为此前未被分割的区域添加新片段。
为了构建以物体为中心的地图表示，我们对supereight2进行了扩展，将分割ID纳入占据体素中。每个分割ID（记为k）会存储对应的平均语言特征$\mathbf{f}_k$，该特征用于编码开放词汇语义信息；同时还会记录用于更新该片段的像素总数$N_k$。要在时间步t更新子图的分割ID，我们需要深度图像$\mathbf{D}_t$、该时刻的机器人位姿$T_{WS_t}$，以及对应的每个像素分割ID图像$\mathbf{K}_t$。为了跟踪物体，我们还会将当前子图的一组二值分割掩码及其对应的分割ID$\mathcal{P}_t \in \{(k_0, \mathbf{R}_0), (k_1, \mathbf{R}_1), \ldots, (k_p, \mathbf{R}_p)\}$渲染到给定位姿$T_{WS_t}$下的图像帧中。
我们采用尽可能精细的分割策略，来随时间以eSAM所提出的最小划分单元来表示物体。分割跟踪与过分割是基于eSAM分割结果$\mathcal{E}_t$与当前子图中渲染出的分割结果$\mathcal{R}_t$之间的2D图像重叠度来实现的。我们的方法会尽可能贪婪地对两种分割源进行划分，优先保留尺寸较小的片段（超过某一阈值），最终生成一张包含每个像素分割ID的图像$\mathbf{K}_t$，以便将其整合到当前子图中。该方法的示意图如图3所示。随后，我们会针对$\mathbf{K}_t$中所有具有相同ID的像素，聚合每个片段对应的视觉-语言特征。这种策略支持长期跟踪，且完全可在CPU上运行，从而将GPU资源释放给基础模型使用。将物体过分割成更小的实体既支持细粒度的查询，视觉-语言特征又能保留对较大物体或概念的语义理解能力，进而能在查询时对相关片段进行分组。语义一致性的假设，加上子图间的空间一致性假设，使得跨地图的片段跟踪变得没有必要。
在分割跟踪之后，会利用像素级分割ID图像 $\mathbf{K}_t$ 和CLIP图像 $\mathbf{F}_t$，对每个分割块的特征向量进行加权平均更新。对于 $\mathbf{K}_t$ 中的每个分割块ID k，我们先计算出所有像素坐标的集合 $\mathcal{N} = \{\mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_N\}$，其中 $\mathbf{K}_t$ 的取值为k。随后，VL特征会按照如下方式更新：
$$ \mathbf{\bar{f}}_{k}\leftarrow\frac{N_{k}\mathbf{\bar{f}}_{k}+\sum_{i=1}^{N}\mathbf{F}_{t}[\mathbf{u}_{i}]}{N_{k}+N}, $$
$$ N_{k}\leftarrow N_{k}+N, $$
其中 $N_{k}$ 表示先前与线段 ID k 相关联的像素数量，而 N 则表示当前帧中该追踪线段内的像素数量。线段 k 的平均语言特征描述符记为 $\mathbf{f}_{k}$。来自不同视角的这些加权更新能够提升视觉-语言嵌入表示的一致性。
### 四、评估与实验
为了展示我们提出的系统的准确性与计算效率，我们在室内（第四节B部分）和室外（第四节C部分）场景中的多个标准数据集上对 FindAnything 进行了基准测试。基于实际应用需求，我们重点评估语义地图的准确性以及运行时性能和内存占用情况。
我们还通过一项集成式真实世界实验展示了 FindAnything 的实用性：在该实验中，FindAnything 被用作模拟消防场景中的在线探索的映射后端（详见第四节E部分）。
### A. 评估标准
对于聚合后的视觉-语言特征的语义准确性，我们遵循 [^7]、[^8]、[^10]、[^33] 中规定的标准评估流程，并以类别平均召回率（mAcc）以及语义类别的封闭集预测的频率加权平均交并比（f-mIOU）来报告准确性。
为了证明 *FindAnything* 在资源受限设备上实现在线部署的可行性，我们在第四节B部分针对典型的室内数据集 Replica [^34]，评估了该系统与不同最先进的开放词汇3D映射方法相比的运行时性能；并在第四节C部分针对大规模室外数据集 SemanticKITTI [^35]，评估了其内存占用情况。
作为主要基线，我们选择以 RayFronts [^7] 作为对比对象，它是少数几种成熟的大规模体素开放词汇映射方法之一。由于 RayFronts 主要在 GPU 上运行，因此我们将内存占用定义为 GPU 与 RAM 的总使用量。为了公平比较，我们确保了相同的体素分辨率和深度范围限制，并将批量大小设为1以模拟在线映射过程。此外，为了将评估局限于底层体素地图的语义准确性和内存占用，我们禁用了其用于超出深度感应范围的射线边界表示功能。其他论文的结果主要取自相应文献。所有竞争对手的结果均使用真实姿态（GT）获得。对于 FindAnything，我们同时展示了基于真实姿态和SLAM姿态的结果，以评估其在理想情况和现实世界中的性能。
我们还评估了 *FindAnything* 在探索等下游任务中的适用性，具体是在第四节D部分评估网格补全情况，以及使用与不使用语义信息时的探索方法的准确性。
### B. 室内数据集：Replica
我们的首次评估旨在回答多个问题：1）FindAnything 的准确性与最先进的语义映射方法相比如何？2）在小规模环境中，子映射与整体映射会产生何种影响？
---
TABLE I
3D SEMANTIC MAP ACCURACY (REPLICA).
| Method | mAcc | f-mIoU |
| GT | ConceptFusion $^{1}$ [^10] | 24.16 | 31.31 |
| ConceptFusion $^{1}$ [^10] + SAM | 31.53 | 38.70 |
| ConceptGraphs $^{1}$ [^33] | 40.63 | 35.95 |
| HOV-SG (Vit-H-14) $^{1}$ [^9] | 30.40 | 38.60 |
| Clio-batch $^{1}$ [^8] | 37.95 | 36.98 |
| OVO-SLAM $^{\dagger}$ [^24] | 32.18 | 46.19 |
| Octree-Graph (OVSeg) $^{1}$ [^26] | 41.40 | 55.30 |
| RayFronts (NACLIP) [^7] | 26.44 | 32.66 |
| RayFronts (NARADIO) [^7] | 52.90 | 64.97 |
| FindAnything $\dagger$ | 44.48 | 62.01 |
| FindAnything | 48.87 | 62.71 |
| FindAnything (NARADIO) | 53.55 | 66.91 |
| SLAM | FindAnything-Monolithic | 47.57 | 61.37 |
| FindAnything | 48.80 | 62.91 |
$^{1}$ 结果取自相应文献。括号内的文字表示视觉-语言编码器，若存在不同版本的话。
$^{\dagger}$ 仅处理每第10帧的数据。
3）与现有方法相比，FindAnything 处理完整序列的速度能快多少？
为了回答这些问题，我们在Replica [^34]数据集上进行了评估，所使用的预渲染序列与[^10]中的相同。为了在立体SLAM系统中使用Replica（单目数据集），我们还利用Habitat-Sim [^36]在原始图像右侧6厘米处生成了一张合成彩色图像。实验中，体素分辨率被设定为5厘米。
表I展示了语义精度的结果，结果表明我们提出的方法与最先进的技术不相上下。实际上，得益于*FindAnything*的模块化设计，当使用与RayFronts相同的VL编码器（NARADIO）时，它能实现最高的语义精度。尽管NARADIO的精度更高，但我们还是选择使用CLIP特征，因为其嵌入向量的维度更低，虽然会略微牺牲语义精度，但能减少内存占用。
由于在这类小规模数据集上SLAM精度很高，因此我们的方法在采用GT姿态或SLAM姿态时的语义精度差异可以忽略不计。需要注意的是，我们的结果存在微小的随机性。即便使用GT姿态，子图创建仍依赖于后台运行的SLAM系统。由于存在闭环的情况下子图构建的全局一致性更高，因此相较于采用单体地图的FindAnything-Monolithic版本，仍有小幅提升。
为了展示系统的实时处理能力，我们在表II中列出了每个序列的平均运行时间，并在表IV中详细给出了该方法各阶段的时间分配情况。如表II所示，我们的方法比[^9]快得多，也快于其他竞争对手，例如OVO-SLAM [^24]或RayFronts [^7]。由于OVO-SLAM仅处理每第十帧，我们采用相同的处理策略对*FindAnything*进行评估，结果显示它不仅速度更快，语义精度也更高。此次评估中出现的轻微语义精度下降主要是由于数据集中的运动有限，而其他场景并不具备这一特点。
TABLE II
MEAN REPLICA SEQUENCE PROCESSING TIME
| Method | Mean time per sequence |
| OVO-SLAM $^{\dagger}$[^24] | $\frac{3m}{2s}$ |
| FindAnything $^{\dagger}$ | 1m 19s |
| HOV-SG [^9] | 11h 12m |
| Rayfronts [^7] | $\frac{9m}{19s}$ |
| FindAnything | 5m 24s |
HOV-SG的计时数据取自[^24]的研究，该研究使用的是NVIDIA RTX 3090 GPU；其他计时数据则使用NVIDIA RTX 4500获取。
$^{\dagger}$ 仅处理每第十帧。
### C. 大规模户外数据集：Semantic KITTI
我们的第二次评估主要围绕两个目标展开。首先，我们从语义地图精度、处理时间和内存占用方面评估*FindAnything*在大型环境中的可扩展性，并将其与RayFronts进行对比。其次，我们通过一系列消融实验来论证系统设计合理性。这些实验具体探讨了：(a) 分割模型的选择；(b) 所提出的VL特征融合与过分割策略；以及(c) 在实际场景中利用SLAM姿态将地图划分为子图的情况。表III展示了在大规模户外数据集SemanticKITTI $T_{avg}$上的语义精度、平均序列处理时间 $M_{avg}$ 以及平均每个序列的内存占用 [^35]。进行语义评估时，我们排除了标记为“移动”或“其他”的类别。深度图像是通过用[^37]预处理立体图像得到的，最大深度积分范围被设定为10米。
由于RayFronts对GPU内存的需求巨大，语义精度的定量评估仅限于较粗的体素分辨率（0.5米）。虽然这两种方法的运行时间相近，但得益于在分割级别对视觉语言特征的聚合，FindAnything仅占用40%的内存。由于supereight2在这种较粗的分辨率下有时无法保留精细的几何结构（如电线杆），因此RayFronts的类别平均召回率更高。不过，由于大多数类别属于较为粗糙的结构（如道路、人行道），FindAnything仍能获得更高的f-mIoU值。与RayFronts不同，后者在更精细的分辨率（0.1米）下会因GPU内存不足而无法运行，而FindAnything则表现出优异的可扩展性，且在该分辨率下仅需适度的内存占用即可正常运行。处理时间的额外开销微乎其微，因为我们的瓶颈在于网络的图像处理过程，而RayFronts的运行时间则会出现预期中的增加。此外，在0.1米分辨率下几何细节得以更好地保留，从而带来更高的语义精度，显著优于RayFronts在0.5米分辨率下的表现。
为了评估所选分割模型的影响，我们使用半图像分辨率下的eSAM来评估FindAnything（FA - 半分辨率），并将eSAM替换为SAM2 [^38]（FA - SAM2）。尽管这对运行时间和内存占用有显著影响，但语义地图精度基本保持不变。这主要是因为当把图像分割结果聚合为用于跟踪的体素地图时，不同分割区域的像素精度差异会被抵消。更高的地图分辨率能够
---
TABLE III
3D SEMANTIC MAP ACCURACY AND RESOURCE USAGE (KITTI).
| | mAcc | f-mIoU | $T_{avg}$[s] | $M_{avg}$[GB] |
| GT | RayFronts@0.5m | 45.85 | 35.60 | 277.9 | 24.61 |
| FindAnything @0.5m | 36.89 | 51.48 | 288.2 | 9.91 |
| RayFronts@1m | - | - | $337.8^{2}$ | >24.5 |
| FindAnything (FA) | 51.24 | 53.90 | 289.4 | 16.23 |
| FA - SAM2 | 49.06 | 54.28 | 359.4 | 18.22 |
| FA - half-res | 50.59 | 53.29 | 124.5 | 15.11 |
| FA - no Fusion | 49.88 | 50.26 | 286.3 | 16.24 |
| SLAM | FindAnything-Monolithic | 23.81 | 28.24 | 285.7 | 15.58 |
| FindAnything | 32.26 | 37.77 | 292.5 | 16.09 |
$^{1}$ 由于GPU内存不足（可用内存为24.5 GB），RayFronts在0.1米分辨率下无法处理所有序列。
$^{2}$ RayFronts在0.1米分辨率下的耗时是通过将平均处理时间外推至故障发生时刻得到的。
Fig. 4. Qualitative example of the benefit of our oversegmentation approach. The left column shows the activations with our oversegmentation approach and the right column shows the activations for a method that never oversegments the objects in the map. The top row shows the activations for the query "wheel" and the bottom row for the query "car".
只有这样才能从更精确的分割中获益。
此外，所提出的特征融合与过分割策略的有效性也得到了验证。表111显示，与仅存储每个分割区域的首个特征向量相比，从不同视角获取的加权均值特征嵌入更新（公式(1)）能够提升语义精度（FA - 无融合）。图4从定性角度展示了尽可能精细的分割策略所带来的优势。过分割能够区分物体的多个部分（如“车轮”），同时仍能理解更大的概念或实体（如“汽车”）。
这些消融实验表明，所提出的$\text{FindAnything}$配置在语义精度、运行时间和内存占用之间取得了最佳平衡。
最后，我们评估了使用SLAM而非真实姿态的FindAnything。我们计算估计轨迹与真实轨迹之间的Sim(3)对齐关系，并在评估前将其应用于地图。由于此类大规模场景中不可避免的漂移现象，语义精度会有所下降。不过，与FindAnything-Monolithic的比较证明了在存在漂移的情况下使用子图的必要性——基于漂移校正机制（如回环闭合）对子图进行变换，可消除地图中的不一致性。
### D. 应用：自主无人机探索
为了证明我们的地图方法在下游任务中的实用性，我们将其集成到自主微型无人机探索流程中。通过利用地图的视觉语言特征来引导探索，我们能够以较高的重建精度识别出通过自然语言查询在线选定的物品或感兴趣区域。得益于我们的绘图方法，所生成的探索流程既能在三维环境中工作，又能实时响应查询；而其他支持开放词汇查询的探索方法仅能在二维环境中运行，或者需要预先已知的查询条件 [^22], [^39], [^40]，因此不适合用于三维探索。
我们对[^41]中提出的基于采样的子图探索规划器进行了扩展，以适配我们基于物体级别的语言场景表示方式。在[^41]中，$n_c \in \mathbb{N}^+$个候选下一个视角会在边界附近被采样，并借助“随时间的信息增益”效用函数进行排序。效用值最高的视角会被选为下一个目标点，一旦到达该目标点，这一过程便会重复进行。
相对于[^41]的第一个扩展在于修改候选下一个视角的采样方式，使其能考虑片段信息。每次需要选取新的目标视角时，都会计算当前自然语言查询的嵌入向量$\mathbf{f}_q$与每个已知片段的语言嵌入向量$\mathbf{f}_k$之间的余弦相似度，从而选出相似度超过预设阈值$\beta \in \mathbb{R}^+$的片段。每个片段都对应一个以其体积质心为中心的$1\,m^3$立方体。由于物体可能会被过度分割或分布在多个子图中，因此会对这些立方体执行三维非极大值抑制操作，进一步减少被考虑的片段数量。随后，候选下一个视角会在这些片段立方体内被采样。当已接受的候选视角达到$n_c$个，或者已采样的候选视角达到$3n_c$个时，在片段立方体内的采样便会停止；其余视角则会像[^41]中那样在边界附近被采样。
对[^41]的第二个修改涉及用于排序候选下一个视角的效用函数。如[^41]所计算的，每个候选视角j的效用值会乘以
$$ w_{j}=\begin{cases}{\displaystyle\frac{\overline{{\mathbf{f}}}_{k}\cdot\mathbf{f}_{\mathrm{q}}}{\|\overline{{\mathbf{f}}}_{k}\|\|\mathbf{f}_{\mathrm{q}}\|}}&{\mathrm{i f~}\frac{\overline{{\mathbf{f}}}_{k}\cdot\mathbf{f}_{\mathrm{q}}}{\|\overline{{\mathbf{f}}}_{k}\|\|\mathbf{f}_{\mathrm{q}}\|}\geq\beta}\\ {\displaystyle\frac{\beta}{2}}&{\mathrm{o t h e r w i s e},}\\ \end{cases} $$
其中，若候选视角位于某个片段立方体内，则$\mathbf{f}_k$为该片段k的视觉语言嵌入向量；若候选视角位于所有片段立方体之外，则$\mathbf{f}_k = \mathbf{0}$取值为相应值，而$\mathbf{f}_q$则是查询的视觉语言嵌入向量。
定量实验结果是在Habitat-Matterport 3D数据集的00848-ziup5kvtCCR场景中获得的 [^42]，实验中使用了[^43]提供的语义标注来生成真实网格。微型无人机平台通过Gazebo进行模拟 [^44]。探索效果通过两个自然语言查询来评估：感兴趣的物品“床”以及房间“浴室”。选择这两个查询的原因是：i) Habitat-Matterport 3D数据集 [^42] 仅包含住宅场景，限制了可查询的范围；ii) 它们在场景中出现的次数不止一次；iii) 它们包含在
---
Fig. 5. Mesh completeness (left column) and reconstruction RMSE (right column) results of the 10th-90th percentiles for *FindAnything* (blue) and baseline (orange) for queries "bed" (top row) and "bathroom" (bottom row).
[^43]提供的真实标注中，这些标注并不包含与搜索与救援场景更相关的标签；iv) 从微型无人机的起始位置无法看到它们。基线方法是[^41]中提出的最先进的基于子图的探索方法，该方法缺乏语义信息，这一对比凸显了融入开放词汇信息的优势。FindAnything和基线方法[^41]均使用5厘米分辨率的体素。
该任务针对每种方法与查询的组合各执行10次，每次运行时间为10分钟，这与典型的微型无人机飞行时间一致。最终重建的地图网格用于评估每个物体或感兴趣区域的完整性，以及相对于真实值的均方根误差（RMSE）。完整性是指真实网格顶点中，其周围有重建网格多边形且距离在5厘米以内的比例。第10百分位到第90百分位的结果如图5所示。FindAnything在两种查询下均展现出更高的完整性和网格精度，且结果更为稳定。FindAnything对感兴趣物体的重建效果也更好，尤其是对“浴室”区域的重建效果明显优于“床”这一物体。这是因为床的大部分区域即使通过单个视角也能被观察到，而感兴趣区域则需要持续观测，FindAnything通过在分割立方体内采样候选下一个视角来实现这一点。
### E. 现实世界实验
为了展示FindAnything在潜在的搜索与救援场景中的实用性，我们模拟了消防应用场景，在办公环境中开展了自主探索实验。任务期间，我们通过自然语言查询来指定与火灾响应相关的目标物体或区域。我们持续探索直至发现“灭火器”，随后根据“厨房”这一查询继续探索，因为厨房属于火灾风险较高的区域。图1展示了针对“灭火器”和“出口”这两个查询的3D重建结果及地图激活情况。结果显示我们的系统能够……
TABLE IV
MEAN PER-FRAME TIMES FOR THE STAGES OF FindAnything.
| Stage | Mean time [ms] |
| Replica | Exploration Sim | Exploration MAV |
| CLIP inference | 14 | 14 | 340 |
| eSAM inference | 105 | 105 | 171 |
| Render map segments | 12 | 7 | 16 |
| Segment tracking | 109 | 6 | 22 |
| Vision-Language fusion | 30 | 14 | 37 |
| Depth integration | 40 | 24 | 64 |
| SLAM frontend | 25 | 41 | 32 |
| SLAM backend | 13 | 24 | 16 |
水平线用于分隔在不同线程中执行的阶段。
该系统能够探索环境并构建适用于导航的体素表示，同时聚合以物体为中心的子地图中的语言嵌入信息。
我们通过在仅依赖机载计算的真实微型无人机上部署FindAnything，证明了它能够在资源受限的设备上实现3D探索。本次实验中使用的系统是一架定制的四旋翼飞行器（见图2），配备了RealSense D455立体RGB-D相机和NVIDIA Jetson Orin NX 16 GB计算机。
为了在机载计算机上实现更快的eSAM推理速度，我们将图像分辨率降至原分辨率的一半，并查询36个均匀分布的点。表IV列出了各个系统组件的耗时分解情况。为了避免因微型无人机上的网络推理速度慢而导致重建结果稀疏，即便没有CLIP特征或eSAM分割结果，我们也允许以3 Hz的软件设定速率整合深度测量数据，从而保留原始算法的核心思想。
### V. 结论
我们提出了FindAnything，这是一个实时开放词汇、以物体为中心的体积映射框架，旨在实现可扩展性和在资源受限设备上的在线部署。借助基础模型，我们的系统无需事先了解场景信息即可部署在未知环境中。我们已在仿真环境以及现实世界的室内外场景中验证了FindAnything的语义映射精度，其与基准方法相比速度更快且内存效率显著更高。这些能力使FindAnything适用于常见的机器人下游任务，例如搜索与救援场景中的探索，还支持与机器人进行基于自然语言的互动。作为同类中的首款产品，FindAnything已成功在资源受限的微型无人机上实现在线部署。
未来，我们计划通过引入语义先验或分层地图表示来进一步拓展机器人探索的边界，从而即便在当前场景缺乏观测数据的情况下也能实现有依据的探索。此外，如何考虑场景中动态物体和人的因素，仍是一个有待解决的开放性难题。
---
[^1]: A. Dai, S. Papatheodorou, N. Funk, D. Tzoumanikas, and S. Leutenegger, “Fast frontier-based information-driven autonomous exploration with an MAV,” in IEEE International Conference on Robotics and Automation, 2020.
[^2]: H. Oleynikova, C. Lanegger, Z. Taylor, M. Pantic, A. Millane, R. Siegwart, and J. Nieto, “An open-source system for vision-based microaerial vehicle mapping, planning, and flight in cluttered environments,” Journal of Field Robotics, vol. 37, no. 4, 2020.
[^3]: J. McCormac, A. Handa, A. Davison, and S. Leutenegger, “SemanticFusion: Dense 3D semantic mapping with convolutional neural networks,” in IEEE International Conference on Robotics and Automation, 2017.
[^4]: M. Grinvald, F. Furrer, T. Novkovic, J. J. Chung, C. Cadena, R. Siegwart, and J. Nieto, “Volumetric instance-aware semantic mapping and 3D object discovery,” IEEE Robotics and Automation Letters, vol. 4, no. 3, 2019.
[^5]: A. Rosinol, A. Violette, M. Abate, N. Hughes, Y. Chang, J. Shi, A. Gupta, and L. Carlone, "Kimera: From SLAM to spatial perception with 3D dynamic scene graphs," The International Journal of Robotics Research, vol. 40, no. 12–14, 2021.
[^6]: A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark et al., “Learning transferable visual models from natural language supervision,” in International Conference on Machine Learning, 2021.
[^7]: O. Alama, A. Bhattacharya, H. He, S. Kim, Y. Qiu, W. Wang, C. Ho, N. Keetha, and S. Scherer, “Rayfronts: Open-set semantic ray frontiers for online scene understanding and exploration,” arXiv preprint arXiv:2504.06994, 2025.
[^8]: D. Maggio, Y. Chang, N. Hughes, M. Trang, D. Griffith, C. Dougherty, E. Cristofalo, L. Schmid, and L. Carlone, "Clio: Real-time task-driven open-set 3D scene graphs," IEEE Robotics and Automation Letters, vol. 9, no. 10, 2024.
[^9]: A. Werby, C. Huang, M. Büchner, A. Valada, and W. Burgard, “Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation,” in Robotics: Science and Systems, 2024.
[^10]: K. M. Jatavallabhula, A. Kuwajerwala, Q. Gu, M. Omama, G. Iyer, S. Saryazdi, T. Chen, A. Maalouf, S. Li et al., “ConceptFusion: Openset multimodal 3D mapping,” in Robotics: Science and Systems, 2023.
[^11]: A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. C. Berg et al., “Segment anything,” in IEEE/CVF International Conference on Computer Vision, 2023.
[^12]: Y. Xiong, B. Varadarajan, L. Wu, X. Xiang, F. Xiao, C. Zhu, X. Dai, D. Wang, F. Sun, F. Iandola et al., “EfficientSAM: Leveraged masked image pretraining for efficient segment anything,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024.
[^13]: H. Liu, C. Li, Q. Wu, and Y. J. Lee, “Visual instruction tuning,” in Advances in Neural Information Processing Systems, 2023.
[^14]: B. Li, K. Q. Weinberger, S. Belongie, V. Koltun, and R. Ranftl, "Language-driven semantic segmentation," in International Conference on Learning Representations, 2022.
[^15]: G. Ghiasi, X. Gu, Y. Cui, and T.-Y. Lin, “Scaling open-vocabulary image segmentation with image-level labels,” in European Conference on Computer Vision, 2022.
[^16]: Y. Zhong, J. Yang, P. Zhang, C. Li, N. Codella, L. H. Li, L. Zhou, X. Dai, L. Yuan, Y. Li et al., “RegionCLIP: Region-based language-image pretraining,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022.
[^17]: J. Kerr, C. M. Kim, K. Goldberg, A. Kanazawa, and M. Tancik, "LERF: Language embedded radiance fields," in IEEE/CVF International Conference on Computer Vision, 2023.
[^18]: G. Liao, K. Zhou, Z. Bao, K. Liu, and Q. Li, “OV-NeRF: Open-vocabulary neural radiance fields with vision and language foundation models for 3D semantic understanding,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 34, no. 12, 2024.
[^19]: M. Qin, W. Li, J. Zhou, H. Wang, and H. Pfister, "LangSplat: 3D language Gaussian splatting," IEEE/CVF Computer Vision and Pattern Recognition Conference, 2024.
[^20]: K. Yamazaki, T. Hanyu, K. Vo, T. Pham, M. Tran, G. Doretto, A. Nguyen, and N. Le, “Open-Fusion: Real-time open-vocabulary 3D mapping and queryable scene representation,” in IEEE International Conference on Robotics and Automation, 2024.
[^21]: S. Lu, H. Chang, E. P. Jing, A. Boularias, and K. Bekris, “OVIR-3D: Open-vocabulary 3D instance retrieval without training on 3D data,” in 7th Annual Conference on Robot Learning, 2023.
[^22]: M. Wei, T. Wang, Y. Chen, H. Wang, J. Pang, and X. Liu, "OVExp: Open vocabulary exploration for object-oriented navigation," arXiv preprint arXiv:2407.09016, 2024.
[^23]: C. Huang, O. Mees, A. Zeng, and W. Burgard, “Visual language maps for robot navigation,” in IEEE International Conference on Robotics and Automation, 2023.
[^24]: T. B. Martins, M. R. Oswald, and J. Civera, “OVO-SLAM: Open-vocabulary online simultaneous localization and mapping,” arXiv preprint arXiv:2411.15043, 2024.
[^25]: L. Schmid, M. Abate, Y. Chang, and L. Carlone, "Khronos: A unified approach for spatio-temporal metric-semantic SLAM in dynamic environments," in Robotics: Science and Systems, 2024.
[^26]: Z. W. Wang, Y. Su, C. Li, D. Wang, Y. Huang, B. Z. Zhao, and X. L. Li, “Open-vocabulary octree-graph for 3D scene understanding,” in IEEE/CVF International Conference on Computer Vision, 2025.
[^27]: M. Ranzinger, G. Heinrich, J. Kautz, and P. Molchanov, “AM-RADIO: Agglomerative vision foundation model reduce all domains into one,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024.
[^28]: S. Boche, J. Jung, S. B. Laina, and S. Leutenegger, “OKVIS2-X: Open keyframe-based visual-inertial SLAM configurable with dense depth or LiDAR, and GNSS,” IEEE Transactions on Robotics, 2025.
[^29]: S. Leutenegger, “OKVIS2: Realtime scalable visual-inertial SLAM with loop closure,” arXiv preprint arXiv:2202.09199, 2022.
[^30]: N. Funk, J. Tarrio, S. Papatheodorou, M. Popović, P. F. Alcantarilla, and S. Leutenegger, “Multi-resolution 3D mapping with explicit free space representation for fast and accurate mobile robot motion planning,” IEEE Robotics and Automation Letters, vol. 6, no. 2, 2021.
[^31]: S. Barbas Laina, S. Boche, S. Papatheodorou, D. Tzoumanikas, S. Schaefer, H. Chen, and S. Leutenegger, “Scalable autonomous drone flight in the forest with visual-inertial SLAM and dense submaps built without LiDAR,” in IEEE/RSJ International Conference on Intelligent Robots and Systems, 2025.
[^32]: C. Zhou, C. C. Loy, and B. Dai, "Extract free dense labels from CLIP," in European Conference on Computer Vision, 2022.
[^33]: Q. Gu, A. Kuwajerwala, S. Morin, K. M. Jatavallabhula, B. Sen, A. Agarwal, C. Rivera, W. Paul, K. Ellis et al., “ConceptGraphs: Open-vocabulary 3D scene graphs for perception and planning,” in IEEE International Conference on Robotics and Automation, 2024.
[^34]: J. Straub, T. Whelan, L. Ma, Y. Chen, E. Wijmans, S. Green, J. J. Engel, R. Mur-Artal, C. Ren et al., “The Replica dataset: A digital replica of indoor spaces,” arXiv preprint arXiv:1906.05797, 2019.
[^35]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences,” in IEEE/CVF International Conference on Computer Vision, 2019.
[^36]: M. Savva, A. Kadian, O. Maksymets, Y. Zhao, E. Wijmans, B. Jain, J. Straub, J. Liu et al., “Habitat: A platform for embodied AI research,” in IEEE/CVF International Conference on Computer Vision, 2019.
[^37]: B. Wen, M. Trepte, J. Aribido, J. Kautz, O. Gallo, and S. Birchfield, "FoundationStereo: Zero-shot stereo matching," in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025.
[^38]: N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Rädle et al., “SAM 2: Segment anything in images and videos,” in International Conference on Learning Representations, 2025.
[^39]: S. Y. Gadre, M. Wortsman, G. Ilharco, L. Schmidt, and S. Song, "Cows on pasture: Baselines and benchmarks for language-driven zero-shot object navigation," in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023.
[^40]: N. Yokoyama, S. Ha, D. Batra, J. Wang, and B. Bucher, "VLFM: Vision-language frontier maps for zero-shot semantic navigation," in IEEE International Conference on Robotics and Automation, 2024.
[^41]: S. Papatheodorou, S. Boche, S. Barbas Laina, and S. Leutenegger, "Efficient submap-based autonomous MAV exploration using visual-inertial SLAM configurable for LiDARs or depth cameras," in IEEE International Conference on Robotics and Automation, 2025.
[^42]: S. K. Ramakrishnan, A. Gokaslan, E. Wijmans, O. Maksymets, A. Clegg, J. Turner et al., “Habitat-Matterport 3D dataset (HM3D): 1000 large-scale 3D environments for embodied AI,” in Neural Information Processing Systems Track on Datasets and Benchmarks, 2021.
[^43]: K. Yadav, R. Ramrakhya, S. K. Ramakrishnan, T. Gervet et al., "Habitat-Matterport 3D semantics dataset," in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023.
[^44] Open Robotics公司，《Gazebo Fortress》，，2021年。