# FoundPose：基于基础特征的无见物体姿态估计 Evin Pınar Örnek $^{1(\boxtimes)}$、Yann Labbé $^{2}$、Bugra Tekin $^{2}$、Lingni Ma $^{2}$、Cem Keskin $^{2}$、Christian Forster $^{2}$ 以及 Tomas Hodan $^{2}$ $^{1}$ 慕尼黑工业大学，德国慕尼黑 $^{2}$ Meta Reality Labs，美国雷德蒙德摘要。我们提出了FoundPose，这是一种基于模型的单张RGB图像无见物体6D姿态估计方法。该方法可利用物体的3D模型快速导入新物体，无需针对特定物体或任务进行训练。相比之下，现有方法通常需要先在大规模、特定任务的数据集上预训练，才能泛化到新物体并弥合图像与模型之间的域差异。我们发现，这种泛化能力在最近通过自监督方式训练的视觉基础模型中有所体现。具体而言，我们的方法通过图像与模型间的2D-3D对应关系来估计物体姿态，这些对应关系是通过匹配近期DINOv2模型中的图像与预渲染物体模板之间的补丁描述符来建立的。我们发现，通过对DINOv2中间层的补丁描述符进行kNN匹配，就能建立可靠的对应关系。这类描述符比最后一层的描述符携带更强的位置信息；当由于物体对称性或缺乏纹理导致语义信息模糊时，它们的重要性便凸显出来。为了避免针对所有物体模板建立对应关系，我们开发了一种高效的模板检索方法，该方法将补丁描述符整合到词袋表示中，能迅速筛选出少数外观相似的模板。此外，我们采用特征度量对齐技术来补偿因粗粒度补丁采样导致的2D-3D对应关系偏差。最终，该方法在包含七个不同数据集的标准BOP基准测试中，其无需精修的姿态估计性能明显优于现有的RGB方法；它还能与现有的渲染对比精修方法无缝结合，实现仅依赖RGB技术的顶尖姿态估计效果。项目页面：evinpinar.github.io/foundpose。 ## 1 引言基于图像的6D物体姿态（3D旋转和3D平移）估计是空间人工智能领域的重要研究课题。例如在机器人技术中，物体姿态信息能让机器人对物体执行操作，从而实现完全自动化作业。 E. P. Örnek——本文工作为Evin在Meta实习期间完成。 --- ![Image](images/fb1d1ddcaf401471aa9c138bfc54b21e52e8a8787f6f9ab6f553a351c9c63548.jpg)

Fig. 1. Bridging synthetic-to-real gap. Patch descriptors from an intermediate layer of DINOv2 [^62] (top), a recent vision foundation model, are the key enabler of FoundPose. Thanks to the generalization capability of these descriptors, it is possible to establish reliable correspondences between a real query image (left) and a synthetic template (right) by a simple nearest-neighbor matching. The patch descriptors are colored by the top three components of a PCA space computed from descriptors of all object templates. Note that colors of the same object parts are consistent, despite the real-to-synthetic domain gap.

仓库运营或装配领域的自动化解决方案也离不开这一技术。在混合现实应用中，该信息能实现对真实世界物体副本的物理交互，比如在全沉浸式环境下利用电脑键盘高效输入文字。在本研究中，我们解决了基于模型的无见物体6D姿态估计问题。我们假设物体的3D模型是可获取的，且导入这些物体的成本有限（例如不足以渲染大规模数据集并训练神经网络）。这是许多应用场景下的实际需求：高效的物体导入往往是关键要求，而3D物体模型可从制造商处获取，或自行重建[^57] [^71] [^89]。实际上，最早的物体姿态估计方法能够处理未见过的物体，因为它们无需任何训练，通常只需要一组参考图像即可。这些方法依赖于经典技术，比如匹配手工设计的图像特征 [^14] [^49] [^69] [^72] 或模板匹配 [^29] [^55]。后来，随着计算机视觉领域机器学习技术的兴起，大多数物体姿态估计方法开始依赖深度神经网络。这一转变显著提升了姿态估计的精度 [^81]，但泛化能力却受到限制——因为针对每个新物体实例或类别，通常需要大量的训练图像和漫长的训练过程。因此，这类方法大多仅适用于少数几种物体。直到最近，随着已见物体姿态估计的准确率逐渐趋于饱和，研究领域才重新将目光投向未见过的物体 [^56]；最初的尝试虽然取得了一定成果，但准确率明显较低，且计算开销更大 [^12] [^34] [^41] [^75]。 --- 凭借出色的泛化能力，基础模型 [^7] 为解决当前问题提供了坚实基础。诸如 DINOv2 [^15] [^62]、CLIP [^70] 或 ALIGN [^37] 之类的模型，无需针对特定任务进行训练，便能在各类视觉任务中取得良好效果 [^24] [^53] [^58] [^87]。例如，CNOS [^58] 利用冻结的 DINOv2 [^15] [^62] 以及 Segment Anything [^40]，在物体分割任务上的表现优于 Mask R-CNN [^25]。Goodwin 等人 [^24] 的研究表明，DINO 补丁描述符 [^11] 可用于建立同一物体类别实例之间的语义对应关系。受这些成功案例的启发，我们提出了 FoundPose——一种用于未见物体基于模型的姿态估计方法。通过精心的设计选择，该方法将现代基础模型的特征优势融入传统的计算机视觉技术之中。尽管该方法结构简单、易于理解，且无需针对特定物体或任务进行训练，却在标准的 BOP 基准测试中取得了业界领先的结果 [^34]。首先，给定一张RGB图像以及来自CNOS [^58]的物体掩码，我们会持续裁剪出物体区域，并快速检索出一组外观相似的、预先渲染好的物体模板。为此，我们通过将DINOv2融入2003年提出的词袋表示法中，开发出一种高效的检索方法 [^76]。该方法的速度比MegaPose [^41]中复杂的渲染与比对粗略阶段快15倍，且精度仅略低一些；同时它所需的模板数量也比以往方法少100倍（从数万张减少到几百张）[^60] [^75]（整体内存占用降低了25倍）。其次，我们通过简单的单向kNN搜索DINOv2图像块描述符，在每张检索到的合成模板（具有固定的光照和黑色背景）与真实图像裁剪区域之间建立2D-2D对应关系（见图1）。相比之下，现有方法通常需要基于大规模、高度随机化且针对特定任务的数据集来弥合合成数据到真实数据的域差距 [^33] [^41] [^82]。我们证明，来自DINOv2中间层的图像块描述符——这类描述符被证实包含更强的位置信息 [^2]——对于在物体对称性或纹理缺失导致语义信息模糊时实现几何一致的对应关系至关重要。结果表明，DINOv2中间层描述符正是FoundPose得以实现的关键；与通过SAM [^40]、CLIP [^70]、LoFTR [^78]、S2DNet [^23]以及密集SIFT [^49]提取的描述符相比，FoundPose的精度明显更高。接下来，针对每张检索到的模板，我们会根据图像到模型的2D-3D对应关系生成姿态假设；该关系是通过将模板中匹配的2D图像块位置利用渲染深度映射到3D来建立的。最后，我们通过特征度量优化来进一步优化质量最优的姿态假设，该方法将传统光度优化的思路 [^4] 应用于DINOv2图像块描述符。这种优化能够有效补偿因DINOv2图像块采样粗糙而产生的2D-3D对应关系偏差。 ## 总结来说，我们的贡献如下： 1. 一种无需训练的基于模型的物体姿态估计方法，它依赖于简单且易于理解的基于DINOv2的流程，在标准BOP基准测试中取得了最先进的结果 [^34]。 2. 一种高效的模板检索方法，所需的模板数量比以往方法少100倍，且对物体的部分遮挡具有鲁棒性。 --- 3. 一种轻量级的物体表示方法，构建速度快，内存占用比同类方法低25倍，能够支持大量物体的处理。 4. 一种特征度量优化方法，可弥补图像块采样粗糙带来的问题。 5. 证明了DINOv2中间层描述符在处理对称且无纹理的物体时的重要性，其性能也优于其他基础模型的描述符。 ## 2 相关工作本文的研究建立在长达60余年的物体姿态估计研究以及近期大规模视觉基础模型的发展之上。传统方法。从单张图像中估计刚性物体的6D位姿是最早的计算机视觉问题之一[^72]。早期方法依赖于局部特征匹配[^14] [^49] [^69]或模板匹配[^29] [^55]；只要提供一组标注了模型到相机变换关系的参考图像，就能快速适配新物体。随着微软Kinect的问世，研究领域的注意力转向了基于RGB-D或纯深度图像的物体位姿估计，由此产生了基于3D局部特征的方法[^84]，其中基于点对特征的方法尤为成功[^21] [^32]；此外还有基于RGB-D模板匹配的方法[^28] [^36]。RGB-D方法能生成更精确的位姿，因此在工业界广受欢迎，但其在开放世界场景中的应用受限。除了提升位姿估计精度外，Kinect类传感器提供的额外深度通道还实现了便捷的3D物体重建[^57]，进而催生了基于3D网格模型的方法。基于模型的物体位姿估计方案至今仍很受欢迎[^34] [^81]，无论是RGB还是RGB-D方法均如此；该方案在工厂和仓库等场景中尤为适用，因为这些场景下通常能获取CAD物体模型。另一方面，近期在[^26] [^79]中被重新探讨的无模型方案，则适用于目标物体数量较少且易于采集参考图像的混合现实应用场景。深度学习方法。与其他计算机视觉领域类似，基于手工设计特征和技术的方法正逐渐被基于深度神经网络的方法所取代[^42] [^45] [^51] [^86] [^90]，这类方法可处理RGB或RGB-D输入。就精度而言，这些方法代表了当前的技术水平[^34] [^81]。不过，由于学习新物体需要大规模训练数据集，其可扩展性受到限制。为解决这一问题，近期出现了无需针对特定物体进行训练即可适配新物体的深度学习方法。在基于模型的方法中，Nguyen等人[^60]、Shugurov等人（OSOP）[^75]以及Thalhammer等人[^83]通过对比学习来生成用于模板匹配的描述符；Sundermeyer等人[^80]通过增强型自编码器生成此类描述符；Pitteri等人[^67] [^68]可预测通用的3D关键点或局部表面嵌入；Xiao等人[^91]则直接预测3D物体朝向。无模型方法[^26] [^27] [^48] [^79]，以及依赖深度测量的方法[^5] [^12] [^61] [^64]也已被提出。 --- BOP 挑战赛 2023 [^34] 的未见物体位姿估计任务中表现最好的方法包括 GenFlow [^54]、MegaPose [^41]、GigaPose [^59]、FoundationPose [^88]、SAM-6D [^46] 和 PoMZ [^10]。为实现对新物体的泛化，除 PoMZ 外，所有方法都需要生成数百万张特定于任务的训练图像，展示数千种不同的物体。生成此类数据集需要大量工作，并带来新型挑战，包括将物体放置在场景中 [^16] [^35]、收集足够大的物体模型集合，或为模型添加纹理 [^88]。相比之下，FoundPose 不需要任何训练，使用冻结的 DINOv2 特征，并优于仅 RGB 的 GenFlow、MegaPose 和 GigaPose。FoundationPose、SAM-6D、PoMZ 以及 ZeroPose [^12] 均为 RGB-D 方法，且没有仅 RGB 版本。据我们所知，基于模型的物体位姿估计中仅有的免训练方法是 PoMZ [^10]（需要 RGB-D 输入）和 ZS6D [^3]（其精度显著低于 FoundPose）。ZS6D 使用来自最后一个 ViT [^18] 层的特征来建立对应关系；我们表明其不如我们的解决方案（Sect. 4）。请注意，[^3] [^10] [^12] [^54] [^59] [^88] 在提交时均未发表。基础模型。基础模型是一种通过自监督学习在海量数据上训练的机器学习模型，能够适配各种下游任务 [^7]。基础模型最初出现在自然语言处理领域，例如BERT [^17]或GPT-3 [^9]。在计算机视觉领域，基础模型的表现已经能够与监督学习模型相媲美甚至更优 [^7] [^11] [^13] [^53] [^62] [^63] [^87]。一个典型的例子就是DINOv2 [^62]，它基于Vision Transformer架构 [^18]，采用自蒸馏方式进行训练，已被证明能够编码关于物体部件的精细空间信息以及关于物体类别的语义信息 [^2]。它在零样本场景下——即无需任何训练——就能成功用于建立语义对应关系 [^2] [^24] [^47] [^92]。FoundPose正是基于这些发现而设计的。与Goodwin等人 [^24] 利用DINO补丁描述符在同一物体类别内建立语义对应关系的研究不同，FoundPose证明了DINOv2描述符可用于建立合成数据与真实数据之间的对应关系。此外，[^24]的方法在测试时需要RGB-D输入，无法处理对称物体（他们的评估中忽略了这类物体），且仅与自定义的基准方法进行比较。而FoundPose假设测试输入仅为RGB数据，天生就能处理对称物体，并且在标准的BOP基准测试中取得了最先进的结果。在已 reviewed 的特定物体姿态估计方法中，PoMZ [^10]和ZS6D [^3]也依赖于冻结的DINOv1/v2特征。不过前者需要RGB-D输入，后者的准确率明显更低。 ## 3 FoundPose 在本节中，我们将介绍用于未知物体姿态估计的所提出方法——FoundPose。我们首先在第3.1节对该方法做总体概述，随后在第3.2至3.5节重点阐述其关键组件以及设计思路的缘由。 --- ### 3.1 方法概述问题定义。我们考虑的是根据已知的相机内参，从单张RGB图像中估计刚性物体的6D姿态这一问题。目标是估算图像中所有可见的目标物体实例的姿态。我们假设针对目标物体仅能提供其3D网格模型，且用于导入物体数据以准备可用于在线姿态估计的物体表征的资源有限。按照BOP Challenge 2023的要求，导入过程的时间限制为5分钟，且只能使用1块GPU [^34]。我们还假设在推理阶段会提供目标物体实例的分割掩码，以及每个掩码对应的物体身份标识。在我们的实验中，通过CNOS [^58]来获取这些掩码；这是一种用于未知物体分割的新方法，它同样仅需3D模型即可完成物体数据的导入。导入与推理。在离线导入阶段，我们会渲染展示不同姿态下3D物体模型的模板。针对每个模板，我们提取图像块的DINOv2描述符，并将这些描述符注册到3D空间中——也就是说，每个图像块描述符都会与物体模型空间中对应的3D位置相关联（详见第3.2节）。推理时，给定某个物体实例的分割掩码，我们会裁剪掩码周围的图像区域，提取该裁剪区域的DINOv2图像块描述符，然后运用词袋检索技术高效找出一组姿态与该观测结果相似的模板（详见第3.3节）。对于每组检索到的模板，我们通过将裁剪区域中的图像块描述符与模板中的描述符进行匹配来建立2D-3D对应关系，再利用PnP-RANSAC算法生成姿态假设（详见第3.4节）。最后，我们采用特征度量对齐技术对最佳姿态假设进行优化；这是一种受光度对齐启发的基于优化的算法，作用于特征层面（详见第3.5节）。该方法的流程如图2所示。 ### 3.2 基于模板的物体表征模板生成。给定一个带有纹理映射的3D物体模型，我们会渲染n个展示该模型不同姿态的RGB-D模板。这些姿态是经过采样得到的，能够均匀覆盖$SO(3)$群组的3D旋转[^1]；模型采用标准光栅化技术[^74]进行渲染，背景为黑色且光照固定。模板的尺寸为$S \times S$像素，渲染时确保物体2D边界框的较长边长度为$\delta S$像素，且满足$\delta < 1$。推理时，我们会生成尺寸和填充方式与之相同的查询图像裁剪图（以便应对分割掩码存在的误差，我们围绕掩码裁剪图像）。注册到3D空间的图像块描述符。对于索引为$t \in \{1, \ldots, n\}$的每个RGB-D模板，我们将RGB通道划分为m个互不重叠、尺寸为$14 \times 14$像素的图像块，并计算它们的图像块描述符$\{\mathbf{p}_{t,i}\}_{i=1}^{m}$。图像块描述符的计算方式为$\mathbf{p}_{t,i} = \phi_d(\mathbf{p}_{t,i}')$，其中$\mathbf{p}_{t,i}'$是由DINOv2提取的原始图像块描述符， --- ![Image](images/0a72e357da63716b00a44fa4863084bb6dd5269f393aa50989f04bfdaeb3f28c.jpg)

Fig.2. FoundPose overview. During a short onboarding stage, we render RGB-D templates showing the object in different orientations, extract DINOv2 patch descriptors [^15] [^62] from the RGB channels and register the descriptors in 3D using the depth channel. At inference time, we crop the RGB query image around the object mask predicted by CNOS [^58] and retrieve a small set of most similar templates using a bag-of-words approach (with words defined by k-means clusters of patch descriptors from all templates). For each retrieved template, a pose hypothesis is generated by PnP-RANSAC [^22] [^43] from 2D-3D correspondences established by matching patch descriptors of the image crop and the template. Finally, the pose hypothesis with the highest number of inlier correspondences is refined by featuremetric alignment.

$\phi_d : \mathbb{R}^r \mapsto \mathbb{R}^d$会将r维原始描述符投影到前d个PCA分量上，这些分量是由所有n个模板的有效补丁描述符计算得出的。如果某个补丁的二维中心点落在物体掩码内，则该补丁被视为有效；采用基于PCA的降维方法是为了提升效率。随后，我们用集合$T_t = \{(\mathbf{p}_{t,j}, \mathbf{x}_j) \mid j \in M\}$来表示模板t，其中M代表有效补丁的索引，$\mathbf{x}_j$是一个三维位置（位于三维物体模型的坐标空间中），其二维投影恰好落在补丁j的中心。这些三维位置是根据模板的深度通道数据及已知的相机内参计算得出的，它们能够在推理阶段建立二维与三维之间的对应关系。词袋描述符。在系统初始化阶段，我们还会预先计算出所有模板的词袋描述符，以便在推理阶段利用传统的词袋图像检索技术[^66] [^76]高效检索模板；该技术借鉴了文本检索系统的思路，用“视觉词”来类比图像中的特征。具体来说，我们将视觉词定义为从某物体的所有模板中提取出的补丁描述符所构成的k均值聚类簇的质心。为了计算模板t的词袋描述符，我们会将模板表示$T_{t}$中的补丁描述符分配给最近的视觉词，并用向量$\mathbf{b}_{t} = (b_{1}, b_{2}, \ldots, b_{k})$来描述该模板。该向量由加权词频构成，定义如下：$b_{i} = (n_{i,t}/n_{t})\log(N/n_{i})$，其中$n_{i,t}$是词i在模板t中出现的次数，$n_{t}$是模板t中词的总数量，$n_{i}$是词i在所有N个模板中出现的次数。第一项$(n_{i,t}/n_{t})$会对在特定模板中频繁出现、因而能较好描述该模板的词赋予更高权重，第二项$(\log(N/n_{i}))$则会降低那些在任何模板中都频繁出现的词的权重。由于通过聚类生成的视觉词可能会存在量化误差， --- 我们遵循[^66] [^85]的方法，将每个补丁描述符以一定的权重软分配到几个最近的视觉词上，权重由$\exp(-d^2/2\sigma^2)$定义，其中d是该描述符与视觉词之间的欧几里得距离，$\sigma$是该方法的参数。 ### 3.3 基于词袋匹配的模板检索透视裁剪。推理阶段，我们首先裁剪给定物体分割掩码周围的图像区域。为了最小化透视畸变并得到与模板相似的裁剪结果，我们通过将查询图像变换到以该分割掩码为中心的虚拟针孔相机视角下来生成裁剪图像。该虚拟相机的光轴会穿过掩码的二维边界框中心，视口大小为$S \times S$像素，变换后的二维边界框较长的一边长为$\delta S$像素。检索相似模板。为了获取一小部分候选模板，我们先计算裁剪图像的词袋描述符（如3.2节所述），再计算它与所有物体模板的词袋描述符之间的余弦相似度（即归一化标量积）。我们选取余弦相似度最高的h个模板，它们能为后续的姿态估计阶段提供关于物体朝向的近似假设。这种检索技术高效且对部分遮挡具有鲁棒性。当物体被部分遮挡时，其可见部分仍能提供描述该物体的视觉词。余弦相似度会归一化这些词向量的大小，并侧重于词袋描述符的方向，因此对词语数量不敏感，而对词语类型更敏感。这种鲁棒性已在先前的研究[^65] [^76]以及我们的实验中得到验证（详见第4节中LM-O和T-LESS数据集上的结果）。由于词袋描述符将图像表示为无序视觉词的集合，通常可以通过加入空间验证阶段来重新排序检索结果，从而提升检索效果[^65]。但在我们的场景中，后续的PnP-RANSAC过程实际上已隐含了此类验证（空间上一致的对应关系有望得出更精确的姿态估计）；此外，由于用于构建词袋的补丁描述符来自DINOv2的中间层，其中包含了二维位置信息，因此这些词袋并非真正无序。 ### 3.4 基于2D-3D对应关系的姿态估计裁剪到模板的补丁匹配。对于每个检索到的模板t，我们将裁剪区域中的补丁描述符与$T_t$中最接近的描述符进行匹配（基于欧几里得距离），从而建立2D-3D对应关系$C_t = \{(\mathbf{u}_i, \mathbf{x}_i)\}_{i=1}^m$；其中$\mathbf{u}_i$是查询补丁的二维中心，$\mathbf{x}_i$是与匹配的补丁描述符相关联的三维位置，该描述符同样来自$T_t$。Goodwin等人提出的循环匹配方法[^24]在我们的实验设置中并未起到积极作用。通过裁剪到模板的补丁匹配来建立2D-3D对应关系，比针对所有模板的补丁描述符进行穷举匹配要简单得多——后者是在没有模板检索阶段时必需的操作。此外，我们证明基于模板的方法能够有效处理任意物体。 --- ![Image](images/4610b93bbab974e4241520f6597429f14f1de63466d79190547f33f4424be46c.jpg)

Template images

![Image](images/228db1b0a912f940ab22ab6f1529228332764911d8d8b242d7a211bf1b6d2fbd.jpg) ![Image](images/a5302b10a0430a3306ae2cb6355d0d5f5a16f03bcafb30f8393e1b43d142f20c.jpg)

Layer 13

Layer 18

![Image](images/ce047c759c3e3ccd861f4ab30b0914b4bd3813ad34e63b95afa55fb995e3c094.jpg)

Layer 23

Fig.3. Visualization of DINOv2 patch descriptors. Shown are top three PCA components of patch descriptors from different layers of DINOv2 ViT-L [^15], for a textured object from YCB-V [^90] (top) and a symmetric and texture-less object from T-LESS [^31] (bottom). As observed in [^2] and also clearly visible in these visuals, the patch descriptors contain gradually less positional and more semantic information when going from shallower to deeper layers – the different coloring of object sides (red left vs yellow right) in Layer 13 gradually blends to a solid color (orange) in Layer 23. FoundPose performs the best with descriptors from layer 18, which presumably provides the right information mix. We observed that these descriptors produce geometrically consistent correspondences even on symmetric and texture-less objects – when the semantic information is ambiguous (due to symmetries or a lack of texture), the positional information prioritizes matching patches from the same object side. (Color figure online)

这类物体包括具有对称性或纹理不明显的复杂物体。此类物体向来存在2D-3D对应关系的歧义性问题[^30]，而我们通过以下方式消除了这一歧义：(1)将候选补丁限定在单个模板内；(2)使用来自DINOv2中间层的补丁描述符，这类描述符同时包含语义信息与二维位置信息[^2]。我们发现，当由于对称性或缺乏纹理导致语义信息无法区分物体时，位置信息对于生成几何上一致的对应关系至关重要（详见图3和第4.3节）。姿态拟合。对于每个检索到的模板t，我们根据2D-3D对应关系$(\mathbf{R}_t, \mathbf{t}_t)$来估计物体的姿态$\mathbf{R}_t$——该姿态由从模型空间到相机空间的三维旋转$\mathbf{t}_t$和三维平移$C_t$定义。我们通过求解透视n点（PnP）问题来得到这一姿态。具体采用EPnP算法[^43]结合RANSAC拟合方案[^22]以确保鲁棒性。在该方案中，PnP问题会在随机选取的4个对应点上反复求解，最终输出质量最高的姿态假设，而我们以内点对应点的数量来衡量姿态质量[^22]。从h个检索模板得到的h个姿态中，质量最高的那个会被选为最终的粗略姿态估计值$(\mathbf{R}_c, \mathbf{t}_c)$。 --- ### 3.5 基于特征度量的姿态精修减少2D-3D差异。通过连接匹配到的裁剪图像块和模板图像块的2D中心点，并利用渲染的深度通道将模板图像块的中心点提升至3D空间，从而建立2D-3D对应关系。由于这些图像块相对较大（$14 \times 14$像素），即便使用基于真实值的模型到裁剪图像变换进行投影，裁剪图像块的2D中心点也可能无法与对应3D点的2D投影精确对齐。为了弥补这种潜在的差异，我们通过下文所述的特征度量优化方法，将模板图像块对齐到其在裁剪图像中的最优位置，进而优化姿态估计结果。特征度量对齐。通过Levenberg-Marquardt（L-M）算法$(R_{c}, t_{c})$ [^44]对粗略姿态[^52]进行优化，这是一种迭代的非线性优化算法。每次L-M迭代都会通过梯度下降步骤更新姿态参数，在最小化实值代价的同时，会根据代价大小自适应地选择一阶或二阶梯度。我们以粗略姿态$(R_{c}, t_{c})$作为优化的初始值，通过最小化下述特征度量误差，得到优化后的精细姿态$(R_{r}, t_{r})$： $$ \left(\mathbf{R}_{r},\mathbf{t}_{r}\right)=\underset{\left(\mathbf{R},\mathbf{t}\right)}{\arg\min}\sum_{\left(\mathbf{p}_{i},\mathbf{x}_{i}\right)\in T_{t}}\rho\Big(\mathbf{p}_{i}-\mathbf{F}_{q}\Big(\pi(\mathbf{R}\mathbf{x}_{i}+\mathbf{t})/s\Big)\Big), $$ 其中$\rho$是Barron提出的鲁棒代价函数[^6]，$(\mathbf{p}_i, \mathbf{x}_i) \in T_t$是描述符，也是模板t中第i个图像块对应的3D位置，$\pi : \mathbb{R}^3 \to \mathbb{R}^2$代表2D投影。特征图$\mathbf{F}_q \in \mathbb{R}^{a \times a \times d}$是通过堆叠查询图像中的图像块描述符得到的，并在归一化的2D投影处采用双线性插值采样。该特征图的空间分辨率为$a \times a$，其中$a = S/s$，$s \times s$为图像块尺寸。需要注意的是，类似的特征度量对齐方法已在多项研究中应用[^73] [^77]，通常需结合专门为L-M训练的特征。在我们的工作中，无需额外训练即可直接基于DINOv2特征进行对齐。尽管无法保证能达到全局最优解——这一点与其他优化光度/特征度量目标的方法类似——但我们发现往往能得到合理的解。 ## 4 实验在本节中，我们将FoundPose的精度和速度与在BOP基准测试[32–34,81]上评估的最先进方法进行比较，同时展示消融实验结果（见图4）。 ### 4.1 实验设置评估协议。我们遵循BOP挑战赛2019–2023年的评估协议[^33]。简而言之，该方法需用于解决6D物体定位问题，且 --- ![Image](images/782a072c53e664c456d47a2270a3369706f5a83df871d1c0c7be52708c486802.jpg)

Fig. 4. Example FoundPose results on HB, LM-O, IC-BIN, TUD-L, ITODD and T-LESS datasets, showing that our method can handle a broad range or objects, including textured, texture-less and symmetric ones. Each example shows the query image crop with the CNOS mask in white (top left), retrieved templates (middle row), matched patch descriptors of the crop and the template that led to the top-quality pose estimate (bottom row), and the contour of the ground-truth pose in red, the coarse pose in blue, and the refined pose in green (top right). (Color figure online)

根据真实姿态计算的估计姿态误差，是通过三种姿态误差函数来衡量的：可见表面差异（VSD）仅考虑可见物体部分，从而将模糊姿态视为等价；最大对称感知表面距离（MSSD）会利用预先识别出的全局物体对称性，测量三维空间中的表面偏差；最大对称感知投影距离（MSPD）同样基于物体对称性来衡量可感知的偏差。若满足$e < \theta_e$条件，则针对某一姿态误差函数e而言，该估计姿态即被视为正确，其中$e \in \{\text{VSD}, \text{MSSD}, \text{MSPD}\}$和$\theta_e$为判定正确的阈值。能够被正确估计姿态的标注物体实例所占比例被称为召回率。针对某一函数e的平均召回率$\text{AR}_e$，定义为在VSD场景下，针对不同阈值$\theta_e$以及不同对齐容差$\tau$所计算出的召回率的平均值。某方法的整体准确性可通过平均召回率来衡量：$\text{AR} = (\text{AR}_{\text{VSD}} + \text{AR}_{\text{MSSD}} + \text{AR}_{\text{MSPD}}) / 3$。 --- 数据集。实验是在七个核心BOP数据集上进行的：LM-O [^8]、T-LESS [^31]、ITODD [^20]、HB [^39]、YCB-V [^90]、IC-BIN [^19]以及TUD-L [^32]。这些数据集包含108种多样化的物体，从无纹理且对称的工业物体（如ITODD、T-LESS）到常见的家用物品均有涵盖。图像所呈现的场景复杂度各异，既有仅含几个独立物体的简单场景，也有存在多个物体实例且杂乱程度高、遮挡严重的复杂场景。进行FoundPose实验时，仅使用了这些数据集中的三维物体模型和测试图像，并未使用提供的合成或真实训练图像，因为该方法无需训练。对比方法。FoundPose 与在 BOP Challenge 2023 [^34] 的未见物体姿态估计任务上评估的基于模型的 RGB 方法进行了比较：GenFlow [^54]、MegaPose [^41]、GigaPose [^59]，并与 ZS6D [^3] 和 OSOP [^75] 进行了比较。除 OSOP 外，所有这些方法（包括 FoundPose）都使用由 CNOS [^58] 生成并提供给挑战赛参与者的相同分割掩码。OSOP 在 LM-O、HB 和 YCB-V 上依赖针对未见物体的定制检测器，在 T-LESS 上依赖针对特定物体训练的 Mask R-CNN [^25]（因此我们不包含 T-LESS 的结果）。除了其粗姿态由 featuremetric refinement（第 3.5 节）细化的 FoundPose 变体之外，我们还评估了姿态由 MegaPose 细化器迭代 5 次（即 MegaPose 流水线 [^41] 的最后阶段）细化的变体。实现细节。除非另有说明，我们在所展示的实验中采用以下参数设置。我们为每个物体渲染800个模板，这些模板中物体朝向之间的夹角约为$25^\circ$。我们将模板和查询图像裁剪区域的大小设置为$420 \times 420$像素，相关参数为$\delta = 0.6$。对于DINOv2训练时所采用的$14 \times 14$像素的补丁尺寸，我们从每个模板/裁剪区域中提取$30 \times 30$个补丁描述符，并通过将它们投影到前256个PCA分量上来降低其维度。我们使用DINOv2 ViT-L/14第18层的输出令牌（寄存器[^15]）作为补丁描述符。用于词袋模板检索的视觉词是针对每个物体，由该物体所有模板的补丁描述符经k-means聚类得到的2048个簇的质心来定义的。词袋描述符是通过将每个补丁描述符软分配到最近的3个词来构建的，相关参数为$\sigma = 10$。对于每个查询图像裁剪区域，我们会检索出5个模板，并通过PnP-RANSAC算法根据查询图像裁剪区域与模板之间的2D-3D对应关系来估计姿态；该算法最多运行400次迭代，内点阈值设为10像素。特征度量细化算法会应用于最佳粗略姿态，最多迭代30次直至收敛，其中Barron损失[^6]的参数分别设为$\alpha = -5$和$c = 0.5$。默认情况下，所评估的FoundPose变体针对每个物体使用n个CNOS掩码，这里的n是待定位的物体实例数量（在BOP的6D物体定位任务中输入）。唯一的例外是表1底部的变体，它们针对每个物体使用$5n$个CNOS掩码。需要注意的是，所有掩码均从为BOP 2023 [^34]提供的默认CNOS掩码文件中加载，这些文件包含每个物体实例的多个掩码。其他方法所使用的CNOS掩码数量尚不清楚。 --- ### 4.2 主要结果精度。在不应用任何细化阶段的方法中，FoundPose（未经过特征度量细化）生成的姿态比竞争对手精确得多：与GigaPose [^59]、GenFlow [^54]和MegaPose [^41]的粗略版本相比，其在七个BOP数据集上的平均AR值分别高出10、14和16（见表1的第1–4行）。应用特征度量细化后，平均AR值还能额外提升5（第1行与第7行对比）。若以FoundPose生成的粗略姿态为初始值，再采用MegaPose的迭代渲染比对方法进行细化，即便计算成本增加，也能实现+17的AR值提升（第1行与第8行对比）；该方法基于超过200万张多样化物体的合成图像训练而成，已被证明极为有效。当以FoundPose生成的粗略姿态为起点时，MegaPose细化器得出的AR分数比以MegaPose原始粗略姿态估计阶段的姿态为起点时高出4分（第8行与第11行对比）。如果对多个姿态假设进行细化，再将最优的细化后姿态作为最终估计结果，即便计算成本更高，也能取得进一步的性能提升（第12–17行）。当我们用特征度量细化结合MegaPose细化来处理从5个检索到的模板生成的Top 5姿态假设时，最终得到的平均AR值达到了59.6，这一成绩最为优异。无论是在单假设还是多假设设置下，结合这两种细化方法都能取得最佳得分（第9行和第14行），这表明二者具有互补性。这一结果优于MegaPose和GenFlow的多假设版本（第16行和第17行）——它们是BOP挑战赛2023 [^34]中表现最佳的RGB方法；也优于经过MegaPose细化的GigaPose [^59]（第15行）。速度。所展示的FoundPose变体在表1评估的三个类别中均是最精确且第二快的方案¹²。值得注意的是，FoundPose的粗略姿态估计阶段速度显著更快（1.7秒对比15.5秒），精确度也高于MegaPose的粗略渲染比对阶段（第1行对比第4行）。所提出的FoundPose变体提供了速度与精度之间的不同权衡：速度较快的变体（第1行和第7行）适用于机器人操控等在线应用场景，而精度更高的变体则适用于为监督学习方法生成真实物体姿态标注等离线应用场景[^81]。这种权衡还可通过模板尺寸或不同类型的DINOv2骨干网络来进一步调控——表2中的第3-4行显示，若将表1结果所用的ViT-L骨干网络替换为更小的ViT-S，FoundPose的处理时间约为每张图像1.3秒。需注意，所报告的时间还包含了耗时约0.3秒/图像的CNOS分割阶段。离线物体录入时间不到5分钟，符合BOP的要求[^34]。 ---

Table 1. Performance on the seven core BOP datasets [^81]. The table shows Average Recall (AR) scores per dataset, the average AR score, and the time to estimate poses of all objects in an image averaged over the datasets (in seconds). Methods for coarse pose estimation (without applying any refinement) are in the upper part, methods applying a refinement stage on a single pose hypothesis are in the middle, and methods refining multiple pose hypotheses and reporting the top refined pose (with the highest refinement score) are at the bottom. Methods that do not undergo any task-specific training are marked with ✓.

#	Method	Pose refinement	No train.	LM-O	T-LESS	TUD-L	IC-BIN	ITODD	HB	YCB-V	Average	Time
Coarse pose estimation:
1	FoundPose	-	✓	39.6	33.8	46.7	23.9	20.4	50.8	45.2	37.2	1.7
2	GigaPose [^59]	-	✗	29.9	27.3	30.2	23.1	18.8	34.8	29.0	27.6	0.9
3	GenFlow [^54]	-	✗	25.0	21.5	30.0	16.8	15.4	28.3	27.7	23.5	3.8
4	MegaPose [^41]	-	✗	22.9	17.7	25.8	15.2	10.8	25.1	28.1	20.8	15.5
5	OSOP [^75]	-	✗	31.2	-	-	-	-	49.2	33.2	-	-
6	ZS6D [^3]	-	✓	29.8	21.0	-	-	-	-	32.4	-	-
With pose refinement (a single hypothesis):
7	FoundPose	Featuremetric	✓	39.5	39.6	56.7	28.3	26.2	58.5	49.7	42.6	2.6
8	FoundPose	MegaPose	✗	55.4	51.0	63.3	43.0	34.6	69.5	66.1	54.7	4.4
9	FoundPose	Feat. + MegaPose	✗	55.7	51.0	63.3	43.3	35.7	69.7	66.1	55.0	6.4
10	Gigapose [^59]	MegaPose	✗	55.6	54.6	57.8	44.3	37.8	69.3	63.4	54.7	2.4
11	MegaPose [^41]	MegaPose	✗	49.9	47.7	65.3	36.7	31.5	65.4	60.1	50.9	31.7
With pose refinement (5 hypotheses):
12	FoundPose	Featuremetric	✓	42.0	43.6	60.2	30.5	27.3	53.7	51.3	44.1	7.4
13	FoundPose	MegaPose	✗	58.6	54.9	65.7	44.4	36.1	70.3	67.3	56.8	11.2
14	FoundPose	Feat. + MegaPose	✗	61.0	57.0	69.4	47.9	40.7	72.3	69.0	59.6	20.5
15	GigaPose [^59]	MegaPose	✗	59.9	57.0	64.5	46.7	39.7	72.2	66.3	57.9	7.3
16	GenFlow [^54]	GenFlow	✗	56.3	52.3	68.4	45.3	39.5	73.9	63.3	57.1	20.9
17	MegaPose [^41]	MegaPose	✗	56.0	50.7	68.4	41.4	33.8	70.4	62.1	54.7	47.4

### 4.3 消融实验特征提取器。表2（第1–7行）评估了未经过特征度量细化的FoundPose在不同补丁描述符下的性能。当选用DINOv2 ViT-L模型中第18层（共23层）的输出令牌作为补丁描述符时，我们获得了最佳的姿态精度，该模型带有寄存器 [^15]。从定性结果来看，这一层在位置信息与语义信息之间取得了良好平衡——由此产生的对应关系比使用更深层得到的对应关系在几何上更具一致性（见图3）。此外，我们还评估了使用从SAM ViT-L的第23层 [^40]、特征匹配流程LoFTR [^78]和S2DNet [^23]的最后一个骨干层、CLIP图像编码器的最后一层 [^70] 提取的补丁描述符的FoundPose，以及由以下方式定义的补丁描述符： ---

Table 2. Ablation experiments. We analyze different backbones for extracting patch descriptors (rows 1–7), compare our bag-of-words template retrieval with alternative approaches based on matching the cls token (rows 1 vs 8 and 9), evaluate our retrieval approach by considering the pose associated with the top template as the final pose estimate (row 10), and show the accuracy of coarse poses from FoundPose when ground-truth masks are used instead of the CNOS masks [^58] (row 11; ground-truth annotations for ITODD and HB are not publicly available).

#	Method	LM-O	T-LESS	TUD-L	IC-BIN	ITODD	HB	YCB-V	Average	Time
	Backbones for extracting patch descriptors:
1	DINOv2 ViT-L – layer 18	39.6	33.8	46.7	23.9	20.4	50.8	45.2	37.2	1.7
2	DINOv2 ViT-L – layer 23	23.2	22.8	31.2	10.3	9.7	33.0	34.0	23.5	1.5
3	DINOv2 ViT-S – layer 9	34.0	31.6	42.7	21.7	16.8	46.8	44.7	34.0	1.3
4	DINOv2 ViT-S – layer 11	22.8	24.2	29.8	11.9	10.5	30.4	36.4	23.7	1.3
5	SAM ViT-L [^40] – layer 23	2.2	12.8	9.2	7.5	6.0	10.6	26.9	10.7	3.4
6	DenseSIFT – step size 7px	3.2	2.6	6.5	10.5	2.9	5.6	22.2	7.6	1.4
7	S2DNet[^23]	0.8	1.2	0.8	1.4	1.2	1.2	1.3	1.1	1.8
	Template retrieval by matching $c_{1}s$ token from layer 18 of DINOv2 ViT-L:
8	Retrieval by $c_{1}s$ token	19.9	17.8	24.6	10.3	13.6	17.7	23.6	18.2	1.6
9	Retrieval by $c_{1}s$ token with black bg.	25.5	26.2	30.3	16.7	13.6	29.3	34.4	25.1	1.6
	Other ablations:
10	Pose given by the top matched template	20.3	18.5	23.0	12.8	12.4	19.6	17.6	17.7	1.0
11	Ground-truth instead of CNOS masks	45.6	53.1	57.1	30.6	-	-	50.9	-	-

传统的SIFT描述符[^50]，该描述符是在单元格大小为7像素的规则二维网格上计算得出的。对于S2DNet而言，描述符是通过对最后的CNN特征图进行采样获得的。这些实验中所有方法参数均保持不变，仅有补丁描述符有所不同。如表2所示，来自DINOv2的补丁描述符是FoundPose的关键支撑，其精度显著高于其他描述符（我们仅展示了性能较好的替代方案的结果）。模板检索。接下来，我们在表2的第8-9行评估所提出的词袋模板检索方法与另一种基于匹配DINOv2的cls token的方法的性能对比，后者在CNOS[^58]中用于物体识别。在另一种方法中，我们使用DINOv2 ViT-L第18层的cls token作为模板和裁剪描述符，并检索那些与裁剪描述符余弦相似度最高的模板。与由补丁描述符构建的词袋描述符相比，我们发现cls token对遮挡的鲁棒性较差，且包含的关于物体姿态的信息有限（[^58]中的图5也显示了这一点）。为避免背景对cls token的影响，我们还测试了一种变体：将物体掩码外的像素设为黑色，如[^3]和[^58]中所述。如表2的第8行与第9行所示，这一修改提升了基于cls的方法的性能，但仍远不及我们的词袋方法的性能（第1行）。当 --- 我们尝试使用第23层的c1s令牌，这种替代检索方法取得了更低的准确率。我们进一步通过分析用词袋法检索到的模板所对应的物体姿态，来评估这类模板的质量。模板中的姿态会被调整，使得物体的二维边界圆与查询图像中物体分割掩码的二维边界圆对齐。这种方法的效果出奇地好，其准确率接近MegaPose生成的粗略姿态，而速度却快了15倍（表2第10行与表1第4行对比）。另一种可能的检索方法是直接匹配每对查询模板之间的图像块，再根据匹配质量计算配对相似度，比如Goodwin等人所采用的方法[^24]。这种方法需要对每一对样本执行kNN搜索，效率明显低于我们的方法（每个查询的处理时间分别为0.64秒和0.0008秒；通过faiss测量[^38]）。真实分割掩码。常见的失败原因之一是分割掩码存在误差。当使用真实掩码代替CNOS预测的掩码时[^58]，FoundPose的AR值能提升6%到19%（表2第1行与第11行对比）。其他参数的影响。我们还测试了不同数量的模板（400、800、1600）、PCA成分数（128、256、512、1024）、视觉词汇量（1024、2048、4096）以及RANSAC迭代次数（200、400、800）下FoundPose的表现。这些设置会影响内存需求，但对速度和准确率的影响微乎其微。内存需求。每个模板约有300个有效图像块，这些图像块的描述符被投影到256维的PCA空间中，每个标量占用4字节，因此每个模板的图像块描述符占300kB。当有2048个视觉词汇时，词袋描述符还会额外占用每个模板8kB的空间。总体而言，由800个模板构成的物体表征占用234MB内存。与以往的基于模板的方法相比，这一数值比OSOP[^75]和Nguyen等人提出的方法[^60]所需的内存少25倍——后者为每个物体需要5.6GB内存（即92232个模板各自对应16384维的向量）。若将模板数量设为400、PCA空间维度设为128、视觉词汇量设为1024，FoundPose所需的内存可降至59MB，且AR值仅下降不到1。Sundermeyer等人提出的基于模板的方法[^80]每个物体仅需45MB内存，但其准确率比FoundPose低13.1 AR（详情见[^80]）。同期研究的GigaPose[^59]和ZS6D[^3]每个模板的内存需求与FoundPose相近，分别使用了162个和300个模板，但准确率更低（见表1）。 ## 5 结论我们提出了一种用于未见物体基于模型的姿态估计的RGB方法，该方法在标准的BOP基准测试中显著优于现有方法。我们认为，无需针对特定物体或任务进行训练，仅借助一个冻结的视觉基础模型就能实现这一成果，是一个重要且出乎意料的结果。此外，我们还证明该方法能与现有的渲染比对优化方法无缝结合，从而取得仅依赖RGB数据的顶尖结果。我们的出色成果鼓励人们重新审视那些在现代文献中常被忽视的高效传统计算机视觉技术。 --- Frozen Vision基础模型是一个重要且出人意料的研究成果。此外，我们还证明该方法能够与现有的渲染与对比优化方法无缝结合，从而取得仅基于RGB数据的顶尖成果。我们取得的显著成果令人鼓舞，促使人们重新关注那些在现代文献中常被忽视的高效经典计算机视觉技术。 ## 参考文献 [^1]: Alexa, M.: Super-fibonacci spirals: fast, low-discrepancy sampling of SO(3). In: CVPR (2022) [^2]: Amir, S., Gandelsman, Y., Bagon, S., Dekel, T.: Deep ViT features as dense visual descriptors. In: ECCVW (2022) [^3]: Ausserlechner, P., Haberger, D., Thalhammer, S., Weibel, J.B., Vincze, M.: ZS6D: zero-shot 6D object pose estimation using vision transformers. arXiv preprint arXiv:2309.11986 (2023) [^4]: Baker, S., Matthews, I.: Lucas-Kanade 20 years on: a unifying framework. IJCV 56, 221–255 (2004) [^5]: Balntas, V., Doumanoglou, A., Sahin, C., Sock, J., Kouskouridas, R., Kim, T.K.: Pose guided RGBD feature learning for 3D object pose estimation. In: ICCV (2017) [^6]: Barron, J.T.: A general and adaptive robust loss function. In: CVPR (2019) [^7]: Bommasani, R., et al.: On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258 (2021) 8. Brachmann, E., Krull, A., Michel, F., Gumhold, S., Shotton, J., Rother, C.：利用3D物体坐标学习6D物体姿态估计。载于：Fleet, D., Pajdla, T., Schiele, B., Tuytelears, T.（编）《ECCV 2014》。LNCS，第8690卷，第536–551页。Springer出版社，Cham（2014年）。 [^9]: Brown, T., et al.: Language models are few-shot learners. In: NeurIPS (2020) [^10]: Caraffa, A., Boscaini, D., Hamza, A., Poiesi, F.: Object 6D pose estimation meets zero-shot learning (2023) [^11]: Caron, M., et al.: Emerging properties in self-supervised vision transformers. In: ICCV (2021) [^12]: Chen, J., Sun, M., Bao, T., Zhao, R., Wu, L., He, Z.: ZeroPose: CAD-model-based zero-shot pose estimation. arXiv preprint arXiv:2305.17934 (2023) [^13]: Cherti, M., et al.: Reproducible scaling laws for contrastive language-image learning. In: CVPR (2023) [^14]: Collet, A., Martinez, M., Srinivasa, S.S.: The MOPED framework: object recognition and pose estimation for manipulation. In: IJRR (2011) [^15]: Darcet, T., Oquab, M., Mairal, J., Bojanowski, P.: Vision transformers need registers. arXiv preprint arXiv:2309.16588 (2023) [^16]: Denninger, M., et al.: BlenderProc: reducing the reality gap with photorealistic rendering. In: Robotics, Science and Systems (RSS) Workshops (2020) [^17]: Devlin, J., Chang, M.W., Lee, K., Toutanova, K.: BERT: pre-training of deep bidirectional transformers for language understanding. In: ACL (2019) 18. Dosovitskiy, A.等：一张图片抵得上$16 \times 16$个词：大规模图像识别的Transformer模型。载于：ICLR会议论文集（2021年） [^19]: Doumanoglou, A., Kouskouridas, R., Malassiotis, S., Kim, T.K.: Recovering 6D object pose and predicting next-best-view in the crowd. In: CVPR (2016) ## [^20]: Drost, B., Ulrich, M., Bergmann, P., Hartinger, P., Steger, C.: Introducing MVTec ITODD – a dataset for 3D object recognition in industry. In: ICCVW (2017) --- [^21]: Drost, B., Ulrich, M., Navab, N., Ilic, S.: Model globally, match locally: efficient and robust 3D object recognition. In: CVPR (2010) [^22]: Fischler, M.A., Bolles, R.C.: Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM (1981) [^23]: Germain, H., Bourmaud, G., Lepetit, V.: S2DNet: learning accurate correspondences for sparse-to-dense feature matching. In: ECCV (2020) [^24]: Goodwin, W., Vaze, S., Havoutis, I., Posner, I.: Zero-shot category-level object pose estimation. In: ECCV (2022) [^25]: He, K., Gkioxari, G., Dollár, P., Girshick, R.: Mask R-CNN. In: ICCV (2017) [^26]: He, X., Sun, J., Wang, Y., Huang, D., Bao, H., Zhou, X.: OnePose++: keypoint-free one-shot object pose estimation without CAD models. In: NeurIPS (2022) [^27]: He, Y., Wang, Y., Fan, H., Sun, J., Chen, Q.: FS6D: few-shot 6D pose estimation of novel objects. In: CVPR (2022) [^28]: Hinterstoisser, S., et al.: Model based training, detection and pose estimation of texture-less 3D objects in heavily cluttered scenes. In: ACCV (2012) [^29]: Hinterstoisser, S., Lepetit, V., Ilic, S., Fua, P., Navab, N.: Dominant orientation templates for real-time detection of texture-less objects. In: CVPR (2010) [^30]: Hodan, T., Barath, D., Matas, J.: EPOS: estimating 6D pose of objects with symmetries. In: CVPR (2020) [^31]: Hodan, T., Haluza, P., Obdrzalek, S., Matas, J., Lourakis, M., Zabulis, X.: T-LESS: an rgb-d dataset for 6d pose estimation of texture-less objects. In: WACV (2017) [^32]: Hodan, T., et al.: BOP: benchmark for 6D object pose estimation. In: ECCV (2018) [^33]: Hodan, T., et al.: BOP challenge 2020 on 6D object localization. In: ECCVW (2020) 34. Hodan, T.等：2023年BOP挑战赛——未见过的刚性物体的检测、分割与姿态估计（2023年）。 [^35]: Hodaň, T., et al.: Photorealistic image synthesis for object instance detection. In: IEEE International Conference on Image Processing (ICIP) (2019) [^36]: Hodaň, T., Zabulis, X., Lourakis, M., Obdržálek, Š., Matas, J.: Detection and fine 3d pose estimation of texture-less objects in RGB-D images. In: IEEE International Conference on Intelligent Robots and Systems (IROS) (2015) [^37]: Jia, C., et al.: Scaling up visual and vision-language representation learning with noisy text supervision. In: ICML (2021) [^38]: Johnson, J., Douze, M., Jégou, H.: Billion-scale similarity search with GPUs. IEEE Trans. Big Data (2019) [^39]: Kaskman, R., Zakharov, S., Shugurov, I., Ilic, S.: HomebrewedDB: RGB-D dataset for 6D pose estimation of 3D objects. In: ICCVW (2019) [^40]: Kirillov, A., et al.: Segment anything. In: ICCV (2023) [^41]: Labbé, Y., et al.: MegaPose: 6D pose estimation of novel objects via render & compare. In: CoRL (2022) [^42]: Labbé, Y., Carpentier, J., Aubry, M., Sivic, J.: CosyPose: consistent multi-view multi-object 6D pose estimation. In: ECCV (2020) [^43]: Lepetit, V., Moreno-Noguer, F., Fua, P.: EPnP: an accurate O(n) solution to the PnP problem. IJCV 81, 155–166 (2009) [^44]: Levenberg, K.: A method for the solution of certain non-linear problems in least squares. Quart. Appl. Math. (1944) [^45]: Li, Y., Wang, G., Ji, X., Xiang, Y., Fox, D.: DeepIM: deep iterative matching for 6D pose estimation. IJCV (2020) ## [^46]: Lin, J., Liu, L., Lu, D., Jia, K.: SAM-6D: segment anything model meets zero-shot 6d object pose estimation. arXiv preprint arXiv:2311.15707 (2023) --- [^47]: Liu, Y., Zhu, M., Li, H., Chen, H., Wang, X., Shen, C.: Matcher: segment anything with one shot using all-purpose feature matching. arXiv preprint arXiv:2305.13310 (2023) [^48]: Liu, Y., et al.: Gen6D: generalizable model-free 6-DoF object pose estimation from RGB images. In: ECCV (2022) [^49]: Lowe, D.G.: Object recognition from local scale-invariant features. In: ICCV (1999) [^50]: Lowe, D.G.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91–110 (2004) [^51]: Manhardt, F., Kehl, W., Navab, N., Tombari, F.: Deep model-based 6D pose refinement in RGB. In: ECCV (2018) [^52]: Marquardt, D.W.: An algorithm for least-squares estimation of nonlinear parameters. J. Soc. Ind. Appl. Math. 11, 431–441 (1963) [^53]: Melas-Kyriazi, L., Rupprecht, C., Laina, I., Vedaldi, A.: Deep spectral methods: a surprisingly strong baseline for unsupervised semantic segmentation and localization. In: CVPR (2022) [^54]: Moon, S., Son, H.: GenFlow, a submission to the BOP Challenge 2023 (bop.felk.cvut.cz) (2023) [^55]: Murase, H., Nayar, S.K.: Visual learning and recognition of 3-D objects from appearance. IJCV 14, 5–24 (1995) [^56]: Naeem, M.F., Örnek, E.P., Xian, Y., Van Gool, L., Tombari, F.: 3D compositional zero-shot learning with decompositional consensus. In: ECCV (2022) [^57]: Newcombe, R.A., et al.: KinectFusion: real-time dense surface mapping and tracking. In: ISMAR (2011) [^58]: Nguyen, V.N., Groueix, T., Ponimatkin, G., Lepetit, V., Hodan, T.: CNOS: a strong baseline for cad-based novel object segmentation. In: ICCVW (2023) [^59]: Nguyen, V.N., Groueix, T., Salzmann, M., Lepetit, V.: GigaPose: fast and robust novel object pose estimation via one correspondence. In: CVPR (2024) [^60]: Nguyen, V.N., Hu, Y., Xiao, Y., Salzmann, M., Lepetit, V.: Templates for 3D object pose estimation revisited: generalization to new objects and robustness to occlusions. In: CVPR (2022) [^61]: Okorn, B., Gu, Q., Hebert, M., Held, D.: ZePHyR: zero-shot pose hypothesis rating. In: ICRA (2021) [^62]: Oquab, M., et al.: DINOv2: learning robust visual features without supervision. arXiv preprint arXiv:2304.07193 (2023) [^63]: Örnek, E.P., et al.: SupeRGB-D: zero-shot instance segmentation in cluttered indoor environments. In: IEEE RA-L (2023) [^64]: Park, K., Mousavian, A., Xiang, Y., Fox, D.: Latent Fusion: end-to-end differentiable reconstruction and rendering for unseen object pose estimation. In: CVPR (2020) [^65]: Philbin, J., Chum, O., Isard, M., Sivic, J., Zisserman, A.: Object retrieval with large vocabularies and fast spatial matching. In: CVPR (2007) [^66]: Philbin, J., Chum, O., Isard, M., Sivic, J., Zisserman, A.: Lost in quantization: improving particular object retrieval in large scale image databases. In: CVPR (2008) [^67]: Pitteri, G., Bugeau, A., Ilic, S., Lepetit, V.: 3D object detection and pose estimation of unseen objects in color images with local surface embeddings. In: ACCV (2020) [^68]: Pitteri, G., Ilic, S., Lepetit, V.: CorNet: generic 3D corners for 6D pose estimation of new objects without retraining. In: ICCVW (2019) [^69]: Ponce, J., Lazebnik, S., Rothganger, F., Schmid, C.: Toward true 3D object recognition. In: Reconnaissance de Formes et Intelligence Artificielle (2004) ## [^70]: Radford, A., et al.: Learning transferable visual models from natural language supervision. In: ICML (2021) --- [^71]: Reizenstein, J., Shapovalov, R., Henzler, P., Sbordone, L., Labatut, P., Novotny, D.: Common objects in 3D: large-scale learning and evaluation of real-life 3D category reconstruction. In: ICCV (2021) [^72]: Roberts, L.G.: Machine perception of three-dimensional solids. Ph.D. thesis, Massachusetts Institute of Technology (1963) [^73]: Sarlin, P.E., et al.: Back to the feature: learning robust camera localization from pixels to pose. In: CVPR (2021) [^74]: Shreiner, D.: OpenGL programming guide: the official guide to learning OpenGL, versions 3.0 and 3.1. Pearson Education (2009) [^75]: Shugurov, I., Li, F., Busam, B., Ilic, S.: OSOP: a multi-stage one shot object pose estimation framework. In: CVPR (2022) [^76]: Sivic, Z.: Video google: a text retrieval approach to object matching in videos. In: ICCV (2003) [^77]: von Stumberg, L., Wenzel, P., Yang, N., Cremers, D.: LM-Reloc: levenberg-marquardt based direct visual relocalization. In: 3DV (2020) [^78]: Sun, J., Shen, Z., Wang, Y., Bao, H., Zhou, X.: LoFTR: detector-free local feature matching with transformers. In: CVPR (2021) [^79]: Sun, J., et al.: OnePose: one-shot object pose estimation without CAD models. In: CVPR (2022) [^80]: Sundermeyer, M., et al.: Multi-path learning for object pose estimation across domains. In: CVPR (2020) [^81]: Sundermeyer, M., et al.: BOP challenge 2022 on detection, segmentation and pose estimation of specific rigid objects. In: CVPRW (2023) [^82]: Sundermeyer, M., Marton, Z.C., Durner, M., Brucker, M., Triebel, R.: Implicit 3D orientation learning for 6D object detection from rgb images. In: ECCV (2018) [^83]: Thalhammer, S., Weibel, J.B., Vincze, M., Garcia-Rodriguez, J.: Self-supervised vision transformers for 3D pose estimation of novel objects. arXiv preprint arXiv:2306.00129 (2023) [^84]: Tombari, F., Salti, S., Di Stefano, L.: Performance evaluation of 3D keypoint detectors. IJCV 102, 198–220 (2013) [^85]: Torii, A., Sivic, J., Pajdla, T., Okutomi, M.: Visual place recognition with repetitive structures. In: CVPR (2013) [^86]: Wang, G., Manhardt, F., Tombari, F., Ji, X.: GDR-net: geometry-guided direct regression network for monocular 6D object pose estimation. In: CVPR (2021) [^87]: Wang, Y., Shen, X., Hu, S., Yuan, Y., Crowley, J., Vaufreydaz, D.: Self-supervised transformers for unsupervised object discovery using normalized cut. In: CVPR (2022) [^88]: Wen, B., Yang, W., Kautz, J., Birchfield, S.: FoundationPose: unified 6D pose estimation and tracking of novel objects (2023) [^89]: Wu, C.Y., Johnson, J., Malik, J., Feichtenhofer, C., Gkioxari, G.: Multiview compressive coding for 3D reconstruction. In: CVPR (2023) [^90]: Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: PoseCNN: a convolutional neural network for 6D object pose estimation in cluttered scenes. In: RSS (2018) [^91]: Xiao, Y., Qiu, X., Langlois, P., Aubry, M., Marlet, R.: Pose from shape: deep pose estimation for arbitrary 3D objects. In: BMVC (2019) [^92]: Zhang, J., et al.: A tale of two features: stable diffusion complements DINO for zero-shot semantic correspondence. In: NeurIPS (2023)