{
  "paper_id": "d9bde6e959a715e094f31b697fdd6aea",
  "paper_title": "FoundPose: Unseen Object Pose Estimation with Foundation Features",
  "paper_authors": [
    "Evin Pınar Örnek",
    "Yann Labbé",
    "Bugra Tekin",
    "Lingni Ma",
    "Cem Keskin",
    "Christian Forster",
    "Tomas Hodan"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2024 (Lecture Notes in Computer Science)",
  "abstract": "本文提出 FoundPose，一种基于模型的方法，可从单张 RGB 图像估计未见物体的 6D 位姿。该方法只需物体的三维模型即可快速接入新物体，无需任何针对物体或任务的训练。与通常依赖大规模任务特定数据集来泛化到新物体并缩小图像到模型域差距的方法不同，FoundPose 利用自监督视觉基础模型 DINOv2 的泛化能力，在真实图像与预渲染物体模板之间匹配中间层 patch 描述子，建立图像到模型的二维到三维对应并估计位姿。论文还提出将 patch 描述子集成到词袋表示中的高效模板检索方法，以及用于补偿粗粒度 patch 采样误差的特征度量对齐。在包含七个数据集的标准 BOP 基准上，该方法在无精修 RGB 位姿估计中显著优于现有方法，并可与现有 render-and-compare 精修方法结合，取得仅 RGB 输入的最优结果。\n",
  "keywords": [
    "6D目标位姿估计",
    "未见物体",
    "DINOv2",
    "视觉基础模型",
    "2D-3D对应",
    "模板检索",
    "词袋模型",
    "特征度量优化",
    "RGB图像",
    "BOP基准"
  ],
  "paper_institutions": [
    "Technical University of Munich",
    "Meta Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:56.329231Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究在只有单张 RGB 图像、已知相机内参和物体三维网格模型，且新物体接入预算受限（BOP 要求 1 块 GPU、5 分钟内）的条件下估计未见刚性物体 6D 位姿的问题；现有深度学习方法通常需要渲染数百万张任务特定合成图像并进行训练，传统手工特征或模板方法又难以应对纹理缺失、对称、遮挡和合成到真实域差距。作者提出无需物体或任务特定训练的 FoundPose：离线阶段均匀采样 SO(3) 渲染每物体 800 张黑背景、固定光照的 RGB-D 模板，将模板划分为 14×14 patch，使用带 registers 的 DINOv2 ViT-L/14 第 18 层输出 token，经 PCA 降到 256 维，并通过渲染深度把每个有效 patch 描述子注册到物体模型的三维点；推理时使用 CNOS 分割掩码进行透视裁剪，用每物体 2048 个 k-means 视觉词和软分配构造词袋向量，按余弦相似度检索 5 个模板，再在裁剪图与每个模板间做单向 kNN 匹配，形成 $(\\mathbf u_i,\\mathbf x_i)$ 2D-3D 对应，由 EPnP 加最多 400 次 RANSAC 生成位姿假设并选择内点最多者。其核心精修机制是用 Levenberg-Marquardt 最小化特征度量误差 $(\\mathbf R_r,\\mathbf t_r)=\\arg\\min_{(\\mathbf R,\\mathbf t)}\\sum_{(\\mathbf p_i,\\mathbf x_i)}\\rho(\\mathbf p_i-\\mathbf F_q(\\pi(\\mathbf R\\mathbf x_i+\\mathbf t)/s))$，在双线性采样的查询图像 DINOv2 特征图上对齐模板三维点，从而补偿 14 px patch 中心采样造成的对应偏差。实验选用 BOP 七个核心数据集 LM-O、T-LESS、TUD-L、IC-BIN、ITODD、HB 和 YCB-V，共 108 个从纹理丰富家居物到无纹理、对称工业零件的物体，场景包含杂波、遮挡和多实例，适合检验泛化、对称性和鲁棒性；评估遵循 BOP 的 VSD、MSSD、MSPD 及平均召回率 AR。无精修 FoundPose 达到 37.2 AR，比 GigaPose、GenFlow、MegaPose 粗定位分别高约 10、14、16 个百分点，特征度量精修达到 42.6 AR，接入 MegaPose 精修达到 54.7 AR，二者结合达到 55.0 AR；对 5 个假设先特征度量再 MegaPose 精修可达到 59.6 AR 的 RGB-only 最优水平。粗定位每图约 1.7 秒、特征度量精修约 2.6 秒，离线接入少于 5 分钟，800 模板对象表示约 234 MB，比 OSOP 等方法内存低 25 倍且模板数少约 100 倍。方法适用于机器人抓取、仓储装配、混合现实交互和离线位姿标注等场景，但依赖较准确的三维模型、CNOS 分割和模板视角覆盖，特征度量优化也存在局部最优风险；后续可探索更轻量骨干、分割误差鲁棒性、多假设选择和进一步降低内存与推理成本。\n\n### 关键要点\n\n- FoundPose 是一种基于三维模型的训练自由方法，使用冻结的 DINOv2 特征完成未见物体的单张 RGB 图像 6D 位姿估计。\n- 离线阶段为每个物体渲染约 800 张均匀覆盖三维旋转的 RGB-D 模板，并将 DINOv2 patch 描述子与模板深度反投影得到的三维位置相关联。\n- 模板检索把 DINOv2 patch 描述子量化为每物体 2048 个视觉词，使用 tf-idf 风格词袋向量和余弦相似度快速返回 5 个相似视角。\n- 位姿假设通过查询裁剪图与检索模板之间的单向 kNN patch 匹配建立 2D-3D 对应，再由 EPnP 与 RANSAC 求解。\n- DINOv2 ViT-L 第 18 层描述子在位置信息与语义信息之间取得最佳平衡，对对称和无纹理物体尤其关键；第 23 层平均 AR 降至 23.5。\n- 特征度量精修直接在 DINOv2 特征图上用 Levenberg-Marquardt 对齐模板三维点，补偿 14×14 patch 粗采样造成的二维到三维偏差。\n- 实验覆盖七个 BOP 核心数据集、108 个物体和多种纹理、对称性、遮挡及杂波条件，且 FoundPose 不使用任何真实或合成训练图像。\n- 无精修 FoundPose 的平均 AR 为 37.2，高于 GigaPose 的 27.6、GenFlow 的 23.5 和 MegaPose 的 20.8，同时粗定位速度约为 MegaPose 的 9 倍。\n- 单个位姿假设经特征度量精修达到 42.6 AR，经 MegaPose 精修达到 54.7 AR，两种精修结合达到 55.0 AR，说明二者具有互补性。\n- 对 5 个检索模板产生的假设联合使用特征度量精修和 MegaPose 精修后，FoundPose 达到 59.6 AR，超过表中 RGB-only 的 MegaPose、GenFlow 和 GigaPose 多假设版本。\n- 消融显示词袋检索显著优于 DINOv2 cls token 检索，直接采用最匹配模板位姿仅得 17.7 AR，而 ground-truth 掩码可使粗定位在可用数据集上提升 6 到 19 个百分点，表明分割质量是重要约束。"
}