{
  "paper_id": "de5ed5b18c99c40be9f3944c2ef317b2",
  "paper_title": "FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects",
  "paper_authors": [
    "Bowen Wen",
    "Wei Yang",
    "Jan Kautz",
    "Stan Birchfield"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出 FoundationPose，这是一个统一的基础模型，用于6D物体位姿估计与跟踪，同时支持基于模型和无模型两种设置。在测试时，只要给出新物体的CAD模型或少量参考图像，该方法无需微调即可立即应用。统一框架使两种设置中的下游位姿估计模块保持一致；当没有CAD模型时，使用神经隐式表示进行高效的新视角合成。通过大规模合成训练，并借助大语言模型、新颖的Transformer架构和对比学习形式，该方法实现了很强的泛化能力。在多个包含挑战场景和物体的公开数据集上的大量评估表明，这一统一方法大幅优于现有的各任务专用方法，并且在假设更少的情况下取得了与实例级方法相当的结果。\n",
  "keywords": [
    "6D位姿估计",
    "6D位姿跟踪",
    "新物体",
    "基于模型",
    "无模型",
    "RGBD",
    "神经隐式表示",
    "有符号距离场",
    "渲染与比较",
    "Transformer",
    "对比学习",
    "合成数据"
  ],
  "paper_institutions": [
    "NVIDIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:48.668779Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现有6D位姿方法通常受限于实例级训练、预定义类别或对CAD模型的依赖，类别级训练数据还面临位姿规范化和标注困难，而单帧估计与视频跟踪、基于模型与无模型设置长期缺少统一解决方案；为此本文提出FoundationPose，用RGBD输入同时支持新物体的6D位姿估计、跟踪、基于模型和无模型四类任务。其核心机制是在无模型设置下用以有符号距离场为基础的对象中心神经场建模物体，几何函数Ω将三维点映射为SDF值，外观函数结合几何特征、法向和视角方向预测颜色，并通过零水平集S={x∈R^3 | Ω(x)=0}提取表面，训练后可一次性导出带纹理网格并高效并行渲染RGBD候选视角，从而把无模型场景转化为与CAD模型相同的渲染比较流程。为获得泛化能力，作者构建LLM辅助的大规模合成数据管线：从Objaverse-LVIS的4万多个、覆盖1156个类别的物体及GSO中选取三维资产，用ChatGPT根据类别标签自动生成外观提示，再由TexFusion扩散模型生成更真实且多样的纹理，并在NVIDIA Isaac Sim中通过路径追踪、物理仿真以及物体尺寸、材质、相机位姿和光照随机化生成训练场景。推理时，系统使用Mask R-CNN或CNOS等检测器得到物体区域，以检测框中位深度初始化平移，并从二十面体均匀采样视角再叠加平面内旋转形成全局候选位姿；Transformer细化网络采用姿态条件裁剪和共享CNN编码，分别预测相机坐标系下的平移更新Δt与旋转更新ΔR，通过t+=t+Δt、R+=ΔR⊗R解耦优化位姿，随后层次化排序网络先为每个渲染图与观测图的匹配生成512维嵌入，再利用全部候选之间的多头自注意力和姿态条件三元组损失选择最高分位姿。实验选用LINEMOD、Occluded-LINEMOD、YCB-Video、T-LESS和YCBInEOAT五个公开数据集，以覆盖密集杂乱、多实例、静态或动态场景、桌面与机器人操作，以及无纹理、反光、对称和不同尺寸物体，从而检验跨场景和跨物体的零样本泛化；无模型设置默认使用约16张带位姿标注的训练集参考图像，除消融外所有任务使用同一训练模型且不进行目标数据集微调。评价指标包括ADD和ADD-S的AUC、ADD-0.1d召回率，以及BOP挑战中VSD、MSSD、MSPD的平均召回率；结果显示FoundationPose在YCB-Video无模型估计中取得97.4的ADD-S AUC和91.5的ADD AUC，在LINEMOD上ADD-0.1d平均达99.9，在BOP三个代表性数据集上平均AR为83.3，在YCBInEOAT跟踪中取得96.42的ADD-S AUC和93.09的ADD AUC，在YCB-Video跟踪中基于模型取得97.9的ADD-S AUC和96.0的ADD AUC，且无模型端到端初始化版本仍达到97.5和93.7，这些结果支持了神经场统一建模、LLM合成数据增强、Transformer细化和层次化对比排序的有效性。实际应用面向机器人操作和混合现实，但系统依赖RGBD输入、外部2D检测以及CAD模型或少量参考图像，无模型时还需按物体进行数秒神经场优化，跟踪评估默认不重初始化以检验长期鲁棒性；单物体位姿估计约需1.3秒，跟踪可达约32Hz，适合先估计初始化再切换实时跟踪。未来工作将探索单一刚体以外的状态估计问题。\n\n### 关键要点\n\n- FoundationPose用同一框架支持基于模型、无模型、单帧6D位姿估计和视频6D位姿跟踪四类任务，测试新物体时不需要微调。\n- 在无模型设置中，系统默认使用约16张参考图像，并通过基于SDF的对象中心神经场合成RGBD新视角，使下游模块可复用基于CAD模型的渲染比较流程。\n- 训练数据来自Objaverse-LVIS和GSO等大规模三维资产库，其中Objaverse-LVIS包含超过4万个物体和1156个LVIS类别。\n- LLM辅助纹理增强使用ChatGPT根据物体类别标签自动生成文本提示，再通过TexFusion扩散模型生成纹理，相比随机粘贴ImageNet或COCO图像可减少接缝和不真实外观。\n- 合成场景在NVIDIA Isaac Sim中生成，采用路径追踪、重力与物理仿真，并随机化物体、材质、尺寸、相机位姿和光照。\n- 位姿初始化使用检测框内中位深度确定平移，并在以物体为中心的二十面体上均匀采样视角，再叠加离散平面内旋转生成多个全局候选。\n- 细化网络将渲染图和观测RGBD裁剪图输入共享CNN与Transformer，分别预测平移和旋转更新，姿态条件裁剪可为平移修正提供反馈。\n- 层次化位姿排序先单独评估每个候选与观测的对齐，再用自注意力联合建模全部候选，且不对候选序列使用位置编码以保持排列不变性。\n- 排序网络采用姿态条件三元组损失，并只保留正样本旋转足够接近真值的比较对；实验表明InfoNCE损失在该设置下效果更差。\n- 在模型无关估计中，FoundationPose在YCB-Video上的平均ADD-S和ADD AUC分别为97.4和91.5，在LINEMOD上ADD-0.1d平均为99.9。\n- 在模型基估计中，该方法在Occluded-LINEMOD、T-LESS和YCB-Video上的AR分别为78.8、83.0和88.0，平均83.3，优于新物体方法和实例级对比方法。\n- 跟踪方面，它在YCBInEOAT上以真值初始化取得96.42的ADD-S AUC和93.09的ADD AUC，并且可用自身估计模块初始化实现端到端估计与跟踪。"
}