{
  "paper_id": "e44dab6f4d55fe09fcdbe1cd28da3bdd",
  "paper_title": "GoTrack: Generic 6DoF Object Pose Refinement and Tracking",
  "paper_authors": [
    "Van Nguyen Nguyen",
    "Christian Forster",
    "Sindi Shkodrani",
    "Vincent Lepetit",
    "Bugra Tekin",
    "Cem Keskin",
    "Tomas Hodan"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 GoTrack，一种高效且精确的基于 CAD 的 6DoF 物体位姿精炼与跟踪方法，无需针对特定物体训练即可处理多样物体。与现有仅依赖分析-合成进行模型到帧配准的跟踪方法不同，GoTrack 额外引入帧到帧配准以节省计算并稳定跟踪；两种配准均通过光流估计实现。模型到帧配准比现有方法更简单，仅使用标准神经网络模块（在 DINOv2 之上训练 transformer），并且无需评分网络即可产生可靠的位姿置信度。对于帧到帧配准，考虑到连续视频帧通常几乎相同、问题更简单，本文采用轻量级现成光流模型。实验表明，GoTrack 可与现有粗位姿估计方法无缝结合，形成精简流水线，在 6DoF 物体位姿估计与跟踪标准基准上达到仅 RGB 的先进水平。源代码和训练模型公开于 <https://github.com/facebookresearch/gotrack>。\n",
  "keywords": [
    "6DoF 物体位姿估计",
    "位姿精炼",
    "物体跟踪",
    "光流",
    "DINOv2",
    "模型到帧配准",
    "帧到帧配准",
    "PnP-RANSAC",
    "仅 RGB",
    "未见物体"
  ],
  "paper_institutions": [
    "LIGM, École des Ponts",
    "Meta Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:20.739280Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向机器人与 AR/VR 中连续视频上的通用 6DoF 物体位姿跟踪需求，针对现有学习方法常依赖 RGB-D、需要物体特定训练、模型到帧配准网络沉重且每帧重启、位姿选择还需额外评分网络等问题，提出 GoTrack。相关精炼方法通常渲染 CAD 模型并直接回归相对位姿或建立 2D-3D 对应，而 SLAM 已证明模型到帧配准可纠正漂移、帧到帧配准可提供平滑增量运动；GoTrack 将二者结合，且都由光流实现。其模型到帧分支以冻结 DINOv2 ViT-S 提取真实裁剪图与 RGB-D 模板特征，经 CroCov2 的 12 块 transformer 解码器和 DPT 头预测模板到输入的光流 f 与可见性 v，核心关系为 u_t+f_{t→c}(u_t)=u_c；可见模板像素依据模板深度提升为 2D-3D 对应，由 EPnP+RANSAC 和 Levenberg-Marquardt 拟合位姿，并用加权内点率 q=s'/s 作为置信度，无需评分网络。单图估计流水线用 CNOS 检测、FoundPose 的 BoW 模板检索提供粗位姿，再由同一 DINOv2 表示精炼；离线预置 800 个均匀覆盖 SO(3) 的模板，实验中模板与裁剪为 280×280，τv=0.3，RANSAC 最多 400 次，重投影阈值 4 px，精炼迭代 5 次，在线渲染以避免模板姿态量化误差。训练选用 MegaPose-GSO 的 100 万张 BlenderProc PBR 图像、1000 个 GSO 物体及 GT 位姿/分割，配合强增强和随机姿态扰动，以缓解合成到真实域差并验证对未见物体的泛化；精炼在七个核心 BOP 数据集（132 个物体、19048 个测试实例）评估 VSD、MSSD、MSPD 的平均召回 AR，跟踪在 YCB-V 用 ADD/ADD-S 的 AUC、在 RBOT 用 5cm-5°成功率和重置次数评估，并在 HOT3D 上测试第一视角手物操作。结果上，FoundPose 粗位姿加 GoTrack 比 MegaPose 平均高 3.0 AR_MSPD 和 1.3 AR；GigaPose 初始化下相对 GenFlow 高 1.3 AR_MSPD 但 AR 低 0.5，单网络 BoW 流水线以 0.8 秒达到 65.2 AR_MSPD/55.4 AR，5 假设设置达到 71.2 AR_MSPD/60.6 AR 且快于 GenFlow；YCB-V 上未训练目标物体的 GoTrack 达到 69.3 ADD/82.9 ADD-S AUC，加入帧到帧光流后为 69.3/83.6，模型到帧分支 40 ms、RAFT-Small 6 ms，平均约每 50 帧才触发一次重配准，效率约提升 6 倍并减少抖动；RBOT 上有重置平均 95.9、重置 3021 次、无重置平均 86.7，显著优于 LDT3D、SRT3D、DeepAC 且重置减少 37%–54%；HOT3D 附录显示 Aria 平均 83.7/90.7、Quest3 81.5/89.0，并可泛化到未训练的灰度图像。该方法适用于动态手物交互、Quest 3/Aria 等第一视角场景及移动端部署，但前提是刚性物体、已知相机内参、CAD 模型和粗位姿或 2D 检测，帧到帧传播需在平滑与漂移间权衡，失败时仍需模型到帧重定位，运行时间也受 GPU 与在线渲染影响；未来计划借鉴 SLAM 探索无模型设置。\n\n### 关键要点\n\n- GoTrack 是基于 CAD 的通用 6DoF 位姿精炼与跟踪方法，输入 RGB 图像、相机内参、CAD 模型和粗位姿，输出精炼后的刚体 6DoF 位姿，且不需要针对目标物体训练。\n- 模型到帧配准不直接回归相对位姿，而是预测稠密模板到帧光流和模板像素可见性掩膜，使网络更易训练、结果更可解释。\n- 网络使用冻结的 DINOv2 ViT-S 骨干、CroCov2 双分支 transformer 解码器和 DPT 头，仅训练解码器与预测头。\n- 预测的可见模板像素通过模板深度转换为 2D-3D 对应，再用 EPnP、RANSAC 和 Levenberg-Marquardt 估计位姿。\n- 位姿质量由加权内点率 q=s'/s 计算，可在多假设精炼中选择最佳位姿，无需 MegaPose 或 GenFlow 所需的额外评分网络。\n- 单图估计流水线结合 CNOS 2D 检测、FoundPose BoW 模板检索和 GoTrack 精炼，两阶段共享 DINOv2 特征与模板表示。\n- 跟踪时用轻量 RAFT-Small 估计相邻裁剪帧之间的光流，传播上一帧的内点 2D-3D 对应并重新执行 EPnP；当内点率低于 0.8 时才触发更重的模型到帧配准。\n- 模型到帧重配准时会混合传播对应和新建立对应，实验中混合比例参数 r=2，用于控制抖动与漂移之间的权衡。\n- 精炼网络在 MegaPose-GSO 上训练，该数据集包含 100 万张 PBR 图像、1000 个 GSO 物体、GT 6DoF 位姿和分割掩膜，并通过强增强与随机姿态扰动提升真实场景泛化。\n- 在七个核心 BOP 数据集上，FoundPose 粗位姿加 GoTrack 相比 MegaPose 平均提升 3.0 AR_MSPD 和 1.3 AR；5 假设设置达到 71.2 AR_MSPD 和 60.6 AR。\n- YCB-V 跟踪中，未在测试物体上训练的 GoTrack 达到 69.3 ADD 和 82.9 ADD-S AUC；加入帧到帧光流后 ADD-S 提升至 83.6，且平均约每 50 帧才运行一次模型到帧配准，效率约提升 6 倍。\n- 方法的主要约束是需要刚性物体 CAD 模型、已知内参和粗初始化，帧到帧传播在低新对应占比时可能漂移，而快速运动或严重遮挡时仍需模型到帧重定位。"
}