{
  "paper_id": "43f1ad37d9180da8f9920dd93c6bf48d",
  "paper_title": "OKVIS2: Realtime Scalable Visual-Inertial SLAM with Loop Closure",
  "paper_authors": [
    "Stefan Leutenegger"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Robust and accurate state estimation remains a challenge in robotics, Augmented, and Virtual Reality (AR/VR), even as Visual-Inertial Simultaneous Localisation and Mapping (VI-SLAM) getting commoditised. Here, a full VI-SLAM system is introduced that particularly addresses challenges around long as well as repeated loop-closures. A series of experiments reveals that it achieves and in part outperforms what state-of-the-art open-source systems achieve. At the core of the algorithm sits the creation of pose-graph edges through marginalisation of common observations, which can fluidly be turned back into landmarks and observations upon loop-closure. The scheme contains a realtime estimator optimising a bounded-size factor graph consisting of observations, IMU pre-integral error terms, and pose-graph edges—and it allows for optimisation of larger loops re-using the same factor-graph asynchronously when needed.",
  "keywords": [
    "视觉惯性SLAM (VI-SLAM)",
    "回环闭合",
    "位姿图",
    "边缘化",
    "实时优化",
    "语义分割",
    "多相机"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:01.768597Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n机器人与增强/虚拟现实(AR/VR)应用对鲁棒且精确的状态估计有持续需求,而视觉惯性 SLAM(VI-SLAM)在任意室内外环境、不同传感器套件与运动特性下的可扩展性——尤其是频繁回环的实时处理——仍是核心难题;现有紧耦合稀疏系统(如 BASALT、Kimera、VINS-Fusion、ORB-SLAM3)多采用固定旧状态的策略,本质上忽略了过去的估计不确定性。为此,本文提出实时多相机 VI-SLAM 系统 OKVIS2,其核心机制是通过边缘化共同观测构造位姿图边:将两帧间的联合重投影代价经 Schur 补约化为相对位姿误差项 e_p = e_{p,0} + [位置差; 姿态差],其权重 W_p = H* 取自边缘化后的信息矩阵,优于常规使用单位权重矩阵的做法;这些边既参与实时估计器对有界规模因子图的最小化 c(x)=½Σρ(e_r^T W_r e_r)+½Σe_s^T W_s e_s+½Σe_p^T W_p e_p(包含重投影误差、IMU 预积分误差与位姿图边),又可在回环时无缝还原为路标与观测并触发异步全图优化;系统还利用在 Cityscapes 灰度图像上微调 80 轮的轻量分割网络 Fast-SCNN 在 CPU 上异步剔除天空等动态区域。实验选用 EuRoC 与 TUM-VI 两个常用基准(统一参数 T=3 最近帧、K=5 关键帧、L=5 回环帧、A_min=12 位姿图帧、ΔT=2 秒),以相对误差统计(里程计漂移)与绝对轨迹误差 ATE(分因果/非因果评估)衡量:EuRoC 平均 ATE 0.031 m 略优于 ORB-SLAM3 的 0.035 m,TUM-VI 长序列(magistrale 平均 0.28 m、outdoors 平均 11.60 m)显著领先且识别出更多回环,验证了边缘化位姿图边与 CNN 动态剔除两项创新的有效性;在 i7-11700K 上每帧各模块耗时约 7–33 ms 满足实时性。未来工作包括单目 VI-SLAM 的鲁棒处理、纳入绝对位置等额外传感器,以及长期探索稠密与语义地图表示在多传感器紧耦合融合中的使用,以支撑移动机器人与 AR/VR 等受算力与实时性约束的实际场景。\n\n### 关键要点\n\n- OKVIS2 是一个支持位置识别与回环闭合的实时多相机视觉惯性 SLAM 系统,作者计划将其作为开源软件发布。\n- 核心机制:对两帧共同观测的路标做边缘化(在 Gauss-Newton 系统上执行 Schur 补),将联合重投影代价约化为相对位姿误差项,其权重 W_p = H* 保留不确定性信息,优于常规使用单位权重矩阵的做法。\n- 实时估计器以不低于相机帧率最小化有界规模因子图,包含视觉重投影误差、IMU 预积分误差项与位姿图边,从而扩大优化窗口、减轻固定旧状态带来的负面影响。\n- 回环闭合时,连接匹配位姿的位姿图边可无缝还原为路标与观测,复活旧路标与重投影误差,并在异步后台对大回环执行全因子图优化(含 IMU 项以约束重力方向一致性),完成后同步回实时估计器。\n- 前端提取 BRISK 关键点与描述子,通过多帧内立体三角化及与关键帧的三角化初始化新路标;关键帧选择基于共视重叠度 o = min(o_l, max_k o_k) 低于阈值 t_o 的判据。\n- 采用轻量语义分割网络 Fast-SCNN(在 Cityscapes 上以灰度图像微调 80 个 epoch),在 CPU 上对关键帧异步推理,剔除天空等动态区域观测,显著改善慢移动内容(如云)场景下的精度。\n- 实验在 EuRoC 与 TUM-VI 两个常用基准上进行,全程使用相同估计器参数:T=3 最近帧、K=5 关键帧、L=5 回环帧、A_min=12 位姿图帧且 ΔT=2 秒内的帧始终参与优化。\n- 评价方法明确区分里程计漂移(关闭回环的相对误差统计)与绝对轨迹误差 ATE(考虑回环,并区分因果与非因果评估)。\n- EuRoC 上 OKVIS2 非因果 ATE 平均 0.031 m,略优于 ORB-SLAM3 的 0.035 m,且 VIO 模式(0.071 m)优于原版 OKVIS(0.089 m)。\n- TUM-VI 上短序列(corridor、room)与 ORB-SLAM3 相当,长序列明显更优:magistrale 平均 0.28 m(ORB-SLAM3 为 0.81 m)、outdoors 平均 11.60 m(ORB-SLAM3 为 17.87 m),并在 magistrale 与 slides 上识别出更多回环。\n- 对慢移动云的处理,ORB-SLAM3 采用剔除 40 米以外路标观测的策略,而 OKVIS2 使用 CNN 分割剔除;作者指出针对强畸变鱼眼图像微调及更深网络仍有改进空间。\n- 在 Ubuntu 20.04、Intel i7-11700K 上每帧耗时:检测描述 7.1 ms、匹配三角化 26.6 ms、回环尝试 17.7 ms、实时图优化 33.2 ms、位姿图边创建 14.0 ms;后台回环优化从数十毫秒到约一秒,满足实时约束。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}