{
  "paper_id": "43f1ad37d9180da8f9920dd93c6bf48d",
  "paper_title": "OKVIS2: Realtime Scalable Visual-Inertial SLAM with Loop Closure",
  "paper_authors": [
    "Stefan Leutenegger"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Robust and accurate state estimation remains a challenge in robotics, Augmented, and Virtual Reality (AR/VR), even as Visual-Inertial Simultaneous Localisation and Mapping (VI-SLAM) getting commoditised. Here, a full VI-SLAM system is introduced that particularly addresses challenges around long as well as repeated loop-closures. A series of experiments reveals that it achieves and in part outperforms what state-of-the-art open-source systems achieve. At the core of the algorithm sits the creation of pose-graph edges through marginalisation of common observations, which can fluidly be turned back into landmarks and observations upon loop-closure. The scheme contains a realtime estimator optimising a bounded-size factor graph consisting of observations, IMU pre-integral error terms, and pose-graph edges—and it allows for optimisation of larger loops re-using the same factor-graph asynchronously when needed.",
  "keywords": [
    "视觉惯性SLAM (VI-SLAM)",
    "回环闭合",
    "位姿图",
    "边缘化",
    "实时优化",
    "语义分割",
    "多相机"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:01.768597Z",
  "template_tag": "deep_read",
  "summary": "# OKVIS2: Realtime Scalable Visual-Inertial SLAM with Loop Closure\n\n\n**作者 / Authors:** Stefan Leutenegger\n\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 1. 论文元数据\n\n- **标题**: OKVIS2: Realtime Scalable Visual-Inertial SLAM with Loop Closure\n- **作者**: Stefan Leutenegger（文中标注上标 1,2，但文档未给出对应单位全称；据参考文献 [^25][^35] 可知其为 OKVIS 与 BRISK 的原作者，长期从事视觉-惯性 SLAM 研究）\n- **发表载体**: 文档未明确注明期刊/会议与年份（据公开信息该工作发表于 IEEE Robotics and Automation Letters, 2022，但以输入文档为准标记为\"未明示\"）\n\n### 2. 研究定位\n\n- **研究领域**: 机器人状态估计 / Visual-Inertial SLAM（VI-SLAM）\n- **具体任务**: 构建实时、可扩展的多相机 VI-SLAM 系统，支持 place recognition、relocalisation 与 loop closure；核心算法为\"由 marginalisation 构造 pose-graph 边，回环时可逆地还原为 landmarks 与 observations\"；另以 CPU 端轻量语义分割 CNN 剔除动态区域观测（Abstract、Section I、Section IV）\n- **目标用户/应用场景**: 需要长期、鲁棒、精确实时定位的移动机器人自主系统与 AR/VR 应用（Section I）\n\n### 3. 输入材料清单\n\n- **PDF**: 有（当前输入为论文正文 Markdown，覆盖 Abstract 至 References，含 Fig. 1–5 与 Table I–III）\n- **附录/补充材料**: 无\n- **代码链接**: 暂无；文中承诺 \"aim to release as open-source software within the coming months\"（Section I、Section VIII）\n- **数据集链接**: 使用公开数据集 EuRoC [^5] 与 TUM VI Benchmark [^6]；文档未附直接下载链接\n\n### 4. 缺失材料与风险\n\n- **缺失项**: 明确的发表信息（venue/年份）、作者单位全文、代码与数据集配置文件链接、附录\n- **可能影响**: 前端与 IMU 参数为数据集特定，作者称将随代码发布配置文件（Section VII），缺少代码与配置会限制复现验证与工程落地评估；发表信息缺失影响引用规范性\n\n### 5. 阅读路线\n\n- **Step 1**: 读 Abstract 与 Section I，抓住三大贡献：OKVIS2 系统、posegraph 边构造算法、CPU 端分割 CNN 去除动态物\n- **Step 2**: 读 Section IV 系统总览与 Fig. 1，建立 frontend / realtime estimator / 异步 loop closure 优化的整体架构图景\n- **Step 3**: 精读 Section V，重点是 V-D.1 posegraph creation（Fig. 2、Fig. 3 及式 (10)–(19)），理解 marginalisation→relative pose factor 及回环时\"复活\"观测的机制\n- **Step 4**: 读 Section VI 前端细节：BRISK 匹配与三角化、keyframe 选择准则（式 (20)）、Fast-SCNN 分割（Fig. 4）\n- **Step 5**: 读 Section VII 实验：区分 odometry drift 与 ATE 两类指标、causal vs non-causal 评估差异（Table I、II）与实时性分析（Table III）\n- **Step 6**: 读 Section VIII 结论与未来工作，梳理开放问题（单目 VI-SLAM 鲁棒性、更多传感器融合、稠密/语义地图紧耦合）\n\n### 分类依据\n\n- 论文主体是一个完整、可实时运行的 VI-SLAM 系统 OKVIS2（含前端、实时估计器、异步回环优化与 CPU 部署考量），算法创新服务于该系统的构建与验证，故最佳归类为 `system`。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与分类\n\n- **类型**: 系统论文（system）\n- **依据**: 论文主体是完整、可实时运行的多相机 VI-SLAM 系统 OKVIS2，涵盖前端（BRISK 特征提取/匹配/三角化、分割 CNN、place recognition）、实时估计器（有界因子图优化）与异步回环优化三大模块（Section IV、Fig. 1）；核心算法创新（由 marginalisation 构造 posegraph 边）服务于该系统的构建与验证，故归类为 `system`。\n\n### 2. 背景与研究背景\n\n- 状态估计（位姿、速度）是移动机器人自主与 AR/VR 应用的基础能力；视觉空间约束与 IMU 时间约束的紧耦合已被众多商业系统采用（Section I）。\n- 现有 SOTA 开源系统（BASALT、Kimera、VINS-Fusion、ORB-SLAM3）均为紧耦合间接法，但在任意环境的可扩展性、尤其是频繁/长回环的实时处理上仍是挑战（Section I）。\n- 现有方案的取舍：ORB-SLAM3 固定旧状态，简单且易与回环优化集成，但属于非保守近似（忽略历史不确定性）；OKVIS 通过边缘化保留线性化误差项，但优化窗口受限；VINS-Fusion 的 posegraph 边仅由连续关键帧边缘化构造，且不用于实时跟踪估计（Section II-C）。\n- 本文动机：以共观测边缘化构造的相对位姿因子扩大实时优化窗口、缓解固定旧状态的负面影响，并在回环时将 posegraph 边无缝\"复活\"为 landmarks 与 observations（Section I、V-D.1、V-E）。\n\n### 3. 直觉正确性检查\n\n- **假设 1：共观测经边缘化可近似为两关键帧间的相对位姿因子** —— 合理。对联合重投影代价做 Schur complement 边缘化是标准做法，式 (10)–(19) 给出了从 Gauss-Newton 系统导出权重 W_p = H* 与常数项 e_p,0 = -H*⁺ b* 的完整推导（Section V-D.1）。作者坦承该近似会复制观测/路标从而引入设计上的不一致，但论证其仍优于通行做法（单位权重相对位姿误差），论证方向可信但缺乏理论误差界，需精读阶段关注。\n- **假设 2：回环时 posegraph 边可逆地还原为 landmarks 与 observations** —— 合理。由于边缘化时保留了线性化点与权重信息，理论上可恢复近似观测约束；文中描述了\"复活\"流程及路标合并机制（Section V-E，Fig. 2c）。\n- **假设 3：CPU 端运行轻量分割 CNN 剔除动态区域可行** —— 合理。Fast-SCNN 本身高效，且仅对关键帧异步处理（Section VI-C，Fig. 4）；实验显示对慢变动态内容（如云）显著提升精度（Section VII-B）。\n- **潜在疑点**：边缘化近似的一致性影响、posegraph 边构造启发式（MST，Fig. 3）的最优性均以论证带过，无消融实验直接验证该设计本身的增益。\n\n### 4. 核心贡献\n\n1) 实时多相机 VI-SLAM 系统 OKVIS2，支持 place recognition、relocalisation 与 loop closure，作者承诺数月内开源（Section I、VIII）。\n2) 从边缘化共观测构造 posegraph 因子的算法，同时用于实时跟踪估计器（扩大优化窗口）与异步回环优化（Section I、V-D.1，式 (10)–(19)）。\n3) 回环时将 posegraph 边无缝还原为观测与路标、复活旧 landmarks 的机制，并配合异步全图优化与状态同步（Section V-E）。\n4) CPU 端轻量语义分割 CNN（Fast-SCNN，Cityscapes 微调）剔除动态物体观测，最大化可移植性（Section I、VI-C，Fig. 4）。\n5) 在 EuRoC 与 TUM-VI 两大数据集上与 BASALT、Kimera、VINS-Fusion、ORB-SLAM3 等全面对比，达到持平或部分更优的精度（Section VII，Table I、II）。\n\n### 5. 清晰度评估\n\n- **结构**: 组织清晰，符合系统论文惯例：I 引言 → II 相关工作 → III 符号 → IV 系统总览 → V 估计器 → VI 前端 → VII 实验 → VIII 结论。\n- **图表**: Fig. 1（系统架构）、Fig. 2（因子图随时间演化）、Fig. 3（posegraph 边构造与 MST）、Fig. 4（天空分割示例）、Fig. 5（相对轨迹误差）；Table I–III 分别为 EuRoC ATE、TUM-VI ATE、单帧耗时，信息量充足且口径标注清楚（causal vs non-causal、VIO vs VI-SLAM）。\n- **公式**: 式 (1)–(19) 推导链完整，尤其边缘化构造 W_p 与 e_p,0 的过程（式 (12)–(19)）写得清楚；但 Jacobian 推导多处省略（称与 OKVIS [^25] 类似），对复现者略有门槛。\n- **可读性**: 总体良好；存在少量笔误（如 \"def-facto\"、\"reletive\"）不影响理解；实验部分对 odometry drift 与 ATE、causal 与 non-causal 评估的区分说明到位（Section VII 开头），是同类论文中少见的严谨表述。\n\n### 6. 继续阅读建议\n\n- **建议**: 继续深入阅读（进入第二遍、第三遍精读）。\n- **理由**: ① 核心算法（marginalisation → posegraph 边 → 回环复活）具有明确方法学创新，值得精读式 (10)–(19) 与 Fig. 2/3；② 实验覆盖两大标准数据集与多个 SOTA 基线，但 causal/non-causal 口径差异与 loop closure 次数差异（TUM-VI 中 (✓) 标注）需核验结论稳健性；③ 系统承诺开源，工程价值高，需关注参数设置（T=3、K=5、L=5、A_min=12、ΔT=2s，Section VII）与实时性数据（Table III）以评估复现与落地可行性。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# OKVIS2 论文总览\n\n## I. 引言\n\n### 研究动机：长/频繁回环的可扩展性\n\n### 三大贡献\n\n## II. 相关工作\n\n### 视觉里程计与 SLAM\n\n### 稠密深度相机 SLAM\n\n### 视觉惯性里程计与 SLAM\n\n## III. 符号与定义\n\n### 状态表示与四元数扰动\n\n## IV. 系统总览\n\n### 前端\n\n### 实时估计器\n\n### 异步回环优化\n\n## V. 视觉惯性估计器\n\n### 重投影误差\n\n### IMU 误差（预积分）\n\n### 相对位姿误差\n\n### 实时估计问题\n\n#### Posegraph 创建（MST 启发式）\n\n#### 旧状态固定\n\n### 位置识别 / 重定位 / 回环\n\n## VI. 前端\n\n### 匹配与初始化\n\n### 关键帧选择\n\n### 分割 CNN（Fast-SCNN）\n\n## VII. 实验结果\n\n### EuRoC（Table I, Fig. 5）\n\n### TUM-VI（Table II）\n\n### 耗时（Table III）\n\n## VIII. 结论与未来工作\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文旨在构建一个实时、可扩展的多相机视觉-惯性 SLAM 系统（OKVIS2），在保持有界计算量的前提下鲁棒且精确地处理长距离与频繁的回环检测（loop closure）；其核心机制是\"由 marginalisation 构造 pose-graph 边，回环时可逆地还原为 landmarks 与 observations\"，从而克服传统固定旧状态（fixation）或纯 marginalisation 方案在精度与一致性上的缺陷（Abstract、Section I、Section IV）。\n\n### 2. 痛点与现有不足\n\n- **固定旧状态牺牲估计一致性**：ORB-SLAM3 等系统通过固定（fix）旧状态保持计算可行，但文中指出该做法\"本质上不是保守近似，因为它实际上忽略了过去的估计不确定性\"（Section II-C）。\n- **marginalisation 与回环紧耦合困难**：基于 marginalisation 的方案（如 OKVIS、MSCKF 类滤波方法）在紧耦合集成回环检测与大规模地图管理方面存在固有挑战；VINS-Fusion 仅用连续关键帧的 marginalisation 构造回环位姿图边，且未将 pose-graph 边用于实时跟踪估计（Section II-C）。\n- **实时处理频繁回环的可扩展性不足**：对任意环境（室内/室外）、传感器组合与运动特性的可扩展性——尤其是潜在频繁回环的实时处理——仍是未解难题（Section I）。\n- **动态内容污染观测**：慢速变化的场景内容（如云、行人）会污染视觉观测并降低精度；现有处理较粗糙，例如 ORB-SLAM3 在 TUM-VI outdoors 上直接剔除 40 m 以外观测（Section VI-C、Section VII-B）。\n\n### 3. 形式化目标 / 优化目标\n\n- **实时估计器目标**：以至少相机帧率最小化非线性最小二乘代价（Section V-D，式 (7)）：\n  `c(x) = 1/2 Σ ρ(e_r^T W_r e_r) + 1/2 Σ e_s^T W_s^k e_s^k + 1/2 Σ e_p^T W_p^{r,c} e_p^{r,c}`\n  即视觉重投影误差（式 (3)，配 Cauchy 鲁棒核）、IMU 预积分误差（式 (4)）与相对位姿误差（pose-graph 边，式 (6)）的联合最小化；状态窗口由 T 个最近帧、M 个关键帧与 pose-graph 帧集合 P 组成，规模有界。\n- **Pose-graph 边构造目标**：当关键帧数 |K| 超过界 K 时，对两帧共同观测做 landmark marginalisation（Schur 补，式 (14)–(15)），得到等价的相对位姿因子 `W_p^{r,c} = H*`、`e_{p,0}^{r,c} = -H*⁺ b*`（式 (18)–(19)），从而扩大优化窗口、缓解固定旧状态的负面影响，同时保持问题实时可解（Section V-D.1，Fig. 2、Fig. 3）。\n- **回环优化目标**：回环时将 pose-graph 边\"复活\"为 landmarks 与 observations，先经 rotation averaging 与位置不一致分配，再触发异步全因子图优化（回环内状态保持可变，含全部 IMU 误差项），完成后同步回实时估计器（Section V-E）。\n\n### 4. 成功判据（指标与期望性质）\n\n- **里程计漂移**：关闭回环时的相对运动误差（位置/姿态）统计，按行驶距离分桶聚合（Section VII、Fig. 5）；文中强调该指标应与回环后精度分开评估。\n- **绝对轨迹误差（ATE）**：开启回环后，对齐位置与 yaw 角后的平移误差统计，并明确区分因果（causal）与非因果（non-causal）两种评估方式（Section VII、Table I、Table II）。\n- **与 SOTA 对比**：在 EuRoC 与 TUM-VI 上达到或超过 BASALT、Kimera、VINS-Fusion、ORB-SLAM3 等开源系统：EuRoC 平均 ATE 0.031 m（优于 ORB-SLAM3 的 0.035 m，Table I）；TUM-VI 长序列 magistrale（0.28 m vs 0.81 m）与 outdoors（11.60 m vs 17.87 m）明显更优，且识别出更多回环（Table II）。\n- **实时性**：实时估计器至少以相机帧率运行；EuRoC MH_05_difficult 上各模块每帧耗时可控（Table III：实时图优化 33.2 ms、匹配与三角化 26.6 ms 等），长回环的后台优化异步执行、不阻塞前端。\n- **可移植性**：轻量分割 CNN（Fast-SCNN）在 CPU 上异步运行以剔除动态区域观测，保证最大可移植性（Section VI-C、Fig. 4）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作分析（What related work matters here?）\n\n### 1. 最强基线与比较轴\n\n- **ORB-SLAM3 [^4]（最强外部基线）**\n  - **Method**：基于 ORB 特征的间接法 VI-SLAM，关键帧窗口 Bundle Adjustment + 回环位姿图优化；对旧状态采取“固定（fixation）”策略以保持问题规模有界（Section II-C）。\n  - **Core idea**：固定旧状态使回环优化整合更简单灵活，配合多地图机制。\n  - **Limitation**：固定旧状态等价于忽略历史估计不确定性，作者指出其“inherently not a conservative approximation”（Section II-C），可能损失精度。\n  - **比较轴与结果**：EuRoC 上 OKVIS2 平均 ATE 0.031 m vs ORB-SLAM3 0.035 m（Table I）；TUM-VI 短序列（corridor、room）两者相当，但长序列（magistrale、slides、outdoors）OKVIS2 明显更优，且找到更多回环（Table II，Section VII-B）。\n- **OKVIS [^25]（作者前作，自基线）**\n  - **Method**：关键帧 VIO，通过 marginalisation 保留旧关键帧的线性化误差项（Section II-C）。\n  - **Limitation**：无回环检测与闭合；优化窗口受昂贵观测项限制（Fig. 5 显示 okvis2-vio 相对 okvis 的漂移改进）。\n  - **比较方式**：Table I/II 中 OKVIS 以与 OKVIS2 相同的 IMU/前端参数重跑（脚注 2）。\n- **其他定量对比对象**：BASALT [^1]、Kimera [^2]、VINS-Fusion [^3]、ROVIO [^23]（Table I、II）。\n- **比较轴总结**（Section VII 开头）：(a) 关闭回环的 odometry drift（相对位姿误差统计）；(b) 开启回环的 ATE，并严格区分 causal 与 non-causal 评估；(c) 每帧耗时与实时性（Table III，i7-11700K 上实时估计约 33.2 ms/帧）。\n\n### 2. 最接近的方法与关键差异\n\n| 方法 | 核心思想（core idea） | 局限（limitation） | 与本文关键差异 |\n|---|---|---|---|\n| BASALT [^1]（概念上最接近） | 从多关键帧联合观测与 IMU 测量中恢复连接多个关键帧的非线性因子（non-linear factor recovery） | 恢复因子将视觉与惯性信息一并吸收，惯性约束被压缩进因子 | OKVIS2 保留 pre-integrated IMU 因子，仅从两关键帧的**共同视觉观测**经 Schur 补 marginalisation 得到带信息矩阵权重的相对位姿因子（Section II-C、V-D.1，式 (10)–(19)），且该边同时进入实时估计器以扩大优化窗口 |\n| VINS-Fusion [^3] | 滑动窗口 VIO + 位姿图回环优化；位姿图边仅连接**相邻**关键帧，由视觉+惯性 marginalisation 构造 | 仅相邻关键帧边，回环约束较弱；EuRoC 平均 ATE 0.138 m，明显落后（Table I） | OKVIS2 更严格地从视觉共观测构造边（含 MST 启发式选边，Fig. 3），并将其纳入逐帧实时估计（Section II-C、V-D.1） |\n| Kimera [^2] | VIO 前端 + GTSAM 位姿图后端，支持稠密网格重建 | 位姿图优化仅在回环时启用 | OKVIS2 的位姿图边贯穿实时估计与异步回环优化两个阶段（Section II-C、Fig. 1） |\n| ORB-SLAM3 [^4] | 固定旧状态，简化与回环优化的整合 | 非保守近似，忽略历史不确定性 | OKVIS2 用廉价的相对位姿因子将更大窗口的旧关键帧纳入优化，缓解固定带来的问题（Section II-C） |\n| 自适应窗口 [^26]（Keivan et al.） | 分析残差统计、自适应选择固定点，窗口可收缩/扩张 | 仍依赖观测项成本 | OKVIS2 以相对位姿因子（而非昂贵观测）约束扩大后的窗口（Section II-C） |\n| Maplab [^24] | 松耦合组合大规模稀疏地图与 VIO | 地图与 VIO 集成较松 | OKVIS2 在单一紧耦合因子图内统一处理（Section II-C） |\n\n**推理链**：本文的差异化逻辑是——旧状态处理存在两极（ORB-SLAM3 的固定 vs OKVIS 的保留线性化观测项），前者不保守、后者计算昂贵；OKVIS2 以“marginalisation 构造位姿图边 + 回环时可逆还原为观测”占据中间地带（Section I、V-D.1、Fig. 2c），这是与所有上述工作的本质区别。\n\n### 3. 正交方向（可组合、不直接竞争）\n\n- **直接法/半稠密视觉 SLAM**：DTAM [^11]、LSD-SLAM [^12]、SVO [^13]、DSO [^14]（含 stereo [^15] 与 LDSO [^16]）——不同的地图表示与光度对齐范式；DTAM 跟踪精度不及稀疏法（Section II-A），与本文的间接稀疏路线正交。\n- **稠密 RGB-D SLAM**：KinectFusion [^17]、Kintinuous [^18]、ElasticFusion [^20] 等——tracking/mapping 交替导致大场景轨迹精度下降（Section II-B），但其稠密后端可与稀疏 VI-SLAM 组合（作者在 Section VIII 亦将稠密/语义地图紧耦合列为未来工作）。\n- **滤波式 VIO**：MSCKF [^21]、OpenVINS [^22]、ROVIO [^23]——另一估计范式；marginalisation 旧状态使紧耦合回环与大尺度地图管理困难（Section II-C），属替代路线而非直接基线。\n- **语义分割去动态物**：Fast-SCNN [^37]（Cityscapes [^38] 微调、CPU 异步运行，Section VI-C）——与核心估计器正交的前端增强；ORB-SLAM3 用“剔除 40 m 外观测”处理云层（Section VII-B），是同一问题的不同解法。\n- **因子图库与增量求解器**：g2o [^27]、ceres [^28]（OKVIS2 实际使用，Section V）、GTSAM [^29]、iSAM/iSAM2 [^30][^31]——基础设施层面（Section II-C）。\n- **复用的成熟组件**：DBoW2 [^34]（place recognition，Section V-E）、BRISK [^35]（前端关键点，Section VI-A）、IMU 预积分 [^33]（Section V-B）。\n\n### 4. 一句话定位\n\nOKVIS2 是一个实时多相机 VI-SLAM 系统：不同于 ORB-SLAM3 固定旧状态、VINS-Fusion 仅在相邻关键帧间构造边、或 BASALT 将视觉与惯性一并吸收进恢复因子，它通过 Schur 补 marginalisation 将共视观测严格转化为带信息权重的相对位姿因子，既扩大实时优化窗口、又能在回环时无缝“复活”为 landmarks 与观测以支持异步全图优化，从而在 EuRoC/TUM-VI 上取得与 ORB-SLAM3 相当或更优的精度（Table I、II）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题？\n\n### 1. 核心机制概述\n\n- **一句话概括**：OKVIS2 以“将共同观测边缘化为 pose-graph 相对位姿边”为核心机制，在保持实时性的同时扩大优化窗口；回环检测成功时，这些边可被无缝“复活”为 landmarks 与重投影观测，从而支持长回环与频繁回环的实时 VI-SLAM（Abstract、Section I、Section IV、Fig. 1）。\n- **系统分层**：(a) 与图像/IMU 同步运行的前端 + 实时估计器；(b) 异步运行的回环全图优化，完成后同步回实时估计器（Section IV）。\n- **因子图三类误差项**：视觉重投影误差 e_r（式(3)）、IMU 预积分误差 e_s（式(4)）、相对位姿误差 e_p（式(6)），由实时估计器以非线性最小二乘联合最小化（Section V-D，式(7)，基于 Ceres Solver）。\n- **关键可逆性**：边缘化构造的 pose-graph 边在回环时可逆地转回 landmarks 与观测，恢复历史地图信息，这是该方案区别于单纯固定老状态方案的本质（Section V-E）。\n- **辅助机制**：CPU 端异步轻量分割 CNN（Fast-SCNN）剔除动态区域（天空等）观测，提升慢变场景鲁棒性（Section VI-C、Fig. 4）。\n\n### 2. 分步拆解\n\n#### Step 1：前端处理（每个 multi-frame 同步执行；Section IV、VI）\n\n1. 状态初始化；每张图像提取 BRISK 关键点与描述子，与地图中已有 3D landmarks 匹配（同时考虑描述子距离与保守的重投影图像距离）（Section VI-A）。\n2. 三角化新 landmarks：关键帧内 N 相机立体三角化 + live frame 与关键帧之间三角化（Section VI-A）。\n3. 关键帧选择：计算重叠率 o = min(o_l, max_{k∈K} o_k)，低于阈值 t_o 则接受为新关键帧（Section VI-B，式(20)）。\n4. Place recognition：当前帧查询 DBoW2 数据库，命中且通过 3D-2D RANSAC 几何验证后触发重定位与回环初始化（Section V-E）。\n\n#### Step 2：实时估计器优化（至少相机帧率；Section V-D）\n\n- 最小化式(7)总代价：视觉、IMU、pose-graph 三类误差分别配权 W_r、W_s^k、W_p^{r,c}，观测项使用 Cauchy 鲁棒核 ρ(·)。\n- 窗口构成：集合 K 含 T=3 个最近帧与历史关键帧；pose-graph 帧集合 P 的时间跨度远大于有观测的帧集合（Section V-D）。\n- 老状态固定：仅最近 A = max(A_min, A_ΔT) 个状态保持可变（实验取 A_min=12、ΔT=2 s）（Section V-D.2、Section VII）。\n\n#### Step 3：posegraph 边构造（核心创新；Section V-D.1，Fig. 2、Fig. 3）\n\n1. 触发条件：关键帧数 |K| 超过上限 K=5 时，将与当前帧/当前关键帧共视最少的关键帧 r 从 K 移入 P；例外：最老关键帧只要仍与当前帧或当前关键帧有共同观测就保留，以维持长期方向约束。\n2. 选边启发式：收集已有 pose-graph 边的帧、r、与 r 视觉重叠最大的帧构成集合 T；以两帧共同观测数为权计算 Maximum Spanning Tree (MST)；为连接 r 的所有 MST 边创建相对位姿因子。\n3. 单条边 (r,c) 的构造：\n   - 将 landmark 变换到参考坐标系 F_{S^r}，临时状态取 p = [S^r r_{S^c}, q_{S^r S^c}]；\n   - 写出 r、c 两帧的重投影误差（式(8)(9)）与联合观测代价 c_p^{r,c}（式(10)）；\n   - 构造 Gauss-Newton 系统（式(13)），用 Schur complement 边缘化 landmarks 得 H*、b*（式(14)(15)）；\n   - 与相对位姿因子的等价 Gauss-Newton 系统对比，得到权重与常数项：W_p^{r,c} = H*，e_{p,0}^{r,c} = −H*⁺ b*（式(18)(19)）；在 q_{S^r S^c} → q̃_{S^r S^c} 处 Jacobian 为 Identity。\n4. 近似性说明：在多于两帧中观测的 landmarks 会被复制，属“by design”的不一致；作者论证其仍优于通行做法（单位权重相对位姿因子）（Section V-D.1）。\n\n#### Step 4：回环闭合与异步优化（Section V-E）\n\n1. 重定位：当前活动窗口的状态与 landmarks 对齐到匹配位姿 l；连接 l 的 pose-graph 边“复活”为 landmarks 与观测，并创建与当前匹配帧的新观测；可能触发 landmark 合并。\n2. 回环误差先经 rotation averaging 与位置不一致均摊分配到环上各（关键）帧位姿。\n3. 后台优化：复制实时因子图但改变固定策略（环内状态保持可变），保留全部 IMU 误差项（最重要的作用是约束相对重力的方向一致性）；优化期间暂停重定位尝试。\n4. 完成后同步：导入优化后的状态与 landmarks，并重新对齐期间新建的状态/landmarks；回环帧数限制 |L| ≤ L=5，超出部分按 V-D.1 同样方案再造边。\n\n#### Step 5：动态区域剔除（Section VI-C，Fig. 4）\n\n- Fast-SCNN 在 Cityscapes 上以灰度图微调 80 epochs，仅对关键帧图像在 CPU 上异步推理；剔除落入动态区域（当前为天空）的匹配，显著改善慢变内容（如云）下的精度。\n\n### 3. 关键公式与模块角色\n\n| 公式/模块 | 位置 | 作用 |\n| --- | --- | --- |\n| 状态 x = [W r_S, q_WS, W v, b_g, b_a] | 式(1) | 定义待估计状态：位置、姿态、速度、陀螺/加计偏置 |\n| 四元数乘性扰动 q = Exp(δα) ⊗ q̄ | 式(2) | 流形上的线性化方式 |\n| 重投影误差 e_r^{i,j,k} | 式(3) | 视觉观测约束（pinhole 投影，可含径向-切向/等距畸变） |\n| IMU 误差 e_s^k = x̂^n(x^k, z̃_s) ⊟ x^n ∈ R^15 | 式(4)(5) | 采用 [^33] 的 on-manifold 预积分，提供时间递推约束 |\n| 相对位姿误差 e_p^{r,c} | 式(6) | pose-graph 边约束，含常数项 e_{p,0}^{r,c} |\n| 实时总代价 c(x) | 式(7) | 三类误差的加权最小二乘，观测用 Cauchy 核 |\n| 联合观测代价 c_p^{r,c} | 式(10) | 边构造的出发点（两帧共同观测的重投影代价） |\n| Schur complement 得 H*、b* | 式(14)(15) | 边缘化 landmarks，得到仅关于相对位姿的约化系统 |\n| W_p^{r,c} = H*，e_{p,0}^{r,c} = −H*⁺ b* | 式(18)(19) | 将边缘化结果等价为带信息矩阵权重的相对位姿因子 |\n| 关键帧准则 o = min(o_l, max o_k) < t_o | 式(20) | 前端关键帧选择 |\n| 求解器：Ceres Solver | Section V | 非线性最小二乘求解 |\n\n### 4. 流程图\n\nmermaid\nflowchart TD\n  A[\"新 multi-frame + IMU 数据到达\"] --> B[\"前端：BRISK 提取 / 匹配 / 三角化\"]\n  B --> C[\"关键帧选择：o = min(o_l, max o_k) < t_o（式20）\"]\n  B --> D[\"DBoW2 place recognition + 3D-2D RANSAC 验证\"]\n  B --> P[\"Fast-SCNN CPU 异步分割，剔除动态区域（天空）观测\"]\n  C --> E[\"实时估计器：最小化式7总代价<br/>视觉重投影 + IMU 预积分 + pose-graph 边\"]\n  P --> E\n  E --> F{\"最老帧是否为关键帧？\"}\n  F -- 否 --> G[\"删除该状态，IMU 测量并入上一预积分项\"]\n  F -- 是 --> H{\"关键帧数量超过上限 K？\"}\n  H -- 是 --> I[\"posegraph 边构造：选共视最少关键帧 r<br/>MST 选边 + Schur complement 边缘化共同观测（式10-19）\"]\n  H -- 否 --> J[\"固定老状态：仅保留 A = max(A_min, A_ΔT) 个可变状态\"]\n  I --> J\n  D -- 回环命中 --> K[\"重定位：当前窗口对齐到匹配位姿 l\"]\n  K --> L[\"posegraph 边复活为 landmarks 与观测；landmark 合并\"]\n  L --> M[\"回环误差均摊：rotation averaging + 位置不一致分配\"]\n  M --> N[\"后台异步优化完整因子图（环内状态可变，含全部 IMU 项）\"]\n  N --> O[\"同步优化结果回实时估计器；回环帧数超 L 时按 V-D.1 再造边\"]\n  E --> Q[\"输出实时位姿与地图\"]\n  O --> Q\n``n\n\n### 5. 推理链小结（该设计为何能解决问题）\n\n- **实时性来源**：观测窗口有界（T+K），pose-graph 边以 6 维相对位姿因子替代大量观测项，配合老状态固定，使每帧优化规模有界；Table III 显示实时图优化约 33.2 ms/帧（Section V-D、Table III）。\n- **相对 fixation 方案的优势**：ORB-SLAM3 等固定老状态会忽略历史估计不确定性；本方案用边缘化得到的相对位姿因子把更老的关键帧以低成本纳入优化窗口，缓解该缺陷（Section I、II-C）。\n- **回环可扩展性来源**：边缘化是可逆的——回环时把 pose-graph 边还原为观测、复活历史 landmarks，再异步优化大回环并同步（Abstract、Section V-E）。\n- **与 BASALT 的区别**：BASALT 从联合观测与惯性测量恢复连接多帧的非线性因子；本文保留 IMU 预积分因子，仅从共同视觉观测计算相对位姿误差（Section II-C）。\n- **动态场景鲁棒性来源**：Cauchy 鲁棒核 + CPU 端分割 CNN 剔除天空等慢变动态区域观测；在 TUM-VI outdoors 上优于 ORB-SLAM3 仅靠剔除 40 m 外观测的策略（Section VI-C、VII-B、Table II）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评估设置\n\n### 1. 数据集与基准清单\n\n| 数据集 | 规模 | 场景特点 | 在本文中的用途 |\n|---|---|---|---|\n| **ETHZ-ASL EuRoC Dataset** [^5][^39] | 11 个序列（MH_01–MH_05、V1_01–V1_03、V2_01–V2_03），均提供真值轨迹 | 微型飞行器（MAV）采集的室内场景（Machine Hall 与 Vicon Room），难度各异（如 MH_05_difficult） | ATE 全面对比（Table I）；MH_05_difficult 的相对轨迹误差曲线（Fig. 5）；逐帧计时测量（Table III） |\n| **TUM VI Benchmark** [^6] | 论文使用 5 组共 28 个序列：corridor（5）、magistrale（6）、outdoors（8）、room（6）、slides（3），提供真值轨迹；轨迹长度约 67–2656 m | 覆盖室内走廊/大厅/房间与室外长距离场景；相机、运动特性、视觉环境与空间尺度差异大 | ATE 对比（Table II），重点检验长序列可扩展性与回环（outdoors、magistrale、slides），并标注回环发生情况（(✓) 表示仅 OKVIS2 检出的回环） |\n\n### 2. 预处理与划分/覆盖设置\n\n- **无训练/测试划分**：本文为 SLAM 系统评测，直接在各数据集完整序列上运行并评估整条轨迹，不涉及数据集划分（Section VII）。\n- **分割 CNN 的训练预处理**：Fast-SCNN [^37] 在 Cityscapes [^38] 上微调 80 个 epoch，训练图像先转换为灰度图，以适配 OKVIS2 的灰度图像输入（Section VI-C）。\n- **参数设置**：\n  - 估计器参数全程统一：T=3（保留的最近帧数）、K=5（关键帧数）、L=5（回环帧数）、A_min=12（至少保持可优化的 pose-graph 帧数）、ΔT=2 s（该时间窗内的帧始终优化）（Section VII）。\n  - 前端与 IMU 参数为**数据集特定**（dataset-specific），配置文件承诺随代码发布（Section VII）——这是复现的关键依赖。\n- **评估覆盖**：\n  - EuRoC：全部 11 个序列的 ATE（Table I）+ MH_05_difficult 的相对误差统计图（Fig. 5）。\n  - TUM VI：28 个序列的 ATE（Table II），同时报告每条序列的轨迹长度与回环情况。\n\n### 3. 训练/推理/评估环境\n\n- **推理与评估硬件**：PC，Ubuntu 20.04，11th Gen Intel Core i7-11700K（8 核，最高 3.60 GHz）（Section VII-C，Table III）。\n- **优化库**：非线性最小二乘使用 Google Ceres Solver [^32]（Section V）。\n- **分割 CNN 推理**：在 CPU 上以异步后台进程运行，仅处理关键帧，强调最大可移植性（Section VI-C）。\n- **回环优化**：异步后台执行，典型耗时数十毫秒，TUM-VI outdoors 等超长回环可达约 1 秒；完成后与实时估计器同步（Section V-E、VII-C）。\n- **实时模式**：实现了根据匹配与回环尝试后的剩余时间预算动态调整每帧优化步数的模式，对精度影响极小；实时估计器默认执行 10 步优化（Section VII-C）。\n\n### 4. 评估指标与协议\n\n作者强调两类指标必须**分开对待**（Section VII 开头）：\n\n1. **里程计漂移**（关闭回环）：沿用 OKVIS [^25] 的方法，按行驶距离分桶统计相对运动误差（位置/朝向）；另补充报告开启回环时的相对误差，但注明其高度依赖运动中回环出现的频率。\n2. **绝对轨迹误差 ATE**（开启回环）：仅对齐位置与 yaw 角（roll/pitch 全局可观测，故不对齐），报告位置差统计。\n\n- **因果 vs 非因果双评估**：causal（仅使用该时间戳之前的测量，轨迹含回环修正\"跳变\"）与 non-causal（最终全回环优化轨迹）在 Table I/II 中分列。该区分对公平解读至关重要——causal 评估中漂移可能主导 ATE 统计。\n- **对比基线**：BASALT [^1]、Kimera [^2]、OKVIS [^25]（以与 OKVIS2 相同的 IMU/前端参数重跑）、VINS-Fusion [^3]、ORB-SLAM3 [^4]、ROVIO [^23]（仅 TUM VI）；部分基线结果取自 ORB-SLAM3 论文（Table I/II 脚注 1）。\n\n### 5. 选择理由与验证目标\n\n- **EuRoC 与 TUM VI 是 VI-SLAM 领域最通用的公开基准**，均提供真值轨迹，可与大量已发表系统直接对比（Section VII 开头）。\n- **两数据集特性互补**：相机、运动、视觉环境与空间尺度差异大，共同验证系统泛化能力——EuRoC 检验室内 MAV 高动态运动下的 VIO/SLAM 精度，TUM VI 检验从短室内（room，约 67 m）到长室外（outdoors，约 2656 m）的可扩展性与回环处理。\n- **TUM VI outdoors 专门检验动态场景处理**：慢变云层是主要误差源；ORB-SLAM3 采用删除 40 m 外地标观测的策略，OKVIS2 则用 CNN 分割剔除天空观测，形成两种动态处理思路的直接对比（Section VII-B）。\n- **causal/non-causal 双报告**分别验证回环修正的即时收益与最终收敛精度，避免指标混淆导致的高估或低估。\n- **统一估计器参数 + 数据集特定前端/IMU 参数**的设计表明核心算法无需逐数据集调参，但精确复现依赖尚未发布的配置文件。\n\n### 6. 缺失信息与风险\n\n- 文档未附 EuRoC/TUM VI 的直接下载链接（仅参考文献中含 EuRoC 的 IJRR 链接与 TUM VI 的 arXiv 链接 [^5][^6]）。\n- 前端与 IMU 的数据集特定配置文件未随文提供，作者承诺\"数月内开源\"（Section I、VII）——代码发布前，完整复现 Table I/II 结果存在障碍。\n- 分割 CNN 微调细节（学习率、数据增强等）未报告，仅说明 80 epochs 与灰度转换（Section VI-C）。\n- 计时测量仅覆盖 EuRoC MH_05_difficult 单一序列（Table III），其他数据集的实时性未单独量化。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：指标与结果\n\n### 1. 评估指标（定义与说明）\n\n论文在 Section VII 开篇明确强调应将两类量**分开评估**：\n\n- **里程计漂移（odometry drift / relative motion error）**：禁用回环（VIO 模式）下，沿用 OKVIS [^25] 的方法，按行驶距离分桶（buckets of distance travelled）统计相对位置/姿态误差；同时补充报告开启回环后的相对误差，但作者指出该结果高度依赖运动特性（回环出现频率）（Section VII、Fig. 5）。\n- **绝对轨迹误差（ATE, Absolute Trajectory Error）**：开启回环后，将估计轨迹与真值在**位置与 yaw 角**上对齐（roll/pitch 全局可观测，故不对齐），统计位置差，单位为米 [m]（Section VII、Table I、Table II）。进一步区分两种评估方式：\n  - **causal（因果）评估**：每个时刻仅使用该时间戳之前的所有测量；\n  - **non-causal（非因果）评估**：最终完全回环优化后的轨迹，所有测量参与所有位姿估计。作者强调两者皆有效但必须明确声明；causal 情形下 ATE 会因回环修正产生特征性\"跳变\"而受漂移主导（Section VII）。\n- **运行时间（per-frame timings）**：各功能模块每帧耗时（ms）及标准差（Table III）。\n\n### 2. 主要结果（具体数字）\n\n#### 2.1 EuRoC 数据集（Table I，ATE [m]，11 条序列平均）\n\n| 系统 | 平均 ATE [m] |\n|---|---|\n| VINS-Fusion | 0.138 |\n| Kimera | 0.119 |\n| OKVIS（重跑） | 0.089 |\n| OKVIS2 VIO（causal） | 0.071 |\n| OKVIS2 causal（VI-SLAM） | 0.048 |\n| ORB-SLAM3（non-causal） | 0.035 |\n| OKVIS2（non-causal） | **0.031** |\n\n代表性单序列（OKVIS2 non-causal vs ORB-SLAM3）：MH_01 0.027 vs 0.036、MH_02 0.023 vs 0.033、MH_03 0.028 vs 0.035、MH_05 0.068 vs 0.082、V2_03 0.020 vs 0.024；仅 MH_04 上 ORB-SLAM3（0.051）优于 OKVIS2（0.066）。结论：与 ORB-SLAM3 持平或略优（Section VII-A）。\n\n#### 2.2 TUM VI Benchmark（Table II，ATE [m]，各环境平均）\n\n| 环境 | OKVIS2 VIO | OKVIS2 causal | OKVIS2 non-causal | ORB-SLAM3 | BASALT | OKVIS | ROVIO |\n|---|---|---|---|---|---|---|---|\n| corridor | 0.40 | 0.09 | 0.09 | 0.06 | 0.34 | 0.70 | 0.86 |\n| magistrale | 2.35 | 0.52 | **0.28** | 0.81 | 1.41 | 2.20 | - |\n| outdoors | 12.28 | 11.75 | **11.60** | 17.87 | 58.30 | 31.83 | - |\n| room | 0.04 | 0.01 | 0.01 | 0.01 | 0.08 | 0.07 | 0.15 |\n| slides | 1.38 | 0.99 | 0.54 | **0.45** | 0.51 | 2.33 | 6.40 |\n\n亮点（Section VII-B）：\n\n- 短序列 corridor/room 与 ORB-SLAM3 持平；\n- 长序列 magistrale、slides 及尤其 outdoors 上明显最优：outdoors 平均 11.60 m vs ORB-SLAM3 17.87 m、BASALT 58.30 m；单序列 outdoors_2 达 0.04 m（ORB-SLAM3 10.42 m）、outdoors_7 0.15 m（4.58 m）、outdoors_8 0.05 m（11.02 m）；\n- magistrale 与 slides 上 OKVIS2 找到比 ORB-SLAM3 报告更多的回环（表中 (✓) 标注，见 Table II 脚注 3）。\n\n#### 2.3 运行时间（Table III，EuRoC MH_05_difficult，i7-11700K 8 核 @3.60GHz）\n\n- Detect & Describe：7.1 ms（±1.8）\n- Match keypoints and triangulate：26.6 ms（±12.4）\n- Attempt loop closures：17.7 ms（±24.0）\n- Optimise realtime graph：33.2 ms（±9.2）\n- Pose graph edge creation & handling：14.0 ms（±8.6）\n- 后台全图优化同步（偶发）：15.1 ms（±7.4）；后台回环优化通常数十毫秒，超长回环（如 TUM-VI outdoors）可达约 1 秒（Section VII-C）。\n- 实时估计器固定执行 10 次迭代；另有按剩余时间预算自适应调整迭代数的 realtime 模式，精度仅轻微下降（Section VII-C）。\n\n### 3. 与基线/代表性先前工作的对比\n\n- **vs ORB-SLAM3 [^4]**：EuRoC 上 OKVIS2 non-causal 平均 0.031 m 略优于 0.035 m；TUM-VI 短序列持平、长序列（magistrale/outdoors）显著更优，且回环检测更成功（Table I、II，Section VII-A/B）。处理室外慢变云层时，ORB-SLAM3 删除 40 m 外所有地标观测，OKVIS2 采用 CNN 分割剔除；作者认为对鱼眼畸变图像微调及使用更深网络仍有提升空间（Section VII-B）。\n- **vs OKVIS [^25]**（相同 IMU/前端参数重跑，Table I 脚注 2）：EuRoC VIO 平均 0.071 vs 0.089，验证 posegraph 边扩大优化窗口的收益；Fig. 5（MH_05_difficult 相对误差统计）直观显示 okvis2-vio 优于 okvis，且回环进一步降低长期漂移。\n- **vs VINS-Fusion [^3]**：EuRoC 平均 0.138 vs OKVIS2 的 0.031–0.071，差距明显（Table I）。\n- **vs Kimera [^2]**：EuRoC 平均 0.119，同样明显落后（Table I）。\n- **vs BASALT [^1]**：TUM-VI outdoors 上 BASALT 平均 58.30 m，OKVIS2 为 11.60 m；corridor/room/slides 上 BASALT 亦整体不及 OKVIS2（Table II）。\n- **vs ROVIO [^23]**：TUM-VI 各环境均大幅落后于 OKVIS2（Table II）。\n\n### 4. 消融、敏感性与综合分析\n\n- **回环开关消融（VIO vs SLAM 模式）**：EuRoC 平均 ATE 0.071（VIO）→ 0.048（causal SLAM）→ 0.031（non-causal）；TUM-VI magistrale 2.35 → 0.52 → 0.28，outdoors 12.28 → 11.75 → 11.60，量化了回环与异步全局优化的收益（Table I、II）。\n- **causal vs non-causal**：non-causal 一致更优且轨迹更平滑（Fig. 5、Section VII-A），说明最终全局优化显著消除因果评估中的回环\"跳变\"。\n- **posegraph 边机制的隐式消融**：OKVIS2 VIO 相对原 OKVIS 的提升（0.071 vs 0.089）归因于以 marginalisation 构造的 relative pose factors 扩大优化窗口，替代简单固定旧状态的做法（Section II、V-D、Table I）。\n- **分割 CNN 的作用**：Section VI-C 与 VII-B 指出该方案在慢变场景内容（尤其云层）下显著提升精度，outdoors 序列的领先即为例证；Fig. 4 展示天空分类示例（含室内误分类、室外少量假阴/假阳）。\n- **参数敏感性**：全部实验使用同一套估计器参数：T=3（最近帧数）、K=5（关键帧数）、L=5（回环帧数）、A_min=12（最少优化位姿数）、ΔT=2 s（Section VII），表明结果对该组参数设置不敏感；前端与 IMU 参数为数据集特定，将随代码发布配置文件。\n- **跨数据集差异综合**：EuRoC（室内 MAV、短轨迹）上各 SOTA 差距较小（0.03–0.14 m 量级）；TUM-VI 长距离室外序列（约 1–2.7 km）上系统差异被显著放大（11.6–58.3 m），说明 OKVIS2 的回环策略与动态区域剔除在长序列、重复场景中优势最为明显。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：后续可探索方向\n\n### 一、理论方向\n\n1. **Posegraph 边构造的近似一致性分析**：论文承认基于 MST 的边构造在多帧共视时会复制观测与路标，\"introduces an inconsistency by design\"（Section V-D.1，Fig. 3）。后续可推导该近似相对完整联合优化的误差界，并与 BASALT 的非线性因子恢复方案（Section II-C）做严格的理论与实证对比，明确何种共视结构下该近似最优。\n2. **旧状态固定（fixation）与不确定性保守性**：OKVIS2 通过将 posegraph 边纳入实时估计器以扩大优化窗口，缓解固定旧状态带来的信息丢失（Section II-C、V-D），但固定策略依然存在；可探索基于残差统计的自适应固定（如文献 [^26] 思路）或部分协方差保留方案，并给出保守性证明。\n3. **回环\"复活\"机制的误差传播**：将 posegraph 边还原为路标与观测（Section V-E）依赖边创建时的线性化点；长时序下线性化误差如何累积、复活后重线性化的收敛性值得理论刻画。\n4. **单目 VI-SLAM 的鲁棒性**：作者在结论中明确列为未来工作（Section VIII）；单目情形尺度不可观、初始化困难与退化运动下的鲁棒性是核心开放问题。\n\n### 二、工程方向\n\n1. **开源发布与可复现性**：作者承诺 \"release as open-source software within the coming months\"，并随代码发布数据集特定的前端与 IMU 配置文件（Section I、VII、VIII）；工程落地需关注配置向新传感器套件迁移的自动化标定流程（论文已支持相机外参在线优化，Section V-D）。\n2. **分割 CNN 的强化**：当前 Fast-SCNN 仅在 Cityscapes 上以灰度图微调、实际只剔除天空区域（Section VI-C，Fig. 4）；作者指出可针对 TUM-VI 重畸变鱼眼图像微调并采用更深网络（Section VII-B），后续可扩展至行人、动物等动态物体类别，并评估边缘 CPU 部署下的延迟-精度权衡。\n3. **更多传感器融合**：结论提出纳入绝对位置等额外传感器（Section VIII），如 GPS/磁力计（VINS-Fusion 已支持，Section II-C），需设计相应误差因子与在线外参标定。\n4. **实时性预算管理深化**：Table III 显示匹配与三角化约 26.6 ms、实时图优化约 33.2 ms；已实现按剩余时间预算调整优化步数的实时模式（Section VII-C），可进一步研究优化步数与窗口参数 T/K/L 之间的自适应精度-耗时权衡。\n5. **稠密/语义地图的紧耦合集成**：长期目标是将稠密与语义地图表示以紧耦合方式融入多传感器融合，构建 Spatial AI（Section VIII）；可借鉴 Kimera 的度量-语义框架（Section II-C）。\n\n### 三、数据与评测方向\n\n1. **评测协议标准化**：论文强调应区分 odometry drift 与 ATE、causal 与 non-causal 两类评估（Section VII 开头），该方法论可推动社区建立统一基准，避免不同系统间的不可比结论。\n2. **动态场景专项基准**：分割剔除动态区域的收益目前主要体现在 TUM-VI outdoors 的慢变云层场景（Fig. 4、Table II outdoors 行），可构建含行人、车辆等快速动态物体的公开基准以量化该模块的独立贡献。\n3. **更大规模与长时序数据验证**：当前实验限于 EuRoC 与 TUM-VI（Section VII）；长回环（如 outdoors 序列）下异步全图优化耗时可达秒级（Section VII-C），需要在更大规模数据上验证可扩展性、内存占用与同步开销。\n4. **长期运行与重访一致性**：多次访问同一环境时的地图合并与路标去重（Section V-E 提及 landmark merging）缺乏专门评测，可设计重访型数据集检验长期地图维护能力。\n\n### 优先级建议\n\n- **短期（工程）**：开源发布 + 分割网络针对鱼眼畸变与动态物体的扩展，直接提升系统可用性（Section VII-B、VIII）。\n- **中期（理论+评测）**：posegraph 近似一致性分析与统一评测协议，夯实方法学基础（Section V-D.1、VII）。\n- **长期（理论+工程）**：单目鲁棒性、多传感器与稠密语义紧耦合，迈向集成式 Spatial AI（Section VIII）。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界部署视角（How would this show up in real-world use?）\n\n### 1. 浅层：部署形态总览\n\n- **系统定位**：OKVIS2 是一个可在 CPU 上实时运行的多相机 VI-SLAM 系统，面向移动机器人自主性与 AR/VR 应用（Section I、Section IV）。\n- **传感器需求**：N 个相机 + 1 个 IMU（Section III）；可选将相机外参 T_SCi 作为优化变量进行在线标定（Section V-D 末尾注），可降低出厂标定精度要求。\n- **刻意的 CPU-only 设计**：分割 CNN（Fast-SCNN）以异步后台进程在 CPU 上推理，明确以 \"maximum portability\" 为目标，不依赖 GPU（Section VI-C）——这是该系统区别于许多依赖 GPU 的 SLAM 方案的关键部署优势。\n- **开源状态**：论文写作时承诺 \"aim to release as open-source software within the coming months\"，并随代码发布数据集特定的前端与 IMU 配置文件（Section I、Section VII、Section VIII）。落地前第一件事是确认代码与配置是否已实际可用。\n\n### 2. 中层：计算与延迟影响\n\n- **实测平台**：Ubuntu 20.04，11th Gen Intel Core i7-11700K（8 核，最高 3.60GHz）（Section VII-C）。\n- **每帧耗时分解（Table III，EuRoC MH_05_difficult）**：\n  - Detect & Describe：7.1 (±1.8) ms\n  - Match keypoints and triangulate：26.6 (±12.4) ms\n  - Attempt loop closures：17.7 (±24.0) ms（VIO 模式下跳过）\n  - Optimise realtime graph：33.2 (±9.2) ms\n  - Pose graph edge creation & handling：14.0 (±8.6) ms\n  - 后台全图优化同步：15.1 (±7.4) ms（仅偶发发生）\n- **并行性提示**：检测/描述与实时优化重叠执行，各阶段耗时不能简单相加判断实时性（Table III 注）。\n- **实时预算管理**：基准中实时估计器固定执行 10 次优化迭代；另实现了 realtime 模式，按匹配与回环尝试后的剩余时间预算调整每帧优化次数，精度仅轻微下降（Section VII-C）——这是面向算力受限平台的直接可用机制。\n- **回环优化延迟**：后台异步执行，典型耗时数十毫秒，超长回环（如 TUM-VI outdoors）可达约 1 秒（Section VII-C）；优化期间 relocalisation 尝试被挂起（Section V-E），意味着大回环期间系统对重定位请求无响应。\n- **问题规模有界**：T=3（最近帧）、K=5（关键帧）、L=5（回环帧）、A_min=12（位姿图帧）、ΔT=2s（Section VII），保证计算量不随运行时间增长，适合长时间自主任务。\n- **外推风险**：论文未提供 ARM/嵌入式平台（如 Jetson、机载计算机）数据，桌面 i7 的耗时不能直接外推；分割 CNN 仅在 keyframe 上运行是其 CPU 可行性的关键前提（Section VI-C），部署时需在目标硬件复测。\n\n### 3. 深层：鲁棒性与安全性\n\n- **动态物体处理及其局限**：Fast-SCNN（Cityscapes 微调、灰度输入）剔除动态区域观测，当前仅剔除天空，可扩展至人、动物等（Section VI-C）。Fig. 4 明确展示误分类案例：室内出现错误的天空判定、室外云存在假阴性（最右侧云）、地平线附近树枝假阳性——说明该安全网不完美，仍需依赖 Cauchy robustifier 兜底剔除残余外点（Section V-D、VI-C）。\n- **与竞品的策略差异**：ORB-SLAM3 处理慢变云层的方式是删除 40 米外地标的所有观测，OKVIS2 则用 CNN 剔除——后者保留近处结构信息，但精度依赖分割质量，且作者承认针对强畸变鱼眼图像微调及更深网络仍有改进空间（Section VII-B）。\n- **近似带来的精度/一致性风险**：\n  - posegraph 边构造会复制观测与地标，属 \"inconsistency by design\"；作者论证该近似仍优于事实标准的单位权重相对位姿因子（Section V-D.1），但部署于高精度要求场景时应意识到这是有损压缩。\n  - 老状态 fixation 是非保守近似（Section II-C 对 ORB-SLAM3 的讨论同样适用于此机制），退化运动下可能引入偏差。\n- **回环安全性**：\n  - 回环检测需 DBoW2 匹配 + 3D-2D RANSAC 几何验证双重把关（Section V-E），降低假阳性回环风险。\n  - 因果（causal）评估下，轨迹在回环修正时出现特征性 \"jumps\"（Section VII）——对直接消费位姿的下游控制器（MPC、视觉伺服、腿足步态控制）是安全隐患，工程上需平滑处理或采用延迟/非因果轨迹。\n  - 回环优化期间 relocalisation 挂起（Section V-E），若此时发生跟踪丢失，恢复能力暂时下降。\n- **已知未解决问题**：单目 VI-SLAM 的鲁棒处理被列为未来工作（Section VIII）；初始化与退化场景（低纹理、快速旋转）未系统评估。\n- **大尺度室外预期**：TUM-VI outdoors 平均 ATE 为 11.60 m（Table II），室外长航程任务应预期米级误差，不宜直接用于厘米级安全关键应用。\n\n### 4. 可维护性\n\n- **参数体系**：估计器结构参数全局统一（T/K/L/A_min/ΔT），但前端与 IMU 参数为数据集/平台特定，换平台需重新调参，依赖作者随代码发布的配置文件作为起点（Section VII）。\n- **依赖栈**：Ceres Solver [^32]、DBoW2 [^34]、BRISK [^35]、Fast-SCNN [^37]——均为成熟开源组件，降低维护成本，但版本兼容需自行管理。\n- **在线标定**：可选优化相机外参（Section V-D 注），减少标定维护负担，代价是增加优化变量与计算量。\n- **分割模型维护**：更换传感器（彩色相机、不同畸变模型）或需剔除新动态类别时，需重新微调 Fast-SCNN（Section VI-C、VII-B）。\n- **长期运行**：位姿图规模有界（L=5 限制回环帧数，Section V-E），内存占用可控；但持久化地图与 DBoW2 重定位数据库的存储、更新与多会话策略文中未讨论，长期部署需自行设计。\n\n### 5. 部署检查清单（工程落地建议）\n\n1. 确认开源代码与配置文件已发布且可用（Section I、VIII 的承诺）。\n2. 在目标硬件上复测 Table III 各项耗时，验证帧率预算是否满足相机帧率。\n3. 为新平台准备前端/IMU 参数（Section VII），优先参考作者发布的配置。\n4. 评估下游应用是否容忍 causal 模式的回环跳变（Section VII），必要时引入轨迹平滑或等待 final 轨迹。\n5. 若场景含大量动态物体（行人、天空、植被），先验证分割模型覆盖度与 Fig. 4 所示假阳/假阴的影响。\n6. 大回环期间（可达 ~1 秒，Section VII-C）规划 relocalisation 不可用的应对策略。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落（6–8 句）\n\nOKVIS2 是一个实时、可扩展的多相机视觉-惯性 SLAM（VI-SLAM）系统，支持地点识别、重定位与回环检测（Section I、IV）。其核心算法通过对两个关键帧共同观测的 landmarks 进行 marginalisation，构造带信息矩阵权重的 pose-graph 边（relative pose factors），并在回环发生时可逆地“复活”为 landmarks 与 reprojection observations（Section V-D.1、V-E）。实时估计器以相机帧率优化一个规模有界的因子图，联合最小化视觉 reprojection 误差、IMU pre-integration 误差与相对位姿误差（Section V-D，式 (7)）。当关键帧数量超过上限 K 时，与当前帧共视性最低的帧被转换为 pose-graph 节点，而最旧关键帧在仍有共同观测时被保留，以维持长期方向约束（Section V-D.1）。回环优化在后台异步执行，复用同一因子图并保持回环内状态可变，完成后与实时估计器同步（Section V-E）。前端采用 BRISK 特征、基于重叠度的 keyframe 选择准则，并在 CPU 上异步运行轻量 Fast-SCNN 分割网络以剔除天空等动态区域观测（Section VI）。在 EuRoC 与 TUM-VI 基准上，OKVIS2 的 ATE 与 ORB-SLAM3 相当甚至部分更优，尤其在 magistrale、slides 与长距离 outdoors 序列上表现突出（Section VII，Table I、II）。\n\n### 2. 五条关键要点\n\n1. **Pose-graph 边的严格构造**：不同于以单位权重构造相对位姿因子的常见做法（如 VINS-Fusion），OKVIS2 通过对共同观测做 Schur complement marginalisation 得到权重 $\\mathbf{W}_{\\mathrm{p}}^{r,c}=\\mathbf{H}^{*}$ 与常数项 $\\mathbf{e}_{\\mathrm{p},0}^{r,c}=-\\mathbf{H}^{*+}\\mathbf{b}^{*}$，保留了观测不确定性信息（Section V-D.1，式 (13)–(19)）。\n2. **可逆的边-观测转换**：回环时 pose-graph 边可无缝还原为 landmarks 与 observations，使旧地图点重新参与优化，并支持 landmark 合并（Section V-E）。\n3. **有界实时因子图**：通过保留 T=3 个最近帧、K=5 个 keyframes、至少 A_min=12 个 pose-graph 帧以及 ΔT=2s 内全部状态可变，问题规模有界且保持实时（Section V-D、VII）。\n4. **CPU 端语义分割去动态化**：Fast-SCNN 仅在 keyframe 上异步推理，剔除天空等动态区域观测，显著改善含慢变内容（如云层）场景的精度，且无需 GPU、可移植性强（Section VI-C、VII-B）。\n5. **有竞争力的实验结果**：EuRoC 上 non-causal 平均 ATE 为 0.031 m，TUM-VI 长序列 outdoors 平均 11.60 m，与或优于 ORB-SLAM3；每帧各模块耗时为数十毫秒量级，验证了实时性（Table I–III）。\n\n### 3. 核心公式/机制\n\nPose-graph 边构造（对共同观测的 marginalisation）：\n\n$$c_{\\mathrm{p}}^{r,c}\\approx\\frac{1}{2}\\,\\mathbf{e}_{\\mathrm{p}}^{r,c\\,T}\\,\\mathbf{W}_{\\mathrm{p}}^{r,c}\\,\\mathbf{e}_{\\mathrm{p}}^{r,c},\\qquad \\mathbf{W}_{\\mathrm{p}}^{r,c}=\\mathbf{H}^{*},\\quad \\mathbf{e}_{\\mathrm{p},0}^{r,c}=-\\mathbf{H}^{*+}\\mathbf{b}^{*}$$\n\n其中 $\\mathbf{H}^{*}=\\mathbf{H}_{\\mathrm{p,p}}-\\sum_{j}\\mathbf{H}_{\\mathrm{p},j}\\mathbf{H}_{jj}^{+}\\mathbf{H}_{\\mathrm{p},j}^{T}$ 是对两帧共同观测的 landmarks 做 Schur complement 后的约化 Gauss-Newton 系统（Section V-D.1，式 (13)–(19)）。该机制把昂贵的观测约束压缩为轻量的相对位姿因子，同时保留不确定性，是系统在精度与实时性之间取得平衡的关键。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 论文结构树\n\n``nOKVIS2\n├── I. Introduction（三大贡献：OKVIS2 系统、posegraph 边构造算法、CPU 端分割 CNN 去动态物）\n├── II. Related Work\n│   ├── A. Visual Odometry and SLAM（PTAM、ORB-SLAM 1/2、DTAM、LSD-SLAM、SVO、DSO/LDSO）\n│   ├── B. Dense Depth-Camera-based SLAM（KinectFusion、Kintinuous、ElasticFusion）\n│   └── C. Visual-Inertial Odometry and SLAM（MSCKF、OpenVINS、ROVIO、OKVIS、Maplab、VINS-Fusion、Kimera、BASALT）\n├── III. Notation and Definitions（状态表示式(1)、四元数乘性扰动式(2)）\n├── IV. System Overview（前端 + 实时估计器 + 异步回环优化，Fig. 1）\n├── V. Visual-Inertial Estimator\n│   ├── A. Reprojection Error（式(3)）\n│   ├── B. IMU Error（预积分，式(4)(5)）\n│   ├── C. Relative Pose Error（式(6)）\n│   ├── D. Realtime Estimation Problem\n│   │   ├── 总代价函数（式(7)）\n│   │   ├── D.1 Posegraph Creation（Fig. 2、Fig. 3，式(8)–(19)，MST 启发式 + Schur 补）\n│   │   └── D.2 Fixation of Old States（A_min 与 ΔT 准则）\n│   └── E. Place Recognition, Relocalisation, and Loop Closure（DBoW2、边“复活”、异步优化与同步）\n├── VI. Frontend Overview\n│   ├── A. Matching and initialisation（BRISK 匹配、立体/帧间三角化）\n│   ├── B. Keyframe selection（重叠度准则，式(20)）\n│   └── C. Segmentation CNN（Fast-SCNN、Cityscapes 微调、CPU 异步推理）\n├── VII. Experimental Results\n│   ├── A. EuRoC Dataset（Fig. 5、Table I）\n│   ├── B. TUM VI Benchmark（Table II）\n│   └── C. Timings（Table III）\n└── VIII. Conclusions（未来工作：单目鲁棒性、更多传感器、稠密/语义地图紧耦合）\n``n\n\n### 2. 方法/系统分解\n\n- **输入**：N 个相机的 multi-frame 图像 + 同步 IMU 消息（Section IV）。\n- **输出**：实时状态估计（位置、姿态四元数、速度、陀螺/加计偏置，式(1)）、稀疏 3D landmarks、回环闭合后的全局一致轨迹。\n- **模块划分**：\n  1. **前端 Frontend**（每帧同步）：BRISK 关键点与描述子提取；与已有地图 landmark 匹配（描述子距离 + 保守的重投影图像距离双重校验）；关键帧内 N 图立体三角化 + live frame 与关键帧间三角化初始化新 landmark；关键帧选择（式(20)：重叠度 o = min(o_l, max_k o_k) 低于阈值 t_o 即选为关键帧）；Fast-SCNN 语义分割（Cityscapes 微调 80 epochs、灰度输入、CPU 异步、仅处理关键帧，剔除天空等动态区域观测）；DBoW2 地点识别 + 3D-2D RANSAC 几何验证触发重定位/回环。\n  2. **实时估计器 Realtime Estimator**（Ceres 求解，至少帧率运行）：最小化式(7)的非线性最小二乘代价，因子包括视觉重投影误差（式(3)，Cauchy 鲁棒核）、IMU 预积分误差（式(4)，权重来自线性化误差传播）、相对位姿误差/posegraph 边（式(6)）；窗口含 T=3 最近帧 + K=5 历史关键帧；posegraph 创建（V-D.1）与旧状态固定（V-D.2：保留 max(A_min=12, ΔT=2s 覆盖帧数) 个可变状态）。\n  3. **异步回环优化**：回环匹配成功后，将当前活动窗口重对齐到匹配位姿 l，把连接 l 的 posegraph 边“复活”为 landmarks 与重投影观测（可触发 landmark 合并）；先旋转平均 + 位置不一致均分初始化，再后台优化因子图副本（回环内状态保持可变，保留全部 IMU 项以约束相对重力一致性）；完成后同步导入实时图并重对齐期间新增状态；优化期间暂停重定位；回环帧数限制 L=5（复用 V-D.1 边创建方案）。\n- **损失/代价函数**：式(7)三项之和——视觉项（Cauchy 核 ρ 加权）、IMU 项、posegraph 项；posegraph 边权重 W_p 与常数偏置 e_p,0 由对两帧共同观测的 Gauss-Newton 系统做 Schur 补 marginalisation 得到：W_p = H*，e_p,0 = -H*⁺ b*（式(12)–(19)）。\n- **推理/运行流程**：每帧同步执行前端 + 实时估计；回环全图优化异步后台执行；另有按剩余时间预算调整每帧优化迭代数的实时模式（Section VII-C）。\n\n### 3. 重要图表解读\n\n- **Fig. 2（因子图演化，Section V-D）**：(a) 初始构建全批 VI 因子图（观测 + IMU 项）；(b) 随时间推进，与当前帧/当前关键帧视觉重叠最少的关键帧被转为 posegraph 节点——通过对共同观测 marginalisation 插入相对位姿误差，同时旧位姿与速度/偏置被固定（虚线）以保持问题规模有界、实时可行；(c) 回环发生时，相应观测与 landmark 被重新激活。该图直观呈现论文核心机制：posegraph 边与观测之间的可逆转换，是区别于 ORB-SLAM3“直接固定旧状态”方案的关键（Section II-C）。\n- **Fig. 3（posegraph 边创建，Section V-D.1）**：关键帧 r 因与当前（关键）帧重叠最少被选中转换时，收集已有 posegraph 边的节点、r 自身、与 r 视觉重叠最大的帧构成集合 T，以两帧共同观测数为权计算 Maximum Spanning Tree，创建所有连接 r 的 MST 边；每条边用 r、c 两帧全部共同观测经 Schur 补 marginalisation 求权重。作者明确承认该近似会在多于两帧共视时复制观测/landmark、引入设计上的不一致，但论证其仍优于视觉(-惯性) SLAM 中事实标准的单位权重相对位姿约束（Section V-D.1）。\n- **Table I（EuRoC ATE，Section VII-A）**：对比 BASALT、Kimera、OKVIS、VINS-Fusion、ORB-SLAM3，并区分 causal（VIO 与 OKVIS2 causal）与 non-causal（OKVIS2 final）评估。OKVIS2 VIO 平均 0.071 m 优于重跑的 OKVIS 0.089 m；OKVIS2 causal 平均 0.048 m；OKVIS2 final 平均 0.031 m，与 ORB-SLAM3 的 0.035 m 相当或略优。注意脚注：VINS-Fusion 与 ORB-SLAM3 结果取自 [^4]，OKVIS 为使用与 OKVIS2 相同 IMU/前端参数的重跑结果。\n- **Table II（TUM-VI ATE，Section VII-B）**：短序列 corridor（0.09 vs 0.06）与 room（0.01 vs 0.01）与 ORB-SLAM3 基本持平；长序列优势明显——magistrale 平均 0.28 vs 0.81、slides 0.54 vs 0.45（causal 0.99 更差但 non-causal final 更优）、outdoors 11.60 vs 17.87；(✓) 标记表示仅 OKVIS2 检出的回环（如 magistrale 6、outdoors 2/8）。outdoors 上 ORB-SLAM3 靠删除 40 m 外所有观测应对慢变云层，OKVIS2 用 CNN 分割剔除，且作者指出针对强畸变鱼眼微调与更深网络仍有提升空间。\n- **Table III（每帧耗时，Section VII-C）**：EuRoC MH_05_difficult、i7-11700K（8 核 3.60 GHz）上：检测与描述 7.1(±1.8) ms、匹配与三角化 26.6(±12.4) ms、回环尝试 17.7(±24.0) ms、实时图优化 33.2(±9.2) ms（固定 10 次迭代）、posegraph 边创建 14.0(±8.6) ms；后台全图优化同步仅偶发，约 15.1(±7.4) ms。检测/描述与实时优化并行执行，故各数字不能简单相加判断实时性；超长回环的后台优化耗时数十毫秒至约 1 秒。\n- **Fig. 4（分割示例，Section VI-C）**：TUM-VI outdoors 天空分类（红）与保留关键点对比：室内亦出现少量误分类；室外大部分天空关键点被正确识别，但存在漏检（最右侧云）与误检（地平线附近无叶树枝），说明该方案有效但不完美。\n- **Fig. 5（相对轨迹误差，Section VII-A）**：MH_05_difficult 不同子轨迹长度下的相对位置/姿态误差统计，展示 okvis2-vio 相对原 OKVIS 的漂移改善、回环对长期漂移的抑制，以及 non-causal 最终轨迹 okvis2-slam-final 相对 causal 版本的显著精度提升。\n\n### 4. 实验与评估细节\n\n- **数据集**：EuRoC（11 序列：MH_01–05、V1_01–03、V2_01–03，含真值，室内 MAV 场景）；TUM VI Benchmark（corridor×5、magistrale×6、outdoors×8、room×6、slides×3，含真值，轨迹长度 67–2656 m，覆盖室内外）（Section VII）。\n- **指标**：① 里程计漂移（禁用回环）：沿用 [^25] 方法，按行驶距离分桶聚合相对位置/姿态误差统计（另附启用回环的相对误差，但强调其依赖运动中回环频率）；② ATE（启用回环）：估计与真值轨迹按位置与 yaw 对齐（roll/pitch 全局可观测故不对齐），报告位置差统计；明确区分 causal（仅用该时刻前全部测量，轨迹含回环修正“跳变”）与 non-causal（最终全回环轨迹）两种评估并分别报告（Section VII 开头）。\n- **对比目标**：EuRoC 上为 BASALT、Kimera、OKVIS、VINS-Fusion、ORB-SLAM3；TUM-VI 上为 ROVIO、BASALT、OKVIS、ORB-SLAM3（Table I、II）。\n- **公平性**：全程使用同一套估计器参数（T=3、K=5、L=5、A_min=12、ΔT=2 s）；OKVIS 基线用与 OKVIS2 相同的 IMU/前端参数重跑；竞品结果取自 ORB-SLAM3 论文 [^4]（Table I/II 脚注 1）；前端与 IMU 参数为数据集特定，配置文件承诺随代码发布（Section VII）。\n- **消融/变体分析**：okvis2-vio（禁回环）vs okvis2-slam（causal）vs okvis2-slam-final（non-causal）三档分离“漂移改善”与“回环收益”两类效应（Fig. 5、Table I/II 列结构）；分割 CNN 对慢变动态内容（尤其云层）的增益在 outdoors 序列体现（Section VI-C、VII-B）。\n- **实时性评估**：Table III 给出各功能每帧耗时及标准差，并说明并行性与偶发同步开销；实时模式按时间预算自适应减少优化迭代且“仅轻微影响精度”（Section VII-C）。\n\n### 5. 系统架构图（适配 system 原型）\n\n``n多相机 multi-frame ──┐\n                     ├──> [前端 Frontend]（每帧同步）\nIMU 消息 ────────────┘        ├─ BRISK 提取 / 与地图匹配 / 立体与帧间三角化\n                              ├─ 关键帧选择（重叠度准则，式(20)）\n                              ├─ Fast-SCNN 分割（CPU 异步，剔除天空等动态观测）\n                              └─ DBoW2 地点识别 + 3D-2D RANSAC 验证\n                                        │\n                                        ▼\n                     [实时估计器 Realtime Estimator]（Ceres，式(7)）\n                       因子：重投影误差(Cauchy) + IMU 预积分 + posegraph 边\n                       ├─ posegraph 创建：共同观测 marginalisation → W_p=H*, e_p,0=-H*⁺b*\n                       │   （MST 启发式选边，Fig. 3；最老关键帧长期共视保留）\n                       └─ 旧状态固定：保留 max(A_min=12, ΔT=2s) 个可变状态\n                                        │\n              检测到回环 ───────────────┤ posegraph 边“复活”为 landmarks/观测\n                                        ▼\n                     [异步全图回环优化]（回环内状态保持可变，含全部 IMU 项）\n                       初始化：旋转平均 + 位置不一致均分\n                                        │\n                                        ▼\n                     [同步 Synchronisation]（导入优化结果、重对齐新增状态；\n                      优化期间暂停重定位；回环帧数裁剪至 L=5）\n                                        │\n                                        ▼\n              输出：实时位姿/速度/偏置 + 回环闭合全局一致轨迹 + 稀疏 landmarks\n``n\n**推理链小结**：系统以“marginalisation 构造 posegraph 边 ↔ 回环时还原为观测”的可逆转换为核心（Fig. 2、Section V-D/E），配合 CPU 端分割剔除动态区域（Section VI-C），在 EuRoC 与 TUM-VI 上以统一参数取得与 ORB-SLAM3 相当或更优的 ATE，尤其在长序列（magistrale、outdoors）优势显著（Table I、II），且各模块耗时分解支持实时运行（Table III）。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍精读——深度评审\n\n### 1. 可复现性重构（Reconstructability）\n\n### 核心算法伪代码：Posegraph 边创建（Section V-D.1，Fig. 2、Fig. 3，式 (10)–(19)）\n\n``n当 |K| > K（K=5，Section VII）时:\n    r ← 与当前帧/当前关键帧共视度最低的关键帧\n    T ← {已拥有 posegraph 边的位姿} ∪ {r} ∪ {与 r 视觉重叠最大的帧}\n    在 T 上以两帧间共观测数为准则计算 Maximum Spanning Tree (MST)\n    对每条连接 r 的 MST 边 (r, c):\n        收集 r 与 c 的全部联合观测（仅保留初始重投影误差较低的 landmark，集合 J(i,r), J(i,c)）\n        构造联合代价 c_p^{r,c}（式 (10)）\n        对 landmark 施加 Schur complement 边缘化（式 (12)(13)）得 H*, b*\n        令 W_p^{r,c} = H*，e_{p,0}^{r,c} = -H*⁺ b*（式 (18)(19)）\n        将相对位姿误差项 (6) 以权重 W_p 插入因子图\n    例外：最老关键帧只要仍与当前帧/当前关键帧存在共观测则保留（Section V-D.1）\n``n\n**实时估计器主循环（Section IV、V-D，Fig. 1、Fig. 2）**\n\n``n每收到一个 multi-frame:\n    前端：状态初始化、BRISK 匹配、三角化、place recognition（DBoW2 + 3D-2D RANSAC）\n    若 o = min(o_l, max_{k∈K} o_k) < t_o（式 (20)）则接受为新关键帧\n    异步运行 Fast-SCNN 分割，剔除动态区域（当前仅天空）观测（Section VI-C）\n    最小化代价 c(x)（式 (7)）：重投影误差 + IMU 预积分误差 + 相对位姿误差\n    若最老帧非关键帧：删除状态并用预积分合并 IMU 误差\n    若最老帧为关键帧：执行上述 posegraph 创建\n    仅保留 A = max(A_min, A_ΔT) 个最新状态为变量（A_min=12, ΔT=2s，Section V-D.2、VII）\n``n\n**回环处理（Section V-E）**\n\n``nDBoW2 查询命中位姿 l 且 3D-2D RANSAC 几何验证通过:\n    将当前活动窗口重对齐到 l\n    复活连接 l 的 posegraph 边 → landmarks + observations；必要时合并 landmark\n    旋转平均 + 位置不一致均分 → 初始分配回环误差\n    异步后台优化：复制实时图，回环内状态保持可变（含全部 IMU 项以约束重力方向一致性）\n    完成后同步回实时估计器；优化期间暂停 relocalisation\n    |L| > L(=5) 时按 V-D.1 方案再建 posegraph 边\n``n\n**重构缺口**：Jacobian 推导被省略（Section V-A、V-D.1）；IMU 预积分沿用 Forster 等人方案 [^33]；DBoW2 词库、阈值 t_o、r_kpt 等前端参数未给出（作者承诺随代码发布配置文件，Section VII）。核心数学链路（式 (10)–(19)）完整自洽，具备理论可重构性；工程级复现依赖开源代码发布。\n\n### 2. 关键假设（Assumptions）\n\n- **场景静态性**：地图 landmark 静止；动态内容仅靠 CPU 端 Fast-SCNN 剔除，且当前只处理天空类别（Section VI-C，Fig. 4）。\n- **线性化点质量**：相对位姿误差在创建时刻的线性化点处展开，且当 q_{S^r S^c} ≈ q̃ 时 Jacobian 退化为 Identity（Section V-D.1）；隐含假设边缘化时刻的位姿估计已足够准确。\n- **近似一致性可接受**：MST 边构造会复制观测与 landmark，引入 by-design 的不一致性；作者论证其仍优于单位权重相对位姿因子的业界默认做法（Section V-D.1），但未给出定量误差界。\n- **外点已被有效抑制**：仅将初始重投影误差较低的观测纳入边缘化（集合 J(i,r), J(i,c)，Section V-D.1），并假设 Cauchy 鲁棒核已剔除大部分外点（Section VI-C）。\n- **参数可迁移性有限**：前端与 IMU 参数为数据集特定（Section VII），隐含假设用户可为新平台自行调参。\n- **重力方向全局可观测**：ATE 评估仅对齐位置与 yaw、不对齐 roll/pitch（Section VII），隐含依赖 IMU 提供的水平姿态可观性。\n\n### 3. 失效模式与盲点（Failure Modes / Blind Spots）\n\n- **动态物体覆盖不足**：分割仅剔除天空；行人、动物等类别未处理；室内存在误分类，地平线附近树枝出现假阳性/假阴性（Fig. 4）；慢变动态（云）之外的快速动态场景未验证。\n- **长期运行的一致性累积误差**：posegraph 边复制观测导致的不一致随回环次数累积，论文未量化其对超长轨迹的影响；|L| 截断为 5 也可能丢弃远期约束。\n- **单目 VI-SLAM 未解决**：作者自认鲁棒的单目情形是开放问题（Section VIII）；全部实验基于 stereo/multi-camera 数据集（EuRoC、TUM-VI），单目退化与尺度漂移风险未知。\n- **回环优化期间的定位空窗**：优化进行时暂停 relocalisation（Section V-E），高频回环场景下可能造成在线定位盲区；causal 模式 ATE 含回环跳变（Section VII），在线用户需自行平滑处理。\n\n### 4. 优点与不足（Strengths & Weaknesses）\n\n## 优点\n\n1. **信息保留的边缘化**：以 Schur complement 得到 W_p = H*、e_{p,0} = -H*⁺b*（式 (18)(19)），相比 ORB-SLAM3 直接固定旧状态（Section II-C 指出其本质上是忽略历史不确定性的非保守近似）信息更完整、更保守。\n2. **可逆的图结构**：posegraph 边可在回环时无缝还原为 landmarks + observations（Section V-E，Fig. 2c），这是与 VINS-Fusion（仅连续关键帧相对位姿边）和 BASALT（丢弃预积分项、恢复非线性因子）的关键差异（Section II-C）。\n3. **异步全图优化复用同一因子图**，保留全部 IMU 项以约束相对重力的姿态一致性（Section V-E），提升长回环校正的物理合理性。\n4. **精度竞争力强**：EuRoC 平均 ATE 0.031 m，优于 ORB-SLAM3 的 0.035 m（Table I）；TUM-VI outdoors 平均 11.60 m 显著优于 ORB-SLAM3 的 17.87 m（Table II）；magistrale/slides 上检测到比 ORB-SLAM3 更多的回环（Table II 注 3 的 (✓) 标记）。\n5. **CPU 端可移植性与实时性**：分割 CNN 异步运行于 CPU（Section VI-C），避开 GPU 依赖；Table III 显示各模块耗时可控，且提供按时间预算自适应优化步数的实时模式。\n\n## 不足\n\n1. **对比实验公平性存疑**：BASALT/Kimera/ORB-SLAM3 等结果取自文献 [^4]（Table I、II 注 1），非统一环境复现；EuRoC 上 BASALT 平均值缺失（Table I）。\n2. **缺乏消融实验**：分割去动态与 posegraph 边构造各自的贡献未分离量化；对分割改善精度的论断仅为定性描述（Section VI-C、VII-B）。\n3. **参数敏感性与跨平台泛化未验证**：前端与 IMU 参数数据集特定（Section VII）；耗时仅在 i7-11700K PC 上测量（Table III），嵌入式部署未评估。\n4. **复现依赖代码发布**：Jacobian 省略、配置文件未附（Section V、VII），写作时无开源代码（承诺 coming months，Section I、VIII）。\n5. **causal 与 non-causal 差距大**：Fig. 5 显示 okvis2-slam-final 明显优于 okvis2-slam，说明在线精度仍受 odometry 漂移主导，解读 Table I/II 的 non-causal 列时需谨慎。\n\n### 5. 后续研究方向（Next-step Research Directions）\n\n- **鲁棒单目 VI-SLAM**：作者明确列为未来工作（Section VIII）；可结合 posegraph 边可逆机制研究单目尺度退化与初始化鲁棒性。\n- **多传感器扩展**：融入绝对位置（GPS）、磁力计等额外传感器（Section VIII）；本方案的加权相对位姿因子框架天然可容纳异构全局约束。\n- **紧耦合稠密/语义地图**：长期目标是集成式 Spatial AI（Section VIII）；可探索语义 landmark 与本边缘化方案在统一概率图中的表达。\n- **分割模块强化与定量消融**：针对鱼眼畸变图像微调、采用更深网络、扩展动态类别（Section VII-B 明确指出改进空间），并补充消融实验以定量支撑设计选择。\n- **理论分析**：对 MST 边复制观测引入的不一致性给出误差界或自适应权重修正方案，正面回应 Section V-D.1 中 by-design 近似的合理性。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（36 条）\n\n每条包含：英文术语（中文译名）｜定义｜直觉｜在论文中的作用（含定位符）｜先修知识。\n\n### 1. VI-SLAM（Visual-Inertial Simultaneous Localisation and Mapping，视觉-惯性同时定位与建图）\n\n- 定义：联合相机与 IMU 测量，在未知环境中同时估计载体轨迹并维护地图的估计问题与系统类别。\n- 直觉：相机提供空间约束（看到什么在哪），IMU 提供高频时间约束（如何运动），两者互补提升鲁棒性与精度。\n- 作用：论文整体研究对象；OKVIS2 即一个支持位置识别与回环的完整多相机 VI-SLAM 系统（Abstract、Section I）。\n- 先修：状态估计、概率机器人基础。\n\n## 2. VIO（Visual-Inertial Odometry，视觉-惯性里程计）\n\n- 定义：仅做增量式位姿/速度估计、不含全局回环优化的视觉-惯性估计模式。\n- 直觉：SLAM 去掉回环与全局一致性后的部分，会随时间漂移。\n- 作用：以 okvis2-vio 模式（禁用回环）评估里程计漂移（Section VII-A、Fig. 5）。\n- 先修：VI-SLAM 概念。\n\n## 3. Loop Closure（回环检测/回环闭合）\n\n- 定义：识别重访区域并利用重访约束消除累积漂移的机制。\n- 直觉：走回起点发现估计位置与记忆不符，用该矛盾校正整条轨迹。\n- 作用：触发 posegraph 边「复活」为 landmarks 与 observations，并启动异步全图优化（Section V-E、Fig. 2c）。\n- 先修：位置识别、位姿图优化。\n\n## 4. Place Recognition（位置识别）\n\n- 定义：将当前帧与历史帧数据库比对、判断是否到达同一地点的过程。\n- 直觉：视觉「认路」——看到相似场景即想起曾来过。\n- 作用：前端以 DBoW2 查询实现，成功后触发重定位与回环初始化（Section IV、V-E）。\n- 先修：图像检索、词袋模型。\n\n## 5. Relocalisation（重定位）\n\n- 定义：识别旧位置后，将当前活动状态窗口重新对齐到匹配历史位姿的过程。\n- 直觉：迷路后把当前估计重新「挂回」已有地图。\n- 作用：Section V-E：当前窗口变换对齐到匹配位姿 l，并复活相关 posegraph 边为观测。\n- 先修：3D-2D 匹配、RANSAC。\n\n## 6. Marginalisation（边缘化）\n\n- 定义：在最小二乘/概率意义下将部分变量从优化问题中消去，同时将其信息以线性化约束形式保留的操作。\n- 直觉：不再显式估计某些变量，但其对剩余变量的影响被压缩成约束保留下来。\n- 作用：论文核心算法——对共同观测边缘化以构造 posegraph 边（Section V-D.1，式(10)–(19)）。\n- 先修：高斯-牛顿法、Schur 补。\n\n## 7. Pose Graph / Posegraph Edge（位姿图/位姿图边）\n\n- 定义：以位姿为节点、相对位姿约束为边的图结构；本文的边由边缘化共同观测得到并带权重 W_p。\n- 直觉：把地图压缩成关键帧间相对运动关系网，远比保留全部观测轻量。\n- 作用：同时用于实时估计器（扩大优化窗口）与异步回环优化（Abstract、Section V-D.1、Fig. 2、Fig. 3）。\n- 先修：图优化、相对位姿表示。\n\n## 8. Relative Pose Error（相对位姿误差）\n\n- 定义：两帧 r、c 之间相对平移与相对旋转的 6 维误差项（式(6)），含常数偏置项 e_p,0。\n- 直觉：约束「两帧之间怎么走」而非各自的全局位置。\n- 作用：posegraph 边的数学形式，进入实时与回环优化目标函数（Section V-C、V-D）。\n- 先修：旋转表示、boxminus 算子。\n\n## 9. Factor Graph（因子图）\n\n- 定义：以状态变量为节点、误差/概率因子为边的二分图，用于表达联合估计问题。\n- 直觉：把所有测量约束「挂」到状态变量上的通用框架。\n- 作用：OKVIS2 实时估计器维护有界尺寸因子图（观测 + IMU 预积分 + posegraph 边），回环时异步优化其副本（Abstract、Section IV、V-D）。\n- 先修：非线性最小二乘、概率图模型。\n\n## 10. IMU Pre-integration（IMU 预积分）\n\n- 定义：将两帧间大量 IMU 测量积分为一个相对运动预测及其协方差的技术，使误差项评估与 IMU 采样数无关。\n- 直觉：把高频 IMU 数据「打包」成一个约束因子。\n- 作用：构成因子图中的 IMU 误差项 e_s（式(4)–(5)，采用 [^33] 方案；Section V-B）。\n- 先修：IMU 运动学、流形上的积分。\n\n## 11. Reprojection Error（重投影误差）\n\n- 定义：3D landmark 经投影模型 h(·) 投影到图像与检测关键点之间的像素残差（式(3)）。\n- 直觉：预测投影位置与实际检测位置之差。\n- 作用：视觉观测误差项，是观测因子的基础（Section V-A）。\n- 先修：针孔相机模型、畸变模型。\n\n## 12. Landmark（地标/路标点）\n\n- 定义：地图中被多帧观测的 3D 点，参与三角化与重投影约束。\n- 直觉：环境中被记住的「特征点」。\n- 作用：回环时 posegraph 边可无缝转回 landmarks 与 observations，即「复活」旧地图点（Abstract、Section V-E）。\n- 先修：三角化、BA。\n\n## 13. Keyframe（关键帧）\n\n- 定义：被选中长期保留并参与优化的代表性帧。\n- 直觉：并非每帧都重要，挑信息量大的帧保留。\n- 作用：按共视比例准则选择（式(20)）；窗口保留 K=5 个关键帧（Section VI-B、VII）。\n- 先修：滑动窗口优化。\n\n## 14. Co-visibility（共视性）\n\n- 定义：两帧共同观测到的 landmark 数量/比例，衡量视角重叠程度。\n- 直觉：共同看到的东西越多，两帧关系越紧密。\n- 作用：决定关键帧选择、posegraph 节点转换顺序（最少共视者优先）与 MST 边权（Section V-D.1、VI-B）。\n- 先修：landmark 观测结构。\n\n## 15. Schur Complement（舒尔补）\n\n- 定义：分块矩阵消元操作，用于从高斯-牛顿系统中边缘化一组变量。\n- 直觉：代数上「消去」一块变量并更新剩余系统的 Hessian 与梯度。\n- 作用：式(14)–(15) 对 landmark 边缘化得 H*、b*，进而得 W_p=H* 与 e_p,0=−H*⁺b*（式(18)–(19)）。\n- 先修：线性代数、高斯-牛顿系统。\n\n## 16. Bundle Adjustment（BA，光束法平差）\n\n- 定义：联合优化位姿与 3D 点以最小化重投影误差的经典方法。\n- 直觉：同时调整「相机在哪」与「点在哪」使投影最吻合。\n- 作用：PTAM、ORB-SLAM 等窗口化 BA 是本文对比的基线范式（Section II-A、II-C）。\n- 先修：非线性优化。\n\n## 17. Tightly Coupled（紧耦合）\n\n- 定义：视觉与惯性原始测量在同一估计器中与状态联合优化的融合方式。\n- 直觉：原始测量直接进目标函数，而非各自先算位姿再融合。\n- 作用：指出 BASALT、Kimera、VINS-Fusion、ORB-SLAM3 均为紧耦合，OKVIS2 亦然（Section I、II）。\n- 先修：多传感器融合。\n\n## 18. Indirect / Direct Method（间接法/直接法）\n\n- 定义：间接法基于关键点检测与描述子匹配的显式对应；直接法直接做像素级光度对齐。\n- 直觉：间接法「先找点再匹配」，直接法「直接比亮度」。\n- 作用：OKVIS2 采用间接法（BRISK 关键点）；DTAM/LSD-SLAM/DSO 等直接法作为相关工作对照（Section I、II-A）。\n- 先修：特征提取、光度误差。\n\n## 19. BRISK（Binary Robust Invariant Scalable Keypoints）\n\n- 定义：基于二进制描述子的关键点检测与描述算法（作者本人早期工作）。\n- 直觉：快速鲁棒的「视觉指纹」。\n- 作用：前端关键点提取与匹配的基础（Section VI-A，[^35][^36]）。\n- 先修：特征描述子。\n\n## 20. DBoW2（Bags of Binary Words，二进制词袋）\n\n- 定义：基于二进制词袋的快速位置识别库。\n- 直觉：把图像变成「单词袋」以便快速检索相似历史图像。\n- 作用：回环候选查询（Section V-E，[^34]）。\n- 先修：词袋模型、图像检索。\n\n## 21. Fast-SCNN / Semantic Segmentation CNN（快速语义分割网络）\n\n- 定义：轻量级实时语义分割网络；本文在 CPU 上异步对关键帧推理（Cityscapes 微调、灰度输入）。\n- 直觉：给像素打类别标签，找出「几乎必然在动」的区域（天空、人等）。\n- 作用：剔除动态区域观测以提升鲁棒性，户外云层场景收益显著（Section VI-C、Fig. 4、VII-B）。\n- 先修：CNN、语义分割。\n\n## 22. Fixation of Old States（旧状态固定）\n\n- 定义：将较老状态设为常量不再优化以控制问题规模；保留 A=max(A_min, A_ΔT) 个可变状态。\n- 直觉：太老的帧「冻结」，只优化近期状态。\n- 作用：与 ORB-SLAM3 的固定策略对比；OKVIS2 以 posegraph 边扩大可变窗口，缓解固定带来的信息损失（Section II-C、V-D.2）。\n- 先修：滑动窗口。\n\n## 23. Maximum Spanning Tree, MST（最大生成树）\n\n- 定义：以两帧共观测数为边权，在候选位姿集合 T 上生成的权重和最大的树。\n- 直觉：挑「信息量最大」的连接方式，避免 posegraph 边数量爆炸。\n- 作用：posegraph 边创建启发式——仅创建连接到节点 r 的 MST 边（Section V-D.1、Fig. 3）。\n- 先修：图论基础。\n\n## 24. Quaternion / Lie Algebra Exp·Log（四元数与李代数指数/对数映射）\n\n- 定义：以哈密顿四元数表示姿态，经 Exp/Log 在旋转流形与切空间（旋转向量）间转换，采用乘性扰动线性化（式(2)）。\n- 直觉：旋转不能直接加减，需在「弯曲空间」上做局部线性化。\n- 作用：状态表示与所有姿态误差定义的基础（式(1)、(2)、(5)）。\n- 先修：李群李代数、旋转表示。\n\n## 25. Cauchy Robustifier（柯西鲁棒核）\n\n- 定义：M-估计中的鲁棒代价函数 ρ(·)，抑制外点对总代价的影响。\n- 直觉：让「明显不对的测量」话语权变小。\n- 作用：作用于视觉观测项（式(7)）；部分动态物影响由此自动抑制，分割 CNN 进一步兜底（Section V-D、VI-C）。\n- 先修：鲁棒估计。\n\n## 26. ATE（Absolute Trajectory Error，绝对轨迹误差）\n\n- 定义：估计轨迹与真值按位置+偏航对齐后位置差的统计量（单位：米）。\n- 直觉：整条轨迹「最终差多少米」。\n- 作用：Table I、II 的主指标（Section VII）。\n- 先修：轨迹评估协议。\n\n## 27. Odometry Drift / Relative Error Statistics（里程计漂移/相对误差统计）\n\n- 定义：禁用回环时按行驶距离分桶统计的相对位置/姿态误差。\n- 直觉：衡量「每走一段路漂多少」。\n- 作用：论文强调与 ATE 分开评估（Fig. 5、Section VII 开头）。\n- 先修：VIO 评估方法。\n\n## 28. Causal vs Non-causal Evaluation（因果/非因果评估）\n\n- 定义：因果评估仅使用该时刻之前的测量；非因果评估使用全部测量（含未来回环）输出最终优化轨迹。\n- 直觉：在线输出 vs 离线（事后全图优化）输出。\n- 作用：Table I/II 中 okvis2-slam（causal）与 okvis2-slam-final（non-causal）之别，直接影响结果解读（Section VII）。\n- 先修：ATE。\n\n## 29. Ceres Solver\n\n- 定义：Google 开源的非线性最小二乘求解库。\n- 直觉：现成的「因子图求解引擎」。\n- 作用：OKVIS2 全部优化基于其实现（Section V，[^32]）。\n- 先修：非线性优化库使用。\n\n## 30. Rotation Averaging（旋转平均）\n\n- 定义：回环误差分配时先在旋转上均匀分摊不一致，再分配位置不一致。\n- 直觉：把「对不上」的误差尽量均匀摊给环上各帧，作为后续优化的初值。\n- 作用：回环后台优化前的初始化步骤（Section V-E）。\n- 先修：旋转优化。\n\n## 31. MSCKF（Multi-State Constraint Kalman Filter，多状态约束卡尔曼滤波）\n\n- 定义：基于滤波、维护多个历史状态并在 landmark 边缘化下更新的早期紧耦合 VIO 方法。\n- 直觉：滤波版紧耦合 VIO 的鼻祖。\n- 作用：滤波流代表工作，OpenVINS/ROVIO 同属此流（Section II-C，[^21]–[^23]）。\n- 先修：EKF。\n\n## 32. EuRoC / TUM VI Benchmark\n\n- 定义：两个带真值轨迹的常用视觉-惯性数据集/基准。\n- 直觉：VI-SLAM 的「标准考卷」。\n- 作用：全部精度与实时性实验在其上进行（Section VII，[^5][^6]；Table I–III、Fig. 5）。\n- 先修：数据集评估流程。\n\n## 33. Online Calibration / Camera Extrinsics（在线标定/相机外参）\n\n- 定义：将传感器间变换 T_SCi 作为变量一并优化。\n- 直觉：边运行边自校准安装关系。\n- 作用：论文提及可选支持（Section V-D 末段）。\n- 先修：标定概念。\n\n## 34. 3D-2D RANSAC（几何验证）\n\n- 定义：用随机抽样一致算法验证地图点到图像观测的几何一致性，剔除错误回环候选。\n- 直觉：防止「认错地方」。\n- 作用：位置识别匹配后的验证步骤（Section V-E）。\n- 先修：RANSAC、PnP。\n\n## 35. Gauss-Newton System（高斯-牛顿系统）\n\n- 定义：非线性最小二乘每轮迭代的线性化正规方程 Hδx=b。\n- 直觉：每轮解一个线性近似问题。\n- 作用：式(12)–(19) 推导的基础；W_p 与 e_p,0 由此导出。\n- 先修：最小二乘。\n\n## 36. State Vector（状态向量）\n\n- 定义：x=[位置, 姿态四元数, 速度, 陀螺偏置, 加计偏置]（式(1)）。\n- 直觉：描述「我在哪、朝哪、多快、传感器偏多少」。\n- 作用：所有误差项围绕其定义；每获得一帧更新一次。\n- 先修：IMU 误差模型。\n\n### 二、概念依赖图（文字版）\n\n``n【第0层：数学与优化基础】\n旋转表示（四元数/李代数 Exp·Log）──→ 状态向量 x、boxminus 算子、相对位姿误差\n针孔相机模型/畸变 ──→ 重投影误差\nIMU 运动学 ──→ IMU 预积分\n非线性最小二乘/高斯-牛顿 ──→ 因子图优化、Schur 补、边缘化、Cauchy 鲁棒核\n\n【第1层：问题与系统范式】\nVI-SLAM ⊃ VIO（禁回环模式）\n紧耦合 + 间接法 ──→ OKVIS2 系统架构（前端 + 实时估计器 + 异步回环优化，Fig. 1）\n\n【第2层：前端】\nBRISK 关键点/描述子 ──→ 匹配与三角化 ──→ Landmark\nLandmark + 共视性 ──→ 关键帧选择（式(20)）\nFast-SCNN 语义分割（CPU 异步）──→ 剔除动态区域观测（与 Cauchy 核互补）\nDBoW2 位置识别 ──→ 3D-2D RANSAC 验证 ──→ 重定位\n\n【第3层：实时估计器】\n滑动窗口（T 最近帧 + K 关键帧）+ 重投影误差 + IMU 预积分 ──→ 实时因子图\n边缘化共同观测（Schur 补）──→ Posegraph 边（W_p=H*，e_p,0=−H*⁺b*，式(18)(19)）\n共视性 + MST ──→ Posegraph 边创建启发式（Fig. 3）\n旧状态固定（A_min、ΔT）──→ 实时性保障\n\n【第4层：回环】\n重定位 ──→ Posegraph 边「复活」为 Landmark + 观测（可触发 landmark 合并）\n回环 ──→ 旋转平均 + 位置误差分配 ──→ 异步全图优化（含 IMU 项）──→ 同步回实时估计器\n回环帧数限制 L ──→ 复用 Posegraph 边创建方案\n\n【第5层：评估】\n里程计漂移（相对误差统计，禁回环）∥ ATE（causal / non-causal，启用回环）──→ Table I/II、Fig. 5\nEuRoC / TUM VI ──→ 精度对比（vs ORB-SLAM3 等）+ 实时性（Table III）\n``n\n**关键依赖链（一句话版）**：共视性 → 关键帧选择 → 边缘化共同观测 → 带权 Posegraph 边 → 扩大实时优化窗口；回环检测 → 边「复活」→ 异步全图优化 → 同步；分割 CNN 与鲁棒核共同保障动态场景鲁棒性。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证、冲突与参考文献\n\n### 1. 关键事实性声明核验（每条声明给出至少两个来源）\n\n### 声明 1：OKVIS2 在 EuRoC 上的 ATE 与 ORB-SLAM3 相当或略优\n\n- 来源 1（论文内）：Table I，平均 ATE：OKVIS2（非因果）0.031 m vs ORB-SLAM3 0.035 m；多数序列 OKVIS2 更低（如 MH_01：0.027 vs 0.036）。\n- 来源 2（论文内）：Section VII-A 文字：'results on-par with or even slightly better than ORB-SLAM3'。\n- 外部交叉核验：ORB-SLAM3 原文（IEEE T-RO 2021，即文献 [^4]）报告的 EuRoC 平均 ATE 约 0.035 m，与表中转引一致。\n- 结论：可信。\n\n### 声明 2：OKVIS2 在 TUM-VI 较长序列上表现最佳\n\n- 来源 1：Table II：magistrale 平均 0.28 m（ORB-SLAM3 0.81 m）、outdoors 平均 11.60 m（ORB-SLAM3 17.87 m），OKVIS2 明显更优。\n- 来源 2：Section VII-B 文字：corridor/room 与 ORB-SLAM3 相当，magistrale、slides、outdoors 上 OKVIS2 更优且回环更多（(✓) 标记）。\n- 张力点：slides 平均 OKVIS2 0.54 m 实际略差于 ORB-SLAM3 0.45 m（slides_3：1.35 vs 0.47），与文字表述部分不符，应逐序列解读。\n- 结论：大体可信，slides 序列存在例外。\n\n### 声明 3：核心算法——由共同观测 marginalisation 构造 pose-graph 边，回环时可逆还原为 landmarks/observations\n\n- 来源 1：Section V-D.1 与式 (10)–(19)（Schur complement 推导 W_p = H*、e_p,0 = -H*⁺b*），Fig. 2、Fig. 3（MST 启发式）。\n- 来源 2：Abstract、Section IV（系统总览）、Section V-E（回环时 'revived' 机制与 landmark 合并）。\n- 外部交叉核验：与 BASALT [^1] 的非线性因子恢复思路同源；Section II-C 明确差异——本文保留 IMU 预积分因子，仅对视觉共观测构造相对位姿因子，并同时用于实时估计器。\n- 结论：可信，为论文核心贡献，内部多处自洽。\n\n## 声明 4：CPU 端轻量分割 CNN（Fast-SCNN）剔除动态区域（当前为天空）\n\n- 来源 1：Section VI-C（Cityscapes 微调 80 epochs、灰度输入、异步后台 CPU 推理）与 Fig. 4（室内外天空分类示例，含误分类说明）。\n- 来源 2：Section VII-B（与 ORB-SLAM3 的 40 m 远点剔除策略对比）及 Table II outdoors 结果（如 outdoors_2：OKVIS2 0.04 vs ORB-SLAM3 10.42）。\n- 外部交叉核验：Fast-SCNN [^37]（arXiv:1902.04502）确为轻量实时分割网络，CPU 推理可行的说法合理。\n- 结论：可信；但 Fig. 4 显示室内存在 false positives，作者亦承认，改进空间在鱼眼失真微调与更深网络。\n\n## 声明 5：实时性能\n\n- 来源 1：Table III：Detect & Describe 7.1 ms、匹配+三角化 26.6 ms、回环尝试 17.7 ms、实时图优化 33.2 ms、pose-graph 边创建 14.0 ms（i7-11700K，Ubuntu 20.04）。\n- 来源 2：Section VII-C 文字：固定 10 次迭代；自适应实时模式按剩余时间预算调整迭代；后台回环优化数十毫秒至约 1 秒；同步仅偶发（15.1±7.4 ms）。\n- 注意：Table III 脚注明确指出各数字不能简单相加判断实时性（检测/描述与实时优化并行）。\n- 结论：可信，但仅为单序列（MH_05_difficult）单机测量，泛化性未验证。\n\n## 声明 6：估计器超参数全程固定\n\n- 来源 1：Section VII：T=3、K=5、L=5、A_min=12、ΔT=2 s。\n- 来源 2：Section V-D（T、K、A、L 的定义处）。\n- 结论：内部一致；前端与 IMU 参数为数据集特定，将随代码发布配置文件（Section VII），当前无法核验。\n\n## 声明 7：评估数据集为 EuRoC 与 TUM VI Benchmark\n\n- 来源 1：Section VII 开头。\n- 来源 2：参考文献 [^5]（Burri et al., IJRR 2016）与 [^6]（Schubert et al., IROS 2018）。\n- 外部交叉核验：两者均为公开、带真值的视觉-惯性基准数据集。\n- 结论：可信。\n\n## 声明 8：技术栈（Ceres Solver、BRISK、DBoW2、IMU 预积分）\n\n- 来源 1：Section V（Ceres [^32]）、Section VI-A（BRISK [^35][^36]）、Section V-E（DBoW2 [^34]）、Section V-B（预积分采纳 [^33]）。\n- 来源 2：对应参考文献条目本身。\n- 外部交叉核验：BRISK 为作者本人 2011 年工作、OKVIS [^25] 为其 2015 年 IJRR 工作，与 Section V 开头 'largely adopted from OKVIS' 的表述一致。\n- 结论：可信。\n\n### 2. 冲突与不确定性说明\n\n1. **发表信息缺失**：文档未注明期刊/会议与年份；Module A 依据公开信息推测为 IEEE RA-L 2022，但输入文档无法证实，引用时应标注为待核实。\n2. **作者单位未明**：标题页上标 1,2 在文档中无对应机构说明，无法核验。\n3. **引用编号笔误**：Section VII 开头将 EuRoC 标为 [^39]，但 [^39] 实为 MAV 参数辨识论文（JFR 2018）；EuRoC 数据集论文应为 [^5]，同段后文亦使用 [^5]，属文中引用不一致。\n4. **Table I/II 列分组标注矛盾**：'OKVIS2 causal (ours)' 列被置于 'Non-causal' 合并表头之下，与列名 causal 矛盾，疑为表格排版/单元格合并错误；解读数值时应以列名为准。\n5. **对比结果来源口径**：Table I/II 中 ROVIO、BASALT、ORB-SLAM3 数字转引自 ORB-SLAM3 论文（脚注 1），OKVIS 为相同 IMU/前端参数下的重跑（脚注 2），评估协议（硬件、参数、版本）不完全对齐，存在潜在偏差。\n6. **回环统计口径差异**：Table II 脚注 3 说明 (✓) 表示仅 OKVIS2 识别出的回环，即 ORB-SLAM3 报告中无对应回环，跨系统回环数量比较不完全公平。\n7. **个别反例**：Table I 中 OKVIS2 VIO 在 V2_03（0.063）劣于 OKVIS（0.028），与总体 'OKVIS2 VIO 优于 OKVIS' 的趋势存在例外；BASALT 缺 V2_03 结果且未报告平均值。\n8. **LSD-SLAM 引用错位**：正文对 LSD-SLAM 的描述（对比度足够像素的深度重建、回环检测）对应单目 LSD-SLAM（ECCV 2014），而引用 [^12] 为立体版本（Engel, Stückler & Cremers, IROS 2015），引用与描述轻微错位。\n9. **代码与配置未发布**：文中承诺数月内开源（Section I、VIII），当前无法通过代码复现核验前端/IMU 参数与实现细节。\n10. **因果 vs 非因果评估**：Fig. 5 与 Table I/II 显示非因果（最终回环后）轨迹精度显著高于因果版（如 outdoors_2：causal 8.84 vs 非因果 0.04），跨论文比较时若口径不同会得出不同结论，需谨慎。\n11. **分割网络局限**：Fig. 4 显示室内存在天空误分类（false positives）、室外存在漏检（右侧云）与误检（地平线附近枯枝），作者已承认；当前仅处理天空类别。\n\n### 3. 参考文献列表（依论文 REFERENCES，共 39 条）\n\n- [^1] V. Usenko et al., Visual-inertial mapping with non-linear factor recovery, IEEE RA-L 5(2), 2019.\n- [^2] A. Rosinol et al., Kimera: an open-source library for real-time metric-semantic localization and mapping, ICRA 2020.\n- [^3] T. Qin, S. Cao, J. Pan, S. Shen, A general optimization-based framework for global pose estimation with multiple sensors, 2019.\n- [^4] C. Campos et al., ORB-SLAM3, IEEE T-RO, 2021.\n- [^5] M. Burri et al., The EuRoC micro aerial vehicle datasets, IJRR 2016.\n- [^6] D. Schubert et al., The TUM VI benchmark, IROS 2018.\n- [^7] A. J. Davison et al., MonoSLAM, IEEE TPAMI 29(6), 2007.\n- [^8] G. Klein, D. Murray, PTAM, ISMAR 2007.\n- [^9] R. Mur-Artal et al., ORB-SLAM, IEEE T-RO 31(5), 2015.\n- [^10] R. Mur-Artal, J. D. Tardós, ORB-SLAM2, IEEE T-RO 33(5), 2017.\n- [^11] R. A. Newcombe et al., DTAM, ICCV 2011.\n- [^12] J. Engel, J. Stückler, D. Cremers, Large-scale direct SLAM with stereo cameras, IROS 2015.\n- [^13] C. Forster, M. Pizzoli, D. Scaramuzza, SVO, ICRA 2014.\n- [^14] J. Engel, V. Koltun, D. Cremers, DSO, IEEE TPAMI 40(3), 2017.\n- [^15] R. Wang, M. Schwörer, D. Cremers, Stereo DSO, ICCV 2017.\n- [^16] X. Gao et al., LDSO, IROS 2018.\n- [^17] R. A. Newcombe et al., KinectFusion, ISMAR 2011.\n- [^18] T. Whelan et al., Kintinuous, RSS Workshop 2012.\n- [^19] E. Vespa et al., Adaptive-resolution octree-based volumetric SLAM, 3DV 2019.\n- [^20] T. Whelan et al., ElasticFusion, IJRR 35(14), 2016.\n- [^21] A. I. Mourikis, S. I. Roumeliotis, MSCKF, ICRA 2007.\n- [^22] P. Geneva et al., OpenVINS, ICRA 2020.\n- [^23] M. Bloesch et al., ROVIO, IJRR 36(10), 2017.\n- [^24] T. Schneider et al., maplab, IEEE RA-L 3(3), 2018.\n- [^25] S. Leutenegger et al., OKVIS, IJRR 34(3), 2015.\n- [^26] N. Keivan et al., Asynchronous adaptive conditioning for visual-inertial SLAM, ISER 2016.\n- [^27] G. Grisetti et al., g2o, ICRA 2011.\n- [^28] S. Agarwal, K. Mierle, Ceres solver: Tutorial & reference, Google.\n- [^29] F. Dellaert, Factor graphs and GTSAM, Georgia Tech Tech. Rep., 2012.\n- [^30] M. Kaess et al., iSAM, IEEE T-RO 24(6), 2008.\n- [^31] M. Kaess et al., iSAM2, IJRR 31(2), 2012.\n- [^32] S. Agarwal, K. Mierle et al., Ceres Solver, <http://ceres-solver.org>.\n- [^33] C. Forster et al., On-manifold preintegration for real-time VIO, IEEE T-RO 33(1), 2016.\n- [^34] D. Gálvez-López, J. D. Tardós, DBoW2, IEEE T-RO 28(5), 2012.\n- [^35] S. Leutenegger, M. Chli, R. Y. Siegwart, BRISK, ICCV 2011.\n- [^36] S. Leutenegger, Unmanned solar airplanes（博士论文）, ETH Zurich, 2014.\n- [^37] R. P. Poudel, S. Liwicki, R. Cipolla, Fast-SCNN, arXiv:1902.04502, 2019.\n- [^38] M. Cordts et al., The Cityscapes dataset, CVPR 2016.\n- [^39] M. Burri et al., A framework for maximum likelihood parameter identification applied on MAVs, JFR 35(1), 2018.\n\n### 4. 核验方法说明\n\n- **论文内交叉验证**：正文声明与图表/公式互证（声明 1–6）。\n- **外部知识核验**：对公开数据集、对比系统原文数字、经典文献元数据进行核对（声明 1、7、8）。\n- **无法核验项**：发表信息、作者单位、代码实现细节，均已在第 2 节标注为不确定性项。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与深度解读\n\n### 1. 图表完整索引\n\n#### 1.1 图（Figures）索引\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支撑的论断 | 重要度评分 |\n|---|---|---|---|---|---|\n| Fig. 1 | OKVIS2 系统总览：frontend 接收 multi-frame 与 IMU 消息，完成状态初始化、关键点匹配、三角化、place recognition / relocalisation / loop closure；realtime estimator 优化因子图并负责 posegraph 维护与旧状态固定；检测到回环后异步执行全图优化并同步 | 系统架构图 | 图位于 Section III 之后，正文引用于 Section IV | 系统由 frontend + realtime estimator + 异步回环优化三部分组成（Section IV） | ★★★★★ |\n| Fig. 2 (a)(b)(c) | 因子图随时间演化：(a) 初始为全批 VI 因子图；(b) 后期进行 posegraph 创建——与当前帧重叠最少的帧转为 posegraph 位姿，旧位姿与速度/偏差变量被固定（虚线）；(c) 回环发生时相应观测与 landmark 被重新激活 | 算法机制示意图 | Section V-D.1 | 核心贡献的图形化表达：由 marginalisation 构造 posegraph 边、固定旧状态保持实时性、回环时无缝复活观测（Abstract、Section V-D.1） | ★★★★★ |\n| Fig. 3 (a)(b)(c) | Posegraph 边创建方案：(a) 关键帧 r 因与当前（关键）帧重叠最少被选中转换；(b) 在集合 T 上以两帧共同观测数为准则计算 Maximum Spanning Tree (MST)；(c) 创建所有连接 r 的 MST 边 | 算法机制示意图 | Section V-D.1 | 边创建启发式（MST）的可视化解释，说明如何只生成可解规模的 posegraph 边子集（Section V-D.1） | ★★★★☆ |\n| Fig. 4 | TUM-VI outdoors1 天空分类示例（红色为剔除区域）与保留关键点：上排室内、下排室外；室内亦出现误分类；室外大部分天空关键点被正确识别，但存在漏检（最右侧云）与误检（地平线附近、无叶树枝） | 定性示例图（分割结果可视化） | Section VI-C | CPU 端 Fast-SCNN 分割可剔除动态/慢变区域（天空、云），并诚实展示假阳/假阴局限（Section VI-C、VII-B） | ★★★☆☆ |\n| Fig. 5 | EuRoC MH_05_difficult 序列在不同子轨迹长度下的相对轨迹误差统计 | 定量统计折线图 | Section VII-A | okvis2-vio（禁用回环）优于原 OKVIS；回环可降低长期漂移；非因果评估（okvis2-slam-final）比因果版本（okvis2-slam）更平滑、更精确（Section VII-A） | ★★★★☆ |\n\n#### 1.2 表（Tables）索引\n\n| 编号 | 标题 | 类型 | 位置 | 支撑的论断 | 重要度评分 |\n|---|---|---|---|---|---|\n| Table I | EuRoC Absolute Trajectory Error (ATE) in [m] | 定量基准对比表 | Section VII-A | OKVIS2 VIO 均值 0.071 m 优于 OKVIS（0.089）、Kimera（0.119）、VINS-Fusion（0.138）、BASALT；VI-SLAM 非因果均值 0.031 m 与 ORB-SLAM3（0.035）相当或略优（Section VII-A） | ★★★★★ |\n| Table II | TUM-VI Absolute Trajectory Error (ATE) in [m] | 定量基准对比表 | Section VII-B | 短序列（corridor/room）与 ORB-SLAM3 持平；长序列明显最优：outdoors 均值 11.60 m（ORB-SLAM3 为 17.87、BASALT 为 58.30）；magistrale/slides 上 (✓) 表示仅 OKVIS2 找到的回环（Section VII-B） | ★★★★★ |\n| Table III | EuRoC MH_05_difficult 每帧耗时（均值±标准差，ms） | 运行时性能剖析表 | Section VII-C | Detect & Describe 7.1 ms、Match & triangulate 26.6 ms、Attempt loop closures 17.7 ms、Optimise realtime graph 33.2 ms、Posegraph edge creation 14.0 ms，支撑实时性论断；后台全图优化同步仅 15.1±7.4 ms（Section VII-C） | ★★★★☆ |\n\n### 2. 优先深度精读清单（Top-priority deep reads，共 5 项）\n\n1. **Table I（EuRoC ATE）**\n   - 精读要点：表头有双重分组维度——Causal vs Non-causal 评估、VIO vs VI-SLAM 模式，切勿跨组直接比较；注意脚注 1（BASALT/Kimera/VINS-Fusion/ORB-SLAM3 结果取自 [^4]）与脚注 2（原 OKVIS 以 OKVIS2 相同的 IMU/前端参数重跑）。\n   - 关键读数：MH_04/MH_05 上 okvis2-vio（0.189/0.141）较原 OKVIS（0.197/0.206）改进有限，但非因果 OKVIS2（0.066/0.068）明显改善；V1_02/V2_02 上 OKVIS2 非因果（0.013/0.015）优于 ORB-SLAM3（0.014/0.014 相当）。\n   - 支撑结论：与 SOTA 相当或部分更优（Section VII-A）。\n2. **Table II（TUM-VI ATE）**\n   - 精读要点：需联合读取 length [m] 列与 loop closures 列（✓ / (✓)，(✓) 为仅 OKVIS2 识别到的回环）；outdoors 序列长度 928–2656 m，OKVIS2 均值 11.60 m 显著领先；无回环序列（如 magistrale_3、outdoors_3/6）各系统误差均大，说明精度高度依赖回环成功与否。\n   - 支撑结论：长轨迹、重复回环场景下优势最明显（Section VII-B）。\n3. **Fig. 2（因子图演化三阶段）**\n   - 精读要点：对照式 (6)、(10)–(19) 理解 (b) 中 marginalisation→relative pose factor 的转换及虚线（固定状态）含义；(c) 中回环时 posegraph 边被还原为 landmarks + observations。这是全文最核心算法贡献的可视化，与 Section V-D.1 数学推导互为印证。\n4. **Fig. 5（相对轨迹误差统计）**\n   - 精读要点：对比 okvis（原 OKVIS）、okvis2-vio、okvis2-slam（因果）、okvis2-slam-final（非因果）曲线随子轨迹长度增长的走势；理解 Section VII 开头强调的评估方法论——odometry drift 与回环后 ATE 必须分开报告，且因果/非因果口径必须明示。\n5. **Table III（每帧耗时）**\n   - 精读要点：表注明确指出各数字不可简单相加——Detect & Describe 与实时优化并行执行、回环尝试在 VIO 模式下跳过、后台全图优化同步仅偶发（15.1±7.4 ms）；另有按剩余时间预算调整优化步数的 realtime 模式，对精度影响极小（Section VII-C）。\n\n### 3. 图表关系 / 实验设置关系图\n\ntext\n                 ┌──────────────────────────────────────────────┐\n                 │ OKVIS2 系统架构总览 (Fig. 1) │\n                 └──────────────────────────────────────────────┘\n                                    │\n       ┌────────────────────────────┼──────────────────────────────┐\n       ▼                            ▼ ▼\n  Frontend 前端                Realtime Estimator 异步回环优化\n  ├ BRISK 匹配/三角化 ├ 式(7) 联合最小二乘代价 ├ 回环时 posegraph 边\n  ├ Keyframe 选择 式(20)        ├ Fig. 2b: posegraph 创建        │ 复活为观测 (Fig. 2c)\n  ├ Fast-SCNN 分割 (Fig. 4)    │ + 旧状态固定（虚线） ├ 旋转平均 + 位置误差均摊\n  └ Place recognition └ Fig. 3: MST 边创建启发式        └ 后台全图优化 → 同步\n       │                            │ │\n       └────────────┬───────────────┴───────────────┬──────────────┘\n                    ▼ ▼\n             实验评估体系（Section VII，统一参数 T=3, K=5, L=5, A_min=12, ΔT=2s）\n   ┌──────────────────────────┬───────────────────────────┬──────────────────┐\n   │ Odometry drift（禁回环） │ ATE（启用回环） │ 实时性            │\n   │ Fig. 5 (EuRoC MH_05) │ Table I (EuRoC, 11 序列) │ Table III │\n   │ okvis2-vio vs okvis │ Table II (TUM-VI, 5 场景) │ (MH_05 每帧耗时) │\n   │ │ causal vs non-causal │ i7-11700K 8 核 PC │\n   └──────────────────────────┴───────────────────────────┴──────────────────┘\n``n\n实验设置要点：数据集为 EuRoC [^5] 与 TUM VI Benchmark [^6]，均含真值轨迹；对比系统包括 BASALT [^1]、Kimera [^2]、VINS-Fusion [^3]、ORB-SLAM3 [^4]、ROVIO [^23] 与原 OKVIS [^25]（部分结果取自 [^4]，OKVIS 为同参数重跑，见 Table I/II 脚注）；Fig. 4 的分割示例与 Table II 的 outdoors 结果共同构成动态场景（云）处理有效性的证据链。\n\n### 4. 图表 → 结论映射\n\n| 论文结论 | 支撑图表 | 位置 | 证据强度说明 |\n|---|---|---|---|\n| OKVIS2 在 EuRoC 上与 ORB-SLAM3 相当或略优（非因果均值 0.031 vs 0.035 m） | Table I | Section VII-A | 11 个序列全量对比，VIO 与 VI-SLAM 双模式、causal/non-causal 双口径 |\n| OKVIS2 在长序列（magistrale/slides/outdoors）上明显最优，且能找到更多回环 | Table II（含 (✓) 标注） | Section VII-B | outdoors 均值 11.60 m 优于全部对比系统；回环次数多于 ORB-SLAM3 |\n| Posegraph 边由 marginalisation 构造、回环时可逆还原为观测，是精度与可扩展性的关键机制 | Fig. 2、Fig. 3、式 (10)–(19) | Section V-D.1 | 示意图与完整数学推导（Schur complement、式 (15)–(19)）互证 |\n| 以相对位姿因子扩大优化窗口，缓解固定旧状态带来的精度损失 | Fig. 2b + Table I（okvis2-vio vs okvis） | Section V-D、VII-A | VIO 模式均值 0.071 vs 0.089 m 的直接对照 |\n| CPU 端分割 CNN 剔除动态区域，显著改善含慢变内容（云）场景的精度 | Fig. 4 + Table II（outdoors） | Section VI-C、VII-B | 定性可视化 + outdoors 定量优势；作者承认网络深度与鱼眼失真适配仍有提升空间 |\n| 系统满足实时运行要求 | Table III | Section VII-C | 各模块每帧耗时均远低于帧间隔；后台回环优化数十 ms 至约 1 s |\n| 回环降低长期漂移；非因果（最终优化）评估比因果评估更平滑、更精确 | Fig. 5 | Section VII-A | okvis2-slam-final 曲线整体低于 okvis2-slam 与 okvis2-vio |\n\n### 5. 图表质量与可信度评注\n\n- **优点**：Table I/II 明确区分 causal/non-causal 与 VIO/VI-SLAM 评估口径，并以脚注标明对比数据来源（[^4]）与 OKVIS 重跑设置，评估方法论严谨（Section VII 开头专门论述两类指标应分开评估）；Fig. 2/3 与式 (10)–(19) 图文互证，核心算法可复现性强。\n- **局限**：Fig. 4 自曝分割存在假阳/假阴（室内误分类天空、地平线附近树枝误检），提示该模块鲁棒性有限；Table II 中无回环序列（magistrale_3、outdoors_3/6 等）各系统误差均大，说明精度高度依赖场景重访；Table III 仅给均值与标准差，未给出最坏情况耗时分布，且各数字不可直接相加，端到端实时性论证需读者自行结合表注判断。"
}