{
  "paper_id": "78965fc35d047b2d1f966796799195b8",
  "paper_title": "FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry",
  "paper_authors": [
    "Chunran Zheng",
    "Qingyan Zhu",
    "Wei Xu",
    "Xiyuan Liu",
    "Qizhi Guo",
    "Fu Zhang"
  ],
  "publication_date": "2022",
  "publication_venue": "2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "To achieve accurate and robust pose estimation in Simultaneous Localization and Mapping (SLAM) task, multi-sensor fusion is proven to be an effective solution and thus provides great potential in robotic applications. This paper proposes FAST-LIVO, a fast LiDAR-Inertial-Visual Odometry system, which builds on two tightly-coupled and direct odometry subsystems: a VIO subsystem and a LIO subsystem. The LIO subsystem registers raw points (instead of feature points on e.g., edges or planes) of a new scan to an incrementally-built point cloud map. The map points are additionally attached with image patches, which are then used in the VIO subsystem to align a new image by minimizing the direct photometric errors without extracting any visual features (e.g., ORB or FAST corner features). To further improve the VIO robustness and accuracy, a novel outlier rejection method is proposed to reject unstable map points that lie on edges or are occluded in the image view. Experiments on both open data sequences and our customized device data are conducted. The results show our proposed system outperforms other counterparts and can handle challenging environments at reduced computation cost. The system supports both multi-line spinning LiDARs and emerging solid-state LiDARs with completely different scanning patterns, and can run in real-time on both Intel and ARM processors. We open source our code and dataset of this work on Github to benefit the robotics community.",
  "keywords": [
    "SLAM",
    "多传感器融合",
    "激光雷达-惯性-视觉里程计（LIVO）",
    "直接法/稀疏直接图像对齐",
    "紧耦合",
    "误差状态迭代卡尔曼滤波（ESIKF）"
  ],
  "paper_institutions": [
    "The University of Hong Kong（香港大学）"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:28.380362Z",
  "template_tag": "deep_read",
  "summary": "# FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry\n\n\n**作者 / Authors:** Chunran Zheng, Qingyan Zhu, Wei Xu, Xiyuan Liu, Qizhi Guo, Fu Zhang\n\n\n**单位 / Institutions:** The University of Hong Kong（香港大学）\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 1. 论文元数据\n\n- **标题**：FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry\n- **作者**（姓名 / 单位 / 背景，仅限文中明确信息）：\n  - Chunran Zheng（单位 1，上标 * 共同一作）\n  - Qingyan Zhu（单位 1，上标 * 共同一作）\n  - Wei Xu（单位 1）\n  - Xiyuan Liu（单位 1）\n  - Qizhi Guo（单位 1）\n  - Fu Zhang（单位 1）\n  - 注：正文以右上标 \"1\" 标注全部作者单位但未给出全称；据致谢中 HKU campus 实验与香港研资局项目（Project 17206421）可推断团队来自香港大学（HKU）（见 ACKNOWLEDGMENT、Sec. VI-B.3）。\n- **发表载体**：正文未明确标注会议/期刊名称与年份；从 IEEE 双栏会议模板与体例推断为 IEEE 机器人领域会议论文（该工作公开见于 ICRA 2022，属外部信息，待后续核验）。\n\n### 2. 研究定位\n\n- **研究领域**：SLAM / 多传感器融合状态估计（LiDAR-惯性-视觉里程计 LIVO）。\n- **具体任务**：提出快速、紧耦合、稀疏直接的 FAST-LIVO 系统：LIO 子系统将新扫描的原始点直接配准到增量式点云地图；VIO 子系统复用附带图像 patch 的地图点，通过最小化直接光度误差实现帧到地图图像对齐；两类残差与 IMU 传播在误差状态迭代卡尔曼滤波（ESIKF）中紧耦合融合，并提出针对边缘/遮挡地图点的外点剔除方法（Abstract、Sec. I 贡献 1-2、Sec. III、Sec. IV、Sec. V-B.2）。\n- **目标用户 / 应用场景**：需在退化环境（弱纹理、无结构、LiDAR 退化、室内外切换、剧烈运动）下实时精确位姿估计的机器人应用；支持多线旋转式与固态 LiDAR，可在 Intel 与 ARM（如 Qualcomm RB5）平台实时运行（Abstract、Sec. VI-B、Sec. VI-C、Table III）。\n\n### 3. 输入材料清单\n\n- **PDF**：有（当前文档含摘要、正文 Sec. I-VII、致谢与参考文献全文）。\n- **附录 / 补充材料**：无（正文未提及独立附录或补充文件）。\n- **代码链接**：文中声明代码已在 GitHub 开源（Abstract 脚注 2），但当前文档未给出具体 URL。\n- **数据集链接**：使用公开 NTU VIRAL 数据集（Sec. VI-A，引用 [^13]）与自采数据集（Sec. VI-B，声明开源），具体 URL 未在文中给出。\n\n### 4. 缺失材料与风险\n\n- **缺失项**：GitHub 仓库与数据集的具体 URL；发表年份/会议的明确标注；作者单位全称；雅可比矩阵 F_δx̂ 与 F_w 的具体表达式（文中指向引用 [^11][^30]）。\n- **可能影响**：无法直接核验开源版本与论文描述的一致性；复现实验需自行检索仓库与数据集；状态估计实现细节需回溯 FAST-LIO/R2LIVE 等前置文献，增加后续精读与验证成本。\n\n### 5. 阅读路线（3-6 步）\n\n- **Step 1**：读 Abstract、Sec. I 贡献列表与 Fig. 1，建立\"双直接子系统 + ESKIF 紧耦合\"的整体框架认知。\n- **Step 2**：读 Sec. II，梳理直接法与 LIVO 系统谱系，明确与 R2LIVE、LVI-SAM、DVL-SLAM 的差异定位。\n- **Step 3**：精读 Sec. IV 状态估计（boxplus/boxminus 算子、状态转移模型、前向传播、LiDAR 与稀疏直接视觉两类帧到地图观测模型、ESIKF 更新，式 (1)-(11)）。\n- **Step 4**：精读 Sec. V 地图管理（ikd-Tree 点云地图、体素哈希视觉全局地图、外点剔除与 patch/新地图点更新策略）。\n- **Step 5**：读 Sec. VI 实验（Table II 精度对比、LiDAR 退化与视觉挑战实验、Table III 耗时分解），核对性能与实时性声明。\n- **Step 6**：读 Sec. VII 结论，总结局限与后续可延伸研究方向。\n\n### 分类依据（paper_archetype = system）\n\n- 核心贡献是一个完整、开源、可实时运行于 Intel/ARM 并支持多线旋转式与固态 LiDAR 的里程计**系统**（Sec. I 贡献 3 明确强调 practical open software 可在 Intel 与 ARM 处理器上实时运行）；\n- 虽含新算法组件（稀疏直接 VIO 对齐、外点剔除），但论文整体以系统工程与集成为主线，故选 `system` 而非 `method`。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型**：系统类论文（paper_archetype = system）。\n- **依据**：核心贡献是一个完整、开源、可实时运行的 LiDAR-惯性-视觉里程计系统 FAST-LIVO。Sec. I 贡献 3 明确强调 practical open software 可在 Intel 与 ARM 处理器上实时运行；Abstract 脚注声明代码与数据集已在 GitHub 开源。虽含算法组件（稀疏直接视觉对齐、外点剔除），但整体以系统工程与集成为主线（Fig. 1 系统总览、Sec. III）。\n- **技术谱系定位**：直接法 LIO（承袭 FAST-LIO2 [^17]）+ 稀疏直接 VIO（类似 SVO [^16] 与 DVL-SLAM [^28][^29]）+ ESIKF 紧耦合（Sec. II、Sec. IV）。\n\n### 2. 研究背景与上下文\n\n- **领域痛点**：单传感器 SLAM（纯视觉 [^1][^2][^3] 或纯 LiDAR [^4][^5][^6]）在弱纹理、无结构等退化环境无法保证精确鲁棒的位姿估计，多传感器融合成为主流方案（Sec. I）。\n- **现有 LIVO 的不足**：R2LIVE [^11]、LVI-SAM [^12] 等虽为紧耦合，但基于特征法（图像角点、LiDAR 平面/边缘特征），需特征提取与滑动窗口优化，计算开销大；且两子系统“联合估计状态但分别处理数据”，缺少测量级耦合（Sec. I、Sec. II-B）。\n- **本文切入点**：将稀疏直接图像对齐与原始点直接配准结合，在测量层面耦合 LiDAR 与视觉，以更低计算代价获得精确可靠的位姿估计（Sec. I）。\n\n### 3. 直觉正确性检查（关键假设及合理性）\n\n- **假设 1：直接法可省去特征提取/匹配从而加速**——合理。直接法以光度误差/点到面残差直接优化位姿，已有 FAST-LIO2 [^17]、SVO [^16] 等成功先例（Sec. II-A）；代价是对初值敏感（Sec. II-A 明确指出 direct methods 高度依赖好的状态初始化），本文用 IMU 前向传播提供初值（Sec. IV-C），逻辑自洽。\n- **假设 2：LiDAR 地图点附着的图像 patch 可复用于帧到地图对齐**——合理。LiDAR 提供深度、图像 patch 提供纹理，二者天然互补；与 DVL-SLAM [^28][^29] 思路相近，但本文进一步加入 IMU 与 LiDAR 配准的紧耦合（Sec. II-B），且选取观测角度最接近当前帧的参考 patch（Sec. IV-D.2），缓解视角变化影响。\n- **假设 3：三传感器时间同步、外参预标定、刚体连接**——常见且合理的工程假设（Sec. IV-B），但精度依赖标定质量，属于系统类工作的标准前提。\n- **假设 4：剔除遮挡/深度不连续地图点可提升 VIO 精度**——合理。被遮挡点的光度误差模型失效，剔除逻辑直观（Sec. V-B.2、Fig. 3），实验亦支持（Sec. VI）。\n- **潜在风险点**：直接法隐含光照一致性假设，剧烈光照变化或图像模糊时可能失效——论文自身实验即承认 sbs_01 序列因 UAV 快速运动导致图像严重模糊，融合低质量图像未带来增益（Sec. VI-A），说明该假设边界真实存在。\n\n### 4. 核心贡献（3-5 条）\n\n1) **紧耦合 LIVO 框架**：LIO 与 VIO 两个直接法子系统在误差状态迭代卡尔曼滤波（ESIKF）中与 IMU 紧耦合，联合估计系统状态（Sec. I 贡献 1、Sec. III、Sec. IV-E 式 (11)）。\n2) **稀疏直接 VIO 子系统**：最大化复用 LIO 点云地图，地图点附着历史图像 patch，通过最小化帧到地图直接光度误差对齐新图像，避免视觉特征提取、三角化与后端优化，实现测量级耦合（Sec. I 贡献 2、Sec. IV-D.2 式 (9)）。\n3) **外点剔除方法**：针对位于边缘或被遮挡/深度不连续的地图点提出剔除策略，提升 VIO 鲁棒性与精度（Sec. I、Sec. V-B.2、Fig. 3）。\n4) **实用开源实现**：支持多线旋转式与固态 LiDAR（扫描模式完全不同），可在 Intel 与 ARM 处理器实时运行（Sec. I 贡献 3、Sec. VI-C Table III：桌面 i7 全流程约 36.75 ms，VIO 子系统在 ARM RB5 上 13.82 ms）。\n5) **充分实验验证**：在 NTU VIRAL 公开数据集 9 个序列上精度整体领先 R2LIVE、FAST-LIO2、SVO2.0、DVL-SLAM（Table II），并在 LiDAR 退化、视觉挑战（室内外切换、无纹理白墙、剧烈运动）场景验证鲁棒性（Sec. VI-B，Fig. 5-6）。\n\n### 5. 清晰度评估\n\n- **结构**：章节组织清晰（I 引言 → II 相关工作 → III 系统总览 → IV 状态估计 → V 地图管理 → VI 实验 → VII 结论），符合系统类论文标准叙事。\n- **图表**：Fig. 1 有效传达双子系统架构；Table I 符号表降低公式阅读门槛；Fig. 2 直观解释帧到地图光度对齐；Fig. 3 可视化外点剔除效果；Fig. 5-7 提供退化场景与建图质量的定性证据；Table II/III 分别支撑精度与实时性声明。\n- **公式**：式 (1)-(11) 推导链完整（boxplus/boxminus 算子 → 状态转移 → 前向传播 → LiDAR 与稀疏直接视觉两类观测模型 → MAP 融合），但雅可比 F_δx̂ 与 F_w 的具体表达式指向引用 [^11][^30]（Sec. IV-C），流形 ISIKF 细节指向 [^31]，需回溯前置文献。\n- **可读性**：整体可读性较高，但要求读者具备流形卡尔曼滤波与直接法视觉里程计背景；正文存在个别笔误（如 “LiDAR-inerial”、“gobal frame”），不影响理解。\n\n### 6. 继续或停止建议\n\n- **建议：继续精读（继续）**。\n- **理由**：① 系统类论文且代码、数据集开源，复现与验证路径明确；② 实验覆盖公开基准 + 自采数据 + 多种退化场景，证据链较完整；③ 对从事多传感器融合/SLAM 的读者，“测量级耦合 + 地图点复用”的设计具有直接借鉴价值；④ 后续需核验的点明确（雅可比细节、外点剔除的 40×40/9×9 像素网格阈值、patch 更新的 20 帧/40 像素策略等超参数鲁棒性），值得第二、三遍深入。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# FAST-LIVO 论文概览\n\n## I. 引言\n\n### 单传感器 SLAM 局限\n\n### 现有 LIVO 计算开销大\n\n### 四项贡献\n\n## II. 相关工作\n\n### 直接法\n\n#### 稠密 vs 稀疏直接\n\n### LiDAR-视觉-惯性 SLAM\n\n#### R2LIVE / LVI-SAM / DVL-SLAM 对比\n\n## III. 系统总览\n\n### LIO 子系统\n\n### VIO 子系统\n\n### ESIKF 紧耦合\n\n## IV. 状态估计\n\n### boxplus/boxminus 算子\n\n### 状态转移模型（式 1-5）\n\n### 前向传播（式 6-7）\n\n### 帧到地图观测模型\n\n#### LiDAR 点到面残差（式 8）\n\n#### 稀疏直接视觉对齐（式 9）\n\n### ESIKF 更新（式 10-11）\n\n## V. 地图管理\n\n### LiDAR 全局地图（ikd-Tree）\n\n### 视觉全局地图\n\n#### 体素哈希数据结构\n\n#### 视觉子图与外点剔除\n\n#### 地图更新策略\n\n## VI. 实验与结果\n\n### NTU VIRAL 基准（Table II）\n\n### 自采数据集\n\n#### LiDAR 退化实验（Fig. 5）\n\n#### 视觉挑战实验（Fig. 6）\n\n#### RGB 彩色建图（Fig. 7）\n\n### 耗时分析（Table III）\n\n## VII. 结论\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文旨在解决在退化环境（弱纹理、无结构、LiDAR 退化、室内外切换、剧烈运动等）下，如何以更低的计算成本实现准确、鲁棒、实时的 LiDAR-惯性-视觉紧耦合位姿估计的问题（Abstract、Sec. I）。\n\n### 2. 痛点与现有不足\n\n- **单传感器系统能力不足**：纯视觉或纯 LiDAR 系统在真实世界中常见的无结构（structure-less）或弱纹理（texture-less）环境中无法实现准确且鲁棒的位姿估计（Sec. I 第一段）。\n- **现有 LIVO 系统计算开销大、耦合层次浅**：R2LIVE、LVI-SAM 等系统虽包含 LIO 与 VIO 子系统，但仅在状态向量层面联合融合，未在测量层面（measurement-level）耦合 LiDAR 与图像数据；且依赖特征提取（图像 ORB/FAST 角点、LiDAR 边缘/平面点）与后端滑动窗口优化，占用大量计算资源（Sec. I、Sec. II-B）。\n- **特征提取与匹配耗时**：基于特征的方法因图像/LiDAR 特征点提取及后续滑动窗口优化而计算代价高，难以在嵌入式 ARM 平台实时运行（Sec. II-B、Sec. VI-C）。\n- **已有直接视觉-LiDAR 方法能力受限**：与本文最相近的 DVL-SLAM 仅做帧到帧（frame-to-frame）图像对齐，不融合 IMU 测量与 LiDAR 扫描配准，且缺乏针对遮挡/深度不连续地图点的外点剔除机制，精度与鲁棒性受限（Sec. II-B）。\n\n### 3. 形式化目标 / 优化目标\n\n在误差状态迭代卡尔曼滤波（ESIKF）框架下，将 IMU 前向传播先验、LiDAR 点到面残差 $\\mathbf{r}_l$（式 (8)）与稀疏直接视觉光度误差 $\\mathbf{r}_c$（式 (9)）紧耦合，求解状态 $\\mathbf{x}_k$ 的最大后验（MAP）估计（式 (11)，Sec. IV-E）：\n\n$$\\min_{\\mathbf{x}_k \\in \\mathcal{M}} \\left( \\|\\mathbf{x}_k \\boxminus \\hat{\\mathbf{x}}_k\\|_{\\hat{\\mathbf{P}}_k}^2 + \\sum_{j=1}^{m_l} \\|\\mathbf{r}_l(\\mathbf{x}_k, {}^L\\mathbf{p}_j)\\|_{\\boldsymbol{\\Sigma}_l}^2 + \\sum_{i=1}^{m_c} \\|\\mathbf{r}_c(\\mathbf{x}_k, {}^G\\mathbf{p}_i)\\|_{\\boldsymbol{\\Sigma}_c}^2 \\right)$$\n\n该非凸优化经 Gauss-Newton 迭代求解（等价于迭代卡尔曼滤波，Sec. IV-E），其中 LiDAR 残差直接使用原始点（而非边缘/平面特征）配准到增量式点云地图，视觉残差通过复用附带图像 patch 的地图点、最小化直接光度误差实现帧到地图对齐；并辅以针对边缘/遮挡地图点的外点剔除（Sec. V-B.2、Fig. 3）以提升 VIO 精度与鲁棒性。\n\n### 4. 成功标准（指标或期望性质）\n\n- **精度**：在 NTU-VIRAL 数据集全部九个序列上的绝对平移误差 RMSE 优于 R2LIVE、FAST-LIO2、SVO2.0、DVL-SLAM 等对比方法（除 sbs_01 序列略逊于 FAST-LIO2 外均最优，Table II）。\n- **鲁棒性**：能在 LiDAR 退化场景（约 30 m 长墙，端到端漂移仅 0.05 m，Sec. VI-B.2、Fig. 5）与视觉挑战场景（室内外切换、剧烈运动、无纹理白墙，79.52 m 路径端到端误差 0.04 m，Sec. VI-B.3、Fig. 6）中稳定运行。\n- **计算效率 / 实时性**：每帧完整处理平均耗时 36.75 ms（对比 R2LIVE 前端 45.16 ms + 后端 59.27 ms），并可在嵌入式 ARM 平台（Qualcomm RB5）实时运行（Sec. VI-C、Table III）。\n- **工程可用性**：支持多线旋转式与固态 LiDAR 等完全不同扫描模式的传感器，代码与数据集开源（Abstract、Sec. I 贡献 3-4）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作定位分析\n\n### 1. 最强基线与比较轴\n\n### 基线一：R2LIVE [^11]（特征法紧耦合 LIVO，最强同类基线）\n\n- 方法：提取 LiDAR 与图像特征，在迭代误差状态卡尔曼滤波（Iterated Error State Kalman Filter [^27]）框架内做重投影误差融合，VIO 部分用滑窗优化精化地图中的视觉特征（Sec. II-B）。\n- 核心思想：特征级的三传感器紧耦合融合。\n- 局限：图像/LiDAR 特征提取与滑窗后端优化计算开销大（Sec. II-B 末段）；其特征法 LIO 配准点数少于直接法，导致部分序列精度反而低于纯 LIO 的 FAST-LIO2（Sec. VI-A）。\n- 比较轴：NTU-VIRAL 九条序列平移 RMSE（Table II：FAST-LIVO 0.11–0.25 m vs R2LIVE 0.19–0.97 m）；耗时（Sec. VI-C：R2LIVE 前端 45.16 ms + VIO 后端滑窗 59.27 ms vs FAST-LIVO 全流程 36.75 ms）。\n\n### 基线二：FAST-LIO2 [^17]（直接法 LIO，本系统 LIO 子系统的直接来源）\n\n- 方法：原始点直接配准到 ikd-Tree 增量式点云地图，point-to-plane 残差 + ESIKF（Sec. II-A、Sec. V-A）。\n- 核心思想：免特征的直接 LiDAR 配准。\n- 局限：仅 LiDAR-惯性，在 LiDAR 退化场景（约 30 m 长墙、沿墙方向无约束）漂移（Sec. VI-B.2、Fig. 5）。\n- 比较轴：Table II 中除 sbs_01（UAV 快速运动致图像严重模糊，融合低质图像无益）外，FAST-LIVO 全面优于 FAST-LIO2；LiDAR 退化实验中 FAST-LIVO 端到端漂移最低 0.05 m（Fig. 5）。\n\n**其他对照基线**：SVO2.0 [^33]（半直接 VIO，在快速旋转 + 强模糊的 eee_01/eee_02/sbs_02/sbs_03 四条序列失败，Table II）；DVL-SLAM [^29]（直接 LiDAR-视觉 SLAM，为公平比较移除回环后仍显著漂移，Table II）。\n\n- 比较轴总结：精度（Table II）、退化环境鲁棒性（Fig. 5 LiDAR 退化；Fig. 6 视觉挑战：室内外切换、剧烈运动、无纹理白墙，端到端误差 0.04 m / 总路径 79.52 m）、计算成本与跨平台实时性（Table III：Intel i7 上 VIO 10.23 ms + LIO 26.52 ms；ARM RB5 上 13.82 ms + 51.51 ms）。\n\n### 2. 最接近的方法与关键差异\n\n**最接近：DVL-SLAM [^28][^29]**\n\n- 方法：将 LiDAR 点投影到新图像，通过最小化直接光度误差进行跟踪（Sec. II-B 末段）。\n- 核心思想：稀疏 LiDAR 深度增强的直接视觉-激光对齐。\n- 关键差异（论文明确对比，Sec. II-B）：\n  1. DVL-SLAM 仅做 frame-to-frame 图像对齐；FAST-LIVO 做 frame-to-map 对齐并复用 LIO 地图点及其图像 patch（Sec. I 贡献 2、Sec. IV-D.2 式 (9)）；\n  2. DVL-SLAM 不融合 IMU、不做 LiDAR scan 配准；FAST-LIVO 在单一 ESIKF 中紧耦合 frame-to-map 图像对齐 + LiDAR 配准 + IMU 传播（Sec. III、Sec. IV-E 式 (11)）；\n  3. FAST-LIVO 提出针对遮挡/深度不连续地图点的外点剔除模块（Sec. V-B.2、Fig. 3），进一步提升 VIO 精度与鲁棒性。\n\n**次接近：SVO 稀疏直接法 [^16]**\n\n- 方法：仅用少量精选原始 patch 直接对齐，较稠密直接法 [^18][^19][^20] 进一步降低计算量（Sec. II-A）。\n- 关键差异：SVO 需要自身的特征对齐、滑窗优化和/或深度滤波后端；FAST-LIVO 复用 LIO 子系统构建的地图点，省去该耗时后端，并在 ESIKF 中与 LiDAR/IMU 联合估计（Sec. II-A）。\n\n### 3. 正交方向\n\n- **回环检测与全局位姿图优化**：LVI-SAM [^12]、VI-SLAM [^25] 引入回环与全局优化；FAST-LIVO 为纯里程计，不含回环（Sec. VI-A 对比时特意移除 DVL-SLAM 回环以保证公平）。\n- **因子图 / 固定滞后平滑路线**：VILENS [^26] 在单一因子图中联合优化视觉-LiDAR-惯性信息；与本文 ESIKF 滤波路线正交。\n- **其他退化补偿传感器**：雷达-惯性 [^10]、UWB-惯性 [^9] 面向视觉退化场景，与本文 LiDAR-视觉互补融合思路正交。\n- **稠密直接 RGB-D 跟踪** [^18][^19][^20]：依赖深度图相机的 image-to-model 对齐，与本文稀疏 patch + LiDAR 深度的设定不同。\n- **可复用支撑技术**：流形上 ISIKF 的通用构造 [^31]、ikd-Tree [^32]——本文直接继承而非核心贡献。\n\n### 4. 一句话定位\n\nFAST-LIVO 将 FAST-LIO2 式直接 LiDAR 配准与复用地图点 patch 的稀疏直接 frame-to-map 图像对齐在单一 ESIKF 中紧耦合，以测量级耦合取代特征提取与滑窗后端，从而在精度、退化环境鲁棒性与计算成本上同时超越 R2LIVE、LVI-SAM 等特征法 LIVO 与 DVL-SLAM 等直接法对照（Sec. I、Sec. II、Table II、Table III、Sec. VI-C）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（方法机制解析）\n\n### 一、核心机制概述\n\nFAST-LIVO 以「两个直接法子系统 + 单一误差状态迭代卡尔曼滤波（ESIKF）紧耦合」解决退化环境下的实时精确位姿估计问题（Abstract、Sec. I、Fig. 1）：\n\n1. **LIO 子系统**（Fig. 1 蓝色部分）：直接使用新扫描的原始 LiDAR 点（而非边缘/平面特征）配准到增量式点云地图，机制直接继承自 FAST-LIO2 [^17]（Sec. II-A、Sec. IV-D.1、Sec. V-A）。\n2. **VIO 子系统**（Fig. 1 红色部分）：最大化复用 LIO 建立的点云地图——地图点附带历史观测的图像 patch，通过最小化直接光度误差实现稀疏直接的帧到地图图像对齐，完全省去视觉特征提取、三角化与滑窗优化（Sec. I 贡献 2、Sec. IV-D.2）。\n3. **测量级紧耦合**：LiDAR 点到面残差与图像光度误差在同一个 ESKF 中与 IMU 传播联合优化，两传感器在测量层面耦合而非仅状态层面拼接（Sec. III、Sec. IV-E，式 (11)）。\n4. **外点剔除**：投影地图点并检测遮挡与深度不连续，剔除位于边缘或被遮挡的不稳定地图点，提升 VIO 精度（Sec. V-B.2、Fig. 3）。\n\n**推理链（为何这样设计）**：特征法系统（R2LIVE [^11]、LVI-SAM [^12]）需提取图像/LiDAR 特征并做滑窗优化，计算代价高（Sec. II-B）；直接法省去特征提取与匹配、速度快，但依赖良好初值（Sec. II-A），而 IMU 前向传播恰好提供该初值；复用 LIO 地图点使 VIO 无需独立后端，实现测量级耦合。三者结合使系统在降低计算量的同时保持精度——Sec. VI-C 显示 R2LIVE 每帧需 45.16 ms 前端 + 59.27 ms 后端滑窗优化，而 FAST-LIVO 全流程仅 36.75 ms，并可在 ARM（Qualcomm RB5）上实时运行（Table III）。\n\n### 二、分步拆解\n\n### Step 1 — IMU 前向传播（Sec. IV-C，式 (6)(7)）\n\n- 每收到一个 IMU 测量 u_i，将状态与协方差从上一测量时刻 t_{k-1} 传播至当前时刻 t_k：\n  - 状态传播：x̂_{i+1} = x̂_i ⊞ (Δt·f(x̂_i, u_i, 0))（式 (6)）；\n  - 协方差传播：P̂_{i+1} = F_{δx̂} P̂_i F_{δx̂}^T + F_w Q F_w^T（式 (7)）。\n- 论文不假设 LiDAR 扫描与图像同时到达，任一传感器数据到达均触发一次状态更新（Sec. IV-C 末段）。\n\n### Step 2a — LiDAR 测量模型（Sec. IV-D.1，式 (8)）\n\n- 用反向传播 [^30] 补偿扫描内运动畸变，使各点可视为在 t_k 于同一 LiDAR 局部系 L 中同时采样；\n- 用预测位姿 x̂_k 将点变换到全局系，在 ikd-Tree 中查询最近 5 个点拟合局部平面（法向量 u_j、中心 q_j）；\n- 隐式测量模型：0 = r_l(x_k, p_j) = u_j^T (T_Ik · T_L · p_j − q_j)，并以 Σ_l 加权测量噪声。\n\n## Step 2b — 稀疏直接视觉对齐（Sec. IV-D.2，式 (9)；Fig. 2）\n\n- 从视觉全局地图提取落入当前 FoV 的地图点（体素哈希快速查询，Sec. V-B.2）；\n- 为每个地图点选取观测角与当前帧最接近的历史参考 patch Q_i，并计算投影到当前图像金字塔的仿射变换 A_i；\n- 隐式测量模型：0 = r_c(x_k, p_i) = I_k(π(T_C^{-1} · T_Ik^{-1} · p_i)) − A_i·Q_i，其中 π(·) 为针孔投影模型；\n- 以 coarse-to-fine 方式在三层图像金字塔上优化（每层减半采样），从最粗层开始，收敛后进入更细层；以 Σ_c 加权图像噪声。\n\n## Step 2c — 外点剔除（Sec. V-B.2、Fig. 3）\n\n- 将视觉子图所有点用预测位姿投影到当前帧，每个 40×40 像素网格仅保留深度最低的点；\n- 将最近一帧 LiDAR 扫描点也投影到当前帧，检查其是否在 9×9 邻域内遮挡某地图点（深度比较），被遮挡的地图点被剔除。\n\n## Step 3 — ESKF 迭代更新（Sec. IV-E，式 (10)(11)）\n\n- 先验分布：x_k ⊟ x̂_k ~ N(0, P̂_k)（式 (10)）；\n- MAP 目标（式 (11)）：min ‖x_k ⊟ x̂_k‖²_{P̂_k} + Σ_j ‖r_l(x_k, p_j)‖²_{Σ_l} + Σ_i ‖r_c(x_k, p_i)‖²_{Σ_c}；\n- 若当前为 LiDAR 帧则 m_c = 0（仅融合 LiDAR 残差与 IMU 传播）；若为图像帧则 m_l = 0（仅融合视觉残差与 IMU 传播）；\n- 非凸问题以 Gauss-Newton 迭代求解，该迭代被证明等价于迭代卡尔曼滤波 [^27]；每次迭代在当前估计的切空间（误差状态）中经 ⊞ 参数化求解增量并更新状态，直至收敛；\n- 收敛状态 x̄_k 与式 (11) 在收敛处的 Hessian P̄_k 用于后续 IMU 传播与地图更新。\n\n## Step 4 — 地图更新（Sec. V）\n\n- LiDAR 全局地图（Sec. V-A）：用 x̄_k 将扫描点变换到全局系并插入 ikd-Tree [^32]；ikd-Tree 内部按给定分辨率降采样、监控并动态平衡树结构；\n- 视觉全局地图（Sec. V-B.3）：\n  - patch 更新：对帧对齐后光度误差高的地图点，若距上次添加 patch 已超过 20 帧或其在当前帧的像素位置距上次参考帧超过 40 像素，则从当前图像提取 8×8 patch（三层金字塔）连同帧位姿附加到该地图点，使观测角趋于均匀分布；\n  - 新地图点：将当前图像划分为 40×40 网格并投影最近 LiDAR 扫描点，每格取梯度最高者加入视觉地图（连同 patch 与位姿）；跳过高局部曲率的边缘点以避免不稳定点入图。\n\n### 三、关键公式与模块角色\n\n| 公式 / 模块 | 位置 | 角色 |\n|---|---|---|\n| ⊞ / ⊟ 算子 | Sec. IV-A，式 (1) | 在流形 M = SO(3)×R^n 上表达状态与误差，支撑切空间迭代 |\n| 状态 x 与转移函数 f | Sec. IV-B，式 (2)-(5) | 18 维状态（姿态、位置、速度、陀螺/加计偏置、全局重力向量），IMU 驱动传播 |\n| 前向传播 | Sec. IV-C，式 (6)(7) | 产生 ESKF 的先验状态与协方差 |\n| LiDAR 残差 r_l | Sec. IV-D.1，式 (8) | 隐式点到面测量模型，约束位姿 |\n| 视觉残差 r_c | Sec. IV-D.2，式 (9) | 隐式光度测量模型，帧到地图直接图像对齐 |\n| MAP / ESKF 更新 | Sec. IV-E，式 (10)(11) | 将先验与两类残差紧耦合为单一优化问题，收敛后输出状态与协方差 |\n| ikd-Tree | Sec. V-A，[^32] | 增量式点云地图数据结构，支持查询/插入/删除与子树重建平衡 |\n| 体素哈希视觉地图 | Sec. V-B.1 | 0.5×0.5×0.5 m 体素 + 哈希索引，存储 patch 金字塔（8×8×3 像素）与各 patch 相机位姿 |\n\n**推理链（紧耦合为何有效）**：式 (11) 使 LiDAR 与视觉残差通过共享状态 x_k 相互约束——LiDAR 退化时（约 30 m 长墙、沿墙方向无约束，Sec. VI-B.2）视觉残差补充该方向信息，端到端漂移仅 0.05 m；视觉退化时（剧烈运动、室内外切换、无纹理白墙，Sec. VI-B.3）LiDAR 残差维持估计，79.52 m 路径端到端误差仅 0.04 m。单一 ESKF 还避免了 R2LIVE 式「前端滤波 + 后端滑窗优化」的双层结构（Sec. II-B、Sec. VI-C），这是计算效率优势的直接来源。\n\n### 四、流程图\n\nmermaid\nflowchart TD\n  IMU[\"IMU 测量 u_i\"] --> FP[\"前向传播: 状态与协方差预测 (式6-7)\"]\n  FP --> ARRIVE{\"t_k 时刻新传感器数据到达?\"}\n  ARRIVE -->|LiDAR 扫描| LIO[\"LIO: 反向传播去畸变, ikd-Tree 最近5点拟合平面, 点到面残差 r_l (式8)\"]\n  ARRIVE -->|图像| SUB[\"VIO: 体素哈希提取视觉子图 (Sec. V-B.2)\"]\n  SUB --> OUTL[\"外点剔除: 40x40网格取最低深度, 9x9邻域遮挡检测 (Fig. 3)\"]\n  OUTL --> ALIGN[\"稀疏直接帧到地图对齐: 光度残差 r_c, 三层金字塔 coarse-to-fine (式9)\"]\n  LIO --> ESKF[\"ESIKF 迭代更新: MAP = 先验 + LiDAR残差 + 视觉残差, Gauss-Newton 迭代 (式10-11)\"]\n  ALIGN --> ESKF\n  ESKF --> STATE[\"收敛状态 x̄_k 与协方差 P̄_k\"]\n  STATE --> MAPL[\"更新 LiDAR 全局地图: 插入 ikd-Tree (Sec. V-A)\"]\n  STATE --> MAPV[\"更新视觉全局地图: 添加 patch 与新地图点 (Sec. V-B.3)\"]\n  STATE -->|继续 IMU 传播| FP\n``n\n**流程图说明**：系统为事件驱动——IMU 持续前向传播提供先验；LiDAR 扫描与图像分别触发 LIO / VIO 两条残差计算分支，最终汇入同一 ESKF 完成紧耦合更新；收敛结果再反馈用于地图更新与后续传播，形成闭环（Sec. III、Fig. 1、Sec. IV-C 末段）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集与基准清单（浅层概览）\n\n| 数据集 | 类型 | 规模 | 场景与传感器 | 文中定位 |\n| --- | --- | --- | --- | --- |\n| NTU VIRAL Dataset（引用 [^13]） | 公开基准 | 全部 9 个序列：eee_01–03、nya_01–03、sbs_01–03 | 无人机（aerial vehicle）视角；使用其左相机、水平 16 线 Ouster OS1 gen1 旋转式 LiDAR 及其内置 IMU；Table II 标题注明这些序列具有高质量真值 | 定量精度对比（Sec. VI-A、Table II） |\n| 自采数据集（私有，声明开源） | 自建设备数据 | 3 组挑战实验 + 1 组建图实验 + 全序列耗时统计 | 设备：机载计算机 DJI Manifold-2C（Intel i7-8550u、8 GB RAM）+ 2 台工业相机 MV-CA013-21UC + Livox Avia 固态 LiDAR；STM32 定时器产生 10 Hz 触发信号硬同步（Livox 转换器仅支持 1 Hz PPS，由 Livox SDK 自动分频为 10 Hz）（Sec. VI-B.1、Fig. 4） | 退化环境鲁棒性、跨平台实时性与建图质量验证（Sec. VI-B、VI-C、Fig. 5–7、Table III） |\n\n自采数据覆盖的四类场景：\n\n1. **LiDAR 退化实验**：面向约 30 m 长的墙面，沿墙方向缺乏 LiDAR 约束（Sec. VI-B.2、Fig. 5）。\n2. **视觉挑战实验**：室内→室外、室外→室内切换、两次剧烈运动、无纹理白墙，总路径长 79.52 m（Sec. VI-B.3、Fig. 6）。\n3. **高精度彩色点云建图**：HKU 校园环境，实时重建稠密 RGB 彩色点云（Sec. VI-B.4、Fig. 7）。\n4. **耗时分析**：在全部私有数据上统计每帧平均耗时（Sec. VI-C、Table III）。\n\n### 2. 预处理与划分/覆盖设置（中层）\n\n- **无训练/验证/测试划分**：本系统为基于 ESIKF 的在线里程计，不含任何学习组件与训练过程；NTU VIRAL 的全部 9 个序列均用于评测（Sec. VI-A），属\"全覆盖式\"评测而非划分式评测。\n- **传感器同步与外参预处理**：假设三传感器（LiDAR、IMU、相机）时间偏移已知（可预先标定或同步）、外参预先标定（Sec. IV-B）；私有设备通过 10 Hz 硬触发同步（Sec. VI-B.1）。\n- **对比系统与公平性设置**（Sec. VI-A）：\n  - 对比对象：R2LIVE（特征法 LIVO）、FAST-LIO2（直接法 LIO）、SVO2.0（半直接 VIO）、DVL-SLAM（直接法 LiDAR-视觉 SLAM）。\n  - 均从各自 GitHub 下载；FAST-LIO2、R2LIVE、DVL-SLAM 使用推荐的室外场景参数；SVO2.0 的网格尺寸、特征选择阈值、滑窗大小由作者尽力调至最佳结果。\n  - 除 DVL-SLAM 外其余均为无回环的里程计，故移除 DVL-SLAM 的回环模块（保留滑窗优化以尽量保持精度）以公平比较；修改版 DVL-SLAM 亦已开源（脚注 5）。\n  - 每种方法在所有序列上使用同一组参数（Table II 说明），避免逐序列调参带来的偏置。\n- **实现层关键参数**（影响评测行为，Sec. V-B）：视觉全局地图体素 0.5×0.5×0.5 m（Hash 表索引）；patch 为 8×8 像素、三级金字塔；外点剔除用 40×40 像素网格保留最低深度点、9×9 邻域遮挡检查；patch 更新条件为距上次添加超过 20 帧或像素偏移超过 40 像素；新地图点按 40×40 网格选梯度最高者并跳过高局部曲率的边缘点。\n\n### 3. 训练/推理/评测环境（中层）\n\n- **训练环境**：不适用（滤波器式在线系统，无训练阶段）。\n- **推理/评测硬件**：\n  - 耗时对比平台：8 核 Intel Core i7-10700U 台式机（Sec. VI-C）。\n  - 嵌入式平台：Qualcomm RB5（Kryo585 CPU），用于 Table III 的 ARM 耗时分解。\n  - 数据采集机载计算机：DJI Manifold-2C（i7-8550u、8 GB RAM）（Sec. VI-B.1）。\n- **关键耗时结果**：R2LIVE 每帧平均 45.16 ms（LIO+VIO 前端）+ 59.27 ms（VIO 后端滑窗优化），FAST-LIVO 全流程仅 36.75 ms；Table III 显示 VIO 子系统在 Intel/ARM 上分别 10.23/13.82 ms，LIO 子系统 26.52/51.51 ms，证明系统在两类处理器上均可实时运行且有显著计算余量。\n\n### 4. 选择理由与验证目标（深层分析）\n\n- **为何选 NTU VIRAL**：它是提供高质量真值的公开多传感器数据集（视觉+惯性+测距+LiDAR，无人机视角，引用 [^13]），可支撑与 SOTA 的可复现定量对比；其序列含快速 UAV 旋转与强图像模糊（Sec. VI-A 解释 sbs_01 中 FAST-LIVO 略逊于 FAST-LIO2 的原因即图像严重模糊，融合低质量图像无益），恰好检验\"视觉融合收益取决于图像质量\"的论断；使用左相机 + OS1 16 线旋转式 LiDAR 也验证了系统对旋转式 LiDAR 的支持。\n- **为何补自采数据**：NTU VIRAL 无法覆盖 (a) 固态 LiDAR（Livox Avia 扫描模式与旋转式完全不同）与 (b) 极端传感器退化场景。自采实验分别验证：LiDAR 退化下端到端漂移仅 0.05 m（Fig. 5，优于 FAST-LIO2 与 SVO2.0）；视觉挑战（室内外切换+剧烈运动+无纹理白墙）下 79.52 m 路径端到端误差仅 0.04 m（Fig. 6）；HKU 校园建图展示 RGB 彩色稠密地图的细节质量（Fig. 7）。\n- **公平性设置的意义**：统一去除回环、统一参数、尽力调优对手，使 Table II 的 RMSE 对比主要反映\"紧耦合直接法 vs 特征法/单双传感器\"的算法差异而非工程调参差异；SVO2.0 在 eee_01、eee_02、sbs_02、sbs_03 失败（快速旋转导致先验不足）而 DVL-SLAM 存活，反衬 LiDAR 度量对纯视觉系统的兜底作用；R2LIVE 偶尔逊于 FAST-LIO2 的现象也被归因于其特征法 LIO 配准点数更少（Sec. VI-A），支撑\"直接法用原始点更优\"的核心主张。\n- **整体验证链条**：Table II（精度）→ Fig. 5/6（退化鲁棒性）→ Table III 与 Sec. VI-C（计算效率与跨平台实时性）→ Fig. 7（建图质量），四者共同支撑摘要与结论中\"更准、更快、更鲁棒、可实时运行于 Intel/ARM\"的核心声明。\n- **缺口与风险（评审视角）**：文中未给出 GitHub 仓库与数据集的具体 URL（仅脚注声明开源）；私有数据集的真值获取方式（如 RTK、全站仪或离线建图对齐）未说明，端到端漂移（0.05 m、0.04 m）的测量方法无法从文中直接核验；NTU VIRAL 评测仅报告绝对平移 RMSE（Table II），未含回环/建图指标，精度结论限于里程计层面。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：评价指标与实验结果\n\n### 一、评价指标（定义与简要说明）\n\n1. **绝对平移误差 RMSE（Absolute Translational Error, RMSE, meters）**：估计轨迹与真值轨迹之间平移误差的均方根，单位为米，数值越低精度越高；在 NTU-VIRAL 数据集全部 9 个序列上报告（Table II 标题、Sec. VI-A）。\n2. **端到端漂移 / 端到端误差（end-to-end drift/error, m）**：轨迹终点相对起点的位置误差，用于两个自采压力实验：LiDAR 退化实验（Fig. 5，0.05 m）与视觉挑战实验（Fig. 6，0.04 m / 总路径 79.52 m）。\n3. **平均单帧耗时（mean time consumption, ms）**：处理每帧 LiDAR 扫描 / 图像的平均计算时间，用于评估实时性；分别在桌面平台（8 核 Intel Core i7-10700）与嵌入式平台（Qualcomm RB5，Kryo585 CPU）测量，并给出 VIO 各模块与 LIO 子系统的分解（Table III、Sec. VI-C）。\n4. **鲁棒性（成功率）**：以是否 Fail 衡量（Table II 中 SVO2.0 在 4 个序列上失败），反映系统在退化环境下的存活能力。\n\n### 二、主要结果（具体数字）\n\n1. **NTU-VIRAL 基准（Table II，Sec. VI-A）**：FAST-LIVO 在 9 个序列中的 8 个取得最低 RMSE：eee_01 = 0.19、eee_02 = 0.13、eee_03 = 0.19、nya_01 = 0.12、nya_02 = 0.18、nya_03 = 0.11、sbs_02 = 0.13、sbs_03 = 0.13；唯一例外是 sbs_01 = 0.25，略高于纯 LiDAR-惯性里程计 FAST-LIO2 的 0.18。\n2. **LiDAR 退化实验（Sec. VI-B.2，Fig. 5）**：约 30 m 长墙面场景（沿墙方向缺乏约束），FAST-LIVO 取得最低端到端漂移 0.05 m，优于 FAST-LIO2 与 SVO2.0。\n3. **视觉挑战实验（Sec. VI-B.3，Fig. 6）**：场景包含室内→室外、室外→室内切换、两次剧烈运动与无纹理白墙，总路径长 79.52 m，端到端误差仅 0.04 m。\n4. **彩色点云建图（Sec. VI-B.4，Fig. 7）**：实时重建稠密、RGB 彩色点云地图，放大视图的视觉细节接近真实 RGB 图像（定性结果）。\n5. **计算效率（Sec. VI-C，Table III）**：\n   - 桌面平台：FAST-LIVO 完整处理仅 36.75 ms/帧；对比 R2LIVE 前端 45.16 ms + VIO 后端滑窗优化 59.27 ms（合计约 104.43 ms）。\n   - Table III 分解：VIO 子系统总计 10.23 ms（Intel i7）/ 13.82 ms（ARM），其中 Visual Submap 1.63/3.81、Outlier Rejection 2.07/2.58、Sparse-Direct Visual Alignment 3.19/3.88、ESIKF Update 0.42/0.52、Update Visual Global Map 2.92/3.03（单位 ms，Intel/ARM）；LIO 子系统 26.52 ms（Intel）/ 51.51 ms（ARM）。系统在两类平台均可实时运行且有显著计算余量。\n\n### 三、与基线 / 代表性先前工作对比\n\n对比对象（Sec. VI-A）：R2LIVE（特征法紧耦合 LIVO）、FAST-LIO2（直接法 LIO）、SVO2.0（半直接 VIO，参数经作者调优至最佳）、DVL-SLAM（直接法 LiDAR-Visual SLAM，移除回环模块以公平比较）。所有方法在全部序列使用相同参数。\n\n- **vs FAST-LIO2**：除 sbs_01 外全部序列更优，说明紧耦合视觉信息带来增益；sbs_01 上因快速 UAV 运动导致图像严重模糊，融合低质量图像未提升精度（Sec. VI-A）。\n- **vs R2LIVE**：所有序列 RMSE 更低（如 eee_03：0.19 vs 0.97；nya_02：0.18 vs 0.63；sbs_01：0.25 vs 0.56），且计算成本大幅降低（36.75 ms vs 约 104 ms）。文中解释：R2LIVE 的特征法 LIO 配准点数较少，导致其精度偶尔甚至低于直接法的 FAST-LIO2（Sec. VI-A）。\n- **vs SVO2.0**：SVO2.0 在 eee_01、eee_02、sbs_02、sbs_03 因快速 UAV 旋转与强图像模糊导致先验不足而失败（Fail）；其余序列误差 2.29–7.84 m，远差于 FAST-LIVO。DVL-SLAM 因 VO 模块使用 LiDAR 测量而在这些序列存活，但误差 1.08–3.08 m 仍明显偏高。\n- **vs DVL-SLAM**：DVL-SLAM 仅做帧到帧（frame-to-frame）图像对齐、不含 IMU 与 LiDAR 配准的紧耦合；FAST-LIVO 的帧到地图（frame-to-map）对齐 + ESIKF 紧耦合在所有序列上误差低约一个数量级（Sec. II-B、Table II）。\n\n### 四、消融、敏感性与跨方法差异综合\n\n1. **无正式组件级消融**：论文未提供去除外点剔除模块、patch 更新策略（20 帧 / 40 像素阈值，Sec. V-B.3）等组件的定量消融实验；外点剔除模块（Sec. V-B.2，Fig. 3）仅以机理图示与真实场景可视化论证其作用（红点为剔除的遮挡 / 深度不连续地图点，绿点为保留点）。\n2. **敏感性分析（定性）**：\n   - **图像质量敏感性**：sbs_01 序列表明图像严重模糊时视觉融合可能不增益甚至轻微降低精度（0.25 vs FAST-LIO2 的 0.18），但系统整体仍保持鲁棒（Sec. VI-A）。\n   - **传感器退化敏感性**：LiDAR 退化（长墙、沿墙方向无约束）与视觉退化（无纹理白墙、室内外光照变化、剧烈运动）两类压力实验均验证了三传感器互补融合的鲁棒性（Fig. 5、Fig. 6）。\n3. **跨方法差异综合**：\n   - 直接法（FAST-LIVO、FAST-LIO2、DVL-SLAM）相对特征法（R2LIVE）在配准点数与计算效率上占优；R2LIVE 偶尔精度低于 FAST-LIO2 即源于特征法 LIO 配准点少（Sec. VI-A）。\n   - 紧耦合帧到地图对齐（FAST-LIVO）显著优于帧到帧对齐（DVL-SLAM）。\n   - 测量级耦合（复用 LIO 点云地图点及其图像 patch，避免视觉特征提取、三角化与滑窗优化后端）是 FAST-LIVO 同时实现更高精度与更低计算成本的关键设计（Sec. I 贡献 2、Sec. VI-C）。\n\n### 五、结论与证据链小结\n\n- 核心声明“精度更优”由 Table II（9 序列中 8 个最低 RMSE）+ Fig. 5 / Fig. 6（退化场景最低端到端漂移 0.05 m / 0.04 m）支撑。\n- 核心声明“更低计算成本”由 Sec. VI-C（36.75 ms vs R2LIVE 约 104 ms）与 Table III（Intel / ARM 双平台耗时分解）支撑。\n- 局限提示（供 Module E 深审）：缺少组件级消融与旋转误差指标；sbs_01 结果显示系统对图像模糊仍有一定敏感性；SVO2.0 参数调优与 DVL-SLAM 改版的公平性依赖作者实现细节。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：后续可探索方向\n\n### 浅层概览\n\n论文以系统贡献为主线（Sec. I 贡献 1-4），结论部分（Sec. VII）未明确列出未来工作，因此后续方向主要从方法假设、实验局限与系统设计缺口中推导。以下按理论、工程、数据/评测三类展开，并给出优先级建议。\n\n### 一、理论方向\n\n1. **光度恒常假设的鲁棒化**：VIO 子系统采用稀疏直接法最小化光度误差（式 (9)，Sec. IV-D.2），隐含亮度恒常假设；而实验中 sbs_01 序列因图像模糊导致视觉融合无增益（Sec. VI-A、Table II），室内外光照切换也是挑战场景（Sec. VI-B.3）。可研究曝光补偿、光照变化建模或鲁棒核函数，提升直接法在光照剧变下的表现。\n2. **异构残差紧耦合的可观测性与一致性分析**：ESIKF 在同一 MAP 目标（式 (11)）中融合点面残差（式 (8)）与光度残差（式 (9)），两类测度噪声特性不同（Σ_l 与 Σ_c 分别加权）。可从理论上分析异构残差的可观测性、收敛域与滤波一致性，并补全文中指向 [^11][^30] 的雅可比矩阵 F_δx̂ 与 F_w 的显式推导（Sec. IV-C）。\n3. **外点剔除的概率化建模**：当前遮挡/深度不连续剔除为启发式规则——40×40 网格保留最低深度点、9×9 邻域深度遮挡检查（Sec. V-B.2、Fig. 3），可将其纳入概率数据关联或测量噪声模型，给出理论保证。\n4. **回环检测与全局一致性**：系统为纯里程计，无回环模块（Sec. VI-A 中为公平比较还移除了 DVL-SLAM 的回环），如何在不破坏实时性的前提下引入回环与位姿图优化是自然延伸。\n\n### 二、工程方向\n\n1. **在线外参与时间同步标定**：系统假设三传感器外参预标定、时间偏移已知（Sec. IV-B），实际部署中标定误差直接影响精度，可扩展在线/自动标定以降低使用门槛。\n2. **视觉全局地图的内存管理与压缩**：视觉地图以 0.5 m 体素哈希存储位置、三级 patch 金字塔（8×8×3 像素）及各 patch 相机位姿（Sec. V-B.1），长时间运行会无限增长，需要剪枝、关键 patch 选择或压缩策略。\n3. **更多传感器形态支持**：系统已支持多线旋转式与固态 LiDAR（Abstract、Sec. I 贡献 3），可延伸至多相机、事件相机或毫米波雷达融合，覆盖更极端退化环境。\n4. **嵌入式平台进一步优化**：Table III 显示 ARM（Qualcomm RB5）上 VIO 总耗时 13.82 ms、LIO 51.51 ms，虽可实时但 LIO 占比高，可通过 GPU 加速图像对齐、NEON 指令优化等进一步压缩耗时。\n\n### 三、数据与评测方向\n\n1. **更大规模与多样化基准**：定量评测目前仅限 NTU-VIRAL 九条序列（Sec. VI-A、Table II），可扩展至更多公开数据集、更长轨迹、不同 LiDAR 类型（尤其固态）与不同相机配置。\n2. **系统性消融实验**：对外点剔除与地图更新中的经验阈值（补丁更新间隔 20 帧/40 像素，Sec. V-B.3）、图像金字塔层数（三级，Sec. IV-D.2）、网格尺寸（40×40）等做参数敏感性消融。\n3. **失效模式量化**：sbs_01 因快速 UAV 运动导致图像模糊、融合低质量图像无增益（Sec. VI-A、Table II），可建立图像质量指标（模糊度、曝光、纹理度）与视觉融合增益之间的定量评测关系。\n4. **与含回环系统的对比及长期一致性指标**：补充 RMSE 之外的漂移率、一致性等指标，评测长时间运行的建图质量（如 Fig. 7 的 RGB 彩色点云建图细节保持）。\n\n### 优先级建议\n\n- **短期（工程）**：在线标定与视觉地图内存管理，直接提升系统实用性与可部署性。\n- **中期（理论）**：光度模型鲁棒化与外点剔除概率化，针对已暴露的失效场景（图像模糊、光照变化）。\n- **长期（评测）**：建立涵盖传感器退化、图像质量维度的标准化 LIVO 基准，推动领域公平比较。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界部署视角（How would this show up in real-world use?）\n\n### 1. 浅层理解：部署形态总览\n\n- **系统定位**：FAST-LIVO 是一个可在机载/嵌入式平台实时运行的 LiDAR-惯性-视觉紧耦合里程计，面向需要在退化环境（弱纹理、无结构、LiDAR 退化、室内外切换、剧烈运动）下进行位姿估计的机器人应用（Abstract、Sec. I、Sec. VI-B）。\n- **硬件形态**：传感器套件 = LiDAR（多线旋转式如 OS1-16 或固态如 Livox Avia）+ 工业相机（MV-CA013-21UC）+ IMU（可用 LiDAR 内置 IMU），通过 STM32 定时器产生的 10 Hz 触发信号硬同步（Sec. VI-B.1、Fig. 4）。\n- **计算平台**：已在 Intel x86（桌面 i7-10700、机载 DJI Manifold-2C i7-8550u / 8 GB RAM）与 ARM（Qualcomm RB5，Kryo585 CPU）上验证实时运行（Sec. VI-B.1、Sec. VI-C、Table III）。\n\n### 2. 中层分析：部署约束与计算/延迟影响\n\n#### 2.1 传感器与标定约束（部署前置条件）\n\n- **时间同步**：三传感器（LiDAR、IMU、相机）时间偏移须已知，可预先标定或同步（Sec. IV-B）；私有平台采用硬同步：STM32 生成 10 Hz 触发信号，Livox 转换器仅支持 1 Hz PPS，由 SDK 自动分频为 10 Hz（Sec. VI-B.1）。部署时若无法硬同步，需自行保证时间戳精度（推断）。\n- **外参标定**：三传感器刚性连接，外参（^I T_L、^I T_C）须预先标定（Sec. IV-B、Table I）；外参误差会直接进入两类观测模型（式 (8)(9)），是精度敏感项（推断）。\n- **FoV 重叠假设**：视觉子地图提取依赖“相机 FoV 与 LiDAR FoV 大部分重叠”的假设——通过上一帧 LiDAR 点所在 voxel 反查 Hash 表获取视觉子地图（Sec. V-B.2）；若相机与 LiDAR 视场差异大，该加速策略可能漏掉相机 FoV 内的地图点，需退化为全图 FoV 检查（影响推断）。\n- **LiDAR 选型灵活性**：同时支持多线旋转式与扫描模式完全不同的固态 LiDAR（Abstract、Sec. I 贡献 3），降低硬件选型与更换成本。\n\n#### 2.2 计算与延迟（Table III、Sec. VI-C）\n\n- **单帧平均耗时分解**（Intel i7 / ARM RB5，单位 ms）：\n  - VIO 子系统：Visual Submap 1.63 / 3.81；Outlier Rejection 2.07 / 2.58；Sparse-Direct Visual Alignment 3.19 / 3.88；ESIKF Update 0.42 / 0.52；Update Visual Global Map 2.92 / 3.03；**VIO 合计 10.23 / 13.82**。\n  - LIO 子系统：**26.52 / 51.51**，是全系统主要计算开销。\n- **与 R2LIVE 对比**（桌面 i7-10700）：R2LIVE 前端 45.16 ms + VIO 后端滑窗优化 59.27 ms（合计约 104 ms），FAST-LIVO 全流程仅 36.75 ms，约 2.8 倍加速（Sec. VI-C）；优势来源是省去特征提取/匹配与滑窗后端（Sec. II、Sec. VI-C）。\n- **实时性结论**：在 Intel 与 ARM 上均以“显著计算余量”实时运行（Sec. VI-C）；ARM 上 LIO 51.51 ms 仍低于 10 Hz LiDAR 帧周期（100 ms），可匹配 10 Hz 传感器速率（推断，基于 Sec. VI-B.1 的 10 Hz 同步设置）。\n- **部署含义**：嵌入式平台上各模块耗时约为 Intel 的 1.2–2.3 倍（Table III），但仍在预算内；CPU 负载预算应以 LIO 子系统为主进行规划。\n\n### 3. 深层分析：鲁棒性/安全性与可维护性\n\n#### 3.1 鲁棒性边界与失效模式\n\n- **已验证的鲁棒场景**：\n  - LiDAR 退化（约 30 m 长墙、沿墙方向约束缺失）：端到端漂移 0.05 m，优于 FAST-LIO2 与 SVO2.0（Sec. VI-B.2、Fig. 5）。\n  - 视觉挑战（室内外切换、两次剧烈运动、无纹理白墙）：79.52 m 路径端到端误差 0.04 m（Sec. VI-B.3、Fig. 6）。\n  - NTU-VIRAL 九条序列平移 RMSE 0.11–0.25 m，总体最优（Table II、Sec. VI-A）。\n- **已知失效/退化模式**：\n  - **图像模糊**：sbs_01 中 UAV 快速运动导致图像严重模糊，融合低质量图像反而使误差略高于纯 LIO 的 FAST-LIO2（Sec. VI-A、Table II）——部署时需匹配相机曝光时间与平台运动速度。\n  - **直接法对初始化敏感**：缺乏鲁棒特征匹配，直接法高度依赖良好状态初始化（Sec. II-A）；启动阶段或跟踪丢失后的重初始化是风险点（推断）。\n  - **遮挡/深度不连续地图点**：若不剔除会严重降低 VIO 精度；系统通过 40×40 像素网格保留最低深度点 + 最近 LiDAR 扫描在 9×9 邻域的深度遮挡检查剔除（Sec. V-B.2、Fig. 3），该模块耗时 2.07 / 2.58 ms（Table III）。\n  - **无回环检测**：本系统为纯里程计，长航线下漂移会累积（Sec. VI-A 对比设置中除 DVL-SLAM 外均去除回环可佐证；影响为推断）。\n- **安全性考量**：ESIKF 收敛后的 Hessian 矩阵作为更新后协方差继续传播（Sec. IV-E），可作为在线不确定性监控信号用于安全策略触发（如降速、传感器切换），属推断性建议；论文本身未讨论故障安全（fail-safe）机制。\n\n#### 3.2 可维护性与工程化\n\n- **开源**：代码与数据集在 GitHub 开源（Abstract 脚注 2、Sec. I 贡献 3），降低复现与二次开发成本；但文中未给出具体 URL（Module A 已记录为缺失项）。\n- **地图数据结构维护**：\n  - LiDAR 全局地图基于 ikd-Tree：增量式插入/查询/删除、按给定分辨率内部降采样、子树动态再平衡（Sec. V-A），工程上无需人工干预地图结构。\n  - 视觉全局地图：0.5×0.5×0.5 m 轴对齐 voxel + Hash 索引；每点存 8×8×3 像素 patch 金字塔及各 patch 的相机位姿（Sec. V-B.1）。\n  - patch 更新策略：距上次加 patch 超 20 帧或像素偏移超 40 px 且光度误差高的地图点才加新 patch；新地图点取 40×40 网格内梯度最高的 LiDAR 投影点，并跳过高局部曲率的边缘点（Sec. V-B.3）——这些阈值是关键维护参数。\n- **参数负担低**：NTU-VIRAL 全部九条序列使用同一组参数（Sec. VI-A），表明跨场景调参需求较小。\n- **潜在维护风险（推断）**：论文未描述地图裁剪/内存回收策略，长时间运行时点云地图与 patch 地图会持续增长，内存占用需在部署中自行监控；雅可比 F_δx̂ 与 F_w 的具体表达式需回溯文献 [^11][^30]（Module A 风险项），增加二次开发成本。\n\n### 4. 部署检查清单（可操作总结）\n\n1. **硬件**：确认 LiDAR 类型（旋转式/固态均支持）、相机曝光与快门设置、IMU 噪声参数。\n2. **同步与标定**：实现硬同步（如 10 Hz 触发）或精确时间偏移标定；预标定外参 ^I T_L、^I T_C。\n3. **平台**：Intel 或 ARM 均可；按 Table III 预算 CPU 负载（LIO 子系统为主要开销）。\n4. **场景评估**：避免长时间图像模糊（高速 + 低快门）；LiDAR 退化与弱纹理场景为系统优势区。\n5. **运行监控**：利用传播协方差与外点剔除比例监控估计健康度（推断建议）。\n6. **长期运行**：关注地图内存增长与 ikd-Tree 再平衡开销（推断建议）。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落\n\n本文提出 FAST-LIVO，一个快速、紧耦合的稀疏直接 LiDAR-惯性-视觉里程计系统，旨在以更低的计算代价实现准确可靠的位姿估计（Abstract、Sec. I）。系统由两个直接法子系统构成：LIO 子系统将新扫描的原始点（而非边缘/平面特征点）直接配准到增量式点云地图（沿用 FAST-LIO2 与 ikd-Tree，Sec. V-A）；VIO 子系统复用附带图像 patch 的地图点，通过最小化直接光度误差实现帧到地图的稀疏直接图像对齐，完全无需提取 ORB/FAST 等视觉特征（Sec. IV-D.2、Sec. V-B）。LiDAR 点到面残差、图像光度残差与 IMU 传播在误差状态迭代卡尔曼滤波（ESIKF）中紧耦合融合（Sec. IV-E，式 (11)）。针对位于边缘或被遮挡、深度不连续的地图点，论文提出外点剔除方法以进一步提升 VIO 的鲁棒性与精度（Sec. V-B.2、Fig. 3）。在 NTU VIRAL 公开数据集的九个序列上，系统在除 sbs_01 外的所有序列取得最低平移误差 RMSE，优于 R2LIVE、FAST-LIO2、SVO2.0 与 DVL-SLAM（Table II、Sec. VI-A）。在自采数据上，系统在 LiDAR 退化长墙场景（端到端漂移 0.05 m）与含室内外切换、无纹理白墙、剧烈运动的视觉挑战场景（79.52 m 路径端到端误差 0.04 m）中均表现稳健（Sec. VI-B、Fig. 5、Fig. 6）。系统支持多线旋转式与固态 LiDAR，可在 Intel 与 ARM（Qualcomm RB5）平台实时运行，完整处理每帧仅约 36.75 ms（Intel），显著快于 R2LIVE（Table III、Sec. VI-C）。代码与数据集已在 GitHub 开源以惠及机器人社区（Abstract 脚注 2）。\n\n### 2. 五条关键要点\n\n1. **紧耦合双直接子系统**：LIO（原始点直接配准）与 VIO（稀疏直接图像对齐）在单一 ESKF 中与 IMU 融合，LiDAR 与图像数据在测量层面耦合，而非仅状态层面拼接（Sec. III、Sec. IV-E）。\n2. **地图点复用实现测量级耦合**：VIO 直接复用 LIO 构建的点云地图并为其附加历史观测 patch，省去视觉特征提取、三角化与滑窗优化等耗时后端，是效率提升的核心来源（Sec. I 贡献 2、Sec. II-A）。\n3. **外点剔除机制**：将视觉子地图点投影至当前帧，仅保留每 40×40 像素网格中深度最低的点，并用最近 LiDAR 扫描点检测遮挡，剔除被遮挡与深度不稳定的地图点（Sec. V-B.2、Fig. 3）。\n4. **精度与鲁棒性验证充分**：NTU VIRAL 九个序列中八个取得最优 RMSE（Table II）；在 LiDAR 退化与视觉挑战实验中均保持稳健，验证了多传感器紧耦合在单传感器退化场景下的价值（Fig. 5、Fig. 6）。\n5. **高计算效率与工程实用性**：完整处理耗时 36.75 ms（Intel i7）远低于 R2LIVE 的 104.43 ms，并可在 ARM 嵌入式平台（RB5）实时运行，同时支持旋转式与固态 LiDAR（Sec. VI-C、Table III）。\n\n### 3. 核心公式/机制\n\n紧耦合 MAP 估计（式 (11)，Sec. IV-E）：LiDAR 点到面残差 $r_l$、视觉光度残差 $r_c$ 与 IMU 传播先验在流形 $\\mathcal{M}=SO(3)\\times\\mathbb{R}^{15}$ 上联合优化：\n\n$$\\min_{\\mathbf{x}_k\\in\\mathcal{M}}\\left(\\|\\mathbf{x}_k\\boxminus\\hat{\\mathbf{x}}_k\\|_{\\hat{\\mathbf{P}}_k}^{2}+\\sum_{j=1}^{m_l}\\|\\mathbf{r}_l(\\mathbf{x}_k,{}^{L}\\mathbf{p}_j)\\|_{\\boldsymbol{\\Sigma}_l}^{2}+\\sum_{i=1}^{m_c}\\|\\mathbf{r}_c(\\mathbf{x}_k,{}^{G}\\mathbf{p}_i)\\|_{\\boldsymbol{\\Sigma}_c}^{2}\\right)$$\n\n其中视觉光度残差定义为 $\\mathbf{r}_c(\\mathbf{x}_k,{}^{G}\\mathbf{p}_i)=\\mathbf{I}_k(\\boldsymbol{\\pi}({}^{I}\\mathbf{T}_C^{-1}{}^{G}\\mathbf{T}_{I_k}^{-1}{}^{G}\\mathbf{p}_i))-\\mathbf{A}_i\\mathbf{Q}_i$（式 (9)），即当前图像像素值与参考 patch 经仿射变换后的光度差。该式体现系统核心机制：收到 LiDAR 扫描时仅融合 $r_l$（$m_c=0$），收到图像时仅融合 $r_c$（$m_l=0$），二者均与 IMU 传播先验紧耦合，经切空间参数化与 Gauss-Newton 迭代求解（等价于迭代卡尔曼滤波，引用 [^27]），收敛后的状态 $\\bar{\\mathbf{x}}_k$ 与 Hessian $\\bar{\\mathbf{P}}_k$ 用于后续 IMU 传播与地图更新。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 论文结构树\n\n``nFAST-LIVO\n├── Abstract（系统概览：双直接子系统 + 紧耦合 + 外点剔除 + 开源声明）\n├── I. Introduction（动机：单传感器在退化环境失效；贡献 1-4）\n├── II. Related Works\n│   ├── A. Direct Methods（密集直接 vs 稀疏直接；LIO 源自 FAST-LIO2 [17]，VIO 类似 SVO [16] 但复用 LIO 地图点）\n│   └── B. LiDAR-Visual-Inertial SLAM（LIMO、LIC-Fusion(2.0)、VILSLAM、VILENS、R2LIVE、LVI-SAM、DVL-SLAM 对比定位）\n├── III. System Overview（双子系统 + ESIKF 总览，Fig. 1；记号表 Table I）\n├── IV. State Estimation\n│   ├── A. boxplus ⊕ / boxminus ⊟ 算子（式 (1)，流形 SO(3)×R^n 上的误差定义）\n│   ├── B. State Transition Model（状态 x ∈ SO(3)×R^15，dim=18，式 (2)-(5)）\n│   ├── C. Forward Propagation（状态与协方差传播，式 (6)-(7)；不假设 LiDAR 与图像同时到达）\n│   ├── D. Frame-to-map Measurement Model\n│   │   ├── 1) LiDAR：运动畸变补偿 + 点到面残差 r_l（式 (8)，ikd-Tree 5 近邻拟合平面）\n│   │   └── 2) Sparse-Direct Visual Alignment：光度残差 r_c（式 (9)，三层金字塔由粗到细）\n│   └── E. ESIKF Update（先验式 (10) + MAP 目标式 (11)，Gauss-Newton 迭代等价迭代卡尔曼滤波 [27]）\n├── V. Map Management\n│   ├── A. LiDAR Global Map（ikd-Tree [32]，查询/插入/删除 + 内部降采样与动态平衡）\n│   └── B. Visual Global Map\n│       ├── 1) Data Structure（0.5 m 轴对齐体素哈希；每点存位置 + 三层 8×8 patch 金字塔 + 各 patch 相机位姿）\n│       ├── 2) Visual Submap & Outlier Rejection（用上一帧 LiDAR 点查体素快速取子图；40×40 网格保最低深度 + 9×9 邻域遮挡检测，Fig. 3）\n│       └── 3) Update Visual Global Map（补 patch 条件：高光度误差且 >20 帧或 >40 像素偏移；新增点：40×40 网格内梯度最高的 LiDAR 投影点，跳过高局部曲率边缘点）\n├── VI. Experiment and Results\n│   ├── A. Benchmark Dataset（NTU-VIRAL 9 序列，Table II）\n│   ├── B. Private Dataset（硬件平台 Fig. 4；LiDAR 退化实验 Fig. 5；视觉挑战实验 Fig. 6；RGB 彩色建图 Fig. 7）\n│   └── C. Time Analysis（vs R2LIVE 总耗时；Table III Intel/ARM 耗时分解）\n└── VII. Conclusion（总结与局限）\n``n\n\n### 2. 方法/系统分解（system 原型）\n\n#### 2.1 输入与输出\n\n- **输入**：\n  - LiDAR 原始扫描点（支持多线旋转式与固态 Livox Avia 两类扫描模式，Abstract、Sec. VI-B.1）；\n  - 相机图像；\n  - IMU 高频原始测量 ω_m、a_m；\n  - 预标定外参 ^I T_L、^I T_C 与预先标定/同步的传感器时间偏移（Sec. IV-B，Table I）。\n- **输出**：\n  - 实时 6-DoF 位姿：状态 x = [^G R_I^T, ^G p_I^T, ^G v^T, b_g^T, b_a^T, ^G g^T] ∈ SO(3)×R^15（式 (3)）；\n  - 增量式 LiDAR 全局点云地图（ikd-Tree 组织，Sec. V-A）；\n  - 附带 patch 的视觉全局地图（体素哈希组织，Sec. V-B），可输出 RGB 彩色稠密点云（Fig. 7）。\n\n#### 2.2 核心模块与数据流\n\n1. **LIO 子系统**（Sec. IV-D.1）：反向传播补偿扫描内运动畸变 [^30] → 每点假设落在地图局部平面（法向量 u_j、中心 q_j）→ 点到面残差 r_l（式 (8)）→ 用预测位姿把点变换到全局系后在 ikd-Tree 查 5 近邻拟合平面，残差以 Σ_l 加权。\n2. **VIO 子系统**（Sec. IV-D.2、Sec. V-B.2）：\n   - 视觉子图提取：以最近一帧 LiDAR 点查询体素哈希表快速锁定候选体素，再做 FoV 检查，避免遍历全部体素；\n   - 外点剔除：子图点按预测位姿投影，40×40 像素网格仅保留最低深度点；再将最近 LiDAR 扫描点投影，在 9×9 邻域内按深度检查遮挡，剔除被遮挡或深度不连续的地图点（Fig. 3）；\n   - 稀疏直接帧到地图对齐：为每个地图点选取观测角最接近当前视角的参考 patch Q_i 及仿射变换 A_i，最小化光度残差 r_c（式 (9)），在三层（8×8×3 像素）金字塔上由粗到细优化，残差以 Σ_c 加权。\n3. **ESIKF 紧耦合融合**（Sec. IV-E）：IMU 前向传播给出先验（式 (10)）；LiDAR 残差与视觉残差联合构成 MAP 目标（式 (11)），经 Gauss-Newton 在切空间迭代求解（等价于迭代卡尔曼滤波 [^27]）。关键设计：LiDAR 帧到达时仅融合 r_l（m_c=0），图像帧到达时仅融合 r_c（m_l=0），两类测量异步触发更新、不假设同时到达（Sec. IV-C 末段）。\n4. **地图更新**（Sec. V）：收敛位姿 x̄_k 用于将新扫描点插入 ikd-Tree（LIO 速率）；对帧对齐后光度误差高、且距上次加 patch 超过 20 帧或参考帧像素位置偏移超过 40 像素的地图点补 8×8 patch（连同帧位姿）；当前图像 40×40 网格内梯度最高的 LiDAR 投影点被添加为新视觉地图点（跳过高局部曲率边缘点以避免不稳定点入库）。\n\n#### 2.3 优化目标（损失）\n\n式 (11)：min_{x_k∈M} ‖x_k ⊟ x̂_k‖²_{P̂_k} + Σ_j ‖r_l(x_k, ^L p_j)‖²_{Σ_l} + Σ_i ‖r_c(x_k, ^G p_i)‖²_{Σ_c}，即 IMU 传播先验项 + LiDAR 点到面残差项 + 稀疏直接视觉光度残差项的 MAP 联合最小化；无训练过程，纯运行时滤波推断。\n\n#### 2.4 运行时（推理）流程\n\nIMU 逐条前向传播（式 (6)(7)）→ LiDAR 扫描或图像任一到达即触发 ESIKF 迭代更新 → 收敛状态 x̄_k 与收敛 Hessian P̄_k 作为下一段传播初值 → 用 x̄_k 更新 ikd-Tree 与视觉全局地图 → 循环。该流程在 Intel 与 ARM 平台均可实时运行（Table III）。\n\n### 3. 重要图表解读（≥2 个）\n\n- **Fig. 1（系统总览，Sec. III）**：展示 LIO（蓝色通路）与 VIO（红色通路）两条并行数据流：LiDAR 扫描经畸变补偿后计算点到面残差；图像经视觉子图提取与外点剔除后计算光度残差；两者与 IMU 传播在同一个误差状态迭代卡尔曼滤波器中紧耦合，融合位姿再用于向全局地图追加新点。该图是理解本文「测量级耦合」（区别于 R2LIVE/LVI-SAM 的后端松耦合）的关键证据：两子系统共享同一状态向量与同一滤波器，而非各自独立估计后再融合。\n- **Fig. 2（稀疏直接视觉对齐示意，Sec. IV-D.2）**：示意通过调整当前帧 I_k 在全局系中的位姿，使视觉全局地图中的参考 patch 与当前帧对应 patch 之间的光度误差最小化，直接对应式 (9)：地图点 ^G p_i 经 ^G T_I、^I T_C 链式变换后由针孔模型 π(·) 投影到像素坐标，与仿射变换后的参考 patch A_i Q_i 做差；三层金字塔由粗到细兼顾收敛域与计算效率。\n- **Table II（NTU-VIRAL 平移误差 RMSE，Sec. VI-A）**：9 个序列中 FAST-LIVO 在 8 个序列取得最低误差（0.11–0.25 m）；唯一例外 sbs_01（0.25 m，略高于 FAST-LIO2 的 0.18 m），原因是快速 UAV 运动导致图像严重模糊，融合低质量图像无益（Sec. VI-A 分析段）。SVO2.0 在 eee_01、eee_02、sbs_02、sbs_03 直接失败（Fail 或 >2 m），DVL-SLAM 误差普遍在 1–3 m 量级；R2LIVE 整体稳定但高于 FAST-LIVO，且其在部分序列反而低于 FAST-LIO2 的现象被归因于特征式 LIO 配准点数更少（定性机理分析）。\n- **Table III（单帧平均耗时分解，Sec. VI-C）**：Intel i7 上 VIO 全流程 10.23 ms（视觉子图 1.63 + 外点剔除 2.07 + 稀疏直接对齐 3.19 + ESIKF 更新 0.42 + 视觉地图更新 2.92），LIO 26.52 ms；ARM（Qualcomm RB5，Kryo585）上 VIO 13.82 ms、LIO 51.51 ms。结合正文对比：R2LIVE 前端 45.16 ms + VIO 后端滑窗优化 59.27 ms，而 FAST-LIVO 全流程仅 36.75 ms（8 核 i7-10700U，私有数据集），直接支撑「实时、低算力、Intel/ARM 双平台」的核心声明。\n- **辅助图**：Fig. 3 给出外点剔除的原理图（遮挡/深度不连续点）与真实场景效果（红点为剔除点、绿点为保留点）；Fig. 5 展示 30 m 面前墙 LiDAR 退化场景下三系统轨迹对比；Fig. 6 展示含室内外切换、剧烈运动与无纹理白墙的视觉挑战场景 RGB 点云与轨迹；Fig. 7 展示 HKU 校园 RGB 彩色点云建图及其与真实图像的细节对照。\n\n### 4. 实验与评估细节\n\n- **数据集**：\n  - 公开：NTU-VIRAL 全部 9 个序列（eee/nya/sbs 各 3），使用左相机 + 16 线 OS1 gen1 LiDAR + 内置 IMU（Sec. VI-A，引用 [^13]）；\n  - 自采：DJI Manifold-2C（Intel i7-8550u，8 GB RAM）+ 两台工业相机 MV-CA013-21UC + Livox Avia 固态 LiDAR，STM32 定时器产生 10 Hz 硬同步触发（Livox SDK 将 1 Hz PPS 自动分频为 10 Hz）（Sec. VI-B.1，Fig. 4）。\n- **评估指标**：绝对平移误差 RMSE（米，Table II）；端到端漂移（LiDAR 退化场景 0.05 m，Fig. 5；视觉挑战场景 0.04 m / 总路径 79.52 m，Fig. 6）；单帧平均耗时 ms（Sec. VI-C，Table III）。\n- **对比目标**：R2LIVE（特征式紧耦合 LIVO）、FAST-LIO2（直接 LIO）、SVO2.0（半直接 VIO）、DVL-SLAM（直接 LiDAR-Visual SLAM）。\n- **公平性措施**（Sec. VI-A）：所有方法在全部序列使用同一套参数；除 DVL-SLAM 外均为无回环里程计，故移除 DVL-SLAM 的回环模块（保留滑窗优化以尽量保持精度）并开源修改版；FAST-LIO2、R2LIVE、DVL-SLAM 使用官方户外推荐参数；SVO2.0 的网格大小、特征选择阈值与滑窗大小被调至作者所能取得的最优结果。\n- **消融/退化分析（类消融讨论）**：\n  - LiDAR 退化实验（约 30 m 面前墙）：沿墙方向缺乏约束使 FAST-LIO2 漂移，墙上高度重复的视觉特征使 SVO2.0 漂移，FAST-LIVO 端到端漂移最低 0.05 m（Sec. VI-B.2，Fig. 5）；\n  - 视觉挑战实验（室内→室外、室外→室内、两次剧烈运动、无纹理白墙）：端到端误差 0.04 m / 79.52 m（Sec. VI-B.3，Fig. 6）；\n  - 定性机理分析：sbs_01 上不敌 FAST-LIO2 归因于图像模糊；R2LIVE 部分序列不及 FAST-LIO2 归因于特征式 LIO 配准点数少而直接法配准更多原始点（Sec. VI-A）。\n- **效率对比**（Sec. VI-C）：R2LIVE 前端 45.16 ms + VIO 后端滑窗 59.27 ms，FAST-LIVO 全流程 36.75 ms；Table III 进一步给出 Intel 与 ARM 双平台的模块级耗时分解，验证实时性余量。\n\n### 5. 系统架构图（适配 system 原型）\n\nmermaid\nflowchart LR\n  subgraph Sensors[传感器输入]\n    IMU[IMU 测量 u_i]\n    L[LiDAR 扫描]\n    C[图像 I_k]\n  end\n  IMU --> FP[前向传播 式(6)(7)]\n  FP -->|先验 x̂_k, P̂_k| ESIKF\n  L --> DC[反向传播畸变补偿]\n  DC --> LM[点到面残差 r_l 式(8)<br/>ikd-Tree 5近邻平面拟合]\n  LM --> ESIKF[ESIKF MAP 融合 式(11)]\n  C --> VS[视觉子图提取<br/>体素哈希 + FoV 检查]\n  VS --> OR[外点剔除<br/>遮挡/深度不连续 Fig.3]\n  OR --> VA[稀疏直接帧到地图对齐 r_c 式(9)<br/>三层金字塔由粗到细]\n  VA --> ESIKF\n  ESIKF -->|收敛位姿 x̄_k| MU1[ikd-Tree 插入新点<br/>LiDAR 全局地图]\n  ESIKF -->|收敛位姿 x̄_k| MU2[视觉全局地图更新<br/>补 patch / 新增地图点]\n  MU1 -.地图查询.-> LM\n  MU2 -.地图查询.-> VS\n``n\n该图概括了 FAST-LIVO 作为 system 的完整运行闭环：三类传感器数据 → 两个直接法残差前端 → 单一 ESKIF 紧耦合后端 → 双地图增量更新，并经 Table II/III 与 Fig. 5/6 的实验链路验证其精度、鲁棒性与实时性声明。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍精读深审（Third-pass Deep Review）\n\n### 1. 可复现性重构（Reconstructability）\n\n# 核心算法伪代码（基于 Sec. III–V 与式 (1)–(11) 重构）：\n\n``n初始化: 状态 x ∈ SO(3)×R^15（18 维，式(3)），协方差 P\n全局地图: LiDAR ikd-Tree（Sec. V-A）+ 体素哈希视觉地图\n         （0.5 m 体素，8×8×3 patch 金字塔，Sec. V-B.1）\n\nloop 每个传感器事件:\n\n### 前向传播（Sec. IV-C）\n\n  while 收到 IMU 测量 u_i:\n    x̂_{i+1} = x̂_i ⊞ Δt·f(x̂_i, u_i, 0)            # 式(6)\n    P̂_{i+1} = F_{δx̂} P̂ F_{δx̂}^T + F_w Q F_w^T # 式(7)\n\n  if 收到 LiDAR 扫描 @ t_k:\n    1. 反向传播补偿运动畸变（Sec. IV-D.1，引 [30]）\n    2. 对每点 ^L p_j: 用预测位姿变换到全局系，ikd-Tree 查询最近 5 点\n       拟合平面 (u_j, q_j)；残差 r_l = u_j^T(^G T_Ik ^I T_L ^L p_j − q_j) # 式(8)\n    3. ESIKF 更新（式(11)，m_c=0）：Gauss-Newton 迭代至收敛 → x̄_k, P̄_k\n    4. 用 x̄_k 将扫描点插入 ikd-Tree（Sec. V-A）\n\n  if 收到图像 @ t_k:\n    1. 视觉子图: 用上一扫描点查询体素哈希表 → FoV 检查（Sec. V-B.2）\n    2. 外点剔除: 子图点投影至当前帧，40×40 网格保留最低深度；\n       最新 LiDAR 扫描点投影检查 9×9 邻域遮挡（Fig. 3）\n    3. 稀疏直接对齐（Sec. IV-D.2）: 选观测角最近的参考 patch Q_i，\n       3 层由粗到细最小化 r_c = I_k(π(^I T_C^{-1} ^G T_Ik^{-1} ^G p_i)) − A_i Q_i # 式(9)\n    4. ESIKF 更新（式(11)，m_l=0）→ x̄_k\n    5. 更新视觉地图（Sec. V-B.3）: 高光度误差点且距上次加 patch >20 帧\n       或 >40 像素 → 添加新 patch；40×40 网格中梯度最高的 LiDAR 投影点\n       → 新地图点（跳过高局部曲率边缘点）\n``n\n**重构缺口（需回溯外部文献）：**\n\n- 雅可比 F_{δx̂} 与 F_w 的具体表达式未给出，指向引用 [^11][^30]（Sec. IV-C）；\n- ESIKF 的流形实现细节指向引用 [^31]（Sec. IV 开头）；\n- 仿射变换 A_i 的计算方式与光度协方差 Σ_c 的具体取值未详述（Sec. IV-D.2）；\n- ikd-Tree 内部机制（查询/插入/删减/再平衡）指向引用 [^32]。\n\n**结论**：主流程（式 (1)–(11) + Sec. V 地图管理）信息完整度较高，配合开源代码可复现；但滤波器实现细节依赖前置文献 FAST-LIO / R2LIVE，独立复现需额外回溯。\n\n### 2. 关键假设（Assumptions）\n\n- **时间同步已知**：LiDAR、IMU、相机三者间时间偏移已知，可预先标定或硬件同步（Sec. IV-B；私有设备用 STM32 触发 10 Hz 同步，Sec. VI-B.1）。\n- **刚性安装与外参预标定**：三传感器刚性连接，外参 ^I T_L、^I T_C 预先标定（Sec. IV-B, Table I）。\n- **局部平面假设**：每个 LiDAR 点落在地图中邻域平面上，用最近 5 点拟合平面法线与中心（Sec. IV-D.1, 式(8)）。\n- **光度一致性**：直接法对齐假设同一物点在参考 patch 与当前图像间亮度不变，仅以仿射矩阵 A_i 补偿视角变化（Sec. IV-D.2, 式(9)）。\n- **FoV 重叠假设**：相机 FoV 与 LiDAR FoV 大致重叠，视觉子图可由上一扫描点所在体素近似获得（Sec. V-B.2）。\n- **噪声模型**：IMU 测量噪声为高斯，bias 建模为高斯驱动的随机游走（Sec. IV-B）。\n\n### 3. 失效模式与盲点（Failure Modes / Blind Spots）\n\n- **图像模糊退化**：sbs_01 序列中 UAV 快速运动导致图像严重模糊，融合低质量图像反而降低精度，误差高于纯 LIO 的 FAST-LIO2（Table II, Sec. VI-A）——系统缺乏图像质量感知的自适应加权机制。\n- **光照/曝光变化敏感性**：直接光度误差对光照突变与自动曝光敏感（Sec. II-A 承认直接法依赖良好初始化），室内外切换实验（Fig. 6）未提供光度鲁棒性的定量消融。\n- **视觉子图依赖 LiDAR 覆盖**：若相机视点超出最近 LiDAR 扫描覆盖（FoV 重叠弱），子图提取会漏点，VIO 精度退化（Sec. V-B.2 方法性局限，文中未实验验证该边界条件）。\n- **无回环检测**：系统为纯里程计，长航时/大回环场景的累积漂移不可消除（Sec. VI-A 对比设置中明确移除 DVL-SLAM 回环模块以公平比较）。\n\n### 4. 优点与不足（Strengths & Weaknesses）\n\n## 优点：\n\n1. **测量级紧耦合与地图复用**：VIO 直接复用 LIO 点云地图并附加 patch，省去特征提取、三角化与滑窗优化后端，总耗时 36.75 ms，显著低于 R2LIVE 的 45.16 + 59.27 ms（Sec. I 贡献 2, Sec. VI-C）。\n2. **跨平台实时性**：Intel i7 上 VIO 10.23 ms / LIO 26.52 ms；ARM（Qualcomm RB5）上 13.82 ms / 51.51 ms，均有充足实时余量（Table III）。\n3. **精度领先**：NTU-VIRAL 9 序列中 8 个取得最低平移 RMSE（0.11–0.25 m，Table II）；LiDAR 退化场景端到端漂移仅 0.05 m（Fig. 5）；视觉挑战场景 79.52 m 路径误差仅 0.04 m（Fig. 6）。\n4. **传感器兼容性广**：同时支持多线旋转式与固态 LiDAR（Livox Avia）两种截然不同的扫描模式（Abstract, Sec. VI-B）。\n\n## 不足：\n\n1. **无回环与全局优化**：仅停留在里程计层面，长期一致性未解决（Sec. VI-A）。\n2. **对图像质量敏感**：模糊、低纹理直接削弱视觉约束收益，甚至反向拖累融合（sbs_01, Sec. VI-A）。\n3. **直接法固有依赖**：依赖良好状态初始化，光照变化下光度一致性假设易被破坏（Sec. II-A）。\n4. **工程细节外置与经验超参**：雅可比、滤波器实现依赖前置文献；patch 更新的 20 帧 / 40 像素阈值、40×40 网格等均为经验设置，缺乏敏感性分析（Sec. IV-C, V-B.2, V-B.3）。\n\n### 5. 后续研究方向（Next-step Research）\n\n- **引入回环检测与全局位姿图优化**：在保持直接法效率的前提下叠加轻量回环模块，解决长航时漂移（呼应 Sec. VI-A 对比设置中缺失的能力）。\n- **光度鲁棒性增强**：加入在线曝光/增益补偿或鲁棒核函数，提升室内外光照突变下直接对齐的稳定性（针对 Fig. 6 场景与 Sec. II-A 局限）。\n- **图像质量自适应融合**：依据模糊度/图像梯度统计动态调整视觉残差权重 Σ_c，避免低质量图像拖累融合精度（针对 sbs_01 失利，Table II）。\n- **扩展多相机与非重叠 FoV 配置**：放宽视觉子图对 LiDAR-Camera FoV 重叠的依赖（Sec. V-B.2），适配更广泛的传感器布局与固态 LiDAR 的小 FoV 特性。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（35 条，按「基础概念 → 系统框架 → 测量模型 → 地图管理 → 实验评测」排序）\n\n#### 1. SLAM（Simultaneous Localization and Mapping，同步定位与建图）\n\n- **定义**：在未知环境中同时估计传感器位姿并增量构建环境地图的问题。\n- **直觉**：一边走一边画地图，同时借助地图确定自己在哪里。\n- **论文中的作用**：任务背景与定位（Abstract、Sec. I）；FAST-LIVO 是面向 SLAM 的多传感器融合状态估计方案。\n- **先修知识**：机器人状态估计基础。\n\n#### 2. Odometry（里程计）\n\n- **定义**：仅靠递推估计相邻时刻相对运动、不含回环修正的位姿估计方式。\n- **直觉**：像计步器一样累积运动，误差会随时间漂移。\n- **论文中的作用**：FAST-LIVO 本质为 LIVO 里程计；对比实验中除 DVL-SLAM 外均移除回环以保证公平（Sec. VI-A）。\n- **先修知识**：SLAM 基本概念。\n\n#### 3. LIVO（LiDAR-Inertial-Visual Odometry，激光-惯性-视觉里程计）\n\n- **定义**：同时融合 LiDAR、IMU 与相机三种测量的里程计框架。\n- **直觉**：LiDAR 管几何、相机管纹理、IMU 管高频运动，三者互补。\n- **论文中的作用**：系统类别；与 R2LIVE、LVI-SAM 同类（Sec. I、II-B）。\n- **先修知识**：多传感器融合概念。\n\n#### 4. Tightly-coupled（紧耦合）\n\n- **定义**：在单一估计器中直接融合原始测量级残差，而非各子系统先独立解算位姿再融合。\n- **直觉**：所有原始观测进同一个滤波器联合优化，而不是各自算完再汇报。\n- **论文中的作用**：标题核心卖点；LiDAR 点到面残差与视觉光度误差在同一 MAP 问题中联合求解（式 (11)）。\n- **先修知识**：卡尔曼滤波、测量模型。\n\n#### 5. Direct method（直接法）\n\n- **定义**：跳过特征提取与匹配，直接以原始测量（像素光度、点到面距离）构造残差优化位姿（Sec. II-A，引用 [^15] [^16] [^17]）。\n- **直觉**：不找地标，直接比较原始读数是否吻合。\n- **论文中的作用**：LIO 与 VIO 两个子系统共同的方法论基础；省去耗时的特征提取与匹配。\n- **先修知识**：非线性最小二乘、图像与 LiDAR 测量模型。\n\n#### 6. Feature-based method（基于特征的方法）\n\n- **定义**：先提取角点/边缘等特征并匹配描述子，再优化重投影误差的方法（如 ORB-SLAM、LOAM）。\n- **直觉**：先找地标再对齐。\n- **论文中的作用**：主要对比类别（R2LIVE、LVI-SAM），计算代价更高（Sec. II-A/B）。\n- **先修知识**：特征提取与描述子。\n\n#### 7. Sparse-direct image alignment（稀疏直接图像对齐）\n\n- **定义**：仅选取少量地图点上的图像 patch，最小化其光度误差来估计位姿（类似 SVO，引用 [^16]）。\n- **直觉**：在图像上选少量小窗口比亮度，而非整幅图逐像素比较。\n- **论文中的作用**：VIO 子系统核心算法（Sec. IV-D.2），是标题中 sparse-direct 的来源。\n- **先修知识**：直接法、光度误差。\n\n#### 8. Photometric error（光度误差）\n\n- **定义**：参考 patch 与当前图像对应位置像素灰度之差，构成视觉残差 r_c（式 (9)）。\n- **直觉**：假设同一物理点灰度不变，灰度差小说明位姿对。\n- **论文中的作用**：VIO 测量模型的核心残差。\n- **先修知识**：灰度一致性假设、图像采样。\n\n#### 9. ESIKF（Error-State Iterated Kalman Filter，误差状态迭代卡尔曼滤波）\n\n- **定义**：在流形切空间（误差状态）上迭代线性化并更新的卡尔曼滤波，等价于对 MAP 问题的 Gauss-Newton 迭代（Sec. IV-E，引用 [^27][^31]）。\n- **直觉**：把弯曲空间上的优化转化为切平面上反复进行的卡尔曼更新。\n- **论文中的作用**：全系统状态估计框架（Sec. IV）。\n- **先修知识**：卡尔曼滤波、李群/流形基础。\n\n#### 10. boxplus ⊕ / boxminus ⊟（流形加/减算子）\n\n- **定义**：在 M = SO(3)×R^n 上定义的状态与扰动组合、两状态求差的运算（Sec. IV-A）。\n- **直觉**：旋转不能直接相加减，需经旋转向量与 Exp/Log 映射。\n- **论文中的作用**：状态转移（式 (2)）、误差定义 δx = x ⊟ x̂ 与迭代更新的数学基础。\n- **先修知识**：SO(3)、Rodrigues 公式。\n\n#### 11. SO(3) 与 Exp/Log 映射\n\n- **定义**：三维旋转群；Exp/Log 在旋转矩阵与旋转向量间双向转换，由 Rodrigues 公式给出（脚注 3）。\n- **直觉**：旋转的对数坐标表示。\n- **论文中的作用**：状态流形 M 的构成与 ⊕/⊟ 算子的实现。\n- **先修知识**：线性代数、李群初步。\n\n#### 12. State vector x（状态向量）\n\n- **定义**：x = [R_I, p_I, v, b_g, b_a, g] ∈ M = SO(3)×R^15，含 IMU 姿态、位置、速度、零偏与全局重力向量（Sec. IV-B，式 (3)(4)）。\n- **直觉**：描述在哪、朝哪、多快、传感器偏了多少、重力朝哪。\n- **论文中的作用**：滤波器的估计对象；重力在线估计免去外部姿态初始化。\n- **先修知识**：刚体运动、IMU 模型。\n\n#### 13. IMU bias（b_g、b_a，零偏）\n\n- **定义**：陀螺仪/加速度计的系统误差，建模为高斯噪声驱动的随机游走（Sec. IV-B）。\n- **直觉**：传感器读数中缓慢漂移的底数。\n- **论文中的作用**：作为状态分量在线估计，保证长时精度。\n- **先修知识**：IMU 测量模型、随机过程。\n\n#### 14. Forward propagation（前向传播）\n\n- **定义**：用每个 IMU 输入按状态转移模型递推预测状态与协方差（Sec. IV-C，式 (6)(7)）。\n- **直觉**：两次相机/LiDAR 观测之间靠 IMU 盲推。\n- **论文中的作用**：为 LiDAR 或图像更新提供先验分布（式 (10)）。\n- **先修知识**：ESKF、协方差传播。\n\n#### 15. Motion distortion compensation / backward propagation（运动畸变补偿/反向传播）\n\n- **定义**：扫描期间传感器在运动导致点云畸变，用反向传播把各点统一补偿到扫描结束时刻（Sec. III、IV-D.1，引用 [^30]）。\n- **直觉**：把歪着扫的点云掰直。\n- **论文中的作用**：LIO 测量模型的前置步骤，使扫描点可视为同一时刻采样。\n- **先修知识**：LiDAR 扫描机制。\n\n#### 16. Point-to-plane residual（点到面残差）\n\n- **定义**：假设扫描点位于地图局部平面上，残差为 u_j^T(变换后点 − 平面中心 q_j)（式 (8)）。\n- **直觉**：点到它应该贴着的平面的有符号距离。\n- **论文中的作用**：LIO 子系统的测量残差；邻近平面由 ikd-Tree 最近 5 点拟合。\n- **先修知识**：平面拟合、最小二乘。\n\n#### 17. Frame-to-map alignment（帧到地图对齐）\n\n- **定义**：将当前帧（扫描/图像）直接对齐到累积全局地图，而非对齐到上一帧。\n- **直觉**：和整本账对而不是和上一页对，累积漂移更小。\n- **论文中的作用**：LIO 与 VIO 共同采用；是与 DVL-SLAM 帧到帧对齐的关键区别（Sec. II-B、IV-D.2）。\n- **先修知识**：scan-to-map 配准概念。\n\n#### 18. ikd-Tree（增量式 kd 树）\n\n- **定义**：支持增量插入/删除/查询、内部降采样与子树动态再平衡的 kd 树（Sec. V-A，引用 [^17][^32]）。\n- **直觉**：能边用边长、还会自我整理的点云索引。\n- **论文中的作用**：组织 LiDAR 全局地图，支持最近邻查询与平面拟合。\n- **先修知识**：kd 树、最近邻搜索。\n\n#### 19. Visual global map（视觉全局地图）\n\n- **定义**：由历史 LiDAR 点构成、每点附带多视角 patch 金字塔及对应相机位姿的地图（Sec. V-B.1）。\n- **直觉**：给 3D 点贴上不同角度拍下的照片碎片。\n- **论文中的作用**：VIO 复用 LIO 地图点的载体，实现两传感器测量级耦合（Sec. I 贡献 2）。\n- **先修知识**：点云地图、图像 patch。\n\n#### 20. Voxel hash（体素哈希）\n\n- **定义**：以 0.5 m 轴对齐体素组织地图点并用哈希表索引（Sec. V-B.1）。\n- **直觉**：把空间切成小格子并编号，快速查哪些格子在我眼前。\n- **论文中的作用**：视觉子地图提取的数据结构基础。\n- **先修知识**：哈希表、空间划分。\n\n#### 21. Visual submap（视觉子地图）\n\n- **定义**：当前相机 FoV 内的地图点集合；通过查询上一扫描点所在体素再做 FoV 检查高效获得（Sec. V-B.2）。\n- **直觉**：全局地图中现在看得见的一小撮点。\n- **论文中的作用**：限定视觉对齐的参与点数，显著降低计算量（Table III 中 Visual Submap 仅 1.63 ms）。\n- **先修知识**：FoV、体素哈希。\n\n#### 22. Outlier rejection（外点剔除）\n\n- **定义**：剔除当前视角被遮挡或深度不连续的地图点：先按 40×40 像素网格保留最低深度点，再用最新 LiDAR 扫描点在 9×9 邻域内做遮挡检查（Sec. V-B.2、Fig. 3）。\n- **直觉**：把看不见却硬要参与对齐的点请出去。\n- **论文中的作用**：论文贡献之一，提升 VIO 精度与鲁棒性（Abstract、Sec. I）。\n- **先修知识**：深度测试、z-buffer 思想。\n\n#### 23. Patch pyramid（图像块金字塔）\n\n- **定义**：地图点附带的 8×8 像素、三层逐级减采样的图像块集合（Sec. V-B.1）。\n- **直觉**：同一小块图像的多分辨率版本。\n- **论文中的作用**：支持由粗到细的光度对齐；更新策略保证视角均匀分布（Sec. V-B.3）。\n- **先修知识**：图像金字塔。\n\n#### 24. Coarse-to-fine optimization（由粗到细优化）\n\n- **定义**：在三层图像金字塔上从最粗层开始迭代优化，收敛后进入更细层（Sec. IV-D.2）。\n- **直觉**：先粗对再精修，避免大位移时陷入局部极小。\n- **论文中的作用**：稀疏直接视觉对齐的求解策略。\n- **先修知识**：图像金字塔、非线性优化。\n\n#### 25. Affine warp matrix A_i（仿射变换矩阵）\n\n- **定义**：参考 patch 投影到当前图像金字塔层时校正视角与尺度变化的仿射变换（Sec. IV-D.2）。\n- **直觉**：把旧照片适当拉伸旋转以匹配新照片。\n- **论文中的作用**：式 (9) 中参考 patch Q_i 的预处理。\n- **先修知识**：仿射变换、光度对齐（SVO）。\n\n#### 26. Pinhole projection π(·)（针孔投影模型）\n\n- **定义**：将相机系 3D 点映射到像素坐标的投影函数（式 (9)）。\n- **直觉**：小孔成像的数学化。\n- **论文中的作用**：把地图点变换到当前图像像素位置以计算光度误差。\n- **先修知识**：相机模型、内外参。\n\n#### 27. Extrinsics（外参，^I T_L、^I T_C）\n\n- **定义**：LiDAR/相机坐标系相对 IMU 体坐标系的刚体变换，假设预先标定（Sec. IV-B、Table I）。\n- **直觉**：不同传感器之间的相对安装关系。\n- **论文中的作用**：把所有测量统一到 IMU 体坐标系，是紧耦合的前提。\n- **先修知识**：刚体变换、传感器标定。\n\n#### 28. MAP estimation（最大后验估计）\n\n- **定义**：结合 IMU 传播先验与多源测量残差，最小化加权代价函数求 x_k（式 (10)(11)）。\n- **直觉**：在预测与观测之间找最可信的折中。\n- **论文中的作用**：ESIKF 更新的概率解释；LiDAR 与视觉残差在此框架内紧耦合。\n- **先修知识**：贝叶斯估计、马氏距离。\n\n#### 29. Gauss-Newton method（高斯牛顿法）\n\n- **定义**：迭代线性化残差以求解非线性最小二乘的方法；文中引用其与迭代卡尔曼滤波的等价性（Sec. IV-E，引用 [^27]）。\n- **直觉**：反复做局部线性化加解线性方程以逼近最优。\n- **论文中的作用**：求解式 (11) 非凸优化的实际算法。\n- **先修知识**：非线性最小二乘、雅可比矩阵。\n\n#### 30. FoV（Field of View，视场）\n\n- **定义**：传感器可观测的角度范围；系统利用 LiDAR 与相机 FoV 的重叠加速子地图提取（Sec. V-B.2）。\n- **直觉**：眼睛能看到的范围。\n- **论文中的作用**：视觉子地图筛选条件的设计依据。\n- **先修知识**：相机/激光雷达参数。\n\n#### 31. LiDAR degeneracy（LiDAR 退化）\n\n- **定义**：环境中几何约束不足（如约 30 m 长直墙的沿墙方向无约束）导致 LIO 漂移（Sec. VI-B.2、Fig. 5）。\n- **直觉**：走廊里分不清沿走廊走了多远。\n- **论文中的作用**：私有数据实验场景，验证视觉信息对 LiDAR 退化的补偿（端到端漂移仅 0.05 m）。\n- **先修知识**：可观测性概念。\n\n#### 32. Texture-less / image blur（弱纹理/图像模糊）\n\n- **定义**：场景缺乏视觉特征或运动导致成像模糊，使 VIO 退化甚至失败（Sec. VI-A sbs_01 分析、VI-B.3）。\n- **直觉**：白墙上看不出移动；照片糊了比不了亮度。\n- **论文中的作用**：视觉挑战实验（Fig. 6）与对比结果解释的关键要素。\n- **先修知识**：视觉里程计失效模式。\n\n#### 33. NTU VIRAL Dataset\n\n- **定义**：含左相机、16 线 OS1 LiDAR 及内置 IMU 的公开数据集，共 9 条序列（Sec. VI-A，引用 [^13]）。\n- **直觉**：标准考卷，用于公平定量对比。\n- **论文中的作用**：基准实验来源（Table II 的 RMSE 对比）。\n- **先修知识**：数据集评测协议。\n\n#### 34. Loop closure（回环检测）\n\n- **定义**：识别重访地点并消除累积漂移的模块；本文系统不含回环，对比时移除 DVL-SLAM 的回环模块（Sec. VI-A）。\n- **直觉**：认出我来过这里以纠错。\n- **论文中的作用**：界定本文为纯里程计并保证对比公平性。\n- **先修知识**：SLAM 回环概念。\n\n#### 35. RMSE（Root Mean Square Error，均方根误差）\n\n- **定义**：绝对平移误差的均方根，Table II 的评测指标（单位：米）。\n- **直觉**：轨迹误差的平均大小。\n- **论文中的作用**：定量对比指标；FAST-LIVO 在 9 条序列中 8 条最优。\n- **先修知识**：误差统计。\n\n### 二、概念依赖图（文本形式）\n\n【问题层】SLAM / Odometry\n　└─【系统层】LIVO（LIO 子系统 + VIO 子系统 + IMU 融合）\n　　├─ Tightly-coupled fusion（紧耦合思想，标题核心）\n　　│　└─【估计框架】ESIKF\n　　│　　├─ MAP estimation ← Gauss-Newton（等价性，引用 [^27]）\n　　│　　├─ State vector x ∈ M = SO(3)×R^15\n　　│　　│　├─ SO(3) 与 Exp/Log（Rodrigues 公式）\n　　│　　│　├─ boxplus ⊕ / boxminus ⊟\n　　│　　│　└─ IMU bias（随机游走模型）\n　　│　　├─ Forward propagation（IMU 先验）\n　　│　　│　└─ 状态转移模型 + 协方差传播（F_δx̂、F_w、Q）\n　　│　　└─【测量层】Frame-to-map measurement model\n　　│　　　├─ LiDAR 分支：运动畸变补偿 → 点到面残差\n　　│　　　│　└─ ikd-Tree（最近邻查询 → 平面拟合）\n　　│　　　└─ Visual 分支：视觉子地图 → 外点剔除 → 稀疏直接对齐\n　　│　　　　├─ Visual global map（体素哈希 + patch 金字塔）\n　　│　　　　├─ Photometric error + Affine warp + 针孔投影 π(·)\n　　│　　　　└─ Coarse-to-fine（图像金字塔）\n　　└─【地图层】Map management\n　　　├─ LiDAR global map（ikd-Tree）\n　　　└─ Visual global map 更新（patch 添加策略 + 新点选择：网格内梯度最大、剔除边缘点）\n\n【方法论谱系】（Sec. II）\n　├─ Direct method（dense / sparse）← 本文 LIO 与 VIO 的共同基础\n　├─ Feature-based method（R2LIVE、LVI-SAM、LOAM）← 精度/效率对比对象\n　└─ DVL-SLAM（帧到帧直接视觉-激光）← 最近相关工作；本文改为帧到地图 + IMU 紧耦合\n\n【实验验证概念】（Sec. VI）\n　├─ NTU VIRAL Dataset → RMSE 对比（Table II）\n　├─ LiDAR 退化 / 弱纹理 / 室内外切换 → 鲁棒性场景（Fig. 5、Fig. 6）\n　└─ Intel / ARM 耗时分解 → 实时性声明（Table III）\n\n【阅读依赖建议】先掌握条目 5/9/10/11（直接法与流形滤波基础），再进入条目 14-17（传播与测量模型），最后读条目 19-24（视觉地图与对齐），即可覆盖论文核心概念链条；条目 31-35 服务于实验部分理解。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证与引用核查\n\n### 1. 关键事实性声明核查（每条给出≥2个文内来源）\n\n**声明 G1：FAST-LIVO 在 NTU VIRAL 九个序列上总体精度优于对比方法（除 sbs_01 略逊于 FAST-LIO2）**\n\n- 来源 1：Abstract（\"The results show our proposed system outperforms other counterparts\"）。\n- 来源 2：Sec. VI-A 与 Table II（如 eee_01：FAST-LIVO 0.19 m vs R2LIVE 0.45 m、DVL-SLAM 2.88 m；sbs_01：FAST-LIVO 0.25 m > FAST-LIO2 0.18 m）。\n- 核验结论：Table II 数值与正文叙述一致；sbs_01 例外情况与正文解释（快速 UAV 运动导致图像严重模糊）自洽。SVO2.0 在 eee_01、eee_02、sbs_02、sbs_03 失败的描述亦与 Table II 中 \"Fail\" 标注吻合。\n\n### 声明 G2：系统可在 Intel 与 ARM 处理器上实时运行\n\n- 来源 1：Abstract 与 Sec. I 贡献 3（\"run in real-time on both Intel and ARM processors\"）。\n- 来源 2：Sec. VI-C 与 Table III（Intel：VIO 10.23 ms + LIO 26.52 ms；ARM（Qualcomm Kryo585 RB5）：VIO 13.82 ms + LIO 51.51 ms）。\n- 核验结论：Table III 分项加和（26.52+10.23=36.75 ms）与正文所述完整处理耗时 36.75 ms 精确吻合，内部一致性良好，实时性声明成立。\n\n### 声明 G3：FAST-LIVO 计算耗时显著低于 R2LIVE\n\n- 来源 1：Sec. VI-C（R2LIVE 前端 45.16 ms + VIO 后端滑窗优化 59.27 ms vs FAST-LIVO 全流程 36.75 ms）。\n- 来源 2：Sec. II-B（特征提取与滑窗优化代价高的定性论述）。\n- 核验结论：45.16+59.27=104.43 ms，约为 FAST-LIVO 的 2.8 倍，与 \"reduced computation cost\" 声明一致。\n\n### 声明 G4：LIO 子系统直接沿用 FAST-LIO2（ikd-Tree 地图、反向传播去畸变、点到面残差）\n\n- 来源 1：Sec. II-A（\"The LIO of our system is directly adapted from FAST-LIO2 [^17]\"）。\n- 来源 2：Sec. IV-D.1（反向传播引用 [^30]，5 近邻拟合平面）与 Sec. V-A（ikd-Tree [^17][^32] 地图管理）。\n- 核验结论：文内多处交叉印证；但协方差传播的雅可比 F_δx̂ 与 F_w 具体表达式指向 [^11][^30]，文内未给出，需回溯原文核验。\n\n## 声明 G5：VIO 采用稀疏直接帧到地图图像对齐，复用 LIO 地图点并附加图像 patch\n\n- 来源 1：Abstract 与 Sec. I 贡献 2（避免视觉特征提取、三角化与优化，测量级耦合）。\n- 来源 2：Sec. IV-D.2 式 (9)（光度误差模型、三层图像金字塔 coarse-to-fine）与 Sec. V-B（0.5 m 体素哈希地图、8×8×3 patch 金字塔、20 帧/40 像素补丁更新规则）。\n- 核验结论：Sec. III/IV/V 描述一致；与 DVL-SLAM 的差异（帧到地图对齐 + IMU 紧耦合 + 外点剔除）在 Sec. II-B 明确陈述。\n\n## 声明 G6：外点剔除方法剔除遮挡与深度不连续地图点\n\n- 来源 1：Abstract 与 Sec. III（\"rejects the outlier (points that are occluded or have depth discontinuity)\"）。\n- 来源 2：Sec. V-B.2 与 Fig. 3（40×40 像素网格保留最低深度点、最近 LiDAR 扫描投影 9×9 邻域深度遮挡检查）。\n- 核验结论：图文一致，机制描述完整可复现。\n\n## 声明 G7：LiDAR 退化实验端到端漂移 0.05 m；视觉挑战实验 79.52 m 路径端到端误差 0.04 m\n\n- 来源 1：Sec. VI-B.2 与 Fig. 5（约 30 m 长墙场景，对比 FAST-LIO2 与 SVO2.0）。\n- 来源 2：Sec. VI-B.3 与 Fig. 6（室内外切换、剧烈运动、无纹理白墙）。\n- 核验结论：数值仅来自正文自述（自采数据），无第三方交叉验证；复现依赖其声明开源的数据集（URL 未在文中给出）。\n\n## 声明 G8：硬件同步方案（STM32 产生 10 Hz 触发，Livox PPS 仅支持 1 Hz、由 SDK 自动分频为 10 Hz）\n\n- 来源 1：Sec. VI-B.1（设备清单：DJI Manifold-2C i7-8550u/8GB、两台 MV-CA013-21UC 工业相机、Livox Avia）。\n- 来源 2：Fig. 4(b) 硬件同步框图。\n- 核验结论：文内一致；Livox SDK 分频行为需对照 Livox 官方文档做外部核验。\n\n### 2. 冲突与不确定性说明\n\n- **发表载体缺失**：正文未标注会议/期刊名称与年份；由 IEEE 双栏会议模板与体例推断为 IEEE 机器人会议论文（外部信息指向 ICRA 2022，文内无法核验）。\n- **作者单位不完整**：全部作者仅标上标 \"1\"，未给出单位全称；据致谢（HKU campus 实验、香港研资局 Project 17206421）推断为香港大学，属合理推断而非文中明示。\n- **链接缺失**：Abstract 脚注 2（GitHub 开源代码与数据集）、脚注 4（OS1 gen1 说明）、脚注 5（修改版 DVL-SLAM）的具体 URL 未包含在当前文档中，无法核验开源实现与论文描述的一致性。\n- **处理器型号疑点**：Sec. VI-C 称桌面平台为 \"8-core Intel Core i7-10700U\"；该命名与 Intel 产品线惯例不符（i7-10700 为桌面 8 核，i7-10710U 为移动端 6 核），疑为笔误，需外部核验。\n- **参考文献 [^27] 格式异常**：\"C. F. W. Bell B.M.\" 疑为排版错误，应为 B. M. Bell, \"The iterated Kalman filter update as a Gauss-Newton method,\" IEEE Transactions on Automatic Control, vol. 38, no. 2, 1993。\n- **引用文献时效状态**：[^13] NTU VIRAL 标注 \"accepted, to appear\"（2021）；[^17] FAST-LIO2 标注 \"pp. 1-21, 2022\"（early access）；引用时需检索最新正式版本。\n- **对比公平性依赖修改**：Sec. VI-A 称除 DVL-SLAM 外各系统均无回环，故移除 DVL-SLAM 回环模块后对比；该修改版仅以脚注 5 声明开源，公平性核验依赖其代码。\n- **内部一致性小冲突**：Sec. VI-A 称 FAST-LIO2 使用 \"recommended parameters for outdoor scenarios\"，而 SVO2.0 参数为作者调优至最佳，两者调参策略不同，可能引入轻微不公平。\n- **雅可比矩阵缺失**：F_δx̂ 与 F_w 未在文中给出（Sec. IV-C 指向 [^11][^30]），状态估计复现需回溯前置文献。\n\n### 3. 参考文献列表（文内 REFERENCES 全录，共 33 条）\n\n1. R. Mur-Artal and J. D. Tardós, \"ORB-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras,\" IEEE Transactions on Robotics, vol. 33, no. 5, pp. 1255–1262, 2017.\n2. J. Engel, V. Koltun, and D. Cremers, \"Direct sparse odometry,\" IEEE TPAMI, vol. 40, no. 3, pp. 611–625, 2017.\n3. J. Engel, T. Schöps, and D. Cremers, \"LSD-SLAM: Large-scale direct monocular SLAM,\" ECCV, Springer, 2014, pp. 834–849.\n4. J. Zhang and S. Singh, \"LOAM: Lidar odometry and mapping in real-time,\" Robotics: Science and Systems, vol. 2, no. 9, 2014.\n5. J. Lin and F. Zhang, \"LOAM Livox: A fast, robust, high-precision LiDAR odometry and mapping package for LiDARs of small FoV,\" ICRA 2020, pp. 3126–3131.\n6. T. Shan and B. Englot, \"LeGO-LOAM: Lightweight and ground-optimized LiDAR odometry and mapping on variable terrain,\" IROS 2018, pp. 4758–4765.\n7. T. Qin, P. Li, and S. Shen, \"VINS-Mono: A robust and versatile monocular visual-inertial state estimator,\" IEEE Transactions on Robotics, vol. 34, no. 4, pp. 1004–1020, 2018.\n8. C. Qin, H. Ye, C. E. Pranata, J. Han, S. Zhang, and M. Liu, \"LINS: A LiDAR-inertial state estimator for robust and efficient navigation,\" ICRA 2020, pp. 8899–8906.\n9. J. HYUN and H. Myung, \"UWB-inertial SLAM based on tightly-coupled EKF framework,\" Int'l Conf. on Ubiquitous Robots (UR) 2020, Korea Robot Society, 2020.\n10. A. Kramer, C. Stahoviak, A. Santamaria-Navarro, A.-A. Aghamohammadi, and C. Heckman, \"Radar-inertial ego-velocity estimation for visually degraded environments,\" ICRA 2020, pp. 5739–5746.\n11. J. Lin, C. Zheng, W. Xu, and F. Zhang, \"R2LIVE: A robust, real-time, LiDAR-inertial-visual tightly-coupled state estimator and mapping,\" IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7469–7476, 2021.\n12. T. Shan, B. Englot, C. Ratti, and D. Rus, \"LVI-SAM: Tightly-coupled LiDAR-visual-inertial odometry via smoothing and mapping,\" ICRA 2021, pp. 5692–5698.\n13. T.-M. Nguyen, S. Yuan, M. Cao, Y. Lyu, T. H. Nguyen, and L. Xie, \"NTU VIRAL: A visual-inertial-ranging-LiDAR dataset, from an aerial vehicle viewpoint,\" International Journal of Robotics Research (accepted, to appear), 2021.\n14. R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, \"ORB-SLAM: A versatile and accurate monocular SLAM system,\" IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147–1163, 2015.\n15. M. Irani and P. Anandan, \"All about direct methods,\" Proc. Workshop Vis. Algorithms, Theory Pract, 1999, pp. 267–277.\n16. C. Forster, M. Pizzoli, and D. Scaramuzza, \"SVO: Fast semi-direct monocular visual odometry,\" ICRA 2014, pp. 15–22.\n17. W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, \"FAST-LIO2: Fast direct LiDAR-inertial odometry,\" IEEE Transactions on Robotics, pp. 1–21, 2022.\n18. M. Meilland, A. I. Comport, and P. Rives, \"Real-time dense visual tracking under large lighting variations,\" British Machine Vision Conference, 2011, pp. 45–1.\n19. T. Tykkälä, C. Audras, and A. I. Comport, \"Direct iterative closest point for real-time visual odometry,\" ICCV Workshops 2011, pp. 2050–2056.\n20. C. Kerl, J. Sturm, and D. Cremers, \"Robust odometry estimation for RGB-D cameras,\" ICRA 2013, pp. 3748–3754.\n21. J. Graeter, A. Wilczynski, and M. Lauer, \"LIMO: LiDAR-monocular visual odometry,\" IROS 2018, pp. 7872–7879.\n22. X. Zuo, P. Geneva, W. Lee, Y. Liu, and G. Huang, \"LIC-Fusion: LiDAR inertial-camera odometry,\" IROS 2019, pp. 5848–5854.\n23. K. Sun, K. Mohta, B. Pfrommer, M. Watterson, S. Liu, Y. Mulgaonkar, C. J. Taylor, and V. Kumar, \"Robust stereo visual inertial odometry for fast autonomous flight,\" IEEE Robotics and Automation Letters, vol. 3, no. 2, pp. 965–972, 2018.\n24. X. Zuo, Y. Yang, P. Geneva, J. Lv, Y. Liu, G. Huang, and M. Pollefeys, \"LIC-Fusion 2.0: LiDAR-inertial-camera odometry with sliding-window plane-feature tracking,\" IROS 2020, pp. 5112–5119.\n25. W. Shao, S. Vijayarangan, C. Li, and G. Kantor, \"Stereo visual inertial LiDAR simultaneous localization and mapping,\" IROS 2019, pp. 370–377.\n26. D. Wisth, M. Camurri, S. Das, and M. Fallon, \"Unified multi-modal landmark tracking for tightly coupled LiDAR-visual-inertial odometry,\" IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 1004–1011, 2021.\n27. B. M. Bell（文中排版为 \"C. F. W. Bell B.M.\"，疑有误）, \"The iterated Kalman filter update as a Gauss-Newton method,\" IEEE Transactions on Automatic Control, vol. 38, no. 2, pp. 294–297, 1993.\n28. Y.-S. Shin, Y. S. Park, and A. Kim, \"Direct visual SLAM using sparse depth for camera-LiDAR system,\" ICRA 2018, pp. 5144–5151.\n29. 同上作者, \"DVL-SLAM: Sparse depth enhanced direct visual-LiDAR SLAM,\" Autonomous Robots, vol. 44, no. 2, pp. 115–130, 2020.\n30. W. Xu and F. Zhang, \"FAST-LIO: A fast, robust LiDAR-inertial odometry package by tightly-coupled iterated Kalman filter,\" IEEE Robotics and Automation Letters, pp. 1–1, 2021.\n31. D. He, W. Xu, and F. Zhang, \"Embedding manifold structures into Kalman filters,\" arXiv preprint arXiv:2102.03804, 2021.\n32. Y. Cai, W. Xu, and F. Zhang, \"ikd-Tree: An incremental kd tree for robotic applications,\" arXiv preprint arXiv:2102.10808, 2021.\n33. C. Forster, Z. Zhang, M. Gassner, M. Werlberger, and D. Scaramuzza, \"SVO: Semidirect visual odometry for monocular and multicamera systems,\" IEEE Transactions on Robotics, vol. 33, no. 2, pp. 249–265, 2016.\n\n### 核查小结\n\n- 文内交叉验证通过的关键声明：精度对比（Table II ↔ Sec. VI-A）、实时性与耗时（Table III ↔ Sec. VI-C，分项加和精确吻合）、方法构成（Sec. II/IV/V 相互印证）。\n- 需外部核验项：发表载体与年份、作者单位全称、GitHub/数据集 URL、i7-10700U 型号、Livox SDK 分频行为、参考文献 [^27] 作者名。\n- 复现风险点：雅可比矩阵表达式缺失（依赖 [^11][^30]）、自采数据实验数值无第三方验证。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与深读（Figure and Table Extraction）\n\n### 1. 图表完整索引\n\n#### 1.1 图（Figures，共 7 幅）\n\n| 编号 | 标题（caption 摘译） | 类型 | 位置 | 支撑结论 | 深读评分（1–5） |\n|---|---|---|---|---|---|\n| Fig. 1 | FAST-LIVO 系统总览（System overview of FAST-LIVO） | 系统架构图 | Sec. III 引用，第 2 页 | 系统由 LIO 子系统（蓝色）与 VIO 子系统（红色）组成，LiDAR 点到面残差与图像光度误差在 ESIKF 中与 IMU 传播紧耦合（Sec. III 文字明确对应） | 5 |\n| Fig. 2 | 改变当前帧 I_k 在全局系中的位姿，最小化视觉全局地图参考 patch 与当前帧对应 patch 的光度误差 | 方法原理示意图 | Sec. IV-D.2，第 3 页 | 稀疏直接帧到地图图像对齐（式 (9)）的几何原理：参考 patch Q_i 经仿射 warp 矩阵 A_i 与当前图像 I_k 比对 | 5 |\n| Fig. 3 | 外点剔除：(a) 遮挡与深度不连续地图点示意图；(b) 真实场景效果可视化（红点=剔除，绿点=保留） | 方法示意 + 定性结果 | Sec. V-B.2，第 3–4 页 | 外点剔除模块有效剔除遮挡/深度不连续地图点，是 VIO 鲁棒性与精度提升的关键组件（Sec. I 贡献 2、Sec. V-B.2） | 4 |\n| Fig. 4 | 数据采集平台与硬件同步：(a) 硬件系统；(b) 硬件同步框图 | 实验装置图 | Sec. VI-B.1，第 4 页 | 私有数据集传感器配置：DJI Manifold-2C（Intel i7-8550u、8 GB RAM）、双 MV-CA013-21UC 工业相机、Livox Avia，STM32 定时器产生 10 Hz 触发信号硬同步 | 3 |\n| Fig. 5 | FAST-LIVO、FAST-LIO2、SVO2.0 在 LiDAR 退化场景的表现；点云按 LiDAR 强度着色；(a)(b)(c) 为位置 a、b、c 俯视图 | 定性实验结果图 | Sec. VI-B.2，第 4 页 | 约 30 m 长墙的 LiDAR 退化场景中 FAST-LIVO 鲁棒且端到端漂移最低（0.05 m），优于 FAST-LIO2 与 SVO2.0 | 4 |\n| Fig. 6 | 视觉挑战场景的 RGB 彩色点云（剧烈运动、室内外往返、无纹理白墙），绿色为计算轨迹 | 定性实验结果图 | Sec. VI-B.3，第 4 页 | 视觉极端挑战场景下系统可靠存活，总路径 79.52 m 端到端误差 0.04 m | 4 |\n| Fig. 7 | (a) RGB 彩色点云；(b) 彩色点云局部放大；(c) 对应 RGB 图像 | 定性建图结果图 | Sec. VI-B.4，第 4 页 | 系统可实时重建精确、稠密、3D RGB 彩色地图（HKU 校园），放大细节接近真实图像 | 3 |\n\n#### 1.2 表（Tables，共 3 张）\n\n| 编号 | 标题（caption 摘译） | 类型 | 位置 | 支撑结论 | 深读评分（1–5） |\n|---|---|---|---|---|---|\n| Table I | 部分重要符号（SOME IMPORTANT NOTATIONS） | 符号定义表 | Sec. III，第 2 页 | 定义状态估计记号：^G(·)、^C(·)、外参 ^I T_L、^I T_C、真值/预测/更新状态 x、x̂、x̄ 与误差状态 δx，是读懂式 (1)–(11) 的前提 | 3 |\n| Table II | NTU-VIRAL 高质量真值序列绝对平移误差（RMSE，米） | 定量基准对比表 | Sec. VI-A（排版位于第 3–4 页） | FAST-LIVO 在 9 条序列中 8 条误差最低（仅 sbs_01 略逊 FAST-LIO2，因图像严重模糊）；全面优于 R2LIVE、DVL-SLAM、SVO2.0；SVO2.0 在 4 条序列 Fail | 5 |\n| Table III | 平均耗时（MEAN TIME CONSUMPTION IN MILLISECONDS） | 运行时间分解表 | Sec. VI-C，第 4 页 | VIO 总耗时 Intel i7 10.23 ms / ARM RB5 13.82 ms，LIO 子系统 26.52 / 51.51 ms，支撑“Intel 与 ARM 双平台实时运行”声明 | 5 |\n\n### 2. 优先深读清单（Top-priority deep reads，按重要性排序）\n\n1. **Table II（评分 5，核心定量证据）**：逐序列核对 FAST-LIVO 与 FAST-LIO2 的差值以验证“视觉紧耦合带来增益”（Sec. VI-A）；注意唯一例外 sbs_01（0.25 vs 0.18）及作者归因（UAV 快速运动致图像模糊，低质量图像融合无益）；R2LIVE 在 eee_03（0.97）、nya_02（0.63）等序列明显退化，作者归因于其 feature-based LIO 配准点更少；SVO2.0 的 4 次 Fail 与 DVL-SLAM 普遍 >1 m 的误差共同说明纯视觉或松耦合方案的局限。\n2. **Table III（评分 5，实时性证据）**：VIO 中 Sparse-Direct Visual Alignment 仅 3.19 ms（Intel）/3.88 ms（ARM），验证“直接法省去特征提取与匹配”的效率主张；结合 Sec. VI-C 文字：FAST-LIVO 完整处理 36.75 ms，而 R2LIVE 需前端 45.16 ms + VIO 后端滑窗 59.27 ms；ARM（Qualcomm Kryo585 RB5）数据支撑嵌入式部署可行性。\n3. **Fig. 1（评分 5，全文骨架）**：蓝色 LIO 支路（反向传播去畸变 → 式 (8) 点到面残差 → ikd-Tree 地图）与红色 VIO 支路（视觉子图提取 → 外点剔除 → 式 (9) 稀疏直接对齐 → patch/新点更新）汇入同一 ESIKF（式 (11)）；注意 LiDAR 与图像无需同时到达（Sec. IV-C），融合位姿回写全局地图形成闭环数据流。\n4. **Fig. 2（评分 4，核心方法原理）**：参考 patch 选取准则（观测角最接近，Sec. IV-D.2）、仿射 warp 矩阵 A_i 的作用、与式 (9) 投影链 ^I T_C^{-1} ^G T_I_k^{-1} 的对应关系、三层图像金字塔由粗到细的优化策略。\n5. **Fig. 3（评分 4，创新组件可视化）**：(a) 图展示遮挡点与深度不连续点的几何成因；(b) 图红/绿点分布与 40×40 像素网格最低深度保留、9×9 邻域深度遮挡检测（Sec. V-B.2）的对应；该模块是论文点名的算法创新，对 Table II 中 VIO 精度增益有间接贡献。\n\n### 3. 图表关系 / 实验装置关系图\n\n方法侧数据流：\n\n``n                    ┌────────────────────────────────┐\n                    │  Fig. 1 系统总览（Sec. III）      │\n                    └────────┬──────────────┬────────┘\n           LIO 支路（蓝）      │              │      VIO 支路（红）\n        ┌────────────────────┘              └─────────────────────┐\n        ▼                                                          ▼\n  ikd-Tree 点云地图（Sec. V-A）                    视觉全局地图：体素哈希 + patch（Sec. V-B）\n        │                                                          │\n        │  式(8) 点到面残差                          式(9) 光度误差    │\n        └──────────────────┬───────────────────────────────────────┘\n                           ▼\n                ESIKF 紧耦合更新（式(11)，Sec. IV-E）\n                           │\n        ┌──────────────────┼───────────────────────────┐\n        ▼                  ▼                           ▼\n  Table I 符号体系    Fig. 2 稀疏直接对齐原理      Fig. 3 外点剔除（VIO 内部模块）\n``n\n实验侧数据流：\n\n``n  Fig. 4 硬件平台（Livox Avia + 双相机 + IMU，STM32 10 Hz 硬同步）\n        ├── 公开数据 NTU-VIRAL（OS1 16 线）────► Table II 精度基准（Sec. VI-A）\n        ├── 私有数据 LiDAR 退化实验（约 30 m 长墙）─► Fig. 5（对比 FAST-LIO2 / SVO2.0）\n        ├── 私有数据 视觉挑战实验（室内外 + 白墙）──► Fig. 6\n        ├── 私有数据 HKU 校园建图 ────────────────► Fig. 7\n        └── 全部私有序列计时 ─────────────────────► Table III（Intel i7 vs ARM RB5）\n``n\n关系说明：Fig. 1 是方法侧总纲，Fig. 2 与 Fig. 3 分别放大其 VIO 支路中的“对齐”与“外点剔除”两个环节；Table I 服务于 Sec. IV 全部公式。实验侧以 Fig. 4 的硬件为源头，分流到公开基准（Table II）与四组私有实验（Fig. 5/6/7、Table III），共同支撑 Abstract 与 Sec. I 贡献 4 的性能声明。\n\n### 4. 图表 → 结论映射\n\n| 论文结论（含定位） | 支撑图表 | 映射逻辑 |\n|---|---|---|\n| 贡献 1：紧耦合双直接子系统框架（Sec. I） | Fig. 1；Table I；式 (1)–(11) | 架构图展示两支路汇入同一 ESIKF；符号表与公式给出紧耦合的数学实现 |\n| 贡献 2：复用 LiDAR 地图点的稀疏直接 VIO（Sec. I、Sec. IV-D.2） | Fig. 2；Fig. 3 | Fig. 2 说明帧到地图光度对齐原理；Fig. 3 说明保障对齐质量的外点剔除机制 |\n| 贡献 3：Intel/ARM 实时运行、支持多线旋转式与固态 LiDAR（Sec. I、Sec. VI-C） | Table III；Fig. 4 | Table III 给出双平台耗时分解；Fig. 4 展示固态 Livox Avia 的实际集成与同步方案 |\n| 贡献 4：优于同类系统、可处理传感器退化环境（Abstract、Sec. I、Sec. VII） | Table II；Fig. 5；Fig. 6 | Table II 量化总体精度优势；Fig. 5 与 Fig. 6 分别针对 LiDAR 退化与视觉挑战两类退化场景给出定性证据 |\n| 附带能力：实时 RGB 彩色稠密建图（Sec. VI-B.4） | Fig. 7 | 彩色点云放大视图与真实 RGB 图像对比，展示建图细节质量 |\n| 效率声明：计算成本显著低于 R2LIVE（Sec. VI-C） | Table III + Sec. VI-C 文字数据 | FAST-LIVO 完整处理 36.75 ms vs R2LIVE 前端 45.16 ms + 后端 59.27 ms |\n\n### 5. 图表质量与局限备注\n\n- Table II 仅报告平移 RMSE，未报告旋转误差或轨迹曲线，精度结论的完整性受限（Sec. VI-A）。\n- Table III 的 LIO 耗时未分解到子模块，且未说明统计所用的序列范围与点云分辨率设置，跨平台可比性需谨慎解读（Sec. VI-C）。\n- Fig. 5/6/7 为定性结果，端到端漂移数字（0.05 m、0.04 m）仅来自单次实验的文字描述，无重复实验统计（Sec. VI-B.2/B.3）。\n- 原文排版瑕疵：Table II 表头印为“TARI F II”（应为 TABLE II）；Fig. 7 的 caption 与 TABLE III 表头在版面上粘连，但编号与正文引用一致，无缺失或错位。"
}