{
  "paper_id": "52ccff61a0fccf5c95318682505a3965",
  "paper_title": "LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometry via Smoothing and Mapping",
  "paper_authors": [
    "Tixiao Shan",
    "Brendan Englot",
    "Carlo Ratti",
    "Daniela Rus"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "We propose a framework for tightly-coupled lidar-visual-inertial odometry via smoothing and mapping, LVI-SAM, that achieves real-time state estimation and map-building with high accuracy and robustness. LVI-SAM is built atop a factor graph and is composed of two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The two sub-systems are designed in a tightly-coupled manner, in which the VIS leverages LIS estimation to facilitate initialization. The accuracy of the VIS is improved by extracting depth information for visual features using lidar measurements. In turn, the LIS utilizes VIS estimation for initial guesses to support scan-matching. Loop closures are first identified by the VIS and further refined by the LIS. LVI-SAM can also function when one of the two sub-systems fails, which increases its robustness in both texture-less and feature-less environments. LVI-SAM is extensively evaluated on datasets gathered from several platforms over a variety of scales and environments. Our implementation is available at https://git.io/lvi-sam.",
  "keywords": [
    "SLAM",
    "Lidar-Visual-Inertial Odometry",
    "Factor Graph",
    "Sensor Fusion",
    "Loop Closure",
    "Visual-Inertial Odometry",
    "Lidar-Inertial Odometry",
    "Robustness"
  ],
  "paper_institutions": [
    "Amsterdam Institute for Advanced Metropolitan Solutions"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:22.891731Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLVI-SAM 针对移动机器人 SLAM 中单一传感器易失效的问题——激光雷达在无结构环境（如长走廊、平坦开阔场地）中失效、视觉方法对光照变化、快速运动与初始化敏感——提出基于因子图的紧耦合激光-视觉-惯性里程计框架，实现高精度、高鲁棒的实时状态估计与建图。该工作与 VIO（滤波式 MSCKF、ROVIO、OpenVINS；优化式 OKVIS、VINS-Mono）、LIO（松耦合 LOAM、LeGO-LOAM；紧耦合 LIO-mapping、LIO-SAM、LINS）及 LVIO（顺序处理管线的 Zhang & Singh、基于 MSCKF 的 LIC-Fusion）等研究密切相关，其区别在于利用因子图进行全局优化并借助回环检测定期消除漂移。系统由视觉-惯性子系统（VIS）与激光-惯性子系统（LIS）组成：VIS 借助 LIS 估计的状态 x=[R, p, v, b]（旋转、位置、速度与 IMU 偏置）完成初始化，并利用激光测量为视觉特征提取深度；LIS 以 VIS 估计作为扫描匹配的初始猜测；回环候选先由 VIS 经 DBoW2 识别、再由 LIS 精化；IMU 预积分、视觉里程计、激光里程计与回环四类约束在因子图中经 iSAM2 联合求解最大后验（MAP）问题，且两个子系统均具备失效检测，使系统在无纹理与无特征环境中当一个子系统失效时仍可运行。实验在三个自采集数据集（Urban、Jackal、Handheld）上验证，覆盖不同尺度、平台与环境，传感器套件含 Velodyne VLP-16 激光雷达、FLIR BFS-U3-04S2M-CS 相机、MicroStrain 3DM-GX5-25 IMU 与提供地面真值的 Reach RS+ GPS，所有方法以 C++ 实现并在 Ubuntu Linux 的 Intel i7-10710U 笔记本上运行，这些设置旨在检验 GPS 拒止区域与退化场景（如雷达朝地、平坦开阔无结构环境）下的鲁棒性。评价指标为端到端平移/旋转误差及相对 GPS 的 RMSE：消融实验显示深度关联将纯 VIS 平移误差从 239.19 m 降至 142.12 m、LVIO 模式下从 45.42 m 降至 32.18 m（降低 29%），开启回环后端到端平移误差仅 0.28 m；Jackal 数据集上 LVI-SAM 取得最低 RMSE（0.67 m）与最低旋转误差（1.52°）；Handheld 数据集上所有激光方法因退化失效，而 LVI-SAM 在全部三项指标上最优（RMSE 0.83 m、平移 0.27 m、旋转 3.82°），这些结果支持了紧耦合互辅助、深度关联与失效检测等创新的有效性。未来方向上，作者希望该开源系统成为他人推进激光-视觉-惯性里程计技术水平的坚实基线；实际应用需应对无纹理/无特征环境、剧烈运动、光照变化与传感器退化等约束，系统在初始线速度小于 10 m/s、角速度小于 180°/s 时可成功初始化。\n\n### 关键要点\n\n- LVI-SAM 是基于因子图的紧耦合激光-视觉-惯性里程计框架，由视觉-惯性子系统（VIS）与激光-惯性子系统（LIS）构成，二者可独立运行也可联合工作，并以 IMU 速率输出位姿估计。\n- VIS 初始化借助 LIS 估计的状态与 IMU 偏置：因激光雷达可直接观测深度，先初始化 LIS 并按图像时间戳插值关联，显著提升初始化速度与鲁棒性，解决了小速度或恒定速度下尺度不可观导致的发散问题。\n- 视觉特征深度关联机制：将视觉特征与激光深度点投影到以相机为中心的单位球面，用极坐标构建二维 K-D 树搜索最近三个深度点，特征深度为相机中心与特征连线同三点所成平面相交的线段长度；若三点间最大距离超过 2 m 则拒绝该深度，以避免多帧堆叠引起的深度歧义。\n- LIS 扫描匹配的初始猜测在初始化前来自假设零偏置的原始 IMU 积分（适用于初始线速度小于 10 m/s、角速度小于 180°/s），初始化后优先使用 VIS 的视觉-惯性里程计，VIS 失效时切换为偏置校正后的 IMU 积分。\n- 回环检测由 VIS 使用 DBoW2 与 BRIEF 描述子识别候选，图像时间戳送至 LIS 通过扫描匹配进一步验证与优化，从而定期消除机器人累积漂移。\n- 失效检测机制：VIS 在跟踪特征数低于阈值或估计的 IMU 偏置超过阈值时报告失效并重新初始化；LIS 在扫描匹配线性化问题 min_T ||A T − b||² 首次迭代中 A^T A 最小特征值低于阈值时判定退化，此时不向因子图添加激光里程计约束。\n- 因子图联合优化 IMU 预积分、视觉里程计、激光里程计与回环四类约束，采用 iSAM2 求解 MAP 问题；LIS 维护激光关键帧滑动窗口的特征地图，保证计算复杂度有界并保持因子图稀疏以实现实时性能。\n- 实验使用三个自采集数据集：Urban（操作员步行携带、植被致密导致 GPS 拒止）、Jackal（Clearpath Jackal UGV、特征丰富环境）、Handheld（步行穿越含开阔棒球场在内的场地）；传感器包括 Velodyne VLP-16、FLIR BFS-U3-04S2M-CS 相机、MicroStrain 3DM-GX5-25 IMU 与 Reach RS+ GPS（地面真值），对比方法包括 VINS-Mono、LOAM、LIO-mapping、LINS、LIO-SAM。\n- 消融实验（Urban 数据集）表明：为视觉特征关联深度使纯 VIS 端到端平移误差从 239.19 m 降至 142.12 m；VIS+LIS 的 LVIO 模式下平移误差从 45.42 m 降至 32.18 m（降低 29%）；开启视觉回环后端到端平移误差仅 0.28 m、旋转误差 5.77°。\n- Jackal 数据集上，LVI-SAM（含回环）取得相对 GPS 的最低平均 RMSE 0.67 m 和最低旋转误差 1.52°，端到端平移误差 0.11 m 仅次于专为 UGV 设计的 LINS（0.09 m）。\n- Handheld 数据集上，由于棒球场退化场景，所有基于激光的方法（LOAM、LIO-mapping、LINS、含回环的 LIO-SAM）均失效，而 LVI-SAM 无论是否开启回环均完成测试并在全部三项指标上最优（RMSE 0.83 m、平移 0.27 m、旋转 3.82°）。\n- 系统以 C++ 实现并在 Ubuntu Linux（Intel i7-10710U）上实时运行，代码与数据集开源（https://git.io/lvi-sam），作者希望其成为推进激光-视觉-惯性里程计的坚实基线；适用约束包括无纹理/无特征环境、剧烈运动、光照变化与传感器退化场景。"
}