{
  "paper_id": "0601d641432e3b4364be2f79adba029b",
  "paper_title": "R²LIVE: A Robust, Real-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping",
  "paper_authors": [
    "Jiarong Lin",
    "Chunran Zheng",
    "Wei Xu",
    "Fu Zhang"
  ],
  "publication_date": "2021",
  "publication_venue": "IEEE Robotics and Automation Letters (RA-L)",
  "abstract": "本文提出一个鲁棒、实时的紧耦合多传感器融合框架，融合 LiDAR、惯性传感器与相机的测量以实现鲁棒且精确的状态估计。所提框架由两部分组成：基于滤波的里程计与因子图优化。为保证实时性能，我们在误差状态迭代卡尔曼滤波框架内估计状态，并进一步利用因子图优化提升整体精度。得益于来自各传感器的测量，本算法对多种视觉失效、LiDAR 退化场景均足够鲁棒，并能在机载计算平台上实时运行，这一点已通过在室内、室外及不同规模混合环境中开展的大量实验得到验证。此外，结果表明所提框架能够提升最先进的 LiDAR-惯性或视觉-惯性里程计的精度。为分享成果并回馈社区，我们在 GitHub 上开源了代码。",
  "keywords": [
    "多传感器融合",
    "LiDAR-惯性-视觉里程计",
    "紧耦合状态估计",
    "误差状态迭代卡尔曼滤波",
    "因子图优化",
    "SLAM",
    "实时建图"
  ],
  "paper_institutions": [
    "The University of Hong Kong"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:14.373281Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLiDAR-SLAM（如 LOAM、LeGO-LOAM）在几何特征稀缺的场景中容易退化，小视场低成本固态 LiDAR（如 Livox）尤为严重，而单一 LiDAR-惯性（FAST-LIO）或视觉-惯性（VINS-Mono）方案在对应传感器失效时缺乏鲁棒性。针对该问题，本文提出 R²LIVE——一个鲁棒、实时的 LiDAR-惯性-视觉紧耦合状态估计与建图框架，由高频基于滤波的里程计与低频因子图优化两部分构成：前者在流形上的误差状态迭代卡尔曼滤波（ESKF）框架内紧耦合融合三种传感器测量以保证实时性，后者在图像关键帧滑动窗口内优化关键帧位姿与视觉路标，并在线标定相机-IMU 外参与时间偏移。核心机制为流形 boxplus/boxminus 运算下的迭代最大后验（MAP）更新，其卡尔曼增益 K=(H^T R^{-1} H+P^{-1})^{-1} H^T R^{-1} 的计算复杂度取决于状态维度（21 维）而非测量维度，从而支撑实时性能。实验采用自研手持设备（总重 2.09 kg，含 Livox AVIA LiDAR、全局快门相机、DJI Manifold-2c 机载计算平台与 D-GPS RTK 真值系统），如此选择是为了在室内外混合、不同规模、剧烈运动（最大角速度 300°/s）、人为遮挡造成的传感器失效以及香港大学地铁站 190 米长狭窄隧道（含大量移动行人）等极端场景下验证鲁棒性与精度。评估指标包括相对位姿误差（RPE，对 50–300 米所有子序列计算平移与旋转误差）、轨迹与街图/卫星图的对齐、无回环处理的闭合能力及运行时间。结果显示：300 米序列上 R²LIVE 的中位 RPE 为（0.27°, 0.21%），优于 VINS-Mono（0.35°, 3.84%）与 FAST-LIO（0.41°, 0.34%）；无需回环闭合等额外处理即可在 876 米行程后自动闭合回路；机载平台上 LI-Odom 平均耗时 15.98–30.64 ms、VI-Odom 13.92–20.16 ms、因子图优化在独立线程以较低速率运行（45.35–65.25 ms），实现桌面 PC 与嵌入式平台双实时。未来可进一步探索大规模城市环境建图与多传感器时空标定等方向。实际应用涵盖自动驾驶车辆、无人机等自主平台，约束包括三传感器时间偏移需预标定、LiDAR-IMU 外参依赖工厂标定、机载计算资源有限；系统代码已在 GitHub 开源。\n\n### 关键要点\n\n- 方法核心：R²LIVE 将 LiDAR、惯性与相机测量在误差状态迭代卡尔曼滤波器中紧耦合融合，实现高频实时滤波里程计。\n- 双层架构：系统由高频率滤波里程计与低频率因子图优化组成，后者在滑动窗口内优化关键帧位姿与视觉路标，并在线标定相机-IMU 外参与时间偏移。\n- 核心公式：卡尔曼增益 K=(H^T R^{-1} H+P^{-1})^{-1} H^T R^{-1}，其计算复杂度取决于状态维度而非测量维度，是实时性的关键保证。\n- LiDAR 测量模型：从原始点云提取平面特征点并经 IMU 反向传播补偿帧内运动，采用点到平面残差 r_l = u_j^T(G p_j − q_j) 构建观测更新。\n- 视觉测量模型：提取 FAST 角点并用 KLT 光流跟踪，未跟踪的新特征以最优相机位姿三角化为视觉路标，重投影误差 r_c = C p_s − π(C P_s) 参与状态更新。\n- 实验设备：自研手持平台总重 2.09 kg，含 Livox AVIA LiDAR（FoV 70.4°×77.2°）、全局快门相机（FoV 82.9°×66.5°）、DJI Manifold-2c（Intel i7-8550u、8GB RAM）及 D-GPS RTK 真值系统。\n- 鲁棒性验证：在最大角速度达 300°/s 的剧烈运动以及人为遮挡相机/LiDAR 的传感器失效场景下，估计轨迹依然平滑且无明显退化。\n- 隧道挑战场景：在香港大学地铁站最长 190 米的狭窄隧道（几何特征少、视觉纹理高度重复、行人众多）中，R²LIVE 表现优于中途因特征跟踪失败而停止的 VINS-Mono 与 FAST-LIO，且点云地图与街图紧密对齐。\n- 定量精度：以 D-GPS RTK 为真值，300 米序列上 R²LIVE 的中位相对位姿误差为（0.27°, 0.21%），优于 VINS-Mono（0.35°, 3.84%）与 FAST-LIO（0.41°, 0.34%）。\n- 建图与低漂移：无需回环闭合等额外处理，系统在 876 米行程后可自动闭合回路，重建的香港大学主楼室内外稠密 3D 地图与卫星图紧密匹配。\n- 实时性能：机载平台上 LI-Odom 平均耗时 15.98–30.64 ms、VI-Odom 13.92–20.16 ms，因子图优化在独立线程以较低速率运行（45.35–65.25 ms），桌面 PC 与嵌入式平台均可实时。\n- 适用约束与开源：假设三传感器时间偏移已预标定、LiDAR-IMU 外参已知（工厂集成标定）、相机-IMU 外参在线估计；系统为首个开源的紧耦合 LiDAR-惯性-视觉融合系统，代码发布于 GitHub。"
}