{
  "paper_id": "d867d7e7584db4bd1516fb9d6cc25b18",
  "paper_title": "FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry",
  "paper_authors": [
    "Chunran Zheng",
    "Wei Xu",
    "Zuhao Zou",
    "Tong Hua",
    "Chongjian Yuan",
    "Dongjiao He",
    "Bingyang Zhou",
    "Zheng Liu",
    "Jiarong Lin",
    "Fangcheng Zhu",
    "Yunfan Ren",
    "Rong Wang",
    "Fanle Meng",
    "Fu Zhang"
  ],
  "publication_date": "2024",
  "publication_venue": "IEEE Transactions on Robotics",
  "abstract": "本文提出FAST-LIVO2，一个快速、直接的LiDAR-惯性-视觉里程计框架，旨在为SLAM任务提供准确且鲁棒的状态估计，支持实时机器人应用。FAST-LIVO2通过高效的误差状态迭代卡尔曼滤波（ESIKF）融合IMU、LiDAR和图像数据。为解决LiDAR与图像测量之间的维度不匹配问题，采用顺序更新策略。通过直接方法融合LiDAR与视觉数据进一步提升效率：LiDAR模块直接配准原始点云而无需提取特征，视觉模块最小化光度误差而不依赖特征提取。LiDAR与视觉测量均融合至统一体素地图：LiDAR模块构建几何结构，视觉模块将图像图块链接至LiDAR点以实现精确图像对齐。来自LiDAR点的平面先验提升对齐精度并在过程中动态精化。此外，按需光线投射操作与实时图像曝光估计增强了鲁棒性。在基准数据集与自采集数据集上的大量实验表明，FAST-LIVO2在精度、鲁棒性和效率方面均优于最先进系统。论文验证了各关键模块，并展示了三项应用：体现实时能力的UAV导航、展示高精度的机载测绘，以及证明稠密建图适用性的3D模型渲染（基于mesh与NeRF）。代码与数据集已在GitHub开源以惠及机器人社区。",
  "keywords": [
    "三维重建",
    "航空导航",
    "传感器融合",
    "同步定位与建图（SLAM）"
  ],
  "paper_institutions": [
    "The University of Hong Kong",
    "Shanghai Jiao Tong University",
    "China Electronics Technology Group Corporation",
    "Manifold Tech Limited"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:29.761024Z",
  "template_tag": "simple",
  "summary": "### 摘要\n单传感器SLAM系统在无结构或无纹理环境中难以提供准确鲁棒的位姿估计：视觉SLAM缺乏直接深度测量、对光照变化敏感，LiDAR SLAM点云缺乏颜色信息且在几何约束不足（如狭长隧道、单一延伸墙面）时性能退化，因此LiDAR-相机-IMU多传感器融合成为研究热点，但高效准确的LIVO仍面临海量数据实时处理、特征提取依赖、异构测量统一地图管理及像素级对齐精度四大挑战。本文提出FAST-LIVO2，一个快速直接的LiDAR-惯性-视觉里程计框架，通过带顺序更新的误差状态迭代卡尔曼滤波（ESIKF）紧耦合融合三类传感器测量，其核心机制为将总后验分布分解为两步序贯贝叶斯更新 p(x|y_l,y_c) ∝ p(y_c|x)·p(x|y_l)，即先以LiDAR测量（点到平面残差）更新、再以图像测量（稀疏直接光度误差）更新，在测量噪声统计独立假设下与联合更新理论等价，从而解决LiDAR与图像测量的维度不匹配；LiDAR模块直接配准原始点云构建统一体素地图的几何结构，视觉模块复用LiDAR地图点作为视觉地图点并附加图像图块，利用LiDAR平面先验进行仿射扭曲以提升对齐精度，辅以参考图块更新策略、在线曝光时间估计和按需体素光线投射增强精度与鲁棒性。实验在25个公开数据集序列（NTU-VIRAL、Hilti'22、Hilti'23）、MARS-LVIG机载数据集及20个自采集极端场景序列（共66.9分钟，涵盖LiDAR退化、弱光、剧烈曝光变化）上开展，系统以C++实现并在Intel i7-10700K与ARM平台上实时运行，采用绝对平移误差RMSE评估：FAST-LIVO2平均RMSE为0.044 m，比第二名FAST-LIVO（0.137 m）精确约3倍，平均每帧处理时间仅30.03 ms（LiDAR 17.13 ms、图像12.90 ms），ARM平台78.44 ms，消融实验验证了顺序更新、平面先验、曝光估计、参考图块更新与光线投射等创新的有效性；在LiDAR/视觉退化场景中端到端误差小于0.01 m。系统已应用于全机载UAV自主导航（定位+规划+MPC总耗时80.4 ms）、高精度机载测绘（APE RMSE 0.27–0.64 m）及mesh/纹理/3DGS三维渲染（点云与位姿获取从COLMAP的9小时缩短至21秒），实际部署需应对LiDAR近距离盲区、光照剧变与机载计算资源受限等约束。未来工作将集成回环检测与滑窗优化以缓解长期漂移，并利用稠密彩色点云提取语义信息实现对象级语义建图。\n\n### 关键要点\n- FAST-LIVO2采用带顺序更新的ESIKF紧耦合融合IMU、LiDAR与图像测量，先LiDAR更新后视觉更新，在测量噪声统计独立假设下与联合更新理论等价，解决了两类传感器测量的维度不匹配问题。\n- LiDAR模块直接配准原始点云计算点到平面残差，视觉模块以稀疏直接法最小化光度误差，均无需特征提取与匹配，在无结构、无纹理环境中保持鲁棒并降低计算负担。\n- 系统维护单一统一体素地图：LiDAR点构建平面几何结构（平面中心、法向量及不确定性），视觉模块将三层图像图块附加到选定LiDAR地图点上生成视觉地图点，实现异构测量的紧耦合管理。\n- 利用LiDAR点计算的平面先验进行图像对齐中的仿射扭曲，克服以往方法假设图块内像素同深度的缺陷，并可通过最小化光度误差在线精化平面法向量。\n- 参考图块更新策略基于NCC光度相似度与视角正交性的加权评分选择高质量图块，消融实验显示去掉该策略后平均精度下降44 mm。\n- 在线曝光时间估计将逆曝光时间纳入状态向量以处理光照变化，消融实验显示去掉该模块后平均RMSE增加约6 mm。\n- 按需体素光线投射在LiDAR近距离盲区导致无点测量时，沿未占用图像网格单元的像素光线采样召回视觉地图点，增强系统鲁棒性。\n- 在NTU-VIRAL、Hilti'22与Hilti'23共25个公开序列上，FAST-LIVO2平均绝对平移误差RMSE为0.044 m，显著优于R3LIVE（0.278 m）、LVI-SAM（1.928 m）与FAST-LIVO（0.137 m）等SOTA系统。\n- 系统平均每帧处理时间30.03 ms（LiDAR 17.13 ms、图像12.90 ms，Intel i7-10700K），ARM嵌入式平台78.44 ms，满足10 Hz实时运行；逆合成公式与平面先验仿射扭曲将每金字塔层迭代次数从10降至3。\n- 在LiDAR退化（单墙、隧道）与视觉挑战（黑暗、剧烈曝光变化）场景中，FAST-LIVO2端到端漂移小于0.01 m，而R3LIVE与FAST-LIVO出现超过1 m漂移或完全失败。\n- 三大实际应用验证：全机载UAV自主导航（FAST-LIVO2+Bubble规划器+MPC，总处理时间80.4 ms）、MARS-LVIG机载测绘（APE RMSE 0.27–0.64 m，优于R3LIVE的0.52–2.76 m）、mesh/纹理/3DGS渲染（点云与位姿获取时间从COLMAP的9小时缩短至21秒且PSNR略高）。\n- 局限与展望：作为里程计存在长期漂移，未来计划集成回环检测与滑窗优化，并利用稠密彩色点云提取语义信息进行对象级语义建图。"
}