{
  "paper_id": "8a5986192281c29435c74381f5d860fe",
  "paper_title": "LIC-Fusion: LiDAR-Inertial-Camera Odometry",
  "paper_authors": [
    "Xingxing Zuo",
    "Patrick Geneva",
    "Woosik Lee",
    "Yong Liu",
    "Guoquan Huang"
  ],
  "publication_date": "",
  "publication_venue": "arXiv:1909.04102 [cs]",
  "abstract": "本文提出了一种紧耦合多传感器融合算法——LiDAR-惯性-相机融合，该算法高效融合IMU测量、稀疏视觉特征和提取的LiDAR点。特别地，所提出的LIC-Fusion在三个异步传感器之间执行在线空间和时间标定，以补偿可能的标定变化。其关键贡献是在高效的基于MSCKF的框架内，对来自LiDAR扫描的检测和跟踪的稀疏边缘/平面特征点、稀疏视觉特征观测和IMU读数进行最优（直至线性化误差）的多模态传感器融合。我们在室内和室外环境中进行了大量实验，结果表明所提出的LIC-Fusion在估计精度和对剧烈运动的鲁棒性方面优于最先进的视觉惯性里程计和LiDAR里程计方法。",
  "keywords": [
    "多传感器融合",
    "LiDAR-惯性-相机里程计",
    "MSCKF",
    "在线空间与时间标定",
    "视觉惯性里程计",
    "LiDAR里程计",
    "状态估计"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:37.820775Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n准确追踪自主车辆与移动感知系统的三维运动是机器人领域的关键问题：单目视觉惯性系统成本低、体积小但受光照条件限制，LiDAR测距不受光照影响但点云稀疏且成本高昂，IMU信息密度高但存在噪声漂移；现有融合方案多为松耦合（如Zhang和Singh的激光-视觉-惯性系统仅将VIO位姿结果传递给LiDAR扫描匹配子系统，丢失了传感器间相关性信息）。本文提出紧耦合、单线程的LIC-Fusion算法，在计算高效的多状态约束卡尔曼滤波框架内融合IMU测量、稀疏视觉特征与LiDAR边缘/平面特征，并对三个异步传感器进行在线空间和时间标定以补偿标定变化。状态向量包含IMU状态、相机与LiDAR的外参（含时间偏移）以及过去m个图像时刻和n个LiDAR扫描时刻的滑动窗口克隆状态，核心机制为LiDAR边缘特征残差——投影特征点到两对应边缘特征所构成直线的距离 r = ||(pfi−pfj)×(pfi−pfk)||₂ / ||pfj−pfk||₂，并通过原始点测量协方差传播获得显式测量协方差、以马氏距离检验剔除异常值，视觉特征则采用MSCKF零空间投影消除对三维特征位置的依赖，最后用Givens旋转thin QR分解压缩测量以实现高效EKF更新。实验采用自组装传感器平台（Xsens MTi-300 AHRS IMU、Velodyne VLP-16 LiDAR、Blackfly单色全局快门相机），在约800米室外序列（安装于定制Ackermann机器人平台采集，以厘米级RTK GPS为真值）和四组室内序列（39–189米，涵盖正常到低光照及缓慢到剧烈运动，以起点-终点误差评估）上验证：室外平均绝对轨迹误差为4.06米，显著优于MSCKF（10.75米）和LOAM（23.08米）；在剧烈晃动的Indoor-C序列上LIC-Fusion误差仅1.55米而MSCKF达49.94米，证明了多模态融合对极端运动和低光照的鲁棒性。未来工作将研究如何高效集成来自LiDAR和相机的回环检测约束以限制导航误差。实际应用中需注意LiDAR成本较高（但预计随新兴技术大幅下降）、系统为纯里程计方法（不维护全局地图、不利用回环）、且需处理低成本设备中因传感器延迟、时钟偏移或数据传输延迟引起的时间偏移问题。\n\n### 关键要点\n- LIC-Fusion是一种紧耦合、单线程的LiDAR-惯性-相机里程计算法，在MSCKF框架内高效融合IMU测量、稀疏视觉特征和两类稀疏LiDAR特征（边缘与平面特征），实现6自由度位姿估计。\n- 算法对三个异步传感器执行在线空间和时间标定，状态向量显式包含IMU-相机与IMU-LiDAR的外参及时间偏移（t_I = t_C + t_dC，t_I = t_L + t_dL），以补偿低成本设备中因传感器延迟、时钟偏移或数据传输延迟引起的标定变化。\n- LiDAR特征提取类比LOAM方法，从扫描环中提取高曲率（边缘）和低曲率（平面）区域，并通过KD-tree将当前扫描特征投影回上一扫描以寻找最近对应特征进行跟踪。\n- 边缘特征测量残差定义为投影特征点到两对应边缘特征所构成直线的距离，平面特征残差为投影点到三对应特征所构成平面的距离，二者均通过原始点测量协方差的传播获得显式测量协方差。\n- 视觉特征采用FAST提取与KLT光流跟踪，特征丢失或跟踪满整个滑动窗口后进行三角化，并利用MSCKF零空间投影消除对三维特征位置的依赖；外参雅可比非零保证了IMU-相机变换的在线标定能力。\n- 系统采用Givens旋转执行thin QR分解压缩大量视觉与LiDAR特征测量，将压缩后的线性残差用于标准EKF更新，以降低计算复杂度并实现实时性能。\n- 室外实验在约800米、4分钟时长的序列上进行（自组装传感器平台安装于定制Ackermann机器人），以厘米级RTK GPS为真值，每个算法运行六次以考虑RANSAC带来的固有随机性。\n- 室外平均ATE结果：LIC-Fusion为4.06米（1σ为3.42米），优于MSCKF的10.75米和LOAM的23.08米；MSE对比显示LIC-Fusion相比MSCKF平均误差减少约2.5米、相比LOAM减少约5米，且漂移随时间增长最慢。\n- 室内四组序列（A: 39米、B: 86米、C: 55米、D: 189米）涵盖正常到低光照及缓慢到剧烈运动，因无室内真值而以起点-终点误差评估；剧烈晃动的Indoor-C序列上LIC-Fusion误差为1.55米，而MSCKF（49.94米）和LOAM（2.44米）表现明显较差。\n- 对比中LOAM利用ICP匹配其构建的全局地图而隐含回环信息，而LIC-Fusion为纯里程计方法（滑动窗口估计、不维护全局地图、不利用回环），对比条件对LIC-Fusion更为严格。\n- 未来工作计划研究如何高效集成来自LiDAR和相机的回环检测约束，以限制导航误差的增长。\n- 传感器平台由Xsens MTi-300 AHRS IMU、Velodyne VLP-16 LiDAR和单色全局快门Blackfly BFLY-PGE-23S6M相机构成，传感器间外参先离线标定并在在线估计中进一步精化。"
}