{
  "paper_id": "00a42ccb68f608235cced261f85aa3ec",
  "paper_title": "Uncertainty-Aware LiDAR-Inertial-Visual SLAM with Adaptive Fusion and Multi-Channel Geometric Loop Closure",
  "paper_authors": [
    "Qixue Zhong",
    "Jing Xing",
    "Jian Liu",
    "Luqing Luo"
  ],
  "publication_date": "2026",
  "publication_venue": "MDPI",
  "abstract": "Accurate and robust localization and mapping in complex and dynamic environments remain a fundamental challenge for autonomous systems. LiDAR–Inertial–Visual Odometry (LIVO) integrates the complementary strengths of LiDAR geometry, visual appearance, and inertial motion constraints. However, existing LIVO systems still suffer from limited adaptability to sensor degradation, weak loop-closure robustness, and insufficient cross-modal consistency modeling. This paper presents a robust multi-sensor SLAM framework that integrates an uncertainty-aware LIVO front-end, a geometry-driven loop-closure module, and a cross-modal consistency factor-graph back-end. We develop an uncertainty-aware iterated error-state Kalman filter (iESKF) to tightly fuse LiDAR, visual, and inertial measurements, with measurement covariances dynamically adjusted according to innovation statistics, feature-matching quality, and observability. To improve global consistency, we propose a multi-channel Binary Triangle Constraint (mBTC) descriptor for LiDAR-based loop detection, which enhances robustness under viewpoint changes and appearance degradation. In addition, we introduce a cross-modal consistency factor to explicitly constrain the relative motion agreement between visual and LiDAR odometries. Extensive experiments on multiple public benchmarks demonstrate improved accuracy, loop-closure reliability, and long-term consistency compared with state-of-the-art LIVO systems.",
  "keywords": [
    "LiDAR-inertial-visual SLAM",
    "multi-sensor fusion",
    "uncertainty-aware iESKF",
    "loop closure",
    "cross-modal consistency"
  ],
  "paper_institutions": [
    "Institute of Microelectronics of the Chinese Academy of Sciences",
    "University of Chinese Academy of Sciences"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:13.935344Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n复杂动态环境下的高精度、鲁棒定位与建图是自主系统（如移动机器人、自动驾驶车辆与无人机）面临的基础性挑战：视觉方法对光照变化与弱纹理敏感，LiDAR在几何退化场景中约束不足，IMU存在漂移累积，而现有紧耦合LIVO系统（如LVI-SAM、R2LIVE、R3LIVE、FAST-LIVO/2）大多依赖固定测量噪声模型，难以适应时变传感器退化，且缺乏大视角变化下的鲁棒几何回环与显式的跨模态一致性约束。为此，本文提出一个鲁棒多传感器SLAM框架，由不确定性感知LIVO前端、几何驱动回环模块与跨模态一致性因子图后端组成：前端采用迭代误差状态卡尔曼滤波器（iESKF）在SE(3)流形上紧耦合融合三类测量，其核心机制为三因子乘积自适应协方差调节 R_k^{m*} = η_k^m · R_0^m，其中 η_k^m = η_NIS,k · η_qual,k · η_obs,k 分别由归一化新息平方（NIS）统计一致性、感知/匹配质量分数与基于 log det(H^T H) 的几何可观测性因子构成，任一维度退化即触发协方差膨胀以降低该模态权重；回环模块提出多通道二值三角约束描述子（mBTC），在刚体不变的三角骨架上增加垂直跨度、距离补偿密度、法向变化与平均反射强度四个上下文通道，经自适应量化、Gray编码、直方图池化与TF-IDF重加权后以余弦相似度检索，并用点到面ICP几何配准验证回环候选；后端因子图联合IMU预积分、视觉重投影、LiDAR点到面、回环与跨模态一致性因子（e_cm = e_v − e_ℓ，信息矩阵 Ω_cm = (Σ^c + Σ^ℓ)^{-1}）进行最大后验优化。实验在KITTI、M2DGR、M3DGR与NCLT四个公开多传感器数据集上开展——它们覆盖室内外环境、动态场景、重复结构与长时轨迹，用于验证不同退化条件下的精度、鲁棒性与长期一致性；实现采用C++与Ubuntu 20.04/ROS Noetic，运行于Intel Core i7-10750H CPU与24GB内存平台，参数跨数据集固定且未做数据集特定调优。评估指标包括Precision-Recall曲线、Recall@N、平均精度AP、绝对轨迹误差ATE与跨模态一致性误差e_cm：mBTC在KITTI00上Recall@1达0.88（较STD提升逾10%）、AP为0.91，在NCLT1上Recall@1为0.87；通道消融（A0→A5）使KITTI Recall@10从0.91升至0.96、AP从0.85升至0.91；跨模态因子使e_cm均值与95%分位分别降低约16.1%与31.2%；M2DGR无回环条件下本方法在多数序列取得最低ATE（Walk_01为1.02 m、Hall_02为0.21 m），M3DGR六种挑战场景（动态、黑暗、遮挡、室外、LiDAR退化走廊、轮子打滑）中均最优或接近最优（Dynamic01为0.19、Corridor01为1.07、Wheel-Float01为0.10），这些结果共同支持了不确定性感知融合、多通道回环与跨模态一致性三项创新的有效性。未来工作将面向大规模长期自主运行，研究极端传感器退化的在线适应、学习辅助的几何描述子增强、与语义感知的更紧耦合、连续时间建模及更具表达力的跨模态约束。实际部署需考虑真实场景约束：多通道提取与编码带来约15–20%的额外运行时间开销（回环以较低频率执行以缓解），且系统依赖STM32硬件时间同步板与已知的外参标定。\n\n### 关键要点\n\n- 提出不确定性感知iESKF前端，通过三因子乘积自适应协方差机制（η_NIS · η_qual · η_obs）在线调节LiDAR、视觉与惯性测量的置信度，以应对光照变化、运动模糊、弱纹理与LiDAR几何退化等时变传感条件。\n- mBTC描述子在刚体不变的三角几何骨架上扩展垂直跨度、距离补偿密度、法向变化与平均反射强度四个上下文通道，形成7维特征向量，提升重复结构与视角变化场景下的回环判别力。\n- 二值编码流程包括基于分位数的自适应量化、保证汉明空间局部连续性的Gray编码、局部敏感哈希直方图池化与TF-IDF重加权，最终以余弦相似度快速检索，并用点到面ICP几何配准验证回环候选。\n- 后端因子图联合IMU预积分、视觉重投影、LiDAR点到面、回环与跨模态一致性五类因子进行MAP优化；跨模态因子 e_cm = e_v − e_ℓ 显式约束视觉与LiDAR里程计的短基线相对运动一致性，其雅可比可直接由两类里程计因子的雅可比相减获得。\n- 实验基于KITTI、M2DGR、M3DGR与NCLT四个公开数据集，覆盖室内外、动态场景、重复结构与长时轨迹；实现为C++/Ubuntu 20.04/ROS Noetic，硬件为Intel i7-10750H与24GB内存，协方差缩放因子界为[0.5, 5.0]，EMA系数α=0.8，质量权重为(0.4, 0.3, 0.3)。\n- 回环检索性能上，mBTC在KITTI00上Recall@1为0.88、AP为0.91，在NCLT1上Recall@1为0.87、AP为0.90，均优于STD与单通道BTC；真回环判定标准为地面真值位姿间欧氏距离小于5米。\n- 通道消融实验（A0仅三角→A5全通道）显示KITTI Recall@10从0.91提升至0.96、AP从0.85升至0.91，NCLT Recall@10从0.89升至0.94，证明各上下文通道均提供互补信息；全通道配置带来约15–20%的额外运行时间。\n- 退化场景分析表明：进入走廊时η_obs显著上升（几何可观测性下降），夜间车灯照明时η_qual明显下降（匹配质量改善），验证了自适应机制能在退化时抑制不可靠信息、在条件改善时自动恢复观测置信度。\n- 跨模态一致性消融显示，加入跨模态因子后e_cm均值从0.001359降至0.001140、95%分位从0.002082降至0.001432，分别降低约16.1%与31.2%，有效抑制模态间漂移分离。\n- M2DGR无回环评估中，本方法在多数序列取得最低ATE（Walk_01为1.02 m、Hall_02为0.21 m、Street_05为0.37 m），优于VINS-Mono、A-LOAM、LIO-SAM与LVI-SAM，其中VINS-Mono在Hall_02等序列跟踪失败。\n- M3DGR六种挑战场景中本方法全面领先或接近最优：Dynamic01为0.19、Dark01为0.11、Occlusion01为0.15、Outdoor01为0.76、LiDAR退化的Corridor01为1.07（SR-LIVO失败）、轮子打滑Wheel-Float01为0.10，优于LVI-SAM、R2LIVE、R3LIVE、Fast-LIVO/2等基线。\n- 适用场景与约束：面向移动机器人、自动驾驶与无人机等平台在剧烈光照变化、动态物体、弱纹理、几何退化与轮子打滑下的长时运行；回环检测以较低频率执行以控制多通道提取的计算开销，且未进行数据集特定参数调优以保证泛化性。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}