{
  "paper_id": "75fcbbeea2daecfcd5280b6e0ea42040",
  "paper_title": "UAF-LIVO: Uncertainty-Aware Feature-Based LiDAR-Inertial-Visual Odometry Robust to Cross-Modal Geometric Inconsistency",
  "paper_authors": [
    "Zhipeng Luo",
    "Mingnan Hu",
    "Zheming Wang",
    "Bo Chen"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Robotics and Automation Letters",
  "abstract": "This letter presents UAF-LIVO, a feature-based sequential LiDAR-inertial-visual odometry system robust to cross-modal geometric inconsistency. While sequential fusion mitigates the inherent robustness imbalance between LiDAR and visual measurements, it remains highly susceptible to cross-modal misalignment. These discrepancies typically arise from imperfect sensor calibration and visual feature misalignment in dynamic or degraded environments. To address this, we propose a geometry-consistent visual measurement construction and update strategy. Matched features are categorized as local plane supported, voxel map supported, or bearing-only. For each, we derive a thorough propagation model to explicitly quantify measurement uncertainty. This theoretical foundation allows UAF-LIVO to adaptively downweight ill-conditioned observations and reject outliers within an IESKF framework. Experiments on public datasets with diverse sensor configurations and scenarios demonstrate that UAF-LIVO achieves competitive accuracy and consistent robustness against geometric inconsistency compared to state-of-the-art methods.",
  "keywords": [
    "Localization",
    "SLAM",
    "sensor fusion"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:32.279360Z",
  "template_tag": "simple",
  "summary": "### 摘要\nLiDAR-惯性-视觉里程计（LIVO）中存在跨模态几何不一致性问题，即由物理标定误差、复杂环境结构与动态物体数据关联伪影引起的LiDAR先验与视觉观测之间的结构性分歧；现有并行融合方法（如LVI-SAM）因视觉分支尺度模糊易导致系统级不一致，直接法（如Fast-LIVO2）依赖光度一致性在复杂光照下易发散，而传统顺序融合管线假设模态完美标定且刚性锁定，在此类场景下面临估计发散风险。针对此，本文提出基于特征的顺序融合系统UAF-LIVO，将匹配视觉特征按LiDAR先验拓扑可靠性分为局部平面支持（TYPE 1）、体素地图支持（TYPE 2）与仅方位（TYPE 3）三类，并为每类推导完整的不确定性传播模型；其核心机制为射线-平面求交深度计算 t_hit = n^T(p0 − p_ref)/(n^T r)，TYPE 2特征的不确定性由相机旋转、平移、平面法向与平面上参考点四个高斯源经一阶雅可比传播获得，TYPE 1特征通过邻域LiDAR点最小二乘线性组合权重传播协方差，TYPE 3特征将像素噪声传播至全局射线方向。传播的几何协方差显式并入测量协方差 R_k = J_geo Σ_geo J_geo^T + σ_pix² I，使病态观测在IESKF更新中经膨胀协方差自适应降权，无效深度关联经基于马氏距离的卡方检验（阈值9）显式拒绝。实验选用涵盖旋转式（Velodyne）与非重复扫描（Livox Avia）LiDAR及RGB/热成像模态的M2DGR、M3DGR与GEODE地铁隧道数据集，以验证多传感器配置与退化场景下的鲁棒性；实现基于Fast-LIVO2的LIO子系统（0.5m体素地图、每帧10次地图更新、100m DDA范围）与TensorRT FP32加速的LightGlue匹配（最多128关键点），运行于RTX 5070 Ti/i7-13700KF平台。以ATE/RTE及深度误差为指标，结果显示：遮挡区域TYPE 1特征深度MAE为0.009m而TYPE 2达1.365m，验证了不确定性感知机制的必要性；3°外参扰动下ATE保持0.22–0.40m稳定而固定协方差基线出现地图畸变；hall_05取得最低ATE 1.16m；GEODE隧道中完整版在Tunnel 1/2达0.61m/1.95m，优于发生漂移的Fast-LIVO2与无拒绝模块的消融版本；系统实时性良好（LIO子系统53.96/7.90ms、视觉组件12.10/8.40ms）。该系统可支撑自主导航与高保真环境重建等实际应用，但在严重LiDAR退化下仍可能漂移，未来工作将减少对LiDAR几何先验的依赖以维持鲁棒估计。\n\n### 关键要点\n- 方法核心：UAF-LIVO采用基于特征的顺序融合架构，将视觉特征按LiDAR先验的拓扑可靠性分为局部平面支持（TYPE 1）、体素地图支持（TYPE 2）与仅方位（TYPE 3）三类，并为每类推导显式的不确定性传播模型。\n- 核心机制：特征深度通过射线-平面求交获得 t_hit = n^T(p0 − p_ref)/(n^T r)；TYPE 2特征的不确定性由相机旋转、平移、平面法向与平面上参考点四个高斯噪声源经一阶雅可比传播计算，TYPE 1特征通过邻域LiDAR点的最小二乘线性组合权重传播协方差。\n- 自适应降权：传播的几何协方差显式并入测量协方差 R_k = J_geo Σ_geo J_geo^T + σ_pix² I，使几何不确定或投影敏感的约束在IESKF更新中自动降权，缓解近场观测在视觉信息矩阵中的深度致不平衡。\n- 外点拒绝：所有视觉测量经基于马氏距离的卡方检验（r_M² = δz^T R_k^{-1} δz > χ²_th，阈值9）按几何置信度判定；GEODE隧道消融实验显示无拒绝模块时5个序列中4个发生漂移。\n- 数据与设置：实验基于M2DGR（Velodyne旋转LiDAR、RGB与热成像）、M3DGR（Livox Avia）与GEODE地铁隧道数据集，覆盖多传感器配置与退化场景；实现基于Fast-LIVO2的LIO子系统，采用0.5m体素地图、每帧10次地图更新迭代、100m DDA光线投射范围及TensorRT FP32加速的LightGlue（最多128关键点）。\n- 深度保真度验证：在Fast-LIVO2结构建筑序列上，TYPE 1特征在遮挡区域MAE为0.009m、RMSE为0.014m，而TYPE 2特征呈长尾误差分布（MAE 1.365m、RMSE 5.514m），证明需自适应降权病态TYPE 2约束以防几何外点污染估计器。\n- 外参扰动鲁棒性：在Dynamic03/04注入1°旋转+0.05m/轴与3°旋转+0.10m/轴系统外参扰动的压力测试中，本方法ATE保持0.22–0.40m稳定，而固定协方差基线在σ_pix≥10px时出现ATE显著增加、局部轨迹抖动与地图畸变。\n- 对比结果：与Fast-LIO2、SR-LIVO、Fast-LIVO2、LVI-SAM对比，本方法在hall_05取得最低ATE 1.16m，在无纹理room_dk_01及动态/遮挡场景保持鲁棒，而SR-LIVO在Occlusion03因视觉提前终止无法完成轨迹。\n- 隧道场景表现：GEODE地铁隧道中完整版在Tunnel 1/2取得0.61m/1.95m ATE，优于发生漂移的Fast-LIVO2（Tunnel 2漂移、Tunnel 5达21.3m），但整体略逊于具备LiDAR退化检测机制的RELEAD与LVI-SAM。\n- 关键帧管理：维护最大容量为3的滑动窗口历史关键帧，新关键帧需满足相对旋转>10°或平移>1m；参考帧通过平衡视差、重叠与位姿不确定性的效用分数 S = ‖b_⊥‖exp(−θ²/2σ²)/(tr(Σ_R)+tr(Σ_t)) 选择。\n- 实时效率：系统主要运行于CPU（GPU仅用于视觉特征匹配），VLP-32上LIO子系统与视觉组件分别耗时53.96ms与12.10ms，Avia上为7.90ms与8.40ms，显著快于LVI-SAM的因子图优化（82.72ms/11.86ms）。\n- 局限与展望：系统在严重LiDAR模态退化下仍可能出现轨迹漂移，未来工作将减少对LiDAR几何先验的依赖，以在LiDAR测量不可靠时维持鲁棒估计。"
}