{
  "paper_id": "d99e31fd991c442342438d8bac4f0b85",
  "paper_title": "JONA-SLAM: Tightly Coupled SLAM With Joint Observation and Normal-Aware Loop Closure",
  "paper_authors": [
    "Qiuwei Jian",
    "Qinglu Ma",
    "Xinyu Wang",
    "Saleem Ullah"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Sensors Journal",
  "abstract": "In the field of autonomous navigation, accurate localization and mapping are of paramount importance, especially for autonomous vehicles operating in global navigation satellite system (GNSS)-challenged or denied environments. This article presents joint observation and normal-aware (JONA)-simultaneous localization and mapping (SLAM), a tightly coupled light detection and ranging (LiDAR)-visual-inertial SLAM system designed to enhance state estimation robustness for autonomous driving platforms in complex scenarios such as urban canyons and tunnels. Building upon our previous research on point-line feature extraction, the proposed system strengthens spatial constraints by constructing a LiDAR-visual joint observation factor. This factor enables the tight coupling of LiDAR-derived geometric information with visual texture features at the feature level, effectively addressing the observation degradation common in GNSS-denied areas. Furthermore, a normal-aware hybrid loop closure detection method is proposed, incorporating point cloud normal consistency verification to significantly improve loop identification reliability and suppress false positives in challenging semistructured scenes. Evaluation results on 22 public sequences and a self-collected campus dataset demonstrate that JONA-SLAM achieves superior or competitive performance compared to state-of-the-art methods. Across 23 experimental test cases, the proposed method reduces the trajectory error [root mean square error (RMSE)] by an average of 35.02%. While maintaining real-time performance, the system demonstrates superior environmental adaptability and global consistency, providing a high-precision and robust localization solution for autonomous driving and versatile mobile platforms in degraded environments.",
  "keywords": [
    "Joint observation factor",
    "LiDAR-visual-inertial fusion",
    "normal-aware loop closure",
    "tightly coupled simultaneous localization and mapping (SLAM)"
  ],
  "paper_institutions": [
    "Chongqing Jiaotong University",
    "Khwaja Fareed University of Engineering and Information Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:17.249133Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对自主车辆在全球导航卫星系统（GNSS）受限或拒止环境（如城市峡谷、隧道）中状态估计鲁棒性不足的问题，提出了紧耦合LiDAR-视觉-惯性SLAM系统JONA-SLAM。现有紧耦合多传感器融合框架（如基于因子图的LVI-SAM、R3LIVE++、FAST-LIVO2及基于迭代卡尔曼滤波的Fast-LIO系列）在低纹理区域缺乏足够的特征级融合、线特征结构信息利用不足，且大规模城市环境中回环检测易因重复结构产生误匹配而损害长期全局一致性。JONA-SLAM在作者前期点线特征提取工作基础上，构建LiDAR-视觉联合观测因子，将LiDAR点云投影至图像平面为视觉特征恢复度量尺度深度，并以带不确定性的软约束形式与视觉重投影误差统一编码，其核心机制为联合观测误差 e_LV,k,i=[e_vis; e_lidar]，其中视觉项 e_vis=z_vis−π(T_WC,k·P_i^3D) 保证图像投影一致性，LiDAR项 e_lidar=n^T(T_WL,k·P_i^3D−q) 采用点到平面距离保证几何结构一致性，使LiDAR几何梯度可直接修正相机位姿流形，在无纹理环境下视觉雅可比秩亏时维持系统可观测性；同时提出法向感知混合回环检测，视觉候选经LK光流与时间一致性双重验证后触发LiDAR几何交叉验证，通过结合法向取向一致性与结构分布相似性的加权评分ψ（α=0.5，接受阈值0.85）抑制半结构化场景误匹配。实验在KITTI与M2DGR共22个公开序列及自采集校园数据集上开展（实验平台Apollo D-KIT lite，GNSS提供定位真值）：KITTI序列00用于评估大规模住宅区长期漂移抑制、序列08测试反向行驶下回环鲁棒性，M2DGR的剧烈光照变化、极低照度与几何退化走廊用于评估极端场景性能，校园数据集的500米回环、频繁行人与多个减速带用于测试剧烈抖动与点云畸变下的全局一致性。以RMSE、APE及F1分数为指标，23个测试用例中轨迹误差RMSE平均降低35.02%；M2DGR平均APE RMSE为0.398米优于LVI-SAM（0.531米）、FAST-LIVO2（0.452米）和R3LIVE++（0.406米）；校园场景APE RMSE为2.404米优于LVI-SAM（4.027米）与R3LIVE++（2.418米），相对LVI-SAM精度提升40.30%；回环检测平均F1分数0.881且平均延迟仅17.8毫秒，这些结果验证了联合观测因子与法向约束两项创新的有效性。未来工作将聚焦计算效率优化与更先进的特征增强技术。该系统为自动驾驶与通用移动平台在退化环境中提供高精度鲁棒定位方案，适用于城市峡谷、隧道等真实场景，但需注意其阈值参数基于静态场景通用物理几何约束设定（如平面度阈值0.8、深度波动阈值0.05米），实时性依赖视觉触发式LiDAR验证逻辑，且在street_02等开阔场景中R3LIVE++局部精度仍略优。\n\n### 关键要点\n\n- 方法核心：提出LiDAR-视觉联合观测因子，将LiDAR恢复的深度作为带不确定性的软约束，与视觉点线特征重投影误差统一编码进滑动窗口优化器，实现特征级紧耦合，在稀疏视觉或几何纹理场景中增强鲁棒性。\n- 深度恢复机制：将LiDAR点云投影至图像平面生成稀疏深度图，基于特征值分析定义平面度因子η=(λ2−λ3)/λ1，仅当η>0.8且深度标准差σz<0.05米时采用中值深度，高曲率区域用RANSAC拟合局部平面，无法直接关联的点特征用Delaunay三角剖分插值补全。\n- 线特征处理：沿图像线段均匀采样并将投影射线映射至LiDAR坐标系形成搜索体，用RANSAC拟合支撑平面后求射线与平面交点获得3D端点，并通过沿线段深度一致性检查过滤跨越深度不连续边界的异常线段。\n- 回环检测机制：法向感知混合回环检测中，视觉候选经LK光流跟踪与时间一致性双重验证后直接触发LiDAR几何交叉验证（而非独立并行搜索），加权相似度评分ψ结合平均表面法向取向对齐与散射矩阵结构相似性，α=0.5、接受阈值Γth=0.85。\n- 因子图优化：全局目标函数整合IMU预积分因子、联合观测因子与回环约束因子，联合协方差ΣLV自适应设计——视觉协方差基于重投影噪声固定，LiDAR几何协方差根据深度不确定度σz与平面度η动态调整；优化后的IMU偏差反馈至预积分模块，n个关键帧后重置优化器以控制计算复杂度。\n- 实验设置：实验平台为Apollo D-KIT lite（GNSS提供定位真值），在KITTI、M2DGR及自采集校园数据集上测试；KITTI序列00评估大规模长期漂移抑制、序列08测试反向行驶回环鲁棒性，M2DGR评估剧烈光照变化与几何退化极端场景，校园数据集（500米回环、行人频繁、多减速带）测试剧烈抖动下的全局一致性。\n- KITTI结果：JONA-SLAM在几乎所有序列上优于LVI-SAM，序列00 RMSE从7.36米降至1.71米、序列07从1.18米降至0.23米；三级配置（无回环/无法向/完整版）消融显示法向机制在序列07和08中作为严格把关者防止误回环污染后端因子图。\n- 回环检测性能：平均F1分数0.881，序列07达0.885显著优于DBoW2（0.611）、Scan Context（0.665）与无法向版本（0.725），序列08反向访问下保持0.711而DBoW2降至0.568，证明法向评分机制可消除重复结构中的外观感知混淆误报。\n- 实时性：平均延迟17.8毫秒，约为简单融合基线（37.6毫秒）的一半；法向一致性检查仅增加1.6毫秒开销（无法向版本为16.2毫秒），效率源于视觉触发逻辑仅在识别出潜在视觉候选时执行LiDAR验证，避免稠密点云冗余全局搜索。\n- M2DGR结果：平均APE RMSE为0.398米，优于LVI-SAM（0.531米）、FAST-LIVO2（0.452米）和R3LIVE++（0.406米）；法向约束消融显示几何退化走廊hall_05误差从0.938米降至0.754米（提升24.23%），证明法向先验有效抑制LiDAR系统在特征稀疏环境的轴向滑动。\n- 真实场景表现：校园数据集APE RMSE为2.404米，优于LVI-SAM（4.027米，相对提升40.30%）与R3LIVE++（2.418米），在突发干扰与结构不规则性下全局鲁棒性更佳，但R3LIVE++在最小与平均误差等局部指标上略有优势。\n- 约束与展望：阈值参数（平面度0.8、深度波动0.05米、法向阈值0.85）基于通用物理几何约束设定且跨所有场景恒定以保证泛化性，法向相似度基于静态场景几何刚性假设；未来将优化计算效率并探索更先进的特征增强技术以提升极端感知退化下的适应性。"
}