{
  "paper_id": "29f0af67c1703684031d149eec76f79f",
  "paper_title": "Point-Line LIVO Using Patch-Based Gradient Optimization for Degenerate Scenes",
  "paper_authors": [
    "Tong Shi",
    "Kun Qian",
    "Yixin Fang",
    "Yun Zhang",
    "Hai Yu"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Robotics and Automation Letters",
  "abstract": "Simultaneous localization and mapping based on 3-D light detection and ranging (LiDAR) tends to degenerate in structural-less environments, leading to a distinct reduction in localization accuracy and mapping precision. This article proposes a point-line LiDAR-visual-inertial odometry (PL-LIVO) based on the system implementation of FAST-LIVO for robust localization in LiDAR-degenerate scenes. The key idea is integrating both points and lines into the proposed direct visual odometry subsystem (PL-DVO). By minimizing the patch-based gradient residuals for state optimization, PL-DVO provides additional constraints complementary to LiDAR. Furthermore, a LiDAR map assisted visual features depth extraction (LM-VDE) method is proposed to recover 3-D positions of visual features by mapping them onto the 3-D planes of the LiDAR map. This method is independent of the single scan's density and notable for superior generalization across various LiDAR sensors. Extensive experiments on both public datasets and our datasets demonstrate that PL-LIVO ensures robust localization and outperforms other state-of-the-art systems in LiDAR degenerate scenes.",
  "keywords": [
    "SLAM",
    "localization",
    "mapping",
    "lidar-inertial-visual odometry",
    "patch-based gradient optimization"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:36:09.325973Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对基于三维LiDAR的SLAM系统在缺乏结构特征的环境（如隧道、楼梯间）中易发生退化、导致定位与建图精度显著下降的问题，现有LIVO系统（如LVI-SAM、R2LIVE、R3LIVE、FAST-LIVO）仍面临视觉子系统依赖亮度不变性假设、人造环境中丰富的线特征利用不足、以及多数LiDAR辅助视觉特征深度提取方法依赖高密度扫描等挑战。本文提出点线融合的激光雷达-视觉-惯性里程计PL-LIVO，在FAST-LIVO系统实现基础上构建直接视觉里程计子系统PL-DVO，通过最小化基于图像块的梯度残差进行状态优化，其核心机制为 r_P = D^P(π(^C T_W P_i)) − A_i Q_i，其中D^P在梯度图像上提取特征邻域像素块、A_i为对齐参考图像块的仿射变换，该残差基于梯度不变性假设，对曝光变化和镜头眩光更具适应性；同时提出LiDAR地图辅助视觉特征深度提取方法LM-VDE，将二维视觉特征映射到LiDAR地图（VoxelMap体素中存储的平面特征）的三维平面上恢复其三维位置，不依赖单次扫描密度，对不同LiDAR传感器具有更好的泛化性。实验在公开数据集NTU-VIRAL（提供Leica激光跟踪仪真值）以及R3LIVE、FAST-LIVO和自采平台（Livox Avia LiDAR与工业相机，硬件同步）采集的退化场景数据集上进行，硬件环境为Intel i5-1135G7 CPU与16GB内存，参数设置包括视觉块参数a=4像素、视觉残差权重100、三级梯度图像金字塔及每对齐单元4次迭代优化，这些设置旨在验证系统在一般场景与退化场景下的精度和鲁棒性。结果表明，PL-LIVO在NTU-VIRAL的9个序列中8个取得最高精度（ATE），在11个退化序列中10个漂移误差最小且全部低于0.1米，平均处理时间57.3毫秒保持实时性能，这些结果支持了梯度残差优化与点线互补约束的有效性；未来工作计划引入基于点和线特征的在线外参标定。实际应用场景包括建筑工地巡检机器人、隧道行驶车辆和手持建图设备，但系统依赖相机与LiDAR之间的高精度标定结果。\n\n### 关键要点\n\n- PL-LIVO在FAST-LIVO基础上将点与线特征同时集成到直接视觉里程计子系统PL-DVO中，通过最小化基于图像块的梯度残差为LiDAR提供互补约束，用于LiDAR退化场景的鲁棒定位。\n- 梯度残差建立在梯度不变性假设上：曝光变化改变整幅图像亮度但对相邻像素间相对亮度影响较小，因此梯度在光照变化下更稳定，克服了传统光度残差对亮度不变性的严格依赖。\n- 线特征采用与线方向对齐的a×4a矩形图像块模式，可选取更多具有信息量的梯度像素并建立更准确的帧间图像块关联；点特征采用常见的2a×2a方形块。\n- LM-VDE方法将二维视觉特征映射到LiDAR地图的三维平面上恢复深度，而非直接用LiDAR扫描点拟合三维位置，因此不依赖扫描密度，对16线等较稀疏旋转LiDAR传感器适应性更好。\n- 系统采用基于图像的数据对齐策略，将两幅连续图像间隔内的LiDAR点聚合为新扫描并与当前图像打包为对齐单元，支持LiDAR与图像约束的联合紧耦合优化，通过迭代误差状态卡尔曼滤波（IESKF）求解最大后验估计。\n- 实验在NTU-VIRAL公开数据集（9个序列，Leica激光跟踪仪提供真值）及退化场景数据集（5个公开序列加6个自采序列，平台含Livox Avia LiDAR与工业相机，硬件同步）上进行，硬件环境为Intel i5-1135G7 CPU与16GB内存。\n- 在NTU-VIRAL上，PL-LIVO在9个序列中的8个取得最高精度（ATE最低，如eee_01为0.022米），优于FAST-LIO、VoxelMap、R3LIVE和FAST-LIVO。\n- 在11个退化序列上，PL-LIVO在10个序列中起终点漂移误差最小，且所有测试序列的漂移误差均小于0.1米，而其他方法出现波动水平的漂移甚至失败（漂移≥10米）。\n- 消融实验表明，采用梯度残差的变体在11个序列中分别有9、10、11个序列漂移更低；PL-LIVO优于仅点或仅线的变体，验证了点线互补约束对位姿估计的益处。\n- 系统平均处理时间为每对齐单元57.3毫秒（FAST-LIVO为49.3毫秒），额外开销来自二维视觉特征提取与三维位置重建，但仍保持实时性能并提升退化环境鲁棒性。\n- 实际应用包括建筑工地巡检机器人、隧道车辆与手持建图设备，但PL-LIVO要求相机与LiDAR之间高精度标定；未来计划引入基于点和线特征的在线外参标定以构建更易用的系统。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}