{
  "paper_id": "36a3079ce2758278107a0eff33aebab8",
  "paper_title": "HVL-SLAM: Hybrid Vision and LiDAR Fusion for SLAM",
  "paper_authors": [
    "Wei Wang",
    "Chenjie Wang",
    "Jun Liu",
    "Xin Su",
    "Bin Luo",
    "Cheng Zhang"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Geoscience and Remote Sensing",
  "abstract": "In the field of simultaneous localization and mapping (SLAM), map-based localization has been widely used in autonomous driving, particularly for all-speed and all-road adaptive cruise, automatic parking, and other high-level functions. As a result, LiDAR sensors are frequently used in visual-based SLAM to improve the overall accuracy of ego-motion estimation and environment reconstruction. In this article, a novel tightly coupled monocular hybrid visual LiDAR SLAM (HVL-SLAM), which utilizes both visual and LiDAR measurements in tracking and mapping. First, the proposed method reduces the 3-D uncertainty of features by employing object segmentation and Delaunay triangulation. The motion between adjacent frames is then estimated using a hybrid tracking module that minimizes photometric and reprojection error. Finally, a joint optimization method for refining the pose is proposed, which incorporates visual and LiDAR measurements into optimization with dynamic weights, resulting in higher positioning accuracy and robustness. The experiments on the public KITTI odometry benchmark and real-world outdoor datasets demonstrate that HVL-SLAM outperforms state-of-the-art approaches in terms of pose estimation and mapping performance. The code is released to the community.",
  "keywords": [
    "Feature depth extraction",
    "hybrid pose estimation",
    "joint visual LiDAR pose optimization",
    "visual LiDAR simultaneous localization and mapping (SLAM)"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:31.513863Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对自动驾驶中同时定位与建图（SLAM）的自运动估计与环境重建精度问题，提出了一种紧耦合的单目视觉-LiDAR混合SLAM系统（HVL-SLAM）。现有方法中，深度增强视觉方法（如LIMO、CamVox、RGB-L）的特征深度提取受限于局部图像块尺寸与激光点云密度，基于立体相机的紧耦合融合方法（如TVL-SLAM）需要长基线且双目标定易受机械形变影响，而多数后端优化采用固定权重、无法自适应不同场景。HVL-SLAM基于ORB-SLAM2框架，包含三大创新：其一，基于点云目标分割与Delaunay三角化的LSDT特征深度提取方法，假设同一物体上深度连续，通过特征点射线与三角面片求交获得深度，无需复杂参数设置且在稀疏LiDAR（如VLP-16）下依然有效；其二，混合视觉-LiDAR帧间跟踪模块，联合最小化光度误差与重投影误差，兼顾直接法与特征法的优势；其三，视觉-LiDAR联合优化方法，通过逆协方差动态权重将视觉重投影约束与LiDAR边缘、平面、地面约束统一到非线性最小二乘问题中：min_{R,t} (1/δ_v²)Σρ(‖d_R(X)‖²) + (1/δ_e²)Σρ(‖w·d_E(E)‖²) + (1/δ_p²)Σρ(‖w·d_P(P)‖²) + (1/δ_g²)Σρ(‖w·d_P(G)‖²)。实验在公开KITTI里程计基准（序列00-10）及武汉大学停车场、图书馆和江夏等真实室外数据集上开展，前者用于与最先进方法公平对比，后者验证真实动态场景与退化场景下的鲁棒性。结果表明，HVL-SLAM在KITTI上取得平均平移误差0.75%、旋转误差0.29°/100m，优于DV-LOAM（0.80%/0.38°）、CamVox、RGB-L等视觉LiDAR融合方法以及F-LOAM、T-LOAM等LiDAR方法；在停车场数据集上RMSE为1.73m，优于LeGO-LOAM（2.48m）与DV-LOAM（2.24m）；在动态图书馆场景中RMSE为2.61m，显著优于F-LOAM（4.49m）与MULLS（15.56m），验证了深度提取、混合跟踪与联合优化各模块的有效性。消融实验显示各模块逐步将平移误差从单目ORB-SLAM2的4.96%降至0.75%。系统在Intel i7-7700 CPU上以约8Hz运行，适用于计算资源受限的移动机器人。未来工作将引入动态物体剔除模块以提升动态环境下的精度与鲁棒性。实际应用场景包括全速全路况自适应巡航、自动泊车以及GPS拒止环境（城市峡谷、隧道、地下停车场）中的定位。\n\n### 关键要点\n- 提出HVL-SLAM，一种紧耦合的单目相机与3D LiDAR融合SLAM系统，在跟踪与建图中同时利用视觉与LiDAR测量，无需GPS或地理标记数据库即可实现精确位姿估计与高效机器人定位。\n- LSDT深度拟合方法基于地面分割、距离图像目标聚类与Delaunay三角化，假设同一物体深度连续，特征深度由点射线与三角面片交点确定，典型运行时间仅约10ms，且在稀疏激光传感器（如VLP-16）下仍能提供较准确的深度值。\n- 混合跟踪模块联合优化光度误差（采用t分布权重函数，自由度ν=5）与几何重投影误差（采用Huber核），结合直接法与特征法优势，在退化场景（如高速公路）下显著提升自运动估计鲁棒性。\n- 视觉-LiDAR联合优化将视觉重投影、LiDAR边缘（点到线）、平面与地面（点到面）约束以逆协方差动态权重融合，并引入线/面拟合质量权重 w=√((λ₃²-λ_f²)/λ₃²) 对残差块加权，非线性问题由Ceres Solver求解。\n- 系统基于ORB-SLAM2开发，包含帧间跟踪、视觉-LiDAR联合优化与基于DBoW的回环检测三线程；回环约束通过V-GICP计算两个子图点云间的相对位姿并加入位姿图优化以保持全局一致性。\n- 在KITTI里程计基准（序列00-10）上取得平均平移误差0.75%、旋转误差0.29°/100m，优于DV-LOAM、CamVox、RGB-L、GAC-Mapping等视觉LiDAR融合方法以及F-LOAM、T-LOAM等LiDAR方法。\n- 真实数据集验证：武汉大学停车场（200m，含2个回环）RMSE为1.73m，优于DV-LOAM（2.24m）与LeGO-LOAM（2.48m）；动态图书馆场景（700m）RMSE为2.61m，显著优于F-LOAM（4.49m）、LeGO-LOAM（3.69m）与MULLS（15.56m）。\n- 消融实验表明：特征深度提取模块将单目ORB-SLAM2平移误差从4.96%降至1.41%，scan-to-map优化进一步降至0.93%，加入带动态权重的视觉联合优化后降至0.75%，平移与旋转误差下降约20%。\n- 深度提取效率对比：LSDT平均耗时12.88ms（每特征约1.11×10⁻³ms），快于GAC-Mapping（42.71ms）与LIMO（18.18ms）；在RGB-L系统中替换各方法深度模块后，本文方法精度最优（平均0.91%/0.33°）。\n- 系统在Intel Core i7-7700 CPU、32GB RAM上以C++/ROS实现，借助OpenMP在KITTI数据集上平均运行频率约8Hz，适用于计算资源受限的移动机器人平台。\n- 局限性：高速运动（如KITTI序列01）下特征关联质量下降导致精度降低；LIMO虽平均旋转估计更优，但其依赖GPU获取语义信息，不适合资源受限的移动机器人部署。\n- 未来工作计划引入动态物体剔除模块，以提升动态环境下自运动估计与建图任务的精度和鲁棒性。"
}