{
  "paper_id": "b4731377491b46c1de294efc4a83642c",
  "paper_title": "GS-LIVM: Real-Time Photo-Realistic LiDAR-Inertial-Visual Mapping with Gaussian Splatting",
  "paper_authors": [
    "Yusen Xie",
    "Zhenmin Huang",
    "Jin Wu",
    "Jun Ma"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "In this paper, we introduce GS-LIVM, a real-time photo-realistic LiDAR-Inertial-Visual mapping framework with Gaussian Splatting tailored for outdoor scenes. Compared to existing methods based on Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), our approach enables real-time photo-realistic mapping while ensuring high-quality image rendering in large-scale unbounded outdoor environments. In this work, Gaussian Process Regression (GPR) is employed to mitigate the issues resulting from sparse and unevenly distributed LiDAR observations. The voxel-based 3D Gaussians map representation facilitates real-time dense mapping in large outdoor environments with acceleration governed by custom CUDA kernels. Moreover, the overall framework is designed in a covariance-centered manner, where the estimated covariance is also provided. The covariance is used to initialize the scale and rotation of 3D Gaussians, as well as update the parameters of the GPR. We evaluate our algorithm on several outdoor datasets, and the results demonstrate that our method achieves state-of-the-art performance in terms of mapping efficiency and rendering quality. The source code is available on GitHub.",
  "keywords": [
    "SLAM",
    "3D Gaussian Splatting",
    "Gaussian Process Regression",
    "LiDAR-Inertial-Visual Fusion",
    "Photo-realistic Mapping",
    "Real-time Mapping",
    "Novel View Synthesis"
  ],
  "paper_institutions": [
    "Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology (Guangzhou)",
    "Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:55.718362Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对大规模无界室外场景中难以兼顾实时性与照片级真实感渲染的LiDAR-惯性-视觉建图问题，提出GS-LIVM框架。现有NeRF类与3DGS类SLAM方法主要面向室内RGB-D或单目场景，在室外面临LiDAR点云稀疏且分布不均、单向运动导致3D高斯向相机方向优化偏置、离线方法过拟合训练视角以及GPU内存溢出等挑战。GS-LIVM以紧耦合LiDAR-惯性-视觉里程计进行状态估计与彩色点云坐标变换，核心机制是体素级高斯过程回归(Voxel-GPR)：对每个满足点数阈值τ的体素，经PCA确定值轴与参数轴后，以均匀网格为查询点，按 f_{α*} = K_{α*}^T(K_α + σ²I)^{-1}f_α 预测均匀分布点云，并同时输出协方差 Σ_{α*} 用于初始化3D高斯的尺度与旋转并迭代更新GPR参数；框架以协方差为中心，结合结构相似性损失与增量深度相似性损失，通过自定义CUDA核加速实现实时稠密建图。实验在R³LIVE、FAST-LIVO、NTU-VIRAL与Botanic Garden四个公开数据集上展开，涵盖Livox Avia、Ouster-16、Velodyne VLP-16等多种LiDAR与相机配置，以验证方法在不同传感器与室外环境下的泛化能力；实现基于CUDA/C++与LibTorch(ROS)，运行于i9-13900HX CPU与8GB RTX 4060 GPU。以PSNR、SSIM、LPIPS为评价指标，在100帧、5分钟限制下相比NeRF-SLAM、MonoGS与原始3DGS取得最优或接近最优的渲染质量(如hku-campus_seq_00序列PSNR 22.430、LPIPS 0.247)，且所有序列均可在8GB GPU上实时完成建图，验证了Voxel-GPR、快速初始化与损失设计的有效性。未来工作将探索利用图像数据辅助初始化以覆盖无点云区域，并进一步提升重建质量。该方法适用于户外机器人导航、自动驾驶等需要实时高保真环境重建的场景，但受实时性约束其重建质量可能不及离线充分优化的结果，且在点云覆盖缺失区域会出现空洞。\n\n### 关键要点\n\n- 提出体素级高斯过程回归(Voxel-GPR)模块，在体素内将稀疏且分布不均的LiDAR点云转换为均匀网格点云，用更少的3D高斯表示场景，从而降低GPU内存消耗并加速3D高斯优化。\n- 基于GPR输出的协方差设计3D高斯快速初始化方法：高斯位置由邻域预测点的方差加权均值确定，尺度取加权协方差矩阵的对角元素，旋转初始化为单位四元数，缓解传感器平台快速运动时优化迭代不足导致的渲染质量下降。\n- 构建以方差为中心的迭代建图框架，将体素划分为未探索/未达阈值、待加入地图、活跃(方差未收敛于η)与已收敛四类，仅对活跃体素堆叠新观测点迭代执行Voxel-GPR直至收敛，避免冗余计算。\n- 引入结构相似性损失(最新扫描点云到最近3D高斯的平均欧氏距离)与增量深度相似性损失(相邻帧渲染深度经相对位姿变换后的一致性约束)，在不增加建图时间的前提下提升渲染指标与新视角合成鲁棒性。\n- 在R³LIVE、FAST-LIVO、NTU-VIRAL和Botanic Garden四个公开室外数据集上评估，涵盖Livox Avia、Ouster-16、Velodyne VLP-16等多种LiDAR及不同分辨率相机，验证方法对多种传感器配置的适应性。\n- 系统以CUDA/C++结合LibTorch框架在ROS下实现，运行于5.5GHz Intel i9-13900HX CPU、64GB内存与NVIDIA RTX 4060 8GB笔记本GPU；Voxel-GPR借助CUDA并行可在30毫秒内处理数百至数千个体素。\n- 在限制100帧、5分钟的渲染对比中，GS-LIVM在PSNR/SSIM/LPIPS上总体优于NeRF-SLAM、MonoGS与原始3DGS(如hku-campus_seq_00达PSNR 22.430、SSIM 0.719、LPIPS 0.247)，而基线方法因GPU内存与跟踪性能限制无法完成整场景重建。\n- 实时性判据为每帧处理时间 t ≤ D/C(数据时长除以新增相机数)；在Botanic Garden 1018_13(时长208s)等序列中系统耗时基本低于实时上限，所有序列在 n_s=3 时均可于8GB GPU上完成照片级建图，最大内存约3.5GB。\n- 消融实验表明：去除Voxel-GPR或所提初始化方法会使达到同等优化效果的时间增加约1.3倍；η取值显著影响建图时间但对渲染指标提升有限；n_s 在较小场景中提升渲染质量，在更大场景中消耗更多时间与显存，体现精度与速度的权衡。\n- 与充分优化的离线3DGS相比，本方法在训练视角指标略低(如hku_seq_00 PSNR 22.430对27.827)，但离线方法因过拟合训练数据导致新视角合成质量显著退化，本方法有效克服了该过拟合问题。\n- 跟踪模块基于SR-LIVO改进(以传感器原始时间戳替代基于扫描的细化并解决多线旋转LiDAR崩溃问题，对大矩阵乘法做CUDA封装)，在Botanic Garden七条序列上的RPE/ATE总体优于R³LIVE与FAST-LIO2，部分序列不及含回环检测的LVI-SAM。\n- 局限性在于3DGS初始化完全依赖点云数据，无点云覆盖区域会初始化失败并产生缺失；受实时性约束，重建质量可能低于实际采集图像，未来将引入图像数据辅助初始化并提升重建质量。"
}