{
  "paper_id": "ff0f2017a0c3a58307c55a79d77981e9",
  "paper_title": "RMGS-SLAM: Real-time Multi-sensor Gaussian Splatting SLAM",
  "paper_authors": [
    "Dongen Li",
    "Yi Liu",
    "Junqi Liu",
    "Zewen Sun",
    "Zefan Huang",
    "Shuo Sun",
    "Jiahui Liu",
    "Chengran Yuan",
    "Hongliang Guo",
    "Francis E.H. Tay",
    "Marcelo H. Ang Jr."
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "在大规模真实环境中实现基于3D高斯溅射(3DGS)的实时同步定位与建图(SLAM)仍然具有挑战性，现有方法难以同时实现低延迟位姿估计、连续3D高斯重建和长期全局一致性。本文提出一个紧耦合的LiDAR-惯性-视觉3DGS SLAM框架，用于大规模真实场景中的实时位姿估计与照片级真实感建图。系统将状态估计和3D高斯基元初始化与全局高斯优化并行执行，实现连续稠密建图。为提升高斯初始化质量并加速优化收敛，我们引入了一种级联策略，将前馈预测与基于体素主成分分析得到的几何先验相结合。为增强全局一致性，我们在优化后的全局高斯图上直接执行回环检测，通过基于高斯的广义迭代最近点(GICP)配准估计回环约束，随后进行位姿图优化。我们还采集了带有硬件同步LiDAR-相机-IMU和真值轨迹的大规模闭环户外序列用于真实评估。在公开数据集和自采数据集上的大量实验表明，所提方法在多样化真实场景中的实时效率、定位精度和渲染质量方面达到了当前最优水平。",
  "keywords": [
    "建图",
    "SLAM",
    "定位",
    "传感器融合"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:55.368119Z",
  "template_tag": "simple",
  "summary": "### 摘要\n在大规模真实环境中实现基于3D高斯溅射(3DGS)的实时同步定位与建图(SLAM)仍具挑战性，现有方法难以同时达成低延迟位姿估计、连续3D高斯重建与长期全局一致性：早期视觉3DGS-SLAM系统（GS-SLAM、MonoGS、SplaTAM）在视角与光照变化下鲁棒性不足，近期LiDAR辅助方法（GS-LIVM、GS-LIVO、Gaussian-LIC2等）虽能跟上高频连续输入，但高斯初始化主要依赖LiDAR观测且几何假设有限，并常为保实时性而省略显式回环检测，限制大规模场景的全局一致性。本文提出RMGS-SLAM，一个紧耦合LiDAR-惯性-视觉(LIV)3DGS-SLAM框架，采用四模块设计：基于顺序IESKF的LIV前端估计自运动并输出时间同步的位姿、RGB图像、投影深度图与voxel-PCA几何先验；级联高斯初始化将前馈预测（以G³Splat实例化）与几何先验相结合，其核心机制为分段初始化函数——模型预测有效时取Θ_model(p)，预测无效但几何可靠时取Θ_pca(p)，否则取各向同性启发式Θ_heur(p)，其中模型预测尺度经点深度d与焦距f之比锚定（s_out=log((d/f)·a)），PCA分支尺度经有界动态因子β调整（s_out=s_pca+logβ）；全局高斯图在光度、结构与几何约束下异步优化，仅更新最近K段并冻结旧段；回环检测直接在优化后的全局高斯图上进行，通过协方差正则化的高斯GICP配准估计回环约束并在GTSAM位姿图中与里程计联合优化。实验在FAST-LIVO2与MARS-LVIG公开数据集及自采的Driving1/Driving2大规模闭环户外道路序列（硬件同步的Livox Avia LiDAR、FLIR Blackfly S相机与Arduino Mega 10Hz PWM触发，Xsens MTi-680G RTK GNSS/INS提供真值，轨迹长度44m至1988m）上进行，平台为i9-14900KS CPU、RTX 4090 GPU与128GB内存，以PSNR/SSIM/LPIPS评估渲染质量、ATE RMSE评估定位精度、实时因子（总优化时长除以输入流时长）评估在线效率，这些设置覆盖从小到大的多样化真实场景以验证实时性与全局一致性。结果表明该方法在几乎所有序列上取得最优或接近最优性能（如Lecture Center01上PSNR 35.63、SSIM 0.95、LPIPS 0.11；Driving1上ATE 0.41m；多数序列实时因子接近1.0），支持了级联初始化与高斯回环两项创新的有效性。未来工作将聚焦提升计算效率并扩展至导航、抓取等下游机器人任务；现实约束在于系统仍依赖高性能硬件才能在大规模环境中维持稳定实时运行。\n\n### 关键要点\n- RMGS-SLAM是紧耦合LiDAR-惯性-视觉3DGS-SLAM框架，将位姿估计与高斯基元初始化同全局高斯图优化并行执行，实现非阻塞的连续稠密建图并支持显式回环检测。\n- 级联初始化策略按优先级组合三个分支——前馈模型预测（以G³Splat实例化）、voxel-PCA几何先验、各向同性启发式；模型预测尺度通过点深度d与相机焦距f之比锚定到LiDAR深度（s_out=log((d/f)·a)），PCA分支尺度经有界动态因子β调整（s_out=s_pca+logβ）。\n- 体素-PCA几何拟合基于特征值分布将局部结构分类为平面（法向v_min）或线性（方向v_max），并从点级协方差经雅可比传播描述子不确定性，为初始化提供带可靠性标记的结构化几何先验。\n- 优化由关键帧图像监督，损失包含光度、结构（SSIM）与深度一致性三项，且仅在形态学腐蚀得到的保守内部掩码内计算以避免欠观测区域的不稳定梯度；仅更新最近K段高斯并冻结旧段以保护已优化区域，同时按有界比例剪枝低不透明度高斯。\n- 回环检测直接在全局3D高斯图上进行：从历史回环帧周围关键帧视锥内提取目标高斯集合（排除源集合与中心距离超过d_max的高斯），经协方差正则化为平面形式的高斯GICP配准估计回环相对位姿，残差低于阈值才接受，位姿图优化后将修正位姿传播至高斯段与监督视图。\n- 自采Driving1/Driving2数据集使用严格硬件同步设备（Livox Avia LiDAR、FLIR Blackfly S BFS-U3-51S5C相机、Arduino Mega提供10Hz PWM触发），Xsens MTi-680G RTK GNSS/INS提供真值，补充了大规模闭环户外道路场景的固态LIV基准。\n- 实验在FAST-LIVO2、MARS-LVIG及自采序列上进行，轨迹长度44m至1988m；对比基线包括MonoGS、SplaTAM、GS-LIVM、Gaussian-LIC2与FAST-LIVO2；渲染结果仅在严格分离的留出测试图像上评估，硬件平台为i9-14900KS CPU、RTX 4090 GPU与128GB内存。\n- 渲染质量上，RMGS-SLAM在Lecture Center01上达PSNR 35.63、SSIM 0.95、LPIPS 0.11，在HKairport03与HKisland03等大规模序列上也优于基线，整体取得最优或接近最优表现。\n- 定位精度上，RMGS-SLAM在Driving1、Driving2、HKairport03、HKisland03上的ATE RMSE分别为0.41、1.55、1.39、2.72米，优于FAST-LIVO2（3.55、2.86、1.41、2.74米）及其他基线，z轴漂移更小且重访区域轨迹闭合更好。\n- 实时因子在多数序列上接近1.0（HKU Campus为1.03、Driving1为1.01），而MonoGS约3至8倍、SplaTAM约2.7至38倍，部分基线甚至无法完成完整序列；模块级分析显示小场景耗时主要在前端估计与高斯优化，大场景回环触发后成为主要开销并伴随GPU内存上升。\n- 消融实验表明移除前馈模型主要降低SSIM与LPIPS（结构感知保真度），移除voxel-PCA或回环检测均导致性能下降；回环检测使大规模闭环场景Driving1的PSNR从19.82升至21.79，且小场景无明显退化。\n- 现实约束与展望：当前系统依赖高性能硬件（如RTX 4090）才能在大规模环境中维持稳定实时运行，未来工作将提升计算效率并扩展至导航、抓取等下游机器人任务。"
}