上公开发布。
## 关键词
激光雷达-惯性-相机SLAM、多传感器融合、照片级逼真密集建模
## 1 引言
同时定位与建图（SLAM）是一项关键技术，能够为混合现实系统和机器人应用提供空间感知能力。近年来，辐射场表示技术取得了重大进展，尤其是神经辐射场（NeRF）Mildenhall等人（2021年）和3D高斯溅射（3DGS）Kerbl等人（2023年），它们开创了基于辐射场的SLAM新范式Tosi等人（2024年）。借助可微的照片级真实感渲染技术，基于辐射场的SLAM系统旨在实时提供精确的位姿估计和照片级真实的3D地图，从而赋予机器人更丰富的3D场景理解能力。这些系统可应用于多种任务，包括路径规划Jin等人（2024年）；Chen等人（2025b）；Lei等人（2025年）、主动探索与建图Chen等人（2025a），以及3D网格重建Zhang等人（2024b）。
最初，基于NeRF的SLAM系统Sucar等人（2021年）；Zhu等人（2022年）；Yang等人（2022年）；Wang等人（2023a）；Johari等人（2023年）利用多层感知机（MLP），通常还会结合可学习的编码方式来表征整个场景，从而生成高质量且密集的地图，同时占用较少的内存。不过，这种隐式表示方法需要基于3D空间采样进行计算量庞大的体积渲染，这会影响其实时性，而实时性对于机器人应用而言至关重要。3DGS的出现改变了这一局面。它具备快速渲染能力和良好的视觉质量，展现出更大的实时应用潜力。配备RGB-D或RGB传感器的多数基于3DGS的SLAM系统Yan等人（2024a）；Keetha等人（2024年）；Yugay等人（2023年）；Matsuki等人（2024年）；Huang等人（2024b）主要面向室内环境，其性能优于基于NeRF的方法，但遗憾的是，在无边界的室外场景中常见的剧烈自身运动、光照变化以及视觉纹理缺失等挑战性条件下，它们的表现却不尽如人意。Sun等人（2024年）；Wu等人（2024a）；Xiao等人（2024年）；Xie等人（2025年）；Zhao等人（2025年）；Hong等人（2025年）以及我们之前的工作Lang等人（2025年）通过融合激光雷达和惯性测量单元来解决这一问题，其中激光雷达-惯性-相机融合技术在传统SLAM方法中的有效性已得到广泛验证Zhang和Singh（2018年）；Zuo等人（2019年、2020年）；Shan等人（2021年）；Lin和Zhang（2022年、2024年）；Zheng等人（2022年、2024年）；Yuan等人（2024年）；Lv等人（2023年）；Lang等人（2023年）；Cong等人（2024年）；Wu等人（2025年）。值得注意的是，激光雷达提供的精确几何先验有助于位姿跟踪和高斯映射，而且如今激光雷达的成本显著降低，使其更容易被集成到系统中。
---
Figure 1. Overview of the system outputs (ordered left to right, top to bottom): (1) reconstructed Gaussian map, (2) RGB image rendered from a novel viewpoint, (3) sparse LiDAR point cloud map, (4) depth map rendered from the novel viewpoint, and (5) 3D mesh extracted from the Gaussian map.
(2024a)；肖等人（2024）；谢等人（2025）；赵等人（2025）；洪等人（2025）以及我们之前的研究Lang等人（2025）通过融合激光雷达和惯性测量单元来解决这一问题，其中激光雷达-惯性-相机融合的有效性已在传统的SLAM方法中得到广泛验证：张和辛格（2018）；左等人（2019, 2020）；单等人（2021）；林和张（2022, 2024）；郑等人（2022, 2024）；袁等人（2024）；吕等人（2023）；Lang等人（2023）；丛等人（2024）；吴等人（2025）。值得注意的是，激光雷达提供的精确几何先验既有助于姿态跟踪，也有助于高斯映射，而且如今激光雷达的成本大幅降低，使其更易于集成应用。
尽管近期已有研究尝试将高斯泼溅技术（Kerbl等人，2023年）融入激光雷达-惯性-相机SLAM系统（Lang等人，2025年；Xiao等人，2024年；Xie等人，2025年；Zhao等人，2025年；Hong等人，2025年），但仍有若干关键问题尚未解决或处理得不够充分。首先，现有方法主要依赖视场角与相机高度重合的密集激光雷达数据，仅利用激光雷达点来初始化高斯参数。这容易导致激光雷达盲区出现重建不足的现象，尤其是在使用稀疏激光雷达时更为明显。虽然自适应密度控制（ADC）技术可以通过根据反向传播梯度的幅值和高斯尺度来克隆或分裂高斯参数，从而缓解这一限制（Kerbl等人，2023年），但在涉及不同成熟度高斯参数优化的增量式SLAM系统中，该技术表现欠佳。此外，ADC需要在多次优化迭代中聚合梯度信息，这无法满足实时SLAM系统对时效性的要求。其次，尽管现有SLAM方法利用了具有精确几何信息的激光雷达数据，但它们过于侧重地图的视觉质量，而忽视了其几何重建精度，这限制了其在障碍物避让等对几何精度要求较高的任务中的应用。要在保持实时性能的同时实现高质量的RGB图像和深度图渲染，仍是一项巨大挑战。第三，当前方法通常将激光雷达-惯性-相机里程计与高斯映射模块分开处理。至于增量构建的高斯地图是否能在系统运行过程中为传统里程计提供助力，目前尚缺乏深入研究。另外，大多数方法仅关注训练视角下的渲染质量，而忽略了序列内甚至序列间的新视角合成能力。诚然，能够同时评估序列内及序列间新视角下RGB图像与深度图渲染效果的激光雷达-惯性-相机SLAM数据集仍然十分稀缺。
本期刊扩展版在会议版本Gaussian-LIC（Lang等人，2025年）的基础上发展而来，通过提出一种实时、具备几何感知能力且照片级逼真的SLAM系统——Gaussian-LIC2，来解决上述挑战。该系统能够在构建兼具高保真视觉外观与精确几何结构的三维高斯地图的同时，实现鲁棒且精确的位姿估计。其主要贡献如下：
• 我们提出了首个兼顾视觉质量、几何精度与实时性能的激光雷达-惯性-相机高斯泼溅SLAM系统。该系统能够实时、鲁棒且精确地估计位姿，同时构建出照片级逼真且几何精度极高的三维高斯地图。
- 我们提出了一种高效、轻量且泛化能力强的稀疏深度补全网络，用于融合激光雷达数据与视觉数据，从而快速预测激光雷达未覆盖的图像区域的深度信息，实现更全面的三维高斯初始化并减少重建不足的现象。在训练过程中，我们充分利用激光雷达提供的深度数据进行监督，并通过一系列精心设计的C++及CUDA实现来加速这一过程。
- 我们探索了在连续时间框架下，将增量构建的高斯地图所提供的光度约束与原始激光雷达-惯性数据相融合，成功帮助里程计克服激光雷达退化问题。此外，我们还扩展了该系统，使其能够将高斯地图应用于视频帧插值、快速网格生成等下游应用。
• 我们精心构建了一个专门的激光雷达-惯性-相机数据集，该数据集包含真实的位姿和深度信息，以及经过精心设计的采集轨迹，从而能够评估非连续顺序的新视角合成效果。我们在公开数据集和自行采集的数据集上进行了大量实验，证明了我们方法的优越性及其对各种类型激光雷达的适应性。
## 2 相关工作
### 2.1 基于辐射场的照片级真实感重建
地图表示对SLAM系统的架构设计和潜在下游应用有着深远影响。稀疏SLAM方法（Qin等人，2018年；Campos等人，2021年）在位姿估计方面表现优异，但只能生成稀疏的关键点地图。相反，稠密SLAM方法能生成有助于场景理解的稠密地图。例如，DTAM（Newcombe等人，2011b年）、REMODE（Pizzoli等人，2014年）、LSD-SLAM（Engel等人，2014年）、DSO（Engel等人，2017年）、DROID-SLAM（Teed和Deng，2021年）等，能够实现精确的相机位姿跟踪并重建稠密点云地图。KinectFusion（Newcombe等人，2011a年）、ElasticFusion（Whelan等人，2015年）以及SurfelMeshing（Schöps等人，2019年）采用截断有符号距离函数（TSDF）、曲面元素和网格来建模3D场景，这些方法在SLAM领域应用广泛。然而，要从这些地图表示中恢复照片级真实感的相机视图颇具挑战性。幸运的是，NeRF（Mildenhall等人，2021年）的出现带来了有前景的解决方案。作为一种新型的辐射场表示方式，NeRF通过多层感知机隐式地建模场景的几何结构和纹理，即便在新视角下也能实现可微的照片级真实感渲染。为了加快训练速度，Plenoxels（Fridovich-Keil等人，2022年）直接在稀疏体素网格上优化球面谐波和密度，无需使用神经网络；instant-ngp（Müller等人，2022年）则引入了多分辨率哈希编码，搭配小型GPU加速神经网络。为了提高NeRF表示的几何精度并从中提取精确的3D网格，VolSDF（Yariv等人，2021年）、NeuS（Wang等人，2021年）以及NeuS2（Wang等人，2023b年）用有符号距离函数（SDF）替换了密度场。
---
不过，由于基于射线的体积渲染计算量较大，NeRF在实时重建方面仍略显不足。相比之下，3D高斯泼溅（3DGS）（Kerbl等人，2023年）采用视点相关的各向异性高斯函数显式地表示场景，并引入了基于图块的泼溅光栅化策略，在保持卓越视觉质量的同时实现了更快的渲染速度。以3DGS为基础，后续涌现出许多旨在进一步提升其性能和灵活性的研究成果。Scaffold-GS（Lu等人，2024年）引入了小型多层感知机来预测神经高斯的属性，从而实现更紧凑且更具表现力的表示。与此同时，SuGaR（Guédon和Lepetit，2024年）与GOF（Yu等人，2024b年）专注于从3DGS表示中高效提取网格，以便用于几何处理和模拟等下游任务。2DGS（Huang等人，2024a年）、GaussianSurfels（Dai等人，2024年）以及PGSR（Chen等人，2024a年）将高斯函数展平以使其精确贴合场景表面，而RaDe-GS（Zhang等人，2024a年）则引入了一种增强的深度光栅化方法，无需重新定义高斯基元。NeuSG（Chen等人，2023a年）与GSDF（Yu等人，2024a年）尝试利用相互引导和联合监督机制，将神经SDF与3DGS相结合。
不过，由于基于光线的体积渲染计算量较大，NeRF在实时重建方面仍略显不足。相比之下，Kerbl等人（2023年）提出的3D高斯泼溅（3DGS）技术采用视点相关的各向异性高斯函数来表示场景，并引入了基于图块的光栅化策略来处理高斯斑点，从而在保持优异视觉质量的同时实现了更快的渲染速度。以3DGS为基础，后续又涌现出许多旨在进一步提升其性能与灵活性的研究成果。例如，Lu等人（2024年）提出的Scaffold-GS利用微型多层感知机来预测神经高斯的特性，从而实现更紧凑且表达能力更强的表示方式。与此同时，Guédon和Lepetit（2024年）提出的SuGaR以及Yu等人（2024b年）提出的GOF专注于从3DGS表示中高效提取网格，以便用于几何处理和仿真等下游任务。Huang等人（2024a年）提出的2DGS、Dai等人（2024年）提出的GaussianSurfels以及Chen等人（2024a年）提出的PGSR则将高斯函数展平以使其更贴合场景表面；而Zhang等人（2024a年）提出的RaDe-GS则在不重新定义高斯基元的前提下引入了改进的深度光栅化方法。此外，Chen等人（2023a年）提出的NeuSG以及Yu等人（2024a年）提出的GSDF试图通过相互引导和联合监督的方式，将神经符号距离场与3DGS结合起来。
传统的NeRF和3DGS方法通常仅依赖图像数据进行照片级真实感重建。然而，随着激光雷达成本不断降低且日益普及，将其引入可以显著提升NeRF和3DGS的性能，尤其是在无边界的户外环境中。对于NeRF而言，激光雷达数据能够指导光线在物体表面附近的采样，并在优化过程中提供精确的深度监督。URF、Rematas等人（2022年）以及EmerNeRF、Yang等人（2023年）都是专为自动驾驶场景设计的NeRF变体，借助激光雷达的帮助实现了出色的渲染质量。SiLVR、Tao等人（2024年）以激光雷达SLAM系统为基础，高效地构建了多个NeRF子地图。M2Mapping、Liu等人（2024a）则通过基于SDF的NeRF公式，在激光雷达-摄像头系统中统一了表面重建与照片级真实感渲染。在3DGS领域，激光雷达数据不仅能用于几何监督，还能实现高斯点的精确高效初始化。PVG、Chen等人（2023b），DrivingGaussian、Zhou等人（2024a），StreetGaussians、Yan等人（2024b）以及TCLC-GS、Zhao等人（2024）率先将激光雷达引入3DGS框架，有效建模了自动驾驶环境中的静态场景与动态物体。LIV-GaussMap、Hong等人（2024年）和LetsGo、Cui等人（2024年）都利用基于激光雷达的SLAM生成的点云与位姿来初始化3DGS。更侧重几何质量的LI-GS、Jiang等人（2024年）采用2DGS作为地图表示以增强表面对齐效果，而GS-SDF、Liu等人（2025年）则将激光雷达数据融入基于SDF的3DGS中。
上述研究均属于逐场景优化的框架。有趣的是，一系列前馈模型——Yu等人（2021年）；Chen等人（2021年）；Charatan等人（2024年）；Chen等人（2024b）——相继问世，能够以端到端的方式实现具备泛化能力的照片级真实感重建。不过，它们的精度仍不及逐场景优化方法，且仅适用于视角变化极小、高质量图像数量有限的情况。
### 2.2 基于辐射场的增量式视觉SLAM系统
无论是逐场景优化的还是前馈式的基于辐射场的重建，本质上都属于离线过程，可访问所有采集到的数据。相比之下，基于辐射场的SLAM系统则是利用辐射场地图表示，借助顺序输入的传感器数据来逐步完成照片级真实感重建。
给定连续的RGB-D输入，iMAP（Sucar等人，2021年）是一项开创性成果，它基于隐式神经表示实现了无缝隙的在线重建。此后，NICE-SLAM（Zhu等人，2022年）通过将MLP表示与分层特征网格相结合，能够扩展到更大的室内场景。Vox-Fusion（Yang等人，2022年）进一步采用八叉树来动态扩展体素地图，从而无需预先分配网格。Co-SLAM（Wang等人，2023a）、ESLAM（Johari等人，2023年）和Point-SLAM（Sandström等人，2023年）分别利用哈希网格、三平面和神经点云作为各自的隐式表示，在定位与建图方面均取得了提升。此外，H2-Mapping（Jiang等人，2023年）通过一种新颖的覆盖最大化关键帧选择策略解决了数据遗忘问题。在基于3DGS的SLAM领域，GS-SLAM（Yan等人，2024a）、SplaTAM（Keetha等人，2024年）以及Gaussian-SLAM（Yugay等人，2023年）证明了3DGS在在线照片级真实感建图方面相较于现有地图表示的优势。RTG-SLAM（Peng等人，2024年）通过强制为每个高斯设置二元不透明度，实现了室内场景下的实时性能，同时保持了紧凑的场景表示。GSFusion（Wei和Leutenegger，2024年）将高斯地图与TSDF地图共同构建，并利用四叉树数据结构来减少高斯数量。MM3DGS-SLAM（Sun等人，2024年）
---
它松散地融合RGB-D数据与IMU测量值，从而实现更稳健、更精确的位姿估计。
一系列研究也探索了仅基于单目RGB图像的操作方式，其中NICER-SLAM（Zhu等人，2024b）和MonoGS（Matsuki等人，2024年）是代表性的辐射场地图中心方法。前者充分利用单目几何线索进行监督，后者引入各向同性正则化来解决增量重建中的歧义问题。不过，采用最先进的视觉里程计进行位姿跟踪、同时并行开展辐射场优化以实现照片级真实感建图的分离式跟踪与建图方法，通常表现出更强的鲁棒性。Orbeez-SLAM（Chung等人，2023年）和Photo-SLAM（Huang等人，2024b）均基于ORB-SLAM（Campos等人，2021年）构建。NeRF-SLAM（Rosinol等人，2023年）和IG-SLAM（Sarikamis和Alatan，2024年）利用从跟踪前端DROID-SLAM估算出的密集深度图作为额外信息，来监督instant-ngp和3DGS的训练。NeRF-VO（Naumann等人，2024年）和MGS-SLAM（Zhu等人，2024a）则采用稀疏的DPVO（Teed等人，2023年）作为更快的跟踪器，并利用网络预测的密集深度图进行监督。
### 2.3 集成激光雷达的辐射场SLAM系统
基于辐射场的视觉SLAM在封闭的室内场景中表现优异，融合IMU数据还能进一步提升其鲁棒性。但极端剧烈的运动、剧烈的光线变化以及纹理缺失等问题仍对其构成挑战。在基于辐射场的重建领域，相关研究包括Rematas等人（2022年）、Yang等人（2023年）、Tao等人（2024年）、Liu等人（2024a年）、Chen等人（2023b年）、Zhou等人（2024a年）、Yan等人（2024b年）、Zhao等人（2024a年）、Hong等人（2024b年）、Cui等人（2024b年）、Jiang等人（2024b年）、Liu等人（2025年）、Zuo等人（2020年）、Han等人（2021年）、Lin和Zhang（2022年、2024年）、Zheng等人（2022年、2024年）、Yuan等人（2024年）、Lv等人（2023年）、Lang等人（2023年）、Li DARs等。对于基于辐射场的SLAM而言，集成激光雷达的优势至少包括：提升位姿估计的鲁棒性与精度、提供精确的几何监督，以及为NeRF采样和3DGS初始化提供便利。
依托激光雷达数据，SHINE-Mapping（Zhong等人，2023年）是一种增量式建图框架，它采用基于八叉树的分层神经SDF来实现内存高效的大规模三维重建。与此同时，NF-Atlas（Yu等人，2023年）通过位姿图来组织多个神经子地图；N3-Mapping（Song等人，2024年）则采用面向体素的滑动窗口机制，在有限的内存占用下缓解遗忘问题。与纯几何建图不同，HGS-Mapping（Wu等人，2024b）能够在城市场景中利用混合高斯模型逐步构建高精度的照片级真实感地图。所有这些建图系统都假设预先已知真实的位姿，而能够同时估计位姿的完整SLAM系统本质上要复杂得多。NeRF-LOAM（Deng等人，2023年）是一种典型的基于NeRF的激光雷达里程计与建图方法，可同时优化位姿和体素嵌入参数。此外，LONER（Isaacson等人，2023年）提出了一种新颖的信息论损失函数，以实现实时性能。得益于半显式表示，PIN-SLAM（Pan等人，2024年）利用具有弹性特性的神经点云地图表示来实现全局一致的建图。Splat-LOAM（Giacomini等人，2025年）则利用带有球面投影的显式2DGS图元来进行定位与激光雷达建图。
Rapid-Mapping（Zhang等人，2024b）不仅致力于恢复场景的几何结构，还利用NeRF来表示并渲染精细的场景纹理。MM-Gaussian（Wu等人，2024a）、LiV-GS（Xiao等人，2024年）以及PINGS（Pan等人，2025年）利用激光雷达-相机数据，在统一的3DGS优化框架内实现位姿跟踪与密集建图的耦合。尽管这些方法表现优异，但受限于3DGS固有的特性，它们无法实现实时运行。相比之下，解耦的跟踪与高斯建图方法展现出了良好的应用前景。我们之前的工作Gaussian-LIC（Lang等人，2025年）是首个基于实时激光雷达-惯性-相机3DGS的SLAM系统，它将用于跟踪的连续时间激光雷达-惯性-相机里程计与用于建图的3DGS相结合，实现了实时的高保真照片级真实感重建。此后，GS-LIVM（Xie等人，2025年）、LVI-GS（Zhao等人，2025年）以及GS-LIVO（Hong等人，2025年）也相继在经典激光雷达-惯性-相机里程计基础上发展而来。其中，GS-LIVM和GS-LIVO均采用基于体素的地图结构，并对高斯协方差进行初始化。
### 2.4 对Gaussian-LIC的扩展
本文是在我们的会议版本Gaussian-LIC（Lang等人，2025年）基础上发展而来，进一步引入了超出该版本的重要系统与技术贡献。
从系统层面来讲，据我们所知，Gaussian-LIC2是首个兼顾高保真视觉真实感、精确几何信息与实时效率的激光雷达-惯性-相机高斯泼溅SLAM系统。相比之下，Gaussian-LIC、GS-LIVM和GS-LIVO最多只能分别侧重于视觉质量或实时性能。
从技术层面来看，主要在三个方面进行了改进：
- 解决激光雷达盲区问题：GS-LIVM、LVIGS和GS-LIVO仅利用激光雷达数据来生成高斯模型，这可能会导致激光雷达盲区内的重建效果不佳。Gaussian-LIC通过引入在线三角测量的视觉特征来缓解这一限制；不过它在无纹理场景中表现不佳，且对视图间的视差较为敏感，从而影响三角测量的可靠性。Gaussian-LIC2则通过高效的深度补全模型，将RGB外观与稀疏但几何精度高的激光雷达测量数据相融合，从而更有效地利用视觉线索。这种方式能够生成精确的密集深度图，帮助为激光雷达未观测到的像素更好地初始化高斯模型。更多相关细节详见第6.2节。
• 以视觉质量与实时性能为前提的几何精度：视觉保真度、实时效率以及几何精度——满足其中任意一项都相对容易，但要兼顾三者则颇具挑战性。
---
作为基于激光雷达-惯性-相机的三维高斯SLAM系统，Gaussian-LIC是首个能实现实时高视觉质量的系统。然而，几何精度会影响渲染深度的质量以及新视角合成的鲁棒性，这一点却一直被Gaussian-LIC及其他方法所忽视。一些尝试，比如使用扁平化图元或额外的正则化项，虽能改善几何效果，但往往会损害视觉质量或实时性能。为此，Gaussian-LIC2主张在最少监督下实现最有效的正则化。它充分利用稀疏的激光雷达深度数据进行地图正则化，同时进一步优化Gaussian-LIC中的CUDA优化策略，从而加快深度光栅化的前向与反向传播速度。更重要的是，SLAM过程中高斯模型的逐步插入可能会导致某些像素的深度估计值偏低。Gaussian-LIC2通过调整渲染深度的数值以适应渲染不透明度，从而确保深度监督的一致性与准确性。
传统里程计的高斯地图反馈：在Gaussian-LIC及许多现有方法中，里程计模块与高斯映射模块是完全解耦的。Gaussian-LIC2探究了逐步构建的高斯地图是否能够通过引入源自高斯地图的光度约束来提升里程计性能。值得注意的是，Gaussian-LIC2缓解了相机曝光变化对光度约束的影响，并验证了几何精度在此类约束中的关键作用，更多相关见解详见第9.3.1节。与Lang等人（2023年）提出的基于激光雷达地图的重投影约束相比，本文提出的基于高斯地图的光度约束能更好地应对激光雷达性能退化与纹理缺失同时出现的情况。
从实验与实际应用来看，与Gaussian-LIC相比，Gaussian-LIC2开展了更广泛的实验，涉及多种不同模态与稀疏程度的激光雷达。值得一提的是，Gaussian-LIC2专门构建了一个包含真实深度值的激光雷达-惯性-相机数据集，以便评估非连续序列的新视角合成效果。总体而言，Gaussian-LIC2在各种相机轨迹下均实现了最先进的新视角RGB图像与深度图渲染效果，其深度L1误差降低了62%。最后，基于Gaussian-LIC2还展示了两项应用场景。相关代码及自行采集的数据集将会公开发布，以供学界使用。
## 3 系统概述
本文中使用的符号在表1中给出。图2展示了我们提出的Gaussian-LIC2的整体结构，它包含两个主要模块：一个连续时间紧耦合的激光雷达-惯性-相机里程计，以及一个基于3DGS的增量式照片级真实感地图构建后端。
在后续章节中，我们首先在第3.1节介绍连续时间轨迹的公式化表达，并在第4节介绍3DGS的基础知识。接着在第5节，我们设计了一个作为前端的紧耦合激光雷达-惯性-相机里程计系统，该系统支持两种可选的相机因子。
Table 1. Notations Glossary.
| Notation | Explanation |
| $^{A}\mathbf{p}$ | 3D point $\mathbf{p}$ in the frame $\{A\}$ |
| $^{A}\mathbf{p}_{B}$ | translation from frame $\{B\}$ to frame $\{A\}$ |
| $\mathbf{\beta}_{R}^{1} \in SO(3)$ | rotation matrix from frame $\{B\}$ to frame $\{A\}$ |
| $\mathbf{\beta}_{T}^{1} \in SE(3)$ | transformation matrix from frame $\{B\}$ to frame $\{A\}$ |
| $\mathbf{p}_{i}, \mathbf{R}_{i}$ | positional/rotational control point |
| $\mathbf{\Phi}_{(t_{\kappa-1}, t_{\kappa})}^{I}$ | control points of B-splines in $[t_{\kappa-1}, t_{\kappa}]$ |
| $I \omega_{m},^{l}a_{m}$ | angular velocity, linear acceleration in raw IMU measurements |
| $\mathbf{b}_{\omega}^{k-1},^{l}b_{a}^{k-1}$ | gyroscope and accelerometer biases during $[t_{\kappa-1}, t_{\kappa}]$ |
| $\mu, \Sigma$ | mean and covariance of a 3D Gaussian in frame $\{W\}$ |
| $\mathbf{S} \in \mathbb{R}^{3}$ | scale of a 3D Gaussian primitive |
| $o \in \mathbb{R}$ | opacity of a 3D Gaussian primitive |
| $\mathbf{SH} \in \mathbb{R}^{3 \times 16}$ | spherical harmonics coefficients of a 3D Gaussian primitive |
| $\mathbf{SH}_{0},^{l} \in \mathbb{R}^{16}$ | spherical harmonics in a certain viewing direction |
| $\mu', \Sigma'$ | 2D position and covariance of a 2D Gaussian splatted in a image plane |
| $\mathbf{c}$ | view-dependent color of the 3D Gaussian |
| $\mathcal{G}$ | Gaussian map in frame $\{W\}$ |
| $\mathbf{C}$ | raw RGB image |
| $\tilde{\mathbf{C}}(\mathcal{G}, _{C}^{W} \mathbf{T}(t))$ | rendered RGB image given camera pose $^{W}_{C} \mathbf{T}(t)$ |
| $\mathbf{D}_{s}$ | sparse depth map from the latest 5 frames |
| $\mathbf{D}_{c}$ | completed dense depth map |
| $\mathcal{P}$ | supplemented colorized point cloud selected from unprojected $\mathbf{D}_{c}$ |
这些因子在连续时间因子图中被紧密融合，其中包括来自高斯地图的约束。随后我们采用高效且泛化能力强的深度模型来初始化高斯点，并为第6节中的后端准备地图构建数据。最后，我们在第7节利用深度正则化和CUDA相关加速技术实现照片级真实感的高斯地图构建。
### 3.1 连续时间轨迹公式化
两个非均匀累积B样条分别用于参数化三维旋转和三维平移，共同表示一个连续时间轨迹。连续时间轨迹在时间$t \in [t_i, t_{i+1})$处的6自由度位姿表示为：
$$ \mathbf{R}(t)=F_{1}\left(\mathbf{R}_{i-3},\cdots,\mathbf{R}_{i},t_{i},t_{i+1},t\right), $$
$$ \mathbf{p}(t)=F_{2}\left(\mathbf{p}_{i-3},\cdots,\mathbf{p}_{i},t_{i},t_{i+1},t\right), $$
其中$\mathbf{R}_n \in SO(3)$和$\mathbf{p}_n \in \mathbb{R}^3$表示控制点（$n \in \{i-3, \cdots, i\}$）。$t_i$和$t_{i+1}$代表两个相邻的节点。函数$F_1$和$F_2$根据控制点、节点以及查询时间推导出位姿。更多细节可参考Lv等人（2023年）以及Lang等人（2023年、2022年）的研究。世界坐标系中IMU的连续时间轨迹$\{W\}$表示为$W_I(\mathbf{T}(t)) = [W_I(\mathbf{R}(t)), W_{\mathbf{P}}(t)]$。已知激光雷达/相机与IMU之间的外参后，便可相应地得到激光雷达轨迹$W_L(\mathbf{T}(t))$和相机轨迹$W_C(\mathbf{T}(t))$。
## 4 3D高斯泼溅表示
由于第2节中阐述了3DGS的优势，我们采用一组各向异性3D高斯来重建细节丰富的照片级真实感地图。每个高斯由空间位置$\mu \in \mathbb{R}^3$、尺度$\mathbf{S} \in \mathbb{R}^3$、旋转$\mathbf{R} \in \mathbb{R}^{3 \times 3}$、不透明度$o \in \mathbb{R}$以及用于编码场景视点相关外观的三阶球面谐波系数$\mathbf{SH} \in \mathbb{R}^{3 \times 16}$来表征（Kerbl等人，2023年）。与Keetha等人（2024年）、Sun等人（2024年）的几项先前工作不同，我们并未为了追求速度而强制要求3D高斯为各向同性，从而牺牲地图质量。相反，我们保留了Kerbl等人（2023年）提出的原始富有表现力的参数化方式，并采用第9.4节中描述的加速策略，以兼顾质量与效率。
---
Figure 2. Pipeline of our real-time photo-realistic LiDAR-Inertial-Camera SLAM which represents the map using 3D Gaussians.
每个高斯的协方差用于描述其椭球形状，参数化为$\mathbf{\Sigma} = \mathbf{R}\mathbf{S}\mathbf{S}^T\mathbf{R}^T$。给定相机位姿$\mathbf{\Sigma}_W^C\mathbf{T} = \{\mathbf{\xi}_W^C\mathbf{R}, \mathbf{\xi}_W^C\mathbf{p}_W\}$，它将世界坐标系$\mathbf{W}\mathbf{p}$中的3D点$\{\mathbf{W}\}$映射到相机坐标系$\{\mathbf{C}\}$，此时3D高斯$\mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$可被泼溅到图像屏幕上，形成对应的椭圆二维高斯$\mathcal{N}(\boldsymbol{\mu}^*, \boldsymbol{\Sigma}')$：
$$ \boldsymbol{\mu}^{\prime}=\boldsymbol{\pi}_{c}\left(\frac{\hat{\boldsymbol{\mu}}}{\mathbf{e}_{3}^{\top}\hat{\boldsymbol{\mu}}}\right),\hat{\boldsymbol{\mu}}=\mathbf{\Pi}_{W}^{C}\mathbf{R}\boldsymbol{\mu}+\mathbf{\Pi}^{C}\mathbf{p}_{W}, $$
$$ \mathbf{\Sigma}^{\prime}=\mathbf{J}_{\mathrm{~W~}}^{C}\mathbf{R}\mathbf{\Sigma}_{\mathrm{~W~}}^{C}\mathbf{R}^{T}\mathbf{J}^{T}, $$
其中$\mathbf{e}_i$是一个$3 \times 1$向量，其第i个元素为1，其余元素为0。因此，$\mathbf{e}_3^\top \hat{\mu}$给出了该3D高斯在相机坐标系中的深度d。函数$\pi_c(\cdot)$将归一化图像平面上的3D点投影到像素上。$\mathbf{J} \in \mathbb{R}^{2 \times 3}$代表透视投影仿射近似的雅可比矩阵（Kerbl等人，2023年）。投影后的二维高斯对像素$\boldsymbol{\rho} = \begin{bmatrix} u & v \end{bmatrix}^\top$处的图像贡献的权重计算如下：
$$ \alpha=o\exp\left(-\frac{1}{2}(\boldsymbol{\mu}^{\prime}-\boldsymbol{\rho})^{T}(\boldsymbol{\Sigma}^{\prime})^{-1}(\boldsymbol{\mu}^{\prime}-\boldsymbol{\rho})\right). $$
通过将所有成功分裂的3D高斯分布按深度顺序排列，像素$\rho$处的颜色、深度和不透明度便可通过从前到后的$\alpha$混合技术高效渲染：
$$ \mathbf{C}(\boldsymbol{\rho})=\sum_{i=1}^{n}\mathbf{c}_{i}\alpha_{i}\prod_{j=1}^{i-1}(1-\alpha_{j}), $$
$$ \mathbf{D}(\boldsymbol{\rho})=\sum_{i=1}^{n}d_{i}\alpha_{i}\prod_{j=1}^{i-1}(1-\alpha_{j}), $$
$$ \mathbf{O}(\rho)=\sum_{i=1}^{n}\alpha_{i}\prod_{j=1}^{i-1}(1-\alpha_{j}), $$
其中，$\mathbf{c}$表示由球谐函数$\mathbf{SH}_b \in \mathbb{R}^{16}$（作为基函数）及其对应系数$\mathbf{SH}$（作为权重）推导出的、依赖于观测视角的3D高斯颜色；而$\mathbf{SH}_b$则是根据高斯位置$\boldsymbol{\mu}$与相机位置$^C \mathbf{p}_W$之间的观测方向计算得出的。
为了探究高斯图对传统里程计的限制，我们依据MonoGS Matsuki等人（2024）的方法，在流形上解析计算3DGS表示相对于相机姿态的雅可比矩阵，从而避免了自动微分带来的开销。与采用视点无关颜色的MonoGS不同，我们进一步纳入了高阶球谐函数相对于相机姿态的雅可比矩阵。这些雅可比矩阵如下：
$$ \begin{aligned}\frac{\partial\boldsymbol{\mu}^{\prime}}{\partial_{W}^{C}\mathbf{T}}&=\frac{\partial\boldsymbol{\mu}^{\prime}}{\partial\hat{\boldsymbol{\mu}}}\frac{\partial\hat{\boldsymbol{\mu}}}{\partial_{W}^{C}\mathbf{T}},\\\frac{\partial\boldsymbol{\Sigma}^{\prime}}{\partial_{W}^{C}\mathbf{T}}&=\frac{\partial\boldsymbol{\Sigma}^{\prime}}{\partial\mathbf{J}}\frac{\partial\mathbf{J}}{\partial\hat{\boldsymbol{\mu}}}\frac{\partial\hat{\boldsymbol{\mu}}}{\partial_{W}^{C}\mathbf{T}}+\frac{\partial\boldsymbol{\Sigma}^{\prime}}{\partial_{W}^{C}\mathbf{R}}\frac{\partial_{W}^{C}\mathbf{R}}{\partial_{W}^{C}\mathbf{T}},\\\frac{\partial\mathbf{c}}{\partial_{W}^{C}\mathbf{T}}&=\frac{\partial\mathbf{c}}{\partial\mathbf{S}\mathbf{H}_{b}}\frac{\partial\mathbf{S}\mathbf{H}_{b}}{\partial^{C}\mathbf{p}_{W}}\frac{\partial^{C}\mathbf{p}_{W}}{\partial_{W}^{C}\mathbf{T}}.\end{aligned} $$
流形上的偏导数定义为：
$$ \frac{\partial f(\mathbf{T})}{\partial\mathbf{T}}\triangleq\operatorname*{l i m}_{\pmb{\xi}\to0}\frac{f\big(\mathbf{T}\operatorname{E x p}(\pmb{\xi})\big)-f\big(\mathbf{T}\big)}{\pmb{\xi}}, $$
其中$\mathbf{T} \in SE(3)$和$\boldsymbol{\xi} \in \mathfrak{se}(3)$。$\text{Exp}(\cdot)$负责将李代数映射到李群，而$\text{Log}(\cdot)$是其逆运算。
## 5 激光雷达-惯性-相机融合
我们借鉴经典多传感器融合里程计的思路，以实现实时、鲁棒且精确的姿态估计，从而为后续的照片级真实感建图提供支持。与Gaussian-LIC类似，我们的里程计系统继承自我们之前的工作Coco-LIC Lang等人（2023），并在此基础上进一步发展——这是一种基于非均匀B样条的连续时间紧耦合激光雷达-惯性-相机里程计。利用连续时间轨迹表示，系统能够天然支持在任何与传感器测量对应的时间戳处查询姿态，因此我们可以在不引入插值误差的情况下，紧密融合异步的高频激光雷达-惯性-相机数据。该里程计支持两种类型的相机因子，其中一种便是基于高斯图的因子。
### 5.1 轨迹扩展
我们的激光雷达-惯性-相机系统从静止状态初始化，利用IMU测量数据缓冲区来初始化IMU偏差以及重力对齐的姿态Geneva等人（2020）。初始化完成后，系统会采用最近0.1秒数据的活跃滑动窗口进行优化。
---
（2020年）。初始化完成后，系统会采用最近0.1秒数据的活跃滑动窗口进行优化。
从时刻$t_{\kappa-1}$开始，一旦滑动窗口时间间隔内的激光雷达-惯性-相机数据准备就绪，我们便会在$[t_{\kappa-1}, t_{\kappa})$中估算轨迹，其中$t_{\kappa} = t_{\kappa-1} + 0.1$。累积的数据包含所有的激光雷达原始点云$\mathcal{L}_{\kappa}$、所有IMU原始数据$\mathcal{I}_{\kappa}$，以及$\mathcal{F}_{\kappa}$中的最新图像帧$[t_{\kappa-1}, t_{\kappa})$。为简便起见，我们忽略了该时间间隔内捕获的其他图像帧，因为它们对整体性能的影响微乎其微。与Coco-LIC类似，我们首先根据从IMU数据中推断出的运动强度，自适应地初始化数量可变的控制点，随后将这些控制点插入滑动窗口以扩展轨迹。随后，滑动窗口内的以下状态会被优化：
$$ \begin{aligned}\mathcal{X}^{\kappa}&=\{\mathbf{\Phi}(t_{\kappa-1},t_{\kappa}),\mathbf{x}_{I_{b}}^{\kappa}\},\\\mathbf{x}_{I_{b}}^{\kappa}&=\{\mathbf{b}_{g}^{\kappa-1},\mathbf{b}_{a}^{\kappa-1},\mathbf{b}_{g}^{\kappa},\mathbf{b}_{a}^{\kappa}\},\end{aligned} $$
其中，$\mathbf{\Phi}(t_{\kappa-1}, t_{\kappa})$ 表示区间 $[t_{\kappa-1}, t_{\kappa})$ 内的所有控制点，用于参数化世界坐标系下IMU的连续时间轨迹。$\mathbf{x}_{t_b}^{\kappa}$ 代表IMU偏差，包括陀螺仪偏差 $\mathbf{b}_g$ 和加速度计偏差 $\mathbf{b}_a$。假设在 $[t_{\kappa-1}, t_{\kappa})$ 期间IMU偏差保持恒定，即 $\mathbf{b}_g^{\kappa-1}$ 和 $\mathbf{b}_a^{\kappa-1}$。这些偏差遵循高斯随机游走过程，并在 $\mathbf{b}_g^{\kappa}$ 时刻演化为 $\mathbf{a}_g^{\kappa}$ 和 $t_{\kappa}$。
### 5.2 连续时间因子图
5.2.1 LiDAR因子 与采用Coco-LIC及LiDAR特征提取、kd-Tree组织地图的方法不同，我们此处直接将降采样的LiDAR原始点注册到由ikd-Tree组织的LiDAR地图中，以提高效率（Xu等人，2022年）。对于在时间t测量的某个LiDAR原始点 $L_p \in L_k$，我们首先利用从连续时间轨迹中查询到的位姿将其转换到世界坐标系下，然后在LiDAR地图中查找其五个最近邻点，以拟合出用于计算点面残差的3D平面：
$$ \mathbf{r}_{L}=^{W}\mathbf{n}_{\pi}^{\top W}\hat{\mathbf{p}}+^{W}d_{\pi}, $$
$$ \mathbf{\hat{p}}^{W}=\mathbf{\Gamma}_{L}^{W}\mathbf{R}(t)^{L}\mathbf{\Gamma}\mathbf{p}+W\mathbf{\Gamma}\mathbf{p}_{L}(t)\mathbf{\Gamma}, $$
其中，$^{W}n_{\pi}$ 和 $^{W}d_{\pi}$ 分别表示平面的单位法向量以及该平面到原点的距离。
5.2.2 惯性因子 我们定义如下惯性因子：
$$ \mathbf{r}_{I}=\left[\begin{matrix}{^{I}\mathbf{\omega}(t)-^{I}\mathbf{\omega}_{m}+\mathbf{b}_{g}^{\kappa-1}}\\ {^{I}\mathbf{a}(t)-^{I}\mathbf{a}_{m}+\mathbf{b}_{a}^{\kappa-1}}\\ \end{matrix}\right], $$
$$ \mathbf{r}_{I_{b}}=\left[\begin{matrix}{\mathbf{b}_{g}^{\kappa}-\mathbf{b}_{g}^{\kappa-1}}\\ {\mathbf{b}_{a}^{\kappa}-\mathbf{b}_{a}^{\kappa-1}}\\ \end{matrix}\right], $$
前者为IMU因子，后者是基于随机游走过程的偏差因子。$^{I}\omega_{m},^{I}\mathbf{a}_{m}$ 是时间t时IMU数据的角速度和线性加速度的原始测量值，位于 $\mathcal{I}_{\kappa}$ 区间内。$^{I}\omega(t)$ 和 $^{I}\mathbf{a}(t)$ 则是根据公式(1)和公式(2)中连续时间轨迹的导数计算出的对应预测值。
5.2.3 相机因子（选项1，默认） 我们的里程计系统包含两种类型的相机因子，第一种基于利用重建的LiDAR地图所建立的重投影约束（Lang等人，2023年）。具体来说，我们维护一组存储在体素中的全局LiDAR点，并通过投影、KLT稀疏光流（Lucas和Kanade，1981年）以及基于RASAC的异常值剔除方法，将它们与图像像素关联起来。考虑一个在时间戳t与图像帧中的像素 $^W p$ 相关联的全局LiDAR点 $\rho = [u \quad v]^\top$。该LiDAR点的重投影误差定义为：
$$ \mathbf{r}_{C_{1}}=\pi_{c}\left(\frac{^{C}\hat{\mathbf{p}}}{\mathbf{e}_{3}^{\top C}\hat{\mathbf{p}}}\right)-\left[\begin{matrix}{u}\\ {v}\\ \end{matrix}\right],\quad^{C}\hat{\mathbf{p}}=\mathbf{\Sigma}_{C}^{W}\mathbf{T}^{-1}(t)^{W}\mathbf{p}. $$
5.2.4 相机因子（选项2） 第二种相机因子充分利用了逐步构建的高斯地图。得益于连续时间轨迹的表述方式，我们能够获取区间 $\mathbf{C}_c^W \mathbf{T}$ 内任意时刻的相机位姿 $[t_{\kappa-1}, t_{\kappa})$。给定捕获帧 $\mathbf{C}$ 的原始RGB图像 $\mathcal{F}_\kappa$（视为真实值）的时间戳t，我们便可根据公式(6)从高斯地图 $\hat{\mathbf{C}}(\mathcal{G}, \mathcal{C}_c^W \mathbf{T}(t))$ 中渲染出RGB图像 $\mathcal{G}$。期望渲染出的图像能与原始图像高度吻合，从而通过最小化损失函数来优化相机位姿：
$$ \mathcal{L}=\frac{1}{2}\left\|\hat{\mathbf{C}}-\mathbf{C}\right\|_{1}+\frac{1}{2}\mathcal{L}_{\mathrm{D-S S I M}}(\hat{\mathbf{C}},\mathbf{C}), $$
其中 $\mathcal{L}_{D-SSIM}$ 是一个D-SSIM项（Kerbl等人，2023年提出）。图像梯度较低或不透明度较低的像素会受到惩罚（Matsuki等人，2024年），为简单起见此处不再赘述。此外，在光照变化剧烈且相机曝光不稳定的无边界户外场景中，单独的RGB L1损失函数容易受到这些噪声的影响，进而可能破坏梯度方向，导致相机位姿优化出现误差。为此，我们额外引入了D-SSIM损失函数，通过考虑结构相似性来增强优化的鲁棒性。我们使用Adam优化器进行 $N_t$ 次迭代，期间高斯图 $\mathcal{G}$ 保持固定，同时迭代优化相机位姿。由公式(17)得到的优化后相机位姿记为 $\mathbf{W}_c^{\mathbf{T}} = \{\mathbf{W}_c^{\mathbf{R}}, \mathbf{W}_{p_c}^{\mathbf{D}}\}$，以下是基于高斯图推导出的光度约束：
$$ \mathbf{r}_{C_{2}}=\operatorname{L o g}\left(_{C}^{W}\mathbf{T}(t)_{C}^{W}\widetilde{\mathbf{T}}^{-1}\right). $$
### 5.3 激光雷达-惯性-相机因子图优化
我们在因子图中联合融合激光雷达、惯性和相机数据，并构建如下非线性最小二乘问题来高效优化状态 $\mathcal{X}^{\kappa}$：
$$ \begin{aligned}\arg\min_{\mathcal{X}^{\kappa}}\Bigg\{\sum\|\mathbf{r}_{L}\|_{\Sigma_{L}}^{2}+\sum\|\mathbf{r}_{I}\|_{\Sigma_{I}}^{2}+\sum\|\mathbf{r}_{I_{b}}\|_{\Sigma_{I_{b}}}^{2}+\\ \sum\|\mathbf{r}_{C_{x}}\|_{\Sigma_{C}}^{2}+\sum\|\mathbf{r}_{prior}\|_{\Sigma_{prior}}^{2}\Bigg\},\end{aligned} $$
该问题通过Ceres Solver中的Levenberg-Marquardt算法求解（Agarwal等人，2012年），并通过解析导数进一步提升计算效率。相机因子 $\mathbf{r}_{C_x}$ 可选择 $\mathbf{r}_{C_1}$ 或 $\mathbf{r}_{C_2}$。前者是来自激光雷达图的重投影约束，虽属人工设计但计算量极小；后者是来自高斯图的光度约束，虽然会占用一定的GPU计算资源，但更为直接且自然。这两种因子的对比评估结果将在第9节中呈现。
---
$\mathbf{r}_{\text{prior}}$ 是来自边缘化的先验因子（Lang等人，2023年）。$\mathbf{\Sigma}_L$、$\mathbf{\Sigma}_I$、$\mathbf{\Sigma}_{I_b}$、$\mathbf{\Sigma}_C$、$\mathbf{\Sigma}_{\text{prior}}$ 则是对应的测量协方差。
## 6 高斯映射的数据准备
### 6.1 映射数据分组
完成对 $[t_{\kappa-1}, t_{\kappa})$ 中最新轨迹段的优化后，我们最终能得到最新图像帧 $\mathcal{F}_{\kappa}$ 的精确相机位姿。该时间段内的所有激光雷达原始点，即 $\mathcal{L}_{\kappa}$，可基于优化后的连续时间轨迹轻松转换到世界坐标系下。带位姿的图像与转换后的激光雷达点被共同视为混合帧，我们每五帧混合帧选取一帧作为照片级真实感映射的关键帧。若当前混合帧被选为关键帧，我们会将最近五帧混合帧中的所有激光雷达点合并为单个点云。随后将该点云投影到当前图像平面上以生成稀疏深度图。接着，我们通过随机保留每 $N_{p}$ 个点中的一个来对点云进行下采样。下采样后的点云同样会被投影到当前图像平面上以赋予颜色。这些带颜色的点将用于初始化3D高斯，相关内容将在7.1.2节中讨论。至此，关键帧便完整构建完成，包含带位姿的图像、稀疏深度图以及一组带颜色的激光雷达点。
### 6.2 激光雷达盲区补偿
激光雷达能够为高斯初始化提供精确的几何先验。然而，由于激光雷达与相机之间的视场角不匹配，仅依赖激光雷达点会导致在激光雷达盲区或使用稀疏激光雷达时出现重建不足的情况。尽管传统的3DGS方法（Kerbl等人，2023年）中的自适应密度控制机制能部分缓解这一问题，但其在SLAM环境中的效果有限。高斯点的逐步插入会导致不同批次的高斯点收敛性不一致，进而可能误导基于梯度的操作，如克隆和分裂。此外，对多轮迭代梯度累积的依赖也阻碍了系统的实时性能。Gaussian-LIC利用在线三角测量得到的视觉特征来弥补激光雷达未观测到的区域，但该方法在无纹理区域表现不佳，且对帧间视角变化较为敏感。因此，有必要进一步研究如何更有效地利用视觉线索来实现高效的高斯初始化。核心挑战在于获取图像像素的精确深度信息。
为何要选择深度补全呢？随着计算机视觉研究的进步，已经涌现出许多从图像中恢复密集深度的方法。首先，单目相对深度估计（Yang等人，2024年；Wang等人，2024b年）在从单张RGB图像预测深度方面取得了显著进展，但该方法存在固有的尺度模糊问题。虽然可以通过与激光雷达测量的深度进行最小二乘对齐来解决这一问题，但往往无法在所有图像像素上恢复准确的度量尺度——尤其是在相对深度估计较差或缺乏激光雷达覆盖的区域（Zuo等人，2025年）。其次，单目度量深度估计（Hu等人，2024年；Bochkovskii等人，2024年）能够直接预测具有尺度信息的深度，但其精度仍然有限，远不及基于激光雷达的方法，尤其是在大规模户外环境中。
Figure 3. Details on the LiDAR blind area compensation: (a) Projection of LiDAR points of the latest 5 frames. (b) Colorized LiDAR points of the latest 5 frames. It is worth noting that the area highlighted by the red arrow has been never scanned by the LiDAR during the entire data acquisition. (c) Completed dense depth map. (d) Dense colored point cloud from the completed depth map. (e) The image is divided into $30 \times 30$ patches, and the red dot denotes the selected pixels. (f) The red star indicates the 3D visual points obtained by back-projecting the selected pixels to compensate for the LiDAR blind area. (g) and (h) show the qualitative rendering results of Gaussian-LIC2 without and with LiDAR blind area compensation.
第三，多视图立体匹配方法（Cao等人，2022年；Xu等人，2023年）通过多张已知姿态的图像来估算度量深度。尽管在理想条件下该方法能生成精确的深度图，但它对视差较为敏感，且泛化能力有限，尤其在大规模户外场景中表现不佳。相比之下，深度补全技术将稀疏的激光雷达数据与单张RGB图像相结合，为大规模场景下恢复度量密集深度提供了一种实用且稳健的解决方案（Liu等人，2024b年；Lin等人，2024年）。该技术避免了尺度模糊问题，并能达到与激光雷达相当的深度估计精度。
本文选用SPNet（Wang等人，2024a年）作为深度补全模型，原因在于其效率高、体积小且泛化能力强。我们直接将其用于实际任务，无需额外微调。如算法1所述及图3所示，我们将第6.1节中关键帧的稀疏深度图$D_s$和RGB图像C输入SPNet，以生成完整的密集深度图$D_c$。随后，我们计算补全前后已知区域的平均深度变化；若深度变化超过阈值$\epsilon_1$，则判定补全失败（这种情况很少发生）。补全成功后，会丢弃$D_c$中深度值为负或深度梯度幅度较大的像素，从而得到过滤后的密集深度图$D_{cf}$。接着，我们将输入的稀疏激光雷达深度图划分为大小为$30 \times 30$的块，并逐个进行处理。对于没有有效激光雷达深度的块，我们会选取对应的像素……
---
```pseudo
// Algorithm 1: LiDAR Blind Area Compensation
Input: Sparse depth map $D_s$, RGB image C
Output: Supplemented colored point cloud $\mathcal{P}$
```
1 $\mathcal{P} \leftarrow \emptyset$，$\mathcal{A} \leftarrow \emptyset$ // 初始化输出
2 $\mathbf{M} \leftarrow \text{ValidMask}(\mathbf{D}_s)$
3 $\mathbf{D}_c \leftarrow \text{SPNet}(\mathbf{C}, \mathbf{D}_s, \mathbf{M})$
4 $\delta \leftarrow \text{Mean}(|(\mathbf{D}_c - \mathbf{D}_s)[\mathbf{M}]|)$
5 如果 $\delta < \epsilon_1$ 则
6 $\mathbf{D}_{cf} \leftarrow \text{Filter}(\mathbf{D}_c)$
7 将 $\mathbf{D}_s$ 划分为 $30 \times 30$ 个网格块
8 \text{遍历网格中的每个块 } \mathcal{R} \text{：}
9 如果 IsEmpty($\mathbf{D}_s[\mathcal{R}]$) 为真，则
10 $\rho \leftarrow \text{MinValidDepthPixel}(\mathbf{D}_{cf}[\mathcal{R}])$
11 如果 $Depth(\rho) < \epsilon_2$ 为真，则
12 $\bigsqcup \mathcal{A} \leftarrow \mathcal{A} \cup \{\rho\}$
13 $\mathcal{P} \leftarrow \text{BackProject}(\mathcal{A}, \mathcal{I})$
14 返回 $\mathcal{P}$
若某像素在$\mathbf{D}_{cf}$补丁内所测得的完成深度值最小，且该深度小于$\mathcal{A}$，则将其存入容器$\epsilon_2$中。随后，将$\mathcal{A}$内的所有像素进行反向投影，从而形成补充的彩色点云$\mathcal{P}$，用以填补激光雷达未能观测到的区域。最后，将$\mathcal{P}$转换到世界坐标系下，并与关键帧中的彩色激光雷达点合并。
## 7 实时照片级真实感建图
建图后端线程与跟踪前端线程并行运行，持续从跟踪器接收顺序关键帧，以实现实时照片级真实感重建。每个关键帧包含估计的相机位姿、校正后的图像、稀疏激光雷达深度图，以及为弥补盲区而补充的彩色激光雷达点与视觉点。
### 7.1 高斯地图管理
一旦接收到关键帧，建图线程便会初始化或扩展高斯地图并对其优化。
7.1.1 高斯地图初始化
高斯地图是利用第一个关键帧中的所有彩色激光雷达点及补充的视觉点来初始化的。具体而言，对于每个点，会在其三维位置处创建一个新高斯，其零阶 $\mathbf{SH}$ 使用对应的RGB颜色初始化，不透明度设为0.1，旋转矩阵则初始化为单位矩阵。为减轻混叠伪影（Yan等人，2024c），我们会根据各高斯点到图像平面的距离来调整其尺度。该尺度模型为 $\mathbf{S} = \frac{d}{f}\mathbf{e}$，其中 $\mathbf{e}$ 是一个元素均为1的 $3 \times 1$ 向量，d表示三维点在相机坐标系下的深度，f为焦距。
7.1.2 高斯地图扩展
每个传入的关键帧通常都会捕捉到新的几何与外观信息。为保持效率，我们仅针对场景中新观测到的部分初始化新的高斯。具体流程为：首先利用公式(8)，从当前关键帧的视角渲染出不透明度图 $\mathbf{O}$；接着构建二值掩码 $\mathbf{M}_o = \mathbf{O} < \tau$（$\tau$ 为固定阈值），用以识别可能属于新观测区域的图像部分；最后，仅选取投影到这些图像区域内的三维点来初始化新的高斯。
7.1.3 深度正则化地图优化
初始化或扩展完成后，我们会从所有关键帧中随机选取K个进行高斯地图优化，以防止灾难性遗忘并确保全局几何一致性。选出的关键帧会被打乱顺序，依次用于通过最小化下述渲染损失来更新地图：
$$ \mathcal{L}=\mathcal{L}_{c}+\gamma\mathcal{L}_{d}, $$
$$ \mathcal{L}_{c}=(1-\lambda)\left\|\hat{\mathbf{C}}-\mathbf{C}\right\|_{1}+\lambda\mathcal{L}_{\mathrm{D-S S I M}}(\hat{\mathbf{C}},\mathbf{C}), $$
$$ \mathcal{L}_{d}=\left\|\left(\frac{\hat{\mathbf{D}}}{\hat{\mathbf{O}}}-\mathbf{D}_{s}\right)\cdot\mathbf{M}_{d}\right\|_{1},\mathbf{M}_{d}=\mathbf{D}_{s}>0, $$
其中，$\mathcal{L}_c$ 表示根据公式(6)由渲染图像 $\hat{C}$ 和原始图像C计算得出的RGB渲染损失；而 $\mathcal{L}_d$ 则是涉及渲染深度图 $\hat{D}$ 与稀疏激光雷达深度图 $\mathbf{D}_s$ 的深度渲染损失，该损失通过公式(7)计算得出。需要注意的是，SLAM中高斯点的逐步插入可能会导致某些像素的渲染深度明显小于真实值。在此我们利用渲染不透明度图 $\hat{O}$ 对渲染深度图进行归一化处理，以修正深度监督。
### 7.2 与CUDA相关的加速策略
为了提升实时性能，以往的研究要么强制限制高斯点的数量和优化迭代次数，要么简化高斯表示形式（Keetha等人，2024；Peng等人，2024）。这些方法在室内场景中或许效果不错，但在无边界且复杂的室外场景中往往会导致性能下降。相比之下，我们专注于从算法和工程层面加速基于CUDA的操作，尤其是3DGS光栅化的前向传播和反向传播过程，从而在不牺牲质量的前提下确保实时性能。
7.2.1 基于瓦片的快速剔除 在前向传播过程中,3D 高斯被溅射到图像上,形成椭圆形 2D 高斯。为了确定每个高斯所影响的瓦片,椭圆形 2D 高斯被进一步膨胀为一个圆,其半径等于长轴长度(Kerbl 等人,2023)。然而,这种近似会导致受高斯影响的瓦片过度膨胀,尤其对于在 SLAM 等增量建图系统中常见的高度各向异性高斯。为解决此问题,我们采用基于瓦片的快速剔除策略,如图 4(a) 所示。对于每个 2D 高斯 $\mathcal{N}(\mu', \Sigma')$ 及其所影响的瓦片,我们识别每个瓦片中 2D 高斯贡献最高的像素 $\rho$(其在公式 (5) 中具有最大权重 $\alpha$),与 Radl 等人 (2024) 的方法类似。如果像素 $\alpha$ 处的权重 $\rho$ 小于阈值 $\frac{1}{255}$,则认为该瓦片受影响较弱并将其剔除。通过这种方式,可以显著减少每个瓦片中的高斯数量,从而加速后续的前向和反向传播过程。
7.2.2 逐高斯点的反向传播
在反向传播阶段，梯度会从RGB像素传回高斯点，这也是建图过程中最耗时的环节（Kerbl等人，2023）。通常每个像素会接收来自不同数量高斯点的贡献，而整体运行时间最终由拥有最多高斯点贡献的像素决定。结果就是其余CUDA线程只能闲置等待，造成极大的效率浪费。此外，当多个像素反向传播到同一个高斯点时，还会产生原子梯度相加冲突问题。为解决这些难题，我们借鉴Mallick等人（2024）的方法，将像素级并行处理转变为高斯点级并行处理，如图4(b1)和(b2)所示。具体来说，我们将每个图块内按深度排序的高斯点划分为每组32个的桶，然后对所有桶内的高斯点进行并行处理。对于某个桶而言，32个高斯点会同时遍历图块内的像素以累积梯度。这样一来，反向传播时间的上限主要由像素数量决定，从而让计算负载更加均衡，冲突也得以减少。除了RGB通道外，我们还针对深度图和不透明度图引入了逐高斯点的反向传播机制，而这正是Gaussian-LIC所未涉及的。
---
Figure 4. Acceleration strategies in the forward and backward pass when optimizing the Gaussian map: (a) Culling the tiles weakly affected by the splatted Gaussians. (b1) Every 32 Gaussians within a tile ( $16 \times 16$ pixels) are grouped into a bucket. (b2) All buckets are processed in parallel for (256+31) iterations (row by row). In each iteration, all Gaussians within the bucket accumulate gradients from different pixels for optimization with respect to the rendered RGB, depth, and opacity maps—without incurring atomic collisions.
不同数量的高斯分布会对计算结果产生贡献，而运行时间最终由包含最多高斯分布的像素决定。这样一来，其余的CUDA线程就只能闲置等待，从而导致严重的效率低下。此外，当多个像素反向传播到同一个高斯分布时，还会引发原子梯度相加冲突。为解决这些问题，我们借鉴Mallick等人（2024年）的方法，从基于像素的并行计算转变为基于高斯分布的并行计算，如图4(b1)和(b2)所示。具体来说，我们将每个图块内按深度排序的高斯分布划分为每组包含32个高斯分布的桶。随后，所有桶中的高斯分布会被并行处理。对于某个给定的桶，其中的32个高斯分布会同时遍历该图块内的像素以累加梯度。因此，反向传播时间的上限主要由像素数量决定，这不仅使得计算负载更加均衡，还减少了冲突现象。除了RGB通道外，我们还针对高斯分布引入了深度图和透明度图的梯度反向传播机制，而这正是Gaussian-LIC所未能实现的。
7.2.3 其他策略
a) 稀疏Adam。原始的3DGS方法（Kerbl等人，2023年）采用Adam优化器来更新所有高斯点，包括那些在当前渲染过程中并未被用到的点，即便这些点的梯度为零也会进行更新。随着地图规模的增大，这种计算负担会逐渐变得难以承受。因此，我们采用了Mallick等人（2024年）提出的稀疏Adam方法，仅更新那些参与渲染的有效高斯点。
b) 分开处理的球谐系数。在原始的3DGS框架中，每次迭代的前向传播和后向传播阶段都会先将低阶和高阶球谐系数拼接在一起。不过，这种拼接操作十分耗时，尤其是在我们的方法中使用了三阶球谐系数时更是如此。为解决这一问题，我们分别处理低阶和高阶球谐系数，从而省去了拼接步骤。
c) 高效的SSIM。我们采用了Mallick等人（2024年）实现的高效且可微分的SSIM算法，该算法通过可分离的高斯卷积运算降低了计算量。
d) Warp级谓词掩码技术。Warp是线程与块之间的桥梁，对GPU的并行性能至关重要。通常，线程以32个为一组形成一个Warp，如果Warp内的线程因条件分支而出现分歧，性能就会下降。例如，在3DGS的前向传播过程中，不同线程处理的高斯点可能会因深度无效、二维协方差不可逆或权重不足等原因被判定为无效，导致线程在不同条件下退出，进而引发分歧。为解决这一问题，我们使用标志位在最后阶段统一返回决策，从而避免分歧。此外，对于所有线程都被标记为需要返回的Warp，我们还会执行提前终止操作，以提升效率。
e) CPU到GPU的数据传输。在优化地图时，需要将真实图像和稀疏激光雷达深度图从CPU传输到GPU，这一过程会产生一定的开销。但由于内存有限，无法预先将它们加载到GPU中。因此，我们将它们存储在固定内存中，并利用非阻塞传输方式将数据从CPU移至GPU。具体来说，固定内存是CPU上一种GPU可直接访问的特殊存储区域，能够加速数据传输。我们使用cudaMemcpyAsync()函数异步执行传输操作，同时借助CUDA流来管理内存复制操作与GPU内核的并发执行。通过利用多个流，数据传输和计算可以同时进行，从而最大限度地减少GPU的空闲时间，提升整体吞吐量。
## 8 用于评估的数据集
本节介绍了用于评估的数据集，涵盖公开数据集和自行采集的数据集。公开数据集包括R3LIVE（Lin和Zhang，2022年）、FASTLIVO（Zheng等人，2022年、2024年）、MCD（Nguyen等人，2024年）以及M2DGR（Yin等人，2021年），主要用于定位和在序列内新视角渲染评估。我们自行采集的数据集既支持在序列内和序列外的新视角渲染评估，也能对渲染出的深度图进行定量评估。表8总结了每个序列的持续时间和长度。
### 8.1 公开数据集
R3LIVE数据集（Lin和Zhang，2022年）以及FAST-LIVO数据集（Zheng等人，2022年、2024年）均是在校园内采集的，采集时使用的是手持设备，该设备搭载了采样率为10 Hz的Livox Avia激光雷达及其内置的采样率为200 Hz的惯性测量单元，还配备了一台采样率为15 Hz的RGB相机。所采用的固态激光雷达投射的点云与相机的视场角紧密对齐且扫描模式非重复，这些点云会分布在图像中，但如图3所示，仍存在不可忽视的盲点。我们选取了R3LIVE数据集中适合用于建图的6个室外序列进行评估。本研究中使用的FAST-LIVO数据集包含了FAST-LIVO的所有序列以及FAST-LIVO2的前两个序列，这些高质量的图像使得该数据集特别适用于建图任务。值得注意的是，R3LIVE和FAST-LIVO数据集还提供了存在激光雷达或视觉退化的具有挑战性的序列，例如degenerate-seq-00、degenerate-seq-01、LiDAR-Degenerate和Visual-Challenge。尽管真实轨迹
---
Figure 5. Two types of LIC sensor rig for self-collected dataset.
当存在立体图像对时，仅使用左侧图像$(640 \times 512)$进行后续处理。
MCD数据集（Nguyen等人，2024年）提供了在大尺度校园内采集的序列。我们选取了序列tuhh_day_02-04进行评估，该序列由以10 Hz频率旋转的Ouster OS1-64激光雷达、采样率为30 Hz的RGB相机（640 × 480）以及采样率为400 Hz的IMU采集而成。旋转式激光雷达的空间稀疏性给基于激光雷达的高斯建图带来了更大挑战。由于环境规模庞大，我们将序列截取为前200秒（约300米）。该数据集提供了高精度的真实轨迹，可用于定位任务的定量评估。
M2DGR数据集（Yin等人，2021年）是由地面机器人采集的，采集设备包括采样率为10 Hz的Velodyne VLP-32C激光雷达、采样率为100 Hz的IMU以及采样率为10 Hz的RGB相机（$640 \times 480$），由于激光雷达测量数据极其稀疏，该数据集呈现出更具挑战性的特点。我们选取光照条件良好的序列room_01-03进行评估。
### 8.2 自行采集的数据集
为了进一步评估序列外新视角合成效果，并定量评估渲染深度的准确性，我们利用图5中的两台手持设备采集了额外的序列，从而丰富了激光雷达模态的多样性。第一种设备组合将采样率为10 Hz的Livox Mid-360激光雷达与采样率为30 Hz的RealSense D455 RGB相机（640 × 480）相结合。与Avia相比，Mid-360拥有更宽的水平视场，但最大测距范围更短，这给重建带来了独特的挑战。第二种设备遵循LiV_handheld*配置，将采样率为10 Hz的Livox Avia激光雷达与采样率为15 Hz的海康威视MV-CA013-21UC RGB相机（640 × 512）搭配使用。这两套手持系统均利用激光雷达内置的200 Hz IMU，激光雷达与IMU在出厂时已同步且校准良好。相机与IMU之间的空间和时间外参通过Furgale等人（2013年）的方法进行了精细校准。
对于每条轨迹，我们都能捕捉到一条较长且平滑的轨迹，其中包含回环闭合，从而确保场景能被重新访问以进行非顺序评估，这使得采集到的数据非常适合用于建图。由于建筑物之间GPS信号不稳定，基于GPS的位姿估计往往不可靠。我们利用激光雷达-惯性-相机SLAM框架生成连续时间的真实轨迹，该框架采用了连续时间回环闭合技术以提高精度（Lv等人，2021年）。需要注意的是，我们采集的场景规模并不大（即并非城市级别），因此估算出的真实轨迹足以满足评估需求。在生成真实深度图时，我们会从连续时间的真实轨迹中查询相机位姿，并将时间上最接近的激光雷达帧投影到图像上。每条采集到的轨迹被分为两段，分别用于顺序评估和非顺序评估，如图9所示。
## 9 实验结果
### 9.1 实现细节
我们完全使用C++和CUDA实现了Gaussian-LIC2。跟踪模块与建图模块并行运行，通过ROS进行通信，其中建图部分基于LibTorch框架。深度补全模型（Wang等人，2024a）则通过TensorRT部署以实现高效推理。
在里程计方面，我们沿用了FAST-LIO2中Xu等人（2022年）设定的ikd-Tree参数，将第5.2.4节中的相机位姿优化步长设为$N_t$。在建图数据准备阶段，我们将第6.1节中的$N_p$分别设为10（Avia、Mid-360传感器）、5（OS1-64传感器）以及1（VLP-32C传感器）。第6.2节中的$\epsilon_1$和$\epsilon_2$经实验确定为0.1米和50米。在地图扩展方面，我们按照Gaussian-LIC的做法，将第7.1.2节中的$\tau$设为0.99。至于地图优化，我们将损失权重$\lambda$设为0.2（参考Kerbl等人，2023年），将$\gamma$设为0.005。$\gamma$是经过反复调试确定的，旨在平衡视觉质量与几何质量。所选关键帧的数量K被设定为100。高斯属性的所有学习率均遵循传统的3DGS方法（Kerbl等人，2023年），且不使用调度器使其衰减。为确保评估的公平性与全面性，我们在采用相同传感器配置的所有轨迹中都使用了相同的超参数。实验在一台配备NVIDIA RTX 4090 GPU（24 GB显存）、Intel i9-13900K F CPU以及64 GB内存的台式机上开展。
### 9.2 基线方法
本文旨在开发一种精细的基于辐射场的SLAM系统，该系统能够在实时构建照片级真实感3D地图的同时，实现鲁棒且精确的位姿估计。因此，我们的对比分析专门针对真正的SLAM系统，明确排除了那些需要预先给定真实位姿的纯建图系统。
我们首先将定位性能与最先进的传统激光雷达-惯性-相机SLAM系统进行比较，包括基于优化的LVI-SAM（Shan等人，2021年），以及基于滤波的R3LIVE（Lin和Zhang，2022年）和FASTLIVO2（Zheng等人，2024年）。我们还包括了两种神经SLAM方法：PIN-SLAM（Pan等人，2024年），这是一种利用基于点的NeRF进行纯几何重建的神经激光雷达SLAM方法；以及DBA-Fusion（Zhou等人，2024b），它将IMU数据整合到DROID-SLAM（Teed和Deng，2021年）中，而DROID-SLAM目前是最先进的神经视觉SLAM框架。运行PIN-SLAM时，我们输入的是经过畸变校正的激光雷达点云。
此外，为了评估整个系统的定位性能与照片级真实感建图性能，我们将其与基于照片级真实感辐射场的SLAM进行了比较。
---
Table 2. Localization Evaluation: The start-to-end drift error (translation | rotation) on challenging sequences. The best are in bold and the second best are $\underline{\text{underscored}}$. $\times$ means failure. Note that, except for the sequence LiDAR_Degenerate, which is an indoor sequence, all the others are outdoor sequences. Hybrid means using both the point cloud map and the 3DGS map for localization.
| Method | Sensor | Map Type (for Loc) | Sequence |
| degenerate_seq_00 | degenerate_seq_01 | LiDAR_Degenerate | Visual_Challenge |
| MonoGS Matsuki et al. (2024) | C | 3DGS | 14.54m | 67.40° | ✗ | | ✗ | | ✗ |
| Co-SLAM Wang et al. (2023a) | L + C | NeRF | 12.37m | 30.50° | ✗ | | ✗ | | ✗ |
| SplaTAM Keetha et al. (2024) | L + C | 3DGS | 17.96m | 16.75° | ✗ | | ✗ | | ✗ |
| MM3DGS-SLAM Sun et al. (2024) | L + I + C | 3DGS | 9.14m | 14.02° | ✗ | | ✗ | | ✗ |
| PIN-SLAM Pan et al. (2024) | L | NeRF | 9.07m | 30.05° | 13.53m | 29.29° | 4.13m | 3.71° | ✗ |
| DBA-Fusion Zhou et al. (2024b) | I + C | PointCloud | 0.53m | 8.98° | 1.87m | 1.93° | 0.46m | 4.66° | 3.19m |
| LVI-SAM Shan et al. (2021) | L + I + C | PointCloud | 0.08m | 6.60° | 0.11m | 2.67° | ✗ | | ✗ |
| R3LIVE Lin and Zhang (2022) | L + I + C | PointCloud | 0.04m | 0.41° | 0.11m | 0.55° | 8.52m | 2.99° | 0.21m |
| FAST-LIVO2 Zheng et al. (2024) | L + I + C | PointCloud | 5.07m | 8.38° | 2.41m | 6.20° | 0.02m | 2.40° | 0.02m |
| Gaussian-LIC Lang et al. (2025) | L + I + C | PointCloud | 0.04m | 0.54° | 0.06m | 0.62° | 0.05m | 2.63° | 0.07m |
| Gaussian-LIC2-LIO | L + I | PointCloud | 7.87m | 9.15° | 13.72m | 11.10° | 6.62m | 4.84° | 12.05m |
| Gaussian-LIC2 (c1) | L + I + C | PointCloud | 0.04m | 0.58° | 0.04m | 0.55° | 0.05m | 2.58° | 0.06m |
| Gaussian-LIC2 (c2) | L + I + C | Hybrid | 0.03m | 0.43° | 0.05m | 0.59° | 0.05m | 2.50° | 0.02m |
| Gaussian-LIC2 (c2-w/o-d) | L + I + C | Hybrid | 7.12m | 6.22° | 0.45m | 0.80° | 3.27m | 5.92° | 0.10m |
包括基于NeRF和基于3DGS的方法。1) 基于NeRF的方法：由于目前没有公开可用的激光雷达-摄像头系统，我们采用最先进的基于RGB-D的NeRF方法Co-SLAM（Wang等人，2023a），通过融合激光雷达扫描数据来模拟伪RGB-D输入。在渲染完整图像时，我们使用SPNet（Wang等人，2024a）来补全激光雷达深度图，以便进行基于深度的采样。2) 基于3DGS的方法：我们与最先进的仅依赖RGB的方法MonoGS（Matsuki等人，2024）进行对比，该方法能够巧妙地计算出位姿梯度。鉴于现有的基于激光雷达-摄像头的3DGS方法较少，我们采用最先进的基于RGB-D的3DGS方法SplaTAM（Keetha等人，2024），并使用伪RGB-D图像进行测试。我们还与RGB-D惯性方法MM3DGS-SLAM（Sun等人，2024）进行比较，该方法在SplaTAM基础上加入了惯性测量单元（IMU）数据；同时我们也与我们之前提出的基于激光雷达-惯性-摄像头的3DGS SLAM框架Gaussian-LIC（Lang等人，2025）进行对比，该对比中关闭了天空建模功能以确保深度渲染的有效性。更多的对比结果，包括与最新的基于激光雷达-惯性-摄像头的方法GS-LIVM（Xie等人，2025）的对比结果，均详见补充材料（第A.1节）。为保证公平性，所有方法均在不使用回环闭合和后期处理的情况下进行评估。
### 9.3 实验一：定位性能评估
我们验证了Gaussian-LIC2跟踪算法在具有挑战性的退化环境和大规模环境中的鲁棒性与准确性。具体而言，我们比较了第5.2节中提到的两种相机因子：选项1（激光雷达地图重投影约束，即Gaussian-LIC2 (c1)）和选项2（高斯图光度约束，即Gaussian-LIC2 (c2)）。此外，我们还研究了在禁用深度监督（公式(22)）的情况下选项2的有效性，记为Gaussian-LIC2 (c2-w/o-d)。Gaussian-LIC2-LIO代表我们的激光雷达-惯性里程计组件，该组件不依赖图像提供的任何约束。
9.3.1 具有挑战性的退化序列
R3LIVE和FASTLIVO数据集中提供的degenerate_seq_00、degenerate_seq_01、LiDAR_Degenerate以及Visual_Challenge等序列存在严重的退化现象，例如视场角较小的固态激光雷达朝向地面或墙面，摄像头面对无纹理表面或处于剧烈运动状态。
Figure 6. The trajectory and colored LiDAR point cloud map output by the continuous-time odometry efficiently fused with the Gaussian map. Even undergoing severe degradation when the solid-state LiDAR faces the plain ground, the odometry performs pose estimation accurately with minor start-to-end drift error, benefiting from the photometric constraints provided by the Gaussian map. (a)-(d) are the raw image of the current view and rendered images from poses predicted by the IMU, refined by Gaussian-map-based optimization, and further optimized through LiDAR-Inertial-Camera factor optimization, respectively. Color discrepancies between the ground-truth and rendered images reflect variable illumination and varying camera exposure, highlighting the importance of the D-SSIM loss in Eq. (17).
表2报告了起始到终点的漂移（及旋转）误差。仅依赖辐射场图的渲染损失来进行定位的方法，包括MonoGS、Co-SLAM、SplaTAM和MM3DGS-SLAM，在视角变化适中的封闭室内场景中表现出优异的定位精度。然而，在视角变化显著的大规模室外场景中，它们往往无法正常工作，因为摄像头很容易进入地图优化尚未收敛的区域。MonoGS是唯一缺乏绝对尺度信息的方法，我们将其估计出的轨迹与Gaussian-LIC2 (c1)的轨迹对齐，从而获取绝对尺度。
---
Table 3. Localization Evaluation: The RMSE (m) of APE results on large-scale outdoor sequences in MCD dataset.
| tuhh_day_02 | tuhh_day_03 | tuhh_day_04 |
| MonoGS Matsuki et al. (2024) | 29.53 | 42.54 | 25.4 |
| Co-SLAM Wang et al. (2023a) | 47.26 | ✗ | ✗ |
| SplaTAM Keetha et al. (2024) | ✗ | 34.49 | ✗ |
| MM3DGS-SLAM Sun et al. (2024) | 17.53 | 20.14 | 26.33 |
| PIN-SLAM Pan et al. (2024) | 0.16 | 0.11 | 0.38 |
| DBA-Fusion Zhou et al. (2024b) | 1.86 | 1.25 | 2.71 |
| LVI-SAM Shan et al. (2021) | 0.14 | 0.13 | 0.18 |
| R3LIVE Lin and Zhang (2022) | 0.10 | 0.13 | 0.15 |
| FAST-LIVO2 Zheng et al. (2024) | 0.08 | 0.11 | 0.13 |
| Gaussian-LIC Lang et al. (2025) | 0.08 | 0.09 | 0.10 |
| Gaussian-LIC2 (c1) | 0.08 | 0.08 | 0.09 |
| Gaussian-LIC2 (c2) | 0.08 | 0.09 | 0.09 |
MM3DGS-SLAM在惯性测量单元（IMU）的辅助下能够完成序列degenerate_seq_00，但在其他序列上仍表现不佳。PIN-SLAM基于基于点的NeRF表示方法，通过点到模型SDF损失来优化位姿（Pan等人，2024年），这与ICP中的点到平面度量类似。它构建了纯几何地图，即便在光照条件复杂的场景下也能实现稳健的位姿优化；但在激光雷达数据退化、环境结构无法为位姿优化提供足够约束的场景中，其性能会受到影响。此外，由于PIN-SLAM仅依赖激光雷达数据和匀速运动假设来确定初始位姿，因此在存在剧烈运动的Visual_Challenge序列上会出现崩溃现象。作为基于学习的视觉-惯性里程计系统，DBA-Fusion对激光雷达退化的鲁棒性更强，其与IMU数据的紧密融合也有助于应对剧烈运动。不过，Visual_Challenge序列中过度的视角变化会对预测的稠密光流精度产生负面影响，进而显著恶化DBA-Fusion的位姿跟踪效果。
在所有对比方法中，各模块都经过精心设计的激光雷达-惯性-相机融合方法展现出了更稳健、更精准的性能。与LVI-SAM、R3LIVE和FAST-LIVO2等分别融合激光雷达-惯性和视觉-惯性数据的方法不同，我们的方法采用单一的统一系统，能够在连续时间因子图中将激光雷达-惯性-相机数据联合且紧密地整合起来，从而实现更优异的整体性能。需要注意的是，由于序列degenerate_seq_00-01缺乏严格的硬件同步机制，FAST-LIVO2的性能受到了影响。图6展示了Gaussian-LIC2（c2）生成的轨迹和彩色激光雷达地图，该里程计成功克服了严重的激光雷达退化挑战，且仅产生轻微漂移便回到了起点。图6中的一组子图展示了从三个不同视角渲染的图像，这些图像分别对应由IMU预测的位姿、经基于高斯图的优化得到的位姿（公式(18)中的$^W_C\tilde{T}$），以及通过连续时间激光雷达-惯性-相机因子图优化进一步 refined后的位姿（第5.3节）。渲染图像与原始图像之间的相似度越高，越能直观体现出估计位姿的逐步优化过程。有趣的是，Gaussian-LIC2（c2）在包含无纹理白墙的Visual Challenge序列上的表现优于Gaussian-LIC2（c1）。这种提升得益于源自高斯图的光度约束，相比基于光流的Gaussian-LIC2（c1），它能在低纹理环境中展现出更强的鲁棒性。在没有深度监督的情况下，Gaussian-LIC2（c2-w/o-d）的精度会有所下降。深度正则化能够防止高斯图过度拟合训练视图，从而生成更少伪影的更稳健的新视角合成结果，正如第9.4节所讨论的那样。这一点至关重要，因为基于高斯图的定位本质上需要从不同视角生成连续的新视角合成结果。关于FAST-LIVO2在Zheng等人（2024年）研究中涉及的其他严重退化序列的更多结果，可参见补充材料（第A.3节）。
9.3.2 大规模室外场景序列。表3展示了在无传感器退化情况下，不同方法在大规模场景中的定位误差。基于渲染的方法，包括MonoGS、Co-SLAM、SplaTAM和MM3DGS-SLAM，在姿态估计方面的精度较低。尽管MM3DGS-SLAM得益于基于IMU的姿态初始化，但其松散耦合的融合方式未考虑IMU偏差，因此限制了精度。相比之下，PIN-SLAM和DBA-Fusion的表现更佳，其中PIN-SLAM的性能甚至接近传统多传感器方法。由于采用了连续时间轨迹表示法，能够有效处理激光雷达畸变并高效融合高频率IMU数据，我们的方法实现了最佳的定位精度。在非退化场景中，视觉信息对跟踪精度的影响相对较小，因此Gaussian-LIC2 (c1)和Gaussian-LIC2 (c2)的性能相近。
### 9.4 实验二：建图评估
9.4.1 评估协议。我们通过评估从高斯地图生成的渲染图像质量来评判照片级真实感建图的性能。为此，我们采用了几种常用的指标，包括峰值信噪比（PSNR）、结构相似性指数（SSIM）以及学习到的感知图像块相似度（LPIPS）（Kerbl等人，2023年）。与MonoGS和SplaTAM一致，我们使用AlexNet（Krizhevsky等人，2012年）作为LPIPS评估的骨干网络。当存在真实深度图时，我们还会通过有效深度区域上的Depth-L1误差来评估几何精度。此外，为了更好地比较几何质量，我们进一步评估常用的表面重建指标，即精度、完整度、Chamfer-L1距离和F分数。需要注意的是，我们在建图评估及后续所有实验中均采用Gaussian-LIC2 (c1)。
许多现有方法（Xie等人，2025年；Zhao等人，2025年；Hong等人，2025年）仅报告了各自训练视角下的渲染性能。然而，这种评估可能因过拟合而产生偏差，无法可靠反映新视角下的照片级真实感建图质量。为确保评估的全面性和公平性，我们在序列内和序列外的新视角上评估渲染质量，明确排除了训练视角。
为了公平评估，我们为所有方法提供准确的姿态，以将建图性能与姿态估计误差分离开来；所有方法均使用相同的关键帧集进行训练（见第6.1节），非关键帧则用于序列内新视角的渲染。具体而言，在我们自行采集且具备真实姿态的数据集上，所有方法均使用真实姿态；
---
Figure 7. Qualitative results of RGB rendering (in-sequence novel view) on public datasets. Regions not observed by the LiDAR throughout the entire process are indicated by the red arrow, floaters are highlighted with green boxes, and key details are marked with yellow boxes. Gaussian-LIC2 consistently achieves sharper visual effects with fewer artifacts.
---
Figure 8. Qualitative results of depth rendering (in-sequence novel view) on public datasets. Sparse LiDAR depth at the viewpoints is also shown in the second column. Note that the last row shows the rendering results on the M2DGR dataset, which is impacted by the rolling shutter effect. Gaussian-LIC2 consistently achieves sharper visual effects with clearer geometric structures.
---
Table 4. Evaluation of RGB rendering (in-sequence novel view) on public datasets.
| Sequence | Rendering Performance (PSNR $\uparrow$ SSIM $\uparrow$ LPIPS $\downarrow$) | |
| MonoGS | Co-SLAM | MM3DGS-SLAM | Gaussian-LIC | Gaussian-LIC2 | |
| R3LIVE (Avia) | | | | | | | | | | | | | | |
| degenerate_seq_00 | 14.59 | 0.460 | 0.624 | 14.42 | 0.286 | 0.810 | 19.35 | 0.698 | 0.212 | 21.94 | 0.777 | 0.171 | 21.99 | 0.782 |
| degenerate_seq_01 | 14.66 | 0.438 | 0.692 | 14.88 | 0.267 | 0.822 | 18.57 | 0.621 | 0.277 | 22.80 | 0.787 | 0.169 | 22.94 | 0.790 |
| hku_campus_00 | 15.41 | 0.464 | 0.675 | 15.50 | 0.302 | 0.794 | 18.70 | 0.621 | 0.319 | 24.38 | 0.787 | 0.162 | 24.34 | 0.787 |
| hku_campus_01 | 8.39 | 0.065 | 0.873 | 12.92 | 0.294 | 0.796 | 16.97 | 0.593 | 0.271 | 20.55 | 0.671 | 0.275 | 20.52 | 0.674 |
| hku_park_00 | 13.24 | 0.319 | 0.733 | 14.02 | 0.218 | 0.790 | 14.98 | 0.363 | 0.396 | 17.09 | 0.466 | 0.354 | 17.17 | 0.469 |
| hku_park_01 | 12.22 | 0.289 | 0.790 | 13.65 | 0.207 | 0.815 | 15.79 | 0.392 | 0.409 | 19.45 | 0.529 | 0.340 | 19.46 | 0.529 |
| FAST-LIVO (Avia) | | | | | | | | | | | | | | |
| LiDAR_Degenerate | 25.44 | 0.779 | 0.645 | 23.59 | 0.622 | 0.496 | 28.58 | 0.828 | 0.157 | 30.09 | 0.829 | 0.155 | 30.36 | 0.831 |
| Visual_Challenge | 15.36 | 0.563 | 0.674 | 15.96 | 0.365 | 0.711 | 17.62 | 0.712 | 0.240 | 23.26 | 0.821 | 0.162 | 23.44 | 0.822 |
| hku1 | 13.44 | 0.385 | 0.787 | 15.98 | 0.269 | 0.738 | 21.76 | 0.713 | 0.162 | 23.82 | 0.757 | 0.153 | 23.74 | 0.758 |
| hku2 | 21.24 | 0.559 | 0.691 | 20.07 | 0.398 | 0.631 | 26.29 | 0.754 | 0.156 | 29.11 | 0.798 | 0.153 | 29.08 | 0.798 |
| Retail_Street | 18.74 | 0.574 | 0.537 | 17.32 | 0.375 | 0.669 | 21.55 | 0.694 | 0.162 | 24.15 | 0.770 | 0.128 | 24.37 | 0.775 |
| CBD_Building_01 | 17.11 | 0.630 | 0.640 | 18.16 | 0.508 | 0.644 | 22.13 | 0.812 | 0.126 | 25.16 | 0.851 | 0.104 | 25.20 | 0.851 |
| MCD (OS1-64) | | | | | | | | | | | | | | |
| tuhh_day_02 | 8.72 | 0.158 | 0.893 | 12.65 | 0.295 | 0.766 | 11.15 | 0.478 | 0.350 | 19.99 | 0.621 | 0.312 | 20.35 | 0.626 |
| tuhh_day_03 | 8.09 | 0.136 | 0.896 | 12.48 | 0.407 | 0.684 | 11.36 | 0.542 | 0.301 | 21.09 | 0.666 | 0.273 | 21.38 | 0.672 |
| tuhh_day_04 | 11.73 | 0.250 | 0.805 | 13.02 | 0.413 | 0.626 | 13.86 | 0.384 | 0.398 | 19.27 | 0.528 | 0.329 | 19.27 | 0.528 |
| M2DGR (VLP-32C) | | | | | | | | | | | | | | |
| room_01 | 14.92 | 0.573 | 0.643 | 15.01 | 0.317 | 0.880 | 12.27 | 0.554 | 0.458 | 17.04 | 0.697 | 0.365 | 17.45 | 0.721 |
| room_02 | 13.57 | 0.515 | 0.697 | 14.94 | 0.318 | 0.877 | 11.44 | 0.565 | 0.465 | 17.32 | 0.705 | 0.375 | 17.72 | 0.725 |
| room_03 | 16.15 | 0.627 | 0.587 | 14.88 | 0.370 | 0.841 | 12.50 | 0.573 | 0.475 | 17.19 | 0.701 | 0.401 | 17.38 | 0.709 |
而在缺乏真实姿态的公共数据集上，我们的方法以及基线方法均使用我们估算的姿态进行评估。
9.4.2 序列内新视角合成。表4和表5展示了在公开数据集及自行采集的数据集上，序列内新视角的定量渲染结果。图7和图8分别呈现了序列中RGB图像与深度图的新视角渲染效果。仅使用RGB的方法MonoGS会在预设的固定深度处初始化高斯点，并加入随机噪声，随后再根据渲染出的深度统计信息插入新的高斯点。虽然在小规模室内场景中，所插入的高斯点的优化能够逐渐收敛，但在更大规模的场景中这一过程会变得极具挑战性——错位的高斯点不断累积，从而导致漂浮物现象出现且视觉质量较差。引入激光雷达几何先验可显著缓解这一问题。例如，Co-SLAM利用激光雷达深度数据进行光线采样以及神经隐式地图优化的监督，从而渲染出结构相对清晰的图像。如图7和图8所示，该方法能够基于优化后的神经表示，渲染出超出激光雷达视场范围的内容。不过，即便有完整的深度图引导，Co-SLAM的渲染结果仍会存在噪点且伪影严重。相比之下，融合了激光雷达数据的基于3DGS的方法MM3DGS-SLAM和Gaussian-LIC则展现出更好的渲染性能：它们能够利用精确的激光雷达点来可靠地初始化高斯点。不过，MM3DGS-SLAM将场景建模为各向同性和与视角无关的高斯点以加速渲染，但遗憾的是它既无法达到实时性能要求，还会牺牲视觉质量。需要注意的是，MM3DGS-SLAM用于建模场景的高斯点数量约为本方法的三倍。Gaussian-LIC没有充分利用精确的激光雷达深度信息，也忽略了优化高斯图的几何质量，因此渲染出的深度图质量较差。此外，这两种方法都难以准确重建激光雷达未观测到的区域。
Gaussian-LIC2在序列内新视角渲染方面取得了最佳的性能，无论是定量还是定性评估均是如此。该系统在新视角下能渲染出更清晰的RGB图像，伪影更少，且不会仅仅局限于对训练视图的拟合。它能成功重建激光雷达从未扫描过的区域，比如图7最后一行所示的VLP-32C无法触及的天花板区域。此外，尽管该方法依赖稀疏的激光雷达深度数据，却仍能针对不同型号的激光雷达生成高质量的深度图。值得注意的是，M2DGR数据集中的图像存在严重的卷帘快门失真现象，这会影响渲染出的深度图质量，如图8最后一行所示。
9.4.3 序列外新视角合成。我们进一步在自行采集的数据集上评估了序列外新视角渲染性能，这类任务比序列内渲染更具挑战性。评估时，我们沿序列外轨迹以10 Hz的频率采样视图。如表5所示，我们的方法取得了最佳结果。图9展示了相机轨迹以及沿序列外路径对应的新视角渲染结果。与Gaussian-LIC相比，Gaussian-LIC2的高斯图得到了更有效的正则化与优化，因此能生成更清晰、保真度更高且伪影更少的新视角图像。
9.4.4 表面重建。表6定量报告了在我们自行采集的数据集上的几何质量结果，该数据集提供了去噪后的真实点云数据。相关指标是根据真实数据与预测网格计算得出的（见第10.2节）。需注意，我们计算F分数时采用的误差阈值为0.2米。由此可见，在满足视觉质量和实时性能要求的前提下，Gaussian-LIC2能够实现更精确、更完整的环境重建。
---
Table 5. Evaluation of RGB and depth rendering (in-sequence & out-of-sequence novel view) on our datasets. Depth-L1 (m).
| LiDAR | Sequence | Method | In-Sequence Novel View | Out-of-Sequence Novel View |
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | Depth-L1 $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | Depth-L1 $\downarrow$ |
| Mid-360 | Liberal_Arts_Group_01 | MM3DGS-SLAM | 22.89 | 0.721 | 0.298 | 0.65 | 21.05 | 0.653 | 0.360 | 0.65 |
| Gaussian-LIC | 25.12 | 0.759 | 0.297 | 0.92 | 22.08 | 0.670 | 0.350 | 0.81 |
| Gaussian-LIC2 | 25.35 | 0.761 | 0.278 | 0.29 | 22.10 | 0.671 | 0.332 | 0.30 |
| Liberal_Arts_Group_02 | MM3DGS-SLAM | 17.96 | 0.574 | 0.271 | 0.67 | 16.98 | 0.444 | 0.351 | 0.72 |
| Gaussian-LIC | 23.02 | 0.703 | 0.210 | 0.66 | 19.95 | 0.520 | 0.275 | 0.71 |
| Gaussian-LIC2 | 23.42 | 0.713 | 0.186 | 0.30 | 20.05 | 0.528 | 0.256 | 0.37 |
| Liberal_Arts_Group_03 | MM3DGS-SLAM | 17.74 | 0.493 | 0.385 | 0.96 | 13.87 | 0.347 | 0.478 | 1.22 |
| Gaussian-LIC | 22.59 | 0.656 | 0.236 | 0.89 | 18.28 | 0.458 | 0.351 | 1.25 |
| Gaussian-LIC2 | 22.79 | 0.662 | 0.222 | 0.44 | 18.28 | 0.459 | 0.345 | 0.67 |
| Medical_Building_01 | MM3DGS-SLAM | 16.45 | 0.642 | 0.266 | 1.24 | 16.43 | 0.574 | 0.321 | 1.34 |
| Gaussian-LIC | 22.77 | 0.737 | 0.199 | 1.28 | 19.40 | 0.632 | 0.268 | 1.64 |
| Gaussian-LIC2 | 22.89 | 0.741 | 0.188 | 0.62 | 19.54 | 0.633 | 0.257 | 0.84 |
| Medical_Building_02 | MM3DGS-SLAM | 16.29 | 0.685 | 0.217 | 0.91 | 19.62 | 0.679 | 0.222 | 0.75 |
| Gaussian-LIC | 23.15 | 0.758 | 0.177 | 1.53 | 21.33 | 0.685 | 0.216 | 1.35 |
| Gaussian-LIC2 | 23.11 | 0.760 | 0.174 | 0.54 | 21.57 | 0.691 | 0.213 | 0.53 |
| Avia | Lecture_Hall | MM3DGS-SLAM | 19.54 | 0.671 | 0.198 | 0.74 | 18.73 | 0.624 | 0.236 | 0.75 |
| Gaussian-LIC | 21.60 | 0.710 | 0.178 | 0.68 | 20.32 | 0.669 | 0.207 | 0.73 |
| Gaussian-LIC2 | 21.78 | 0.719 | 0.167 | 0.39 | 20.40 | 0.672 | 0.205 | 0.45 |
| Robot_Center | MM3DGS-SLAM | 18.83 | 0.631 | 0.190 | 0.59 | 16.63 | 0.558 | 0.260 | 0.47 |
| Gaussian-LIC | 22.89 | 0.693 | 0.206 | 0.92 | 18.81 | 0.600 | 0.264 | 0.79 |
| Gaussian-LIC2 | 22.95 | 0.699 | 0.188 | 0.29 | 18.80 | 0.602 | 0.257 | 0.25 |
| Bell_Tower_01 | MM3DGS-SLAM | 18.13 | 0.600 | 0.300 | 0.67 | 16.40 | 0.592 | 0.299 | 0.74 |
| Gaussian-LIC | 25.38 | 0.717 | 0.282 | 0.92 | 22.87 | 0.676 | 0.324 | 0.91 |
| Gaussian-LIC2 | 25.53 | 0.720 | 0.256 | 0.27 | 22.87 | 0.676 | 0.298 | 0.35 |
| Bell_Tower_02 | MM3DGS-SLAM | 16.49 | 0.661 | 0.278 | 0.87 | 17.01 | 0.620 | 0.320 | 1.14 |
| Gaussian-LIC | 26.42 | 0.751 | 0.285 | 1.18 | 23.68 | 0.716 | 0.321 | 1.77 |
| Gaussian-LIC2 | 26.85 | 0.756 | 0.242 | 0.29 | 24.17 | 0.708 | 0.276 | 0.41 |
| Bell_Tower_03 | MM3DGS-SLAM | 16.61 | 0.651 | 0.256 | 0.90 | 14.08 | 0.603 | 0.294 | 1.02 |
| Gaussian-LIC | 27.29 | 0.748 | 0.296 | 1.47 | 25.02 | 0.735 | 0.278 | 1.68 |
| Gaussian-LIC2 | 27.63 | 0.756 | 0.244 | 0.33 | 25.43 | 0.738 | 0.238 | 0.42 |
Table 6. Evaluation of surface reconstruction on self-collected dataset. Metrics in meters: accuracy (Acc.), completeness (Comp.), Chamfer-L1 distance (C-L1). F-score in % is calculated with a 0.2m error threshold. The results are averaged separately over the Mid-360 dataset and the Avia dataset. RT means real time. Best results are in bold and second-best results are underlined. Gaussian-LIC2* means the modified version in Sec. 10.2 for the specific application of rapid mesh production.
| LiDAR | Method | Acc. $\downarrow$ | Comp. $\downarrow$ | C-L1 $\downarrow$ | F-score $\uparrow$ | PSNR $\uparrow$ | RT |
| Mid-360 | Co-SLAM | 0.197 | 0.461 | 0.333 | 49.81 | 16.15 | ✗ |
| MM3DGS-SLAM | 0.181 | 0.402 | 0.292 | 58.32 | 18.27 | ✗ |
| Gaussian-LIC | 0.189 | 0.424 | 0.326 | 51.49 | 23.33 | ✓ |
| Gaussian-LIC2 | 0.133 | 0.218 | 0.186 | 70.77 | 23.51 | ✓ |
| Gaussian-LIC2 $^{{*}}$ | 0.125 | 0.178 | 0.162 | 75.34 | 21.95 | ✓ |
| Avia | Co-SLAM | 0.226 | 0.490 | 0.351 | 46.42 | 13.55 | ✗ |
| MM3DGS-SLAM | 0.152 | 0.377 | 0.264 | 61.21 | 17.92 | ✗ |
| Gaussian-LIC | 0.149 | 0.442 | 0.295 | 59.21 | 24.72 | ✓ |
| Gaussian-LIC2 | 0.107 | 0.189 | 0.147 | 75.68 | 24.95 | ✓ |
| Gaussian-LIC2 $^{{*}}$ | 0.081 | 0.153 | 0.118 | 83.72 | 23.99 | ✓ |
与对比方法相比，Gaussian-LIC2在牺牲少量视觉质量的前提下，能够实现更高的几何质量，这一特性可专门用于快速网格生成，正如第10.2节所述的应用场景一样。
作为SLAM系统，我们的方法能够利用连续的传感器数据逐步估计位姿并构建照片级真实的地图，从而为机器人应用提供实时感知能力。相比之下，离线方法忽略了增量或在线处理能力，通常需要进行大量计算。
### 9.5 实验3：离线高斯映射
只有在收集完所有传感器数据后，才会开展计算量极大的优化工作。现有的离线3DGS映射方法通常分为两类：逐场景优化和可泛化的前馈模型。
9.5.1 逐场景优化 我们首先将我们的方法与最先进的基于激光雷达的3DGS框架LetsGo（Cui等人，2024年）在时长105秒的Lecture-Hall序列上进行比较。为确保比较的公平性，我们为LetsGo提供了相同的稀疏激光雷达深度图、我们估算的位姿以及同一组训练视图，并训练30000次。表7展示了相关结果，记录了从数据采集开始到重建完成的总时间。我们的方法性能与之相当，且能在数据采集期间就完成重建，而LetsGo则需要在收到完整数据集后进行耗时的优化。此外，经过额外10000次精细化迭代后，我们的方法表现显著优于LetsGo（仅需24秒）。这表明我们的方法不仅支持实时重建，在允许采集后优化时还能实现更高的精度。
9.5.2 前馈模型 我们还将我们的方法与最先进的前馈高斯映射方法MVSplat（Chen等人，2024b年）进行比较，该方法能从少量带位姿的图像（默认两张）中预测高斯图。为使MVSplat能取得良好性能，我们借助我们的方法估算出的位姿，精心挑选了一对能提供足够视差和最大场景覆盖范围的图像。图10展示了在degenerate_seq_00和hku1序列上的渲染结果。虽然MVSplat能在几秒内预测出像素对齐的高斯分布，但它常常产生模糊的渲染结果，且对视差较为敏感。相反，我们的方法始终能生成清晰、照片级真实的图像。
---
Figure 9. Qualitative results of RGB and depth rendering (out-of-sequence novel view) on our self-collected dataset. (a-d) The green path represents the trajectory for collecting training views, the red path shows the out-of-sequence trajectory for evaluation, and the yellow stars indicate the selected out-of-sequence novel views. The sky regions in rendered depth maps are masked in black with the segmentation model.
Table 7. Comparison with LiDAR-based offline Gaussian mapping method on the sequence Lecture_Hall (span: 105 seconds). The total time consumption reported here is the duration of data acquisition time + reconstruction time.
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | Depth-L1 (m) $\downarrow$ | Time (s) $\downarrow$ |
| LetsGo Cui et al. (2024) | 21.81 | 0.708 | 0.170 | 0.37 | 105 + 347 |
| Gaussian-LIC2 | 21.78 | 0.719 | 0.167 | 0.39 | 105 |
| Gaussian-LIC2-W-Refine | 22.28 | 0.730 | 0.148 | 0.37 | 105 + 24 |
Figure 10. Comparison with the feed-forward method, MVSplat Chen et al. (2024b). Image renderings from both MVSplat and Gaussian-LIC2 are shown.
Table 8. Runtime Analysis (Time unit: s). Fwd.: forward time; Bwd.: backward time; Adam: optimizer update time; Total: total mapping time; Dur.: rosbag duration; Len.: trajectory length (m).
| Fwd. | Bwd. | Adam | Total | Dur. | Len. |
| R3LIVE |
| degenerate_seq_00 | 9 | 16 | 9 | 38 | 87 | 42 |
| degenerate_seq_01 | 11 | 15 | 8 | 38 | 86 | 61 |
| hku_campus_seq_00 | 69 | 69 | 45 | 195 | 202 | 172 |
| hku_campus_seq_01 | 154 | 73 | 48 | 285 | 304 | 337 |
| hku_park_00 | 62 | 87 | 55 | 218 | 228 | 212 |
| hku_park_01 | 138 | 112 | 73 | 340 | 362 | 354 |
| FAST-LIVO |
| LiDAR_Degenerate | 7 | 12 | 6 | 29 | 78 | 38 |
| Visual_Challenge | 18 | 29 | 14 | 71 | 162 | 78 |
| hku1 | 20 | 28 | 15 | 71 | 128 | 64 |
| hku2 | 13 | 21 | 11 | 51 | 105 | 59 |
| Retail_Street | 15 | 26 | 15 | 64 | 135 | 66 |
| CBD_Building_01 | 12 | 19 | 10 | 48 | 119 | 33 |
| MCD |
| tuhh_day_02 | 74 | 57 | 35 | 179 | 200 | 306 |
| tuhh_day_03 | 70 | 56 | 34 | 173 | 200 | 276 |
| tuhh_day_04 | 43 | 46 | 27 | 127 | 187 | 298 |
| M2DGR |
| room01 | 9 | 17 | 11 | 40 | 75 | 27 |
| room02 | 8 | 16 | 10 | 38 | 89 | 46 |
| room03 | 21 | 43 | 28 | 100 | 195 | 71 |
| Self-collected |
| Liberal_Arts_Group_01 | 8 | 9 | 3 | 24 | 101 | 42 |
| Liberal_Arts_Group_02 | 23 | 35 | 16 | 88 | 225 | 59 |
| Liberal_Arts_Group_03 | 39 | 50 | 25 | 132 | 285 | 102 |
| Medical_Building_01 | 9 | 10 | 4 | 28 | 113 | 53 |
| Medical_Building_02 | 10 | 12 | 4 | 32 | 120 | 38 |
| Lecture_Hall | 9 | 15 | 6 | 36 | 105 | 45 |
| Robot_Center | 18 | 25 | 13 | 63 | 136 | 53 |
| Bell_Tower_01 | 36 | 30 | 15 | 90 | 150 | 67 |
| Bell_Tower_02 | 13 | 18 | 9 | 45 | 103 | 39 |
| Bell_Tower_03 | 18 | 19 | 9 | 52 | 120 | 48 |
利用我们的方法估计出的位姿，可实现视差校正与最大场景覆盖。图10展示了在degenerate_seq_00和hku1序列上的渲染结果。虽然MVSplat能在几秒内预测出像素对齐的高斯分布，但它常常生成模糊的渲染结果，且对视差较为敏感。相比之下，我们的方法始终能生成清晰、逼真的图像。
### 9.6 运行时间分析
我们对所有数据集上的实时性能进行了评估。根据Gaussian-LIC（Lang等人，2025年）中的定义，若系统在传感器数据采集期间就能完成处理，且无需大量后期处理，则被视为具备实时处理能力。
---
Figure 11. Application – Video Frame Interpolation: The images in the middle are the interpolated frames at the intermediate timestamps of the left and right images.
我们在运行时间分析中评估了Gaussian-LIC(c1)的各个模块。平均位姿估算频率为10 Hz，而深度补全推理每帧仅需10–20毫秒。因此，我们主要关注映射线程中的耗时情况。如表8所示，耗时最多的部分主要是光栅化的前向和后向传播过程，以及Adam优化器的更新操作。得益于第7.2节中精心设计的CUDA相关加速策略，总映射时间仍控制在数据包持续时间之内，充分体现了我们方法的实时能力。我们还在补充材料（第A.2节）中报告了其他方法及CUDA消融实验的运行时间。实时演示视频可在网站$^{\dagger}$查看。
## 10 应用场景
### 10.1 视频帧插值
连续时间轨迹使得能够在任意有效时间戳查询姿态，而高斯图则支持从任意视角进行渲染。有趣的是，结合这两种能力便可实现时空插值，该技术可应用于视频帧插值。如图11所示，在通过Gaussian-LIC2获得连续时间轨迹和高斯图后，我们通过在查询到的中间时间点姿态下渲染中间帧，成功将Visual_Challenge序列的帧率从15 Hz提升至30 Hz。
### 10.2 快速三维网格提取
与以往基于激光雷达-惯性-相机的三维高斯SLAM方法相比，Gaussian-LIC2在视觉质量、几何精度和计算效率之间取得了平衡。在这一应用场景中，我们展示了如何将该方法适配于快速网格生成任务。我们将深度正则化权重$\gamma$（见公式(22)）设为2，并在数据采集期间实时运行该系统。随后，基于重建的高斯图，我们从所有视角渲染RGB图像和深度图。这些渲染得到的深度图会通过TSDF融合算法（Curless和Levoy，1996年提出，体素尺寸为0.05米）进行融合，从而重建出三维一致的地图。最后利用Marching Cubes算法（Lorenzen和Cline，1998年提出）从TSDF体数据中提取出精确的网格。图12展示了最终生成的网格，这些网格要么被赋予RGB颜色纹理，要么按照表面法线方向进行着色。
## 11 结论与未来工作
在本文中，我们提出了一种新型的激光雷达-惯性-相机高斯泼溅SLAM系统，该系统同时兼顾了视觉质量、几何精度和实时性能。我们的方法能够实时实现精确的姿态估计和照片级真实感的地图构建，支持高质量的RGB图像和深度图渲染。值得注意的是，我们引入了一种零样本深度补全模型，该模型可将RGB数据与稀疏激光雷达数据融合以生成密集深度图，从而为大规模场景中的高斯初始化提供便利。高斯图的训练由我们精心整理的稀疏激光雷达深度数据提供高效监督，并通过精心设计的CUDA相关策略加速进行。同时，我们探索了在连续时间框架下将源自高斯图的视觉光度约束与激光雷达-惯性数据联合融合，有效克服了激光雷达退化问题。我们还扩展了系统功能，以支持视频插值和快速网格生成等下游任务。最后，我们专门构建了一个激光雷达-惯性-相机数据集，用于评估大规模场景下的光度与几何映射性能，该数据集包含真实姿态和深度图信息，以及非连续轨迹数据。大量实验表明，我们的系统在多个方面均优于现有方法。
我们的方法提升了移动机器人系统在大规模场景中的实时感知能力。不过，未来研究仍存在若干局限性。(1) 地图紧凑性：我们目前未对地图尺寸施加限制，这可能导致较大的内存占用。值得研究如何在保持地图质量的同时减少高斯数量。(2) 几何精度：视觉质量与几何精度之间仍存在权衡。我们的目标是在不牺牲视觉保真度的前提下进一步提高几何精度。(3) 在超大规模场景中的适用性：在极端大规模环境中，我们的系统可能会随时间累积位姿漂移。我们计划引入回环闭合机制来缓解这一问题。(4) 与基础模型的集成：一个有前景的方向是利用基础模型进行前馈式高斯预测，并结合生成模型，以提升非序列场景下的新视角合成性能。
## 经费来源
本研究得到了国家自然科学基金（项目编号：62525309）的支持。
## 参考文献
Agarwal S、Mierle K等（2012）Ceres求解器。。
Bochkovskii A、Delaunoy A、Germain H、Santos M、Zhou Y、Richter SR和Koltun V（2024）Depth Pro：不到一秒即可生成清晰的单目度量深度图。arXiv预印本arXiv:2410.02073。
---
Figure 12. Application – Mesh Extraction: Textured and normal-colorized meshes generated from our reconstructed Gaussian map.
Campos C、Elvira R、Rodríguez JJG、Montiel JM和Tardós JD（2021）ORB-SLAM3：一个用于视觉、视觉惯性及多地图SLAM的精准开源库。《IEEE机器人学报》第37卷第6期：1874–1890页。
Cao C、Ren X和Fu Y（2022）MVSFormer：通过学习鲁棒的图像特征及基于温度的深度信息来实现多视图立体匹配。arXiv预印本arXiv:2208.02541。
Charatan D、Li SL、Tagliasacchi A和Sitzmann V（2024）PixelSplat：从图像对生成3D高斯泼溅，以实现可扩展的通用3D重建。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，第19457–19467页。
Chen A、Xu Z、Zhao F、Zhang X、Xiang F、Yu J和Su H（2021）MVSNeRF：从多视图立体匹配中快速生成通用的辐射场。收录于：IEEE/CVF国际计算机视觉会议论文集，第14124–14133页。
Chen D、Li H、Ye W、Wang Y、Xie W、Zhai S、Wang N、Liu H、Bao H和Zhang G（2024a）PGSR：基于平面的高斯泼溅技术，用于高效且高保真的表面重建。《IEEE可视化与计算机图形学汇刊》。
Chen H、Li C和Lee GH（2023a）NeUSG：结合3D高斯泼溅引导的神经隐式表面重建。arXiv预印本arXiv:2312.00846。
Chen L、Zhan H、Chen K、Xu X、Yan Q、Cai C和Xu Y（2025a）ActiveGamer：通过高效渲染实现主动式高斯映射。arXiv预印本arXiv:2501.06897。
Chen T、Shorinwa O、Bruno J、Swann A、Yu J、Zeng W、Nagami K、Dames P和Schwager M（2025b）Splat-Nav：安全的实时
机器人导航系统，基于高斯泼溅地图。《IEEE机器人学报》。
Chen Y、Gu C、Jiang J、Zhu X和Zhang L（2023b）周期性振动高斯模型：动态城市场景重建与实时渲染。arXiv预印本arXiv:2311.18561。
Chen Y、Xu H、Zheng C、Zhuang B、Pollefeys M、Geiger A、Cham TJ和Cai J（2024b）MVSPlat：从稀疏多视图图像中高效生成3D高斯泼溅。收录于：欧洲计算机视觉会议论文集，Springer出版社，第370–386页。
Chung CM、Tseng YC、Hsu YC、Shi XQ、Hua YH、Yeh JF、Chen WC、Chen YT和Hsu WH（2023）Orbeez-slam：一种结合ORB特征与神经辐射场映射的实时单目视觉SLAM技术。载于：2023年IEEE国际机器人与自动化会议（ICRA）。IEEE出版社，第9400–9406页。
Cong Y、Chen C、Yang B、Zhong R、Sun S、Xu Y、Yan Z、Zou X和Tu Z（2024）Or-lim：一种在高动态传感器运动下具备可观性感知能力的鲁棒激光雷达-惯性导航映射算法。《国际摄影测量与遥感学会杂志》第218卷：第610–627页。
Cui J、Cao J、Zhao F、He Z、Chen Y、Zhong Y、Xu L、Shi Y、Zhang Y和Yu J（2024）Letsgo：一种基于激光雷达辅助的高斯图元大规模车库建模与渲染方法。《ACM图形学交易》（TOG）第43卷第6期：第1–18页。
Curless B和Levoy M（1996）一种从深度图像构建复杂模型的体积化方法。载于：第23届计算机图形学与交互技术年会论文集。第303–312页。
---
Dai P、Xu J、Xie W、Liu X、Wang H和Xu W（2024）利用高斯曲面片实现高质量表面重建。载于：ACM SIGGRAPH 2024会议论文集。第1–11页。
Deng J、Wu Q、Chen X、Xia S、Sun Z、Liu G、Yu W和Pei L（2023）Nerf-loam：用于大规模增量式激光雷达里程计与映射的神经隐式表示方法。载于：IEEE/CVF国际计算机视觉会议论文集。第8218–8227页。
Engel J、Koltun V和Cremers D（2017）直接稀疏里程计技术。《IEEE模式分析与机器智能交易》第40卷第3期：第611–625页。
Engel J、Schöps T和Cremers D（2014）LSD-SLAM：大规模直接单目SLAM技术。载于：欧洲计算机视觉会议论文集。Springer出版社，第834–849页。
Fridovich-Keil S、Yu A、Tancik M、Chen Q、Recht B和Kanazawa A（2022）Plenoxels：无需神经网络的辐射场表示方法。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第5501–5510页。
Furgale P、Rehder J和Siegwart R（2013）多传感器系统的统一时空校准方法。载于：2013年IEEE/RSJ智能机器人系统国际会议论文集。IEEE出版社，第1280–1286页。
Geneva P、Eckenhoff K、Lee W、Yang Y和Huang G（2020）OpenVINS：一个用于视觉-惯性估计的研究平台。载于：2020年IEEE国际机器人与自动化会议（ICRA）论文集。IEEE出版社，第4666–4672页。
Giacomini E、Di Giammarino L、De Rebotti L、Grisetti G和Oswald MR（2025）Splat-Loam：基于高斯泼溅技术的激光雷达里程计与映射方法。arXiv预印本arXiv:2503.17491。
Guédon A和Lepetit V（2024）SUGAR：一种用于高效3D网格重建与高质量网格渲染的表面对齐高斯泼溅技术。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第5354–5363页。
Hong S、He J、Zheng X、Zheng C和Shen S（2024）LIV-GaussMap：一种用于实时3D辐射场地图渲染的激光雷达-惯性-视觉融合技术。《IEEE机器人与自动化快报》。
Hong S、Zheng C、Shen Y、Li C、Zhang F、Qin T和Shen S（2025）GS-LIVO：一种结合激光雷达、惯性及视觉传感器的实时多传感器融合里程计与高斯映射方法。arXiv预印本arXiv:2501.08672。
Hu M、Yin W、Zhang C、Cai Z、Long X、Chen H、Wang K、Yu G、Shen C和Shen S（2024）Metric3D v2：一种适用于零样本度量深度与表面法线估计的多功能单目几何基础模型。《IEEE模式分析与机器智能交易》。
黄B、余Z、陈A、盖格A和高S（2024a）用于几何精确辐射场的2D高斯泼溅技术。载于：ACM SIGGRAPH 2024会议论文集。第1–11页。
黄H、李L、程H和杨SK（2024b）Photo-SLAM：面向单目立体相机及RGB-D相机的实时同步定位与照片级真实感建图技术。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第21584–21593页。
艾萨克森S、孔PC、拉马纳戈帕尔M、瓦苏德万R和斯金纳KA（2023）Loner：仅依赖激光雷达的实时SLAM神经表示技术。《IEEE机器人与自动化快报》第8卷第12期：8042–8049页。
江C、高R、邵K、王Y、熊R和张Y（2024）Li-GS：融合激光雷达数据的高斯泼溅技术，用于高精度大规模场景重建。《IEEE机器人与自动化快报》。
江C、张H、刘P、余Z、程H、周B和沈S（2023）H₂Mapping：基于分层混合表示的实时密集建图技术。《IEEE机器人与自动化快报》第8卷第10期：6787–6794页。
金R、高Y、王Y、吴Y、卢H、徐C和高F（2024）GS-Planner：基于高斯泼溅技术的主动式高保真重建规划框架。载于：2024年IEEE/RSJ智能机器人系统国际会议（IROS）。IEEE出版社，第11202–11209页。
乔哈里MM、卡尔塔C和弗勒雷F（2023）ESLAM：基于有符号距离场混合表示的高效密集SLAM系统。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第17408–17419页。
基塔N、卡尔哈德J、贾塔瓦拉布拉KM、杨G、舍勒S、拉马南D和卢伊滕J（2024）SplatAM：用于密集RGB-D SLAM的3D高斯泼溅跟踪与建图技术。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第21357–21366页。
克尔布尔B、科帕纳斯G、莱姆屈勒T和德雷塔基斯G（2023）用于实时辐射场渲染的3D高斯泼溅技术。《ACM图形学交易》第42卷第4期。
克里兹涅夫斯基A、苏茨克弗I和辛顿GE（2012）基于深度卷积神经网络的ImageNet图像分类技术。《神经信息处理系统进展》第25卷。
郎X、陈C、唐K、马Y、吕J、刘Y和左X（2023）COCO-LIC：基于非均匀B样条曲线的连续时间紧耦合激光雷达-惯性-相机里程计技术。《IEEE机器人与自动化快报》第8卷第11期：7074–7081页。
郎X、李L、吴C、赵C、刘L、刘Y、吕J和左X（2025）Gaussian-LIC：融合高斯泼溅技术与激光雷达-惯性-相机数据的实时照片级真实感SLAM技术。载于：2025年IEEE国际机器人学与自动化会议（ICRA）。IEEE出版社，第8500–8507页。
郎X、吕J、黄J、马Y、刘Y和左X（2022）Ctrl-VIO：针对卷帘快门相机的连续时间视觉-惯性里程计技术。《IEEE机器人与自动化快报》第7卷第4期：11537–11544页。
雷X、王M、周W和李H（2025）GaussNav：用于视觉导航的高斯泼溅技术。《IEEE模式分析与机器智能交易》。
李H、邹Y、陈N、林J、刘X、徐W、郑C、李R、何D、孔F等（2024）Mars-LViG数据集：面向激光雷达-视觉-惯性-GNSS融合的多传感器无人机SLAM数据集。《国际机器人研究杂志》第43卷第8期：1114–1127页。
林H、彭S、陈J、彭S、孙J、刘M、鲍H、冯J、周X和康B（2024）利用Prompting Depth Anything技术实现4K分辨率下的高精度度量深度估计。arXiv预印本arXiv:2412.14015。
林杰和张峰（2022）R 3 live：一种鲁棒、实时的RGB彩色激光雷达-惯性-视觉紧耦合状态估计与建图软件包。载于：2022年国际机器人与自动化会议（ICRA）。IEEE出版社，第10672–10678页。
林杰和张峰（2024）R $^{3}$LIVE++：一种带有紧耦合激光雷达-惯性-视觉状态估计器的鲁棒、实时辐射重建软件包。《IEEE模式分析与机器智能汇刊》。
刘杰、万宇、王波、郑超、林杰和张峰（2025）Gssdf：用于几何一致的渲染与重建的激光雷达增强型高斯泼溅与神经SDF方法。arXiv预印本。
---
arXiv预印本：2503.10170。
刘杰、郑超、万宇、王波、蔡阳和张峰（2024a）面向激光雷达-视觉系统的神经表面重建与渲染。arXiv预印本：arXiv:2409.05310。
刘哲、程凯乐、王强、王硕、欧阳浩、谭斌、朱凯、沈洋、陈强和罗鹏（2024b）Depthlab：从局部到完整。arXiv预印本：arXiv:2412.18153。
洛伦森WE和克莱恩HE（1998）Marching Cubes：一种高分辨率的3D表面构建算法。载于：《图形学里程碑：塑造该领域的开创性成果》。ACM出版社，第347–353页。
卢涛、余明、徐磊、向立勇、王磊、林东和戴斌（2024）Scaffold-GS：用于视点自适应渲染的结构化3D高斯模型。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第20654–20664页。
卢卡斯BD和金出泰辅（1981）一种迭代式图像配准技术及其在立体视觉中的应用。载于：IJCAI'81：第七届人工智能国际联合会议，第2卷。第674–679页。
吕杰、胡凯、徐杰、刘洋、马晓和左翔（2021）Clins：用于激光雷达-惯性系统的连续时间轨迹估计。载于：2021年IEEE/RSJ智能机器人系统国际会议（IROS）。IEEE出版社，第6657–6663页。
吕杰、郎欣、徐杰、王明、刘洋和左翔（2023）用于激光雷达-惯性-相机SLAM的连续时间固定滞后平滑算法。《IEEE/ASME机电一体化汇刊》第28卷第4期：2259–2270页。
马利克SS、戈尔R、克尔布尔B、施泰因贝格M、卡拉斯科FV和德拉托雷F（2024）驯服3DGS：利用有限资源实现高质量辐射场。载于：2024年SIGGRAPH Asia会议论文集。第1–11页。
松木宏、村井龙、凯利PH和戴维森AJ（2024）高斯泼溅SLAM。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第18039–18048页。
米尔登霍尔B、斯里尼瓦桑PP、坦西克M、巴伦JT、拉马穆尔蒂R和吴睿（2021）NeRF：将场景表示为用于视图合成的神经辐射场。《ACM通讯》第65卷第1期：99–106页。
米勒T、埃文斯A、希德C和凯勒A（2022）采用多分辨率哈希编码的即时神经图形基元。《ACM图形学汇刊》（TOG）第41卷第4期：1–15页。
诺伊曼J、徐斌、洛伊特内格S和左翔（2024）NeRF-VO：基于神经辐射场的实时稀疏视觉里程计。《IEEE机器人与自动化快报》。
纽科姆RA、伊扎迪S、希利格斯O、莫利纽克斯D、金大、戴维森AJ、科希P、肖顿J、霍奇斯S和菲茨吉本A（2011a）KinectFusion：实时密集表面映射与跟踪。载于：2011年第10届IEEE混合与增强现实国际研讨会。IEEE出版社，第127–136页。
Newcombe RA、Lovegrove SJ和Davison AJ（2011b）Dtam：实时密集跟踪与建图。载于：2011年国际计算机视觉会议。IEEE出版社，第2320–2327页。
Nguyen TM、Yuan S、Nguyen TH、Yin P、Cao H、Xie L、Wozniak M、Jensfelt P、Thiel M、Ziegenbein J等（2024）Mcd：用于机器人感知的多样化大规模多校区数据集。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第22304–22313页。
Pan Y、Zhong X、Jin L、Wiesmann L、Popović M、Behley J和Stachniss C（2025）Pings：高斯泼溅技术与基于点的隐式神经地图中的距离场相结合。arXiv预印本
arXiv:2502.05752。
Pan Y、Zhong X、Wiesmann L、Posewsky T、Behley J和Stachniss C（2024）Pin-slam：利用基于点的隐式神经表示实现全局地图一致性的激光雷达SLAM。IEEE机器人学汇刊。
Peng Z、Shao T、Liu Y、Zhou J、Yang Y、Wang J和Zhou K（2024）Rtg-slam：利用高斯泼溅技术实现实时大规模3D重建。载于：ACM SIGGRAPH 2024会议论文集。第1–11页。
Pizzoli M、Forster C和Scaramuzza D（2014）Remode：实时概率单目密集重建。载于：2014年IEEE国际机器人与自动化会议（ICRA）。IEEE出版社，第2609–2616页。
Qin T、Li P和Shen S（2018）Vins-mono：一种鲁棒且通用的单目视觉-惯性状态估计器。IEEE机器人学汇刊，第34卷第4期：1004–1020页。
Radl L、Steiner M、Parger M、Weinrauch A、Kerbl B和Steinberger M（2024）StopThePop：用于视图一致的实时渲染的有序高斯泼溅技术。ACM图形学汇刊（TOG），第43卷第4期：1–17页。
Rematas K、Liu A、Srinivasan PP、Barron JT、Tagliasacchi A、Funkhouser T和Ferrari V（2022）城市辐射场。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第12932–12942页。
Rosinol A、Leonard JJ和Carlone L（2023）NeRF-SLAM：结合神经辐射场的实时密集单目SLAM。载于：2023年IEEE/RSJ智能机器人与系统国际会议（IROS）。IEEE出版社，第3437–3444页。
Sandström E、Li Y、Van Gool L和Oswald MR（2023）Point-SLAM：基于密集神经点云的SLAM。载于：IEEE/CVF国际计算机视觉会议论文集。第18433–18444页。
Sarikamis FA和Alatan AA（2024）Ig-SLAM：即时高斯SLAM。arXiv预印本arXiv:2408.01126。
Schöps T、Sattler T和Pollefeys M（2019）SurfelMeshing：在线基于曲面元素的网格重建。IEEE模式分析与机器智能汇刊，第42卷第10期：2494–2507页。
Shan T、Englot B、Ratti C和Rus D（2021）LVI-SAM：通过平滑与映射实现紧密耦合的激光雷达-视觉-惯性里程计。载于：2021年IEEE国际机器人与自动化会议（ICRA）。IEEE出版社，第5692–5698页。
Song S、Zhao J、Huang K、Lin J、Ye C和Feng T（2024）N $^{3}$-Mapping：用于大规模3D建模的基于法向引导的神经非投影有符号距离场。IEEE机器人学与自动化快报。
Sucar E、Liu S、Ortiz J和Davison AJ（2021）iMap：实时隐式建图与定位。载于：IEEE/CVF国际计算机视觉会议论文集。第6229–6238页。
孙LC、巴特NP、刘JC、范Z、王Z、汉弗莱斯TE和托普库U（2024）Mm3dgs SLAM：利用视觉、深度和惯性测量的多模态3D高斯泼溅SLAM技术。载于：2024年IEEE/RSJ智能机器人与系统国际会议（IROS）。IEEE出版社，第10159–10166页。
陶Y、巴尔加特Y、傅LFT、马塔马拉M、切布罗卢N和法伦M（2024）Silvr：用于机器人检测的可扩展激光雷达-视觉重建与神经辐射场技术。载于：2024年IEEE机器人学与自动化国际会议（ICRA）。IEEE出版社，第17983–17989页。
---
蒂德Z和邓J（2021）Droid-SLAM：面向单目、双目及RGB-D摄像头的深度视觉SLAM技术。《神经信息处理系统进展》第34卷：16558–16569页。
蒂德Z、利普森L和邓J（2023）深度补丁视觉里程计。《神经信息处理系统进展》第36卷：39033–39051页。
托西F、张Y、龚Z、桑斯特罗姆E、马托恰S、奥斯瓦尔德MR和波吉M（2024）神经辐射场与3D高斯泼溅如何重塑SLAM技术：一项综述。arXiv预印本arXiv:2402.13255。
王H、王J和阿加皮托L（2023a）Co-SLAM：用于神经实时SLAM的联合坐标与稀疏参数编码技术。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第13293–13302页。
王H、杨M、郑X和华G（2024a）用于通用深度补全的尺度传播网络。《IEEE模式分析与机器智能期刊》。
王P、刘L、刘Y、特奥鲍尔特C、小村T和王W（2021）
Neus：通过体积渲染学习神经隐式表面以实现多视角重建。
用于多视角重建。arXiv预印本arXiv:2106.10689。
王R、徐S、戴C、向J、邓Y、童X和杨J（2024b）Moge：借助最优训练监督，为开放域图像解锁精准的单目几何估计技术。arXiv预印本arXiv:2410.19115。
韦J和勒滕纳格S（2024）GSFusion：将高斯泼溅技术与TSDF融合相结合的在线RGB-D建图技术。《IEEE机器人与自动化快报》。
王Y、韩Q、哈伯曼M、达尼利迪斯K、特奥鲍尔特C和刘L（2023b）Neus2：用于多视角重建的神经隐式表面的快速学习技术。载于：IEEE/CVF国际计算机视觉会议论文集。第3295–3306页。
惠兰T、勒滕纳格S、萨拉斯-莫雷诺RF、格洛克纳B和戴维森AJ（2015）ElasticFusion：无需位姿图的密集SLAM技术。载于：机器人学：科学与系统会议，第11卷。罗马，第3页。
吴C、段Y、张X、盛Y、季J和张Y（2024a）MMGawssian：基于3D高斯的无界场景定位与重建多模态融合技术。载于：2024年IEEE/RSJ智能机器人与系统国际会议（IROS）。IEEE出版社，第12287–12293页。
吴K、张K、张Z、铁M、袁S、赵J、甘Z和丁W（2024b）HGS-Mapping：在城市场景中利用混合高斯表示进行在线密集建图。《IEEE机器人与自动化快报》。
吴W、陈C、杨B、邹X、梁F、徐Y和何X（2025）DALI-SLAM：具备退化感知能力的激光雷达-惯性SLAM技术，采用新型畸变校正与精准多约束位姿图优化方法。《国际摄影测量与遥感学会期刊》第221卷：92–108页。
肖R、刘W、陈Y和胡L（2024）LIV-GS：用于户外环境的激光雷达-视觉集成3D高斯泼溅SLAM技术。《IEEE机器人与自动化快报》。
谢Y、黄Z、吴J和马J（2025）Gs-livm：基于高斯泼溅的实时照片级真实感激光雷达-惯性-视觉建图。载于：IEEE/CVF国际计算机视觉会议论文集。
徐H、张J、蔡J、雷扎托菲吉H、余F、陶D和盖格尔A（2023）统一光流、立体视觉与深度估计。《IEEE模式分析与机器智能汇刊》第45卷第11期：13941–13958页。
徐W、蔡Y、何D、林J和张F（2022）Fast-lio2：快速直接激光雷达-惯性里程计。《IEEE机器人学汇刊》第38卷第4期：2053–2073页。
严C、曲D、徐D、赵B、王Z、王D和李X（2024a）
Gs-slam：基于3D高斯泼溅的密集视觉SLAM。载于：
IEEE/CVF计算机视觉会议论文集
及模式识别会议论文集。第19595–19604页。
严Y、林H、周C、王W、孙H、詹K、郎X、周X和彭S（2024b）Street Gaussians：用高斯泼溅建模动态城市场景。载于：欧洲计算机视觉会议。施普林格出版社，第156–173页。
严Z、Low WF、陈Y和李GH（2024c）用于抗锯齿渲染的多尺度3D高斯泼溅。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第20923–20931页。
杨J、伊万诺维奇B、利塔尼O、翁X、金SW、李B、车T、徐D、菲德勒S、帕沃内M等（2023）Emernerf：通过自监督实现新兴时空场景分解。arXiv预印本arXiv:2311.02077。
杨L、康B、黄Z、赵Z、徐X、冯J和赵H（2024）Depth Anything v2。《神经信息处理系统进展》第37卷：21875–21911页。
杨X、李H、翟H、明Y、刘Y和张G（2022）Voxfusion：基于体素神经隐式表示的密集跟踪与建图。载于：2022年IEEE混合现实与增强现实研讨会（ISMAR）。IEEE出版社，第499–507页。
亚里夫L、顾J、卡斯特恩Y和利普曼Y（2021）神经隐式表面的体积渲染。《神经信息处理系统进展》第34卷：4805–4815页。
尹J、李A、李T、余W和邹D（2021）M2DGR：面向地面机器人的多传感器和多场景SLAM数据集。《IEEE机器人与自动化快报》第7卷第2期：2266–2273页。
余A、叶V、坦西克M和金纳扎瓦A（2021）PixelNeRF：基于一张或几张图像的神经辐射场。载于：IEEE/CVF计算机视觉与模式识别会议论文集。第4578–4587页。
余M、卢T、徐L、蒋L、向立Y和戴B（2024a）GsDF：3DGS与SDF结合以改进渲染与重建。arXiv预印本arXiv:2403.16964。
余X、刘Y、毛S、周S、熊R、廖Y和王Y（2023）NF-Atlas：用于大规模激光雷达建图的多体积神经特征场。《IEEE机器人与自动化快报》第8卷第9期：5870–5877页。
余Z、萨特勒T和盖格尔A（2024b）高斯不透明度场：在无界场景中实现高效自适应表面重建。《ACM图形学汇刊》（TOG）第43卷第6期：1–13页。
袁Z、邓J、明R、郎F和杨X（2024）SR-LIVO：基于扫描重建的激光雷达-惯性-视觉里程计与建图。《IEEE机器人与自动化快报》第9卷第6期：5110–5117页。
尤盖V、李Y、赫弗斯T和奥斯瓦尔德MR（2023）Gaussian-SLAM：基于高斯泼溅的照片级真实感密集SLAM。arXiv预印本arXiv:2312.10070。
张B、方C、Shrestha R、梁Y、龙X和谭P（2024a）Rade-gs：高斯泼溅中的深度栅格化。arXiv预印本arXiv:2406.01467。
张H、邹Y、严Z和程H（2024b）Rapid-mapping：用于实时密集建图的激光雷达-视觉隐式神经表示。IEEE机器人与自动化快报。
---
张J和辛格S（2018）具有高鲁棒性和低漂移的激光雷达-视觉-惯性里程计与建图。野外机器人杂志35(8)：1242–1264。
赵C、孙S、王R、郭Y、万JJ、黄Z、黄X、陈YV和任L（2024）Tclc-gs：用于自动驾驶的紧耦合激光雷达-相机-高斯泼溅技术。arXiv预印本arXiv:2404.02410。
赵H、关W和卢P（2025）Lvi-gs：利用3D高斯泼溅技术的紧耦合激光雷达-视觉-惯性SLAM。IEEE仪器仪表与测量学报。
郑C、徐W、邹Z、华T、袁C、何D、周B、刘Z、林J、朱F等（2024）Fast-livo2：快速、直接的激光雷达-惯性-视觉里程计。IEEE机器人学汇刊。
郑C、朱Q、徐W、刘X、郭Q和张F（2022）Fast-livo：快速且紧耦合的稀疏直接激光雷达-惯性-视觉里程计。收录于：2022年IEEE/RSJ智能机器人与系统国际会议（IROS）。IEEE，第4003–4009页。
钟X、潘Y、贝利J和斯塔奇尼斯C（2023）Shine-mapping：利用稀疏分层隐式神经表示进行大规模3D建图。收录于：2023年IEEE机器人学与自动化国际会议（ICRA）。IEEE，第8371–8377页。
周X、林Z、单X、王Y、孙D和杨MH（2024a）Drivinggaussian：用于周边动态自动驾驶场景的复合高斯泼溅技术。收录于：IEEE/CVF计算机视觉与模式识别会议论文集。第21634–21643页。
周Y、李X、李S、王X、冯S和谭Y（2024b）Dba-fusion：将深度密集视觉束调整与多种传感器紧密集成，以实现大规模定位与建图。IEEE机器人与自动化快报。
朱P、庄Y、陈B、李L、吴C和刘Z（2024a）Mgs-slam：基于深度平滑正则化的单目稀疏跟踪与高斯建图。IEEE机器人与自动化快报。
朱Z、彭S、拉尔森V、崔Z、奥斯瓦尔德MR、盖格尔A和波勒费斯M（2024b）Nicer-slam：用于RGB SLAM的神经隐式场景编码。收录于：2024年3D视觉国际会议（3DV）。IEEE，第42–52页。
朱Z、彭S、拉尔森V、徐W、鲍H、崔Z、奥斯瓦尔德MR和波勒费斯M（2022）Nice-slam：用于SLAM的神经隐式可扩展编码。收录于：IEEE/CVF计算机视觉与模式识别会议论文集。第12786–12796页。
左S、谢Z、郑W、徐S、李F、蒋S、陈L、杨ZX和陆J（2025）Dvgt：驾驶视觉几何变换器。arXiv预印本arXiv:2512.16919。
左X、日内瓦P、李W、刘Y和黄G（2019）Liefusion：激光雷达-惯性-相机里程计。收录于：2019年IEEE/RSJ智能机器人与系统国际会议（IROS）。IEEE，第5848–5854页。
左X、杨Y、日内瓦P、吕J、刘Y、黄G和波勒费斯M（2020）Lic-fusion 2.0：具有滑动窗口平面特征跟踪功能的激光雷达-惯性-相机里程计。收录于：2020年IEEE/RSJ智能机器人与系统国际会议（IROS）。IEEE，第5112–5119页。
Figure 13. SLAM results of Gaussian-LIC2 (c2) in severely degenerated LiDAR scenarios of FAST-LIVO2. The odometry overcomes the degeneration and succeeds in returning to the origin. Note that as our system does not incorporate a detailed point cloud reconstruction module, the colored point cloud map is produced by downsampling and stitching the point clouds, leading to a somewhat coarse visual appearance.
Figure 14. Real-time localization and photo-realistic mapping of Gaussian-LIC2 on the sequence HKisland03 and HKairport03 with a trajectory length of 1.95 km and 2.1 km, respectively.
## 补充材料
### A.1 与其他相关方法的比较
表9和表10也展示了与GS-LIVM Xie等人（2025年）方法的对比结果，这是一种近期发布的基于激光雷达-惯性-相机的三维高斯SLAM方法。
### A.2 运行时的额外结果
表10显示了使用不同类型NVIDIA GPU时的运行时补充结果。需要注意的是，除了瓦片剔除外，其他与CUDA相关的加速策略几乎不会影响建图结果。表11展示了运行时情况。
---
Figure 15. Qualitative rendering results (in-sequence novel view) of Gaussian-LIC2 on the sequence HKisland03 and HKairport03.
Table 9. PSNR results (in-sequence novel view) on our self-collected dataset. All methods use ground-truth poses.
| MM3DGS-SLAM | GS-LIVM | Gaussian-LIC | Gaussian-LIC2 |
| Lecture_Hall | 19.54 | 17.49 | 21.60 | 21.78 |
| Robot_Center | 18.83 | 17.92 | 22.89 | 22.95 |
| Bell_Tower_01 | 18.13 | 21.12 | 25.38 | 25.53 |
| Bell_Tower_02 | 16.49 | 22.44 | 26.42 | 26.85 |
| Bell_Tower_03 | 16.61 | 23.07 | 27.29 | 27.63 |
Table 10. Runtime performance across different methods on the sequence Bell_Tower_01 (span: 150 seconds). All approaches rely on their estimated poses. Here is Gaussian-LIC2 (c1).
| PSNR $\uparrow$ | Depth-L1 (m) $\downarrow$ | Processing Time (s) $\downarrow$ |
| RTX 4090 | RTX 3090 |
| MonoGS | ✗ | ✗ | ✗ | ✗ |
| Co-SLAM | 13.26 | 1.54 | 1030 | 1473 |
| MM3DGS-SLAM | 16.07 | 0.99 | 2460 | 3525 |
| GS-LIVM | 21.05 | 1.19 | 103 | 147 |
| Gaussian-LIC | 25.36 | 0.93 | 102 | 145 |
| Gaussian-LIC2 | 25.51 | 0.27 | 90 | 128 |
| Gaussian-LIC2 w/o Tile Culling | 25.48 | 0.28 | 109 | 156 |
| Gaussian-LIC2 w/o Per-Gaussian | 25.51 | 0.27 | 145 | 207 |
| Gaussian-LIC2 w/o Sparse Adam | 25.51 | 0.27 | 126 | 180 |
| Gaussian-LIC2 w/o Separated SH | 25.51 | 0.27 | 98 | 139 |
| Gaussian-LIC2 w/o Efficient SSIM | 25.51 | 0.27 | 102 | 146 |
| Gaussian-LIC2 w/o WLPM | 25.51 | 0.27 | 105 | 152 |
| Gaussian-LIC2 w/o CPU to GPU | 25.51 | 0.27 | 100 | 144 |
| Gaussian-LIC2 w/o full | 25.48 | 0.28 | 234 | 335 |
该数据排除了建图环节。对于每段时长为0.1秒的LIC数据，跟踪前端始终能在0.1秒内完成位姿估计，从而实现实时性能。
### A.3 来自FAST-LIVO2的严重退化序列中的更多定位结果
表12和图13展示了Gaussian-LIC2在来自FAST-LIVO2 Zheng等人（2024年）的HIT_Graffiti_Wall、Bright_Screen_Wall和CBD_Building序列中遭遇严重激光雷达退化时的补充结果。与正文所述类似，在包含无纹理墙面的CBD_Building_02和Bright_Screen_Wall序列中，Gaussian-LIC2 (c2)的表现略优于Gaussian-LIC2 (c1)。
Table 11. Runtime breakdown excluding mapping on the sequence Bell_Tower_01 (span: 150 seconds). Here is Gaussian-LIC2 (c1). Values outside/inside the parentheses correspond to RTX 3090/RTX 4090, respectively. A scan contains LIC (LiDAR-Inertial-Camera) data spanning a duration of 0.1 s.
| Component | Time per Scan (ms) |
| LIC Data Preprocessing | 0.30 |
| Trajectory Extension | 0.01 |
| Trajectory Optimization | 15.95 |
| Visual Local Map Update | 2.07 |
| Optical Flow Tracking | 2.46 |
| LiDAR Local Map Update | 1.66 |
| kNN Search | 5.27 |
| Marginalization | 2.96 |
| Render LiDAR Depth | 1.29 |
| Depth Completion | 10.00 (23.06) |
| Total | 41.97 (55.03) |
Table 12. The start-to-end drift error (translation | rotation) in severely degenerated LiDAR scenarios of FAST-LIVO2.
| CBD_Building_02 | HIT_Graffiti_Wall_01 | Bright_Screen_Wall |
| Gaussian-LIC2-LIO | 35.17m | 1.30 $^{\circ}$ | 8.81m | 2.55 $^{\circ}$ | 3.72m | 1.18 $^{\circ}$ |
| FAST-LIVO2 | 0.01m | 0.77 $^{\circ}$ | 0.03m | 3.92 $^{\circ}$ | 0.02m | 2.71 $^{\circ}$ |
| Gaussian-LIC2 (c1) | 0.03m | 0.88 $^{\circ}$ | 0.03m | 4.26 $^{\circ}$ | 0.04m | 2.82 $^{\circ}$ |
| Gaussian-LIC2 (c2) | 0.01m | 0.75 $^{\circ}$ | 0.03m | 4.01 $^{\circ}$ | 0.02m | 2.54 $^{\circ}$ |
在正文中，Gaussian-LIC2（c2）在包含无纹理墙面的CBD_Building_02和Bright_Screen_Wall序列中的表现略优于Gaussian-LIC2（c1）。
### A.4 来自MARS-LVIG数据集的大规模无人机序列中的更多建图结果
我们还在公开的MARS-LVIG Li等人（2024年）数据集上开展了实验，该数据集包含了利用无人机在大规模自然环境中采集的数据。图14展示了Gaussian-LIC2执行过程中的可视化快照，其中“rendered_image”和“rendered_depth”分别表示当前帧的三维高斯渲染结果。
---
Figure 16. Qualitative rendering results of Gaussian-LIC2 with 0-order SH and 3rd-order SH. Regions with significant differences are highlighted by yellow boxes and red arrows.
“rendered_depth”表示当前帧的三维高斯渲染结果。图15展示了在HKisland03和HKairport03序列上的序列内新视角合成结果。
Table 13. Ablation study on Adaptive Density Control (ADC).
| Sequence | Gaussian-LIC2 | Gaussian-LIC2 w/ ADC |
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| Retail_Street | 24.37 | 0.775 | 0.121 | 22.59 | 0.754 | 0.132 |
| CBD_Building_01 | 25.20 | 0.851 | 0.103 | 23.19 | 0.830 | 0.116 |
Figure 17. Adaptive density control (ADC) struggles in incremental SLAM systems, often introducing floaters.
### A.5 关于球谐函数的消融研究
如图16所示，采用三阶球谐函数的Gaussian-LIC2相比使用零阶球谐函数的系统能实现更好的视觉质量，尤其是在非朗伯表面上表现更为明显。
### A.6 关于自适应密度控制的消融研究
在SLAM这类增量系统中，高斯点是以批次形式逐步添加的，这导致不同批次添加的高斯点成熟度存在差异。ADC倾向于对收敛性较差的新增高斯点进行分裂和克隆，进而产生大量漂浮物并降低视觉质量，表13和图17便反映了这一现象。