# Gaussian-LIC：基于高斯泼溅与激光雷达-惯性-相机融合的实时照片级真实感SLAM Lang Xiaolei $^{1,\dagger}$，Li Laijian $^{1,\dagger}$，Wu Chenming $^{2}$，Zhao Chen $^{2}$，Liu Lina $^{1}$，Liu Yong $^{1}$，Lv Jiajun $^{1,*}$，Zuo Xingxing $^{3,*}$ 摘要—在本文中，我们提出了一种将高斯泼溅技术与激光雷达-惯性-相机SLAM相结合的实时照片级真实感SLAM方法。现有的大多数基于辐射场技术的SLAM系统主要面向配备RGB-D或RGB传感器的受限室内环境。然而，当这些系统扩展到无限制场景或遇到剧烈运动、光照变化等恶劣条件时，性能往往会显著下降。相比之下，针对通用场景，我们的方法额外紧密融合了激光雷达、惯性测量单元和摄像头数据，以实现鲁棒的位姿估计和照片级真实的在线建图。为了弥补激光雷达未观测到的区域，我们提出将图像中的三角化视觉点与激光雷达点结合，用于初始化3D高斯模型。此外，我们还实现了天空建模以及相机曝光变化的处理，从而获得高质量的渲染效果。值得注意的是，我们的系统完全采用C++和CUDA实现，并精心设计了多项策略来加速基于高斯的场景表示的在线优化过程。大量实验表明，我们的方法在保持实时性的同时，性能优于同类方法。令人印象深刻的是，在照片级真实感建图方面，即使使用我们估计的位姿，其效果也超过了所有采用先验真实位姿进行建图的对比方法。我们的代码将在项目页面上发布。 ## I. 引言 同时定位与建图（SLAM）是混合现实和机器人领域的关键技术。近年来，神经辐射场（NeRF）[^1]和3D高斯泼溅（3DGS）[^2]等新兴辐射场技术为SLAM开辟了新的方向，即基于辐射场的SLAM [^3]，其目标是实现精准定位并构建照片级真实的3D地图。这对于提升机器人实时建模、理解和与自然环境交互的能力具有重要意义 [^4] [^5] [^6] [^7]。 与涉及基于光线追踪的密集型体积渲染的NeRF相比，3DGS具有更快的渲染速度和更优的视觉质量，在实时SLAM应用中展现出更大的潜力。不过，基于3DGS的SLAM仍存在若干难题。首先，与现有的基于NeRF的SLAM [8–16]类似，大多数基于3DGS的SLAM [17–29]主要面向使用RGB-D或RGB传感器的室内场景。一旦涉及无限制的室外场景或剧烈自身运动、光照变化、视觉纹理缺失等挑战性条件，现有基于3DGS的SLAM性能可能会大幅下降。其次，在室外场景中，天空建模和相机曝光变化的处理至关重要；忽略这些因素会在无限制场景中给3DGS带来明显的伪影。第三，实时性能仍是一个瓶颈。限制3D高斯表示的属性数量或维度 [^18] [^22] 在室内环境中或许有效，但在无限制的室外场景中可能会导致性能恶化。 为了解决上述问题，我们提出了Gaussian-LIC——一种照片级真实的SLAM系统。该系统能够实时将激光雷达、惯性传感器和摄像头数据紧密融合，从而实现鲁棒的位姿跟踪，并利用3D高斯图表示法进行照片级真实感重建。3D高斯可以通过激光雷达点以及视觉SFM（运动恢复结构）点（通过在线三角测量获得）来初始化。为了获得更高质量的重建效果，我们的系统还考虑了天空和相机曝光变化的影响。尤为重要的是，我们针对CUDA实现中的高斯优化过程精心设计了加速策略。总而言之，我们的主要贡献如下： • 我们首次实现了在无边界户外场景中基于高斯泼溅技术和激光雷达-惯性-摄像头融合的实时照片级真实SLAM系统。该SLAM框架能够在提供鲁棒位姿估计的同时，逐步构建高保真度的高斯图，且无需在接收传感数据后进行大量后期处理。 - 为了实现广阔3D空间内的高质量渲染，我们无缝整合了激光雷达点和通过三角测量获得的3D视觉地标，用于3D高斯的初始化。此外，我们还对天空和变化的相机曝光进行建模，以便更好地应对复杂的户外无边界场景。 - 我们的系统完全采用C++和CUDA实现，并精心设计了一系列与CUDA相关的加速策略来提升高斯训练效率。相关代码将会开源，以供业界使用。 - 我们在各类真实室内外数据集上开展了全面实验，使用了多种类型的激光雷达设备。实验结果表明，即使在恶劣条件下，我们的方法也能在实时照片级真实映射方面取得最先进的性能。值得注意的是，利用我们所估计的位姿，该方法的表现甚至优于所有依赖先验真实位姿来进行映射的对比方法。 --- 所有依赖先验真实位姿来进行映射的对比方法。 ### 二、相关工作 ### A. 照片级真实的RGB-D或RGB SLAM 给定连续的RGB-D或RGB输入，大量研究在室内环境中取得了出色的定位与照片级真实感建图成果。iMAP [^8]是首个采用隐式神经表示来实现无缝隙在线重建的基于NeRF的SLAM算法，它开创了SLAM领域的新纪元。作为其后续成果，NICE-SLAM [^9]将多层感知机与分层特征网格相结合，显著提升了场景表示的质量，在较大的室内空间中展现出卓越的性能。此外，Vox-Fusion [^10]利用八叉树来动态扩展体积神经隐式地图，从而无需预先分配网格。Co-SLAM [^11]、ESLAM [^12]和Point-SLAM [^13]分别采用哈希网格、三平面和神经点云作为隐式神经表示，从而在定位和重建方面均得到优化。与此同时，HERO-SLAM [^14]提升了神经地图优化的鲁棒性。NeRF采用耗时的基于射线的体积渲染技术，而3DGS则利用快速的点基光栅化技术，既加速了图像视图合成，又产生了优异的渲染质量。值得注意的是，GS-SLAM [^17]、SplaTAM [^18]和Gaussian-SLAM [^19]详细阐述了3DGS相较于现有地图表示在在线照片级真实感建图的SLAM任务中的显著优势。SGS-SLAM [^27]、SemGauss-SLAM [^28]和NEDS-SLAM [^29]将语义特征嵌入到高斯模型中，在在线密集语义建图方面展现出出色的能力。GS-ICP-SLAM [^20]融合了广义迭代最近点算法与3DGS，在跟踪和建图过程中共享高斯模型的协方差信息，以减少冗余计算。CG-SLAM [^21]还引入了深度不确定性模型来筛选有价值的高斯模型，进而提升跟踪性能。RTG-SLAM [^22]通过强制每个高斯模型要么不透明、要么近乎透明，实现了室内环境下的实时性能，同时具备紧凑的场景表示能力。 有若干研究尝试仅利用单目图像进行运算。其中，NeRF-SLAM [^15]和IG-SLAM [^23]利用从跟踪前端DROID-SLAM [^30]估计出的稠密深度图作为额外信息，以指导Instant-NGP [^31]和3DGS的训练。相应地，NeRF-VO [^16]和MGS-SLAM [^24]则采用稀疏视觉里程计DPVO [^32]作为更快的前端网络，预测稠密深度以用于监督。同时，Photo-SLAM [^25]利用经典的视觉里程计ORB-SLAM3 [^33]来进行精确的位姿估计，并构建包含ORB特征的混合高斯地图。MonoGS [^26]引入几何正则化机制，以解决增量重建中的歧义问题。 ### B. 照片级真实感多模态SLAM RGB-D和RGB方法在光线充足的室内场景中能够取得出色的效果，但很难扩展到复杂的无边界室外环境，也难以应对剧烈运动、光照变化和纹理缺失等问题。此外，室外环境中通常无法使用RGB-D传感器。因此，融合激光雷达和惯性测量单元等多模态传感器将是必要且有效的手段，这一点在经典SLAM方法中已得到广泛验证[34–40]，这些方法具有鲁棒性和精确性强的特点。不过，它们主要侧重于几何映射，因此生成的场景表示虽然几何上精确，但视觉上较为简单。URF [^41]、DrivingGaussian [^42]、StreetGaussians [^43]、PVG [^44]、LIVGaussMap [^45]以及LetsGo [^46]基于激光雷达与摄像头的融合技术实现了更逼真的重建效果，但它们都是需要批量输入数据的离线方法。 针对SLAM任务，MM-Gaussian [^47]利用固态激光雷达提供的精确几何结构信息来替代RGB-D的深度数据，从而能够应用于室外场景。具体而言，它首先通过纯激光雷达里程计 [^48] 进行位姿估计，再通过颜色和深度渲染损失进一步优化位姿。与SplaTAM [^18]类似，它从激光雷达点云初始化各向同性高斯模型，并对其进行优化，且不考虑视点相关效应。MM3DGS-SLAM [^49]则以松耦合方式融合RGB-D摄像头和惯性测量单元的数据，从而实现更精确且具备尺度感知能力的位姿估计。上述两种多模态SLAM方法均能在室外环境中运行，但由于缺乏天空建模机制以及室外环境中相机曝光变化带来的挑战，它们的映射性能并不理想。此外，它们也并未针对实时应用进行专门优化。 ### 三、方法论 我们提出的Gaussian-LIC包含两个主要模块：用于地图数据准备的激光雷达-惯性测量单元-摄像头里程计（见第三节B部分），以及基于3DGS的实时逼真绘图功能（见第三节C部分），后者通过精心设计的加速策略（见第三节D部分）来确保实时性能。图1展示了我们系统的整体架构。 ### A. preliminaries：3D高斯泼溅技术 为了重建细节丰富且密度高的地图以实现快速、高质量的渲染，我们将场景表示为一系列各向异性的3D高斯体 [^2]，每个高斯体包含在世界坐标系中的位置 $\boldsymbol{\mu} \in \mathbb{R}^3$、缩放参数 $\mathbf{S} \in \mathbb{R}^3$、旋转角度 $\mathbf{R} \in \mathbb{R}^{3 \times 3}$、不透明度 $o \in \mathbb{R}$，以及用于描述场景视点相关外观的三阶球面谐波 $\mathbf{SH} \in \mathbb{R}^{48}$。每个高斯体的椭球形状由其协方差矩阵参数化，具体形式如下： $$ \mathbf{\Sigma}=\mathbf{R}\mathbf{S}\mathbf{S}^{T}\mathbf{R}^{T}. $$ 给定相机位姿 $\mathbf{C}_W^T = \left\{ \mathbf{C}_W^R, \mathbf{C}_W^p \right\}$，它可将世界坐标系中的点 $\mathbf{C}_W^W \mathbf{p}$ $\{W\}$ 转换到相机坐标系 $\{C\}$ 中，据此我们可以将一个3D高斯体 $\mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ 投影到图像屏幕上，从而得到对应的2D高斯体 $\mathcal{N}(\boldsymbol{\mu}^*, \boldsymbol{\Sigma}')$： $$ \boldsymbol{\mu}^{\prime}=\pi_{c}\left(\frac{\hat{\boldsymbol{\mu}}}{\mathbf{e}_{3}^{\top}\hat{\boldsymbol{\mu}}}\right),\hat{\boldsymbol{\mu}}=\mathbf{\Pi}_{W}^{C}\mathbf{R}\boldsymbol{\mu}+^{C}\mathbf{p}_{W}, $$ $$ \mathbf{\Sigma}^{\prime}=[\mathbf{J}_{{~W}}^{~C}\mathbf{R}\mathbf{\Sigma}_{{~W}}^{~C}\mathbf{R}^{T}\mathbf{J}^{T}]_{2\times2}, $$ --- ![Image](images/f94f374b55eba6ade2ed2205efdfbd4b53a7698c2c0e66524f8c8051244f4fb9.jpg)
Fig. 1: The pipeline of our novel photo-realistic LiDAR-Inertial-Camera SLAM using 3D Gaussian Splatting.
其中 $\mathbf{e}_i$ 是一个 $3 \times 1$ 向量，其第 i 个元素为 1，其余元素为 0。此时 $\mathbf{e}_3^\top \hat{\boldsymbol{\mu}}$ 表示相机坐标系中高斯的深度 d。$\pi_c(\cdot)$ 代表投影操作，可将归一化图像平面上的点转换为像素坐标。$\mathbf{J}$ 是投影变换的仿射近似的雅可比矩阵，而 $[\cdot]_{2 \times 2}$ 会跳过第三行和第三列以得到一个 $2 \times 2$ 矩阵。投影后的二维高斯会通过权重影响像素 $\boldsymbol{\rho} = \begin{bmatrix} u & v \end{bmatrix}^\top$： $$ \alpha=o\exp\left(-\frac{1}{2}(\boldsymbol{\mu}^{\prime}-\boldsymbol{\rho})^{T}(\boldsymbol{\Sigma}^{\prime})^{-1}(\boldsymbol{\mu}^{\prime}-\boldsymbol{\rho})\right). $$ 按照深度顺序对高斯进行排序后，像素 $\rho$ 的颜色便可通过从前到后的 $\alpha$ 混合技术高效渲染出来： $$ \mathbf{C}(\boldsymbol{\rho})=\sum_{i=1}^{n}\mathbf{c}_{i}\alpha_{i}\prod_{j=1}^{i-1}(1-\alpha_{j}), $$ 其中 c 表示由 SH 计算得出的高斯的 RGB 颜色。类似地，我们通过以下方式渲染深度图和透明度图： $$ \mathbf{D}(\boldsymbol{\rho})=\sum_{i=1}^{n}d_{i}\alpha_{i}\prod_{j=1}^{i-1}(1-\alpha_{j}), $$ $$ \mathbf{O}(\rho)=\sum_{i=1}^{n}\alpha_{i}\prod_{j=1}^{i-1}(1-\alpha_{j}). $$ ### B. 多模态里程计与建图数据准备 利用来自 RGB 相机、3D 激光雷达和惯性测量单元的多模态传感器数据，我们采用了先前的研究成果 Coco-LIC [^40]——这是一种连续时间里程计，能够紧密融合各类传感器数据，即便在复杂场景下也能提供鲁棒、实时且精确的位姿估计。该系统通过因子图优化每 0.1 秒的轨迹，整合点云到地图的激光雷达因子、帧到地图的视觉因子以及惯性因子。 为了实现照片级真实感重建，地图中的 3D 高斯需要由一组 3D 点来初始化。初始化的质量越好，收敛速度越快，渲染效果也越佳。具体而言，激光雷达点能为高斯初始化提供便捷且更精确的几何先验 [^42]。我们的系统同时支持固态激光雷达和机械旋转式激光雷达。具体来说，在完成最近 0.1 秒内轨迹段的滑窗优化后，我们首先对该时间段内的激光雷达点进行下采样，即随机保留每 $N_l$ 个点中的一个。接着，通过将剩余激光雷达点投影到最新图像上来为其着色，并剔除那些超出对应相机视场范围的点。随后，这些在世界坐标系下着色后的激光雷达点会与已确定位姿的最新图像一同被送入建图线程，作为一帧数据。 尽管激光雷达能提供精确的几何先验，但其扫描范围相比相机而言较为有限，尤其是机械旋转式激光雷达。因此，我们借鉴 VINS-Mono [^50] 的思路，维护一个视觉滑窗来计算用于补偿的三角测量 SFM 点。该滑窗由从最新图像中根据共视性精心挑选出的 $N_{k}$ 个关键帧组成，每个关键帧都包含由 KLT 稀疏光流 [^51] 追踪到的 Shi-Tomasi 角点 [^52]。一旦某个角点能在连续 $N_{t}$ 个关键帧中被追踪到，便会利用估计的关键帧位姿和相机内参对其进行三角测量。新生成的 SFM 点会与激光雷达点结合，以补充数据。 ### C. 基于高斯泼溅的照片级真实感建图 建图模块接收来自跟踪模块的连续帧以执行重建工作。每一帧包含估计的相机位姿、畸变校正后的图像，以及带有视觉 SFM 点的着色激光雷达点。 1) 3D高斯初始化：照片级真实感的高斯图是以首个接收帧中的所有3D点为基础进行初始化的。具体而言，对于每个点，我们会在其位置处初始化一个新的高斯，该高斯的球谐函数阶数为零，其值填充为该点的RGB颜色，不透明度被设置为$o_a$，旋转矩阵则设为单位矩阵。为了减轻混叠伪影[^53]，我们对距离较近的高斯赋予较小的尺度，而对远离图像平面的高斯赋予较大的尺度，即$\frac{d}{f}e$，其中e是一个所有元素均为1的$3\times1$向量，d和f分别表示该点在当前相机帧中的深度以及相机焦距。 在无边界的户外场景中，若对天空的建模不当，会导致物体表面的高斯错误地拟合天空的外观，从而破坏 --- 渲染质量。因此，我们在以世界坐标系为中心、半径为R的上半球内随机选取$N_{s}$个位置来初始化一批天空高斯。每个天空高斯的球谐函数零阶项被填充为白色，不透明度被设置为$o_{b}$。此外，天空高斯的初始尺度由它们之间的距离决定。最终，这些背景天空高斯会位于前景高斯之后。 2) 高斯图扩展：第一个帧之后的每个帧通常都会捕捉到新观测区域的几何形状和外观信息。不过，不同帧中的激光雷达点可能包含重复信息。我们每隔五帧选取一个关键帧。当接收到关键帧时，我们首先将这五帧中接收到的所有点合并成一个点云。为避免冗余，我们再根据公式(7)从当前关键帧的图像视图中渲染出O，并生成掩码M，用于筛选出当前高斯图中不可靠且倾向于对应新区域的像素： $$ \mathbf{M}=\mathbf{O}<\tau. $$ 只有那些能够投影到所选像素上的合并点云中的点，才会被用来初始化新的高斯，扩展高斯图，这一过程与第III-C.1节所述一致。 3) 优化：一旦当前接收的帧是关键帧，我们就从所有关键帧中随机选取K个关键帧来优化高斯图，从而避免灾难性遗忘问题，并保持全局地图的几何一致性。我们随机打乱选出的K个关键帧，逐个迭代优化地图，目标是最小化重渲染损失： $$ \mathcal{L}=\left(1-\lambda\right)\left\|\mathbf{E}[\mathbf{C}]-\mathbf{\bar{C}}\right\|_{1}+\lambda\mathcal{L}_{\mathrm{D-S S I M}}, $$ 其中$\bar{C}$和C分别为真实图像以及通过公式(5)渲染出的图像。$\mathcal{L}_{D-SSIM}$是一个D-SSIM项[^2]。为了应对不同的相机曝光情况，我们还会额外优化一个$3 \times 4$仿射矩阵E，该矩阵会应用于渲染后的颜色上[^54]。E的前三列用于缩放，最后一列用于偏移。 ### D. 旨在加速的精细CUDA相关设计 我们的SLAM系统完全采用C++和CUDA实现，由跟踪模块和映射模块组成，两者并行运行并通过ROS交换数据。映射模块基于LibTorch框架。受[^55]和[^56]的启发，我们精心整合并设计了一系列与CUDA相关的策略，以提升高斯的训练效率，这也是以往研究中被忽视的重要方面。 1) 逐高斯反向传播：在 Gaussian Splatting [^2] 的反向传播过程中，梯度从像素传播到高斯，这构成了训练中计算成本最高的部分。具体而言，每个像素对应不同数量的高斯，整体时间成本由具有最多高斯的像素决定。因此，所有其他 CUDA 线程都处于空闲状态，等待这个瓶颈像素完成其反向传播。此外，当多个像素反向传播到同一高斯时，会产生原子梯度加法冲突。为了缓解这一问题，我们采用逐高斯反向传播策略 [^55]，将 CUDA 线程分配给一个图块内的所有高斯。这有助于增强并行性，同时减少冲突。 2) 图块剔除与其他优化技巧：传统的3DGS算法[^2]会将投影后的2D泼溅高斯体近似为圆形，以此确定相关的图块。但对于SLAM等增量建图系统中常见的细长型2D高斯体而言，这种方法的效率较低——因为这类高斯体对圆形近似所选中的大多数图块贡献极小。在我们的实现中，通过负载均衡机制[^56]高效剔除了这些影响微弱的图块，从而提升了计算效率。为了加快高斯图表示的训练速度，我们进一步利用稀疏Adam算法[^55]，仅更新当前相机视锥内的高斯体，而非对所有高斯体进行优化。 ### IV. 实验 ### A. 实验设置 1) 实现细节：我们的实验在一台台式机上开展，该设备配备NVIDIA RTX 3090 GPU（24 GB显存）、3.2GHz英特尔酷睿i7-8700 CPU以及32 GB内存。在地图数据准备阶段，我们将$N_l$设为10，$N_k$设为11，$N_t$设为9；地图初始化阶段，将$o_a$设为0.1，$o_b$设为0.7，$N_s$设为1e5，R设为1e4；地图扩展阶段，将$\tau$设为0.99。在地图优化环节，损失权重$\lambda$设为0.2，选定的关键帧数量K设为100。所有高斯属性的学习率与传统3DGS算法[^2]保持一致，且不使用调度器进行衰减；仿射矩阵的学习率也与[^54]的取值相同。为确保评估的公平性与全面性，所有测试场景均采用相同的超参数。 2) 数据集：我们在三个公开的激光雷达-惯性-摄像头数据集上开展了大量实验，包括采用固态激光雷达的FAST-LIVO数据集[^38]和R3LIVE数据集[^37]，以及采用机械旋转式激光雷达的MCD数据集[^57]。我们测试了这三个数据集中的共9个序列，分别是：FAST-LIVO数据集中的hku2 (f0)、LiDAR_Degenerate (f1)和Visual_Challenge (f2)；R3LIVE数据集中的hku_campus_seq_00 (r0)、degenerate_seq_00 (r1)和degenerate_seq_01 (r2)；大规模MCD数据集中的tuhh_day_02 (m0)、tuhh_day_03 (m1)和tuhh_day_04 (m2)片段[^57]。需注意，对于所有测试数据集，若提供立体图像，我们仅采用左视图。FAST-LIVO数据集和R3LIVE数据集分别包含$640 \times 512$张图像，MCD数据集则包含$640 \times 480$张图像。 3) 基准测试：需要注意的是，在无边界的户外环境中，传感范围有限的RGB-D相机所获取的深度数据往往不可靠。因此，我们首先将我们的方法与最先进的仅RGB系统进行比较，包括基于NeRF的NeRF-SLAM [^15]以及基于3DGS的MonoGS [^26]。此外，由于目前尚无开源的基于辐射场的激光雷达-相机SLAM系统，我们便对最先进的RGB-D方法SplaTAM [^18]进行适配，使其能利用激光雷达和单目图像进行对比实验。具体而言，我们先将 ---
TABLE I: Quantitative rendering performance on public multimodal datasets. The best results are highlighted in bold. All the compared methods except ours utilize either the ground-truth poses or our estimated poses.
MethodMetricf0f1f2r0r1r2m0m1m2Avg.
Train View
NeRF-SLAM [^15]PSNR $\uparrow$25.5625.4717.0119.5321.2015.0218.7018.9315.4019.65
SSIM $\uparrow$0.6290.7020.5130.6450.5340.7110.6320.6350.4280.603
LPIPS $\downarrow$0.2810.2720.5120.4550.3640.3280.4490.4470.5350.405
MonoGS [^26]PSNR $\uparrow$23.5823.4517.0416.1915.0315.0916.4113.6914.9117.27
SSIM $\uparrow$0.6090.7620.6710.5430.4900.5120.4570.5020.3840.548
LPIPS $\downarrow$0.6430.7570.6430.7140.6700.7100.7550.7670.7340.710
SplaTAM [^18]PSNR $\uparrow$25.5127.4017.8417.1019.2418.3013.6813.1710.0118.03
SSIM $\uparrow$0.7090.7980.6520.5260.6660.5970.4880.5650.3270.592
LPIPS $\downarrow$0.2140.2350.3460.4480.2950.3590.4560.3800.5170.361
Gaussian-LICPSNR $\uparrow$29.8931.2823.9025.2722.4723.4921.0622.8720.7324.55
SSIM $\uparrow$0.8200.8400.8300.8050.7940.8110.6930.7400.5950.770
LPIPS $\downarrow$0.1550.1780.1730.2120.1920.1870.3300.2660.3830.231
Novel View
Gaussian-LICPSNR $\uparrow$29.2830.9123.2824.5222.0322.5920.1922.1219.5723.83
SSIM $\uparrow$0.7990.8300.8110.7850.7760.7770.6390.6930.5310.738
LPIPS $\downarrow$0.1600.1800.1790.2150.1960.1950.3360.2720.3910.236
多组激光雷达扫描得到的点云合并，再通过投影生成密集深度图，从而创建出可作为SplaTAM输入的伪RGB-D图像。为了公平比较，我们调整其不透明度阈值 $\tau$ 以匹配我们的设置，这样就能在无边界场景中容纳更多高斯点，事实证明这一做法十分有效。为了评估实时性能，所有对比方法均关闭了后处理功能。 ### B. 建图效果评估 1) 跟踪性能：基于单模态传感器输入或用于跟踪的简单渲染损失函数，所有对比方法在所有测试序列中均出现明显的位姿漂移，甚至无法完成位姿估计。相反，我们的系统通过在连续时间因子图中紧密融合激光雷达、惯性传感器和相机数据 [^39]，始终展现出更优的跟踪鲁棒性和准确性。 2) 渲染效果：我们通过检查RGB渲染结果的质量来分析照片级真实感建图的性能。分析中采用了峰值信噪比（PSNR）、结构相似性（SSIM）以及学习感知图像块相似度（LPIPS）等指标 [^2]。需要注意的是，所有对比方法在复杂场景中都难以准确估计位姿。因此，我们采用真实位姿来运行这些算法，以便纯粹评估其建图性能。在缺乏真实位姿的FAST-LIVO和R3LIVE数据集上，我们则使用我们方法得出的更精确的估计位姿来运行对比算法。表I展示了训练视图和新视图上的渲染结果评估结果，图2也展示了定性结果。由于缺乏精确的高斯初始化先验，MonoGS在户外环境中的表现较差。借助从DroidSLAM [^30] 估算出的额外深度监督信息，NeRF-SLAM的结果虽略有改善，但渲染时间却显著增加。为了提高运行速度，SplaTAM用各向同性高斯点来表示场景，未考虑视点相关效应，这牺牲了视觉质量，且在复杂的无边界场景中容易退化。凭借激光雷达点和视觉SFM点结合所提供的优质几何先验，再加上
TABLE II: Runtime (seconds) of different methods on the sequence f0 (duration: 105 seconds) with their estimated poses.
Tracking $\downarrow$Mapping $\downarrow$Total $\downarrow$PSNR $\uparrow$
NeRF-SLAM [^15]10528828825.23
MonoGS [^26]18138738721.42
SplaTAM [^18]9541620257417.37
COLMAP [^58] + 3DGS [^2]--676432.56
Gaussian-LIC10510510529.89
Gaussian-LIC w/o acc10519819829.89
对天空和相机曝光的恰当建模，我们的系统在训练视图上的所有序列中始终能实现最佳的渲染质量。更令人欣喜的是，即使在其他方法自身的训练视图上，我们生成的新视图渲染质量也超过了它们。 3) 运行时间：我们评估了所有对比方法的实时性能，所谓实时是指在传感器数据采集期间完成数据处理，无需大量后期处理。所有方法均依赖其估计的位姿，而非精确的地面真实位姿。对于顺序系统SplaTAM而言，总运行时间是跟踪模块与建图模块耗时之和；而对于并行系统（NeRF-SLAM、MonoGS、Gaussian-LIC），运行时间则由耗时较长的模块决定。表二展示了在序列$f_0$（持续时间为105秒）上的测试结果。得益于实时LIC里程计以及精心设计的加速高斯地图优化策略，我们的方法不仅是唯一能实现实时的方案，还达到了最高的精度。它在接收完所有传感数据后便能立即完成跟踪与建图任务。我们在表二中通过“Gaussian-LIC w/o acc”这一项突出了所引入的加速策略的重要性（详见第III-D节）。此外，我们还展示了由COLMAP初始化得到的普通3DGS [^2] [^58] 的结果，其总运行时间包含了离线SFM和高斯训练阶段。尽管这种基于批处理的离线方法具有全局一致的位姿和更充分的优化，性能优于在线增量式方法，但它并不适用于实时机器人应用。 ---
Fig. 2: Qualitative rendering performance on the sequences f2, r0, m0 and m2.
![Image](images/8a6f7038e95ae3710b9da47b1c6c42ee6b491b8b3248c1b6e0fbab9dcdd94212.jpg)
TABLE III: Ablation study on the sequence f0.
w/o expo.w/o skyw/o SFMfull
PSNR $\uparrow$29.7729.7629.7029.89
### C. 消融实验 表三展示了针对我们所提出方法的消融实验结果。移除任何一个组成部分——比如相机曝光建模、天空建模或视觉SFM点的引入——都会导致渲染质量下降。如图3所示，引入天空高斯点可防止表面高斯点错误地模拟天空，从而提升渲染保真度。此外，整合视觉SFM点有助于在激光雷达数据无法覆盖的区域初始化3D高斯点。 ### V. 结论 在这项研究中，我们提出了一种集成了激光雷达-惯性-相机里程计与高斯泼溅技术的实时、照片级逼真的SLAM系统。与以往基于辐射场的SLAM系统不同，后者主要针对配备RGB-D或RGB传感器的室内场景设计，在不受限制的室外场景或快速运动、光照变化等复杂条件下表现不佳；而我们的方法正是为克服这些室外挑战而开发的。它通过融合激光雷达与IMU数据，提升了位姿估计与建图质量。我们的SLAM系统既支持固态激光雷达，也支持机械旋转式激光雷达。 ![Image](images/f2897d129c203150a1f4f485676a303cd8c06db915b74e964b6254be79faa44a.jpg) ![Image](images/542ad9908b6f795f524f4e552cd4973825c8f8175e5e90205d0535cebe0514a1.jpg)
(a) w/o sky modeling (b) w/ sky modeling
![Image](images/47454279a8ee4e276f4c7f55963a8a2991d2b04d8928dece0781c380ea6d6257.jpg)
(c) SFM points
Fig. 3: The significance of sky modeling and incorporating SFM points. (a) and (b) are rendered images on the sequence $\tau$0. Without handling the sky, blurring occurs around the buildings (top left) because the surface Gaussians are trying to incorrectly fit the sky. (c) LiDAR points (colored red) cannot cover the entire scene in the camera FoV. We alleviate this problem by additionally incorporating visual SFM points (colored green) obtained by online triangulation.
激光雷达利用视觉SFM点来初始化激光雷达未覆盖区域的高斯点。我们还加入了天空建模与相机曝光建模以提升渲染效果。我们的系统还得益于用于快速高斯地图优化的优化策略。实验表明其性能卓越。未来，我们将尝试通过重建的高斯图来提升里程计的精度，并改善几何重建质量。 ### VI. 致谢 本研究得到了中国浙江省“领雁”重点研发计划（2025C01069）的支持。 --- ## 参考文献 [^1]: B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis". In: Communications of the ACM 65.1 (2021), pp. 99–106. [^2]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis. "3D Gaussian Splatting for Real-Time Radiance Field Rendering". In: ACM Transactions on Graphics 42.4 (2023). [^3]: F. Tosi, Y. Zhang, Z. Gong, E. Sandström, S. Mattoccia, M. R. Oswald, and M. Poggi. "How NeRFs and 3D Gaussian Splatting are Reshaping SLAM: a Survey". In: arXiv preprint arXiv:2402.13255 (2024). [^4]: Y. Zheng, X. Chen, Y. Zheng, S. Gu, R. Yang, B. Jin, P. Li, C. Zhong, Z. Wang, L. Liu, et al. "GaussianGrasper: 3D Language Gaussian Splatting for Open-vocabulary Robotic Grasping". In: arXiv preprint arXiv:2403.09637 (2024). [^5]: R. Jin, Y. Gao, H. Lu, and F. Gao. "GS-Planner: A Gaussian-Splatting-based Planning Framework for Active High-Fidelity Reconstruction". In: arXiv preprint arXiv:2405.10142 (2024). [^6]: T. Chen, O. Shorinwa, W. Zeng, J. Bruno, P. Dames, and M. Schwager. "Splat-Nav: Safe Real-Time Robot Navigation in Gaussian Splatting Maps". In: arXiv preprint arXiv:2403.02751 (2024). [^7]: X. Zuo, P. Samangouei, Y. Zhou, Y. Di, and M. Li. "Fmgs: Foundation model embedded 3d gaussian splatting for holistic 3d scene understanding". In: International Journal of Computer Vision (2024), pp. 1–17. [^8]: E. Sucar, S. Liu, J. Ortiz, and A. J. Davison. "iMAP: Implicit mapping and positioning in real-time". In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021, pp. 6229–6238. [^9]: Z. Zhu, S. Peng, V. Larsson, W. Xu, H. Bao, Z. Cui, M. R. Oswald, and M. Pollefeys. "Nice-slam: Neural implicit scalable encoding for slam". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022, pp. 12786–12796. [^10]: X. Yang, H. Li, H. Zhai, Y. Ming, Y. Liu, and G. Zhang. "Vox-Fusion: Dense tracking and mapping with voxel-based neural implicit representation". In: 2022 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE. 2022, pp. 499–507. [^11]: H. Wang, J. Wang, and L. Agapito. "Co-SLAM: Joint Coordinate and Sparse Parametric Encodings for Neural Real-Time SLAM". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023, pp. 13293–13302. [^12]: M. M. Johari, C. Carta, and F. Fleuret. "Eslam: Efficient dense slam system based on hybrid representation of signed distance fields". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023, pp. 17408–17419. [^13]: E. Sandström, Y. Li, L. Van Gool, and M. R. Oswald. “Point-slam: Dense neural point cloud-based slam”. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023, pp. 18433–18444. [^15]: A. Rosinol, J. J. Leonard, and L. Carlone. "Nerf-slam: Real-time dense monocular slam with neural radiance fields". In: 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2023, pp. 3437–3444. [^14]: Z. Xin, Y. Yue, L. Zhang, and C. Wu. "HERO-SLAM: Hybrid Enhanced Robust Optimization of Neural SLAM". In: 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2024, pp. 8610–8616. [^16]: J. Naumann, B. Xu, S. Leutenegger, and X. Zuo. "NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields". In: arXiv preprint arXiv:2312.13471 (2023). [^17]: C. Yan, D. Qu, D. Xu, B. Zhao, Z. Wang, D. Wang, and X. Li. "Gsslam: Dense visual slam with 3d gaussian splatting". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024, pp. 19595–19604. [^18]: N. Keetha, J. Karhade, K. M. Jatavallabhula, G. Yang, S. Scherer, D. Ramanan, and J. Luiten. "SplaTAM: Splat Track & Map 3D Gaussians for Dense RGB-D SLAM". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024, pp. 21357–21366. [^19]: V. Yugay, Y. Li, T. Gevers, and M. R. Oswald. “Gaussian-slam: Photo-realistic dense slam with gaussian splatting”. In: arXiv preprint arXiv:2312.10070 (2023). [^20]: S. Ha, J. Yeon, and H. Yu. "Rgbd gs-icp slam". In: arXiv preprint arXiv:2403.12550 (2024). [^21]: J. Hu, X. Chen, B. Feng, G. Li, L. Yang, H. Bao, G. Zhang, and Z. Cui. "CGSLAM: Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field". In: arXiv preprint arXiv:2403.16095 (2024). [^22]: Z. Peng, T. Shao, Y. Liu, J. Zhou, Y. Yang, J. Wang, and K. Zhou. "Rtg-slam: Real-time 3d reconstruction at scale using gaussian splatting". In: ACM SIGGRAPH 2024 Conference Papers. 2024, pp. 1–11. [^23]: F. A. Sarikamis and A. A. Alatan. "IG-SLAM: Instant Gaussian SLAM". In: arXiv preprint arXiv:2408.01126 (2024). [^24]: P. Zhu, Y. Zhuang, B. Chen, L. Li, C. Wu, and Z. Liu. "MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization". In: arXiv preprint arXiv:2405.06241 (2024). [^25]: H. Huang, L. Li, H. Cheng, and S.-K. Yeung. "Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular Stereo and RGB-D Cameras". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024, pp. 21584–21593. [^26]: H. Matsuki, R. Murai, P. H. Kelly, and A. J. Davison. “Gaussian splatting slam”. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024, pp. 18039–18048. [^27]: M. Li, S. Liu, and H. Zhou. "Sgs-slam: Semantic gaussian splatting for neural dense slam". In: arXiv preprint arXiv:2402.03246 (2024). [^28]: S. Zhu, R. Qin, G. Wang, J. Liu, and H. Wang. "Semgauss-slam: Dense semantic gaussian splatting slam". In: arXiv preprint arXiv:2403.07494 (2024). [^29]: Y. Ji, Y. Liu, G. Xie, B. Ma, Z. Xie, and H. Liu. "NEDS-SLAM: A Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting". In: IEEE Robotics and Automation Letters (2024). [^30]: Z. Teed and J. Deng. "Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras". In: Advances in neural information processing systems 34 (2021), pp. 16558–16569. [^31]: T. Müller, A. Evans, C. Schied, and A. Keller. "Instant neural graphics primitives with a multiresolution hash encoding". In: ACM Transactions on Graphics (ToG) 41.4 (2022), pp. 1–15. [^32]: Z. Teed, L. Lipson, and J. Deng. "Deep patch visual odometry". In: Advances in Neural Information Processing Systems 36 (2024). [^33]: C. Campos, R. Elvira, J. J. G. Rodríguez, J. M. Montiel, and J. D. Tardós. "Orb-slam3: An accurate open-source library for visual, visual-inertial, and multimap slam". In: IEEE Transactions on Robotics 37.6 (2021), pp. 1874–1890. [^34]: X. Zuo, P. Geneva, W. Lee, Y. Liu, and G. Huang. "Lic-fusion: Lidar inertial-camera odometry". In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2019, pp. 5848–5854. [^35]: X. Zuo, Y. Yang, P. Geneva, J. Lv, Y. Liu, G. Huang, and M. Pollefeys. "Lic-fusion 2.0: Lidar-inertial-camera odometry with sliding-window plane-feature tracking". In: 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2020, pp. 5112–5119. [^36]: T. Shan, B. Englot, C. Ratti, and D. Rus. "Lvi-sam: Tightly-coupled lidar-visual-inertial odometry via smoothing and mapping". In: 2021 IEEE international conference on robotics and automation (ICRA). IEEE. 2021, pp. 5692–5698. [^37]: J. Lin and F. Zhang. "R 3 LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package". In: 2022 International Conference on Robotics and Automation (ICRA). IEEE. 2022, pp. 10672–10678. [^38]: C. Zheng, Q. Zhu, W. Xu, X. Liu, Q. Guo, and F. Zhang. "FAST-LIVO: Fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry". In: 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2022, pp. 4003–4009. [^39]: J. Lv, X. Lang, J. Xu, M. Wang, Y. Liu, and X. Zuo. “Continuous-Time Fixed-Lag Smoothing for LiDAR-Inertial-Camera SLAM”. In: IEEE/ASME Transactions on Mechatronics (2023). [^40]: X. Lang, C. Chen, K. Tang, Y. Ma, J. Lv, Y. Liu, and X. Zuo. "Coco-LIC: continuous-time tightly-coupled LiDAR-inertial-camera odometry using non-uniform B-spline". In: IEEE Robotics and Automation Letters (2023). [^41]: K. Rematas, A. Liu, P. P. Srinivasan, J. T. Barron, A. Tagliasacchi, T. Funkhouser, and V. Ferrari. “Urban radiance fields”. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022, pp. 12932–12942. [^42]: X. Zhou, Z. Lin, X. Shan, Y. Wang, D. Sun, and M.-H. Yang. "Driving-gaussian: Composite gaussian splatting for surrounding dynamic autonomous driving scenes". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024, pp. 21634–21643. [^43]: Y. Yan, H. Lin, C. Zhou, W. Wang, H. Sun, K. Zhan, X. Lang, X. Zhou, and S. Peng. "Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting". In: ECCV. 2024. [^44]: Y. Chen, C. Gu, J. Jiang, X. Zhu, and L. Zhang. "Periodic vibration gaussian: Dynamic urban scene reconstruction and real-time rendering". In: arXiv preprint arXiv:2311.18561 (2023). [^45]: S. Hong, J. He, X. Zheng, C. Zheng, and S. Shen. "Liv-gaussmap: Lidar-inertial-visual fusion for real-time 3d radiance field map rendering". In: IEEE Robotics and Automation Letters (2024). [^46]: J. Cui, J. Cao, Y. Zhong, L. Wang, F. Zhao, P. Wang, Y. Chen, Z. He, L. Xu, Y. Shi, et al. "LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives". In: arXiv preprint arXiv:2404.09748 (2024). [^47]: C. Wu, Y. Duan, X. Zhang, Y. Sheng, J. Ji, and Y. Zhang. "MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes". In: arXiv preprint arXiv:2404.04026 (2024). [^48]: I. Vizzo, T. Guadagnino, B. Mersch, L. Wiesmann, J. Behley, and C. Stachniss. "Kiss-icp: In defense of point-to-point icp—simple, accurate, and robust registration if done the right way". In: IEEE Robotics and Automation Letters 8.2 (2023), pp. 1029–1036. [^49]: L. C. Sun, N. P. Bhatt, J. C. Liu, Z. Fan, Z. Wang, T. E. Humphreys, and U. Topcu. "MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements". In: arXiv preprint arXiv:2404.00923 (2024). [^50]: T. Qin, P. Li, and S. Shen. "Vins-mono: A robust and versatile monocular visual-inertial state estimator". In: IEEE transactions on robotics 34.4 (2018), pp. 1004–1020. ## [^51]: J. Shi et al. "Good features to track". In: 1994 Proceedings of IEEE conference on computer vision and pattern recognition. IEEE. 1994, pp. 593–600 --- [^52]: B. D. Lucas and T. Kanade. "An iterative image registration technique with an application to stereo vision". In: IJCAI'81: 7th international joint conference on Artificial intelligence. Vol. 2. 1981, pp. 674–679. [^53]: Z. Yan, W. F. Low, Y. Chen, and G. H. Lee. "Multi-scale 3d gaussian splatting for anti-aliased rendering". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024, pp. 20923–20931. [^54]: B. Kerbl, A. Meuleman, G. Kopanas, M. Wimmer, A. Lanvin, and G. Drettakis. "A hierarchical 3d gaussian representation for real-time rendering of very large datasets". In: ACM Transactions on Graphics (TOG) 43.4 (2024), pp. 1–15. [^55]: S. S. Mallick, R. Goel, B. Kerbl, M. Steinberger, F. V. Carrasco, and F. De La Torre. “Taming 3dgs: High-quality radiance fields with limited resources”. In: SIGGRAPH Asia 2024 Conference Papers. 2024, pp. 1–11. [^56]: L. Radl, M. Steiner, M. Parger, A. Weinrauch, B. Kerbl, and M. Steinberger. "Stopthepop: Sorted gaussian splatting for view-consistent real-time rendering". In: ACM Transactions on Graphics (TOG) 43.4 (2024), pp. 1–17. [^57]: T.-M. Nguyen, S. Yuan, T. H. Nguyen, P. Yin, H. Cao, L. Xie, M. Wozniak, P. Jensfelt, M. Thiel, J. Ziegenbein, and N. Blunder. "MCD: Diverse Large-Scale Multi-Campus Dataset for Robot Perception". In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 2024. [^58]: J. L. Schönberger and J.-M. Frahm. "Structure-from-Motion Revisited". In: Conference on Computer Vision and Pattern Recognition (CVPR). 2016.