# RMGS-SLAM：实时多传感器高斯泼溅 SLAM
李东恩$^{1,*}$、刘毅$^{1,*}$、刘俊奇$^{3,*}$、孙泽文$^{1,*}$、黄泽凡$^{1,*}$、孙硕$^{4}$、刘佳辉$^{2}$、袁成然$^{1}$、郭宏亮$^{3}$、Francis E.H. Tay$^{1}$ 以及 Marcelo H. Ang Jr.$^{1}$
摘要—在大规模真实环境中实现基于3D高斯泼溅（3DGS）的实时同步定位与建图（SLAM）仍具挑战性，因为现有方法仍难以同时达成低延迟位姿估计、连续3D高斯重建以及长期全局一致性。本文提出了一种紧耦合的激光雷达-惯性-视觉3DGS基SLAM框架，用于大规模真实场景中的实时位姿估计与照片级真实感建图。该系统将状态估计和3D高斯图元初始化与全局高斯优化并行执行，从而实现连续的密集建图。为提升高斯初始化的质量并加速优化收敛，我们提出了一种级联策略，结合前馈预测与基于体素的主成分分析所得到的几何先验。为增强全局一致性，我们直接在优化后的全局高斯地图上执行回环闭合操作：通过基于高斯的一般迭代最近点配准来估算回环约束，随后进行位姿图优化。我们还采集了具有硬件同步的激光雷达-相机-惯性测量单元数据以及真实轨迹的具有挑战性的大规模环形户外序列，以用于现实场景下的评估。在公共数据集和我们的数据集上进行的大量实验表明，所提出的方法在实时效率、定位精度和渲染质量方面均达到了同类方法中的最优水平，可适用于各类真实场景。
索引词—建图、SLAM、定位、传感器融合。
## 一、引言
同步定位与建图（SLAM）使机器人能够在重建周围环境的同时估算自身位姿[^1]。传统的SLAM系统通常构建以几何为中心的地图[^2] [^3] [^4]，这类地图对沉浸式视觉应用以及导航、抓取等下游机器人任务所需的照片级真实感场景表示支持有限。与此同时，3D高斯泼溅（3DGS）[^5]利用显式的各向异性高斯图元来表示场景，且能够实现高效的可微光栅化，从而提供具备外观感知能力、连续性且可直接渲染的地图表示。这些特性使得3DGS在SLAM领域极具吸引力：它既为位姿估计提供了几何参考，又能提供用于交互与感知的照片级真实感表示。
不过，高质量的3DGS重建[^5] [^6] [^7]主要还是在离线场景下被研究，这类场景能够获取完整的观测数据且计算资源限制较少。将3DGS技术拓展到实时SLAM领域则极具挑战性，因为高质量的3DGS重建通常依赖迭代优化，而实时SLAM系统需要同时完成位姿估计与地图构建，以匹配传入的传感器数据流。尽管近期基于3DGS的SLAM系统取得了令人鼓舞的进展，但许多现有方法[^8] [^9] [^10] [^11]仍更接近于在线SLAM而非实时SLAM。虽然这些方法支持增量式位姿估计和高斯地图更新，但在高频连续的传感器输入下，它们往往难以同时维持这两个过程的高效运行。相比之下，近期几种激光雷达辅助的方法[^12] [^13] [^14] [^15] [^16]能更好地应对连续输入数据，不过这些系统中的高斯初始化仍主要依赖激光雷达观测结果，且几何假设有限，还需进一步的在线优化。此外，为了保持运行时效率，这些系统通常会省略显式的回环检测步骤，这限制了其在大规模环境中的全局一致性。本文旨在解决上述局限，具体贡献如下：
- 我们提出了一种具备显式回环检测功能的实时、紧耦合激光雷达-惯性-视觉（LIV）3DGS-SLAM框架。该系统通过并行执行位姿估计、高斯初始化以及全局高斯地图优化，实现了非阻塞式的密集建图。
- 我们提出了一种级联式高斯初始化策略，该策略结合了前馈预测与几何先验，能够提升高斯基元的初始化质量，加快优化收敛速度，进而实现实时高斯建图。
- 我们针对大规模场景开发了基于3DGS的回环检测方法。该方法从全局高斯地图中提取目标高斯集合，并构建用于全局优化的回环约束，从而抑制长期漂移现象。
- 我们搭建了一个新的真实世界基准测试平台，该平台集成了同步采集的固态激光雷达、摄像头和IMU数据流，还提供了室外道路场景的真实标注数据，能够在实际条件下对基于3DGS的SLAM系统进行全面评估。
- 我们通过自有采集的数据序列以及公开数据集，验证了RMGS-SLAM在真实场景中的有效性。
### II. 相关工作
### A. 用于场景重建的3DGS
3DGS[^5]通过将场景表示为3D高斯，并利用可微分的基于瓦片的光栅化器进行渲染，从而实现高效、高保真的新视角合成。不过传统的3DGS在真实世界场景中缺乏足够的几何约束。
---
Fig. 1. Overview of the proposed system. The framework follows a four-module design. (i) A LIV front-end developed upon a Sequential IESKF system [^4] first estimates ego-motion and produces time-synchronized poses, RGB images, projected depth images, and voxel-PCA geometric priors. (ii) These outputs are then used to initialize 3D Gaussian primitives through a cascaded strategy that combines feed-forward predictions with geometry-aware priors. (iii) The global Gaussian map is then optimized as synchronously under photometric, structural, and geometric constraints. (iv) To improve global consistency, loop closure is performed directly on the Gaussian representation via Gaussian GICP, and the resulting loop constraints are jointly optimized with odometry in a pose graph.
相应地，近期的一些方法[^6]、[^7]引入了时间跟踪与结构约束，以减少体积重叠并改善表面建模效果。不过这些基于优化的方法仍需针对每个场景进行长时间的训练。
为了绕过耗时的逐场景优化过程，泛化能力强的前馈模型能够根据稀疏图像预测高斯参数。需要姿态信息的模型则利用已知的相机姿态来融合多视角特征，并回归深度分布以锚定高斯参数 [^17]。为避免在视图稀疏时离线姿态估计出现不稳定性，无需姿态信息的模型会同时推断场景几何结构与相机参数，从而从无姿态的图像中重建出几何上一致的场景 [^18]。这些进展表明，前馈高斯预测为3DGS初始化提供了一种高效且泛化能力日益增强的方案。
### B. 基于3DGS的SLAM
近期的研究通过利用3DGS显式且可微的表示方式来进行联合姿态估计与密集重建，从而将其拓展至SLAM领域。早期的基于3DGS的SLAM系统主要针对视觉SLAM开发，包括GS-SLAM [^8]，它结合了自适应稠密化与由粗到精的跟踪机制；MonoGS [^9]用于仅使用单目RGB图像的SLAM；以及SplaTAM [^10]，用于高效的RGB-D建图。不过，在不受约束的真实环境中，视觉-based的3DGS-SLAM仍受到限制——视点变化、光照改变以及不完美的几何结构往往会降低跟踪的鲁棒性与重建质量。
为了提升几何感知能力与姿态估计的鲁棒性，近期的研究将激光雷达引入基于3DGS的SLAM中。松耦合方法 [^11]、[^19]、[^20]、[^21] 通常依赖某种主导的传感模式，或在重建高斯地图的同时进行异步的多传感器姿态估计。尽管这类设计简化了系统集成，但跟踪与建图之间的松散或异步交互使得在高采样率传感器输入下难以维持实时性能。
相比之下，紧耦合方法会在统一的估计器中联合融合多模态测量数据，并将其与高斯映射相结合以提升时空一致性。Gaussian-LIC [^14]、[^15]、LVI-GS [^22] 以及FusionGS-SLAM [^13] 展现了更深层次多模态集成的潜力，但在大规模环境中同时维持实时性能与全局一致性仍具挑战性。
有几套系统专门设计用来让3DGS重建与传入的传感器数据流同步，具体做法是限制表示规模或优化范围。GS-LIVM [^16]采用Voxel-GPR对稀疏且不均匀的激光雷达观测数据进行规整，从而实现更具几何感知能力的高斯基元初始化，但它仍需在输入流结束后继续优化才能达到理想的重建质量。GS-LIVO [^12]则将高斯映射与迭代误差状态卡尔曼滤波器（IESKF）紧密耦合，并采用滑动窗口来优化局部高斯参数，以此减轻优化压力，但有限的实时迭代预算限制了精细照片级细节的恢复。
总体而言，现有框架仍难以同时做到与传入的传感器数据流保持同步、在大规模场景中实现鲁棒的回环闭合，以及维持高质量的高斯地图优化。这些局限性促使我们开发出一种将实时高斯映射与基于高斯的回环闭合相结合的框架，以实现大规模场景的一致性。
### III. 方法论
所提出的系统采用四模块设计，如图1所示。我们首先在第III-A节介绍基于体素主成分分析（voxel-PCA）的几何拟合过程，随后在第III-B节进行级联式3D高斯基元初始化，第III-C节实现异步高斯优化，第III-D节则完成基于高斯的特征点闭环检测。
---
### A. 基于体素PCA的几何拟合
为了给高斯初始化提供结构化的几何先验，我们采用了基于体素PCA的几何拟合方案。我们使用哈希索引的八叉树结构将世界坐标系下最新前端处理的彩色点云划分为体素[^4]、[^23]。对于每个体素，我们计算其均值$\mu$和协方差$\mathbf{C}$，再通过特征分解得到有序的特征值$\lambda_{\min} \leq \lambda_{\mathrm{mid}} \leq \lambda_{\max}$以及对应的特征向量$\mathbf{v}_{\min}$、$\mathbf{v}_{\mathrm{mid}}$和$\mathbf{v}_{\max}$，最终形成正交的特征向量矩阵$\mathbf{V}$。
根据特征值分布对几何结构进行分类，即可同时捕捉平面和线状局部结构，避免仅依赖平面拟合而导致的过度简化或遗漏细长线性结构的问题。此处，$\tau_p$和$\tau_l$分别表示平面和线性分类的阈值，且在所有实验中均保持不变。具体而言，若$\lambda_{\min} < \tau_p$，则该结构被归类为平面，其法向量为$\mathbf{v}_{\min}$；若$\lambda_{\max}/\lambda_{\min} > \tau_l$，则被归类为线性结构，其方向为$\mathbf{v}_{\max}$；否则该结构被视为不可靠。
为了共同描述局部几何及其不确定性，我们定义了几何描述符$\mathbf{g} = [\mathbf{v}_k^\top, \boldsymbol{\mu}^\top]^\top \in \mathbb{R}^6$，其中$\mathbf{v}_k \in \{\mathbf{v}_{\min}, \mathbf{v}_{\max}\}$，平面结构对应$\mathbf{v}_k = \mathbf{v}_{\min}$，线性结构对应$\mathbf{v}_k = \mathbf{v}_{\max}$。
几何描述符的不确定性源自每个体素内的点级协方差。每个点$\mathbf{p}_i^W$都关联有用于建模测量噪声和位姿不确定性的世界坐标系协方差$\boldsymbol{\Sigma}_i^W \in \mathbb{R}^{3 \times 3}$。按照[^23]、[^24]中的方法，雅可比矩阵$\mathbf{J}_i$可表示为：
$$ \mathbf{J}_{i}=\left[\begin{matrix}{\mathbf{V}\mathbf{F}_{i}}\\ {\frac{1}{N}\mathbf{I}_{3}}\\ \end{matrix}\right],\qquad\mathbf{F}_{i}=\left[\begin{matrix}{\mathbf{f}_{i}^{(\mathrm{m i n})}}\\ {\mathbf{f}_{i}^{(\mathrm{m i d})}}\\ {\mathbf{f}_{i}^{(\mathrm{m a x})}}\\ \end{matrix}\right], $$
$$ \mathbf{f}_{i}^{(m)}=\left\{\begin{aligned}&\frac{(\mathbf{p}_{i}^{W}-\boldsymbol{\mu})^{\top}}{N(\lambda_{k}-\lambda_{m})}\left(\mathbf{v}_{m}\mathbf{v}_{k}^{\top}+\mathbf{v}_{k}\mathbf{v}_{m}^{\top}\right),&m\neq k,\\&\mathbf{0}_{1\times3},&m=k,\end{aligned}\right. $$
其中N表示当前体素中包含的点的数量，$m \in \{\min, \mathrm{mid}, \max\}$。随后即可计算出描述符协方差：
$$ \mathbf{\Sigma _{g}}=\sum_{i=1}^{N}\mathbf{J}_{i}{\mathbf{\Sigma }}_{i}^{W}\mathbf{J}_{i}^{\top}. $$
几何可靠性由方向协方差的迹来衡量，不确定性较大的描述符会被标记为不可靠。随后为每个点赋予体素级属性$\mathbf{g}_i = (\mathbf{p}_i^W, \mathbf{R}_{pca}, \mathbf{s}_{pca}, \mathbf{c}_i, m_i)$，其中$\mathbf{c}_i \in \mathbb{R}^3$代表颜色，$m_i \in \{0,1\}$表示几何可靠性。对于可靠的结构，$\mathbf{R}_{pca}$由PCA特征向量给出，而$\mathbf{s}_{pca}$则通过对应特征值的平方根的对数计算得出。
最终得到的紧凑几何表示包含了明确的方向、尺度和可靠性指标，可作为后续初始化的结构化先验。
### B. 级联式3D高斯基元初始化
从同步的前端输出流中，会根据帧索引间隔周期性地选取帧作为关键帧。
Fig. 2. Cascaded Gaussian Primitive Initialization. (i) Each point is projected into the previous and current loopframe images, and the closer valid view is used. (ii) On the predicted per-pixel Gaussian attribute maps, only the closest point is retained at each pixel and its attributes are bilinearly interpolated. (iii) Model-initialized points are transformed to the world frame and the rest are initialized from voxel-PCA priors or an isotropic heuristic.
每个关键帧都关联着一个校正后的姿态估计、一张RGB图像、一张投影深度图像以及体素PCA几何先验。当某个关键帧与最新循环帧之间的相对运动超过了预设的平移或旋转阈值时，该关键帧就会被标记为循环帧。连续的循环帧会将关键帧序列划分为若干个局部片段。一旦新的循环帧被创建，位于前一个循环帧与当前循环帧之间的关键帧中的观测数据就会被聚合起来，用于为该片段初始化一批新的高斯模型。
每个新的循环帧都会与前一个循环帧共同构成一个局部片段。我们会聚合该片段内观测到的所有三维点，并为每个点创建一个高斯模型：将其世界坐标系下的均值初始化为该点的位置，其直流分量则取自该点的颜色信息。其余属性，包括尺度、旋转、不透明度以及更高阶的球谐函数系数，统称为$\Theta(\mathbf{p})$，它们通过一种级联策略进行初始化，该策略结合了前馈预测结果与体素PCA几何先验，以提升初始化质量。
$$ \Theta(\mathbf{p})=\left\{\begin{aligned}{}&{{}\Theta_{\operatorname{m o d e l}}(\mathbf{p}),}&{}&{{}{v a l i d~m o d e l~p r e d i c t i o n},}\\ {}&{{}\Theta_{\operatorname{p c a}}(\mathbf{p}),}&{}&{{}{i n v a l i d~p r e d i c t i o n}\land\operatorname{g e o-r e l i a b l e},}\\ {}&{{}\Theta_{\operatorname{h e u r}}(\mathbf{p}),}&{}&{{}{o t h e r w i s e}.}\\ \end{aligned}\right. $$
为了获取基于模型的属性$\Theta_{model}(\mathbf{p})$，当前循环帧和前一个循环帧的图像会被送入预训练好的前馈模型（FFM）中，该模型会预测每个像素对应的高斯属性图。在我们的实现中，这一分支采用了$G^{3}$Splat [^18]，不过所提出的框架并不局限于特定的FFM。对于每个生成的三维点，我们会将其投影到两个视图中，并赋予其在对应像素位置处预测得到的属性。如果该点在两个视图中均可见，则会选择来自更近视图的属性（如图2(i)所示）。为了处理遮挡和投影冲突问题，每个像素处仅保留最近的点，
---
属性则通过双线性插值从密集的预测图中获取（如图2(ii)所示）。预测得到的旋转量以四元数形式表示，随后会利用当前相机姿态将其从相机坐标系转换到世界坐标系（如图2(iii)所示）。由于网络预测的是各向异性比例而非绝对尺度，我们会将预测的尺度归一化，仅保留其轴向形状比，记为a；再通过将该比例与点深度d和相机焦距f的比值相关联，在对数空间中恢复出输出高斯模型的尺度，记为$s_{out}$。
$$ \mathbf{s}_{\mathrm{o u t}}=\log((d/f)\cdot\mathbf{a}). $$
在基于PCA的分支$\Theta_{pca}$中，体素PCA先验提供了对数空间下的旋转和各向异性尺度。旋转量直接由PCA特征向量推导得出。为了避免在不确定性区域产生过度拉伸的高斯模型，PCA推导出的尺度还会通过一个有界动态因子$\beta$进行调整，该因子由当前累积片段中几何上可靠但模型预测参数无效的点数与总累积点数的比值决定。最终的尺度计算如下：
$$ \mathbf{s}_{\mathrm{o u t}}=\mathbf{s}_{\mathrm{p c a}}+\log\beta, $$
其中，$\log\beta$会被加到$s_{pca}$的各个分量上。
在启发式分支$\Theta_{heur}$中，旋转量被设为单位矩阵，尺度则利用深度与焦距的比值进行各向同性初始化：
$$ \mathbf{s}_{\mathrm{o u t}}=\log(d/f). $$
对于这两个非模型分支，即$\Theta_{pca}$和$\Theta_{heur}$，不透明度被初始化为一个恒定值以保证均匀的贡献度，所有更高阶的SH系数则被设为零。
这种级联设计将前馈外观先验与几何感知的回退机制相结合，从而能够在预测不完整或不可靠的情况下实现稳健初始化，并生成高质量的3D高斯图元，以加速收敛过程。
### C. 优化
新初始化的高斯体被插入到地图中，而冗余的高斯体则会事先通过三维欧几里得空间中的空间邻近性测试进行过滤，从而避免在重复访问的区域中出现重复结构。
优化过程由关键帧图像进行监督。在已确定的关键帧中，我们维护两个时间窗口：一个与最新高斯段相关的近期窗口，以及一个包含早期视图的历史窗口。每次迭代时，会从这两个窗口中随机采样视图，以兼顾快速适应性与长期一致性。为了保留先前已优化的区域，只有最近K个段中的高斯体才会被更新，而更早的段则保持冻结状态。
为确保稳定的监督效果，我们利用当前高斯图的渲染结果来识别可靠重建的区域。具体而言，根据累积不透明度可得出几何支撑掩码$\mathcal{M}_{\mathrm{geo}}$，而通过形态学腐蚀操作则可获得保守的内部掩码$\mathcal{M}_{\mathrm{int}}$：
$$ \begin{array}{r}{\mathcal{M}_{\mathrm{i n t}}=\mathrm{E r o d e}(\mathcal{M}_{\mathrm{g e o}},r_{\mathrm{e r o d e}}),}\end{array} $$
其中$\mathrm{Erode}(\cdot, r_{\mathrm{erode}})$表示半径为$r_{\mathrm{erode}}$的二进制腐蚀操作。所有监督项均在$\mathcal{M}_{\mathrm{int}}$范围内进行评估，以避免在观测不足的区域产生不稳定的梯度。
颜色渲染遵循标准的可微高斯泼溅技术，即沿每条光线进行Alpha合成。深度计算同样利用这种合成权重来完成：
$$ D(\mathbf{x})=\sum_{i=1}^{N}z_{i}T_{i}\alpha_{i}(\mathbf{x}), $$
其中N表示沿光线进行Alpha合成时所考虑的高斯体数量，$z_i$表示第i个高斯体在相机坐标系下的深度，而$T_i\alpha_i(\mathbf{x})$则定义了其在光线方向上的有效合成权重。
整体目标函数$\mathcal{L}$定义为
$$ \mathcal{L}=\lambda_{\mathrm{r g b}}\mathcal{L}_{\mathrm{r g b}}+\lambda_{\mathrm{s s i m}}\mathcal{L}_{\mathrm{s s i m}}+\lambda_{\mathrm{d e p t h}}\mathcal{L}_{\mathrm{d e p t h}}. $$
$$ \mathcal{L}_{\mathrm{r g b}}=\frac{1}{\left|\mathcal{M}_{\mathrm{i n t}}\right|}\sum_{\mathbf{x}\in\mathcal{M}_{\mathrm{i n t}}}\left\|\mathbf{C}(\mathbf{x})-\tilde{\mathbf{C}}(\mathbf{x})\right\|_{1}, $$
$$ \mathcal{L}_{\mathrm{s s i m}}=1-\mathrm{S S I M}\Big(\mathbf{C}\big|\mathcal{M}_{\mathrm{i n t}},\tilde{\mathbf{C}}\big|\mathcal{M}_{\mathrm{i n t}}\Big), $$
$$ \mathcal{L}_{\mathrm{d e p t h}}=\frac{1}{\left|\mathcal{M}_{\mathrm{i n t}}\right|}\sum_{\mathbf{x}\in\mathcal{M}_{\mathrm{i n t}}}\left|D(\mathbf{x})-\tilde{D}(\mathbf{x})\right|, $$
其中$\mathbf{C}(\mathbf{x})$和$\tilde{\mathbf{C}}(\mathbf{x})$分别表示渲染后的RGB值与观测到的RGB值，$D(\mathbf{x})$和$\tilde{D}(\mathbf{x})$则分别对应渲染后的深度值与参考深度值。各项损失分别对应于光度一致性、结构一致性以及深度一致性。
在优化过程中，可见且未被冻结的高斯体会通过基于梯度的稀疏优化器进行精细化处理。此外，低不透明度的高斯体会在设定的移除比例限制下被剔除，从而减少薄弱或冗余的图元。
### D. 基于高斯体的闭环检测
为了在大尺度场景中确保全局一致性，闭环检测直接在全局3D高斯图上执行。对于每一个当前的循环帧，我们会根据空间邻近性搜索历史循环帧，并保留那些在时间上和索引上相隔足够远的候选帧。当前循环帧与候选帧构成的每一对组合都定义了一个潜在的闭环约束，随后会针对该约束进行相对位姿估计。具体来说，对于当前循环帧i和历史循环帧j，会在源高斯集$\mathcal{G}_{i}^{\mathrm{src}}$与目标高斯集$\mathcal{G}_{i}^{\mathrm{tar}}$之间执行配准操作。
源集合$\mathcal{G}_i^{\mathrm{src}}$由与当前循环帧相关联的高斯分布构成，这些高斯分布以其当前校正后的姿态表示。为了构建目标集合$\mathcal{G}_j^{\mathrm{tar}}$，我们从优化后的全局3D高斯图中提取那些位于历史循环帧j周围视图的相机视锥体内的高斯分布。这一做法能够缓解因优化和剪枝导致的完整性不足及边界不一致问题。为了获得更密集且更可靠的目标集合，我们使用一组位于历史循环帧j周围的相邻关键帧作为查询视图。
---
将历史循环帧 j 周围的关键帧记为 $\mathcal{K}_j$，用作查询视图。对于全局模型中每个中心为 $G_n$ 的高斯分布 $\boldsymbol{\mu}_n$，用 $\mathbf{p}_{c,n}^k$ 表示其在某个相邻关键帧 $k \in \mathcal{K}_j$ 的相机坐标系下的坐标。若某个关键帧 $k \in \mathcal{K}_j$ 对应的投影 $\pi(\mathbf{p}_{c,n}^k)$ 位于图像域内（即 $\Omega^k$），则该高斯分布会被保留下来。为了剔除贡献微弱的远距离高斯分布，我们还会丢弃那些其中心距离世界坐标系下的位置 $d_{\max}$ 超过 $\mathbf{t}_w^k$ 的高斯分布，同时排除源集合 $\mathcal{G}_i^{\mathrm{src}}$ 中的高斯分布。最终的目标集合定义如下：
$$ \mathcal{G}_{j}^{\mathrm{t a r}}=\left\{\begin{matrix}{G_{n}}&{|\exists k\in\mathcal{K}_{j},\pi\big(\mathbf{p}_{c,n}^{k}\big)\in\Omega^{k},}\\ {}&{\|\pmb{\mu}_{n}-\pmb{\tau}_{w}^{k}\|_{2}Fig. 3. Qualitative comparison of rendering results. The blue boxed region is enlarged and displayed in the corner for detailed visual inspection.
TABLE I
RENDERING QUALITY AND RUNTIME EFFICIENCY COMPARISON ON SELECTED DATASETS.
| Method | Metric | Lecture Center01 | HKU Campus | Retail Street | CBD Building02 | Driving1 | Driving2 | HKairport 03 | HKisland 03 |
| Gaussian-LIC2 [^15] | PSNR $\uparrow$ | 31.21 | 27.06 | 24.64 | 23.16 | 22.09 | 23.72 | 14.84 | 17.65 |
| SSIM $\uparrow$ | 0.91 | 0.76 | 0.77 | 0.77 | 0.76 | 0.81 | 0.36 | 0.44 |
| LPIPS $\downarrow$ | 0.17 | 0.21 | 0.76 | 0.23 | 0.28 | 0.22 | 0.59 | 0.54 |
| Real-time factor $\downarrow$ | 1.14 | 1.09 | 1.05 | 1.17 | 1.08 | 2.14 | $\infty$ | $\infty$ |
| GS-LIVM [^16] | PSNR $\uparrow$ | 21.48 | 12.06 | 17.34 | 13.57 | 16.17 | 14.86 | $\times$ | 2.96 |
| SSIM $\uparrow$ | 0.75 | 0.42 | 0.51 | 0.51 | 0.55 | 0.56 | $\times$ | 0.16 |
| LPIPS $\downarrow$ | 0.56 | 0.76 | 0.70 | 0.75 | 0.53 | 0.53 | $\times$ | 1.01 |
| Real-time factor $\downarrow$ | 1.04 | 1.03 | 1.02 | 1.01 | 1.02 | 1.01 | $\infty$ | 1.01 |
| MonoGS [^9] | PSNR $\uparrow$ | 30.22 | 30.12 | 25.53 | 23.04 | 23.79 | 22.17 | 16.55 | 13.87 |
| SSIM $\uparrow$ | 0.91 | 0.84 | 0.81 | 0.74 | 0.76 | 0.72 | 0.38 | 0.37 |
| LPIPS $\downarrow$ | 0.24 | 0.22 | 0.17 | 0.33 | 0.37 | 0.45 | 0.56 | 0.65 |
| Real-time factor $\downarrow$ | 6.21 | 5.98 | 6.37 | 5.90 | 8.15 | 8.24 | 7.40 | 3.06 |
| SplaTAM [^10] | PSNR $\uparrow$ | 25.23 | 20.57 | 20.84 | 11.89 | 9.93 | 9.64 | 13.16 | 11.96 |
| SSIM $\uparrow$ | 0.81 | 0.65 | 0.66 | 0.32 | 0.31 | 0.29 | 0.29 | 0.23 |
| LPIPS $\downarrow$ | 0.33 | 0.33 | 0.26 | 0.70 | 0.65 | 0.67 | 0.62 | 0.74 |
| Real-time factor $\downarrow$ | 38.30 | 22.41 | 15.86 | 8.62 | 2.71 | 4.29 | 6.30 | 5.46 |
| RMGS-SLAM (ours) | PSNR $\uparrow$ | 35.63 | 30.85 | 28.44 | 27.64 | 21.79 | 22.20 | 19.64 | 19.55 |
| SSIM $\uparrow$ | 0.95 | 0.88 | 0.91 | 0.93 | 0.80 | 0.82 | 0.54 | 0.67 |
| LPIPS $\downarrow$ | 0.11 | 0.12 | 0.07 | 0.09 | 0.24 | 0.23 | 0.33 | 0.37 |
| Real-time factor $\downarrow$ | 1.04 | 1.03 | 1.02 | 1.01 | 1.01 | 1.01 | 1.50 | 1.01 |
注意：$\times$ 表示渲染结果无效，而实时因子为 $\infty$ 则说明在我们的设置中无法完成完整序列的处理。
这一点在图3的第一行中尤为明显：重建的道路标记与真实图像相比存在重叠现象。此外，在长轨迹和新视角下不断扩展的高斯图会增加后端的优化负担。总体而言，所提出的方法在几乎所有评估序列上均取得了最佳或接近最佳的性能。
如图3所示，我们的方法在新视角下能生成更清晰、伪影更少的RGB图像。第一行进一步表明，引入基于高斯的重定位机制后，在重复访问的大规模场景中全局高斯图的一致性得到了提升，从而实现了比对比方法更一致的重建效果。最后两行显示，借助所提出的级联初始化技术，我们的方法在更复杂的图像上表现更佳。
---
TABLE II
POSE ACCURACY COMPARISON ON DIFFERENT DATASETS.
| Method | Driving1 | Driving2 | HKairport03 | HKisland03 |
| FAST-LIVO2 [^4] | 3.55 | 2.86 | 1.41 | 2.74 |
| Gaussian-LIC2 [^15] | 3.66 | 2.81 | ✗ | ✗ |
| GS-LIVM [^16] | 4.86 | 2.95 | ✗ | 65.26 |
| MonoGS [^9] | 6.75 | 13.08 | 106.42 | 140.87 |
| SplaTAM [^10] | 63.32 | 108.12 | 117.12 | 156.63 |
| RMGS-SLAM (ours) | 0.41 | 1.55 | 1.39 | 2.72 |
注意：$\times$ 表示该算法未能完成完整序列的处理。
用于后续优化的纹理属性初始化，从而能够更真实地还原与视角相关的光照和阴影效果。
2) 定位性能评估：表II汇总了定量结果，显示所提出的方法在所有序列上始终能取得最佳的整体性能。通过引入基于高斯的重定位机制，我们的方法实现了更好的全局一致性并减少了累积漂移。如图4所示，这种优势在垂直（z轴）方向上的漂移更小这一现象中表现得尤为明显。此外，在完整遍历并重新访问已测绘区域后，我们的方法能够实现更好的轨迹闭合和几何一致性，而大多数基线方法仍会存在残余偏移或航向不一致的问题。这些结果表明，所提出的方法不仅提高了定位精度，还增强了3D高斯图的全局一致性。
Fig. 4. Trajectory comparison for the Driving1 sequence. The upper-left subfigure shows the overall 3D trajectory, and the others show local zoomed-in views at approximately $8.3\times$ magnification.
### C. 运行时分析
我们从系统级和模块级两个角度对所提出方法的运行时性能进行了基准测试。实时运行对于长期可靠性和在线感知、自主导航等下游应用而言至关重要。理想的系统应当能够持续……
Fig. 5. Runtime analysis across small (1, HKU Campus) and large (2, Driving1) sequences. The subfigure (a) presents compute time and memory consumption of each module sampled at 0.5 s intervals. The subfigure (b) summarizes the corresponding time-weighted overall runtime percentage of each module.
紧跟传入的传感器数据流，以完成自我姿态估计和3D高斯映射。
1) 系统级运行时性能：如表I所示，所提出的方法在大多数序列上的实时因子接近1，这意味着在保持出色渲染质量的同时实现了近乎实时的全流程处理。相比之下，几种基线方法的实时因子要大得多，甚至有些无法完成完整序列的处理。这是由于它们在姿态优化和高斯图更新方面的开销更大，因而难以持续跟上传入的传感器数据流。
2) 模块级运行时：我们选取了两种具有显著不同映射尺度的代表性序列进行研究：轨迹长度为64米的HKU校园小尺度序列，以及轨迹长度达551米的Driving1大尺度环形序列。图5展示了这两个场景中的时间演化过程及整体运行时构成。在HKU校园场景中，运行时主要由状态估计和高斯图元优化占据；而在Driving1场景中，一旦触发闭环检测，其将消耗大部分计算资源，同时会导致GPU内存占用增加。因此，主导性的计算成本取决于具体场景：在小尺度场景下，前端估计与高斯优化共同构成主要开销；而在大尺度场景下，开销则转移至闭环检测环节。尽管存在这些差异，该系统在两种场景下均能满足实时性要求——在HKU校园和Driving1场景中的实时因子分别达到1.03和1.01。总体而言，这些结果证实了该系统在不同场景尺度下均能保持稳定实时性能。
### V. 消融实验
我们在HKU校园和Driving1这两个代表性序列上开展消融实验，旨在评估所提出组件在不同场景尺度下的有效性。在我们的框架中，前馈分支采用G $^{3}$Splat [^18]实现。如表III所总结的，
---
TABLE III ABLATION STUDY OF DIFFERENT COMPONENT CHOICES.
| Variant | HKU Campus(small) | Driving1(large) |
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| w/o voxel-PCA & FFM | 27.53 | 0.82 | 0.15 | 19.57 | 0.73 | 0.30 |
| w/o FFM | 29.77 | 0.85 | 0.17 | 21.81 | 0.76 | 0.29 |
| w/o voxel-PCA | 27.98 | 0.81 | 0.16 | 20.76 | 0.75 | 0.27 |
| w/ FFM (DepthSplat) | 28.91 | 0.83 | 0.15 | 20.77 | 0.75 | 0.26 |
| w/o loop closure | 30.88 | 0.88 | 0.11 | 19.82 | 0.74 | 0.30 |
| RMGS-SLAM (ours) | 30.85 | 0.88 | 0.12 | 21.79 | 0.80 | 0.24 |
完整系统相较于纯点云初始化方案以及未采用FFM或voxel-PCA的变体表现更优，这证明了级联初始化的有效性。值得注意的是，移除FFM后，SSIM和LPIPS指标的下降幅度比PSNR更大，这表明前馈预测主要提升了结构与感知层面的保真度，而非像素级的一致性。由于我们的FFM是一个模块化组件，我们进一步对比了两种近期最先进的前馈模型：DepthSplat [^17]和G $^{3}$Splat [^18]。虽然DepthSplat能够降低LPIPS值，但代价是PSNR和SSIM指标受损；而G $^{3}$Splat则能提供更优的整体性能，因此被采纳为我们框架的一部分。此外，实验结果还显示：在大型环形场景中，闭环检测显著提升了渲染性能；而在较小的序列中，尽管增加了额外计算开销，却并未引起明显的性能退化。
### VI. 结论
我们提出了RMGS-SLAM，一种紧密耦合的LIV 3DGS基SLAM系统。通过将FFM与voxel-PCA先验相结合，所提出的级联高斯初始化方法能够生成几何上可靠的图元，从而加速优化收敛过程并支持实时3DGS建图。此外，引入的基于3DGS的闭环检测机制还增强了位姿估计与地图一致性。大量实验表明，与现有最先进方法相比，RMGS-SLAM在实时性能、定位精度与渲染质量之间取得了出色的平衡。不过，当前系统仍需依赖高性能硬件才能在大型场景中维持稳定的实时运行。未来的工作将聚焦于提升计算效率，并将其应用于导航、抓取等下游机器人任务中。
## 参考文献
[^1]: C. Cadena, L. Carlone, H. Carrillo, Y. Latif, D. Scaramuzza, J. Neira, I. Reid, and J. J. Leonard, “Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age,” IEEE Transactions on Robotics, vol. 32, no. 6, pp. 1309–1332, 2017.
[^2]: J. Zhang, S. Singh et al., “Loam: Lidar odometry and mapping in real-time.” in Robotics: Science and systems, vol. 2, no. 9. Berkeley, CA, 2014, pp. 1–9.
[^3]: R. Mur-Artal and J. D. Tardós, “Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras,” IEEE transactions on robotics, vol. 33, no. 5, pp. 1255–1262, 2017.
[^4]: C. Zheng, W. Xu, Z. Zou, T. Hua, C. Yuan, D. He, B. Zhou, Z. Liu, J. Lin, F. Zhu et al., "Fast-livo2: Fast, direct lidar-inertial-visual odometry," IEEE Transactions on Robotics, vol. 41, pp. 326–346, 2024.
[^5]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3d gaussian splatting for real-time radiance field rendering,” ACM Transactions on Graphics, vol. 42, no. 4, July 2023.
[^6]: X. Zhou, Z. Lin, X. Shan, Y. Wang, D. Sun, and M.-H. Yang, "Driving gaussian: Composite gaussian splatting for surrounding dynamic autonomous driving scenes," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2024, pp. 21634–21643.
[^7]: B. Huang, Z. Yu, A. Chen, A. Geiger, and S. Gao, “2d gaussian splatting for geometrically accurate radiance fields,” in ACM SIGGRAPH 2024 conference papers, 2024, pp. 1–11.
[^8]: C. Yan, D. Qu, D. Xu, B. Zhao, Z. Wang, D. Wang, and X. Li, “Gs-slam: Dense visual slam with 3d gaussian splatting,” in CVPR, 2024.
[^9]: H. Matsuki, R. Murai, P. H. Kelly, and A. J. Davison, “Gaussian splatting slam,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2024, pp. 18039–18048.
[^10]: N. Keetha, J. Karhade, K. M. Jatavallabhula, G. Yang, S. Scherer, D. Ramanan, and J. Luiten, “Splatam: Splat track & map 3d gaussians for dense rgb-d slam,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2024, pp. 21357–21366.
[^11]: T. Deng, W. Wu, J. He, Y. Pan, X. Jiang, S. Yuan, D. Wang, H. Wang, and W. Chen, "Vpgs-slam: Voxel-based progressive 3d gaussian slam in large-scale scenes," arXiv preprint arXiv:2505.18992, 2025.
[^12]: S. Hong, C. Zheng, Y. Shen, C. Li, F. Zhang, T. Qin, and S. Shen, "Gslivo: Real-time lidar, inertial, and visual multi-sensor fused odometry with gaussian mapping," IEEE Transactions on Robotics, 2025.
[^13]: T.-D. Phan and G.-W. Kim, "Fusions-slam: Multiple sensors fusion for localization and real-time photorealistic mapping," IEEE Robotics and Automation Letters, 2025.
[^14]: X. Lang, L. Li, C. Wu, C. Zhao, L. Liu, Y. Liu, J. Lv, and X. Zuo, “Gaussian-lic: Real-time photo-realistic slam with gaussian splatting and lidar-inertial-camera fusion,” in 2025 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2025, pp. 8500–8507.
[^15]: X. Lang, J. Lv, K. Tang, L. Li, J. Huang, L. Liu, Y. Liu, and X. Zuo, “Gaussian-lic2: Lidar-inertial-camera gaussian splatting slam,” arXiv, 2025.
[^16]: Y. Xie, Z. Huang, J. Wu, and J. Ma, “Gs-livm: Real-time photo-realistic lidar-inertial-visual mapping with gaussian splatting,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025, pp. 26869–26878.
[^17]: H. Xu, S. Peng, F. Wang, H. Blum, D. Barath, A. Geiger, and M. Pollefeys, “Depthsplat: Connecting gaussian splatting and depth,” in Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, pp. 16453–16463.
[^18]: M. Hosseinzadeh et al., “Geometrically consistent generalizable gaussian splatting,” arXiv preprint arXiv:2512.17547, 2025.
[^19]: S. Cheng, S. He, F. Duan, and N. An, “Tls-slam: Gaussian splatting slam tailored for large-scale scenes,” IEEE Robotics and Automation Letters, vol. 10, no. 3, pp. 2814–2821, 2025.
[^20]: S. Hong, J. He, X. Zheng, and C. Zheng, "Liv-gaussmap: Lidar-inertial-visual fusion for real-time 3d radiance field map rendering," IEEE Robotics and Automation Letters, vol. 9, no. 11, pp. 9765–9772, 2024.
[^21]: R. Xiao, W. Liu, Y. Chen, and L. Hu, "Liv-gs: Lidar-vision integration for 3d gaussian splatting slam in outdoor environments," IEEE Robotics and Automation Letters, vol. 10, no. 1, pp. 421–428, 2024.
[^22]: H. Zhao, W. Guan, and P. Lu, "Lvi-gs: Tightly-coupled lidar-visual inertial slam using 3d gaussian splatting," IEEE Transactions on Instrumentation and Measurement, 2025.
[^23]: C. Yuan, W. Xu, X. Liu, X. Hong, and F. Zhang, “Efficient and probabilistic adaptive voxel mapping for accurate online lidar odometry,” IEEE Robotics and Automation Letters, vol. 7, no. 3, pp. 8518–8525, 2022.
[^24]: Z. Liu and F. Zhang, “Balm: Bundle adjustment for lidar mapping,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 3184–3191, 2021.
[^25]: A. Segal, D. Haehnel, S. Thrun et al., “Generalized-icp.” in Robotics: science and systems, vol. 2, no. 4. Seattle, WA, 2009, p. 435.
[^26]: M. Kaess, H. Johannsson, R. Roberts, V. Ila, J. J. Leonard, and F. Dellaert, “isam2: Incremental smoothing and mapping using the bayes tree,” International Journal of Robotics Research, vol. 31, no. 2, pp. 216–235, 2012.
[^27]: H. Li, Y. Zou, N. Chen, J. Lin, X. Liu, W. Xu, C. Zheng, R. Li, D. He, F. Kong et al., “Mars-lvig dataset: A multi-sensor aerial robots slam dataset for lidar-visual-inertial-gnss fusion,” The International Journal of Robotics Research, vol. 43, no. 8, pp. 1114–1127, 2024.