# LIVE-GS：基于在线激光雷达-惯性-视觉状态估计与全局一致性建图的3D高斯泼溅技术 朴宰硕 $^{1,2}$、朴彩娜 $^{1}$、金敏洙 $^{2}$、金敏京 $^{3,*}$ 和 金秀焕 $^{2,*}$ 摘要——尽管3D高斯泼溅（3DGS）技术实现了照片级真实的地图构建，但将其集成到SLAM系统中时仍大多沿用传统的以摄像头为中心的流程。因此，这类方法继承了众所周知的缺陷：计算负载高、在纹理匮乏或光照变化剧烈的环境中表现不佳，且运行范围有限，尤其是针对RGB-D设备而言。另一方面，激光雷达是一种鲁棒性更强的替代方案，但将其与3DGS结合会带来新的挑战，比如为了获得照片级真实的效果需要更严格的全局对齐，以及稀疏数据导致的优化时间过长。为解决这些难题，我们提出了LIVE-GS——一种在线激光雷达-惯性-视觉SLAM框架，它将3D高斯泼溅技术与基于激光雷达的面元紧密耦合，通过全局几何优化来确保地图的高精度一致性。具体而言，为应对稀疏数据问题，我们的系统采用了深度不变的高斯初始化策略以实现高效表示，同时引入有界Sigmoid约束来防止高斯分布无限制地扩张。在公开数据集及我们自己构建的数据集上的实验表明，与典型的3DGS SLAM基线方法相比，本系统在渲染质量和地图构建效率方面均表现出较强的竞争力。 ## I. 引言 3D高斯泼溅（3DGS）[^1]技术推动了照片级真实场景重建的发展，也为机器人领域的同步定位与地图构建（SLAM）应用实现了低延迟渲染。然而，早期将3DGS集成到SLAM中的尝试主要依赖摄像头，而构建密集地图需要大量的视角数据，这成为高效运行的重大瓶颈。此外，这些基于视觉的方法天生容易受恶劣条件的影响，比如纹理贫乏的区域（如白墙）和光照变化，这些情况可能导致定位与建图失败。虽然RGB-D摄像头能缓解部分深度模糊问题，但它们同样存在上述脆弱性，还带来了运行范围短、强阳光下户外性能不可靠等额外限制。 ![Image](images/f770aea7ccdaa359e0e40efe0f0a658428f272ac2e71b2f57e120fa531fa4976.jpg)
Fig. 1: LIVE-GS. Bird's-eye view of a reconstructed 3D Gaussian map (left) and rendered images from selected viewpoints (right). Our globally optimized LiDAR-inertial-visual mapping produces photorealistic renderings in large-scale outdoor environments.
为克服这些限制，业界越来越多地转向激光雷达传感器，它能在各种条件下远距离（数百米）稳定捕获精确的三维点云。激光雷达的集成有望将重建时间从漫长的优化过程缩短为较短的时间，从而将3DGS的应用范围从室内场景拓展到大规模室外环境。 然而，将激光雷达与3DGS结合会带来新的技术挑战。首先，许多现有的基于激光雷达的方法并未优先考虑用于保证全局一致性的回环闭合机制。照片级真实渲染对位姿误差极为敏感；即便经过位姿图优化，所需的几何对齐精度也远高于常规轨迹校正的要求。其次，在天空等未被观测到的区域，或是激光雷达点云稀疏的远距离物体处，高斯分布可能会发生畸变或无限制地扩张，进而遮挡其后方已正确优化的泼溅点，导致地图保真度下降。 为应对这些挑战，我们提出了LIVE-GS——一种全新的激光雷达-惯性-视觉SLAM框架，它将3D高斯映射与基于曲面元素的优化紧密结合起来。为了实现高精度对齐，我们在位姿图优化中引入了曲面元素间的一致性约束，从而能够在表面层面将新观测数据与现有地图结构精确对齐。对于远距离物体的高效表示，我们提出了一种深度不变初始化策略：根据高斯在像素空间中的投影尺寸来确定其尺度，而非依赖欧几里得距离。最后，为了抑制未观测区域的几何失真， --- ![Image](images/5a0e410a9f6a7c3880eadeefbe980755a12b98b4518bc7847d908bac8667eb02.jpg)
Fig. 2: LIVE-GS System Overview. Dual-map architecture fuses LiDAR, camera, and IMU streams, tracking poses on a 2D surfel map while optimizing a depth-invariant 3D Gaussian map for photorealistic rendering. Loop closure then performs global refinement that jointly optimizes poses and Gaussians, yielding a geometrically consistent high-resolution map.
我们采用有界Sigmoid函数对高斯的最大尺度进行约束。 我们围绕大规模户外SLAM中的轨迹一致性与渲染效率提升问题，做出了四项贡献： - 提出了一种将3DGS与曲面元素束调整（SBA）相结合的在线激光雷达-惯性-视觉SLAM框架；在各类在线3DGS方法中，该框架在测试的户外序列上均展现出具有竞争力的轨迹精度与渲染质量。 - 提出了一种深度不变的高斯初始化方法，该方法能根据像素投影尺寸自适应调整高斯尺度，在仅造成轻微PSNR损失的前提下有效减小地图规模。 - 采用了有界Sigmoid重参数化方法，将高斯尺度约束在可学习的范围内，从而抑制稀疏观测区域中高斯的过度膨胀。 - 在六个数据集上进行了全面评估，结果表明其与离线及在线基线方法相比，均具备具有竞争力的渲染质量与效率。 ### II. 相关工作 ### A. 基于预计算位姿的离线3DGS 开创性的3DGS [^1]确立了离线范式：先通过SfM（如COLMAP [^2]）计算相机位姿，再优化场景表示。这一范式后来被GS-SDF [^3]进一步拓展，后者通过激光雷达正则化提升了几何精度；LetsGo [^4]则利用激光雷达轨迹来处理大规模场景。然而，无论位姿源自SfM还是先进的激光雷达-惯性里程计 [^5]、[^6]，地图生成始终是一个独立的离线步骤。这种分离意味着早期的位姿误差会在优化开始前就被固定下来，进而作为重影伪影传入最终地图，降低了其用于在线部署的适用性。这些局限性促使人们开发出将定位与建图紧密耦合的在线系统。 ### B. 以视觉为主的在线3DGS 后续的在线系统主要基于视觉SLAM，但对视觉信息的依赖也带来了关键性隐患。例如，GS-ICP-SLAM [^7]采用光度学ICP方法，因此在纹理匮乏的区域极易出现跟踪失效；Photo-SLAM [^8]采用基于特征的跟踪方式，在剧烈运动或光照变化条件下表现不佳。尽管SplaTAM [^9]引入了RGB-D传感器来辅助几何正则化，但其较短的工作范围以及在强日光下的较差性能，使其仅适用于较小的室内场景。由于缺乏几何约束，这些系统在未观测区域（如天空）也会出现不受控制的高斯膨胀现象：过大的高斯会遮挡其后方的物体，从而降低渲染质量。 ### C. 在线激光雷达-惯性-视觉3DGS 最新研究致力于将激光雷达的鲁棒性与3DGS的光照真实感相结合，充分利用激光雷达在复杂光照和纹理条件下的稳定性，以及其精确的长距离深度测量能力。然而，诸如Gaussian-LIC [^10]之类的早期混合模型仍保留以视觉为中心的核心架构，可能会出现轨迹漂移和渲染伪影现象。而像LI-GS [^11]和HGS这样的较新方法—— --- Mapping [^12]虽然成功融合了多种传感器数据，但仍有两大关键挑战尚未解决。 这些系统依赖于稀疏姿态图优化技术，该技术仅在关键帧层面对齐传感器轨迹，却缺乏实现光照真实感所需的密集表面级约束。在早期系统中，包括Gaussian-LIC [^10]在内，密集高斯图与稀疏姿态图之间的残余姿态不一致性会降低渲染质量。此外，这类方法沿用了原始3DGS中基于kNN的初始化的标准流程，该流程并不适用于激光雷达数据的非均匀密度特性。对于稀疏且距离较远的点，这种策略会产生大量形状不规则的高斯体，不仅占用大量内存，还会拖慢渲染速度。我们的框架正是为解决这两大难题而设计的。 ### 三、方法论 我们的系统采用了双地图表示方式：利用稀疏面元地图实现高效定位，借助密集3D高斯地图来生成光照真实感图像，这一设计灵感来源于Elastic LiDAR Fusion [^13]、[^14]。 如图2所示，前端模块会处理同步的激光雷达-相机-惯性测量单元数据流，以实现针对全局面元地图的低延迟跟踪，同时完成高斯的初始化与局部优化。当相对平移或旋转量超过阈值时，便会生成关键帧。后端模块则负责维护两张地图，通过面元间的约束实现闭环检测，并对姿态和高斯参数进行全局优化。更新后的地图会反馈给前端，从而确保系统的长期一致性。 ### A. 激光雷达-惯性-视觉里程计 我们通过联合优化几何约束与光度约束，来估算连续关键帧之间的相对姿态。这一过程首先利用惯性测量单元预积分技术 [^15]，从关键帧i传播系统状态（姿态、速度和偏差）至关键帧j，从而为后续的优化提供初始姿态估计值。 在几何约束方面，我们从每个关键帧的激光雷达点云中提取面元，并建立相邻帧之间的对应关系 [^16]。随后，针对每一对匹配的面元 $(\mathbf{p}_i, \mathbf{p}_j)$ 及其对应的表面法线 $\mathbf{n}_j$，构建点对面ICP残差： $$ e_{\mathrm{i c p}}=\mathbf{n}_{j}^{\top}(^{W}\mathbf{R}_{j}^{-1}(^{W}\mathbf{R}_{i}\mathbf{p}_{i}+^{W}\mathbf{t}_{i}-^{W}\mathbf{t}_{j})-\mathbf{p}_{j}), $$ 其中 $({}^{W}\mathbf{R}_{i},{}^{W}\mathbf{t}_{i})$ 和 $({}^{W}\mathbf{R}_{j},{}^{W}\mathbf{t}_{j})$ 分别为关键帧i和j的全局姿态。 与此同时，在光度约束方面，我们从图像中选择稀疏特征点，并跟踪它们在各关键帧间的运动情况 [^17]。光度残差是通过直接比较像素强度来定义的： $$ \begin{array}{r}{\mathbf{\textit{e}}_{photo}=\mathbf{I}_{i}(\mathbf{u},\mathbf{v})-\mathbf{I}_{j}(\pi(\mathbf{\textit{}^{j}R}_{i}\mathbf{p}_{i}+\mathbf{\textit{}^{j}t}_{i})),}\end{array} $$ $$ \pi(\mathbf{p})=\left[\begin{matrix}{f_{x}\frac{X}{Z}+c_{x}}\\ {f_{y}\frac{Y}{Z}+c_{y}}\\ \end{matrix}\right]\;, $$ 其中 $\mathbf{I}_{i}(\mathbf{u},\mathbf{v})$ 是帧i中像素 $(\mathbf{u},\mathbf{v})$ 处的强度，$\mathbf{p}_{i}$ 是关键帧i本地坐标系下的3D激光雷达点，而 ![Image](images/3b1842b80ca0bc34958f5d9a7f686bf779e51b9170cbfed342bec1b69a307ceb.jpg)
Fig. 3: Depth-Invariant Gaussian Initialization. (a) illustrates the overall process of depth-invariant Gaussian initialization, while (b) shows its relationship with conics
$(^{j}\mathbf{R}_{i},^{j}\mathbf{t}_{i})$ 表示从帧i到帧j的相对变换。函数 $\pi(\cdot)$ 会将变换后的点投影到帧j的图像平面上，并通过双线性插值计算其强度值。 完整的里程计代价函数便是这两个残差的总和： $$ L_{\mathrm{o d o m}}=\sum\left\|e_{\mathrm{i c p}}\right\|^{2}+\lambda_{\mathrm{p h o t o}}\sum\left\|e_{\mathrm{p h o t o}}\right\|^{2}, $$ 此处，$\lambda_{\mathrm{photo}} = 0.5$ 会降低那些强度尺度残差通常大于度量尺度ICP残差的光度项的权重。由IMU推算出的位姿提供了初始估计值；无需显式的IMU代价项。经过优化的相对位姿会作为全局位姿图中的里程计约束。 ### B. 深度不变的高斯初始化 传统的基于激光雷达的3D高斯泼溅（3DGS）方法会根据局部点云密度来初始化高斯尺度。这种方法存在一个显著缺陷：它会在稀疏且距离较远的区域产生过大且模糊的高斯分布。为解决这一问题，我们采用深度不变的高斯初始化策略来初始化3D尺度，以确保它们投影到图像平面时能保持一致且预定义的大小，不受深度或密度的影响。 对于每个激光雷达点p，我们首先通过k近邻（KNN）搜索和主成分分析（PCA）来计算协方差矩阵，从而得到旋转矩阵R。接着，我们在切平面上用各向异性尺度$\sigma_x^2$和$\sigma_y^2$来初始化高斯，沿法线方向的尺度则为$\sigma_z^2$。由此定义的3D协方差矩阵如下： $$ \mathbf{\Sigma}_{3D}=\mathbf{R}\mathrm{diag}(\sigma_{x}^{2},\sigma_{y}^{2},\sigma_{z}^{2})\mathbf{R}^{\top}. $$ 为了计算投影后的协方差，我们根据公式(3)定义相机投影的雅可比矩阵$\mathbf{J} \in \mathbb{R}^{2 \times 3}$： $$ \mathbf{J}=\begin{bmatrix}\frac{f_{x}}{Z}&0&-\frac{f_{x}X}{Z^{2}}\\ 0&\frac{f_{y}}{Z}&-\frac{f_{y}Y}{Z^{2}}\end{bmatrix}. $$ 随着深度Z的增加，雅可比矩阵的元素会减小，从而导致更小的2D投影（见图3），这便催生了基于圆锥体的尺度自适应机制。投影后高斯的2D协方差表示为： $$ \mathbf{\Sigma}_{2D}=\mathbf{J}\mathbf{\Sigma}_{3D}\mathbf{J}^{\top}. $$ --- ```pseudo // Algorithm 1: Adaptive scaling adjustment of ``` 高斯泼溅。当饱和的泼溅数量过多时，上阈值$\sigma_{\max}$会被调大；而当大多数泼溅尺寸较小时，该阈值则会被调小，以此维持泼溅尺寸的平衡分布。 输入：当前高斯缩放参数$\{\mathbf{s}_{\mathrm{old}}\}_{i=1}^{N}$，当前阈值$\sigma_{\max}, \sigma_{\min}$ 输出：更新后的阈值$\sigma_{\max}$、$\mathbf{s}_{\mathrm{new}}$ 1 $\max \sigma \leftarrow \{\|\mathrm{BoundedSigmoid}(\mathbf{s}_{\mathrm{old}}, \sigma_{\max})\|\}_{i=1}^{N}$ 2 $\mathrm{ratio}_{\mathrm{top}} \leftarrow \frac{1}{N} \sum_{i=1}^{N} [\max \sigma_i > 0.95 \sigma_{\max}]$ 3 $\mathrm{ratio}_{\mathrm{low}} \leftarrow \frac{1}{N} \sum_{i=1}^{N} [\max \sigma_i < 0.05 \sigma_{\max}]$ 4 若$\mathrm{ratio}_{\mathrm{top}} > 0.15$成立，则 5 \quad old ← $\sigma_{\max}$ 6 \quad \mathbf{s}_{\mathrm{new}} ← \mathrm{BoundedSigmoid}(\mathbf{s}_{\mathrm{old}}, \sigma_{\max}) $ 7 $\sigma_{\max} \leftarrow 1.2 \cdot \sigma_{\max}$ 8 否则若$\mathrm{ratio}_{\mathrm{low}} > 0.95$成立，则 9 \quad old ← $\sigma_{\max}$ 10 $\sigma_{\max} \leftarrow \mathrm{InverseBoundedSigmoid}(\mathbf{s}_{\mathrm{old}}, \sigma_{\max})$ 我们计算目标面积$A_{target}$与原始投影面积$A_{origin}$之间的面积比k，并用$\sqrt{k}$对初始3D尺度进行缩放。此处，对于直径为n像素的圆形覆盖区域，$A_{target} = \pi n^{2}/4$的取值为相应值；我们在第IV节中分别评估了n=1和n=5的情况： $$ A_{\mathrm{o r i g i n}}=\pi\sqrt{\mathrm{d e t}(\mathbf{\Sigma}_{2D})},\ k=\frac{A_{\mathrm{t a r g e t}}}{A_{\mathrm{o r i g i n}}}. $$ 由于$\Sigma \propto \sigma^2$，将每个$\sigma$乘以$\sqrt{k}$后，投影面积便会按k的比例缩放： $$ \therefore\sigma_{x}^{\prime}=\sigma_{x}\sqrt{k},\quad\sigma_{y}^{\prime}=\sigma_{y}\sqrt{k},\quad\sigma_{z}^{\prime}=\sigma_{z}\sqrt{k}. $$ 这样生成的高斯分布具有自适应的平面内尺寸，能够在不同深度下实现稳定的渲染效果。 ### C. 局部GS建图 虽然最初根据激光雷达数据为每个高斯分配的参数能够大致反映环境结构，但要实现精确对齐和照片级真实感渲染，还需进一步细化。如图4所示，我们通过在包含最新K个关键帧的固定大小滑动窗口$W = \{I_{i-K+1}, \ldots, I_i\}$内优化可见高斯的参数，来对地图进行细化。 渲染后的像素$\hat{I}(u, v)$是通过alpha合成公式计算得出的，该公式会累加受视角影响的颜色，并依据不透明度[^1]进行加权： $$ \hat{I}(u,v)=\sum_{g}T_{g}\cdot\alpha_{g}\cdot C_{g}(\mathbf{v}_{g}),\quad T_{g}=\prod_{k=1}^{g-1}(1-\alpha_{k}), $$ 其中，高斯会根据其投影深度按从前到后的顺序进行排序。 为了量化渲染图像与观测图像之间的差异，我们定义了渲染损失函数。 ![Image](images/245433ca680cddd1d0be9a58a226e0cee0cb56e5a50646f2558470bb6eca4565.jpg)
Fig. 4: Sliding-window 3DGS Optimization. At index i, we jointly optimize the most recent K camera keyframes $\{\mathbf{T}_{i-K+1}, \ldots, \mathbf{T}_i\}$ together with all Gaussians visible from them.
该函数结合了L1损失和结构相似性指数（D-SSIM）损失 [^18]： $$ \begin{array}{r}{L_{\mathrm{r e n d e r}}=(1-\lambda_{\mathrm{s s i m}})L_{\mathrm{L1}}+\lambda_{\mathrm{s s i m}}L_{\mathrm{D-S S I M}},}\end{array} $$ 其中 $\lambda_{ssim}=0.2$ 用于平衡几何相似性与感知相似性。 在天空或背景等观测数据不足的区域，高斯参数在优化过程中往往会变得过大。为防止这种情况，我们对可学习的尺度参数s应用有界Sigmoid重参数化，将其映射到限定范围内 $\left[\sigma_{\min}, \sigma_{\max}\right]:$。 $$ \sigma_{\mathrm{b o u n d e d}}=\sigma_{\mathrm{m i n}}+(\sigma_{\mathrm{m a x}}-\sigma_{\mathrm{m i n}})\cdot\mathrm{s i g m o i d}(s). $$ 其逆映射关系如下： $$ s=\mathrm{sigmoid}^{-1}\left(\frac{\sigma_{\mathrm{bounded}}-\sigma_{\min}}{\sigma_{\max}-\sigma_{\min}}\right). $$ 虽然使用固定的上限 $\sigma_{max}$ 就能取得不错的效果，但我们通过根据当前高斯尺寸分布动态调整该上限来进一步提升稳定性。这一自适应过程在算法1中有详细说明，其中BoundedSigmoid和InverseBoundedSigmoid函数分别对应公式(12)和公式(13)。 为了实现高质量的场景重建，我们采用了一种顺序优化策略。该过程分为两个步骤：首先，在局部位姿优化阶段，我们通过最小化几何损失 $\{\mathbf{T}_{i-K+1}, ..., \mathbf{T}_i\}$ 来优化当前的相机位姿 $e_{icp}$；随后，在保持位姿固定的前提下，高斯优化阶段通过最小化光度渲染损失 $L_{render}$ 来优化可见高斯参数。 这一两步优化过程在滑动窗口框架内执行，以保证计算效率。当新增一个位姿 $\mathbf{T}_{i+1}$ 时，窗口会向前滑动，同时边缘化最旧的位姿 $\mathbf{T}_{i-K}$ 及其对应的高斯参数，从而维持固定的问题规模。这种方法将位姿估计与地图优化解耦，同时能随时间提升轨迹的一致性和渲染质量。 ### D. 全局高斯场景映射 虽然局部映射能在较短的时间窗口内改善几何对齐和真实感渲染效果，但它 --- 并未专门解决大规模探索过程中产生的长期漂移或不一致问题。为缓解这些问题，我们利用包含运动约束和几何约束的位姿图框架，对整个轨迹进行全局优化。 SLAM轨迹中的每个关键帧都对应全局位姿图中的一个节点，节点间有两种类型的边相连：一类是源自局部前端的相对里程计约束，另一类是空间或时间上相距较远的关键帧之间的面片间几何对齐约束。前者保证了连续性，后者则引入了长程结构保持项 [^13]、[^14]。 两个关键帧i和j之间的基于面片的对齐误差是通过G-ICP [^19] 框架来计算的。通过最近邻搜索确定对应关系；超出马氏距离阈值的配对会被视为异常值而剔除。残差向量为： $$ \mathbf{e}_{\mathrm{s u r f e l}}(i,j)={}^{i}\mathbf{R}_{j}\mathbf{p}_{j}+{}^{i}\mathbf{t}_{j}-\mathbf{p}_{i}, $$ 其中匹配面片对的联合协方差矩阵为： $$ \mathbf{C}_{i j}=\mathbf{\Sigma}_{i}+{}^{i}\mathbf{R}_{j}\mathbf{\Sigma}_{j}{}^{i}\mathbf{R}_{j}^{\top}, $$ 这里 $\Sigma_i$ 和 $\Sigma_j$ 分别是两个匹配面片在各自局部坐标系下的协方差矩阵，而 $^i\mathbf{R}_j$ 则按照G-ICP框架 $\Sigma_j$ 的要求，将 [^19] 从坐标系j变换到坐标系i。 $$ L_{\mathrm{g l o b a l}}=\sum_{i,j}\|e_{\mathrm{p o s e}}(i,j)\|_{\boldsymbol{\Sigma}_{\mathrm{o d o m}}}^{2}+\lambda_{\mathrm{s u r f e l}}\sum_{i,j}\|\mathbf{e}_{\mathrm{s u r f e l}}(i,j)\|_{\mathbf{C}_{i j}}^{2}, $$ 全局优化旨在最小化所有相连关键帧对之间的相对位姿误差以及基于面片的残差之和： 其中，$\|\mathbf{e}\|_{\Sigma}^2 = \mathbf{e}^\top \Sigma^{-1} \mathbf{e}$ 表示平方马氏范数。$e_{\text{pose}}(i, j)$ 是来自里程计的相对位姿约束，其噪声协方差为 $\Sigma_{\text{odom}}$，而 $\lambda_{\text{surfel}} = 1.0$ 则用于平衡几何对齐与运动一致性。 为了高效且增量式地求解这一优化问题，我们采用了 iSAM2 [^20]，它仅更新位姿图中受影响的部分，无需在每次迭代时重新线性化整个系统。这使得我们的方法能够在保持计算效率的同时，扩展到长期运行场景。 全局位姿图优化收敛后，通常只有一部分关键帧 $\mathbf{T}^{\text{refined}}$ 会受到影响。我们会更新与这些优化后的关键帧相关联的高斯分布，以反映它们的新位姿。具体而言，对于每个关键帧 $\mathbf{T} \in \mathbf{T}^{\text{refined}}$，我们对其关联的高斯分布 $G^{\text{refined}}$ 应用以下变换： $$ \forall\mathbf{G}\in G^{\mathrm{r e f i n e d}},\quad\mathbf{p}_{G}^{\mathrm{n e w}}=\mathbf{R}_{\mathbf{T}}^{\mathrm{o p t}}\mathbf{p}_{G}^{\mathrm{o l d}}+\mathbf{t}_{\mathbf{T}}^{\mathrm{o p t}}, $$ $$ \mathbf{R}_{G}^{\mathrm{n e w}}=\mathbf{R}_{\mathbf{T}}^{\mathrm{o p t}}\mathbf{R}_{G}^{\mathrm{o l d}}, $$ 其中，$\mathbf{p}_G^{\text{old}}, \mathbf{R}_G^{\text{old}}$ 为原始高斯分布的位置和朝向，而 $\mathbf{R}_T^{\text{opt}}, \mathbf{t}_T^{\text{opt}}$ 则为优化后的关键帧位姿。 经过这一变换后，高斯分布的空间配置便与全局优化后的关键帧轨迹对齐。不过，由于这些位姿更新可能会导致外观或表面覆盖上的不一致性， ```pseudo // Algorithm 2: Surfel Bundle Adjustment Keyframe Refinement. Periodically retrieves optimized global keyframe trajectory $\hat{\mathbf{T}}^{kf}$ from the SBA. If loop closure is detected, a sparse map refinement process is triggered. Input: Local Keyframe Trajectory $\mathbf{T}^{kf}$ Output: Refined Global Trajectory $\hat{\mathbf{T}}^{kf}$ ``` 1 优化完成后，loop ← GetTrajectory $(\mathbf{T}^{kf})$ 2 若已优化，则 3 | 遍历所有不在 $\mathbf{T}_{i}^{kf} \in \mathbf{T}^{kf}$ 中的 $\hat{\mathbf{T}}_{i}^{kf}$ 4 | 执行 $\left| \hat{\mathbf{T}}_{i}^{kf} \leftarrow \hat{\mathbf{T}}_{i-1}^{kf} \cdot \left( \mathbf{T}_{i-1}^{kf} \right)^{-1} \mathbf{T}_{i}^{kf} \right.$ 5 结束遍历 6 使用 $\hat{\mathbf{T}}^{kf}$ 进行轨迹精细化处理 7 若检测到闭环，则 8 触发稀疏地图精细化 9 结束条件判断 10 结束 我们会对更新后的高斯分布进行第二阶段精细化处理，以恢复照片级真实的渲染质量。 这一精细化过程侧重于高斯分布的内部参数，如尺度、不透明度以及球面谐波系数，同时保持相机位姿不变。我们复用了第III-C节中定义的渲染损失函数，将其应用范围限定在更新后的高斯批次 $G^{refined}$ 上： $$ L_{\mathrm{r e n d e r}}^{\mathrm{r e f i n e d}}=\sum_{\mathbf{T}\in\mathbf{T}^{\mathrm{r e f i n e d}}}L_{\mathrm{r e n d e r}}, $$ 其中，$L_{render}^{refined}$ 表示单个关键帧的渲染损失，采用前文定义的L1与SSIM项组合来计算。 这一精细化过程通过Adam优化器实现，确保即使经过全局位姿调整，高斯分布的外观仍能与观测数据保持一致。通过将优化范围限制在受影响的区域，我们兼顾了视觉保真度与计算效率。 ### 四、实验 ### A. 实验设置 我们评估了公开数据集以及自行采集的数据集，涵盖大规模室外和小规模室内环境。从FAST-LIVO2数据集 [^6] 中，我们选取了三个城市场景序列：Retail_Street（Retail）、CBD02和SYSU_01（SYSU01）。我们还采用了MARS-LVIG数据集 [^21] 中的基于无人机的airport03序列，该序列包含具有挑战性的沿海地形。此外，为了评估轨迹精度，我们使用了Botanic Garden数据集 [^22] 中的三个序列（00、01、07），该数据集提供了厘米级的RTK-GPS真实值。在室内评估方面，我们在类似办公室和展览风格的环境中采集了两个自定义数据集：Reception和Demo room，这些环境几何结构受限且纹理较少。 在表二和表三中，我们将六个数据集分别与GS-SDF [^3]、LetsGo [^4]、Photo-SLAM [^8]、GS-ICP-SLAM [^7]进行了比较， --- ![Image](images/75a54a432b0994b43a74989363b5d860bad256008dfd958cf47486bbbafe0f08.jpg)
Fig. 5: Experimental handheld platforms. The Livox AVIA (left) and MID-360 (right) are integrated with IMU and camera sensors.
我们使用PSNR、地图大小和总时长来评估我们方法的两种变体（Ours(1pixel)和Ours(5pixel)）。表四中的消融研究还采用了我们自定义数据集中的接收序列。 对于我们自定义的数据集，相机内参和激光雷达-相机外参是通过基于运动的工具包[^23]进行标定的；如图5所示，通过我们自主研发的手持设备实现了激光雷达、相机和IMU之间的硬件级同步，从而确保了精确的时间对齐。所有实验均在配备AMD Ryzen 9 7900 CPU、64GB内存和NVIDIA RTX 4090 GPU的台式机上开展。在深度不变初始化方面，我们给出了两种变体：Ours(1pixel)和Ours(5pixel)，分别对应1像素和5像素的目标投影覆盖区域。 我们在植物园数据集上评估定位精度，该数据集提供了厘米级的RTK-GPS真实值。我们将其与两类基线方法进行比较：传统的LIV方法（FAST-LIVO2 [^6]、R3LIVE [^22]）以及基于LIV的3DGS方法（GS-LIVM [^24]、Gaussian-LIC [^10]）。 ### B. 轨迹精度评估 在基于3DGS的方法中，GS-LIVM [^24]在Seq. 01上的ATE表现具有竞争力（0.557米），但在Seq. 07上的误差较大（1.785米）；而Gaussian-LIC [^10]在所有序列上的误差始终较高。这表明简单地将3DGS与激光雷达惯性里程计结合，不足以维持长期的轨迹一致性。相比之下，我们的面元束调整机制能在关键帧之间施加面元间的一致性约束，有助于抑制长序列中的累积漂移问题。 如表一和图6所示，我们的方法在所有三个序列上的ATE均最优（分别为0.528米、0.529米和0.498米）。在Z-RMSE指标上，我们的方法在Seq. 00/01上表现最佳（分别为0.352米和0.177米）；而FAST-LIVO2 [^6]在Seq. 07上表现最优（0.281米），我们的方法排名第二（0.286米）。FAST-LIVO2在Seq. 07上的垂直精度优势可能源于其直接的激光雷达特征对齐机制，能有效约束垂直方向的漂移；不过，我们的方法在同一序列上的整体ATE仍最优（0.498米对比0.784米），说明在所列序列上我们的3D定位性能更优。 ### C. 与现有方法的渲染效果对比 表二和表三将我们的LIVE-GS与离线方法GS-SDF [^3]（3万次迭代）和LetsGo [^4]（1.5万次迭代），以及在线方法Photo-SLAM [^8]进行了比较。
TABLE I: Trajectory accuracy on the Botanic Garden dataset [^22].
DatasetCategoryMethodATE (m) $\downarrow$Z-RMSE (m) $\downarrow$
Seq. 00Trad.FAST-LIVO21.1900.677
R3LIVE0.8250.422
3DGSGS-LIVM1.2470.498
Gaussian-LIC1.8120.698
Ours0.5280.352
Seq. 01Trad.FAST-LIVO20.7310.239
R3LIVE0.5830.199
3DGSGS-LIVM0.5570.179
Gaussian-LIC0.7830.410
Ours0.5290.177
Seq. 07Trad.FAST-LIVO20.7840.281
R3LIVE1.9860.673
3DGSGS-LIVM1.7851.575
Gaussian-LIC2.8320.728
Ours0.4980.286
注：绿色和橙色分别表示最佳和第二佳结果。 ![Image](images/b5b66c82928114837a0748f07b4501674a53b114975689afbc7b97c0fcde3186.jpg) ![Image](images/4d2bc612fabbeb6fa5dea43c0220c4f653e44535c2c192a4418e28d2617246ad.jpg)
Fig. 6: Trajectory accuracy on Botanic Garden. Our method achieves the closest alignment to the RTK-GPS ground-truth trajectory on Seq. 07.
同时，我们还从重建保真度（PSNR）、最终地图大小（Map）以及全序列处理时间（Dur.）维度，对GS-ICP-SLAM [^7]进行了评估。 在对比的基线方法中，我们的Ours(1pixel)变体在CBD02、Retail和airport03数据集上的PSNR值最高。相应的定性结果展示在图7中。Ours(5pixel)变体仅会带来轻微的PSNR下降，却能显著减小地图大小，在六个数据集中有五个的表现最为出色（例如Retail数据集为31.0 MB，SYSU01数据集为24.7 MB）。在我们自研的数据集上，我们的方法处理速度最快（96秒），生成的地图也最小（26.8 MB）。值得注意的是，在Demo room场景中，Ours(5pixel)的PSNR值（28.3 dB）高于Ours(1pixel)（25.5 dB），这是因为近距离拍摄产生的点云相对于场景范围而言更为稀疏；Ours(5pixel)更大的初始像素覆盖区域能更好地适配这种场景特点。 --- ![Image](images/b97bc95114dd1de6b8b221df39965bb9487de5daaeba910ed654caacedb815a8.jpg)
Fig. 7: Qualitative rendering results. Each column is a dataset; rows show GT, rendered image, and error map against GT
TABLE II: Rendering comparison with existing methods on the FAST-LIVO2 [^6] datasets.
DatasetMethodPSNR $\uparrow$Map(MB) $\downarrow$Dur.(s) $\downarrow$
CBD02GS-SDF24.1287.1589
LetsGo24.3203.0516
Photo-SLAM20.2171.7319
GS-ICP-SLAM18.1288.3321
Ours(1pixel)27.5235.0296
Ours(5pixel)27.055.2296
RetailGS-SDF27.2451.11032
LetsGo29.0293.2343
Photo-SLAM28.384.6153
GS-ICP-SLAM18.774.3147
Ours(1pixel)29.2111.7145
Ours(5pixel)28.131.0145
SYSU01GS-SDF25.6308.01752
LetsGo26.7307.5486
Photo-SLAM23.681.3193
GS-ICP-SLAM18.3275.2399
Ours(1pixel)27.890.2183
Ours(5pixel)27.924.7183
注意：绿色和橙色分别表示最佳和第二好的结果。“-”表示算法运行失败。 ![Image](images/bdda223e6df9fff436ffe84676a50e5f7d3854598d1b31a7c150dbef5edd3d0e.jpg)
Fig. 8: Qualitative ablation results of BS and SBA. The top row shows results without SBA on the left and without BS on the right. The bottom row displays results with SBA on the left and with BS on the right.
这种稀疏性能够生成更完整的高斯分布。因此，我们的方法在保持时间与存储开销低于离线方法的同时，实现了可比的渲染质量。 离线方法会带来巨大的计算开销。例如，GS-SDF [^3] 在SYSU01数据集上需要多达1752秒的计算时间，而LetsGo [^4] 在同一数据集上会占用307.5 MB的存储空间。
TABLE III: Rendering comparison with existing methods on the MARS-LVIG [^21] and our datasets.
DatasetMethodPSNR $\uparrow$Map(MB) $\downarrow$Dur.(s) $\downarrow$
airport03GS-SDF---
LetsGo17.3329.1843
Photo-SLAM16.977.9265
GS-ICP-SLAM---
Ours(1pixel)20.0146.4334
Ours(5pixel)19.747.1334
Demo roomGS-SDF28.1199.9952
LetsGo25.4107.7277
Photo-SLAM28.117.2170
GS-ICP-SLAM22.987.046
Ours(1pixel)25.5166.5142
Ours(5pixel)28.357.5142
ReceptionGS-SDF26.2314.11427
LetsGo27.731.5209
Photo-SLAM22.631.4117
GS-ICP-SLAM22.7181.6174
Ours(1pixel)23.494.896
Ours(5pixel)26.726.896
注意：绿色和橙色分别表示最佳和第二好的结果。“-”表示算法运行失败。
TABLE IV: Quantitative ablation results of BS and SBA
DatasetMetricBS(x) SBA(x)BS(x) SBA(O)BS(O) SBA(x)BS(O) SBA(O)
CBD02PSNR $\uparrow$25.926.426.027.0
max $\sigma$ $\downarrow$690.23599.540.430.43
RetailPSNR $\uparrow$27.627.927.828.1
max $\sigma$ $\downarrow$71.2959.040.340.34
ReceptionPSNR $\uparrow$27.027.224.526.7
max $\sigma$ $\downarrow$105.17154.070.120.11
注意：BS代表有界Sigmoid函数，SBA代表Surfell束调整算法。绿色和橙色分别表示最佳和第二好的结果。 而在线基线算法则面临鲁棒性方面的挑战。由于在大尺度室外环境中算法运行失败，GSICP-SLAM [^7] 和GS-SDF在airport03数据集上完全无法运行。我们的Ours(5pixel)变体通过在较粗的投影足迹处初始化高斯分布，在质量与效率之间取得了实用的平衡：地图大小显著减小（例如CBD02数据集从235.0 MB降至55.2 MB，缩减了4.3倍），且PSNR值仅出现轻微下降（从27.5 dB降至27.0 dB）。这些结果表明，深度不变初始化能够在保持感知保真度的同时控制表征密度。 --- 深度不变初始化能够在保持感知保真度的同时控制表征密度。 ### D. 消融实验 我们对系统的两个关键组件进行了消融实验：Surfel束调整算法（SBA）和有界Sigmoid约束（BS），以分别探究它们单独及共同作用的效果。实验结果汇总于表IV中，并在图8中可视化展示。 仅使用SBA时，通过优化关键帧对齐可提高PSNR值，但无法控制高斯分布的尺度；最大尺度可能超出场景范围，从而产生过大的高斯斑点，导致物体边界模糊（见图8左上角）。仅使用BS时，可将尺度限制在亚米级，恢复结构的真实性（见图8右上角）。然而，在Reception这一室内场景中，玻璃墙会透出远处的室外区域，严格的尺度限制会去除对远处区域的粗略覆盖，导致PSNR值降低；这表明仅靠尺度控制无法弥补混合室内外场景中的位姿对齐误差。 将这两个组件结合后，在所有数据集上均取得了最佳结果：SBA提供全局一致的位姿，而BS则确保高斯分布的空间紧凑性，单一组件均无法达到这种平衡。 ### V. 结论 我们提出了LIVE-GS，这是一种集成了Surfel束调整、深度不变初始化以及有界Sigmoid重参数化技术的激光雷达-惯性-视觉3D高斯溅射SLAM系统。这些创新提升了轨迹精度与渲染质量，同时减小了地图大小。实验表明，该系统在各种环境下均能取得具有竞争力的结果。 不过，我们的系统在高斯分布优化过程中并未显式利用激光雷达深度监督信息。引入深度约束可以强化几何一致性，并抑制在纹理缺失或观测稀疏区域出现的浮动高斯分布。因此，未来的工作将探索利用时序建模来处理动态物体，以及引入学习得到的先验知识进行外观分解，以提升系统在恶劣天气条件下的鲁棒性。 ## 参考文献 [^1]: B. Kerbl, G. Kopanas, T. Leimkuehler, and G. Drettakis, “3D Gaussian Splatting for Real-Time Radiance Field Rendering,” ACM Trans. Graph., vol. 42, no. 4, pp. 139:1–139:14, 2023. [^2]: J. L. Schonberger and J.-M. Frahm, “Structure-from-Motion Revisited,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, June 2016, pp. 4104–4113. [^3]: J. Liu, Y. Wan, B. Wang, C. Zheng, J. Lin, and F. Zhang, "GS-SDF: LiDAR-Augmented Gaussian Splatting and Neural SDF for Geometrically Consistent Rendering and Reconstruction," , Mar. 2025. [^4]: J. Cui, J. Cao, F. Zhao, Z. He, Y. Chen, Y. Zhong, L. Xu, Y. Shi, Y. Zhang, and J. Yu, "LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives," ACM Trans. Graph., vol. 43, no. 6, pp. 172:1–172:18, 2024. [^5]: T. Shan, B. Engl. VI-SAM: Tightly-coupled Lidar-Visu. Mapping," in 2021 IEFR on (ICRA). [^6]: C. Zheng, W. Xu, Z. Zou, T. Hua, C. Yuan, D. He, B. Zhou, Z. Liu, J. Lin, F. Zhu, Y. Ren, R. Wang, F. Meng, and F. Zhang, "FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry," IEEE Transactions on Robotics, vol. 41, pp. 326–346, 2025. [^7]: S. Ha, J. Yeon, and H. Yu, "RGBD GS-ICP SLAM," in Computer Vision – ECCV 2024: 18th European Conference, Milan, Italy, September 29–October 4, 2024, Proceedings, Part XXXVI. Berlin, Heidelberg: Springer-Verlag, 2024, pp. 180–197. [^8]: H. Huang, L. Li, H. Cheng, and S.-K. Yeung, "Photo-SLAM: Real-Time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras," in 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2024, pp. 21584–21593. [^9]: N. Keetha, J. Karhade, K. M. Jatavallabhula, G. Yang, S. Scherer, D. Ramanan, and J. Luiten, “SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM,” in 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2024, pp. 21357–21366. [^10]: X. Lang, L. Li, C. Wu, C. Zhao, L. Liu, Y. Liu, J. Lv, and X. Zuo, “Gaussian-LIC: Real-Time Photo-Realistic SLAM with Gaussian Splatting and LiDAR-Inertial-Camera Fusion,” , Sept. 2024. [^11]: C. Jiang, R. Gao, K. Shao, Y. Wang, R. Xiong, and Y. Zhang, "LIGS: Gaussian Splatting With LiDAR Incorporated for Accurate Large-Scale Reconstruction," IEEE Robotics and Automation Letters, vol. 10, no. 2, pp. 1864–1871, Feb. 2025. [^12]: K. Wu, K. Zhang, Z. Zhang, M. Tie, S. Yuan, J. Zhao, Z. Gan, and W. Ding, “HGS-Mapping: Online Dense Mapping Using Hybrid Gaussian Representation in Urban Scenes,” IEEE Robotics and Automation Letters, vol. 9, no. 11, pp. 9573–9580, Jan. 2024. [^13]: C. Park, P. Moghadam, S. Kim, A. Elfes, C. Fookes, and S. Sridharan, “Elastic LiDAR Fusion: Dense Map-Centric Continuous-Time SLAM,” in 2018 IEEE International Conference on Robotics and Automation (ICRA), May 2018, pp. 1206–1213. [^14]: C. Park, P. Moghadam, J. L. Williams, S. Kim, S. Sridharan, and C. Fookes, “Elasticity Meets Continuous-Time: Map-Centric Dense 3D LiDAR SLAM,” IEEE Transactions on Robotics, vol. 38, no. 2, pp. 978–997, Apr. 2022. [^15]: C. Forster, L. Carlone, F. Dellaert, and D. Scaramuzza, “On-Manifold Preintegration for Real-Time Visual-Inertial Odometry,” IEEE Transactions on Robotics, vol. 33, no. 1, pp. 1–21, Feb. 2017. [^16]: C. Park, S. Kim, P. Moghadam, C. Fookes, and S. Sridharan, “Probabilistic Surfel Fusion for Dense LiDAR Mapping,” in 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), Oct. 2017, pp. 2418–2426. [^17]: C. Forster, M. Pizzoli, and D. Scaramuzza, “SVO: Fast semi-direct monocular visual odometry,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), May 2014, pp. 15–22. [^18]: Z. Wang, A. Bovik, H. Sheikh, and E. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, Apr. 2004. [^19]: A. Segal, D. Haehnel, and S. Thrun, “Generalized-ICP,” in Robotics: Science and Systems V. Robotics: Science and Systems Foundation, June 2009. [^20]: M. Kaess, H. Johannsson, R. Roberts, V. Ila, J. J. Leonard, and F. Dellaert, “iSAM2: Incremental smoothing and mapping using the Bayes tree,” International Journal of Robotics Research, vol. 31, no. 2, pp. 216–235, 2012. [^21]: H. Li, Y. Zou, N. Chen, J. Lin, X. Liu, W. Xu, C. Zheng, R. Li, D. He, F. Kong, Y. Cai, Z. Liu, S. Zhou, K. Xue, and F. Zhang, "MARS-LVIG dataset: A multi-sensor aerial robots SLAM dataset for LiDAR-visual-inertial-GNSS fusion," International Journal of Robotics Research, vol. 43, no. 8, pp. 1114–1127, 2024. [^22]: J. Lin and F. Zhang, "R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state estimation and mapping package," in 2022 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2022, pp. 10672–10678. [^23]: C. Park, P. Moghadam, S. Kim, S. Sridharan, and C. Fookes, “Spatiotemporal Camera-LiDAR Calibration: A Targetless and Structureless Approach,” IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 1556–1563, Apr. 2020. [^24]: Y. Xie, Z. Huang, J. Wu, and J. Ma, “GS-LIVM: Real-Time Photo-Realistic LiDAR-Inertial-Visual Mapping with Gaussian Splatting,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). IEEE/CVF, 2025, pp. 26869–26879.