
# LiDAR-VGGT：用于全局一致且具度量尺度的密集建图的跨模态粗到细融合方法

王立杰 $^{ID}$、郭连杰 $^{ID}$、徐子逸 $^{ID}$、王乾浩 $^{ID}$、高飞 $^{ID}$ 以及陈谢元元 $^{ID}$

摘要—重建大规模RGB点云是机器人领域的重要任务，可为感知、导航和场景理解提供支持。尽管激光雷达惯性视觉里程计（LIVO）技术取得了进展，但其性能仍对外部标定高度敏感。与此同时，诸如VGGT之类的3D视觉基础模型在大型环境中的可扩展性有限，且本身缺乏度量尺度。为克服这些局限，我们提出了LiDAR-VGGT这一新型框架，它通过两阶段粗到细的融合流程，将激光雷达惯性里程计与最先进的VGGT模型相结合：首先，预融合模块能够稳健地估计每个会话下的VGGT位姿及具有粗略度量尺度的RGB点云；随后，后融合模块会优化跨模态3D相似性变换，利用基于边界框的规则化方法来减少因激光雷达与相机传感器视场不一致而导致的尺度失真。在多个数据集上的大量实验表明，与基于VGGT的方法和LIVO基线相比，LiDAR-VGGT在视觉质量和密度方面均有提升。我们的方法实现代码以及所提出的新型RGB点云评估工具包均已开源。

索引词—同步定位与地图构建、建图、传感器融合。

## 一、引言

在复杂环境中，重建精确的RGB点云是实现关键机器人功能的基础，例如感知[^4]、导航[^5]以及场景理解[^6]。此外，大规模三维重建对于具身导航至关重要，它能帮助机器人安全探索。

![Image](images/588275a70a171021155629971f174cc37b701839bee12fafb7d8f27779d82f61.jpg)

<div style="text-align: center;">(a) FAST-LIO2</div>

<div style="text-align: center;">(b) FAST-LIVO2</div>

![Image](images/9fcb1d54e728b3838bf33fc147995acdf34cd71e17b7efb35148cddcd29f11c3.jpg)

<div style="text-align: center;">(d) Ours</div>

![Image](images/745dfc45b9b550546a9a7c096bc638704686f3aa84aa018b46393329d2a98810.jpg)

<div style="text-align: center;">Fig. 1. (a) and (b) present point clouds from FAST-LIO2 [^1] and FAST-LIVO2 [^2], which are sparse and contain holes due to limited LiDAR scanning coverage. (c) shows the dense yet scale-ambiguous map produced by VGGT [^3]. (d) illustrates our method, achieving dense maps with accurate metric scale.</div>

在非结构化环境中进行探索[^7]；在多机器人协作场景下，共享地图能够支持协同任务[^8]、[^9]；在自动驾驶领域，它则能为定位与规划提供精确的环境模型[^10]。

![Image](images/53394498ecc86cbbac4d7cec0e8d5511ccea20e46d976724d56f6395c073f208.jpg)

传统的激光雷达惯性视觉里程计（LIVO）流程通过融合多模态测量数据来实现位姿估计与地图重建，已取得诸多进展 [^2]、[^11]、[^12]、[^13]、[^14]。然而，其性能严重依赖于精确的外部标定以及传感器间的紧密时间戳同步，这降低了其在现实世界部署中的鲁棒性。此外，如Fig. 1所示，激光雷达扫描的固有稀疏性阻碍了高密度、高保真RGB 3D重建的生成。

3D视觉基础模型的兴起为密集场景重建开辟了新途径。DUSt3R [^15] 和 MASt3R [^16] 等早期研究展示了从图像直接预测密集点云的潜力，不过它们仅能处理图像对，且需要后续融合才能用于更大场景。最近，视觉几何引导变换器（VGGT）[^3] 拓展了这一范式，它能在单次推理中从多组未标定的RGB帧中同时完成位姿估计、深度预测和密集3D重建。尽管VGGT无需显式优化即可生成密集且清晰的重建结果，但其可扩展性仍有限……

---

受GPU内存限制，生成的RGB点云缺乏度量尺度，这限制了其在大规模机器人应用中的实用性。为了处理大型环境中的长图像序列，近期的研究[^17]、[^18]采用分段处理方式：将图像划分为较小的片段，并对相邻片段进行对齐以实现大规模建图。虽然这种方式降低了内存需求，但这种成对对齐仅能确保子图之间的相对尺度一致，而无法建立全局一致的度量尺度。此外，这些方法依赖少量共享帧中生成的点云对应关系来进行子图对齐；一旦这些共享帧的重建质量较差，就会导致相邻子图之间的对齐出现偏差甚至错误。

相比之下，基于激光雷达的SLAM技术[^1]、[^19]能够通过回环检测[^20]、[^21]、[^22]和位姿图优化（PGO）自然提供精确的度量运动估计与全局一致性。利用激光雷达为VGGT重建结果提供基准，就能获得密度高、视觉清晰且度量准确的RGB地图。

基于此，我们提出了LiDAR-VGGT这一新型框架，它通过由粗到精的融合流程将激光雷达与VGGT紧密集成。在粗融合阶段，利用激光雷达惯性里程计（LIO）的位姿，通过结合尺度RANSAC和基于线性度的验证机制来剔除Sim(3)变换中的异常值，从而对VGGT位姿进行精细化调整。这使得经过尺度归一化的VGGT局部位姿能够转换到真实世界坐标系下，同时生成具有近似度量尺度的RGB点云。随后，精细融合模块利用该初始值进一步提升RGB地图的精度与一致性。每个片段的VGGT点云会通过稳定的跨模态Sim(3)配准与激光雷达点云对齐，该配准过程采用基于边界框的规则化方法，以减少相机与激光雷达视场差异导致的尺度失真，从而确保配准的稳定性并恢复真实的度量尺度。最后，通过全局PGO消除不同片段间的偏差，提升大规模场景下的全局一致性。在RGB点云评估方面，现有方法主要依赖基于渲染的指标，这类指标仅评估二维视图中的视觉质量，很大程度上忽略了底层的三维几何结构与真实地图[^14]、[^23]。然而，RGB点云的色彩质量本质上与几何精度密切相关：对齐偏差或结构畸变会直接影响三维空间中的色彩正确性。相比之下，我们提出了直接基于真实地图的评估指标，能够全面衡量色彩保真度与几何一致性。

我们的贡献可总结如下。

- 我们提出了LiDAR-VGGT，这是首个将激光雷达与VGGT融合以实现大规模、度量精确、高密度且全局一致的RGB点云重建的系统。

- 我们设计了统一的VGGT-激光雷达融合流程，集成了粗预融合阶段与细后融合阶段，能够实现VGGT重建结果与激光雷达地图的稳健配准。

- 我们推出了一款开源工具包$^{1}$，该工具包通过综合考虑几何一致性与真实色彩保真度来评估点云的色彩质量。

### II. 相关工作

### A. 多模态SLAM与重建

传统多模态SLAM方法会融合来自激光雷达、摄像头和IMU等多种传感器的信息，以估计轨迹并重建三维场景。R $^{3}$LIVE [^12]、[^13]系列算法将激光雷达点与图像像素紧密耦合，从而实现定位与RGB点云重建。FAST-LIVO和FAST-LIVO2 [^2]、[^11]利用激光雷达点与图像块的紧密耦合，能够在环境条件较差的情况下实现稳健的定位，并生成高精度的三维地图。与此同时，神经辐射场（NeRF）[^24]和3D高斯泼溅（3DGS）[^25]领域的最新进展也启发了当前的研究人员将新的地图表示形式集成到SLAM系统中。LiDAR-NeRF [^26]和SiLVR [^27]等扩展算法通过整合激光雷达深度数据与SLAM轨迹，实现了具有度量尺度的可扩展且几何精度高的重建。此外，Gaussian-LIC [^28]和GS-LIVO [^14]等系统则将激光雷达、IMU和视觉数据与高斯地图紧密融合，用于实时SLAM，能够在光照条件恶劣、运动复杂以及资源受限的情况下保持鲁棒性。总而言之，这些流程通过不同的传感器融合方法和地图表示形式实现了精确的定位和高精度的重建。不过，它们通常需要进行精确的外参标定以及传感器之间的时间同步。此外，激光雷达仅能提供稀疏的距离测量数据，这限制了重建结果的密度。

### B. 前馈场景重建

除了显式的几何优化之外，另一条研究路线是利用前馈神经网络从图像中建模三维场景。DUSt3R [^15]首次证明了大规模数据驱动重建的有效性：它可以通过图像对预测密集的点云图，并通过全局对齐恢复场景几何结构；不过随着输入图像数量的增加，其几何一致性会逐渐降低。为了提高可扩展性，后续研究探索了增量式重建方法：Spann3R [^29]引入了用于流式序列的学习型记忆模块，MV-DUSt3R+ [^30]将DUSt3R扩展到多帧输入场景，而SLAM3R [^31]则利用局部到全局模块对局部重建的点云图进行增量式对齐。然而，这些方法缺乏闭环校正机制来修正累积误差，因此其对短序列的鲁棒性有限。Fast3R [^32]进一步将前馈推理扩展到更大的图像集，但精度依然有限。

VGGT（视觉几何引导变换器）[^3]开创了一种统一的前馈框架，可用于多帧相机位姿估计、深度预测和密集重建，无需显式优化即可生成视觉效果良好的结果。不过，其可扩展性受到GPU内存的限制，仅能处理数十帧图像。为了实现大规模建图，VGGT-Long [^17]和VGGT-SLAM [^18]将长序列划分为子图，并执行$Sim(3)$与$SL(4)$配准操作。然而，这些分段式流程仅能保证相对尺度的一致性，缺乏可靠的全局度量尺度；由于它们依赖VGGT生成的子图之间的成对对齐，因此对质量较低的共享点云十分敏感，在退化或易产生漂移的条件下会导致结果不稳定甚至出错。

---

![Image](images/6951a7ce485153c310d150e2ec4a9d1b340a6ec9e3219a68b795f44a1cb2dfc0.jpg)

<div style="text-align: center;">Fig. 2. Overview of the proposed LiDAR-VGGT system. It takes multi-modal data from IMU, LiDAR, and camera as input and produces globally consistent, dense reconstructions with metric scale. Our pipeline follows a coarse-to-fine strategy, consisting of a pre-fusion module (Section III-B) and a post-fusion module (Section III-C). The former fuses LIO and VGGT poses to establish an approximate real-world scale for VGGT-generated scene attributes, while the latter refines the VGGT RGB point cloud through stabilized cross-modal Sim(3) registration and global pose graph optimization.</div>

### III. 方法论

### A. 问题表述与系统概述

VGGT以N张RGB图像——$S_N = \{I_1, I_2, ..., I_N\}$作为输入，每张图像记为$I_i \in \mathbb{R}^{3 \times H \times W}$。它输出的场景属性与重建结果如下：

 $$ f(S_{N})=(\mathbf{g}_{i},D_{i},P_{i},T r_{i})_{i=1}^{N}. $$

对于图像$I_i$而言，$\mathbf{g}_i \in \mathbb{R}^9$代表相机内参与外参，$D_i \in \mathbb{R}^{H \times W}$是预测的深度图，$P_i \in \mathbb{R}^{3 \times H \times W}$是对应的点云图，而$Tr_i \in \mathbb{R}^{C \times H \times W}$则是用于点跟踪的特征网格。在大规模场景中，图像序列$S_N$可被划分为K个重叠的会话$\mathbb{S}_K = \{S_1, S_2, \ldots, S_K\}$，每个会话$S_k \in \mathbb{S}_K$包含L帧图像。每个会话由VGGT独立处理，生成一组RGB点云会话$\mathbb{P}_K = \{\mathcal{P}_1, \mathcal{P}_2, \ldots, \mathcal{P}_K\}$，其中$\mathcal{P}_k \in \mathbb{P}_K$表示与首个图像的坐标系对齐的序列$S_k$的映射。

我们的目标是将每个会话$\mathcal{P}_k$与来自LIO的对应激光雷达点云$\mathcal{L}_k$进行配准，随后将所有会话合并为一致的全局地图。我们估算$\mathcal{T}_k^{V \to L} \in \text{Sim}(3)$与$\mathcal{P}_k$之间的相似变换$\mathcal{L}_k$，该变换包含$SE(3)$变换和缩放因子$s \in \mathbb{R}^+$。这种\textit{Sim}(3)变换可将每个VGGT会话与其对应的激光雷达数据对齐。接下来，我们对相邻VGGT会话间的相对变换$\mathcal{T}_{k \to k+1} \in SE(3)$进行优化，以实现无缝融合和全局一致的重建。我们提出的LiDAR-VGGT方案解决了这些难题，如图2所示。该方案融合了激光雷达扫描数据、IMU测量值和图像，可生成具有精确度量尺度的密集且全局一致的RGB地图。我们的系统包含两个模块：粗略预融合模块（第三节B部分）和精细后融合模块（第三节C部分）。

### B. 粗略预融合模块

对于VGGT组件，每个图像序列会被下采样——

以保留足够的帧间差异，从而确保VGGT推理的可靠性，

同时降低计算成本。随后，所选图像会被独立处理，以估算相机姿态并重建密集的RGB地图。对于LIO组件，

随后，所选图像会被独立处理以估算

相机姿态并重建密集的RGB地图。对于LIO组件，

我们采用FAST-LIO2 [^1]来构建激光雷达点云地图。

为确保长期的全局一致性，我们使用了RING++ [^20]——一种快速的激光雷达扫描描述符——来进行回环检测。

检测到的回环约束会被纳入

位姿图中，随后通过PGO对其进行优化，

从而得到全局一致的激光雷达地图。

获得全局一致的 LiDAR 地图。

姿态配准：我们为每个会话 $\text{Sim}(3)$ 估计一个 $S_k \in \mathbb{S}_K$ 变换，使用 LiDAR 位姿将 VGGT 位姿 $\{T_i^{\text{VGGT}}\}_{i=1}^L$ 对齐到世界坐标系。为简洁起见，下文省略了会话索引 k。每个 LiDAR 位姿使用外参转换为世界系统 $\{T_i^{\text{Cam}}\}_{i=1}^L$ 中具有相同时间戳的相机位姿。然后将每个 VGGT 位姿与时间上最近的相机位姿进行配对：

 $$ \begin{align*}\mathcal{C}_{k}&=\left\{\left(T_{i}^{\mathrm{VGGT}},T_{j^{*}(i)}^{\mathrm{Cam}}\right)\mid i=1,\ldots,L\right\},\\j^{*}(i)&=\arg\min_{j}\left|t_{i}^{\mathrm{VGGT}}-t_{j}^{\mathrm{Cam}}\right|,\end{align*} $$

其中 $t_i^{\text{VGGT}}$ 和 $t_j^{\text{Cam}}$ 是两个姿态的时间戳。给定成对的姿态，我们用 $\{\mathbf{x}_i\}_{i=0}^L$ 和 $\{\mathbf{y}_i\}_{i=0}^L$ 表示 VGGT 姿态和相机姿态的平移量。我们利用闭式 Umeyama 方法 $Sim(3)$ 来估计这两组姿态之间的标准 [^33] 变换，从而同时恢复缩放、旋转和平移参数。

线性度验证与旋转校正：尽管 Umeyama 方法能给出闭式的 Sim(3) 解，但其

---

![Image](images/7994bfb0f1c344ff49a43d784db2f2bcac510a1c7d9d66f57eb1c467148e1d6b.jpg)

<div style="text-align: center;">Fig. 3. (a) demonstrates an example with low linearity of LIO poses and thus yielding incorrect scale after pose registration. (b) shows the result with our scale correction which recovers an accurate scale close to the real value.</div>

在几何约束较弱的情况下，尤其是当运动轨迹接近线性时，旋转估计会变得不稳定。为了检测这种退化运动，我们对相机姿态序列执行主成分分析（PCA），并利用特征值 $\lambda_1 \geq \lambda_2 \geq \lambda_3$ 来定义线性度评分：

 $$ \ell=1-\frac{\lambda_{2}+\lambda_{3}}{\lambda_{1}}. $$

较大的 $\ell$ 值意味着运动近似线性。对于线性度较高的序列，我们通过应用标准的旋转平均算法来优化初始旋转，该算法在 VGGT 旋转和相机旋转之间进行计算。具体来说，各帧的相对旋转会被聚合起来，并通过奇异值分解投影到 $SO(3)$ 上，这一做法符合旋转平均领域的常规做法。最终得到的平均旋转将被用来修正初始估计值。

缩放参数的 RANSAC 估计与优化：如图 3(a) 所示，不准确的 VGGT 姿态可能会扭曲缩放估计结果。因此，我们采用基于 RANSAC 的方法来识别可靠的缩放参数，并优化整个会话级别的缩放值。从经验上看，线性度较高的姿态序列更有可能提供准确的缩放估计，因为平滑且近似线性的运动有助于 VGGT 中稳定的姿态估计。相反，线性度较低的大幅度运动会导致更大的姿态估计误差，进而降低恢复出的缩放参数的可靠性。因此，在我们的缩放 RANSAC 过程中，我们会优先将线性度高的序列作为内点先验。用 $\{s_k\}_{k=1}^K$ 表示初始缩放估计值，$\{\ell_k\}_{k=1}^K$ 表示对应的线性度评分。我们根据标准差定义一个缩放阈值：

 $$ \mathrm{t h r e s h o l d}=k_{\sigma}\cdot\sigma_{s},\quad\sigma_{s}=\mathrm{s t d}(\{s_{k}\}), $$

其中 $k_{\sigma}$ 被设为 2。通过 softmax 函数将 $\ell_{k}$ 转换为采样概率，从而优先选取高线性度的帧：

 $$ p_{k}=\frac{\exp(\alpha\ell_{k})}{\sum_{k=1}^{K}\exp(\alpha\ell_{k})}, $$

其中 $\alpha$ 由变异系数 cov 计算得出：

 $$ \alpha=\frac{1}{cov}=\frac{\frac{1}{K}\sum_{k=1}^{K}s_{k}}{\sigma_{s}}. $$

对于候选缩放参数 $s_{c}$，内点的定义为：

 $$ \mathcal{I}(s_{c})=\{k\mid|s_{k}-s_{c}|<threshold\}. $$

![Image](images/c43a68c9e4a9b34e107e0bb2c2d5e37d907fe6b8fbea3f2c9c5dbd97671c3063.jpg)

<div style="text-align: center;">Fig. 4. Structure of our global PGO. The first frame of the first session is fixed as the world reference frame.</div>

经过多次迭代后，缩放异常值会通过将最近的内点缩放值与它们重叠姿态所对应的 $\text{Sim}(3)$ 估计缩放值相结合来加以修正，从而确保缩放传播的一致性和准确性，如图 3(b) 所示。

### C. 精细后融合模块

该模块通过稳定的跨模态 Sim(3) 变换和全局 PGO 进一步细化配准过程。

稳定的跨模态 Sim(3) 配准：我们首先利用前端估计结果（第 III-B 节）对 VGGT 会话中的 $\mathcal{P}_k$ 进行变换，得到 $\mathcal{L}_k$，以此初始化 VGGT 会话 $\mathcal{P}_k$ 与对应激光雷达会话 $\mathcal{P}_k'$ 之间的配准关系。然而，由于相机和激光雷达之间存在视场角（FOV）差异，无约束的 Sim(3) 变换可能会过拟合并导致缩放漂移。为了稳定缩放参数，我们引入了正则化目标函数：

 $$ \min_{s_{2}>0,\mathbf{R}_{2}\in SO(3),\mathbf{t}_{2}\in\mathbb{R}^{3}}\sum_{i=1}^{M}\left\|\mathbf{q}_{i}-\left(s_{2}\mathbf{R}_{2}\mathbf{p}_{i}+\mathbf{t}_{2}\right)\right\|^{2}+\lambda\left(s_{2}-s_{1}^{*}\right)^{2}, $$

其中 $s_1^*$ 表示预融合阶段估计出的缩放值，正则化权重 $\lambda$ 的定义为：

 $$ \lambda=\beta\cdot n\cdot D^{2},\quad\beta\in(0,1], $$

其中，n表示源地图中的点数，D代表边界框的对角线长度，而$\beta$是一个用于控制正则化强度的可调系数。

与普通的\textit{Sim}(3)不同，尺度正则化会将$s_2$与对齐残差相关联，从而无法得到封闭形式的解。因此，优化过程需通过交替策略来解决：首先通过最近邻搜索确定点对应关系，并在每一步之后迭代更新，因为直接的多模态对应关系并不可得。具体来说，我们先固定$R_2$和$t_2$来更新尺度$s_2$，随后再根据更新后的对应关系来优化$R_2$和$t_2$。尺度$s_2$的封闭形式解如下：

 $$ s_{2}=\frac{\sum_{i=1}^{M}(\mathbf{q}_{i}-\mathbf{t}_{2})^{\top}\mathbf{R}_{2}\mathbf{p}_{i}+\lambda s_{1}^{*}}{\sum_{i=1}^{M}\left\|\mathbf{R}_{2}\mathbf{p}_{i}\right\|^{2}+\lambda}. $$

正则化项限制了尺度偏离初始估计值$s_{1}^{*}$的程度，从而稳定了多模态对齐效果。

全局位姿图优化：虽然会话级配准能确保局部精度，但如图4所示，全局一致性是通过PGO来实现的。优化过程包含了来自VGGT位姿的会话内约束，以及通过重叠区域的ICP得到的会话间约束。在GTSAM [^34]中实现该优化后，优化后的位姿会被用来将所有RGB点云重新投影到一个共同的全局坐标系中，最终得到全局一致的重建结果。

---

### D. RGB点云地图评估

颜色距离与颜色保真度：CD衡量重建点云与参考点云之间的平均双向颜色差异，而CF则以分贝形式表示这一数值，以便于理解。

 $$ \begin{align*}\mathrm{CD}&=\frac{1}{2N_{s}}\sum_{i=1}^{N_{s}}\|c^{s}_{i}-c^{r}_{\pi(i)}\|_{2}+\frac{1}{2N_{r}}\sum_{j=1}^{N_{r}}\|c^{r}_{j}-c^{s}_{\pi^{\prime}(j)}\|_{2},\\\mathrm{CF}&=-20\log_{10}(\mathrm{CD}),\tag{1}\end{align*} $$

其中，$c_i^s$和$c_j^r$分别表示源点云和参考点云的RGB颜色向量，$N_s$和$N_r$为它们的点数，$\pi(i)$和$\pi'(j)$则代表两组点集之间的最近邻对应关系。CD越小且CF越高，说明颜色保真度越好。

局部颜色召回率：LCR衡量的是重建地图中局部颜色差异低于某一阈值的参考点的比例：

 $$ \mathrm{L C R}_{r\rightarrow s}(\tau,r_{g})=\frac{1}{N_{r}}\sum_{j=1}^{N_{r}}\mathbb{I}\left(\min_{i\in\mathcal{N}_{s}(x_{j}^{r};r_{g})}\|c_{i}^{s}-c_{j}^{r}\|_{2}\leq3\tau\right), $$

其中，$\mathcal{N}_s(x_j^r; r_g)$表示半径为$x_j^r$时$r_g$的邻域，$\tau$为颜色阈值，$\mathbb{I}(\cdot)$是指示函数，当条件满足时返回1，否则返回0。

颜色一致性得分：我们假设地图中同一体素内的点由于空间连续性而具有相似的RGB值。CCS通过计算所有体素的RGB协方差迹的平均值来量化这种局部颜色均匀性：

 $$ \begin{align*}\mathrm{CCS}&=\frac{1}{N_{v}}\sum_{k=1}^{N_{v}}C_{i}^{(k)},\quad C_{i}^{(k)}=\mathrm{tr}(\Sigma_{c}^{(k)}),\\\Sigma_{c}^{(k)}&=\frac{1}{n_{k}-1}\sum_{j=1}^{n_{k}}(c_{j}^{(k)}-\bar{c}^{(k)})(c_{j}^{(k)}-\bar{c}^{(k)})^\top,\end{align*} $$

其中，$N_v$为被占据的体素数量，$n_k$为第k个体素中的点数，$c_j^{(k)}$和$\bar{c}^{(k)}$分别为第k个体素中的RGB向量及其均值，$\Sigma_c^{(k)}$为RGB协方差矩阵。CCS越小，说明颜色一致性越好。

### IV. 实验

### A. 实验设置

为了评估LiDAR-VGGT的性能，我们在多个数据集上开展了实验，包括公开的MARS-LVIG [^35]、FAST-LIVO2 [^2]和MUN_FRL [^36]数据集，以及使用图5所示硬件平台采集的自采数据集，相关参数见表I。具体而言，MARS-LVIG是一个大规模航空数据集，每个序列的覆盖范围约为$10^5$米$^2$。我们首先评估整体建图质量，将我们的方法与VGGT-Long、VGGT-SLAM和SLAM3R进行对比。随后我们开展消融实验以评估预融合模块和后融合模块的各自贡献，尤其关注所提出的带正则化项的增强版Sim(3)算法的影响。最后，我们进行了多模态对比与鲁棒性分析。

![Image](images/d494db90112a4d1492865df5086a27685acb787c9a407f264a4d9f35aa6427bb.jpg)

<div style="text-align: center;">Fig. 5. Our two data collection platforms. The UAV device (a) is used for outdoor data collection, while the handheld device (b) is used for indoor.</div>

<div style="text-align: center;">TABLE I OVERVIEW OF DATASET FOR EXPERIMENTS</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>Trajectory Length (m)</td><td style='text-align: center; word-wrap: break-word;'>LiDAR</td></tr><tr><td rowspan="5">MARS-LVIG</td><td style='text-align: center; word-wrap: break-word;'>HKAirport01</td><td style='text-align: center; word-wrap: break-word;'>2058</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>1877</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>4377</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>4915</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKairport03</td><td style='text-align: center; word-wrap: break-word;'>2073</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td rowspan="2">FAST-LIVO2</td><td style='text-align: center; word-wrap: break-word;'>Brightwall</td><td style='text-align: center; word-wrap: break-word;'>24</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CBDBuilding</td><td style='text-align: center; word-wrap: break-word;'>34</td><td style='text-align: center; word-wrap: break-word;'>Avia</td></tr><tr><td rowspan="2">MUN_FRL</td><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>168</td><td style='text-align: center; word-wrap: break-word;'>Velodyne</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>319</td><td style='text-align: center; word-wrap: break-word;'>Velodyne</td></tr><tr><td rowspan="3">Self-Collect</td><td style='text-align: center; word-wrap: break-word;'>Company</td><td style='text-align: center; word-wrap: break-word;'>75</td><td style='text-align: center; word-wrap: break-word;'>MID360</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Street</td><td style='text-align: center; word-wrap: break-word;'>69</td><td style='text-align: center; word-wrap: break-word;'>MID360</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TechnologyPark</td><td style='text-align: center; word-wrap: break-word;'>45</td><td style='text-align: center; word-wrap: break-word;'>MID360</td></tr></table>

分析提供了与LIO和LIVO方法之间的定量及定性对比结果。

### B. 建图质量实验

为简洁起见，我们将基准方法VGGT-Long简称为V-Long，将VGGT-SLAM的两种模式分别简称为V-Sim(3)和V-SL(4)。我们针对真实RGB地图评估了几何保真度和色彩质量。对于MARS-LVIG数据集，真实数据是由DJI L1和DJI Terra系统生成的高精度点云；对于MUN_FRL数据集，真实数据则是通过插值已知外参的地面真实位姿并将图像投影到点云上获得的。在基准测试中，我们使用CloudCompare将尺度与真实地图匹配，并对齐第一帧。几何指标的详细定义见[^37]。

几何保真度结果汇总于表II中。我们的方法在所有四项指标上均取得了最佳性能，这些指标包括倒角距离（CD）、ICP重叠率、平均Wasserstein距离（AWD）以及Fitness。值得注意的是，较低的AWD值意味着通过同时捕捉大尺度结构和局部几何信息，能够实现更好的全局几何一致性。除了覆盖面积超过450000平方米且存在大量纹理相似区域的极具挑战性的AMvalley01序列外，我们的方法在其余数据集上的重叠率均超过了50%，这体现了其对度量尺度和几何结构的有效保留能力。在覆盖数百至数千米的大尺度序列中，仅依赖激光雷达的SLAM会产生明显的漂移现象，而LiDAR-VGGT的AWD值却接近1米，表明其具有强大的全局一致性且与真实数据高度吻合。我们的方法还实现了

---

<div style="text-align: center;">TABLE II MAPPING GEOMETRIC FIDELITY COMPARISON</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Data</td><td style='text-align: center; word-wrap: break-word;'>V-Long</td><td style='text-align: center; word-wrap: break-word;'>V-Sim(3)</td><td style='text-align: center; word-wrap: break-word;'>SLAM3R</td><td style='text-align: center; word-wrap: break-word;'>V-SL(4)</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td rowspan="5">CD#\n(m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>52.01</td><td style='text-align: center; word-wrap: break-word;'>51.34</td><td style='text-align: center; word-wrap: break-word;'>184.4</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>2.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>55.14</td><td style='text-align: center; word-wrap: break-word;'>51.12</td><td style='text-align: center; word-wrap: break-word;'>135.4</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>10.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>26.2</td><td style='text-align: center; word-wrap: break-word;'>17.14</td><td style='text-align: center; word-wrap: break-word;'>35.5</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>6.33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>25.49</td><td style='text-align: center; word-wrap: break-word;'>34.9</td><td style='text-align: center; word-wrap: break-word;'>15.5</td><td style='text-align: center; word-wrap: break-word;'>23.25</td><td style='text-align: center; word-wrap: break-word;'>2.34</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>20.09</td><td style='text-align: center; word-wrap: break-word;'>16.92</td><td style='text-align: center; word-wrap: break-word;'>87.9</td><td style='text-align: center; word-wrap: break-word;'>14.0</td><td style='text-align: center; word-wrap: break-word;'>3.7</td></tr><tr><td rowspan="5">AC\n(m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>0.044</td><td style='text-align: center; word-wrap: break-word;'>0.044</td><td style='text-align: center; word-wrap: break-word;'>0.04</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>0.04</td><td style='text-align: center; word-wrap: break-word;'>0.043</td><td style='text-align: center; word-wrap: break-word;'>0.036</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.035</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>0.033</td><td style='text-align: center; word-wrap: break-word;'>0.035</td><td style='text-align: center; word-wrap: break-word;'>0.033</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.039</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>0.03</td><td style='text-align: center; word-wrap: break-word;'>0.03</td><td style='text-align: center; word-wrap: break-word;'>0.036</td><td style='text-align: center; word-wrap: break-word;'>0.028</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>0.044</td><td style='text-align: center; word-wrap: break-word;'>0.042</td><td style='text-align: center; word-wrap: break-word;'>0.04</td><td style='text-align: center; word-wrap: break-word;'>0.041</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr><tr><td rowspan="5">ICP\nOverlap\n $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>8%</td><td style='text-align: center; word-wrap: break-word;'>1.2%</td><td style='text-align: center; word-wrap: break-word;'>9.3%</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>53%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>2.3%</td><td style='text-align: center; word-wrap: break-word;'>2.2%</td><td style='text-align: center; word-wrap: break-word;'>4.9%</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>36.8%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>13.5%</td><td style='text-align: center; word-wrap: break-word;'>28.2%</td><td style='text-align: center; word-wrap: break-word;'>21.6%</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>58.6%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>8.8%</td><td style='text-align: center; word-wrap: break-word;'>16.5%</td><td style='text-align: center; word-wrap: break-word;'>32.5%</td><td style='text-align: center; word-wrap: break-word;'>12.9%</td><td style='text-align: center; word-wrap: break-word;'>91%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>33%</td><td style='text-align: center; word-wrap: break-word;'>23.5%</td><td style='text-align: center; word-wrap: break-word;'>8.3%</td><td style='text-align: center; word-wrap: break-word;'>22.4%</td><td style='text-align: center; word-wrap: break-word;'>78.9%</td></tr><tr><td rowspan="5">AWD\n(m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>1.67</td><td style='text-align: center; word-wrap: break-word;'>1.4</td><td style='text-align: center; word-wrap: break-word;'>1.37</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>1.89</td><td style='text-align: center; word-wrap: break-word;'>1.75</td><td style='text-align: center; word-wrap: break-word;'>1.79</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>1.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>1.64</td><td style='text-align: center; word-wrap: break-word;'>1.34</td><td style='text-align: center; word-wrap: break-word;'>1.42</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>1.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>1.88</td><td style='text-align: center; word-wrap: break-word;'>1.67</td><td style='text-align: center; word-wrap: break-word;'>1.92</td><td style='text-align: center; word-wrap: break-word;'>1.80</td><td style='text-align: center; word-wrap: break-word;'>1.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>1.59</td><td style='text-align: center; word-wrap: break-word;'>1.66</td><td style='text-align: center; word-wrap: break-word;'>1.69</td><td style='text-align: center; word-wrap: break-word;'>1.78</td><td style='text-align: center; word-wrap: break-word;'>1.50</td></tr><tr><td rowspan="5">Fitness\n $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>0.007</td><td style='text-align: center; word-wrap: break-word;'>0.001</td><td style='text-align: center; word-wrap: break-word;'>0.004</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>0.0012</td><td style='text-align: center; word-wrap: break-word;'>0.002</td><td style='text-align: center; word-wrap: break-word;'>0.003</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.023</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>0.006</td><td style='text-align: center; word-wrap: break-word;'>0.015</td><td style='text-align: center; word-wrap: break-word;'>0.01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>0.0043</td><td style='text-align: center; word-wrap: break-word;'>0.009</td><td style='text-align: center; word-wrap: break-word;'>0.03</td><td style='text-align: center; word-wrap: break-word;'>0.0064</td><td style='text-align: center; word-wrap: break-word;'>0.13</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>0.036</td><td style='text-align: center; word-wrap: break-word;'>0.022</td><td style='text-align: center; word-wrap: break-word;'>0.006</td><td style='text-align: center; word-wrap: break-word;'>0.022</td><td style='text-align: center; word-wrap: break-word;'>0.08</td></tr></table>

CD#表示倒角距离，$\times$表示系统运行失败。

<div style="text-align: center;">TABLE III</div>

<div style="text-align: center;">RGB POINT CLOUD COLOR QUALITY EVALUATION</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Data</td><td style='text-align: center; word-wrap: break-word;'>V-Long</td><td style='text-align: center; word-wrap: break-word;'>V-Sim(3)</td><td style='text-align: center; word-wrap: break-word;'>SLAM3R</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td rowspan="5">CD $^{{*}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>130.49</td><td style='text-align: center; word-wrap: break-word;'>130.96</td><td style='text-align: center; word-wrap: break-word;'>122.22</td><td style='text-align: center; word-wrap: break-word;'>82.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>87.04</td><td style='text-align: center; word-wrap: break-word;'>85.76</td><td style='text-align: center; word-wrap: break-word;'>85.50</td><td style='text-align: center; word-wrap: break-word;'>84.48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>158.21</td><td style='text-align: center; word-wrap: break-word;'>142.29</td><td style='text-align: center; word-wrap: break-word;'>152.83</td><td style='text-align: center; word-wrap: break-word;'>112.90</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>67.92</td><td style='text-align: center; word-wrap: break-word;'>70.80</td><td style='text-align: center; word-wrap: break-word;'>72.23</td><td style='text-align: center; word-wrap: break-word;'>58.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>59.84</td><td style='text-align: center; word-wrap: break-word;'>57.98</td><td style='text-align: center; word-wrap: break-word;'>59.23</td><td style='text-align: center; word-wrap: break-word;'>57.55</td></tr><tr><td rowspan="5">CF (dB) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>11.87</td><td style='text-align: center; word-wrap: break-word;'>11.84</td><td style='text-align: center; word-wrap: break-word;'>12.41</td><td style='text-align: center; word-wrap: break-word;'>15.81</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>15.39</td><td style='text-align: center; word-wrap: break-word;'>15.52</td><td style='text-align: center; word-wrap: break-word;'>15.54</td><td style='text-align: center; word-wrap: break-word;'>15.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>10.21</td><td style='text-align: center; word-wrap: break-word;'>11.09</td><td style='text-align: center; word-wrap: break-word;'>10.50</td><td style='text-align: center; word-wrap: break-word;'>13.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>11.49</td><td style='text-align: center; word-wrap: break-word;'>11.13</td><td style='text-align: center; word-wrap: break-word;'>10.96</td><td style='text-align: center; word-wrap: break-word;'>12.78</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>12.59</td><td style='text-align: center; word-wrap: break-word;'>12.87</td><td style='text-align: center; word-wrap: break-word;'>12.68</td><td style='text-align: center; word-wrap: break-word;'>12.93</td></tr><tr><td rowspan="5">CCS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>1.53</td><td style='text-align: center; word-wrap: break-word;'>2.07</td><td style='text-align: center; word-wrap: break-word;'>1.76</td><td style='text-align: center; word-wrap: break-word;'>1.19</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>0.83</td><td style='text-align: center; word-wrap: break-word;'>0.88</td><td style='text-align: center; word-wrap: break-word;'>0.73</td><td style='text-align: center; word-wrap: break-word;'>0.67</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>1.99</td><td style='text-align: center; word-wrap: break-word;'>1.76</td><td style='text-align: center; word-wrap: break-word;'>1.81</td><td style='text-align: center; word-wrap: break-word;'>1.11</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>1.54</td><td style='text-align: center; word-wrap: break-word;'>2.18</td><td style='text-align: center; word-wrap: break-word;'>1.72</td><td style='text-align: center; word-wrap: break-word;'>1.62</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>1.31</td><td style='text-align: center; word-wrap: break-word;'>1.75</td><td style='text-align: center; word-wrap: break-word;'>1.27</td><td style='text-align: center; word-wrap: break-word;'>1.12</td></tr><tr><td rowspan="5">LCR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>2.6%</td><td style='text-align: center; word-wrap: break-word;'>0.4%</td><td style='text-align: center; word-wrap: break-word;'>0.86%</td><td style='text-align: center; word-wrap: break-word;'>24.1%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>1.32%</td><td style='text-align: center; word-wrap: break-word;'>1.27%</td><td style='text-align: center; word-wrap: break-word;'>0.5%</td><td style='text-align: center; word-wrap: break-word;'>17.8%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>3.2%</td><td style='text-align: center; word-wrap: break-word;'>5.96%</td><td style='text-align: center; word-wrap: break-word;'>2.8%</td><td style='text-align: center; word-wrap: break-word;'>23.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LightHouse</td><td style='text-align: center; word-wrap: break-word;'>1.7%</td><td style='text-align: center; word-wrap: break-word;'>4.6%</td><td style='text-align: center; word-wrap: break-word;'>6.1%</td><td style='text-align: center; word-wrap: break-word;'>36.7%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Flight</td><td style='text-align: center; word-wrap: break-word;'>7.9%</td><td style='text-align: center; word-wrap: break-word;'>3.1%</td><td style='text-align: center; word-wrap: break-word;'>0.8%</td><td style='text-align: center; word-wrap: break-word;'>18.6%</td></tr></table>

CD*表示色彩距离。

仅几米的平均CD值；某些情况下略高的CD值主要是由于视场差异导致的，双向评估会放大非重叠区域的误差。最终，LiDAR-VGGT在三个数据集上均取得了最佳的精度距离（AC），反映出更高的局部位置精度。

色彩质量评估结果见表III。我们的方法在所有指标上均接近最优性能，

![Image](images/4b1d1c07add7f5d3757a12cbbe955d47c97724b5c115f5394c0e82ef97959826.jpg)

<div style="text-align: center;">Fig. 6. Our large-scale mapping result in the MARS-LVIG HKisland01 dataset. The enlarged details show that the reconstructed RGB point cloud is dense, consistent, and maintains an accurate metric scale.</div>

![Image](images/d758952aa8bd149639a1acc9c861e9835235175913e824f864d9f81afeade202.jpg)

<div style="text-align: center;">Fig. 7. The visualization of LCR on five sequences shows that our mapping results maintain good local color consistency compared to the ground-truth map. The holes in the middle are mainly caused by the lower geometric quality of the VGGT point clouds, which deviate from the truth map.</div>

展现出出色的色彩保真度。图7展示了所有五个数据集中$\tau = 0.1$米和$r_{g} = 0.5$米处的LCR值，可见我们的地图与真实数据保持了整体的色彩一致性，而空白区域主要是因VGGT点云的几何质量较差且重叠度低所致。由于基准方法在该极具挑战性的数据集上无法正常运行，因此图6中仅展示了我们的结果。如图所示，我们的方法在大规模岛屿场景中生成了高质量、高密度的地图。

### C. 消融实验中的配准部分

我们以激光雷达点云作为参考来评估配准性能，并对比三种变体：普通$Sim(3)$、我们提出的稳定化跨模态$Sim(3)$，以及仅包含位姿配准的预融合模块。我们计算每个会话下的均方根误差（RMSE）、CD、AWD和空间一致性得分（SCS），并报告它们的平均值。

---

<div style="text-align: center;">TABLE IV REGISTRATION COMPARISON FOR ABLATION</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Data</td><td colspan="4">Pre-Fusion</td><td colspan="4">Normal Sim(3)</td><td colspan="4">Regularization Sim(3)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RMSE (m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AWD (m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD (m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>SCS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RMSE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AWD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>SCS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RMSE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AWD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>SCS $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKairport03</td><td style='text-align: center; word-wrap: break-word;'>72.87</td><td style='text-align: center; word-wrap: break-word;'>5.89</td><td style='text-align: center; word-wrap: break-word;'>2.45</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>1.03</td><td style='text-align: center; word-wrap: break-word;'>1.81</td><td style='text-align: center; word-wrap: break-word;'>0.051</td><td style='text-align: center; word-wrap: break-word;'>0.54</td><td style='text-align: center; word-wrap: break-word;'>1.02</td><td style='text-align: center; word-wrap: break-word;'>1.34</td><td style='text-align: center; word-wrap: break-word;'>0.048</td><td style='text-align: center; word-wrap: break-word;'>0.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>37.31</td><td style='text-align: center; word-wrap: break-word;'>6.76</td><td style='text-align: center; word-wrap: break-word;'>22.1</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>1.01</td><td style='text-align: center; word-wrap: break-word;'>0.74</td><td style='text-align: center; word-wrap: break-word;'>0.05</td><td style='text-align: center; word-wrap: break-word;'>0.6</td><td style='text-align: center; word-wrap: break-word;'>0.968</td><td style='text-align: center; word-wrap: break-word;'>0.73</td><td style='text-align: center; word-wrap: break-word;'>0.046</td><td style='text-align: center; word-wrap: break-word;'>0.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>17.08</td><td style='text-align: center; word-wrap: break-word;'>14.26</td><td style='text-align: center; word-wrap: break-word;'>10.02</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.901</td><td style='text-align: center; word-wrap: break-word;'>0.786</td><td style='text-align: center; word-wrap: break-word;'>0.057</td><td style='text-align: center; word-wrap: break-word;'>0.53</td><td style='text-align: center; word-wrap: break-word;'>0.893</td><td style='text-align: center; word-wrap: break-word;'>0.675</td><td style='text-align: center; word-wrap: break-word;'>0.056</td><td style='text-align: center; word-wrap: break-word;'>0.52</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKairport01</td><td style='text-align: center; word-wrap: break-word;'>38.23</td><td style='text-align: center; word-wrap: break-word;'>7.77</td><td style='text-align: center; word-wrap: break-word;'>23.0</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>1.03</td><td style='text-align: center; word-wrap: break-word;'>1.29</td><td style='text-align: center; word-wrap: break-word;'>0.042</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.97</td><td style='text-align: center; word-wrap: break-word;'>1.25</td><td style='text-align: center; word-wrap: break-word;'>0.032</td><td style='text-align: center; word-wrap: break-word;'>0.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>224.9</td><td style='text-align: center; word-wrap: break-word;'>10.39</td><td style='text-align: center; word-wrap: break-word;'>2.53</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>2.95</td><td style='text-align: center; word-wrap: break-word;'>2.49</td><td style='text-align: center; word-wrap: break-word;'>0.031</td><td style='text-align: center; word-wrap: break-word;'>0.66</td><td style='text-align: center; word-wrap: break-word;'>0.942</td><td style='text-align: center; word-wrap: break-word;'>1.33</td><td style='text-align: center; word-wrap: break-word;'>0.018</td><td style='text-align: center; word-wrap: break-word;'>0.64</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BrightWall</td><td style='text-align: center; word-wrap: break-word;'>2.06</td><td style='text-align: center; word-wrap: break-word;'>0.88</td><td style='text-align: center; word-wrap: break-word;'>0.101</td><td style='text-align: center; word-wrap: break-word;'>0.61</td><td style='text-align: center; word-wrap: break-word;'>0.205</td><td style='text-align: center; word-wrap: break-word;'>0.66</td><td style='text-align: center; word-wrap: break-word;'>0.09</td><td style='text-align: center; word-wrap: break-word;'>0.60</td><td style='text-align: center; word-wrap: break-word;'>0.196</td><td style='text-align: center; word-wrap: break-word;'>0.63</td><td style='text-align: center; word-wrap: break-word;'>0.08</td><td style='text-align: center; word-wrap: break-word;'>0.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CBDBuilding</td><td style='text-align: center; word-wrap: break-word;'>2.47</td><td style='text-align: center; word-wrap: break-word;'>0.94</td><td style='text-align: center; word-wrap: break-word;'>0.12</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.78</td><td style='text-align: center; word-wrap: break-word;'>0.74</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>0.60</td><td style='text-align: center; word-wrap: break-word;'>0.49</td><td style='text-align: center; word-wrap: break-word;'>0.64</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>0.60</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Company</td><td style='text-align: center; word-wrap: break-word;'>1.04</td><td style='text-align: center; word-wrap: break-word;'>0.45</td><td style='text-align: center; word-wrap: break-word;'>0.064</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.29</td><td style='text-align: center; word-wrap: break-word;'>0.41</td><td style='text-align: center; word-wrap: break-word;'>0.07</td><td style='text-align: center; word-wrap: break-word;'>0.54</td><td style='text-align: center; word-wrap: break-word;'>0.28</td><td style='text-align: center; word-wrap: break-word;'>0.40</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>0.49</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Street</td><td style='text-align: center; word-wrap: break-word;'>1.24</td><td style='text-align: center; word-wrap: break-word;'>0.56</td><td style='text-align: center; word-wrap: break-word;'>0.079</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.28</td><td style='text-align: center; word-wrap: break-word;'>0.49</td><td style='text-align: center; word-wrap: break-word;'>0.064</td><td style='text-align: center; word-wrap: break-word;'>0.52</td><td style='text-align: center; word-wrap: break-word;'>0.24</td><td style='text-align: center; word-wrap: break-word;'>0.46</td><td style='text-align: center; word-wrap: break-word;'>0.058</td><td style='text-align: center; word-wrap: break-word;'>0.5</td></tr></table>

![Image](images/a7d83f684a5ef9e07cada001cdcd4ab8331e7b1c9539b7525c42a9b7c69b7a92.jpg)

![Image](images/9a330ec2e28f580d38e2545d663e8e32a9fba9d26417d6ccf1cdcd2d0829c7cb.jpg)

![Image](images/157afea74becc48373ee8b718887685d96b567c3e166804d6f8c0065cf9f4115.jpg)

<div style="text-align: center;">(d)</div>

![Image](images/5d25ff4f064cee7f3795d2a8e3dbd089a215f129f6f22f0cb02a667719a56efa.jpg)

<div style="text-align: center;">Fig. 8. These figures show registration comparisons on a single session of the MARS-LVIG dataset between normal Sim(3) and our regularized Sim(3). The former suffers from excessive scale distortion, while the latter achieves accurate alignment with minimal scale error. (e) presents the registration result of our method on the MUN_FRL dataset.</div>

这些平均值涵盖所有会话。其中，SCS用于衡量局部几何一致性，数值越小表明局部误差越均匀，整体地图质量越好。表四展示了三种变体的对比结果，其中两种变体使用的迭代次数相同。我们的方法在几乎所有指标上均优于普通的Sim(3)算法，而预融合方法的性能最差，原因是其缺乏直接的点云融合步骤。图8为我们方法的优异性能提供了直观解释：在视场角不同的点云进行跨模态匹配时，普通Sim(3)算法中不受约束的尺度更新会导致无界的尺度畸变，如图(b)和(d)所示；相比之下，我们的方法中正则化项的合理引入能够有效保持准确的尺度，如图8(a)、(c)和(e)所示。

### D. 多模态对比与鲁棒性分析

我们将我们的方法与具有代表性的LIO和LIVO基线算法进行对比，包括FAST-LIO2以及两个著名的LIVO系统R³LIVE和FAST-LIVO2，分别记为LIO2、R3和LIVO2。如表五所示，得益于极高的定位精度，LIVO2在所有颜色指标和大多数几何指标上的表现最佳。我们的方法在几乎所有颜色质量指标上均取得第二好的结果，且性能优于R3，显示出在RGB重建方面的巨大潜力。在AWD和CD#等几何指标方面，我们的方法虽不如LIO2和LIVO2，主要原因在于VGGT的几何保真度有限，但仍优于R3。

<div style="text-align: center;">TABLE V</div>

<div style="text-align: center;">COMPREHENSIVE EVALUATION WITH LiDAR METHODS</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Data</td><td style='text-align: center; word-wrap: break-word;'>LIO2</td><td style='text-align: center; word-wrap: break-word;'>R3</td><td style='text-align: center; word-wrap: break-word;'>LIVO2</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td rowspan="3">CD $^{{*}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>131.4</td><td style='text-align: center; word-wrap: break-word;'>64.28</td><td style='text-align: center; word-wrap: break-word;'>82.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>117.0</td><td style='text-align: center; word-wrap: break-word;'>59.76</td><td style='text-align: center; word-wrap: break-word;'>84.48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>146.1</td><td style='text-align: center; word-wrap: break-word;'>88.4</td><td style='text-align: center; word-wrap: break-word;'>112.90</td></tr><tr><td rowspan="3">CF (dB) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>11.78</td><td style='text-align: center; word-wrap: break-word;'>17.99</td><td style='text-align: center; word-wrap: break-word;'>15.81</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>12.79</td><td style='text-align: center; word-wrap: break-word;'>18.62</td><td style='text-align: center; word-wrap: break-word;'>15.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>10.86</td><td style='text-align: center; word-wrap: break-word;'>15.22</td><td style='text-align: center; word-wrap: break-word;'>13.12</td></tr><tr><td rowspan="3">CCS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>1.30</td><td style='text-align: center; word-wrap: break-word;'>0.77</td><td style='text-align: center; word-wrap: break-word;'>1.19</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.68</td><td style='text-align: center; word-wrap: break-word;'>0.38</td><td style='text-align: center; word-wrap: break-word;'>0.67</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>2.14</td><td style='text-align: center; word-wrap: break-word;'>1.24</td><td style='text-align: center; word-wrap: break-word;'>1.11</td></tr><tr><td rowspan="3">LCR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.84%</td><td style='text-align: center; word-wrap: break-word;'>94.6%</td><td style='text-align: center; word-wrap: break-word;'>24.1%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>0.57%</td><td style='text-align: center; word-wrap: break-word;'>86.9%</td><td style='text-align: center; word-wrap: break-word;'>17.8%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>$\times$</td><td style='text-align: center; word-wrap: break-word;'>11.6%</td><td style='text-align: center; word-wrap: break-word;'>98%</td><td style='text-align: center; word-wrap: break-word;'>23.0%</td></tr><tr><td rowspan="3">AWD (m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>0.74</td><td style='text-align: center; word-wrap: break-word;'>4.3</td><td style='text-align: center; word-wrap: break-word;'>0.51</td><td style='text-align: center; word-wrap: break-word;'>0.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>0.80</td><td style='text-align: center; word-wrap: break-word;'>1.92</td><td style='text-align: center; word-wrap: break-word;'>0.46</td><td style='text-align: center; word-wrap: break-word;'>1.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>0.38</td><td style='text-align: center; word-wrap: break-word;'>1.20</td><td style='text-align: center; word-wrap: break-word;'>0.15</td><td style='text-align: center; word-wrap: break-word;'>1.12</td></tr><tr><td rowspan="3">AC (m) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>0.045</td><td style='text-align: center; word-wrap: break-word;'>0.079</td><td style='text-align: center; word-wrap: break-word;'>0.042</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>0.037</td><td style='text-align: center; word-wrap: break-word;'>0.041</td><td style='text-align: center; word-wrap: break-word;'>0.074</td><td style='text-align: center; word-wrap: break-word;'>0.035</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>0.078</td><td style='text-align: center; word-wrap: break-word;'>0.041</td><td style='text-align: center; word-wrap: break-word;'>0.07</td><td style='text-align: center; word-wrap: break-word;'>0.039</td></tr><tr><td rowspan="3">CD $\#$ $(m)$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>1.92</td><td style='text-align: center; word-wrap: break-word;'>212.8</td><td style='text-align: center; word-wrap: break-word;'>0.72</td><td style='text-align: center; word-wrap: break-word;'>2.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>9.28</td><td style='text-align: center; word-wrap: break-word;'>248.9</td><td style='text-align: center; word-wrap: break-word;'>1.19</td><td style='text-align: center; word-wrap: break-word;'>10.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>0.69</td><td style='text-align: center; word-wrap: break-word;'>197.5</td><td style='text-align: center; word-wrap: break-word;'>0.29</td><td style='text-align: center; word-wrap: break-word;'>6.33</td></tr><tr><td rowspan="3">Points $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>AMtown01</td><td style='text-align: center; word-wrap: break-word;'>$1.1 \times 10^{{8}}$</td><td style='text-align: center; word-wrap: break-word;'>$6.4 \times 10^{{7}}$</td><td style='text-align: center; word-wrap: break-word;'>$3.3 \times 10^{{8}}$</td><td style='text-align: center; word-wrap: break-word;'>$1.5 \times 10^{{9}}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMvalley01</td><td style='text-align: center; word-wrap: break-word;'>$9.1 \times 10^{{7}}$</td><td style='text-align: center; word-wrap: break-word;'>$6.3 \times 10^{{7}}$</td><td style='text-align: center; word-wrap: break-word;'>$2.5 \times 10^{{8}}$</td><td style='text-align: center; word-wrap: break-word;'>$6.0 \times 10^{{9}}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HKisland01</td><td style='text-align: center; word-wrap: break-word;'>$4.1 \times 10^{{7}}$</td><td style='text-align: center; word-wrap: break-word;'>$2.8 \times 10^{{7}}$</td><td style='text-align: center; word-wrap: break-word;'>$1.1 \times 10^{{8}}$</td><td style='text-align: center; word-wrap: break-word;'>$3.5 \times 10^{{9}}$</td></tr></table>

CD*表示颜色距离。CD#表示倒角距离。

在所有序列中，我们的方法都能生成密度更高的重建结果。在所有序列中，我们重建出的点数达到了数十亿个（例如$1.5 \times 10^9$ – $-6.0 \times 10^9$），而LIVO2和R3生成的点云点数仅为我们的1/4.5到1/125。这种高密度为对齐过程提供了更多的对应点候选，使得我们的方法在所有对比算法中实现了最佳的AC性能。

此外，我们在自采集数据集和MUN_FRL数据集上对我们的方法和LIVO2进行了评估。前者具有大致校准的外参，但硬件时间同步可靠；后者外参校准精确，但缺乏时间同步机制。图9对比了这两种方法的结果。可以看出，在缺少时间同步或精确校准的情况下，LIVO2的性能会显著下降，生成的地图较为模糊；相比之下，我们的方法几乎不受影响，生成的点云更清晰、更干净且密度更高。

---

<div style="text-align: center;">(a) Ours</div>

![Image](images/b33a05f2ab453856c36d0234eb0ca4d028806d4738eeaadc1acdb16d5970c62c.jpg)

<div style="text-align: center;">(b) FAST-LIVO2</div>

![Image](images/ac2ed760da75cc8bd0f80a404012314bba0ea1cc52687a50d6d5059ddbb91230.jpg)

<div style="text-align: center;">(c) Ours</div>

<div style="text-align: center;">(d) FAST-LIVO2</div>

![Image](images/a4e9dff7d6a7601425003326af5c8817a07f2b1cdaba9fd3e615463cad9f5323.jpg)

![Image](images/fcf71c88ce6db887c3587076b30d88f64af5a01e2cbb91631908f915450db798.jpg)

<div style="text-align: center;">Fig. 9. (a) and (b) compare our method with FAST-LIVO2 on MUN_FRL, while (c) and (d) show mapping results on our dataset TechnologyPark. Benefiting from the correspondence between points and pixels, our reconstructions are significantly denser, sharper, and cleaner.</div>

### V. 结论

本文提出了LiDAR-VGGT，这是一种将激光雷达与VGGT相结合的新框架，能够实现大规模、高密度、度量精确且全局一致的重建。我们设计了一种由粗到细的融合流程，使激光雷达-惯性里程计能够通过跨模态配准来稳健地初始化并优化VGGT的位姿和地图。据我们所知，这是首次将激光雷达与VGGT结合的研究，证明了激光雷达融合能够成功恢复VGGT重建结果中的真实世界度量属性。未来的工作将探索通过将激光雷达特征直接嵌入VGGT骨干网络来实现端到端重建的跨模态集成方法。

## 参考文献

[^1]: W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, "FAST-LIO2: Fast direct LiDAR-inertial odometry," IEEE Trans. Robot., vol. 38, no. 4, pp. 2053–2073, Aug. 2022.

[^2]: C. Zheng et al., “FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry,” IEEE Trans. Robot., vol. 41, pp. 326–346, 2025.

[^3]: J. Wang, M. Chen, N. Karaev, A. Vedaldi, C. Rupprecht, and D. Novotny, "VGGT: Visual geometry grounded transformer," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2025, pp. 5294–5306.

[^4]: C. Cadena et al., “Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age,” IEEE Trans. Robot., vol. 32, no. 6, pp. 1309–1332, Dec. 2016.

[^5]: Y. Cui et al., “Deep learning for image and point cloud fusion in autonomous driving: A review,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 2, pp. 722–739, Feb. 2022.

[^6]: F. Verdoja, D. Thomas, and A. Sugimoto, “FAST 3D point cloud segmentation using supervoxels with geometry and color for 3D scene understanding,” in Proc. IEEE Int. Conf. Multimedia Expo., 2017, pp. 1285–1290.

[^7]: X. Lei, M. Wang, W. Zhou, and H. Li, “GaussNav: Gaussian splatting for visual navigation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 47, no. 5, pp. 4108–4121, May 2025.

[^8]: Y. Tian, Y. Chang, F. H. Arias, C. Nieto-Granda, J. P. How, and L. Carlone, "Kimera-Multi: Robust, distributed, dense metric-semantic SLAM for multi-robot systems," IEEE Trans. Robot., vol. 38, no. 4, pp. 2022–2038, Aug. 2022.

[^9]: L. Wang et al., “Lemon-mapping: Loop-enhanced large-scale multi-session point cloud merging and optimization for globally consistent mapping,” 2025, arXiv:2505.10018.

[^10]: S. Chen, B. Liu, C. Feng, C. Vallespi-Gonzalez, and C. Wellington, "3D point cloud processing and learning for autonomous driving: Impacting map creation, localization, and perception," IEEE Signal Process. Mag., vol. 38, no. 1, pp. 68–86, Jan. 2021.

[^11]: C. Zheng, Q. Zhu, W. Xu, X. Liu, Q. Guo, and F. Zhang, "FAST-LIVO: Fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry," in Proc. IEEE/RSJ Intl. Conf. Intell. Robots Syst., 2022, pp. 4003–4009.

[^12]: J. Lin and F. Zhang, "R3LIVE: A robust, real-time, RGB-colored, LiDAR-inertial-visual tightly-coupled state estimation and mapping package," in Proc. IEEE Intl. Conf. Robot. Automat., 2022, pp. 10672–10678.

[^13]: J. Lin and F. Zhang, "R3LIVE++: A robust, real-time, radiance reconstruction package with a tightly-coupled LiDAR-inertial-visual state estimator," IEEE Trans. Pattern Anal. Mach. Intell., vol. 46, no. 12, pp. 11168–11185, Dec. 2024.

[^14]: S. Hong et al., “GS-LIVO: Real-time LiDAR, inertial, and visual multi-sensor fused odometry with Gaussian mapping,” IEEE Trans. Robot., vol. 41, pp. 4253–4268, 2025.

[^15]: S. Wang, V. Leroy, Y. Cabon, B. Chidlovskii, and J. Revaud, “DUST3R: Geometric 3D vision made easy,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2024, pp. 20697–20709.

[^16]: V. Leroy, Y. Cabon, and J. Revaud, “Grounding image matching in 3D with MAST3R,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 71–91.

[^17]: K. Deng, Z. Ti, J. Xu, J. Yang, and J. Xie, “VGGT-Long: Chunk it, loop it, align it–pushing VGGT’s limits on kilometer-scale long RGB sequences,” 2025, arXiv:2507.16443.

[^18]: D. Maggio, H. Lim, and L. Carlone, “VGGT-SLAM: Dense RGB SLAM optimized on the SL (4) manifold,” Proc. Thirty-ninth Annu. Conf. Neural Inf. Process. Syst., 2025.

[^19]: W. Xu and F. Zhang, “FAST-LIO: A fast, robust LiDAR-inertial odometry package by tightly-coupled iterated Kalman filter,” IEEE Robot. Automat. Lett., vol. 6, no. 2, pp. 3317–3324, Apr. 2021.

[^20]: X. Xu et al., “RING : Roto-translation invariant gram for global localization on a sparse scan map,” IEEE Trans. Robot., vol. 39, no. 6, pp. 4616–4635, Dec. 2023.

[^21]: X. Chen et al., “Overlapnet: Loop closing for LiDAR-based SLAM,” in Proc. Robot.: Sci. Syst., vol. 16, no. 009, pp. 1–10, 2020.

[^22]: C. Shi, X. Chen, J. Xiao, B. Dai, and H. Lu, “Fast and accurate deep loop closing and relocalization for reliable LiDAR SLAM,” IEEE Trans. Robot., vol. 40, pp. 2620–2640, 2024.

[^23]: C. Jiang et al., “RISED: Accurate and efficient RGB-colorized mapping using image selection and point cloud densification,” in Proc. IEEE Intl. Conf. Robot. Automat., 2025, pp. 3277–3283.

[^24]: B. Mildenhall, P.P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng, “NeRF: Representing scenes as neural radiance fields for view synthesis,” Commun. ACM, vol. 65, no. 1, pp. 99-106, 2021.

[^25]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3D Gaussian splatting for real-time radiance field rendering.” ACM Trans. Graph., vol. 42, no. 4, pp. 1–14, 2023.

[^26]: T. Tao et al., “LiDAR-NeRF: Novel LiDAR view synthesis via neural radiance fields,” in Proc. Int. Conf. Multimedia, 2024, pp. 390-398.

[^27]: Y. Tao, Y. Bhalgat, L. F. T. Fu, M. Mattamala, N. Chebrolu, and M. Fallon, "SILVR: Scalable LiDAR-visual reconstruction with neural radiance fields for robotic inspection," in Proc. IEEE Intl. Conf. Robot. Automat., 2024, pp. 17983–17989.

[^28]: X. Lang et al., “Gaussian-LIC: Real-time photo-realistic SLAM with Gaussian Splatting and LiDAR-inertial-camera fusion,” in Proc. IEEE Int. Conf. Robot. Automat., 2024, pp. 8500–8507.

[^29]: H. Wang and L. Agapito, “3D reconstruction with spatial memory,” in Proc. 2025 Int. Conf. 3D Vis., 2024, pp. 78–89.

[^30]: Z. Tang et al., “MV-2053DUST3R : Single-stage scene reconstruction from sparse views in 2 seconds,” in Proc. Comput. Vis. Pattern Recognit. Conf., 2024, pp. 5283–5293.

[^31]: Y. Liu et al., “SLAM3R: Real-time dense scene reconstruction from monocular RGB videos,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2024, pp. 16651–16662.

[^32]: J. Yang et al., “FAST3R: Towards 3D reconstruction of 1000 images in one forward pass,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2025, pp. 21924–21935.

[^33]: S. Umeyama, "Least-squares estimation of transformation parameters between two point patterns," IEEE Trans. Pattern Anal. Mach. Intell., vol. 13, no. 4, pp. 376–380, Apr. 1991.

[^34]: F. Dellaert, “Factor graphs and GTSAM: A hands-on introduction,” Georgia Inst. Technol., Atlanta, GA, USA, Tech. Rep., vol. 2, no. 4, 2012.

[^35]: H. Li et al., “MARS-LVIG dataset: A multi-sensor aerial robots SLAM dataset for LiDAR-visual-inertial-GNSS fusion,” Int. J. Robot. Res., vol. 43, no. 8, pp. 1114–1127, 2024.

[^36]: R. G. Thalagala, O. De Silva, A. Jayasiri, A. Gubbels, G. K. Mann, and R. G. Gosine, “MUN-FRL: A visual-inertial-LiDAR dataset for aerial autonomous navigation and mapping,” Int. J. Robot. Res., vol. 43, no. 12, pp. 1853–1866, 2024.

[^37]: X. Hu et al., “MapEval: Towards unified, robust and efficient SLAM map evaluation framework,” IEEE Robot. Automat. Lett., vol. 10, no. 5, pp. 4228–4235, May 2025.
