# 资源受限平台上的FAST-LIVO2：具有高效内存和计算能力的激光雷达-惯性-视觉里程计
周炳阳 $^{ID}$、郑春然 $^{ID}$（IEEE会员）、王子铭 $^{ID}$、朱方成 $^{ID}$（IEEE研究生会员）、蔡一希 $^{ID}$、张福 $^{ID}$（IEEE高级会员）
摘要—本文提出了一种针对资源受限平台优化的轻量级激光雷达-惯性-视觉里程计系统。该系统将退化感知的自适应视觉帧选择器集成到采用顺序更新的误差状态迭代卡尔曼滤波器（ESIKF）中，显著提升了计算效率，同时保持了相近的鲁棒性水平。此外，一种结合了局部统一视觉-激光雷达地图与长期视觉地图的内存高效建图结构，在性能与内存占用之间实现了良好的平衡。在x86和ARM平台上的大量实验证明了该系统的鲁棒性与高效性。在Hilti数据集上，与FAST-LIVO2相比，我们的系统每帧运行时间缩短了33%，内存占用降低了47%，而均方根误差仅增加了3厘米。尽管精度有这一轻微折损，但我们的系统仍具备竞争力，性能优于FAST-LIO2等最先进的LIO方法以及大多数现有的LIVO系统。这些结果验证了该系统在资源受限的边缘计算平台上可规模化部署的能力。
索引词—状态估计、传感器融合、同步定位与建图。
## 一、引言
里程计 [^1]、[^2]、[^3]、[^4]、[^5]、[^6]、[^7] 已成为机器人应用中的重要组成部分，能够使自主系统同时绘制环境地图并确定自身位置。它在轨迹规划 [^8] 和运动控制 [^9] 等任务中发挥着关键作用。近年来，里程计算法取得了显著进步，许多框架利用摄像头或激光雷达等单模态传感器。然而，虽然视觉和激光雷达里程计系统在特定领域表现出色，但各自都存在固有局限性，限制了它们在多样化场景中的性能：例如激光雷达在无结构环境中表现不佳，摄像头在缺乏纹理的场景中无法正常工作。
为应对这些挑战，多传感器融合方法——尤其是激光雷达-惯性-视觉里程计（LIVO）——在克服单传感器系统的局限性方面表现突出。这些方法整合互补传感器的数据，以提升不同环境下的定位鲁棒性。不过，目前大多数LIVO系统 [^3]、[^7] 依赖计算密集型过程，需要高性能CPU才能满足传感器融合、建图和优化的实时需求。最先进的LIVO系统FAST-LIVO2 [^5] 采用直接法进行状态估计，利用顺序更新的ESIKF框架内的所有激光雷达和视觉测量数据，并集成了统一的激光雷达-视觉局部地图，在计算效率和精度方面达到了卓越水平。尽管如此，LIVO系统通常仍需大量的计算资源。虽然FAST-LIVO2等部分最先进的LIVO系统已展现出良好的效率，但其计算需求仍有进一步优化的空间。
随着机器人应用向轻量化和便携式平台（如无人机、自动驾驶汽车和物联网设备）扩展，在边缘计算平台上部署里程计变得愈发重要。ARM架构等边缘平台凭借其能效优势以及在嵌入式系统中的广泛应用，成为实现可扩展且经济高效解决方案的理想选择。然而，这些平台有限的计算能力、内存和能效水平，给传统里程计框架确保资源高效利用带来了显著挑战。尽管存在这些挑战，边缘计算仍为实时里程计带来了独特优势，比如通过本地数据处理来降低延迟和对网络的依赖。
为了在边缘计算平台上实现更高效的里程计功能，我们对LIVO系统——FAST-LIVO2进行了改进，在保持其一贯的鲁棒性和性能的同时，大幅降低了其计算和内存开销（见图1）。与FAST-LIVO2相比，本研究的主要贡献如下：
1) 基于激光雷达退化感知设计的高效视觉更新机制：我们并未直接使用所有可用的视觉测量数据，而是将激光雷达退化感知自适应视觉帧选择器集成到FAST-LIVO2的ESIKF框架中，从而在保持相近里程计精度的同时，显著减轻计算负担。
---
在保持相近的里程计精度的同时减轻负担。
2) 节省内存的混合地图结构：我们提出了一种混合地图结构，将紧凑的局部视觉-激光雷达地图与长期视觉地图相结合。后者存储稀疏的历史图像观测数据以确保里程计的鲁棒性，同时让前者的规模大幅缩小，从而减少内存开销。此外，自适应视觉更新机制会在激光雷达约束充足时减少添加到地图中的视觉特征，进一步降低内存占用。
3) 大量实验验证及数据集开源：我们在公开和私有数据集上进行了验证，其中私有数据集包含了更具挑战性和复杂性的场景。实验在x86个人笔记本电脑和经济型ARM设备上开展，结果均显示出优异的效率。私有数据集和补充材料，包括更详细的方法说明和额外实验结果，均已通过$^{1}$发布。
### II. 相关工作
本研究的内容与里程计系统中的退化感知策略和地图结构最为相关，下文将对此展开讨论。
### A. 退化感知里程计系统
现有研究已经探讨了激光雷达里程计的退化问题，并在里程计系统中开发了自适应策略，利用更新后的退化状态来增强在复杂环境中的鲁棒性。Zhang等人[^10]通过分析几何结构来评估基于优化的方法的退化情况。Tuna等人[^11]提出了X-ICP算法，该算法结合了可定位性检测以及基于点云经典力学的可定位性感知优化。AdaLIO[^12]会在检测到退化后自适应地调整一些关键参数。Hatleskog等人[^13]提出了一种用于激光雷达退化检测的概率方法，并将其整合到一种考虑退化的ICP框架中。Zhu等人[^14]提出了一种退化评估方法，用以动态调整状态向量，从而确保群体状态估计的鲁棒性与高效性。Lee等人[^15]采用基于归一化特征值预设阈值的非启发式退化检测方法，并进一步利用该方法在切换结构中选取更优的初始猜测值。最近，GenZ-ICP[^16]通过自适应加权方式结合了点对点和点对面度量，从而在走廊等几何退化场景中增强了鲁棒性。
虽然以往的研究主要侧重于提升里程计的鲁棒性，但我们的系统充分利用了考虑退化因素的特性，根据环境约束动态调节计算负担的分配，从而同时实现鲁棒性与显著的计算效率提升。我们的设计体现了被动式退化缓解原则[^17]，非常适用于我们所针对的中度至重度退化环境。
### B. 激光雷达-视觉-(惯性)里程计中的地图结构
在激光雷达-视觉-(惯性)里程计中，地图结构是决定其效率与精度的关键因素。通常，地图结构可分为三种类型。
Fig. 1. Overview of a real-time experiment on the low-power ARM platform. (a) The ARM platform RK3588 with an octa-core architecture (4× Cortex-A76 + 4× Cortex-A55) and a maximum frequency of 2.4 GHz used for testing, priced at approximately 100 USD. (b) Point cloud of the nighttime street scene used for testing, with the orange trajectory representing the collected path. (c) Detailed per-frame runtime statistics of the system, with data input from both LiDAR and camera at 10 Hz.
第一种类型为视觉和激光雷达组件分别维护两张独立的地图，其中视觉后端独立生成三维点。第二种类型同样维护两张地图，但视觉后端不再独立生成三维点。第三种类型则为视觉和激光雷达测量数据采用统一的地图。
例如，在LVI-SAM[^3]和R2LIVE[^6]中，作为视觉子系统的VINS-mono[^18]就属于第一类。在第二类系统中，像SDVLOAM[^19]、DV-LOAM[^20]、FAST-LIVO[^4]、PL-LIVO[^21]以及CamVox[^22]等系统会复用激光雷达点来为视觉特征、补丁或线补丁提供深度信息。不过，这些系统仍将视觉和激光雷达地图点存储在两个不同的数据结构中。值得注意的是，SDV-LOAM和DV-LOAM仅将视觉地图点用于关键帧或最后一帧，而FAST-LIVO和PL-LIVO则会纳入当前视场角（FoV）内的全局地图中的视觉地图点。
相比之下，第三类方法包括SR-LIVO [^23]、R3LIVE [^7]、FAST-LIVO2 [^5]以及我们的系统，它们都维护单一的统一地图。SR-LIVO和R3LIVE采用增量式k-d树（ikd-tree [^24]）来管理基于点的地图，并为每个点标注RGB颜色。而FAST-LIVO2则使用哈希索引的八叉树来存储基于曲面元素的地图，其中每个叶节点包含带有图像块的激光雷达平面特征。我们的系统进一步改进了这种方法：它维护紧凑的统一局部地图，同时保留轻量级的长期视觉地图，从而在大幅降低内存消耗的同时实现稳健的里程计性能。
### III. 系统概述
系统概述如图2所示。在测量层面，作为系统的输入，高频原始激光雷达点通过扫描重组被分割成不同的扫描数据。为了优化计算效率，自适应视觉帧选择器会根据环境约束动态选择图像，从而使我们具备退化感知能力的里程计能够自适应地分配计算资源。对于
---
Fig. 2. System overview. In the figure detailing voxel data on the lower-right side, the dashed ellipse encloses points considered to lie on a plane with varying scales.
Fig. 3. Illustration of sequential update ESIKF with adaptive visual frame selector.
状态估计方面，我们构建了特定的残差，包括激光雷达点到平面残差和光度误差，并通过具有顺序更新的ESIKF将所有传感器测量数据紧密耦合。在制图层面，通过高效整合新观测数据、滑动操作以及视觉特征重排，来维持以机器人为中心的紧凑统一局部地图和轻量级长期视觉地图，从而确保内存效率和稳健的性能。
### IV. 方法论
先前的研究工作FAST-LIVO2 [^5]确立了多传感器（激光雷达-惯性-视觉）融合的核心框架，包括状态定义、离散过渡模型、激光雷达-视觉地图管理，以及通过融合相机和激光雷达测量数据进行状态估计。在此基础上，本研究致力于构建可在资源受限平台上运行的轻量级LIVO系统。因此，在本节中，我们重点介绍在实现计算高效的状态估计（第IV-A节）和节省内存的地图（第IV-B节）方面的贡献。
### A. 带视觉帧选择器的状态估计
我们首先介绍激光雷达退化评估方法（第IV-A1节），随后介绍能够实现更高效的基于ESIKF的状态估计的自适应视觉帧选择器（第IV-A2节），如图3所示。
1) 激光雷达退化评估：从一次重组后的激光雷达扫描中获取N个无畸变的点$^L\mathbf{p} \in \mathbf{R}^{3 \times N}$，假设每个点都恰好位于一个平面上，那么点到平面的激光雷达测量模型可表示如下：
$$ \mathbf{0}=\left(\mathbf{n}^{g t}\right)^{T}\left(^{G}\mathbf{T}_{L}\left(^{L}\mathbf{p}-\delta^{L}\mathbf{p}\right)-\mathbf{q}^{g t}\right), $$
其中$^G\mathbf{T}_L$表示激光雷达坐标系相对于全局坐标系的位姿。项$\delta^L\mathbf{p}$用于描述测量值$^L\mathbf{p}$与其真实值之间的光束噪声。理想的对应平面由法向量$\mathbf{n}^{gt} \in \mathbf{R}^{3 \times N}$和平面上的点$\mathbf{q}^{gt} \in \mathbf{R}^{3 \times N}$参数化。此外，$\mathbf{n}^{est}$和$\mathbf{q}^{est}$是后续激光雷达退化分析中使用的估计平面特征。
在激光雷达退化评估中，三个平移自由度（DoF）保持良好约束，而三个旋转自由度却出现退化的情况极为罕见（例如在理想的球形结构中）。基于这一观察，我们简化了问题，仅关注平移约束。
状态估计是通过最小化式(1)中的残差来实现的，具体过程如下：
$$ \arg\min_{^{G}\mathbf{R}_{L},^{G}\mathbf{t}_{L}}\left\|\underbrace{(\mathbf{n}^{est})^{T}}_{\mathbf{A}}\underbrace{^{G}\mathbf{t}_{L}}_{\mathbf{x}}+\underbrace{(\mathbf{n}^{est})^{T}(^{G}\mathbf{R}_{L}{}^{L}\mathbf{p}-\mathbf{q})}_{\mathbf{b}}\right\|^{2}. $$
通过评估相关优化问题的稳定性，可以分析激光雷达的退化情况。目标函数表示为 $\|\mathbf{A}\mathbf{x} - \mathbf{b}\|^2$，受 $\mathbf{A}^T\mathbf{A}$ 的启发，可通过分析 [^10] 的奇异值来评估解的稳定性。为了提升模型在不同类型激光雷达及参数设置（如激光雷达扫描下采样策略）下的泛化能力，需对奇异值向量进行如下归一化处理：
$$ \left[\tilde{\sigma}_{\min},\tilde{\sigma}_{\mathrm{m i d}},\tilde{\sigma}_{\max}\right]=\mathrm{N o r m a l i z e}\left(\mathrm{S V D}\left(\mathbf{n}^{\mathrm{e s t}}\left(\mathbf{n}^{\mathrm{e s t}}\right)^{T}\right)\right) $$
最小的归一化值 $\tilde{\sigma}_{\mathrm{min}}$ 会与预设阈值进行比较。如果连续多帧中 $\tilde{\sigma}_{\mathrm{min}}$ 均低于该阈值，则判定激光雷达模块处于退化状态；否则说明环境能为激光雷达扫描提供足够的约束条件。
---
2) 自适应视觉帧选择器：如图2所示，我们基于当前激光雷达扫描的退化状态和传感器的运动情况，设计了自适应图像选择器。具体而言，当发生激光雷达退化现象时（例如小视场角AVIA激光雷达面对墙壁的情况），系统会利用所有可用图像来构建尽可能多的约束条件，从而避免定位失败——因为在大多数情况下，摄像头能提供有助于系统稳健性的强约束。在正常工况下，仅选择分布稀疏的关键帧来以较低频率更新状态及地图中的视觉相关观测数据，以此降低计算开销。
关键帧被定义为传感器位姿（位置或朝向）相对于上一帧发生显著变化、且变化量超过阈值 $\tau$ 时所拍摄的图像。该阈值会进行自适应调整，计算公式如下：
$$ \tau=\sqrt{3}\cdot\tilde{\sigma}_{\mathrm{m i n}}\cdot\tau_{\mathrm{p r e d f e n e d}}, $$
其中 $\tau_{\text{predefined}} \in \mathbb{R}_+$ 包含了位置和朝向的预设阈值。因子 $\sqrt{3} \cdot \tilde{\sigma}_{\min} \in [0,1]$ 会对视觉关键帧选择阈值进行自适应缩放，因为 $\tilde{\sigma}_{\min}$ 反映了环境中来自激光雷达的定位约束充足程度，即便在完全退化发生前也能为系统稳健性提供支持。
### B. 地图管理
1) 地图结构：整个地图分为统一的局部地图和长期视觉地图。如图2右侧所示，由自适应体素构成的地图由一个哈希表进行管理。具体而言，这里的哈希值是根体素中心的全局坐标索引 LOCATION ∈ N³，以便于快速检索。根体素的固定尺寸被设定为 0.5 × 0.5 × 0.5 米。
统一局部地图包含三级八叉树结构内不同尺度下的密集点云和平面特征（即平面中心、法向量及相关不确定性）。其中被选为视觉点的部分点会附带用于视觉状态估计的三级图像块金字塔，而其余点仅保留几何信息，用于激光雷达扫描与地图的匹配以及后续的激光雷达状态估计。
长期视觉地图是由带有视觉观测的历史点组成的集合，用于实现视觉帧与地图的匹配。该地图在空间上相对稀疏，因此能以较小的内存占用存储长期环境观测数据，同时为长期定位提供重要的历史资料。
2) 地图更新与滑动：将新观测到的数据及估计的平面特征注册到统一的局部地图中，这一过程遵循[^5]和[^25]中描述的方法。如图4所示，与FAST-LIVO2中仅在传感器范围触及地图边界时才移动大型局部地图的做法不同，我们采用了尺寸较小且滑动频率更高的统一局部地图策略。具体而言，当机器人位置移动距离超过上次地图滑动后的预设阈值时，位于局部地图边界外的平面特征和点云会被清除，以维持系统效率。那些落在小型统一局部地图之外的、带有视觉观测信息的点则会被转移到长期视觉地图中。长期视觉地图采用类似的滑动机制，但作用范围更大，以应对更广阔的区域。
Fig. 4. Illustration of map structure and sliding process in our system and FAST-LIVO2.
Fig. 5. Our platform with hardware synchronization for data acquisition.
### 五、实验与结果
在本节中，我们首先展示该系统在公开数据集和私有数据集上的整体性能，随后进行各模块的专项评估。
### A. 实验设置
1) 公开数据集：我们使用Hilti数据集[^26]、[^27]来评估我们的方法，这些数据集包含了在建筑工地、办公室和地下室等复杂环境中采集的室内外序列。数据集涵盖了手持式和机器人搭载式两种配置，配备了以不同频率运行的激光雷达、摄像头和惯性测量单元。
2) 私有数据集：我们使用配备鱼眼镜头的B/W摄像头和Livox Mid-360激光雷达来验证系统的鲁棒性，两者通过STM32微控制器同步。在极端黑暗的环境中，我们使用功率为15瓦的内置照明器来提升可见度（见图5）。
3) 实验设置与配置：实验在两种硬件平台上开展，为简便起见分别称为x86平台和ARM平台。x86平台是一台搭载第13代英特尔酷睿i9-13900HX处理器的笔记本电脑。ARM平台价格约为100美元，性价比显著更高，它采用RK3588处理器，具备八核架构（4×Cortex-A76 + 4×Cortex-A55），最高频率可达2.4 GHz。
所有测试中均采用了0.07这一统一的退化检测阈值。局部统一地图和长期视觉地图的典型边长分别设为200米和800米，这一设置在所有序列中保持一致；地图滑动阈值分别为机器人移动20米和100米。此外，关键帧选择阈值会根据场景规模进行调整：所有室内序列的取值为1米-60°，所有室外序列的取值为2米-60°。
---
Fig. 6. Visualization of some representative tested sequences. $*$ denotes the moment when detected LiDAR degeneration occurs. The percentage next to each sequence name indicates the proportion of selected images relative to all available images in that sequence.
Fig. 7. Real-time localization experiments on the RK3588 platform. (a) Underground parking lot and (b) nighttime street. For each scenario, the left image shows the trajectory and point cloud, and the right image shows a third-person view at a specific moment.
在处理私有数据集中的鱼眼相机图像时，我们采用了等距投影模型。其他参数，比如不同激光雷达型号的噪声设置，均沿用了FAST-LIVO2中的配置，这些参数经过精心调优以确保系统的稳定性能。
### B. 系统在公开数据集上的表现
1) 公开数据集上的精度：在本实验中，我们首先在Hilti'22和Hilti'23数据集的16个序列上验证了方法的精度，并与其他方法进行了对比。
Fig. 8. Mean LiDAR and visual processing times for our method and FAST-LIVO2 across seven scenarios. LiDAR mean time forms the base, with visual mean time stacked above. Error bars indicate the observed range.
最先进的系统包括R3LIVE [^7]、FAST-LIO2 [^2]、SDV-LOAM [^19]、LVI-SAM [^3]，以及我们之前的工作FAST-LIVO系列 [^4]、[^5]。为了进行对比，我们尽力调整了所有方法的参数以使其发挥出最佳性能。利用Hilti官方评估工具，$^{2}$ 表I中展示了RMSE结果。从实验结果来看，我们的系统
---
TABLE I ATE (RMSE, M) FOR HILTI DATASETS
| Dataset | Sequence | Ours | FAST-LIVO2 | FAST-LIO2 | FAST-LIVO | R3LIVE | SDV-LOAM | LVI-SAM |
| Hiti '22 | Construction Ground | 0.010 | 0.010 | 0.013 | 0.022 | 0.021 | 25.121 | ✗ |
| Construction Multilevel | 0.023 | 0.020 | 0.044 | 0.052 | 0.024 | 12.561 | ✗ |
| Construction Stairs | 0.170 | 0.016 | 0.320 | 0.241 | 0.784 | 9.212 | 9.142 |
| Long Corridor | 0.054 | 0.067 | 0.064 | 0.065 | 0.061 | 19.531 | 6.312 |
| Cupola | 0.220 | 0.121 | 0.250 | 0.182 | 2.142 | 9.321 | ✗ |
| Lower Gallery | 0.018 | 0.007 | 0.024 | 0.022 | 0.008 | 11.232 | 2.281 |
| Attic to Upper Gallery | 0.180 | 0.069 | 0.720 | 0.621 | 2.412 | 4.551 | ✗ |
| Outside Building | 0.041 | 0.035 | 0.028 | 0.052 | 0.029 | 2.622 | 0.952 |
| Hiti '23 | Floor 0 | 0.032 | 0.021 | 0.031 | 0.022 | 0.024 | 4.621 | ✗ |
| Floor 1 | 0.018 | 0.023 | 0.031 | 0.022 | 0.024 | 7.951 | 8.682 |
| Floor 2 | 0.038 | 0.022 | 0.083 | 0.048 | 0.046 | 7.912 | ✗ |
| Basement | 0.024 | 0.016 | 0.038 | 0.035 | 0.024 | 6.151 | ✗ |
| Stairs | 0.012 | 0.018 | 0.170 | 0.152 | 0.110 | 9.032 | 3.584 |
| Parking 3x Floors Down | 0.095 | 0.032 | 0.320 | 0.356 | 0.462 | 19.952 | ✗ |
| Large room | 0.028 | 0.026 | 0.028 | 0.031 | 0.035 | 16.781 | 0.563 |
| Large room (dark) | 0.044 | 0.046 | 0.040 | 0.053 | 0.059 | 15.012 | ✗ |
| Average | | 0.063 | 0.034 | 0.138 | 0.123 | 0.391 | 11.347 | 4.502 |
$^{*}$ 表示系统完全失效。
——下划线表示仅次于最佳结果的第二名，位于加粗结果旁边。
最终取得了6.3厘米的第二高平均RMSE精度，仅逊于FAST-LIVO2的3.4厘米，同时性能优于最先进的纯激光雷达-惯性导航方法FAST-LIO2。我们系统中视觉模块的集成被证明是有益的，它能够提升定位精度。
具体而言，在视觉纹理有限的序列中（如长走廊和楼梯），当激光雷达约束较强时，我们的系统会选择性地减少视觉数据的使用，从而性能优于FAST-LIVO2。然而，在视觉挑战较大的场景中（如曝光过度的室外建筑或光线不足的大房间），该系统的精度略低于FAST-LIO2。在Hiti数据集上，SDV-LOAM表现出明显的局限性，主要原因是缺乏紧密的IMU集成，这导致其激光雷达里程计子系统出现明显漂移。此外，该系统激光雷达与视觉测量之间的松散耦合，加上视觉里程计的初始化不充分，经常导致收敛问题，如出现局部最优解或优化失败。LVI-SAM在九个序列中出现故障，因为其基于特征的LIO和VIO子系统未能充分利用原始测量数据，使其在几何或纹理特征不明显的环境中鲁棒性较差（如纹理稀少或几何结构简单的场景）。虽然R3LIVE总体上取得了不错的结果，但在涉及剧烈旋转和稀疏结构信息的序列中（如建筑楼梯、圆顶和阁楼到上层画廊），其性能会下降。在这些场景中，地图对齐时缺乏合适的位姿先验，导致收敛到次优解，最终引发优化失败。
2) 公共数据集上的计算效率：我们利用x86和ARM平台对Hilti数据集中的16个序列进行了算法运行时间评估，$^{3}$ 结果总结在表II中。总体而言，与FAST-LIVO2相比，我们的系统在计算效率上有显著提升。这一改进主要归功于视觉模块中的自适应帧率策略，它大幅减少了视觉处理的运行时间。此外，由于代码实现的优化，激光雷达模块的运行时间略有增加。
TABLE II
THE MEAN AND STANDARD DEVIATION OF TIME CONSUMPTION IN HILTI SEQUENCES (MSEC)
| Architecture | ARM | x86 PC |
| SLAM System | Ours | FAST-LIVO2 | Ours | FAST-LIVO2 |
| LiDAR Part | 53.83 / 5.35 | 56.50 / 5.56 | 23.36 / 2.36 | 25.05 / 2.41 |
| Visual Part | 3.99 / 1.80 | 19.36 / 4.75 | 2.64 / 1.12 | 10.61 / 2.68 |
| Total | 57.82 / 6.75 | 75.87 / 9.77 | 25.99 / 3.22 | 35.66 / 4.88 |
TABLE III
MEMORY USAGE COMPARISON BETWEEN OUR ALGORITHM AND FAST-LIVO2 FOR HILTI DATASET SEQUENCES (GB)
| Dataset | Sequence | Ours | FAST-LIVO2 |
| Hiti '22 | Construction Ground | 3.0 | 4.1 |
| Construction Multilevel | 3.7 | 4.9 |
| Construction Stairs | 1.3 | 2.4 |
| Long Corridor | 0.8 | 1.2 |
| Cupola | 1.9 | 3.4 |
| Lower Gallery | 1.0 | 1.6 |
| Attic to Upper Gallery | 1.4 | 2.4 |
| Outside Building | 2.4 | 3.0 |
| Hiti '23 | Floor 0 | 2.4 | 3.1 |
| Floor 1 | 1.5 | 2.2 |
| Floor 2 | 1.7 | 2.3 |
| Basement | 1.3 | 2.4 |
| Stairs | 1.3 | 1.8 |
| Parking 3x Floors Down | 1.7 | 2.6 |
| Large room | 1.0 | 1.6 |
| Large room (dark) | 1.1 | 1.6 |
| Average | | 1.7 | 2.5 |
3) 公共数据集上的内存消耗：我们进一步评估了该方法在公共数据集上的计算效率与内存消耗。如表I所示，FAST-LIVO2在所有对比方法中展现出最高的精度，因此我们重点将其与我们提出的系统进行比较，以凸显其在资源效率方面的提升。我们在x86平台上测量了经过验证的Hiti序列的内存使用情况，相关数据汇总于表III中。可以看出，与FAST-LIVO2相比，我们的系统显著降低了内存消耗。由于算法的内存消耗主要源于地图存储，在小规模场景中，内存消耗的减少很大程度上归功于自适应图像帧选择器，它能有效减少地图中的冗余视觉观测数据；而在大规模场景中，
---
LiDAR Degeneration Evaluation on AVIA
LiDAR Degeneration Evaluation on MID-360
Fig. 9. Validation of LiDAR degeneracy evaluation. The plot shows the smallest normalized singular value, with degeneration detected when the value falls below the threshold (dashed line), indicated by red shaded areas. The top visualizations correspond to moments of low $(t_{1}, t_{3})$ and high $(t_{2}, t_{4})$ singular values, with red points representing the current LiDAR scan and the top-right image showing the corresponding first-person camera view.
Fig. 10. Ablation study results on our proposed long-term visual map structure, presented as reconstructed colored point clouds. (a) With the proposed long-term visual map. (b) Without the long-term visual map.
Fig. 11. Comparison of memory usage for different algorithms in MaRS LVIG sequence HKIsland03.
内存消耗的降低主要得益于我们设计的地图结构——该结构采用尺寸更小的局部统一地图来高效管理存储空间。
### C. 私有数据集上的系统性能
我们使用私有数据集对系统的鲁棒性与计算实时性能进行了定性测试。
1) 具有挑战性的私有序列实验：我们对具有挑战性的私有序列开展了测试。如图6所示，这些序列涵盖了多种SLAM挑战场景，例如矿山隧道中的动态光照条件、黑暗森林中的极低照度环境、野生公园中的非结构化环境，以及HIT涂鸦墙处的严重激光雷达退化现象。此外，它们还包含不同时间拍摄的室内外场景，以及灯光关闭的室内场景（如HW走廊）。实验结果表明，我们的系统表现出了强大的鲁棒性，能够生成清晰的点云地图，甚至还能生成色彩鲜艳的点云。在所有数据采集设备物理上返回起始位置的序列中，我们的系统实现的回原点漂移量均小于2厘米。
同时，图6中的百分比表示所选图像占所有可用图像的比例，体现了系统对激光雷达提供的环境约束的自适应敏感度。例如，在矿山隧道和HW走廊中部这类类似长隧道的走廊中，由于激光雷达约束较弱，因此会选取密集的视觉帧；而在HKUST红色雕塑这类激光雷达约束较强的环境中，所选图像在空间上则更为稀疏。
2) 资源受限的ARM平台上的实时定位实验：如图7所示，我们在傍晚时分人流量大的街道、有车辆驶出的地下停车场，以及光照变化剧烈的室内外场景中开展了实时定位测试。所有计算均在机载ARM平台上完成。测试结果显示，系统能够实现稳定的定位，每帧处理时间为37毫秒。
### D. 自适应图像帧选择器的评估
1) 基于自适应图像帧选择器的计算效率优化评估：从图6中选定视觉帧的可视化结果可以看出，根据环境中激光雷达的退化情况，从不同序列的所有可用视觉测量数据中选出的图像比例各不相同。我们分析了激光雷达和视觉计算时间，并将其与FAST-LIVO2进行了比较。如图8所示，我们的方法平均视觉计算时间显著更低，每次迭代的最大成本相近但最小成本明显更低，尤其是在激光雷达约束较强、视觉开销较小的序列中表现尤为突出。
2) 激光雷达退化检测模块的评估：如图9所示，我们针对两个对激光雷达极具挑战性的序列，详细分析了激光雷达退化检测模块的有效性。结果凸显了该算法识别退化的敏感性，在退化场景下特征值极低（例如Aivia激光雷达面对墙壁时$t_1$，Mid360激光雷达在笔直的长隧道中$t_3$）。此外，分析还
---
证实不同类型的激光雷达均可应用统一的退化阈值，这证明了我们的激光雷达退化评估模块的有效性。
### E. 地图结构评估
为了评估所提出的长期视觉地图，我们开展了消融实验，利用MARS-LVIG数据集中的大规模序列HKIsland03来评估其对定位精度和内存占用的影响[^28]。
1) 精度对比：以RTK轨迹作为基准真值来评估定位精度。我们使用evo工具包计算了RMSE值$^{4}$。在该序列中，长期视觉地图提升了定位精度，RMSE从0.85米降至0.39米，图10中的详细点云可视化结果也印证了这一点。
2) 内存消耗对比：如图11所示，虽然长期视觉地图会增加额外的内存开销，但与定位精度的显著提升相比，其对内存占用的影响相对有限。这种权衡是合理的，因为增强后的鲁棒性和精度证实了该地图适用于大规模部署。同时，FAST-LIVO2的统一局部地图边长参数被设为2公里，与原始论文中的设置一致。由于场景包含在地图边界内，内存占用会持续增加。
### VI. 结论
本文提出了一种面向资源受限平台的轻量级LIVO系统。通过集成具备退化感知能力的自适应视觉帧选择器以及内存高效的地图结构，该系统在保持里程计精度的同时，显著降低了计算和内存占用。大量实验验证了该系统的稳健性能，证明其能够在资源受限的边缘设备上高效运行，从而实现在复杂环境中的实时操作。
## 参考文献
[^1]: J. Zhang and S. Singh, "LOAM: LiDAR odometry and mapping in real-time," Robot. Sci. Syst., vol. 2, no. 9, pp. 1–9, 2014.
[^2]: W. Xu and F. Zhang, “FAST-LIO: A fast, robust LiDAR-inertial odometry package by tightly-coupled iterated Kalman filter,” IEEE Robot. Automat. Lett., vol. 6, no. 2, pp. 3317–3324, Apr. 2021.
[^3]: T. Shan, B. Englot, C. Ratti, and D. Rus, “LVI-SAM: Tightly-coupled LiDAR-visual-inertial odometry via smoothing and mapping,” in Proc. IEEE Int. Conf. Robot. Automat., Xi’an, China, 2021, pp. 5692–5698.
[^4]: C. Zheng, Q. Zhu, W. Xu, X. Liu, Q. Guo, and F. Zhang, "FAST-LIVO: Fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Kyoto, Japan, 2022, pp. 4003–4009.
[^5]: C. Zheng et al., “FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry,” IEEE Trans. Robot., pp. 326–346, 2024.
[^6]: J. Lin, C. Zheng, W. Xu, and F. Zhang, “R $^{2}$ LIVE: A robust, real-time, LiDAR-inertial-visual tightly-coupled state estimator and mapping,” IEEE Robot. Automat. Lett., vol. 6, no. 4, pp. 7469–7476, Oct. 2021.
[^7]: J. Lin and F. Zhang, “R $^{3}$ LIVE: A robust, real-time, RGB-colored, LiDAR-inertial-visual tightly-coupled state estimation and mapping package,” in 2022 Int. Conf. Robot. Automat., Philadelphia, PA, USA, 2022, pp. 10672–10678.
[^8]: X. Zhou, Z. Wang, H. Ye, C. Xu, and F. Gao, “EGO-planner: An ESDF-free gradient-based local planner for quadrotors,” IEEE Robot. Automat. Lett., vol. 6, no. 2, pp. 478–485, Apr. 2020.
[^9]: G. Lu, W. Xu, and F. Zhang, “On-manifold model predictive control for trajectory tracking on robotic systems,” IEEE Trans. Ind. Electron., vol. 70, no. 9, pp. 9192–9202, Sep. 2023.
[^10]: J. Zhang, M. Kaess, and S. Singh, “On degeneracy of optimization-based state estimation problems,” in Proc. IEEE Int. Conf. Robot. Automat., Stockholm, Sweden, 2016, pp. 809–816.
[^11]: T. Tuna, J. Nubert, Y. Nava, S. Khattak, and M. Hutter, “X-ICP: Localizability-aware LiDAR registration for robust localization in extreme environments,” IEEE Trans. Robot., vol. 40, pp. 452–471, 2024.
[^12]: H. Lim, D. Kim, B. Kim, and H. Myung, “AdaLIO: Robust adaptive LiDAR-inertial odometry in degenerate indoor environments,” in Proc. 20th Int. Conf. Ubiquitous Robots, Honolulu, HI, USA, 2023, pp. 48–53.
[^13]: J. Hatleskog and K. Alexis, “Probabilistic degeneracy detection for point-to-plane error minimization,” IEEE Robot. Automat. Lett., vol. 9, no. 12, pp. 11234–11241, Dec. 2024.
[^14]: F. Zhu et al., “Swarm-LIO2: Decentralized, efficient LiDAR-inertial odometry for UAV swarms,” IEEE Trans. Robot., vol. 41, pp. 960–981, 2025.
[^15]: J. Lee et al., “Switch-SLAM: Switching-based LiDAR-inertial-visual SLAM for degenerate environments,” IEEE Robot. Automat. Lett., vol. 9, no. 8, pp. 7270–7277, Aug. 2024.
[^16]: D. Lee, H. Lim, and S. Han, “GenZ-ICP: Generalizable and degeneracy-robust LiDAR odometry using an adaptive weighting,” IEEE Robot. Automat. Lett., vol. 10, no. 1, pp. 152–159, Jan. 2025.
[^17]: T. Tuna, J. Nubert, P. Pfreundschuh, C. Cadena, S. Khattak, and M. Hutter, “Informed, constrained, aligned: A field analysis on degeneracy-aware point cloud registration in the wild,” 2024, arXiv:2408.11809.
[^18]: T. Qin, P. Li, and S. Shen, “VINS-mono: A robust and versatile monocular visual-inertial state estimator,” IEEE Trans. Robot., vol. 34, no. 4, pp. 1004–1020, Aug. 2018.
[^19]: Z. Yuan, Q. Wang, K. Cheng, T. Hao, and X. Yang, “SDV-LOAM: Semi-direct visual–LiDAR odometry and mapping,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 9, pp. 11203–11220, Sep. 2023.
[^20]: W. Wang, J. Liu, C. Wang, B. Luo, and C. Zhang, "DV-LOAM: Direct visual LiDAR odometry and mapping," Remote Sens., vol. 13, no. 16, 2021, Art. no. 3340.
[^21]: T. Shi, K. Qian, Y. Fang, Y. Zhang, and H. Yu, “Point-line LIVO using patch-based gradient optimization for degenerate scenes,” IEEE Robot. Automat. Lett., vol. 9, no. 11, pp. 9717–9724, Nov. 2024.
[^22]: Y. Zhu, C. Zheng, C. Yuan, X. Huang, and X. Hong, “CamVox: A low-cost and accurate lidar-assisted visual SLAM system,” in Proc. IEEE Int. Conf. Robot. Automat., Xi’an, China, 2021, pp. 5049–5055.
[^23]: Z. Yuan, J. Deng, R. Ming, F. Lang, and X. Yang, “SR-LIVO: LiDAR-inertial-visual odometry and mapping with sweep reconstruction,” IEEE Robot. Automat. Lett., vol. 9, no. 6, pp. 5110–5117, Jun. 2024.
[^24]: Y. Cai, W. Xu, and F. Zhang, "ikd-tree: An incremental K-D tree for robotic applications," 2021, arXiv:2102.10808.
[^25]: C. Yuan, W. Xu, X. Liu, X. Hong, and F. Zhang, “Efficient and probabilistic adaptive voxel mapping for accurate online LiDAR odometry,” IEEE Robot. Automat. Lett., vol. 7, no. 3, pp. 8518–8525, Jul. 2022.
[^26]: L. Zhang et al., “Hilti-Oxford dataset: A millimeter-accurate benchmark for simultaneous localization and mapping,” IEEE Robot. Automat. Lett., vol. 8, no. 1, pp. 408–415, Jan. 2023.
[^27]: M. Helmberger, K. Morin, B. Berner, N. Kumar, G. Cioffi, and D. Scaramuzza, “The Hilti SLAM challenge dataset,” IEEE Robot. Automat. Lett., vol. 7, no. 3, pp. 7518–7525, Jul. 2022.
[^28]: H. Li et al., “MARS-LVIG dataset: A multi-sensor aerial robots SLAM dataset for LiDAR-visual-inertial-GNSS fusion,” Int. J. Robot. Res., vol. 43, no. 8, pp. 1114–1127, Jan. 2024.