文章 # 激光雷达作为几何先验：通过高保真视图合成提升相机位姿跟踪能力 Rafael Muñoz-Salinas $^{1,*}$、刘建恒 $^{2}$、Francisco J. Romero-Ramirez $^{3}$、Manuel J. Marín-Jiménez $^{1}$ 以及张付 $^{2}$ 1 西班牙科尔多瓦大学拉巴纳莱斯校区阿尔伯特·爱因斯坦楼计算机与人工智能系，邮编14071，科尔多瓦，西班牙 2 中国香港大学机械工程系机电一体化与机器人系统（MaRS）实验室，香港；（刘建恒）；（张付） 3 西班牙雷伊胡安卡洛斯大学富恩拉布拉达校区信号与通信理论及远程系统与计算系，邮编28942，富恩拉布拉达；通讯作者：；电话：+34-957212289 ## 摘要查看更新学术编辑：Mauro Lo Brutto 本文提出了一种利用预先构建的高保真3D激光雷达地图进行单目相机位姿估计的稳健框架。我们的方法核心是渲染与匹配流程，该流程能从密集的激光雷达点云中合成逼真的视图。通过检测并匹配这些合成图像与实时相机画面中的关键点，我们可建立可靠的3D-2D对应关系以实现精确的位姿估计。我们评估了两种不同的策略：一种是实时渲染与跟踪方法，可即时生成视图；另一种是离线关键点图跟踪方法，能为已知轨迹预先计算关键点图，从而优化计算效率。大量实验表明，在精度和跟踪一致性方面，我们的框架显著优于多种最先进的视觉SLAM系统。通过将定位锚定在激光雷达地图提供的稳定几何信息上，我们的方法克服了纯图像基系统中常因光照一致性不足而导致的失效问题，在复杂的现实环境中表现尤为出色。引用：Muñoz-Salinas, R.; Liu, J.; Romero-Ramírez, F.J.; Marín-Jiménez, M.J.; Zhang, F. 激光雷达作为几何先验：通过高保真视图合成提升相机位姿跟踪能力. Appl. Sci. 2025, 15, 8743. 收稿日期：2025年7月15日修订日期：2025年7月26日接受日期：2025年8月1日发表日期：2025年8月7日版权所有：© 2025 作者。授权方：MDPI，瑞士巴塞尔。本文为开放获取文章依据以下条款和条件发布：知识共享署名（CC BY）许可 ( (许可证编号：licenses/by/4.0/)。关键词：相机位姿估计；激光雷达测绘；3D重建；视觉SLAM ### 1. 引言精确的相机位姿估计是许多计算机视觉和机器人应用的基础，包括自主导航、增强现实以及三维场景重建。能够在已知环境中精确定位相机，可使系统有效地与世界交互、规划运动轨迹、叠加虚拟内容或保持空间感知能力。虽然传统方法通常依赖稀疏特征匹配或视觉-惯性融合，但近期三维传感与制图技术的进步为利用丰富的几何先验来提升位姿估计精度提供了新机遇。在本文中，我们探讨了利用高保真激光雷达三维重建结果来支持稳健且精确的相机位姿跟踪的潜力。具体而言，我们采用FastLIVO2 $^{[1]}$——一种先进的激光雷达（光探测与测距）里程计算法，来生成每个点都带有颜色信息的密集点云。这种精细的表征不仅能捕捉精确的几何结构，还能编码光度线索，从而让我们能够合成逼真的场景视图。 --- 这些视图可从任意视角生成。图1展示了使用FastLivo2重建的场景示例。该数据集是通过AVIA Livox激光雷达和RGB相机共同采集的。上方的图像，即图1a，显示了三维点云重建结果；随后，图1b和图1d展示了用RGB相机拍摄的图像，而图1c和图1e则显示了从同一相机位置渲染出的图像。可以看出，合成图像与真实图像极为相似。

(a)

![Image](images/b57dc2871c2e4244bb6128cd8ec2a5250dc736f37ce5a87a182b937a482538b0.jpg)

Figure 1. Retail Street sequence. (a) Three-dimensional reconstruction of the Retail Street sequence obtained with FastLivo2. (b,c) Real image and its corresponding image rendered from the point cloud. (d,e) Real image and its corresponding image rendered from the point cloud.

我们的方法得益于渲染视图的真实性，这有助于缩小合成图像与真实图像之间的域差异，进而提高关键点匹配精度。我们的主要方法是利用这种重建结果从已知的相机位姿下渲染出合成图像；随后在渲染图像和真实相机图像中检测关键点，并利用它们之间的对应关系来估计当前位姿。这一过程会迭代执行，以实现连续的帧间跟踪。为了进一步提升鲁棒性并为每一帧提供可靠的初始估计，我们整合了来自惯性测量单元（IMU）传感器的惯性数据来预测相机的运动，并将该预测结果作为基于视觉的位姿估计的先验。然而，每帧都需要渲染逼真的视图，这会带来巨大的计算开销，可能会限制其在资源受限平台上的部署，比如嵌入式系统或低功耗移动机器人。为应对这一挑战，我们提出了一种互补的离线关键点地图跟踪策略，适用于相机轨迹事先已知的情形。我们无需在运行时进行渲染，而是预先计算出针对轨迹上预期视点定制的三维关键点地图。这种离线预处理将计算负担从运行时转移出去，从而在部署时通过匹配输入帧与预计算的关键点来实现轻量级的位姿跟踪。为了进一步评估这一策略，我们研究了两种离线流水线的变体。第一种采用与实时方法相同的基于点的渲染技术；第二种则采用了M2Mapping [^2]——这是一种先进的视图合成方法，能够通过学习更丰富的基于图像的表征来生成高质量的新视图。尽管该方法能生成高度逼真的图像，但其巨大的计算需求（包括漫长的训练阶段）使其无法应用于实时场景，因此只能用于我们的离线策略中。M2Mapping能够提升渲染图像的视觉保真度，从而有望在纹理稀疏或几何结构复杂的场景中增强匹配鲁棒性。通过在多种环境下开展的全面实验，我们证明实时和离线方法在不同操作约束下均能提供可行的解决方案。 --- 此外，我们证实引入诸如M2Mapping这类学习到的合成技术，能够在不牺牲效率的前提下显著提升姿态估计的精度，这凸显了将密集激光雷达重建与先进视图合成相结合以实现高性能相机定位的巨大潜力。本文的其余部分结构如下：第2节概述了与我们研究相关的主要工作；第3节介绍了我们的在线渲染与跟踪方法，第4节阐述了我们的离线关键点地图跟踪方案；最后，第5节描述了为验证我们的提案而开展的实验，第6节给出了相关结论。 ### 2. 相关工作相机姿态估计一直是机器人技术与计算机视觉领域长期存在的难题，通常通过视觉或视觉惯性里程计流水线来解决。这些方法大致可分为间接（基于特征）和直接（基于光度）两类。我们的研究属于间接方法，这类方法会构建地标的稀疏地图，并通过匹配具有辨识度的关键点来追踪相机。相比之下，直接方法直接作用于像素强度，通过最小化图像中通常较为密集或半密集区域的光度误差来实现定位，虽然省去了特征提取步骤，但对光照变化更为敏感。间接方法中占据主导地位且极为成功的是视觉SLAM（同步定位与地图构建）。这类系统会构建3D地标地图，通过将输入图像中检测到的关键点与这些地标进行匹配来追踪相机的姿态。ORB-SLAM2 [^3] 是该领域的标志性系统，它利用快速且鲁棒的ORB（定向FAST和旋转BRIEF）特征，为单目、双目及RGB-D相机提供了完整的解决方案。基于这一成果，ORB-SLAM3 [^4] 引入了多地图系统，实现了更紧密的视觉-惯性融合，显著提升了精度和鲁棒性。同样，UcoSLAM [^5] 提供了一种多功能解决方案，能够将自然特征点与人工方形标记相结合，从而在无纹理环境中提升性能。这些经过高度优化的系统为评估任何新的姿态估计流水线提供了重要的基准。在现有地图中进行定位的任务，也就是我们提出的第二种方法的核心，被称为视觉位置识别，它是大规模定位的关键组成部分。现代系统通常采用分层方法：首先，图像检索阶段会在地图中确定候选位置（粗略定位），随后利用3D-2D对应关系进行精细的姿态估计。学习特征的引入显著推进了这一范式。例如，SuperPoint [^6] 提出了一种自监督卷积神经网络来共同检测关键点并计算描述符；而SuperGlue [^7] 则提出了一种带有注意力机制的图神经网络，以实现高精度的特征匹配。这些组件常被组合到分层定位流程中 [^8]，充分体现了学习特征在鲁棒匹配与定位中的强大作用，这也为我们基于地图的跟踪系统设计提供了参考。激光雷达与视觉、惯性模态的融合也催生了强大的里程计框架 [^9]。FAST-LIVO [^10] 及其后续产品FAST-LIVO2 [^1] 就是紧密耦合系统的典型代表，它们融合了激光雷达、图像和惯性数据。这些系统通过平面先验和实时密集建图来提升姿态精度，从而为诸如我们研究中用到的渲染过程等下游任务提供支持。FusionGS-SLAM [^11] 则进一步将全局结构约束纳入优化流程，提升了全局一致性，并支持大规模照片级真实感密集建图。作为对这些方法的补充，PRFusion [^12] 专注于位置识别领域， --- 它结合了激光雷达和图像特征，能够在视觉条件较差的环境中实现稳健的位置匹配。许多研究通过将相机输入与预先获取的激光雷达地图进行匹配来解决视觉定位问题。早期的方法包括单目 [^13] 和双目方法 [^14]。近期的研究如LM-LVIL [^15] 对此进行了改进，它直接将激光雷达地图点投影到图像帧中，并最小化光度误差。基于学习的方法如CMRNet [^16] 也利用卷积神经网络来处理相机与激光雷达的配准问题。使用渲染数据进行训练或跟踪时面临的一个根本性挑战是仿真到现实的域差异：在真实图像上训练的关键点检测器，由于纹理、光照和传感器噪声等方面的差异，在合成渲染图像上的表现往往较差。这就促使人们去生成高度照片级真实感的视图。我们采用高保真激光雷达重建的方法正是缩小这一差距的途径之一。另一类强大的技术是神经辐射场（NeRFs）[^17] 及其后续成果。受此启发，M2Mapping [^2] 将神经距离场与NeRFs相结合，生成具有结构一致性的逼真渲染结果。最近，3D高斯泼溅技术 [^18] 作为一种从点云实现实时高质量新视角合成的方法应运而生，代表了渲染保真度和效率方面的最新技术水平。这些照片级真实感渲染技术的进步对于弥合域差异、实现合成视图与真实视图之间的稳健关键点匹配至关重要。近期的研究致力于将照片级真实感渲染技术融入SLAM流程中。诸如VI-NeRF-SLAM [^19]和NICE-SLAM [^20]之类的系统，利用学习到的辐射场表示来共同优化姿态估计与密集重建。在相关方向上，vMAP [^21]提出了一种面向神经场SLAM的向量化物体中心表示方式，能够支持高效的建图与实例级分割。与基于辐射场的方法不同，SLAM3R [^22]提出了一种前馈式方法，可直接从单目输入中回归出密集的3D点云地图。基于高斯的方法，如G²-Mapping [^23]和MAGiC-SLAM [^24]，利用可微的溅射表示来实现可扩展且实时的密集重建。这些方法反映出向统一表示以及增强型学习流程的转变，从而提升精度、可扩展性与计算效率。虽然以往的方法展现出强大的配准能力，但它们在关键方面与我们提出的框架存在差异。例如，像CMRNet这类方法属于直接法，它们采用卷积神经网络将投影后的激光雷达数据与图像进行配准，无需显式提取关键点。这些基于学习的系统往往计算量较大，通常需要GPU加速，且其性能会受代表性训练数据的可用性影响。同样，新兴的基于NeRF的定位框架通常从图像中构建密集的场景表示，这一过程可能涉及漫长的逐场景训练阶段。相比之下，我们的框架旨在利用预先存在的激光雷达几何地图，因此属于基于特征的方法，在运行时计算效率高，且无需逐场景训练。我们的方法在此类研究基础上，结合了基于激光雷达的密集渲染与基于图像的关键点匹配技术。我们直接将该方法与领先的视觉SLAM流程进行对比，以证明其具有竞争力的性能；尤其是利用激光雷达的几何精度来克服纯视觉系统的典型失效模式，同时通过高质量的渲染来解决仿真到现实环境的适配难题。 ### 3. 在线渲染与跟踪我们提出的稳健相机姿态跟踪方法，利用环境的高保真3D重建来合成逼真的参考视图。通过匹配 --- 这些合成视图与实时摄像头采集的画面之间的特征，我们便能准确且连续地估算相机的姿态。我们方法的核心是一个迭代过程，旨在最小化匹配关键点之间的重投影误差。该算法的概述如下。 #### 3.1. 算法概述设世界坐标系由$\mathcal{F}_W$表示。我们假设已经使用FastLIVO2等先进的激光雷达里程计算法预先获取了环境的密集、高保真彩色3D点云$\mathcal{P} \subset \mathbb{R}^3 \times \mathbb{R}^3$。每个点$\mathbf{P}_i \in \mathcal{P}$由其位于$\mathbf{X}_i = [X_i, Y_i, Z_i]^T$中的3D坐标$\mathcal{F}_W$以及对应的颜色信息$\mathbf{C}_i = [R_i, G_i, B_i]^T$来描述。跟踪过程从已知的相机姿态开始初始化。对于后续每一帧，算法会执行以下步骤： 1. 基于IMU的姿态预测：利用上一帧的最终姿态，我们对IMU测量值进行积分，以预测当前帧的相机姿态。这为后续步骤提供了强有力的先验信息。 2. 合成视图渲染：根据IMU预测的相机位姿，从3D点云$\mathcal{P}$中渲染出合成的RGBD图像。 3. 关键点检测与匹配：在渲染出的合成图像和新采集的真实相机图像中分别检测关键点。随后对这些关键点进行匹配以建立对应关系。 4. 基于PnP的位姿估计：利用合成视图中的关键点（即$\mathcal{P}$中的3D点）与真实图像中的关键点之间的3D-2D对应关系，来修正基于IMU的预测并估算相机的最终位姿。这一过程被建模为透视n点（PnP）问题，其目标是最小化重投影误差。 5. 迭代优化：新估算出的位姿被用作当前帧的修正位姿，随后从下一个IMU预测开始重复整个过程。 #### 3.2. 正式描述 ##### 3.2.1. 基于点的RGBD合成渲染我们称之为基于点的渲染过程，它通过直接投影3D点云中的点来生成合成图像。设时刻t的相机位姿由刚体变换$\mathbf{T}_t = [\mathbf{R}_t | \mathbf{t}_t] \in SE(3)$表示，其中$\mathbf{R}_t \in SO(3)$是旋转矩阵，$\mathbf{t}_t \in \mathbb{R}^3$是将点从世界坐标系$\mathcal{F}_W$转换到相机坐标系$\mathcal{F}_C$的平移向量。点云$\mathbf{P}_i = (\mathbf{X}_i, \mathbf{C}_i)$中的3D点$\mathcal{P}$在图像平面上的投影由针孔相机模型给出： $$ \mathbf{p}_{i}^{s}=\mathbf{K}[\mathbf{R}_{t}|\mathbf{t}_{t}]\mathbf{X}_{i} $$ 其中$\mathbf{p}_i^s = [u_i^s, v_i^s, 1]^T$是合成图像$I^s$中投影点的齐次坐标，$\mathbf{K}$是相机内参矩阵： $$ \mathbf{K}=\begin{pmatrix}f_{x}&0&c_{x}\\0&f_{y}&c_{y}\\0&0&1\end{pmatrix} $$ 这里，$(f_{x}, f_{y})$代表焦距，$(c_{x}, c_{y})$为主点坐标。通过将每个点 $\mathbf{P}_i \in \mathcal{P}$ 投影到图像平面上，我们生成一幅合成的 RGB 图像 $I^s$ 以及对应的深度图 $D^s$。图像 $(u, v)$ 中某个像素 $I^s$ 的颜色由此决定。 --- 该像素的颜色由被投影点 $C_i$ 的颜色 $P_i$ 决定；而该像素在深度图 $D^s$ 中的深度值，则是该点在相机坐标系下的 z 分量。为处理遮挡问题，会采用 z 缓冲区技术。 ##### 3.2.2. 关键点检测与匹配对于相机采集的每张新真实图像$I^r$，我们检测一组关键点$\mathcal{K}^r = \{\mathbf{k}_j^r\}_{j=1}^{N_r}$，其中每个关键点$\mathbf{k}_j^r$由其2D坐标$\mathbf{u}_j^r = [u_j^r, v_j^r]^T$和对应的描述符$\mathbf{d}_j^r$定义。类似地，从渲染出的合成图像$\mathcal{K}^s = \{\mathbf{k}_k^s\}_{k=1}^{N_s}$中提取出一组具有坐标$\mathbf{u}_k^s$和描述符$\mathbf{d}_k^s$的关键点$I^s$。通过寻找在选定度量下距离最小的描述符对（例如SIFT算法采用欧几里得距离，ORB算法采用汉明距离），来建立两组关键点之间的对应关系。最终得到一组匹配对$\mathcal{M} = \{(\mathbf{k}_j^r, \mathbf{k}_k^s)\}$。对于每对匹配点，我们有来自真实图像的2D点$\mathbf{u}_j^r$，以及来自世界点云的对应3D点$\mathbf{X}_k$，因为合成关键点$\mathbf{k}_k^s$是由$\mathbf{X}_k$渲染而来的。 ##### 3.2.3. 基于PnP的位姿估计最后一步是利用匹配步骤中获得的N组3D-2D对应关系$\mathbf{T}_{t+1}$来计算相机当前的位姿$\{(\mathbf{X}_i, \mathbf{u}_i^r)\}_{i=1}^N$。PnP算法用于求解能够最小化重投影误差的旋转$\mathbf{R}_{t+1}$和平移$\mathbf{t}_{t+1}$。重投影误差被定义为真实图像中观测到的2D关键点与从世界点云投影出的3D点之间的平方距离之和。需要最小化的目标函数为： $$ E(\mathbf{R}_{t+1},\mathbf{t}_{t+1})=\sum_{i=1}^{N}\|\mathbf{u}_{i}^{r}-\pi(\mathbf{R}_{t+1},\mathbf{t}_{t+1},\mathbf{X}_{i})\|^{2} $$ 其中$\pi(\cdot)$是投影函数，它根据位姿$\mathbf{X}_i$将3D点$(\mathbf{R}_{t+1}, \mathbf{t}_{t+1})$映射到图像平面上： $$ \pi(\mathbf{R}_{t+1},\mathbf{t}_{t+1},\mathbf{X}_{i})=\begin{pmatrix}f_{x}\frac{X^{\prime}_{i}}{Z^{\prime}_{i}}+c_{x}\\ f_{y}\frac{Y^{\prime}_{i}}{Z^{\prime}_{i}}+c_{y}\end{pmatrix} $$ 其中$[X'_i, Y'_i, Z'_i]^T = \mathbf{R}_{t+1} \mathbf{X}_i + \mathbf{t}_{t+1}$。这个非线性最小二乘问题通常借助迭代算法来求解，比如Levenberg-Marquardt算法。为了确保对异常匹配的鲁棒性，PnP求解器常被嵌入到RANSAC（随机采样一致性）框架中。得到的位姿$\mathbf{T}_{t+1} = [\mathbf{R}_{t+1} | \mathbf{t}_{t+1}]$随后会被用作后续帧的初始估计值，从而继续跟踪过程。 ### 4. 离线关键点地图跟踪前述方法对实时渲染的要求计算量较大，限制了其在资源受限平台上的部署。为解决这一问题，我们提出了一种替代方案，专门适用于相机轨迹事先已知的场景，比如涉及重复任务的机器人应用。该方法从根本上改变了计算模式，将流程分为计算量大的离线准备阶段和高效的在线跟踪阶段。其核心思路是将计算负担从运行时转移出去。在离线阶段，我们沿着已知轨迹预渲染所有必需的视图，并提取稳定的3D关键点稀疏地图。因此，在线跟踪阶段会变得显著更轻量， --- 因为其任务仅限于从该预构建的地图中检索候选点，并将其与传入的相机帧进行匹配。当路径预先确定时，这种策略优先考虑运行时的效率和可预测性，因而成为更优选择。 #### 4.1 离线地图生成设机器人的预定路径为世界坐标系下的一系列M个位姿$\mathcal{F}_W$，用轨迹$\mathcal{T} = \{\mathbf{T}_1^p, \mathbf{T}_2^p, \ldots, \mathbf{T}_M^p\}$表示，其中$\mathbf{T}_k^p = [\mathbf{R}_k^p | \mathbf{t}_k^p]$。 1. 视图渲染与关键点提取：对于轨迹上的每个位姿$\mathbf{T}_k^p$，我们利用公式(1)中定义的投影模型来渲染合成的RGBD图像对$(I_k^s, D_k^s)$。从每张合成图像$I_k^s$中，我们检测出一组关键点$\mathcal{K}_k^s = \{(\mathbf{u}_{k,i}^s, \mathbf{d}_{k,i}^s)\}$。关键在于，由于每个关键点$\mathbf{u}_{k,i}^s$都源自对密集点云$\mathcal{P}$的渲染，因此我们知道它在$\mathbf{X}_{k,i}$中的精确3D坐标$\mathcal{F}_W$。 2. 关键点时间滤波：为了构建鲁棒的地图，我们只保留在连续帧中表现稳定的关键点。若在帧k中检测到具有3D位置X的关键点，且它在帧$k+1$中同样可见并可被检测到，则该关键点被视为稳定的。我们通过利用位姿$\mathbf{T}_{k+1}^{p}$将该点X投影到后续视图中来形式化这一过程： $$ \mathbf{p}_{k\to k+1}=\pi(\mathbf{R}_{k+1}^{p},\mathbf{t}_{k+1}^{p},\mathbf{x}) $$ 如果在帧 $k+1$ 中检测到的关键点，在 $\mathbf{p}_{k\rightarrow k+1}$ 的邻域内存在具有相似描述符的关键点，则该关键点会被保留下来。这一过滤过程会生成一组一致的、可追踪的 3D 点。 3. 基于关键帧的地图构建：最终地图 $\mathcal{M}_{map}$ 便是由这些经过过滤的 3D 点构建而成的。为了在线跟踪时能够高效地进行空间查找，我们围绕关键帧来组织地图。关键帧 $\mathcal{F}_{k}$ 由以下元组定义： $$ \mathcal{F}_{k}=(\mathbf{T}_{k}^{p},\mathcal{M}_{k}) $$ 其中 $\mathbf{T}_k^p$ 表示关键帧的姿态，而 $\mathcal{M}_k$ 则是从该姿态可见的一组稳定的 3D 关键点 $\{\mathbf{X}_j, \mathbf{d}_j\}$。整张地图就是所有此类关键帧的集合，即 $\mathcal{M}_{map} = \{\mathcal{F}_1, \mathcal{F}_2, \ldots, \mathcal{F}_M\}$。这种离线跟踪模式的有效性在很大程度上取决于预先生成的关键点地图的质量和鲁棒性。地图质量的一个关键因素在于其离线创建过程中所使用的合成视图的逼真度，因为这些视图必须足够真实，才能生成能与真实世界图像可靠匹配的关键点。为了探究这种关系，我们评估了两种用于地图生成阶段的渲染方法。第一种方法就是我们在线方法中采用的基于点的渲染技术，它直接对 3D 点云进行投影。作为一种更先进的替代方案，我们还利用 M2Mapping [^2] 合成出的视图来生成关键点地图。M2Mapping 是一种最先进的方法，能够从激光雷达扫描数据生成高质量、逼真的全新视图。与直接的点投影不同，M2Mapping 采用两阶段流程：首先，它需要经历一个离线训练阶段，利用激光雷达扫描数据和对应的视频序列来训练场景几何与外观模型；其次，在单独的渲染阶段，利用这个训练好的模型从任意期望视点合成全新视图。这两个阶段在计算上都非常密集且耗时，因此无法应用于我们的在线方法；不过，对于注重渲染质量的离线地图生成而言，M2Mapping 是绝佳的选择。借助其先进的合成能力，我们旨在创建出更加鲁棒的关键点地图，从而进一步提升跟踪精度，尤其是在视觉复杂的场景中。 --- #### 4.2. 利用预先生成的地图进行在线跟踪在线阶段，机器人利用惯性测量单元（IMU）数据和预先构建的地图来实现定位。给定上一帧中精修后的姿态后，算法首先整合 IMU 测量结果，从而为当前帧生成一个预测的姿态 $\mathbf{T}_{t}$。随后，该先验姿态会按照如下方式被进一步精化： 1. 关键帧检索：算法首先从地图中识别出最相关的一个或多个关键帧。具体做法是找到位置最接近 IMU 预测位置 $\mathcal{F}_{k^{*}}$ 的关键帧 $t_{t}$： $$ k^{*}=\arg\min_{k\in\{1,\ldots,M\}}\|\mathbf{t}_{t}-\mathbf{t}_{k}^{p}\| $$ 与该关键帧相关联的 3D 关键点集 $\mathcal{M}_k^* = \{(\mathbf{X}_j, \mathbf{d}_j)\}$ 会被提取出来，作为用于匹配的候选点集。 2. 投影与匹配：利用当前的姿态估计值 $\{X_j\}$，将候选 3D 点 $T_t$ 投影到当前真实的相机图像平面上： $$ \mathbf{p}_{j}=\pi(\mathbf{R}_{t},\mathbf{t}_{t},\mathbf{x}_{j}) $$ 同时，在真实图像$I_i'$中检测关键点。接着进行搜索，以找出投影地图点$\{\mathbf{p}_j\}$与检测到的真实关键点$\{\mathbf{u}_i^r\}$之间的对应关系。如果在投影点的搜索半径内找到了真实关键点，且它们的描述符（预先计算好的描述符$\mathbf{d}_j$和新描述符$\mathbf{d}_i^r$）足够相似，则判定为匹配。 3. 姿态估计：利用得到的N组3D-2D对应关系$\{(X_i, \mathbf{u}_i^r)\}_{i=1}^N$来计算更新后的相机姿态$\mathbf{T}_{t+1}$。与第一种方法类似，这是通过在RANSAC框架内运用PnP算法来解决方程(3)中定义的重投影误差最小化问题来实现的。优化后的姿态$\mathbf{T}_{t+1}$即为当前帧的最终输出，同时它也会作为下一个IMU积分周期的起始点。 ### 5. 实验本节概述了为验证我们的方案所开展的实验。为此，我们采用了来自FastLivo2数据集的共九条序列[^1]。这些序列是通过Livox Avia激光雷达和RGB相机同步采集的。在该数据集中，激光雷达和相机的数据采集频率均为10 Hz，而IMU的运行频率则高达100 Hz。数据集涵盖多种室外环境，采集距离最远可达300米。我们首先使用FastLivo2处理这些序列，以获取点云和相机姿态；这些姿态被视作本实验的基准真值。生成的点云包含大量点，且在某些情况下存在一定噪声。因此，我们使用点云库[^25]分两个阶段对点云进行过滤：首先采用体素网格滤波器（叶尺寸为2毫米）进行下采样，随后用统计外点移除滤波器进行清理。图2展示了所用数据集中的一些点云示例。本节分为以下几个小节。5.1节介绍了实验设置；5.2节展示了我们的在线渲染与跟踪方法（第3节）的结果，而5.3节则解释了采用离线关键点-地图跟踪方法（第4节）所获得的结果。如前所述，我们将测试两种不同的渲染方法：基于点的渲染方法和M2Mapping [^2]。5.4节评估了在相同数据集上现有主流视觉SLAM方法的性能， ---

Section 5.5 performs a final comparison of our methods and the visual SLAM methods. Finally, Section 5.6 reflects on the main limitations of the proposed method.

![Image](images/08531945d04b6f9371b2569a62aead3e7f29c84768b99406c27fa86f08845039.jpg)

Figure 2. Examples of LiDAR reconstructions in the dataset. (a) HITGraffitiWall dataset. (b) HKU-Landmark dataset. (c) SYSU dataset. (d) CBDBuilding dataset. (e) Garden dataset. (f) RedSculpture dataset.

#### 5.1. 实验设置与性能所有实验均在一台配备Intel(R) Xeon(R) Silver 4316 CPU（主频2.30 GHz）、运行Ubuntu 20.04.6 LTS系统的计算机上进行。M2Mapping所需的密集型训练和渲染任务则是借助显存为24 GB的NVIDIA GeForce RTX 3090 GPU来完成。在关键点检测方面，我们选择了AKAZE [^26]和ORB [^27]特征检测器，因为这两者在计算上效率较高，且在实时SLAM系统中应用广泛[3–5,28]。为了进一步提升性能，我们的在线和离线方法中关键点检测过程均实现了并行化。输入的相机图像被划分为三个水平区域，并且 --- 会为每个区域分配一个专用线程来同时计算关键点。这种多线程方法使得在使用AKAZE特征时，主跟踪循环能达到约30 FPS的帧率；而采用速度更快的ORB检测器时，帧率可高达80 FPS。在在线渲染与跟踪方法中，我们采用了一个线程进行图像渲染，三个线程进行关键点检测。而对于离线关键点图跟踪方法，则使用了三个线程来进行关键点检测。这凸显了两者在运行时负载上的根本差异：第一种方法需要持续不断地进行渲染计算，而在第二种方法的跟踪阶段，这一开销完全被消除了。对于基于点的渲染方法，我们开发了一种优化算法，其运行帧率可达16 FPS。这种优化依赖于预处理步骤：将3D激光雷达点云组织成边长为10厘米的体素网格。在运行时，系统会先将这些体素的中心投影到图像平面上以进行快速检查；只有当某个体素的中心位于当前摄像机的视野内时，才会对该体素内的所有点执行完整投影。这种分层剔除策略显著减少了每帧需要处理的点数，从而使实时渲染成为可能。不过，基于GPU的渲染还能进一步大幅提升处理速度。系统参数的选择是基于经验分析，旨在平衡性能与质量。用于点过滤的2毫米距离阈值，在消除传感器噪声与保持表面几何精度之间取得了良好平衡，确保了用于渲染的点云数据干净无噪。同样，为渲染优化而选用的10厘米体素网格，既能最大化视锥剔除效率，又不会带来更细网格带来的计算开销或更粗网格导致的精度损失。这些参数共同作用，使得能够以高帧率生成高质量的合成视图。 #### 5.2. 在线渲染与跟踪实验本实验分析了第3节中介绍的在线渲染与跟踪方法。每个序列均使用AKAZE和ORB描述符进行处理，并测量绝对轨迹误差（ATE）以及跟踪帧总数，这与以往的研究一致 [^5]。表1展示了我们使用两种不同关键点检测器（AKAZE和ORB）的在线跟踪方法性能。基于绝对轨迹误差（ATE）衡量准确性，以及跟踪帧百分比（Trck）衡量鲁棒性进行的比较显示，AKAZE在所有九个数据集上的表现均优于ORB。

Table 1. Tracking results of the online rendering and tracking approach, comparing AKAZE and ORB detectors. ATE values are rounded to three decimal places.

Dataset	AKAZE		ORB
Dataset	ATE (m)	Trck (%)	ATE (m)	Trck (%)
Garden	0.031	84.1	0.045	81.3
RetailStreet	0.037	92.8	0.056	92.8
CBDBuilding	0.048	93.5	0.091	79.0
HITGraffitiWall	0.050	94.8	0.069	94.7
HKULandmark	0.055	83.6	0.083	80.2
Drive	0.070	93.2	0.132	89.2
HKUCulturalCenter	0.086	90.7	0.163	78.6
RedSculpture	0.107	90.5	0.210	72.9
SYSU	0.103	78.4	0.122	75.1

--- 平均而言，与ORB相比，AKAZE可将ATE降低约37%。这种精度的提升在具有挑战性的序列中尤为显著：在RedSculpture数据集中，误差从0.210米降至0.107米，降低了近49%；在CBDBuilding数据集中，误差从0.091米降至0.048米，降低了47%。在鲁棒性方面，AKAZE也展现出明显优势，能够持续跟踪更高比例的帧。这种优势在HKUCulturalCenter序列中最为突出，AKAZE成功跟踪的轨迹比例比ORB高出12%以上。即便在两个检测器跟踪率相同的数据集RetailStreet（92.8%）中，AKAZE的精度仍然显著更高。这些结果强烈表明，AKAZE提供的特征在真实图像与渲染图像之间的匹配中更为稳定且具有区分度。因此，对于我们跟踪流程而言，AKAZE是更合适的选择，尤其是在视角或纹理变化较大的现实场景中。该架构旨在实现最高的响应速度。渲染和跟踪过程并行运行且相互解耦。跟踪线程以最高速度运行，使用最新生成的合成图像作为参考，而不会受到渲染过程的阻碍。这样一来，跟踪循环的延迟仅由关键点阶段决定：AKAZE算法约为33.3毫秒（30帧/秒），ORB算法则为12.5毫秒（80帧/秒）。渲染线程则以16帧/秒的速度在后台更新参考视图。这种设计确保了系统具有极高的响应性，能够轻松实时处理30赫兹的摄像头画面。虽然这会导致渲染视图的新鲜度有轻微但可接受的延迟，但跟踪过程依然保持快速。 ## 惯性测量单元数据的影响为了评估惯性测量单元（IMU）对我们在线渲染与跟踪流程的贡献，我们进行了消融实验，完全移除了基于IMU的姿态预测步骤。在这种配置下，上一帧估计出的姿态成为当前帧的唯一先验信息。该实验使我们能够单独分析仅依赖视觉的跟踪组件的性能，并量化引入惯性数据所带来的益处。实验结果如表2所示。

Table 2. Tracking results of the online rendering and tracking approach, without using IMU data.

Dataset	AKAZE		ORB
Dataset	ATE (m)	Trck (%)	ATE (m)	Trck (%)
Garden	0.031	84.1	0.055	79.5
RetailStreet	0.037	92.8	0.068	90.4
CBDBuilding	0.057	89.2	0.167	71.5
HITGraffitiWall	0.061	92.1	0.186	73.2
HKULandmark	0.071	81.1	0.167	72.9
Drive	0.077	90.9	0.199	69.7
HKUCulturalCenter	0.102	88.4	0.217	71.8
RedSculpture	0.122	88.3	0.298	64.2
SYSU	0.115	77.5	0.281	62.6

将这些结果与表1中的结果进行对比，便可看出IMU对跟踪性能的影响。对于AKAZE检测器而言，移除IMU后性能会有轻微下降。在大多数数据集中，绝对轨迹误差（ATE）略有增加，跟踪百分比也稍有降低。例如，在CBDBuilding序列中，ATE从0.048米增至0.057米，而跟踪鲁棒性则从93.5%降至89.2%。在Garden和RetailStreet等几个场景中，这种影响微乎其微， --- 这表明基于AKAZE特征的视觉匹配具备强大的独立工作能力。相比之下，ORB检测器对IMU提供的运动先验依赖程度更高。缺少IMU时，其精度和鲁棒性都会显著下降。在某些序列中，例如HITGraffitiWall（ATE从0.069米增至0.186米）和RedSculpture（ATE从0.210米增至0.298米），ORB的ATE甚至翻了一倍多。同样，跟踪率下降得更为明显，Drive序列中的跟踪率从89.2%降至69.7%。分析结果表明，虽然IMU对整个系统有明显益处，但这种益处在使用ORB检测器时最为显著。由于ORB在我们系统中属于区分度较低的特征描述符，它更依赖IMU的预测能力来缩小特征匹配的搜索范围。最终，该实验证实IMU确实是提升系统鲁棒性的重要组件，但并非获得良好结果的必要条件，尤其是在采用AKAZE这类强大特征检测器时。虽为简洁起见此处未予详述，但在离线跟踪方法中也观察到了类似现象，因为它们依赖于相同的基础姿态估计流程。 ### 5.3. 基于离线关键点图的跟踪实验本节展示了离线关键点地图跟踪的结果，相关内容已在第4节中说明。如前所述，其思路是沿着相机预期行进路径渲染图像，并获取相应的关键点地图。在本实验中，我们测试了两种构建关键点地图的方法。第一种方法采用了在线渲染与跟踪方法中使用的基于点的渲染方法。第二种方法则采用了新视角合成方法M2Mapping [^2]，该方法以激光扫描数据作为输入，生成环境的三维表示，后续可用于从新的相机视角渲染视图。需要注意的是，该方法需要漫长的离线训练阶段，随后才是渲染阶段。尽管没有进行高精度测量，但在我们的硬件上，每个序列的训练阶段大约耗时两小时，而渲染所有必要视图则需约一小时。这种巨大的计算开销证实了它不适合任何实时应用场景，但非常适合用于时间不受限制的高质量关键点地图预计算。不过，运行时性能完全取决于轻量级的跟踪线程：使用AKAZE时能达到约30 FPS（33.3毫秒延迟）的高帧率，使用ORB时则能达到80 FPS（12.5毫秒延迟）。图3展示了基于点的渲染方法与M2Mapping之间的差异。图3a显示了用FastLivo2得到的三维重建结果，图3b是数据集中的真实图像。图3c是通过基于点的投影方法渲染的图像，图3d则是通过M2Mapping得到的结果。可以看出，后者产生的噪声更少。不过确实有些细微细节会丢失，且图像略显模糊。下面我们展示采用这两种方法得到的结果。 --- ![Image](images/3f18b75e8619b8fe5c3e05574236781e0837fc5ff314a2cfe401b55178da2637.jpg)

(a)

Figure 3. Rendering example. (a) Three-dimensional reconstruction of the Garden sequence. (b) Real image camera image. (c) Image rendered using the point-based rendering approach. (d) Image rendered using M2Mapping. (e–g) Zoom in on a specific area of the image. See text for more details.

#### 5.3.1. 基于点的渲染表3展示了采用基于点的渲染的离线跟踪方法的结果，反映了在此配置下AKAZE和ORB检测器的性能表现。结果表明AKAZE效果显著，在测试的数据集上均表现出稳定的性能，跟踪速率高且ATE值低。相比之下，ORB在该方法下表现出明显的不稳定性。在多个序列中，跟踪速率极低，有四种情况甚至低于2%，说明其无法维持有效的跟踪。Drive数据集便是一个特例：虽然ORB给出的ATE值较低，但该结果对应的跟踪时长仅占整个序列的0.3%，因此该ATE值无法代表其整体性能。将这些发现与表1中在线方法的结果对比，可以发现ORB的行为存在显著差异。虽然在线方法中ORB是一种可用的高速替代方案，但在此种离线基于点的渲染方法中，它并未展现出同样的可靠性。这表明对于此处介绍的离线策略而言，AKAZE是实现稳定结果的更可靠选择。 ---

Table 3. Tracking results of the Offline Keypoint-Map Tracking method using point-based rendering. ATE values are rounded to three decimal places.

Dataset	AKAZE		ORB
Dataset	ATE (m)	Trck (%)	ATE (m)	Trck (%)
Garden	0.040	84.1	0.310	38.3
RetailStreet	0.037	92.8	0.082	89.3
CBDBuilding	0.056	95.5	0.305	0.6
HITGraffitiWall	0.035	94.8	0.377	2.0
HKULandmark	0.056	83.8	0.222	58.9
Drive	0.088	93.1	0.001	0.3
HKUCulturalCenter	0.076	92.2	0.000	0.0
RedSculpture	0.108	85.0	0.218	0.6
SYSU	0.094	81.6	0.217	11.2

##### 5.3.2. M2Mapping渲染表4展示了离线方法的改进版本的结果，该版本采用了经过优化的渲染方法M2Mapping [^2]。这一改进旨在提升关键点投影的效果与稳定性。与以往版本一样，我们针对九个数据集分别评估了AKAZE和ORB的性能，同时记录了绝对轨迹误差（ATE）与跟踪百分比（Trck）两项指标。

Table 4. Results of the Offline Keypoint-Map Tracking method using M2Mapping rendering. ATE values are rounded to three decimal places.

Dataset	AKAZE		ORB
Dataset	ATE (m)	Trck (%)	ATE (m)	Trck (%)
Garden	0.039	84.1	0.011	1.1
RetailStreet	0.037	92.8	0.061	90.3
CBDBuilding	0.054	96.8	0.166	2.2
HITGraffitiWall	0.025	94.8	0.165	4.9
HKULandmark	0.035	86.2	0.074	1.9
Drive	0.056	93.2	0.073	91.1
HKUCulturalCenter	0.063	93.8	0.357	1.2
RedSculpture	0.103	90.4	0.003	0.3
SYSU	0.086	75.3	0.110	26.9

AKAZE在M2Mapping下表现出强劲的性能，其ATE值较低（介于0.025到0.103之间），且在大多数情况下跟踪百分比很高，其中五个数据集中的跟踪百分比更是超过90%。在CBDBuilding（ATE：0.054米，Trck：96.8%）和RetailStreet（ATE：0.037米，Trck：92.8%）等序列中，其稳定性和精确度的提升尤为明显，相比之前的投影方法略有改善。相比之下，ORB在鲁棒性方面依然表现不佳。虽然它在个别情况下能取得较低的ATE值（例如Garden，ATE：0.011米；RedSculpture，ATE：0.003米），但由于跟踪百分比极低（分别为1.1%和0.3%），这些结果具有误导性。总体而言，ORB在所有数据集上的跟踪性能均大幅下降，九个序列中有六个的跟踪百分比低于5%。只有RetailStreet（90.3%）和Drive（91.1%）这两个序列中ORB的性能勉强达到可用水平，但即便在这些场景中，其ATE值仍高于AKAZE。与基于点的渲染方式相比，M2Mapping略微提升了AKAZE的跟踪鲁棒性（例如在CBDBuilding中提升1.3%，在Drive中提升0.6%），同时仍能保持较低的误差。不过它并未能弥补ORB的弱点，ORB的性能依旧不稳定且高度依赖场景。 --- 这些结果进一步印证了这样一个结论：描述符的选择比渲染优化更为关键。虽然M2Mapping能够提升投影精度，但唯有搭配AKAZE这类鲁棒且具备强区分能力的描述符，才能实现可靠的跟踪。 #### 5.4. 与视觉SLAM方法的比较在本节中，我们将本方法的结果与最先进的视觉SLAM方法进行比较，这些方法包括ORB-SLAM2 [^3]、ORB-SLAM3 [^4]、OpenVS-LAM [^28]以及UcoSLAM [^5]。为了验证每种方法，我们为数据集中每个视频序列构建了环境地图。随后在定位模式下使用这些预先构建的地图进行第二次运行，并从绝对轨迹误差（ATE）和正确跟踪帧的百分比（Trck）两个方面评估其性能。结果如表5所示。

Table 5. Quantitative evaluation of ORB-SLAM3, OpenVSLAM, UcoSLAM, and ORB-SLAM2 results on the datasets. The table reports the Absolute Trajectory Error (ATE) and tracking percentage (Trck).

Dataset	ORB-SLAM3		OpenVSLAM		UcoSLAM		ORB-SLAM2
Dataset	ATE (m)	Trck (%)	ATE (m)	Trck (%)	ATE (m)	Trck (%)	ATE (m)	Trck (%)
Garden	22.875	100.0	0.209	83.8	0.017	86.9	0.073	39.7
RetailStreet	-	-	0.036	99.1	14.397	46.2	0.032	100.0
CBDBuilding	31.527	100.0	0.315	100.0	0.100	100.0	0.065	48.9
HITGraffitiWall	-	-	0.075	98.0	0.089	96.6	3.517	26.7
HKULandmark	36.124	100.0	0.030	93.7	0.039	95.3	0.022	97.8
Drive	39.113	100.0	1.297	40.7	0.485	92.1	0.033	15.8
HKUCulturalCenter	-	-	-	-	-	-	0.207	22.7
RedSculpture	17.705	100.0	0.931	41.7	0.007	2.8	1.578	10.0
SYSU	6.797	100.0	0.062	100.0	0.102	100.0	0.067	99.3

对比表中的结果清晰地展现了纯视觉SLAM系统固有的权衡关系。 - ORB-SLAM3在能够初始化的序列中虽然保持了100%的高跟踪率，但轨迹误差却非常大。这种表现很可能是由于相机帧率仅为10 Hz所致，因为基于特征的SLAM系统通常需要更高的帧率才能更可靠地估计帧间运动。此外，它在某些数据集上甚至无法生成结果。 - 它的前身ORB-SLAM2则表现出不同的性能特点。在某些数据集上，比如HKULandmark（ATE：0.022米）和RetailStreet（ATE：0.032米），它取得了所有测试的SLAM系统中最佳的准确性。然而，它的可靠性却很差，在大多数其他序列中都会出现跟踪失败的情况，此时其跟踪率常常降至50%以下。 - OpenVSLAM在准确性方面的表现明显优于ORB-SLAM3，但跟踪鲁棒性却参差不齐。尤其在Drive（Trck：40.7%）和RedSculpture（Trck：41.7%）这类动态性更强或规模更大的场景中，它的跟踪效果很差。 UcoSLAM在某些情况下表现较为均衡，但有时又极具不可预测性，甚至会完全失效（例如在RedSculpture上Trck仅为2.8%）。这些对比凸显了纯视觉SLAM系统的一个关键弱点：可靠性不足。每种系统在特定条件下表现优异，但在其他条件下却十分脆弱。相比之下，我们提出的框架通过将定位锚定在几何结构稳定的激光雷达地图上，能够在更广泛且具有挑战性的数据集上实现相当甚至更优的性能。这表明我们的方法是一种有效且极具竞争力的方案。 --- 它是传统视觉SLAM的有效替代方案，尤其适用于对鲁棒性和一致性要求极高的场景。 #### 5.5. 整体性能对比为了给出具有结论性的性能基准，本节将我们提出的框架与最先进的视觉SLAM系统进行比较。评估重点在于鲁棒性追踪能力，即系统不仅要具备高精度，还要能稳定运行。因此，在这项直接对比中，我们仅采纳那些在给定序列中成功追踪超过75%帧数的系统结果。表中的“-”表示该系统的追踪率未达到这一可靠性阈值。对于我们的方法，所有结果均采用更优的AKAZE检测器得出。表6汇总的综合结果揭示了各种方法的优缺点。

Table 6. Overall ATE (m) performance comparison focusing on robust trackers (Trck > 75%). All results from our methods use the AKAZE detector. A ‘-’ indicates the tracking rate was below 75%. The best result for each dataset is shown in bold.

Dataset	Our Methods (AKAZE)			Visual SLAM Methods
Dataset	Online	Offline (Point-Based)	Offline (M2Mapping)	ORB-SLAM3	OpenVSLAM	UcoSLAM	ORB-SLAM2
Garden	0.031	0.040	0.039	22.875	0.209	0.017	-
RetailStreet	0.037	0.037	0.037	-	0.036	-	0.032
CBDBuilding	0.048	0.056	0.054	31.527	0.315	0.100	-
HITGraffitiWall	0.050	0.035	0.025	-	0.075	0.089	-
HKULandmark	0.055	0.056	0.035	36.124	0.030	0.039	0.022
Drive	0.070	0.088	0.056	39.113	-	0.485	-
HKUCulturalCenter	0.086	0.076	0.063	-	-	-	-
RedSculpture	0.107	0.108	0.103	17.705	-	-	-
SYSU	0.103	0.094	0.086	6.797	0.062	0.102	0.067

我们提出的框架在最具挑战性的场景中展现出优势。在九个数据集中，与可靠的视觉SLAM系统相比，我们的方法在五种情况下均实现了最低的ATE值。在Drive和RedSculpture等极具挑战性的序列中，这种鲁棒性对比尤为明显。在这些数据集上，大多数视觉SLAM系统无法维持追踪，因此被排除在分析之外。少数仍能运行的系统，比如Drive上的UcoSLAM或RedSculpture上的ORB-SLAM3，会产生巨大误差。与之形成鲜明对比的是，我们的Offline（M2Mapping）方法在保持高追踪率的同时，显著提升了精度：在Drive上的ATE仅为0.056米，在RedSculpture上则为0.103米。此外，在HKUCulturalCenter序列中，没有一款竞品视觉SLAM系统能达到75%的追踪阈值，我们的框架因此成为唯一有效且可靠的解决方案。我们的Offline（M2Mapping）方法成功追踪该序列，ATE仅为0.063米。在CBDBuilding和HITGraffitiWall等其他数据集上，我们的方法也取得了顶尖性能。虽然UcoSLAM、ORB-SLAM2和Open-VSLAM等经过高度优化的视觉SLAM系统在一些常规序列（Garden、RetailStreet、HKULandmark和SYSU）中能取得最佳结果，但它们缺乏我们方法所具备的一致性可靠性。这一分析印证了我们研究的核心论点：通过利用预先构建的激光雷达地图的几何稳定性，我们的框架能提供比最先进的纯视觉方法更鲁棒且精度更稳定的定位解决方案。 --- #### 5.6. 所提框架的局限性尽管所提框架在各种基准测试中表现出强劲性能，但必须承认其存在的局限性。离线关键点地图跟踪方法是专门为那些事先已知相机轨迹的场景设计的。它的主要弱点在于对偏离预定路径的情况极为敏感。在线跟踪阶段依赖于根据相机与预计算路径的预计接近程度，从地图中检索关键帧。一旦相机显著偏离预期轨迹，所检索到的3D点就无法与实时视图良好对齐，从而导致匹配失败并丧失跟踪能力。这使得离线方法不适用于探索性导航或路径无法保证的场景。该框架的一个核心特点是它依赖于静态的、预先构建的激光雷达地图。这在动态的现实环境中构成了局限性。目前，该系统并未显式地对动态物体进行建模或加以考虑。因此，场景中的重大变化可能会导致静态渲染视图与实时摄像头画面之间出现差异。这可能会影响关键点的匹配可靠性，尤其是当动态元素遮挡了大部分静态背景时。虽然基于RANSAC的姿态估计和惯性测量单元数据对一定数量的异常匹配具有固有的鲁棒性，但环境的广泛或剧烈变化仍可能降低跟踪精度，甚至导致暂时性失效。要解决这一问题，就需要具备在线地图更新能力，正如我们在未来工作中提到的那样。同样，该系统也容易受到原始地图中不存在的意外遮挡影响，例如有人直接走到摄像头前方。此类事件会暂时减少可见且有效的关键点数量；如果遮挡严重，就可能在视野恢复清晰之前危及跟踪器的稳定性。我们的两种方法都利用惯性测量单元数据来预测相机的姿态，以此作为视觉匹配步骤的强大先验。虽然这在大多数情况下能提升效率和鲁棒性，但如果出现惯性测量单元无法准确预测的突发、意外运动，系统仍可能失效。初始姿态猜测不准确会导致系统无法找到足够多的正确2D-3D匹配点，进而引发跟踪失败。 ### 6. 结论在本文中，我们提出了一种利用高精度、预先构建的激光雷达地图来实现单目相机姿态估计的鲁棒且精确的框架。我们的核心贡献是一种渲染与匹配流程，它弥合了稀疏3D点云与2D相机图像之间的领域差距。通过从密集的激光雷达重建数据中生成合成视图，我们建立了可靠的关键点对应关系以实现精确的姿态估计。将惯性测量单元数据作为运动先验整合进来，为每一帧提供了强大的初始猜测，从而显著提升了跟踪过程的鲁棒性和效率。我们通过两种不同的策略验证了该框架的有效性：一种是实时渲染与跟踪方法，能够实时生成合成视图；另一种是离线关键点地图跟踪方法，它根据已知轨迹预先计算3D关键点地图以实现轻量级的定位。这两种方法都利用预先存在的、几何精度高的激光雷达地图来支撑定位过程，从而克服了纯图像方法对光度一致性依赖这一主要缺陷。我们的实验验证表明，与几种最先进的视觉SLAM系统相比，该方法在精度和鲁棒性方面均有显著提升。所提出的方法在具有挑战性的现实环境中能够保持稳定且误差较低的跟踪性能，而仅靠视觉的系统往往在此类环境中表现不佳。研究还发现，在线渲染系统和跟踪系统在现实环境中的有效性也更高。 --- 在线关键点地图跟踪策略进一步证实：激光雷达提供的丰富几何细节是相机定位领域中强大且可靠的信息来源。未来的工作可以在几个有前景的方向上拓展这一框架。其中一个关键方向是探索在线更新激光雷达地图的方法，以应对动态物体或长期环境变化。此外，研究更先进的渲染技术可进一步提升合成视图的真实感，进而提高匹配性能。最后，将该系统适配到其他传感器类型（如热成像相机或事件相机）上，有望为在更为极端的环境中实现鲁棒定位开辟新的应用前景。作者贡献：概念化：R.M.-S.和M.J.M.-J.；方法论：R.M.-S.和F.J.R.-R.；软件开发：R.M.-S.和J.L.；验证：R.M.-S.、J.L.和F.J.R.-R.；形式化分析：R.M.-S.和M.J.M.-J.；调查：R.M.-S.；资源提供：R.M.-S.、J.L.和F.J.R.-R.；数据整理：R.M.-S.、J.L.和F.J.R.-R.；初稿撰写：R.M.-S.；审阅与编辑：R.M.-S.、M.J.M.-J.、J.L.、F.Z.和F.J.R.-R.；可视化：R.M.-S.；监督：R.M.-S.；项目管理：R.M.-S.、M.J.M.-J.和F.Z.；经费获取：R.M.-S.、M.J.M.-J.和F.Z.。所有作者均已阅读并同意发表该手稿的版本。经费支持：本研究得到了西班牙科学、创新与大学部的PID2023-147296NB-I00项目以及香港研究资助局（UGC）通用研究基金（GRF），项目编号17205924的资助。数据可用性声明：公开存档的数据集可在获取（访问日期：2025年7月31日）。利益冲突：作者声明不存在利益冲突。 ## 参考文献 [^1]: Zheng, C.; Xu, W.; Zou, Z.; Hua, T.; Yuan, C.; He, D.; Zhou, B.; Liu, Z.; Lin, J.; Zhu, F.; et al. FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry. IEEE Trans. Robot. 2025, 41, 326–346. [CrossRef] [^2]: Liu, J.; Zheng, C.; Wan, Y.; Wang, B.; Cai, Y.; Zhang, F. Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems. arXiv 2024, arXiv:2108.10470. [^3]: Mur-Artal, R.; Tardós, J.D. ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras. IEEE Trans. Robot. 2017, 33, 1255–1262. [CrossRef] [^4]: Campos, C.; Elvira, R.; Rodríguez, J.J.G.; Montiel, J.M.M.; Tardós, J.D. ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial, and Multimap SLAM. IEEE Trans. Robot. 2021, 37, 1874–1890. [CrossRef] [^5]: Muñoz-Salinas, R.; Medina-Carnicer, R. UcoSLAM: Simultaneous Localization and Mapping by Fusion of KeyPoints and Squared Planar Markers. Pattern Recognit. 2020, 101, 107193. [CrossRef] [^6]: DeTone, D.; Malisiewicz, T.; Rabinovich, A. SuperPoint: Self-Supervised Interest Point Detection and Description. In Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Salt Lake City, UT, USA, 18–22 June 2018; pp. 337–33712. [CrossRef] [^7]: Sarlin, P.E.; DeTone, D.; Malisiewicz, T.; Rabinovich, A. SuperGlue: Learning Feature Matching With Graph Neural Networks. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020; pp. 4937–4946. [CrossRef] [^8]: Sarlin, P.E.; Cadena, C.; Siegwart, R.; Dymczyk, M. From Coarse to Fine: Robust Hierarchical Localization at Large Scale. In Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 15–20 June 2019; pp. 12708–12717. [CrossRef] [^9]: Fan, Z.; Zhang, L.; Wang, X.; Shen, Y.; Deng, F. LiDAR, IMU, and camera fusion for simultaneous localization and mapping: A systematic review. Artif. Intell. Rev. 2025, 58, 174. [CrossRef] [^10]: Zheng, C.; Zhu, Q.; Xu, W.; Liu, X.; Guo, Q.; Zhang, F. FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry. In Proceedings of the 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Kyoto, Japan, 23–27 October 2022; pp. 4003–4009. [CrossRef] ## [^11]: Phan, T.D.; Kim, G.W. FusionGS-SLAM: Multiple Sensors Fusion for Localization and Real-Time Photorealistic Mapping. IEEE Robot. Autom. Lett. 2025, 10, 8690–8697. [CrossRef] --- [^12]: Wang, S.; Kang, Q.; She, R.; Zhao, K.; Song, Y.; Tay, W.P. PRFusion: Toward Effective and Robust Multi-Modal Place Recognition With Image and Point Cloud Fusion. IEEE Trans. Intell. Transp. Syst. 2024, 25, 20523–20534. [CrossRef] [^13]: Caselitz, T.; Steder, B.; Ruhnke, M.; Burgard, W. Monocular camera localization in 3D LiDAR maps. In Proceedings of the 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, Republic of Korea, 9–14 October 2016; pp. 1926–1931. [CrossRef] [^14]: Kim, Y.; Jeong, J.; Kim, A. Stereo Camera Localization in 3D LiDAR Maps. In Proceedings of the 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, 1–5 October 2018; pp. 1–9. [CrossRef] [^15]: Leng, J.; Sun, C.; Wang, B.; Lan, Y.; Huang, Z.; Zhou, Q.; Liu, J.; Li, J. Cross-Modal LiDAR-Visual-Inertial Localization in Prebuilt LiDAR Point Cloud Map Through Direct Projection. IEEE Sens. J. 2024, 24, 33022–33035. [CrossRef] [^16]: Cattaneo, D.; Vaghi, M.; Ballardini, A.L.; Fontana, S.; Sorrenti, D.G.; Burgard, W. CMRNet: Camera to LiDAR-Map Registration. In Proceedings of the 2019 IEEE Intelligent Transportation Systems Conference (ITSC), Auckland, New Zealand, 27–30 October 2019; pp. 1283–1289. [CrossRef] [^17]: Mildenhall, B.; Srinivasan, P.P.; Tancik, M.; Barron, J.T.; Ramamoorthi, R.; Ng, R. NeRF: Representing scenes as neural radiance fields for view synthesis. Commun. ACM 2021, 65, 99–106. [CrossRef] [^18]: Kerbl, B.; Kopanas, G.; Leimkuehler, T.; Drettakis, G. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Trans. Graph. 2023, 42, 1–25. [CrossRef] [^19]: Liao, D.; Ai, W. VI-NeRF-SLAM: A real-time visual–inertial SLAM with NeRF mapping. J. Real-Time Image Process. 2024, 21, 30. [CrossRef] [^20]: Zhu, Z.; Peng, S.; Larsson, V.; Xu, W.; Bao, H.; Cui, Z.; Oswald, M.R.; Pollefeys, M. NICE-SLAM: Neural Implicit Scalable Encoding for SLAM. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 18–24 June 2022; pp. 12786–12796. [^21]: Kong, X.; Liu, S.; Taher, M.; Davison, A.J. VMAP: Vectorised Object Mapping for Neural Field SLAM. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 17–24 June 2023; pp. 952–961. [^22]: Liu, Y.; Dong, S.; Wang, S.; Yin, Y.; Yang, Y.; Fan, Q.; Chen, B. Slam3r: Real-time dense scene reconstruction from monocular гб videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, Nashville, TN, USA, 11–15 June 2025; pp. 16651–16662. [^23]: Chen, L.; Hu, B.; Wang, J.; Bu, S.; Wang, G.; Han, P.; Chen, J. G²-Mapping: General Gaussian Mapping for Monocular, RGB-D, and LiDAR-Inertial-Visual Systems. IEEE Trans. Autom. Sci. Eng. 2025, 22, 12347–12357. [CrossRef] [^24]: Yugay, V.; Gevers, T.; Oswald, M.R. Magic-slam: Multi-agent gaussian globally consistent slam. In Proceedings of the Computer Vision and Pattern Recognition Conference, Nashville, TN, USA, 11–15 June 2025; pp. 6741–6750. [^25]: Rusu, R.B.; Cousins, S. 3D is here: Point Cloud Library (PCL). In Proceedings of the 2011 IEEE International Conference on Robotics and Automation, Nashville, TN, USA, 11–15 June 2011; pp. 1–4. [CrossRef] [^26]: Alcantarilla, P.; Nuevo, J.; Bartoli, A. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces. In Proceedings of the British Machine Vision Conference, Bristol, UK, 9–13 September 2013; BMVA Press: Aberdeen, UK, 2013. [^27]: Rublee, E.; Rabaud, V.; Konolige, K.; Bradski, G. ORB: An efficient alternative to SIFT or SURF. In Proceedings of the 2011 International Conference on Computer Vision, Barcelona, Spain, 6–13 November 2011; pp. 2564–2571. [CrossRef] [^28]: Sumikura, S.; Shibuya, M.; Sakurada, K. OpenVSLAM: A Versatile Visual SLAM Framework. In Proceedings of the MM '19: 27th ACM International Conference on Multimedia, Nice, France, 21–25 October 2019; pp. 2292–2295. [CrossRef] 免责声明/出版商说明：所有出版物中所包含的声明、观点和数据仅代表各作者及贡献者的个人立场，不代表MDPI和/或编辑部的观点。对于因文中提及的任何想法、方法、说明或产品而导致的人员或财产损害，MDPI和/或编辑部概不负责。