# SiLVR：面向机器人巡检的可扩展激光雷达-视觉重建系统，基于神经辐射场技术 陶一夫 $^{1}$、巴尔加特·亚什 $^{2}$、兰克·弗兰克·塔里莫·傅 $^{1}$、马蒂亚斯·马塔马拉 $^{1}$、尼韦德·切布罗卢 $^{1}$ 以及莫里斯·法伦 $^{1}$ ![Image](images/77f12ca061cfc92fe35d1c3db16a0432ce64d7e96966b5f5b2104ee583f1ccea.jpg)
Fig. 1: Large-scale reconstruction consisting of 8 submaps of Maths Institute and H B Allen Centre in Oxford. The bottom row shows the novel views synthesised from the model and surface normals at three different locations. The trajectory of each submap is visualised in a different colour.
摘要—我们提出了一种基于神经场的大规模重建系统，该系统融合激光雷达与视觉数据，能够生成几何精度高且纹理逼真的高质量重建结果。该系统对最先进的神经辐射场（NeRF）表示形式进行了改进，使其能够纳入激光雷达数据，从而为深度和表面法线提供强几何约束。我们利用实时激光雷达SLAM系统提供的轨迹来启动运动恢复结构（SfM）流程，既显著缩短了计算时间，又提供了对激光雷达深度损失至关重要的度量尺度。我们通过子地图技术使该系统能够应对在长轨迹下采集的大规模环境。我们利用搭载在多摄像头激光雷达传感器套件上的足式机器人采集的数据对该重建系统进行验证：该机器人在扫描建筑场景时行走距离达600米；此外还在空中机器人上对该系统进行了测试，用于测绘多层模拟灾难建筑。网站： ## 一、引言 密集的三维重建是一项支撑诸多机器人应用的关键技术，例如工业巡检和自主导航。常用的重建传感器包括相机和激光雷达。基于相机的重建系统采用运动恢复结构（SfM）和多视图立体视觉（MVS）等技术来生成带纹理的密集三维模型 [^1]。不过，这些系统对光照条件要求较高，且需要观测到足够的视角约束信息；它们在处理无纹理区域时也表现不佳。激光雷达能够在远距离提供精确的几何信息——因为它可直接测量到表面的距离，因此非常适合大规模室外环境，但其传感器测量数据通常比相机图像稀疏得多，而且无法捕捉颜色信息，而颜色对于虚拟现实和三维资产生成等应用而言至关重要。 传统的重建系统采用点云、占用图和符号距离场（SDF）作为内部三维表示形式。近年来，神经辐射场（NeRF）[^2] 在视觉重建领域日益受到青睐。借助可微渲染技术，该方法通过最小化渲染图像与参考相机图像之间的差异来优化连续的三维表示。它 --- 能够实现业界领先的新视角合成质量。 与传统基于视觉的重建方法类似，NeRF在多视角输入有限且纹理较少的区域难以估算出精确的几何信息。自主系统经常会遇到这类情况——例如，当机器人直接朝向一面颜色均匀的墙移动时进行重建。利用激光雷达传感技术即可解决这一问题，因为它能为这些无纹理物体提供精确的几何测量数据。此外，使用激光雷达数据还能减少采集多个相机视角的需求。对于巡检机器人（比如工业设施中的Spot四足机器人）而言，为了改善视觉重建效果而执行以物体为中心的运动轨迹是不切实际的。这些因素都推动了融合多种传感器的重建系统的研发。 在这项工作中，我们提出了一种基于NeRF的重建系统，该系统融合了激光雷达和视觉信息，以生成精确的带纹理的3D重建结果，同时还能实现照片级真实感的新视角合成。我们的方法基于NeRF实现[^3]，利用哈希编码[^4]，仅需几分钟就能达到照片级真实感的渲染效果。我们还引入了来自激光雷达的几何约束来提升重建质量。利用激光雷达甚至能在无特征区域获取深度测量数据，而这些数据是SfM无法提供的[^5]。从激光雷达扫描中还能计算出表面法线，这种方式比基于学习的先验模型更稳健[^6]，因为后者在实际部署中可能会受到输入数据分布偏移的影响。 该系统通过感知传感器套件采集的数据进行演示，该套件包含三台广角摄像头和一台3D激光雷达，从而使机器人能够全方位重建环境。我们将激光雷达-惯性里程计与SLAM建图系统[^7]纳入处理流程中。实验在工业及城市环境中，分别使用无人机、足式机器人和手持设备开展。 总而言之，我们的主要贡献如下： - 一套密集带纹理的3D重建系统，其生成的几何精度可与激光雷达媲美，同时还能实现照片级真实感的新视角合成。 - 与激光雷达SLAM系统相集成，使得NeRF训练时既能利用激光雷达数据获取深度信息和表面法线，又能得到具有度量尺度的轨迹；相比文献中常用的离线尺度恢复结构运动方法，计算时间缩短了50%。 - 一套适用于大型户外环境的子地图系统——可处理的轨迹长度超过600米。 - 在多个机器人平台采集的真实世界大规模户外数据集上对该系统进行了评估。 ### II. 相关工作 ### A. 大规模3D重建 由于激光雷达能够提供精确且远距离的测量数据，因此它是大规模环境精确3D重建领域的主流传感器[^8]、[^9]。体素激光雷达建图依赖于扫描匹配和惯性测量单元提供的高频里程计估计值[^7]、[^10]、[^11]、[^12]。不过，当机器人探索场景且传感器视野受限时，基于激光雷达的系统可能只能生成部分重建结果。此时可利用视觉线索来丰富激光雷达建图内容[^13]。 另一种方法是像COLMAP这样的SfM系统[^1]，它们能先通过联合捆绑调整过程利用稀疏特征点估算相机位姿，再通过多视图立体算法优化，从而从图像中生成大规模带纹理的重建结果[^14]。不过，在低纹理区域、重复图案场景下，这些方法会面临挑战；且当光照变化或物体材质非朗伯特性时，不同视角间的特征匹配也会出现问题。Urban Radiance Fields[^15]提出利用激光雷达扫描数据与RGB图像来优化神经辐射场模型，以实现3D表面提取。我们的工作采用了类似思路，融合两种传感器模态来生成精确的几何模型，克服了仅依赖视觉的方法在低纹理区域的局限性，且重建结果的密度也远高于纯激光雷达重建。 将密集重建扩展到大规模区域的常用策略是通过子地图划分 [^16] [^17] [^18] [^19] [^20]。这类方法会将场景划分为多个局部子地图，这些子地图既能纳入闭环校正的影响，又能生成一致的全局地图，同时大幅降低运行时间。我们的研究也采用了子地图策略，利用全局一致的激光雷达SLAM轨迹将大规模场景划分为尺寸约为50×50米的局部地图。这一做法提升了模型的表征能力并改善了重建效果，尤其针对薄型物体而言。 ### B. 神经场表示 神经辐射场（NeRF）[^2] 采用多层感知机（MLP）来表示连续的辐射场，通过可微体积渲染来重建新视角。它在学习到的编码中隐含地引入了带有几何先验的多视角一致性。NeRF及其众多变体使用频率编码 [^21] 来对空间坐标进行编码，但这类方法训练时间较长，通常每个场景需要数小时。其他显式的辐射场表示方法，包括带有可训练顶点特征的密集体素网格 [^4]、[^22]，以及近期的3D高斯模型 [^23]，均被证明能够加快训练速度，不过会占用更多内存。八叉树或稀疏网格结构 [^4]、[^24] 可通过剔除空区域内的网格特征来降低内存占用。我们的研究基于Nerfacto [^3] 框架展开，该框架整合了其他NeRF研究成果中的核心特性 [^4]、[^25]、[^26]，这些特性在真实数据上表现优异。 虽然NeRF在高质量视图合成方面表现出色，但从这些表示中获取3D表面仍然具有挑战性，这主要是因为灵活的体积表示受到有限的多视角输入的限制而难以确定。一种改进重建的方法是施加深度正则化约束[^5]、[^15]，或表面法线正则化约束[^6]。另一种方法是对体积场施加表面先验，并利用有符号距离场（SDF）[^27]、[^28]等表示来强制输出表面重建结果，不过这种方式可能会影响新视图的合成质量。 --- 采用这种方法时，合成质量可能会受到影响[^29]。我们的方法基于体积密度表示，通过来自激光雷达测量的深度[^5]和表面法线[^6]正则化约束对其进行扩展，而非依赖运动恢复结构（SfM）[^5]或学习得到的先验知识[^6]。尤其值得一提的是，该方法能够显著提升无纹理且表面平滑区域的重建质量。 神经场表示已被应用于基于激光雷达的建图任务 [^30]、[^31]，在生成比传统方法更完整、更紧凑的重建结果方面展现出巨大潜力。虽然这些研究也基于隐式地图表示，但它们并未利用视觉数据来构建地图。我们的系统则利用视觉信息和多视角几何约束，因此能够重建激光雷达视野之外的区域。 ### III. 方法 我们提出了一种基于NeRF表示的大规模三维重建系统，该系统专为机器人检测任务而设计。我们使用了定制设计的传感器负载，配备3D激光雷达传感器、三台鱼眼摄像头以及惯性测量单元（IMU），可适用于各种机器人平台。在第III-B节中，我们介绍了在优化阶段融合激光雷达与视觉信息的方法，以确保高质量的重建效果。此外，我们在第III-D节中采用了子图构建策略，使该方法能够应用于大面积场景。系统的概览如图2所示。 ![Image](images/299d3dcd274adb04c40f40da7a5a6d93d27a5122990cf8a89562f155cfdf5b9e.jpg)
Fig. 2: System Overview: Frontier, our custom perception unit, has three fisheye colour cameras with an IMU and a 3D lidar. Our online state estimator's trajectory is refined with COLMAP and partitioned into submaps. The camera image, lidar depth, and normal image are used to train a NeRF to get the final 3D reconstruction.
### A. 基于NeRF的场景表示 我们的工作基于用于新视角合成的可微体积渲染框架[^2]、[^32] [^33] [^34]。要从给定视点的NeRF渲染出新视角，我们会从相机原点沿观测方向为图像平面上的每个像素u发射光线，并通过对光线上采样的点进行积分来得出像素颜色。该体积渲染积分通过求积法则[^35]、[^36]近似计算，表示为$\hat{c}_u = \sum_{i=0}^{N} w_i c_i$，其中 $$ w_{i}=\exp\left(-\sum_{j=1}^{i-1}\delta_{j}\sigma_{j}\right)(1-\exp\left(-\delta_{i}\sigma_{i}\right)). $$ 此处，$\sigma_i$和$c_i$分别是所采样3D点的预测密度与颜色，而$\hat{c}_u$即为渲染出的像素颜色。 我们的实现基于Nerfstudio中的Nerfacto方法[^3]。Nerfacto的渲染质量可与MipNeRF-360等最先进方法相媲美[^25]，同时其重建速度也大幅提升，因为它还采用了Instant-NGP中的高效哈希编码技术[^4]。我们还使用了[^25]中提出的场景压缩技术来提高内存效率，从而能在输入相机位置附近呈现高分辨率内容的场景。压缩函数会将空间中的任意点非线性映射到一个边长为2的立方体内，并在该压缩空间内表示场景。由于曝光和光照条件存在较大差异，我们采用类似[^15]、[^26]的方法，为每张图像设置逐帧外观编码。 ### B. 来自激光雷达测量的几何约束 当表面纹理均匀且多视角约束有限时，基于NeRF的三维重建会变得颇具挑战性。激光雷达测量数据可起到补充作用，因为它能在此类场景中提供精确的测量结果。在我们的研究中，我们将激光雷达测量数据纳入NeRF优化过程。具体而言，我们通过添加深度损失[^5]来施加基于激光雷达的深度正则化，该损失定义为以激光雷达测量深度D为中心的正态分布与NeRF模型生成的射线分布$h(t)$之间的KL散度： $$ \mathcal{L}_{\mathrm{D e p t h~}}=\sum_{\mathbf{r}\in\mathcal{R}}\mathrm{K L}[\mathcal{N}(\mathbf{D},\hat{\sigma})\|h(t)] $$ 我们还运行语义分割网络[^37]来获取天空掩码，并像[^15]那样最小化这些射线的权重。 虽然深度损失能改善三维重建效果，但我们发现，在本应平滑的区域会出现波浪状伪影（见图5）。为解决这一问题，我们计算表面法线——即NeRF密度场的负梯度，并借鉴[^6]的思路施加进一步的表面法线正则化损失： $$ \mathcal{L}_{\mathrm{n o r m a l~}}=\sum_{\mathbf{r}\in\mathcal{R}}\|\hat{N}(\mathbf{r})-\bar{N}(\mathbf{r})\|_{1}+\left\|1-\hat{N}(\mathbf{r})^{\top}\bar{N}(\mathbf{r})\right\|_{1} $$ ### C. 利用带尺度的SLAM初始化相机位姿 获取精确的相机位姿至关重要，因为位姿精度会直接影响重建模型的保真度。大多数NeRF研究中常用的方法是借助COLMAP等离线运动恢复结构算法来获取相机位姿[^1]。不过COLMAP存在以下局限性：(1)计算时间较长，尤其是针对在较长轨迹上采集的大量图像；(2)当图像之间的视觉重叠较少时，无法将所有帧注册到同一个全局地图中。这些问题限制了其在机器人应用中构建大规模全局一致地图的能力。 在我们的研究中，采用了基于激光雷达与惯性单元的里程计及SLAM系统VILENS[^7]。虽然VILENS在在线运动跟踪方面取得了业界领先 --- ![Image](images/d36e18f228707b687f2ffb754f0cb3a90747fff5945cf18870eb7c4d5d03f8e3.jpg)
Fig. 3: Comparison of reconstruction quality of Lidar-SLAM, Nerfacto (vision-only) and our approach. Reconstructions are coloured with point-to-point distance to the ground truth with increasing error from blue (0m) to red (1m). The trajectory is shown in purple and overlaid on the ground truth scan captured using a Leica BLK360. The zoomed-in views show the difference in reconstruction quality. Overall, our approach is more complete w.r.t lidar-only reconstruction, and geometrically more consistent w.r.t vision-only reconstruction.
的成果，但我们发现其获取的相机位姿精度低于COLMAP的结果。这会导致NeRF模型渲染时出现模糊伪影。一些研究[^20]、[^38]采用含噪声的位姿输入，随后在NeRF优化的同时同步优化位姿以得到更好的结果。在我们使用大量图像进行的实验中发现，尽管这种位姿优化方法有时能略微提升PSNR（峰值信噪比），但生成的渲染结果与使用COLMAP估算的位姿相比仍不够清晰，且训练过程通常也不稳定。 为克服上述局限，我们将SLAM位姿作为先验位姿，再利用COLMAP对轨迹进行优化。具体而言，我们用读取先验位姿的点三角测量模块替换COLMAP中的映射器。该方法的优势在于速度更快，它能将增量式的运动恢复结构问题转化为全局光束法平差问题；更重要的是，该方法能让COLMAP将所有可用图像合并到同一张地图中。对于时长超过20分钟的任务，我们的带先验的COLMAP流程能达到类似的渲染质量，而计算时间仅为完全离线运行COLMAP的一半。由于计算时间与机器人的任务时长相近，因此该方法更适用于机器人应用场景。 COLMAP计算完成后，我们采用Sim(3) Umeyama对齐算法，将轨迹与激光雷达SLAM轨迹进行缩放，从而使最终轨迹具备度量属性。这对于在III-B节中使用激光雷达测量数据而言至关重要，因为激光雷达的深度数据同样具有度量属性。 ### D. 基于子地图的NeRF扩展 为大规模场景训练NeRF颇具挑战性，因为单个NeRF模型的表征能力有限，且加载数千张图像时会受到内存等硬件条件的限制。我们采用了子地图方法，利用谱聚类算法[^39]将经过COLMAP优化的SLAM轨迹划分为多个簇。与[^20]的研究不同，我们的模型基于Instant-NGP[^4]构建，其运算速度比多层感知机快数个数量级。子地图在其局部坐标系下训练，最终重建结果会通过III-C节中得到的度量位姿，经Sim(3)变换后转换到世界坐标系下。 要从NeRF生成3D重建结果，我们需要采样用于训练各模型的射线，并渲染出颜色和深度信息以生成3D点。在评估3D重建结果时，我们发现子地图中存在伪影，尤其是在边界处。产生这些伪影的原因之一是边界区域被观测到的次数较少，缺乏足够的视角约束。为解决这一问题，我们会识别出表面密度较低的区域，在合并子地图点云以得到最终重建结果时将其剔除。 ### 四、实验结果 ### A. 硬件与数据集 我们在一款名为Frontier的定制感知单元上评估我们的方法，这是一款多摄像头激光雷达惯性设备。它在设备三面各配备了一台160万像素的彩色$^{1}$鱼眼Alphasense摄像头， --- 该设备还搭载了来自Sevensense Robotics AG的惯性测量单元以及Hesai Pandar QT64激光雷达。我们利用Frontier在多个平台上采集数据集：足式机器人（Boston Dynamics Spot）、无人机（DJI M600）以及手持设备。Spot和手持版Frontier的数据集采集于牛津大学的H B Allen中心（HBAC）和数学研究所（Maths Inst.）。DJI M600无人机的数据集则在消防学院（FSC）采集。在FSC数据集中，我们仅使用校正后的前置摄像头图像，因为左右摄像头图像中能看到无人机螺旋桨。 我们使用VILENS [^7]——一种在线激光雷达惯性SLAM系统，以获取全局一致的轨迹和运动校正的激光雷达测量数据。在线SLAM生成的轨迹还会通过离线的COLMAP进一步优化，从而提升视觉重建质量，这一点将在表II中展示。激光雷达点云会被投影为深度图像；表面法线由激光雷达距离图像计算得出，同样会被投影为法线图像。我们使用Kalibr [^40]校准摄像头与惯性测量单元之间的外参，用[^41]校准摄像头与激光雷达之间的外参。运行COLMAP时，我们还会进一步优化从Kalibr得到的相机内参。训练NeRF模型时，我们使用了Nvidia RTX 3080 Ti显卡，一次迭代会处理4096条光线。 ### B. 评估指标 为了评估重建的几何精度，我们按照DTU数据集的惯例报告精度和完整度[^42]。精度是指重建结果与参考3D模型（真实值）之间的距离，反映了重建质量；完整度是指逐点参考数据与重建结果之间的距离，体现了重建所覆盖的表面比例。对于真实值，我们使用测绘级Leica BLK360激光扫描仪采集的厘米级精度的点云，并通过ICP算法得到的变换矩阵来配准激光雷达点云，该变换矩阵也用于配准NeRF重建结果。 我们还通过峰值信噪比（PSNR）和结构相似性指数（SSIM）[^43]来评估视觉质量。需要注意的是，由于我们的图像曝光时间各异，即便重建图像具有照片级真实感，测试得到的PSNR值仍会偏低。 ### C. 三维重建评估 我们利用不同机器人平台采集的真实世界数据集，对我们的方法进行了定量评估。我们比较了以下配置生成的点云重建结果： 1) 激光雷达-SLAM：经SLAM定位、再由COLMAP优化的激光雷达点云 2) Nerfacto [^3]：仅使用图像的基线方法 3) SiLVR：我们的方法，采用光度损失、深度损失和表面法线损失 对于Nerfacto和SiLVR，我们从每个子图中采样训练光线并生成1000万个点。对于Nerfacto，我们通过计算天空分割掩码并进一步手动裁剪，排除了属于天空的点；对于激光雷达-SLAM，我们仅纳入摄像头视野内的点，这样就能排除可能被操作员遮挡的向后指向的点。
TABLE I: Evaluation of 3D Reconstruction Quality
MethodAccuracy $\downarrow$\n(m)Completeness $\downarrow$\n(m)PSNR $\uparrow$\ntrainPSNR $\uparrow$\ntestSSIM $\uparrow$\ntest
Maths Quad
lidar-SLAM0.060.15///
Nerfacto mono1.380.3331.317.70.65
Nerfacto 3-cam0.760.3128.021.10.72
Ours mono0.080.1230.117.50.61
Ours 3-cam0.080.1127.320.50.71
Oxford HBAC
lidar-SLAM0.050.25///
Nerfacto mono0.495.4032.619.50.65
Nerfacto 3-cam0.280.4029.820.60.74
Ours mono0.304.6031.021.20.74
Ours 3-cam0.090.1828.819.70.74
FSC
lidar-SLAM0.080.08///
Nerfacto mono0.140.1128.819.10.76
Ours mono0.110.0927.719.10.75
NeRF模型经过10000次迭代训练，耗时5分钟；在计算准确性和完整性时，我们会裁剪掉真实数据与激光雷达扫描之间存在差异或无重叠的区域。 我们在表I中总结了定量结果，并在图3中展示了三维重建效果。与Nerfacto相比，我们的方法融入了激光雷达测量数据，在准确性和完整性方面均展现出显著更优的几何重建能力。Nerfacto在重建数学研究所内颜色均匀的地面和HBAC区域的四边形地面时表现不佳，这些区域机器人仅向前移动。与激光雷达SLAM相比，我们的方法通常能实现更完整的重建，因为它利用了密集的视觉信息；其准确性（8-11厘米）几乎与激光雷达SLAM相当（6-8厘米），且远优于Nerfacto（14-76厘米）。 3个摄像头 前置摄像头 ![Image](images/a73cf86045ea74264be5fc2a6838fdfc5602923d84fd478a178d3a6b029d95be.jpg)
Fig. 4: Comparison of reconstruction of HBAC building using the front camera only vs. using all the three cameras. The three-camera setup generates more complete and accurate reconstructions compared to using only a single front-facing camera. The multi-camera setting is important in robotic applications where it would be infeasible to actively scan the entire scene to obtain strong viewpoint constraints.
我们的多摄像头传感器配置的优势在图4中得到了直观展示。与三摄像头配置相比， --- ![Image](images/9a1690f5a142e41643cccdccb6e74542d640859e5b41ee0481c193c6e2966b37.jpg)
Fig. 5: Comparison of surface normal renderings of the Maths Institute. Incorporating normal constraints in addition to depth from lidar improves the smoothness of the reconstruction. Right: The smooth reconstruction of the ground portion highlights this improvement.
仅使用前置摄像头不仅会导致重建不完整，还会使几何质量变差。基于光度损失的视觉重建倾向于仅在输入视角下生成良好的渲染效果。图4中仅用前置摄像头进行的重建是基于拍摄场景浅角度的图像训练的，因此从未见过的视角渲染时会得到较差的几何重建结果。 ### D. 激光雷达表面法向损失的影响 虽然深度损失公式(2)提供了几何约束，但我们发现由此产生的三维重建在平坦表面上未必平滑。图5中的结果展示了表面法向损失公式(3)如何进一步约束重建几何并提升重建质量。由于地面纹理均匀，Nerfacto无法准确估计其深度。利用激光雷达深度损失可确保地面重建的高度正确，但表面仍不平滑。表面法向损失进一步平滑了表面，从而实现了更高质量的重建。
TABLE II: Ablation: Effect of Bootstrapping SLAM Poses
MethodFeaturesPriorTraj. Regis. tered (%)PSNR $\uparrow$SSIM $\uparrow$Time (s)
TrainTestTestTest
VILENS//100.023.017.40.64Online
NeRF refined//100.023.217.90.65Online
102457.625.919.10.713299.2
COLMAP1024✓100.026.220.60.741729.9
Sequential819294.026.119.80.727850.0
8192✓100.026.220.40.734448.4
102454.726.219.00.714444.8
COLMAP1024✓100.026.320.40.731052.5
VocabTree819294.826.619.90.7237067.5
8192✓100.026.320.40.7411015.3
Results evaluated on HBAC-Maths dataset with 3254 images and duration of 1270s. Models trained for 4000 iterations. PSNR and SSIM are evaluated after masking out the sky.
### E. 引导式SLAM位姿估计的影响 我们比较了不同位姿计算策略的性能：在线SLAM位姿、经NeRF位姿优化的SLAM位姿[^3]、不同配置下的COLMAP生成的SLAM位姿[^1]，以及无任何先验位姿的COLMAP。对于COLMAP，我们测试了不同数量的每幅图像特征点数量， ![Image](images/fb988535ab07f642b70063cec62b26b1eb3a52f5050cbabd0c6dcf8b1973c914.jpg)
1 NeRF map 4 NeRF submaps
Fig. 6: Effect of submap size on reconstruction quality. A larger number of submaps for a given area results in better reconstruction on thin objects such as the bike racks on the right.
以及两种不同的COLMAP特征匹配算法：带闭环检测的顺序匹配算法和词汇树匹配算法。 相关结果总结在表II中。对于所有COLMAP配置而言，提供SLAM先验位姿不仅能加快位姿计算过程，还能比离线COLMAP得到更好的测试渲染效果。我们的SLAM先验位姿还能将轨迹中的所有图像纳入注册范围，而不提供先验位姿时，COLMAP仅能注册55%-95%的图像。每幅图像提取的视觉特征点越多（从1024个增加到8192个），图像注册百分比就越高，视觉重建效果（PSNR和SSIM指标）也越好。不过这会以更高的计算时间为代价，尤其是使用词汇树匹配算法时。总体而言，使用COLMAP顺序匹配算法比词汇树匹配算法更快。 ### F. 大规模环境下的子地图构建 我们在图1中展示了使用手持式Frontier设备通过子地图技术对HBAC-Maths进行的大规模重建结果，同时给出了每个子地图的轨迹。为了凸显子地图技术的优势，我们比较了使用单一NeRF模型处理整个序列与利用多个子地图构建NeRF模型时的三维重建及渲染质量。定性结果如图6所示。由于单个NeRF模型在描述大范围内所有物体时的表达能力有限，因此仅用其重建Maths Inst.中的自行车架时会出现模糊现象。而如图6（右侧）所示，若针对该局部区域使用专门的子地图，重建质量便会显著提升。 ### 五、结论 综上所述，我们提出了一种通过可微渲染技术在神经场中融合激光雷达与视觉数据的大规模三维重建系统。所提出的传感器融合方案克服了单一传感器的局限性：即激光雷达数据的稀疏性、无纹理表面环境下视觉数据的不稳定性，以及多视角约束的不足。我们通过多个机器人平台在适合巡检任务的场景下采集的真实世界数据集，验证了该系统的大规模重建能力。 ## 致谢 作者衷心感谢Komatsu Ren在软件开发方面的协助，感谢Tobit Flatscher在Spot机器人部署上的支持，感谢Rowan Border在无人机数据采集中的贡献，也感谢Sundara Tejaswi Digumarti提供的有益讨论。 --- ## 参考文献 [^1]: J. L. Schönberger and J.-M. Frahm, “Structure-from-motion revisited,” in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2016. [^2]: B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng, “Nerf: Representing scenes as neural radiance fields for view synthesis,” Communications of the ACM, vol. 65, no. 1, pp. 99–106, 2021. [^3]: M. Tancik, E. Weber, E. Ng, R. Li, B. Yi, J. Kerr, T. Wang, A. Kristoffersen, J. Austin, K. Salahi, A. Ahuja, D. McAllister, and A. Kanazawa, “Nerfstudio: A modular framework for neural radiance field development,” in SIGGRAPH, 2023. [^4]: T. Müller, A. Evans, C. Schied, and A. Keller, “Instant neural graphics primitives with a multiresolution hash encoding,” ACM Transactions on Graphics (TOG), vol. 41, no. 4, pp. 102:1–102:15, Jul. 2022. [^5]: K. Deng, A. Liu, J.-Y. Zhu, and D. Ramanan, “Depth-supervised nerf: Fewer views and faster training for free,” in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2022, pp. 12 882–12 891. [^6]: Z. Yu, S. Peng, M. Niemeyer, T. Sattler, and A. Geiger, “MonoSDF: Exploring monocular geometric cues for neural implicit surface reconstruction,” Conf. on Neural Information Processing Systems (NeurIPS), 2022. [^7]: D. Wisth, M. Camurri, and M. Fallon, "VILENS: Visual, inertial, lidar, and leg odometry for all-terrain legged robots," IEEE Trans. Robotics, vol. 39, no. 1, pp. 309–326, 2023. [^8]: J. Behley and C. Stachniss, “Efficient surfel-based slam using 3d laser range data in urban environments,” in Robotics: Science and Systems (RSS), 2018. [^9]: J. Lin and F. Zhang, "R3LIVE: A robust, real-time, rgb-colored, lidar-inertial-visual tightly-coupled state estimation and mapping package," in IEEE Intl. Conf. on Robotics and Automation (ICRA), 2022, pp. 10672–10678. [^10]: J. Zhang and S. Singh, "LOAM: Lidar odometry and mapping in real-time." in Robotics: Science and Systems (RSS), vol. 2, no. 9. Berkeley, CA, 2014, pp. 1–9. [^12]: W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, "Fast-lio2: Fast direct lidar-inertial odometry," IEEE Trans. Robotics, vol. 38, no. 4, pp. 2053–2073, 2022. [^11]: S. Zhao, H. Zhang, P. Wang, L. Nogueira, and S. Scherer, “Super odometry: Imu-centric lidar-visual-inertial estimator for challenging environments,” in IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 8729–8736. [^13]: Y. Tao, M. Popović, Y. Wang, S. T. Digumarti, N. Chebrolu, and M. Fallon, "3d lidar reconstruction with probabilistic depth completion for robotic navigation," in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2022, pp. 5339–5346. [^14]: Y. Furukawa and J. Ponce, “Accurate, dense, and robust multiview stereopsis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 8, pp. 1362–1376, 2010. [^15]: K. Rematas, A. Liu, P. P. Srinivasan, J. T. Barron, A. Tagliasacchi, T. Funkhouser, and V. Ferrari, “Urban radiance fields,” in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2022, pp. 12932–12942. [^16]: M. Bosse, P. Newman, J. Leonard, M. Soika, W. Feiten, and S. Teller, "An atlas framework for scalable mapping," in IEEE Intl. Conf. on Robotics and Automation (ICRA), vol. 2, 2003, pp. 1899–1906 vol.2. [^17]: B.-J. Ho, P. Sodhi, P. Teixeira, M. Hsiao, T. Kusnur, and M. Kaess, “Virtual occupancy grid map for submap-based pose graph slam and planning in 3d environments,” in IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), 2018, pp. 2175–2182. [^18]: V. Reijgwart, A. Millane, H. Oleynikova, R. Siegwart, C. Cadena, and J. Nieto, “Voxgraph: Globally consistent, volumetric mapping using signed distance function submaps,” IEEE Robotics and Automation Letters, 2020. [^19]: Y. Wang, M. Ramezani, M. Mattamala, S. T. Digumarti, and M. Fallon, “Strategies for large scale elastic and semantic lidar reconstruction,” Journal of Robotics and Autonomous Systems, vol. 155, p. 104185, 2022. [^20]: M. Tancik, V. Casser, X. Yan, S. Pradhan, B. Mildenhall, P. P. Srinivasan, J. T. Barron, and H. Kretzschmar, "Block-nerf: Scalable large scene neural view synthesis," in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2022, pp. 8248–8258. [^21]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Conf. on Neural Information Processing Systems (NeurIPS), vol. 30, 2017. [^22]: S. Fridovich-Keil, A. Yu, M. Tancik, Q. Chen, B. Recht, and A. Kanazawa, "Plenoxels: Radiance fields without neural networks," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 5501–5510. [^23]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3d gaussian splatting for real-time radiance field rendering,” ACM Transactions on Graphics, vol. 42, no. 4, July 2023. [^24]: A. Yu, R. Li, M. Tancik, H. Li, R. Ng, and A. Kanazawa, "PlenOctrees for real-time rendering of neural radiance fields," in Intl. Conf. on Computer Vision (ICCV), 2021. [^25]: J. T. Barron, B. Mildenhall, D. Verbin, P. P. Srinivasan, and P. Hedman, "Mip-NeRF 360: Unbounded anti-aliased neural radiance fields," IEEE Int. Conf. Computer Vision and Pattern Recognition, 2022. [^26]: R. Martin-Brualla, N. Radwan, M. S. M. Sajjadi, J. T. Barron, A. Dosovitskiy, and D. Duckworth, “NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections,” in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2021. [^27]: Z. Li, T. Müller, A. Evans, R. H. Taylor, M. Unberath, M.-Y. Liu, and C.-H. Lin, "Neuralangelo: High-fidelity neural surface reconstruction," in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2023. [^28]: L. Yariv, J. Gu, Y. Kasten, and Y. Lipman, “Volume rendering of neural implicit surfaces,” Conf. on Neural Information Processing Systems (NeurIPS), vol. 34, pp. 4805–4815, 2021. [^29]: P. Wang, L. Liu, Y. Liu, C. Theobalt, T. Komura, and W. Wang, "NeuS: Learning neural implicit surfaces by volume rendering for multi-view reconstruction," Conf. on Neural Information Processing Systems (NeurIPS), 2021. [^30]: X. Zhong, Y. Pan, J. Behley, and C. Stachniss, “Shine-mapping: Large-scale 3d mapping using sparse hierarchical implicit neural representations,” in Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2023. [^31]: J. Deng, Q. Wu, X. Chen, S. Xia, Z. Sun, G. Liu, W. Yu, and L. Pei, "Nerf-loam: Neural implicit representation for large-scale incremental lidar odometry and mapping," in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023. [^32]: S. Lombardi, T. Simon, J. Saragih, G. Schwartz, A. Lehmann, and Y. Sheikh, "Neural volumes: learning dynamic renderable volumes from images," ACM Transactions on Graphics (TOG), vol. 38, no. 4, pp. 1–14, 2019. [^33]: V. Sitzmann, J. Thies, F. Heide, M. Nießner, G. Wetzstein, and M. Zollhofer, “Deepvoxels: Learning persistent 3d feature embeddings,” in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2019, pp. 2437–2446. [^34]: V. Sitzmann, M. Zollhöfer, and G. Wetzstein, “Scene representation networks: Continuous 3d-structure-aware neural scene representations,” Conf. on Neural Information Processing Systems (NeurIPS), vol. 32, 2019. [^35]: N. Max, “Optical models for direct volume rendering,” IEEE Trans. on Visualization and Computer Graphics, vol. 1, no. 2, pp. 99–108, 1995. [^36]: J. T. Kajiya and B. P. Von Herzen, “Ray tracing volume densities,” SIGGRAPH, vol. 18, no. 3, pp. 165–174, 1984. [^37]: Y. Wu, A. Kirillov, F. Massa, W.-Y. Lo, and R. Girshick, "Detectron2," , 2019. [^38]: D. Azinović, R. Martin-Brualla, D. B. Goldman, M. Nießner, and J. Thies, “Neural rgb-d surface reconstruction,” in IEEE Int. Conf. Computer Vision and Pattern Recognition, 2022, pp. 6290–6301. [^39]: U. Von Luxburg, “A tutorial on spectral clustering,” Statistics and Computing, vol. 17, pp. 395–416, 2007. [^40]: P. Furgale, J. Rehder, and R. Siegwart, "Unified temporal and spatial calibration for multi-sensor systems," in IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). IEEE, 2013, pp. 1280–1286. [^41]: L. F. T. Fu, N. Chebrolu, and M. Fallon, “Extrinsic calibration of camera to lidar using a differentiable checkerboard model,” in IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), 2023. [^42]: H. Aanaes, R. R. Jensen, G. Vogiatzis, E. Tola, and A. B. Dahl, "Large-scale data for multiple-view stereopsis," International Journal of Computer Vision, pp. 1–16, 2016. [^43]: Z. Wang, A. Bovik, H. Sheikh, and E. Simoncelli, “Image quality assessment: from error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, 2004.