{
  "paper_id": "d69a52cc4bb6d153b2f6313d66d19525",
  "paper_title": "SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields for Robotic Inspection",
  "paper_authors": [
    "Yifu Tao",
    "Yash Bhalgat",
    "Lanke Frank Tarimo Fu",
    "Matias Mattamala",
    "Nived Chebrolu",
    "Maurice Fallon"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "本文提出一个基于神经场的大规模重建系统，融合激光雷达与视觉数据以生成几何精确且具有照片级真实纹理的高质量重建。该系统对最先进的神经辐射场（NeRF）表示进行改造以纳入激光雷达数据，从而对深度和表面法向施加强几何约束。我们利用实时激光雷达SLAM系统的轨迹来引导运动恢复结构（SfM）流程，既显著减少计算时间，又提供对激光深度损失至关重要的米制尺度。我们采用子图策略使系统可扩展至长轨迹采集的大规模环境。我们通过多相机、激光雷达传感器套件的数据演示该重建系统：安装在腿式机器人上、手持扫描600米建筑场景、以及搭载于空中机器人勘测多层模拟灾难建筑。",
  "keywords": [
    "神经辐射场",
    "激光雷达-视觉融合",
    "大规模三维重建",
    "SLAM",
    "子图",
    "机器人巡检",
    "新视角合成"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:02.150920Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决机器人巡检中大规模三维重建的核心难题：纯视觉方法（SfM/MVS、NeRF）在弱纹理、多视角约束不足的区域几何精度差，而纯激光雷达重建稀疏且缺乏颜色信息。在NeRF、Urban Radiance Fields等激光-视觉融合与子图建图研究的基础上，SiLVR系统将最先进的神经辐射场表示与激光雷达数据融合，基于Nerfacto实现（采用Instant-NGP哈希编码与场景收缩以加速训练并节省内存），在光度损失之外引入两项几何约束：核心深度损失将激光雷达深度测量D周围正态分布与NeRF渲染射线分布h(t)之间的KL散度最小化，即 L_Depth = Σ_r KL[N(D, σ̂) ‖ h(t)]；法向损失则约束由密度场负梯度计算的表面法向与激光雷达距离图像导出的法向一致，从而在无纹理区域获得准确深度与平滑表面。系统利用实时激光-惯性SLAM（VILENS）轨迹引导COLMAP点三角化，将增量式SfM转化为全局Bundle Adjustment，使计算时间减少50%并提供米制尺度（经Sim(3) Umeyama对齐），再以谱聚类将轨迹划分为约50×50米的子图分别训练并融合，实现超过600米轨迹的大尺度扩展。实验采用自研Frontier传感器套件（三台1.6MP鱼眼相机、Sevensense IMU、Hesai Pandar QT64激光雷达），在腿式机器人Spot、DJI M600无人机和手持设备于牛津数学研究所、H B Allen中心及消防服务学院采集的真实数据上验证多平台与多环境适用性，以Leica BLK360厘米级点云为真值，用Accuracy、Completeness、PSNR、SSIM评估：本方法精度达8-11厘米，接近激光SLAM（6-8厘米）并远优于纯视觉Nerfacto（14-76厘米），完整性优于激光SLAM，验证了激光几何约束、SLAM先验与子图策略的有效性；未来可探索更鲁棒的位姿联合优化（现有NeRF位姿精化方法在大规模图像集上不稳定）。实际部署需应对曝光变化降低测试PSNR、无人机螺旋桨遮挡等约束，适用于工业设施巡检与自主导航等场景。\n\n### 关键要点\n\n- 方法核心：SiLVR基于Nerfacto（融合Instant-NGP哈希编码、MipNeRF-360场景收缩与逐帧外观编码）构建神经辐射场，联合光度损失、激光雷达深度损失与表面法向损失优化，生成几何精确且照片级真实的稠密纹理重建。\n- 深度约束机制：深度损失定义为激光雷达深度测量D周围正态分布与NeRF渲染射线分布h(t)之间的KL散度，为SfM无法处理的特征缺失区域提供度量深度约束。\n- 法向约束：从激光雷达距离图像计算表面法向并投影为法向图像，法向损失约束NeRF密度场的负梯度，消除仅用深度损失时平坦表面（如地面）出现的波浪状伪影。\n- 位姿引导：以VILENS激光-惯性SLAM轨迹作为先验，将COLMAP的mapper替换为读取先验位姿的点三角化器，把增量式SfM转化为全局Bundle Adjustment，计算时间减少50%且能将全部图像注册到单一地图。\n- 米制尺度：COLMAP优化后的轨迹通过Sim(3) Umeyama对齐到激光SLAM轨迹以恢复米制尺度，这是使用度量激光深度损失的必要前提。\n- 子图扩展：利用谱聚类将轨迹划分为约50×50米的局部子图，各子图在局部坐标系训练后经Sim(3)变换融合到世界坐标，支持超过600米轨迹的大规模场景，并显著提升细薄物体（如自行车架）的重建质量。\n- 硬件与数据：自研Frontier感知单元包含三台1.6MP鱼眼相机、Sevensense IMU与Hesai Pandar QT64激光雷达，分别在Spot腿式机器人、DJI M600无人机和手持设备上采集牛津数学研究所、H B Allen中心及消防服务学院的数据。\n- 实现设置：相机-IMU外参用Kalibr标定，相机-激光雷达外参用可微分棋盘格模型标定；NeRF在Nvidia RTX 3080 Ti上训练，每次迭代4096条射线，每子图10000次迭代约5分钟。\n- 评估指标与结果：以Leica BLK360厘米级点云为真值，遵循DTU惯例报告Accuracy与Completeness，并报告PSNR与SSIM；本方法精度8-11厘米接近激光SLAM的6-8厘米，远优于Nerfacto的14-76厘米，且完整性优于激光SLAM。\n- 多相机优势：三相机设置相比仅前向相机产生更完整且更准确的重建，因为纯光度损失偏向输入视角的渲染，浅视角观察导致未见视角下几何质量差，这对无法执行物体中心轨迹的巡检机器人尤为重要。\n- 消融验证：提供SLAM先验使COLMAP注册100%图像（无先验仅55%-95%）且测试渲染质量更优；每图提取更多特征（从1024增至8192）提升注册率与PSNR/SSIM但增加计算时间，Sequential匹配器快于VocabTree匹配器。\n- 实际约束：图像曝光时间变化会降低测试PSNR；FSC无人机数据集因螺旋桨入镜仅使用前相机矫正图像；子图边界稀疏观测区域通过识别低表面密度并在融合时剔除来处理。"
}