{
  "paper_id": "ada60686d0b73ff3a8efa1aefb0a2ba9",
  "paper_title": "LiDAR-VGGT: Cross-Modal Coarse-to-Fine Fusion for Globally Consistent and Metric-Scale Dense Mapping",
  "paper_authors": [
    "Lijie Wang",
    "Lianjie Guo",
    "Ziyi Xu",
    "Qianhao Wang",
    "Fei Gao",
    "Xieyuanli Chen"
  ],
  "publication_date": "2025",
  "publication_venue": "IEEE Robotics and Automation Letters",
  "abstract": "Reconstructing large-scale RGB point clouds is an important task in robotics, supporting perception, navigation, and scene understanding. Despite advances in LiDAR inertial visual odometry (LIVO), its performance remains highly sensitive to extrinsic calibration. Meanwhile, 3D vision foundation models, such as VGGT, suffer from limited scalability in large environments and inherently lack metric scale. To overcome these limitations, we propose LiDAR-VGGT, a novel framework that couples LiDAR inertial odometry with the state-of-the-art VGGT model through a two-stage coarse-to-fine fusion pipeline: First, a pre-fusion module robustly estimates per-session VGGT poses and RGB point clouds with a coarse metric scale. Then, a post-fusion module enhances cross-modal 3D similarity transformation, using bounding-box-based regularization to reduce scale distortions caused by inconsistent FOVs between LiDAR and camera sensors. Extensive experiments across multiple datasets demonstrate that LiDAR-VGGT achieves improved visual quality and density compared to VGGT-based methods and LIVO baselines. The implementation of our method and the proposed novel RGB point cloud evaluation toolkit are released as open source.",
  "keywords": [
    "SLAM",
    "mapping",
    "sensor fusion"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:10.361665Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n大规模RGB点云重建是机器人感知、导航与场景理解的基础任务，但现有两类技术路线各有瓶颈：经典LiDAR-惯性-视觉里程计（LIVO，如FAST-LIVO2、R³LIVE）高度依赖精确外参标定与严格时间同步，且LiDAR扫描稀疏难以生成稠密高保真重建；而以DUSt3R、MASt3R、VGGT为代表的前馈式3D视觉基础模型虽能从无标定RGB帧一次性预测位姿、深度与稠密点云，却受GPU显存限制难以扩展到大环境且天然缺乏度量尺度，VGGT-Long、VGGT-SLAM等分段处理方案仅保证子图间相对尺度一致性且对低质量共享帧敏感。为此，本文提出LiDAR-VGGT框架，通过两阶段粗到细融合管线紧耦合LiDAR惯性里程计与VGGT：预融合模块以FAST-LIO2位姿（结合RING++回环检测与PGO保证全局一致）为锚，采用Umeyama闭式法估计Sim(3)变换，并辅以基于PCA线性度分数（ℓ=1−(λ₂+λ₃)/λ₁）的退化运动检测与旋转平均修正、以及以高线性度序列为先验内点的尺度RANSAC精化，将VGGT尺度归一化局部位姿变换到真实世界坐标系并生成带近似度量尺度的RGB点云；后融合模块通过带边界框正则化的稳定跨模态Sim(3)配准（核心机制为最小化 Σᵢ‖qᵢ−(s₂R₂pᵢ+t₂)‖²+λ(s₂−s₁*)²，其中正则权重 λ=β·n·D² 由源点云点数n与包围盒对角线长度D决定，用于抑制相机与LiDAR视场差异导致的尺度漂移，并经交替优化求解）将各会话VGGT点云与LiDAR点云精确对齐，最后通过基于GTSAM的全局位姿图优化（会话内VGGT位姿约束+会话间ICP约束）消除跨会话发散。实验在MARS-LVIG大规模航空数据集（轨迹1877–4915米，用于验证大尺度下的全局一致性与度量尺度保持）、FAST-LIVO2与MUN_FRL数据集及自采无人机/手持平台数据（用于验证弱标定或弱同步条件下的鲁棒性）上开展，结果表明本方法在几何保真度指标（Chamfer距离、ICP重叠率、平均Wasserstein距离AWD、Fitness）上全面超越VGGT-Long、VGGT-SLAM与SLAM3R（多数序列ICP重叠率超50%、AWD接近1米），在颜色质量指标（颜色距离CD*、颜色保真度CF、颜色一致性分数CCS、局部颜色召回率LCR）上接近全面最优，重建点云达数十亿点（较FAST-LIVO2与R³LIVE高4.5–125倍）并取得所有对比方法中最佳的精度距离AC，这些结果支撑了跨模态正则化配准与全局PGO两项创新的有效性；与LIO/LIVO基线相比，其颜色质量仅次于FAST-LIVO2、优于R³LIVE，几何精度因VGGT固有限制略逊于LIO2/LIVO2，且在缺乏时间同步或精确标定的真实条件下远比FAST-LIVO2鲁棒。作者还开源了首个联合评估颜色保真度与几何一致性的RGB点云评估工具包，弥补了现有基于渲染的评估指标忽略3D几何结构与真值地图的不足；未来工作将探索把LiDAR线索直接嵌入VGGT骨干网络以实现端到端跨模态重建。该系统适用于具身导航、多机器人协作与自动驾驶等需要稠密、度量精确地图的真实场景，但长序列需分会话处理且几何质量受限于VGGT重建质量。\n\n### 关键要点\n\n- LiDAR-VGGT是首个将LiDAR与VGGT融合的系统，实现大规模、度量精确、稠密且全局一致的RGB点云重建，方法实现与RGB点云评估工具包均已开源。\n- 预融合模块将LiDAR位姿经外参转换为相机位姿并按时间戳最近邻与VGGT位姿配对，用Umeyama闭式法联合估计尺度、旋转与平移，把VGGT局部位姿变换到真实世界坐标系。\n- 针对近线性轨迹下Sim(3)旋转估计不稳定的问题，方法对相机位姿序列做PCA并定义线性度分数 ℓ=1−(λ₂+λ₃)/λ₁，对高线性度序列通过旋转平均（相对旋转聚合后经SVD投影到SO(3)）修正初始旋转。\n- 尺度RANSAC将各会话线性度经softmax转为采样概率以优先高线性度序列，以2倍尺度标准差为内点阈值，离群尺度由最近内点尺度与重叠位姿Sim(3)估计联合修正，保证尺度传播正确。\n- 后融合模块的稳定跨模态Sim(3)配准在点对齐残差上加入尺度正则项 λ(s₂−s₁*)²（λ=β·n·D²，n为源点数、D为包围盒对角线、β为可调系数），通过最近邻建立跨模态对应并交替更新s₂与R₂、t₂，抑制FOV差异引起的无界尺度畸变。\n- 全局位姿图优化基于GTSAM实现，融合VGGT位姿的会话内约束与重叠区域ICP得到的会话间约束，将所有RGB点云重投影到统一全局坐标系以消除跨会话发散。\n- 实验覆盖MARS-LVIG（5条航空序列，轨迹2058–4915米，Avia LiDAR）、FAST-LIVO2（2条）、MUN_FRL（2条，Velodyne）与自采数据（3条，MID360，含无人机户外与手持室内平台），真值分别来自DJI L1/Terra高精度点云与位姿插值投影。\n- 几何保真度上，本方法在CD、ICP重叠率、AWD、Fitness四项指标上全面领先VGGT基线：LightHouse重叠率达91%（基线最高32.5%），AMtown01的CD仅2.23米（基线最优51.34米），大尺度序列AWD接近1米。\n- 颜色质量上，本方法在CD*、CF、CCS、LCR上取得最优或近优结果，如LightHouse的LCR达36.7%（基线最高6.1%）、AMtown01的CF为15.81 dB（基线最高12.41 dB）。\n- 与LIO/LIVO方法对比，本方法重建点数达1.5×10⁹–6.0×10⁹，较FAST-LIVO2与R³LIVE高4.5–125倍，高密度提供更多对应候选并带来最佳的精度距离AC；颜色指标仅次于FAST-LIVO2、优于R³LIVE，几何指标因VGGT几何保真度有限而逊于LIO2/LIVO2。\n- 消融实验表明正则化Sim(3)在RMSE、AWD、CD、SCS上几乎全面优于普通Sim(3)（如AMvalley01的RMSE由2.95米降至0.942米），仅有位姿配准的预融合变体表现最差，验证了点云级直接融合与尺度正则化的必要性。\n- 鲁棒性分析显示，在缺乏时间同步（MUN_FRL）或仅有粗略外参标定（自采数据）时FAST-LIVO2地图严重模糊退化，而本方法基本不受影响，仍生成更清晰、干净、稠密的点云。"
}