{
  "paper_id": "03a90f8af51be3fe6d12af71d57a1265",
  "paper_title": "BAMF-SLAM: Bundle Adjusted Multi-Fisheye Visual-Inertial SLAM Using Recurrent Field Transforms",
  "paper_authors": [
    "Wei Zhang",
    "Sen Wang",
    "Xingliang Dong",
    "Rongwei Guo",
    "Norbert Haala"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "本文提出BAMF-SLAM，一种利用捆绑调整（BA）与循环场变换（RFT）的新型多鱼眼视觉惯性SLAM系统，可在挑战性场景中实现精确且鲁棒的状态估计。首先，系统直接在原始鱼眼图像上运行，从而充分利用鱼眼相机的宽视场（FoV）。其次，为克服低纹理挑战，我们通过统一因子图探索多相机输入与互补惯性测量的紧耦合集成，并联合优化位姿与稠密深度图。第三，为实现全局一致性，鱼眼相机的宽视场使系统能够发现更多潜在回环闭合，且凭借RFT的宽收敛域，系统可在极少重叠的情况下完成极宽基线的回环闭合。此外，我们提出半位姿图BA方法以避免昂贵的全局全量BA：通过将相对位姿因子与回环因子相结合，可在适度内存占用下高效调整全局状态并保持高精度。在TUM-VI、Hilt-Oxford和Newer College数据集上的评估表明，所提系统优于先前工作。在Hilti-SLAM挑战赛2022中，我们的VIO版本获得第二名；在后续提交中，包含全局BA后端的完整系统超越了获胜方案。",
  "keywords": [
    "视觉惯性SLAM",
    "鱼眼相机",
    "捆绑调整",
    "循环场变换",
    "多相机系统",
    "回环检测",
    "半位姿图",
    "稠密深度图",
    "IMU预积分"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:50.546105Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对低纹理、快速光照变化与剧烈运动等挑战场景下视觉惯性SLAM对精度与鲁棒性日益增长的需求（如建筑工地监测要求厘米级精度），本文提出BAMF-SLAM——一个结合捆绑调整（BA）与循环场变换（RFT）的多鱼眼视觉惯性SLAM系统。不同于最小化稀疏特征重投影误差的特征法（ORB-SLAM3、OKVIS2）与最小化稠密像素光度误差的直接法（LSD-SLAM、DSO），该系统沿承DROID-SLAM将RFT与BA结合的思路并扩展至多相机VI-SLAM：直接在原始鱼眼图像上运行并采用Kannala-Brandt鱼眼模型以避免去畸变造成的边缘信息损失，通过统一因子图紧耦合融合多相机输入与IMU预积分测量，联合优化位姿与稠密深度图，其核心重投影误差为 r_ij = ‖p̌_ij − Π(T̂_ij Π⁻¹(p_i, d̂_i))‖²_{w_i}，其中稠密对应 p̌_ij = p̂_ij + δ_ij 与逐像素置信度 w_i 均由RFT预测。为实现全局一致性，系统利用鱼眼宽视场与RFT宽收敛域检测重叠极小的宽基线回环，并提出半位姿图BA：将前端重投影因子经Gauss-Newton转换为相对位姿边及协方差构建位姿图，再以回环重投影因子扩展，同时优化位姿与回环涉及的深度图，从而比全量BA高效、比位姿图优化（PGO）准确。实验选用TUM-VI（双目鱼眼+IMU，验证室内低纹理、快速旋转与多楼层场景）、Newer College（四鱼眼+IMU，验证室内外大尺度场景）与Hilti-Oxford（五鱼眼+IMU，验证建筑工地与历史剧院等挑战场景）数据集，以ATE与RPE为指标：TUM-VI上VI-SLAM在corridor、room、slides平均ATE低至0.01m并优于ORB-SLAM3与OKVIS2；Newer College上10m RPE全面优于OpenVINS、ORB-SLAM3与VILENS-MC；Hilti-SLAM 2022挑战赛中VIO版本以22.2分获第二名，含全局BA后端的完整系统以40.9分超越冠军方案OKVIS2（32.5分）。系统以Python/CUDA（PyTorch/Eigen）实现，在i9-12900K+RTX 3090Ti上双目模式约25fps、多相机模式约22fps，11GB显存即可运行，验证了实时潜力。未来工作包括提升大规模室外场景（天空、阴影等噪声像素）的鲁棒性，以及引入Bag-of-Words等全局回环检测以应对长距离漂移。实际约束包括：依赖GPU算力、多相机外参标定误差（导致多相机模式ATE反而高于双目模式）、大里程计漂移下回环检测可能失败（如TUM-VI magistrale 3序列ATE为1.39m）。\n\n### 关键要点\n\n- 系统直接处理原始鱼眼图像并采用Kannala-Brandt相机模型进行投影/反投影与解析Jacobian计算，避免去畸变带来的边缘裁剪与插值采样伪影，充分利用宽视场信息。\n- 统一因子图将多相机视觉重投影因子（单目与跨相机立体类型）与IMU预积分因子紧耦合，联合优化系统状态 x_i = [T_i, v_i, b_i^a, b_i^g]^T 与关键帧稠密深度图；多相机设置下一个关键帧拥有指向不同视角的多张深度图（多重投影因子）。\n- IMU初始化分四步：纯视觉BA建立前K个关键帧初始位姿、（静止启动时）最小二乘求重力方向与加速度计偏置、纯惯性BA优化速度/尺度/陀螺仪偏置、最终视觉惯性BA联合优化全部变量；引入尺度变量可降低多相机标定误差的影响。\n- 前端维护滑动窗口，新关键帧先以窗口大小1执行跟踪（单帧BA）再执行局部BA，使局部BA仅需两次迭代即收敛，显著改善运行时性能；窗口外由重投影因子连接的少量顶点作为固定先验参与优化。\n- RFT（源自RAFT/DROID-SLAM）基于特征图预测稠密像素对应与逐像素置信度，低置信度分配给无对应或歧义像素以缓解误匹配与遮挡；仅在针孔图像数据集TartanAir上预训练的模型对鱼眼图像具有优异泛化能力，无需微调。\n- 半位姿图BA将前端重投影因子经Gauss-Newton（HΔx = JᵀWJΔx = b）转换为相对位姿边及协方差构建位姿图，回环以重投影因子形式扩展，同时优化位姿与回环涉及的深度图；变量数远小于全量BA故更高效，且相对位姿因子源自高重叠关键帧故准确鲁棒。\n- 宽基线回环检测采用宽松帧距阈值以纳入更多潜在回环，错误回环因RFT对错误匹配赋予低置信度而影响甚微；鱼眼宽视场使图像边界极少重叠时仍能检测回环（如长途旅行后重访同一房间）。\n- TUM-VI数据集上，VIO在corridor/slides平均ATE为0.18m/0.45m，优于BASALT与OKVIS2；VI-SLAM在corridor、room、slides平均ATE均为0.01m，优于ORB-SLAM3与OKVIS2；magistrale 3因漂移过大无法找到回环，ATE为1.39m。\n- Newer College数据集上，MC-VIO的10m RPE在MATH/MINE/QUAD/STAIRS/PARK分别为0.12/0.07/0.18/0.09/0.10m，全面优于OpenVINS、ORB-SLAM3与VILENS-MC；Park序列（约2.4km）经半位姿图BA后轨迹平滑一致，点云中建筑边缘与公园围墙清晰。\n- Hilti-Oxford数据集上，VIO的ATE介于10-30cm、挑战赛得分22.2（第二名），完整SLAM系统得分40.9超越冠军OKVIS2（32.5）；exp01-exp03起终点重合可回环故改善明显；为降低计算量省略了特征较少的顶部相机。\n- 处理时间方面，非关键帧平均13ms，关键帧约178ms（跟踪48ms、局部BA 106ms、相对位姿计算8ms等）；TUM-VI上平均25fps（超录制时长25%、关键帧占比23.5%），多相机模式降至22fps；后端回环与全局BA在程序结束时执行一次，长序列需数秒至数分钟。\n- 局限与约束：多相机模式ATE反而高于双目模式（疑似外参标定误差，计划未来研究）；系统需GPU（11GB显存）支持；大规模室外场景中天空与阴影等噪声像素影响鲁棒性，长距离大漂移下需引入Bag-of-Words等全局回环检测以增强回环能力。"
}