{
  "paper_id": "cd367b58d5fcdefabf8756dcc845fe29",
  "paper_title": "MAVIS: Multi-Camera Augmented Visual-Inertial SLAM using SE_2(3) Based Exact IMU Pre-integration",
  "paper_authors": [
    "Yifu Wang",
    "Yonhon Ng",
    "Inkyu Sa",
    "Álvaro Parra",
    "Cristian Rodriguez-Opazo",
    "Taojun Lin",
    "Hongdong Li"
  ],
  "publication_date": "2023",
  "publication_venue": "2024 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "We present a novel optimization-based Visual-Inertial SLAM system designed for multiple partially overlapped camera systems, named MAVIS. Our framework fully exploits the benefits of wide field-of-view from multi-camera systems, and the metric scale measurements provided by an inertial measurement unit (IMU). We introduce an improved IMU pre-integration formulation based on the exponential function of an automorphism of SE_2(3), which can effectively enhance tracking performance under fast rotational motion and extended integration time. Furthermore, we extend conventional front-end tracking and back-end optimization module designed for monocular or stereo setup towards multi-camera systems, and introduce implementation details that contribute to the performance of our system in challenging scenarios. The practical validity of our approach is supported by our experiments on public datasets. Our MAVIS won the first place in all the vision-IMU tracks (single and multi-session SLAM) on Hilti SLAM Challenge 2023 with 1.7 times the score compared to the second place.",
  "keywords": [
    "视觉惯性SLAM",
    "多相机系统",
    "IMU预积分",
    "SE2(3)李群",
    "Bundle Adjustment",
    "回环检测",
    "多会话SLAM",
    "Hilti SLAM Challenge"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:47.485496Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nMAVIS针对多相机视觉惯性SLAM在弱纹理环境、快速旋转运动和长时间特征跟踪失败时易发散的问题，提出了一套面向多个部分重叠相机系统的优化型VI-SLAM框架。现有单目/双目方案（如VINS-MONO、ORB-SLAM3）受限于有限视场角，已有多相机方案（如VILENS-MC缺乏局部地图跟踪与回环优化、BAMF-SLAM需高端GPU近实时运行）难以在精度、鲁棒性和计算效率间取得平衡；同时传统IMU预积分方法（Forster等）在位置和速度积分中假设IMU测量间非旋转，在快速旋转和长积分时间下精度受损。MAVIS的核心创新是基于SE2(3)矩阵李群自同构指数函数的精确IMU预积分公式，其核心机制为 ξ_{t_{j'}} = exp(δ(G-D))ξ_{t_j}exp(δ(U-B+D))，通过J1、J2雅可比项精确刻画旋转对位置与速度积分的影响，并辅以IMU内参补偿（轴失准与尺度因子建模）、局部地图前端跟踪（相机内/间特征匹配）、滑动窗口Bundle Adjustment后端优化、DBoW2回环检测及多会话地图融合。系统在EuRoC数据集（双目惯性基准，用于与最先进方法公平对比）和Hilti SLAM Challenge 2023数据集（手持Alphasense多相机套件与地面机器人OAK-D相机，涵盖暗光、掉帧、相机不同步等挑战，提供毫米级真值）上评估，采用绝对轨迹误差（ATE RMSE）指标：MAVIS在EuRoC的11个序列中6个取得最佳结果且标准差最低（0.017），在Hilti 2023视觉-IMU单会话与多会话赛道均以约1.7倍于第二名的得分获得第一名，并在Hilti 2022挑战中以130.2分（第二名40.9分）居首，验证了精确预积分与多相机扩展对快速旋转和挑战场景性能的支撑。系统以C++实现，在Ubuntu 20.04桌面（AMD Ryzen 9 5950X）上纯CPU实时运行，优于需RTX 4090 GPU且慢1.6倍的BAMF-SLAM。未来可集成更先进的旋转平移解耦初始化算法；实际应用中需应对暗光（直方图均衡化）、掉帧与同步误差（中曝光时间补偿）等约束，适用于XR设备、建筑工地定位等真实场景。\n\n### 关键要点\n\n- MAVIS是专为多个部分重叠相机系统设计的优化型视觉惯性SLAM框架，充分利用多相机大视场角与IMU度量尺度测量的优势，提升运动估计精度与对弱纹理环境的鲁棒性。\n- 核心创新为基于SE2(3)李群自同构指数函数的精确IMU预积分公式，通过J1、J2雅可比项精确积分位置和速度，克服传统欧拉积分假设IMU测量间非旋转的缺陷，显著改善快速旋转与长积分时间下的跟踪性能。\n- IMU内参补偿模块通过尺度对角矩阵S、失准单位下三角矩阵M和加速度-陀螺耦合矩阵A建模低成本消费级传感器误差，参数可由广泛采用的Kalibr工具标定获得。\n- 前端跟踪基于局部地图策略，利用IMU预积分预测的相对位姿将局部地图点投影到多相机图像，进行相机内与相机间特征匹配以增强共视关系，重访位置时显著提升跟踪性能。\n- 后端优化采用滑动窗口Bundle Adjustment，联合最小化所有相机的视觉重投影误差与IMU预积分误差，并使用鲁棒核函数与描述子距离验证剔除误匹配特征点。\n- 针对真实场景挑战（暗光、掉帧、数据不连续），系统采用直方图均衡化补偿暗帧、利用剩余图像避免长时间IMU积分，并加入中曝光时间补偿参数降低多相机同步误差影响。\n- 回环检测利用DBoW2库在相机内与相机间检测候选回环，能正确识别U型转弯等常规单目/双目VIO无法检测的运动，并通过几何验证与全局Bundle Adjustment大幅消除累计漂移。\n- 多会话SLAM通过BoW模型识别重叠关键帧、局部地图辅助几何对齐并融合多个子地图，生成全局一致地图，支撑Hilti多会话挑战场景。\n- 在EuRoC数据集双目惯性设置下，MAVIS在11个序列中6个取得最佳ATE RMSE，标准差0.017优于ORB-SLAM3（0.019）、BASALT（0.028）等所有对比方法，验证了精确预积分对精度与鲁棒性的贡献。\n- 在Hilti SLAM Challenge 2023上，MAVIS以总分452.21获视觉-IMU单会话与多会话赛道第一名，得分约为第二名BAMF-SLAM（267.35）的1.7倍，且纯CPU实时运行而BAMF-SLAM需RTX 4090 GPU并慢1.6倍。\n- 系统以C++实现并在Ubuntu 20.04（AMD Ryzen 9 5950X）桌面评估；site2_robot_1序列因双目对间时间同步问题仅使用一对双目相机加IMU处理，体现了对实际传感器约束的应对策略。"
}