{
  "paper_id": "2f1430a0d634af48a2dae5c653b44930",
  "paper_title": "ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial, and Multimap SLAM",
  "paper_authors": [
    "Carlos Campos",
    "Richard Elvira",
    "Juan J. Gómez Rodríguez",
    "José M. M. Montiel",
    "Juan D. Tardós"
  ],
  "publication_date": "2021",
  "publication_venue": "IEEE Transactions on Robotics",
  "abstract": "本文提出ORB-SLAM3，这是首个能够使用针孔和鱼眼镜头模型的单目、双目和RGB-D相机执行视觉、视觉-惯性和多地图SLAM的系统。第一个主要创新是完全依赖最大后验（MAP）估计的紧耦合视觉-惯性SLAM系统，即使在IMU初始化期间也是如此，从而在小型和大型、室内和室外环境中实现实时鲁棒运行，比先前方法精确2到10倍。第二个主要创新是依赖新的改进召回率位置识别方法的多地图系统，使ORB-SLAM3能够在视觉信息差的长时间内存活：当跟踪丢失时，它会启动一个新地图，并在重访时与之前的地图无缝合并。与仅使用最近几秒信息的视觉里程计系统相比，ORB-SLAM3是首个能够在所有算法阶段复用来自高视差共视关键帧的全部先前信息的系统，即使这些关键帧在时间上相隔很远或来自先前的建图会话，从而提升精度。实验表明，在所有传感器配置中，ORB-SLAM3与文献中可获得的最佳系统同样鲁棒且显著更精确。值得注意的是，双目-惯性SLAM在EuRoC无人机上达到3.5 cm的平均精度，在TUM-VI数据集房间中的快速手持运动下达到9 mm，代表了AR/VR场景。为了社区的利益，作者公开了源代码。",
  "keywords": [
    "计算机视觉",
    "惯性导航",
    "同步定位与建图"
  ],
  "paper_institutions": [
    "Universidad de Zaragoza"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:28.973253Z",
  "template_tag": "simple",
  "summary": "### 摘要\nORB-SLAM3解决的问题是：如何在单目、双目、RGB-D相机（支持针孔与鱼眼镜头模型）下实现视觉、视觉-惯性与多地图SLAM的高精度实时定位与建图，克服以往视觉里程计仅利用短期数据关联导致持续漂移、ORB-SLAM-VI等系统IMU初始化缓慢（需15秒）以及跟踪丢失后难以恢复的不足。在MonoSLAM、PTAM、ORB-SLAM2、MSCKF、OKVIS、VINS-Mono、VI-DSO、BASALT等相关研究基础上，本文提出完全依赖最大后验（MAP）估计的紧耦合视觉-惯性SLAM（即使在IMU初始化阶段）、基于改进召回率位置识别的Atlas多地图系统（跟踪丢失时新建地图、重访时无缝合并）以及与相机模型无关的抽象相机表示，首次在所有算法阶段综合利用短期、中期、长期与多地图四类数据关联。系统核心机制为视觉-惯性联合MAP优化：min_{S̄_k,X}(Σ_i‖r_{I_{i-1,i}}‖²_{Σ_I^{-1}} + Σ_jΣ_{i∈K^j}ρ_Hub(‖r_{ij}‖_{Σ_{ij}^{-1}}))，即IMU预积分残差与带Huber鲁棒核的重投影误差的联合最小化。实验选用EuRoC无人机数据集（11条序列，覆盖室内外大小环境，用于验证四种传感器配置的精度与鲁棒性）与TUM-VI手持鱼眼基准（28条序列、6种环境，用于验证鱼眼相机与AR/VR场景表现），在Intel Core i7-7700 CPU（3.6 GHz、32 GB内存、仅CPU）上运行，以RMS ATE与尺度误差为指标。结果表明：双目-惯性SLAM在EuRoC平均精度3.5 cm、在TUM-VI房间序列快速手持运动下达9 mm，比先前方法精确2-10倍，支持了MAP初始化与四类数据关联的创新价值；多会话下比VINS-Mono精确3.2倍，验证了地图合并操作的优势。未来方向包括发展适用于四类数据关联问题的光度技术（如人体内窥镜图像建图）以及基于CNN单目深度估计的真尺度单目SLAM。实际应用中，双目-惯性提供最鲁棒精确的方案且可按IMU速率输出位姿；但低纹理环境是主要失败情形，慢速运动或无横滚俯仰旋转（如平地上的汽车）时IMU难以初始化，纯旋转探索时单目无法估计深度，此时宜改用双目SLAM或CNN深度估计。\n\n### 关键要点\n- **系统定位**：ORB-SLAM3是首个支持单目/双目/RGB-D相机与针孔/鱼眼模型的视觉、视觉-惯性与多地图SLAM开源库，在所有算法阶段复用高视差共视关键帧的全部先前信息，即使时间上相隔很远或来自先前建图会话，从而提升精度。\n- **MAP初始化**：IMU初始化分为视觉-only MAP、惯性-only MAP与视觉-惯性联合MAP三步，2秒轨迹即达5%尺度误差，初始化后5与15秒的视觉-惯性BA收敛至1%，远快于ORB-SLAM-VI的15秒与VI-DSO的20-30秒。\n- **位置识别**：新算法先对候选关键帧做几何一致性检验（RANSAC计算3D对齐变换并引导匹配细化），再与三个共视关键帧做局部一致性验证，提高召回率并致密化数据关联，代价是略高的计算成本。\n- **Atlas多地图**：首个完整的视觉与视觉-惯性多地图系统，跟踪丢失时先进入短时丢失状态（用IMU估计状态并在大图像窗口搜索匹配，5秒后），再进入长时丢失状态（新建活动地图），重访时通过位置识别无缝合并，支持增量式多会话SLAM。\n- **相机模型抽象**：将投影、反投影与雅可比函数抽取为独立模块使SLAM代码与相机模型无关，提供针孔与Kannala-Brandt鱼眼实现，采用与相机模型解耦的MLPnP重定位和非矫正双目处理（两相机间常值SE(3)变换、可选公共重叠区域）。\n- **数据集选择**：EuRoC（11条序列、室内外大小环境）验证四种传感器配置的精度与鲁棒性；TUM-VI（28条序列、手持鱼眼双目-惯性装置）验证鱼眼相机与AR/VR场景；多会话实验验证地图合并与先前地图复用能力。\n- **特征与实现设置**：TUM-VI上单目-惯性每帧提取1500个ORB点、双目-惯性1000个，并应用CLAHE均衡化应对曝光不足与过度；室外序列丢弃距当前相机超过20米的远点以防止天空慢速点引入漂移；实验报告10次执行的中位数。\n- **EuRoC精度**：双目-惯性平均RMS ATE为3.5 cm；单目-惯性比MSCKF、OKVIS、ROVIO精确5-10倍，比VI-DSO与VINS-Mono精确两倍以上；双目-惯性比Kimera与VINS-Fusion精确3-4倍，仅BASALT接近但未能完成V203序列。\n- **TUM-VI精度**：房间与走廊等中小型室内环境误差多低于10 cm；房间序列双目-惯性平均RMS ATE低于1 cm（9 mm）、单目-惯性约1.1 cm，适合AR/VR应用；室外长序列因近距离特征稀缺导致惯性参数漂移，误差达10-70 m，但ORB-SLAM3仍是其中最佳系统。\n- **鲁棒性与多会话**：视觉-惯性系统鲁棒性大幅提升，能完成ORB-SLAM2失败的V103与V203序列；多会话下比CCM-SLAM与VINS-Mono精度高两倍以上，比VINS-Mono单会话精确2.6倍、多会话3.2倍；TUM-VI中outdoors1单会话漂移约60 m，先处理magistrale2再处理outdoors1的多会话方式显著降低漂移。\n- **计算时间**：跟踪与建图线程实时运行于30-40帧/秒、3-6关键帧/秒；新位置识别每关键帧约10 ms；地图合并与回环闭合（仅位姿图优化）低于1秒，回环全BA可达数秒但在独立线程执行，不影响系统实时性能。\n- **适用约束**：主要失败情形为低纹理环境（直接法更鲁棒但限于短/中期数据关联）；慢速运动或无横滚俯仰旋转时IMU初始化困难，建议改用双目SLAM或CNN单目深度估计；纯旋转探索时单目无法估计深度；双目相机因体积、成本或处理要求不宜时可选用单目-惯性配置。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}