{
  "paper_id": "76921cc678c5c4cc54f40dc27a7af037",
  "paper_title": "DVI-SLAM: A Dual Visual Inertial SLAM Network",
  "paper_authors": [
    "Xiongfeng Peng",
    "Zhihua Liu",
    "Weiming Li",
    "Ping Tan",
    "Soon Yong Cho",
    "Qiang Wang"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "Recent deep learning based visual simultaneous localization and mapping (SLAM) methods have made significant progress. However, how to make full use of visual information as well as better integrate with inertial measurement unit (IMU) in visual SLAM has potential research value. This paper proposes a novel deep SLAM network with dual visual factors. The basic idea is to integrate both photometric factor and re-projection factor into the end-to-end differentiable structure through multi-factor data association module. We show that the proposed network dynamically learns and adjusts the confidence maps of both visual factors and it can be further extended to include the IMU factors as well. Extensive experiments validate that our proposed method significantly outperforms the state-of-the-art methods on several public datasets, including TartanAir, EuRoC and ETH3D-SLAM. Specifically, when dynamically fusing the three factors together, the absolute trajectory error for both monocular and stereo configurations on EuRoC dataset has reduced by 45.3% and 36.2% respectively.",
  "keywords": [
    "SLAM",
    "视觉惯性",
    "深度学习",
    "稠密束调整",
    "多因子融合",
    "置信度图"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:41.617378Z",
  "template_tag": "simple",
  "summary": "### 摘要\n深度学习视觉SLAM面临两大难题：基于光度/特征度量的方法（如CodeSLAM、BA-Net）依赖良好初值，基于重投影的方法（如DROID-SLAM）严重依赖正确数据关联且噪声关联会导致位姿误差，同时如何将多种视觉因子与IMU因子有效融合进端到端深度网络仍是开放问题。为此，本文提出DVI-SLAM，一种基于优化的双视觉惯性SLAM网络，通过多因子数据关联模块将特征度量因子与重投影因子集成到端到端可微结构中，并自然扩展纳入IMU因子；其核心机制是动态多因子融合——多头GRU学习各因子的置信度图以调整每次迭代中各因子的相对强度，总残差 E(T,M,d)=E^r(T,d)+E^f(T,d)+E^u(T,M) 在可微Levenberg-Marquardt的稠密束调整（DBA）层中迭代最小化，其中重投影残差以马氏距离按置信度加权（如 E^r(T,d)=||x*_ij−Π(T_i,T_j,d_i,x_i)||²_{Σ^r}，Σ^r=diag(w^r_ij)），重投影因子在优化早期占主导以获得良好初始化并避免局部极小，后期两视觉因子共同引导收敛，IMU置信度则依据估计位姿误差动态调整以实现可靠的视觉惯性紧耦合融合。实验选用合成数据集TartanAir（用于三阶段训练及SLAM挑战赛，验证精度与泛化）、真实视觉惯性数据集EuRoC（验证真实运动下VIO/VI-SLAM精度）与ETH3D-SLAM基准（RGB-D输入，验证无需微调的跨域泛化），评价指标为绝对轨迹误差ATE（单目无绝对尺度时优化Sim3尺度记为ATE-scale）；结果显示DVI-SLAM在TartanAir单目SLAM挑战赛Hard序列平均误差0.13m优于DROID-SLAM的0.24m，在EuRoC上动态融合三因子后单目与双目VIO的ATE分别降低45.3%和36.2%（单目+IMU平均ATE 0.098m、双目+IMU 0.051m），并在ETH3D-SLAM上无微调取得Top-1，消融实验证明学习到的动态权重显著优于固定权重与手动调参。训练在4块NVIDIA RTX 3090上分三阶段完成（TartanAir单目384×512视频先训250k步学相关特征与重投影置信度，再50k步学外观特征与特征度量置信度，最后在ETH3D-SLAM上学IMU置信度10k步）。未来工作包括由稠密转向稀疏跟踪以加速并降低内存从而在消费级移动处理器上实现实时位姿估计，以及结合NeRF或3D高斯泼溅构建精确完整的3D地图；实际部署需考虑显存与速度约束（单块RTX 3090上VO/VIO需8–12GB、V/VI-SLAM需24GB显存，速度仅8–20fps），且弱纹理场景（如TartanAir MH004中大面积白墙帧）仍会导致较大位姿误差。\n\n### 关键要点\n- 提出DVI-SLAM网络，通过学习到的置信度图动态融合重投影、特征度量与IMU三种因子以改进复杂场景下的相机位姿估计，是首个将双视觉惯性SLAM与DBA优化紧耦合的深度学习框架。\n- 端到端可学习框架灵活支持多种传感器配置：单目或双目、有无深度或IMU传感器均可运行。\n- 网络由三部分组成：特征提取模块（提取相关特征F^c与经U-Net编码器-解码器提取的高分辨率外观特征F^a）、多因子数据关联模块（多头GRU学习各因子置信度图与流修正）和多因子DBA层。\n- 优化早期重投影因子置信度占主导以获得良好初始化并避免陷入局部极小；随迭代进行特征度量置信度逐渐增大并略超重投影因子，两者共同引导联合优化收敛至真实极小值。\n- 各因子残差以马氏距离按学习到的置信度加权求和为总残差 E(T,M,d)=E^r+E^f+E^u，并通过可微Levenberg-Marquardt在帧图上迭代优化相机位姿T、IMU运动M与稠密逆深度d。\n- 训练在4块NVIDIA RTX 3090上分三阶段进行：TartanAir单目视频（384×512）训练250k步学习相关特征与重投影置信度，50k步学习外观特征与特征度量置信度，最后在ETH3D-SLAM数据上10k步学习IMU置信度分支。\n- 在TartanAir单目SLAM挑战赛全部Hard序列上，DVI-SLAM的SLAM配置平均ATE-scale为0.13m，优于DROID-SLAM的0.24m，仅MH004序列因大面积白墙帧导致误差偏大。\n- 在EuRoC数据集上，单目+IMU平均ATE为0.098m、双目+IMU为0.051m，均优于OKVIS2、VINS-Mono、VINS-Fusion等SOTA方法；动态融合三因子后单目与双目VIO的ATE分别降低45.3%和36.2%。\n- 在ETH3D-SLAM基准上无需任何微调即取得Top-1（Max error=2cm时AUC为62.52/37.97，Max error=8cm时为354.71/211.60）。\n- 消融实验表明：固定特征度量权重w^f=1会使误差剧增（TartanAir单目VO从0.264m恶化至23.78m），手动调参次之，网络学习到的动态权重效果最佳，验证了动态融合机制的必要性。\n- 运行时资源约束：单块RTX 3090上VO/VIO需8–12GB显存、V/VI-SLAM需24GB显存，运行速度为8–20fps，尚未达到实时性要求。\n- 未来方向包括由稠密转向稀疏跟踪以加速算法并降低内存（面向消费级移动处理器的实时位姿估计），以及结合NeRF或3D高斯泼溅与RGB-D传感器以提供精确完整的3D地图。"
}