{
  "paper_id": "b7831699607753e124036da56b0abefb",
  "paper_title": "DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions",
  "paper_authors": [
    "Tristan Laidlow",
    "Jan Czarnowski",
    "Stefan Leutenegger"
  ],
  "publication_date": "",
  "publication_venue": "2019 International Conference on Robotics and Automation (ICRA)",
  "abstract": "While the keypoint-based maps created by sparse monocular Simultaneous Localisation and Mapping (SLAM) systems are useful for camera tracking, dense 3D reconstructions may be desired for many robotic tasks. Solutions involving depth cameras are limited in range and to indoor spaces, and dense reconstruction systems based on minimising the photometric error between frames are typically poorly constrained and suffer from scale ambiguity. To address these issues, we propose a 3D reconstruction system that leverages the output of a Convolutional Neural Network (CNN) to produce fully dense depth maps for keyframes that include metric scale. Our system, DeepFusion, is capable of producing real-time dense reconstructions on a GPU. It fuses the output of a semi-dense multiview stereo algorithm with the depth and gradient predictions of a CNN in a probabilistic fashion, using learned uncertainties produced by the network. While the network only needs to be run once per keyframe, we are able to optimise for the depth map with each new frame so as to constantly make use of new geometric constraints. Based on its performance on synthetic and real world datasets, we demonstrate that DeepFusion is capable of performing at least as well as other comparable systems.",
  "keywords": [
    "SLAM",
    "稠密三维重建",
    "单目视觉",
    "深度预测",
    "卷积神经网络",
    "多视图立体",
    "尺度恢复",
    "不确定性估计"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:17.961308Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目稀疏SLAM系统（如MonoSLAM、PTAM、ORB-SLAM）生成的关键点地图虽适用于相机跟踪，但机器人导航、增强现实与抓取操作等任务需要稠密三维重建；基于深度相机的方案量程有限、功耗更高且难以在户外强光下工作，而基于多帧光度误差最小化的稠密重建系统（如DTAM、REMODE）因遮挡与弱纹理约束不足并存在尺度歧义，LSD-SLAM仅能半稠密重建，CNN-SLAM的逐像素细化则无法保持全局一致性。为此，本文提出DeepFusion，一个利用卷积神经网络（CNN）输出的实时稠密三维重建系统：将半稠密多视图立体的深度估计与CNN预测的对数深度、对数深度梯度及其学习到的不确定性进行概率融合，通过对相邻像素的成对梯度约束保持全局一致性，并在优化中求解尺度校正因子s以恢复绝对尺度。核心机制为代价函数 c(d,s)=c_semi(d,s)+c_net(d)+c_grad(d)，其中半稠密项 r_semi,i = ln d_i − ln s − ln d_semi,i 施加一元约束，网络深度项提供绝对尺度的弱先验，梯度项 r_grad,x,i = ln d_{i+1} − ln d_i − g_{x,i} 施加成对约束，各残差以网络预测方差加权并采用Huber鲁棒损失，经Opt框架编译为GPU内核，以10次Gauss-Newton迭代交替求解深度与尺度，实现每帧实时优化。网络采用U-Net风格架构（输入输出分辨率256×192，附加三个解码器分别预测对数深度不确定性、对数深度梯度及梯度不确定性），在含500万张渲染室内场景的SceneNet RGB-D数据集上训练，预测经焦距归一化的对数深度以适配不同相机内参。实验遵循CNN-SLAM的评估流程，选用合成数据集ICL-NUIM（渲染深度为真值）与真实数据集TUM RGB-D（Kinect深度近似真值），以“深度值落在真值10%以内的百分比”同时衡量重建精度与稠密度：DeepFusion平均达22.466%，与最先进的CNN-SLAM（22.464%）总体相当，在ICL-NUIM六个序列中的四个上表现最佳，明显优于纯几何方法（LSD-SLAM、REMODE、ORB-SLAM2）与纯学习方法（Laina等）；消融实验表明，将网络深度作为逐像素约束纳入优化以求解尺度在九个序列中的七个上优于最小二乘后处理对齐，成对梯度约束在九个序列中的七个上提升了重建精度。系统在Intel i7-5820K CPU与GTX 980 GPU上半稠密估计、优化与网络预测分别平均耗时16ms、33ms与45ms。未来方向包括研究训练数据与部署域相似性的影响、不确定性对域差异的反映、更鲁棒的代价函数（如Tukey）以及关键帧选择准则的权衡；实际部署需注意训练数据与测试环境的域差距（如TUM中贴满海报的平面场景缺乏语义信息导致性能下降）以及网络极端离群值需鲁棒损失处理等约束。\n\n### 关键要点\n\n- DeepFusion从RGB图像与单目SLAM（实现中为ORB-SLAM2）提供的尺度歧义位姿出发，实时生成具有度量尺度的全稠密深度图，适用于机器人导航、增强现实与操作任务。\n- 系统将半稠密多视图立体深度估计与CNN预测的对数深度、对数深度梯度及各自的学习不确定性进行概率融合，网络仅需在每个关键帧运行一次，而深度图随每个新帧持续优化以利用新的几何约束。\n- 预测对数深度而非深度或逆深度，因其在数值上更利于网络预测（负值有意义），且两个对数深度之差（对数深度梯度）即深度之比，具有尺度不变性；选择预测x、y方向的梯度而非表面法线是为了保持优化问题的线性。\n- 网络采用U-Net风格架构，在CodeSLAM所用网络基础上增加三个相同解码器，分别预测对数深度不确定性、对数深度梯度及梯度不确定性，输入输出分辨率均为256×192。\n- 网络在含500万张渲染室内图像的SceneNet RGB-D数据集上训练，通过最大似然损失同时学习均值与方差，预测经焦距归一化的对数深度，测试时按相机焦距缩放以恢复绝对尺度。\n- 优化代价函数由半稠密一元项、网络深度一元项与相邻像素成对梯度项组成，各残差以预测方差加权并使用Huber鲁棒损失，经Opt框架编译为GPU内核，以10次Gauss-Newton迭代交替求解深度与尺度校正因子。\n- 评估采用ICL-NUIM（合成，渲染深度为真值）与TUM RGB-D（真实，Kinect深度近似真值）数据集，指标为深度值落在真值10%以内的百分比，同时衡量精度与稠密度。\n- DeepFusion平均正确率为22.466%，与CNN-SLAM的22.464%总体相当，在ICL-NUIM六个序列中的四个上最佳，而CNN-SLAM在TUM三个序列中的两个上最佳，差异源于训练数据（SceneNet合成 vs. NYUv2 Kinect实拍）与部署域的相似性。\n- 消融实验显示，将网络深度纳入优化以估计尺度在九个序列中的七个上优于最小二乘后处理对齐方法；成对梯度约束在九个序列中的七个上优于无全局一致性约束的版本。\n- 纯学习方法（Laina等）在九个序列中的两个上表现最佳，说明学习方法的威力，但融合几何与学习两种模态的系统总体表现最好。\n- 系统在Intel Core i7-5820K CPU与GeForce GTX 980 GPU上实现实时运行，半稠密估计、优化与网络预测的平均耗时分别为16ms、33ms与45ms。\n- 约束与局限：网络预测存在极端离群值需鲁棒代价函数处理，训练数据与测试域差异显著影响性能（如TUM中覆盖海报的平面场景缺乏语义信息），训练数据选择与不确定性对域差异的建模仍是开放问题。"
}