{
  "paper_id": "a2606590d8415c980343d75c6e990959",
  "paper_title": "Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review",
  "paper_authors": [
    "Yaodong Cui",
    "Ren Chen",
    "Wenbo Chu",
    "Long Chen",
    "Daxin Tian",
    "Ying Li",
    "Dongpu Cao"
  ],
  "publication_date": "2021",
  "publication_venue": "IEEE Transactions on Intelligent Transportation Systems",
  "abstract": "自动驾驶汽车近年来发展迅速，但由于驾驶环境复杂且动态，实现完全自动驾驶并非易事。因此，自动驾驶汽车配备了多种传感器以确保鲁棒、准确的环境感知，其中相机-LiDAR融合正成为新兴研究主题。然而迄今为止，尚无聚焦于基于深度学习的相机-LiDAR融合方法的批判性综述。为填补这一空白并推动未来研究，本文致力于综述近期同时利用图像与点云的深度学习数据融合方法。本综述首先简要概述了图像与点云数据处理的深度学习方法，随后按各自融合层级深入评述了深度补全、目标检测、语义分割、跟踪与在线跨传感器标定中的相机-LiDAR融合方法，并在公开数据集上对这些方法进行比较。最后，我们识别了当前学术研究与真实世界应用之间的差距与被忽视的挑战，并基于这些观察提供见解、指出有前景的研究方向。",
  "keywords": [
    "相机-LiDAR融合",
    "传感器融合",
    "深度补全",
    "目标检测",
    "语义分割",
    "跟踪",
    "深度学习"
  ],
  "paper_institutions": [
    "University of Waterloo",
    "Sun Yat-sen University",
    "Beihang University",
    "China Intelligent and Connected Vehicles Research Institute (National Innovation Center of Intelligent and Connected Vehicles)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:17.218768Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n自动驾驶车辆需要在复杂动态环境中实时获得对三维 surroundings 的准确理解，而单一传感器难以兼顾精度、成本与鲁棒性：相机低成本、纹理丰富但缺乏可靠3D几何且受光照制约，LiDAR提供高精度3D几何、对环境光不变，但分辨率低（16–128线）、刷新率低（10Hz）、成本高，因此相机-LiDAR融合成为感知领域的新兴主题。以往的多模态综述覆盖雷达、相机、LiDAR、IMU等多种传感器，却缺乏针对深度学习相机-LiDAR融合的批判性系统评述；本文作为首篇此类综述，系统回顾了2014–2020年间基于深度学习的图像与点云融合方法，按融合层级（信号级、特征级、结果级、多级）组织，覆盖深度补全、动态与静态目标检测、语义分割、目标跟踪和在线跨传感器标定五大任务，并先概述了图像CNN与点云深度学习基础（体积、索引/树、2D视图、图与点表示，如PointNet以对称函数 g({x1,…,xn})≈fsym(h(x1),…,h(xn)) 实现置换不变的特征聚合）。在数据与实验设置上，作者选用公开的KITTI深度补全、3D目标检测、道路与多目标跟踪基准及ScanNet等数据集进行横向对比，以在统一指标下验证不同融合策略的有效性：深度补全以iRMSE/iMAE/RMSE/MAE衡量，特征级融合的CSPN++取得iRMSE 2.07、RMSE 743.69mm的领先结果，验证了动态卷积核选择与加权装配机制，GuideNet的多阶段引导融合RMSE为736.24mm；3D检测以AP3D衡量，体素级融合的MVX-Net与多任务多传感器融合的MMF在汽车类均达77.43%，支持跨模态体素/多任务融合创新；跟踪以MOTA等衡量，mmMOT达84.77%；道路检测以MaxF衡量，PLARD达97.05%。文章进一步指出从2D到3D、单任务到多任务、信号级到多级融合的总体趋势，并讨论了开放集检测、传感器无关框架、全天候/光照条件、对抗攻击与角落案例、速度-精度权衡等被忽视的挑战与方向（如点表示+点卷积、无监督/弱监督学习、RNN/LSTM与生成模型编码时间上下文）。在真实场景约束方面，作者强调融合管道对标定误差的极端敏感性、传感器信号耦合引发的可靠性风险、移动计算平台的算力与帧丢失限制、以及大规模密集标注多模态数据的缺乏。核心机制上，深度补全任务可形式化为优化目标 w* = argmin_w L(f(x;w), G)，即训练参数为w的网络f从输入x预测稠密深度并最小化与真值G之间的损失L，该机制贯穿图像引导的稀疏深度上采样及下游感知任务。\n\n### 关键要点\n\n- 本文是首个聚焦自动驾驶中基于深度学习的图像与点云（相机-LiDAR）融合的批判性综述，覆盖深度补全、动态/静态目标检测、语义分割、跟踪与在线跨传感器标定，并按融合层级（信号级、特征级、结果级、多级）组织方法，提供2014–2020年最先进的性能对比。\n- 相机与LiDAR特性互补：相机低成本、纹理丰富但缺乏可靠3D几何且受光照条件限制；LiDAR提供高精度3D几何、对环境光不变，但分辨率低（16–128通道）、刷新率低（10Hz）、受恶劣天气影响且成本高，二者融合显著优于单模态方法。\n- 文章总结了五种点云深度学习表示范式：体积表示（兼容3D卷积但损失空间分辨率且计算量随分辨率立方增长）、索引/树表示（kd-tree、octree自适应分辨率）、2D多视图表示、图表示（空间/谱域图卷积）与点表示（PointNet用共享MLP与对称max-pooling实现置换不变，PointConv/KPCConv定义连续核的点卷积）。\n- 在KITTI深度补全基准上，特征级融合的CSPN++取得iRMSE 2.07、iMAE 0.90、RMSE 743.69mm、MAE 209.28mm的领先成绩；GuideNet多阶段引导融合RMSE为736.24mm；自监督Sparse2Dense++（iRMSE 2.80）与无监督RGBguide（模型仅0.35M、0.02s）也具竞争力，验证了融合层级与学习方案对精度-效率的影响。\n- 动态目标检测分为顺序模型（2D/3D proposal）与单步模型：MVX-Net（体素级融合）与MMF（多任务多传感器融合）在KITTI中等难度汽车AP3D均达77.43%，F-ConvNet为76.39%；单步模型LaserNet++并行处理深度图与前视图、计算高效且达SOTA，更适合移动平台实时应用。\n- PointPainting将2D语义逐点附加到点云解决了稠密RGB与稀疏深度间的分辨率不匹配，但造成图像与LiDAR模型高度耦合——图像模型变更需重训LiDAR模型，降低整体可靠性并增加开发成本；MV3D的ROI池化损失细粒度几何信息，ContFuse以逐点连续卷积融合加以缓解。\n- 静态道路目标检测方面，BEV方法PLARD（渐进式融合）在KITTI道路基准MaxF达97.05%，MSRF多阶段融合为96.15%，SpheSeg通过球坐标变换以仅1.4M参数达96.94%；交通标志识别典型流程利用LiDAR后向反射特性定位、再投影到图像用分类器（DBM、SVM、DNN、胶囊网络）分类，但受遮挡与LiDAR检测距离限制。\n- 语义与实例分割方面：3DMV将多视图图像特征体素级融合，在ScanNet基准上超越其他体素方法；SPLATNet在permutohedral格上进行稀疏双线性卷积实现图像与点云的多模态推理；实例分割以3D-SIS（两阶段3D CNN）与3D-BEVIS（BEV语义+均值漂移聚类）为代表。\n- 多目标跟踪中，DBT框架的mmMOT在KITTI MOT（汽车）上取得MOTA 84.77%、MOTP 85.21%、MT 73.23%、IDS 284；MOTSFusion结合3D重建提升对完全遮挡的鲁棒性；DFT框架的Complexer-YOLO以LMB RFS滤波实现0.01s实时推理但MOTA仅75.70%、IDS高达1186。\n- 在线跨传感器标定：传统互信息法对纹理丰富环境、大失准与传感器位移遮挡不鲁棒；RegNet用CNN实时估计外参但对内参不敏感、内参变化需重训；CalibNet以自监督几何/光度一致性适用于任意已标内参相机，但深度学习标定方法计算开销大。\n- 开放挑战包括：融合数据表示选择（作者认为点表示+点卷积潜力最大）、时间上下文编码（RNN/LSTM+生成模型解决LiDAR低刷新率失配）、无监督/弱监督学习（缓解标注昂贵）、开放集检测（缺乏测试协议与指标）、传感器耦合（需传感器无关框架）、全天候/光照鲁棒性、对抗攻击与角落案例的跨模态验证、以及速度-精度权衡。\n- 真实部署约束：多数融合方法对标定误差极其敏感（机械振动与热波动导致外参漂移）；大规模密集深度/多模态标注数据缺乏限制监督学习；高分辨率图像与大规模点云处理导致帧丢失、高功耗与低可靠性，点级与多视图方法比体素方法更具可扩展性，模型需以可扩展性为设计目标。"
}