{
  "paper_id": "a2606590d8415c980343d75c6e990959",
  "paper_title": "Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review",
  "paper_authors": [
    "Yaodong Cui",
    "Ren Chen",
    "Wenbo Chu",
    "Long Chen",
    "Daxin Tian",
    "Ying Li",
    "Dongpu Cao"
  ],
  "publication_date": "2021",
  "publication_venue": "IEEE Transactions on Intelligent Transportation Systems",
  "abstract": "自动驾驶汽车近年来发展迅速，但由于驾驶环境复杂且动态，实现完全自动驾驶并非易事。因此，自动驾驶汽车配备了多种传感器以确保鲁棒、准确的环境感知，其中相机-LiDAR融合正成为新兴研究主题。然而迄今为止，尚无聚焦于基于深度学习的相机-LiDAR融合方法的批判性综述。为填补这一空白并推动未来研究，本文致力于综述近期同时利用图像与点云的深度学习数据融合方法。本综述首先简要概述了图像与点云数据处理的深度学习方法，随后按各自融合层级深入评述了深度补全、目标检测、语义分割、跟踪与在线跨传感器标定中的相机-LiDAR融合方法，并在公开数据集上对这些方法进行比较。最后，我们识别了当前学术研究与真实世界应用之间的差距与被忽视的挑战，并基于这些观察提供见解、指出有前景的研究方向。",
  "keywords": [
    "相机-LiDAR融合",
    "传感器融合",
    "深度补全",
    "目标检测",
    "语义分割",
    "跟踪",
    "深度学习"
  ],
  "paper_institutions": [
    "University of Waterloo",
    "Sun Yat-sen University",
    "Beihang University",
    "China Intelligent and Connected Vehicles Research Institute (National Innovation Center of Intelligent and Connected Vehicles)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:17.218768Z",
  "template_tag": "deep_read",
  "summary": "# Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review\n\n\n**作者 / Authors:** Yaodong Cui, Ren Chen, Wenbo Chu, Long Chen, Daxin Tian, Ying Li, Dongpu Cao\n\n\n**单位 / Institutions:** University of Waterloo, Sun Yat-sen University, Beihang University, China Intelligent and Connected Vehicles Research Institute (National Innovation Center of Intelligent and Connected Vehicles)\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未明确标注（参考文献覆盖至2020年，推测约2020–2021年）\n\n\n\n**期刊/会议 / Publication Venue:** 未明确标注（IEEE 期刊综述排版与 IEEE 会员标注，推测为 IEEE Transactions on Intelligent Transportation Systems）\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 1. 论文元数据\n\n- **标题**：Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review（自动驾驶中图像与点云融合的深度学习：综述）\n- **作者**（姓名 / 单位 / 背景，仅列文中作者简介明确给出的信息）：\n  - Yaodong Cui：加拿大滑铁卢大学机械工程系 CogDrive 实验室在读博士；此前获长安大学学士、南安普顿大学硕士；研究方向为传感器融合、智能车感知、驾驶员情绪检测。\n  - Ren Chen：曾在百度深度学习研究院、腾讯自动驾驶实验室工作；华中科技大学学士、中国航天科学研究院硕士；研究方向为计算机视觉、机器人感知、实时稠密三维重建与机器人运动规划。\n  - Wenbo Chu：中国智能网联汽车创新中心（国家智能网联汽车创新中心）Research Fellow；清华大学汽车工程学士/博士、亚琛工业大学硕士；研究方向为智能网联汽车、新能源汽车、车辆动力学与控制。\n  - Long Chen：中山大学数据科学与计算机学院副教授，IEEE Senior Member；武汉大学通信工程学士、信号与信息处理博士；研究方向为自动驾驶、机器人、人工智能，IEEE T-ITS 副编辑。\n  - Daxin Tian：北京航空航天大学交通科学与工程学院教授，IEEE Senior Member；研究方向为移动计算、智能交通系统、车载自组织网络、群集智能。\n  - Ying Li：加拿大滑铁卢大学地理与环境管理系移动感知与地理数据科学实验室在读博士；武汉大学遥感硕士；研究方向为自动驾驶、移动激光扫描、点云智能处理、增强现实。\n  - Dongpu Cao：加拿大滑铁卢大学 CogDrive 实验室主任、副教授，加拿大驾驶认知与自动驾驶研究讲席（Canada Research Chair），IEEE Member；研究方向为驾驶员认知、自动驾驶与认知自动驾驶。\n- **发表载体**：文中未显式标注期刊/会议名称与年份；从 IEEE 会员标注、Index Terms 与综述排版推断为 IEEE 期刊综述（参考文献覆盖至 2020 年，推测发表于 2020–2021 年前后）。\n\n### 2. 研究定位\n\n- **研究领域**：自动驾驶环境感知中的多传感器深度融合（相机-LiDAR 融合）。\n- **具体任务**：系统综述基于深度学习的图像与点云融合方法，覆盖深度补全（第 III 节）、动态目标检测（第 IV 节）、静态道路目标检测（第 V 节）、语义分割（第 VI 节）、目标跟踪（第 VII 节）与在线跨传感器标定（第 VIII 节），并按融合层级（信号级/特征级/多级/结果级）组织方法（摘要、第 I 节、Fig. 2）。\n- **目标用户/应用场景**：自动驾驶感知研究人员与工程团队；面向真实道路（城市交通、复杂天气与光照条件）环境下的鲁棒感知系统设计与落地（第 I 节、第 IX 节）。\n\n### 3. 输入材料清单\n\n- **PDF**：有（当前文档含摘要、第 I–X 节正文、Table I–VI、Fig. 1–10、参考文献与作者简介，正文完整）。\n- **附录/补充材料**：无（文中未见附录或补充材料链接）。\n- **代码链接**：无（综述本身不提供代码；所综述各方法的代码亦未在文中给出）。\n- **数据集链接**：无直接链接，但文中引用公开基准：KITTI Depth Completion [^41]（Table I）、KITTI 3D Object Detection / Road / Multi-Object Tracking [^56]（Table II、IV、V）、ScanNet [^110]（第 VI 节）。\n\n### 4. 缺失材料与风险\n\n- **缺失项**：正式出版信息（期刊/年份/卷期）、附录、代码与数据集直链。\n- **可能影响**：\n  - 无法直接核对最终发表版本与页码，正式引用前需另行确认（风险低，正文内容完整）。\n  - 综述不含代码属正常情况；复现具体方法需回溯各原始论文，但 Table I–V 已给出模型名、出处与运行环境索引，可显著降低检索成本。\n  - 数据集需自行访问 KITTI/ScanNet 官网；文中表格已注明指标口径（如 iRMSE/iMAE/RMSE/MAE、AP_3D、MaxF、MOTA/MOTP 等），便于结果对齐与复核。\n\n### 5. 阅读路线（三遍法）\n\n- **Step 1（第一遍·快速通读）**：读摘要、第 I 节引言与 Fig. 1/Fig. 2，明确综述范围（仅相机-LiDAR 融合）与五大任务划分及三大贡献。\n- **Step 2（第一遍·结构扫描）**：浏览 Fig. 3–10 的时间线与典型架构图、Table I–VI 对比表，建立“任务 × 融合层级”的方法地图。\n- **Step 3（第二遍·背景补齐）**：精读第 II 节点云深度学习的五种表示（体素/索引树/多视图/图/点表示）及 PointNet、PointNet++、点卷积公式，为理解后续融合方法打底。\n- **Step 4（第二遍·逐任务精读）**：按需深入第 III–VIII 节（深度补全→动态目标检测→静态目标检测→语义分割→跟踪→在线标定），结合各节表格核对指标、优势与缺陷（如 Table III 对四类检测范式的总结）。\n- **Step 5（第三遍·批判性阅读）**：精读第 IX 节趋势与开放挑战（融合数据表示、时序上下文编码、学习范式、传感器无关框架、全天候条件、对抗与长尾、开放集检测、速度-精度权衡）与第 X 节结论，评估综述覆盖度与遗漏。\n- **Step 6（可选·延伸验证）**：对重点方法（如 MV3D、AVOD、PointPainting、ContFuse、MMF、mmMOT、RegNet/CalibNet）回溯原文与 KITTI 榜单，验证综述结论的时效性。\n\n### 分类依据\n\n- 论文自称 review/survey，核心贡献为方法综合与分类（按融合层级组织）、公开数据集上的性能对比、研究缺口与未来方向分析（摘要、第 I 节贡献列表、第 IX 节、第 X 节），故归类为 `survey`。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读总览\n\n### 1. 论文类型与类别\n\n- **类型**：综述（survey/review），非原创方法论文。\n- **依据**：论文自称 review/survey（摘要、第 I 节），核心贡献为方法分类与综合、公开基准性能对比、开放挑战分析（第 I 节贡献列表、第 IX 节、第 X 节），与 Module A 判定的 `survey` 原型一致。\n- **覆盖范围**：仅聚焦自动驾驶中的相机-LiDAR（camera-LiDAR）深度融合，不涉及雷达、超声波、IMU、GNSS 等其他传感器组合（第 I 节，与更宽泛的已有综述 [^12][^13] 对比）。\n- **任务覆盖**：深度补全（第 III 节）、动态目标检测（第 IV 节）、静态道路目标检测（第 V 节）、语义分割（第 VI 节）、目标跟踪（第 VII 节）、在线跨传感器标定（第 VIII 节）。\n\n### 2. 研究背景与上下文\n\n- **领域驱动因素**：自动驾驶快速发展，但复杂动态驾驶环境使完全自动驾驶困难，需多传感器保证鲁棒、准确的环境感知（摘要、第 I 节）。\n- **传感器互补性**：相机低成本、纹理丰富，但缺乏可靠 3D 几何、受光照条件限制；LiDAR 提供高精度 3D 几何、不受环境光影响，但分辨率低（16–128 线）、刷新率低（10Hz）、受雨雾雪影响且昂贵（第 I 节、Fig. 1）。\n- **数据结构差异**：点云稀疏、无序、连续；图像规则、有序、离散，导致二者特征提取方法论不同，是融合设计的根本难点（第 I 节、第 II-B 节）。\n- **研究缺口**：已有综述 [^12][^13] 覆盖传感器范围过广，对单个方法评述不够深入，且未完整覆盖本文的六大感知任务（第 I 节）。\n\n### 3. 直觉正确性检查（关键假设是否合理）\n\n- **假设 1：相机-LiDAR 互补性使该融合配置优于其他组合（radar-camera、LiDAR-radar 等）**——合理。文中给出具体论据（相机缺乏 3D 几何、LiDAR 低分辨率高成本，第 I 节），且 KITTI 等公开榜单上融合方法占主导可作旁证。\n- **假设 2：按融合层级（信号级/特征级/多级/结果级）组织方法能刻画方法本质差异**——基本合理。Table I–V 均按融合层级标注，各节讨论显示层级与优缺点高度相关（如结果级受限于 2D 检测器、体素化损失分辨率，Table III、第 IV 节）。\n- **假设 3：点表示 + 点卷积是融合数据表示的有潜力方向**——论证合理但属作者前瞻判断。依据是点卷积能提取细粒度逐点局部几何（第 IX-A 节），属趋势性观点而非已验证结论，需读者自行评估。\n- **假设 4：监督学习依赖大规模标注是主要瓶颈**——合理。图像与点云标注成本高是公认事实，自监督/无监督方法（Sparse2D++ [^43]、LidarStereoNet [^50]）的兴起佐证该判断（第 III 节、第 IX-A 节）。\n- **潜在疑点**：综述声称是首个聚焦深度学习相机-LiDAR 融合的综述（第 I 节），该说法基于作者检索范围，正式引用前宜自行核实有无同期遗漏工作。\n\n### 4. 核心贡献（3–5 条）\n\n1. **首个聚焦**自动驾驶中基于深度学习的图像与点云融合的综述，覆盖深度补全、动态/静态目标检测、语义分割、跟踪与在线跨传感器标定六大任务（第 I 节贡献列表、Fig. 2）。\n2. **按融合方法论（层级）组织与评述方法**，并给出 2014–2020 年方法的时间线与典型架构对比（Fig. 3–10）。\n3. **公开数据集上的系统性能对比**：KITTI 深度补全（Table I）、KITTI 3D 目标检测（Table II）、KITTI Road（Table IV）、KITTI 多目标跟踪（Table V），并以 Table III 总结四类检测范式的优缺点。\n4. **提出被忽视的开放问题**：开集目标检测、传感器无关框架、全天候/光照条件、对抗攻击与长尾、速度-精度权衡等，并总结趋势与研究方向（第 IX 节、Table VI）。\n\n### 5. 清晰度评估\n\n- **结构**：清晰。第 II 节先铺垫点云深度学习五种表示（体素/索引树/多视图/图/点表示）及 PointNet、PointNet++、点卷积，第 III–VIII 节按任务展开，第 IX 节讨论趋势与挑战，第 X 节总结；Fig. 2 给出全文结构图。\n- **图表**：丰富且信息密度高。Fig. 1（图像 vs 点云特性）、Fig. 3/4/8（各任务时间线）、Fig. 5/6/7/9/10（典型架构与流程对比）；Table I–V（基准对比与优缺点总结）、Table VI（开放挑战与可能方向）。\n- **公式**：少量且必要——PointNet 对称函数近似（第 II-B 节）、3D 连续空间点卷积一般形式（第 II-B 节）、深度补全优化目标（第 III 节）、MV3D 的 ROI 多视图投影与 ROI-pooling（第 IV 节），均服务于理解方法本质，未过度数学化。\n- **可读性**：良好。语言平实，每节先给任务定义再分类评述；不足之处：部分模型细节（如各损失函数构成）需回溯原文，个别表格存在空缺数据（如 Table I 中 HDE-Net、LidarStereoNet 的指标缺失，Table II 中部分模型运行时间/参数量缺失），且正文个别笔误（如第 I 节末尾将第 IX/X 节误写为 VII/VIII）。\n\n### 6. 继续阅读建议\n\n- **明确建议：继续深入阅读（进入第二遍、第三遍）**。\n- **理由**：\n  - 对自动驾驶感知/传感器融合方向的研究者与工程团队，该综述提供了「任务 × 融合层级」的完整方法地图与基准对比，可直接用于技术选型与文献检索（Table I–V）。\n  - 第 IX 节的开放挑战（开集检测、传感器无关框架、时序上下文编码、无监督学习范式）具有较高研究选题价值。\n  - 若读者仅关注单一任务（如 3D 目标检测），可跳读第 IV 节 + Table II/III，无需通读全文；但完整把握融合层级演化脉络仍建议通读。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# 论文总览：自动驾驶中图像与点云融合的深度学习综述\n\n## I. 引言\n\n### 传感器互补性（Fig. 1）\n\n### 综述范围与三大贡献（Fig. 2）\n\n## II. 深度学习简要回顾\n\n### 图像：CNN\n\n### 点云：五种表示\n\n#### 体素 / 索引树 / 多视图 / 图 / 点表示\n\n#### PointNet、PointNet++、点卷积（PointConv、KPConv、PCNN）\n\n## III. 深度补全\n\n### 单目-LiDAR：信号级 / 特征级 / 多级\n\n### 双目-LiDAR：特征级\n\n### Table I：KITTI 深度补全基准\n\n## IV. 动态目标检测\n\n### 2D 提议序列模型（结果级 / 多级 / 特征级）\n\n### 3D 提议序列模型（多视图 BEV / 体素）\n\n### 单步模型（LaserNet++）\n\n### Table II / III：KITTI 3D 检测基准与范式对比\n\n## V. 静态道路目标检测\n\n### 车道/道路检测（BEV / 前视图）\n\n### 交通标志识别（TSR）\n\n### Table IV：KITTI Road 基准\n\n## VI. 语义分割\n\n### 2D 语义分割\n\n### 3D 语义分割（3DMV、UPF、MVPNet、SPLATNet）\n\n### 实例分割（3D-SIS、PanopticFusion、3D-BEVIS）\n\n## VII. 目标跟踪\n\n### DBT（DSM、mmMOT、MOTSFusion）\n\n### DFT（Complexer-YOLO）\n\n### Table V：KITTI 跟踪基准\n\n## VIII. 在线跨传感器标定\n\n### 经典方法（互信息、视觉里程计）\n\n### 深度学习方法（RegNet、CalibNet）\n\n## IX. 趋势、开放挑战与方向\n\n### 趋势：2D→3D、单任务→多任务、信号级→多级融合\n\n### 性能相关（Table VI）：数据表示、时序上下文、学习范式、DL 适用边界\n\n### 可靠性相关（Table VI）：传感器耦合、全天候、对抗与长尾、开集检测、速度-精度\n\n## X. 结论\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n针对自动驾驶感知领域缺乏聚焦于**基于深度学习的相机-LiDAR（图像与点云）融合**方法的批判性综述这一空白，本文系统梳理并按融合层级（信号级/特征级/多级/结果级）组织了深度补全、动态与静态目标检测、语义分割、目标跟踪及在线跨传感器标定六大任务的相关方法，在公开数据集上对比性能，并指出学术研究与真实落地之间的缺口与未来方向（摘要、第 I 节、Fig. 2）。\n\n### 2. 痛点与不足（论文动机）\n\n- **单一传感器的固有局限**：相机成本低、语义信息丰富，但单目无法提供可靠 3D 几何，双目计算代价高且在高遮挡、无纹理环境下表现差，且受复杂光照条件限制；LiDAR 可提供高精度 3D 几何且不受环境光影响，但存在低分辨率（16–128 线）、低刷新率（10 Hz）、受雨雾雪等恶劣天气影响及成本高的问题（第 I 节、Fig. 1）。\n- **两种模态数据结构高度异构，融合非平凡**：相机将真实世界投影到图像平面（规则、有序、离散），而点云保留 3D 几何（稀疏、无序、连续），导致特征提取方法论差异显著，直接融合困难（第 I 节、Fig. 1）。\n- **已有综述覆盖不足**：先前多模态融合综述 [^12][^13] 覆盖传感器范围过广（radar、camera、LiDAR、Ultrasonics、IMU、GNSS 等），无法对单个方法深入评述，且未完整覆盖相互关联的感知任务链（深度补全、动/静态目标检测、语义分割、跟踪、在线标定）（第 I 节）。\n- **学术研究与真实部署脱节**：现有研究普遍忽视开放集检测（open-set detection）、传感器无关框架（sensor-agnostic framework）、全天候/复杂光照、对抗攻击与长尾/角落案例、速度-精度权衡等对真实落地至关重要的可靠性问题（第 IX 节、Table VI）。\n\n### 3. 形式化目标（若存在）\n\n本文为综述（survey），本身不提出统一优化目标；但其综述的各任务在文中有明确形式化定义：\n\n- **深度补全**（第 III 节）：将稀疏不规则深度上采样为稠密规则深度，形式化为\n  $$ w^{*}=\\underset{w}{\\arg\\min}\\ \\mathcal{L}(f(x;w),\\ G) $$\n  其中网络 $f(\\cdot)$ 由参数 w 刻画，输入 x，预测目标为真值 G，$\\mathcal{L}$ 为损失函数。\n- **3D 目标检测**（第 IV 节）：在 3D 空间中定位、分类并估计有向包围盒（oriented bounding box）。\n- **语义分割**（第 VI 节）：预测逐像素（2D）与逐点（3D）类别标签；实例分割还需区分同类个体。\n- **多目标跟踪**（第 VII 节）：跨帧维持目标身份并跟踪其位置（DBT 与 DFT 两类框架，Fig. 10）。\n- **在线跨传感器标定**（第 VIII 节）：在自然场景下在线估计相机-LiDAR 外参（RegNet、CalibNet 等）。\n\n### 4. 成功标准（指标与期望属性）\n\n- **深度补全**：KITTI Depth Completion 基准上的 iRMSE、iMAE（逆深度误差，1/km）与 RMSE、MAE（mm），同时考察运行时间与模型规模（Table I）。\n- **3D 目标检测**：KITTI 3D Object Detection 基准（中等难度）上的 $AP_{3D}\\%$（Car 要求 IoU≥70%，Pedestrian/Cyclist 要求 IoU≥50%），并记录融合层级、运行时间与参数量（Table II、Table III）。\n- **道路/车道检测**：KITTI Road 基准上的最大 F1 度量 MaxF(%)（Table IV）。\n- **多目标跟踪**：KITTI MOT 基准（car）上的 MOTA、MOTP、MT、ML、IDS、FRAG（Table V）。\n- **期望的系统属性**（第 IX 节、Table VI）：实时性与速度-精度可扩展性（避免帧丢失、适配移动计算平台）、对全天候/复杂光照的鲁棒性、对传感器耦合与标定误差的鲁棒性（sensor-agnostic）、抗对抗攻击与角落案例能力、开放集检测能力，以及时序上下文编码与无监督/弱监督学习以降低标注依赖。\n\n### 推理链小结\n\n问题定义直接来自摘要与第 I 节的三条贡献列表（首个聚焦深度学习相机-LiDAR 融合的综述、按融合方法论组织并给出 2014–2020 最新性能对比、提出被忽视的开放问题）；痛点来自第 I 节对两类传感器互补性与局限性的论述及 Fig. 1 的模态对比；形式化目标取自第 III 节深度补全公式及第 IV–VIII 节各任务定义；成功标准对应 Table I–V 所用公开基准指标与第 IX 节 Table VI 的可靠性/性能开放挑战。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作分析（What related work matters here?）\n\n> 说明：本文为综述（survey），其“相关工作/基线”体现为两条线：(1) 先前综述（最接近的工作）；(2) 各任务中被公开基准广泛对比的代表性融合方法（最强基线）。以下按“方法 -> 核心思想 -> 局限”组织。\n\n### 1. 最强基线与比较轴\n\n#### （a）深度补全（第 III 节，Table I，KITTI Depth Completion 基准 [^41]）\n\n- **Sparse2Dense [^42]** -> 核心思想：ResNet 自编码器，将 RGB 与稀疏深度拼接（信号级融合）进行深度上采样 -> 局限：依赖像素级深度真值，难以获取；输出易模糊。\n- **Sparse2Dense++ [^43]** -> 核心思想：自监督框架（稀疏深度约束 + 光度损失 + 平滑损失），摆脱真值依赖 -> 局限：假设物体静止，输出深度模糊且可能不保留输入深度（第 III-A 节）。\n- **CSPN / CSPN++ [^44][^45]** -> 核心思想：卷积空间传播网络直接学习图像相关亲和矩阵；CSPN++ 动态选择卷积核尺寸与迭代次数并加权组装 -> 局限：CSPN 推理时间较长（约 1s，Table I）。\n- **GuideNet [^48]** -> 核心思想：多阶段特征级融合，图像特征在编码器不同阶段引导稀疏深度上采样，KITTI 榜单领先（RMSE 736.24）-> 局限：受制于缺乏大规模稠密深度真值数据集。\n- **比较轴**：融合层级（信号/特征/多级）、学习方式（监督 S / 自监督 SS / 无监督 U）、输入（RGB+稀疏深度 / 立体视差）、硬件、运行时间、模型大小、iRMSE/iMAE/RMSE/MAE（Table I）。\n\n#### （b）动态目标检测（第 IV 节，Table II/III，KITTI 3D Object Detection 基准 [^56]）\n\n- **F-PointNet [^57]** -> 核心思想：结果级融合开创工作，2D 检测框投影为视锥（frustum）提案，PointNet 做 3D 回归 -> 局限：整条流水线受限于 2D 检测器；假设每个种子区域仅含一个目标，在拥挤场景与小目标（行人）上失效（Table III）。\n- **MV3D [^67]** -> 核心思想：多视图范式开创工作，在 BEV 上生成 3D 提案，投影至 BEV/FV/RGB 三视图经 ROI 池化融合（式见第 IV-B 节）-> 局限：假设 BEV 视角无遮挡（对小目标不成立）、连续卷积下采样丢失小目标空间信息、ROI 池化破坏细粒度几何、冗余提案导致重复计算（第 IV-B 节）。\n- **AVOD [^68]** -> 核心思想：以 BEV+图像特征融合 RPN 与自编码器上采样改进 MV3D 的小目标检测（Car AP_3D 71.76）-> 局限：仍属 object-centric 融合，细粒度几何信息有损失。\n- **ContFuse [^70]** -> 核心思想：连续卷积实现多尺度逐点（point-wise）融合，缓解 ROI 池化的信息损失 -> 局限：LiDAR 点稀疏时无法充分利用高分辨率图像（第 IV-B 节）。\n- **MMF [^73]** -> 核心思想：组合信号级（RGB-D）、特征级、多视图与深度补全的多任务多传感器框架（Car AP_3D 77.43）-> 局限：逐点/逐像素融合引发“特征模糊（feature blurring）”问题。\n- **PointPainting [^66]** -> 核心思想：将 2D 语义逐点附加到点云作为额外通道，可接入任意点云检测器（PointRCNN/VoxelNet/PointPillars）-> 局限：图像与 LiDAR 模型强耦合，更换图像模型需重训 LiDAR 模型，降低可靠性并增加开发成本（第 IV-A 节）。\n- **MVX-Net [^71]** -> 核心思想：逐点/逐体素两种方式将图像特征注入 VoxelNet，KITTI 上超越其他 LiDAR 单模态方法 -> 局限：体素化损失空间分辨率与细粒度 3D 几何，且计算/内存随分辨率立方增长（Table III）。\n- **比较轴**：融合层级（FL）、融合类型（FT）、点云表示（PCR：points/voxels/2D views）、Car/行人/骑行者 AP_3D、运行时间、参数量（Table II）；Table III 进一步按 frustum-based / point-fusion / multi-view / voxel-based 四类范式总结优劣。\n\n#### （c）静态道路目标检测（第 V 节，Table IV，KITTI Road 基准）\n\n- **MSRF [^89]** -> 核心思想：BEV 下多阶段残差融合，不同网络深度融合图像-深度特征（MaxF 96.15）-> 局限：计算成本相对较高。\n- **PLARD [^91]** -> 核心思想：相机视图下渐进式多阶段融合（MaxF 97.05，表中最高）-> 局限：计算成本较高。\n- **LidCamNet/LCNet [^90]** -> 核心思想：系统比较信号级（早融合）与特征级（晚/交叉融合），发现交叉融合最优（MaxF 96.03）-> 局限：依赖图像进行深度上采样。\n- **比较轴**：MaxF（最大 F1 值）、模型大小、融合层级、BEV 视角 vs 相机视角（Table IV）。\n\n#### （d）目标跟踪（第 VII 节，Table V，KITTI MOT 基准）\n\n- **DSM [^119]** -> 核心思想：端到端可训练 tracking-by-detection（深度结构模型 + min-cost flow 数据关联）-> MOTA 76.15，性能受各阶段限制。\n- **mmMOT [^120]** -> 核心思想：传感器无关框架，VGG-16 与 PointNet 并行提取特征 + 鲁棒融合模块（兼容单/多模态输入），邻接矩阵学习扩展 min-cost flow -> MOTA 84.77、运行仅 0.02s，为 DBT 类最强基线之一。\n- **MOTSFusion [^121]** -> 核心思想：跟踪与 3D 重建联合，利用重建增强抗完全遮挡能力 -> MOTA 84.83 但运行较慢（0.44s）。\n- **Complexer-YOLO [^122]** -> 核心思想：DFT 框架，语义点云 + 3D complex-YOLO + LMB RFS 滤波，实时（0.01s）-> MOTA 75.70，IDS/FRAG 明显偏高（Table V）。\n- **比较轴**：DBT vs DFT 框架、数据关联方式（min-cost flow / Hungarian / RFS）、MOTA/MOTP/MT/ML/IDS/FRAG、运行时间（Table V）。\n\n#### （e）在线跨传感器标定（第 VIII 节）\n\n- **经典 MI 方法 [^124][^125][^126][^127]** -> 核心思想：最大化模态间（强度/边缘）互信息估计外参 -> 局限：对纹理丰富环境、大偏移与传感器位移遮挡不鲁棒。\n- **RegNet [^129]** -> 核心思想：实时 CNN 在随机去标定数据上回归外参 -> 局限：对传感器内参不敏感，内参变化需重训。\n- **CalibNet [^130]** -> 核心思想：自监督最小化几何/光度不一致，经 3D 空间变换器可适配任意内参相机 -> 局限：深度学习标定方法计算开销大（第 VIII-B 节）。\n\n### 2. 最接近的工作与关键差异\n\n- **Wang et al. [^12]**（“Multi-sensor fusion in automated driving: A survey”，IEEE Access 2019）-> 核心思想：覆盖雷达、相机、LiDAR、超声波、IMU、里程计、GNSS 与高精地图的广义多传感器融合综述 -> 局限：传感器范围过广，无法对单个融合方法进行深入细致的评述。\n- **Feng et al. [^13]**（“Deep multi-modal object detection and semantic segmentation for autonomous driving”，IEEE T-ITS 2020）-> 核心思想：聚焦多模态目标检测与语义分割的数据集、方法与挑战 -> 局限：未覆盖深度补全、静态道路目标检测、跟踪与在线跨传感器标定等相互关联的感知任务（第 I 节）。\n- **关键差异**：本文将范围收窄至相机-LiDAR 融合，从而能对单个方法给出更细致评述；任务覆盖面更广（深度补全、动态/静态目标检测、语义分割、跟踪、在线标定六大任务，Fig. 2）；按融合方法论（信号级/特征级/多级/结果级）组织方法；并首次系统提出开放集检测、传感器无关框架等被学术界忽视但关乎真实部署的开放问题（第 I 节贡献列表、第 IX 节、Table VI）。\n\n### 3. 正交方向\n\n- **传统（非深度学习）方法**：道路/车道检测综述与传统多模态方法 [^93][^94][^95][^96][^97][^98][^99]；交通标志识别综述与典型流程 [^93][^100][^101][^102][^103][^104][^105]；经典在线标定（互信息最大化 [^124]–[^127]、视觉里程计 [^128]）。这些方向与深度学习融合方法互补，本文仅作简要回顾（第 V、VIII 节）。\n- **点云深度学习基础表示（第 II 节）**：体素表示 [^14][^15][^16]、索引/树表示 [^18]–[^22]、多视图表示 [^23]、图表示 [^24]–[^29]、点表示（PointNet [^31]、PointNet++ [^30]、RandLA-Net [^39]、PointConv [^40]、KPConv [^38]、PCNN [^33]）。它们是融合方法的骨干网络基础，本身不涉及跨模态融合，与融合策略研究正交。\n- **其他传感器组合与单模态方法**：雷达-相机、LiDAR-雷达等配置及纯相机/纯 LiDAR 方法被明确排除在综述范围之外（第 I 节），可作为对照基线或延伸方向。\n- **时序上下文编码、生成模型补帧、对抗鲁棒性、开放集检测**（第 IX 节、Table VI）：被列为未来方向，现有被综述方法大多尚未系统涉及，属正交且待开拓的研究线。\n\n### 4. 一句话定位\n\n本文是首个专注于自动驾驶中基于深度学习的图像（相机）与点云（LiDAR）融合的综述，按融合层级系统组织深度补全、动态/静态目标检测、语义分割、跟踪与在线跨传感器标定六大任务的方法，在 KITTI 等公开基准上对比性能，并指出面向真实部署的开放挑战与研究方向（摘要、第 I 节、第 IX–X 节）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（分类框架与方法组织）\n\n### 1. 分类框架总览（浅层理解）\n\n本综述的「解题方式」不是提出新算法，而是构建一个 **任务 × 融合层级** 的二维分类框架，将 2014–2020 年间基于深度学习的相机-LiDAR 融合方法系统组织起来（摘要、第 I 节、Fig. 2）：\n\n- **任务轴**：将融合感知拆分为六个相互关联的子任务——深度补全（第 III 节）、动态目标检测（第 IV 节）、静态道路目标检测（第 V 节，含车道/道路检测与交通标志识别 TSR）、语义/实例分割（第 VI 节）、目标跟踪（第 VII 节）、在线跨传感器标定（第 VIII 节）（Fig. 2）。\n- **融合层级轴**：所有方法按融合发生的位置归入信号级（Signal）、特征级（Feature）、多级（Multi）、结果级（Result）四类（摘要；Fig. 3/4/8 时间线；Table I–V 的 Fusion Level 列）。\n- **基础支撑**：第 II 节先综述点云深度学习的五种数据表示（体素、索引/树、2D 多视图、图、点表示）及 PointNet/PointNet++ 与点卷积公式，为后续各任务的方法解读提供统一的机制与术语基础（第 II-B 节）。\n\n### 2. 主要分类轴与比较维度（中层分析）\n\n- **融合层级**：信号级（如 EDUNet 将 RGB 与稀疏深度早融合为 BEV 占用栅格，Table IV）、特征级（如 GuideNet、AVOD、PLARD 在编码器多阶段融合特征）、多级（如 RGBguide、MSRF、LidCamNet 同时组合多种层级）、结果级（如 F-PointNet 用现成 2D 检测框约束 3D 视锥搜索空间，第 IV-A-1 节）。\n- **模型架构范式**（动态检测，第 IV 节、Fig. 5、Table III）：顺序式（Sequential）再分为 2D proposal（视锥类/点融合类/多级类）与 3D proposal（BEV 多视图类/体素类）；单步模型（One-step，如 LaserNet++）将提议生成与包围盒回归合并以提升实时性。\n- **学习方式**：有监督 / 自监督 / 无监督（Table I 的 LL 列；第 IX-A-3 节指出多模态标注昂贵，主张发展无监督与弱监督框架）。\n- **点云/融合数据表示**：图像表示、点表示、体素等中间表示（第 IX-A-1 节；Table II 的 PCR 列），并据此比较可扩展性与细粒度几何保留能力。\n- **跟踪框架**：DBT（检测后关联：DSM、mmMOT、MOTSFusion）vs DFT（随机有限集滤波：Complexer-YOLO 的 LMB RFS）（第 VII 节、Fig. 10、Table V）。\n- **性能比较维度**：精度指标（iRMSE/iMAE/RMSE/MAE、AP_3D、MaxF、MOTA/MOTP/MT/ML/IDS/FRAG）与效率指标（运行时间、参数量、硬件），见 Table I–V。\n\n### 3. 代表性工作分组及分组意义（深层分析）\n\n- **深度补全**（第 III 节、Fig. 3、Table I）：\n  - Mono-LiDAR：信号级（Sparse2Dense、Sparse2Dense++、CSPN/CSPN++）、特征级（Spade-RGBsD、NConv-CNN、GuideNet）、多级（RGBguide）；\n  - Stereo-LiDAR：特征级（HDE-Net、LidarStereoNet、LiStereo）。\n  - 意义：揭示图像引导上采样从早期像素级拼接（RGB-D 串联）演进到多阶段特征引导（GuideNet），并指出密集深度真值稀缺是共性瓶颈，推动自监督/无监督方案（LidarStereoNet、LiStereo）出现。\n- **动态目标检测**（第 IV 节、Fig. 4/5、Table II/III）：\n  - 2D proposal 顺序模型：结果级（F-PointNet、F-ConvNet、PC-CNN、RoarNet、IPOD）、多级（PointFusion、SIFRNet）、特征级（PointPainting 及 HHA 类早期工作 Depth-RCNN 等）；\n  - 3D proposal 顺序模型：多视图/BEV（MV3D、AVOD、SCANet、ContFuse、MMF、BEVF）、体素（MVX-Net、Song et al.）；\n  - 单步模型：LaserNet++。\n  - 意义：Table III 逐类给出关键特征与优缺点——视锥类受限于 2D 检测器且未利用冗余信息；点融合类解决分辨率失配但图像-LiDAR 模型强耦合；多视图类可复用 2D 卷积但假设 BEV 无遮挡且 ROI 池化损失细粒度几何；体素类兼容 3D 卷积但计算/内存随分辨率立方增长不可扩展。该分组直接服务于工程选型。\n- **静态道路目标检测**（第 V 节、Fig. 6/7、Table IV）：BEV-based（DMLD、EDUNet、TSF-FCN、MSRF）vs Camera-view based（LidCamNet、PLARD、SpheSeg）；TSR 采用「LiDAR 回反射定位 → 投影图像平面 → 图像分类」的结果级分层流水线（Fig. 7）。\n  - 意义：区分两类视角的权衡——BEV 保留 x-y 坐标与朝向但早融合损失纹理（EDUNet）；相机视角保留纹理但 2D→3D 边界转换有精度损失；MSRF/PLARD 的多阶段渐进融合以更高计算代价换取更高 MaxF。\n- **语义/实例分割**（第 VI 节、Fig. 8/9）：2D 分割（Sparse & Dense、Valada、Caltagirone 的 cross-fusion）；3D 分割分体素（3DMV）、点基（UPF、MVPNet）、permutohedral 格（SPLATNet）；实例分割分 proposal-based（3D-SIS、PanopticFusion）与 proposal-free（3D-BEVIS）。\n  - 意义：展示体素边界伪影与分辨率受限如何推动点基与格表示方法兴起；实例分割沿「有无显式提议」两条路线组织。\n- **目标跟踪**（第 VII 节、Fig. 10、Table V）：DBT（DSM、mmMOT、MOTSFusion）与 DFT（Complexer-YOLO）。\n  - 意义：mmMOT 以 0.02s 运行时间取得 84.77% MOTA，说明基于邻接矩阵学习的多模态关联是效率-精度兼顾的关键；DFT 路线以解耦检测与跟踪换取实时性（0.01s）但 IDS/FRAG 明显更高。\n- **在线跨传感器标定**（第 VIII 节）：经典方法（MI 最大化、视觉里程计式）vs 深度学习方法（RegNet、CalibNet）。\n  - 意义：指出 RegNet 对相机内参敏感需重训，CalibNet 借助自监督几何/光度一致性约束实现内参无关，但 DL 标定计算开销大——为第 IX 节「传感器无关框架」议题埋下伏笔。\n\n### 4. 分类框架图（Taxonomy Diagram）\n\nmermaid\nflowchart TD\n  Root[\"深度学习相机-LiDAR融合方法综述\"] --> Task[\"任务轴\"]\n  Root --> Level[\"融合层级轴\"]\n  Task --> T1[\"深度补全 Sec.III\"]\n  Task --> T2[\"动态目标检测 Sec.IV\"]\n  Task --> T3[\"静态道路目标检测 Sec.V\"]\n  Task --> T4[\"语义/实例分割 Sec.VI\"]\n  Task --> T5[\"目标跟踪 Sec.VII\"]\n  Task --> T6[\"在线跨传感器标定 Sec.VIII\"]\n  Level --> L1[\"信号级融合\"]\n  Level --> L2[\"特征级融合\"]\n  Level --> L3[\"多级融合\"]\n  Level --> L4[\"结果级融合\"]\n  T1 --> A1[\"Mono-LiDAR: Sparse2Dense / CSPN++ / GuideNet / RGBguide\"]\n  T1 --> A2[\"Stereo-LiDAR: HDE-Net / LidarStereoNet / LiStereo\"]\n  T2 --> B1[\"2D Proposal顺序模型: F-PointNet / IPOD / PointPainting / PointFusion\"]\n  T2 --> B2[\"3D Proposal顺序模型: MV3D / AVOD / ContFuse / MVX-Net / MMF\"]\n  T2 --> B3[\"单步模型: LaserNet++\"]\n  T3 --> C1[\"BEV-based: DMLD / EDUNet / TSF-FCN / MSRF\"]\n  T3 --> C2[\"Camera-view based: LidCamNet / PLARD / SpheSeg\"]\n  T3 --> C3[\"TSR: LiDAR回反射定位 + 图像分类 结果级\"]\n  T4 --> D1[\"2D分割: Sparse-Dense / Caltagirone\"]\n  T4 --> D2[\"3D分割: 3DMV / UPF / MVPNet / SPLATNet\"]\n  T4 --> D3[\"实例分割: 3D-SIS / PanopticFusion / 3D-BEVIS\"]\n  T5 --> E1[\"DBT: DSM / mmMOT / MOTSFusion\"]\n  T5 --> E2[\"DFT: Complexer-YOLO LMB RFS\"]\n  T6 --> F1[\"经典: MI最大化 / 视觉里程计\"]\n  T6 --> F2[\"DL: RegNet / CalibNet\"]\n``n\n\n### 5. 小结\n\n该综述以「任务 × 融合层级」双轴分类为主线，辅以时间线图（Fig. 3/4/8）、典型架构对比图（Fig. 5/6/7/9/10）与表格化性能/优缺点对照（Table I–VI），系统性梳理了相机-LiDAR 融合方法；并在第 IX 节将分类观察转化为开放研究问题（融合数据表示、时序上下文编码、学习范式、传感器无关框架、全天候条件、对抗与长尾、开集检测、速度-精度权衡，Table VI），完成从「梳理现状」到「指引未来」的闭环。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集与基准覆盖总览（浅层理解）\n\n本综述不引入新数据集，而是系统汇总被综述方法所使用的公开基准，覆盖情况如下：\n\n| 基准/数据集 | 出处 | 覆盖任务 | 综述中的位置 | 场景 |\n|---|---|---|---|---|\n| KITTI Depth Completion | [^41]（Uhrig et al., 3DV 2017） | 深度补全 | Table I | 城市道路驾驶（车载相机+LiDAR） |\n| KITTI 3D Object Detection | [^56]（Geiger et al., CVPR 2012） | 动态目标检测 | Table II | 城市交通（Car/Pedestrian/Cyclist） |\n| KITTI Road | [^56] | 车道/道路检测 | Table IV | KITTI urban marked road test set |\n| KITTI Multi-Object Tracking | [^56] | 多目标跟踪 | Table V | Car 类别跟踪 |\n| ScanNet | [^110]（Dai et al., CVPR 2017） | 3D 语义分割 | 第 VI.B.1 节 | 室内 3D 重建场景（非驾驶场景） |\n\n覆盖特点：\n\n- **KITTI 家族绝对主导**：五个任务中四个（深度补全、3D 检测、道路检测、跟踪）直接使用 KITTI 官方基准（第 III、IV、V、VII 节），代表该领域以德国城市道路驾驶为核心的评价切片。\n- **语义分割存在域差距**：驾驶场景缺少统一的融合方法基准，综述引用的 3DMV [^109] 在 ScanNet（室内）上评测（第 VI.B.1 节），与自动驾驶外场场景不直接对应。\n- **在线跨传感器标定无统一基准表**：第 VIII 节对 RegNet [^129] 与 CalibNet [^130] 仅作定性讨论（RegNet 基于随机去标定数据训练），未给出量化对比表。\n\n### 2. 综述如何组织基准使用（中层分析）\n\n综述采用“任务 × 融合层级”的矩阵式组织，每张对比表除精度外还记录多维度元信息：\n\n- **Table I（深度补全）**：按 Mono-LiDAR 与 Stereo-LiDAR 两组、信号级/特征级/多级融合排列；表头记录学习方式（S/SS/U）、输入模态（RGB、稀疏深度 sD、置信度 Co、立体视差 S）、硬件、运行时间与模型规模（第 III 节）。\n- **Table II（3D 检测）**：统一取 Moderate 难度，IoU 阈值 Car 70%、Pedestrian/Cyclist 50%，指标为 AP_3D%；模型按 Sequential（2D proposal / 3D proposal）与 One-Step 分组，并记录融合层级 FL、融合类型 FT、点云表示 PCR、运行时间 RT 与参数量 MS（第 IV 节）。\n- **Table IV（道路检测）**：MaxF（最大 F1 值）+ 模型参数量，并附 Highlights/Disadvantages 定性列，按 BEV-based 与 Camera-view based 分组（第 V 节）。\n- **Table V（跟踪）**：MOTA/MOTP/MT/ML/IDS/FRAG 六项指标，按 DBT 与 DFT 框架分组，并记录数据关联方法（min-cost flow / Hungarian / RFS）（第 VII 节）。\n- **Table III** 为纯定性总结表（四类检测范式的关键特征与优缺点），不涉及数值基准（第 IV 节）。\n\n### 3. 评测协议覆盖与不一致（深层分析）\n\n**协议覆盖**：\n\n- 深度补全：逆深度误差（iRMSE/iMAE，1/km）与绝对深度误差（RMSE/MAE，mm）双口径（Table I 表头）。\n- 3D 检测：AP_3D%，固定 Moderate 难度与分类别 IoU（Table II 表头）。\n- 道路检测：MaxF%（Table IV 表头）。\n- 跟踪：MOTA/MOTP/MT/ML/IDS/FRAG（Table V 表头）。\n\n**协议不一致与缺口**：\n\n1. **硬件不统一**：Table I/II/V 中硬件横跨 Tesla P100/V100/P40、Titan X/Xp、GTX 1080/1080Ti，运行时间不可直接横向比较（各表 Hardware/Run Time 列）。\n2. **大量缺失值**：如 HDE-Net、LidarStereoNet 无 KITTI 指标（Table I）；PC-CNN、RoarNet 缺 Pedestrian/Cyclist AP；MV3D 缺行人与骑行者结果；BEVF、LaserNet++ 多列缺失（Table II）；DMLD 无 MaxF（Table IV）。综述如实转录未做归一化或补测。\n3. **任务覆盖不均衡**：语义分割与在线标定无量化对比表（第 VI、VIII 节），读者无法在同一口径下比较方法。\n4. **数据集域局限**：作者明确指出当前数据集与方法“大多聚焦于光照与天气良好的场景”，全天候能力不足（第 IX.B.2 节）；KITTI 地域与场景多样性有限。\n5. **开集检测缺乏协议与指标**：现有数据集用 background 类吞掉未知物体，无法评测开集行为；综述引用 Dhamija et al. [^133] 的 mixed unknown 协议与 Wong et al. [^134] 的类别无关嵌入空间作为方向（第 IX.B.4 节）。\n6. **时序上下文缺失**：多数基准为单帧评测，LiDAR 低刷新率（10Hz）与时间同步误差导致的形变问题未被基准刻画（第 IX.A.2 节）。\n7. **标注成本限制规模**：监督学习依赖大规模标注，而图像与点云标注昂贵，限制多模态数据集规模（第 IX.A.3 节）；无监督/自监督方法（Sparse2Dense++ [^43]、LidarStereoNet [^50]、LiStereo [^51]）正是对这一协议瓶颈的回应（Table I 的 LL 列）。\n\n### 4. 实现与运行环境记录\n\n- 综述在 Table I、II、V 中系统记录每模型的硬件平台、运行时间与参数量（如 Sparse2Dense：Tesla P100、0.08s、12M；AVOD-FPN：Titan Xp、0.08s、38M；mmMOT：GTX1080Ti、0.02s），为第 IX.B.5 节“速度-精度权衡”讨论提供原始依据。\n- 部分方法未报告硬件/时间（表中以 '-' 标注），综述未补测，属于透明但未弥补的记录缺口。\n\n### 5. 覆盖选择的意义与验证作用\n\n- **为什么以 KITTI 为核心**：KITTI 是自动驾驶感知的事实标准（[^56]），统一口径使跨论文、跨融合层级的精度对比成为可能；Table I–V 因此能支撑“特征级/多级融合总体优于纯信号级融合”“PointPainting 可即插即用于任意点云检测器”等结论的横向验证（第 III–VII 节）。\n- **记录融合层级与学习方式的意义**：使读者能将性能差异归因到融合策略而非单纯网络容量，并识别自监督/无监督路线的精度代价（如 Table I 中无监督 RGBguide 的 iRMSE 2.19 已接近监督方法）。\n- **记录硬件与运行时间的意义**：直接服务于车载部署与实时性讨论（第 IX.B.5 节）。\n- **覆盖缺口的意义**：室内 ScanNet 与驾驶任务的域差距、全天候数据缺失、开集协议缺失，共同支撑第 IX 节提出的开放挑战（融合数据表示、时序编码、学习范式、传感器无关框架、全天候条件、对抗与长尾、开集检测），对应综述第 I 节列出的第三项贡献。\n\n### 6. 批判性小结\n\n- **优点**：基准组织维度丰富（任务 × 融合层级 × 学习方式 × 硬件），透明转录原始结果并保留缺失值，便于读者回溯复核。\n- **局限**：无统一硬件下的重测、无统计显著性处理、语义分割与标定任务缺量化表、数据集地域/天气单一；读者将结论外推到真实部署时需谨慎——这与作者在第 IX 节自述的学术研究与真实落地之间的差距一致。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：指标与结果\n\n### 1. 指标体系（按任务划分，含定义）\n\n#### 1.1 深度补全（Table I，KITTI Depth Completion 基准 [^41]）\n\n- **iRMSE**（inverse depth Root Mean Squared Error，单位 1/km）：逆深度均方根误差，对近距离误差更敏感。\n- **iMAE**（inverse depth Mean Absolute Error，单位 1/km）：逆深度平均绝对误差。\n- **RMSE**（单位 mm）：深度均方根误差，对大误差惩罚更重，是该任务的核心指标。\n- **MAE**（单位 mm）：深度平均绝对误差。\n- **辅助维度**：融合层级（信号级/特征级/多级）、学习方式（S 监督 / SS 自监督 / U 无监督）、输入模态（RGB、sD 稀疏深度、Co 置信度、S 立体视差）、硬件、运行时间、模型参数量（Table I 表头）。\n- **代表结果**：GuideNet RMSE 736.24 mm（Table I 中最优）；CSPN++ 743.69 mm；无监督 RGBguide 772.87 mm；早期 Sparse2Dense 仅 1299.85 mm，显示 2018–2020 年间的显著迭代提升。\n\n#### 1.2 动态目标检测（Table II，KITTI 3D Object Detection 基准 [^56]，中等难度 moderate）\n\n- **AP_3D%**：3D 平均精度；IoU 阈值按类别不同：Car 70%、Pedestrian 50%、Cyclist 50%（Table II 表注），跨类别数值不可直接比较。\n- **辅助维度**：融合层级（FL）、融合类型（FT）、点云表示（PCR：Points/Voxels/2D views）、运行时间（RT）、模型规模（MS）。\n- **代表结果**：MVX-Net 与 MMF 并列 Car AP_3D 77.43%（Table II 最高）；F-ConvNet 76.39%；SIFRNet 在 Pedestrian 类领先（60.85%）；PointFusion 全面落后（Car 63.00%、Ped 28.04%、Cyclist 29.42%），反映 ROI 级多级融合的早期局限。\n\n#### 1.3 车道/道路检测（Table IV，KITTI Road 基准 [^56]）\n\n- **MaxF (%)**：KITTI 城市标注道路测试集上的最大 F1 值（精确率与召回率的调和平均）。\n- **代表结果**：PLARD 97.05%（最高，渐进式特征融合）；SpheSeg 96.94%（仅 1.4M 参数，速度导向）；MSRF 96.15%（多阶段融合）；LidCamNet 96.03%；信号级融合的 EDUNet 最低（93.81%）。\n\n#### 1.4 多目标跟踪（Table V，KITTI MOT 基准（car）[^56]）\n\n- **MOTA (%)**：多目标跟踪准确度，综合漏检、误检与 ID 切换的复合指标。\n- **MOTP (%)**：多目标跟踪精确度，衡量定位精度。\n- **MT (%)**：Mostly Tracked，被成功跟踪帧数占比高的目标比例；**ML (%)**：Mostly Lost，几乎丢失的目标比例。\n- **IDS**：ID 切换次数；**FRAG**：轨迹碎片数（Table V 表注）。\n- **代表结果**：MOTSFusion MOTA 84.83%（最高，但耗时 0.44s）；mmMOT 84.77%（仅 0.02s，精度-速度平衡最佳）；Complexer-YOLO 75.70% 但最快（0.01s），体现 DFT 框架以精度换实时性。\n\n#### 1.5 语义分割（第 VI 节）\n\n- 未提供统一指标对比表；文中以定性方式说明 3DMV 在 ScanNet [^110] 基准上优于其他体素方法（第 VI-B 节），证据强度弱于其他任务。\n\n### 2. 代表性先前工作的对比模式\n\n- **统一组织轴**：Table I–V 均以“融合层级”为主轴组织方法，辅以学习方式、输入模态、硬件、运行时间与模型规模，形成“精度—速度—规模”三维评价框架，与第 IX 节“速度-精度权衡”的开放问题呼应。\n- **同基准横向对比**：各任务均采用公开基准（KITTI 系列四个子基准 + ScanNet），保证方法间可比性（摘要、第 III–VII 节）。\n- **演进式对比**：深度补全从 Sparse2Dense（2018，RMSE 1299.85）到 GuideNet（736.24）；检测从 MV3D（Car 63.63）到 MVX-Net/MMF（77.43），时间线图（Fig. 3、4、8）与表格互相印证方法演进与融合层级迁移。\n- **定性+定量结合**：Table III、Table IV 在数值之外给出各范式的关键特征、优势与缺陷（如 frustum 类受限于 2D 检测器、multi-view 类假设 BEV 无遮挡、voxel 类丢失细粒度几何），是本综述区别于纯榜单罗列的核心贡献。\n- **权衡显式化**：mmMOT（MOTA 84.77，0.02s）vs MOTSFusion（84.83，0.44s）；PLARD 精度最高但计算开销较高 vs SpheSeg 以球面变换换取速度（Table IV、V）。\n\n### 3. 跨文献的共识与分歧\n\n#### 共识\n\n1. **融合优于单模态**：MVX-Net 超越纯 LiDAR 方法并降低误检/漏检率（第 IV-B 节）；PointPainting 使 PointRCNN/VoxelNet/PointPillars 等多种点云检测器一致提升（第 IV-A 节）。\n2. **特征级/多级融合普遍优于纯信号级融合**：深度补全中特征级 GuideNet（736.24）优于信号级 Sparse2Dense（1299.85）；道路检测中多阶段特征融合 PLARD/MSRF 优于信号级 EDUNet（Table I、IV）。\n3. **监督学习依赖大规模标注是共同瓶颈**：推动 Sparse2Dense++、LidarStereoNet、LiStereo 等自监督/无监督方案（第 III 节），作者亦将其列为未来方向（第 IX-A 节、Table VI）。\n\n#### 分歧\n\n1. **最优融合层级无定论**：result-level frustum 方法（F-ConvNet Car 76.39%）与 voxel/point-wise 方法（MVX-Net 77.43%）各有优势；Table III 明确列出各范式互斥的缺陷，说明没有普适最优方案。\n2. **数据表示之争**：作者主张“点表示+点卷积”最有潜力（第 IX-A 节），但当前 KITTI 榜单上 voxel/多视图方法（MVX-Net、MMF）仍居前列，作者观点与现有量化证据之间存在张力，属于前瞻判断而非已验证结论。\n3. **精度与部署性取舍方向不一**：mmMOT 追求端到端精度，Complexer-YOLO 追求实时性（Table V）；PointPainting 强调即插即用灵活性但引入图像-LiDAR 模型耦合、增加开发成本（第 IV-A 节、Table III）。\n\n### 4. 基准解读与证据强度\n\n- **KITTI 系列是事实标准**：深度补全 [^41]、3D 检测/道路/跟踪 [^56] 均基于 KITTI，覆盖城市道路场景；但 KITTI 以良好天气/光照为主，无法支撑全天候鲁棒性结论——作者在第 IX-B 节与 Table VI 中明确将其列为基准盲区。\n- **IoU 阈值差异需注意**：Car 70% vs Pedestrian/Cyclist 50%（Table II 表注），跨类别 AP 数值不可直接横向比较，解读时须回到同类内对比。\n- **证据强度分层**：\n  - **强**：同一基准、同一难度（moderate）下的多方法横向对比（Table I、II、IV、V），且同时报告精度与效率指标。\n  - **中**：语义分割仅有 ScanNet 定性结论（第 VI 节），且 ScanNet 为室内数据集，对自动驾驶场景外推性弱。\n  - **弱**：Table I 中 HDE-Net、LidarStereoNet 缺失全部指标；Table II 中 BEVF、LaserNet++ 部分指标缺失；各方法硬件不统一（Titan X/GTX 1080/V100 等），运行时间为各自报告值而非受控对比，速度结论只能作参考。\n- **基准盲区与结论边界**：作者在 Table VI 与第 IX 节指出开放集检测、对抗攻击、恶劣天气/光照等维度缺乏测试协议与指标（引用 Dhamija et al. [^133] 的开放集协议），因此现有文献证据不足以评估融合方法在真实部署条件下的可靠性——这是本综述对“文献证据强度”最重要的批判性判断（第 IX-B 节）。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：未来可探索的方向\n\n### 1. 总体趋势定位（浅层理解）\n\n论文在第 IX 节与 Table VI 中系统总结了当前学术研究与真实落地之间的差距，并归纳出三大总体趋势（Section IX 开头）：\n\n- **2D → 3D**：随着 3D 特征提取方法（如 PointNet++、KPConv）的成熟，在 3D 空间中直接定位、跟踪与分割目标成为热点。\n- **单任务 → 多任务**：近期工作（MMF [^73]、Complexer-YOLO [^122]）将目标检测、语义分割、深度补全等互补任务联合训练，以提升整体性能并降低计算成本。\n- **信号级 → 多级融合**：早期方法将 3D 几何投影到图像平面以复用成熟图像模型，近期模型转向多层级（早期/晚期融合）融合与时序上下文编码。\n\n基于 Table VI 的开放挑战清单，可从**理论、工程、数据/评测**三个维度提炼未来方向。\n\n---\n\n### 2. 理论方向（Theory）\n\n#### 2.1 融合数据的最优表示与点卷积理论\n\n- **问题**：融合数据应采用何种表示？现有三种选择各有缺陷——图像表示（3D 几何作为附加通道）受限于 2D 平面；点表示（RGB 附加到点上）受高分辨率图像与稀疏点云的分辨率失配制约；中间表示（如体素化 [^82]）可扩展性差（Section IX-A.1）。\n- **方向**：作者明确认为**点表示 + 点卷积（point representation coupled with point convolutions）**最具潜力（Section IX-A.1）。点卷积（PointConv [^40]、KPConv [^38]、PCNN [^33]）能更好地提取细粒度的逐点与局部几何信息，其连续权重函数的理论性质（第 II-B.5 节公式）值得进一步研究。\n- **深层分析**：点卷积将标准 2D 离散卷积推广到连续 3D 空间，其核心是用连续权重函数替代离散滤波器；如何在理论上保证置换不变性、尺度不变性以及与图像特征的跨模态对齐，仍是开放问题。\n\n#### 2.2 时序上下文编码\n\n- **问题**：当前多数深度学习感知系统忽略时序上下文，导致 LiDAR 低刷新率（10Hz）引起的点云形变、传感器间时间同步误差等问题，造成图像、点云与真实环境之间的失配（Section IX-A.2）。\n- **方向**：利用 **RNN/LSTM + 生成模型**编码时序信息。已有工作用 LSTM 自编码器预测周围车辆未来状态以调整轨迹 [^131]，用时序上下文估计自运动（ego-motion）辅助任务头网络 [^121]；未来可通过时序编码与生成模型解决低刷新率导致的失配问题（Section IX-A.2）。\n\n#### 2.3 学习范式：无监督与弱监督\n\n- **问题**：当前方法高度依赖监督学习，而图像与点云的标注昂贵且耗时，限制了多模态数据集规模与监督方法性能上限（Section IX-A.3）。\n- **方向**：发展**无监督/弱监督融合框架**。已有自监督深度补全（Sparse2Dense++ [^43]、LidarStereoNet [^50]）与无监督点云图学习 [^24] 展示了潜力；未来可在大规模无标注/粗标注数据上训练，突破标注瓶颈（Section IX-A.3）。\n\n#### 2.4 深度学习的适用边界\n\n- **问题**：深度学习模型不可回溯（black-box dilemma），不适合决策与规划等需要可解释性的环节；传统方法在可解释性与计算资源消耗上仍不可替代（Section IX-A.4）。\n- **方向**：明确深度学习的应用准则——**应用于目标显式且可客观验证的任务**（Section IX-A.4、Table VI），这为融合感知系统的模块化分工提供了理论指导。\n\n#### 2.5 开集目标检测（Open-set Detection）理论\n\n- **问题**：自动驾驶运行在无约束的开放环境中，目标类别无限；现有数据集用 background 类兜底不可行，检测器在开集设定下的行为高度不确定（Section IX-B.4）。\n- **方向**：Dhamija et al. [^133] 提出含混合未知类别的开集测试协议与指标；Wong et al. [^134] 在点云上将未知类别目标映射到类别无关嵌入空间进行聚类。开集检测的**测试协议、评价指标与新框架**需要整个研究社区持续投入（Section IX-B.4、Table VI）。\n\n---\n\n### 3. 工程方向（Engineering）\n\n#### 3.1 传感器无关框架（Sensor-agnostic Framework）\n\n- **问题**：融合虽提升感知性能，但引入信号耦合——若某一信号通路突然失效，整条流水线可能崩溃并拖垮下游模块，这对要求鲁棒感知的自动驾驶系统不可接受（Section IX-B.1）。\n- **方向**：开发传感器无关框架，例如采用多个不同传感器输入的融合模块、支持异步多模态数据的多路径融合模块；最优方案仍待研究（Section IX-B.1、Table VI）。mmMOT [^120] 的鲁棒融合模块（可同时处理单模态与多模态输入）是初步尝试（Section VII-A）。\n\n#### 3.2 速度-精度权衡与可扩展性设计\n\n- **问题**：处理多路高分辨率图像与大规模点云给移动计算平台带来巨大压力，导致掉帧、高功耗与低可靠性（Section IX-B.5）。\n- **方向**：模型应能在保持可接受性能的同时按需缩减计算成本（可扩展性），途径包括减少输入规模（点/像素/体素数）或网络深度；已有研究表明**基于点与多视图的融合方法比体素方法更具可扩展性** [^30] [^138] [^38]（Section IX-B.5）。生成模型预测缺失帧 [^136] 可作为掉帧补救手段，但根本解法是通过速度-精度平衡预防掉帧。\n\n#### 3.3 在线跨传感器标定\n\n- **问题**：机械振动与温度波动使外参持续变化，融合方法对标定误差极为敏感；离线标定繁琐耗时（Section VIII）。\n- **方向**：深度学习在线标定（RegNet [^129]、CalibNet [^130]）已实现实时能力与自监督学习，但计算开销大；CalibNet 通过 3D 空间变换器解耦内参依赖是重要进展，进一步降低计算成本、结合时序上下文（视觉里程计方法 [^128]）是工程化关键（Section VIII-B、IX-A.2）。\n\n#### 3.4 对抗攻击与 Corner Case 的跨模态验证\n\n- **问题**：针对相机感知的对抗攻击已被证明有效，且难以显式识别针对特定模态的攻击；corner case（如大车身上的骑行者贴图、穿道具服的行人）单模态难以处理（Section IX-B.3）。\n- **方向**：利用 **3D 几何与图像的跨模态联合验证**识别攻击与 corner case；多模态数据比单模态更有效、更可靠，直接关系自动驾驶的安全性与商业化（Section IX-B.3、Table VI）。\n\n---\n\n### 4. 数据/评测方向（Data & Evaluation）\n\n#### 4.1 复杂天气与光照条件数据集\n\n- **问题**：现有数据集与方法多聚焦于良好光照与天气场景，导致真实复杂条件下性能不佳（Section IX-B.2）。\n- **方向**：构建覆盖**广泛光照与天气条件**的数据集是第一步；同时需研究利用多模态数据应对复杂光照/天气的方法（Section IX-B.2、Table VI）。注意 LiDAR 本身在暴雨、雾、雪中性能受限（Section I），因此恶劣天气下的相机-LiDAR 融合数据集尤为稀缺且关键。\n\n#### 4.2 开集检测的测试协议与指标\n\n- **问题**：当前目标检测研究缺乏开集意识、测试协议与指标，几乎没有对开集性能的显式评估（Section IX-B.4）。\n- **方向**：推广 Dhamija et al. [^133] 的混合未知类别协议（由现有数据集组合生成测试集），以及 Wong et al. [^134] 的类别无关嵌入聚类技术；需要社区在**数据集（强调未知目标）、测试协议与指标**三方面共同发力（Section IX-B.4）。\n\n#### 4.3 支撑无监督/弱监督的大规模数据基础设施\n\n- **问题**：多模态标注成本高，制约数据集规模（Section IX-A.3）。\n- **方向**：建设大规模无标注/粗标注多模态数据集，配合自监督信号（光度损失、稀疏深度约束、平滑损失等，见 Sparse2Dense++ [^43] 与 LidarStereoNet [^50] 的损失设计，Section III-A/III-B），使融合网络能在海量数据上训练。\n\n#### 4.4 现有基准的局限与扩展\n\n- **现状**：论文性能对比依赖 KITTI 系列基准（深度补全 Table I、3D 检测 Table II、道路 Table IV、跟踪 Table V）与 ScanNet [^110]（Section VI），均为良好天气下的城市/室内场景。\n- **方向**：未来评测应覆盖恶劣天气、长尾类别、开集设定与时序一致性指标，弥补当前基准与真实部署之间的评测鸿沟（Section IX 整体论述）。\n\n---\n\n### 5. 深层分析与优先级建议\n\n- **短期（工程可落地）**：速度-精度权衡与可扩展模型设计（IX-B.5）、在线标定工程化（VIII）——直接决定系统能否上车运行。\n- **中期（数据驱动）**：恶劣天气数据集（IX-B.2）与无监督学习基础设施（IX-A.3）——决定模型性能上限与泛化能力。\n- **长期（范式变革）**：点表示+点卷积的融合表示理论（IX-A.1）、传感器无关框架（IX-B.1）、开集检测（IX-B.4）——决定自动驾驶感知能否在开放环境中安全可靠地运行。\n- **交叉机会**：时序上下文编码（IX-A.2）是贯穿性方向，可同时服务于深度补全、跟踪、在线标定与掉帧补救，是连接多个任务的共性技术底座。\n\n**依据定位**：以上方向均直接源自论文第 IX 节（Trends, Open Challenges and Promising Directions）与 Table VI（开放挑战与可能解决方案对照表），并辅以第 III–VIII 节各任务综述中的方法缺陷分析（如 Table III 对四类检测范式缺陷的总结）。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界落地视角（部署约束、算力/延迟、鲁棒性/安全性、可维护性）\n\n### 1. 浅层理解：综述如何回答“落地”问题\n\n- 本文为综述，本身不构建可部署系统，但第 IX 节（Trends, Open Challenges and Promising Directions）与 Table VI 专门总结了“学术研究与真实应用之间的差距”，是本模块的核心依据；各对比表（Table I、II、IV、V）记录了硬件平台（Tesla V100、GTX1080Ti、Titan X 等）与运行时间，可直接用于评估车载部署可行性。\n- 综述明确指出：感知模块的性能与可靠性是整个无人驾驶系统能力的前提，其下游规划、决策与自定位均依赖其输出（第 IX 节开头）。\n\n### 2. 中层分析：四大落地维度\n\n#### 2.1 部署约束\n\n- **传感器物理约束**：车载 LiDAR 仅 16–128 线、刷新率约 10Hz、受大雨/雾/雪影响且成本高；相机在复杂/恶劣光照下失效；双目相机计算成本高且在高遮挡、无纹理环境表现差（第 I 节）。这决定了相机-LiDAR 融合系统必须同时应对两类传感器的固有短板。\n- **标定约束**：机械振动与热涨落使传感器外参持续漂移，而多数融合方法对标定误差极其敏感，离线标定又耗时费力，因此在线自动跨传感器标定具有显著实用价值（第 VIII 节）。\n- **数据/环境约束**：现有数据集与方法多覆盖良好光照与天气条件，导致真实复杂条件下性能下降，需构建覆盖宽范围天气/光照的数据集（第 IX.B.2 节，Table VI）。\n- **任务性约束**：交通标志识别（TSR）典型流水线假设交通标志在 LiDAR 扫描中可见（遮挡时不成立），且受车载 LiDAR 探测距离限制（第 V.B 节，Fig. 7）。\n\n#### 2.2 计算/延迟影响\n\n- **实测运行时间跨度大**：深度补全从 0.02s（NConv-CNN、RGBguide，Tesla V100）到 1s（CSPN，Titan X）（Table I）；3D 目标检测从 0.04s（LaserNet++，TITAN Xp）到 1.3s（PointFusion，GTX1080）（Table II）；跟踪从 0.01s（Complexer-YOLO）到 0.44s（MOTSFusion）（Table V）。以 10Hz 传感器节拍衡量，多数方法可满足实时性，但 PointFusion 类方法明显偏慢。\n- **架构选择影响算力**：单步（one-step）模型将提案生成与 bbox 回归合并为单阶段，计算更高效，更适合移动计算平台上的实时应用（第 IV.C 节）；结果级融合利用现成 2D 检测器压缩 3D 搜索空间以降低计算、提升运行时间（第 IV.A.1 节）。\n- **数据表示决定可扩展性**：体素表示的计算与内存占用随分辨率立方增长，不可扩展（第 II.B.1 节、Table III）；点表示与多视图表示方法比体素方法更具可扩展性（第 IX.B.5 节）。CSPN++ 通过动态选择卷积核尺寸与迭代次数降低计算（第 III.A.1 节）。\n- **掉帧与功耗问题**：处理多路高分辨率图像与大规模点云给现有车载计算平台带来巨大压力，导致掉帧、高功耗与低可靠性；生成式模型可补缺失帧，但最有效的解法是从源头降低硬件负载、在设计期平衡速度-精度（第 IX.B.5 节）。\n- **标定算力开销**：基于深度学习的在线标定方法计算开销较大（第 VIII.B 节）。\n\n#### 2.3 鲁棒性/安全性问题\n\n- **信号耦合与单点失效**：融合提升性能的同时引入信号耦合，若某一信号路径突然失效，整条流水线可能崩溃并拖垮下游模块，这对要求鲁棒感知的自动驾驶系统不可接受；应对方向是传感器无关框架（sensor-agnostic framework）、多融合模块冗余与支持异步多模态输入的多路径融合（第 IX.B.1 节，Table VI）。\n- **全天候能力不足**：需发展利用多模态数据应对复杂光照与天气的方法（第 IX.B.2 节）。\n- **对抗攻击与角落案例**：针对相机感知的对抗攻击已被证明有效，危及安全关键场景；由于难以显式识别针对特定模态的攻击，可利用 3D 几何与图像跨模态联合验证；印刷在大型车辆上的骑行者图像、奇装异服行人等角落案例，单模态难以处理而多模态更可靠（第 IX.B.3 节）。\n- **开集检测缺失**：检测器在未知/未见类别上行为高度不确定，现有数据集无法用 background 类涵盖所有无关物体，且缺乏开集测试协议与指标（第 IX.B.4 节，[^133][^134]）。\n- **时序上下文缺失**：LiDAR 低刷新率导致点云形变、传感器间时间同步误差导致图像-点云-真实环境失配，需以 RNN/LSTM 与生成模型编码时序上下文（第 IX.A.2 节）。\n- **结构性假设失效**：BEV 多视图方法假设所有目标在俯视图中无遮挡可见，对行人/骑行者等小目标不成立，且连续卷积下采样丢失小目标空间信息、ROI-pooling 破坏细粒度几何（第 IV.B 节、Table III）；frustum 类方法假设每个种子区域仅含一个目标，在拥挤场景与小目标场景失效（第 IV.A.1 节）。\n- **可解释性/黑箱困境**：深度模型决策不可回溯，不适合决策规划等需追溯的应用；传统方法可解释性更好、计算资源消耗更低，深度学习应应用于目标明确且可客观验证的任务（第 IX.A.4 节）。\n- **自带鲁棒机制的方法**：LidarStereoNet 通过反馈环路对噪声点云与传感器失准鲁棒（第 III.B 节）；MOTSFusion 借助 3D 重建在完全遮挡下维持跟踪（第 VII.A 节）。\n\n#### 2.4 可维护性\n\n- **模型耦合的维护成本**：PointPainting 类逐点融合使图像模型与 LiDAR 模型高度耦合，图像模型一旦更换，LiDAR 模型需重新训练，降低整体可靠性并增加开发成本（第 IV.A.1 节、Table III）。\n- **标定模型的泛化性**：RegNet 对传感器内参不敏感，内参变化后需重训；CalibNet 以自监督方式最小化几何/光度不一致性，内参仅在 3D 空间变换器中使用，可迁移至任意已标定内参的相机（第 VIII.B 节）。\n- **标注成本与学习范式**：监督学习依赖大规模标注，而图像与点云标注昂贵耗时，限制多模态数据集规模；无监督/弱监督框架可在无标注/粗标注大数据上训练，是降低长期维护成本的关键方向（第 IX.A.3 节，Table VI）。\n- **先验的地域性**：基于道路几何与标志几何先验的 TSR 方法难以泛化到世界其他地区（第 V.B 节）。\n- **传感器无关设计**：mmMOT 采用 loss-coupling 方案的鲁棒融合模块，兼容单模态与多模态输入（第 VII.A 节），是降低系统维护复杂度、实现冗余设计的代表。\n\n### 3. 深层综合：落地路线判断\n\n- **短期可落地组合**：轻量单步/点云检测器（Complexer-YOLO 0.01s、LaserNet++ 0.04s，Table II/V）+ 在线标定（RegNet/CalibNet，第 VIII 节）最接近车载实时与免维护标定的工程约束。\n- **中期演进方向**：以点表示 + 点卷积作为融合数据表示（第 IX.A.1 节）、时序上下文编码（RNN/LSTM + 生成模型）、无监督/弱监督学习（Table VI），兼顾性能与可扩展性。\n- **长期安全门槛**：开集检测、对抗鲁棒、传感器无关冗余架构是安全认证与商业化的先决条件（第 IX.B 节），综述明确指出这些问题被学术界忽视却困扰真实部署（摘要、第 X 节）。\n- **设计第一原则**：速度-精度权衡应内建于模型设计——模型需能按硬件缩放计算量（减少输入点/像素/体素数或网络深度），点基与多视图方法优于体素方法（第 IX.B.5 节）。\n\n### 证据链与定位符汇总\n\n- 部署约束：第 I 节（传感器特性）、第 VIII 节（标定漂移）、第 IX.B.2 节（天气/光照）、第 V.B 节（TSR 假设）\n- 算力/延迟：Table I、II、V（硬件与运行时间）、第 IV.C 节（单步模型）、第 II.B.1 节与 Table III（体素不可扩展）、第 IX.B.5 节（掉帧与权衡）\n- 鲁棒/安全：第 IX.B.1–B.4 节、Table VI、第 IV.A.1/B 节（结构性假设）、第 IX.A.2 节（时序失配）、第 IX.A.4 节（黑箱）\n- 可维护性：第 IV.A.1 节（耦合重训）、第 VIII.B 节（内参泛化）、第 IX.A.3 节（标注成本）、第 VII.A 节（传感器无关框架）\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落\n\n本文是首篇聚焦自动驾驶中基于深度学习的相机-LiDAR（图像与点云）融合方法的综述（摘要、第 I 节）。论文先简要回顾图像与点云的深度学习基础，其中点云处理涵盖体素、索引/树、多视图、图与点表示五种范式（第 II 节）。随后按融合层级（信号级/特征级/多级/结果级）系统评述六大任务：深度补全（第 III 节）、动态目标检测（第 IV 节）、静态道路目标检测（第 V 节）、语义分割（第 VI 节）、目标跟踪（第 VII 节）与在线跨传感器标定（第 VIII 节）。文中通过 Table I–V 在 KITTI 等公开基准上对比各方法的精度、运行时间与模型规模，并以 Fig. 3–10 呈现方法时间线与典型架构。作者归纳出三大趋势：从 2D 走向 3D、从单任务走向多任务、从信号级走向多级融合（第 IX 节）。同时指出学术研究与真实落地之间被忽视的挑战，包括融合数据表示、时序上下文编码、学习范式、传感器无关框架、全天候条件、对抗攻击与开集检测等（Table VI）。最后强调深度学习宜用于目标明确且可客观验证的任务，传统方法在可解释性与实时性上仍不可替代（第 IX 节、第 X 节）。\n\n### 2. 五条核心要点\n\n1. **传感器互补性是融合的根本动因**：相机提供高分辨率纹理但缺乏可靠 3D 几何且受光照制约；LiDAR 提供精确 3D 几何且不受环境光影响，但分辨率低（16–128 线）、刷新率低（10Hz）、成本高且受雨雾雪影响（第 I 节、Fig. 1）。\n2. **融合层级是组织方法的统一框架**：信号级（如 EDUNet）、特征级（如 GuideNet、ContFuse、PointPainting）、多级（如 RGBguide、MSRF）与结果级（如 F-PointNet）各有取舍——结果级受 2D 检测器性能上限约束，信号级易丢失纹理信息，特征级/多级融合通常取得最优性能（第 III–VIII 节、Table III）。\n3. **点表示 + 点卷积是最有前景的融合数据表示**：PointNet/PointNet++ 以共享 MLP 与对称函数实现置换不变，KPConv/PointConv 等点卷积显式建模局部几何，且相比体素方法在计算与内存上更可扩展（第 II 节、第 IX 节）。\n4. **公开基准对比揭示设计规律**：深度补全中 GuideNet 领先（RMSE 736.24mm，Table I）；3D 检测中 MMF 与 MVX-Net 达 AP_3D 77.43%（Table II）；跟踪中 mmMOT 以 MOTA 84.77% 居前（Table V），表明多级/特征级融合与多任务联合训练普遍带来增益。\n5. **可靠性挑战与性能同等重要**：真实部署需解决相机-LiDAR 耦合（传感器无关框架）、全天候/光照鲁棒性、对抗攻击与 corner case、开集检测（缺乏测试协议与指标）以及速度-精度权衡（可扩展模型设计）（第 IX-B 节、Table VI）。\n\n### 3. 核心公式/机制\n\n**PointNet 的置换不变特征提取机制**（第 II-B 节）：\n\n$$g(\\{x_1,\\cdots,x_n\\}) \\approx f_{sym}(h(x_1),\\cdots,h(x_n))$$\n\n其中 $x_i$ 为输入点，$h(\\cdot)$ 为逐点特征提取函数（对所有点共享的 MLP），$f_{sym}$ 为对称函数（如 max-pooling）。共享 MLP 保证逐点特征与输入顺序无关，对称聚合函数天然置换不变，因此整体函数 g 对点云排列不变；且计算复杂度随点数线性增长，可扩展性优于体素方法。该机制是 F-PointNet、PointFusion、mmMOT 等大量点云融合方法的基石；其难以提取多层次局部几何的局限，催生了 PointNet++ 的分层分组以及 KPConv 等点卷积 $(\\mathcal{F}*h)(x)=\\sum_{x_i\\in\\mathcal{N}_x} h(x_i-x)f_i$（第 II-B 节）。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解（结构树、方法簇分解、图表解读与对比表覆盖结构）\n\n### 1. 分类体系（Taxonomy Structure）\n\n本综述采用「任务 × 融合层级」的二维分类体系（摘要、第 I 节、Fig. 2），这是全文的组织骨架：\n\n### 第一维：六大感知任务（第 III–VIII 节）\n\n1. 深度补全（Depth Completion，第 III 节）：将稀疏不规则深度上采样为稠密规则深度；\n2. 动态目标检测（Dynamic Object Detection，第 IV 节）：车辆、行人、骑行者等常见动态道路目标的 3D 定位、分类与朝向框回归；\n3. 静态道路目标检测（Stationary Road Object Detection，第 V 节）：细分为车道/道路检测与交通标志识别（TSR）；\n4. 语义分割（Semantic Segmentation，第 VI 节）：2D 语义分割、3D 语义分割与实例分割；\n5. 目标跟踪（Object Tracking，第 VII 节）：多目标跟踪（MOT）；\n6. 在线跨传感器标定（Online Cross-Sensor Calibration，第 VIII 节）：融合流水线的前提条件。\n\n### 第二维：融合层级（Fusion Level）\n\n- 信号级（Signal-level）：原始数据直接拼接（如 RGB 与稀疏深度拼成 RGB-D 输入、BEV 占据栅格，见第 III-A-1、V-A 节）；\n- 特征级（Feature-level）：中间特征融合（并行编码器 + 共享解码器、多阶段跨层融合、ROI 特征融合，见第 III-A-2、IV-A-3 节）；\n- 多级（Multi-level）：信号级与特征级组合，或在网络多个深度处融合（RGBguide [^49]、MSRF [^89]、MMF [^73]）；\n- 结果级（Result-level）：一个模态的检测结果约束另一模态的搜索空间（2D 检测框投影为视锥 frustum，见第 IV-A-1 节）。\n\n**支撑层（第 II 节）：点云深度学习五种数据表示**\n体素表示（Volumetric）、索引/树表示（Index/Tree：kd-tree、octree）、2D 多视图表示（2D Views）、图表示（Graph：空间域/谱域图卷积）、点表示（Point：PointNet [^31]、PointNet++ [^30]、RandLA-Net [^39] 与点卷积 PointConv [^40]、KPCConv [^38]、PCNN [^33]）。该节为后续各任务的融合方法提供特征提取基础，其中点卷积通用公式 (F*h)(x)=Σ h(x_i−x)f_i（第 II-B-5 节）是理解第 IX 节「点表示 + 点卷积」趋势论断的技术前提。\n\n### 2. 代表性方法簇及论文的划分依据\n\n### 簇 1：深度补全（第 III 节，Fig. 3 时间线 + Table I）\n\n- 单目相机-LiDAR（Mono-LiDAR）：\n  - 信号级：Sparse2Dense [^42]（ResNet 自编码器）、Sparse2Dense++ [^43]（自监督，光度+平滑+稀疏深度约束）、CSPN/CSPN++ [^44][^45]（卷积空间传播网络，动态核尺寸与迭代次数）；\n  - 特征级：Spade-RGBsD [^46]（双 NASNet 编码器 + 共享解码器）、NConv-CNN [^47]（归一化卷积 + 置信度传播）、GuideNet [^48]（编码器多阶段引导，KITTI 榜单顶级性能）；\n  - 多级：RGBguide [^49]（全局/局部双分支 + 置信度图融合）。\n- 双目相机-LiDAR（Stereo-LiDAR，特征级）：HDE-Net [^9]（两阶段 CNN）、LidarStereoNet [^50]（无监督 + feedback loop 抗噪声与失配）、LiStereo [^51]（自监督）。\n- **划分依据**：相机类型（单目 vs 双目）× RGB 与稀疏深度在网络中的相遇层级；论文明确指出各簇瓶颈——监督方法受限于稠密深度真值稀缺，双目方法受限于量程与无纹理环境（第 III-B 节）。\n\n## 簇 2：动态目标检测四大范式（第 IV 节，Fig. 4/5 + Table II/III）\n\n- 视锥类（Frustum based）：F-PointNet [^57]、F-ConvNet [^65]、PC-CNN [^58]、RoarNet [^59]、IPOD [^61]、PointFusion [^62]、SIFRNet [^63]——用 2D 检测/分割结果生成 3D 搜索空间；优点是搜索空间小、速度快；缺点是性能受 2D 检测器上限约束、多模态冗余信息未被利用（Table III）。\n- 点融合类（Point-fusion based）：PointPainting [^66]——将 2D 语义逐点附加为额外通道，解决稠密 RGB 与稀疏深度的分辨率失配；缺点是图像与 LiDAR 模型强耦合、3D 搜索空间未缩减。\n- 多视图类（Multi-view based）：MV3D [^67]、AVOD-FPN [^68]、SCANet [^69]、ContFuse [^70]、MMF [^73]——在 BEV 上生成 3D proposal；可复用标准 2D 卷积、可扩展性强；缺点是假设 BEV 中所有目标可见、小目标信息在连续卷积下采样中丢失、ROI-pooling 损失细粒度几何。\n- 体素类（Voxel-based）：MVX-Net [^71]、Song et al. [^82]——体素级融合图像语义；兼容标准 3D 卷积；缺点是体素化损失分辨率与细粒度几何，计算/内存随分辨率立方增长。\n- **流程维度**：顺序式（Sequential：proposal 阶段 + bbox 回归阶段）vs 单步式（One-step：LaserNet++ [^74]，两路 CNN 并行 + 逐点关联融合，0.04s 高效实时）。\n- **划分依据**：proposal 生成空间（2D 图像平面 vs 3D BEV/体素空间）× 融合发生的位置（结果/特征/多级）× 流程步数。\n\n## 簇 3：静态道路目标检测（第 V 节，Fig. 6/7 + Table IV）\n\n- 车道/道路检测按视角划分：BEV-based（DMLD [^86]、EDUNet [^87] 信号级、TSF-FCN [^88]、MSRF [^89] 多阶段特征级）保留原始 x-y 坐标与朝向；相机视图-based（LidCamNet [^90] 多级、PLARD [^91] 渐进融合、SpheSeg [^92] 球坐标变换提速） suffer 2D→3D 边界转换精度损失。\n- TSR 典型流水线（Fig. 7）：利用 LiDAR 后向反射特性定位 → 3D 位置投影到图像平面 → 图像分类器（DBM [^102]、SVM [^101]、DNN [^104]、卷积胶囊网络 [^105]）；改进方向为多模态联合检测分类 + 先验知识 [^106][^107]，但先验具有区域特异性、泛化受限（第 V-B 节）。\n\n## 簇 4：语义分割（第 VI 节，Fig. 8/9）\n\n- 2D：Sparse & Dense [^46]、Valada [^55] 多阶段融合、Caltagirone [^90]（cross-fusion 实验最优）；\n- 3D：体素类 3DMV [^109]（多视图图像特征体素级 max-pool + 3D CNN）、点类 UPF [^111] 与 MVPNet [^112]、晶格类 SPLATNet [^113]（稀疏双边卷积）；\n- 实例分割：proposal-based（3D-SIS [^114] 两阶段 3D CNN、PanopticFusion [^116] 全景分割 + 体积地图，不支持动态场景）vs proposal-free（3D-BEVIS [^117]，BEV 语义特征 + mean-shift 聚类）。\n- **划分依据**：输出空间（2D/3D）× 是否区分实例 × 是否依赖 proposal。\n\n## 簇 5：跟踪（第 VII 节，Fig. 10 + Table V）\n\n- DBT（Detection-Based Tracking / Tracking-by-Detection）：DSM [^119]（深度结构模型端到端）、mmMOT [^120]（解耦损失、鲁棒融合模块、传感器无关）、MOTSFusion [^121]（跟踪与 3D 重建联合，抗完全遮挡）；\n- DFT（Detection-Free Tracking）：Complexer-YOLO [^122]（语义点云体素化 + 3D 复杂 YOLO + LMB RFS 滤波，SRTs 指标替代 IoU 加速训练）。\n- **划分依据**：目标初始化方式——检测器驱动的数据关联 vs 手动初始化 + 随机有限集（FISST）滤波（第 VII 节）。\n\n## 簇 6：在线标定（第 VIII 节）\n\n- 经典方法：互信息（MI）最大化 [^124][^125][^126][^127]、视觉里程计法 [^128]——对纹理丰富场景、大偏移与遮挡不鲁棒、难以实时；\n- 深度学习方法：RegNet [^129]（实时 CNN 回归外参，但对内参不鲁棒、内参变化需重训）、CalibNet [^130]（自监督几何/光度一致性最小化，内参无关，但计算开销大）。\n\n### 3. 重要图表解读（浅→深）\n\n## Fig. 2（第 I 节）：综述整体结构导航图\n\n- 表层作用：给出「图像与点云融合感知」的任务地图，将六大任务（深度补全 §III、动态目标检测 §IV、静态道路目标检测 §V、语义分割 §VI、跟踪 §VII、在线标定 §VIII）与对应章节一一映射。\n- 中层解读：该图体现综述的组织逻辑——不按传感器类型或网络结构组织，而是按「感知任务」组织，再在任务内部按融合层级细分；同时暗示任务间上下游关系（标定是融合前提、深度补全服务于检测与分割）。\n- 深层解读：与第 I 节贡献声明呼应——先前综述 [^12][^13] 覆盖传感器范围过广或任务不全，本文以「仅相机-LiDAR + 六任务互联」换取单方法评述深度，Fig. 2 正是这一范围收缩的可视化承诺。\n\n## Fig. 5（第 IV 节）：三种典型动态目标检测架构对比\n\n- 表层作用：并排对比 2D proposal 顺序式、3D proposal 顺序式与 one-step 三种架构的数据流。\n- 中层解读：\n  1. 2D proposal 路线：图像检测器 → 2D 框 → 投影为视锥/点级种子 → 3D 回归（F-PointNet、IPOD），瓶颈在 2D 检测器上限及密集/遮挡场景「一种子一目标」假设失效（第 IV-A 节）；\n  2. 3D proposal 路线：BEV/体素上直接生成 3D proposal，多视图（BEV/FV/RGB）ROI 特征融合后回归（MV3D、AVOD），瓶颈在小目标 BEV 遮挡与 ROI-pooling 细粒度损失（第 IV-B 节，含 ROI_views 与 ROI-pooling 公式）；\n  3. One-step 路线：两路 CNN 并行处理深度图与前视图，逐点关联融合后直接预测逐点 bbox 分布（LaserNet++），计算高效适合移动平台（第 IV-C 节）。\n- 深层解读：该图实质是「精度-速度-耦合度」三维权衡的架构级可视化，为 Table II 的定量对比与第 IX 节速度-精度开放问题提供直觉支撑。\n\n## Table II（第 IV 节）：KITTI 3D 目标检测基准对比（Moderate 难度）\n\n- 列结构：融合层级（FL）、融合类型（FT）、点云表示（PCR）、模型、硬件、运行时间（RT）、模型规模（MS）、Car/Pedestrian/Cyclist 的 AP_3D%（IoU 要求分别为 70%/50%/50%）。\n- 关键读数：\n  - Car 类最高：MVX-Net 与 MMF 并列 77.43%，体素级融合与多任务多级融合在 Car 上占优；\n  - Pedestrian 类最高：SIFRNet 60.85%，其 PointSIFT [^64] + SENet 的尺度不变/特征重加权设计对小型易遮挡目标有效；\n  - 速度-精度权衡：LaserNet++ 0.04s（one-step）vs PointFusion 1.3s；MV3D 参数量 240M vs AVOD-FPN 38M——AVOD 以约 1/6 参数量将 Car AP_3D 从 63.63% 提升至 71.76%（约 +8.1 点），验证「特征图上采样 + 融合 RPN」改进的有效性（第 IV-B 节）。\n- 深层解读：该表把「融合层级 × 点云表示 × 精度 × 速度 × 模型规模」纳入同一框架，是第 IX 节「点表示 + 点卷积更具可扩展性」论断的定量论据来源。\n\n## Table III（第 IV 节）：动态目标检测四范式定性总结\n\n- 维度：关键特征 / 优点 / 缺点，覆盖视锥类、点融合类、多视图类、体素类。\n- 核心结论：视锥类受 2D 检测器上限约束且未利用多模态冗余；点融合类解决分辨率失配但模型强耦合、搜索空间未缩减；多视图类可扩展性强但 BEV 可见性假设与 ROI 细粒度损失；体素类兼容 3D 卷积但体素化不可扩展。\n- 深层解读：该表是第 IV 节的批判性阅读浓缩，直接支撑第 IX-A-1 节「融合数据应采用何种表示」的开放问题讨论。\n\n### 4. 对比表解读与覆盖结构\n\n## 基准覆盖总览（Table I–VI）\n\n| 表格 | 任务 | 基准 | 核心指标 |\n|---|---|---|---|\n| Table I | 深度补全 | KITTI Depth Completion [^41] | iRMSE/iMAE（逆深度，1/km）、RMSE/MAE（mm） |\n| Table II | 3D 目标检测 | KITTI 3D Object Detection [^56]（Moderate） | AP_3D%（Car/Pedestrian/Cyclist） |\n| Table IV | 车道/道路检测 | KITTI Road [^56]（Urban Marked） | MaxF（最大 F1 值）+ 定性 Highlights/Disadvantages |\n| Table V | 多目标跟踪 | KITTI MOT [^56]（Car） | MOTA/MOTP、MT/ML、IDS/FRAG |\n| Table VI | 开放挑战 | —（定性） | 性能类 vs 可靠性类问题及可能方向 |\n\n**列设计的一致性逻辑**：各定量表统一记录「融合层级 + 学习方式（S/SS/U）+ 输入模态 + 硬件 + 运行时间 + 模型规模 + 精度指标」，使读者能同时评估精度与部署成本（速度、参数量）——与第 IX-B-5 节「速度-精度权衡」开放问题形成前后呼应。\n\n**覆盖结构特点与缺口**：\n\n1. 定量（Table I/II/IV/V）与定性（Table III、Table IV 的 Highlights/Disadvantages 列、Table VI）互补，兼顾「性能对比」与「方法批判」；\n2. 时间覆盖 2014–2020（Fig. 3/4/8 时间线），以 KITTI 系列基准为主锚点保证横向可比性；\n3. 缺口一：Table I 中 Stereo-LiDAR 组多项指标缺失（HDE-Net、LidarStereoNet 未报告 KITTI 指标），Table II 中 PC-CNN、BEVF、LaserNet++ 指标不全，反映各方法评测口径不统一；\n4. 缺口二：语义分割（第 VI 节）无对比表，仅文字描述在 ScanNet [^110] 上的相对表现，是六个任务中定量覆盖最薄弱处；\n5. 缺口三：所有基准均以良好光照/天气场景为主，与第 IX-B-2 节「全天候条件」挑战形成印证——现有对比表无法回答恶劣条件下的性能问题。\n\n### 5. 综述综合图（Survey Synthesis Diagram）\n\n~~~text\n相机-LiDAR 融合（深度学习，2014–2020）\n│\n├── 基础层 §II：点云深度学习表示\n│   Volumetric / Index-Tree / 2D-Views / Graph / Point(PointNet系 + 点卷积)\n│\n├── §III 深度补全\n│   ├── Mono-LiDAR：信号级(Sparse2Dense++, CSPN++) / 特征级(GuideNet, NConv-CNN) / 多级(RGBguide)\n│   └── Stereo-LiDAR：特征级(HDE-Net, LidarStereoNet, LiStereo)\n│\n├── §IV 动态目标检测\n│   ├── 顺序式\n│   │   ├── 2D proposal：结果级(F-PointNet, RoarNet, IPOD) / 特征级(PointPainting) / 多级(PointFusion, SIFRNet)\n│   │   └── 3D proposal：特征级(MV3D, AVOD, SCANet, ContFuse, MVX-Net, MMF)\n│   └── 单步式：LaserNet++\n│\n├── §V 静态道路目标\n│   ├── 车道/道路：BEV(DMLD, EDUNet, TSF-FCN, MSRF) / 相机视图(LidCamNet, PLARD, SpheSeg)\n│   └── TSR：LiDAR定位+图像分类(典型流水线) / 多模态联合+先验(Deng, Guan)\n│\n├── §VI 语义分割\n│   ├── 2D(Sparse&Dense, Valada) / 3D(3DMV, UPF, MVPNet, SPLATNet) / 实例(3D-SIS, PanopticFusion, 3D-BEVIS)\n│\n├── §VII 跟踪：DBT(DSM, mmMOT, MOTSFusion) / DFT(Complexer-YOLO)\n│\n├── §VIII 在线标定：经典(MI最大化, 视觉里程计) / DL(RegNet, CalibNet)\n│\n└── §IX 趋势与开放挑战（Table VI）\n    ├── 性能类：融合数据表示(→点表示+点卷积) / 时序上下文(RNN/LSTM+生成模型)\n    │          / 学习方案(无监督+弱监督) / DL适用边界(目标可客观验证的应用)\n    └── 可靠性类：传感器解耦(传感器无关框架) / 全天候(复杂条件数据集)\n               / 对抗与长尾(跨模态验证) / 开集检测(协议+指标+新框架) / 速度-精度权衡(可扩展设计)\n~~~\n\n**综合观察（时间演化维度）**：结合 Fig. 3/4/8 时间线与上述结构树可见三条清晰演化主线——\n\n1. 融合层级从信号级向特征级/多级迁移（早期 HHA 通道拼接 [^75][^79] → 多阶段跨层融合 GuideNet/MSRF/MMF）；\n2. 任务从单任务向多任务联合演进（MMF 联合地面估计+深度补全+2D/3D 检测 [^73]、Complexer-YOLO 联合检测+跟踪 [^122]、MOTSFusion 联合跟踪+重建 [^121]）；\n3. 点表示方法占比持续上升（PointNet 系 → 点卷积 → PointPainting/UPF 等逐点融合）。\n\n这三条主线与论文第 IX 节总结的三大趋势（2D→3D、单任务→多任务、信号级→多级融合）完全一致（第 IX 节），说明综述的分类体系不仅是对已有工作的静态归档，也内嵌了对领域演化方向的判断。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍深度评审（Third-pass Deep Review）\n\n### 1. 分类学假设（Taxonomy Assumptions）\n\n- **融合层级互斥假设**：综述以「信号级 / 特征级 / 多级 / 结果级」四类融合层级作为全文组织主线（摘要、第 I 节、Fig. 2），隐含假设每个方法可唯一归入某一层级。但实际方法常跨越层级：MMF [^73] 同时使用信号级 RGB-D、特征级、多视图与深度补全（Table II 归为 Multi），RGBguide [^49] 结合信号级与特征级（Table I 归为 Multi），层级边界并非互斥，归类存在主观性。\n- **任务可分节假设**：将感知拆分为深度补全（第 III 节）、动态目标检测（第 IV 节）、静态道路目标检测（第 V 节）、语义分割（第 VI 节）、跟踪（第 VII 节）与在线标定（第 VIII 节）六个独立章节，假设任务彼此正交；但多任务联合方法（MMF [^73] 联合深度补全与检测、MOTSFusion [^121] 联合跟踪与三维重建、Complexer-YOLO [^122] 联合检测与跟踪）被分散到不同章节，弱化了统一视角。\n- **传感器配置假设**：默认 mono/stereo 相机 + 16–128 线机械式 LiDAR（10Hz）为主流配置（第 I 节），未考虑固态 LiDAR、4D 成像雷达、事件相机等新兴传感器形态。\n- **深度学习适用边界假设**：第 IX.A.4 节与 Table VI 假设深度学习应限于「目标明确且可客观验证」的应用，传统方法在可解释性与实时性上不可替代；该立场贯穿全文但未给出系统论证。\n\n### 2. 覆盖偏差（Coverage Bias）\n\n- **时间与基准偏差**：文献覆盖 2014–2020（第 I 节贡献列表），性能对比几乎全部依赖 KITTI 系列基准（Table I 用 KITTI Depth Completion [^41]；Table II 用 KITTI 3D 检测 [^56]；Table IV 用 KITTI Road；Table V 用 KITTI Tracking），仅语义分割引用室内数据集 ScanNet [^110]（第 VI.B 节），与户外驾驶场景存在域差距；nuScenes、Waymo Open Dataset 等 2019–2020 年发布的大规模多传感器数据集未纳入对比。\n- **任务篇幅偏差**：动态目标检测（第 IV 节）覆盖最全（Table II/III 含 15+ 模型）；跟踪（第 VII 节）仅 4 个模型进入 Table V，DFT 框架仅 Complexer-YOLO [^122] 一例；交通标志识别（第 V.B 节）以传统管线为主（Fig. 7），深度学习融合方法覆盖较薄。\n- **条件偏差**：所综述方法与数据集多针对良好光照与天气的城市道路（第 IX.B.2 节自认），恶劣天气、夜间、高速/乡村场景的方法与数据覆盖不足。\n- **指标口径偏差**：Table I–V 直接转载各原文在 KITTI 上的成绩，未统一训练/测试协议、验证策略与统计方差，跨行可比性有限。\n\n### 3. 盲点或遗漏领域（Blind Spots / Omissions）\n\n- **雷达相关融合**：第 I 节显式排除 radar-camera 与 LiDAR-radar 融合，但 4D 成像雷达正是解决全天候感知（第 IX.B.2 节）的关键互补传感器，综述未讨论其与相机的深度学习融合路径。\n- **注意力/Transformer 融合范式**：仅 SCANet [^69] 使用空间-通道注意力，未将注意力机制、自注意力与 2020 年兴起的 Transformer 类多模态架构作为独立融合范式讨论。\n- **不确定性建模与失效检测**：除 LidarStereoNet [^50] 的反馈环、mmMOT [^120] 的鲁棒融合模块与 NConv-CNN [^47] 的置信度传播外，贝叶斯深度学习、传感器退化/故障检测等可靠性技术缺乏系统梳理，而这与第 IX.B 节的可靠性开放问题直接相关。\n- **仿真数据与域自适应**：Sim2Real、合成数据、域泛化完全未涉及，而这恰是缓解标注昂贵（第 IX.A.3 节）与长尾/角点案例（第 IX.B.3 节）的重要手段。\n\n### 4. 优势与不足（Strengths & Weaknesses）\n\n### 优势\n\n- **定位独特、覆盖面广**：自称首个专注深度学习相机-LiDAR 融合的综述（第 I 节贡献列表），横跨六大任务并按融合层级组织（Fig. 2），方法检索性强。\n- **工程实用性强**：Table I–V 给出模型、硬件、运行时间、参数量与 KITTI 指标；Table III、IV 进一步总结各范式优缺点（如 frustum 类受限于 2D 检测器、BEV 类假设无遮挡、voxel 类不可扩展），便于工程选型。\n- **演化脉络清晰**：Fig. 3、4、8 的时间线与 Fig. 5–10 的架构对比帮助读者建立「任务 × 融合层级」的方法地图。\n- **前瞻性问题意识**：第 IX 节与 Table VI 提出开集检测、传感器无关框架、对抗攻击与角点案例、速度-精度权衡等被学界忽视但工程关键的问题，并给出初步方向（如 [^133][^134] 的开集协议与未知类别嵌入）。\n\n## 不足\n\n- **缺乏定量元分析**：未按融合层级统计平均性能增益或成功率，「融合优于单模态」的结论主要靠列举支撑（第 I 节、各节表格），无统一协议下的横向比较。\n- **表格数据不完整**：Table I 中 HDE-Net [^9]、LidarStereoNet [^50] 指标空缺；Table II 中 MV3D 行人/骑行者、LaserNet++ [^74]、BEVF [^72] 等多项空缺，削弱对比完整性。\n- **分类维度重叠**：融合层级（FL）与融合类型（FT）两套维度并存（Table II），个别归类存在模糊（如 PointPainting [^66] 兼具结果级语义投影与特征级通道附加特征）。\n- **失败模式与泛化讨论不足**：未分析各方法在 KITTI 难度子集上的差异、跨数据集泛化与统计显著性；正式出版信息缺失（Module A 已指出），正式引用前需另行核对。\n\n### 5. 未来综述更新方向（Future Survey-Update Directions）\n\n- **纳入 BEV/Transformer 时代方法**：补充 2021 年后的 BEV 统一表征与 Transformer 融合（如 BEVFusion、TransFusion 类工作），并重新检验第 IX.A.1 节「点表征 + 点卷积最有潜力」的判断在 BEV 范式下是否仍成立。\n- **扩展基准与条件覆盖**：引入 nuScenes、Waymo Open Dataset、Argoverse 2 等基准，补充雨雾雪与夜间子集的定量对比，直接回应第 IX.B.2 节的全天候挑战。\n- **增设「鲁棒性与安全」专章**：系统覆盖对抗鲁棒性评测、传感器失效检测、开集/未知物体检测协议（扩展 [^133][^134]）以及 SOTIF/功能安全视角下的融合系统评估。\n- **覆盖新兴传感器与学习范式**：纳入 4D 毫米波雷达-相机融合、事件相机、固态 LiDAR，以及自监督/半监督与大规模预训练（基础模型）在多模态融合中的进展，呼应第 IX.A.3 节对学习方案的展望。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（Glossary，共 36 条）\n\n### 1. Point Cloud（点云）\n\n- 定义：LiDAR 对物体表面测距得到的三维数据点集合，结构稀疏、无序、连续，每点可携带反射强度、颜色、法向量等特征。\n- 直觉：像漂浮在三维空间中的一把彩色沙粒，保留真实 3D 几何，但不像图像那样排成规则网格。\n- 论文中的作用：全文两大模态之一；第 II-B 节按五种表示（体素/树/多视图/图/点）综述其深度学习处理方法，Fig. 1 对比图像与点云特性差异。\n- 先修知识：三维坐标系、LiDAR 测距原理。\n\n## 2. Camera-LiDAR Fusion（相机-激光雷达融合）\n\n- 定义：联合利用相机图像（稠密纹理、低成本）与 LiDAR 点云（精确 3D 几何、不受环境光影响）以提升感知性能的技术。\n- 直觉：相机看得清但测不准，LiDAR 测得准但看得稀，两者天然互补。\n- 论文中的作用：综述核心主题；第 I 节论证互补性（单目缺乏可靠 3D 几何、受光照限制；LiDAR 仅 16–128 线、10Hz 刷新、受雨雾雪影响且昂贵）。\n- 先修知识：相机成像模型、LiDAR 工作原理。\n\n## 3. Fusion Level（融合层级）\n\n- 定义：按多模态数据在流水线中的结合位置对融合方法的分类体系：信号级、特征级、多级、结果级。\n- 直觉：越早融合保留信息越多但模态耦合越强；越晚融合模块化越好但可能丢失跨模态细节。\n- 论文中的作用：全文组织主线——第 III–VIII 节各任务均按融合层级归类（摘要、Fig. 2、Fig. 3–8 时间线、Table I–V 的 Fusion Level 列）。\n- 先修知识：深度网络中信号/特征/输出的层次概念。\n\n## 4. Signal-level Fusion（信号级融合）\n\n- 定义：在原始数据层面直接拼接或叠加两种模态，如将 RGB 与稀疏深度图拼成 RGB-D 输入。\n- 直觉：先把两种原料倒进同一个锅再一起烹饪。\n- 论文中的作用：Sparse2Dense [^42]、CSPN [^44]（第 III-A-1 节）、EDUNet [^87]（Table IV）；缺点是稠密 RGB 与稀疏深度分辨率失配导致纹理信息丢失（第 IV-A-3 节、Table IV）。\n- 先修知识：张量通道拼接。\n\n## 5. Feature-level Fusion（特征级融合）\n\n- 定义：两模态先各自经编码器提取特征，再在网络中间层通过拼接、逐点相加、注意力等方式融合。\n- 直觉：各自消化后再交换笔记，兼顾模态特性与信息交互。\n- 论文中的作用：GuideNet [^48]、Spade-RGBsD [^46]（深度补全）；MV3D/AVOD/ContFuse（检测）；PLARD（道路检测）等大量方法属此类。\n- 先修知识：编码器-解码器结构、特征图概念。\n\n## 6. Result-level Fusion（结果级融合）\n\n- 定义：用一个模态模型的输出（如 2D 检测框）约束或引导另一模态的处理，如把 2D 框投影成 3D 视锥搜索空间。\n- 直觉：先让相机指出哪里可能有东西，LiDAR 只需在这些区域精加工。\n- 论文中的作用：F-PointNet [^57]、RoarNet [^59]（第 IV-A-1 节）；交通标志识别典型流水线（第 V-B 节、Fig. 7）；缺点是整体性能受限于 2D 检测器（Table III）。\n- 先修知识：2D 目标检测、坐标投影。\n\n## 7. Multi-level Fusion（多级融合）\n\n- 定义：在网络多个深度或多个阶段同时进行融合，或组合多种融合方式。\n- 直觉：在多个检查点反复交换信息，缓解单次融合的信息损失。\n- 论文中的作用：MSRF [^89]（道路检测，Table IV）、RGBguide [^49]（深度补全，Table I）、MMF [^73]（检测）；第 IX 节将信号级到多级融合列为总体趋势之一。\n- 先修知识：skip connection、多阶段网络。\n\n## 8. CNN（Convolutional Neural Network，卷积神经网络）\n\n- 定义：由卷积、批归一化、激活、池化层堆叠并端到端训练的层次化特征提取网络，具有平移不变性与逐层扩大的感受野。\n- 直觉：用可学习的小窗口在图像上滑动扫描，逐层抽象出从边缘到语义的特征。\n- 论文中的作用：第 II-A 节图像深度学习基础；所有图像分支（ResNet、VGG-16、NASNet、SegNet 等）的基石。\n- 先修知识：卷积运算、感受野。\n\n## 9. Shared MLP（共享多层感知机）\n\n- 定义：对所有点使用同一组权重的 MLP 进行逐点特征提取，配合对称聚合实现置换不变。\n- 直觉：同一套点特征翻译器逐点处理，再用 max-pooling 这类不分先后的方式汇总。\n- 论文中的作用：PointNet [^31] 的核心机制（第 II-B-5 节公式 g({x1,...,xn}) ≈ f_sym(h(x1),...,h(xn))）。\n- 先修知识：MLP、对称函数。\n\n## 10. Voxel / Volumetric Representation（体素/体积表示）\n\n- 定义：把点云划分到固定分辨率三维网格，每个体素手工设计或学习特征，可使用标准 3D 卷积。\n- 直觉：把连续空间装进乐高积木格子，规则但丢失分辨率，且内存随分辨率立方增长。\n- 论文中的作用：第 II-B-1 节；VoxelNet [^14]、MVX-Net [^71]、3DMV [^109]、3D-SIS [^114] 的基础；Table III 指出其不可扩展性。\n- 先修知识：3D 离散卷积。\n\n## 11. Index/Tree Representation（索引/树表示）\n\n- 定义：用 kd-tree、octree 等树结构按点密度非均衡划分空间，高密度区域高分辨率、低密度区域低分辨率。\n- 直觉：哪里点密就在哪里细分，节省计算与内存。\n- 论文中的作用：第 II-B-2 节（kd-networks [^19]、OctNet [^20] 等）。\n- 先修知识：kd-tree/octree 数据结构。\n\n## 12. Multi-view Representation（多视图表示）\n\n- 定义：将点云投影到多个 2D 视图平面渲染成图像，用标准 2D 卷积处理，再经 view-pooling 聚合特征。\n- 直觉：给 3D 物体从多个角度拍证件照再综合判断。\n- 论文中的作用：第 II-B-3 节；MVPNet [^112]、3DMV [^109]；缺点是渲染丢失 3D 几何、逐点标签预测困难。\n- 先修知识：相机投影、2D CNN。\n\n## 13. Graph Representation（图表示）\n\n- 定义：把点云建模为图（点为节点、邻接为边），在空间域（MLP 作用于空间近邻）或谱域（拉普拉斯谱滤波）实现类卷积操作。\n- 直觉：把点之间的邻居关系画成网络再学习。\n- 论文中的作用：第 II-B-4 节；SPLATNet [^113] 的稀疏双边卷积与 permutohedral 格点插值属相关思路。\n- 先修知识：图论基础、图拉普拉斯。\n\n## 14. Point Representation（点表示）\n\n- 定义：直接在原始点上学习（共享 MLP 或专门定义的逐点卷积），不经中间表示转换。\n- 直觉：不换格式、直接在原材料上做手术，保留最完整的几何信息。\n- 论文中的作用：第 II-B-5 节；第 IX-A-1 节与 Table VI 认为点表示加逐点卷积是融合数据表示最有潜力的方向。\n- 先修知识：PointNet 系列方法。\n\n## 15. PointNet / PointNet++\n\n- 定义：直接消费点云的开创性网络；PointNet 用 T-Net 对齐加共享 MLP 加对称池化，PointNet++ 通过分组局部 PointNet 提取多层级局部几何。\n- 直觉：PointNet 只看全局摘要，PointNet++ 先分区再逐级汇总，补上了局部结构。\n- 论文中的作用：第 II-B-5 节详述；F-PointNet、IPOD、mmMOT、UPF 等大量融合方法的骨干网络。\n- 先修知识：共享 MLP、对称函数、KNN/球邻域。\n\n## 16. Point-wise Convolution（逐点卷积）\n\n- 定义：将标准 2D 离散卷积推广到连续 3D 空间，用连续权重函数（PointConv [^40] 用 MLP 近似、PCNN [^33]/KPConv [^38] 用相关函数）替代离散滤波器，第 II-B-5 节给出通式 (F*h)(x)=Σ h(xi−x) fi。\n- 直觉：卷积核变成一团有权重的云，在任意 3D 位置都能计算。\n- 论文中的作用：第 II-B-5 节；被视为细粒度逐点与局部几何提取的关键（第 IX-A-1 节）。\n- 先修知识：卷积定义、KNN/半径邻域。\n\n## 17. Permutation Invariance（置换不变性）\n\n- 定义：输入点顺序改变时输出保持不变的性质，点云处理模型必须满足。\n- 直觉：一把沙子先撒哪颗后撒哪颗，总量不变。\n- 论文中的作用：第 II-B 节解释点云无序特性带来的建模挑战；PointNet 通过共享 MLP 加对称函数实现。\n- 先修知识：对称函数、集合基础。\n\n## 18. Depth Completion（深度补全）\n\n- 定义：将稀疏不规则深度上采样为稠密规则深度图，形式化为 argmin_w L(f(x;w), G)（第 III 节公式）。\n- 直觉：给 LiDAR 的星空图补成完整的深度照片，远处只有几个点的物体也能补齐。\n- 论文中的作用：第 III 节综述单目-LiDAR 与双目-LiDAR 融合方法（Fig. 3、Table I，KITTI 指标 iRMSE/iMAE/RMSE/MAE）。\n- 先修知识：深度图、稀疏卷积概念。\n\n## 19. Sparse Depth（稀疏深度）\n\n- 定义：LiDAR 单次扫描投影到图像平面得到的深度图，仅少量像素有值。\n- 直觉：一张大部分空白、只有零星深度点的图。\n- 论文中的作用：深度补全与多种融合方法的核心输入（Table I 输入列 RGB+sD）；其与稠密 RGB 的分辨率失配是融合的关键难点（第 IV-A-3 节）。\n- 先修知识：相机-LiDAR 外参投影。\n\n## 20. Photometric Loss（光度损失）\n\n- 定义：利用图像重建一致性（warping 后的像素误差）作为自监督训练信号。\n- 直觉：若预测几何正确，从新视角重拍的照片应与真实照片吻合。\n- 论文中的作用：自监督/无监督深度补全（Sparse2Dense++ [^43]、LidarStereoNet [^50]、LiStereo [^51]）与 CalibNet [^130] 的关键损失项。\n- 先修知识：图像 warp、可微变换概念。\n\n## 21. 3D Object Detection（三维目标检测）\n\n- 定义：在 3D 空间中定位、分类并回归带朝向的包围框；论文区分动态目标（车辆/行人/骑行者，第 IV 节）与静态道路目标（车道/交通标志，第 V 节）。\n- 直觉：不只框出这是什么，还要给出它在三维世界中的位置和朝向。\n- 论文中的作用：第 IV–V 节核心任务；Table II（KITTI AP_3D）、Table III（四类范式优缺点对比）、Table IV（KITTI Road MaxF）。\n- 先修知识：2D 目标检测、3D 包围框参数化。\n\n## 22. Frustum Proposal（视锥提议）\n\n- 定义：把图像 2D 检测框沿投影方向拉伸到 3D 形成的锥形搜索空间，将 3D 检测限制在少量候选点内。\n- 直觉：相机说在这个喇叭筒里找，LiDAR 只需在筒内搜索。\n- 论文中的作用：F-PointNet [^57]、F-ConvNet [^65]、SIFRNet [^63] 等（第 IV-A 节、Table III 首行）；假设每个种子区域仅含一个目标，在拥挤场景失效。\n- 先修知识：针孔投影、2D 检测框。\n\n## 23. BEV（Bird's Eye View，鸟瞰图）\n\n- 定义：点云自上而下投影得到的 2D 表示，保留物体朝向与 x-y 坐标、避免遮挡。\n- 直觉：从天上俯瞰道路的上帝视角。\n- 论文中的作用：3D 提议生成的首选视角（第 IV-B 节）；MV3D/AVOD/TSF-FCN/MSRF 基于 BEV；缺点是小物体（行人）可能被完全遮挡或在连续卷积下采样中丢失。\n- 先修知识：点云栅格化、坐标变换。\n\n## 24. ROI Pooling（感兴趣区域池化）\n\n- 定义：对每个候选区域从多视图特征图中池化固定长度特征向量的操作（MV3D 公式 f_views = R(x, ROI_views)）。\n- 直觉：按候选框裁剪加缩放特征图，每个框得到统一尺寸的描述向量。\n- 论文中的作用：MV3D/AVOD 的 object-centric 融合机制（第 IV-B-1 节）；论文指出其破坏细粒度几何信息，ContFuse [^70] 改用逐点连续卷积融合。\n- 先修知识：RoI pooling、多视图特征。\n\n## 25. PointPainting（逐点语义附加）\n\n- 定义：将 2D 语义分割分数按投影关系逐点附加到点云作为额外通道，再送入任意现有点云检测器。\n- 直觉：给每个 LiDAR 点涂上语义颜色，让点云检测器顺便看到语义。\n- 论文中的作用：第 IV-A-3 节特征级融合代表（结合 PointRCNN/VoxelNet/PointPillars 验证灵活性，Table II）；缺点是图像与 LiDAR 模型耦合，更换图像模型需重训。\n- 先修知识：语义分割、点-像素投影。\n\n## 26. Semantic Segmentation（语义分割）\n\n- 定义：为每个像素（2D）或每个点/体素（3D）预测类别标签。\n- 直觉：给场景中每个基本单元贴类别标签，但不区分同类不同个体。\n- 论文中的作用：第 VI-A/B 节（Sparse&Dense [^46]、3DMV [^109]、UPF [^111]、MVPNet [^112]、SPLATNet [^113]）；Fig. 8–9 展示时间线与典型架构。\n- 先修知识：编码器-解码器、逐像素分类。\n\n## 27. Instance Segmentation（实例分割）\n\n- 定义：语义分割与目标检测的联合任务，还需区分类内不同个体；分 proposal-based 与 proposal-free 两类。\n- 直觉：不仅知道这些点是椅子，还要分清是哪一把椅子。\n- 论文中的作用：第 VI-C 节（3D-SIS [^114]、PanopticFusion [^116]、3D-BEVIS [^117]）。\n- 先修知识：语义分割、聚类/候选区域方法。\n\n## 28. MOT / DBT / DFT（多目标跟踪 / 基于检测的跟踪 / 免检测跟踪）\n\n- 定义：MOT 跨帧维持目标身份与位置；DBT（tracking-by-detection）依赖检测器输出做数据关联（min-cost flow、匈牙利算法）；DFT 基于有限集统计 FISST（MeMBer/PHD 滤波）手动初始化后滤波跟踪。\n- 直觉：DBT 先逐帧点名再连线；DFT 先登记一批目标，之后用滤波器持续追踪。\n- 论文中的作用：第 VII 节组织框架（Fig. 10、Table V：DSM [^119]、mmMOT [^120]、MOTSFusion [^121] 属 DBT，Complexer-YOLO [^122] 属 DFT；指标 MOTA/MOTP/MT/ML/IDS/FRAG）。\n- 先修知识：目标检测、数据关联、贝叶斯滤波。\n\n## 29. Online Cross-Sensor Calibration（在线跨传感器标定）\n\n- 定义：在无标定靶标的自然场景中在线估计相机-LiDAR 外参；机械振动与热胀冷缩使外参持续漂移，而融合方法对标定误差极敏感。\n- 直觉：两个传感器眼睛装好后会慢慢歪掉，需要边开车边自动校正。\n- 论文中的作用：第 VIII 节；经典互信息法 [^124–127] 到视觉里程计法 [^128]，再到 RegNet [^129]（监督回归）与 CalibNet [^130]（自监督、对内参无关）。\n- 先修知识：外参/内参、刚体变换。\n\n## 30. Mutual Information（MI，互信息）\n\n- 定义：度量两模态（如图像强度与激光反射强度/边缘强度）统计依赖的信息量，经典在线标定通过最大化 MI 求外参。\n- 直觉：两种数据对齐得越好，共同信息越多。\n- 论文中的作用：第 VIII-A 节；缺点是对纹理丰富环境、大偏移与传感器位移遮挡不鲁棒。\n- 先修知识：信息熵、互信息定义。\n\n## 31. Self-/Unsupervised Learning（自监督/无监督学习）\n\n- 定义：不依赖人工稠密标注，利用稀疏深度约束、光度一致性、平滑性等损失训练网络。\n- 直觉：让数据自己给自己当老师，绕开昂贵的点云/图像标注。\n- 论文中的作用：第 III 节（Sparse2Dense++、LidarStereoNet、LiStereo）；第 IX-A-3 节与 Table VI 将其列为应对标注成本的关键学习范式。\n- 先修知识：监督学习、损失函数设计。\n\n## 32. Open-set Object Detection（开集目标检测）\n\n- 定义：检测器在包含未知/未见类别的测试场景下的检测问题；现有数据集用背景类兜底，无法覆盖现实中的无限类别。\n- 直觉：考试总会出现没复习过的题型，检测器也总会遇到没见过的物体。\n- 论文中的作用：第 IX-B-4 节列为被忽视的可靠性挑战（Table VI）；引用 Dhamija et al. [^133] 的混合未知类测试协议与 Wong et al. [^134] 的类别无关嵌入聚类。\n- 先修知识：闭集检测、数据集类别体系。\n\n## 33. Sensor-agnostic Framework（传感器无关框架）\n\n- 定义：融合流水线不依赖特定传感器始终在线，单模态失效时系统仍可降级运行的架构设计。\n- 直觉：不把鸡蛋放在一个篮子里，避免信号耦合导致整条流水线崩溃。\n- 论文中的作用：第 IX-B-1 节针对相机-LiDAR 耦合问题提出（Table VI）；mmMOT [^120] 的鲁棒融合模块可兼容 a-modal 与多模态输入是初步尝试。\n- 先修知识：系统冗余设计、模块化架构。\n\n## 34. Temporal Context（时序上下文）\n\n- 定义：跨帧时间维度的信息；当前多数感知系统忽略它，导致低刷新率点云形变与传感器间时间同步误差。\n- 直觉：只看单帧像看幻灯片，加上时间轴才是连续电影。\n- 论文中的作用：第 IX-A-2 节开放问题（Table VI）；建议 RNN/LSTM 加生成模型编码时序（如 [^131] 用 LSTM 预测轨迹、MOTSFusion [^121] 估计自运动）。\n- 先修知识：RNN/LSTM、序列建模。\n\n## 35. KITTI Benchmark（KITTI 基准）\n\n- 定义：自动驾驶领域公开基准套件 [^56]，含深度补全、3D 目标检测、道路检测、多目标跟踪等子榜。\n- 直觉：该领域的统一考场，各家方法在同一数据上比成绩。\n- 论文中的作用：Table I（iRMSE/iMAE/RMSE/MAE）、Table II（AP_3D，Car IoU 70%、行人/骑行者 50%）、Table IV（MaxF）、Table V（MOTA/MOTP 等）全部对比实验的数据来源。\n- 先修知识：各评测指标定义。\n\n## 36. Speed-Accuracy Trade-off（速度-精度权衡）\n\n- 定义：模型计算量与精度的平衡问题；多路高分辨率图像加大规模点云易导致移动平台掉帧、高功耗与低可靠性。\n- 直觉：又快又准难以兼得，需要可伸缩的模型设计。\n- 论文中的作用：第 IX-B-5 节（Table VI）；指出点表示与多视图方法比体素方法更可扩展（[^30][^138][^38]），生成模型可补帧但根本解法是降低硬件负载。\n- 先修知识：模型复杂度分析、实时系统约束。\n\n### 二、概念依赖图（纯文本）\n\n说明：A → B 表示 A 是 B 的先修或支撑概念；自上而下为从基础到应用的依赖顺序。\n\n【第 0 层：数学与深度学习基础】\n\n- 卷积/感受野 → CNN（第 II-A 节）\n- MLP → 共享 MLP → PointNet（需对称函数 + 置换不变性）→ PointNet++ → RandLA-Net\n- KNN/半径邻域 → PointNet++ 分组、逐点卷积\n- 3D 离散卷积 → 体素表示方法（VoxelNet 等）\n- 图拉普拉斯/谱滤波 → 图表示方法\n- 相机投影模型 + 外参 → 点-像素关联（一切融合的地基）\n\n【第 1 层：点云数据表示（第 II-B 节）】\n\n- 体素表示 → VoxelNet、MVX-Net、3DMV、3D-SIS\n- 树/索引表示（kd-tree、octree）→ 按密度分区的高效处理\n- 多视图表示 + view-pooling → MVPNet、3DMV 的图像分支\n- 图表示 → SPLATNet（稀疏双边卷积/permutohedral 格）\n- 点表示 → PointNet/PointNet++ → 逐点卷积（PointConv、KPConv、PCNN）\n\n【第 2 层：融合层级（全文组织主线，Fig. 2、Table I–V）】\n\n- 信号级融合（RGB-D 拼接）→ Sparse2Dense/CSPN、EDUNet\n- 特征级融合（中间层融合）→ GuideNet、MV3D/AVOD/ContFuse、PLARD、3DMV\n- 多级融合 → RGBguide、MSRF、MMF\n- 结果级融合（2D 结果引导 3D）→ F-PointNet/RoarNet、交通标志识别典型流水线\n- 关键支撑概念：稀疏深度、BEV、视锥提议、ROI Pooling、光度损失（支撑自监督训练）\n\n【第 3 层：六大任务（第 III–VIII 节）】\n\n- 深度补全 ← 信号级/特征级/多级融合 + 单目或双目相机 + 光度损失（自监督变体）\n- 动态目标检测 ← 视锥提议（结果级：F-PointNet/IPOD）、PointPainting（特征级逐点）、BEV 多视图（MV3D/AVOD/ContFuse）、体素融合（MVX-Net）、单步模型（LaserNet++）\n- 静态道路目标检测 ← BEV/前视图道路检测 + 交通标志反光特性 + 图像分类器\n- 语义/实例分割 ← 多视图/体素/点表示 + 2D 语义向 3D 投影\n- 多目标跟踪 ← 检测输出 + 数据关联（min-cost flow/匈牙利算法）构成 DBT；FISST 滤波构成 DFT\n- 在线跨传感器标定 ← 互信息最大化（经典）→ RegNet（监督回归）→ CalibNet（自监督、内参无关）\n\n【第 4 层：趋势与开放挑战（第 IX 节、Table VI）】\n\n- 融合数据表示选择 ← 点表示 + 逐点卷积（承接第 1 层结论）\n- 时序上下文编码 ← RNN/LSTM + 生成模型\n- 学习范式演进 ← 自监督/弱监督（依赖光度损失等自监督信号）\n- 可靠性提升 ← 传感器无关框架（解耦相机-LiDAR 耦合）、全天候/复杂光照数据集、跨模态验证（对抗攻击与角落案例）、开集检测协议与指标、速度-精度权衡（点/多视图表示比体素更可扩展）\n\n依赖主线总结：深度学习基础 → 点云五种表示 → 融合层级分类 → 六大感知任务 → 趋势与开放挑战；其中相机-LiDAR 外参投影与置换不变性是贯穿全文的两条隐性先修线索。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证、冲突与参考文献核查\n\n### 1. 关键事实性主张核查（每条主张给出不少于两个来源）\n\n### 主张1：本文是首个聚焦自动驾驶中基于深度学习的图像（相机）与点云（LiDAR）融合的综述。\n\n- 来源1（文内）：摘要与第 I 节贡献列表（原文称“To the best of our knowledge, this paper is the first survey focusing on deep learning based image and point cloud fusion approaches in autonomous driving”）。\n- 来源2（文内对照）：第 I 节对先前综述 [^12]（Wang et al., IEEE Access 2019，覆盖雷达/相机/LiDAR/IMU/GNSS 等多传感器）与 [^13]（Feng et al., IEEE T-ITS 2020，深度多模态检测与分割综述）的对比，指出其传感器范围更广、任务覆盖不全。\n- 外部核验建议：在 IEEE Xplore / Google Scholar 检索 “camera-LiDAR fusion survey deep learning”，确认在其参考文献覆盖时段（截至2020年）内无同范围更早综述。\n- 结论：在其限定条件下成立；引用“首个”时须保留限定语（仅相机-LiDAR、含深度补全/跟踪/在线标定等任务）。\n\n### 主张2：相机与 LiDAR 特性互补（相机低成本、纹理丰富，但缺乏可靠3D几何且受光照影响；LiDAR 提供高精度3D几何、对环境光不变，但分辨率低（16–128线）、刷新率约10Hz、成本高、受雨雾雪影响）。\n\n- 来源1（文内）：第 I 节第2段；Fig. 1（图像与点云特性对比）。\n- 来源2（文内）：第 V.B 节（交通标志因逆反射特性在 LiDAR 中显著但缺纹理，图像反之）与第 IX.B.2 节（全天候/光照挑战）。\n- 外部佐证：[^9]（Park et al., IEEE T-ITS 2020，LiDAR-立体视觉融合深度估计）与 [^11]（Wang & Zhou, IEEE T-ITS 2019，高动态范围成像应对恶劣光照）支持上述论断。\n- 结论：成立，属领域共识。\n\n## 主张3：PointNet 通过共享 MLP 与对称函数（max-pooling）实现置换不变，计算复杂度随输入点数线性增长。\n\n- 来源1（文内）：第 II.B.5 节公式 g({x1,…,xn}) ≈ f_sym(h(x1),…,h(xn)) 及正文说明。\n- 来源2（文献）：[^31]（PointNet, CVPR 2017）与 [^30]（PointNet++, NeurIPS 2017）原文。\n- 结论：成立。\n\n## 主张4：KITTI 深度补全基准（Table I，基准出处 [^41]）中 CSPN++ 报告 iRMSE 2.07 (1/km)、RMSE 743.69 mm；GuideNet RMSE 736.24 mm，为表中较优结果。\n\n- 来源1（文内）：Table I（第 III 节）。\n- 来源2（文献）：[^45]（CSPN++, AAAI 2020）与 [^48]（GuideNet, 2019）原文报告的 KITTI 测试集指标。\n- 外部核验建议：访问 KITTI Depth Completion 官方榜单核对；注意榜单随提交动态更新，表中数字为论文撰写时点数据。\n- 结论：与原文一致（以提交时点为准）。\n\n## 主张5：KITTI 3D 检测基准（Table II，中等难度，Car IoU 0.7）中 MV3D AP3D 63.63%、AVOD-FPN 71.76%、PointPainting 71.70%、ContFuse 68.78%、MVX-Net 77.43%、MMF 77.43%。\n\n- 来源1（文内）：Table II（第 IV 节，基准出处 [^56] Geiger et al., CVPR 2012）。\n- 来源2（文献）：[^67]（MV3D, CVPR 2017）、[^68]（AVOD, IROS 2018）、[^66]（PointPainting, 2019）、[^70]（ContFuse, ECCV 2018）、[^71]（MVX-Net, ICRA 2019）、[^73]（MMF, CVPR 2019）原文。\n- 冲突提示：MVX-Net 与 MMF 的 77.43% 完全相同，疑似巧合或转录错误，引用前须回溯两篇原文核对（详见第2节第3条）。\n\n## 主张6：KITTI 道路基准（Table IV）中 PLARD MaxF 97.05% 为表中最高，MSRF 96.15%、LidCamNet 96.03%、SpheSeg 96.94%、TSF-FCN 94.86%、EDUNet 93.81%。\n\n- 来源1（文内）：Table IV（第 V 节）。\n- 来源2（文献）：[^91]（PLARD, IEEE/CAA JAS 2019）、[^89]（MSRF, IV 2019）、[^90]（LidCamNet, Robotics and Autonomous Systems 2019）、[^92]（SpheSeg, IEEE T-ITS 2020）原文。\n- 结论：数值与各原文报告一致；注意 KITTI Road 榜单版本差异。\n\n## 主张7：KITTI 多目标跟踪基准（Table V，car）中 mmMOT MOTA 84.77%、MOTP 85.21%、运行时间 0.02s；MOTSFusion MOTA 84.83%、运行时间 0.44s；DSM MOTA 76.15%；Complexer-YOLO MOTA 75.70%。\n\n- 来源1（文内）：Table V（第 VII 节）。\n- 来源2（文献）：[^120]（mmMOT, ICCV 2019）、[^121]（MOTSFusion, IEEE RA-L 2020）、[^119]（DSM, ICRA 2018）、[^122]（Complexer-YOLO, 2019）原文。\n- 解读注意：MOTSFusion 的 MOTA 略高于 mmMOT，但 mmMOT 速度快一个数量级；正文（第 VII.A 节）强调 mmMOT 的鲁棒融合模块与速度优势，两者定位不同，不构成矛盾，但引用时应同时报告精度与速度。\n\n## 主张8：RegNet [^129] 可实时估计相机-LiDAR 外参但对相机内参不敏感（内参变化需重训练）；CalibNet [^130] 以自监督方式最小化几何/光度不一致，可适配任意已标定内参的相机。\n\n- 来源1（文内）：第 VIII.B 节。\n- 来源2（文献）：[^129]（RegNet, IEEE IV 2017）与 [^130]（CalibNet, IROS 2018）原文。\n- 结论：成立。\n\n## 主张9：开放集检测缺乏统一测试协议与指标；Dhamija et al. [^133] 提出含混合未知类别（mixed unknown category）的测试协议与指标，Wong et al. [^134] 提出将未知目标映射到类别无关嵌入空间进行聚类。\n\n- 来源1（文内）：第 IX.B.4 节与 Table VI。\n- 来源2（文献）：[^133]（WACV 2020）与 [^134]（CoRL 2020）原文。\n- 结论：成立。\n\n## 主张10：点表示+点卷积（PointConv [^40]、KPConv [^38]、PCNN [^33]）更适合细粒度局部几何提取；点/多视图方法比体素方法更可扩展。\n\n- 来源1（文内）：第 II.B.5 节、第 IX.A.1 节、第 IX.B.5 节（引用 [^30] [^38] [^138]）。\n- 来源2（文献）：[^40]（PointConv, CVPR 2019）、[^38]（KPConv, ICCV 2019）、[^33]（PCNN, ACM TOG 2018）原文。\n- 结论：属有文献支撑的作者前瞻性判断，非硬性事实，引用时应注明为观点。\n\n### 2. 冲突与不确定性说明\n\n1. **发表信息缺失（高优先级）**：文中未标注期刊名、年份、卷期与页码。依据 IEEE 会员标注（Student/Senior/Member, IEEE）、Index Terms 与综述排版推测为 IEEE 期刊（很可能是 IEEE Transactions on Intelligent Transportation Systems），参考文献覆盖至2020年，推测发表于2020–2021年前后。正式引用前必须通过 IEEE Xplore / DOI 核实最终版本。\n2. **正文章节导航与实际章节冲突**：第 I 节末尾称“Trends, open challenges and promising directions are discussed in Section VII. Finally, a summary is given in Section VIII”，但实际趋势与开放挑战在第 IX 节、结论在第 X 节（对照 Fig. 2 与实际目录）。属排版遗留错误，不影响内容理解，但按章节引用时须以实际章节号为准。\n3. **Table II 数值疑点**：MVX-Net 与 MMF 的 Cars AP3D 均为 77.43%，完全相同；建议回溯 [^71] 与 [^73] 原文核对，避免引用错误数字。\n4. **Table I 缺失值**：HDE-Net [^9] 与 LidarStereoNet [^50] 的 KITTI 指标为“-”，无法在表中直接比较；HDE-Net 主要在其自建数据上评估，需查阅原文。\n5. **引用编号与指向混乱**：\n   - 参考文献列表中 [^43] 排在 [^42] 之前、[^82] 排在 [^81] 之前，编号顺序与列表排列不一致（排版问题）。\n   - 正文多处将 PointNet++（[^30]）写作“PointNet [^30]”（如第 IV.A.1 节 RoarNet 描述），而 F-PointNets 处又正确使用 [^31]；PointNet 与 PointNet++ 引用偶有混用，核对方法细节时应回溯原文。\n6. **基准时效性**：KITTI 各榜单（Depth Completion、3D Detection、Road、Tracking）随提交动态更新，Table I/II/IV/V 数字为论文撰写时点（约2020年）数据，与当前榜单可能不一致；引用时应注明“截至该综述发表时”。\n7. **表格标题排版错误**：Table I 标题中指标名“RMSE, MAE”重复出现两次，实际为四个指标（iRMSE/iMAE，单位 1/km；RMSE/MAE，单位 mm），阅读时以定义为准。\n8. **“首个综述”声明的边界**：与 [^13]（Feng et al., IEEE T-ITS 2020）存在部分主题重叠（多模态检测与分割）；本文差异化在于仅限相机-LiDAR、任务覆盖更广（深度补全、静态目标检测、跟踪、在线标定）。引用时须保留限定条件。\n9. **作者背景信息核验**：文末作者简介与首页署名一致：Yaodong Cui 与 Ying Li 为滑铁卢大学在读博士（CogDrive 实验室/地理与环境管理系）；Dongpu Cao 为滑铁卢大学副教授、CogDrive 实验室主任、Canada Research Chair，其博士学位获自 Concordia University（2008）；Long Chen 为中山大学副教授；Daxin Tian 为北航教授；Wenbo Chu 任职国家智能网联汽车创新中心；Ren Chen 曾任职百度与腾讯自动驾驶实验室。无内部矛盾。\n\n### 3. 参考文献列表（核查所依据的关键文献）\n\n## 基准与数据集\n\n- [^41] J. Uhrig et al., “Sparsity invariant CNNs,” 3DV 2017（KITTI Depth Completion 基准）。\n- [^56] A. Geiger, P. Lenz, R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” CVPR 2012（KITTI 3D Detection / Road / Tracking 基准）。\n- [^110] A. Dai et al., “ScanNet,” CVPR 2017（室内三维语义分割基准）。\n\n## 深度补全方法（Table I 核查）\n\n- [^42] F. Ma, S. Karaman, “Sparse-to-dense,” ICRA 2018。\n- [^43] F. Ma et al., “Self-supervised sparse-to-dense,” ICRA 2019。\n- [^44] X. Cheng et al., “CSPN,” ECCV 2018。\n- [^45] X. Cheng et al., “CSPN++,” AAAI 2020。\n- [^48] J. Tang et al., “GuideNet,” 2019。\n- [^9] K. Park et al., “High-precision depth estimation using uncalibrated LiDAR and stereo fusion,” IEEE T-ITS 2020。\n\n## 3D 目标检测方法（Table II/III 核查）\n\n- [^57] C. R. Qi et al., “Frustum PointNets,” CVPR 2018。\n- [^61] Z. Yang et al., “IPOD,” 2018。\n- [^66] S. Vora et al., “PointPainting,” 2019。\n- [^67] X. Chen et al., “MV3D,” CVPR 2017。\n- [^68] J. Ku et al., “AVOD,” IROS 2018。\n- [^70] M. Liang et al., “ContFuse,” ECCV 2018。\n- [^71] V. A. Sindagi et al., “MVX-Net,” ICRA 2019。\n- [^73] M. Liang et al., “MMF,” CVPR 2019。\n- [^74] G. P. Meyer et al., “LaserNet++,” 2019。\n\n## 道路/车道检测与交通标志（Table IV 核查）\n\n- [^86] M. Bai et al., “Deep multi-sensor lane detection,” IROS 2018。\n- [^88] X. Lv et al., “Two-stream fusion FCN,” IV 2018。\n- [^89] D. Yu et al., “MSRF,” IV 2019。\n- [^90] L. Caltagirone et al., “LidCamNet,” Robotics and Autonomous Systems 2019。\n- [^91] Z. Chen et al., “PLARD,” IEEE/CAA Journal of Automatica Sinica 2019。\n- [^92] J. Lee, T. Park, “SpheSeg,” IEEE T-ITS 2020。\n\n## 语义分割与实例分割\n\n- [^109] A. Dai, M. Nießner, “3DMV,” ECCV 2018。\n- [^113] H. Su et al., “SPLATNet,” CVPR 2018。\n- [^114] J. Hou et al., “3D-SIS,” CVPR 2019。\n\n## 跟踪（Table V 核查）\n\n- [^119] D. Frossard, R. Urtasun, “DSM,” ICRA 2018。\n- [^120] W. Zhang et al., “mmMOT,” ICCV 2019。\n- [^121] J. Luiten et al., “MOTSFusion,” IEEE RA-L 2020。\n- [^122] M. Simon et al., “Complexer-YOLO,” 2019。\n\n## 在线标定\n\n- [^129] N. Schneider et al., “RegNet,” IEEE IV 2017。\n- [^130] G. Iyer et al., “CalibNet,” IROS 2018。\n\n## 点云深度学习基础\n\n- [^30] C. R. Qi et al., “PointNet++,” NeurIPS 2017。\n- [^31] R. Q. Charles et al., “PointNet,” CVPR 2017。\n- [^33] M. Atzmon et al., “PCNN,” ACM TOG 2018。\n- [^38] H. Thomas et al., “KPConv,” ICCV 2019。\n- [^40] W. Wu et al., “PointConv,” CVPR 2019。\n\n## 先前综述与开放挑战\n\n- [^12] Z. Wang et al., “Multi-sensor fusion in automated driving: A survey,” IEEE Access 2019。\n- [^13] D. Feng et al., “Deep multi-modal object detection and semantic segmentation for autonomous driving,” IEEE T-ITS 2020。\n- [^133] A. R. Dhamija et al., “The overlooked elephant of object detection: Open set,” WACV 2020。\n- [^134] K. Wong et al., “Identifying unknown instances for autonomous driving,” CoRL 2020。\n\n**外部核验渠道建议**：KITTI 官方榜单（cvlibs.net）、IEEE Xplore / DOI、arXiv、Google Scholar；对 Table I/II/IV/V 中每个数字，建议以对应原始论文的实验章节为最终依据；正式引用本综述前，先核实其期刊、年份、卷期与页码。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与索引\n\n### 1. 图表完整索引\n\n#### 1.1 表格索引（Table I–VI）\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支持的论断 | 关键分数/数据 |\n|---|---|---|---|---|---|\n| Table I | KITTI Depth Completion 基准对比结果（LL/S/SS/U 表示学习方式；iRMSE/iMAE/RMSE/MAE 指标） | 基准性能对比表 | 第 III 节（Depth Completion） | 深度补全方法按融合层级（信号级/特征级/多级）与学习方式（监督/自监督/无监督）组织；特征级与多级融合整体优于早期信号级方法 | 最优 RMSE 736.24 mm（GuideNet [^48]）；最优 iRMSE 2.07 /1km（CSPN++ [^45]）；最快 0.02s（NConv-CNN、RGBguide）；早期信号级 Sparse2Dense RMSE 1299.85；Stereo-LiDAR 组 LiStereo RMSE 832.16 |\n| Table II | KITTI 3D 目标检测基准对比（Moderate 难度；Car IoU 70%，Pedestrian/Cyclist IoU 50%；AP_3D%） | 基准性能对比表 | 第 IV 节（Dynamic Object Detection） | 动态目标检测模型按 Sequential（2D/3D proposal）与 One-step 分类；多级/点级融合方法达到最高车辆 AP_3D | Cars AP_3D 最高 77.43%（MVX-Net [^71] 与 MMF [^73] 并列）；F-ConvNet 76.39%；AVOD-FPN 71.76%（0.08s）；MV3D 仅 63.63% 且模型达 240M；Pedestrian 最高 SIFRNet 60.85%；Cyclist 最高 F-ConvNet 65.07% |\n| Table III | 动态目标检测模型总结与比较 | 方法分类/优缺点定性对比表 | 第 IV 节 | 归纳四类检测范式（Frustum based / Point-fusion based / Multi-view based / Voxel-based）的关键特征、优势与缺陷 | 无量化分数；定性结论：Frustum 类受限于 2D 检测器且未利用冗余信息；Point-fusion 类解决分辨率失配但模型强耦合；Multi-view 类可扩展但损失小目标信息；Voxel 类计算/内存随分辨率立方增长 |\n| Table IV | KITTI Road 基准对比 + 车道/道路检测模型总结（MaxF% 为 KITTI Urban Marked Road 测试集最大 F1） | 基准性能 + 定性对比混合表 | 第 V 节（Stationary Road Object Detection） | BEV-based 与 Camera-view based 两类道路检测方法对比；渐进式/多阶段融合提升性能 | 最高 MaxF 97.05%（PLARD [^91]，特征级渐进融合）；MSRF 96.15%；LidCamNet 96.03%（多级）；SpheSeg 96.94%（仅 1.4M 参数，球面变换提速）；EDUNet 93.81%（信号级，早期融合损失纹理信息） |\n| Table V | KITTI 多目标跟踪基准对比（Car；MOTA/MOTP/MT/ML/IDS/FRAG） | 基准性能对比表 | 第 VII 节（Objects Tracking） | DBT 与 DFT 两类跟踪框架对比；多模态 DBT 方法显著优于 DFT 方法 | 最高 MOTA 84.83%（MOTSFusion [^121]，Hungarian 关联）；mmMOT 84.77%（0.02s，min-cost flow）；DSM 76.15%；DFT 类 Complexer-YOLO 75.70% 但 0.01s 最快、IDS 1186 最高 |\n| Table VI | 性能提升与可靠性增强相关的开放挑战 | 挑战-方向映射表（定性） | 第 IX 节（Trends, Open Challenges） | 归纳 9 个开放问题及可能解决方向，构成综述前瞻性贡献 | 无量化分数；核心建议：点表示+点卷积、RNN/LSTM+生成模型、无监督/弱监督学习、sensor-agnostic framework、跨模态验证、开集检测协议与指标、可扩展模型设计 |\n\n#### 1.2 插图索引（Fig. 1–10）\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支持的论断 |\n|---|---|---|---|---|\n| Fig. 1 | 图像数据与点云数据对比 | 概念对比图 | 第 I 节 | 图像规则、有序、离散；点云稀疏、无序、连续——二者特性互补，是 camera-LiDAR 融合研究的根本动因 |\n| Fig. 2 | 图像与点云融合感知相关任务及对应章节 | 综述结构/分类图 | 第 I 节 | 全文组织地图：深度补全（III）→动态目标检测（IV）→静态目标检测（V）→语义分割（VI）→跟踪（VII）→在线标定（VIII） |\n| Fig. 3 | 深度补全模型时间线及对应融合层级 | 时间线/分组图 | 第 III 节 | 2014–2020 深度补全方法按信号级/特征级/多级融合的演进脉络 |\n| Fig. 4 | 3D 目标检测网络时间线及对应融合层级 | 时间线/分组图 | 第 IV 节 | 3D 检测方法按融合层级与年份演进（MV3D→AVOD→ContFuse→MMF 等） |\n| Fig. 5 | 三种典型动态目标检测模型架构对比 | 架构对比图 | 第 IV 节 | 2D proposal / 3D proposal / one-step 三种流水线的结构差异与融合发生位置 |\n| Fig. 6 | 道路/车道检测典型模型架构与融合方法 | 架构对比图 | 第 V 节 | BEV-based 与 camera-view based 道路检测的典型融合结构 |\n| Fig. 7 | 典型融合式交通标志识别（TSR）流水线 | 流程图 | 第 V-B 节 | LiDAR 依据 retro-reflective 特性定位→投影到图像平面→图像分类器识别的结果级融合范式 |\n| Fig. 8 | 3D 语义分割网络时间线及对应融合层级 | 时间线/分组图 | 第 VI 节 | 语义分割融合方法按年份与融合层级的演进 |\n| Fig. 9 | 语义分割典型模型架构与融合方法 | 架构对比图 | 第 VI 节 | 2D/3D/实例分割的典型融合结构（3DMV、UPF、SPLATNet、3D-SIS、3D-BEVIS 等） |\n| Fig. 10 | DBT 与 DFT 跟踪方法对比 | 概念对比图 | 第 VII 节 | Detection-Based Tracking 与 Detection-Free Tracking 两种框架的机制差异 |\n\n### 2. 优先深读清单（Top-priority deep reads，按优先级排序）\n\n1. **Table II（KITTI 3D 目标检测基准）**：全文核心任务的量化证据中枢。深读要点：沿 Sequential-2D proposal（F-PointNet 69.79% → F-ConvNet 76.39%）、Sequential-3D proposal（MV3D 63.63% → AVOD-FPN 71.76% → MMF/MVX-Net 77.43%）、One-step（LaserNet++）三条线核对 AP_3D 演进；同时交叉核对运行时间（ContFuse 0.06s、LaserNet++ 0.04s）与模型规模（MV3D 240M vs AVOD 38M），直接支撑第 IX-B-5 节速度-精度权衡讨论（第 IV 节）。\n2. **Table III（检测范式总结表）**：与 Table II 互补的定性分类表，是理解综述分类逻辑（frustum/point-fusion/multi-view/voxel 四范式）的钥匙；每行的优势-缺陷列直接支撑第 IX-A-1 节关于融合数据表示（点表示+点卷积最有潜力）与可扩展性的结论。\n3. **Table I（KITTI 深度补全基准）**：验证特征级/多级融合优于信号级融合这一核心论断的最直接证据（Sparse2Dense RMSE 1299.85 → CSPN++ 743.69 → GuideNet 736.24）；同时注意自监督/无监督方法（Sparse2Dense++ 22M、RGBguide 0.35M）以极小模型逼近监督方法，支撑第 IX-A-3 节学习范式讨论。\n4. **Table VI（开放挑战映射表）**：综述第三大贡献（提出被忽视的开放问题）的浓缩载体；9 个挑战-方向对与第 IX 节 A/B 两小节一一对应，是评估综述前瞻性与规划后续研究的索引。\n5. **Fig. 2（综述结构图）**：阅读导航图，先建立任务×章节×融合层级的全局地图，再进入各任务精读；与第 I 节三大贡献列表互为印证。\n\n### 3. 分类图/对比表/基准汇总表专项\n\n- **分类（taxonomy）类**：Fig. 2（任务分类总图）、Fig. 3/4/8（按融合层级分组的时间线）、Table III（检测四范式分类）、Table VI（挑战分类）。\n- **基准汇总（benchmark）类**：Table I（KITTI Depth Completion [^41]）、Table II（KITTI 3D Object Detection, Moderate [^56]）、Table IV（KITTI Road, MaxF [^56]）、Table V（KITTI Multi-Object Tracking, Car [^56]）。四表均基于公开 KITTI 系列基准，指标口径分别为 iRMSE/iMAE/RMSE/MAE、AP_3D、MaxF、MOTA/MOTP/MT/ML/IDS/FRAG。\n- **定性对比类**：Table III（四范式优缺点）、Table IV 的 Highlights/Disadvantages 列、Table VI（挑战与方向）。\n\n### 4. 时间线/分组可视化与图表→结论映射\n\n- **时间线类**：Fig. 3（深度补全）、Fig. 4（3D 检测）、Fig. 8（语义分割）共同呈现 2014–2020 方法演进，支撑第 IX 节三大趋势总结：\n  - 2D→3D 趋势 ← Fig. 4/8 中 3D 输出方法占比上升 + Table II 采用 AP_3D 指标体系；\n  - 单任务→多任务趋势 ← Fig. 4 中 MMF [^73]（检测+深度补全+地面估计）与 Table V 中 Complexer-YOLO [^122]（检测+跟踪解耦）；\n  - 信号级→多级融合趋势 ← Fig. 3/4/8 中融合层级从 Signal 向 Feature/Multi 迁移 + Table I 中多阶段特征融合的 GuideNet 登顶。\n- **图表→结论映射表**：\n\n| 图/表 | 支撑结论 | 结论出处 |\n|---|---|---|\n| Fig. 1 | 图像与点云特性互补，是 camera-LiDAR 融合的根本依据 | 第 I 节 |\n| Fig. 2 | 综述覆盖六大任务并按融合层级组织 | 第 I 节贡献列表 |\n| Fig. 3 + Table I | 特征级/多级融合深度补全优于信号级；自监督/无监督方法降低标注依赖 | 第 III 节、第 IX-A-3 节 |\n| Fig. 4 + Table II | 多级/点级融合检测器（MMF、MVX-Net）达到 SOTA；ROI 融合损失细粒度几何信息 | 第 IV 节、第 IX-A-1 节 |\n| Fig. 5 + Table III | 四类检测范式各有优劣，不存在单一最优范式 | 第 IV 节 |\n| Fig. 6 + Table IV | 渐进式/多阶段融合（PLARD、MSRF）提升道路检测 MaxF；BEV 融合保留 x-y 坐标与朝向 | 第 V 节 |\n| Fig. 7 | TSR 典型结果级融合流水线受 LiDAR 检测距离与遮挡限制 | 第 V-B 节 |\n| Fig. 8 + Fig. 9 | 3D 语义分割从体素表示（3DMV）向点/格表示（UPF、SPLATNet）演进 | 第 VI 节、第 IX-A-1 节 |\n| Fig. 10 + Table V | 多模态 DBT（mmMOT、MOTSFusion）MOTA 领先；DFT（Complexer-YOLO）速度最快但精度与一致性较低 | 第 VII 节 |\n| Table VI | 九大开放挑战及可能方向，构成综述前瞻性贡献 | 第 IX 节、第 X 节 |\n\n### 5. 使用建议与注意事项\n\n- **快速定位某任务 SOTA**：直接查对应基准表（Table I/II/IV/V）的指标列，并结合 Hardware 与 Run-time 列评估工程可行性。\n- **理解方法分类逻辑**：先看 Fig. 2 全局图，再看对应任务的时间线图（Fig. 3/4/8）与范式总结表（Table III/IV）。\n- **评估落地部署**：交叉核对基准表的 Run Time、Model Size 与第 IX-B-5 节速度-精度权衡讨论（如 AVOD-FPN 以 38M 参数实现 0.08s 与 71.76% 的平衡）。\n- **数据完整性提示**：Table I 中 Stereo-LiDAR 组部分指标缺失（HDE-Net、LidarStereoNet 未报告 KITTI 指标）；Table II 中 PC-CNN、BEVF、LaserNet++ 等方法指标不全，正式引用对比时需回溯各原始论文核实。"
}