# 自动驾驶中图像与点云融合的深度学习综述
崔耀东（IEEE学生会员）、陈仁、储文博、陈龙（IEEE高级会员）、田大新（IEEE高级会员）、李颖、曹东普（IEEE会员）
摘要—过去几年里，自动驾驶技术取得了快速发展。然而，由于驾驶环境复杂且动态多变，实现完全自动驾驶并非易事。因此，自动驾驶车辆配备了多种传感器，以确保对环境感知的稳健性和准确性。其中，摄像头与激光雷达的融合正成为新兴的研究方向。但迄今为止，尚未有聚焦于基于深度学习的摄像头-激光雷达融合方法的系统性综述。为填补这一空白并推动未来研究，本文旨在梳理近期利用图像和点云的基于深度学习的数据融合方法。本文首先简要概述了深度学习在图像和点云数据处理中的应用；接着深入探讨了摄像头-激光雷达融合方法在深度补全、物体检测、语义分割、跟踪以及在线跨传感器校准方面的应用，这些内容按照各自的融合层级进行分类阐述。此外，我们还在公开数据集上对这些方法进行了对比分析。最后，我们指出了当前学术研究与实际应用之间存在的差距及被忽视的挑战；基于这些发现，我们分享了自身见解并指明了有前景的研究方向。
关键词—摄像头-激光雷达融合、传感器融合、深度补全、物体检测、语义分割、跟踪、深度学习
## 一、引言
深度学习与传感器技术的最新突破推动了自动驾驶技术的快速发展，该技术有望提升道路安全、交通效率以及个人出行便利性$^{[1][2][3]}$。不过，技术挑战以及外置传感器的成本问题，限制了自动驾驶系统目前仅在少量受限且受控环境下的应用。其中一个关键挑战在于实时获取车辆周围三维环境的足够精确的信息。
Fig. 1. A comparison between image data and point cloud data.
为此，传感器融合技术应运而生——它利用具有互补特性的多种传感器来增强感知能力并降低成本，如今已成为新兴的研究方向。
尤其是，近期深度学习的进步显著提升了相机与激光雷达融合算法的性能。相机和激光雷达具有互补的特性，这使得相机-激光雷达融合模型相较于其他传感器融合方案（如雷达-相机、激光雷达-雷达等）更为有效且受欢迎。具体来说，基于视觉的感知系统在低成本下就能取得令人满意的性能，其表现往往优于人类专家 [^4] [^5]。然而，单目相机感知系统无法提供可靠的3D几何信息，而这对自动驾驶而言至关重要 [^6] [^7]。另一方面，双目相机虽然能提供3D几何信息，但计算成本较高，且在遮挡严重或纹理匮乏的环境中表现不佳 [^8] [^9] [^10]。此外，基于相机的感知系统在复杂或光照条件较差的环境下难以正常工作，这限制了它们的全天候应用能力 [^11]。相反，激光雷达能够提供高精度的3D几何信息，且不受环境光影响。不过，移动式激光雷达受限于低分辨率（通常为16到128通道）、低刷新率（10Hz）、恶劣天气条件（大雨、雾、雪）以及高昂的成本。为应对这些挑战，许多研究将这两种互补的传感器结合起来，结果证明其性能明显优于单模态方法。因此，本文旨在综述当前用于相机-激光雷达融合的深度学习策略。
相机-激光雷达融合并非易事。首先，相机通过将现实世界投影到图像平面来记录信息，而点云则保留了3D几何信息。此外，从数据结构来看，点云是
---
Fig. 2. Tasks related to image and point cloud fusion based perception and their corresponding sections.
不规则、无序且连续的，而图像则是规则、有序且离散的。点云与图像之间的这些特性差异导致了不同的特征提取方法。图1展示了图像与点云特性的对比。
以往关于多模态数据融合的深度学习方法的综述 [^12] [^13] 涵盖了多种传感器，包括雷达、相机、激光雷达、超声波传感器、惯性测量单元、里程计、全球导航卫星系统和高清地图。本文仅聚焦于相机-激光雷达融合，因此能够对各类方法展开更详细的评述。此外，我们还涵盖了更广泛的感知相关主题（深度补全、动态与静态物体检测、语义分割、跟踪以及在线跨传感器校准），这些主题相互关联，却未被以往的综述全面涵盖 [^13]。本文的贡献可总结如下：
- 据我们所知，本文是首篇专门探讨自动驾驶领域中基于深度学习的图像与点云融合方法的综述，内容涉及深度补全、动态与静态物体检测、语义分割、跟踪以及在线跨传感器校准。
- 本文按照融合方法对各类技术进行了归类与评述。此外，还提供了截至2020年最新的主流相机-激光雷达融合方法的概览与性能对比。
- 本文提出了一些被忽视的开放性问题，如开放集检测和传感器无关框架，这些问题对自动驾驶技术的实际应用至关重要。此外，文中还总结了相关趋势以及针对这些开放挑战的可能研究方向。
本文首先在第二节简要概述了基于图像和点云数据的深度学习方法。第三至第八节分别介绍了基于相机-LiDAR的深度补全、动态物体检测、静止物体检测、语义分割、物体跟踪以及在线传感器校准方面的研究进展。第七节探讨了相关发展趋势、面临的挑战以及有前景的研究方向。最后，第八节给出了总结。图2展示了本综述的整体结构及对应的主题。
### 二、深度学习简述
### A. 基于图像的深度学习
卷积神经网络（CNN）是图像处理与理解领域最高效且强大的深度学习模型之一。与多层感知机（MLP）相比，CNN具有平移不变性，参数更少，还能利用层次化模式，因此在图像语义提取方面效率极高。CNN的隐藏层由卷积层、批量归一化层、激活层和池化层构成层次结构，这些层可端到端训练。这种层次化结构能够提取抽象程度逐渐升高、感受野不断扩大的图像特征，从而实现高层语义的学习。
### B. 基于点云的深度学习
点云是一组数据点，属于激光雷达对检测到的物体表面的测量结果。从数据结构来看，点云具有稀疏、不规则、无序且连续的特点。点云在三维结构中编码信息，同时每个点还包含反射强度、颜色、法向量等特征，这些特征对尺度变化、刚性变换和排列顺序具有不变性。这些特性使得现有深度学习模型在点云特征提取方面面临挑战，往往需要修改现有模型或开发新模型。因此，本节重点介绍点云处理的常用方法。
1) 基于体素表示的方法：体素表示将点云划分为分辨率固定的三维网格，每个网格/体素的特征可通过人工设计或学习得到。这种表示方法可与标准的三维卷积兼容[^14] [^15] [^16]。为减少过拟合现象、降低方向敏感性并捕捉物体的内部结构，已有多种技术被提出[^17]。不过，体素表示在体素化过程中会损失空间分辨率和精细的三维几何细节，从而限制其性能。此外，若想提高空间分辨率（采用更密集的体素），计算量和内存占用会呈立方级增长，导致该方法难以扩展。
2) 基于索引/树结构表示的方法：为解决高空间分辨率与计算成本之间的矛盾，研究人员提出了采用树状数据结构的自适应分辨率划分方法，例如kd树[^18] [^19]、八叉树[^20] [^21] [^22]。通过将点云划分为一系列非平衡的树结构，可根据点的密度对区域进行划分。这样一来，点密度较低的区域可采用更低的分辨率，
---
从而减少不必要的计算和内存占用。点特征可沿着预先构建的树结构进行提取。
3) 基于二维视图的表示方法：通过将点云投影到多个二维视图平面来生成二维视图/多视图。这些渲染出的多视图图像可由标准的二维卷积进行处理，而来自这些视图的特征则通过视图池化层进行聚合 [^23]。因此，通过将点云转换为图像解决了排列不变性问题，而通过聚合不同视图的特征则实现了平移不变性。Qi等人 [^17] 将体素表示与通过球面渲染生成的多视图相结合。遗憾的是，二维视图方法在视图渲染过程中会丢失三维几何信息，且在逐点标签预测方面存在困难 [^19]。
4) 基于图结构的表示方法：点云可以被表示为图，并且可以在空间域或频谱域上对图执行类似卷积的操作 [^24] [^25][^26]。对于空间域中的图卷积，操作是通过多层感知机对空间上相邻的点进行的。频谱域图卷积则将卷积扩展为通过拉普拉斯谱在图上进行的频谱滤波 [^27] [^28] [^29]。
5) 基于点表示的表示方法：这类方法直接处理点云，无需将其转换为中间数据表示形式。早期的相关研究采用共享的多层感知机来处理点云 [^30] [^31]，而近期的研究则侧重于为点定义专门的卷积操作 [^32] [^33] [^34] [^35] [^36] [^37] [^38]。
直接在点云上进行学习的开创性工作之一是PointNet [^31] [^30]，它采用独立的T-Net模块来对点云进行对齐，并使用共享的多层感知机来处理各个点以提取逐点特征。PointNet的计算复杂度随输入数量呈线性增长，因此相比基于体素的方法更具可扩展性。为了实现排列不变性，通过对所有点都相同的共享多层感知机来提取逐点特征。这些特征再通过对称操作（即最大池化）进行聚合，这种操作同样具有排列不变性。PointNet的特征提取过程可表示为：
$$ g\left(\left\{x_{1},\cdots,x_{n}\right\}\right)\approx f_{sym}\left(h\left(x_{1}\right),\cdots,h\left(x_{n}\right)\right) $$
其中x代表输入点，h代表逐点特征提取函数（即共享的多层感知机），$f_{sym}$ 代表对称函数（即最大池化），g是我们想要逼近的一般函数。
然而，PointNet无法提取不同层次上的局部点间几何特征。为了应对这一挑战，Qi等人 [^30] 对PointNet进行了扩展，通过将点分组为多个集合并在局部应用PointNet来提取不同层次的特征。为了降低PointNet++ [^30] 的计算和内存开销，RandLA-Net [^39] 分层堆叠了随机点采样模块和基于注意力的局部特征聚合模块，从而在保持高效率的同时逐步扩大感受野。
Fig. 3. Timeline of depth completion models and their corresponding fusion levels.
与基于PointNet的方法不同，点级卷积会显式建模点之间的空间关系。点级卷积旨在将标准的二维离散卷积推广到连续的三维空间。其主要挑战在于用连续权重函数取代标准卷积中的离散权重滤波器。在PointConv [^40]中采用MLP来近似这一连续权重函数，而在KPCConv [^38]和PCNN [^33]中则使用相关函数。更具体地说，PCNN [^33]将卷积核定义为带有权重的三维点。它利用高斯相关函数，根据核点和输入点的坐标来计算任意三维坐标下的权重矩阵。KPCConv [^38]遵循这一思路，但采用的是线性相关函数。此外，KPCConv [^38]以分层方式应用于局部点云块，这与标准CNN的概念类似。在三维连续空间中，针对输入点$\mathcal{F}$的通用点级卷积$x \in \mathbb{R}^3$定义如下：
$$ (\mathcal{F}*h)(x)=\sum_{x_{i}\in\mathcal{N}_{x}}h\left(x_{i}-x\right)f_{i} $$
其中，h表示逐点核函数，它根据输入点和核点的坐标计算权重矩阵。$x_i$和$f_i$分别是x的第i个邻近点及其对应的特征（如强度、颜色等）。$\mathcal{N}_x$则是输入点x的所有邻近点，这些点是通过KNN或半径邻域确定的。
### 三、深度补全
深度补全旨在将稀疏不规则的深度图上采样为密集规则的深度图，从而为下游感知模块提供支持。深度补全能够减少激光雷达扫描中点的分布不均现象。例如，由少量点表示的远处物体会被上采样，以匹配其较近的对应物体。为实现这一点，通常会利用高分辨率图像来指导三维深度的上采样。深度补全任务可表示为：
$$ w^{*}=\underset{w}{\arg\min}\mathcal{L}(f(x;w),G) $$
其中，由参数w参数化的网络$f(.)$根据输入x预测真实值G。损失函数表示为$\mathcal{L}(\cdot, \cdot)$。
图3展示了深度补全模型的时间线及其对应的融合层级。表I列出了深度补全模型在KITTI深度补全基准测试[^41]上的对比结果。
---
TABLE I
COMPARATIVE RESULTS ON KITTI DEPTH COMPLETION BENCHMARK [^41]. 'LL', 'S', 'SS', 'U' STAND FOR LEARNING SCHEME, SUPERVISED, SELF-SUPERVISED AND UNSUPERVISED RESPECTIVELY. 'RGB', 'SD', 'Co', 'S', STAND FOR RGB IMAGE DATA, SPARSE DEPTH, CONFIDENCE AND STEREO DISPARITY. 'RMSE', 'MAE', 'RMSE', 'MAE' STAND FOR ROOT MEAN SQUARED ERROR OF THE INVERSE DEPTH [1/KM], MEAN ABSOLUTE ERROR OF THE INVERSE DEPTH [1/KM], ROOT MEAN SQUARED ERROR [MM], MEAN ABSOLUTE ERROR [MM].
| Methods | Fusion Level | LL | Input | Models | Hardware | Run Time | Model Size | iRMSE | iMAE | RMSE | MAE |
| Mono-LiDAR Fusion | Signal Level | S | RGB+sD | Sparse2Dense [^42] | Tesla P100 | 0.08s | 12M | 4.07 | 1.57 | 1299.85 | 350.32 |
| SS | RGB+sD | Sparse2Dense++ [^43] | Tesla V100 | 0.08s | 22M | 2.80 | 1.21 | 814.73 | 249.95 |
| S | RGB+sD | CSPN [^44] | Titan X | 1s | 25M | 2.93 | 1.15 | 1019.64 | 279.46 |
| S | RGB+sD | CSPN++ [^45] | Tesla P40 | 0.2s | - | 2.07 | 0.90 | 743.69 | 209.28 |
| Feature Level | S | RGB+sD | Spade-RGBsD [^46] | N/A | - | - | 2.17 | 0.95 | 917.64 | 234.81 |
| S | RGB+sD+Co | NConv-CNN [^47] | Tesla V100 | 0.02s | 0.5M | 2.60 | 1.03 | 829.98 | 233.26 |
| S | RGB+sD | GuideNet [^48] | GTX 1080Ti | 0.14s | - | 2.25 | 0.99 | 736.24 | 218.83 |
| Multi | U | RGB+sD | RGBguide [^49] | Tesla V100 | 0.02s | 0.35M | 2.19 | 0.93 | 772.87 | 215.02 |
| Stereo-LiDAR | Feature Level | S | sD+S | HDE-Net [^9] | Titan X | 0.05s | 4.2M | - | - | - | - |
| U | sD+S | LidarStereoNet [^50] | Titan X | - | - | - | - | - | - |
| SS | sD+S | LiStereo [^51] | Titan X | - | - | 2.19 | 1.10 | 832.16 | 283.91 |
### A. 单目相机与激光雷达融合
图像引导的深度补全背后的理念是：密集的RGB/彩色信息包含相关的三维几何信息。因此，图像可被用作深度上采样的参考。
1) 信号级融合：2018年，Ma等人[^42]提出了一种基于ResNet [^52]的自编码器网络，该网络利用RGB-D图像（即图像与稀疏深度图的拼接）来预测密集深度图。不过，这种方法需要像素级的深度真值，而这很难获取。为解决这一问题，Ma等人[^43]提出了一种基于模型的自监督框架，该框架仅需一系列图像和稀疏深度图即可训练。这种自监督机制通过引入稀疏深度约束、光度损失和平滑损失来实现。然而，该方法假设物体是静止的。此外，生成的深度输出较为模糊，且可能无法保留输入的深度信息。
为了实时生成清晰且密集的深度图，Cheng等人[^44]将RGB-D图像输入到卷积空间传播网络（CSPN）中。该CSPN旨在直接提取与图像相关的亲和矩阵，从而在关键指标上取得显著更好的结果，同时运行时间更短。在CSPN++中，Cheng等人[^45]提出动态选择卷积核大小和迭代次数以减少计算量。此外，CSPN++还采用加权组装方式来提升其性能。
2) 特征级融合：Jaritz等人[^46]提出了一种自编码器网络，该网络无需使用有效性掩码，即可从稀疏深度图和图像中分别完成深度补全或语义分割任务。图像和稀疏深度图会先由两个基于NASNet的并行编码器[^53]进行处理，随后再融合到共享解码器中。这种方法即便在深度输入非常稀疏（8通道激光雷达数据）的情况下也能取得不错的性能。Wang等人[^54]设计了一个可集成的模块（PnP），该模块利用稀疏深度图来提升现有基于图像的深度预测网络的性能。这个PnP模块会利用从稀疏深度计算出的梯度来更新现有深度预测网络生成的中间特征图。El-desokey等人[^47]提出了一种无引导的深度补全框架，该框架可并行处理图像和极度稀疏的深度图，并在共享解码器中将它们结合。此外，该框架还采用归一化卷积来处理高度稀疏的深度数据并传播置信度信息。Valada等人[^55]将单阶段特征级融合扩展到了网络的多个不同深度阶段。类似地，GuideNet[^48]会在编码器的不同阶段将图像特征与稀疏深度特征相融合，以指导稀疏深度的上采样过程，最终在KITTI深度补全基准测试中取得了顶尖性能。这些方法的局限性在于缺乏带有密集深度真值的大规模数据集。
3) 多层级融合：Van Gansbeke等人[^49]进一步在图像引导的深度补全网络中结合了信号级融合与特征级融合。该网络包含全局分支和局部分支，用于并行处理RGB-D数据和深度数据，之后再根据置信度图将它们融合在一起。
### B. 立体相机与激光雷达融合
与RGB图像相比，立体相机生成的密集深度视差包含了更丰富的三维几何真值信息。另一方面，激光雷达生成的深度数据虽然稀疏，但精度更高。这些互补特性使得基于立体-激光雷达融合的深度补全模型能够生成更精确的密集深度图。不过值得注意的是，立体相机的探测范围有限，且在高遮挡、无纹理环境中表现不佳，因此并不太适合用于自动驾驶场景。
1) 特征级融合：Park等人[^9]的研究属于该领域的开创性工作，他们利用两阶段CNN从密集立体视差图和点云中计算出高精度的密集视差图。CNN的第一阶段利用激光雷达数据和立体视差图来生成融合视差图；在第二阶段，这种融合视差图与左侧RGB图像在特征空间中被进一步融合，从而预测出最终的高精度视差图。最终，基于这一高精度视差图即可重建3D场景。该方法的瓶颈在于缺乏大规模标注的立体-LiDAR数据集。LiDARStereoNet[^50]通过采用无监督学习方案解决了这一问题，该方案利用图像扭曲/光度损失、稀疏深度损失、平滑损失以及平面拟合损失来进行端到端训练。此外，“反馈循环”机制让LiDARStereoNet能够有效抵御噪声点云和传感器错位的影响。
---
Fig. 4. Timeline of 3D object detection networks and their corresponding fusion levels.
同样，Zhang等人[^51]提出了一种用于深度补全的自监督方案，其损失函数包含稀疏深度损失、光度损失以及平滑损失。
### 四、动态物体检测
3D物体检测旨在定位3D空间中的物体、对其进行分类并估算其定向边界框。本节重点讨论动态物体检测，涵盖常见的动态道路物体（汽车、行人、自行车等）。物体检测主要有两种思路：顺序式方法和一步式方法。基于顺序式的模型包含按时间顺序排列的候选区域生成阶段和3D边界框回归阶段：在候选区域生成阶段，会提出可能包含感兴趣物体的区域；在边界框回归阶段，则根据从3D几何中提取的区域级特征对这些候选区域进行分类。不过，顺序式融合的性能会受到各阶段能力的限制。另一方面，一步式模型仅包含一个阶段，可在该阶段并行处理2D和3D数据。
图4和图5展示了3D物体检测网络的发展历程及典型模型架构。表二给出了3D物体检测模型在KITTI 3D物体检测基准测试中的对比结果[^56]；表三则总结并对比了动态物体检测模型。
### A. 基于2D候选区域的顺序式模型
基于2D候选区域的顺序式模型试图在候选区域生成阶段利用2D图像的语义信息，这一过程可借助现成的图像处理模型来实现。具体来说，这类方法利用图像物体检测器生成2D候选区域，再将其投影到3D空间中作为检测种子。将2D候选区域转换为3D区域有两种投影方式：第一种是将图像平面中的边界框投影到点云上，从而形成呈截头锥体形状的3D搜索空间；第二种是将点云投影到图像平面上，从而得到带有逐点2D语义信息的点云。
1) 结果级融合：结果级融合的思路是利用现成的2D物体检测器来缩小3D物体检测的搜索空间，从而大幅降低计算量并提升运行效率。但由于整个流程依赖于2D物体检测器的结果，因此会受到基于图像的检测器本身局限性的影响。
结果级融合的早期研究成果之一是F-PointNets [^57]，该方法首先从图像中生成2D边界框，并将其投影到3D空间。生成的投影视锥提议会被送入基于PointNet[^31]的检测器，用于进行3D物体检测。Du等人[^58]在2D到3D提议生成阶段之后增加了额外的提议精炼阶段，从而进一步减少了对背景点的不必要计算。在这一精炼阶段，采用基于模型拟合的方法来过滤掉种子区域内的背景点。最终，经过过滤的点会被送入边界框回归网络。RoarNet [^59]采用了类似的思想，但它在提议精炼阶段使用了神经网络。首先基于每个2D边界框利用几何一致性搜索[^60]生成多个3D圆柱提议，由此得到的视锥提议比F-PointNets [^57]生成的提议更小且更精确。这些初始的圆柱提议随后会由基于PointNet [^30]的头部网络进行最终精炼。总而言之，这些方法都假设每个种子区域仅包含一个感兴趣的物体，但对于拥挤场景以及行人等小型物体而言，这一假设并不成立。
针对上述问题，一种可行的解决方案是用2D语义分割取代2D物体检测器，并用逐点种子提议取代基于区域的种子提议。Yang等人提出的Intensive Point-based Object Detector (IPOD) [^61]就是这一方向的研究成果。第一步，利用2D语义分割来过滤掉背景点。具体做法是将点投影到图像平面，并将点与2D语义标签相关联。由此得到的前景点云保留了上下文信息和精细的位置信息，这对于区域提议和边界框回归至关重要。在后续的逐点提议生成与边界框回归阶段，会使用两个基于PointNet++ [^30]的网络来进行提议特征提取和边界框预测。此外，研究还提出了一种名为PointsIoU的新准则，用以加速训练和推理过程。在遮挡严重或物体众多的场景中，这种方法相比其他最先进的方法展现出了显著的性能优势。
2) 多层级融合：另一种可能的改进方向是将结果级融合与特征级融合相结合，其中PointFusion [^62]就是这类研究之一。PointFusion首先利用现有的2D物体检测器来生成2D边界框。这些边界框用于选取对应的点——通过将点投影到图像平面，从而定位出落在边界框内的点。最后，基于ResNet [^52]和PointNet [^31]的网络会整合图像与
---
点云特征以估算3D物体。在这种方法中，图像特征和点云特征会针对每个提议进行融合，从而实现最终的3D物体检测，这也有助于3D边界框回归。不过，其提议阶段仍属于非模态的。在SIFRNet [^63]中，首先会从图像中生成视锥提议。随后，这些视锥提议中的点云特征会与对应的图像特征相结合，用于最终的3D边界框回归。为了实现尺度不变性，研究中将PointSIFT [^64]引入了网络。此外，SENet模块也被用来抑制信息量较少的特征。
3) 特征级融合：早期对多模态融合的尝试 [^75] [^76] 是以逐像素的方式进行的，将 3D 几何转换为图像格式或作为附加通道附加到图像中。其思路是将 3D 几何投影到图像平面上，并利用成熟的图像处理方法进行特征提取。生成的输出也在图像平面上，这对于在 3D 空间中定位物体并不理想。2014 年，Gupta 等人提出了 DepthRCNN [^75]，这是一个基于 R-CNN [^77] 的架构，用于 2D 目标检测、实例分割和语义分割。它将来自 Microsoft Kinect 相机的 3D 几何信息编码到图像的 RGB 通道中，即水平视差、地面以上高度和与重力的角度（HHA）。2015 年，Gupta 等人通过对齐 3D CAD 模型，将 Depth-RCNN [^78] 扩展用于 3D 目标检测，性能得到了显著提升。2016 年，Gupta 等人开发了一种新技术，用于在图像数据上训练的网络与未见过的配对图像模态（深度图像）之间进行监督知识迁移 [^76]。2016 年，Schlosser 等人 [^79] 进一步利用 2D CNN 上的 RGB-HHA 表示学习进行行人检测。然而，HHA 数据是由 LiDAR 的深度生成的，而不是深度相机。作者还注意到，如果 RGB 和 HHA 的融合发生在网络的更深层，可以获得更好的结果。
密集的RGB数据与稀疏的深度数据之间存在分辨率不匹配的问题，导致只有少量像素有对应的点。因此，直接将RGB信息附加到点上会导致大部分纹理信息丢失，使得融合变得毫无意义。为应对这一挑战，PointPainting [^66] 在点级融合之前先提取图像的高级语义信息。具体来说，PointPainting [^66] 采用了将点投影到2D语义图的思路 [^61]。但它并非用2D语义来过滤非物体点，而是直接将2D语义作为额外通道添加到点云中。作者认为这种技术让PointPainting具有灵活性，因为它能使任何点云网络都能应用于这种融合数据。为了展示这种灵活性，他们将融合后的点云输入到多种现有的点云检测器中，这些检测器分别基于PointRCNN [^80]、VoxelNet [^14] 和PointPillar [^81]。然而，这会导致图像模型与激光雷达模型相互耦合。一旦图像模型发生变化，就需要重新训练激光雷达模型，这不仅降低了整体可靠性，还增加了开发成本。
### B. 基于3D提议的序列模型
在基于3D提议的序列模型中，3D提议直接由2D或3D数据生成。省去2D到3D的提议转换步骤，能大幅缩小3D物体检测的搜索空间。常见的3D提议生成方法包括多视图方法和点云体素化方法。
Fig. 5. A comparison between three typical model architectures for dynamic object detection.
多视图方法利用点云的鸟瞰图（BEV）表示来生成3D提议。鸟瞰图是首选的视角，因为它能避免遮挡现象，同时保留物体方位以及x、y坐标的原始信息。这些方位和x、y坐标信息对3D物体检测至关重要，而且从鸟瞰图到其他视图的坐标转换也十分简便。
基于多视图的方法利用点云的鸟瞰图（BEV）表示来生成三维候选区域。鸟瞰图是首选的视角，因为它能避免遮挡现象，同时保留物体方向以及x、y坐标的原始信息。这些方向和x、y坐标信息对于三维物体检测至关重要，而且鸟瞰图与其他视图之间的坐标转换也十分简便。
点云体素化会将连续的、不规则的数据结构转换为离散的、规则的数据结构。这样一来，就能应用标准的3D离散卷积，并利用现有的网络结构来处理点云。不过其缺点是会损失部分空间分辨率，而这些分辨率中可能包含着精细的3D结构信息。
1) 特征级融合：在从鸟瞰图表示生成3D候选框方面，最具开创性且最重要的工作之一是MV3D [^67]。MV3D会在像素化的俯视激光雷达特征图（包含高度、密度和强度信息）上生成3D候选框。随后将这些3D候选框投影到激光雷达前视图和图像平面，以提取并融合用于边界框回归的区域级特征。这种融合是通过感兴趣区域池化在ROI级别实现的。不同视角下的$ROI_{views}$定义如下：
$$ \mathrm{ROI}_{views}=\mathbf{T}_{3\mathrm{D}\rightarrow views}\left(p_{3\mathrm{D}}\right),views\in\{\mathrm{BV},\mathrm{FV},\mathrm{RGB}\} $$
---
TABLE II
COMPARATIVE RESULTS ON KITTI 3D OBJECT DETECTION BENCHMARK (MODERATE DIFFICULTIES)[^56]. THE IOU REQUIREMENT FOR CAR, PEDESTRIANS AND CYCLISTS IS 70%, 50% AND 50% RESPECTIVELY. 'FL', 'FT', 'RT' 'MS', 'PCR' STAND FOR FUSION LEVEL, FUSION TYPE, RUN-TIME, MODEL SIZE (NUMBER OF PARAMETERS) AND POINT CLOUD REPRESENTATION RESPECTIVELY.
| Methods | FL | FT | PCR | Models | Hardware | RT | MS | Cars | Pedestrians | Cyclists |
| $AP_{{3D}}$% | $AP_{{3D}}$% | $AP_{{3D}}$% |
| Sequential Models | 2D Proposal based | Result | ROI | Points | F-PointNet [^57] | GTX1080 | 0.17s | 7M | 69.79 | 42.15 | 56.12 |
| Points | F-ConvNet [^65] | GTX1080Ti | 0.47s | 30M | 76.39 | 43.38 | 65.07 |
| Voxels | PC-CNN [^58] | - | - | 276M | 73.79 | - | - |
| Points | RoarNet [^59] | GTX1080Ti | 0.1s | - | 73.04 | - | - |
| Points | IPOD [^61] | GTX1080Ti | 0.2s | 24M | 72.57 | 44.68 | 53.46 |
| Feature | Point | Multiple | PointPainting [^66] | GTX1080 | 0.4s | - | 71.70 | 40.97 | 63.78 |
| Multi | ROI | Points | PointFusion [^62] | GTX1080 | 1.3s | 6M | 63.00 | 28.04 | 29.42 |
| Point | Points | SIFRNet [^63] | - | - | - | 72.05 | 60.85 | 60.34 |
| 3D Proposal based | Feature | ROI | 2D views | MV3D [^67] | Titan X | 0.36s | 240M | 63.63 | - | - |
| ROI | 2D views | AVOD-FPN [^68] | Titan Xp | 0.08s | 38M | 71.76 | 42.27 | 50.55 |
| ROI | 2D views | SCANet [^69] | GTX1080Ti | 0.17s | - | 68.12 | 37.93 | 53.38 |
| Point | 2D views | ContFuse [^70] | GTX1080 | 0.06s | - | 68.78 | - | - |
| Point | Voxels | MVX-Net [^71] | - | - | - | 77.43 | - | - |
| Pixel | 2D views | BEVF [^72] | - | - | - | - | - | 45.00 |
| Multi | Point | 2D views | MMF [^73] | GTX1080 | 0.08s | - | 77.43 | - | - |
| One-Step Models | Feature | Pixel | 2D views | LaserNet++ [^74] | TITAN Xp | 0.04s | - | - | - | - |
其中，$T_{3D\rightarrow views}$代表将点云$p_{3D}$从3D空间投影到鸟瞰图、前视图以及图像平面（RGB）的变换函数。通过ROI池化得到特征向量$f_{views}$的过程定义如下：
$$ f_{v i e w s}=\mathbf{R}\left(x,\mathrm{ROI}_{v i e w s}\right),v i e w s\in\left\{\mathrm{B V},\mathrm{F V},\mathrm{R G B}\right\} $$
MV3D存在一些缺点。首先，在鸟瞰图上生成3D候选框的前提是假设从该视角看所有感兴趣物体均无遮挡。但对于行人和自行车骑行者等小型物体实例而言，这一假设并不成立，因为它们可能会被点云中的其他大型物体完全遮挡。其次，由于连续的卷积操作会导致特征图被下采样，小型物体实例的空间信息也会随之丢失。第三，以物体为中心的融合方式会通过ROI池化来合并图像和点云的特征图，这一过程会破坏精细的几何信息。此外值得注意的是，冗余的候选框会导致边界框回归阶段出现重复计算。为了应对这些挑战，人们提出了多种改进MV3D的方法。
为了提升小型物体的检测效果，聚合视图物体检测网络（AVOD）[^68]首先利用鸟瞰图点云和图像的特征图，对MV3D中的候选框生成阶段进行了改进[^67]。此外，该网络还采用了自编码器架构，将最终的特征图上采样至原始尺寸。这缓解了小型物体因连续卷积操作而被下采样为单个“像素”的问题。所提出的特征融合区域候选框网络（RPN）会先通过裁剪和缩放操作，从多种模态（鸟瞰图点云和图像）中提取长度相等的特征向量。随后进行$1 \times 1$卷积操作以降低特征空间的维度，从而减少计算量并提升速度。Lu等人[^69]也采用了基于编码器-解码器的候选框网络，该网络配备了空间通道注意力（SCA）模块和扩展空间上采样（ESU）模块。SCA能够捕捉多尺度的上下文信息，而ESU则能恢复空间信息。
以物体为中心的融合方法 [^68][^67] 的问题之一是在 ROI 池化过程中丢失细粒度的几何信息。Liang 等人提出的 ContFuse [^70] 通过逐点融合来解决这一信息丢失问题。这种逐点融合是通过连续卷积 [^83] 融合层实现的，这些融合层在网络的多个阶段桥接不同尺度的图像和点云特征。具体做法是首先为点云 BEV 表示中的每个像素提取 K 个最近邻点。然后将这些点投影到图像平面上以检索相关的图像特征。最后，将融合特征向量根据其到目标"像素"的几何偏移进行加权，然后输入到 MLP 中。然而，当 LiDAR 点云稀疏时，逐点融合可能无法充分利用高分辨率图像。在 [^73] 中，Liang 等人通过结合多种融合方法（如信号级融合（RGB-D）、特征级融合、多视图和深度补全）进一步扩展了逐点融合。特别是，深度补全利用图像信息对稀疏深度图进行上采样，以生成密集的伪点云。这种上采样过程缓解了稀疏逐点融合问题，有助于跨模态表示的学习。此外，作者认为多个互补任务（地面估计、深度补全和 2D/3D 物体检测）可以帮助网络获得更好的整体性能。然而，逐点/逐像素融合会导致"特征模糊"问题。当点云中的一个点与图像中的多个像素相关联，或反之时，就会发生这种"特征模糊"，从而使数据融合产生混淆。同样地，Wang 等人 [^72] 用稀疏非均匀池化替换了 MV3D [^67] 中的 ROI 池化，从而实现了多模态特征图之间的有效融合。
由 Sindagi 等人提出的 MVX-Net [^71] 引入了两种方法，分别以 point-wise 或 voxel-wise 方式融合图像和点云数据。这两种方法都采用预训练的 2D CNN 来
---
TABLE III
A SUMMARIZATION AND COMPARISON BETWEEN DYNAMIC OBJECT DETECTION MODELS
| Methods: | Key features: | Advantages: | Disadvantages: |
| Frustum based [^57] [^65] [^58] [^59] [^61] [^63] [^62] | 1.Leverage image object detector to generate 2D proposals and project them to form frustum 3D search spaces for 3D object detection.\n2.Result-level fusion / Multi-level fusion | 3D search space is limited using 2D results to reduce computational cost. | 1. Due to sequential result-level fusion, the overall performance is limited by the image detector.\n2. Redundant information from multimodal sensors is not leveraged. |
| Point-fusion based [^66] | 1.Fuse high-level image semantics point-wise and perform 3D object detection in the fused point cloud.\n2.Feature-level fusion. | Solve the resolution mismatch problem between dense RGB and sparse depth via fusing high-level image semantics to points. | 1.Image and LiDAR models are highly coupled, which reduce overall reliability and increase development cost.\n2.3D search space is not limited which leads to high computational cost. |
| Multi-view based [^67] [^68] [^69] [^70] [^73] | 1.Generate 3D proposals from BEV and perform 3D bboxes regression on these proposals.\n2.Feature-level fusion. | Enable the use of standard 2D convolution and off-the-shelf models, making it much more scalable. | 1.Assume all objects are visible in LiDAR's BEV, which is often not the case.\n2.Spatial information of small object instances is lost during consecutive convolution operations\n3.ROI fusion spoils fine-grained geometric information. |
| Voxel-based [^71] [^82] | 1.Fuse image semantics voxel-wise and perform 3D bboxes regression using voxel-based network. | Compatible with standard 3D convolution. | 1. Spatial resolution and fine-grained 3D geometry information are lost during voxelization.\n2. Computation and memory footprint to grow cubically with the resolution, making it unscalable. |
进行图像特征提取，并使用基于 VoxelNet [^14] 的网络来从融合后的点云中估计目标。在 pointwise 融合方法中，点云首先被投影到图像特征空间以提取图像特征，然后再进行体素化并由 VoxelNet 处理。voxel-wise 融合方法则首先对点云进行体素化，然后将非空体素投影到图像特征空间以进行 voxel/region-wise 特征提取。这些 voxel-wise 特征仅在 VoxelNet 的较后阶段才被附加到其对应的体素上。MVX-Net 在 KITTI 基准测试上取得了 state-of-the-art 的结果，并优于其他基于 LiDAR 的方法，同时相比 [^14] 降低了 false positives 和 false negatives 率。
将体素化点云与图像结合的最简单方法，就是将RGB信息作为额外的通道附加到体素中。在Song等人于2014年发表的论文中[^82]，通过在体素化点云上滑动三维检测窗口来实现三维物体检测。分类则是通过多个示例SVM的集成来完成的。在这项工作中，颜色信息是通过投影方式附加到体素中的。Song等人进一步将这一思路拓展到三维离散卷积神经网络中[^84]。在第一阶段，由RGB-D数据生成的体素化点云会先经过多尺度三维RPN处理，以生成三维候选区域；随后这些候选区域会由联合物体识别网络（ORN）进行分类，该网络同时接收图像和体素化点云作为输入。不过，这种体积表示方式会引发边界伪影，破坏精细的局部几何结构；其次，图像与体素化点云之间的分辨率不匹配也会导致融合效率低下。
### C. 单步模型
单步模型能够在单一阶段完成候选区域生成与边界框回归。通过将候选区域生成阶段和边界框回归阶段合并为单步操作，这类模型通常具有更高的计算效率，因此更适合在移动计算平台上实现实时应用。
Meyer等人[^74]将LaserNet[^85]扩展为多任务、多模态网络，能够利用融合后的图像和激光雷达数据执行三维物体检测与三维语义分割。两个CNN分别并行处理由点云生成的深度图像和前视图像，并通过将点投影到图像平面来融合二者，从而关联对应的图像特征。该特征图会被输入到LaserNet中，用于预测每个点的边界框分布，再将这些分布结果整合为最终的三维候选区域。这种方法在保持高效性的同时，还能取得业界领先的性能。
### V. 静止道路物体检测
本节主要综述基于摄像头-激光雷达融合的静止道路物体检测方法的最新进展。静止道路物体可分为道路上的物体（如路面、道路标线）和道路外的物体（如交通标志）。道路上的物体和道路外的物体为自动驾驶车辆提供规则、警告禁令以及指引信息。
图6和图7对比了车道/道路检测与交通标志识别（TSR）中的典型模型架构。表IV展示了不同模型在KITTI道路基准测试集上的对比结果[^56]，并对这些模型进行了总结与比较。
### A. 车道/道路检测
现有的综述文献[^93] [^94] [^95]对传统多模态道路检测方法进行了详细评述。这些方法[^96] [^97] [^98] [^99]主要依靠视觉技术进行道路/车道检测，同时利用激光雷达数据来完成路缘拟合与障碍物掩蔽。因此，本节重点介绍基于深度学习的道路提取融合策略的最新进展。
基于深度学习的道路检测方法可分为基于鸟瞰图的方法和基于前视摄像头视图的方法。基于鸟瞰图的方法[^86] [^88] [^89] [^87]会将激光雷达深度数据与图像投影到……
---
TABLE IV
COMPARATIVE RESULTS ON KITTI ROAD BENCHMARK [^56] WITH SUMMARIZATION AND COMPARISON BETWEEN LANE/ROAD DETECTION MODELS.'MAXF (%)' STANDS FOR MAXIMUM F1-MEASURE ON KITTI URBAN MARKED ROAD TEST SET. 'FL', 'MS' STAND FOR FUSION LEVEL AND MODEL PARAMETER SIZE.
| Method: | Inputs: | FL: | MaxF | MS | Highlights: | Disadvantages: |
| BEV-based Lane/Road Detection |
| DMLD [^86] | BEV Image + BEV Point Cloud | Feature | - | 50M | Predict dense BEV height map from sparse depth which improves performance | Cannot distinguish between different lane types |
| EDUNet [^87] | Fused BEV Occupation Grid | Signal | 93.81 | 143M | Signal-level fusion reduces model complexity | Loss of dense RGB/texture information in early fusion |
| TSF-FCN [^88] | BEV Image + BEV Point Cloud | Feature | 94.86 | 2M | Relatively moderate computational cost | Relatively moderate performance |
| MSRF [^89] | BEV Image + BEV Point Cloud | Feature | 96.15 | - | Multi-stage fusion at different network depth improves performance | Relatively high computational cost |
| Camera-view based Lane/Road Detection |
| LidCamNet [^90] | Image + Dense Depth Image | Multi | 96.03 | 3M | Explore and compared multiple fusion strategies for road detection | Rely on image for depth upsampling |
| PLARD [^91] | Image + Dense Depth Image | Feature | 97.05 | - | Progressive fusion strategy improves performance | Relatively high computational cost |
| SpheSeg [^92] | Image + Depth Image | Feature | 96.94 | 1.4M | Spherical coordinate transformation reduces input size and improves speed | Road detection in 2D space rather than 3D space |
Fig. 6. Some typical model architectures and fusion methods for road/lane detection
用于道路检测的鸟瞰图（BEV）能够保留物体的原始x、y坐标以及朝向信息。在[^86]中，通过CNN从点云中预测密集的BEV高度估计值，再将其与BEV图像融合以实现精确的车道检测。不过，该方法无法区分不同的车道类型。同样，Lv等人[^88]也利用了BEV激光雷达网格地图和BEV图像，但他们采用并行处理方式。Yu等人[^89]提出了一种多阶段融合策略（MSRF），在不同网络层级上结合图像与深度特征，从而显著提升了性能。然而，这种策略也会相对增加计算成本。Wulff等人[^87]采用信号级融合来生成融合后的BEV占据网格，该网格随后会被进一步处理。
Fig. 7. A typical fusion-based traffic-sign recognition pipeline.
该处理过程由基于U-Net的道路分割网络完成。不过，由于网格分辨率较低，密集RGB数据与稀疏深度数据之间的信号级融合会导致密集纹理信息的丢失。
基于前置摄像头视角的方法[^90] [^91] [^92]会将激光雷达的深度数据投影到图像平面以提取路面信息，但这种方式在二维到三维边界的转换过程中会造成精度损失。LCNet[^90]对比了信号级融合（早期融合）与特征级融合（晚期融合及交叉融合）在道路检测中的表现，发现交叉融合是最优的融合策略。与[^88]类似，PLARD[^91]会在多个阶段逐步融合图像与点云特征。Lee等人[^92]则专注于通过球面坐标变换方案来提升处理速度，该方案能够减小输入数据量。经过变换的摄像头与激光雷达数据随后会由基于SegNet的语义分割网络进行处理。
### B. 交通标志识别
在激光雷达扫描中，由于交通标志具有逆反射特性，因此很容易将其区分开来，但缺乏密集纹理使得分类变得困难。相反，交通标志的图像块则易于分类。不过，基于视觉的交通标志识别系统很难在三维空间中定位这些交通标志。因此，多项研究提出
---
Fig. 8. Timeline of 3D semantic segmentation networks and their corresponding fusion levels.
利用摄像头与激光雷达进行交通标志识别。现有的综述文献[^93] [^100]已经全面介绍了传统的交通标志识别方法以及部分深度学习方法。因此，本节将简要概述传统的交通标志识别方法，并重点介绍近期的研究成果。在典型的交通标志识别融合流程[^101] [^102] [^103] [^104] [^105]中，首先基于逆反射特性在激光雷达扫描中定位交通标志。随后，将这些检测到的交通标志的三维位置投影到图像平面以生成交通标志图像块，再将其输入图像分类器进行分类。这种交通标志识别融合流程如图7所示。
对于采用典型交通标志识别融合流程的方法而言，主要区别在于分类器。这些分类器包括基于深度玻尔兹曼机（DBMs）的分层分类器$^{[102]}$、支持向量机（SVMs）[^101]以及深度神经网络（DNN）[^104]。概括来说，这些方法均采用结果级融合以及分层物体检测模型。它们假设交通标志在激光雷达扫描中可见，但由于遮挡原因，有时并非如此。此外，该流程还受到移动式激光雷达探测范围的限制。
为应对这些挑战，邓等人[^106]将图像与点云相结合，生成彩色点云，用于交通标志的检测与分类。此外，他们利用检测到的交通标志的三维几何特性来减少误检。在[^107]中，交通标志是基于先验知识进行检测的，这些先验知识包括道路几何信息和交通标志几何信息。检测到的交通标志区域会通过GaussianBernoulli DBMs模型进行分类。遵循这一思路，关等人[^105]进一步利用卷积胶囊网络优化了交通标志识别部分。总而言之，这些方法通过多模态数据和先验知识改进了交通标志检测阶段。然而，先验知识往往具有地域针对性，因此难以推广到世界其他地区。
### 六、语义分割
本节回顾了现有的用于二维语义分割、三维语义分割及实例分割的相机-激光雷达融合方法。二维/三维语义分割旨在预测每个像素和每个点的类别标签，而实例分割还会关注单个实例。图8和图9展示了三维语义分割网络的时间线以及典型的模型架构。
### A. 二维语义分割
1) 特征级融合：Sparse & Dense[^46]提出了一种基于NASNet[^53]的自编码器网络，该网络可利用图像和稀疏深度信息进行二维语义分割或深度补全。图像及其对应的稀疏深度图会先由两个并行编码器处理，然后再融合到共享解码器中。Valada等人[^55]采用了不同深度的多阶段特征级融合方式来辅助语义分割。Caltagirone等人[^90]则利用上采样的深度图像和图像进行二维语义分割。这种密集深度图像是通过稀疏深度图像（来自点云）和图像[^108]上采样得到的。性能最佳的交叉融合模型会在两个并行的CNN分支中处理密集深度图像和图像数据，分支间设有跳跃连接，最后在卷积层融合这两幅特征图。
### B. 三维语义分割
1) 特征级融合：戴等人[^109]提出了3DMV，这是一种用于三维语义分割的多视角网络，它能在体素化点云中融合图像语义特征和点特征。图像特征由二维CNN从多张对齐的图像中提取，再投影回三维空间。这些多视角图像特征会按体素进行最大池化，并与三维几何特征融合，随后输入三维CNN以进行每个体素的语义预测。在ScanNet[^110]基准测试中，3DMV的表现优于其他基于体素的方法。不过，基于体素的方法的性能受体素分辨率的限制，且会受到体素边界伪影的影响。
为了解决点云体素化带来的问题，Chiang等人[^111]提出了一种基于点的语义分割框架（UPF），该框架还能实现图像特征、几何结构以及全局上下文先验的高效表示学习。利用语义分割网络提取多视角渲染图像的特征，并将其投影到三维空间以进行逐点特征融合。这种融合后的点云会先经过两个基于PointNet++[^30]的编码器处理，以提取局部和全局特征，随后再输入解码器来预测每个点的语义标签。同样，Multi-View PointNet（MVPNet）[^112]也融合了多视角图像的语义信息与三维几何信息，从而预测每个点的语义标签。
置换格子表示法是一种用于多模态数据融合与处理的替代方法。Su等人[^113]提出的稀疏格子网络（SPLATNet）采用稀疏双边卷积来实现具备空间感知能力的表示学习以及多模态（图像和点云）推理。在该方法中，点云特征会被插值到$d_{l}$维的置换格子上，并在该格子上应用双边卷积；处理后的结果再被插值回点云。图像特征由CNN从多视角图像中提取出来，并投影到三维格子空间与三维特征相融合。这个融合后的特征图会进一步经CNN处理，以预测每个点的标签。
---
Fig. 9. Some typical model architectures and fusion methods for semantic segmentation
### C. 实例分割
本质上，实例分割旨在同时完成语义分割与物体检测任务。它通过区分同一类别内的不同实例来拓展语义分割任务，因此更具挑战性。
1) 基于候选区域的方法：Hou等人提出了3D-SIS[^114]，这是一种两阶段的3D CNN，可在多视角图像和RGB-D扫描数据上执行体素级的3D实例分割。在3D检测阶段，利用基于ENet[^115]的网络提取多视角图像特征并进行下采样。这一下采样过程解决了高分辨率图像特征图与低分辨率体素化点云特征图之间的不匹配问题。这些下采样后的图像特征图被投影回三维体素空间，并与对应的三维几何特征合并，随后输入3D CNN以预测物体类别和三维边界框姿态。在3D掩码阶段，3D CNN会利用图像、点云特征以及3D检测结果来预测每个体素的实例标签。
Narita等人[^116]将2D全景分割技术拓展到RGB图像和深度图像上，可同时完成场景重建、3D语义分割以及3D实例分割。该方法以RGB帧和深度帧为输入，分别送入实例分割网络和2D语义分割网络。为了在不同帧间追踪标签，会将各帧预测出的全景标注及对应的深度信息关联并整合到体积图中。最后，采用全连接条件随机场（CRF）对输出结果进行微调。不过，该方法不支持动态场景，且容易出现长期偏移问题。
2) 无需提案式方法：Elich等人[^117]提出了3D-BEVIS，这是一种利用基于2D语义的点聚类方法，同时执行3D语义分割和实例分割任务的框架。3D-BEVIS首先从2D鸟瞰图表示（RGB和离地高度）中提取全局语义分数图和实例特征图。随后，通过图神经网络将这两张语义图传播到各个点上。最后，均值漂移算法[^118]利用这些语义特征将点聚类成实例。
Fig. 10. A comparison between Detection-Based Tracking (DBT) and Detection-Free Tracking (DFT) approaches.
这种方法主要受制于其对鸟瞰图中语义特征的依赖，而这种依赖可能会因传感器位移而产生遮挡问题。
### 七、物体跟踪
多物体跟踪（MOT）旨在维持物体的身份信息，并跨数据帧（随时间变化）追踪其位置，这对自动驾驶车辆的决策制定而言至关重要。为此，本节将综述基于摄像头-激光雷达融合的物体跟踪方法。根据物体初始化方式的不同，MOT算法可分为基于检测的跟踪（DBT）和无需检测跟踪（DFT）两类框架。DBT或“检测后跟踪”框架会利用物体检测器生成的一系列物体假设及高层线索来跟踪物体；在DBT中，物体是通过数据（检测序列）关联或多假设跟踪来实现跟踪的。相比之下，DFT框架则基于有限集统计（FISST）进行状态估计，常用的方法包括多目标多伯努利（MeMBer）滤波器和概率假设密度（PHD）滤波器。
表五展示了不同模型在KITTI多物体跟踪基准测试（汽车类别）上的性能表现[^56]。图10对比了DBT和DFT两种方法的性能。
### A. 基于检测的跟踪（DBT）
“检测后跟踪”框架包含两个阶段：第一阶段用于检测感兴趣的物体；第二阶段则将这些物体随时间关联起来并形成轨迹，这一过程通过线性规划来实现。Frossard等人[^119]提出了一种端到端可训练的“检测后跟踪”框架，该框架由多个独立网络组成，能够同时利用图像和点云数据。该框架依次执行物体检测、提案匹配与评分、线性优化等操作。为了实现端到端学习，检测与匹配过程通过深度结构化模型（DSM）来建模。Zhang等人[^120]提出了一种与传感器无关的框架，该框架采用损失耦合方案来实现图像与点云的融合。与[^119]类似，
---
TABLE V
COMPARATIVE RESULTS ON KITTI MULTI-OBJECT TRACKING BENCHMARK (CAR) [^56]. MOTA STANDS FOR MULTIPLE OBJECT TRACKING ACCURACY. MOPT STANDS FOR MULTIPLE OBJECT TRACKING PRECISION. MT STANDS FOR MOSTLY TRACKED. ML STANDS FOR MOSTLY LOST. IDS STANDS FOR NUMBER OF ID SWITCHES. FRAG STANDS FOR NUMBER OF FRAGMENTS.
| Methods | Data-association | Models | Hardware | Run-time | MOTA(%) | MOTP(%) | MT(%) | ML(%) | IDS | FRAG |
| DBT | min-cost ow | DSM [^119] | GTX1080Ti | 0.1s | 76.15 | 83.42 | 60.00 | 8.31 | 296 | 868 |
| min-cost ow | mmMOT [^120] | GTX1080Ti | 0.02s | 84.77 | 85.21 | 73.23 | 2.77 | 284 | 753 |
| Hungarian | MOTSFusion [^121] | GTX1080Ti | 0.44s | 84.83 | 85.21 | 73.08 | 2.77 | 275 | 759 |
| DFT | RFS | Complexer-YOLO [^122] | GTX1080Ti | 0.01s | 75.70 | 78.46 | 58.00 | 5.08 | 1186 | 2092 |
该框架包含三个阶段：物体检测、邻接关系估计和线性优化。在物体检测阶段，通过VGG-16[^123]和PointNet[^30]并行提取图像和点云特征，再通过鲁棒融合模块进行融合；该鲁棒融合模块可同时处理单模态和多模态输入。邻接关系估计阶段通过邻接矩阵学习将最小代价流算法扩展到多模态场景；最终从最小代价流图中计算出最优路径。
跟踪与三维重建任务可以协同进行。基于这一思路，Luiten等人[^121]利用三维重建来提升跟踪效果，使跟踪算法能够应对完全遮挡的情况。所提出的MOTSFusion包含两个阶段：第一阶段将检测到的物体与时空轨迹片段相关联；随后利用匈牙利算法对这些轨迹片段进行匹配并合并为完整轨迹。此外，MOTSFusion还能兼容激光雷达单目及立体深度数据。
### B. 无检测跟踪（DFT）
在DFT中，物体需手动初始化，随后通过基于滤波的方法进行跟踪。Complexer-YOLO[^122]是一种针对图像与点云数据的实时三维物体检测与跟踪框架。在三维物体检测阶段，系统会提取二维语义信息，并将其逐点融合到点云中；随后对该语义点云进行体素化，再输入到三维Complexer-YOLO模型中进行三维物体检测。为了加快训练进程，系统采用一种名为尺度-旋转-平移得分（SRTs）的新指标来替代IoU，该指标可评估边界框位置的三个自由度。多物体跟踪环节与检测过程相分离，最终通过标记多伯努利随机有限集滤波器（LMB RFS）来完成推理。
### VIII. 在线跨传感器校准
相机与激光雷达融合系统的前提条件是传感器之间具备精准的注册/校准效果，但这往往难以实现。由于机械振动和温度波动的影响，传感器间的校准参数会不断变化；而大多数融合算法对校准误差极为敏感，因此校准偏差可能会严重削弱其性能与可靠性。此外，离线校准过程既繁琐又耗时。因此，开展在线自动跨传感器校准研究具有重要的实用价值。
### A. 传统在线校准方法
在线校准方法无需校准目标，即可在自然环境下估算传感器间的外部参数。许多研究[^124] [^125] [^126] [^127]通过最大化不同模态间的互信息（MI）（原始强度值或边缘强度）来确定外部参数。然而，基于互信息的方法在纹理丰富的环境、较大的校准偏差以及传感器位移导致的遮挡情况下表现并不稳定。另一种基于激光雷达的视觉里程计方法[^128]则利用相机自身运动来估算和评估相机与激光雷达的外部参数；不过，[^128]在面临较大校准偏差时仍表现不佳，且无法实时运行。
### B. 基于深度学习的在线校准方法
为了应对上述挑战，Schneider等人[^129]设计了一种具备实时处理能力的CNN（RegNet）来估计外部参数，该网络在随机未校准的数据上训练而成。所提出的RegNet通过两个并行分支分别提取图像和深度特征，再将它们拼接起来生成融合特征图。这一融合特征图随后被送入由Network in Network（NiN）模块及两个全连接层组成的堆栈中，用于特征匹配和全局回归。不过，RegNet对传感器的内部参数并不敏感，一旦这些内部参数发生变化，就需要重新训练模型。为解决这一问题，CalibNet[^130]能够通过自监督方式，最小化未校准数据与目标深度之间的几何与光度差异。由于内部参数仅在3D空间变换器中使用，因此CalibNet可应用于任何已完成内部校准的摄像头。尽管如此，基于深度学习的跨传感器校准方法在计算上依然代价高昂。
### IX. 发展趋势、现存挑战与前景广阔的研究方向
无人驾驶汽车中的感知模块负责获取并理解周围场景信息，其下游模块如路径规划、决策制定以及自我定位等，都依赖于感知模块的输出结果。因此，感知模块的性能与可靠性是整个无人驾驶系统正常运作的前提。为此，人们采用激光雷达与摄像头的融合技术来提升感知系统的性能与可靠性，从而使无人驾驶车辆能够更出色地应对复杂场景（如城市交通、极端天气条件等）。基于此，本节将总结相关总体趋势，并探讨其中存在的挑战及潜在影响因素。如表VI所示，我们重点关注融合方法的性能提升以及融合流程的鲁棒性改进。
---
TABLE VI
OPEN CHALLENGES RELATED TO PERFORMANCE IMPROVEMENT, RELIABILITY ENHANCEMENT.
| Open Challenges: | Possible solutions / directions: |
| Performance-related Open Research Questions |
| What should be the data representation of fused data? | Point Representation + Point Convolution |
| How to encode Temporal Context? | RNN/LSTM + Generative Models |
| What should be the learning scheme? | Unsupervised + Weakly-supervised learning |
| When to use deep learning methods? | On applications with explicit objectives that can be verified objectively |
| Reliability-related Open Research Questions |
| How to mitigate camera-LiDAR coupling? | Sensor-agnostic framework |
| How to improve all-weather / Lighting conditions? | Datasets with complex weather / lighting conditions |
| How to handle adversarial attacks and corner cases? | Cross modality verification |
| How to solve open-set object detection? | Testing protocol, metrics + new framework |
| How to balance speed-accuracy trade-offs? | Models developed with scalability in mind |
从上文综述的方法中，我们发现了图像与点云融合技术的一些普遍趋势，具体可归纳如下：
- 从2D到3D：随着3D特征提取技术的不断进步，在3D空间中定位、追踪和分割物体已成为研究热点。
- 从单任务到多任务：一些近期的研究[^73] [^122]结合了物体检测、语义分割和深度补全等多种互补任务，旨在提升整体性能并降低计算成本。
- 从信号级融合到多层级融合：早期研究通常采用信号级融合方式，即将3D几何信息转换到图像平面以便利用现有的图像处理模型；而近年来的模型则尝试在多个层级（如早期融合、后期融合）以及时间上下文编码层面实现图像与激光雷达数据的融合。
### A. 与性能相关的开放性研究问题
1) 融合数据应采用何种数据表示形式？：融合数据的数据表示选择对于设计各类数据融合算法具有根本性意义。目前，图像与点云融合所采用的数据表示方式包括：
- 图像表示：将3D几何信息作为图像的额外通道附加进去。这种基于图像的表示方式能够直接利用现有的图像处理模型，但处理结果仍局限于2D图像平面，对于自动驾驶而言并非理想之选。
- 点云表示方式：将RGB信号/特征作为额外通道附加到点云中。然而，高分辨率图像与低分辨率点云之间的分辨率不匹配会导致效率低下。
- 中间数据表示：将图像和点云的特征/信号转换为中间数据表示，例如体素化点云 [^82]。不过，基于体素的方法可扩展性较差。
近期许多点云处理研究集中于定义显式的点卷积操作 [^32] [^62] [^33] [^35] [^36] [^37] [^38]，这些操作展现出了巨大潜力。这类点卷积更擅长提取细粒度的逐点特征及局部几何信息。因此我们认为，融合数据的点表示方式与点卷积相结合，在相机-激光雷达融合研究中具有广阔前景。
2) 如何编码时间上下文？：当前大多数基于深度学习的感知系统往往忽视了时间上下文，这引发了诸多问题，比如低刷新率导致的点云变形、传感器间的时间同步误差等。这些问题会造成图像、点云与实际环境之间的不匹配。因此，将时间上下文纳入感知系统至关重要。
在自动驾驶领域，可通过RNN或LSTM模型来融入时间上下文。在 [^131] 中，研究人员采用LSTM自编码器来预测周围车辆的未来状态，并据此调整规划轨迹，从而让自动驾驶车辆运行得更平稳、更稳定。在 [^121] 中，时间上下文被用于估计自身运动信息，为后续的任务相关网络提供支持。此外，基于视觉里程计的方法 [^128] 也能借助时间上下文实现在线自校准。遵循这一思路，通过编码时间上下文与生成模型，就能解决激光雷达低刷新率引发的不匹配问题。
3) 应采用何种学习方案？：当前大多数相机-激光雷达融合方法依赖监督学习，这需要大量标注数据集。然而，图像和点云的标注工作既昂贵又耗时，这限制了现有多模态数据集的规模以及监督学习方法的性能。
解决这一问题的方案是无监督和弱监督学习框架。近期的一些研究在这方面展现出了巨大潜力 [^43] [^50] [^132] [^24] [^101]。顺着这一趋势，未来在无监督和弱监督学习融合框架方面的研究，能让神经网络在大规模未标注/粗标注数据集上训练，进而获得更好的性能。
4) 何时使用深度学习方法？：深度学习技术的最新进展加速了自动驾驶技术的发展。但在很多方面，传统方法在当前的自动驾驶系统中仍不可或缺。与深度学习方法相比，传统方法的可解释性更强，且消耗的计算资源显著更少。对于自动驾驶车辆的决策与规划系统而言，能够追溯决策过程至关重要。尽管如此，
---
当前的深度学习算法缺乏可回溯性，因此不适合用于这些应用场景。除了这种“黑盒”难题外，传统算法因其实时处理能力也备受青睐。
总而言之，我们认为深度学习方法应应用于那些具有明确且可客观验证的目标的应用场景。
### B. 与可靠性相关的开放性研究问题
1) 如何缓解摄像头与激光雷达之间的信号耦合问题？从工程角度来看，自动驾驶汽车中的冗余设计对其安全性至关重要。尽管融合激光雷达和摄像头能够提升感知性能，但也会带来信号耦合的问题。一旦其中一条信号路径突然失效，整个系统流程就可能崩溃，进而影响下游模块。这对于要求具备强大感知能力的自动驾驶系统而言是不可接受的。
为解决这一问题，我们应开发一种与传感器无关的框架。例如，可以采用针对不同传感器输入的多重融合模块；此外，还可以使用能够处理异步多模态数据的多路径融合模块。不过，最佳解决方案仍有待进一步研究。
2) 如何改善全天气/光照条件下的性能？自动驾驶汽车需要在各种天气和光照条件下运行。然而，目前的数据集和方法大多针对光照和天气条件较好的场景，这导致其在现实世界中表现不佳，因为现实环境中的光照和天气状况更为复杂。
解决这一问题的首要步骤是开发包含多种光照和天气条件的更多数据集。此外，利用多模态数据来应对复杂光照和天气条件的方法也值得进一步探索。
3) 如何应对对抗性攻击和极端情况？针对基于摄像头的感知系统的对抗性攻击已被证明十分有效，这对在关键安全环境下运行的自动驾驶汽车而言构成了严重威胁。要识别专门针对特定传感器模态设计的攻击可能较为困难，但可以通过不同模态来验证感知结果。在此背景下，利用3D几何信息与图像共同识别这类攻击的研究值得进一步开展。
由于自动驾驶汽车在充满不确定性的开放环境中运行，其可能性无穷无尽，因此在感知系统的设计中必须考虑极端情况和边缘情况。感知系统应当能够预判那些未见过的异常障碍物、奇特行为以及极端天气。例如，大型车辆上印有的自行车图案，或是穿着特殊服装的人。仅靠摄像头或激光雷达系统往往很难处理这些极端情况，而利用多模态数据来识别它们，可能会比单模态传感器更有效、更可靠。在这一方向上的进一步研究，将极大促进自动驾驶技术的安全性和商业化进程。
4) 如何解决开放集物体检测问题？开放集物体检测是指物体检测器在未知/未见类别的实例上进行测试的场景。对于自动驾驶车辆而言，开放集问题至关重要，因为它们在不受限制的环境中运行，可能遇到的物体类别无穷无尽。当前的数据集通常将不感兴趣的物体归入背景类。然而，没有任何数据集能够将所有不需要的物体类别都包含在背景类中。因此，物体检测器在开放集环境下的表现具有高度不确定性，这对自动驾驶来说是不理想的。
由于缺乏对开放集物体检测的认知、测试协议和评价指标，当前物体检测研究中对开放集性能的明确评估十分有限。Dhamija等人[^133]在近期的研究中探讨并分析了这些挑战，他们提出了一种新颖的开放集测试协议和评价指标。作者们引入了一种额外的混合未知类别，该类别包含了已知的“背景”物体以及未知/未见物体。基于这一协议，现有方法会在由多个现有数据集组合生成的包含混合未知类别的测试集上进行测试。在另一项关于点云的近期研究中，Wong等人[^134]提出了一种技术，可将不同类别的不需要的物体映射到与类别无关的嵌入空间中以便聚类。
开放集挑战对于在现实世界中部署基于深度学习的感知系统至关重要。这需要整个研究界付出更多努力和关注（包括针对未知物体的数据集与方法、测试协议及评价指标等）。
5) 如何平衡速度与精度之间的权衡？处理多张高分辨率图像和大规模点云会给现有的移动计算平台带来巨大压力。这有时会导致帧丢失，进而严重降低感知系统的性能。更普遍地说，这会导致高功耗和低可靠性问题。因此，在现实世界的部署中，平衡模型的速度与精度至关重要。
有一些研究试图检测帧丢失现象。在[^135]中，Imre等人提出了一种多摄像头帧丢失检测算法，该算法利用摄像头对上的多条线段拟合来实现检测。然而，帧丢失检测仅解决了问题的一半；真正的难点在于防止帧丢失导致的性能下降。生成式模型的最新进展显示出预测视频序列中缺失帧的巨大潜力[^136]，这一技术可应用于自动驾驶领域，用于填补图像和点云流水线中的缺失帧。不过我们认为，解决帧丢失问题最有效的方法是通过降低硬件负载来预防其发生。而这可以通过仔细平衡模型的速度与精度来实现[^137]。
为实现这一目标，深度学习模型应能在保持可接受性能的同时降低计算成本。这种可扩展性通常通过减少输入数据量（点、像素、体素）或减小网络深度来实现。以往的研究[^30] [^138] [^38]表明，与基于体素的方法相比，基于点和多视图的融合方法具有更好的可扩展性。
---
### X. 结论
本文深入综述了自动驾驶领域中基于点云和图像融合的深度学习模型的最新研究进展。具体而言，该综述按照融合方法对各类技术进行了分类，并详细探讨了深度补全、动态与静止物体检测、语义分割、跟踪以及在线多传感器校准等主题。此外，文中还通过表格展示了在公开数据集上的性能对比结果，分析了各模型的优缺点。典型模型架构则通过图示呈现。最后，我们总结了总体发展趋势，讨论了当前面临的挑战及未来可能的研究方向。这篇综述还提醒研究者关注那些虽被忽视却严重影响自动驾驶技术实际部署的问题，并提供了相关见解。
## 参考文献
[^1]: F. Duarte, “Self-driving cars: A city perspective,” Science Robotics, vol. 4, no. 28, 2019. [Online]. Available:
[^2]: J. Guo, U. Kurup, and M. Shah, “Is it safe to drive? an overview of factors, metrics, and datasets for driveability assessment in autonomous driving,” IEEE Transactions on Intelligent Transportation Systems, pp. 1–17, 2019.
[^3]: Y. E. Bigman and K. Gray, “Life and death decisions of autonomous vehicles,” Nature, vol. 579, no. 7797, pp. E1–E2, 2020.
[^4]: D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. van den Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. P. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, and D. Hassabis, “Mastering the game of go with deep neural networks and tree search,” Nature, vol. 529, pp. 484–489, 2016.
[^5]: V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg, and D. Hassabis, “Human-level control through deep reinforcement learning,” Nature, vol. 518, no. 7540, pp. 529–533, Feb. 2015. [Online]. Available:
[^6]: P. Huang, M. Cheng, Y. Chen, H. Luo, C. Wang, and J. Li, “Traffic sign occlusion detection using mobile laser scanning point clouds,” IEEE Transactions on Intelligent Transportation Systems, vol. 18, no. 9, pp. 2364–2376, 2017.
[^7]: L. Chen, Q. Zou, Z. Pan, D. Lai, L. Zhu, Z. Hou, J. Wang, and D. Cao, “Surrounding vehicle detection using an fpga panoramic camera and deep cnns,” IEEE Transactions on Intelligent Transportation Systems, pp. 1–13, 2019.
[^8]: S. Kim, H. Kim, W. Yoo, and K. Huh, “Sensor fusion algorithm design in detecting vehicles using laser scanner and stereo vision,” IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 4, pp. 1072–1084, 2016.
[^9]: K. Park, S. Kim, and K. Sohn, “High-precision depth estimation using uncalibrated lidar and stereo fusion,” IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 1, pp. 321–335, Jan 2020.
[^10]: J. Zhu, L. Fan, W. Tian, L. Chen, D. Cao, and F. Wang, “Toward the ghosting phenomenon in a stereo-based map with a collaborative rgb-d repair,” IEEE Transactions on Intelligent Transportation Systems, pp. 1–11, 2019.
[^11]: J. Wang and L. Zhou, “Traffic light recognition with high dynamic range imaging and deep learning,” IEEE Transactions on Intelligent Transportation Systems, vol. 20, no. 4, pp. 1341–1352, 2019.
[^12]: Z. Wang, Y. Wu, and Q. Niu, “Multi-sensor fusion in automated driving: A survey,” IEEE Access, 2019.
[^13]: D. Feng, C. Haase-Schutz, L. Rosenbaum, H. Hertlein, C. Glaser, F. Timm, W. Wiesbeck, and K. Dietmayer, “Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges,” IEEE Transactions on Intelligent Transportation Systems, p. 120, 2020. [Online]. Available:
[^14]: Y. Zhou and O. Tuzel, “Voxelnet: End-to-end learning for point cloud based 3d object detection,” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 2018. [Online]. Available:
[^15]: D. Maturana and S. Scherer, “Voxnet: A 3d convolutional neural network for real-time object recognition,” in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Sep. 2015, pp. 922–928.
[^16]: Y. Li, L. Ma, Z. Zhong, D. Cao, and J. Li, “Tgnet: Geometric graph cnn on 3-d point cloud segmentation,” IEEE Transactions on Geoscience and Remote Sensing, vol. 58, no. 5, pp. 3588–3600, 2020.
[^17]: C. R. Qi, H. Su, M. NieBner, A. Dai, M. Yan, and L. J. Guibas, “Volumetric and multi-view cnns for object classification on 3d data,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2016. [Online]. Available:
[^18]: W. Zeng and T. Gevers, “3dcontextnet: Kd tree guided hierarchical learning of point clouds using local and global contextual cues,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 0–0.
[^19]: R. Klokov and V. Lempitsky, "Escape from cells: Deep kd-networks for the recognition of 3d point cloud models," 2017 IEEE International Conference on Computer Vision (ICCV), Oct 2017. [Online]. Available:
[^20]: G. Riegler, A. Osman Ulusoy, and A. Geiger, “Octnet: Learning deep 3d representations at high resolutions,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 3577–3586.
[^21]: D. C. Garcia, T. A. Fonseca, R. U. Ferreira, and R. L. de Queiroz, “Geometry coding for dynamic voxelized point clouds using octrees and multiple contexts,” IEEE Transactions on Image Processing, vol. 29, pp. 313–322, 2020.
[^22]: H. Lei, N. Akhtar, and A. Mian, “Octree guided cnn with spherical kernels for 3d point clouds,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 9631–9640.
[^23]: H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller, “Multi-view convolutional neural networks for 3d shape recognition,” in Proceedings of the IEEE international conference on computer vision, 2015, pp. 945–953.
[^24]: S. Chen, C. Duan, Y. Yang, D. Li, C. Feng, and D. Tian, “Deep unsupervised learning of 3d point clouds via graph topology inference and filtering,” IEEE Transactions on Image Processing, vol. 29, pp. 3183–3198, 2020.
[^25]: M. Henaff, J. Bruna, and Y. LeCun, “Deep convolutional networks on graph-structured data,” 2015.
[^26]: M. Simonovsky and N. Komodakis, “Dynamic edge-conditioned filters in convolutional neural networks on graphs,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 3693–3702.
[^27]: D. Boscaini, J. Masci, S. Melzi, M. M. Bronstein, U. Castellani, and P. Vandergheynst, “Learning class-specific descriptors for deformable shapes using localized spectral convolutional networks,” Computer Graphics Forum, vol. 34, no. 5, pp. 13–23, 2015. [Online]. Available:
[^28]: J. Bruna, W. Zaremba, A. Szlam, and Y. Lecun, “Spectral networks and locally connected networks on graphs,” in International Conference on Learning Representations (ICLR2014), CBLS, April 2014, 2014.
[^29]: M. Defferrard, X. Bresson, and P. Vandergheynst, “Convolutional neural networks on graphs with fast localized spectral filtering,” in Advances in neural information processing systems, 2016, pp. 3844–3852.
[^30]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” 2017.
[^31]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul 2017. [Online]. Available:
[^32]: B.-S. Hua, M.-K. Tran, and S.-K. Yeung, “Pointwise convolutional neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 984–993.
[^33]: M. Atzmon, H. Maron, and Y. Lipman, “Point convolutional neural networks by extension operators,” ACM Transactions on Graphics, vol. 37, no. 4, p. 112, Aug 2018. [Online]. Available:
## [^34]: L. Ma, Y. Li, J. Li, W. Tan, Y. Yu, and M. A. Chapman, “Multi-scale point-wise convolutional neural networks for 3d object segmentation
---
“大规模环境中基于激光雷达点云的物体识别”，《IEEE智能交通系统汇刊》，第1–16页，2019年。
[^35]: Y. Li, R. Bu, M. Sun, W. Wu, X. Di, and B. Chen, "Pointcnn: Convolution on x-transformed points," in Advances in Neural Information Processing Systems 31, S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, Eds. Curran Associates, Inc., 2018, pp. 820–830. [Online]. Available:
[^36]: S. Lan, R. Yu, G. Yu, and L. S. Davis, “Modeling local geometric structure of 3d point clouds using geo-cnn,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
[^37]: F. Groh, P. Wieschollek, and H. P. A. Lensch, “Flex-convolution,” Lecture Notes in Computer Science, p. 105122, 2019. [Online]. Available:
[^38]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. Guibas, “Kpconv: Flexible and deformable convolution for point clouds,” 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Oct 2019. [Online]. Available:
[^39]: Q. Hu, B. Yang, L. Xie, S. Rosa, Y. Guo, Z. Wang, N. Trigoni, and A. Markham, "Randla-net: Efficient semantic segmentation of large-scale point clouds," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 11108–11117.
[^40]: W. Wu, Z. Qi, and L. Fuxin, “Pointconv: Deep convolutional networks on 3d point clouds,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
[^41]: J. Uhrig, N. Schneider, L. Schneider, U. Franke, T. Brox, and A. Geiger, "Sparsity invariant cnns," in International Conference on 3D Vision (3DV), 2017.
[^43]: F. Ma, G. V. Cavalheiro, and S. Karaman, “Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera,” 2019 International Conference on Robotics and Automation (ICRA), May 2019. [Online]. Available:
[^42]: F. Ma and S. Karaman, “Sparse-to-dense: Depth prediction from sparse depth samples and a single image,” 2018 IEEE International Conference on Robotics and Automation (ICRA), May 2018. [Online]. Available:
[^44]: X. Cheng, P. Wang, and R. Yang, “Depth estimation via affinity learned with convolutional spatial propagation network,” Lecture Notes in Computer Science, p. 108125, 2018. [Online]. Available:
[^45]: X. Cheng, P. Wang, G. Chenye, and R. Yang, "Cspn++: Learning context and resource aware convolutional spatial propagation networks for depth completion," Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20), 2020.
[^46]: M. Jaritz, R. D. Charette, E. Wirbel, X. Perrotton, and F. Nashashibi, “Sparse and dense data with cnns: Depth completion and semantic segmentation,” 2018 International Conference on 3D Vision (3DV), Sep 2018. [Online]. Available:
[^47]: A. Eldesokey, M. Felsberg, and F. S. Khan, “Confidence propagation through cnns for guided sparse depth regression,” IEEE Transactions on Pattern Analysis and Machine Intelligence, p. 11, 2019. [Online]. Available:
[^48]: J. Tang, F.-P. Tian, W. Feng, J. Li, and P. Tan, “Learning guided convolutional network for depth completion,” 2019.
[^49]: W. Van Gansbeke, D. Neven, B. De Brabandere, and L. Van Gool, “Sparse and noisy lidar completion with rgb guidance and uncertainty,” 2019 16th International Conference on Machine Vision Applications (MVA), May 2019. [Online]. Available:
[^50]: X. Cheng, Y. Zhong, Y. Dai, P. Ji, and H. Li, “Noise-aware unsupervised deep lidar-stereo fusion,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
[^51]: J. Zhang, M. S. Ramanagopalg, R. Vasudevan, and M. Johnson-Roberson, "Listereo: Generate dense depth maps from lidar and stereo imagery," 2019.
[^52]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2016. [Online]. Available:
[^53]: B. Zoph, V. Vasudevan, J. Shlens, and Q. V. Le, “Learning transferable architectures for scalable image recognition,” 2018 IEEE/CVF
计算机视觉与模式识别会议，2018年6月。[在线]。可访问：
[^54]: T. Wang, F. Wang, J. Lin, Y. Tsai, W. Chiu, and M. Sun, "Plug-and-play: Improve depth prediction via sparse data propagation," in 2019 International Conference on Robotics and Automation (ICRA), May 2019, pp. 5880–5886.
[^55]: A. Valada, R. Mohan, and W. Burgard, “Self-supervised model adaptation for multimodal semantic segmentation,” International Journal of Computer Vision, Jul 2019. [Online]. Available:
[^56]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? the kitti vision benchmark suite,” in Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[^57]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3d object detection from rgb-d data,” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 2018. [Online]. Available:
[^58]: X. Du, M. H. Ang, S. Karaman, and D. Rus, “A general pipeline for 3d detection of vehicles,” 2018 IEEE International Conference on Robotics and Automation (ICRA), May 2018. [Online]. Available:
[^59]: K. Shin, Y. P. Kwon, and M. Tomizuka, “Roarnet: A robust 3d object detection based on region approximation refinement,” 2019 IEEE Intelligent Vehicles Symposium (IV), Jun 2019. [Online]. Available:
[^60]: A. Mousavian, D. Anguelov, J. Flynn, and J. Kosecka, “3d bounding box estimation using deep learning and geometry,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul 2017. [Online]. Available:
[^61]: Z. Yang, Y. Sun, S. Liu, X. Shen, and J. Jia, “Ipod: Intensive point-based object detector for point cloud,” 2018.
[^62]: D. Xu, D. Anguelov, and A. Jain, “Pointfusion: Deep sensor fusion for 3d bounding box estimation,” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 2018. [Online]. Available:
[^63]: X. Zhao, Z. Liu, R. Hu, and K. Huang, "3d object detection using scale invariant and feature reweighting networks," in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 9267–9274.
[^64]: M. Jiang, Y. Wu, T. Zhao, Z. Zhao, and C. Lu, "Pointsift: A sift-like network module for 3d point cloud semantic segmentation," 2018.
[^65]: Z. Wang and K. Jia, “Frustum convnet: Sliding frustums to aggregate local point-wise features for amodal,” 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Nov 2019. [Online]. Available:
[^66]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “Pointpainting: Sequential fusion for 3d object detection,” 2019.
[^67]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul 2017. [Online]. Available:
[^68]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, "Joint 3d proposal generation and object detection from view aggregation," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Oct 2018. [Online]. Available:
[^69]: H. Lu, X. Chen, G. Zhang, Q. Zhou, Y. Ma, and Y. Zhao, “Scanet: Spatial-channel attention network for 3d object detection,” in ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2019, pp. 1992–1996.
[^70]: M. Liang, B. Yang, S. Wang, and R. Urtasun, “Deep continuous fusion for multi-sensor 3d object detection,” in The European Conference on Computer Vision (ECCV), September 2018.
[^71]: V. A. Sindagi, Y. Zhou, and O. Tuzel, “Mvx-net: Multimodal voxelnet for 3d object detection,” 2019 International Conference on Robotics and Automation (ICRA), May 2019. [Online]. Available:
[^72]: Z. Wang, W. Zhan, and M. Tomizuka, “Fusing birds eye view lidar point cloud and front view camera image for 3d object detection,” in 2018 IEEE Intelligent Vehicles Symposium (IV), June 2018, pp. 1–6.
[^73]: M. Liang, B. Yang, Y. Chen, R. Hu, and R. Urtasun, “Multi-task multi-sensor fusion for 3d object detection,” in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.
## [^74]: G. P. Meyer, J. Charland, D. Hegde, A. Laddha, and C. Vallespi-Gonzalez, “Sensor fusion for joint 3d object detection and semantic segmentation,” 2019
---
[^75]: S. Gupta, R. Girshick, P. Arbelez, and J. Malik, “Learning rich features from rgb-d images for object detection and segmentation,” Lecture Notes in Computer Science, p. 345360, 2014. [Online]. Available:
[^76]: S. Gupta, J. Hoffman, and J. Malik, “Cross modal distillation for supervision transfer,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2016. [Online]. Available:
[^77]: R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," 2014 IEEE Conference on Computer Vision and Pattern Recognition, Jun 2014. [Online]. Available:
[^78]: S. Gupta, P. Arbelez, R. Girshick, and J. Malik, “Aligning 3d models to rgb-d images of cluttered scenes,” in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015, pp. 4731–4740.
[^79]: J. Schlosser, C. K. Chow, and Z. Kira, “Fusing lidar and images for pedestrian detection using convolutional neural networks,” in 2016 IEEE International Conference on Robotics and Automation (ICRA), May 2016, pp. 2198–2205.
[^80]: S. Shi, X. Wang, and H. Li, “Pointrcnn: 3d object proposal generation and detection from point cloud,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
[^82]: S. Song and J. Xiao, “Sliding shapes for 3d object detection in depth images,” in Computer Vision – ECCV 2014, D. Fleet, T. Pajdla, B. Schiele, and T. Tuytelears, Eds. Cham: Springer International Publishing, 2014, pp. 634–651.
[^81]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Pointpillars: Fast encoders for object detection from point clouds,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
[^83]: S. Wang, S. Suo, W.-C. Ma, A. Pokrovsky, and R. Urtasun, “Deep parametric continuous convolutional neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 2589–2597.
[^84]: S. Song and J. Xiao, “Deep sliding shapes for amodal 3d object detection in rgb-d images,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 808–816.
[^85]: G. P. Meyer, A. Laddha, E. Kee, C. Vallespi-Gonzalez, and C. K. Wellington, “Lasernet: An efficient probabilistic 3d object detector for autonomous driving,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
[^86]: M. Bai, G. Mattyus, N. Homayounfar, S. Wang, S. K. Lakshmikanth, and R. Urtasun, “Deep multi-sensor lane detection,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2018, pp. 3102–3109.
[^87]: F. Wulff, B. Schufele, O. Sawade, D. Becker, B. Henke, and I. Radusch, "Early fusion of camera and lidar for robust road detection based on u-net fcn," in 2018 IEEE Intelligent Vehicles Symposium (IV), 2018, pp. 1426–1431.
[^88]: X. Lv, Z. Liu, J. Xin, and N. Zheng, “A novel approach for detecting road based on two-stream fusion fully convolutional network,” in 2018 IEEE Intelligent Vehicles Symposium (IV), 2018, pp. 1464–1469.
[^89]: D. Yu, H. Xiong, Q. Xu, J. Wang, and K. Li, “Multi-stage residual fusion network for lidar-camera road detection,” in 2019 IEEE Intelligent Vehicles Symposium (IV), 2019, pp. 2323–2328.
[^90]: L. Caltagirone, M. Bellone, L. Svensson, and M. Wahde, “Lidarcamera fusion for road detection using fully convolutional neural networks,” Robotics and Autonomous Systems, vol. 111, p. 125131, Jan 2019. [Online]. Available:
[^91]: Z. Chen, J. Zhang, and D. Tao, “Progressive lidar adaptation for road detection,” IEEE/CAA Journal of Automatica Sinica, vol. 6, no. 3, pp. 693–702, 2019.
[^92]: J. Lee and T. Park, “Fast road detection by cnn-based camera-lidar fusion and spherical coordinate transformation,” IEEE Transactions on Intelligent Transportation Systems, pp. 1–9, 2020.
[^93]: L. Ma, Y. Li, J. Li, C. Wang, R. Wang, and M. A. Chapman, “Mobile laser scanned point-clouds for road object detection and extraction: A review,” Remote Sensing, vol. 10, no. 10, p. 1531, 2018.
[^94]: S. P. Narote, P. N. Bhujbal, A. S. Narote, and D. M. Dhane, “A review of recent advances in lane detection and departure warning system,” Pattern Recognition, vol. 73, pp. 216–234, 2018.
[^95]: Y. Xing, C. Lv, L. Chen, H. Wang, H. Wang, D. Cao, E. Velenis, and F.-Y. Wang, “Advances in vision-based lane detection: algorithms,
“基于ACP的并行视觉集成、评估与展望”，《IEEE/CAA自动化学报》，第5卷第3期，第645–661页，2018年。
[^96]: A. S. Huang, D. Moore, M. Antone, E. Olson, and S. Teller, “Finding multiple lanes in urban road networks with vision and lidar,” Autonomous Robots, vol. 26, no. 2-3, pp. 103–122, 2009.
[^97]: P. Y. Shinzato, D. F. Wolf, and C. Stiller, “Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion,” in 2014 IEEE Intelligent Vehicles Symposium Proceedings, 2014, pp. 687–692.
[^98]: L. Xiao, R. Wang, B. Dai, Y. Fang, D. Liu, and T. Wu, “Hybrid conditional random field based camera-lidar fusion for road detection,” Information Sciences, vol. 432, pp. 543–558, 2018.
[^99]: L. Xiao, B. Dai, D. Liu, T. Hu, and T. Wu, "Crf based road detection with multi-sensor fusion," in 2015 IEEE Intelligent Vehicles Symposium (IV), 2015, pp. 192–198.
[^100]: A. Mogelmose, M. M. Trivedi, and T. B. Moeslund, “Vision-based traffic sign detection and analysis for intelligent driver assistance systems: Perspectives and survey,” IEEE Transactions on Intelligent Transportation Systems, vol. 13, no. 4, pp. 1484–1497, 2012.
[^101]: M. Tan, B. Wang, Z. Wu, J. Wang, and G. Pan, “Weakly supervised metric learning for traffic sign recognition in a lidar-equipped vehicle,” IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 5, pp. 1415–1427, 2016.
[^102]: Y. Yu, J. Li, C. Wen, H. Guan, H. Luo, and C. Wang, “Bag-of-visual-phrases and hierarchical deep models for traffic sign detection and recognition in mobile laser scanning data,” ISPRS journal of photogrammetry and remote sensing, vol. 113, pp. 106–123, 2016.
[^103]: M. Soiln, B. Riveiro, J. Martinez-Snchez, and P. Arias, “Traffic sign detection in mls acquired point clouds for geometric and image-based semantic inventory,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 114, pp. 92 – 101, 2016. [Online]. Available:
[^104]: A. Arcos-Garcia, M. Soilán, J. A. Alvarez-Garcia, and B. Riveiro, "Exploiting synergies of mobile mapping sensors and deep learning for traffic sign recognition systems," Expert Systems with Applications, vol. 89, pp. 286–295, 2017.
[^105]: H. Guan, Y. Yu, D. Peng, Y. Zang, J. Lu, A. Li, and J. Li, "A convolutional capsule network for traffic-sign recognition using mobile lidar data with digital images," IEEE Geoscience and Remote Sensing Letters, vol. 17, no. 6, pp. 1067–1071, 2020.
[^106]: Z. Deng and L. Zhou, “Detection and recognition of traffic planar objects using colorized laser scan and perspective distortion rectification,” IEEE Transactions on Intelligent Transportation Systems, vol. 19, no. 5, pp. 1485–1495, 2018.
[^107]: H. Guan, W. Yan, Y. Yu, L. Zhong, and D. Li, “Robust traffic-sign detection and classification using mobile lidar data with digital images,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 11, no. 5, pp. 1715–1724, 2018.
[^108]: C. Premebida, J. Carreira, J. Batista, and U. Nunes, “Pedestrian detection combining rgb and dense lidar data,” 09 2014, pp. 4112–4117.
[^109]: A. Dai and M. Niener, “3dmv: Joint 3d-multi-view prediction for 3d semantic scene segmentation,” Lecture Notes in Computer Science, p. 458474, 2018. [Online]. Available:
[^110]: A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser, and M. NieBner, “Scannet: Richly-annotated 3d reconstructions of indoor scenes,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul 2017. [Online]. Available:
[^111]: H.-Y. Chiang, Y.-L. Lin, Y.-C. Liu, and W. H. Hsu, “A unified point-based framework for 3d segmentation,” 2019 International Conference on 3D Vision (3DV), Sep 2019. [Online]. Available:
[^112]: M. Jaritz, J. Gu, and H. Su, “Multi-view pointnet for 3d scene understanding,” 2019.
[^113]: H. Su, V. Jampani, D. Sun, S. Maji, E. Kalogerakis, M.-H. Yang, and J. Kautz, “Splatnet: Sparse lattice networks for point cloud processing,” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 2018. [Online]. Available:
## [^114]: J. Hou, A. Dai, and M. NieBner, "3d-sis: 3d semantic instance segmentation of rgb-d scans," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2019. [Online]. Available:
---
[^115]: A. Paszke, A. Chaurasia, S. Kim, and E. Culurciello, “Enet: A deep neural network architecture for real-time semantic segmentation,” 2016.
[^116]: G. Narita, T. Seno, T. Ishikawa, and Y. Kaji, “Panopticfusion: Online volumetric semantic mapping at the level of stuff and things,” 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Nov 2019. [Online]. Available:
[^117]: C. Elich, F. Engelmann, T. Kontogianni, and B. Leibe, “3d bird-eye-view instance segmentation,” Pattern Recognition, p. 4861, 2019. [Online]. Available:
[^118]: D. Comaniciu and P. Meer, "Mean shift: A robust approach toward feature space analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 603–619, 2002.
[^119]: D. Frossard and R. Urtasun, “End-to-end learning of multi-sensor 3d tracking by detection,” 2018 IEEE International Conference on Robotics and Automation (ICRA), May 2018. [Online]. Available:
[^120]: W. Zhang, H. Zhou, S. Sun, Z. Wang, J. Shi, and C. C. Loy, “Robust multi-modality multi-object tracking,” 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Oct 2019. [Online]. Available:
[^121]: J. Luiten, T. Fischer, and B. Leibe, "Track to reconstruct and reconstruct to track," IEEE Robotics and Automation Letters, vol. 5, no. 2, p. 18031810, Apr 2020. [Online]. Available:
[^122]: M. Simon, K. Amende, A. Kraus, J. Honer, T. Smann, H. Kaulbersch, S. Milz, and H. M. Gross, "Complexer-yolo: Real-time 3d object detection and tracking on semantic point clouds," 2019.
[^123]: K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” in International Conference on Learning Representations, 2015.
[^124]: A. Napier, P. Corke, and P. Newman, “Cross-calibration of push-broom 2d lidars and cameras in natural scenes,” in 2013 IEEE International Conference on Robotics and Automation, 2013, pp. 3679–3684.
[^125]: Z. Taylor and J. Nieto, “Automatic calibration of lidar and camera images using normalized mutual information,” in Robotics and Automation (ICRA), 2013 IEEE International Conference on, 2013.
[^126]: G. Pandey, J. R. McBride, S. Savarese, and R. M. Eustice, “Automatic extrinsic calibration of vision and lidar by maximizing mutual information,” Journal of Field Robotics, vol. 32, no. 5, pp. 696–722, 2015.
[^127]: M. Miled, B. Soheilian, E. Habets, and B. Vallet, “Hybrid online mobile laser scanner calibration through image alignment by mutual information,” ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. 3, p. 25, 2016.
[^128]: H.-J. Chien, R. Klette, N. Schneider, and U. Franke, “Visual odometry driven online calibration for monocular lidar-camera systems,” in 2016 23rd International conference on pattern recognition (ICPR). IEEE, 2016, pp. 2848–2853.
[^129]: N. Schneider, F. Piewak, C. Stiller, and U. Franke, “Regnet: Multimodal sensor registration using deep neural networks,” 2017 IEEE Intelligent Vehicles Symposium (IV), Jun 2017. [Online]. Available:
[^130]: G. Iyer, R. KarnikRam, K. M. Jatavallabhula, and K. M. Krishna, “Calibnet: Geometrically supervised extrinsic calibration using 3d spatial transformer networks,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 1110–1117, 2018.
[^131]: S. H. Park, B. Kim, C. M. Kang, C. C. Chung, and J. W. Choi, “Sequence-to-sequence prediction of vehicle trajectory via lstm encoder-decoder architecture,” in 2018 IEEE Intelligent Vehicles Symposium (IV), 2018, pp. 1672–1678.
[^132]: J. Weng, N. Ahuja, and T. S. Huang, “Cresceptron: a self-organizing neural network which grows adaptively,” in [Proceedings 1992] IJCNN International Joint Conference on Neural Networks, vol. 1, June 1992, pp. 576–581 vol.1.
[^133]: A. R. Dhamija, M. Gnther, J. Ventura, and T. E. Boult, “The overlooked elephant of object detection: Open set,” in 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 1010–1019.
[^134]: K. Wong, S. Wang, M. Ren, M. Liang, and R. Urtasun, “Identifying unknown instances for autonomous driving,” in Conference on Robot Learning, 2020, pp. 384–393.
[^135]: E. Imre, J. Guillemaut, and A. Hilton, “Through-the-lens multi-camera synchronisation and frame-drop detection for 3d reconstruction,” in 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization Transmission, 2012, pp. 395–402.
[^136]: Y. Li, D. Roblek, and M. Tagliasacchi, “From here to there: Video in betweening using direct 3d convolutions,” arXiv preprint arXiv:1905.10240, 2019.
[^137]: J. Huang, V. Rathod, C. Sun, M. Zhu, A. Korattikara, A. Fathi, I. Fischer, Z. Wojna, Y. Song, S. Guadarrama, and et al., “Speed/accuracy trade-offs for modern convolutional object detectors,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul 2017. [Online]. Available:
[^138]: Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, and J. Xiao, "3d shapenets: A deep representation for volumetric shapes," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2015. [Online]. Available:
崔耀东于2017年在中国西安长安大学获得自动化专业学士学位，2019年在英国南安普顿大学获得系统、控制与信号处理专业硕士学位。他目前正于加拿大滑铁卢大学机械工程系滑铁卢认知自动驾驶（CogDrive）实验室攻读博士学位。他的研究方向包括传感器融合、智能车辆感知以及驾驶员情绪检测。
陈仁于中国武汉华中科技大学获得电子科学与技术专业学士学位，后在中国航天工程研究院获得计算机科学硕士学位。他曾任职于百度深度学习研究院和腾讯自动驾驶实验室。他的研究兴趣涵盖计算机视觉、机器人感知、实时密集三维重建以及机器人运动规划。
储文博于2008年在中国北京清华大学获得汽车工程专业学士学位，随后在德国亚琛工业大学获得汽车工程硕士学位，并于2014年在北京清华大学获得机械工程博士学位。他目前担任中国智能网联汽车研究院有限公司的研究员，该公司也被称为国家智能网联汽车创新中心。他的研究兴趣包括智能网联汽车。
车辆、新能源汽车以及车辆动力学与控制
陈龙于中国武汉的武汉大学获得通信工程学士学位以及信号与信息处理博士学位。他目前是中国广州中山大学数据科学学院副教授。他的研究兴趣包括自动驾驶、机器人技术和人工智能领域，已发表70余篇相关论文。他担任《IEEE智能交通系统汇刊》的副编辑。
---
Daxin Tian is currently a professor in the School of Transportation Science and Engineering, Beihang University, Beijing, China. He is IEEE Senior Member, IEEE Intelligent Transportation Systems Society Member, and IEEE Vehicular Technology Society Member, etc. His current research interests include mobile computing, intelligent transportation systems, vehicular ad hoc networks, and swarm intelligent.
Ying Li received the M.Sc. degree in remote sensing from Wuhan University, China, in 2017. She is currently pursuing the Ph.D. degree with the Mobile Sensing and Geodata Science Laboratory, Department of Geography and Environmental Management, University of Waterloo, Canada. Her research interests include autonomous driving, mobile laser scanning, intelligent processing of point clouds, geometric and semantic modeling, and augmented reality.
曹东浦于2008年在加拿大康考迪亚大学获得博士学位。他是加拿大驾驶认知与自动驾驶研究主席，目前担任加拿大滑铁卢大学副教授及滑铁卢认知自动驾驶（CogDrive）实验室主任。他当前的研究重点是驾驶认知、自动驾驶和认知自动驾驶领域，已发表200余篇论文并出版3部著作。他曾于2012年获得SAE Arch T. Colwell杰出奖、2020年IEEE VTS最佳车载电子论文奖，以及来自ASME和IEEE会议的三项最佳论文奖。曹教授现任《IET智能交通系统杂志》副主编，同时担任《IEEE车辆技术汇刊》《IEEE智能交通系统汇刊》《IEEE/ASME机电一体化汇刊》《IEEE工业电子汇刊》《IEEE/CAA自动化学报》《IEEE计算社会系统汇刊》以及《ASME动态系统、测量与控制杂志》的副编辑。他还曾担任《车辆系统动力学》《IEEE SMC：系统汇刊》和《IEEE物联网杂志》的客座编辑。他还是SAE车辆动力学标准委员会的成员，并担任IEEE ITSS合作驾驶技术委员会的联合主席。曹教授是IEEE VTS杰出讲员。