# 自动驾驶中道路参与者检测的高效在线迁移学习 杨瑞，IEEE学生会员，闫志 $^{ID}$，IEEE高级会员，杨涛 $^{ID}$，IEEE会员，王耀南 $^{ID}$，Yassine Ruichek $^{ID}$，IEEE高级会员 摘要——三维目标检测提供的空间信息对自动驾驶至关重要。近年来，基于视觉的目标检测在二维/三维领域均取得了显著进展，但三维激光探测与测距（LiDAR）这类非视觉传感器在目标定位精度（ACC）上仍具备天然优势。然而，当前挑战仍在于LiDAR生成的稀疏点云可解释性差，且人工标注难度大。本文针对包含行人、骑行者和车辆在内的城市道路参与者，提出了一种基于多模态传感器系统的在线迁移学习三维目标检测框架。该框架旨在自动高效地迁移目标检测能力。 ![Image](images/236760771d3cc7f1e2eaeb96e5e518b3bbd32474a5b6adb4780426330ffd6bf1.jpg) 通过基于多目标跟踪器的流程实现从二维单目相机到三维LiDAR的迁移，支持不同模态传感器之间的知识迁移。此外，本文创新性地将在线随机森林（ORF）——一种天生具备快速性的多分类学习方法——集成到我们的系统中。在KITTI和Waymo这两个差异显著的数据集上开展的实验表明，所提框架不仅能在单个数据集内快速构建道路参与者的三维检测能力，还能在跨数据集场景下保持该能力。这说明所提框架尤其适用于无人车的原位部署，也可解决当前离线训练检测器泛化能力不足的问题。 关键词——三维目标检测、自动驾驶、激光探测与测距（LiDAR）、多模态感知、在线机器学习。 ## 一、引言 目标检测是自动驾驶环境感知的核心组成部分，检测结果可进一步用于避障、轨迹 稿件于2023年7月10日收到，2023年7月31日录用。出版日期为2023年8月18日，最新版本日期为2023年10月2日。本研究部分得到中国国家留学基金委通过CSC-UT-INSA项目资助，部分得到Contrats de Plan État-Région（CPER 2015–2020 Mobilitech）项目资助，部分得到中国国家自然科学基金项目（编号62103332）资助，部分得到中法青年人才项目资助。负责本文审稿并同意出版的副主编为Brajesh K. Kaushik博士。（通讯作者：闫志） 杨瑞、闫志和Yassine Ruichek就职于法国蒙贝利亚尔F-25200，勃艮第-弗朗什-孔泰大学UTBM CIAD UMR 7533（电子邮箱：; ; ）。 杨涛就职于中国西安西北工业大学无人系统研究院，邮编710072（电子邮箱：）。 王耀南就职于中国长沙湖南大学电气与信息工程学院，邮编410082，同时任职于中国长沙机器人视觉感知与控制技术国家工程研究中心，邮编410082（电子邮箱：）。 数据可在线获取，地址为，在线学习。 数字对象标识符 10.1109/JSEN.2023.3305592 预测与社会行为分析。近年来，基于视觉的目标检测方法取得了重大突破，这类方法可在图像中输出二维边界框，确定不同目标的位置和对应类别 [^1]，[^2]。尽管这些二维信息能够帮助我们更好地理解环境，但远不足以支撑现实场景中的自动驾驶应用。我们需要目标的长、宽、高以及偏转角这类三维信息，它可以为后续车辆的路径规划和控制策略提供更全面的环境感知。三维信息可通过多相机系统估计得到 [^3]，[^4]，[^5]；但该方案的感知精度（ACC）有限，且不可避免地会受到光照条件的影响。 过去十年间，三维激光探测与测距（LiDAR，激光雷达）在自动驾驶领域的应用得到了大幅增长 [^6]。这类传感器的一项重要特性是能够提供精确、长距离、大视角的距离测量，并且与视觉传感器相比，激光雷达对光照变化具有更强的鲁棒性。但激光雷达扫描中的目标检测可能极具挑 --- 战性，因为该传感器对整个环境的感知表示仅为一组稀疏点，不存在易于学习的颜色和纹理特征。更困难的是，面对环境变化 [^7]，[^8] 以及不同的环境场景 [^9]，[^10]，基于特征的分类器通常需要微调甚至重新训练，才能在新场景下达到可接受的性能。解决这一困境的一种方法是训练通用分类器，但这需要大量标注数据，通常伴随着高昂的人力和机器成本。对于三维激光雷达数据而言，标注稀疏点是一项繁琐的工作，还容易出现人为错误，尤其是当需要对目标位姿、形状和尺寸的诸多变化进行正确分类时，更是如此。 因此，对于工业界和学术界来说，一方面需要将人们从繁琐的数据标注和重复的监督训练中解放出来，另一方面需要车辆具备自主持续学习的能力，以适应大多数环境变化，仅在罕见的边缘场景中才需要人工干预。本文提出了一个可同时满足上述两项要求的框架，将我们已验证有效的在线机器人学习方法 [^11] 扩展应用到自动驾驶领域。该框架赋予车辆能力，可在其部署环境中短时间内高效自主学习得到高性能的基于三维激光雷达的目标检测器，实现对行人、骑行者和汽车等道路参与者的三维检测。在自动驾驶领域，车辆运行的环境通常复杂多变，这对基于离线学习（例如统计学习）的感知模型提出了巨大挑战。在线方法通过及时学习新样本更新模型，支持模型边训练边使用，从而适应环境变化和不同场景，进而提升车辆的长期自主性 [^12]。 本文方案的概念图如图1所示。其核心思想是通过在线知识迁移流水线，让训练难度较高的基于点云的检测器受益于现成成熟的基于图像的检测器。具体来说，首先将三维激光雷达生成的点云分割为簇，理想情况下每个簇对应点云中显示的一个目标。随后，在线学习分类器（在线随机森林（ORF）[^13]）对这些簇所属的类别进行概率估计。同时，将现成检测器应用于相机生成的二维图像，得到图像中目标的二维边界框及其类别置信度。之后，利用不同传感器之间已标定的校准矩阵，对来自不同模态检测器的结果进行关联。多目标跟踪器将不同帧中带有目标类别概率的簇关联到各自的运动轨迹，通过计算轨迹的概率来确定它们（以及对应的簇）属于哪一个目标类别。最后，这些标注好的 ![Image](images/9f1f63ef700fc7c5b1b466a06eb10b1dcaa8238c5a5e90fbf7c2572846a08432.jpg)
Fig. 1. Conceptual diagram illustrating the transfer learning process from images to point clouds. Initially, the detection outputs of the same object, including the detection of a pretrained visual-based 2-D detector (shown in green) and the detection of a nonvisual detector (shown in blue), are matched based on the spatial relationship of the objects in the scene. Subsequently, the detections in different point cloud frames are correlated using a multitarget tracker. The trajectories generated by the tracker (shown in orange) are probabilistically estimated to generate labeled samples required for online learning. Finally, a classifier is trained using ORF with the generated training samples, improving the object detection in 3-D space and forming a closed-loop system. This learning process is iterative.
簇被作为训练样本输入ORF进行学习。学习过程随时间和空间变化不断迭代，最终收敛并保持稳定。 本文是我们先前工作[^14]的扩展，包含以下新增贡献。 1）我们对信息融合问题给出了正式的问题描述，并进一步阐述了所提出的结合时空关联与闭环检测的在线迁移学习框架。 2）在具体实现中，在线学习检测器的输出同时成为框架的输入，真正实现了闭环系统的“边用边学”。 3）我们开展了全面的实验分析，具体包括：1）将此前论文[^14]中对在线学习检测器目标分类性能的评估，扩展到基于多传感器融合的整体检测性能评估，并评估多模态检测器的协同检测性能；2）使用KITTI提供的测试集对本文框架进行评估，并将实验结果提交到KITTI基准套件供社区对比；3）开展跨数据集（即跨环境）实验，评估本文所提框架的在线适应性。 本文的剩余部分结构安排如下：第二节概述相关工作，重点介绍三维目标检测和在线机器学习。第三节对本文研究的问题进行形式化定义。接着，第四节介绍我们的在线学习框架，第五节介绍实现细节。第六节对所提框架进行全面的实验评估。最后，第七节讨论结论与未来研究方向。 --- ### II. 相关工作 ### A. 三维目标检测 近年来，得益于硬件计算能力提升、软件与算法发展，尤其是深度神经网络取得的巨大成功[^3]、[^4]、[^5]，基于视觉传感器的三维目标检测取得了长足进步。然而，由于视觉传感器获取目标可靠位姿的能力有限，且对光照条件敏感，研究人员也一直在积极探索基于其他非视觉传感器的检测方法。例如，Dequaire等人[^15]使用循环神经网络（RNN）捕捉两台三维激光雷达感知到的环境状态演化，以无监督方式训练了一个表示模型，并将其用于帮助自动驾驶汽车检测和跟踪周边道路参与者。Chen等人[^16]提出了一种在三维激光雷达点云中分割运动目标并自动生成目标标签的方法，该方法使用多目标跟踪器生成运动目标轨迹，以此优化离线粗检测结果。Majer等人[^17]注意到基于相机和激光雷达的检测方法在雾天条件下性能低下，因此提出使用毫米波雷达，并开发了基于支持向量机（SVM）的行人检测器。 然而，不同模态的传感器各有优缺点[^7]。仅依赖单一感知模态无法满足自动驾驶的需求，尤其是在安全性要求上更是如此。因此，多模态传感器感知方案被认为颇具前景，不同模态的数据融合也得到了广泛研究。例如，González等人[^18]探索了单目相机生成的RGB图像与三维激光雷达生成的点云的融合方案，为每个视图训练了随机森林（RF），之后将所有随机森林组合为最终的集成模型，用于行人、骑行者和车辆检测。基于相同的传感器组合，Qi等人[^19]提出先在RGB图像中生成二维目标候选区域，再将每个二维区域拉伸为三维视锥，从三维激光雷达数据中提取视锥内的点云，最后应用PointNet[^20]从视锥内的点中估计三维边界框。该方法与本文方法在知识迁移思路上相似，即从RGB相机迁移到三维激光雷达。核心区别在于，该方法仅使用瞬时空间信息（即检测），而本文方法同时考虑了空间和时间信息（即轨迹）。 ### B. 在线机器学习 除[^17]外，上述方法均为离线学习方法。离线学习要求数据完整，通常需要使用大量人工标注数据训练得到全局最优模型，同时允许人工干预（例如微调训练参数、重新训练模型）。此外，训练完成的模型部署到智能体后不会再发生变化。与之相对，在线机器学习指智能体能够随时间推移自发自动地更新知识模型，该方法不对数据完整性、标注数据、人工干预等内容做前提假设[^12]。该领域的开创性工作可追溯至二十多年前，Thrun [^21]提出了移动机器人应具备终身学习能力的先进理念。近年来，随着硬件、算法等各类相关技术的快速发展，针对移动机器人的在线学习研究愈发广泛[^11]、[^17]、[^22]、[^23]、[^24]、[^25]。其中，Teichman和Thrun [^22]针对三维激光雷达数据中的目标轨迹分类问题，提出了一种基于期望最大化（EM）算法的半监督学习方法，并证明动态目标检测能力的学习可受益于多目标跟踪系统。该学习过程从少量人工标注的种子轨迹，以及预先在无行人、骑行者或车辆的区域收集的大量背景轨迹开始。与之相对，本文研究进一步聚焦于缺乏或仅拥有不完整背景知识情况下的原位学习，即背景样本会在模型学习过程中被在线判别。原位学习主要侧重利用本地资源和数据，直接在目标设备或系统上训练模型，重点在于捕捉部署环境的具体特征与上下文。而在线学习是一个更宽泛的概念，涵盖了模型随新数据到来进行动态更新的过程，无论训练发生在目标设备上还是远程进行。 另一方面，考虑到自动驾驶同时需要满足快速学习和多分类的要求，ORF [^13]是一种值得提及的方法。该方法结合了在线装袋和极端RF的思想，提出了在线决策树生长策略，使在线RF的性能收敛至离线RF的水平。 ### C. 讨论 通过对现有工作的调研，目前尚无有效方法可让车辆高效自主地学习和更新针对道路参与者（尤其是动态目标）的检测模型。这一需求在自动驾驶车辆常用的三维激光雷达上尤为突出。使用迁移学习[^26]可通过利用源域和源学习任务的知识，改进目标域中目标预测函数的学习过程，其目标是使模型适配目标域和目标任务，从而在目标场景下获得良好的泛化能力和更优的性能。当源域和目标域都有充足的标注数据时，迁移学习通常以离线方式使用。与之相对，当目标域缺乏标注数据，或目标域会随时间发生变化时，在线迁移学习方法尤为实用。离线方式与在线方式的选择取决于标注数据的可得性、目标域的性质以及学习任务的具体需求。 在我们针对移动机器人开展的在线迁移学习探索中，一个直观的思路是利用视觉传感器训练非视觉传感器。后者可在标注信息的辅助下，利用无标注数据以自监督方式完成学习。 --- 来自前者的标注信息。整个学习框架可被形式化为一个在线迁移学习范式。我们将ORF整合到该学习框架中的原因是，RF本身训练速度快，适合多分类学习且易于解释，这些特性都符合学术界和工业界对自动驾驶车辆组件的预期要求。 ### 三、问题建模 ### A. 在线迁移学习 根据[^26]，迁移学习可形式化表述如下。给定源域$\mathcal{D}_S$和学习任务$\mathcal{T}_S$，以及目标域$\mathcal{D}_T$和学习任务$\mathcal{T}_T$，迁移学习的目标是利用$f_T(\cdot)$和$\mathcal{D}_T$中的知识，帮助提升目标域$\mathcal{D}_S$中目标预测函数$\mathcal{T}_S$的学习效果，其中$\mathcal{D}_S \neq \mathcal{D}_T$，或$\mathcal{T}_S \neq \mathcal{T}_T$。在本文研究背景下，训练完善的检测器$d_i$对目标$x_i$进行检测，结果记为$\mathcal{W} = (x_i, l_i, d_i)$，其中$l_i \in L$是$d_i$给出的标签，由此构成了代表学习任务$\mathcal{T}_S$结果的标注集。此外，同一目标$x_i$也可被另一个检测器（例如$d_j$）利用不同数据源（即目标域$\mathcal{D}_T$）检测，但由于$d_j$未经过充分训练，无法得到可靠标签，最终得到$U = (x_i, l_j, d_j)$，其中$l_j = \emptyset$。该集合U被称为无标注集，代表学习任务$\mathcal{T}_T$可待提升的结果，其中$l_j \in L$是需要学习的标签集合。我们的目标是根据标注集$d_j$和无标注集$f: U \xrightarrow{W} L$之间的关联，在线学习得到检测器$\mathcal{W}_x$ $U_x$。 ### B. 信息融合 我们进一步将$f:U \to L$形式化为一个信息融合问题。设Y表示由有限检测器集合$D = \{d_1, d_2, \ldots, d_n\}$生成的检测结果，这些检测器会随时间持续处理点云、激光扫描、图像等多模态传感数据。设X为环境中可被检测器检测到的所有目标，则每个检测结果y可定义如下： $$ y_{t}^{d}=(x_{i},l,b,d,t)\in Y $$ 其中$x_i$表示检测器d在时刻t检测到的目标，满足$x_i \in X_d$，l和b分别表示检测器d给出的关于$x_i$的分类后验概率，以及目标相对于传感器参考坐标系的坐标。因此，从不同传感数据中提取信息的融合过程可形式化为 $$ \bigcap_{p=1,p\neq q}^{n}\{x_{i}\}=X_{d_{p}}\cap X_{d_{q}} $$ 它表示不同检测器对同一目标$x_{i}$多次检测结果的交集。 ### 四、整体框架 基于上述目标问题的形式化描述，本文提出的在线迁移学习框架如图2所示。它包含四个模块，分别是现成预训练检测器( $D_{off}$)、边用边学检测器( $D_{learn}$)、多目标跟踪器( $T_{multi}$)和样本标注器( $A_{sample}$)。$D_{off}$指的是 ![Image](images/9199a6f6e3796988835e7224d22d094c810067eb5217b1ddea845f2156dd502a.jpg)
Fig. 2. Block diagram illustrates the overall framework of online transfer learning. The dotted line indicates that detection and confidence provided by learn-by-use detector will be further refined and learned online over time from the help of off-the-shelf detector.
![Image](images/437c4fb9543b399787b01bdd178423ee0008c30d5c3347aa094800faae93c8b1.jpg)
Fig. 3. Schematic of the working principle of the sample annotator. The squares represent one detector and the circles represent the other.
具有高置信度的预训练检测器。在本文语境下，它可以进一步具体化为基于视觉传感器的目标检测器。$D_{learn}$ 指的是无需人工干预、需要在线学习的检测器，它边学习边投入使用，并在 $D_{off}$ 的监督下随时间不断优化。它可以具体化为基于非视觉传感器的检测器。 $T_{multi}$ 在该框架中发挥关键作用，它对来自不同检测器的检测结果进行时空关联，实际构建了一条从 $D_{off}$ 到 $D_{learn}$ 的知识输出流水线。其工作原理可以形式化为 $$ \mathrm{T r a c k}_{x_{i}}=\left[\begin{matrix}{y_{t-m}^{d_{1}}}&{\cdots}&{y_{t}^{d_{1}}}&{\cdots}&{y_{t+n}^{d_{1}}}\\ {\vdots}&{\ddots}&{\vdots}&{\ddots}&{\vdots}\\ {y_{t-m}^{d_{i}}}&{\cdots}&{y_{t}^{d_{i}}}&{\cdots}&{y_{t+n}^{d_{i}}}\\ {\vdots}&{\ddots}&{\vdots}&{\ddots}&{\vdots}\\ {y_{t-m}^{d_{k}}}&{\cdots}&{y_{t}^{d_{k}}}&{\cdots}&{y_{t+n}^{d_{k}}}\\ \end{matrix}\right]_{x_{i}}. $$ 该轨迹由同一目标 $x_i$ 在不同时刻 $t_i^1$ 组成，可能存在多个 $k \in \mathbb{R}^+$ 检测器，这些检测器可能使用不同模态的传感器数据。此外，无检测输出也是一种可接收的信息，表明“检测器d在时刻t正常工作，但未检测到目标 $x_i$ 被检测到。” $A_{sample}$ 实时估计每个目标轨迹（实际上是该轨迹上所有目标样本）的类别，随后为它们标注标签并输入给 $D_{learn}$ 进行在线学习。$A_{sample}$ 工作原理的可视化如图3所示。具体而言，给定一条包含来自不同检测器的时间序列检测样本的目标轨迹，该目标 --- ![Image](images/9977ffb0b720a2bfe4030b177be8aeba3e2a1f327a297324c5179ea058288d9d.jpg)
Fig. 4. Detailed system block diagram of efficient online transfer learning for object detection based on multimodal perception. The RGB image is fed to an off-the-shelf visual detector to get the bounding box of the object in the 2-D image and its probability of belonging to an object. At the same time, the point cloud generated by 3-D LiDAR is ground-filtered, segmented into different clusters and then sent to the multitarget tracker. In the latter spatial association, the 3-D bounding boxes of the clusters are projected into synchronized 2-D image frames to match the visual detection. The clusters are then input to a temporal association module to generate object trajectories. Next, the sample annotator estimates the probability that the trajectory belongs to a certain class, so as to determine the labels of all the samples on the trajectory, which is used for online learning of the learn-by-use detector. The green line represents detection, and the blue line represents learning, which together constitute the closed-loop structure of online learning.
可以在任意时刻t被一个或多个检测器检测到，同时给出该目标所属类别的置信度。轨迹上所有样本的标签通过融合所有样本的置信度来确定。$D_{learn}$ 提供的样本会被送回自身进行学习。$D_{off}$ 提供的样本将被赋予最终标签。 更具体地说，学习过程由 $A_{sample}$ 初始化，它会同时考虑 $W_{w}$ 和 $U_{u}$ 分析整条轨迹上目标的置信度，识别出分类正确和分类错误的样本以构建训练集。随后将训练集交给分类器训练，即估计初始模型 $\theta_{0}$。在此之后，学习过程以迭代自助法的方式推进。在第k次迭代中，上一次迭代训练得到的分类器对整个未标记集进行分类 $$ l_{u}^{k}=f(u|\theta_{k-1}),\quad u\in U_{u}. $$ 这些样本会被添加到 $A_{sample}$ 中并更新标签。迭代结束时，分类器会被重新训练，即重新估计 $\theta_{k}$。该过程不断重复，直到收敛或满足其他停止准则。在线迁移学习的核心要素是 $A_{sample}$ 对目标类别的估计，对不同模态数据检测结果的独立估计可以实现误差补偿。检测器中学习得到的分类器，能够借助其他检测器提供的辅助标注，实现在线连续数据流处理过程中的从零开始学习。同时，学习得到的分类器会在数据流的每一帧中被评估，识别出误差并在线更新，避免未来再出现相同错误。 ### 五、实现 本节我们基于所提出的通用框架描述了一个具体实现方案。一方面，该实现用于解决自动驾驶领域中三维激光雷达数据难以手动标注的问题；另一方面，它让基于三维激光雷达的检测器能够应对环境变化，适配不同环境甚至长尾问题。本实现完全基于ROS开发，采用C++与Python混合编码，模块化程度极高，已向研究社区开源。所提系统的详细模块框图如图4所示，下文将逐一介绍每个模块。 ### A. 现成检测器 现成图像检测器基于当前最优的深度学习方法，以此保证检测性能。该检测器在二维图像中检测汽车、骑行者和行人，输出目标的二维边界框以及对应的检测置信度（即类别和预测分数）。为了在检测器的准确率（ACC）和实时性能之间取得平衡，我们使用三种广受认可的方法开展了全面测试，分别为YOLOv3 [^2]、Faster R-CNN [^1] 和 EfficientDet [^27]。这些方法均在KITTI数据集 [^28] 上完成评估，结果如表I所示。训练集、验证集和测试集的详细配置见第六节。 表I给出了不同方法处理单帧所需的时间，以及三类目标检测的平均精度均值（mAP）。可以看出，YOLOv3在三者中运行速度最快，但检测精度有限。Faster R-CNN取得了最优的检测 ---
TABLEI
PERFORMANCE EVALUATION OF THREE DEEP-LEARNING-BASED 2-D DETECTORS
ModelCarPedestrianCyclistRuntime
YOLOv3 [^2]59.73%38.51%31.92%21ms
Faster R-CNN [^1]81.57%60.53%57.83%2635ms
EfficientDet (D1) [^27]75.83%51.69%46.92%34ms
结果，但牺牲了运行速度。EfficientDet则在两个指标之间取得了良好的平衡。 ### B. 边用边学检测器 需要在线学习的检测器采用流水线结构而非端到端结构，因为前者拥有更好的可解释性，更符合自动驾驶车辆的产业需求。具体而言：1）首先将三维激光雷达生成的点云输入滤波器去除地面点；2）然后对滤波后的点云进行分割，生成独立的聚类簇；3）接下来对标记为感兴趣目标的聚类簇进行特征提取；4）最后将特征向量送入在线分类器进行学习。下文我们将详细介绍这四个模块。 1) 地面滤波：地面滤波可有效减轻后续计算负担，同时提升点云分割的ACC。常用方法包括阈值法[^23]和拟合法[^29]。前者计算简单，适用于平坦地面或水平安装的激光雷达；后者计算相对复杂，但对各类地形和传感器安装角度的鲁棒性更强。本文系统采用了[^29]中提出的地面平面拟合（GPF）方法。该方法首先将点云沿x轴（车辆行驶方向）均匀分割为多个片段，随后对每个片段，确定性提取一组高度值较低的种子点，以估计该片段地面的初始平面模型；利用该模型评估片段内的每个点，计算得到该点到候选平面正投影的距离；接着将该距离与预定义阈值比较，判断该点是否属于地面；属于地面的点被用作种子，对新平面模型进行精细化估计，该过程重复有限次数；最终，拼接每个点云片段提取的地面点，得到完整地面点云。图5展示了一个地面移除结果的示例。 2) 点云分割：本文采用Autoware[^30]提出的聚类方法对滤波后的点云进行分割。非地面点云作为该模块的输入，被定义为一个包含I个点的集合 $$ \mathbf{P C}=\left\{\mathbf{p c}_{i}|\mathbf{p c}_{i}=(x_{i},y_{i},z_{i})\in\mathbb{R}^{3},i=1,\ldots,I\right\}. $$ 为了减轻聚类的计算负担，这些点首先从三维投影到二维 $$ PC^{\prime}=\lambda PC,\quad\lambda=(1,1,0). $$ 随后在PC $^{'}$上执行聚类，一个聚类被定义为 $$ C_{j}\subset\mathrm{PC}^{\prime},\quad j=1,\ldots,J $$ ![Image](images/759c783c996b68dc0e067b1493c85624131447d2e84f8bcb4fa5a0e2125473c1.jpg)
Fig. 5. Schematic of ground filtering. On the left is the original point cloud, and on the right is the result after using GPF. It can be seen that most of the points belonging to the ground are removed, and a small number of distant points representing slopes still exist.
TABLE II
FEATURES FOR CLASSIFIER TRAINING
FeatureDescriptionDimension
$f_{1}$Number of points included in the cluster1
$f_{2}$Minimum cluster distance from the sensor1
$f_{3}$3D covariance matrix of the cluster6
$f_{4}$Normalized moment of inertia tensor6
$f_{5}$Slice feature for the cluster20
$f_{6}$Reflection intensity distribution27
其中J为聚类的总数量，且 $$ C_{j}\cap C_{k}=\emptyset,\quad\mathrm{f o r~}j\neq k,\mathrm{~i f~}\min\|\mathrm{p c}_{j}-\mathrm{p c}_{k}\|_{2}\geq\mathrm{d i s} $$ 其中点集$\mathrm{pc}_j, \mathrm{pc}_k \in \mathrm{PC'}$分别属于点聚类$C_j$和$C_k$，dis是欧氏距离阈值。最后，采用体积滤波过滤掉体积过大或过小的聚类 $$ \begin{aligned}\overline{C}=\left\{C_{j}|L_{\min}\leq len_{j}\leq L_{\max}\right.\\ \left.W_{\min}\leq w_{j}\leq W_{\max},H_{\min}\leq h_{j}\leq H_{\max}\right\}\end{aligned} $$ 其中$l_j$、$w_j$和$h_j$分别表示包围$^2$的最小立方体$C_j$的长、宽、高。该滤波步骤可移除大部分背景物体，因此提升了流水线中后续模块的效率。 3) 特征提取：从聚类结果中提取6类特征（共61维，如表II所示），用于下一步的分类器训练。每个样本$C_j$的特征值集合构成一个向量$f_j = (f_1, \ldots, f_6)$。$f_1$到$f_4$的特征由Navarro-Serment等人引入[^31]，而特征$f_5$和$f_6$由Kidono等人提出[^32]。这些特征的选择主要基于自动驾驶实时感知和轻量车载计算的需求[^24]。各特征的性能对比可参见[^24]、[^31]和[^32]。 4) 在线分类器：采用ORF方法[^13]进行在线分类器学习。与我们之前工作[^11]中使用的SVM相比，RF具有训练速度快、支持多分类的固有优势。经典RF算法采用批量训练，基于全局数据生成决策树，无法满足在线学习的需求。与之相对，ORF提出了一种在线决策树生长流程，节点是否分裂取决于：1) 当前节点内是否有足够的样本，以保证 --- 统计结果的鲁棒性，以及2) 该分裂对于分类任务而言足够有效。这一思路被进一步具体化为 $$ |R_{j}|>\alpha\land\exists s\in S:\triangle L\left(R_{j},s\right)>\beta $$ 其中$\alpha$是节点分裂前需要观测到的最小样本数，$\beta$是分裂需要达到的最小增益，$R_j$为决策节点，$\triangle L(R_j, s)$是节点j相对于测试s的增益，其衡量方式为 $$ \triangle L\left(R_{j},s\right)=L\left(R_{j}\right)-\frac{\left|R_{jls}\right|}{\left|R_{j}\right|}L\left(R_{jls}\right)-\frac{\left|R_{jrs}\right|}{\left|R_{j}\right|}L\left(R_{jrs}\right) $$ 其中$R_{jls}$和$R_{jrs}$是基于s划分得到的左分区和右分区。显然，该方法的核心思路是选取增益最高的测试作为节点分裂决策 $$ s_{j}=\operatornamewithlimits{a r g m a x}_{s\in S}\triangle L\bigl(R_{j},s\bigr). $$ 此外，我们在原始ORF的基础上新增了对流数据、小批量学习和实时模型存储的支持。更多细节可参见我们发布的代码。 ### C. 多目标跟踪器 1) 空间关联：在我们的整体框架中，多目标跟踪器被设计为将不同检测器松连接，实现多源信息融合。在自动驾驶领域，不同传感器之间的标定以及传感器生成数据的硬同步，目前实际上已经是两项标准操作。基于这一事实，同时为了最大化已实现系统的性能，我们首先将点云中的三维检测 bounding box 投影到二维图像，再通过计算交并比（IoU）$^{3}$，将其与原生二维检测 bounding box 进行比较，判断二者是否为同一目标的不同检测结果。如果判断为真，则将这些检测结果关联。该步骤可看作t时刻空间信息的融合。下文给出了描述空间关联算法的伪代码。 ```pseudo // Algorithm 1: Spatial Association at Time t Input: Detected objects in image $\{O\}$, Clusters $\{\overline{C}\}$ and IoU threshold $\theta_{iou}$ Output: Annotated clusters $\{C\}$ 1: for each cluster $\overline{C}_i$ in $\overline{C}$ do 2: Project $\overline{C}_i$ to 2D space in image as Project_i 3: while there exists an object $O_j \in \{O\}$ do 4: if $IOU(O_{bbox}, Project_i) \geq \theta_{iou}$ then 5: let $\theta_{iou} \leftarrow IOU(O_{j}^{bbox}, Project_i)$. 6: let $\overline{C}_i^{label} \leftarrow O_j^{label}$. 7: end if 8: Remove $O_j$ from $\{O\}$. 9: end while 10: end for 11: Return the clusters as $\{C\}$. 2) Temporal Association: Second, detections at different times also need to be associated. This step can be done on 2-D images or 3-D point clouds. We choose the latter because 3-D LiDAR has a wider field of view and is robust to different lighting conditions, enabling us to associate more and better samples to ensure the efficiency of online learning. Specifically, the Autoware's multitarget tracker is integrated into our system for temporal association of samples, which is based on probabilistic data association (PDA), unscented Kalman filter (UKF), and interactive multiple models (IMMs). The PDA algorithm updates the target state according to the weighted sum of the probabilities of each possible target state update. The UKF method is a combination of the unscented transform (UT) and the standard Kalman filter. Through the UT transformation, the nonlinear system equations can be fit to the standard Kalman filter system under the assumption of linearity. This can effectively overcome the problems of low estimation ACC and poor stability, thus providing robust tracking performance. ``` 其中 $\mu_{k-1}^j$是模型j在 $k-1$处的概率； $\pi_{ji}$表示目标运动模型从模型j转移到模型i的概率。 $\hat{\mu}_{k|k-1}^i$的定义为 IMM可以构建多个运动模型，对目标的运动状态进行联合估计，该算法包含四个步骤：交互、滤波、模型概率更新和估计融合。状态交互体现了该方法的核心思想。具体而言，模型i中滤波器的输入是上一时刻各滤波器的联合估计，设k-1时刻和k时刻对应的匹配模型分别为j和i，则联合概率公式为 $$ \mu_{k-1|k-1}^{j|i}=\frac{1}{\hat{\mu}_{k|k-1}^{i}}\pi_{j i}\mu_{k-1}^{j} $$ $$ \hat{\mu}_{k|k-1}^{i}=\sum_{j=1}^{n}\pi_{j i}\mu_{k-1}^{j}. $$ 随后对重新初始化的状态和协方差进行估计 $$ \tilde{x}_{k-1|k-1}^{i}=\sum_{j=1}^{n}\hat{x}_{k-1|k-1}^{j}\mu_{k-1|k-1}^{j|i} $$ $$ \tilde{P}_{k-1|k-1}^{i}=\sum_{j=1}^{n}\mu_{k-1|k-1}^{j|i}\Big[\hat{P}_{k-1|k-1}^{i}+\big(\hat{x}_{k-1|k-1}^{i}\big)\big(-\tilde{x}_{k-1|k-1}^{i}\big) $$ $$ \cdot\left(\hat{x}_{k-1|k-1}^{i}\right)-\left(\tilde{x}_{k-1|k-1}^{i}\right)^{\mathrm{T}}\Biggr]. $$ 通过PDA-UKF-IMM组合框架，利用不同检测器检测结果的时空关联即可得到目标的轨迹。 ### D. 样本标注器 样本标注器对与多目标跟踪器关联的样本进行概率融合，实时判断每条航迹上的样本属于哪一类目标。具体而言，本文使用航迹概率[^11]，其定义如下：设$P(l_i|x_i,d_j)$表示样本$x_i$为属于类别标签$l_i$的目标的概率。 --- 由检测器$d_j \in D$在精确时刻t预测得到，航迹概率$P(L_T|X_T, D)$通过以下公式对不同检测器的预测结果进行融合计算得到： $$ P(L_{T}|X_{T},D)=\frac{\mathrm{odds}_{X_{T}}}{1+\mathrm{odds}_{X_{T}}} $$ 其中 $$ odds_{X_{T}}=\prod_{i=1}^{t}\prod_{j=1}^{K}odds_{x_{i}}^{j} $$ 且 $$ \mathrm{odds}_{x_{i}}^{j}=\frac{P\left(l_{i}|x_{i},d_{j}\right)}{1-P\left(l_{i}|x_{i},d_{j}\right)}. $$ 通过对$^{4}$ $P(L_T|X_T,D)$进行阈值处理，最终标注出高置信度样本（即轿车、骑行者或行人），并将其输入即用学习检测器进行学习。 ### 六、评估 本节我们从宏观和微观两个层面，对基于本文提出的通用框架实现的系统进行评估。宏观层面包含一组端到端基准测试（参见第六-C节），以及从KITTI数据集到Waymo的在线适应性实验（参见第六-F节）；微观层面包含对核心模块ORF的评估（参见第六-D节），以及用于进一步分析流程的消融实验（参见第六-E节）。本文所有实验均在以下环境完成：Ubuntu 18.04 LTS（64位）系统、ROS Melodic，硬件为搭载64GB内存的Intel i9-9900K CPU，以及显存为8GB的NVIDIA GeForce RTX 2080 GPU。 ### A. 数据集 我们在两个开放数据集（KITTI [^28]和Waymo [^33]）上对本文提出的在线迁移学习框架进行了实验评估。KITTI数据集是自动驾驶领域开创性的经典数据集，它主要提供图像和点云两种模态的外部感知数据，且两种数据已完成硬同步。KITTI能成为领域内广泛使用的数据集的另一个重要原因是它提供了完整的基准测试套件，极大简化了不同方法之间的对比工作。但KITTI也存在一些局限性：它更多是从计算机视觉而非自动驾驶本身的视角研究自动驾驶问题。例如：不同采集频率的传感器数据采用一对一帧同步；标注先在图像中完成再投影到点云，无法真实反映点云的几何特征[^34]；大多数场景为常规低动态场景；天气和光照条件均较好；目标检测与跟踪基准的样本在时间上不连续，且不包含车辆自身的全局位置信息。 Waymo数据集于2019年首次发布，更符合自动驾驶的场景特性。它采用基于场景的组织方式，为每个场景提供连续的标注数据。此外，该数据集包含车辆的实时全局定位信息，并且对不同传感器生成的数据采用多对一同步。Waymo数据集一个突出的优点是它包含多样的驾驶环境，覆盖了不同天气条件和一天中的不同时段，能够支持对算法在不同场景下的性能进行全面评估。使用该数据集的一个重要目的是测试本文提出框架在跨环境下的分类学习能力，详细实验结果见第六-F节。 ### B. 实验设置 由于本文框架处理的是连续无标注数据，因此采用KITTI提供的原始数据进行在线迁移学习。具体来说，我们在原始数据中筛选出包含动态目标的片段，剔除仅包含单调场景的片段（这类场景中的目标通常是静止车辆，主要用于视觉里程计任务）。此外，由于道路参与者的样本分布不平衡，即汽车样本多而骑行者样本少，因此对汽车的学习样本进行在线下采样，以降低数据不平衡对学习的负面影响。另一方面，我们利用KITTI检测基准中的二维图像（包含三类：汽车、骑行者、行人）训练现成的基于相机的检测器，并通过五折交叉验证评估EfficientDet和其他基于深度学习的方法（参见表I）。对于后者，我们将提供的7481帧带真实标注的非连续帧按6:2:2的比例分别划分为训练集、验证集和测试集，而检测基准中的三维点云则用于评估基于LiDAR的检测器的性能。 针对Waymo数据集，我们按场景类型从训练集中随机采样15个片段，用于对在KITTI上训练得到的分类器进行在线更新。由于Waymo数据集的格式与KITTI差异较大，我们首先将原始Waymo数据集重新整理为KITTI格式，以方便数据加载、模型训练和评估。 ### C. ORF与RF 为评估ORF模块的性能，我们从KITTI训练集（即7481帧点云中的60%）中随机选取1500个样本组成数据流，作为ORF的输入。ORF每学习100个样本，就保存一次模型并在测试集上进行评估，我们报告前15次迭代的结果。另一方面，我们采用相同的1500样本批量离线训练得到的经典RF作为对比基线。在线方法和离线方法的森林结构参数设置保持一致，即 trees = 100, depth = 50, epochs = 20, and split_threshold = 50。其他参数设置可参考已发布的代码。 我们采用平均准确率（Average ACC）和宏平均（MaA）作为分类器的性能评估指标，前者 --- ![Image](images/85a0b7b14c84c0751814b27c42f3c5a3544dd0c6e172669ac0e0f565c6c9e4b2.jpg)
Fig. 6. Performance comparison of the ORF-based (online-trained) and the RF-based (offline-trained) 3-D LiDAR-based object classifiers.
计算公式如下： $$ ACC=2\cdot\frac{P\cdot R}{P+R} $$ 而后者的计算公式如下： $$ MaA=2\cdot\frac{P_{macro}\cdot R_{macro}}{P_{macro}+R_{macro}} $$ 其中对于每个类别 $$ \begin{aligned}P&=\frac{\sum_{i=1}^{n}TP_{i}}{\sum_{i=1}^{n}TP_{i}+\sum_{i=1}^{n}FP_{i}}\\R&=\frac{\sum_{i=1}^{n}TP_{i}}{\sum_{i=1}^{n}TP_{i}+\sum_{i=1}^{n}FN_{i}}\end{aligned} $$ 且 $$ \begin{aligned}P_{macro}&=\frac{\sum_{i=1}^{n}P_{i}}{n}\\R_{macro}&=\frac{\sum_{i=1}^{n}R_{i}}{n}\end{aligned} $$ 式中P为精确率，R为召回率，TP为真阳性，FP为假阳性，FN为假阴性。 实验结果如图6所示。可以看出，随着训练样本数量增加，在线训练RF的性能快速收敛到离线训练RF的性能水平，并且在第8次迭代后无论ACC还是MaA都趋于稳定。此外，与我们之前的工作[^14]相比，本文实现了闭环检测：训练阶段由点云检测器生成的检测结果被用于样本标注，学习样本的质量提升最终提高了在线学习得到的检测器的性能。 ### D. 在线迁移学习性能 1) Integrated-ORF 对比 Standalone-ORF：为评估我们所提出系统的性能，我们首先将本文框架下基于KITTI原始数据（无真值标注）在线学习得到的三维激光雷达分类器（下文简称Integrated-ORF），与第VI-C节所报道的经独立学习（基于真值标注）得到的基于ORF的分类器（下文简称Standalone-ORF）进行分类结果对比（参见图4）。对于前者，我们仍 ![Image](images/006fd5e64b98ac31de1330a12676fc2aee21dca133c250b02b96be8646ce01bb.jpg) ![Image](images/76e96e8657364678bc101e20e593fb1765d05514f6bea4b71ab76500ac7158ef.jpg)
Fig. 7. Confusion matrix for performance comparison of Integrated-ORF and Standalone-ORF. The ordinate represents the true label, and the abscissa represents the predicted result. The darker the color, the higher the proportion of correct classifications.
在ORF获得100个样本时训练一次，并在第15次迭代后对模型进行评估。使用与上一节相同的测试集，对比结果以混淆矩阵的形式呈现，如图7所示。 可以看出，Integrated-ORF的性能并未全面赶超Standalone-ORF，差距集中体现在骑行者和行人的分类任务中，这两类目标正是自动驾驶感知领域的挑战。与之相反，Integrated-ORF在车辆预测上的表现甚至略优于Standalone-ORF。这一结果有两点原因：一是扮演“训练器”角色的基于相机的检测器对不同目标类别的检测能力存在差异 $^{5}$（参见表I）。二是目前基于无监督学习的点云聚类方法还达不到人工分割的准确率（ACC），尤其是该流程还包含将三维空间中的点云投影到二维平面这一步（即以精度换取速度），使得尺寸相对较小的目标难以被准确分割 [^24]。这两点原因导致 ---
TABLE III
EVALUATION RESULTS USING AP ON THE KITTI 3-D OBJECT DETECTION VALIDATION SET
MethodCars(%)Pedestrians(%)Cyclists(%)
EasyModerateHardEasyModerateHardEasyModerateHard
Learn-by-use detector65.1258.8946.5238.6734.3723.3450.7334.1426.67
+ Off-the-shelf detector80.4567.7358.8147.6740.3235.4475.6156.5547.61
TABLE IV
EVALUATION RESULTS USING AP ON THE KITTI 2-D OBJECT DETECTION VALIDATION SET
MethodCars(%)Pedestrians(%)Cyclists(%)
EasyModerateHardEasyModerateHardEasyModerateHard
Off-the-shelf detector82.1678.1867.0960.2549.9744.8455.1846.2339.35
+ Learn-by-use detector93.8790.4578.4782.5970.1361.2580.2575.3162.87
TABLE V
EVALUATION RESULTS USING AP ON THE KITTI 3-D OBJECT DETECTION TEST SET (FOR RANKING)
MethodCars(%)Pedestrians(%)Cyclists(%)
EasyModerateHardEasyModerateHardEasyModerateHard
MV3D [^35]74.9763.6354.00------
AVOD [^36]76.3966.4760.2336.1027.8625.7657.1942.0838.29
F-Pointnet [^19]82.1969.7960.5950.5342.1538.0872.2756.1249.01
AVOD-FRN [^36]82.1171.7067.0850.4642.2739.0463.7650.5544.93
PFF3D [^37]81.1172.9367.2443.9336.0732.8663.2746.7841.37
Ours80.0867.6758.6848.2239.9634.6773.7256.6447.94
+ Size estimation79.9769.1358.5748.6540.1135.9975.2058.9650.41
TABLE VI
EVALUATION RESULTS USING AP ON THE KITTI 2-D OBJECT DETECTION TEST SET (FOR RANKING)
MethodCars(%)Pedestrians(%)Cyclists(%)
EasyModerateHardEasyModerateHardEasyModerateHard
MV3D [^35]93.0884.3979.27------
AVOD [^36]95.1789.8882.8350.9039.4335.7566.4552.6046.39
F-Pointnet [^19]95.8595.1785.4389.8380.1375.0586.8673.1665.21
AVOD-FRN [^36]94.7088.9284.1367.9557.8755.2370.3860.7955.37
PFF3D [^37]95.3792.1587.5462.1252.5350.2779.4466.2560.11
Ours93.1191.2078.2283.0869.9760.9881.9974.9063.06
+ Size estimation96.3191.1781.2084.7471.4564.5885.6276.8866.04
Integrated-ORF学习到了一些假阳性样本。但仍然值得指出的是，Integrated-ORF本身就是在无需真值标注和人工干预的条件下完成学习的。 2) 从分类到检测与单模态对比多模态：目标检测是分类和定位的共同结果。为评估即用学习型检测器的性能，我们使用测试集（即7481帧点云中的20%）开展实验，结果如表III的第一行所示。所用评估指标是KITTI提供的统一标准，即平均精度（AP）。该指标的设计思路是将精确率-召回率曲线中的信息压缩为单个数值，从而让不同方法之间的对比变得直观。AP分数由11个等间隔召回值对应的精确率求和计算得到。对于每个目标类别，KITTI根据边界框高度、遮挡程度和截断程度定义了“简单”、“中等”和“困难”三个检测难度等级。例如，在“简单”等级中，目标拥有更大的边界框，且遮挡和截断程度更低。 另一方面，为验证多模态检测性能优于单模态检测这一假设，我们进一步评估了即用学习型检测器与现成检测器融合方案的性能，结果如表III所示。具体来说，由于测试集由非连续帧组成，此处使用的是未经过“时间关联”处理的“样本标注器”输出。此外，补充实验表明，一旦即用学习型检测器具备了足够有竞争力的检测能力，它甚至可以反过来帮助现成检测器提升二维图像的检测结果，这一点得到了表IV的支撑。 3) 与其他方法的对比：我们使用KITTI提供的用于公开排名的测试集（无真值）将我们的结果与学界其他研究成果进行对比。我们从KITTI的排名表中选取了五种代表性方法开展比较。选取原则为：1）同时使用图像和点云数据的方法；2）高引用率方法（MV3D [^35]、F-Pointnet [^19]、AVOD 和 AVOD-FRN [^36]）；以及3）近年提出的方法（PFF3D [^37]）。实验结果分别展示在表V和表VI中，表中我们的方法即上文提到的多模态检测器。 从表V中可以看出，我们的在线学习框架与其他离线方法相比展现出了极具竞争力的性能，尤其在“骑行者”类别中，我们在简单和中等难度下都取得了最佳结果。 --- ![Image](images/1ab85aff0b0f990ed83bc43fade7cbf4948809eaa2a0488615d0072d8a129922.jpg)
Fig. 8. Schematic illustration of 3-D object size estimation in point clouds. Through size estimation, the original convex box is inflated to the bounding box. The left two images show a car, while the right two images show a pedestrian.
另一方面，尽管我们的方法未能在“汽车”和“行人”这两个类别上取得最优结果，但性能差距并不显著。以中等难度为例，我们的结果与表现最优的方法分别相差5.26%和2.31%。一方面，原因在于我们所采用的聚类方法在道路参与者的准确分割上存在缺陷，这导致了部分漏检和误检；另一方面，如果3-D点云中某些聚类的尺寸过小，这些聚类投影到2-D图像后会因IoU值过低而被忽略。 相应地，表VI展示了我们的多模态检测器在2-D图像上的目标检测性能与其他方法的对比结果。可以看出，在中等难度设置下，我们的方法在骑行者检测任务上仍然领先，在汽车检测上仅比最佳性能低3.97%。至于行人检测，尽管我们的结果比第一名落后10.16%，但仍排在整个KITTI排名的前7%。 4) 尺寸估计：KITTI点云中的目标标注是基于2-D图像标注投影得到的，因此其3-D bounding box中已经包含了对目标尺寸的估计。相比之下，自动驾驶领域常用的点云聚类方法（例如我们使用的Autoware方法）会输出聚类的真实尺寸。基于这一特点，同时为了与其他方法进行更公平的比较，我们在表V和表VI中额外给出了我们的多模态检测器加入尺寸估计后的实验结果。具体来说，我们从训练集中随机采样，为每个目标类别估计体积模型；当一个聚类完成分类后，代表其尺寸的凸盒会被放大至体积模型定义的 bounding box。直观结果如图8所示。 从表V和表VI可以看出，加入尺寸估计后，各类目标的检测性能整体得到提升，这种提升在骑行者检测中尤为明显。这主要是因为骑行者的结构特殊：它通常包含一个竖直的行人与一辆水平的自行车，因此点云中由多边形定义的 bounding box 通常小于KITTI提供的人工标注尺寸。此外值得指出的是，如果测试集由连续帧组成，则可以利用我们多目标跟踪器中的“时间关联”模块估计目标的真实尺寸，从而无需依赖经验体积模型。 ### E. 消融实验 消融实验旨在研究系统中各个模块对系统整体性能的 ![Image](images/52bc100bdf454db2a912e5d8bb68890bc996361fdf7f5cb3d7d0d9f197ea4dc4.jpg)
Fig. 9. Ablation experimental results.
![Image](images/c047bfdf5ef05468fc30c39c22716cfb01ad196b817e75eae7b819f266e49665.jpg)
Fig. 10. Changes in classification performance after deploying the 3-D object detector learned on the KITTI dataset to the Waymo dataset and continuing to learn. The blue line represents the results evaluated on the Waymo test set. The red line indicates the results evaluated on the KITTI test set.
在本文研究中，我们在在线学习过程的每轮迭代后，使用MaA指标评估了基于不同系统架构的检测器的分类性能。实验结果如图9所示。可以看出，仅引入二维图像检测匹配三维空间中的点云团簇，就能让在线学习性能整体呈现上升趋势（如绿色线所示），但当环境变复杂后（从约1000帧开始，出现更多行人和骑行者），性能提升就不再明显。通过为样本引入时序关联，该情况得到了改善（如蓝色线所示）。 此外，检测器的分类性能也得到了整体提升。这主要是因为时序关联使得那些未通过空间关联匹配的团簇仍有可能在后续成为学习样本，从而提升了学习效率。另外，通过引入学习闭环，即learn-by-use检测器对点云团簇类别的概率估计也会输入到多目标跟踪器，之后成为学习过程的一部分，因此在线学习性能得到了进一步提升（如橙色线所示）。 ### F. 在KITTI上学习，在Waymo上测试 跨环境学习是我们提出的学习框架的一项重要能力。为验证这一结论，我们将learn-by-use检测器部署到Waymo数据集上并进行在线更新。我们在Waymo数据集中选取了15段与KITTI差异最大的片段（包含约2970张图像和激光雷达扫描数据）用于学习。实验采用MaA指标，结果如图10所示。可以看出，由于差异显著的 --- ![Image](images/7152b1977b575882d3a8bc9a159b21237eedb29d36eb11e11c0c48e6519fcc37.jpg)
Fig. 11. Confusion matrix representing the 3-D object detector performance after learning on the Waymo dataset. The ordinate represents the true label, and the abscissa represents the predicted result. The darker the color, the higher the proportion of correct classifications.
KITTI和Waymo数据集呈现的驾驶场景，检测器的分类性能在初始阶段就出现了断崖式下降。但得益于我们的框架，随着Waymo数据的输入，检测器的分类性能随学习迭代稳步提升，最终在第8次迭代后趋于稳定。另一方面，将在Waymo数据集更新后的模型放回到KITTI测试集上评估后发现，其整体性能随学习迭代逐渐下降。这是灾难性遗忘的表现，也将是我们下一步研究的重点。 经过15次迭代后，检测器的最终分类性能如图11所示。可以看出，与第六章-D1小节报道的结果相比，整体性能有所下降，其中汽车、骑行者和行人的性能分别下降了0.05、0.09和0.15。这主要是因为：如果从Waymo选取的场景较为简单，在KITTI数据集上训练的检测器本身就已经表现出色，无法有效体现我们提出的在线学习框架的优势。因此，我们选取了包含复杂场景的片段，这给其中的点云分割和目标跟踪算法带来了巨大挑战，直接影响了学习样本的质量。需要指出的是，我们在Waymo数据集上开展实验的主要目的，是验证我们框架的跨环境在线适应性。 ### G. 定性分析 从Fig. 12可以看出，在匹配后的图像和点云中，几乎所有道路参与者都被正确检测，并且在点云中得到了正确跟踪。点云中蓝色框高亮部分表明，即使该车辆已经不在相机视野范围内，它仍然是可学习的样本并得到持续跟踪。而范围框区域表明，尽管该目标在图像中被检测为骑行者，分类器仍通过时空关联将其正确学习为行人。唯一的例外情况是 ![Image](images/645e981a5c37bd9e5724ad3c5b135a4c9b5bae5f01f132bbfa847ce470ae47d8.jpg)
Fig. 12. Synchronized pair of images and point clouds from the KITTI dataset. The labels in the images contain the class information, while the labels in the point clouds contain both the category and Track-ID. The colored points enclosed by labels and bounding boxes represent the samples used for online learning.
红框标注的部分：骑行者与电线杆距离过近，导致二者被聚合为单个实体（即欠分割），最终无法完成正确检测。这无论是对视觉方法还是3-D LiDAR而言都是一项挑战。改善该问题的一种可行方案是，通过像素到点匹配将颜色和纹理信息融入点云，以实现进一步分割。 ### 七、结论与未来工作 本文提出了一种面向自动驾驶道路参与者3-D检测的高效在线迁移学习方法。该方法的核心思想是利用二维视觉传感器（即单目相机），帮助三维非视觉传感器（即3-D LiDAR）动态学习多类别目标检测能力。具体而言，本文基于Autoware提供的经过验证的多目标跟踪器，在现成检测器与即用即学检测器之间构建了实现知识迁移的流水线，并创新集成了ORF算法，实现了多类别快速增量学习。 通过全面实验验证，本文提出的框架不仅能够让3-D LiDAR在无需真值标注和人工干预的情况下，快速学习城市环境中道路参与者（即轿车、行人和骑行者）的检测能力，还可以利用多模态检测器提升自动驾驶车辆对道路参与者的整体检测效果。将实验结果提交至KITTI基准测试后取得的排名表明，本文提出的在线学习系统在二维和三维目标检测性能上都具有竞争力，尤其在行人和骑行者类别，性能优于大多数现有方法。此外，跨数据集实验也 --- 证明了本文学习框架对不同环境的适应性，使其特别适合原位部署。当然，持续学习始终需要应对知识遗忘问题，本文的实验结果也揭示了这一挑战性问题，这将是我们下一步工作的重点。此外，利用所提框架改进对动态道路参与者的跟踪也是我们未来的工作方向之一。 ## 参考文献 [^1]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” IEEE Trans. Pattern Anal. Mach. Intell., pp. 1137–1149, May 2017, doi: 10.1109/tpami.2016.2577031. [^2]: J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” 2018, arXiv:1804.02767. [^3]: X. Chen, K. Kundu, Z. Zhang, H. Ma, S. Fidler, and R. Urtasun, “Monocular 3D object detection for autonomous driving,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 2147–2156. [^4]: A. Mousavian, D. Anguelov, J. Flynn, and J. Košeká, “3D bounding box estimation using deep learning and geometry,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 5632–5640. [^5]: B. Xu and Z. Chen, “Multi-level fusion based 3D object detection from monocular images,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 2345–2353. [^6]: R. Qian, X. Lai, and X. Li, "3D object detection for autonomous driving: A survey," Pattern Recognit., vol. 130, Oct. 2022, Art. no. 108796. [^7]: Z. Yan, L. Sun, T. Krajnik, and Y. Ruichek, "EU long-term dataset with multiple sensors for autonomous driving," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2020, pp. 10697–10704. [^8]: T. Krajnik, J. P. Fentanes, J. M. Santos, and T. Duckett, “FreMEn: Frequency map enhancement for long-term mobile robot autonomy in changing environments,” IEEE Trans. Robot., vol. 33, no. 4, pp. 964–977, Aug. 2017. [^9]: Z. Yan, S. Schreiberhuber, G. Halmetschlager, T. Duckett, M. Vincze, and N. Bellotto, “Robot perception of static and dynamic objects with an autonomous floor scrubber,” Intell. Service Robot., vol. 13, no. 3, pp. 403–417, Jul. 2020. [^10]: L. Sun, Z. Yan, S. M. Mellado, M. Hanheide, and T. Duckett, "3DOF pedestrian trajectory prediction learned from long-term autonomous mobile robot deployment data," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2018, pp. 5942–5948. [^11]: Z. Yan, L. Sun, T. Duckctr, and N. Bellotto, “Multisensor online transfer learning for 3D LiDAR-based human detection with a mobile robot,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2018, pp. 7635–7640. [^12]: Z. Yan, L. Sun, T. Krajnik, T. Duckett, and N. Bellotto, “Towards long-term autonomy: A perspective from robot learning,” 2022, arXiv:2212.12798. [^13]: A. Saffari, C. Leistner, J. Santner, M. Godec, and H. Bischof, “On-line random forests,” in Proc. IEEE 12th Int. Conf. Comput. Vis. Workshops (ICCV) Workshops, Sep. 2009, pp. 1393–1400. [^14]: R. Yang, Z. Yan, Y. Ruichek, and T. Yang, "Efficient online transfer learning for 3D object classification in autonomous driving," in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 2950–2957. [^15]: J. Dequaire, P. Ondrúška, D. Rao, D. Wang, and I. Posner, “Deep tracking in the wild: End-to-end tracking using recurrent neural networks,” Int. J. Robot. Res., vol. 37, nos. 4–5, pp. 492–512, Apr. 2018. [^16]: X. Chen et al., “Automatic labeling to generate training data for online LiDAR-based moving object segmentation,” IEEE Robot. Autom. Lett., vol. 7, no. 3, pp. 6107–6114, Jul. 2022. [^17]: F. Majer, Z. Yan, G. Broughton, Y. Ruichek, and T. Krajnik, “Learning to see through haze: Radar-based human detection for adverse weather conditions,” in Proc. Eur. Conf. Mobile Robots (ECMR), Sep. 2019, pp. 1–7. [^18]: A. González, D. Vázquez, A. M. López, and J. Amores, “On-board object detection: Multicue, multimodal, and multiview random forest of local experts,” IEEE Trans. Cybern., vol. 47, no. 11, pp. 3980–3990, Nov. 2017. [^19]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D object detection from RGB-D data,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 918–927. [^20]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 77–85. [^21]: S. Thrun, “A lifelong learning perspective for mobile robot control,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Jan. 1994, pp. 23–30. [^22]: A. Teichman and S. Thrun, "Tracking-based semi-supervised learning," Int. J. Robot. Res., vol. 31, no. 7, pp. 804–818, 2012. [^23]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for human classification in 3D LiDAR-based tracking,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2017, pp. 864–871. [^24]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for 3D LiDAR-based human detection: Experimental analysis of point cloud clustering and classification methods,” Auto. Robots, vol. 44, no. 2, pp. 147–164, Jan. 2020. [^25]: G. Broughton, F. Majer, T. Rouček, Y. Ruichek, Z. Yan, and T. Krajnik, “Learning to see through the haze: Multi-sensor learning-fusion system for vulnerable traffic participant detection in fog,” Robot. Auto. Syst., vol. 136, Feb. 2021, Art. no. 103687. [^26]: S. Jialin Pan and Q. Yang, “A survey on transfer learning,” IEEE Trans. Knowl. Data Eng., vol. 22, no. 10, pp. 1345–1359, Oct. 2010. [^27]: M. Tan, R. Pang, and Q. V. Le, “EfficientDet: Scalable and efficient object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognition. (CVPR), Jun. 2020, pp. 10778–10787. [^28]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361. [^29]: D. Zermas, I. Izzat, and N. Papanikolopoulos, “Fast segmentation of 3D point clouds: A paradigm on LiDAR data for autonomous vehicle applications,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2017, pp. 5067–5073. [^30]: S. Kato et al., “Autoware on board: Enabling autonomous vehicles with embedded systems,” in Proc. ACM/IEEE 9th Int. Conf. Cyber-Phys. Syst. (ICCPS), Apr. 2018, pp. 287–296. [^31]: L. E. Navarro-Serment, C. Mertz, and M. Hebert, “Pedestrian detection and tracking using three-dimensional ladar data,” in Proc. 7th Conf. Field Service Robot. (FSR), 2009, pp. 103–112. [^32]: K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, “Pedestrian recognition using high-definition LiDAR,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2011, pp. 405–410. [^33]: P. Sun et al., “Scalability in perception for autonomous driving: Waymo open dataset,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 2443–2451. [^34]: T. Yang et al., “3D ToF LiDAR in mobile robotics: A review,” 2022, arXiv:2202.11025. [^35]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, "Multi-view 3D object detection network for autonomous driving," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 6526–6534. [^36]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3D proposal generation and object detection from view aggregation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2018, pp. 1–8. [^37]: L.-H. Wen and K.-H. Jo, “Fast and accurate 3D object detection for LiDAR-camera-based autonomous vehicles using one shared voxel-based backbone,” IEEE Access, vol. 9, pp. 22080–22089, 2021. ![Image](images/71fcab415b3d7f924a12e485414af9ecf087889cb026973288930589cc6ea137.jpg) 杨瑞（IEEE学生会员），2019年于中国北京北京工商大学（BTBU）获得计算机科学与技术硕士学位，目前在法国贝尔福贝尔福-蒙贝利亚尔技术大学（UTBM）分布式人工智能与知识实验室（CIAD）攻读博士学位。 他目前的研究兴趣包括自动驾驶领域的机器人感知与学习。 --- ![Image](images/49f717d4b9f465f5ae8b74fa96c71370e30712ed21d318504d3c71e2c54c4dd9.jpg) 闫智（IEEE高级会员），分别于2006年、2008年和2012年在法国巴黎巴黎第八大学获得计算机科学学士、硕士和博士学位。 2013年至2015年，他在法国杜埃杜埃矿业学院CAR团队担任移动机器人软件工程方向博士后研究员。2016年至2017年，他在英国林肯郡林肯大学林肯自主系统中心（L-CAS）担任博士后研究员， 主要负责Horizon 2020项目FLOBOT的研究工作。自2017年起，他担任法国贝尔福贝尔福-蒙贝利亚尔技术大学（UTBM）助理教授（Maître de Conférences）。他目前的研究方向包括适用于人因导航与长期自主运行的机器人感知与学习。 ![Image](images/9866f0867031cb939d2278569251ef890d61645074f9ab9821b4398b8b614289.jpg) 王耀南于1981年在中国福州华东工程学院获得计算机工程B.S.学位，分别于1990年和1994年在中国长沙湖南大学获得控制工程M.S.学位和Ph.D.学位。 他1994年至1995年在长沙国防科技大学担任博士后研究员；1998年至2000年在德国担任高级洪堡研究员； 2001年至2004年担任德国不来梅大学客座教授。自1995年起任湖南大学教授。他的研究方向包括机器人控制、智能控制与信息处理、工业过程控制以及图像处理。 王教授自2019年起当选中国工程院院士。 ![Image](images/348585ed39cdd1d4bf745b11c2f49cdc78b6511e540a4bfcd0c27cdab6e7299c.jpg) 杨涛（IEEE会员）分别于2011年和2014年在中国西安西北工业大学（NPU）获得探测、制导与控制技术B.S.学位和控制工程M.S.学位，并于2019年在法国贝尔福贝尔福-蒙贝利亚尔技术大学（UTBM）获得自动化Ph.D.学位。 2019年至2020年，他在UTBM分布式人工智能与知识实验室（CIAD）担任博士后研究员。自2020年起，他担任NPU无人系统研究院（USRI）副教授。他的研究方向包括计算机视觉、点云处理和chronorobotics。 ![Image](images/cb0ab9357d0b6f25fc626ef8f595d6fc7df15efaa217ab31e89a2547def5de8f.jpg) 亚辛·鲁伊切克（Yassine Ruichek，IEEE高级会员）分别于1997年和2005年在法国里尔大学获得控制与计算机工程Ph.D.学位和物理学Habilitation à Diriger des Recherches学位。 自2007年起，他担任法国贝尔福贝尔福-蒙贝利亚尔技术大学（UTBM）正教授。他的研究方向为基于多传感器数据的感知与定位，涵盖计算机视觉、模式识别与分类、机器学习和数据融合，应用于智能交通系统与视频监控领域。