# Complexer-YOLO：语义点云上的实时3D目标检测与跟踪

Martin Simon、Karl Amende、Andrea Kraus、Jens Honer、Timo Sämann、Hauke Kaulbersch 和 Stefan Milz

法雷奥Valeo开关与传感器有限公司

{firstname.lastname}@valeo.com

Horst Michael Gross

伊尔默瑙工业大学

<mailto:horst-michael.gross@tu-ilmenau.de>

## 摘要

精确的3D目标检测是计算机视觉领域的基础性问题，对自动驾驶汽车、增强/虚拟现实以及机器人领域的众多应用都有着至关重要的影响。本文针对自动驾驶场景，提出了一种将基于神经网络的最新3D检测器与视觉语义分割相结合的新型融合方法。此外，我们引入了尺度-旋转-平移分数（SRTs），这是一种用于目标检测对比的快速、高可参数化评估指标，可将推理时间最高缩短20%，训练时间缩短一半。在此基础上，我们利用时序信息对目标检测结果应用了最先进的在线多目标特征跟踪，进一步提升了准确率和鲁棒性。我们在KITTI上的实验表明，本方法在所有相关类别上都能达到与现有最优方法相当的结果，同时兼顾了性能与准确率的平衡，并且仍能保持实时运行。此外，我们的模型是首个将视觉语义信息与3D目标检测相融合的模型。

### 1. 引言

近年来，自动驾驶汽车越来越受到汽车行业以及新兴出行领域参与者的关注。如今，量产车辆已经具备多种自动化功能，例如辅助泊车、自动泊车、自适应巡航，甚至高速公路自动驾驶。要实现全等级自动化，需要一套非常精准的环境感知系统，能够应对所有可能的场景。此外，真实场景对系统的实时性能有着严格要求。

如今的车辆配备了多种不同类型的传感器，包括超声波传感器、雷达、摄像头以及激光雷达（Lidar，即光探测与测距）。借助冗余设计和传感器融合，可以实现符合要求的可靠性与安全性。这些条件极大推动了传感器技术的快速发展，也促进了目标检测、语义分割等基础任务相关人工智能算法的发展。

针对这些任务的很多现有方法使用摄像头、Lidar或将二者结合。与摄像头图像相比，处理Lidar点云数据存在不少难点。由于三维空间的非均匀采样、遮挡和反射影响，这类点云具有无序、稀疏、密度波动大的特点。另一方面，点云能提供更高的空间精度和可靠的深度信息。因此，Lidar在自动驾驶领域应用更为广泛。本文提出了ComplexYOLO，一种面向语义点云的实时3D目标检测与跟踪方法（见图1、图2）。主要贡献如下：

- 视觉类别特征：整合由基于摄像头的快速语义分割生成的逐点视觉类别特征 [^39].

- 体素化输入：扩展Complex-YOLO [^42]，使其可处理深度维度可变的体素化输入特征，替代固定RGB图。

- 真三维预测：扩展回归网络，使其可以预测3D框的高度和z方向偏移，实现三维目标处理。

- 缩放-旋转-平移分数（SRTs）：我们提出了SRTs这一用于3D检测框的全新验证指标，其速度明显快于交并比（IoU），该指标考虑了检测目标的3自由度位姿，包括偏航角以及目标的宽、高、长信息。

• 多目标跟踪：应用了与检测网络解耦的在线特征跟踪器，基于符合实际的物理假设实现了依赖时序的跟踪与目标实例化。

• 实时性能：我们提出了一套完整的全新跟踪流水线，整体具备出色的实时

---

![Image](images/7f00141bc6cf158e8ed976aca76701ede96de3ba35ee34ff11b5e521251510d6.jpg)

<div style="text-align: center;">Figure 1: The Complexer-YOLO processing pipeline: We present a novel and complete 3D Detection (b.1-5) and Tracking pipeline (a,b,c,d,e) on Point Clouds in Real-Time. The Tracking-Pipeline is composed by: (a) Lidar + RGB frame grabbing from stream, (b) Frame-wise Complex-YOLO 3D Multiclass predictions, (c) Joint Object and extended Target Model for feature Tracking and (d) 3D object instance tracking within the environmental model. In detail (b) is composed by: (1) The Voxelization of the Lidar frame, (2) the Semantic Segmentation of the RGB image with the aid of ENet, (3) the Point-wise classification by Lidar to Semantic-Image backprojection, (4) the generation of the Semantic Voxel Grid and finally (5): The real 3D Complex YOLO for 3D Multi-class predictions. (see Fig. 2 for more details)</div>

性能，同时在语义分割、3D目标检测以及多目标跟踪任务上都取得了当前最优结果。该流水线可直接应用于所有感知城市场景的自动驾驶汽车中。

### 2. 相关工作

本节我们对基于卷积神经网络（CNN）的目标检测、语义分割和多目标跟踪相关研究进行概述。

#### 2.1. 二维目标检测

过去几年，大量基于CNN的鲁棒、精准目标检测方法得到了发展。从单张图像的二维空间研究起步，两阶段检测器[^35] [^12] 与单阶段检测器[^32] [^24] [^33] [^23] [^34] [^15]均取得了当前最优结果，这类方法的目标是输出定位完成的二维边界框。典型来说，两阶段检测器会在第一步借助区域候选网络（RPN）生成目标候选框并利用感兴趣区域（RoI）。随后，它们会基于候选感兴趣区域计算得到的特征生成最终的目标预测。为了权衡运行时间，单阶段检测器跳过了候选框生成步骤，直接输出最终的目标检测结果。这类检测器通常能够实现实时性能，但在准确率方面普遍低于两阶段检测器。单阶段检测器之一的YOLOv3 [^34] 结合了[^32] [^33] [^11] [^22]的研究成果。它将图像划分为稀疏网格，进行多尺度特征提取，并以维度聚类得到的尺寸簇作为锚框[^33]，直接输出每个网格单元的目标预测结果。

#### 2.2. 三维目标检测

虽然CNN最初是为图像处理设计的，但它也成为了三维目标检测的核心组件。最早的研究思路是使用立体图像作为输入[^3]。随后的工作[^19]和[^6]分别采用了如下方案：将三维卷积应用于体素化的点云数据表示，以及使用三维CNN提取特征[^43]。在

---

[^49]中引入了体素特征编码，并再次通过CNN处理以预测物体。此外，VeloFCN [^20]借助三维点云的前视投影生成深度图，并应用CNN。相比之下，MV3D [^4]将图像输入与投影到二维空间的点云数据多视图表示进行融合。另外，[^16]聚合了来自图像和点云鸟瞰视图表示的特征。[^28]中探索了另一种融合相机和激光雷达输入的方法。第一步，在二维CNN检测出的视锥体中提取子点云，随后，PointNet [^29]对视锥点云内的三维物体进行预测。近年来，[^45]也将PointNet与二维CNN和融合网络结合使用。其他使用点云鸟瞰视图表示的类似方法包括[^25] [^47] [^42] [^1]。

#### 2.3. 语义分割

语义分割的目标是将图像的每个像素分类到预定义的类别中。该任务通常由CNNs实现。目前已经提出了多种广泛使用的网络架构，例如[^10] [^27] [^37] [^21]。与目标检测任务类似，该任务也存在准确率与运行时间之间的权衡。因此，出现了卷积分解（例如应用于[^14] [^26]）、量化[^30]、剪枝[^13]和空洞卷积（例如应用于[^48]）等方法。ENet [^27]是最高效的模型之一，它采用特殊的编解码结构大幅降低了计算量。近年来，[^39]将通道剪枝方法[^13]应用到ENet中，使其效率进一步提升。

#### 2.4. 多目标跟踪

多目标跟踪（MOT）任务通常分为两个阶段求解。首先，算法检测出感兴趣目标，随后将不同帧中的同一目标进行关联。一种广泛应用的方法是利用检测结果的全局信息[^17] [^7]。与之不同，在线方法无法获取未来帧的任何信息，这一特性为其带来了一个显著优势：它们可用于真实场景。近期研究尤其聚焦于对相机输入的二维目标进行跟踪[^40] [^41]。迄今为止，基于点云输入算法检测结果的在线多目标三维目标跟踪仍未得到普及。下文将介绍本文用于多目标跟踪的标记多伯努利滤波器的基础原理。

离散时刻t第i个目标的状态$x_{t}^{i}$是一个随机变量。时刻t的所有目标构成的集合是状态空间$\mathbb{X}$的一个子集，记为

 $$ \mathbf{X}_{t}=\left\{x_{t}^{i}\right\}_{i=1}^{N_{t}^{x}}\subset\mathbb{X}. $$

相应地，时刻t的集合基数$N_t^x = |\mathbf{X}_t|$是一个离散随机变量。

时刻t所有量测构成的集合同样被建模为一个随机集，其集合基数为$N_t^z = |\mathbf{Z}_t|$，记为

 $$ \mathbf{Z}_{t}=\left\{z_{t}^{i}\right\}_{i=1}^{N_{t}^{z}}\subset\mathbb{Z}. $$

每个单独的量测$z_{t}^{i}$要么由目标生成，要么是杂波，但其真实来源未知。此外，到时刻t（包含时刻t）为止的所有量测构成的集合记为

 $$ \mathbf{Z}^{t}=\bigcup_{\tau=1}^{t}\mathbf{Z}_{\tau}. $$

上述两个集合均为无序集合，也就是说，索引的具体选择是任意的。目标和量测按照[^2]所提出的方法建模为标记多伯努利随机有限集（LMB RFS）。伯努利随机有限集是一类集合：它以概率$1 - r$为空集，或仅包含一个元素。如[^36]中所述，伯努利随机有限集的概率密度可写为

 $$ \pi(X)=\begin{cases}1-r,&if X=\varnothing,\\r\;p(x),&if X=\{x\}\end{cases} $$

其中$p(\cdot)$是定义在$\mathbb{X}$上的空间分布。多伯努利随机有限集是多个独立伯努利随机有限集的并集，即$X_{\mathrm{MB}} = \bigcup_{i} X_{\mathrm{B}}^{(i)}{}$。因此，多伯努利随机有限集可由参数$\{r^{(i)}, p^{(i)}\}_{i}$唯一定义。

带标记随机有限集可以同时估计目标状态和每个目标的单独轨迹。因此，目标状态被扩展了一个标记$l \in \mathbb{L}$，即每个单个目标状态可表示为$\mathbf{x} = (x, l)$，对应的多目标状态$\mathbf{X}$定义在乘积空间$\mathbb{X} \times \mathbb{L}$上，其中$\mathbb{L}$为离散空间。注意，该定义并未强制要求标记l互不相同。[^44]引入了所谓的不同标记指示函数

 $$ \Delta(\mathbf{X}):=\delta_{|\mathbf{X}|}(|\mathcal{L}(\mathbf{X})|) $$

该函数强制要求$\mathbf{X}$的基数等于投影$\mathcal{L}(\mathbf{X}) = \{\mathcal{L}(\mathbf{x}) : \mathbf{x} \in \mathbf{X}\}$的基数，即$\mathcal{L}(\mathbf{x}) = l$。结合式(4)可得，LMB RFS的概率密度可由参数集$\{r^{(l)}, p^{(l)}\}_{l \in \mathbb{L}}$唯一定义，其基数分布为

 $$ \rho(n)=\prod_{i\in\mathbb{L}}(1-r^{(i)})\sum_{L\in\mathcal{F}_{n}(\mathbb{L})}\prod_{l\in L}\frac{r^{(l)}}{1-r^{(l)}} $$

其中$\mathcal{F}_{n}(\mathbb{L})$是$\mathbb{L}$中所有包含n个元素的子集构成的集合。

多目标跟踪的核心目标是近似多目标分布 $f_{t|t}(\mathbf{X}_t|\mathbf{Z}^t)$ 在每个

---

时间步t。该过程通过多目标贝叶斯滤波器实现。

 $$ f_{t|t}(\mathbf{X}_{t}|\mathbf{Z}^{t})=\frac{f_{t}(\mathbf{Z}_{t}|\mathbf{X}_{t})f_{t|t-1}(\mathbf{X}_{t}|\mathbf{Z}^{t-1})}{\int f_{t}(\mathbf{Z}_{t}|\mathbf{X}_{t})f_{t|t-1}(\mathbf{X}_{t}|\mathbf{Z}^{t-1})\delta\mathbf{X}_{t}} $$

以及查普曼-科尔莫戈罗夫预测

 $$ f_{t+1|t}(\mathbf{X}_{t+1}|\mathbf{Z}^{t})=\int f_{t+1|t}(\mathbf{X}_{t+1}|\mathbf{X}_{t})f_{t|t}(\mathbf{X}_{t}|\mathbf{Z}^{t})\delta\mathbf{X}_{t} $$

其中$f_t(\mathbf{Z}_t|\mathbf{X}_t)$是多目标量测集密度，$f_{t+1|t}(\mathbf{X}_{t+1}|\mathbf{X}_t)$是多目标转移密度。

### 3. 联合检测与扩展目标模型

#### 3.1 点云预处理

首先，我们采用[^39]中的高效模型生成前向相机图像的语义分割图，该模型在[^5]上预训练，并在KITTI数据集[^8]上微调。其次，我们将点云量化为3D体素表示，该表示可以存储每个体素内部所有点的特定特征。根据KITTI $[0, 60]m \times [-40, 40]m \times [-2.73, 1.27]m$数据集的设定，我们将点云感兴趣区域在传感器坐标系下设置为[^8]。我们选择的分辨率为$768 \times 1024 \times 21$，每个单元的大小约为$0.08m \times 0.08m \times 0.19m$。对于3D空间内至少存在一个点、且可被前向相机观测到的体素，我们填入从语义图提取的、范围在$[1, 2]$内的归一化类别值。为此，我们利用[^8]提供的标定参数将所有相关点投影到图像上，然后对所有解析类别的频率取最大值索引（argmax）。通过这种方式，包含视觉特征的上下文信息被注入到体素图中，这对于远距离低密度点区域尤其有帮助。

#### 3.2 基于体素的Complex-YOLO

我们采用了[^42]中提出的完整检测流程，但将输入图替换为我们的体素表示。受[^34]启发，我们将最大池化层替换为步长为2的卷积，并添加了残差连接。整个网络共有49个卷积层。此外，我们将物体高度h和地面偏移z添加为目标回归参数，并将二者整合到多分量损失函数中。

 $$ \begin{aligned}\mathcal{L}=&\mathcal{L}_{\mathrm{Euler}}\\&+\lambda_{\mathrm{coord}}\sum_{i=0}^{S^{2}}\sum_{j=0}^{B}\mathbb{1}_{i j}^{o b j}\left[(h_{i}-\hat{h}_{i})^{2}+(z_{i}-\hat{z}_{i})^{2}\right]\end{aligned} $$

训练过程中通常使用IoU来比较检测结果与真值。但在比较旋转包围框时，IoU存在缺陷。如果两个框的尺寸、位置均相同，角度差为$\pi$，此时两个框之间的IoU为1，会被判定为完全匹配。但实际上两个框的角度已经达到了最大可能差值，这显然不符合实际情况。因此在网络训练过程中，这类预测不会受到惩罚，甚至会被模型鼓励，最终导致物体方向预测错误。此外，在三维空间中计算旋转包围框的精确IoU是一项非常耗时的工作。

为了解决这两个问题，我们提出了一种全新的、可高度参数化的简单评估指标，称为缩放-旋转-平移分数（Scaling-Rotation-Translation score, SRTs）。SRTs基于以下原理：对于任意两个形状相同的三维物体，都可以通过变换将其中一个转换为另一个。因此，我们可以将分数$S_{srt}$定义为缩放$S_{s}$、旋转$S_{r}$和平移$S_{t}$三个独立分数的组合，即：

 $$ S_{s}=1-\min\left(\frac{\left|1-s_{x}\right|+\left|1-s_{y}\right|+\left|1-s_{z}\right|}{w_{s}},1\right) $$

 $$ S_{r}=\max\Big(0,1-\frac{\theta}{w_{r}\pi}\Big),\quad w_{r}\in(0,1] $$

 $$ r_{i}=\frac{d_{i}\cdot w_{t}}{2},\quad i\in\{1,2\} $$

 $$ S_{t}=\max\Big(0,\frac{r_{1}+r_{2}-t}{r_{1}+r_{2}}\Big) $$

 $$ p_{t}=\begin{cases}0,&if r_{1}+r_{2}<t\\1,&otherwise\end{cases} $$

其中$s_{x,y,z}$表示x、y、z方向的尺寸比，$\theta$表示偏航角的差值，t表示两个物体中心之间的欧氏距离，$p_t$是物体不相交时的惩罚项。$S_t$会根据两个物体的尺寸计算，这是因为小物体的微小平移就会产生较大影响，大物体则反之。因此我们利用两个物体的对角线长度$d_i$计算得到两个半径$r_i$。

可以使用$w_{s}, w_{t}$和$w_{r}$调整分数，这两个参数控制各子分数的严格程度。我们使用了$w_{s} = 0.3$、$w_{t} = 1$和$w_{r} = 0.5$

上述所有分数都处于区间$[0,1]$内，可通过简单加权平均结合惩罚项$(S_{srt})$，合并得到最终分数$p_{t}$。

 $$ \begin{aligned}\boldsymbol{S}_{srt}=&\boldsymbol{p}_{t}\cdot\left(\alpha\boldsymbol{S}_{s}+\beta\boldsymbol{S}_{t}+\gamma\boldsymbol{S}_{r}\right)\\&\alpha+\beta+\gamma=1\end{aligned} $$

利用$\alpha, \beta, \gamma$可以定义三个子分数的权重。我们使用了$\gamma = 0.4$和$\alpha = \beta = 0.3$来赋予更高的

---

![Image](images/f8703cf83e997249ee5864ae7f0c14a70eb90b4f90fdbe7c10eb3bb738b78b89.jpg)

<div style="text-align: center;">Figure 2: Overview of our architecture.</div>

权重给角度项，因为平移和缩放对于网络来说更容易学习。

SRTs完全契合网络预测带偏航角的三维包围框所需完成的三个子任务（旋转、位置、尺寸）。该指标设计为可参数化形式，能够近似IoU的同时还考虑了物体方向。通过调整所有参数，该分数可以适配不同问题的需求。

#### 3.3. LMB RFS中的扩展目标模型

若要将RFS方法应用于由三维空间中的框组成的YOLO网络输出，我们将输出解释为位置参数受高斯噪声污染的测量$z_t^i$、$i \in \{1, \ldots, N_t^z\}$（见式2），并将其扩展为扩展目标[^9] $x_t^i$、$i \in \{1, \ldots, N_t^x\}$（见式1），附带测量噪声协方差矩阵$R = \text{diag}(0.5^2, 0.5^2, 0.5^2, 0.5^2, 0.5^2, 0.1^2)$。假设目标遵循协调转弯运动模型[^38]运动，过程噪声协方差为$Q = \text{diag}(\sigma_a^2, \sigma_\alpha^2)$，由加速度标准差$\sigma_a = 17.89$和偏航率导数$\sigma_\alpha = 1.49$构成。

单个测量z由三维空间中的框中心位置$c = [x, y, z]$、框尺寸（长、宽、高）$s = [l, w, h]$和框沿第一维度的朝向$\phi_{t}^{i}$（偏航角）组成，因此：

 $$ z=\left[c,s,\phi\right]. $$

用于跟踪的扩展目标状态均值$\bar{x}_{t}^{i}$包含与测量相同的参数，以及协调转弯模型的运动参数（由速度v和偏航率$\dot{\phi}$组成）。时刻t第i个目标的状态均值可以表示为：

 $$ \bar{x}_{t}^{i}=[c_{t}^{i},s_{t}^{i},\phi_{t}^{i},v_{t}^{i},\dot{\phi}_{t}^{i}] $$

并带有对应的状态协方差矩阵$\bar{P}_{t}^{i}$。我们可以写出测量方程：

 $$ z=H\cdot\bar{x} $$

针对单个测量z和目标均值$\bar{x}$，其中测量矩阵为：

 $$ H=\begin{pmatrix}\mathbf{I}_{7}&0\end{pmatrix}\in\mathbb{R}^{7\times9}, $$

其中$I_{7}$是7维单位矩阵。基于该测量方程，可以定义一个贝叶斯滤波器，其中新息按照上述测量模型通过卡尔曼滤波更新计算得到。预测步骤根据假设的非线性协调转弯模型[^38]使用无迹卡尔曼滤波完成。

在LMB更新步骤中，每个预测目标会与当前时间步的每个测量进行关联，并按照定义的测量模型执行更新。我们根据更新似然生成热度图，对关联概率建模，以此判断目标保留还是丢弃。设$p_{a}(x^{i}, z^{j})$为测量$z^{j}$和状态$x^{i}$之间的关联概率。当未分配概率

 $$ p_{n a}(z^{j})=1-\sum_{x^{i}\in\mathbf{X}}p_{a}(x^{i},z^{j}) $$

高于阈值$P_{na}$时，我们认为该未被解释的测量诞生了一个新目标。

待提取目标的数量$N_{e}$由式6给出的基数分布均值推导得到。我们提取所有$N_{e}$个存在概率最高的目标$r^{(l)}$。

### 4. 实验

我们在KITTI基准测试上评估Complexer-YOLO的3D目标检测和鸟瞰图（BEV）检测性能。此外，我们还借助目标跟踪

---

基准测试评估了我们多目标跟踪方法的性能。我们的消融研究探究了体素表示中编码的不同输入特征的重要性，得到了更多结论。最后，我们通过若干定性结果可视化了模型的输出效果。

#### 4.1. 训练细节

KITTI数据集 [^8] 包含7481张训练图像和7518张测试图像。首先，我们遵循 [^4] 的方案，使用训练/验证划分优化我们的设置，之后使用完整训练集进行官方评估。我们通过旋转增强训练数据集，将数据集大小扩大为原来的4倍。具体来说，我们在$[-20, 20]$度范围内随机选取3个角度，且任意两个角度之间的最小差值为8度。与[^47]中的方法类似，我们在训练过程中沿x轴进行随机翻转。

训练阶段，我们使用darknet框架的扩展版本 [^31]。我们从零开始训练模型，共进行14万次迭代，学习率分别在2万次、8万次和12万次迭代时调整。

#### 4.2. 检测结果

我们将结果提交至KITTI视觉基准套件 [^8]，参与官方测试集上的方向相似性、BEV、三维目标检测和目标跟踪基准测试。为保证比较公平，我们仅选取部分至少能够检测汽车、行人和骑行者类别的领先三维目标检测器。跟踪部分仅列出在线方法。

我们在表1中展示了方向相似性、BEV和三维目标检测的评估结果。表2展示了我们在多目标跟踪准确度和精确度（MOTA和MOTP）、大多跟踪（MT）和大多丢失（ML）指标上的结果。

遗憾的是，由于对Dontcare标签和忽略对象（例如被截断或遮挡的对象，参见 [^8]）的处理方式，整个评估过程基于相机空间中的二维边界框开展。跟随配套BEV和三维任务的二维目标检测基准评测，我们在中等难度的汽车类别上取得了79.31%的成绩，该设置下的方向相似性得分为79.08%。但我们的算法是在三维空间中检测和跟踪边界框，因此所有检测结果都需要投影到图像平面。尽管我们不在图像空间中进行跟踪，我们的跟踪算法仍能在实时运行的同时取得当前最优结果（可视化见图6）。此外，我们是首个在KITTI跟踪基准上实现基于点云检测的三维跟踪的工作。但我们的结果和BEV、三维检测结果存在不一致：我们在这两项上分别仅取得66.07%和49.44%。在三维空间平均精度低于50%的情况下，跟踪无法得到理想结果，我们认为这主要来源于Dontcare对象的错误计数。与KITTI官方指南相反，我们发现当前的目标检测评估脚本没有对BEV和三维目标检测基准的Dontcare标签做正确处理，所有这类检测都被计为假阳性，这对我们的结果影响极大。此外，大多数行人类别的二维真值边界框经过人工修正，不再和三维空间重投影得到的边界框匹配，这在分配忽略对象时导致了额外的错误计数假阳性。

图3展示了我们的模型在多个不同用例序列上的出色结果。尽管数据集存在严重的类别不平衡，我们的模型依然能够在三维空间中为多类别检测出精准的旋转边界框。借助体素化语义特征，网络甚至能够检测出行人、骑行者这类小目标，只要它们和其他出现的对象之间存在最小空间距离即可。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td rowspan="2">FPS</td><td colspan="3">Car</td><td colspan="3">Pedestrian</td><td colspan="3">Cyclist</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Easy</td><td style='text-align: center; word-wrap: break-word;'>Mod.</td><td style='text-align: center; word-wrap: break-word;'>Hard</td><td style='text-align: center; word-wrap: break-word;'>Easy</td><td style='text-align: center; word-wrap: break-word;'>Mod.</td><td style='text-align: center; word-wrap: break-word;'>Hard</td><td style='text-align: center; word-wrap: break-word;'>Easy</td><td style='text-align: center; word-wrap: break-word;'>Mod.</td><td style='text-align: center; word-wrap: break-word;'>Hard</td></tr><tr><td colspan="11">Orientation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AVOD-FPN [^16]</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>89.95</td><td style='text-align: center; word-wrap: break-word;'>87.13</td><td style='text-align: center; word-wrap: break-word;'>79.24</td><td style='text-align: center; word-wrap: break-word;'>53.36</td><td style='text-align: center; word-wrap: break-word;'>44.92</td><td style='text-align: center; word-wrap: break-word;'>43.77</td><td style='text-align: center; word-wrap: break-word;'>67.61</td><td style='text-align: center; word-wrap: break-word;'>57.53</td><td style='text-align: center; word-wrap: break-word;'>54.16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SECOND [^46]</td><td style='text-align: center; word-wrap: break-word;'>20.0</td><td style='text-align: center; word-wrap: break-word;'>87.84</td><td style='text-align: center; word-wrap: break-word;'>81.31</td><td style='text-align: center; word-wrap: break-word;'>71.95</td><td style='text-align: center; word-wrap: break-word;'>51.56</td><td style='text-align: center; word-wrap: break-word;'>43.51</td><td style='text-align: center; word-wrap: break-word;'>38.78</td><td style='text-align: center; word-wrap: break-word;'>80.97</td><td style='text-align: center; word-wrap: break-word;'>57.20</td><td style='text-align: center; word-wrap: break-word;'>55.14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BirdNet [^1]</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>50.85</td><td style='text-align: center; word-wrap: break-word;'>35.81</td><td style='text-align: center; word-wrap: break-word;'>34.90</td><td style='text-align: center; word-wrap: break-word;'>21.34</td><td style='text-align: center; word-wrap: break-word;'>17.26</td><td style='text-align: center; word-wrap: break-word;'>16.67</td><td style='text-align: center; word-wrap: break-word;'>41.48</td><td style='text-align: center; word-wrap: break-word;'>30.76</td><td style='text-align: center; word-wrap: break-word;'>28.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Complexer-YOLO</td><td style='text-align: center; word-wrap: break-word;'>15.6</td><td style='text-align: center; word-wrap: break-word;'>87.97</td><td style='text-align: center; word-wrap: break-word;'>79.08</td><td style='text-align: center; word-wrap: break-word;'>78.75</td><td style='text-align: center; word-wrap: break-word;'>37.80</td><td style='text-align: center; word-wrap: break-word;'>31.80</td><td style='text-align: center; word-wrap: break-word;'>31.26</td><td style='text-align: center; word-wrap: break-word;'>64.51</td><td style='text-align: center; word-wrap: break-word;'>56.32</td><td style='text-align: center; word-wrap: break-word;'>56.23</td></tr><tr><td colspan="11">BEV</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>F-PointNet [^28]</td><td style='text-align: center; word-wrap: break-word;'>5.9</td><td style='text-align: center; word-wrap: break-word;'>88.70</td><td style='text-align: center; word-wrap: break-word;'>84.00</td><td style='text-align: center; word-wrap: break-word;'>75.33</td><td style='text-align: center; word-wrap: break-word;'>58.09</td><td style='text-align: center; word-wrap: break-word;'>50.22</td><td style='text-align: center; word-wrap: break-word;'>47.20</td><td style='text-align: center; word-wrap: break-word;'>75.38</td><td style='text-align: center; word-wrap: break-word;'>61.96</td><td style='text-align: center; word-wrap: break-word;'>54.68</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AVOD-FPN [^16]</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>88.53</td><td style='text-align: center; word-wrap: break-word;'>83.79</td><td style='text-align: center; word-wrap: break-word;'>77.90</td><td style='text-align: center; word-wrap: break-word;'>58.75</td><td style='text-align: center; word-wrap: break-word;'>51.05</td><td style='text-align: center; word-wrap: break-word;'>47.54</td><td style='text-align: center; word-wrap: break-word;'>68.09</td><td style='text-align: center; word-wrap: break-word;'>57.48</td><td style='text-align: center; word-wrap: break-word;'>50.77</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VoxelNet [^49]</td><td style='text-align: center; word-wrap: break-word;'>4.4</td><td style='text-align: center; word-wrap: break-word;'>89.35</td><td style='text-align: center; word-wrap: break-word;'>79.26</td><td style='text-align: center; word-wrap: break-word;'>77.39</td><td style='text-align: center; word-wrap: break-word;'>46.13</td><td style='text-align: center; word-wrap: break-word;'>40.74</td><td style='text-align: center; word-wrap: break-word;'>38.11</td><td style='text-align: center; word-wrap: break-word;'>66.70</td><td style='text-align: center; word-wrap: break-word;'>54.76</td><td style='text-align: center; word-wrap: break-word;'>50.55</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BirdNet [^1]</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>75.52</td><td style='text-align: center; word-wrap: break-word;'>50.81</td><td style='text-align: center; word-wrap: break-word;'>50.00</td><td style='text-align: center; word-wrap: break-word;'>26.07</td><td style='text-align: center; word-wrap: break-word;'>21.35</td><td style='text-align: center; word-wrap: break-word;'>19.96</td><td style='text-align: center; word-wrap: break-word;'>38.93</td><td style='text-align: center; word-wrap: break-word;'>27.18</td><td style='text-align: center; word-wrap: break-word;'>25.51</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Complexer-YOLO</td><td style='text-align: center; word-wrap: break-word;'>15.6</td><td style='text-align: center; word-wrap: break-word;'>74.23</td><td style='text-align: center; word-wrap: break-word;'>66.07</td><td style='text-align: center; word-wrap: break-word;'>65.70</td><td style='text-align: center; word-wrap: break-word;'>22.00</td><td style='text-align: center; word-wrap: break-word;'>20.88</td><td style='text-align: center; word-wrap: break-word;'>20.81</td><td style='text-align: center; word-wrap: break-word;'>36.12</td><td style='text-align: center; word-wrap: break-word;'>30.16</td><td style='text-align: center; word-wrap: break-word;'>26.01</td></tr><tr><td colspan="11">3D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>F-PointNet [^28]</td><td style='text-align: center; word-wrap: break-word;'>5.9</td><td style='text-align: center; word-wrap: break-word;'>81.20</td><td style='text-align: center; word-wrap: break-word;'>70.39</td><td style='text-align: center; word-wrap: break-word;'>62.19</td><td style='text-align: center; word-wrap: break-word;'>51.21</td><td style='text-align: center; word-wrap: break-word;'>44.89</td><td style='text-align: center; word-wrap: break-word;'>40.23</td><td style='text-align: center; word-wrap: break-word;'>71.96</td><td style='text-align: center; word-wrap: break-word;'>56.77</td><td style='text-align: center; word-wrap: break-word;'>50.39</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AVOD-FPN [^16]</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>81.94</td><td style='text-align: center; word-wrap: break-word;'>71.88</td><td style='text-align: center; word-wrap: break-word;'>66.38</td><td style='text-align: center; word-wrap: break-word;'>50.80</td><td style='text-align: center; word-wrap: break-word;'>42.81</td><td style='text-align: center; word-wrap: break-word;'>40.88</td><td style='text-align: center; word-wrap: break-word;'>64.00</td><td style='text-align: center; word-wrap: break-word;'>52.18</td><td style='text-align: center; word-wrap: break-word;'>46.61</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VoxelNet [^49]</td><td style='text-align: center; word-wrap: break-word;'>4.4</td><td style='text-align: center; word-wrap: break-word;'>77.47</td><td style='text-align: center; word-wrap: break-word;'>65.11</td><td style='text-align: center; word-wrap: break-word;'>57.73</td><td style='text-align: center; word-wrap: break-word;'>39.48</td><td style='text-align: center; word-wrap: break-word;'>33.69</td><td style='text-align: center; word-wrap: break-word;'>31.51</td><td style='text-align: center; word-wrap: break-word;'>61.22</td><td style='text-align: center; word-wrap: break-word;'>48.36</td><td style='text-align: center; word-wrap: break-word;'>44.37</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BirdNet [^1]</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>14.75</td><td style='text-align: center; word-wrap: break-word;'>13.44</td><td style='text-align: center; word-wrap: break-word;'>12.04</td><td style='text-align: center; word-wrap: break-word;'>14.31</td><td style='text-align: center; word-wrap: break-word;'>11.80</td><td style='text-align: center; word-wrap: break-word;'>10.55</td><td style='text-align: center; word-wrap: break-word;'>18.35</td><td style='text-align: center; word-wrap: break-word;'>12.43</td><td style='text-align: center; word-wrap: break-word;'>11.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Complexer-YOLO</td><td style='text-align: center; word-wrap: break-word;'>15.6</td><td style='text-align: center; word-wrap: break-word;'>55.63</td><td style='text-align: center; word-wrap: break-word;'>49.44</td><td style='text-align: center; word-wrap: break-word;'>44.13</td><td style='text-align: center; word-wrap: break-word;'>19.45</td><td style='text-align: center; word-wrap: break-word;'>15.32</td><td style='text-align: center; word-wrap: break-word;'>14.80</td><td style='text-align: center; word-wrap: break-word;'>28.36</td><td style='text-align: center; word-wrap: break-word;'>23.48</td><td style='text-align: center; word-wrap: break-word;'>22.85</td></tr></table>

<div style="text-align: center;">Table 1: Evaluation of orientation, bird's eye view and 3D detection. Frames per second (FPS) and APs (in %) on KITTI test set.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MOTA [%]</td><td style='text-align: center; word-wrap: break-word;'>MOTP [%]</td><td style='text-align: center; word-wrap: break-word;'>MT [%]</td><td style='text-align: center; word-wrap: break-word;'>ML [%]</td><td style='text-align: center; word-wrap: break-word;'>FPS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MOTBeyondPixels [^41]</td><td style='text-align: center; word-wrap: break-word;'>84.24</td><td style='text-align: center; word-wrap: break-word;'>85.73</td><td style='text-align: center; word-wrap: break-word;'>73.23</td><td style='text-align: center; word-wrap: break-word;'>2.77</td><td style='text-align: center; word-wrap: break-word;'>3.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IMMDP [^41]</td><td style='text-align: center; word-wrap: break-word;'>83.04</td><td style='text-align: center; word-wrap: break-word;'>82.74</td><td style='text-align: center; word-wrap: break-word;'>60.62</td><td style='text-align: center; word-wrap: break-word;'>11.38</td><td style='text-align: center; word-wrap: break-word;'>5.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3D-CNN/PMBM [^40]</td><td style='text-align: center; word-wrap: break-word;'>80.39</td><td style='text-align: center; word-wrap: break-word;'>81.26</td><td style='text-align: center; word-wrap: break-word;'>62.77</td><td style='text-align: center; word-wrap: break-word;'>6.15</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>mbodSSP [^18]</td><td style='text-align: center; word-wrap: break-word;'>72.69</td><td style='text-align: center; word-wrap: break-word;'>78.75</td><td style='text-align: center; word-wrap: break-word;'>48.77</td><td style='text-align: center; word-wrap: break-word;'>8.77</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>75.70</td><td style='text-align: center; word-wrap: break-word;'>78.46</td><td style='text-align: center; word-wrap: break-word;'>58.00</td><td style='text-align: center; word-wrap: break-word;'>5.08</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr></table>

<div style="text-align: center;">Table 2: Comparison with non-anonymous pure online submissions on KITTI MOT benchmark [^8].</div>

#### 4.3. 消融实验

我们在固定训练设置下开展了消融实验，以探究本文超参数和多种输入特征的影响。我们的体素图使用21个高度通道时，在IoU阈值0.7下得到的mAP与使用51个通道（长方体体素）的结果相近。这说明我们的网络无法充分利用细粒度高度信息。此外，该设置是运行时间和准确率之间的最优权衡，因为使用更多通道会略微增加运行时间。

---

![Image](images/c06da74815a5b5b52da78d23bed984c98eaf465775d21cf270ef8495f7c4e148.jpg)

<div style="text-align: center;">Figure 3: Qualitative results. For visualization, our detections are projected into camera space with overlayed pixel wise semantic segmentation.</div>

在我们的硬件设置下，超过21个高度通道会带来上述变化。表3展示了使用不同体素图的实验结果：分别对来自激光雷达传感器的强度值做范围归一化[^1] [^2]、类似[^25]的二值占用图，以及本文提出的新型语义图。此外，表中还列出了[^42]提出的将提取特征编码为RGB图像的方法的结果。

为了减少因忽略“不关心（Dontcare）”标签导致的误计数假阳性，我们尝试在后处理步骤中对检测结果进行过滤。具体来说，我们统计了落在每个3D bounding box内的3D点数量。我们移除了所有包含点数量少于13个、且到激光雷达传感器的径向距离小于52米的检测结果，因为“不关心”标注通常用于较远距离的物体或被遮挡的物体。该过滤方法将所有目标检测结果平均提升了1.3%，但例如中等难度下汽车的BEV AP下降了4.8%。因此，我们的过滤器虽然移除了一些“不关心”或应忽略的检测结果，但同时也移除了正确的检测结果。此外，该方法对中等难度设置的影响更大，因为简单难度的有效检测都位于近距离范围内，这也解释了为什么简单难度下也会出现AP下降。

最后，在训练中使用SRT而非IoU，在IoU 0.7下的mAP提升了1.3%，因为SRT直接对方向误差进行惩罚。它还将我们的训练时间缩短了一半，并且使推理的运行时间提升了10-20%。

此外，我们尝试使用锚框将目标旋转限制在区间内，而非对完整360度使用复杂角度，但该方法降低了准确率。这一方向仍需进一步研究，因为我们认为该方法有潜力降低

---

![Image](images/78fc6636dc52c70f30a3229fbf665d082f21dc9b410f8dee250dd7b0e0f6158f.jpg)

<div style="text-align: center;">Figure 4: Results for the orientation benchmark compared to SECOND [^46], BirdNet [^1], AVOD-FPN [^16] on official KITTI test set.</div>

![Image](images/ef4fffda4d47956e10ce87e059dd2291b83766025a9dee444b94060d6d870f5f.jpg)

<div style="text-align: center;">Figure 5: The Complexer-YOLO runtime evaluation (reference hardware: NVIDIA GTX1080i/Titan) shows state-of-the-art results of all single tasks (Semantic Segmentation, 3D object detection (BEV, cars  $\rightarrow$ hard, Tab. 1), Tracking Tab. 2). Results for Semantic Segmentation are taken from the KITTI leader board. We point out, that our overall Detection and Tracking Pipeline is faster than many single task algorithms.</div>

<div style="text-align: center;">in complexity for the learning task of the network.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Feature</td><td style='text-align: center; word-wrap: break-word;'>IoU 0.7</td><td style='text-align: center; word-wrap: break-word;'>SRTs 0.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RGB</td><td style='text-align: center; word-wrap: break-word;'>28.64</td><td style='text-align: center; word-wrap: break-word;'>30.02</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Occupancy</td><td style='text-align: center; word-wrap: break-word;'>31.93</td><td style='text-align: center; word-wrap: break-word;'>33.24</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Intensity</td><td style='text-align: center; word-wrap: break-word;'>32.39</td><td style='text-align: center; word-wrap: break-word;'>33.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Semantic</td><td style='text-align: center; word-wrap: break-word;'>34.14</td><td style='text-align: center; word-wrap: break-word;'>35.43</td></tr></table>

<div style="text-align: center;">Table 3: Ablation study of different input features. mAP values (in %) for the 3D benchmark on KITTI validation set.</div>

### 5. 结论

本文提出了Complexer-YOLO，这是一个支持跟踪的实时3D目标检测器，运行在融合了视觉语义分割的点云上。我们的架构

![Image](images/02b33e6184db80506dd9c21623d979a6d4e4a41da8516335a44cd558380f7a67.jpg)

<div style="text-align: center;">Figure 6: Tracked objects trajectories.</div>

同时利用了激光雷达的空间数据和从2D图像得到的场景理解信息。在3D空间得到的检测结果在KITTI基准测试集[^8]上取得了与现有最优方法相比极具竞争力的性能。同时，我们提出了SRT，这是一种更强大、更灵活也更简洁的目标比较评估指标，克服了IoU的局限性。

---

## 参考文献

[^1]: J. Beltran, C. Guindel, F. M. Moreno, D. Cruzado, F. Garcia, and A. de la Escalera. BirdNet: a 3D Object Detection Framework from LiDAR information. 2018. 3, 6, 8

[^2]: D. S. Bryant, B. T. Vo, B. N. Vo, and B. A. Jones. A Generalized Labeled Multi-Bernoulli Filter with Object Spawning. pages 1–12, 2017. 3

[^3]: X. Chen, K. Kundu, Y. Zhu, H. Ma, S. Fidler, and R. Urta-sun. 3D Object Proposals using Stereo Imagery for Accurate Object Class Detection. aug 2016. 2

[^4]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia. Multi-view 3D object detection network for autonomous driving. Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, pages 6526–6534, nov 2017. 3, 6

[^5]: M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele. The Cityscapes Dataset for Semantic Urban Scene Understanding. 2016. 4

[^6]: M. Engelcke, D. Rao, D. Z. Wang, C. H. Tong, and I. Posner. Vote3Deep: Fast Object Detection in 3D Point Clouds Using Efficient Convolutional Neural Networks. 2016. 2

[^7]: D. Frossard and R. Urtasun. End-to-end Learning of Multi-sensor 3D Tracking by Detection. 2018. 3

[^8]: A. Geiger, P. Lenz, and R. Urtasun. Are we ready for autonomous driving? the KITTI vision benchmark suite. Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 128, 2012. 4, 6, 8

[^9]: K. Granstrom, M. Baum, and S. Reuter. Extended object tracking: Introduction, overview and applications. ISIF Journal of Advances in Information Fusion, 12(2), Dec. 2017. 5

[^10]: A. Graves, S. Fernandez, and J. Schmidhuber. Multi-Dimensional Recurrent Neural Networks. 2007. 3

[^11]: K. He. Deep Residual Learning for Image Recognition. 2015. 2

[^12]: K. He, G. Gkioxari, P. Dollar, and R. Girshick. Mask R-CNN. Proc. IEEE Int. Conf. Comput. Vis., 2017. 2

[^13]: Y. He, X. Zhang, and J. Sun. Channel Pruning for Accelerating Very Deep Neural Networks. 2017. 3

[^14]: A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam. MobileNets. 2017. 3

[^15]: F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. 2016. 2

[^16]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. Waslander. Joint 3D Proposal Generation and Object Detection from View Aggregation. 2017. 3, 6, 8

[^17]: B. Lee, E. Erdenee, S. Jin, and P. K. Rhee. Multi-class multi-object tracking using changing point detection. Aug 2016. 3

[^18]: P. Lenz, A. Geiger, and R. Urtasun. FollowMe: Efficient Online Min-Cost Flow Tracking with Bounded Memory and Computation. 2014. 6

[^19]: B. Li. 3D Fully Convolutional Network for Vehicle Detection in Point Cloud. 115, 2016. 2

[^20]: B. Li, T. Zhang, and T. Xia. Vehicle Detection from 3D Lidar Using Fully Convolutional Network. 2016. 3

[^21]: G. Lin, A. Milan, C. Shen, and I. Reid. RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation. In CVPR 2017, 2017. 3

[^22]: T.-Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie. Feature Pyramid Networks for Object Detection. Dec 2016. 2

[^23]: T. Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar. Focal Loss for Dense Object Detection. Proc. IEEE Int. Conf. Comput. Vis., 2017. 2

[^24]: W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg. SSD: Single shot multibox detector. 2016. 2

[^25]: W. Luo, B. Yang, and R. Urtasun. Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net. 2018. 3, 7

[^26]: S. Mehta, M. Rastegari, A. Caspi, L. Shapiro, and H. Hajishirzi. ESPNet : Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation. 2018. 3

[^27]: A. Paszke, A. Chaurasia, S. Kim, and E. Culurciello. Enet : A deep neural network architecture for real-time semantic segmentation. 2016. 3

[^28]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas. Frustum PointNets for 3D Object Detection from RGB-D Data. 2017. 3, 6

[^29]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. 74, 2016. 3

[^30]: M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi. XNOR-net: Imagenet classification using binary convolutional neural networks. 2016. 3

[^31]: J. Redmon. Darknet: Open source neural networks in c. <http://pjreddie.com/darknet/>, 2013–2016. 6

[^32]: J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You Only Look Once: Unified, Real-Time Object Detection. Proc. IEEE Int. Conf. Comput. Vis., 2015. 2

[^33]: J. Redmon and A. Farhadi. YOLO9000: Better, Faster, Stronger. Eur. Pharm. Contract., dec 2016. 2

[^34]: J. Redmon and A. Farhadi. YOLOv3: An Incremental Improvement. 2018. 2, 4

[^35]: S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017. 2

[^36]: S. Reuter, B.-T. Vo, B.-n. Vo, and K. Dietmayer. The labeled multi-bernoulli filter. IEEE Trans. Signal Process., 2014. 3

[^37]: E. Romera, J. M. Ivarez, L. M. Bergasa, and R. Arroyo. Erfnet: Efficient residual factorized convnet for real-time semantic segmentation. IEEE Transactions on Intelligent Transportation Systems, Jan 2018. 3

[^38]: M. Roth, G. Hendeby, and F. Gustafsson. Ekf/ukf maneuvering target tracking using coordinated turn models with polar/cartesian velocity. In Information Fusion (FUSION), 2014 17th International Conference on, pages 1–8. IEEE, 2014. 5


## [^39]: T. Sämann, K. Amende, S. Milz, C. Witt, M. Simon, and J. Petzold. Efficient Semantic Segmentation for Visual Bird's-eye View Interpretation. 2018. 1, 3, 4


---

[^40]: S. Scheidegger, J. Benjaminsson, E. Rosenberg, A. Krishnan, and K. Granstrom. Mono-Camera 3D Multi-Object Tracking Using Deep Learning Detections and PMBM Filtering. 2018. 3, 6

[^41]: S. Sharma, J. A. Ansari, J. K. Murthy, and K. M. Krishna. Beyond Pixels: Leveraging Geometry and Shape Cues for Online Multi-Object Tracking. 2018. 3, 6

[^42]: M. Simon, S. Milz, K. Amende, and H.-M. Gross. Complex-YOLO: Real-time 3D Object Detection on Point Clouds. 2018. 1, 3, 4, 7

[^43]: D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri. Learning spatiotemporal features with 3D convolutional networks. Proc. IEEE Int. Conf. Comput. Vis., 2015 International Conference on Computer Vision, ICCV 2015:4489–4497, 2015.

[^44]: B.-t. Vo and B.-n. Vo. A Random Finite Set Conjugate Prior and Application to Multi-Target Tracking. 2011. 3

[^45]: D. Xu, D. Anguelov, and A. Jain. PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation. 2017. 3

[^46]: Y. Yan, Y. Mao, and B. Li. SECOND: Sparsely Embedded Convolutional Detection. Sensors, 18(10):3337, 2018. 6, 8

[^47]: B. Yang, W. Luo, and R. Urtasun. PIXOR: Real-time 3D Object Detection from Point Clouds. Cvpr 2018, pages 7652–7660, 2018. 3, 6

[^48]: F. Yu and V. Koltun. Multi-Scale Context Aggregation by Dilated Convolutions. 2016. 3

[^49]: Y. Zhou and O. Tuzel. VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection. CVPR, 2017. 2, 6