# SemanticVoxels: 逐帧融合用于基于 LiDAR 点云和语义分割的三维行人检测 费俊聪 $^{1,2}$，陈文博 $^{1}$，菲利普·海登赖希 $^{1}$，萨沙·维格斯 $^{2}$，克里斯托夫·施蒂勒 $^{2}$ 摘要：三维行人检测是自动驾驶中的一项具有挑战性的任务，因为行人相对较小，经常被遮挡，并且容易与狭窄的垂直物体混淆。激光雷达和摄像头是用于此任务的两种常用的传感器模态，它们应该提供互补信息。出人意料的是，仅使用激光雷达的检测方法在公开基准测试中往往优于多传感器融合方法。最近，PointPainting 被提出，通过有效地融合语义分割网络的输出而不是原始图像信息，从而消除了这种性能下降。在本文中，我们提出了一种 PointPainting 的泛化方法，使其能够以不同的级别进行融合。在对点云进行语义增强后，我们编码原始点数据到柱中以获得几何特征，并将语义点数据编码到体素中以获得语义特征，并以有效的方式进行融合。在 KITTI 测试集上的实验结果表明，SemanticVoxels 在三维和鸟瞰行人检测基准测试中均实现了最先进的性能。特别是，我们的方法在检测具有挑战性的行人案例方面表现出其优势，并且优于当前最先进的方法。 ## I. 引言 三维物体检测是自动驾驶中的一项重要且具有挑战性的任务，其中行人检测是最困难的。特别是，行人检测的性能和鲁棒性对于自动驾驶汽车的同验证和接受至关重要。对于三维行人检测，自动驾驶汽车通常使用激光雷达和摄像头传感器系统：激光雷达点云提供准确的空间信息，而摄像头图像能够提供丰富的上下文和语义信息。仅使用激光雷达的方法通常无法检测到遥远或被遮挡的行人，或者无法区分行人与狭窄的垂直物体，例如高大的柱子或户外标牌。对于这些具有挑战性的情况，多传感器融合是一种显而易见的选择。尽管在该领域有一些开创性的研究，例如 [^1]、[^2]、[^3] 或 [^4]，但仅使用激光雷达的方法，如 PointRCNN [^5] 或 PointPillars [^6]，在 KITTI 三维物体检测基准测试 [^7] 上表现出最佳性能。这在某种程度上是违反直觉的，例如，如图 1 所示，PointPillars 将一个户外标牌预测为行人，而这种虚假阳性可以在图像中清楚地识别出来，这表明来自图像的附加信息应该对使用激光雷达点云的三维行人检测有益。据 [^8] 报道，来自不同模态的数据通常以不同的速率过度拟合和泛化，因此融合可能会导致性能 ![Image](images/fd2c1cc81985a9b53cdc3dc3c3d283360fad0760920a3fa9e03524fa78f59086.jpg)
Fig. 1: Challenging pedestrian detection example from the KITTI dataset. A camera image of the scene is shown at the top, the corresponding point cloud data and the pedestrian detection results of PointPillars and our method are shown at the bottom left and right, respectively. Dashed arrows are used to highlight a false positive and false negative example. The point cloud points corresponding to pedestrians are painted red for our method. Best viewed digitally with zoom.
下降，因此找到一种合适的融合方法来结合数据非常重要。 最近，PointPainting [^9] 旨在通过利用来自相机图像的附加语义信息，通过顺序融合来提高仅使用 LiDAR 的方法的性能。它将 3D 点投影到仅图像的语义分割网络的输出上，并使用获得的语义分割分数来“绘制”相应的 3D 点，然后再将它们用于仅使用 LiDAR 的目标检测网络。但是，这种融合仅限于原始数据级别，这可能不是最佳的。 在这项工作中，我们提出了 SemanticVoxels：PointPainting 的一种推广，它可以实现不同级别的融合。与 PointPainting 类似，SemanticVoxels 通过从仅图像的语义分割网络获取的语义信息，将原始点数据附加到一起。与将增强的点云馈送到仅 LiDAR 的目标检测网络不同，SemanticVoxels 进一步在体素中编码语义特征，并将它们与原始点云的几何特征融合。通过这种方式，我们可以在不同级别上实现融合。为了编码几何特征，我们遵循 PointPillars，将点云体素化为 xy 平面上的点柱，并在生成的点柱中编码原始点数据。为了编码额外的语义 --- ![Image](images/9544ba61440cee994856785334f7328eb882473e325c72a0a9a6fd5d7029fe23.jpg)
Fig. 2: Our method can be divided into four parts: Point cloud augmentation, feature encoding, backbone and detection head. In the first part, the point cloud is augmented with semantic information from the camera image. In the second part, geometric features in pillars and semantic features in voxels are both encoded in a BEV representation. In the backbone, geometric and semantic features are fused at three different levels $F_{1}$, $F_{2}$ and $F_{3}$, representing early fusion, middle fusion and late fusion, respectively. The output of the backbone is then fed to the detection head, which outputs oriented 3D boxes.
特征，点柱中的语义点数据进一步沿 z 方向体素化。 SemanticVoxels 是一种顺序融合方法，因为语义分割网络是独立训练的。虽然它不是端到端优化的，但我们仍然可以从我们的顺序架构中受益。与原始图像数据或中间层特征不同，语义分割网络的输出是对图像的紧凑摘要，在特征表示方面非常有效，并且在内存效率方面表现出色。此外，语义分割网络在自动驾驶中被广泛使用，并且该领域正在取得重大进展。因此，SemanticVoxels 可以以最小的开销从这些进展中受益。 我们使用 SemanticVoxels 在 KITTI 3D 和鸟瞰图 (BEV) 目标检测基准测试中进行评估。由于行人类别在 KITTI 排行榜上的表现与其他类别（如汽车和自行车）相比最差，因此我们预计改进潜力最大，因此本文重点关注行人类别。但是，我们注意到 SemanticVoxels 也适用于汽车和其他交通参与者。在 KITTI 测试集上的实验结果表明，SemanticVoxels 在 3D 和 BEV 目标检测任务中都实现了最先进的性能。特别是，我们的方法在检测具有挑战性的行人案例方面表现出优势，并且优于当前的先进方法。在 KITTI 验证集上的进一步实验证明了我们融合方案的有效性。 1) 我们提出了一种 PointPainting 的推广，使其能够以不同的级别应用融合。 总之，我们工作的三个主要贡献是： 2) 提出的方法将来自相机图像的语义特征编码为体素，并提供了一种有效的特征表示。 3) 我们的方法在 KITTI 3D 和 BEV 行人检测基准测试中实现了最先进的性能。实验结果还表明，SemanticVoxels 在检测具有挑战性的行人案例方面具有卓越的性能，并且我们提出的融合方案非常有效。 ### II. 相关工作 ### A. 3D 行人检测 我们关注两个类别的 3D 行人检测方法：仅使用 LiDAR 和融合方法。 LiDAR-only。PointRCNN [^5] 使用一种两阶段架构来检测 3D 对象，一个阶段用于生成 3D 对象建议，另一个阶段用于预测精炼。但是，两阶段架构在实现更好的性能的同时，会带来更大的计算复杂度。VoxelNet [^10] 和 SECOND [^11] 将点云划分为网格单元，然后使用 3D 卷积进行特征提取，并使用 2D 卷积进行检测。虽然这两种方法都显示出很强的性能，但 3D 卷积会成为更快推理的瓶颈。PointPillars [^6] 通过将点云划分为柱子来提高计算速度，从而用 2D 卷积替换了用于特征提取的 3D 卷积。尽管运行时有所改进，但由于缺乏点云中的上下文信息，区分行人和其他狭窄的垂直物体仍然具有挑战性。 融合。典型的两阶段检测方法 [^1]、[^2]、[^12] 将从图像和投影的点云中提取的 ROI 特征在鸟瞰图 (BEV) 或正面视图中进行融合。但是，点云投影可能会导致信息丢失，从而导致不准确的行人检测。ContFuse [^4] 将提取的图像特征转换为 2D 鸟瞰图平面，并以不同的比例与 LiDAR 数据的俯视图特征进行融合。这种方法受到限制，因为每个鸟瞰图空间对应于图像中的多个像素，并且可能会发生特征模糊。F-PointNets [^3] 和 RoarNet [^13] 首先在图像上进行 2D 检测以提取点云，然后对每个选定的点云执行 3D 检测。这两种方法的整体性能在很大程度上取决于 2D 对象检测，因为图像中未检测到的对象在后续阶段无法恢复。PointPainting [^9] 和 LRPD [^14] 都使用图像分割网络的输出 --- 作为检测管道中的辅助信息。PointPainting 为每个点添加语义信息，并使用仅基于 LiDAR 的方法进行 3D 对象检测。根据设计，它只能在原始数据级别融合特征，因此可能不是最优的。LRPD 使用实例分割信息生成 3D 建议，然后使用原始点数据和图像进行 3D 对象检测。但是，实例分割信息仅用于对象建议，并在后续阶段未考虑。 ### B. 语义分割 语义分割在自动驾驶的场景理解中起着重要作用。作为一项开创性工作，FCN [^15] 采用完全卷积层，并在不同的级别上组合粗糙和精细特征。DeepLab 系列 [^16] 使用空洞卷积和空洞空间金字塔池化模块来扩大视野并提高上下文理解能力。BiSeNet [^17] 通过设计分离的路径来处理空间和上下文信息，从而提高推理速度，但性能相对较低。在本文中，我们使用 DeepLabv3+ [^16] 作为效率和性能之间的权衡。 ### A. 点云增强 语义分割。一个语义分割网络以图像作为输入，预测图像中每个像素的类概率。顺序融合允许在我们的 3D 行人检测管道中使用任何图像分割网络。 ### III. 架构 该方法，如图 2 所示，将图像和 3D 点云作为输入，并估计行人周围的定向 3D 边界框。它由四个主要部分组成：点云增强、特征编码、主干网络和检测头。我们将在以下部分详细介绍每个部分。 投影和增强。在 KITTI 数据集中，每个 LiDAR 点云中的点都由 $(x, y, z, r)$ 表示，其中 x、y 和 z 是 3D 坐标，r 是反射率。在获得语义分割分数后，我们使用它们来增强原始点云。为此，首先使用 KITTI 数据集提供的齐次变换矩阵将 3D LiDAR 点投影到图像平面上。对于每个落在图像上的点，将相应像素中的语义分割分数附加到原始 3D 点。本文中使用的分割网络输出四个类别的概率，分别是行人、骑自行车者、汽车和背景。因此，增强后的点云中的点现在是 8 维的。 ### B. 特征编码 给定增强的点云，我们在 BEV (Bird's Eye View) 视角中编码几何和语义特征。通过融合它们，网络能够利用 LiDAR 点云中的几何信息和来自相机图像的语义信息。 几何特征。我们遵循 PointPillars 的方法，将点云编码为柱子，其中柱子是一个没有 z 轴方向范围限制的特殊体素。首先，将点云体素化为一组柱子，这些柱子位于 xy 平面上。原始点及其 $(x, y, z, r)$ 编码被进一步地用从柱子点簇中心 $(\Delta x_c, \Delta y_c, \Delta z_c)$ 和从柱子中心 $(\Delta x_p, \Delta y_p)$ 的偏移量进行装饰。因此，结果点编码的维度是 $D = 9$。每个点云的柱子数量 $(P)$ 以及每个柱子的点数 $(N)$ 是预定义的，以创建具有固定大小的张量 $(D, P, N)$。当每个柱子的点数过多时，通过随机采样；当点数过少时，通过零填充来实现。 然后，每个柱子中的点被简化 PointNet [^18] 处理，输出一个大小为 $(C, P)$ 的张量，具有 $C = 64$。现在，每个柱子都由一个 C 维的已学习特征编码表示。最后，所有柱特征都散布回柱子位置，以创建 BEV 视角下的表示，其大小为 $(W, H, C)$，其中 W 和 H 分别表示画布的宽度和高度，对应于 y 和 x 方向。由于学习到的柱特征主要与几何信息相关，因此我们称它们为几何特征。 语义特征。为了获得语义特征，我们进一步地在 z 方向上体素化点，同时保持 xy 平面上的柱子结构。这样，可以保留各种高度的语义信息，这对于处理诸如遮挡行人或噪声分割结果之类的挑战性情况非常有用。通过计算体素中所有点的类别概率的平均值来总结每个体素的语义特征。这保证了对图像语义信息的有效利用。接下来，堆叠沿 z 轴的体素级语义特征，并应用 $1 \times 1$ 卷积层以聚合体素级特征。最后，我们获得具有 $(W, H, K)$ 尺寸的 BEV 视角下的语义特征，输出通道为 K = 8。 ### C. 主干网络和融合方案 Backbone. 我们使用与PointPillars相同的骨干网络（图2）。该骨干网络包含三个块。第一个块保持特征图的大小，而第二个和第三个块将特征图下采样为原来的二分之一。每个块的输出都会进行上采样，并将结果特征连接起来以创建最终的特征图。 融合方案。特征融合可以在不同的层级进行，并使用各种组合操作。典型的融合方案包括早期融合、中期融合和晚期融合[^1]、[^2]。早期融合将来自不同特征的早期信息组合在一起。相比之下，晚期融合使用单独的网络来学习来自各个输入的特定领域特征，然后在预测阶段进行组合。中期融合在中间层组合特征，或者以分层方式进行，即深度融合。组合操作可以是元素级的均值或连接。 ---
TABLE I: Performance comparison with selected state-of-the-art approaches on the KITTI test set for the Pedestrian class. Results are reported for 3D and BEV object detection tasks. mAP represents the mean of APs over the three difficulty levels. Our approach outperforms all listed approaches in the hard level and in mAP metric, for both 3D and BEV.
MethodModality$AP_{{3D}}$$mAP_{{3D}}$$AP_{{BEV}}$$mAP_{{BEV}}$
EasyModerateHardEasyModerateHard
VoxelNet [^10]LiDAR39.4833.6931.5134.8946.1340.7438.1141.66
PointPillars [^6]LiDAR51.4541.9238.8944.0957.6048.6445.7850.67
PointRCNN [^5]LiDAR47.9839.3736.0141.1254.7746.1342.8447.91
AVOD [^2]LiDAR & Image36.1027.8625.7629.9142.5833.5730.1435.43
AVOD-FPN [^2]LiDAR & Image50.4642.2739.0443.9258.4950.3246.9851.93
F-PointNet[^3]LiDAR & Image50.5342.1538.0843.5957.1349.5745.4850.73
Painted PointPillars [^9]LiDAR & Image50.3240.9737.8743.0558.7049.9346.2951.64
OursLiDAR & Image50.9042.1939.5244.2058.9149.9347.3152.05
在本论文中，我们使用所有三种融合方案，并使用连接操作来组合几何和语义特征。早期融合：在第一个块之前融合特征，并将其输入到骨干网络中。中期融合：将语义特征与第一个块的输出组合。晚期融合：将语义特征与骨干网络的最终特征图连接。 ### D. 检测头 3D框预测。为了预测方向3D框，我们使用与[^6]、[^11]中相同的检测头。它消耗来自骨干网络的特征图，并由三个独立的$1 \times 1$卷积层组成。$1 \times 1$卷积层专门用于执行所需的任务，即锚分类、框偏移回归和方向回归。 损失函数。我们将地面真实框和锚框参数化为$(x, y, z, l, w, h, \theta)$。地面真实框gt和先验锚框a之间的偏移量编码为 $$ \begin{align*}\Delta x&=\frac{x^{gt}-x^{a}}{d^{a}},\Delta y=\frac{y^{gt}-y^{a}}{d^{a}},\Delta z=\frac{z^{gt}-z^{a}}{h^{a}},\\\Delta l&=\log(\frac{l^{gt}}{l^{a}}),\Delta w=\log(\frac{w^{gt}}{w^{a}}),\Delta h=\log(\frac{h^{gt}}{h^{a}}),\\\Delta\theta&=\theta^{gt}-\theta^{a},\end{align*} $$ 其中$d^a = \sqrt{(l^a)^2 + (w^a)^2}$。SmoothL1用于3D框回归损失$\mathcal{L}_{\text{reg}}$，总的来说，我们得到： $$ \mathcal{L}_{\mathrm{r e g}}=\sum_{b\in\left(\Delta x,\Delta y,\Delta z,\Delta w,\Delta l,\Delta h,\Delta\theta\right)}\mathrm{S m o o t h L1}\left(\tilde{b}-b\right), $$ 其中$\tilde{b}$表示预测的框偏移量。特别是，遵循[^11]，使用正弦函数来计算方向损失。注意，此方向损失无法区分当框以$\pm\pi$弧度移动时的情况。为了解决这个问题，使用softmax分类损失$\mathcal{L}_{\mathrm{dir}}$来学习方向，即正或负。 $$ \mathcal{L}_{\mathrm{c l s}}=-\alpha_{\mathrm{t}}\left(1-p_{\mathrm{t}}\right)^{\gamma}\log p_{\mathrm{t}}, $$ 考虑到正样本和负样本的数量不平衡，使用焦点损失[^19]作为对象分类损失： 其中$p_{t}$表示锚的类概率。在训练过程中，我们使用[^6]、[^19]中推荐的设置，以及$\alpha=0.25$和$\gamma=2$。因此，总损失定义如下： $$ \mathcal{L}_{\mathrm{t o t a l}}=\frac{1}{N_{\mathrm{p o s}}}\left(\beta_{1}\mathcal{L}_{\mathrm{r e g}}+\beta_{2}\mathcal{L}_{\mathrm{d i r}}+\beta_{3}\mathcal{L}_{\mathrm{c l s}}\right), $$ 其中$N_{\mathrm{pos}}$表示正锚的数量。$\beta_{i}$是用于平衡不同损失的常数权重。我们将$\beta_{1}=2.0$、$\beta_{2}=0.2$和$\beta_{3}=1.0$设置为。 $$ \mathrm{I V}.\;\mathrm{E X P E R I M E N T A L}\;\mathrm{S E T U P} $$ 我们在KITTI 3D对象检测基准[^7]上评估我们的方法，重点关注行人类别。 ### A. 数据集和评估指标 KITTI数据集包含7481张图像和点云数据，用于训练，以及7518个用于测试，涵盖三个类别：汽车、行人、骑自行车者。为了进行实验评估，我们遵循[^1]和[^2]，将训练样本划分为3712个训练样本和3769个验证样本。在测试集上进行评估时，我们遵循[^6]，使用来自训练样本的6733个样本进行训练，并使用剩余的样本进行评估。 结果使用平均精度（AP）对3D和鸟瞰图（BEV）评估进行评估，对于行人类别，采用0.5的交并比（IoU）阈值。评估分为三个难度级别：简单、中等和困难，根据遮挡程度、最大截断以及图像中2D框的高度进行划分。 ### B. 实施细节 我们使用DeepLabv3+ [^16]进行语义分割。该网络在Cityscapes数据集 [^20]上进行预训练，并在KITTI语义分割数据集上进行微调。在使用KITTI检测数据集时，我们保留了行人、骑自行车者和汽车的概率。背景的概率是通过从上述三个类别的概率中减去计算得出的。 在所有3D对象检测网络的实验中，我们遵循[^6]，沿x、y、z轴分别裁剪点云为[(0, 48), (-20, 20), (-2.5, 0.5)]米。在生成柱体时，我们使用柱体网格尺寸为$0.16^2$米 $^2$，柱体数量为$P = 12000$，每个柱体的点数为$N = 100$。用于编码语义特征的体素具有0.3米的z分辨率。对于行人锚框，我们使用与PointPillars相同的尺寸， ---
TABLE II: Performance comparison among the different fusion schemes and PointPillars on the KITTI validation set. Results are reported for 3D and BEV object detection tasks. Compared with the reproduced results of PointPillars, our fusion approaches show a significant improvement on all comparisons, indicating the importance of semantic features in 3D pedestrian detection. Early fusion achieves the best mAP improvement of 3.2 for 3D and 2.82 for BEV detection tasks.
Method$AP_{{3D}}$$mAP_{{3D}}$$AP_{{BEV}}$$mAP_{{BEV}}$
EasyModerateHardEasyModerateHard
PointPillars67.6960.9456.0261.5573.4268.8963.3268.54
Late Fusion68.5862.6259.1963.4673.7269.8664.2969.29
Delta+0.89+1.68+3.17+1.91+0.30+0.97+0.97+0.75
Middle Fusion68.1563.3159.1563.5474.3170.8166.5470.55
Delta+0.46+2.37+3.13+1.99+0.89+1.92+3.22+2.01
Early Fusion69.7164.4760.0764.7576.3171.5666.2171.36
Delta+2.02+3.53+4.05+3.20+2.89+2.67+2.89+2.82
即（0.6, 0.8, 1.73）米，宽度、长度和高度分别为。锚框以两个角度应用：0度和90度，中心位于z轴的-0.6米处。 检测网络使用Adam优化器进行训练，初始学习率为0.0002。我们对学习率应用指数衰减，衰减因子为0.8，每15个epoch衰减一次。训练持续160个epoch，验证集和测试集的mini-batch大小分别为2和4。 ### V. 结果 ### A. 数量分析 在KITTI测试集上的评估。实验结果在表I中展示了在KITTI测试集上的实验结果。我们比较我们的方法与3D和鸟瞰图对象检测任务中的最先进方法。所有指标均使用0.5的IoU阈值进行计算。计算三个难度级别上的平均精度（mAP），以表示整体性能。我们的方法在3D mAP和BEV mAP方面优于竞争方法，实现了最先进的性能。此外，我们在所有难度级别上都获得了有竞争力的结果，无论是3D还是BEV。特别地，在困难级别上表现更好，表明语义信息对于检测遮挡或遥远的行人等困难案例至关重要。请注意，这些情况在自动驾驶中非常重要，我们将在第V-B节中详细讨论。 在 KITTI 验证集上的评估。为了分析语义特征的重要性以及不同融合方案的有效性，我们进行了进一步的 KITTI 验证集实验。我们以 PointPillars 作为基线，并使用三种不同的融合方案（如第 III 节所述：早期、中期和后期融合）来实现我们的方法。所有网络都在 3D 和鸟瞰图目标检测任务中，通过在 KITTI 验证集上的 AP 和 mAP 进行评估。此外，我们计算了融合方法与基线的差异。表 II 总结了评估结果。与基线相比，我们的融合方法在所有比较中都显示出显着的改进，这表明在 3D 行人检测中，语义特征非常重要。我们进一步比较了易、中和难级别的 AP 值，发现语义特征在困难级别中产生了最大的提升。这与我们在 KITTI 测试集中观察到的结果一致，并提供了进一步的证据，表明利用图像中的语义信息对于 3D 行人检测有益。在三种融合方案中，早期融合实现了最佳的 mAP 改进，3D 为 3.20，BEV 为 2.82。这表明所使用的骨干网络足以以适当的方式组合几何和语义特征。 ### B. 质量分析 我们通过图 3 对 PointPillars 和我们的早期融合方法进行了定性比较。图 3-A 和 3-B 显示了 PointPillars 的常见问题，仅使用 LiDAR 的网络难以区分行人和其他狭窄的垂直物体，例如高杆或户外标牌。通过结合来自图像的额外语义信息，可以轻松消除这些误报。我们从图 3-C 和 3-D 观察到，PointPillars 在检测严重遮挡的行人方面表现不佳。这些情况具有挑战性，但通常出现在日常城市环境中，例如行人可能会突然出现在停放的汽车前面。在身体的某些部分还未可见时，尽早检测到他们非常重要。我们的融合方法的稳定检测结果证明了其有效性，以及语义信息对行人检测的重要性。 ### VI. 结论 在本文中，我们提出了一种新颖的融合方法，该方法利用 LiDAR 点云和相机图像的互补优势，以实现准确的 3D 行人检测。特别是，我们利用 LiDAR 点云的几何信息和相机图像的语义信息，并以有效的方式将它们融合在一起。在利用图像分割分数对点云进行增强后，我们将这些汇总的图像特征编码为体素。通过这种方式，语义特征能够以不同的级别与从点云中学习的几何特征融合。 在 KITTI 目标检测基准测试中的实验表明，我们的方法在 3D 和俯视 (BEV) 目标检测任务中均优于现有的最先进方法。此外，在验证集上的广泛实验结果进一步证明了我们方法的有效性，该方法可用于检测具有挑战性的行人情况。 --- ![Image](images/7f6e9eac928996dae37d27fb054d7dedb692dcb8508be85a6d7ff44c8b7b3e84.jpg)
Fig. 3: Qualitative results produced by PointPillars and our early fusion approach on the KITTI dataset. Ground truth boxes are displayed in green and predictions in blue. For each comparison, the left column shows the results of PointPillars in the point cloud (upper) and image (lower), while the right column shows the results of our approach. A-B: PointPillars predicts a postcard rack, a shelf and two road signs as pedestrian, while our approach handles these cases correctly. C-D: Our approach successfully detects severely occluded pedestrians, while PointPillars fails. Best viewed digitally with zoom.
## 感谢 未来，我们计划探究本文方法对语义分割输出质量的依赖性。此外，我们旨在研究我们的融合方法抵御对抗攻击的鲁棒性。最后，我们将在实验车辆上测试我们的方法。 这项研究的成果得益于德国联邦经济部对“KI-Absicherung – Safe AI for automated driving”项目的资助。我们感谢Ahmed Hammam、Lukas Stcker和Patrick Feifel的建议和讨论。 ## 参考文献 [^1]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-View 3D Object Detection Network for Autonomous Driving,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915. [^2]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3D Proposal Generation and Object Detection From View Aggregation,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018, pp. 1–8. [^3]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D Object Detection From RGB-D Data,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 918–927. [^4]: M. Liang, B. Yang, S. Wang, and R. Urtasun, “Deep Continuous Fusion for Multi-Sensor 3D Object Detection,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 641–656. [^5]: S. Shi, X. Wang, and H. Li, “PointRCNN: 3D Object Proposal Generation and Detection From Point Cloud,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 770–779. [^6]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "PointPillars: Fast Encoders for Object Detection From Point Clouds," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 12697–12705. [^7]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite,” in 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012, pp. 3354–3361. [^8]: W. Wang, D. Tran, and M. Feiszli, “What Makes Training Multi-Modal Networks Hard?” arXiv preprint arXiv:1905.12681, 2019. [^9]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “PointPainting: Sequential Fusion for 3D Object Detection,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 4604–4612. [^10]: Y. Zhou and O. Tuzel, “VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 4490–4499. [^11]: Y. Yan, Y. Mao, and B. Li, “SECOND: Sparsely Embedded Convolutional Detection,” Sensors, vol. 18, no. 10, p. 3337, 2018. [^12]: D. Feng, Y. Cao, L. Rosenbaum, F. Timm, and K. Dietmayer, “Leveraging Uncertainties for Deep Multi-modal Object Detection in Autonomous Driving,” arXiv preprint arXiv:2002.00216, 2020. [^13]: K. Shin, Y. P. Kwon, and M. Tomizuka, “RoarNet: A Robust 3D Object Detection based on Region Approximation Refinement,” in 2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019, pp. 2510–2515. [^14]: M. Fürst, O. Wasenmüller, and D. Stricker, “LRPD: Long Range 3D Pedestrian Detection Leveraging Specific Strengths of LiDAR and RGB,” arXiv preprint arXiv:2006.09738, 2020. [^15]: J. Long, E. Shelhamer, and T. Darrell, “Fully Convolutional Networks for Semantic Segmentation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3431–3440. [^16]: L.-C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, “Encoder-Decoder With Atrous Separable Convolution for Semantic Image Segmentation,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 801–818. [^17]: C. Yu, J. Wang, C. Peng, C. Gao, G. Yu, and N. Sang, "BiSeNet: Bilateral Segmentation Network for Real-Time Semantic Segmentation," in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 325–341. [^18]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 652–660. [^19]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal Loss for Dense Object Detection,” in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 2980–2988. [^20]: M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The Cityscapes Dataset for Semantic Urban Scene Understanding,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 3213–3223.