# 基于2D范围数据的深度人员检测
Lucas Beyer $^{1}$，Alexander Hermans $^{1}$，Timm Linder $^{2}$，Kai O. Arras $^{3}$ 和 Bastian Leibe $^{1}$
摘要：检测人类是移动机器人和智能车辆在各种应用中的一项关键技能。虽然该问题在图像数据等某些感官模态方面已得到广泛研究，但鲜有研究解决使用 2D 范围数据的检测任务。然而，许多移动机器人（特别是在服务和家庭应用中）的常用传感器配置是水平安装的 2D 激光扫描仪。从 2D 范围数据中检测人员具有挑战性，原因在于人体腿部的速度和动态变化，以及人群中高水平的遮挡和自遮挡。虽然以前的方法主要依赖于手工设计的特征，但我们最近开发了基于深度学习的轮椅和助行器检测器 DROW。在本文中，我们展示了其泛化能力，包括一些小的修改，这些修改可以显着提高 DROW 的性能。此外，通过在我们的网络中提供一个小型的、完全在线的时间窗口，我们可以进一步提高性能。我们通过添加人员标注扩展了 DROW 数据集，使其成为 2D 范围数据中最大的人员标注数据集，该数据集是在真实环境中记录的，具有很高的多样性。对三种当前基线方法的广泛实验表明，这是一个具有挑战性的数据集，我们的改进的 DROW 检测器在这些数据集上优于当前的state-of-the-art。
## I. 简介
能够与人类共处的机器人需要具备检测、跟踪和分析人类的能力，原因有很多，包括安全、用户交互或在人群中进行高效导航 [^1]、[^2]。例如，自动驾驶汽车 [^3] 或最后一英里配送机器人需要识别行人，特别是行人中也需要识别容易发生事故的人群，例如老年人、儿童或轮椅上的乘客。该识别任务在图像数据方面已得到很好的理解 [^4]、[^5]，有时甚至专门用于稳健的人员检测 [^6]，并且具有用于汽车应用的行人检测的商业系统。对于机器人中常用的其他感官模态，例如 RGB-D 或 2D/3D 范围数据，存在越来越多的检测方法和数据集。
许多有趣的方法已经开发用于体积数据的检测，例如 3D LiDAR，可以大致分为两类。第一类使用点云数据的有序投影 [^7]、[^8]。第二类，较新的类型，提出了一种新的神经网络架构，可以处理无序的点云数据并对其进行推理，例如 PointNet [^9] 和 VoxelNet [^10]。
尽管 3D/RGB-D 传感器越来越强大和经济实惠，但 2D 水平安装的激光扫描仪仍然是许多移动服务机器人（尤其是在人类密集的环境中）的常用传感器，使其成为人员检测的一个有趣的应用。它们也是确保人类安全的少数经过认证的传感器之一，例如，用于物流或医院的运输平台，具有广阔的视野、高精度和在各种条件下的高鲁棒性。相比之下，车载摄像头在许多机器人应用中存在一些缺点，包括视野受限、尺度不明确，并且在传感器附近的人员可能无法检测到，而这对于人机交互非常重要。
基于现有二维范围数据的行人检测器大致可以分为两类。第一类是通过对测量的激光点进行跳跃距离聚类，计算这些聚类中的许多手工特征，然后使用机器学习方法根据这些特征将聚类分类为行人或背景 [^11], [^12], [^13]. 第二类也执行相同的操作，但针对的是腿而不是行人，通过跟踪腿部信息随时间变化，并将满足某些手工设计的启发式规则的腿部对定义为行人 [^14], [^15], [^13].
后一类型通常在基准数据集和小型部署中表现更好，但“双腿假设”存在一些严重的固有缺陷：1）它不容易扩展到其他类别，例如轮椅。2）它只有在腿部可见时才有效，但在许多现实场景中，人们穿着外套、连衣裙、头巾、纱丽等，或者在许多专业场景中，由于工作制服（如实验服），腿部可能不可见。这是一个完美的例子，说明了为什么收集多样化的数据集并直接从数据中学习，而不是手工设计系统的很大一部分是可取的。从二维范围数据中进行学习是困难的，这从基于跳跃距离的方法与基于腿部跟踪的方法相比，性能相对较差可以看出来。一个很大的区别是，后者通常利用丰富的时序信息。虽然深度学习取得了令人瞩目的进展，也包括在范围数据上的检测，但到目前为止，我们的 DROW [^16] 检测器是唯一基于深度学习的二维范围数据检测器。DROW 获得了辅助行走设备检测的领先结果，并在多个真实场景中表现良好。
在本文中，我们将 DROW 扩展到行人检测。考虑到 DROW 的多类别特性，这就像添加一个额外的类别一样简单。然而，由于二维范围数据中的行人通常只有少数点，因此行人检测对 DROW 来说是一项具有挑战性的任务。
---
检测器来说也是一项挑战。
对于激光扫描中的每个点，DROW 检测器会预测一个类别，并且可能对最近的对象中心进行投票。一个最终的后处理步骤将投票转换为实际预测。我们改进了这个后处理步骤，现在我们可以预测每个检测的置信度，并提高整体性能。此外，我们稍微增加了卷积神经网络 (CNN) 的大小，进一步提高了检测分数。
与这些扩展不同，我们尝试使用完全在线的时序集成，将几个先前的扫描数据整合到一起，并显示这可以显着提高行人检测分数。与跟踪器不同，我们不执行任何数据关联，而是展示了如何扩展 DROW 的输入预处理，以包含时序上下文，以便网络使用。我们展示了网络中的几种融合策略的比较，并使用我们扩展的 DROW 检测器获得了最先进的结果。
为了促进我们所有的实验，我们引入了一个新的数据集，其中包含我们原始 DROW 数据集的行人标注。我们为以前用轮椅和辅助行走设备中心点标注的每一帧手动标注了行人。据我们所知，这是关于二维范围数据中行人检测的最大数据集，它记录了超过 10 小时的激光扫描记录。
我们对现有顶级检测器进行了全面评估，使用了此数据集，包括在我们的验证集上进行重训练和调整超参数。由于人员检测在机器人领域的应用比辅助行走设备检测更广泛，因此，随着人员标注的添加，DROW数据集现在变得更加有趣和相关。我们将我们的最终结果和完整的DROW数据集与社区分享，以促进该领域的进一步研究。
总结一下，我们的主要贡献如下：
1) 我们扩展了DROW检测器以检测人员，并提出了几个改进措施，从而提高了整体性能。
2) 引入了一种时间融合扩展，可以将过去几帧集成到检测器中，从而实现人员及其辅助行走设备的先进检测结果。
3) 这是一个新的、大型的“野外”室内二维激光数据集，用于人员检测。
4) 我们对当前最先进的人员检测器在我们的数据集上的进行了全面评估。
### II. DROW 数据集
我们为现有的 DROW 数据集 [^16] 添加了一组大型的人员标注，该数据集由 SICK S300 激光扫描仪以 12.5 Hz 的频率和 37 cm 离地面的 1/2 度的角分辨率记录。为了便于进行时间相关分析，我们采用了与之前相同的方法：我们将数据集划分为 100 帧的批次，仅对这些批次的每四分之一进行标注，同时对批次内的每第五帧进行标注。这导致 5% 的帧被标注，并且这些标注分布在较长的时间范围内，这使得可以进行有趣的 temporal 分析（参见第 IV 节）。我们仅对之前标注的轮椅和助行器帧进行了标注，同时标注了自行行走的人员，以及推动助行器的员工。这意味着，推动助行器的人员会产生两个标注：人员和助行器，而坐在轮椅的人员仅标注为轮椅。我们还将坐在普通椅子上的人员标注为人员，因为这些人员的数据模式明显不同。
TABLE I: DROW Dataset overview
| Train | Validation | Test | Total |
| Sequences | 78 | 30 | 5 | 113 |
| Scans | 341 138 | 74 744 | 48 131 | 464 013 |
| Annotated Scans | 17 665 | 3 919 | 2 428 | 24 012 |
| Wheelchairs | 14 455 | 5 595 | 1 970 | 22 020 |
| Walkers | 2 047 | 219 | 581 | 2 847 |
| Persons | 23 906 | 3 102 | 1 976 | 28 984 |
| Wheelchairs by distance | | | | |
| Walkers by distance | | | | |
| Person by distance | | | | |
| All by distance | | | | |
表 I 显示了由此产生的数据集的概述。表中的所有数字均指单个标注，而不是实例，柱状图显示了它们的分布。每个条形代表距离上的 1 米范围（最多 15 米，共 15 个条形）。
值得注意的是，人员的标注明显更困难。通过浏览几帧并查看相机中的 RGB 图像，可以相对容易地在扫描中找到辅助行走设备的模式。但是，要标注人员，通常需要关注单个 blob 并“跟踪”其模式，以可靠地确定哪些激光点代表人员，这需要浏览一整批 100 帧。这清楚地表明，单帧人员检测是一项困难的任务。
需要注意的是，对人员的标注比其他对象更困难。通过浏览几个帧并查看相机的 RGB 图像，在扫描中很容易找到辅助行走设备。但是，为了标注人员，通常需要关注单个区域，并在 100 帧的完整序列中“跟踪”该图案，以便可靠地确定哪些激光点代表人员。这清楚地表明，单帧检测人员是一项困难的任务。
与目前公开的用于腿高人员检测的二维激光测距数据集相比，我们的数据集在原始扫描和标注的数量、覆盖时间等方面都是最大的，因此更适合用于研究深度学习方法。虽然 [^15] 引入了一个用于腿高二维激光人员跟踪的数据集，但他们的室内多人员数据集仅限于三个序列，总时长为 12 分钟，远小于我们的数据集。此外，由于正向训练数据中的静态背景，他们的数据集不太适合深度学习方法，因为深度学习方法很容易过拟合。
[^13] 的家庭和康复数据集使用了与我们类似的的传感器设置和场景。 尽管注释扫描的数量相似，但我们的原始扫描数量比他们多了一个数量级，并且涵盖了更长的时间。 我们每个注释帧的平均人数是他们的两倍，这表明我们的数据集更具挑战性。
---
[^17] 的弗莱堡主站和城市中心数据集，在总扫描数量方面，比我们的数据集小了一个数量级，并且注释扫描的数量少 2 到 4 倍。 传感器安装在一个静态平台上，背景变化有限，高度为 80 厘米，在此高度通常看不到腿。
我们的数据集显示了人员及其辅助设备与不同背景和大量现实世界混乱之间的有趣交互，这使得它成为一个有趣且具有挑战性的数据集。
### III. 方法和扩展
为了概述我们提出的扩展，我们首先总结 DROW 方法的相关部分。 我们将感兴趣的读者引导至 [^16] 以获取更详细的说明。 我们将在以下部分直接显示和讨论生成的精确率-召回率曲线，有关我们实验设置的更多详细信息请参见第 VI 节。
### A. DROW 基线
DROW 检测器将首先“裁剪”每个激光点周围的固定大小的真实世界窗口 $i: w_i = \text{cut}(s, i)$。 使用裁剪来确定哪些激光点属于宽度为 $\ell$、距离为 $s_i$ 的窗口，并计算开孔角度为 $2\tan^{-1}(\frac{\ell}{2s_i})$。 裁剪操作还涉及钳制前景色和背景，以及将数据重采样到窗口中的固定数量的点。 接下来，每个 $\text{cutout} w_i$ 被输入到 CNN 中，该 CNN 预测 1) 该裁剪是否属于感兴趣的对象，如果是，2) 关于对象中心相对于裁剪位置的投票。 最后，收集所有投票，并将其投射到以传感器原点为中心的网格上，然后进行平滑，以找到最大值，并将这些最大值报告为检测结果。 我们的重新实现生成的精确率-召回率曲线显示为虚线 ($\cdots$)，如图 1 所示。
### B. 投票
在 [^16] 中，将所有类的投票投射到基于“无知”对象概率 $p(O|w) = \sum_{c \in \mathcal{C}} p(c|w_i)$ 超过检测阈值的“无知”投票网格中，并且还投射到每个类的类特定网格中。 平滑和非最大抑制 (NMS) 后，与无知网格中的最大值对应的网格单元生成检测，其中心位置即为检测位置。 使用与该网格单元中具有最大值的类对应的类分配给检测。 这存在几个缺点； 例如，它将生成的检测空间离散化，因为只报告网格中心的坐标，并且它不会为检测分配类分布，这对于其他组件很有用。
联合投票。 我们提出一种改进的方案，可以解决这两个问题。 我们仍然将所有投票投射到“无知”投票网格中，使用 $p(O|w)$ 进行平滑和 NMS。 但是，我们然后将每个单独的投票分配给最靠近该投票的“无知”网格中的最大值，并丢弃距离过远
Fig. 1: Precision-recall curves showing the impact of our extensions. The numbers in brackets correspond to the AUC of the agnostic, wheelchair, walker, and person curves. These values are not computable for DROW, see discussion in Section III-B.
当最近的最大值超过某个半径时，我们报告检测结果，通过其分配的投票的平均值来确定检测的位置和类别分布。这产生完全连续的检测结果，以及行为良好的类别分布。为了评估，我们简单地报告主导类别的概率，但在实践中，处理检测结果的组件可以利用完整的分布。该新的投票方案（现在也包括使用轮椅的人作为类别）的精度-召回曲线由图 1 中的虚线（$---$）表示，显示步行者类别的改进很大，而使用轮椅的人受到的影响很小。
分层投票。我们还尝试了一种替代的投票机制，该机制未使用通用的投票网格，而是仅使用特定类别的网格。这里的优点是，现在可以对特定类别的检测结果进行类特定的模糊处理。但是，这需要对报告的检测结果执行另一个 NMS 步骤，以消除不同类别的近乎完全重复的检测结果。分层投票始终比联合投票好约 1%，但是，它有多个额外的超参数，这些超参数会严重影响性能。由于该方法也稍微慢一些，并且我们的目标是构建一个鲁棒的检测器，因此我们决定使用联合投票。
了解哪些扫描点对一个检测结果有贡献，还有其他优点，例如，可以根据投票的分布来估计定位的置信度，或者可以确定检测到的人的空间
---
(a) Naive temporal cutout.
(b) Temporal cutout with fixed location.
(c) Fixed location and odometry.
Fig. 2: Variants of temporal cutouts described in Section IV. All three cutouts correspond to the same point i in a scan at time t. All dots correspond to actual values of $W_{i}^{t}$, the color gradient moves from red at t into the past. This is the actual input seen by the CNN for that specific point i.
范围。但是，我们将这些扩展留待未来的工作。
### C. 网络架构
我们还使用当前最佳实践来更新网络架构，主要区别是它更大。这显着提高了结果，尤其是对于最困难的步行者类别，参见图 1 中的实线（$\longrightarrow$）。新的网络架构，称为“DROW3x”，由三组三层零填充卷积层组成，每层的滤波器大小为三，初始化方式如 [^18]。在所有卷积操作之后，应用批处理归一化 [^19] 和 Leaky-ReLU [^20] (泄漏 0.1) 非线性。每个阶段之后，都执行最大池化操作，大小为二，并应用标准的 dropout [^21]。第四个最终阶段由两个额外的卷积块组成，如上所述，然后是全局平均池化，类似于 [^22]、[^23]，之后，一个单层全连接层计算输出，即 SoftMax 概率和回归投票。我们还尝试了各种 ResNet [^23] 和 ResNeXt [^24] 架构，但它们没有带来任何进一步的改进，并且明显更慢 $^{1}$。
### IV. temporal integration
另一个解读激光扫描数据的重要线索是随时间的变化。对于人员的标注，通常需要通过时间轴滚动并“跟踪”每个人，这在手动标注中是可行的。DROW数据集的标注方式为将时间维度融入方法提供了有趣的可能性，尽管在[^16]中没有充分利用这一点。在这里，我们提出了一些简单的方法，利用时间信息可以带来显著的优势，我们希望这些初步的结果能够激发更多关于如何利用时间的检测研究。总体思路是，除了当前的测量值之外，向神经网络提供一段过去的信息。需要注意的是，这与跟踪方法既不同又相互独立；最终的方法仍然是一种检测器。为了在DROW检测器中使用这种方法，我们需要确定两件事：1）什么是“短时间窗口”，以及2）时间维度在神经网络的哪个位置被融合？
时间 cutout。在生成给定扫描点 i 在当前时间 t 的 cutout $w_{i}^{t}$ 时，可以使用该点在先前时间点的 cutout，并将这些 cutout 收集到一个时间 cutout 中。
$$ W_{i}^{t}=\left[\operatorname{c u t}\left(s^{t},i\right)\cdots\operatorname{c u t}\left(s^{t-T},i\right)\right]. $$
这种简单的做法存在缺陷：如果点 i 在时间 t 和 t-2 时落在一条腿上，但在两腿之间，在时间 t-1 时落在背景上，那么这种做法会导致第二个 cutout 的中心位于该人的后面，从而给出任意的、错误的上下文信息，如图 2a 所示。相反，更重要的是，根据当前时间 t，固定 cutout 的位置 r，并使用该固定位置在之前的时刻裁剪相同的窗口，以提供时间上下文：
$$ W_{i}^{t}=\left[\operatorname{c u t}\left(s^{t},i,r^{t}\right)\cdots\operatorname{c u t}\left(s^{t-T},i,r^{t-T}\right)\right]. $$
这一方法得到的窗口一致性要高得多，另见图2b。然而，当机器人转弯时，要让窗口在真实场景位置中保持固定会遇到更多困难：转弯时，时刻t扫描中索引为i的点，在时刻t-1会位于另一个索引j处。该差值$\Delta = i - j$可通过里程计由大多数移动平台的硬件提供，并且可以按如下方式将其纳入时间切片的考量：
$$ W_{i}^{t}=\left[\mathrm{c u t}\left(s^{t},i,r^{t}\right)\cdots\mathrm{c u t}\left(s^{t-T},i-\Delta^{t-T},r^{t-T}\right)\right]. $$
最终的稳定化切片如图2c所示。进一步可行的改进是利用里程计的平移分量，但正确平移激光扫描是一个不适定问题，我们在本文中并未对该问题展开研究。
时间融合。既然我们已经有方法为当前扫描$W_i^t$中的每个单独点i生成有意义的时间切片$s^t$，接下来的问题就是如何让神经网络最有效地利用该时间切片。最直观的选择就是直接将条目堆叠在网络输入的通道维度中，这也被称为早期融合（EF）。正如大多数
---
Fig. 3: Different ways of incorporating temporal context into DROW3x, as described in Section IV. The numbers in brackets correspond to the AUC of the agnostic, wheelchair, walker, and person curves.
prominently by [^25]，这已经是一种合理的方法，允许网络学习场景中的运动信息。进一步的研究 [^26] 表明，将时间信息在网络中融合，即晚期融合（LF），可能更有效。我们通过在时间维度上复制网络的两个块，保持权重不变，并将它们的和作为网络的第三个块的输入来实现这一点。 这样，网络保持相同的参数数量，从而可以对时间的影响进行直接比较，结果见表 II。 很有可能，对融合机制的更深入研究，包括使用循环神经网络 (RNN)，将带来更好的结果。 这不是我们工作的重点，留待未来研究。
图 3 显示了 DROW3x 的演进过程，通过联合投票，从完全不使用时间（$\cdots$）开始，到简单的时序切片（式 1 $\cdots$），再到固定位置的切片（式 2 $\cdots$），最终达到完全“校正”的时序切片（式 3）。 主要观察结果是，虽然使用时间总是比不使用时间更好，但尽可能使神经网络的输入保持一致，效果更好。
### V. 基准测试
我们提出的方法与其他三种用于 2D 激光雷达的人体检测的先进方法进行比较，这些方法在以下小节中进行了描述。Arras 等人提出的基于分割的人体检测器 [^11]，ROS 腿部检测器 [^14]，以及 Leigh 等人提出的腿部跟踪器 [^15]。图 4 显示了
TABLE II: Comparing temporal fusion strategies.
| wheelchair | walker | person |
| AUC | p-F1 | EER | AUC | p-F1 | EER | AUC | p-F1 | EER |
| No time | 82.1 | 77.5 | 76.6 | 71.0 | 66.0 | 65.4 | 59.4 | 61.5 | 61.4 |
| Naive Early-fusion | 79.2 | 72.7 | 72.4 | 75.3 | 71.6 | 70.6 | 63.7 | 62.2 | 62.0 |
| + Fixed location | 78.9 | 74.1 | 73.5 | 73.3 | 69.7 | 67.3 | 65.9 | 64.8 | 64.0 |
| + Odom correction | 78.4 | 73.7 | 73.1 | 76.6 | 72.2 | 69.9 | 63.0 | 64.3 | 64.2 |
| Naive Late-fusion | 79.4 | 74.9 | 74.2 | 73.1 | 70.7 | 69.9 | 64.6 | 64.5 | 64.1 |
| + Fixed location | 80.4 | 76.7 | 76.1 | 77.7 | 73.4 | 72.1 | 67.0 | 65.9 | 64.9 |
| + Odom correction | 82.7 | 78.7 | 78.1 | 82.4 | 78.9 | 76.4 | 68.1 | 68.1 | 67.2 |
所有基线方法和我们提出的方法（——）在人体检测任务上的精度-召回曲线。对于每种评估方法，我们还报告了曲线下面积 (AUC)、等误率 (EER) 和峰值 F1 值的百分比。
在本次评估中，我们没有与 Gandalf 检测器进行比较 [^13]，因为它已经在原始 DROW 论文的比较中已经存在 [^16]；虽然它是用于 2D 范围数据的几种多类别检测器之一，但由于可用代码通常会产生腿部检测，而不是人体中心点，并且需要额外的关联/跟踪步骤来合并腿部检测，因此对其进行人体检测评估并不直接。与训练代码一样，此代码尚未公开发布。 尽管如此，我们的 DROW 基线在 [^16] 中优于 Gandalf 检测器。 此外，结果检测没有置信度，这意味着评估将导致单个精度-召回点。
### A. Arras 等人提出的基于分割的人体检测器
Arras 等人提出的基于分割的 2D 范围数据的人体检测器 [^11]，是以下两种方法的基础，它将激光雷达扫描的跳跃距离分割与训练有增强分类器的手工几何特征相结合。跳跃距离分割阈值配置为，两个腿通常会出现在同一个分割中。
我们使用基于ROS的重实现 [^27]，其中Adaboost分类器已被更好的随机森林所取代。 我们使用DROW训练集中的人体标注数据重新训练检测器，因为[^27]的模型假设了不同的传感器安装高度（70-80厘米），在该高度下腿通常不可见。 自动超参数调整（第VI节）得出分割阈值为23厘米，并且具有128棵树和最大深度为50的随机森林。 在训练过程中，如果一个分割的超过一半的点落在以标注人体质心为中心的25厘米半径的圆中，则将其视为前景；如果一个分割的超过一半的点不落入这样的圆中，则将其视为背景。 所有剩余的分割都被认为是模棱两可的，并且不用于训练。 结果的精度-召回曲线如图4（—）所示。
正如我们在初步实验中观察到的，虚假的人体检测通常发生在传感器的视野边界
---
处，我们引入了一个额外的几何特征，该特征测量分割中心与传感器视野边界的角度差异，这提高了AUC的性能2.6%（ $—$）。
### B. ROS腿检测器
这个“检测器” [^14] (——) 通常用于机器人实验，因为它作为一个标准的ROS软件包，具有预训练的模型而提供。 它基于[^11]中的几何特征，但将其应用于使用随机森林分类器的单个腿簇。 然后，使用基于卡尔曼滤波的跟踪器将检测到的腿关联和跟踪。 在我们的评估中，我们将每个帧的跟踪结果视为检测结果。 遵循[^15]中的发现，我们将腿可靠性阈值从0.7降低到0.3，否则只有很少的人体跟踪被初始化。
### C. Leigh等人提出的联合腿跟踪器
Leigh 等人提出的联合腿部跟踪器 [^15] 是 [^14] 的改进和扩展版本，它通过允许最多两个检测到的腿部簇与一个人物轨迹相关联，从而联合跟踪两个腿部。类似于 ROS 腿部检测器，由于我们的评估基于人物中心点而不是单个腿部，因此我们将他们的跟踪器的输出视为检测结果，仅考虑非遮挡、匹配的轨迹，这些轨迹已至少与一个腿部检测结果在当前帧中相关联 $^{2}$。检测置信度从轨迹置信度得分计算得出。我们修改了原始的训练方法，该方法假设有独立的包含正例和负例训练样本的数据记录，方法是为给定半径内的潜在腿部簇分配人物标注，例如 25 厘米。为了进行公平的评估，我们禁用了他们提出的在线占用网格映射扩展 $^{3}$，该扩展用于抑制墙壁和其他静态结构中的虚假检测；但是，所有评估方法都可以类似地扩展，以通过使用环境的静态地图来抑制虚假检测，如 [^27] 中所示。
在一个实验中，如图 4 所示（—），我们使用提供的模型，采用默认的超参数，结果显示它比 Arras 提供的腿部检测器性能稍好，但不如经过重新训练的 Arras 检测器。在另一个实验中，我们重新训练分类器，并广泛调整 10 个不同的超参数，包括腿部关联、跟踪启动/继续阈值、分割距离、置信度更新因子以及训练期间的类别权重和人物半径。这可以提高约 +20% 的结果（—）。性能差异很大，部分原因是学习模型的特征取决于传感器的角度分辨率（最初为 1/3 度）。
我们还可以看到，即使经过广泛的自动超参数优化，关节腿部跟踪器也只能达到约 75% 的最大召回率，而我们的方法和 Arras 检测器可以达到高达 95% 的召回率。进一步的实验表明，Leigh 的方法在距离约 7 米以外几乎没有检测到任何人物，而 DROW3x 和 Arras 检测器在最大检测距离 15 米处仍能生成检测结果。这似乎是因为在 7 米的距离和 1/2 度的角度分辨率下，单个腿部簇通常仅包含两个或更少的点 $^{4}$。我们实现的 Arras 检测器使用类似的几何特征，因此不会受到此问题的影响，因为它将整个人物（包括两条腿）视为一个片段，从而计算特征。我们认为，腿部跟踪方法的最大范围有限是一个重要限制 [^15]，因为许多机器人仍然配备具有 1/2 度或更低角度分辨率的 2D 激光测距仪（例如 [^16]、[^13]、[^17]、[^12]），尤其是在考虑低成本、低分辨率 2D 激光扫描仪在家庭应用中的日益普及时。
### VI. 实验设置
对于本文中的实验，我们从头开始用 PyTorch [^28] 重新实现我们原始的 DROW 检测器。我们现在使用 Adam [^29] 优化器，并设置一个学习率调度，从 $10^{-3}$ 开始，持续 40 个 epoch，然后指数衰减到 $10^{-6}$，持续 10 个 epoch。初步的比较表明，这不会对得分产生太大影响，但它可以在训练结束时稳定结果，并且无需手动选择最佳结果即可进行实验。
除非另有说明，否则我们的 DROW 检测器始终针对三个类别（人员、轮椅和助行器）进行训练，但是为了避免图表过于混乱，我们只在图 4 中显示人员的精确率-召回曲线。初步实验表明，训练仅针对人员的版本不会获得显着的改进。
我们使用 Hyperopt [^30] 来调整所有方法（除了神经网络训练）的大部分超参数，这些超参数是在验证集 $^{5}$ 上进行调整的。我们优化所有可用精确率-召回曲线的总 AUC。对于我们的 DROW 基线，旧的投票机制不会生成密集的精确率-召回曲线，因此难以计算 AUC。在这种情况下，我们优化峰值 F1 分数的总和。
在评估过程中，如果质心位于 0.5 米半径内，则将检测视为正确。最多可以将一个检测分配给每个标注。
### VII. 讨论
根据图 4 中的结果，可以区分三种类型的算法。
基于腿部跟踪的方法，可以检测到单个腿部，并将这些腿部组合成人物轨迹（第 V 节 B 节和 V 节 C 节）。
---
| AUC% | peak F1% | EER% |
| ROS leg detector | 23.2 | 41.7 | 41.0 |
| Arras retrained | 47.6 | 50.3 | 50.1 |
| Arras retrained + feat | 50.2 | 51.4 | 51.2 |
| Leigh off-the-shelf | 35.0 | 46.7 | 45.6 |
| Leigh retrained | 57.2 | 64.3 | 62.3 |
| DROW3x | 68.1 | 68.1 | 67.2 |
| DROW3x (agnostic) | 76.4 | 75.5 | 75.5 |
| DROW3x + validation | 71.7 | 70.5 | 69.5 |
Fig. 4: Different baselines and our proposed approach (DROW3x) evaluated on the person class of our test set. The thin dotted lines show the same experiment, using an evaluation radius of 0.3 m. Unlike all other curves the red line represents an agnostic evaluation, meaning we use detections and annotations of all classes jointly.
当在我们的大型数据集上重新训练时，这些方法可以表现出良好的效果。 它们的召回率受限于方法的设计，因为在远距离无法检测到单个腿部。 此外，由于对形状和运动的强烈假设，这种方法的一个严重缺点是，它仅适用于穿着裤子的行人；它不适用于其他服装或不同的类别，例如轮椅。
基于分割分类的方法将扫描结果分割成单独的部分，然后将这些部分分类为行人或背景（第 V 节 A 节）。
这种方法不受到上述缺点的影响，但即使在经过我们在数据集上的训练，其性能也明显低于重新训练的基于腿部跟踪的方法。 需要注意的是，由于该方法学习的是行人，而不是腿部，因此它可以达到非常高的召回率。
DROW 方法基于深度学习投票，既不受到基于腿部跟踪的算法的固有缺点的影响，也不受基于分割分类的算法的性能不足的影响。 具体来说，图 4 中显示的浅绿色曲线 (—) 对应于 DROW 的行人检测性能，同时它可以检测到行人、轮椅，而其他方法都无法做到这一点。 这在基础的 DROW3x 中已经表现良好，但通过简单地使用时间信息（而不进行任何跟踪），可以进一步提高结果，优于当前的先进水平 10.9%。 此外，红色曲线 (—) 显示了泛化性能，这意味着如果任务只是联合检测行人和平行辅助设备，我们的性能会进一步提高。
当时间信息和里程计信息可以整合到算法中时，它们显然是有益的。 正如我们在第 IV 节中展示的，这对于 DROW 来说是这种情况，并且在与联合腿部跟踪器的初步实验中，我们发现使用里程计可以使 EER 提高 6%。 在 [^11] 中，Arras 等人提到，包括简单的运动特征会导致性能下降，这表明并非总是清楚如何有效地利用时间信息。 我们提出了一种简单而有原则地使用时间信息和里程计的方法，该方法显示出一致的改进，但我们期待着更多在这方面研究。
更大的训练集可以稍微提高我们的结果（$\rightarrow$）。 在这个实验中，我们将训练集和验证集合并，并使用先前在验证集上选择的超参数。 改进的性能表明模型具有额外的容量，并且表明可以通过更多的数据学习到更好的检测器。
可以通过使用较小的半径（0.3 米）来研究检测的定位精度。相应的曲线如图 4（....）中的虚线所示。所有基于腿部跟踪的方法在此更严格的评估方案下表现明显较差。这种行为的一个可能解释是腿部跟踪器卡尔曼滤波器引入的额外延迟 $^{6}$。与此同时，基于分割分类和 DROW 的方法几乎不受影响。这意味着它们的检测定位更精确，这是另一个明确的优势。
Hyperopt 导致 DROW 的参数值出现令人惊讶的情况。 考虑到我们方法的超参数都非常易于理解，但最终的一些值与我们最初手动选择的“合理”值相差很大。 对于 DROW 来说，当使用我们的初始猜测值时，最终的测试性能略好，这表明超参数优化可能过度拟合了验证集。 尽管如此，Leigh 跟踪器获得了约 4% 的 AUC 提升，为了保持一致性，我们报告了所有 DROW 曲线的超参数优化性能。 由于我们联合优化了所有类别的 AUC，因此，尤其是人物性能，通常会略有下降。 如果仅关注人物检测，我们可以轻松地提高 DROW 的人物性能，但会以其他类别的性能为代价。 DROW 仍然表现出色，即使使用了某些不太直观的值，这表明它具有鲁棒性，并且也易于调整。
## 多目标跟踪系统通常与
$^{6}$ 值得注意的是，在 [^15] 中使用的半径为 0.75 米，这对于实际应用来说过于宽松，不能作为性能指标。
---
与在实践中使用的检测器一起 [^2]，[^1]。 这有助于进行更高层次的分析 [^31] 和推理，尤其是在更长的时间范围内 [^2]。 尽管如此，在 [^27] 中，Linder 和 Breuers 等人指出“观察到[...]检测器性能是影响跟踪性能的最重要因素，这远远超过所选跟踪算法的影响。” 这就是为什么开发强大的、多类别检测器（如 DROW）对于移动机器人至关重要。
### VIII. 结论
对于在人群中运行的移动机器人平台，检测这些人的能力至关重要，无论他们是否使用辅助工具。 这些机器人通常配备 2D 激光扫描仪，以确保安全，因此利用这种模态进行检测非常具有吸引力。 然而，由于信号的稀疏性，这项任务非常具有挑战性。
我们发布了一个大型的新的人体标注数据集，该数据集是在“野外”环境中收集的，这在我们的知识范围内，是目前最大的公开可用的 2D 范围数据的人体检测数据集。 我们在数据集上评估了几个最先进的检测器，作为基线，供其他人进行比较。（所有精度-召回曲线都将在线提供。）
我们将 DROW 检测器扩展到检测人员的任务，同时检测轮椅和助行器，从而向该领域引入了一种有趣的创新，它超越了最强大的基线 10.3% 的 AUC。 我们解决了原始 DROW 论文中投票方案的局限性，即检测结果的离散化以及无法报告有意义的置信度。
在受到我们作为人类如何标注数据集 $^{7}$ 的启发后，我们提出了将时间信息集成到 DROW 中的初步方法，这可以显着提高性能，尤其是在具有挑战性的人员和辅助设备类别中。 这表明，该领域进行更多研究可以带来更好的检测器。
最重要的是，这项工作表明，DROW 是用于 2D 范围数据的唯一强大的、无偏置的多类别检测器。
## 致谢
我们衷心感谢 Supinya Beyer，如果没有她的帮助来标注数据，这篇论文将无法完成。同时，感谢 Narunas Vascevicius 的宝贵讨论。这项工作部分由欧盟“地平线 2020”项目 ILIAD (H2020-ICT-2016-732737) 和 CROWDBOT (H2020-ICT-2017-779942) 以及德国联邦教育与研究部 (BMBF) 的 FRAME 项目 (16SV7830) 资助。
## 参考文献
[^1]: R. Triebel, K. Arras, R. Alami, L. Beyer, S. Breuers, R. Chatila, M. Chetouani, D. Cremers, V. Evers, M. Fiore, et al., “SPENCER: A Socially Aware Service Robot for Passenger Guidance and Help in Busy Airports,” in FSR, 2016.
[^2]: N. Hawes, C. Burbridge, F. Jovan, L. Kunze, B. Lacerda, L. Mudrová, J. Young, J. Wyatt, D. Hebesberger, T. Kortner, et al., “The STRANDS project: Long-term autonomy in everyday environments,” RAM, vol. 24, no. 3, pp. 146–156, 2017.
[^4]: J. Redmon and A. Farhadi, “YOLO9000: Better, Faster, Stronger,” CVPR, 20167.
[^3]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite,” in CVPR, 2012.
[^5]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal Loss for Dense Object Detection,” ICCV, 2017.
[^6]: S. Zhang, R. Benenson, and B. Schiele, “CityPersons: A Diverse Dataset for Pedestrian Detection,” in CVPR, 2017.
[^7]: D. Maturana and S. Scherer, “VoxNet: A 3D Convolutional Neural Network for Real-Time Object Recognition,” in IROS, 2015.
[^8]: P. Ondruska, J. Dequaire, D. Zeng Wang, and I. Posner, “End-to-End Tracking and Semantic Segmentation Using Recurrent Neural Networks,” in RSS, Workshop on Limits and Potentials of Deep Learning in Robotics, 2016.
[^9]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in CVPR, 2017.
[^10]: Y. Zhou and O. Tuzel, “VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection,” arXiv preprint arXiv:1711.06396, 2017.
[^11]: K. O. Arras, Ó. M. Mozos, and W. Burgard, “Using Boosted Features for the detection of People in 2D Range Data,” in ICRA, 2007.
[^12]: L. Spinello and R. Siegwart, “Human Detection using Multimodal and Multidimensional Features,” in ICRA, 2008.
[^13]: Ch. Weinrich, T. Wengefeld, Ch. Schroeter, and H.-M. Gross, “People Detection and Distinction of their Walking Aids in 2D Laser Range Data based on Generic Distance-Invariant Features,” in RO-MAN, 2014.
[^14]: C. Pantofaru, "ROS leg_detector package," , 2010.
[^15]: A. Leigh, J. Pineau, N. Olmedo, and H. Zhang, “Person tracking and Following with 2D Laser Scanners,” in ICRA, 2015.
[^16]: L. Beyer $^{*}$, A. Hermans $^{*}$, and B. Leibe, “DROW: Real-Time Deep Learning based Wheelchair Detection in 2D Range Data,” RA-L, 2016.
[^17]: M. Luber, G. D. Tipaldi, and K. O. Arras, "Place-Dependent People Tracking," IJRR, vol. 30, no. 3, 2011.
[^18]: K. He, X. Zhang, S. Ren, and J. Sun, “Delving Deep Into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification,” in ICCV, 2015, pp. 1026–1034.
[^19]: S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," ICML, 2015.
[^20]: A. L. Maas, A. Y. Hannun, and A. Y. Ng, “Rectifier Nonlinearities Improve Neural Network Acoustic Models,” in ICML, 2013.
[^21]: N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, “Dropout: A Simple Way to Prevent Neural Networks from Overfitting,” JMLR, vol. 15, no. 1, pp. 1929–1958, 2014.
[^22]: C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," in CVPR, 2015.
[^23]: K. He, X. Zhang, S. Ren, and J. Sun, “Identity Mappings in Deep Residual Networks,” in ECCV, 2016.
[^24]: S. Xie, R. Girshick, P. Dollár, Z. Tu, and K. He, “Aggregated residual transformations for deep neural networks,” in CVPR, 2017.
[^25]: V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, and M. Riedmiller, “Playing Atari with Deep Reinforcement Learning,” in NIPS Deep Learning workshop, 2013.
[^26]: C. Feichtenhofer, A. Pinz, and A. Zisserman, “Convolutional Two-Stream Network Fusion for Video Action Recognition,” in CVPR, 2016.
[^27]: T. Linder $^{*}$, S. Breuers $^{*}$, B. Leibe, and K. O. Arras, “On Multi-Modal People Tracking from Mobile Platforms in Very Crowded and Dynamic Environments,” in ICRA, 2016.
[^28]: A. Paszke, S. Gross, S. Chintala, G. Chanan, E. Yang, Z. DeVito, Z. Lin, A. Desmaison, L. Antiga, and A. Lerer, “Automatic differentiation in PyTorch,” in NIPS Autodiff Workshop, 2017.
[^29]: D. P. Kingma and J. Ba, “Adam: A Method for Stochastic Optimization,” in ICLR, 2015.
[^30]: J. Bergstra, D. Yamins, and D. D. Cox, “Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures,” in ICML, 2013.
[^31]: L. Beyer, A. Hermans, and B. Leibe, “Biternion Nets: Continuous Head Pose Regression from Discrete Training Labels,” in GCPR, 2015.