# 基于二维范围数据的深度人体检测
Lucas Beyer $^{ID}$、Alexander Hermans $^{ID}$、Timm Linder $^{ID}$、Kai O. Arras 和 Bastian Leibe $^{ID}$
摘要：人体检测是移动机器人和智能车辆在各种应用中的一项关键技能。 尽管该问题在图像数据等某些感官模态方面已得到广泛研究，但鲜有研究解决使用二维 (2-D) 范围数据的这种检测任务。 然而，许多移动机器人，特别是在服务和家庭应用中的机器人，通常采用水平安装的 2-D 激光扫描仪作为传感器。 从 2-D 范围数据检测人员具有挑战性，原因在于人体腿部运动的速度和动态性，以及人群中出现的遮挡和自遮挡现象。 尽管以前的方法主要依赖于手工设计的特征，但我们最近开发了一种基于深度学习的轮椅和助行器检测器，称为距离鲁棒轮椅/助行器 (DROW)。 在本文中，我们展示了对人员的泛化，包括一些小的修改，这些修改可以显着提高 DROW 的性能。 此外，通过在我们的网络中提供一个小、完全在线的时间窗口，我们进一步提高了我们的得分。 我们扩展了 DROW 数据集，添加了人员注释，这使得它成为 2-D 范围数据中最大的人员注释数据集，该数据集是在现实环境中记录的，具有很高的多样性。 广泛的实验结果表明，与三种当前基线方法相比，我们改进的 DROW 检测器优于当前的最先进技术。
关键词：机器人和自动化中的深度学习；人体检测和跟踪；识别。
## I. 引言
与人类共享空间（例如，机器人）需要具备检测、跟踪和分析人类的能力，原因有很多，包括安全、用户交互或在人群中高效导航 [^1]、[^2]。 例如，自动驾驶汽车 [^3] 或最后一公里配送机器人需要识别行人，尤其是弱势道路使用者，如老年人、儿童或轮椅使用者。 这种识别任务在图像数据方面已得到广泛理解 [^4]、[^5]，有时甚至专门用于鲁棒的人体检测 [^6]，并且有用于汽车应用的行人检测系统。 对于机器人常用的其他感官模态，例如 RGB-D 或 2D/3D 范围数据，存在越来越多的检测方法和数据集。
许多有趣的方法已经开发用于检测体积数据的，例如 3D LiDAR，可以大致分为两类。 第一类使用点云数据的有序投影 [^7]、[^8]。 第二类，较新的方法提出新型神经网络架构，这些架构可以处理无序的点云数据并进行推理，例如 PointNet [^9] 和 VoxelNet [^10]。
尽管越来越高性能和价格实惠的3D/RGB-D传感器不断涌现，但2D水平安装的激光扫描仪仍然是大量在人类活动空间中使用的移动服务机器人常用的传感器组件，使其成为人员检测的有趣传感器。 它们也是确保人类安全的少数经过认证的传感器之一，例如用于物流或医院的运输平台，具有广阔的视野、高精度和在各种条件下的高鲁棒性。 相比之下，车载摄像头在许多机器人应用中存在一些缺点，包括视野受限、尺度模糊，以及当被测对象靠近传感器时，可能出现检测失败，而这在人机交互中是一个重要的场景。
现有的基于2D范围数据的的人员检测器大致可以分为两类。 第一类包括基于跳跃距离的激光点聚类，计算这些聚类上的许多手工特征，并使用机器学习方法根据这些特征将聚类分类为人员或背景 [^11] [^12] [^13]。 第二类也执行类似的操作，但针对的是腿部，通过跟踪腿部，并根据一些手工设计的启发式规则将腿部对定义为人员 [^14] [^15]。
后一种类型的模型通常在基准数据集和小型应用中表现更好，但“双腿假设”存在一些严重的固有缺陷：1）它不容易扩展到其他类别，例如轮椅。2）它仅在腿部可见时有效，但在许多现实场景中，由于人们穿着外套、连衣裙、头巾、纱丽等，或者在许多专业场景中，由于工作制服（如实验服），腿部并不总是可见。这是一个很好的例子，说明为什么收集多样化的数据集并直接从数据中学习，而不是手工构建系统的很大一部分是可取的。从 2D 深度数据中学习很困难，正如基于跳跃距离的方法与腿部跟踪方法相比，性能相对较差所证明的那样。
---
深度学习在检测方面取得了令人瞩目的进展，尤其是对深度数据的检测，但到目前为止，我们的 DROW [^16] 检测器是唯一基于深度学习的 2D 深度数据检测器。DROW 在辅助行走设备检测方面取得了最先进的结果，并且在多个真实场景中表现良好。
对于激光扫描中的每个点，DROW检测器会预测一个类别，并可能对最靠近的对象中心进行投票。 然后，一个最终的后处理步骤将投票转换为实际预测。 我们改进了这个后处理步骤，现在它允许我们预测每个检测的置信度，并提高整体性能。 此外，我们略微增加了卷积神经网络 (CNN) 的大小，从而进一步提高了检测分数。
对于激光扫描中的每个点，DROW检测器会预测一个类别，并可能对最靠近的对象中心进行投票。 然后，一个最终的后处理步骤将投票转换为实际预测。 我们改进了这个后处理步骤，现在它允许我们预测每个检测的置信度，并提高整体性能。 此外，我们略微增加了卷积神经网络 (CNN) 的大小，从而进一步提高了检测分数。
与这些扩展不同，我们尝试对之前的几次扫描进行完全在线的 temporal 集成，并表明这可以显着提高人员检测的性能。与跟踪器不同，我们没有执行任何数据关联，而是展示了如何扩展 DROW 的输入预处理，以包括 temporal 上下文，以便网络使用。我们展示了网络中几种融合策略的比较，并使用我们扩展的 DROW 检测器获得了最先进的结果。
为了促进所有实验，我们引入了一个新的人员标注数据集，用于我们原始的 DROW 数据集。我们在以前使用轮椅和助行器中心点进行标注的每个帧中手动标注人员。据我们所知，这是在真实场景中记录的二维激光数据的最大人员检测数据集，包含超过 10 小时的激光扫描记录。
我们在此数据集上对性能最佳的现有检测器进行了全面评估，包括在我们的验证集上进行重新训练和调整超参数。由于人员检测在机器人领域比辅助行走设备检测的范围更大，因此，随着人员标注的添加，DROW 数据集现在变得更加有趣和相关。我们的最终结果和完整的 DROW 数据集将与社区共享，以促进该领域进一步的研究。 $^{1}$
总结一下，我们的主要贡献如下：
1) 我们将 DROW 检测器扩展到人员，并提出了一些改进，从而提高了整体性能。
2) 一种 temporal 融合扩展，用于将过去帧集成到检测器中，从而实现人员及其辅助设备的先进检测结果。
3) 一个新的、大型的“野外”室内二维激光数据集，用于人员检测。
4) 对当前最先进的人员检测器在我们的数据集上的全面评估。
TABLE I DROW DATASET OVERVIEW
| Train | Validation | Test | Total |
| Sequences | 78 | 30 | 5 | 113 |
| Scans | 341 138 | 74 744 | 48 131 | 464 013 |
| Annotated Scans | 17 665 | 3 919 | 2 428 | 24 012 |
| Wheelchairs | 14 455 | 5 595 | 1 970 | 22 020 |
| Walkers | 2 047 | 219 | 581 | 2 847 |
| Persons | 23 906 | 3 102 | 1 976 | 28 984 |
| Wheelchairs by distance | | | | |
| Walkers by distance | | | | |
| Person by distance | | | | |
| All by distance | | | | |
### II. DROW 数据集
我们介绍了一组新的人员标注，用于现有的 DROW 数据集 [^16]，该数据集使用 SICK S300 激光扫描仪以 12.5 Hz 的频率和 37 cm 高度处 1/2 度的角分辨率记录，安装在移动平台上。 $^{2}$ 为了促进 temporal 方法，我们使用与之前相同的标注策略：我们将数据集划分为 100 帧的批次，标注每四个批次的帧，同时标注每个批次中的第五帧。这导致 5% 的帧被标注，这些帧分布在较长的时间范围内，从而允许进行有趣的 temporal 方法（参见第 IV 节）。我们标注了以前使用轮椅和助行器进行标注的帧，标注了步行的人员，以及推动助行器的老年人。这意味着，推动助行器的人员将获得两个标注：人员和助行器，而坐在轮椅里的人只被标注为轮椅。我们还将坐在普通椅子上的人员视为人员，因为这些人员在数据中具有明显不同的模式。
表 I 显示了由此产生的数据集的概述。表中的所有数字是指单个标注，而不是实例，条形图显示了它们的分布。每个条形代表距离上的 1 米范围（最多 15 米，共 15 个条形）。
应该注意的是，对人员的标注难度更大。通过浏览几帧图像，并查看相机的 RGB 图像，可以相对容易地在扫描中找到辅助行走设备的位置。但是，为了标注人员，通常需要关注单个区域，并“跟踪”该模式在 100 帧图像序列中，以便可靠地确定哪些激光点代表人员。这清楚地表明，对人员进行单帧检测是一项困难的任务。
与现有为用于在腿部高度进行人员检测的 2D 激光雷达数据集相比，我们的数据集在原始扫描和标注数量上最多，覆盖时间最长，因此更适合用于研究深度学习方法。虽然 [^15] 在...
---
介绍了用于在腿部高度进行 2D 激光雷达的人员跟踪数据集，但他们的室内多人员数据集仅限于三个 12 分钟的序列，明显小于我们的数据集。此外，由于正向训练数据中的静态背景，他们的数据集不太适合深度学习方法，因为深度学习方法很容易过拟合。
[^13] 的家庭和康复数据集使用与我们的数据集类似的传感器配置，并且在类似的环境中记录。虽然标注扫描的数量相似，但我们的原始扫描数量比他们多了一个数量级，并且覆盖了更长的时间。我们标注的每帧图像中的平均人员数量是他们的两倍，这表明我们的数据集更具挑战性。
弗莱堡主站和城市中心的数据集 [^17] 在总扫描数量方面小了一个数量级，并且标注的扫描数量减少了 2 到 4 倍。传感器安装在静态平台上，背景变化有限，高度为 80 厘米，在此高度通常看不到单个腿。
我们的数据集显示了人员及其辅助设备与不同背景之间有趣的交互，并且存在大量的真实世界干扰，这使其成为一个有趣且具有挑战性的数据集。
### III. 方法和扩展
为了概述我们提出的扩展，我们首先总结 DROW 方法的相关部分。我们建议感兴趣的读者参考 [^16] 以获取更详细的说明。我们在以下部分直接显示和讨论结果的精度-召回曲线，我们的实验设置的更多细节将在第 VI 节中提供。
### A. DROW 基线
给定激光扫描 s，DROW 检测器首先会在每个激光点 i 附近“裁剪”一个固定大小的窗口：w_i = \text{cut}(s, i)。cut 操作中使用的开口角度用于确定哪些激光点属于宽度为 \ell 且距离为 s_i 的窗口，该角度计算为 2 \tan^{-1}\left(\frac{\ell}{2s_i}\right)。cut 操作还包括前背景的裁剪以及重采样，将数据裁剪到固定数量的点。然后，将每个裁剪区域 w_i 输入到 CNN 中，该 CNN 预测 1) 该裁剪区域是否属于感兴趣的对象，如果属于，2) 关于对象中心位置相对于裁剪区域位置的投票。最后，收集所有投票，并将它们投射到以传感器原点为中心的网格上，然后对该网格进行平滑处理，以找到最大值，并将这些最大值报告为检测结果。我们在图 1 中将我们的重新实现显示的精度-召回曲线用虚线 ( $-\cdots-$) 表示。
### B. 投票
在 [^16] 中，所有类别的投票都投到了一个“agnostic”投票网格中，该网格基于agnostic对象概率 $p(O|w) = \sum_{c \in \mathcal{C}} p(c|w_i)$ 超过检测阈值，并且还投到了每个类别的特定网格中。经过平滑和非极大值抑制 (NMS) 后，对应于agnostic网格中最大值的单元格会生成检测结果，其中心位置由具有对应单元格中最大值的类别网格的类别确定。这存在一些缺点；一方面，它将生成的检测空间离散化，因为只报告网格中心，另一方面，它不会将类分布分配给检测结果，这对于后续组件很有用。
Fig. 1. Precision-recall curves showing the impact of our extensions. The numbers in brackets correspond to the AUC of the agnostic, wheelchair, walker, and person curves. These values are not computable for DROW, see discussion in Section III-B.
它使用每个检测的类，在其中心使用具有相应单元格中最大值的类特定网格。这有几个缺点；首先，它离散化了生成的检测空间，因为只报告网格中心，而且它不为检测分配类分布，而这些分布对流水线中的其他组件很有用。
联合投票。我们提出一种改进的方案，该方案解决了上述两个问题。我们仍然将所有投票累积到一个不带偏见的投票网格中，使用 $p(O|w)$ 进行平滑处理和非极大值抑制（NMS）。然后，我们将每个单独的投票分配给该投票网格中最近的最大值，并丢弃距离最近最大值的距离超过一定半径的虚假投票。然后，我们通过其分配投票的平均值报告检测结果，包括位置和类别分布。这产生完全连续的检测结果，以及行为良好的类别分布。为了评估，我们简单地报告主导类别的概率，但在实践中，处理检测结果的组件可以使用完整的分布。图 1 中，这种新的投票方案（现在也包括“人员”类别）的精度-召回曲线以虚线表示（$---$），显示了对于使用轮椅的行人，该方案有了很大的改进，而对其他对象的影响很小。
了解扫描中的哪些点贡献于一个检测结果，具有进一步的优势，例如，可以根据投票的分布来估计定位的置信度，或者可以确定检测到的行人的空间范围。但是，我们将这些扩展留待未来研究。
---
Fig. 2. Variants of temporal cutouts described in Section IV. All three cutouts correspond to the same point i in a scan at time t. All dots correspond to actual values of $W_{i}^{t}$, the color gradient moves from red at t into the past. This is the actual input seen by the CNN for that specific point i. (a) Naive temporal cutout. (b) Temporal cutout with fixed location. (c) Fixed location and odometry.
### C. 网络架构
了解哪些扫描点对一个检测结果的贡献，具有进一步的优势。例如，可以根据投票的分布情况来估计定位的置信度，或者可以确定检测到的人的空间范围。但是，我们将这些扩展留待未来研究。
### C. 网络架构
我们还使用当前的最佳实践更新了网络架构，主要区别在于它更大。这显着提高了结果，尤其是对于最困难的步行者类别，参见图 1 中的实线（—）。新的网络架构，名为“DROW3x”，由三个阶段组成，每个阶段包含三个零填充卷积层，卷积核大小为 3，初始化方式与 [^18] 相同。在所有卷积操作之后，应用批处理归一化 [^19] 和 Leaky-ReLU [^20]（泄漏值为 0.1）非线性。每个阶段后都进行最大池化操作，池化大小为 2，并使用标准 dropout [^21]。第四个最终阶段包含两个额外的卷积块，类似于 [^22]，[^23]，然后进行全局平均池化，之后单个全连接层计算输出，即 SoftMax 概率和回归投票。我们还尝试了各种 ResNet [^23] 和 ResNeXt [^24] 架构，但这些架构没有带来任何进一步的改进，并且速度明显较慢。$^{3}$
### IV. 时间集成
另一个重要的线索是，单个激光扫描传达的信息量很少，而随时间的变化可以帮助我们理解。手动标注，尤其是人员标注，只能通过浏览时间并“跟踪”每个人来完成。DROW 数据集的标注方式允许以有趣的方式将时间维度纳入方法，尽管 [^16] 中没有利用这一点。在这里，我们提出了一些简单的方法，这些方法可以很好地利用时间信息，我们希望这些初步结果能够激发对更复杂地使用时间的检测研究。总体思路是，除了当前测量值之外，让神经网络获得一段过去的信息。需要注意的是，这与跟踪方法截然不同，并且实际上是正交的；结果方法仍然是一个检测器。为了在 DROW 检测器上下文中实现这一点，我们需要决定两件事：1) “短时间窗口”是什么，2) 时间维度在神经网络的哪个位置融合？
时间 cutout。在生成给定时间 t 的扫描中的点 i 的 cutout $w_i^t$ 时，可以使用该点在先前时间中的 cutout，并将这些 cutout 收集到一起，形成一个时间 cutout。
$$ W_{i}^{t}=\left[\operatorname{c u t}\left(s^{t},i\right)\cdots\operatorname{c u t}\left(s^{t-T},i\right)\right]. $$
然而，这种简单的做法存在缺陷：如果点 i 在时间 t 和 t-2 时位于一条腿上，但在时间 t-1 之间位于背景中，那么该方法会导致第二个 cutout 的中心位于该人的后面，从而提供任意、错误的时间上下文信息，如图 2(a) 所示。相反，更重要的是，根据当前时间 t 固定 cutout 的位置 r，并使用该固定位置在先前的时间中切割相同的窗口，作为时间上下文：
$$ W_{i}^{t}=\left[\operatorname{c u t}\left(s^{t},i,r^{t}\right)\cdots\operatorname{c u t}\left(s^{t-T},i,r^{t-T}\right)\right]. $$
这会导致更一致的窗口，参见图 2(b)。然而，当机器人转动时，保持窗口在实际位置上会遇到更多问题：当转动时，在时间 t 时扫描中的索引为 i 的点，在时间 $t-1$ 时将位于另一个索引 j。可以通过大多数移动平台的硬件提供此差异 $\Delta = i - j$，并将其用于时间 cutout，具体方法如下：
$$ W_{i}^{t}=\left[\mathrm{c u t}\left(s^{t},i,r^{t}\right)\cdots\mathrm{c u t}\left(s^{t-T},i-\Delta^{t-T},r^{t-T}\right)\right]. $$
最终，稳定后的切口如图 2(c) 所示。 另一种可能的改进是利用测量的平移分量，但将激光扫描正确地进行平移是一个不适定的问题，我们在此工作中没有解决。
时序融合。现在，我们有一种方法可以为每个单独的点 i 生成有意义的时序 cutout $W_{i}^{t}$。
---
TABLE II COMPARING TEMPORAL FUSION STRATEGIES
| wheelchair | walker | person |
| AUC | p-F1 | EER | AUC | p-F1 | EER | AUC | p-F1 | EER |
| No time | 82.1 | 77.5 | 76.6 | 71.0 | 66.0 | 65.4 | 59.4 | 61.5 | 61.4 |
| Naive Early-fusion | 79.2 | 72.7 | 72.4 | 75.3 | 71.6 | 70.6 | 63.7 | 62.2 | 62.0 |
| + Fixed location | 78.9 | 74.1 | 73.5 | 73.3 | 69.7 | 67.3 | 65.9 | 64.8 | 64.0 |
| + Odom correction | 78.4 | 73.7 | 73.1 | 76.6 | 72.2 | 69.9 | 63.0 | 64.3 | 64.2 |
| Naive Late-fusion | 79.4 | 74.9 | 74.2 | 73.1 | 70.7 | 69.9 | 64.6 | 64.5 | 64.1 |
| + Fixed location | 80.4 | 76.7 | 76.1 | 77.7 | 73.4 | 72.1 | 67.0 | 65.9 | 64.9 |
| + Odom correction | 82.7 | 78.7 | 78.1 | 82.4 | 78.9 | 76.4 | 68.1 | 68.1 | 67.2 |
the current scan $s^{t}$, 下一个问题是，如何才能使神经网络最有效地利用这种时间切片？最直接的选择是将这些条目堆叠到网络的输入通道维度中；这也被称为早期融合（EF）。正如[^25]中所示，这已经是一种合理的方法，允许网络学习场景中的运动信息。进一步的研究[^26]表明，将时间信息在网络的后期融合（LF）可能更有效。我们通过在时间维度上复制网络的两个块，保持权重不变，并将它们的和作为网络的第三个块的输入来实现。这样，网络保持相同数量的参数，从而可以在表II中直接比较时间的影响。很有可能，对融合机制的更深入研究，包括使用循环神经网络（RNN），将带来更好的结果。但这并不是我们工作的重点，留待未来研究。
### V. 基准
### V. 实验
我们在以下子部分中，将我们的方法与用于 2D 激光雷达中人员检测的三种最先进的方法进行比较。 包括由 Arras 等人开发的基于分割的人员检测器 [^11]、ROS 腿检测器 [^14] 和由 Leigh 等人开发的联合腿跟踪器 [^15]。 图 4 显示了所有基线和我们提出的方法 ( $\rightarrow$ ) 在人员检测任务上的精度-召回曲线。 对于每种评估方法，我们还报告了曲线下面积 (AUC)、相等错误率 (EER) 和峰值 F1 值的百分比。
在本次评估中，我们没有将我们的方法与 Gandalf 检测器进行比较 [^13]，因为它已经在原始 DROW 论文的比较中被使用过 [^16]：它是一种基于分割-分类的方法，但它使用适用于分类的远距离不变特征，这与 DROW 的深度鲁棒预处理类似。 尽管它是用于 2D 范围数据的几个多类别检测器之一，但由于缺乏公开的训练代码，因此难以进行人员检测。 同样，检测结果没有置信度信息，也没有一个有意义的参数可以改变以创建多个精度-召回曲线点。
Fig. 3. Different ways of incorporating temporal context into DROW3x, as described in Section IV. The numbers in brackets correspond to the AUC of the agnostic, wheelchair, walker, and person curves.
最终，我们的 DROW 基线在 [^16] 中优于 Gandalf 检测器。 此外，生成的检测结果没有置信度，并且没有一个有意义的参数可以改变以创建超过一个精度-召回曲线点。
### A. 由 Arras 等人开发的基于分割的人员检测器
Arras 等人提出的用于 2D 激光雷达数据中进行人员检测的原始方法 [^11]，是以下两种方法的基础，该方法结合了激光雷达扫描的跳跃距离分割以及在手工制作的几何特征上训练的提升分类器。跳跃距离分割阈值配置为使得两个腿通常最终位于同一段中。
我们使用基于ROS的重新实现[^27]，其中Adaboost分类器已被更好的随机森林替代。我们使用DROW训练集的行人标注对检测器进行重新训练，因为[^27]中的模型假设了不同的传感器安装高度（70-80厘米），此时腿部通常不可见。自动超参数调整（第VI节）的结果是，分割阈值为23厘米，随机森林包含128棵树，最大深度为50。在训练过程中，如果一个分割的超过一半的点落在以标注的行人质心为中心的半径为25厘米的圆内，则将其视为前景，否则视为背景。
---
| AUC [%] | peak F1 [%] | EER [%] |
| ROS leg detector | 23.2 | 41.7 | 41.0 |
| Arras retrained | 47.6 | 50.3 | 50.1 |
| Arras retrained + feat | 50.2 | 51.4 | 51.2 |
| Leigh off-the-shelf | 35.0 | 46.7 | 45.6 |
| Leigh retrained | 57.2 | 64.3 | 62.3 |
| DROW3x | 68.1 | 68.1 | 67.2 |
| DROW3x (agnostic) | 76.4 | 75.5 | 75.5 |
| DROW3x + validation | 71.7 | 70.5 | 69.5 |
Fig. 4. Different baselines and our proposed approach (DROW3x) evaluated on the person class of our test set. The thin dotted lines show the same experiment, using an evaluation radius of 0.3 m. Unlike all other curves the red line represents an agnostic evaluation, meaning we use detections and annotations of all classes jointly.
背景如果一个段的点没有落在这样的圆内。所有剩余的段被认为是模棱两可的，并且不用于训练。由此产生的精度-召回曲线如图 4 所示（$\underline{\text{—}}$）。
正如我们在初步实验中观察到的那样，误报的人体检测通常发生在传感器视野的左/右边界。因此，我们引入了一个额外的几何特征，该特征测量了段中心的角度与传感器视野边界的差异，这提高了 AUC 的性能，提高了 2.6 个百分点（__PH_0083__）。
### B. ROS 腿部检测器
这个“检测器”[^14]（____）通常用于机器人领域的实验，因为它作为一个标准的 ROS 包，具有预训练的模型而易于使用。它基于 [^11] 中的几何特征，但将其应用于使用随机森林分类器的单个腿簇。然后使用基于卡尔曼滤波器的跟踪器对检测到的腿进行关联和跟踪。在我们的评估中，我们将每个帧的结果轨迹视为检测结果。根据 [^15] 中的发现，我们将腿部可靠性阈值从 0.7 降低到 0.3，否则只能启动很少的人员轨迹。
### C. Leigh 等人的关节腿部跟踪器
Leigh等人提出的联合腿部追踪器[^15]是[^14]的改进扩展版本，该方法通过允许最多将两个检测到的腿部簇关联到同一个人体轨迹，实现对双腿的联合追踪。与ROS腿部检测器类似，由于我们的评估基于人体质心而非单独的腿部，我们仅将该追踪器输出中、在当前帧与至少一个腿部检测关联的未遮挡匹配轨迹作为检测结果处理。$^{4}$ 检测置信度由轨迹置信度得分计算得到。我们对原始训练方法进行了调整：原始方法假设可获得包含正负训练样本的独立记录数据，调整后的方法将人体标注分配给给定半径（例如25厘米）内的潜在腿部簇。为了进行公平评估，我们禁用了他们提出的在线占用栅格建图扩展模块$^{5}$，该模块用于抑制墙壁和其他静态结构中的误报检测；不过，所有参与评估的方法都可以类似地扩展以抑制误检测，例如如[^27]所示使用环境的静态地图。
在一个实验中，如图 4 所示（$\longrightarrow$），我们直接使用提供的模型，采用默认的超参数，发现其性能略优于 off-the-shelf 的 ROS 腿部检测器，但不如经过重新训练的 Arras 检测器。在另一个实验中，我们重新训练分类器，并广泛调整 10 个不同的超参数，包括腿部关联以及跟踪开始/继续阈值、分割距离、置信度更新因子，以及训练期间的类别权重和人物半径。这带来了显著更好的结果（$\longrightarrow$）。性能上的巨大差异部分可以归因于学习模型的特征对传感器角度分辨率的依赖性（最初为 1/3 度）。
我们还可以看到，即使经过广泛的自动超参数优化，关节腿部跟踪器也只能达到约 75% 的最大召回率，而我们的方法和 Arras 检测器可以达到高达 95% 的召回率。进一步的实验表明，Leigh 的方法在 7 米的距离之外几乎没有检测到任何人物，而 DROW3x 和 Arras 检测器仍然可以在最远检测距离 15 米处生成检测结果。这似乎是因为在 7 米的距离和 1/2 度的角度分辨率下，单个腿部簇通常仅包含两个或更少的点，而某些使用的几何特征默认需要至少三个点 $^{6}$。我们实现的 Arras 检测器使用类似的几何特征，但不会出现此问题，因为将整个人物（包括两只腿）视为一个片段，并在该片段上计算特征。我们认为最大范围的限制是 [^15] 的腿部跟踪方法的重大局限性，因为许多机器人仍然配备具有 1/2 度或更小角度分辨率的 2D 激光测距仪（例如 [^12]、[^13]、[^16]）。
---
[^17]: ), especially when considering the increasing adoption of low-cost, low-res 2D laser scanners in domestic applications.
### VI. 实验设置
对于本文中的实验，我们从头开始使用 PyTorch [^28] 重新实现我们的原始 DROW 检测器。我们现在使用 Adam [^29] 优化器，并设置一个学习率计划，从 $10^{-3}$ 开始，持续 40 个 epoch，然后在此期间 10 个 epoch 内呈指数衰减到 $10^{-6}$。初步的比较表明，这不会对得分产生太大影响，但可以在训练结束时稳定结果，并且无需挑选最佳结果即可进行实验比较。
除非另有说明，否则我们的 DROW 检测器始终针对三个类别（人员、轮椅和助行器）进行训练，但是为了避免混乱的图表，我们在图 4 中仅显示人员的精度-召回曲线。初步的实验表明，仅训练 DROW 检测器的针对人员的版本不会获得显着的改进。
我们使用 Hyperopt [^30] 来调整所有方法（除了神经网络训练）的大部分超参数，并在验证集上进行调整。$^{7}$ 我们优化所有可用精度-召回曲线的总 AUC。对于我们的 DROW 基线，旧的投票机制不会生成密集的精度-召回曲线，因此难以计算 AUC。在这种情况下，我们优化峰值 F1 分数的总和。
在评估过程中，如果质心位于标注的 0.5 米半径范围内，则认为检测结果正确。最多可以将一个检测结果分配给每个标注。
## VII. 讨论
查看图 4 中的结果，可以区分三种类型的方法。
基于腿部跟踪的方法，可以检测到单个腿部，并将这些腿部组合成人物轨迹（第 V 节 B 和 C 部分），当在我们的大型数据集上重新训练时，这些方法可以表现出相当好的效果。 它们的召回率受限于方法的结构，因为在远距离无法检测到单个腿部。 此外，由于对形状和运动的强烈假设，这种方法存在严重的缺点，即仅适用于穿着裤子的行人；它不适用于其他服装或不同的类别，例如轮椅。
基于段分类的方法将扫描分割成独立的片段，然后将这些片段分类为人体或背景（第 V 节 A ）。
This type of method does not suffer from the aforementioned drawbacks, but even though it was trained on our dataset, its performance is significantly worse than that of a re-trained leg-tracking based method. Note that, because it learns about people, rather than legs, it can achieve very high recall values.
DROW方法基于深度习得投票机制，既不存在腿部追踪类方法的原理性缺陷，也不存在分割分类类方法性能不佳的问题。具体而言，图4中所示的浅绿色曲线（ $\text{\_\_\_\_}$）对应DROW在同时检测步行者和轮椅时的行人检测性能，这是其他所有方法都无法实现的。基线DROW3x已经能获得不错的效果，而仅简单利用时序信息（无需进行任何追踪）就进一步提升了结果，比当前最优方法的AUC高出10.9个百分点。此外，红色曲线（ $\text{\_\_\_\_}$）展示了类别不可知性能，即如果任务仅为联合检测行人和助行设备，我们方法的性能还能进一步提升。
当时序信息和里程计信息能够被整合到方法中时，它们显然能带来增益。正如我们在第四节中展示的，DROW就符合这一情况；在针对联合腿部追踪器的初始实验中，我们观察到使用里程计后EER提升了6个百分点。在 [^11]中，Arras等人提到，加入简单运动特征反而会导致性能下降，这说明如何充分利用时序信息并非一件一目了然的事。我们在DROW中提出了一种简单但原理清晰的利用时序信息和里程计的方法，该方法取得了稳定的性能提升，但我们期待该方向能涌现更多相关研究。
更大的训练数据集可以进一步略微提高我们的结果（—）。 在此实验中，我们将训练集和验证集合并，并使用先前在验证集上选择的超参数。 改进的性能表明该模型具有额外的容量，并且表明，如果提供更多数据，可以学习到更好的检测器。
我们可以通过使用更小的0.3米半径进行评估，来检验检测结果的定位精度，对应的曲线如图4中的虚线所示（----）。所有基于腿部追踪的方法在这个更严格的评估方案下，表现都明显更差。对该结果的一个可能解释是，腿部追踪器的卡尔曼滤波引入了额外延迟。$^8$ 与此同时，基于分段分类和DROW的方法几乎不受影响。这说明它们的检测结果定位更精准，这是另一项显著优势。
Hyperopt 导致 DROW 的参数值出现了一些令人惊讶的情况。 考虑到我们方法的超参数都非常易于理解，但最终的一些值与我们最初手动选择的“合理”值有很大差异。 对于 DROW 而言，当使用我们最初的猜测值时，最终的测试性能略好，这表明 hyperopt 可能会过度拟合验证集。 尽管如此，Leigh 跟踪器在 AUC 上获得了约 4 个百分点的提升，为了保持一致，我们报告了 hyperopt 调整后的所有 DROW 曲线的性能。 由于我们联合优化了所有类别曲线的 AUC，因此，尤其是对于人员检测，性能通常会略有下降。 如果只关注人员检测，我们可以轻松地提高 DROW 的人员检测性能，但会以其他类别的性能为代价。 DROW 仍然表现出色，即使使用了一些不太直观的值，这表明它具有鲁棒性，并且可以轻松调整。
多目标跟踪系统通常与检测器一起使用 [^1]，[^2]。 这有助于进行更高层次的
---
分析 [^31] 和推理，尤其是在更长的时间范围内 [^2]。 然而，在 [^27] 中，Linder 和 Breuers 等人指出“检测性能是影响跟踪性能的最重要因素，其影响远远超过所选的跟踪算法”。 这就是为什么开发强大的、多类检测器（如 DROW）对于移动机器人至关重要。
## VIII. 结论
对于在人群中运行的移动机器人平台，检测这些人员（无论他们是否使用辅助设备）是一项至关重要的能力。 这些机器人通常配备 2D 激光扫描仪，以确保安全，因此利用这种技术进行检测非常吸引人。 然而，由于信号的稀疏性，这项任务非常具有挑战性。
我们发布了一个大型的新的人员标注数据集，该数据集是在“真实场景”中记录的，就我们所知，这是目前公开可用的最大的人员检测在 2D 范围数据中的数据集。 我们在数据集上评估了多个最先进的检测器，作为基准，供其他人进行比较。（所有精度-召回曲线都将在线提供。）
我们将 DROW 检测器扩展到检测人员的任务（同时检测轮椅和助行器），从而为该领域引入了一种有趣的、与经典的分段和分类流程不同的方法，并在 AUC 上优于最强的基线 10.3 个百分点。 我们解决了原始 DROW 论文中提出的投票方案的一些缺陷，即检测的离散化以及无法报告有意义的置信度。
受我们作为人类对数据集进行标注的方式的启发 $^{9}$，我们提出了将时间信息集成到 DROW 中的一些初步方法，这在很大程度上提高了性能，尤其是在具有挑战性的人员和辅助设备类别中。 这表明在这一领域进行更多的研究可以获得更好的检测器。
最重要的是，这项工作表明 DROW 是用于 2D 范围数据的唯一强大的、无偏置的多类检测器。
## 鸣谢
作者感谢 S. Beyer 的帮助，他的帮助对于完成这篇论文至关重要，以及感谢 N. Vascevicius 提供的有益讨论。
## 参考文献
[^1]: R. Triebel et al., “SPENCER: A socially aware service robot for passenger guidance and help in busy airports,” in Proc. Field Serv. Robot., 2016, pp. 607–622.
[^2]: N. Hawes et al., “The STRANDS project: Long-term autonomy in everyday environments,” IEEE Robot. Autom. Mag., vol. 24, no. 3, pp. 146–156, Sep. 2017.
[^3]: A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2012, pp. 3354–3361.
[^4]: J. Redmon and A. Farhadi, “YOLO9000: Better, faster, stronger,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 6517–6525.
[^5]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 2999–3007.
[^6]: S. Zhang, R. Benenson, and B. Schiele, "CityPersons: A diverse dataset for pedestrian detection," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 4457–4465.
[^7]: D. Maturana and S. Scherer, “VoxNet: A 3D convolutional neural network for real-time object recognition,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2015, pp. 922–928.
[^9]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 77–85.
[^8]: P. Ondruska, J. Dequaire, D. Z. Wang, and I. Posner, “End-to-end tracking and semantic segmentation using recurrent neural networks,” in Proc. RSS, Workshop Limits Potentials Deep Learn. Robot., 2016.
[^10]: Y. Zhou and O. Tuzel, “VoxelNet: End-to-end learning for point cloud based 3d object detection,” arXiv:1711.06396.
[^11]: K. O. Arras, Ó. M. Mozos, and W. Burgard, “Using boosted features for the detection of people in 2D range data,” in Proc. IEEE Int. Conf. Robot. Autom., 2007, pp. 3402–3407.
[^12]: L. Spinello and R. Siegwart, “Human detection using multimodal and multidimensional features,” in Proc. IEEE Int. Conf. Robot. Autom., 2008, pp. 3264–3269.
[^13]: C. Weinrich, T. Wengefeld, C. Schroeter, and H.-M. Gross, “People detection and distinction of their walking aids in 2D laser range data based on generic distance-invariant features,” in Proc. Int. Symp. Robot Hum. Inter. Commun., 2014, pp. 767–773.
[^14]: C. Pantofaru, “ROS leg_detector package,” 2010. [Online]. Available:
[^15]: A. Leigh, J. Pineau, N. Olmedo, and H. Zhang, “Person tracking and following with 2D laser scanners,” in Proc. IEEE Int. Conf. Robot. Autom., 2015, pp. 726–733.
[^16]: L. Beyer, A. Hermans, and B. Leibe, "DROW: Real-time deep learning based wheelchair detection in 2d range data," IEEE Robot. Autom. Lett., vol. 2, no. 2, pp. 585–592, Apr. 2016.
[^17]: M. Luber, G. D. Tipaldi, and K. O. Arras, "Place-dependent people tracking," Int. J. Robot. Res., vol. 30, no. 3, 2011, pp. 280–293.
[^18]: K. He, X. Zhang, S. Ren, and J. Sun, “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification,” in Proc. IEEE Int. Conf. Comput. Vis., 2015, pp. 1026–1034.
[^19]: S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," in Proc. Int. Conf. Mach. Learn., 2015, pp. 448–456.
[^20]: A. L. Maas, A. Y. Hannun, and A. Y. Ng, "Rectifier nonlinearities improve neural network acoustic models," in Proc. Int. Conf. Mach. Learn., 2013.
[^21]: N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, “Dropout: A simple way to prevent neural networks from overfitting,” J. Mach. Learn. Res., vol. 15, no. 1, pp. 1929–1958, 2014.
[^22]: C. Szegedy et al., “Going deeper with convolutions,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2015, pp. 1–9.
[^23]: K. He, X. Zhang, S. Ren, and J. Sun, “Identity mappings in deep residual networks,” in Proc. Eur. Conf. Comput. Vis., 2016, pp. 630–645.
[^24]: S. Xie, R. Girshick, P. Dollár, Z. Tu, and K. He, “Aggregated residual transformations for deep neural networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 5987–5995.
[^25]: V. Mnih et al., “Playing Atari with deep reinforcement learning,” in Proc. NIPS Deep Learn. Workshop, 2013.
[^26]: C. Feichtenhofer, A. Pinz, and A. Zisserman, “Convolutional two-stream network fusion for video action recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2016, pp. 1933–1941.
[^27]: T. Linder, S. Breuers, B. Leibe, and K. O. Arras, “On multi-modal people tracking from mobile platforms in very crowded and dynamic environments,” in Proc. IEEE Int. Conf. Robot. Autom., 2016, pp. 5512–5519.
[^28]: A. Paszke et al., “Automatic differentiation in PyTorch,” in Proc. NIPS Autodiff Workshop, 2017.
[^29]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in Proc. Int. Conf. Learn. Represent., 2015.
[^30]: J. Bergstra, D. Yamins, and D. D. Cox, “Making a science of model search: hyperparameter optimization in hundreds of dimensions for vision architectures,” in Proc. Int. Conf. Mach. Learn., 2013, pp. 115–123.
[^31]: L. Beyer, A. Hermans, and B. Leibe, “Biternion nets: Continuous head pose regression from discrete training labels,” in Proc. German Conf. Pattern Recognit., 2015, pp. 157–168.