# InLiDa：面向室内环境人体检测与跟踪的三维激光雷达数据集
克里斯蒂娜·罗梅罗-冈萨雷斯、阿尔瓦罗·比利亚纳、丹尼尔·冈萨雷斯-梅迪纳、赫苏斯·马丁内斯-戈麦斯、路易斯·罗德里格斯-鲁伊斯、伊斯梅尔·加西亚-瓦雷亚
西班牙阿尔瓦塞特卡斯蒂利亚-拉曼恰大学计算机系统系，大学校园区，邮编02071
{cristina.rgonzalez, alvaro.villena, daniel.gonzalez, jesus.martinez, luis.rruiz, ismael.garcia}@uclm.es
关键词：室内激光雷达数据集、人体检测、人体跟踪、基准测试。
摘要：对人体检测器与跟踪器进行客观评估，是开发这类问题高性能通用解决方案的核心。依托带标注数据集，这类评估可以便捷开展，但仍有部分传感器与应用场景的组合未得到充分探索。具体而言，大测距三维传感器应用于室内环境人体检测的相关研究目前还十分稀少。为填补这一空白，我们提出了InLiDa数据集，该数据集由在两个不同大型室内环境中采集的六组不同序列构成。本数据集随附一套工具，可支持将其用作人体检测与跟踪方法研究的基准测试。本文还给出了利用当前最先进技术得到的人体检测与跟踪基线结果。
## 1 引言
人体检测与跟踪是计算机视觉和机器人领域的传统问题。在人机交互问题中，环境内人体的位置对机器人确定正确动作至关重要。此外，在连续帧之间跟踪人体位置对识别人类行为模式十分有用，随着数据挖掘应用的兴起，这一作用愈发重要。
近年来，人体检测与跟踪系统在各类应用中得到越来越广泛的使用，这主要源于两点原因。首先，鲁棒高效的相关技术得到发展，使得这类系统能够实时运行，即可以处理更高质量的图像，实现更高帧率。其次，深度传感器的推出也丰富了人体检测器与跟踪器的技术方案。
深度传感器可支持在极端光照条件下开发人体检测器。但基于传感器本身的特性，有一些因素需要纳入考量。一般而言，我们可将深度传感器分为两类：短测距传感器和大测距传感器。大多数短测距传感器仅能在10米以内的距离工作，但通常自带视觉相机，例如微软Kinect和华硕Xtion设备。因此，受限于较小的视场，这类传感器可以在环境的较小范围内很好地结合视觉与深度信息，完成人体检测与跟踪。另一方面，大测距传感器多为三维激光雷达，这类传感器可以扫描广阔区域，特别适用于室外环境，或带有大型走廊和厅堂的宽敞室内建筑。但在大距离下工作时，人体检测器与跟踪器的性能可能会下降，这主要是因为人体在大距离下的感知点较为稀疏（Navarro-Serment等人，2010）。
目前学界已开展大量工作构建了多种数据集，这些数据集的数据要么采集自室内环境的Kinect类传感器，要么采集自室外环境的激光雷达。与之不同，本文提出了InLiDa，即室内激光雷达数据集，用于人员检测与跟踪，该数据集整合了室内环境下由Velodyne VLP-16 Lidar采集得到的数据。本数据集包含多个序列的3D点云，在点层级标注了人员位置。此外，该数据集面向人机交互应用设计，因此包含了移动机器人PeopleBot的感知数据，且机器人的位置也在数据集中完成标注。数据集中存在具有类人特征（形状和速度）与人机交互导向行为的移动智能体，这显著提升了该数据集的任务挑战性。
---
除标注序列外，本数据集还提供了一套实用工具，可用于计算任意人员检测与跟踪方法所得结果的性能指标。本文使用当前最优方案得到了基线结果，这些结果也有助于更好地理解人员检测器与跟踪器各阶段的工作特点。
## 2 相关工作
人员检测是计算机视觉与机器人领域的核心研究方向之一。该问题与室内环境的场景分割和分类相关，目前已有大量研究使用RGB和/或深度图像来解决该问题（Muñoz-Salinas et al., 2007; Spinello and Arras, 2011）。同时，行人检测作为人员检测的特定应用方向，对室外移动机器人至关重要，通常采用RGB相机或激光雷达传感器来实现（Benenson et al., 2015）。学界对这类任务的研究热情催生了多个用于评估不同算法性能的数据集。
到目前为止，受遮挡、姿态变化、实时检测要求等多种因素影响，人员检测仍是一个极具挑战性的问题（Nguyen et al., 2016）。通用检测器可通过PASCAL VOC（Everingham et al., 2010）、RGB-D People（Spinello and Arras, 2011）、MOT2015（Leal-Taixé et al., 2015）等数据集进行评估。但大多数这类评估基准仅提供由短距离传感器采集的2D图像或稠密点云。
除人员检测外，也有不少数据集是为跟踪方法的基准测试提出的。尽管人员检测与跟踪高度相关（Andriluka et al., 2008），但跟踪有其自身的独特性与挑战，例如多假设框架的开发。
在室外环境中，行人检测问题如今在例如避免自动驾驶汽车事故等场景中尤为重要（Geronimo et al., 2010）。因此，已有大量研究同时使用视觉相机和3D激光雷达开展该领域的工作。该领域最具代表性的数据集当属KITTI（Geiger et al., 2013），该数据集是在中型城市周边行驶过程中采集得到的，包含灰度与彩色双目序列、3D Velodyne点云，以及相机标定和定位信息。与之类似，还有许多其他由移动车辆在室外环境中生成的数据集（Smith et al., 2009; Blanco et al., 2014; Pandey et al., 2011）。行人检测器的发展历程及其内部细节可参阅（Dollar et al., 2012）中的综述文章。
尽管如此，仍有部分应用需要在开阔室内环境中完成人员识别。在这类场景下，传统RGB-D传感器的感知范围较小，无法覆盖所有人员，因此必须推广使用大探测范围的3D传感器。我们的数据集正是针对这类人机交互场景设计的：机器人通常部署在室内，需要在大型开放空间中识别出待交互人员，而密集深度相机的视场范围无法满足这一需求。此外，人机交互的应用目标使得机器人的身高和运动速度都与人类相近，由此引入的特殊性会提升本数据集的挑战性。
## 3 数据集描述
InLiDa数据集包含面向人机交互场景人员检测与跟踪任务的室内环境三维激光雷达扫描数据。我们选择用点云对三维图像进行编码，所有点云均采用点云数据格式（PCD_V7）存储。这种格式提升了数据集的可用性：PCD是主流三维处理库点云库（Point Cloud Library，Rusu 和 Cousins，2011）所偏好的格式，此前也已被用于生成多个不同的数据集（Martínez-Gómez 等人，2015）。
Figure 1: Capture process for sequence 4.
为了给研究人员提供一个具有挑战性的基准，本数据集包含六组不同的采集序列，采集地点分别是与全球大多数研究机构布局类似的学术建筑主走廊（见图1），以及一所大学建筑的大厅。采集过程中，我们将Velodyne VLP-16激光雷达固定放置在环境中的某一位置，并记录人员，同时
---
Figure 2: Annotation tool.
Figure 3: Exemplar point cloud with annotated information: people (blue) and robot (green).
他们沿着走廊/大厅移动，或是与同样部署在该环境中的机器人进行交互。机器人的存在会增加遮挡的发生率，而遮挡本就是人机交互过程中非常常见的问题。数据集的六组序列按照难度升序排列如下：
1. 走廊场景：人员沿简单路径行走。
2. 走廊场景：人员沿简单路径行走，场景中存在机器人。
3. 走廊场景：人员沿复杂路径行走，场景中存在机器人。
4. 走廊场景：多组人员以不同速度行走、站立，并与机器人交互。
5. 大厅场景：人员沿简单路径行走、上下楼梯，并就坐。
6. 大厅场景：多组人员以不同速度行走、站立，并与机器人交互。
数据集中的每个点云都标注了三维激光雷达感知到的所有智能体（人员或机器人）的位置。我们开发了一款专用工具，用于在点层级对数据集进行手动标注。图2展示了该工具的截图，图3为数据集某一特定帧的真值标注。序列中每个可见人员都被标注了唯一标识符，因此可以在不同帧之间跟踪同一个体。由于环境中只有一台机器人，我们使用特殊标识符来标记它（ID 为 0）。我们还提供了属于人类或机器人的每组点云的质心和包围立方体信息。人员和机器人在采集过程中走过的路径如图4所示。
除了整套标注点云之外，每个序列还发布了一段时长20秒的子序列点云，其中不存在任何运动体，因此适用于识别静态结构元素。最后，序列的原始数据也以rosbag格式提供。
InLiDa数据集以及若干用于该数据集使用和不同跟踪算法评估的工具可从获取。
### 3.1 序列分析
我们在表1中展示了该数据集的一些基础统计信息。可以观察到，第4、第5和第6个序列的每帧平均人数明显高于其余序列。这是因为这几个序列的环境中大多数时候都存在人群，因此预计这也会提升这些序列的复杂度。
为了探究序列的内部细节，我们在图4中以图形方式展示了序列采集过程中每个运动体的存在（或缺失）情况，从中我们可以观察每个序列中人员的并发情况。
除了人员和机器人存在情况的时间演化之外，我们还在图5中可视化了按照真值标注人数统计得到的帧分布。从图中我们可以再次观察到序列4、5、6与序列1、2、3之间的显著差异。
## 4 预期用途与实验结果
该数据集包含了采集过程中所有可见的不同运动体的位置信息，因此可用于评估不同性质的任务。在此，我们展示了该类数据集两大主要应用方向的相关结果：人员检测与跟踪。
### 4.1 人员检测
一般而言，人员检测的流程与目标检测类似（Nguyen等人，2016）：
---
Sequence 1
Sequence 2
Sequence 3
Sequence 4
Sequence 5
Sequence 6
Figure 4: People and robot paths in the sequences (left). Temporal flow of people and robot (right).
---
Table 1: Overall dataset statistics.
| Sequence | # Images | # People | Robot | Elapsed time (s) | Avg. people per frame | Location |
| 1 | 787 | 5 | No | 82.41 | 1.19 | Corridor |
| 2 | 916 | 4 | Yes | 95.93 | 1.02 | Corridor |
| 3 | 781 | 5 | Yes | 85.97 | 1.09 | Corridor |
| 4 | 600 | 5 | Yes | 62.80 | 3.73 | Corridor |
| 5 | 658 | 5 | No | 68.88 | 2.15 | Hall |
| 6 | 1081 | 7 | Yes | 113.23 | 3.09 | Hall |
Figure 5: Frames distribution based on the number of visible persons.
1. 对图像进行分割，提取感兴趣区域。
2. 使用局部或全局描述子对这些区域进行描述。
3. 将其分类为人员或非人员。
最后，可通过后处理步骤合并不同区域或调整边界框尺寸。在此，我们提出了一个基础的分割与分类流程，以评估本文所提出数据集存在的潜在挑战。
#### 4.1.1 分割
我们提出的分割流程基于四个基本步骤，这四个步骤会应用到任意序列中的每个点云以提取感兴趣区域，具体细节如下：
1. 背景提取：我们采用滤波流程从单帧点云中移除背景，移除背景后剩余的点构成的点云就是我们提取感兴趣区域的来源。
2. 离群点移除：我们从上一步得到的点云出发，检测可能是扫描过程产生的误差甚至噪声的离群点。这些异常点会在清洗步骤中被移除，以提升后续步骤的性能。该步骤将点云拆分为更小的部分，这些部分就是用作下一步输入的感兴趣区域。
3. 地面投影：我们将上一步得到的点云投影到地面上。该过程
4. 欧几里得聚类：最后我们采用一种方法将点云分割为我们想要检测的区域。该方法基于数据聚类方法（Rusu，2009），使用预定义的欧几里得距离来识别属于每个聚类的点。
执行所有这些步骤后的最终结果是一组不同的聚类，这些聚类将用于后续分类阶段。在图6中，我们可以看到对数据集的一帧应用分割过程得到的结果。在该图中，我们可以清晰区分出三个不同的聚类（绿色、蓝色和红色）。
Figure 6: Three clusters result of the segmentation process: people (blue), robot (green) and not people (red).
#### 4.1.2 分类
为了完成分类，我们利用了分割过程（第4.1.1节）得到的聚类以及第3节中描述的真值标注。
为了训练和测试分类器，我们使用了两个全局描述子，分别是从分割过程得到的每个聚类中提取的ESF（Wohlkinger和Vincze，2011）和VFH（Rusu等人，2010）。训练集通过为每个聚类分配类别及其关联特征生成。类别为二分类，包含两个取值：“人”或“非人”。
每个聚类的类别值通过计算该聚类到所有已标注人员的距离确定
---
Figure 7: Category distribution by sequence in the dataset.
在该帧真值标注中的位置。我们采用质心之间的欧几里得距离进行计算，如果该距离低于预定义的最大距离（0.5m），我们就将该聚类标注为“人”类别；否则，将该聚类的类别值设为“非人”。类别分布如图7所示，从图中我们还可以看出序列4与其余序列之间存在显著差异。这种差异与“非人”聚类的数量有关，“非人”聚类来源于传感器的噪声读数（开阔空间中尤其明显），或是人类活动导致的结构元件位移。这些元件（主要是门）发生位移后，会被传感器感知到出现在一组位置，这些位置与背景生成阶段识别出的位置不匹配。这导致它们无法在分割阶段被移除，进而产生额外的“非人”聚类。序列4中“非人”聚类频率较低，可解释为该序列中可开合门的数量很少，且该序列中检测到的所有人员最初都位于环境的主走廊中。分类过程我们使用了三种常用方法：
• 随机森林。
- 支持向量机（SVM），带有线性和指数$\chi^{2}$核函数。
• k近邻（k = 7）。
图8展示了不同分类方法结合两种描述子（ESF和VFH）的分类准确率。我们给出了将序列任意组合作为训练集和测试集的实验结果。基于这些数据，我们指出序列4存在挑战性：当使用同一环境下的其他序列训练时，得到的结果较差。这可能源于它不同的类别分布，如图7所示。对于其余序列，1-3号序列的表现彼此相近，5-6号序列也呈现出类似的特性。此外可以发现，在较小环境中使用较简单的序列（1-3）训练，有助于在对更复杂的序列（5-6）分类时获得更好的泛化效果。关于分类模型，随机森林的表现优于其他所有方法。另外，使用ESF得到的结果略优于使用VFH得到的结果。
### 4.2 跟踪
人体跟踪的任务是建立一个对遮挡、方向和/或速度变化具备鲁棒性的人体运动模型。本文中，我们基于一个利用前序帧中人体速度和轨迹的简单跟踪算法对InLiDa进行评估。对于每一帧，该算法会将所有被分类为"人体"的目标匹配到跟踪目标集合中距离最近的跟踪假设。当匹配目标与跟踪假设的距离低于预定义阈值0.5m时，该匹配判定为有效。如果匹配有效，我们会更新该跟踪目标的速度缓存，添加上一帧以来人体的位移，若缓存溢出容量（ $N_{max}$）则移除最早存储的数值，我们实验中该容量固定为 $N_{max} = 30$。速度（V）通过以下公式更新：
$$ V=\sum_{i=1}^{N}v_{i}\cdot w_{i},\quad w_{i}=\frac{i}{\sum\limits_{j=1}^{N}j}\tag{1} $$
式中，N为缓存的大小（满足 $N \leq N_{\max}$），$v_i$ 是速度缓存中的第i个值，$w_i$ 是该值对应的权重，最终得到速度缓存的加权平均值。在我们的算法中，$v_1$ 是缓存中存储的最早数值，而 $v_N$ 是最新的数值，因此速度越新，对应的权重越高。预测位置由上一帧位置和新预测的速度计算得到。
如果匹配无效，则会以检测到的人体位置和零速度初始化一个新的跟踪假设，加入跟踪目标集合。最后，所有在当前帧没有找到匹配的跟踪目标，其位置会使用上一帧的速度更新。
我们使用MOTA和MOTP指标（Bernardin和Stiefelhagen，2008）对该跟踪算法进行评估，这两个指标常用于多目标跟踪系统的衡量与对比。这些指标分别基于目标位置估计的精度和目标识别的准确率计算得到。为了得到这两个指标，我们为每一帧存储一组跟踪统计量，用于对比真值和跟踪输出。体现算法准确率的MOTA指标值通过以下公式计算：
$$ MOTA=1-\frac{\sum_{t}(m_{t}+fp_{t}+mme_{t})}{\sum_{t}g_{t}} $$
---
Figure 8: Classification accuracy.
Table 2: Multiple object tracking results using Random Forest and ESF descriptors.
| Test 1 | Test 2 | Test 3 | Test 4 | Test 5 | Test 6 |
| Train 1 | MOTA | 96.6% | -65.1% | -18.0% | 48.9% | 69.4% | 47.8% |
| MOTP | 162mm | 137mm | 158mm | 111mm | 158mm | 109mm |
| Train 2 | MOTA | 87.3% | 92.0% | 76.1% | 49.6% | 52.7% | 56.7% |
| MOTP | 156mm | 135mm | 146mm | 120mm | 135mm | 94mm |
| Train 3 | MOTA | 90.4% | 17.0% | 97.1% | 52.1% | 67.7% | 44.8% |
| MOTP | 154mm | 142mm | 179mm | 111mm | 158mm | 111mm |
| Train 4 | MOTA | -79.9% | -810.7% | -117.5% | 92.6% | -112.9% | 22.9% |
| MOTP | 158mm | 136mm | 165mm | 112mm | 160mm | 124mm |
| Train 5 | MOTA | 16.4% | -349.9% | -208.1% | 55.7% | 93.8% | 56.8% |
| MOTP | 157mm | 127mm | 154mm | 109mm | 171mm | 117mm |
| Train 6 | MOTA | -3.3% | -283.3% | -172.3% | 65.5% | 74.0% | 89.6% |
| MOTP | 145mm | 143mm | 157mm | 115mm | 169mm | 119mm |
式中，$m_t$ 是未被检测到的人体数量，$fp_t$ 是被误检测为人体的目标数量，$mme_t$ 是错误匹配的数量，$g_t$ 是第t帧中存在的目标数量。如果跟踪算法的漏检、误检和错误匹配率越低，该指标越接近1；当跟踪结果不准确时，该指标会趋向于负值。
MOTP指标用于计算跟踪器估计环境中人体位置的精度，其计算公式如下：
$$ MOTP=\frac{\sum_{i,t}d_{i,t}}{\sum_{t}c_{t}} $$
其中 $d_{i,t}$ 是时刻t下人员i与其对应检测假设之间的距离，$c_{t}$ 是时刻t下匹配的总数量。
表2展示了使用本文提出的分割与跟踪算法得到的多目标跟踪指标结果。跟踪算法依赖于结合了随机森林与ESF描述子的人员检测器的输出，这一组合在先前实验中被证实是最具潜力的方案。我们可以观察到MOTA结果与图8所示结果存在相关性：当模型使用复杂序列训练、使用简单序列测试时，得到的结果更差；使用场景中存在机器人的简单序列训练模型时，获得了最佳结果。MOTP指标在94mm到179mm之间波动，由于大场景下人员位置估计误差低于0.2m，因此该精度可以认为处于相当不错的水平。
---
## 结论
本文提出了一个面向室内环境人员检测的新型三维激光雷达数据集。我们认为不同场景之间的差异，涵盖了这类场景中可能出现的各类情况与问题。此外，我们通过测试简单算法验证了，这些差异确实会体现在各个序列的分类与跟踪准确率中。
当前数据集已经足够复杂且具有挑战性，可用于测试各类人员检测与跟踪算法。尽管如此，我们计划在不久的将来扩展该数据集，新增不同大型室内场所（不同建筑的走廊与大厅）中的新序列。
## 致谢
本工作得到了FEDER基金与西班牙政府（MICINN）的部分资助，资助项目编号为TIN2013-46638-C3-3-P、TIN2015-65686-C5-3-R和DPI2013-40534-R，同时也得到了西班牙卡斯蒂利亚-拉曼恰自治区（JCCM）教育、文化与体育部通过项目PPII-2014-015-P提供的资助。Cristina Romero-González得到了MECD FPU12/04387资助。
## 参考文献
Andriluka, M., Roth, S., Schiele, B. (2008). 检测式人员跟踪与跟踪式人员检测。收录于2008年IEEE计算机视觉与模式识别会议（CVPR 2008），第1–8页。IEEE。
Benenson, R., Omran, M., Hosang, J., Schiele, B. (2015). 行人检测十年：我们学到了什么，第613–627页。Springer International Publishing, Cham.
Bernardin, K., Stiefelhagen, R. (2008). 多目标跟踪性能评估：CLEAR MOT指标。EURASIP图像与视频处理期刊，2008(1):1–10。
Blanco, J.-L., Moreno, F.-A., González-Jiménez, J. (2014). 马拉加城市数据集：真实城市场景下的高帧率立体视觉与激光雷达数据。国际机器人研究期刊，33(2):207–214。
Dollar, P., Wojek, C., Schiele, B., Perona, P. (2012). 行人检测：现有技术水平评估。IEEE模式分析与机器智能汇刊，34(4):743–761。
Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J., Zisserman, A. (2010). PASCAL视觉对象分类（VOC）挑战赛。国际计算机视觉期刊，88(2):303–338。
Geiger, A., Lenz, P., Stiller, C., Urtasun, R. (2013). 视觉遇见机器人：KITTI数据集。国际机器人研究期刊（IJRR）。
Geronimo, D., Lopez, A. M., Sappa, A. D., Graf, T. (2010). 面向高级驾驶辅助系统的行人检测综述. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(7):1239–1258.
Leal-Taixé, L., Milan, A., Reid, I., Roth, S., Schindler, K. (2015). MOTChallenge 2015：面向多目标跟踪基准. arXiv:1504.01942[cs]. arXiv:1504.01942.
Martínez-Gómez, J., García-Varea, I., Cazorla, M., Morell, V. (2015). Vidrilo：带有物体信息的视觉与深度机器人室内定位数据集. The International Journal of Robotics Research, 34(14):1681–1687.
Muñoz-Salinas, R., Aguirre, E., García-Silvente, M. (2007). 基于立体视觉和色彩的行人检测与跟踪. Image and Vision Computing, 25(6):995–1007.
Navarro-Serment, L. E., Mertz, C., Hebert, M. (2010). 基于三维激光雷达数据的行人检测与跟踪. The International Journal of Robotics Research, 29(12):1516–1528.
Nguyen, D. T., Li, W., Ogunbona, P. O. (2016). 图像与视频中的人体检测研究综述. Pattern Recognition, 51:148–175.
Pandey, G., McBride, J. R., Eustice, R. M. (2011). 福特校园视觉与激光雷达数据集. The International Journal of Robotics Research, 30(13):1543–1552.
Rusu, R. B. (2009). 人类生活环境日常操作的语义三维物体地图. 博士学位论文，德国慕尼黑工业大学计算机系.
Rusu, R. B., Bradski, G., Thibaux, R., Hsu, J. (2010). 基于视点特征直方图的快速三维识别与位姿估计. 收录于2010年IEEE/RSJ智能机器人与系统国际会议（IROS），第2155–2162页. IEEE.
Rusu, R. B., Cousins, S. (2011). 三维已至：点云库（PCL）. 收录于2011年IEEE机器人与自动化国际会议（ICRA），第1–4页.
Smith, M., Baldwin, I., Churchill, W., Paul, R., Newman, P. (2009). 新学院视觉与激光数据集. The International Journal of Robotics Research, 28(5):595–599.
Spinello, L., Arras, K. O. (2011). RGB-D数据中的行人检测. 收录于2011年IEEE/RSJ智能机器人与系统国际会议，第3838–3843页. IEEE.
Wohlkinger, W., Vincze, M. (2011). 用于三维物体分类的形状函数集成方法. 收录于2011年IEEE机器人与仿生学国际会议（ROBIO），第2987–2992页. IEEE.