# 在大型公共空间中使用 3D 测距传感器进行人员跟踪
Dražen Bršić, 成员, IEEE, Takayuki Kanda, 成员, IEEE, Tetsushi Ikeda, 和 Takahiro Miyashita
摘要：本文提出了一种在大型公共环境中跟踪人员位置、方向和高度的方法。 众所周知，这些信息对于理解他们的行为以及诸如人机交互之类的应用都非常有用。 我们使用多个 3D 测距传感器，这些传感器安装在高于人体高度的位置，以减少人员之间的遮挡。 提出了一种计算上简单的跟踪方法，该方法适用于单个传感器的数据，并通过组合多个传感器，以便使用最少数量的传感器覆盖大面积区域。 此外，它可以与不同类型的传感器配合使用，并且对不完美的传感器测量具有鲁棒性；因此，可以结合当前可用的 3D 测距传感器解决方案，以实现对广阔公共空间的跟踪。 该方法已在购物中心环境中实现，结果表明可以实现良好的跟踪性能。
关键词：3D 测距传感器，人员跟踪。
## I. 简介
观察和理解人们在公共环境中的行为具有极高的价值。 关于人员的位置和身体方向的信息可用于估计他们的注意力、意图，以及提取有关其行为和社会联系的知识。 例如，在博物馆中，我们可以了解人们对哪些展品更感兴趣，或者在购物中心，我们可以区分人们是只是浏览还是只是路过。 这些信息对于设计和调整面向该空间人员的各种服务非常有用。
此外，我们认为，未来机器人将逐渐融入我们的日常环境中，一个可以检测和跟踪公共空间中所有人员的系统对于人机交互非常有利。 机器人可以直接利用跟踪结果，也可以使用对长期收集的数据进行分析，以设计和改进服务。
在本文中，我们考虑使用分布在环境中的多个
Fig. 1. Illustration of person tracking in public spaces using multiple 3-D range sensors.
固定传感器来估计在广阔公共空间中的人员的位置和身体方向。 我们有兴趣采用非穿戴式解决方案，人员无需佩戴标记或携带特殊设备，因为我们希望观察该空间中所有人员的自由运动。 我们的目标是实现一种在现实的广阔公共环境中可靠且自主地长期工作的实用人员跟踪方法。 尽管存在用于在狭小空间中进行精确人体姿态估计的解决方案，但只有少数系统能够实现对人员在较大区域的在线长期跟踪。 存在使用相机或激光测距仪的跟踪解决方案，但这些解决方案也存在应用于大型公共空间的缺点。
我们的 proposed setup 由多个安装在天花板上的三维 (3D) 测距传感器组成，这些传感器以距离形式提供环境中的物体到传感器的测量值；参见图 1。 我们专注于跟踪在博物馆、购物中心或画廊等空间中的人员，我们预计人员主要以站立或行走姿势出现。 我们还假设在这些空间中，天花板足够高，可以很好地覆盖由安装在天花板上的传感器。
为了使跟踪系统可用，其要求是具有良好的跟踪精度，能够在大多数人和在覆盖区域内不同数量的人群中可靠且稳健地工作，并且能够扩展到大面积区域和大量传感器。 本研究的目标测试环境是购物中心，我们认为这代表了公共场所中人员跟踪的主要挑战。
本文的组织结构如下。 在下一节中，我们简要概述了相关工作。 第 III 节介绍了所提出的跟踪方法的详细信息。 之后，对跟踪结果进行评估，分为两个不同的设置：在第 IV 节中，是在封闭的实验室环境中进行的评估；在第 V 节中，是在大型购物中心的公共场所进行的评估。
---
### II. 相关工作
关于人员跟踪的研究，特别是使用标准 RGB 摄像头进行的研究，具有悠久的历史，现有的文献非常广泛。 使用摄像头图像进行人员检测和跟踪的研究已有综述，例如 [^1] [^2] [^3]。 最近的研究展示了一些令人印象深刻的跟踪结果，甚至在非常拥挤的场景中，例如 [^4] [^5] [^6]。 此外，还存在一些计算机视觉方法，这些方法解决了跟踪位置和身体方向估计的问题，例如 [^7] 或 [^8]。
然而，在类似本研究环境中使用的较大公共场所中，使用摄像头的跟踪应用仍然很少，而且通常也仅限于单摄像头视角、相对简单和静态的背景，或者没有讨论在光照变化情况下长期使用该方法。 获得一个在公共场所中进行连续跟踪的强大且完全自主的基于摄像头的解决方案似乎仍然是一个难题。 此外，尽管与跟踪性能无关，但隐私问题也常常会成为在公共区域引入此类系统的障碍。
激光测距仪使用激光束扫描区域，已成功应用于在较大公共场所中进行人员位置跟踪 [^9] [^10] [^11] [^12]。 尽管这些解决方案在实践中效果很好，但通常仅限于估计人员的位置。 在 [^11] 中，提出了一种扩展到身体角度估计的方法，但它对人员视线遮挡很敏感；因此，它只能在人员数量较少时才能可靠地工作。 在传感器视场中，人员互相遮挡的问题通常是一个严重的问题，因为它会导致估计误差增加，因为人员可能被部分遮挡或完全消失在传感器视场中。
另一方面，由于此类传感器的可用性增加，3D 范围传感器的研究受到越来越多的关注。一些近期研究将 3D 范围传感器应用于人员检测和跟踪 [^13] [^14] [^15] [^16] [^17]。在 [^13] 和 [^14] 中，讨论了在复杂户外场景中检测行人的问题，并将跟踪应用于检测结果。在 [^15] 中，作者提出了在 3D 范围数据中显式考虑人员可能暂时被遮挡的方法。与本研究中提出的方法类似，[^18] 建议使用头部和肩部区域来检测 3D 范围数据中的人体。在 [^19] 中描述了使用 3D 范围传感器来估计人体姿态的示例。这些研究都使用水平视野的传感器，因此，类似于激光测距仪，它们容易受到主体之间的遮挡。在 [^16] (直接向下) 和 [^17] (倾斜) 中，提出了使用顶置安装，但它们仅限于单个传感器，并且没有尝试从范围数据中检测身体角度。
从长期在真实环境中的应用角度来看，与 RGB 数据相比，范围数据具有重要优势，即照明变化的影响较小，通常可以忽略不计。另一个问题是背景变化，这些变化可以通过排除跟踪区域之外的所有数据来轻松地从范围数据中过滤掉，但可能会影响计算机视觉算法。另一方面，与识别人员或区分人员和其他物体相比，范围数据通常不如 RGB 数据提供的信息。
一些研究也提出了结合不同传感模式，例如相机和激光测距仪 [^20]，[^21]，或者使用 RGB-D 相机，该相机结合了 3D 范围和相机测量 [^22]，[^23]。然而，从实际应用的角度来看，结合多种传感器类型会使系统更加复杂，尤其是对于大面积跟踪。另一方面，目前市面上可用的紧凑型 RGB-D 相机，例如 Microsoft Kinect，在应用于公共场所时仍然存在一些缺陷（见第 III-B 节的讨论）。
因此，在本研究中，我们选择了目前市场上可以找到的 3D 范围传感器。我们提出一种简单而稳健的估计技术，该技术集成了来自多个传感器的输出，以实现大范围覆盖。
### III. 跟踪方法
### A. 传感器布置
如图 1 所示，所考虑的系统由多个安装在高于人体高度的传感器组成。根据我们使用激光测距仪在公共场所进行跟踪的个人经验 [^11]，我们发现使用顶置安装的优点是双重的：1) 它可以提供所有人员的良好视野，并最大限度地减少由于周围物体或其他人员造成的遮挡，这对于人员密度高的场景尤其重要；2) 将传感器安装在顶端对于它们在公共场所中的无缝集成至关重要，否则它们可能会成为障碍，并影响空间中人员的行为。
传感器可以安装成直接朝下或成一定角度（我们称之为观察角度，其中直接朝下对应于 $0^{\circ}$）。更大的观察角度可以使用一个传感器覆盖更广的范围，但它也增加了遮挡和不完整视图的可能性，因此传感器放置需要在这些相互冲突的因素之间进行权衡。
### B. 传感器选择
传感器选择和跟踪方法都与所使用的三维范围传感器特性密切相关。目前市场上三种典型的三维范围传感器是结构光相机、飞行时间（TOF）相机和多层激光扫描仪。
1）结构光相机：这类传感器基于相机对投射光图案的观测来测量距离。从开阔公共空间的安装角度来看，这类传感器的有效测距相对较小：仍能获得正确、稳定测量结果的最大测距约为5米。测量精度高、噪声低，近距离测量时尤为突出。但这类传感器受外界光线的影响很大，且传感器之间存在干扰，会导致测量缺失。测量缺失的数量随距离增加而上升，针对黑发这类深色物体时问题更为明显。这类产品当前的市场
---
1) 结构光相机：这种传感器通过测量相机对投影光图案的视图来测量距离。从在公共场所安装的角度来看，这些传感器的有效测量范围相对较小：在可以获得正确且稳定测量值的最大距离约为 5 米。对于近距离，测量精度高且噪声低。但是，它们容易受到外部光线的影响，并且传感器之间会产生干扰，这可能导致测量缺失。随着距离的增加，缺失测量的数量会增加，尤其对于深色物体，如深色头发。此类传感器的当前市场价格非常实惠。在本研究中，我们使用 Microsoft Kinect $^{1}$ 和 Asus Xtion PRO $^{2}$ 型号。 (Kinect 实际上是一种 RGB-D 相机，即它既提供距离测量值，又提供 RGB 相机图像，但在本研究中，我们仅使用其距离感应功能。)
2) 飞行时间相机：飞行时间相机通过测量投影光到达物体所需的时间来确定距离（这里，我们考虑使用 LED 作为光源的飞行时间相机）。它们的有效范围与结构光相机的范围相似，但通常测量噪声更大，并且噪声水平随着距离的增加而增加。此外，传感器之间也会产生干扰，这可能导致距离测量不稳定。但是，对于某些市售的飞行时间相机，外部光线的影响较小。价格在适中偏低，通常比可用的结构光相机贵几倍。此处使用的传感器是松下 D-IMager EKL3105。 $^{3}$
3) 多层激光扫描仪：这些传感器使用多个激光扫描单元协同旋转，以获得三维范围测量值。 这些传感器的最大测量距离远大于上述类型。 它们也具有很高的精度，噪声水平低，并且几乎不受外部光线或其他传感器的影响。 它们的 主要缺点是垂直方向的测量分辨率较低，由传感单元的数量决定，这限制了它们可用于跟踪的范围。 传感器的成本远高于上述两种类型。 在实施中，我们使用了 Velodyne HDL-32E。 $^{4}$
由于所有类型都有优点和缺点，因此选择哪种传感器取决于要进行跟踪的环境。在某些情况下，可能需要结合多种类型，例如在我们目标环境中（如第五部分所述）。
存在其他类型的传感器可以提供三维范围测量，例如立体相机或闪光激光雷达（通过使用激光脉冲基于飞行时间原理测量距离）。但是，对于前者，可以实现准确测量的范围通常比较有限，而对于后者，目前市售解决方案的成本对于此应用来说仍然过高。
### C. 方法概述
在所考虑的设置中，主要问题是需要处理的大量传感器以及可用传感器的限制。因此，我们对跟踪方法提出了以下关键要求：1）对测量误差具有鲁棒性；以及 2）适用于单传感器部分视图。
由于所提出的悬挂式安装，人员可能离传感器相当远，这意味着它们将在使用范围较广的区域中使用传感器，这会放大其弱点。如在第 III 节 B 处所述，根据所使用的传感器类型，使用三维范围传感器时，主要问题可能是噪声水平高、测量分辨率低、受外部光线的影响以及与其他传感器的干扰。因此，跟踪方法需要对噪声和缺失或稀疏的测量具有鲁棒性。它还必须可靠地适用于各种人员，无论其特征（如发型或服装）如何。
第二个要求是，它应该能够使用来自单个传感器的数据，从而仅提供人员的部分视图。原因有两个：更大的覆盖范围和单独的处理。使用单个传感器覆盖优于多传感器全景的主要优点是，可以使用相同数量的传感器覆盖更大的空间，因此更具成本效益。但是，更重要的是，如果希望避免某些三维范围传感器类型的传感器之间的相互干扰，则这种布置是必不可少的，如前所述。我们以一种使传感器覆盖不同的区域，并具有一定的重叠区域，以便在区域之间实现平滑的跟踪转换的方式来布置传感器。
最后，我们选择单独处理来自每个传感器的数据，然后组合处理后的数据。这种划分使得可以将处理任务分发到多台计算机上，从而使该方法更适合在大型环境中扩展。可以对来自多个传感器视图的原始范围测量值进行组合，但这也会使处理更加相互依赖，因此可扩展性较差。
考虑到以上要求，我们提出了一种由两个独立步骤组成的方法：1）从范围数据估计人员的位置、高度和身体方向，这对于每个传感器都是独立完成的；2）使用贝叶斯滤波融合来自所有传感器的估计结果。在第一步中，我们使用一种启发式技术，该技术旨在对不完美的测量数据和不同的人体形状都具有鲁棒性。在第二步中，融合来自所有传感器的估计结果。
图 2 显示了所提出的方法的整个处理流程。单传感器估计的详细信息在第 III 节 E 中给出，而使用多个传感器的跟踪在第 III 节 F 中描述。
### D. 传感器校准
为了能够同时使用多个传感器，它们需要在事先进行校准，即，需要在同一坐标系中确定它们的3D姿态。这对于跟踪系统的正确运行至关重要。在第四节的实验室内环境中，对于每个传感器，我们使用了一种基于标记的校准程序——这些标记是安装在杆子上的平面，并将它们放置在传感器的视野范围内。由于可以轻松地从测距数据中提取出标记在传感器坐标系中的位置，并且通过将标记放置在预先确定的已知位置，并利用已知的杆子高度，可以轻松计算出所有六个传感器姿态参数（三个用于位置，三个用于角度）。
---
Fig. 2. Pipeline of the tracking method.
然而，在购物中心环境中（参见第五节），由于前面讨论的测量缺陷，该方法不适用，因为无法精确检测到标记，而且测量环境中的精确标记位置也很困难。因此，我们依赖于手动校准传感器，该方法包括目视检查3D数据。我们使用一个两步程序：1）调整高度、观察角度和传感器倾斜度，使地面变得平坦，并且在整个跟踪区域内，人的高度相同；2）通过比较和匹配相邻传感器的测量结果，以及参考环境的平面图，设置其他三个参数。这是一项相当繁琐的任务，但只需执行一次。显然，这种手动程序会引入额外的校准误差，从而影响跟踪器的精度。
### E. 从单传感器数据估计位置和方向
1) 人员提取：背景消除和聚类：三维范围传感器以数组的形式返回测量值，其中每个值（像素）对应于传感器到物体的距离。 首先，对于噪声范围数据，过滤掉异常点以防止其对估计产生影响是有益的。 这可以通过检查到相邻像素的范围差异来实现，并丢弃差异过大的像素。
接下来，我们提取属于每个观察对象的测量数据。首先，由于传感器位于固定位置，因此很容易通过背景消除法将属于移动物体（即人员）的点与其他扫描点区分开。 "背景"测量值的统计数据（即没有移动物体时的测量值）是预先学习的，并随后不断更新以处理背景变化。对于每个像素，计算平均距离值和标准偏差。将新测量值与背景进行比较，对于距离差大于五个标准偏差的像素，将提取这些像素。
提取的点被转换为三维点 [(x, y, z)，其中 z 是高度]，然后进行聚类，以便将属于不同的人的点分开。聚类是逐点进行的，从最高点开始（即 z 值递减），利用了通常情况下，在较高层，由于头部位置，不同的人之间的分离更好。一个点被分配到包含最近点的现有簇中（基于三维欧几里得距离）。如果到最近点的距离大于阈值（在实现中设置为 0.3 米），则创建一个仅包含所检查点的新的簇。此过程重复进行，直到所有点都被处理完毕。之后，我们还会合并非常靠近的簇，并删除包含非常少点的簇。为了防止合并站得非常近或经过附近的人的簇，我们检查生成的簇的形状，通过计算簇点在 (x, y) 平面上的分散度。如果获得的点的标准偏差大于阈值（经验值设置为 250 毫米），则不合并这些簇。我们发现这成功地将人们分成不同的簇，但存在一些困难的情况，例如孩子非常靠近父母或被抱在怀里。
```text
2) 头部和肩部区域的提取：从每个簇中，提取属于头部顶部和肩部的点。使用这些区域的原因是，由于传感器在上方安装，它们通常总能看到，至少部分可见。此外，可以预期，与身体的其他部位相比，特定发型、面部几何形状或服装对形状的影响通常较小。
```
我们使用的提取过程基于将簇中的点垂直划分为层，其中最顶层从簇中的最高点开始。在实验中，我们使用了固定高度的层（10 厘米）。在大多数情况下，当人站直，双手向下时，最顶层将对应于头部顶部的区域。但是，为了使决策更加稳健，尤其是在头部上方存在噪声点的情况下，我们还会检查层中的点数。查看前两层，我们选择点数最多的层作为头部顶部的层。假设是，包含更多点的层包含向上指向的表面，即头部顶部。
```text
然后，将肩部层定义为距离头部顶层预期的 2-4 层范围内的层，该层具有最多的点，对应于肩膀向上的表面。最后，舍弃肩部层中靠近头部（到头部中心的距离 $(x,y)$ 很小；头部中心计算方法如后所述）的点，以避免包含来自下巴或头发的点，因为这些点可能会影响后续计算。
提取头部顶部和肩部区域的更直接方法是，例如，使用法线来查找平坦表面。但是，我们发现很难从我们应用程序中获得的嘈杂且不完整的测量值中获得稳定的法线计算。此处呈现的简化的层提取方法通常产生更一致的结果。
```
---
Fig. 3. Example 3-D scans of a person with extracted head layer and shoulder layer: (a) small observation angle, human facing toward the sensor and (b) larger observation angle, person facing sideways (top-down and side views are shown).
Fig. 4. Estimation of position, body, and head angle: (a) shoulders are not occluded and (b) correction of shoulder line in case of occlusion. See text for details.
在我们的测试中，此方法在几乎所有情况下都能可靠地提取头部和肩部区域。最明显的困难发生在当人们举起手臂时，但这种情况很少。
```text
图 3 显示了提取的包含人物上躯干和头部的一些典型形状，提取的头部和肩部区域已突出显示。如该图所示，与面部等其他身体部位相比，对于这些姿势，头部和肩部区域的可见性更清晰。右侧的姿势说明了当传感器观察角度较大时，常见的几个问题：1）自遮挡：肩膀之一可能被头部遮挡；2）部分可见：通常不是所有点都可见，尤其是对于较大的观察角度——注意在图中，只有大约一半的头部区域的点是可见的。接下来介绍的估计方法的设计考虑到了这些问题。
3) 人体位置、高度和身体方向估计：我们定义人体的位置、高度和身体方向如下；参见图 4(a)：
1) 人的位置 $(x, y)$ 和高度 z 由头部顶部区域的中心位置给出；
2) 身体方向 $\theta_{b}$ 是与连接肩膀的线垂直的向量的角度，并朝向人的前方；
头部的三维位置被计算为属于头顶层的点$(x^{H}, y^{H}, z^{H})$的平均位置，并以此作为人员位置和身高的估计值：
$$ \left(\hat{x},\hat{y}\right)=\left(\mu_{x}^{H},\mu_{y}^{H}\right)=\left(\frac{1}{N_{H}}\sum_{i=1}^{N_{H}}x_{i}^{H},\frac{1}{N_{H}}\sum_{i=1}^{N_{H}}y_{i}^{H}\right) $$
$$ \hat{\boldsymbol{z}}=\boldsymbol{\mu}_{z}^{H}=\frac{1}{N_{H}}\sum_{i=1}^{N_{H}}z_{i}^{H} $$
其中 $N_{H}$ 是头部层中的点数。
显然，此计算会略微低估人的身高，但与使用层中最高点的方法相比，它在噪声和异常值方面更稳定。
肩部层的点 $(x^S, y^S, z^S)$ 用于计算身体角度。这通过对肩部层点在地面投影上的主成分分析 (PCA) 来完成（即，仅使用 $(x, y)$ 值）。当肩膀清晰可见时，第一个主成分对应于点最大扩展的线——连接左右肩膀的肩线。垂直于肩线的线（即，第二个主成分）定义了身体方向的线。要确定实际的身体角度，我们仍然需要区分人的后部和前部。为此，我们利用了一个事实，该事实也在我们的测试中得到证实，即对于大多数人来说，在典型姿势下，头部的中心会相对于肩线向前方移动（换句话说，头部中心估计值 $(\hat{x}, \hat{y})$ 在第二个 PC 上的投影是正数）。
$$ \begin{array}{r}{\hat{\theta}_{b}=\left\{\begin{array}{l l}{\angle(\nu_{2}^{S}),}&{\mathrm{~i f~}\left[\hat{x}-\mu_{x}^{S},\hat{y}-\mu_{y}^{S}\right]\cdot\nu_{2}^{S}\geq0}\\ {\angle(-\nu_{2}^{S}),}&{\mathrm{~o t h e r w i s e}}\end{array}\right.}\end{array} $$
其中 $\nu_2^S$ 表示第二个主成分向量，而 $(\mu_x^S, \mu_y^S)$ 是肩部区域中点的平均位置。
4) 一只肩膀被遮挡的情况：当一个人侧身面对传感器时，通常肩膀之一会被遮挡（参见图 3），在这种情况下，基于肩部区域点的 PCA 计算身体角度通常会给出有偏差的结果。在这些情况下，我们使用一种近似的校正程序；参见图 4(b)。
首先，我们检查是否发生了遮挡。在计算主成分分析 (PCA) 并定义身体正面后，我们将肩点划分为左肩区域和右肩区域。以第二主成分方向对齐并通过头部中心的身体方向线，用作区域之间的边界。接下来，计算左肩和右肩的位置，为左肩区域和右肩区域中点的平均值。然后，我们使用两个标准来检查是否发生了肩膀遮挡，即：1) 左肩区域和右肩区域中点的数量之比，这对于检测肩膀的局部遮挡很有用；以及 (2) 肩膀相对于头部的位置，这可以指示完全遮挡。
---
（1）其中一个肩膀被遮挡；以及（2）肩膀相对于头部中心的相对位置，这可以指示完全遮挡。
如果检测到以上两种情况中的任何一种，我们将使用近似值来估计身体角度。它包括首先计算“头部后点”，该点定义为头部顶部区域中最靠后的 1/4 个点的平均值（参见图 4），其中“后”是相对于获得的 PCA 身体角度估计的。数学上，头部后点位置的计算（$x_{HB}$，$y_{HB}$）可以表示为
$$ \begin{align*}\left(x_{\mathrm{HB}},y_{\mathrm{HB}}\right)&=\left(\frac{1}{N_{H}}\sum_{j}x_{j}^{H},\frac{1}{N_{H}}\sum_{j}y_{j}^{H}\right)\\ s.t.j\in\left[1,N_{H}\right]:&\left[x_{j}^{H}-\mu_{x}^{S},y_{j}^{H}-\mu_{y}^{S}\right]\cdot\nu_{2}^{S}TABLE I USED TRACKING PARAMETERS
| Prediction parameters | |
| Parameter | Value | |
| $\sigma_v^p$ | 0.2 $m/s^2$ | |
| $\sigma_m^p$ | 0.2 rad | |
| $\sigma_b^p$ | 0.2 rad | |
| Likelihood parameters | |
| Parameter | Value | Parameter | Value |
| $\sigma_{xy}^l$ | 0.1 m | $w_{bm1}$ | 0.2 |
| $w_{b1}$ | 1 | $w_{bm2}$ | 0.8 |
| $w_{b2}$ | 0.2 | $\sigma_{bm}^l$ | 0.5 rad |
| $\sigma_{b1}^l$ | 0.5 rad | | |
| $\sigma_{b2}^l$ | 0.35 rad | | |
为了为粒子 m 赋予权重，我们定义了来自传感器 s 的估计的似然值 $p\left(\mathbf{z}_{s}|m\right)$，它是由两个独立的似然模型组合而成的：
$$ p\left(\mathbf{z}_{s}|m\right)=p_{x y}\left(\mathbf{z}_{s}|m\right)p_{b}\left(\mathbf{z}_{s}|m\right). $$
位置的似然值使用高斯函数定义 $p_{xy}\left(\mathbf{z}_s|m\right) \sim \mathcal{N}\left(d_{xy}, \sigma_{xy}^l\right)$，其中 $d_{xy}$ 是估计的头部位置和预测的头部位置之间的欧几里得距离 $d_{xy} = \sqrt{\left[(\hat{x} - x')^2 + (\hat{y} - y')^2\right]}$，$\sigma_{xy}^l$ 是方差参数（上标 l 表示“似然值”）。
如 Section III-E3 中所述，我们通过观察头部相对于肩部的位置来确定人体的朝向。对于某些人来说，例如，由于发型的影响，这个假设可能不正确，在这种情况下，估计的身体角度将与实际角度相反。为了考虑到这种可能性，身体角度的似然值 $p_{b}$ 被建模为两个高斯函数的加权和，一个以估计的身体角度为中心，另一个以相反方向为中心：
$$ p_{b}(\mathbf{z}_{s}|m)\sim w_{b1}\mathcal{N}\left(d_{b},\sigma_{b1}^{l}\right)+w_{b2}\mathcal{N}\left(\left|\pi-d_{b}\right|,\sigma_{b2}^{l}\right) $$
其中 $d_b = |\hat{\theta}_b - \theta'_b|$ 是提取的身体角度和预测的身体角度之间的绝对差值（归一化为 $[-\pi, \pi]$），$w_{b1}$ 和 $w_{b2}$ 是权重，$\sigma_{b1}^l$、$\sigma_{b1}^l$ 是相应的方差参数。
当头部或肩膀的位置接近传感器视野的边缘时，我们认为相应的估计不可靠，并将相关的似然值设置为 1。
对于来自每个传感器的估计，计算似然值 (5) 并将其相乘以获得最终的粒子权重。
$$ \omega_{m}=\prod_{s}p(\mathbf{z}_{s}|m)\cdot p_{b m}(m). $$
(7) 中的最后一个项 $p_{bm}(m)$ 稍微偏向于对齐的身体和运动角度。这用于反映人类最有可能朝某个方向行走的事实。添加此项的好处是，虽然当人的速度较低时，运动角度的估计不可靠，但它可以使其与最可能的行进方向保持一致。另一方面，当人行走时，这有助于过滤掉身体角度估计中的误差。这
---
被定义为高斯函数和常数因子的加权和：
$$ p_{b m}\sim w_{b m1}\mathcal{N}\left(d_{b m},\sigma_{b m}^{l}\right)+w_{b m2} $$
其中权重为 $w_{bm1}$、$w_{bm2}$，方差参数为 $\sigma_{bm}^{l}$，其中 $d_{bm} = |\theta_{b}^{\prime} - \theta_{m}^{\prime}|$ 是预测的身体角度和运动角度之间的绝对差值。
也可以在粒子滤波器似然计算和预测计算中包含高度。但是，这将增加所需的粒子数量，而我们希望保持粒子数量较小，以降低计算成本。相反，每个粒子的高度估计是通过加权和获得的，其权重是当前值 $z_{old}$ 和来自传感器的估计值，权重使用似然值 (5)。
$$ z=(1-p(\mathbf{z}_{s}|m))z_{\mathrm{o l d}}+p(\mathbf{z}_{s}|m)\hat{z}_{s}. $$
这对于所有可见于传感器的传感器 s 都会重复。
跟踪结果在每个步骤中计算为粒子状态的加权平均。然后，使用系统重采样算法 [^24] 对粒子进行重采样。
实验环境中使用的参数列表见表 I。这些值是针对特定配置经验性选择的。参数的小变化对性能影响不大。但是，对于不同的配置或传感器类型，可能需要重新调整。例如，在购物中心实施中（参见第 V 节），我们更改了以下参数，以应对更大的测量噪声：$\sigma_{xy}^{l}=0.2$、$\sigma_{b1}^{l}=0.7$ 和 $\sigma_{b2}^{l}=0.5$。
在跟踪过程中，如果某个未分配给任何粒子滤波器的簇连续出现多次，则将其识别为新的人员，并为其分配一个 ID 以及一个新的粒子滤波器。等待开始跟踪的步数取决于具体情况。例如，在第 IV 节中，由于测量稳定，因此该步数设置为 5；而在第 V 节中的公共空间实施中，由于需要减少 ToF 相机之间的干扰，该步数增加到 10。
对于人员删除，我们观察粒子滤波器中粒子的扩散程度。当未找到任何靠近跟踪人员的簇时，会导致粒子扩散，当扩散程度变得很大（位置的标准差大于 500 毫米）时，将删除相应的跟踪人员。此外，我们还使用一种简单的重新分配机制：如果新的人员出现在最近已删除的人员附近，则将其识别为同一人员。这可以实现对人员的长期连续跟踪（即，不会丢失人员的 ID），因为人员删除通常是由人员暂时离开跟踪区域、人群中的遮挡或测量不确定性引起的。这在购物中心的配置中尤其明显（连续性评估结果见 V-B），而在第 IV 节中的房间配置中，我们通常没有跟踪连续性问题。
对于每个跟踪的人员，使用 KLD 采样 [^25] 估算所需的粒子数量，最小粒子数为 50 个。最大滤波器更新速率固定为 30 Hz。当存在许多传感器和跟踪的人员时，如在第 V 节中的配置，由于计算负载过大，更新速率可能会降低。在这种情况下，会适当地调整滤波器参数。
Fig. 5. Experimental room environment.
计算负载过大，更新速率可能会降低。在这种情况下，会适当地调整滤波器参数。
### G. 关于跟踪方法的说明
这里介绍的检测和跟踪技术可能看起来过于简化。但是，它们是在一个基本要求下选择和测试的：它们必须在目标实际环境中可靠工作，而当前可用的 3D 范围传感器获得的测量数据远非完美，存在噪声、缺失数据和分辨率有限等问题。我们尝试了许多其他更复杂的方法，例如提取和跟踪特定面部特征（如鼻子或下巴）、匹配简化的身体模型或使用不同的 3D 特征描述符。虽然在实验室测试中，许多方法都取得了令人满意的结果，但事实证明它们对测量不完美过于敏感，因此无法在购物中心中使用。此外，大多数方法比所提出的方法计算成本更高。
显然，使用所提出的简化模型的一个缺点是，它没有提供一种区分人员和其他环境对象的方法。这将在评估结果中进一步讨论。
关于计算复杂度，对于特征提取而言，最耗时的部分是点云聚类算法。由于在一种简单的实现方式中，该算法需要检查每个提取的点与所有已分配点的距离，因此复杂度随着提取点的数量的平方而增长。我们使用了一些启发式方法，例如在找到非常靠近的点时停止搜索，以提高速度。由于跟踪的复杂度与粒子的总数成正比，因此特征提取和跟踪计算的复杂度都会随着跟踪人数的增加而增加。
### IV. 实验室内环境评估
我们首先在一个较小的室内环境中验证该方法，如图 5 所示。在本节中，我们希望：1）通过使用精确的运动
---
(a)
(b)
(c)
(d)
Fig. 6. Sample tracking result—comparison of proposed tracking method (indicated by the dashed line) with Vicon motion capture system output (indicated by the solid line): (a) x position, (b) y position, (c) height, and (d) body angle.
捕获系统，评估不同人群密度下的跟踪性能；2）将性能与基于激光测距仪的系统进行比较；3）展示该方法可以成功地应用于这种类型的环境，并且可以可靠地跟踪不同的人。
我们设置了多个安装在天花板上的 Kinect 相机，覆盖整个房间；如图 5 所示。这些传感器的高度为 2.57 米，观察角度约为 $53^{\circ}$。在同一空间中安装了一个 Vicon 运动捕获系统 $^{5}$，我们使用头部和肩部的标记以获得位置、身体方向和高度的地面真实值。
由于运动捕获系统的覆盖范围有限，因此评估是在房间中间进行的，即在一个面积约为 $8\ m^2$ ( $3.5 \times 2.3$ 米) 的区域内。对于跟踪，我们仅使用 5 个 Kinect 传感器，这些传感器完全覆盖该区域。为了与不同类型的跟踪系统进行比较，我们还在跟踪区域的两个对角处分别安装了两个激光测距仪，并使用来自 [^11] 的系统独立地跟踪人员。
为了确保参与者以自然的方式行为，我们设置了环境，使其类似于摄影展览（参见图 5）。参与者被要求在空间中移动并查看照片。总共有 16 名参与者参加了实验。我们测试了在三种不同条件下的跟踪效果，即 2、4 或 8 名参与者同时进行实验（人群密度分别为 0.25、0.5 和 1 人/米 $^{2}$）。对于每种条件，我们进行了多次试验，不同参与者分别进行。
图 6 显示了 3D 范围传感器系统对其中一位参与者的跟踪结果。如图所示，估计值与运动捕获系统的输出密切相关。结果很平滑，没有注意到传感器之间的明显问题。（有关跟踪的视频，请参阅补充材料。）
TABLE II
ROOM SETUP EVALUATION OF THE TRACKING WITH LASER RANGE FINDERS AND 3-D RANGE SENSORS
| Number of persons in area: | 2 | 4 | 8 |
| LRF | MOTP [mm] | 95.17 | 116.79 | 124.79 |
| MOTA [%] | 99.83 | 99.55 | 97.76 |
| - miss [%] | 0.12 | 0.26 | 0.80 |
| - false pos. [%] | 0.05 | 0.19 | 1.39 |
| - ID changes | 0 | 0 | 29 |
| 3D | MOTP [mm] | 74.48 | 82.50 | 73.60 |
| height MAE [mm] | 26.20 | 23.95 | 23.40 |
| body angle MAE [°] | 16.20 | 21.38 | 26.57 |
| MOTA [%] | 99.94 | 99.97 | 99.88 |
| - miss [%] | 0.04 | 0.02 | 0.11 |
| - false pos. [%] | 0.02 | 0.00 | 0.00 |
| - ID changes | 1 | 2 | 2 |
有时，估计的身体方向会从真实的身体方向反转 $180^{\circ}$，这是由于错误地估计了前后方向。一个这样的例子如图 6(d) 中的 5 秒左右所示。在所有情况下，估计值都会在短时间内恢复到正确的值。
从图 6(c) 中的高度值可以看出，当跟踪的人向前倾身更好地观察照片时，会发生高度变化的瞬间。这表明可以从高度值中获得哪些有用的信息。不寻常的姿势会稍微影响高度和身体角度估计的准确性。
表 II 总结了基于 LRF 的跟踪器和使用多个 Kinect 进行的跟踪的性能。评估使用 CLEAR MOT 指标 [^26] 进行，该指标评估多目标跟踪精度 (MOTP)，即估计位置的平均误差，以及准确性 (MOTA)，该指标考虑了遗漏的人员、误报和 ID 变化。此外，对于 3D 测距传感器系统，我们估计了姿态角和高度估计的平均绝对误差 (MAE)。
结果表明，随着人员密度的增加，基于激光测距仪的跟踪器的性能逐渐下降。 虽然对于两个人，精度约为 10 厘米，准确性接近 100%，但随着人员数量的增加，性能会下降，因为传感器视野中人员的部分或完全遮挡会增加。 在八个人条件下，在许多瞬间，部分受试者完全被遮挡，这导致准确性下降。
3 维范围传感器系统对人员密度的变化更具鲁棒性，位置和高度误差以及 MOTA 值在不同条件下均没有显着差异。 然而，可以注意到身体角度估计的逐渐增加，这可以通过肩部区域的遮挡增加来解释。 位置跟踪精度略优于基于 LRF 的跟踪器。
这些结果表明，所提出的系统可以成功地用于此设置，并且优于基于 LRF 的系统。 然而，请注意，此环境与下一节中介绍的我们的目标购物中心环境非常不同。 在这里，几乎没有外部光线影响，并且天花板较低； 因此，可以利用
---
Fig. 7. Tracking area and sensor setup in ATC shopping mall. The dashed line shows the border of the area covered by the sensors. The photos below show the corridor area in the afternoon on a typical weekday (left) and weekend (right).
Kinect 传感器在噪声较低且精度较高的测量范围内。
### V. 购物中心安装
以下，我们介绍跟踪系统在位于日本大阪湾地区的“ATC”商业和购物中心的一个部分中的实施设置和结果。 我们首先展示了面向真实环境的系统设计，并分析了跟踪准确性的实现性能。 其次，我们提供了一个示例，说明如何利用获得的连续跟踪数据来获取有用的知识。
跟踪系统运行的视频可以在补充材料中找到。 此外，原始传感器数据和跟踪结果的样本可在我们的网站上免费提供 [^27]。
### A. 系统设置
图 7 显示了带有传感器布置的区域地图。 在覆盖区域的西侧，有一个大型正方形，连接到位于东侧的长走廊，该走廊两侧有几家商店。 走廊通向火车站以及购物中心的其余部分。 从正方形向北走，可以到达通往商店、办公室和停车场的手扶梯和电梯。 此外，西侧的走廊通向一个渡轮码头。 每天，一艘渡轮从那里出发。
整个区域的南部有一大块窗户，从天花板延伸到地面。 这让外部光线进入，导致白天光照条件不均匀。
跟踪系统是多种不同类型的3D范围传感器的组合。 传感器的选择是在其特性（参见第III-B节）与覆盖范围的具体要求之间的权衡结果。 对于近距离传感（例如，在走廊中），我们选择松下D-IMager传感器，因为它对外部光具有鲁棒性。 总共安装了36个此类传感器。 由于传感器的工作原理，当使用相同工作频率的两个传感器观察相同的空间时，会发生强烈的干扰。 由于该传感器型号使用三种工作频率，因此无法覆盖整个区域。 因此，我们还使用11个ASUS Xtion PRO结构光相机来覆盖剩余部分。 由于它们对外部光敏感，我们尽量避免将它们放置在有阳光直射的区域。 最后，这两种传感器的测量范围都太有限，无法用于广场区域，因此我们使用2个Velodyne HDL-32E旋转激光扫描仪来覆盖该区域。 D-IMager和Xtion PRO传感器安装在约4米的高度，观察角度在$40^{\circ}$和$50^{\circ}$之间，而Velodyne传感器安装在地面以上8米的柱子上，角度为$54^{\circ}$。 跟踪系统覆盖的总面积约为$900 \, m^2$。
传感器通过USB延长线连接到控制室。 总共使用了43台PC来接收传感器数据并将其转发到中央处理PC（Intel core i7 CPU，3.2 GHz，6核，32 GB RAM），该PC执行所有处理，包括特征估计和跟踪算法。 我们选择将所有处理都集中在同一台计算机上，因为这可以简化实现，并且由于我们计划使用该系统多年，因此也使其更可靠且易于维护。 实施使用Java语言。 该系统能够在低人员密度时以40 Hz的速率在线处理数据，当跟踪的人员数量接近150时，速率降至约10 Hz。
该系统于2012年7月开始运行，我们一直定期使用它来收集行人数据并进行机器人实验。
### B. 跟踪精度评估
由于我们没有用于跟踪的地面真实数据，就像我们在实验房间设置中所做的那样，因此我们在这里重点分析跟踪精度，为此，我们使用了手动标记的数据。 就像上一节一样，我们使用CLEAR MOT指标进行评估。 对于标记，我们使用了两个月（一个工作日和一个周末）的跟踪数据。 从每天抽取四个1分钟的时间段（上午10:00、下午1:00、下午4:00和晚上7:00），并对在该时间段内位于跟踪区域内的所有人员进行标记，总共标记了407人。 除了传感器之外，还有16个摄像头覆盖整个跟踪区域；因此，通过比较摄像头视图和跟踪结果来进行标记。 我们要求标记员尽可能精确地评估结果，但由于是手动标记，因此获得的评估结果只能认为是近似的。 精度评估结果如表III所示。
该系统在工作日表现良好，当时该空间内的人员密度较低。 错误的主要来源是暂时丢失的跟踪，这特别发生在覆盖范围不佳的区域，例如远离所有观察传感器的区域。 （尽管我们计划
---
TABLE III
EVALUATION OF SHOPPING CENTER TRACKING ACCURACY
| Weekday | Weekend | Combined |
| Nr. of labeled persons | 102 | 305 | 407 |
| MOTA [%] | 98.63 | 93.21 | 94.47 |
| - miss [%] | 0.92 | 4.42 | 3.6 |
| - false pos. [%] | 0.19 | 1.83 | 1.46 |
| - ID changes | 13 | 85 | 98 |
仔细设置系统，但由于干扰和噪声，很难在整个跟踪区域获得均匀的覆盖。在大多数情况下，系统能够恢复跟踪，但也出现了一些ID更改的情况。
在周末的评估中，分析的大部分人员来自下午的样本（13点和16点），当时该区域人流量最大；因此，结果可以了解人群密度对跟踪的影响。所有错误指标都出现了增加。
导致虚假警报数量增加的主要原因是婴儿车和行李箱等物体，这些物体在周末时更常见，因为这时有更多的家庭和游客。如我们之前提到的，跟踪方法无法明确区分人类和非人类物体，因此这些物体通常被跟踪为人类。
在遗漏和ID更改的情况下，超过60%的情况发生在儿童身上，而周末时儿童也更常见。一个原因是，由于其体型，尤其是小孩子更容易被其他行人暂时遮挡或丢失。有时，由于儿童经常紧随父母，系统也可能无法正确地将他们聚集在一起。
### C. 与机器人自定位的比较
由于没有适用于如此大区域的精确跟踪系统，因此很难对跟踪精度进行准确评估；因此，为了评估跟踪精度，我们在这里将跟踪结果与移动机器人的自定位结果进行比较。我们使用Robovie R3 $^{6}$机器人[参见图8(a)]在跟踪区域内行驶。它在前方和后方都安装了两个激光测距仪，并使用基于先前构建的环境网格图的粒子滤波器，在线估计其位置和方向[^25]。
请注意，此处获得的结果与实际的人员跟踪性能必然不同，因为1）跟踪系统不是针对机器人的，而机器人的形状与人类不同[参见图8(a)]；2）机器人的板载定位本身并不完全准确，并且对该环境的精确误差统计数据未知。尽管如此，我们认为它仍然可以提供有关可实现的跟踪精度的有用信息。
比较结果为期5分钟的运行，结果如图8所示。位置跟踪，如图8(b)和(c)所示，平稳且没有较大误差。
(a)
(b)
(c)
(d)
(e)
Fig. 8. Comparison of tracking with robot onboard localization: (a) the robot that was used in the experiment; (b)-(e) result of 3-D sensor tracking (shown by the dashed line) and robot onboard localization (shown by the solid line). (a) Robovie R3. (b) x position. (c) y position. (d) height. (e) body orientation.
结果中，平均位置差为328毫米。图8(d)将跟踪系统的高度估计与实际的机器人高度（1080毫米）进行比较。高度估计的平均绝对误差为75.3毫米。虽然有时会发生传感器之间的跳跃，但精度足够，例如，可以区分成年人和儿童。
比较身体角度估计可能不太有用，因为机器人的形状显然不符合我们对人类的假设。尽管如此，为了完整性，我们在此处显示结果。在许多情况下（约18%的时间），角度会因无法正确区分前后而发生反转。如果排除角度反转的数据，则与板载定位结果的差异统计估计为$24.7^{\circ}$。
### D. 系统示例用法：提取统计信息
跟踪系统允许我们观察在封闭空间内人员的移动情况，时间可以很长。因此，我们可以了解该空间的使用情况、使用情况随时间的推移而如何变化、环境中哪些是重要区域和点、空间中发生哪些互动等。在此，我们展示了一些从跟踪结果中提取的示例统计数据。使用的数据是在 2012 年 8 月中旬至 9 月中旬的 10 天内收集的。结果如图 9 所示。
---
(a)
(b)
(c)
(d)
(e)
Fig. 9. Example tracked person statistics. (a) Average value of the total number of persons in the area during weekend (Sunday) and working day (Wednesday). (b) Number of persons that enter/exit from the southern stairs during 15 min on a day with and without events. (c) Grid map of average person density, values are in person/m²; only moving person data is used (velocity > 0.5 m/s). (d) Grid map of velocity vector direction (the walking directions are coded by color: moving towards NE—green, SE—blue, SW—magenta; NW—red). (e) Density map of stopping positions (person velocity < 0.2 m/s) with shown body angles during stopping; the body directions are represented by different colors: looking toward NE—green, SE—blue, SW—magenta; NW—red; the photographs show the areas which stand out.
图 9(a) 突出了工作日和周末两天内，跟踪区域内人员数量的差异。虽然在周末，有大量游客，但在工作日，该空间主要由在建筑物内工作的人员使用。由于受活动和在一定程度上天气条件等参数的影响，周末人员数量的方差也更大。此外，还可以在晚上 19:00 轮渡出发前，观察到人员数量的峰值，这对应于在登船前在区域内等待的人员。
还可以获得其他具体信息。例如，广场南侧的楼梯（见图 7），通往建筑物前面的一个大空间。这个空间有时用于各种活动，这可以通过分析使用楼梯进出该区域的人员数量来轻松识别；见图 9(b)。与没有活动的日期相比，活动日期的此值明显更大。
图 9(c)–(e) 提供了对观察区域的空间利用情况的了解。这些图表是从两天工作日下午 3 小时内的所有轨迹中获得的，包括两天工作日和两天周末。图 9(c) 显示了平均值的分布。
---
行人和步行密度。东西走廊是最常用的部分，其中心部分密度最大，这是因为该部分走廊最窄。与走廊相比，广场区域的人流量密度要低得多。步行方向分布的分析，如图 9(d) 所示，清楚地表明行人倾向于走在走廊的左侧，这在日本很常见。类似的结果也曾在 [^28] 中针对不同的环境进行过展示。
此外，9(e) 显示了人员经常停止的环境中的位置。如预期，结果表明，这些停止位置以及相应的身体角度与环境中的特定特征相关，例如信息板或商店。
### E. 讨论与观察
这里展示的设置显示了公共空间跟踪的许多典型问题。首先，照明存在很大差异，从直射阳光到昏暗的人工照明。其次，由于天花板高度或柱子位置等因素，传感器可以安装的位置有限。此外，由于存在宽阔和狭窄的区域，因此需要不同范围的感应。静态物体（背景）的布置也每天都在变化，而且即使在一天之内也会发生变化。例如，在跟踪区域内有许多商店，它们会在商店前摆放商品并定期更换商品，有时还会举办活动，在区域内放置桌子或椅子。
这些是公共空间跟踪之所以难以实现的原因，基于摄像头的解决方案只能在有限的情况下使用。 所描述的设置使用多种 3D 测距传感器的组合来克服这些问题，并取得了非常好的结果。 该系统可以完全自主运行，但有一些特殊情况需要人工干预。 例如，对于在活动期间带入该区域的物体，我们需要操作员将其标记为背景；否则，系统会将它们识别为人类。
所使用的传感器在理想情况下可能不太理想。 例如，对于我们使用的距离范围，TOF 相机的测量噪声远大于其额定范围，而结构光相机通常会因为外部光线的影响而出现许多缺失的测量值。 这些问题是实现良好跟踪的主要限制因素。 可以选择不同的传感器，例如使用更多 Velodyne 激光扫描仪，它们非常精确，具有远距离和低噪声。 然而，这将导致成本显著增加，这对于我们来说是不可接受的。 随着 3D 测距传感器的开发不断进步，我们相信在不久的将来，市场上会出现更多具有良好测量特性和经济实惠价格的设备，这将使构建像这样的公共空间跟踪系统变得更加可行。
### VI. 结论
本研究探讨了使用多个 3D 测距传感器来跟踪大型公共空间中的人员。 这些传感器安装在顶部，以提供良好的覆盖范围并最大限度地减少人员之间的遮挡。 我们提出了一种跟踪方法，该方法可以实时估算空间内所有人员的位置、高度和身体角度。 所提出的方法旨在简单但对不完美的测量具有鲁棒性，因此可以用于具有多个 3D 测距传感器的公共空间的大范围覆盖。 对该方法的评估表明，该方法表现良好，并且比基于激光测距仪的跟踪器对遮挡更具鲁棒性。 购物中心安装证明可以在广泛的真实环境中实现可靠且长期的跟踪。
## 致谢
作者感谢 Dr. F. Zanlungo 在收集的跟踪数据的统计分析方面提供的帮助。
## 参考文献
[^1]: B. Zhan, D. Monekosso, P. Remagnino, S. Velastin, and L.-Q. Xu, "Crowd analysis: A survey," Mach. Vis. Appl., vol. 19, no. 5–6, pp. 345–357, Sep. 2008.
[^2]: T. Moeslund, A. Hilton, and V. Krüger, “A survey of advances in vision-based human motion capture and analysis,” Comput. Vis. Image Understand., vol. 104, no. 2, pp. 90–126, Nov. 2006.
[^3]: T. Teixeira, G. Dublon, and A. Savvides, “A survey of human-sensing: Methods for detecting presence, count, location, track, and identity,” ENALAB, Yale University, New Haven, CT, USA, Tech. Rep. 09-2010, Sep. 2010.
[^4]: G. Shu, A. Dehghan, O. Oreifej, E. Hand, and M. Shah, “Part-based multiple-person tracking with partial occlusion handling,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Providence, RI, USA, Jun. 2012, pp. 1815–1821.
[^5]: I. Ali and M. Dailey, “Multiple human tracking in high-density crowds,” in Advanced Concepts for Intelligent Vision Systems (Series Lecture Notes in Computer Science vol. 5807), J. Blanc-Talon, W. Philips, D. Popescu, and P. Scheunders, Eds. Berlin/Heidelberg, Germany: Springer-Verlag, 2009, pp. 540–549.
[^6]: M. Hofmann, D. Wolf, and G. Rigoll, “Hypergraphs for joint multi-view reconstruction and multi-object tracking,” presented at the IEEE Conf. Comput. Vis. Pattern Recognit., Portland, OR, USA, Jun. 2013.
[^7]: O. Ozturk, T. Yamasaki, and K. Aizawa, “Estimating human body and head orientation change to detect visual attention direction,” presented at the Int. Worksh. Gaze Sens. Interact., Queenstown, New Zealand, Nov. 2010.
[^8]: S. Piérard and M. Van Droogenbroeck, “Estimation of human orientation based on silhouettes and machine learning principles,” in Proc. Int. Conf. Pattern Recognit. Appl. Methods, Vilamoura, Portugal, Feb. 2012, pp. 51–60.
[^9]: A. Fod, M. Matarić, and G. Sukhatme, “A laser-based people tracker,” in Proc. IEEE Int. Conf. Robot. Autom., Washington, DC, USA, May 2002, pp. 3024–3029.
[^10]: H. Zhao and R. Shibasaki, “A novel system for tracking pedestrians using multiple single-row laser-range scanners,” IEEE Trans. Syst., Man, Cybern. A, Syst. Humans, vol. 35, no. 2, pp. 283–291, 2005.
[^11]: D. Glas, T. Miyashita, H. Ishiguro, and N. Hagita, "Laser-based tracking of human position and orientation using parametric shape modeling," Adv. Robot., vol. 23, no. 4, pp. 405–428, 2009.
[^12]: K. Arras, O. Mozos, and W. Burgard, “Using boosted features for the detection of people in 2-D range data,” in Proc. IEEE Int. Conf. Robot. Autom., Rome, Italy, May 2007, pp. 3402–3407.
[^13]: L. Navarro-Serment, C. Mertz, and M. Hebert, “Pedestrian detection and tracking using three-dimensional ladar data,” presented at the 7th Int. Conf. Field Serv. Robot., Cambridge, MA, USA, Jul. 2009.
[^14]: L. Spinello, M. Luber, and K. Arras, “Tracking people in 3D using a bottom-up top-down detector,” in Proc. IEEE Int. Conf. Robot. Autom., Shanghai, China, May 2011, pp. 1304–1310.
[^15]: F. Schöler, J. Behley, V. Steinhage, D. Schulz, and A. Cremers, “Person tracking in three-dimensional laser range data with explicit occlusion adaption,” in Proc. IEEE Int. Conf. Robot. Autom., Shanghai, China, May 2011, pp. 1297–1303.
---
[^16]: A. Bevilacqua, L. D. Stefano, and P. Azzari, “People tracking using a time-of-flight depth sensor,” presented at the IEEE Int. Conf. Video Signal Based Surveill., Sydney, N.S.W., Australia, Nov. 2006.
[^17]: D. Hansen, M. Hansen, M. Kirschmeyer, R. Larsen, and D. Silvestre, "Cluster tracking with time-of-flight cameras," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Workshop ToF-Camera Based Comput. Vis., 2008, pp. 1–6.
[^18]: N. Kirchner, A. Alempijevic, and A. Virgona, “Head-to-shoulder signature for person recognition,” in Proc. IEEE Int. Conf. Robot. Autom., Saint Paul, MN, USA, May 2012, pp. 1226–1231.
[^19]: S. Piérard, D. Leroy, J.-F. Hansen, and M. Van Droogenbroeck, “Estimation of human orientation in images captured with a range camera,” in Advanced Concepts for Intelligent Vision Systems (Series Lecture Notes in Computer Science, vol. 6915). New York, NY, USA: Springer-Verlag, 2011, pp. 519–530.
[^20]: J. Cui, H. Zha, H. Zhao, and R. Shibasaki, “Multi-modal tracking of people using laser scanners and video camera,” Image Vis. Comput., vol. 26, no. 2, pp. 240–252, Feb. 2008.
[^21]: C. Premebida, O. Ludwig, and U. Nunes, "Lidar and vision-based pedestrian detection system," J. Field Robot., vol. 26, no. 9, pp. 696–711, Sep. 2009.
[^22]: M. Luber, L. Spinello, and K. Arras, “People tracking in rgb-d data with on-line boosted target models,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., San Francisco, CA, USA, Sep. 2011, pp. 3844–3849.
[^23]: W. Choi, C. Pantofaru, and S. Savarese, “Detecting and tracking people using an RGB-D camera via multiple detector fusion,” in Proc. Workshop Challeng. Opport. Robot Percept., 2011, pp. 1076–1083.
[^24]: A. Doucet, S. Godsill, and C. Andrieu, “On sequential monte carlo sampling methods for Bayesian filtering,” Statist. Comput., vol. 10, no. 3, pp. 197–208, 2000.
[^25]: S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics. Cambridge, MA, USA: MIT Press, 2005.
[^26]: B. Keni and S. Rainer, “Evaluating multiple object tracking performance: The CLEAR MOT metrics,” EURASIP J. Image Video Process., vol. 2008, Art. ID 246309, 2008.
[^27]: ATC shopping mall dataset. [Online]. Available:
[^28]: F. Zanlungo, T. Ikeda, and T. Kanda, “A microscopic “social norm” model to obtain realistic macroscopic velocity and density pedestrian distributions,” PLoS ONE, vol. 7, no. 12, Art. ID e50720, 2012.
Dražen Brščić (S'06–M'09) 获得了萨格勒布大学的电气工程学士学位和硕士学位，分别于 2000 年和 2004 年，以及东京大学的电气工程博士学位，于 2008 年。
从 2008 年到 2010 年，他曾在慕尼黑技术大学担任博士后研究员。 2011 年，他加入京都的 ATR 智能机器人和通信实验室，担任研究科学家。 他的研究兴趣包括人员跟踪、移动机器人以及人与机器人的交互。
他的研究兴趣包括人员跟踪、移动机器人以及人与机器人的交互。
Takayuki Kanda (M'04) 获得了京都大学的计算机科学学士、硕士和博士学位，分别于 1998 年、2000 年和 2003 年。
从 2000 年到 2003 年，他曾在 ATR 媒体信息科学实验室担任实习研究员。 他目前是 ATR 智能机器人和通信实验室的高级研究员。 他的研究兴趣包括智能机器人、人与机器人交互。
动作识别，以及基于视觉的移动机器人。
Kanda 博士是计算机协会、日本机器人协会和日本信息处理协会的成员。
Tetsushi Ikeda 获得信息科学硕士学位，毕业于位于日本京都的京都大学，毕业时间为 1997 年。
From 1997 to 1999, he was with the Advanced Technology R&D Center, Mitsubishi Electric Corporation. In 2000, he entered the Doctoral Program with the Department of Adaptive Machine Systems, Graduate School of Engineering, Osaka University, Osaka, which he finished in 2003. From 2003 to 2009, he was with Osaka University, where he was a Research Associate and a Research Assistant Professor. He is currently a Researcher with the Intelligent Robotics and Communication Laboratories, Advanced Telecommunications Research Institute International (ATR), Kyoto, Japan.
Takahiro Miyashita 获得工学学士、硕士和博士学位，专业是用于计算机控制的机械工程，分别毕业于日本大阪的大阪大学，毕业时间分别为 1993 年、1995 年和 2002 年。
From 1998 to 2000, he was Research Fellow with the Japan Society for the promotion of science. From April to September 2000, he was a Researcher with Symbiotic Intelligent Group, ERATO Kitano Symbiotic Systems Project of Japan Science and Technology Agency. From October 2000 to July 2002, he was an Assistant Professor with Wakayama University, Wakayama, Japan. He is currently a Group Leader and a Senior Research Scientist with Intelligent Robotics and Communication Laboratories, Advanced Telecommunications Research Institute International.
Miyashita 博士也是日本机器人协会、日本机械工程师协会、日本人工智能协会和电子、信息和通信工程师协会的成员。
```