# 使用飞行时间深度传感器进行人员跟踪
Alessandro Bevilacqua
Luigi Di Stefano
Pietro Azzari
ARCES - DEIS (电子、计算机与系统工程系)
博洛尼亚大学,
Viale Risorgimento 2 - 博洛尼亚, 意大利, 40136
## 摘要
视觉上跟踪多个参与密切互动的移动人员是一项非常困难的问题，尽管基于立体视觉和俯视图的 3D 方法为有效解决诸如遮挡和身体姿势和外观的快速变化等主要问题提供了很大的希望。然而，在无纹理场景中，由于存在同质物体或光照不足，立体跟踪系统的性能会迅速下降。在这项工作中，我们提出了一种实时人员跟踪系统，即使在严重低光照条件下也能工作。该系统依赖于一种新型的活动传感器，该传感器基于飞行时间 (TOF) 技术，提供亮度图像和深度图像。跟踪算法简单但高效，基于几何约束和不变性。在不断变化的光照条件和涉及多个密切互动的个体进行的实验证明了该系统的可靠性。
### 1. 引言
跟踪多个人员是许多高级视觉应用的关键问题，例如智能视频监控、虚拟现实界面以及人类活动理解。跟踪方法可以主要根据所使用的设备类型进行分类，无论是单目相机还是“3D”传感器（通常是立体相机）。就基于 2D 视图的跟踪器而言，它们通常依赖于外观模型，每个场景中的人员都有一个模型 [^2]。事实上，这些模型会受到遮挡事件的影响，并且通常无法处理密切互动，因为正确地演化这些模型非常困难。另一方面，基于立体相机的 3D 方法具有解决一些主要跟踪问题的潜力。实际上，立体视觉可以提供与图像点相关的 3D 坐标，从而构建一个与地面平面平行的投影平面的正交视图。可以通过平面视图地图（即占用和高度地图 [^5] [^6] [^1]）获得这种正交视图，这种正交视图已被证明对于可靠地检测和跟踪多个人员非常有效。然而，大多数基于立体 3D 的跟踪系统在场景缺乏纹理（由于同质物体或光照不足）时容易失败。
就我们所知，本文描述的工作是基于使用飞行时间 (TOF) 深度传感器开发 3D 多人跟踪系统的首次尝试。迄今为止，TOF 图像传感器已用于机器人导航 [^8]、车辆占用监控 [^3] 和单头跟踪 [^7]。我们认为，尽管该技术目前处于原型发展阶段，但 TOF 深度传感器可能代表了开发 3D 人员跟踪器的潜在替代方案。事实上，基于 TOF 的方法不需要进行 3D 场景重建的计算，并且不受场景纹理和光照条件的限制。此外，降低的制造成本（标准 CMOS 工艺）使其适用于开发紧凑的嵌入式解决方案。
在第 2 节中，我们概述了 TOF 技术的基本原理。在第 3 节中，我们描述了跟踪算法，在第 4 节中，我们讨论了一些实验结果。最后，在第 5 节中，我们总结了结论。
### 2. TOF 技术原理
TOF 技术是一种广为人知的非接触式测量技术。它已广泛应用于各种工业领域，例如自动装配和质量保证。基于相机的 TOF 无传感器能够一次性提供整个深度图像，而无需使用任何移动机械部件。此外，深度信息由固态传感器本身提供，无需外部电路。通常，这些设备由调制光源（如激光器）、由像素阵列组成的 CMOS 图像传感器以及光学聚焦系统组成。
根据用于测量距离的方法以及传输信号的特性，TOF 深度传感器分为两个不同的类别。第一类是脉冲调制 (PM) 传感器。
---
距离直接通过测量信号发射和接收之间的延迟，使用高分辨率定时器来计算。深度测量 d 简单地通过以下公式获得：
$$ d=\frac{TOF*c}{2} $$
其中 TOF 是飞行时间，c 是光速。第二类是连续波调制 (CWM) 传感器。在这里，距离是从发射的红外光的调制包络相位计算得出的。设 $s(t) = \sin(2\pi f_m t)$ 为发射的光，其中 $f_m$ 是调制频率。由目标反射的光 $r(t)$ 由以下公式给出：
$$ r(t)=R\sin(2\pi f_{m} t-\phi)=R\sin(2\pi f_{m}(t-\frac{2d}{c})) $$
其中，$\phi$ 是光线返回到传感器像素时产生的相位偏移，R 是反射光的振幅，d 是传感器与目标的距离。 距离 d 可以从 $\phi$ 计算如下：
$$ d=\frac{c\phi}{4\pi f_{m}} $$
通过测量每个像素的距离 d，可以构建深度图像。类似地，通过测量每个像素的 R，可以构建亮度图像。目前，CWM 传感器的主要制造商是 Canesta、CSEM 和 PMDTech。
PM 设备需要一个高分辨率定时器和一个大带宽信号源才能实现高分辨率的距离测量。这使得它们比 CWM 设备更昂贵，并且更适合于远距离应用。另一方面，CWM 设备容易出现混叠问题，但可以使用多频率扫描来缓解此问题。在可用的 TOF 图像传感器中，Canesta 的 [^4] 已被选用于我们的实验。这个选择是基于科学和技术原因。首先，该设备是一种最先进的基于相机的 TOF 传感器，具有相当大的视野、高分辨率和低延迟。其次，制造商提供评估相机，其中包含软件驱动程序和库，以开发自己的应用程序。
### 3. 算法
自获取到最终跟踪，需要完成多个任务。第一个任务是使用深度信息将场景分割成背景和前景（移动）区域。这通过一种基于像素级参数统计模型的简单背景减法过程来实现。一旦构建，由于背景不受光度变化的影响，就不需要随时间更新。使用具有可靠深度的前景像素构建一个三维点“云”，该点云位于相机参考系中。
后续任务是从这些点构建平面视图地图，方法如 [^5] 中所述。可以将平面视图地图视为场景的正交投影，就像是平面视图。通常，投影数据被收集到 bin 中，例如占用图（每个 bin 中可见对象的面积）和高度图（每个 bin 中的最大高度值）。首先，根据公式 4 计算与每个前景像素关联的相机参考系坐标 $(X_{cam}, Y_{cam}, Z_{cam})$：
$$ \begin{array}{l}X_{c a m}=\left(u-u_{0}\right)*k_{u}*\left(d-f\right)/d\\Y_{c a m}=\left(v-v_{0}\right)*k_{v}*\left(d-f\right)/d\\Z_{c a m}=d\end{array} $$
其中 $(u, v)$ 是像素的图像坐标，$(k_u, k_v)$ 考虑像素大小，d 是测量的距离，$(u_0, v_0)$ 是主点位置的图像坐标，f 是焦距。然后，将相机参考系的坐标转换为世界空间坐标 $[X_W, Y_W, Z_W]$，其中 $Z_W$ 轴与地面平面的垂直方向对齐：
$$ [X_{W}\;Y_{W}\;Z_{W}]=-R_{c a m}[X_{c a m}\;Y_{c a m}\;Z_{c a m}]^{T}-\vec{t}_{c a m} $$
旋转和转换参数通过离线完成的校准过程确定。最后，对正交平面视图空间进行适当的量化，可以在计算负担和分辨率之间实现良好的平衡。
跟踪是在平面视图地图中检测到的连接组件上进行的。基本上，跟踪在 blob 级别工作，即算法仅利用与每个跟踪的人员相关的有限的几何特征（例如，质心的位置和速度）。此外，为了推断当前位置，仅考虑每个对象的最后一个质心。跟踪模块的唯一输入是跟踪人员的列表以及平面视图地图中当前检测到的 blob 集合。在帧 $t-1$ 中跟踪的每个对象都由一个 $W_{avg} \times W_{avg}$ 边界框表示，该边界框由平均头部大小给出，其中心是 blob 的质心。为了触发遮挡事件，我们使用卡尔曼滤波器评估当前预测边界框之间的重叠。如果存在重叠，则会触发遮挡处理程序。在发生遮挡时，我们使用以下假设：
人们不能在平面视图中重叠。
人们应该单独进入场景。
---
每个对象保留与上一个帧中拥有的面积成比例的面积。
为了消除遮挡，我们进行迭代的blob分割，以便将每个像素分配给与其期望质心距离最小的对象，该对象的临时ID。相应地更新对象的面积。如果当前面积小于期望面积（计算方式是为了保持相应对象的比例），则该ID为最终ID。相反，该像素将获得一个惩罚距离因子，以增加像素在下一个迭代步骤中更改其成员资格的概率。一旦达到对象的期望面积，它将被分割，并且其像素将从任何进一步的计算中排除。
## 4 实验结果
实验中使用的传感器是Canesta Electronic Perception EP205，其视野范围为$55^{\circ}$。它是一个$64 \times 64$像素的正方形阵列，并使用标准CMOS工艺集成在一颗芯片上。该传感器提供四个不同的调制频率，可达12米。可以选择适当的快门时间以实现合适的帧速率。对于目标机器，我们使用配备Pentium IV 2 GHz处理器和256 MB RAM的PC。图像采集通过USB连接完成，并使用制造商提供的驱动程序原语。
我们的初步实验旨在评估设备的参数的运行值，例如帧速率和调制频率。此外，环境参数，例如目标距离、目标反射率和环境照明条件也会影响测量的距离的可靠性。事实上，将要检测的对象从传感器移开会导致积分时间增加，从而导致不可接受的帧速率。选择52 MHz的调制频率以防止混叠问题，同时保持尽可能高的距离分辨率（随着频率降低，分辨率呈线性下降）。因此，我们可以得出结论，通过将要测量的对象放置在距离传感器3米以内，可以在实时要求和深度测量精度之间实现适当的权衡，从而将标准偏差控制在几厘米以内。根据初步实验的结果，我们得出了有关确定合适系统设置的线索：将向下看的传感器放置在距离地面3米处是一种有效跟踪人员的良好解决方案，可以以每秒12帧（fps）的速度进行跟踪。
然后，我们考虑了两种不同的室内照明条件，即有照明（图 1，左侧）和无照明（图 2，右侧）。图 1 和图 2 中的前两行显示了 3D 传感器获取的亮度图像。第二对行显示了传感器提供的深度图，这些深度图以灰度编码表示 - 像素越亮，点越近。第三对行是跟踪算法的输出，其中包含带有标签的俯视图和相关的边界框。测量的正方形区域的边长为 3 米，由我们的实验室的地面和家具组成，这些家具在初始训练阶段被包含在背景中，因此不再被识别为有趣的物体。实验中使用的序列包含数千帧，并且最多有三个人可以在场景中自由移动。在构建 3D 背景后，系统就可以使用图 1、2 中间的深度图作为当前帧来执行背景消除。这会产生与移动物体相关的深度点“云”（以相机坐标系为坐标），这些点需要进行聚类。为了获得俯视图，结果会转换为世界坐标系，并使用正方形网格进行采样。这种采样过程可以作为早期的降噪过程。事实上，较小的尺寸可以保留嘈杂图像中的细节，而较大的尺寸可以提高信噪比。对于我们的系统设置，合适的尺寸是 10 厘米的正方形。目前，由于大量的噪声，不可靠的深度测量是使用这种设备时需要处理的主要问题。因此，获得的深度图使用占用图作为滤波器掩码进行过滤，如 [^5] 中所述。图 1、2 底部中显示的俯视图的网格突出了采样过程的结果。这些地图的质量已被证明适合有效地跟踪人员，如上所述。
分析的序列是通过让人们自由移动而创建的：他们进出场景，并在旁边行走和奔跑。此外，由于视场较小，人们会进行非常亲密的互动。第一个序列 S1 是在常见的室内照明条件下拍摄的。场景纹理丰富，因此也可以使用立体相机。事实上，根据质量，跟踪算法的性能与使用立体相机获得的性能进行了比较。基本上，它们的性能大致相同，因为获得的俯视图大致相同。几乎每个被跟踪的人员在他们留在场景中时都保持其逻辑身份。报告的少数错误是由于分割或标签在彼此靠近的物体之间跳跃，但这并非由于 3D 传感器的使用。相反，需要改进跟踪算法，以提高显示相同高度的人员的遮挡消除效果。
第二个序列 S2 是在完全没有外部照明的情况下拍摄的，TOF 相机的激光源是唯一的照明源。如您所见，亮度
---
图像（图2，顶部）非常暗，包含的信息非常有限。在这样的光照条件下，任何被动成像传感器都无法获取有用的图像。另一方面，TOF传感器提供的深度图提供了与之前几乎相同的信息量（图2，中间），这证实了不同的光照条件不会影响这种主动设备的输出。因此，跟踪系统的性能保持在场景照明良好时的质量。这种成果使得即使在无法获得良好照明的情况下，也能获得可靠的人体跟踪系统，这可能是由于环境条件或“人为”原因造成的。
### 5. 结论
我们描述了一种新颖的方案，该方案涉及在三维实时多人跟踪领域使用最近引入的TOF深度传感器。使用深度信息和普通视图图，该系统可以比单目方法更稳健地处理遮挡。同时，与传统立体相机相比，使用TOF主动传感器可以防止光照条件影响系统性能，并有可能开发更紧凑的嵌入式解决方案，以用于依赖于人体跟踪的特定应用。所提出的跟踪算法可以处理部分遮挡以及多个人在近距离互动的常见情况。虽然跟踪算法需要一些改进，并且TOF设备的性能也可能在设计层面得到增强，但我们认为这项工作提供了明确的指示，即可以使用最先进的TOF深度传感器有效地跟踪多个移动的人，并且在近距离交互的情况下也能实现。
### 6. 致谢
我们感谢DataSensor Spa的首席执行官Giovanni Fei先生，他部分资助了这项研究工作。
## 参考文献
[^1]: D. J. Beymer. Person counting using stereo. In Proceedings of the Workshop on Human Motion (HUMO'00), 2000.
[^2]: R. Cucchiara, C. Grana, G. Tardini, and R. Vezzani. Probabilistic people tracking for occlusion handling. In Proceedings of International Conference on Pattern Recognition, ICPR'04, 2004.
[^3]: M. Fritzsche, C. Prestele, G. Becker, M. Castillo-Franco, and B. Mirbach. Vehicle occupancy monitoring with optical range-sensors. In Proceedings of IEEE Intelligent Vehicle Symposium, Parma, Italy, June 14-17 2004.
[^4]: S. B. Gokturk, H. Yalcin, and C. Bamji. A time-of-flight depth sensor - system descriptions, issues and solutions. In Workshop of Real-Time 3D Sensors and Their Use, 2004.
[^5]: M. Harville. Stereo person tracking with short and long term plan-view appearance models of shape and color. In Proceedings of International Conference on Advanced Video and Signal based Surveillance, AVSS 2005, Como, Italy, volume 1, pages 511–517, September 15-16 2005.
[^6]: L. Iocchi and R. C. Bolles. Integrating plan-view tracking and color-based person models for multiple people tracking. In Proceedings of International Conference on Image Processing, ICIP 2005, Genova, Italy, September 2005.
[^7]: C. Tomasi and S. B. Gokturk. 3d head tracking basae on recognition and interpolation using a time-of-flight depth sensor. In Proceedings of International Conference on Computer Vision and Pattern Recognition, CVPR 2004, Washington DC, USA, 2004.
[^8]: J. W. Weingarten, G. Gruener, and R. Siegwart. A state-of-the-art 3d sensor for robot navigation. In Proceedings of International Conference on Intelligent Robots and Systems, Sendai, Japan, October 2 2004.
## [^9]: M. T. Yang, Y. C. Shih, and S. C. Wang. People tracking by integrating multiple features. In Proceedings of International Conference on Pattern Recognition, ICPR'04, 2004.
---
Figure 1: Samples from sequences S1: brightness(top), depth images(middle) and plan view maps(bottom)
Figure 2: Samples from sequences S3: brightness(top), depth images(middle) and plan view maps(bottom)