# 基于TOF传感器的行人检测与跟踪 鲁道夫·坦纳，马丁·斯图德，阿德里亚诺·扎诺利 库尔HTW应用科学大学 Pulvermühlestrasse 57 瑞士 7004 库尔 , 安德烈亚斯·哈特曼 GST GmbH Schlyffistrasse 17f 瑞士 8860 贝希 论文ID 60 ## 摘要 本文提出了一种利用最新3D飞行时间（ToF）传感器技术，对经过受限空间的行人进行检测、跟踪和计数的方法。本文采用了切片算法，并提出了一种新方法，可分别基于概率密度函数和直方图确定切片高度。 研究发现，该仅利用单个传感器数据的算法在常规场景下效果优异。但要处理特殊情况（例如轮椅、推车或是人员距离极近的场景），系统需要获取额外信息。 ### 1. 引言 利用相机生成的图像序列对行人进行自动检测与跟踪，多年来一直是研究热点。使用传统相机（无论是单目还是双目系统），都难以实现可靠检测。不过近年来，MESA Imaging AG [^9]、Canesta Inc. [^4] 以及 PMDTechnologies GmbH [^10] 等公司已推出了可同时输出距离信息的飞行时间（TOF）红外相机。 该技术有望提升行人检测与跟踪领域的现有技术水平 [^2]。 对已发表的采用3D相机的算法 [^1] [^11] 分析表明，这类算法通常包含几个通用步骤：首先去除背景，之后将3D距离图像投影到2D平面，再利用成熟的图像处理方法处理这些2D图像，最后在图像序列中对检测到的行人进行跟踪。 在距离图像中去除背景可以做到十分简单，而这在传统2D图像中却是一个主要难题。如果相机位置固定，且场景是静态的，就可以预先采集一张背景图像；将实际拍摄图像减去静态背景图像，即可移除属于背景的距离像素。监控场景所用的相机通常都满足这些前提条件。背景去除的额外好处是它能减少后续处理需要处理的数据量，但代价是会丢失一些原本可以被利用的信息。 第二步是在单帧距离图像中检测行人。将3D图像投影到2D平面后，检测问题就转化为2D图像中的形状检测问题，因此可以使用图像分析和计算机视觉领域经过验证的成熟算法，比如边缘检测和图像分割 [^5] [^3]。2D图像可通过两种方式生成：一种是在不同高度对距离图像进行切片 [^11]，另一种是将高度值转换为2D图像中的强度值 [^1]。该步骤的输出结果是一张图像，每个检测到的行人在图中对应一个中心点。 第三步的输入是带有中心点的时间序列图像，可通过连接相邻图像中距离最近的中心点实现人员追踪。使用卡尔曼[^6]或粒子滤波[^11]预测人员在下一图像帧中的可能位置，通常可以提高追踪精度。 我们的算法基本遵循上述步骤，但在第二步采用了一种全新的切片算法。参考文献[^11]在地面上方不同高度进行切片，以同时兼顾儿童（在地面上方$\approx 1$m处切割）和成人（在地面上方 $\geq 1.5$m处切割）。我们的方法不同之处在于，我们首先通过对原始图像进行直方图分析，得到优化后的切片层级和尺寸。 本文结构安排如下：接下来我们将分五步介绍我们的研究方法，随后介绍测试环境与参数配置，并展示最新得到的实验结果。最后，我们梳理迄今为止的观测结果，总结本文工作，得出相关结论，并阐述正在开展的工作以及未来的研究方向。 --- ### 2. 研究方法 该系统的目标是检测人员，并统计穿过观测区域（即相机检测区域）的人数。这类观测区域可如图1所示，示意图中人员流动方向为从底部到顶部的门。行走区域还可能被桌子、椅子、花盆或其他家具遮挡。 本文采用的方法分为五个阶段： • 图像预处理。 阈值估计。 • 二维图像生成。 • 人员检测。 • 方向识别与计数。 本研究的第一阶段聚焦于处理二维图像，目的是降低对计算能力的要求，从而减少对嵌入式系统的性能需求、降低整体成本。因此，生成的三维图像会通过简单的投影方法转换为二维图像。 #### 2.1. 预处理 信号预处理阶段的目标是提高信噪比（SNR）。我们还可以在每张图像中去除已知的静态物体，例如桌子。图1展示了一种可能的部署方案，网格反映了安装在天花板下方的TOF传感器的观测区域。当然，单个相机的检测范围受其镜头设计影响，形状不是正方形，而更接近圆锥或四面体。墙壁和桌子都是静态物体，可在后续计算位置和运动时，为合理性评估提供角点。图2展示了由TOF传感器数据生成的图像。为简化后续处理，我们直接在所有动态图像中去除（桌子的）角部，通过： $$ \mathbf{Z}(k)=\mathbf{Z}_{d y n a m i c}(k)-\mathbf{Z}_{s t a t i c}, $$ 其中矩阵Z包含深度数据，k表示第k张图像。 #### 2.2. 阈值设置 合理推导并设置阈值对于定义三维图像的切片层级、进而得到二维形状至关重要。这项工作可以“自动”完成（类似轮廓函数的处理方式）。或者，也可以按照等间距对三维图像进行切片[^11]，例如每20厘米切一片，以此确保尽可能多地检测到儿童。 ![Image](images/6be8dbde3521df8a639959e848d8a33f801d4f3da7a28083ca9f51029f80611f.jpg)
Figure 1. A typical room where the number of people has to be counted through an obstruction free method like TOF.
![Image](images/381e95d400aa242c63d7845742dd0eae4594eeab6b98a1a7b9f28bc1f2c469ed.jpg)
Figure 2. A static picture with the corner of a table visible.
成年人。但正如我们此前指出的，这会带来一个新问题：我们必须区分带轮行李箱和儿童。幸运的是，行李箱是方形的。 本文提出的方法基于对直方图无模型采集的距离值的概率密度函数（pdf）进行统计分析。我们的目的是同时兼顾密度信息和距离信息，以减少误检。我们对静态背景图像数据进行分析，之后将其用作参考。本次分析得到的结果包括均值$\overline{x}$、直方图中的局部极大值与极小值，以及方差$\sigma^{2}$，这些结果可定期更新，以适应环境变化。静态图像的直方图如图3所示。原始图像尺寸为$176 \times 144$，我们对其重新调整大小以去除图像边缘的尖峰，即条纹。随后对尺寸稍小的图像进行处理，得到均值为$\overline{\pi} = -0.047$米。均值不等于零是噪声导致的，该误差 --- 处于已知的5至10厘米范围内[^7]。 ![Image](images/997ae92ef4d15afc6b4d92eb4f538768f43199989874319cba75aaa2030ef5a7.jpg)
Figure 3. The histogram of a static picture where no person is present.
当有人进入相机视野时，情况有所不同。图4展示了该场景的3D视图，我们可以清楚地识别出身体和位于左侧的手臂。该结 ![Image](images/3320851f32ba48ad34a8de0daff496c7d052b1df1d8d2d46c2ae3f30c86da71d.jpg)
Figure 4. A dynamic picture, the body and an arm (between 50 and 100) can clearly be identified.
果（图4的直方图）如图5所示。请注意，我们更改了y轴的缩放比例，以突出背景噪声（即地面）会产生一个主导峰值这一事实。幸运的是，该峰值集中在零电平附近，因此可以轻松去除。剩下的就是第二个峰，其峰值位于1.5米至1.8米之间，这恰好对应该人的身高。 然而，从图5中我们已经可以发现一个潜在问题：假设图像中包含两个人，或者一名成年人和一名儿童，我们如何才能可靠地判断出这一情况。 ![Image](images/4007a26c3974d9fee47beb440090297dd61f1733e02e9294e5d6a9c416d92c15.jpg)
Figure 5. The histogram of picture 4 with the distribution of the noise and a second, smaller hump, from the person in the scene.
我们提出，可以通过识别鞍点来区分直方图中的每个峰。一种方法是应用滑动窗口，对若干点进行插值并确定函数的局部极小值，步骤如下。我们从抛物线的基本方程$^{1}$开始： $$ f(x)=w_{0}+w_{1}x+w_{2}x^{2} $$ 其中$w_i$表示系数。当$w_2 > 0$时，抛物线开口向上，否则抛物线开口向下。方程2可应用于位于x轴上的三个点$x_1, x_2, x_3$，以及它们在概率密度函数上对应的点$y_i$： $$ \begin{array}{r l r}{y_{1}}&{=}&{w_{0}+w_{1}x_{1}+w_{2}x_{1}^{2}}\\ {y_{2}}&{=}&{w_{0}+w_{1}x_{2}+w_{2}x_{2}^{2}}\\ {y_{3}}&{=}&{w_{0}+w_{1}x_{3}+w_{2}x_{3}^{2}}\end{array} $$ 该式可以方便地写成矩阵形式 $$ \mathbf{y}=\left[\begin{array}{l l l}1&x_{1}&x_{1}^{2}\\ 1&x_{2}&x_{2}^{2}\\ 1&x_{3}&x_{3}^{2}\end{array}\right]\left[\begin{array}{l}w_{0}\\ w_{1}\\ w_{2}\end{array}\right]=\mathbf{X}\mathbf{w} $$ 我们可以从中推导出系数，并确定抛物线顶点（最低点或最高点）的位置。 $$ \mathbf{w}=\mathbf{X}^{-1}\mathbf{y} $$ 方程4沿函数的x轴应用。显然，不需要每1厘米就进行一次计算，5厘米到15厘米的间隔就足够了。 该方法还可以扩展，应用于二维直方图平面，以便于识别 --- 存在多人情况下的合适阈值。 我们不仅可以确定概率密度函数中每个峰的位置，还可以确定不同峰的分布开始重叠的位置，也就是当$w_2$改变符号时。请注意，位于零附近、由测量噪声（背景、地面）产生的最高峰可以忽略，例如我们可以直接舍去所有高度低于0.2米的数据。 通过这种方法，我们可以确保切片阈值的选择恰当合理。 #### 2.3. 三维转二维转换 三维图像采用切片算法进行处理，与 [^11] [^1] 中讨论的方法类似。我们采用切片算法以简化计算过程。首先， ![Image](images/0231dacf94a2a43f8311011f72f8ac78ea793f72743b34509091e4d4831b29d3.jpg)
Figure 6. A picture without table but the body of a person.
前一阶段得到的 $\mathbf{Z}(k)$ 数据经过切片处理后得到轮廓。切割的高度由阈值设定算法给出。这个过程十分简单，因为图像在预处理阶段已经完成重新归一化，基准面即地面被设置为零米。因此，TOF传感器检测到的所有障碍物都会在负方向呈现为凸起。由此我们只需要识别出例如-1米高度处的像素及其对应的二维位置即可，这就能为检测阶段生成一幅单一的轮廓图。 #### 2.4. 人员检测 已有文献提出，例如可以分别用椭圆和圆形来识别人体和人头。这种方法在理想条件下效果良好，但我们不清楚当人们戴帽子或背包时这些方法是否仍然有效。因此形状库可能会变得极其庞大，我们仅在图7中展示了几种可能的形状。其他问题还包括 ![Image](images/e2052f32f708bcda76e2b31d74b89c829728bf0dc54dba4c4e793461e5b396d1.jpg)
Figure 7. Very idealized shapes to emphasize the shape for detection by means of shape matching: head, person at edge of beam, adult with child, backpacker and body.
当人员坐在轮椅上或是推着儿童推车时，就会遇到这类问题。此时，寻找最佳形状会变成一个全新、陌生且复杂的问题，出于简洁性考虑，我们在此不做展开讨论。另一个问题会出现在人员没有被安装在顶部的红外TOF传感器完全检测到时，当人员行走在传感器波束的边缘时就会发生这种情况。要知道，红外光束发射存在一定的角度范围，结果就会产生“金字塔内身体”效应，图8对该效应进行了说明。此处的 ![Image](images/5d673f3bebe4467c309e1cc5df153ed8577c4873a120822998e2933db5d632f0.jpg)
Figure 8. The person is not within the TOF sensor's main beam but at the edge and hence his true height cannot be measured.
TOF传感器得到的身体形状最接近图7中顶部中心的形状，因为该人员正从波束边缘穿过。由此得到的结论是，所有传感器都必须布置在能够从顶部俯瞰检测区域的位置。即使在大空间中，也可以通过布置多个传感器实现这一点。 另一种方法是跳过识别人体形状的步骤，仅专注于检测相机视野中的运动物体。这可以通过相关法轻松实现：当图像匹配度最高时，我们会得到一个峰值，该峰值随后可用于目标跟踪。该方法已被证明具备可靠性，并在本研究的第一阶段得到了应用。 --- #### 2.5. 方向识别与计数 本文采用生灭矢量路径跟踪机制，最初使用了卡尔曼滤波 [^8]。但卡尔曼滤波要求误差服从高斯分布，这一点在本场景中并不成立。人员会径直走向出口，行为并不符合随机运动粒子的特征。因此我们放弃了该方法，因为它没有带来任何增益，反而增加了额外的计算复杂度。 我们识别轮廓中心并将其记录在案。每个可用点都会分配一条动态路径，这就是生成过程。当获得第二个点（即坐标）后，即可得到一个向量。随后我们采用合理性逻辑检查向量是否相交、向量是否穿入或穿出墙体，以及移动点的速度是否高得不合常理。所有不合理的数据点都会被剔除（消亡过程）。同样，当目标从出口点离开观测区域后，该轨迹就会终止。请注意，在本次特定应用中我们考虑的是单向通行场景。 只要一个向量离开观测区域，人员计数器就会加一。 我们还可以触发警报，例如当目标从定义为出口的方向（即错误方向）进入观测区域时。此时操作人员可以利用摄像机普通图像传感器（即非TOF传感器）的功能查看现场情况，因此无需进行持续人工观测。 ### 3. 系统搭建 实验采用Mesa Imaging公司的一款像素为$176 \times 144$的TOF传感器 [^7]。传感器固定在天花板下方，高度为2.8米，调整后使传感器平面与地面平行。地面为灰杂色乙烯基地板，无地毯。我们将一张桌子的一角置于传感器光束范围内，这样做主要是为了获得一个参考点，而非构建更贴近实际的场景。数据通过Matlab进行采集和处理。 我们通过两种方法估算并验证了SNR。第一种方法是将两张间隔数秒采集的静态图像相减，这一操作可以抵消距离信息。理想情况下，若不存在噪声，深度数据应当为零，但实际情况并非如此。图3显示距离存在波动，该方法测得图像SNR为43.7 dB。 另一种方法利用了我们已知相机到地面精确距离这一条件，也可以用该值对数据集中的距离信息进行偏移校正，计算得到的SNR为44.2 dB。 两种方法的结果相符，考虑到我们工作环境的SNR约为43 dB，二者的差异非常小。 当然，第二种方法精度更低，因为该距离仅在传感器正下方区域有效，当我们从图像（地面）中心向边缘移动时，引入的误差会逐渐增大。 ### 4. 实验结果 第一个示例如图9所示。我们采集并处理了连续五帧图像，每个（蓝色）星号标记表示轮廓中心。可以清楚看到，在该场景下系统能够检测移动人员，确定参考点，并随时间推移持续跟踪目标。在本示例中，行人没有沿预期方向行走，而是沿对角线方向行走。 ![Image](images/4e65589fff5ddeb8a37678f51656109f826baa31b11d0b03b086592d740e1774.jpg)
Figure 9. A five picture sequence of a person entering and leaving an observation area.
第二幅图（图10）展示了两个人并排行走的场景，系统同样能够检测并跟踪每个人的运动路径。 ![Image](images/4c21cb4b80defb057c6866cd10cedd72beecca211da5a4465589d39943bc0359.jpg)
Figure 10. Two four picture sequence of two people walking side-by-side entering and leaving the observation area.
第三幅图（图11）展示了两个人前后行走的结果，算法同样能够可靠地跟踪两个人。 --- ![Image](images/3a7dd071548a1c3e76e38bced48930f2fa56d404dbf8fb05ec16126e5f6dbd94.jpg)
Figure 11. Two four picture sequence of two people in tandem entering and leaving the observation area.
### 5. 结论 本文提出了一种基于TOF的人员检测、跟踪与计数系统，该系统基于一种新型切片算法，其阈值由3D图像的直方图推导得到。 研究表明，该系统无需依赖计算复杂度高的跟踪算法，即可可靠检测人员并跟踪其轨迹。我们通过实证试验观察到，对特定场景下的人员进行检测和身份区分是一个非常困难的问题。研究显示，在此类场景下，除非获得额外数据（来自第二台摄像头或其他类型的数据），否则无法完成人员识别或身份区分。据作者所知，此类场景目前尚未见报道，未来的研究结果将进一步揭示实用系统的能力边界。 当前及未来的工作围绕现有算法的可靠性展开，为此我们需要更大规模的真实场景数据集。除其他方向外，我们的一个目标是推导出误检测概率。 ## 参考文献 [^1]: A. Bevilacqua, L. D. Stefano, and P. Azzari. People tracking suing time-of-flight depth sensor. Proceedings of AVSS06, 1(1):1, 2006. 1, 4 [^2]: B. Büttgen, T. Oggier, M. Lehmann, R. Kaufmann, and F. Lustenberger. Ccd/cmos lock-in pixel for range imaging: Challenges, limitations and state-of-the-art. In Proceedings of the Range Imaging Research Day, pages 21–32, 2005. 1 [^3]: R. Duda and P. Hart. Pattern Classification and Scene Analysis. Wiley, Reading, USA, 2nd edition, 2000. 1 [^4]: S. B. Gokturk, H. Yalcin, and C. Bamji. A time-of-flight depth sensor - system description, issues and solutions. In Proceedings of the 2004 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW'04), page 35, Washington, DC, USA, 2004. IEEE Computer Society. [^5]: R. Gonzales and R. Woods. Digital Image Processing. Addison-Wesley, Reading, USA, 1 edition, 1992. 1 [^6]: S. Haykin. Neural Networks. Prentice Hall, Upper Saddle River, USA, 2nd edition, 1999. 1 [^7]: T. Kahlmann, F. Remondino, and S. Guillaume. Range imaging technology: new developments and applications for people identification and tracking. Proceedings of SPIE IS&T, 6491(1):1, 2007. 3, 5 [^8]: T. K. Moon and W. C. Stirling. Mathematical Methods and Algorithms. Prentice Hall, Upper Saddle River, USA, 1 edition, 2000. 5 [^9]: T. Oggier, M. Lehmann, R. Kaufmann, M. Schweizer, M. Richter, P. Metzler, G. Lang, F. Lustenberger, and F. Blanc. An all-solid-state optical range camera for 3D real-time imaging with sub-centimeter depth resolution (Swiss-Ranger). In L. Mazuray, P. J. Rogers, and R. Wartmann, editors, Optical Design and Engineering. Edited by Mazuray, Laurent; Rogers, Philip J.; Wartmann, Rolf. Proceedings of the SPIE, Volume 5249, pp. 534-545 (2004), volume 5249 of Presented at the Society of Photo-Optical Instrumentation Engineers (SPIE) Conference, pages 534–545, Feb. 2004. 1 [^10]: T. Ringbeck and B. Hagebeuker. A 3d time of flight camera for object detection. In Proceedings of the 8th Conference on Optical 3-D Measurement Techniques, page Session 1. ETH Zürich, 2007. 1 [^11]: F. Wallhoff, M. Russ, G. Rigoll, J. Göbel, and H. Diehl. Improved image segmentation using photonic mixer devices. Proceedings of ICIP, 1(1):53–56, 2007. 1, 2, 4