# 一种基于密集近距立体视觉的人数统计系统 Tarek Yahiaoui¹、Cyril Meurie¹、Louahdi Khoudour¹、François Cabestaing² $^{1}$ 法国国家交通与安全研究院（INRETS-LEOST） 20 埃利泽·勒克吕路，BP 317，F-59666 阿斯克新城 Cedex {tarek.yahaoui, cyril.meurie, louahdi.khoudour}@inrets.fr $^{2}$ 里尔科技大学（LAGIS实验室，UMR 8146） 科学城，F-59655 阿斯克新城 Cedex 摘要。本文提出了一种基于立体视觉的公交车乘客人数统计系统。本研究的目标是提供一个能够很好适配公交运营环境的高精度人数统计系统。该统计系统对应的处理流程包含多个分别负责检测、分割、跟踪和计数的模块。系统从原始立体图像出发，主要利用由一种新型算法预先计算得到的视差图信息开展处理。研究表明，在包含实验室特定场景和公交运营期间实拍视频序列的大规模数据集上，本系统可以达到99%的计数准确率。 ## 1 引言 乘客人数统计是交通运营方一项非常重要的需求。实际上，运营方需要可靠精确的计数信息，才能以最合理的方式规划和管理人力、财力与物力资源。特别是共线运营方之间的收益分配、欺诈率评估这两个目标，都要求极高精度的计数信息。在这类需求下，目前常用的近似估算和统计方法无法满足要求。现有多种基于不同技术的公共交通人数统计系统，例如红外传感器、超声波、接触式地毯、光线感应等。然而，现有系统误差率过高，无法正确应对拥挤这类复杂场景。为解决该问题，我们开发了一种基于人工视觉和图像处理的计数系统，由多个利用立体视觉的处理模块组成。本文介绍了构成该计数系统处理流程的不同组件，同时给出了流程各模块的评估结果，以及专用数据集上的计数结果。 --- ## 2 本文提出的计数系统 准确统计公交车内的乘客人数是一项特别棘手的工作。仅使用单摄像头系统并不足够，原因包括遮挡、光照变化以及公交车内人群行为导致的复杂布局。因此，我们选择了基于稠密立体视觉的方法 [^1], [^2]。该方法对光照变化的敏感度更低，还能为检测、建模和跟踪物体或人物提供必要信息。此外，立体视觉更适用于物体或人员距离传感器非常近的场景，而公交车内人员计数正好属于这类场景，其集成环境约束非常严格。使用立体视觉技术的目标是确定传感器到场景中每个点的距离信息。该距离与视差成反比。我们选择稠密立体视觉而非稀疏立体视觉，因为上文提到的原因，稀疏立体视觉的基元提取难度较大。不过，即便我们选择采用稠密立体视觉，在可行的情况下我们仍会提取边缘这类特定点。我们所提系统的基本思路是：通过特定立体匹配得到视差图后，隔离并分离出乘客的头部以完成计数。为实现这一目标，传感器垂直固定在公交车车门上方。采用这种布局，我们减少了遮挡问题，并且无论人群如何排布，我们都认为乘客的头部很少会相互接触。 ## 3 处理流程 处理流程包含四个模块：立体匹配检测、分割、跟踪和计数。检测模块为每对立体图像计算稠密视差图，再将其转换为高度图。每张高度图都表示场景中每个点距离地面的高度。对高度图进行分割，以凸显不同身高的乘客头部（成人、青少年、儿童……）。该步骤的输出是包含头部相关信息的二值图像，我们将其称为“核”。提取模块为每个核赋予一系列参数：核的大小、形状、平均灰度、平均高度……随后，结合此前得到的核相关信息，应用跟踪流程分析各个核的运动轨迹。 ## 4 视差图计算 现有文献中，立体匹配流程共有三类匹配技术：1) 全局方法：动态规划 [^3], 图论 [^4], 非线性扩散 [^5] 和置信传播 [^6]。2) 局部方法：相关法和差分方法 [^7]。3) 协同方法 [^8]。 --- 不过，人员计数应用需要快速的匹配技术。SAD算法（绝对差值和）[^9], [^10] 是一种基于对应像素邻域之间差异函数的方法，能够在鲁棒性和处理时间之间取得平衡。需要说明的是，在公交车内乘客计数场景中，传感器距离观测物体非常近，因此我们将其称为“近距立体视觉”。这种几何配置的主要难点在于立体图像中存在大量遮挡，即某个区域只出现在一张图像中，另一张图像中没有该区域。为解决该问题，我们提出了一种基于SAD差异度量的技术，并在其中加入了额外约束条件。 ### 4.1 相似性约束与非相似性度量加权 我们将待匹配像素与其对应同源像素之间，或二者各自邻域之间存在的任意判别性相似准则称为相似性约束。使用这类约束的目标是：1）通过剔除不满足约束的候选像素，减少计算时间；2）通过选择相关性强的像素，提升匹配的准确率。 在本文研究中，我们希望提升立体匹配的质量。因此，我们提出通过对SAD非相似性度量进行加权，来优化同源像素的选择。该方法通过引入权重因子实现，权重因子的取值取决于相似性准则是否满足。当满足相似性准则时，加权处理会降低非相似性度量值，从而仅让满足相似性准则的像素参与匹配；当不满足相似性准则时，权重的取值不会对非相似性度量值产生任何影响。为了对约束的影响建模，我们选择将该相似性准则乘以权重因子，此时非相似性度量可写为： $$ C_{S A D}(x,y,s)=\sum|G(x+i+s,y+j)-D(x+i,y+j)| $$ G(x,y)：左图像中待匹配像素(x,y)的灰度值；D(x,y)：右图像中像素(x,y)的灰度值；S：左右两个像素之间的偏差。 引入相似性准则后的非相似性度量可写为如下形式： $$ C_{sim}(x,y,s)=coef\sum|G(x+i+s,y+j)-D(x+i,y+j)| $$ 其中coef为权重因子：若不满足相似性准则，coef = 1；否则coef = coef_{0}，且0 < coef_{0} < 1。 --- ### 4.2 本文提出的约束 我们确定了四个相似性约束，详情如下。引入这些约束后，在提升匹配准确率的同时，不会大幅增加处理时间。1）邻域中心灰度值相似性；2）像素类型相似性（判断像素是否属于边缘）；3）计算邻域中心线路（下一公式中简称CCN）对应的灰度剖面相似性；4）待匹配像素所属区域类型相似性（运动区域或静态区域）。我们分别为这些约束关联了系数$\alpha$、$\beta$、$\gamma$和$\mu$，这些系数的取值会根据约束是否满足而变化。 $$ \alpha=\left\{\begin{aligned}&1\quad if\quad G\quad and\quad D\quad do not have the same greylevels\\ &\alpha_{0}\quad with\quad0<\alpha_{0}<1\quad otherwise\end{aligned}\right. $$ $$ \beta=\left\{\begin{matrix}1&if&G&and&D&do not represent edge\\ \beta_{0}&with&0&<\beta_{0}&<1&otherwise\end{matrix}\right. $$ $$ \gamma=\left\{\begin{matrix}1&\text{if}\quad\text{the CCN do not have the same greylevels profile}\\ \gamma_{0}&\text{with}\quad0<\gamma_{0}<1\quad\text{otherwise}\end{matrix}\right. $$ $$ \mu=\left\{\begin{matrix}1&if&G&and\quad&D&do not correspond to a mobile region\\ \mu_{0}&with&0<\mu_{0}<1&otherwise\end{matrix}\right. $$ 其中G对应G(x+s,y)，D对应D(x,y)。我们通过实验确定了$\alpha_0$、$\beta_0$、$\gamma_0$和$\mu_0$的最优值：我们根据SCHARSTEIN AND SZELISKI提出的给定真值，选择了使立体匹配错误率最小的取值。 ### 4.3 约束组合 到目前为止，我们已经提出了四个用于提升匹配准确率的相似性约束。由于每个约束的性质各不相同，对它们进行组合并分析互补性具有重要研究意义。核心思路是尽可能多地收集待匹配像素、其同源像素以及二者邻域的相关信息。我们选择使用加法模型计算非相似度，即将四个准则的非相似度相加，整体公式可写为： $$ C(x,y,s)=(\alpha+\beta+\gamma+\mu)\sum|G(x+i+s,y+j)-D(x+i,y+j)| $$ 为了评估我们的方法，我们将其与SAD（绝对差和）、SSD（平方差和）、ZSAD（零均值绝对差和）和ZSSD（零均值平方差和）在静态数据上进行了比较， --- 由SCHARSTEIN和SZELISKI提供真值的静态数据，以及使用VANDERMARK序列获得真值的动态数据[^11]。通过对比我们的方法与其他方法的立体匹配错误率曲线，我们发现我们方法的错误率比其他方法低3%[^12]。该结果主要来自图像的遮挡区域。图1给出了在一对立体图像上计算得到的两幅视差图。我们可以看到，SAD算法出现了一些匹配错误（用圆圈标出），这直观地展示了在SAD计算中引入约束所带来的提升。 ![Image](images/e6cfeeed6f6b5efd0ef8741af6569fcd1156ed4b3401a4d4d944775b5d49f19b.jpg)
Fig. 1. Disparity maps corresponding to laboratory stereoscopic images (from left to right: initial left image, SAD disparity map with errors outlined with circles, our approach of disparity map)
## 5 利用视差图进行行人跟踪与计数 我们的立体匹配方法计算得到的视差图通过简单三角测量转换为高度图。为了突出乘客的头部，我们提出了一种基于给定数量高度区间的分割技术。对于每个区间，我们会得到一张二值图像，只有高度属于该区间的区域才会出现在这张图像上。在给定区间内，使用形态学操作（即采用圆形结构元素的开运算）可以让我们在时空上定位乘客的头部。在完成所有区间的处理后，我们得到一张包含核心区域的二值图像，这些核心区域被认为对应行人头部。图2展示了对一张高度图进行分割的示例，该高度图对应从传感器下方经过的两名行人。 随后，在跟踪应用中，我们为每个核心区域关联一个属性向量。该向量包含一组可将同一场景中不同对象区分开的属性。在我们的任务中，需要跟踪的对象是乘客的头部，属性即为不同头部之间各不相同的特征。我们考虑的属性包括：核心区域大小、核心区域宽度、核心区域长度、平均高度（单位：厘米）、平均灰度值（来自原始图像）、核心区域坐标x,y（在二值图像中）。我们采用了一种基于卡尔曼滤波的技术 --- ![Image](images/84011b937277e19489c8b5669154799c91df4af890b07b40d6dbd7cee2a338f6.jpg)
Fig. 2. Example of a height map segmentation (from left to right: initial left image, the height map, the kernels map)
进行核心区域跟踪。该方法会预测核心区域的位置，并将预测结果与当前属性向量进行对比。在实现该技术时，我们选择简化计算，仅对核心区域重心在图像中的x和y坐标这两个分量进行预测。我们开发的计数技术基于对有效轨迹概念的分析[^12]。 ## 6 评估与结果 首先，我们注意到该计数系统已经在真实数据集上完成了全面评估。用于测试系统的数据来自两个不同来源：巴黎交通运营商（RATP）提供的对应30个特定场景脚本的实验室数据，以及在运营公交车上采集的3段真实视频序列。大多数场景为下车人员。图3所示的计数结果给出了实验室每个序列中上下车的人员数量。从图中可以看到真值计数结果与我们算法计算得到的计数结果的对比。可以发现，无论场景难度如何，真实计数与我们方法计算得到的计数之间的差异都非常小。实际上这些差异都落在区间$[-1; +1]$内。图4所示的三个公交车场景的计数结果也符合这一结论。前两个场景没有出现计数错误，仅第三个场景存在轻微的计数低估。这一结果非常令人振奋，证明了我们算法的鲁棒性，它能够应对各类不同场景（高密度人群反向移动、不同体型的人员、携带行李等）。为了全面确定我们计数系统的准确率，也就是综合所有场景、同时计入上车和下车情况，我们定义了错误率，计算方式如公式8所示。在该公式中，我们以真实计数（真值）作为比较基准，计算我们算法得到的计数与真值之间的差值。最终得到的错误率约为1%。在实验室场景中，无论 --- 考虑何种光照类型（1-15号场景为日光，16-30号场景为人工光照），得到的错误率都相同。对计数结果进行更细致的分析后，我们发现我们的系统会系统性地低估人员数量。造成这一现象的原因有三点：1）体型较小的人员难以检测，容易与物体混淆；2）视差图分割步骤中结构元素的尺寸问题；3）对应两个不同人员的两条轨迹发生了合并。 $$ E r r o r_{c o u n t i n g}=100\frac{(R e a l_{c o u n t i n g}-A u t o m a t i c_{c o u n t i n g})}{R e a l_{c o u n t i n g}} $$ ![Image](images/49d623681c3bc43e3eb711b56fa967e9274d607dcb97b99ba10f264da9369b9c.jpg) ![Image](images/910a2eba5867a9ff94626cbd6a0b082ebd83f9369d06086207ce0abb4053164e.jpg)
Fig. 3. Counting results for 30 scenarios in laboratory (from top to bottom: exiting from and entering in the bus by the same door)
![Image](images/25aac6ea9da8acb08a6b7c5b67ef9d2a87f5efc12d5624178295e294758e596a.jpg) ![Image](images/19d9fbbea53db1e34380b1afb432e1778211f744a30263fe76fd2aa8e80ac206.jpg)
Fig. 4. Counting results for 3 scenarios in bus (from left to right: entering in and exiting from the bus by the same door)
--- ## 7 结论 在这项工作中，我们研究了一个需要结合不同图像处理领域工具的问题。立体视觉是我们针对本应用调整后使用的最核心工具。我们提出了一种融合相似性准则的立体匹配方法，以改进视差图的计算。本研究的基础层面与应用层面紧密结合，这让我们实现了两个目标：一是得到一个计数准确率达99%的精确计数系统，二是通过提出一种利用相似性约束的匹配方法，为立体图像处理领域新型基础工具的发展做出贡献。计数准确率还需要通过更大规模的评估进一步优化。目前这项工作正在开展，我们使用了包含150段取自运营公交车的立体序列的新数据集。我们有充分信心，依靠我们完整的处理流程，错误率可以维持在2%以下。 ## 参考文献 [^1]: Beyme, D.: Person counting using stereo. In: Workshop on Human Motion, pp. 127–133 (2000) [^2]: Terada, K., et al.: A counting method of the number of passing people using a stereo camera. In: 25th IEEE Conference of Industrial Electronics Society, pp. 338–342 (1999) [^3]: Bobick, A.F., Intillle, H.S.: Large occlusion stereo. International Journal On Computer Vision 33, 181–200 (1999) [^4]: Paris, S., Sillon, F.: Optimisation à base de flot de graphe pour l'acquisition d'informations 3d à partir de séquences d'image. In: 15 èmes Journées de l'Association Française d'Informatique Graphique, pp. 165–182 (2002) [^5]: Mansouri, A.R., Mitiche, A.: Selective image diffusion: Application to disparity estimation. In: IEEE International Conference on Image Processing, vol. 3, pp. 284–288 (1998) [^6]: Sun, J., Zheng, N.N.: Stereo matching using belief propagation. IEEE Transactions on Pattern Analysis and Machine Intelligence 25(7), 787–800 (2003) [^7]: Wei, G.Q., Brauer, W., Herzinger, G.: Intensity and gradient based stereo matching using hierarchical gaussian basis functions. IEEE Transactions on Pattern Analysis and Machine Intelegence 20(11), 1143–1160 (1998) [^8]: Zhang, Y., Kambhamatteu, C.: Stereo matching with segmentation-based cooperation. In: 7th European Conference on Computer Vision, vol. 2, pp. 556–571 (2002) [^9]: Martin, J., Krowley, J.L.: Experimental comparison of correlation techniques. In: International Conference on Intelligent Autonomous Systems (2002) [^10]: Haris, S., Vandermark, W., Cavrila, D.M.: A comparative study of fast dense stereo vision algorithms. In: IEEE Intelligent Vehicles Symposium, pp. 319–324 (2004) [^11]: Vandermark, W., Gavrila, D.M.: Real-time dense stereo for intelligent vehicles. IEEE Transactions on Intelligent Transportation Systems 7(1), 38–50 (2006) [^12]: Yahiaoui, T.: Une approche de stéréovision dense intégrant des contraintes de similarité. Application au comptage de passagers entrant et sortant d'un autobus. PhD thesis, University of Lille (2007)