# 深度图像中行人检测的一次尝试
吴声音 $^{1}$, 于仕祺 $^{1}$, 陈文胜 $^{2}$
$^{1}$ 深圳大学计算机与软件学院
$^{2}$ 深圳大学数学与计算科学学院
中国 深圳，518060
邮箱：{wushengyin@email., shiqi.yu@, chenws@}szu.edu.cn
摘要——本文研究深度图像中的行人检测问题。与强度图像中的行人检测不同，深度图像中的行人检测能够降低复杂背景和光照变化带来的影响。针对该任务，我们提出一种全新的特征描述子：深度差直方图（HDD）。正如方向梯度直方图（HOG）能够描述局部纹理特征，本文提出的HDD特征描述子可以描述局部区域的深度变化。为了评估深度图像行人检测的效果，我们还收集了一个大规模数据集，其中不仅包含深度图像，还包含同步采集的强度图像，数据集共包含4673个行人样本。实验结果表明，在深度图像中检测行人是可行的。我们还融合了来自深度图像的HDD特征与来自强度图像的HOG特征，融合后的特征在FPPW= $10^{-4}$ 时取得了99.12%的优异检测率。
关键词——行人检测，深度图像，HDD
## 一、引言
行人检测在机器人、监控等诸多领域都有大量需求。行人检测算法能够提升系统的感知能力。然而，由于光照、人体姿态、衣物、复杂背景和遮挡的变化，想要在图像中准确检测出人体十分困难。
近十年来，行人检测领域发展迅速，越来越受到计算机视觉研究者的关注。已有大量新方法被提出，用于检测图像和视频中的行人。一些早期研究采用Haar小波 [^1], [^2] 和边缘方向直方图 [^3] 作为特征描述子。Leibe等人通过概率自上而下分割结合了局部与全局线索，用于行人检测 [^4]。2005年，Dalal和Triggs提出了一种以方向梯度直方图（HOG）为特征描述子、SVM为分类器的方法 [^5]。该方法取得了优异的结果，是行人检测领域里程碑式的贡献，许多新方法都受到HOG的启发。由于HOG在实时检测中计算成本较高，Zhu等人采用AdaBoost和级联结构来加速HOG特征选择和行人检测过程 [^6]。为了解决部分遮挡问题，Wang等人 [^7] 结合HOG和局部二值模式（LBP）作为特征描述子，取得了良好的性能。Enzweiler等人 [^9] 对行人检测研究进行了综述和实验，其实验结果表明，与基于小波的AdaBoost级联和神经网络/LRF方法相比，HOG/线性SVM组合在更高分辨率下取得了出色的性能，处理速度则相对更低。但上述方法在扫描图像时，都仅局限于使用单个刚性模板的滑动检测窗口。2009年，Dollár等人对当时最优的行人检测系统进行了基准测试，其实验结果和分析表明HOG仍然具有很强的竞争力 [^10]。
尽管行人检测领域已经取得了诸多进展，但仍存在一些具有挑战性的问题，例如光照变化、复杂背景等。为解决这些问题，一种可行方案是使用深度图像。与强度图像不同，深度图像是一个二维数组，其中存储的像素值是物体到深度相机的距离。深度图像和灰度（或RGB）图像类似，只不过强度值被距离值替换。深度图像的像素值仅取决于物体的距离，对光照强度和颜色不敏感。已有不少研究者在深度图像行人检测方向做了开创性工作。Krotosky等人[^12]使用四台相机获取深度图像，提出了一种基于立体视觉的行人检测方法。Gidel等人采用多层激光扫描仪采集深度信息，并融合这些信息实现城市环境下的行人跟踪[^13]。Rohrbach研究了融合深度图和强度图的HOG与LEF特征描述子来检测行人，但其中的深度信息是由经过标定的立体相机计算得到的。[^14]
本文提出了一种深度图像行人检测的新方法。我们使用的深度相机是新型飞行时间（Time-Of-Flight, TOF）相机。TOF相机可以同时捕获整个场景，然后输出强度图像和深度图像。强度图像和深度图像是同步的，也就是说同一目标在这两种图像中的位置是一致的。本文使用的特征描述子命名为深度差直方图（Histogram of Depth Difference, HDD），它可以描述深度图像中的深度变化。我们采用SVM作为分类器。本文工作的主要贡献是通过实验证明了在深度图像中进行行人检测是可行的。
本文剩余部分的结构安排如下：第二节我们描述特征提取方法和分类器。第三节介绍实验所用数据集。实验与分析在
---
(a) A depth image. The yellow color means it is closer.
(b) A cell region $(8 \times 8)$ cropped from the depth image(a) (c) The depth differences of the pixels in the neck region. the cell.
Fig. 1. A depth image and the depth differences.
第四节介绍，最后第五节对本文进行总结。
### 二、本文提出的方法
### A. 深度差直方图
方向梯度直方图（Histogram of Oriented Gradients, HOG）是一种优秀的局部描述子，许多先进的行人检测方法都受其启发[^7]，[^6]，[^15]，[^16]。本文提出的特征名为深度差直方图（HDD），同样受到HOG的启发。正如[^5]中所述，一个检测窗口可以划分为重叠的块，每个块又划分为4个单元格。对于尺寸为$64 \times 128$像素的检测窗口，单元格尺寸为$8 \times 8$像素，一个检测窗口内共有$15 \times 7 = 105$个块。当然，窗口、块和单元格的尺寸也可以选择其他值。对于位于单元格内坐标$(x, y)$处的像素（图1(b)），其深度差计算方式如下：
$$ \begin{aligned}\Delta_{x}&=\frac{D(x+1,y)-D(x-1,y)}{2}\\\Delta_{y}&=\frac{D(x,y+1)-D(x,y-1)}{2}\end{aligned} $$
式中，$D(x,y)$是深度图像中$(x,y)$位置的深度值，$\Delta_x$和$\Delta_y$分别是X方向和Y方向的深度差。
由于深度差包含两个分量$\Delta x$和$\Delta y$，因此它也可以用幅值和方向表示，如图1(c)所示。从图1(c)中可以看出，深度差能够体现深度图像的深度变化。我们可以采用带方向分箱的直方图来描述一个单元区域。HOG与HDD的区别就在于方向分箱的区间设置：HOG的方向分箱均匀分布在$[0^{\circ}, 180^{\circ})$区间，该设置在行人检测中取得了最优性能[^5]。而本文方法所用的HDD，我们将重点放在分布于$[0^{\circ}, 360^{\circ})$区间的方向分箱上。由于人体始终比背景更靠近相机，人体边界处的HDD方向应当从人体区域向外指向背景区域，因此无需像HOG那样对方向进行翻转。HDD特征可以描述深度图像中的距离变化，表征局部几何结构。
### B. 支持向量机分类器
本文方法训练得到的带线性核的支持向量机（Support Vector Machine）[^17]，与Dalal和Triggs方法[^5]中使用的分类器完全一致。选择SVM的一个原因是方便在相同分类器下对比HDD与HOG的性能。此外，SVM本身也是一种在众多分类问题中表现出色的分类器。
### III. 数据集
据我们所知，目前还没有公开可用的面向行人检测的深度数据集，因此我们自行采集了一个同时包含强度图像与同步深度图像的数据集。我们使用的深度相机是由Mesa Imaging AG公司设计的飞行时间（Time-Of-Flight）相机，型号为SwissRanger™ SR4000 [^18]。该相机除深度图像外，还可以同步采集强度图像。深度图像和强度图像的分辨率均为$176 \times 144$。深度图像是距离数组，距离范围为0到5米；强度图像是灰度图像，强度数据的有效范围为0到65535。
利用该TOF相机，我们在3种不同的室内环境中采集了4637张行人图像和198张非行人图像。这些图像中的行人均处于站立或行走状态，人体朝向相机的方向不受限制，可以为任意方向；所有行人都为直立姿态，完全可见不存在任何遮挡。行人位置由矩形框手动标注。我们将4637个行人（正）样本划分为训练集和测试集两部分，其中包含3160个训练正样本和1477个测试正样本。此外，我们裁剪得到14199个训练负样本和56802个测试负样本。部分正负样本如图2和图3所示。该数据集可从获取。
---
Fig. 2. Some positive samples from our dataset. The intensity images are shown in the first row, while the depth images are in the second.
Fig. 3. Some negative samples from our dataset. The intensity images are shown in the first row, while the depth images are in the second.
### IV. 实验结果与分析
我们在自建数据集上对本文提出的方法进行了评估。实验默认参数设置参考Dalal和Triggs的工作[^5]。所有样本被归一化为固定尺寸$64 \times 128$像素，单元尺寸为$8 \times 8$像素，块尺寸为$2 \times 2$个单元，块步长为8像素。对于HDD特征，方向被划分为9个分箱，分箱均匀分布在$[0^\circ, 360^\circ)$区间，每个分箱的区间宽度为$40^\circ$。HOG同样设置9个方向分箱，但在$[0^\circ, 180^\circ)$的工作中，分箱均匀分布在[^5]区间。一个深度样本的HDD特征和一个强度样本的HOG特征都可以表示为3780维向量。
我们在实验中使用检测误差权衡（Detection Error Tradeoff, DET）曲线[^5]评估分类性能。该曲线衡量真实检测比例相对假阳性比例的关系，即采用漏检率对每窗口假阳性数（False Positives Per Window, FPPW）进行衡量。性能越优，漏检率和FPPW值越低。
我们共开展了两组实验。
第一组实验旨在研究影响HDD特征描述子性能的参数，[^5]指出：cell($8 \times 8$)、block($2 \times 2$)、步长(8)和归一化方案(L2-Hys)整体是最优选择。但对于方向区间空间而言，良好的方向编码会
### A. HDD特征的性能
带来更优的性能。HDD与HOG不同，正如第二节的分析，当同时考虑两个方向时，深度差异会更加显著。
第一组实验的结果如图4所示。增加方向区间数量可提升性能。在我们的实验中，18个方向区间优于9个。当HDD采用18个方向区间、方向区间空间为360°时，得到了最优曲线（FPPW = 10^{-4}时漏检率 = 3.8%），性能略优于方向区间空间为180°的配置。这些结果的贡献分为两方面：第一，衣物种类繁多，行人和背景之间的轮廓复杂，降低了对比度特征的区分度；第二，深度信息包含的显著对比度特征，能够在行人和背景的轮廓之外提供更具区分度的表征。
DET – Performance of different parameters of HDD
Fig. 4. The performance of different parameters on HDD.
### B. 不同描述子基于FPPW的实验
第二组实验用于比较不同特征描述子。我们使用的特征描述子参数均基于第一组实验得到的最优选择：HDD的参数采用第一组实验中性能最优的配置，HOG的参数则根据Dalal的研究[^5]设置。第一组实验采用深度图像提取的HDD特征，第二组实验采用强度图像提取的HOG特征，用于与HDD对比，最后一组实验融合深度图像的HDD和强度图像的HOG，以获得更优性能。
第二组实验的结果绘制为图5中的曲线。在FPPW=10^{-4}时，HDD的漏检率为3.8%，而[^5]中HOG的漏检率为11%。由于两次实验在不同数据集上开展，直接断言HDD优于HOG并不具备说服力。由于我们也采集了与深度图像同步的强度图像（如图2所示），因此我们在自己的强度
---
在该数据集上，当FPPW=10^{-4}时，取得了12.3%的漏检率。我们得到的HOG结果与[^5]中的结果相近。这表明HDD的性能优于HOG，HDD性能的提升来源于其对光照变化的鲁棒性。我们还尝试在我们的数据集上融合深度图像的HDD特征和强度图像的HOG特征：我们将HOG和HDD特征向量拼接为一个全新的7560-D（3780 \times 2）特征向量作为特征描述子。实验表明，使用融合后的特征描述子可以大幅提升性能，漏检率降至0.88%，意味着检测率达到了99.12%，这是一个令人振奋的结果。
Fig. 5. The performance of 3 different kinds of features on our dataset.
### V. 结论与未来工作
本文针对深度图像中的行人检测展开研究，提出了一种新型特征描述子——深度差直方图（Histogram of Depth Difference），用于描述局部深度方差。实验表明，HDD具备出色的判别能力，它可将漏检率从HOG的10.6%降至HDD的3.8%。若将深度信息与灰度信息结合，漏检率可低至0.88%。我们针对深度图像的研究表明，在深度图像中进行行人检测是可行的，且相比仅使用灰度图像的方法具备多项独特优势。
我们采集的深度图像分辨率相对较低（176 × 144），且存在噪声。未来我们将基于新型高分辨率深度相机开展研究，例如适用于XBOX 360的微软Kinect [^19]。Kinect可采集分辨率为640 × 480的深度图像，深度值的精度也高于我们目前使用的SR4000相机。但这两类深度相机都依赖主动红外光源，仅能在室内工作，无法在室外使用。利用激光扫描仪等其他设备实现户外行人检测也是我们感兴趣的研究方向。致谢：我们感谢柯佳博士为本研究提出的宝贵建议，感谢郁永芳先生在数据采集方面做出的出色工作。本工作得到深圳市基础研究计划（项目编号：JC200903170431A）、中国博士后科学基金（项目编号：）、国家自然科学基金项目60873168、深圳市科技计划项目（JC200903130300A）、广东省计算科学重点实验室（201106002）以及深圳市基础研究计划（项目编号：JC200903170431A）的部分资助。
## 参考文献
[^1]: A. Mohan, C. Papageorgiou, and T. Poggio, “Example-based object detection in images by components,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 4, pp. 349–361, Apr. 2001.
[^2]: P. Viola, M. J. Jones, and D. Snow, “Detecting pedestrians using patterns of motion and appearance,” in Proc. of the Ninth IEEE International Conference on Computer Vision, Oct. 2003, pp. 734–741 vol.2.
[^3]: W. T. Freeman, K. Tanaka, J. Ohta, and K. Kyuma, “Computer vision for computer games,” in Proc. of the The Second International Conference on Automatic Face and Gesture Recognition, Oct. 1996, pp. 100–105.
[^4]: B. Leibe, E. Seemann, and B. Schiele, “Pedestrian detection in crowded scenes,” in Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Jun. 2005, vol. 1, pp. 878–885 vol. 1.
[^5]: N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," in Proc. of the Computer Vision and Pattern Recognition, Jun. 2005, vol. 1, pp. 886–893 vol. 1.
[^6]: Q. Zhu, M. C. Yeh, K. T. Cheng, and S. Avidan, “Fast human detection using a cascade of histograms of oriented gradients,” in Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006, vol. 2, pp. 1491–1498.
[^7]: X. Wang, T. X. Han, and S. Yan, "An HOG-LBP human detector with partial occlusion handling," in Proc. of the IEEE 12th International Conference on Computer Vision, Oct. 2009, pp. 32–39.
[^8]: T. Ahonen, A. Hadid, and M. Pietikainen, “Face description with local binary patterns: Application to face recognition,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 12, pp. 2037–2041, Dec. 2006.
[^9]: Enzweiler M. and Gavrila D.M., “Monocular pedestrian detection: Survey and experiments,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 31, no. 12, pp. 2179–2195, dec. 2009.
[^10]: Dollár P., Wojek C., Schiele B., and Perona P., “Pedestrian detection: A benchmark,” in CVPR, June 2009.
[^11]: T. Corneliu and S. Nedevschi, “Real-time pedestrian classification exploiting 2D and 3D information,” Intelligent Transport Systems, IET, vol. 2, no. 3, pp. 201–210, Sep. 2008.
[^12]: S. J. Krotosky and M. M. Trivedi, “On Color-, Infrared-, and Multimodal-Stereo approaches to pedestrian detection,” IEEE Transactions on Intelligent Transportation Systems, vol. 8, no. 4, pp. 619–629, Dec. 2007.
[^13]: S. Gidel, P. Checchin, C. Blanc, T. Chateau, and L. Trassoudaine, “Pedestrian detection method using a multilayer laserscanner: Application in urban environment,” in Proc. of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Sep. 2008, pp. 173–178.
[^14]: Rohrbach M., Enzweiler M., and Gavrila D. M., “High-level fusion of depth and intensity for pedestrian classification,” in Proceedings of the 31st DAGM Symposium on Pattern Recognition, Berlin, Heidelberg, 2009, pp. 101–110, Springer-Verlag.
[^15]: McAllester D. Felzenszwalb P., Girshick R. and Ramanan D., “Object detection with discriminatively trained part based models,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 9, Sep. 2010.
[^16]: C. Zeng, H. Ma, and A. Ming, “Fast human detection using MI-SVM and a cascade of HOG-LBP features,” in Proc. of the 17th IEEE International Conference on Image Processing, Sep. 2010, pp. 3845–3848.
[^17]: V. N. Vapnik, The Nature of Statistical Learning Theory, Springer., 1995.
[^18]: “MESA Imaging AG.,” .
[^19] “适用于XBOX 360的微软Kinect，” .