# 录用手稿
使用RGB-D相机实时检测与追踪人体
Jun Liu, Ye Liu, Guyue Zhang, Peiru Zhu, Yan Qiu Chen
PII: S0167-8655(14)00302-X
DOI: 10.1016/j.patrec.2014.09.013
参考编号：PATREC 6096
即将发表于：《Pattern Recognition Letters》
接收日期：2014年5月14日
录用日期：2014年9月24日
请按如下格式引用本文：Jun Liu, Ye Liu, Guyue Zhang, Peiru Zhu, Yan Qiu Chen, 使用RGB-D相机实时检测与追踪人体, Pattern Recognition Letters (2014), doi: 10.1016/j.patrec.2014.09.013
这是一份已被录用发表但尚未编辑的手稿PDF文件。为方便读者，我们提供这份手稿的提前版本。手稿将在最终出版前进行文字编辑、排版以及校样审核。请注意，出版过程中可能会发现影响内容的错误，所有适用于该期刊的法律声明均有效。
---
## 作者身份确认 录用稿件
## 请保存此文件副本，填写完成后作为“作者身份确认书”文件上传
作为通讯作者，我，$\underline{\text{Yan Qiu Chen}}$ ，在此代表所有作者确认：
1. 本手稿，或其大部分内容， $\underline{\text{has not been published, was not, and is not being submitted to}}$ 其他任何期刊。
2. 如果 $\underline{\text{presented}}$ 在或 $\underline{\text{submitted}}$ 投递至或 $\underline{\text{published}}$ 在会议发表，相关会议信息已标注，大量 $\underline{\text{justification for re-publication}}$ 已在下方说明。一份 $\underline{\text{copy of conference paper(s)}}$ 已随本手稿上传。
3. 如果本手稿以预印本形式出现在网络任何位置，例如arXiv等，相关信息已在下方标注。 $\underline{\text{preprint should include a statement that the paper is under consideration at Pattern Recognition Letters.}}$
4. 除标注来源的内容外，所有文本和图表均为作者 $\underline{\text{original works}}$ ，所有必要的出版许可均在提交本手稿前获得。
5. 所有作者均对本文报道的研究做出了重要贡献，并且 $\underline{read}$ 和 $\underline{approved}$ 这份提交的手稿。
签名 $\underline{\text{Yan Qiu Chen}}$ $\underline{\text{Date}}$ 2014年8月24日
## 列出所有预印本
## 相关会议出版物（已投稿、已录用或已出版）
J. Liu, Y. Liu, Y. Cui, and Y. Q. Chen, 复杂环境下基于单个GRBD相机的实时人体检测与追踪, 收录于IEEE International Conference on Image Processing (ICIP), 2013年9月。（已出版）
## 再次出版合理性说明
本文是发表于ICIP 2013的会议论文的扩展版本，我们在本手稿中做了大量改进：
1. 补充技术细节：
(a) 加入了更多实现细节。
(b) 新增了地平面定位方法。
(c) 新增了关于将本文方法适配到多相机系统的讨论。
2. 更多实验：
(a) 所提系统使用作者采集的更多RGB-D视频序列完成了评估。
(b) 本文还补充了在另外两个公开数据集（包含一个移动相机数据集和一个办公场景数据集）上开展的实验，以更系统地评估该系统的鲁棒性和通用适用性。
(c) 补充了对本文提出的各检测特征的贡献分析。
(d) 还对本文方法第一检测阶段的准确率进行了定量分析。
(e) 评估了距离对检测准确率的影响。
(f) 将所提方法的性能与一种最新方法进行了对比。
(g) 采用更多训练样本来提升检测器的性能。
3. 对所提方法的研究动机给出了更清晰的阐述：
本文方法的研究动机和贡献在引言部分和方法部分进行了更清晰的说明。
由于我们完成了多处扩展和重大改进，我们认为本文适合发表在Pattern Recognition Letters。
---
## 图形摘要（可选）
如需创建您的摘要，请覆盖下方模板框中的说明文字进行编辑。请勿更改或调整字体或摘要尺寸。
在此处输入您的文章标题
在此处输入作者姓名
ELSEVIER
这
---
## 研究亮点（必填）
如需创建您的亮点，请在每个\item命令后输入亮点内容。
亮点应为一组简短的项目符号，传达文章的核心发现。需要包含3至5个要点（每个要点含空格在内最多85个字符）。
- 提出了一种PEI表示方法，可在保留所有像素信息的同时缓解原始图像域中的重叠问题。
- 提出了一种人体合理候选区域定位技术，可快速缩小检测器的搜索空间。
- 提出了两种新型特征，用于表征三维空间中的人体形状和外观。
- 单遍渐进优化框架使本系统能够在实时运行的同时实现较高准确率。
---
## 基于RGB-D相机的实时人体检测与跟踪
刘俊 $^{a}$，刘晔 $^{b}$，张古月 $^{a}$，朱培儒 $^{a}$，陈雁秋 $^{a,**}$
$^{a}$复旦大学计算机学院，中国 上海 201203
$^{b}$南京邮电大学自动化学院，中国 南京 210023
### 摘要
本文提出了一种使用单个RGB-D相机，在杂乱动态环境中自动检测和跟踪不同姿态人物的新方法。原始RGB-D像素被转换为一种新颖的点集成图像（Point Ensemble Image, PEI），我们证明，利用这种新表示可以非常高效地完成三维空间中的人体检测与跟踪。第一阶段的检测器快速定位符合人体形态的合理候选，随后在第二阶段通过监督学习与分类对候选进行进一步精细筛选。我们通过计算颜色和高度的联合统计量完成数据关联，生成被跟踪行人最终的三维运动轨迹。在公开的办公室数据集、移动相机数据集，以及我们构建的真实场景服装店数据集上开展的定性和定量实验均取得了非常可观的结果。
© 2014 爱思唯尔有限公司 保留所有权利。
#### 1. 引言
视频序列中的人体检测与跟踪是一项关键研究问题，在安全监控（Zhou 和 Hoang, 2005）、人群集体行为研究等领域有着广泛应用，吸引了大量研究关注（Fablet 和 Black, 2002；Fleuret 等., 2008；Zhang 等., 2008；Liu 等., 2009；Wang 等., 2012）。由于存在遮挡、外观变化、复杂动态背景等诸多严峻挑战，该问题目前仍未得到完全解决。
绝大多数早期研究（Perez 等., 2002；Moore, 2003；Zhu 等., 2006）使用缺乏深度信息的传统视频相机。尽管多年的持续研究已经提出了一系列方法，能在部分基准视频上取得不错的效果，但在这类图像序列中完成人体检测与跟踪的任务仍然极具挑战性。部分方法提取空间全局特征（Felzenszwalb, 2001），另一部分方法则使用结合局部特征和Boosting的统计学习方法，例如EOH（Levi 和 Weiss, 2004）、HOG（Dalal 和 Triggs, 2005）和edgelet（Wu 和 Nevatia, 2007）。尽管许多文献称这些方法在各自的基准数据集上能得到较好的检测跟踪结果，但在更具挑战性的实际应用中，它们的性能会大幅下降：当背景动态且复杂时，传统相机获取的特征很难对人体进行有效表征。而人体姿态变化大、自遮挡、交叉遮挡等其他挑战也让该问题进一步复杂化。
为应对这些挑战，已有多位研究者提出使用立体设备生成深度数据（或视差图像）的方法（Yous 等., 2008；Ess 等., 2009；Enzweiler 等., 2010；Haritaoglu 等., 2013）。Mitzel 和 Leibe (2012) 提出的方法使用学习得到的上半身深度模板，能在拥挤场景下良好运行，但该方法需要多尺度下采样（采样率会限制检测精度和运行效率）。Bahadori 等人 (2007) 的系统利用图像连通块与世界空间连通块之间的对应关系，可以缓解原始图像中的遮挡问题，但在人群高度拥挤的场景下仍然面临连通块分割的困难。尽管这些方法相比使用缺乏三维信息的传统相机的方法更具优势，但深度数据由立体匹配算法生成，这类算法本身难以处理无纹理区域和深度不连续区域，因此深度数据质量受限。此外，在没有专用硬件的情况下，立体视觉的计算成本很高，因此实时
---
Fig. 1. Major stages of proposed system.
处理很难实现（Ikemura 和 Fujiyoshi, 2010）。
近年来，Kinect（Han et al., 2013）、Xtion和TOF等深度相机已以可负担的价格得到广泛普及，与立体摄像装置相比，深度图的质量得到了大幅提升。使用这类传感器的研究（Luber et al., 2011; Zhang et al., 2013）已经证明，深度相机在处理人员之间的严重遮挡和复杂背景问题方面，无论在准确率还是效率上都具有巨大价值。在现有研究中，深度相机通常有两种放置方式：一种是垂直置于头顶上方（Dan et al., 2012; Bevilacqua et al., 2006），另一种是水平放置在与人体等高的位置（Salas and Tomasi, 2011; Han et al., 2012）。前一种放置方式能大幅减少遮挡，但无法很好地捕捉人体细节；后一种方式的优缺点正好相反：可以更完整地观测人体，但会频繁出现严重遮挡问题。倾斜视角或许能在观测完整性和遮挡之间取得不错的平衡。即便采用这种设置，在复杂环境中检测被部分观测到的人员同时保持极低的误报率仍然颇具挑战性。此外，算法需要足够快才能应用于实时任务中。
本文针对倾斜视角RGB-D视频提出了一个实时人员检测与跟踪系统。所提方法为三级级联结构。第一阶段，将RGB-D数据从俯视图视角转换为点集成图像（Point Ensemble Image, PEI），以便后续两个阶段的处理。第二阶段，无监督检测器快速筛选出疑似人体的位置，随后分类器利用两种新特征对这些位置进一步优化，这两种特征分别是高度差直方图（Histogram of Height Difference, HOHD）和颜色-高度联合直方图（Joint Histogram of Color and Height, JHCH）。最后，对检测响应进行数据关联，生成三维轨迹。实验结果表明，所提的级联结构可实现极快的检测与跟踪速度，性能相比现有方法具备显著优势。该工作的初步成果已发表于（Liu et al., 2013）。
本文的贡献包括：（1）提出了PEI表示方法，可在保留所有像素信息的同时缓解原始图像域中的重叠问题。（2）提出了疑似人体候选区域定位技术，可快速缩小搜索空间，无需后续流程扫描整个点云。（3）提出了两种全新特征HOHD和JHCH，能够在三维空间中高效且有效地表征人体的形状与外观。（4）采用单次遍历的渐进式优化框架，由于后续阶段需要检查的候选位置越来越少，系统可实现实时性能。
本文剩余部分安排如下：第2节介绍所提方法的细节，第3节展示实验结果，第4节总结全文。
#### 2. 方法
我们的研究动机是开发一套使用单个RGB-D相机的人体检测与跟踪系统，同时实现实时运行与高准确率。为了达成这一目标，我们提出了一种新颖的点集成图像（Point Ensemble Image, PEI）表示方法，解决直接使用RGB-D图像时遇到的分割难题。我们还开发了一种多阶段增量滤波检测方法，通过初始步骤快速剔除不合理候选，提升计算效率，再对剩余少量候选进行细致检验以获得高准确率。我们提出了一种新颖的颜色-高度联合直方图（Joint Histogram of Color and Height, JHCH）来关联检测结果，结合卡尔曼滤波得到人体的三维运动轨迹。图1展示了所提系统的整体框架。
##### 2.1. PEI表示法
由于斜视角下人体之间频繁发生相互遮挡，原始图像域的分割常常存在欠分割和过分割问题。将原始数据转换为平面俯视图后，这两个问题都能得到大幅缓解，如图2所示。
利用深度信息，像素可以反向投影到三维空间，构建相机坐标系下的三维点云。我们可以建立一个新的坐标系：以地面作为XY平面，竖直向上的方向作为Z轴，再用正方形网格对地面平面进行离散化。映射到新坐标系后的点云投影到XY平面，生成地面的俯视图。借助这种虚拟视角，很多情况下分割难度都能大幅降低。
---
Fig. 2. (a) 3D point cloud of a person. (b) The point cloud in plan-view. (c) In height map representation, only the upper portion of the body is kept well. (d) In the proposed PEI, all of the pixels (points) from original RGB-D image (3D point cloud) are maintained. To differentiate, the cells in the plan-view are color coded in (c) and (d), and each 3D point which will be recorded in the projected cell is labeled with the corresponding color of that cell. In (b) and (d), the green dotted lines indicate the neighborhood area of the human head crown in PEI.
对俯视图进行离散化的正方形网格定义为 $g^{i,j} : \left\{ \begin{array}{l} (i-1)\varepsilon \leq x < i\varepsilon \\ (j-1)\varepsilon \leq y < j\varepsilon \end{array} \right.$，其中 $g^{i,j}$ 是网格中编号为 $(i, j)$ 的网格单元，$(x, y)$ 是XY平面上的点坐标，$\varepsilon$ 是网格分辨率（较小的 $\varepsilon$ 值有助于表征更多形状细节，但会增加计算时间。此外还需要考虑相机深度精度的限制，通常1-4厘米是比较合适的取值）。
在高度图表示法中（Bahadori等人，2007），俯视图图像的每个网格单元仅保留投影到该单元内的最高点（即Z值最大的点）的信息，如图2(c)所示。尽管该方法已经取得了不错的效果，但大量细节信息被丢失了（Yous等人，2008）。我们提出了一种新颖的点集成图像（PEI），如图2(d)所示，它既保留了俯视图的优势，又保留了所有三维点的信息。
在PEI（记为E）中，每个网格单元记录投影到该单元内的所有点的集合，可以表示为：
$$ E^{i,j}=\Bigl\{p\mid p\in P,\;(x^{p},y^{p})\in g^{i,j}\Bigr\}, $$
其中P是新坐标系下的点云，$p = (x^p, y^p, z^p)$ 是P中的一个三维点。
##### 2.2. 人体检测
背景减除法被广泛应用于人体检测，但在超市、服装店这类真实场景中，背景往往是动态的，因此该方法效果不佳。目前已有几种不依赖背景减除的基于深度相机的人体检测方法（Xia等人，2011；Dan等人，2012）。在很多情况下这些方法的性能都会受到限制：因为当发生相互遮挡、深度数据不完整时，这些方法中至关重要的头身形状先验很容易被破坏。
我们没有通过对目标施加强形状先验来开展检测，而是采用渐进式的检测方案。我们提出的两阶段滤波方法能够联合利用深度数据和RGB数据的优势。在第一阶段，绝大多数不符合人体形态的误检结果就可以被快速剔除，随后在第二阶段通过基于学习的分类器进一步提纯响应结果（如图3所示）。
###### 2.2.1 第一阶段：检测符合人体形态的候选位置
在初步检测阶段，我们寻找邻域内高度高于所有其他点的三维点（即局部高度极值点）。对于点云中的任意点p，我们以半径$\omega/2$构建圆柱邻域（$\omega$为人体躯干的平均宽度），如图2(b)(d)所示。我们将圆柱内所有点的高度值与点p的高度进行比对。得益于点集合图像（Point Ensemble Image）表示方法，该计算过程十分高效。点p的邻点集合可以在PEI（记为E）上按如下方式计算：
$$ \mathcal{N}=\Bigl\{x\bigm|x\in c^{^{\prime}},\;c^{^{\prime}}\in E,\;|c^{^{\prime}}-c|<\omega/2\Bigr\}, $$
其中c是p投影到E后所在的网格单元，$c'$表示c的邻近网格单元（包含c本身）。
所有在自身邻域内高度最大的点都会被视作潜在的人头头顶点（整个邻点集合代表整个人体）。为了提升处理速度和检测可靠性，我们仅考虑高度介于最小高度阈值（ $h_{min}$）和最大高度阈值（ $h_{max}$）之间的点，这一步可以过滤掉大量不符合条件的点，例如靠近地面和天花板的点。
即使在高度复杂、人群拥挤的场景下，该阶段也能保证最终响应结果中通常包含真实的头顶位置。尽管仍存在误检，但需要进一步搜索的空间已经被大幅缩减。
###### 2.2.2 第二阶段：基于学习的优化
我们随后判断上一阶段筛选得到的目标是否确实为人体。我们训练了一个分类器，使用两种分别编码形状信息和外观信息的特征。两种特征均从PEI中采集得到的邻点集合中提取。特征基于人体上半部分设计，因为人体下半部分更常发生遮挡，且形变程度更大。各特征的描述如下：
### 高度差直方图（HOHD）
人体上半身的三维形状与其他物体存在显著差异。这一点在俯视图中可以清晰观察到，如图2(b)所示。在俯视图中，头顶点的高度大于头部其他点，也显著大于肩部区域的点。此外，头顶与肩部之间的高度差通常处于一个较小的可学习范围内。这种高度变化规律可以通过高度差的统计形式进行描述。
对于一个局部高度极值点（即头顶点），我们将其高度值减去其圆柱邻域N内所有点的高度值，邻域N从PEI中采集得到。由于我们这里仅关注人体上半部分，因此仅从N中选出满足以下两个条件的点子集：
a) 该点在其投影所在的网格单元中高度最大；
---
(a)
(b)
(d)
(c)
(e)
(f)
Fig. 3. Detection process. The left column shows the original depth and RGB images. The middle and right columns respectively illustrate the detection results of Phase 1 and Phase 2. Figures (b) and (c) show the detection results from plan-view perspective, and the circle centers indicate the detected head crown positions. In (e) and (f), the points in the cylindrical neighborhood of a detected head crown in 3D space are considered to belong to the same object and are given the same color mark.
b) 该点与头顶点之间的高度差小于阈值（ $\eta$，为平均人体身高的四分之一）。
基于身高差的统计数据，我们构建了一个包含15个区间的归一化直方图。通过构建直方图，我们无需像Xia等人（2011）那样对人体形状做出严格假设，因此该特征在含噪声甚至不完整的数据上依然有效。
颜色-高度联合直方图（JHCH）：
颜色分布（Perez等人，2002）和高度（或深度）模式（Choi等人，2013）已被证明在人体检测与跟踪中十分有效，且已有研究利用了二者的简单线性组合（Dan等人，2012）。为了利用二者之间的关联信息获得更高的性能，我们提出一种带有5个高度区间的颜色-高度联合直方图（JHCH），用来表征人头的外观信息。如图4(a)所示，头部的颜色统计数据基本采集自头发和面部，若从背面观察人体则仅采集自头发，且这些像素分布在不同的高度层级。由于HSV颜色空间的色调分量对光照变化的敏感度更低，因此我们将其用作直方图的颜色模型。在本文工作中，我们将色调范围划分为9个区间。对白像素和黑像素进行单独处理，并记录在额外的区间中。我们采集头顶邻近点中，高度值比头顶高度小$\lambda$（人头的近似长度）的点，来构建二维JHCH。
通过对颜色和高度进行统计描述，JHCH即使在处理不同发型、不同头部姿态的人物时也能表现良好。
#### 2.3 人物跟踪
通过检测阶段的目标会被传入跟踪模块。由于本文提出的人体检测方法能够
(a)
(b)
Fig. 4. (a) 2D JHCH of human head. With the increment of height, the probability of the occurrence of skin color decreases, while the color of hair may be the opposite. This can be considered as a distinct feature of human head. (b) 2D and 3D JHCHs of the body. JHCH, which encodes information about the positions of colors on the object, is an effective descriptor of a human. In this figure, probability of each bin is expressed with a grayscale value (a darker bin indicates a higher probability).
得到相对干净的检测结果，因此人体跟踪变得更易处理。本文采用了一种简单、高效且效果良好的跟踪方案。我们使用基础的卡尔曼滤波模型和贪心数据关联技术，在该技术中，会为每个轨迹分配当前帧中与该轨迹最相似、且距离卡尔曼滤波预测位置最近的检测结果。该问题的挑战在于定义一个能够更好反映不同个体之间差异的相似度函数。
通常情况下，不同的人拥有不同的颜色-高度分布。为了自动跟踪数量未知的人物，本文再次使用了第2.2节提出的JHCH描述子。在区分不同个体方面，JHCH优于颜色直方图、高度模型，或是二者的简单组合，因为JHCH能更好地挖掘颜色和高度之间的关联（它记录了颜色在目标上的位置，因此能提供更多的区分信息）。二维JHCH模式在描述人头外观方面足够有效，但在表征整个人体时，由于差异性极大，其有效性会受到限制。
---
eties类衣服颜色。因此我们采用三维色调-饱和度-高度直方图来表征一个人，如图4(b)所示。我们将色调范围划分为9个区间，饱和度范围划分为5个区间，高度范围划分为5个区间。只有位于头顶圆柱邻域内的点对表征人物有意义，因此仅选择这些点来构建三维JHCH。
我们用r表示三维JHCH中的区间数量($9\times5\times5$)，并从左到右、从上到下、从前到后依次对这些区间编号，那么目标t的JHCH可以表示为$H_t=\{H_t^k\}_{k=1,2,\ldots,r}$，其中k为区间索引。
由于不同身体部位可能具有不同的图像稳定性水平（身体上部可靠性更高，因为被遮挡的概率更低），因此我们通过如下加权函数为不同高度层的3D点分配不同权重：
$$ w(p_{i})=e x p\{\alpha\cdot h(p_{i})\}, $$
式中 $h(p_i)$ 是点 $p_i$ 的高度值，$\alpha$ 是权重。因此JHCH的每个单元可通过下式计算：
$$ H_{t}^{k}=f\cdot\sum_{p_{i}\in\mathcal{N}}\Big\{w(p_{i})\cdot\delta[\mathcal{B}(p_{i})-k]\Big\}, $$
式中 $\delta$ 是克罗内克delta函数，$\mathcal{B}(p_i)$ 表示 $p_i$ 应当被分配到的JHCH单元，N是从PEI中采集得到的邻点集合，$f = 1/\sum_{p_i \in \mathcal{N}} w(p_i)$ 是保证 $\sum_{k=1}^r H_t^k = 1$ 的归一化因子。
随后我们可以定义目标a和目标b之间的相似性函数如下：
$$ \zeta(a,b)=\gamma\cdot\rho(H_{a},H_{b})+(1-\gamma)\cdot\psi(L_{a},L_{b}), $$
式中 $L_i$ 是目标i的空间位置（$i = a, b$），$\rho(H_a, H_b)$ 是目标a和目标b的JHCH之间的Bhattacharyya相似度（Kailath, 1967），$\psi(L_a, L_b)$ 表示两个目标之间的空间位置相似度，$\gamma$ 是控制外观相似度和3D位置相似度相对重要性的加权因子。$\rho(H_a, H_b)$ 和 $\psi(L_a, L_b)$ 可通过下式计算：
$$ \rho(H_{a},H_{b})=exp\Big\{-\mu\cdot\Big(1-\sum_{k=1}^{r}\sqrt{H_{a}^{k}H_{b}^{k}}\Big)^{2}\Big\}, $$
$$ \psi(L_{a},L_{b})=exp\{-\gamma\cdot D(L_{a},L_{b})\}, $$
式中 $D(L_a, L_b)$ 是a和b之间的欧氏距离，$\mu$ 和v均为加权因子。相似度值 $\zeta(a, b)$ 介于0和1之间，$\zeta(a, b) = 1$ 表示两个目标完全匹配。
借助上述相似性函数 $\zeta$，我们对当前帧中的轨迹和检测响应进行比较。外观相似度 $\rho$ 通过跟踪目标和当前帧检测响应的JHCH计算得到。空间位置相似度 $\psi$ 由卡尔曼滤波得到的轨迹预测位置和当前检测响应的位置推导得到。
在本文研究中，如果某条轨迹在当前帧中没有找到相似响应，则该轨迹会使用卡尔曼滤波输出的预测状态进行更新。没有匹配轨迹的检测响应会被视为新目标，而在预定义时长内都没有匹配响应的轨迹则会被终止。
#### 3. 实验与讨论
为了评估本文提出系统的有效性和效率，我们在三个由Kinect采集的、分辨率为 $640 \times 480$ 的挑战性RGB-D数据集上进行了测试。
Office数据集：我们使用了Choi等人（2013）在办公环境中采集的该数据集。这个公开数据集包含17段视频序列，每段时长为2-3分钟。数据集中的人物摆出多种姿势，例如站立和坐在椅子上，并且存在大量遮挡情况。
Mobile camera数据集：我们也使用了Choi等人（2013）提供的移动相机数据集进行评估。该数据集包含18段序列，由安装在移动平台（PR2机器人）上的Kinect采集得到，机器人在建筑内移动采集数据。该数据集涵盖了多种光照条件和杂乱背景。
服装店数据集：我们还在一家服装店中采集创建了专属数据集（包含两段各约45分钟长的视频序列），以使评估更加全面。该数据集的挑战包括复杂多变的动态背景，以及行人姿态多样、成群行走且频繁相互交互。该数据集可从获取。
##### 3.1 实现细节
构建PEI所需的地平面位置通过将RANSAC（Rusu等人，2009）应用于点云得到，这是一种从可能包含离群点的三维点集中估计平面参数的迭代方法。RANSAC首先随机选择三个点，计算对应平面的参数，随后在点云中按照给定阈值搜索所有属于该平面的点。之后，该过程会重复预设次数，每次迭代都会将得到的结果与上一次保存的结果比较，如果新结果更优，就用新结果替换原有保存结果（Yang和Forstner，2010）。为了快速准确地定位地平面，我们将RANSAC与先验知识结合：地平面通常面积相对较大，且位于点云的底部区域。对于固定相机数据集（办公室和服装店数据集），地平面定位仅在最开始执行一次；而对于移动相机数据集，每一帧都需要检测地平面。为了提升效率，基于相机在连续帧中运动平缓的规律，我们将前序帧得到的地平面参数用作后续帧的初始估计。
由于目前缺乏全面且适用于我们提出的特征（HOHD和JHCH）学习的公开数据集，作者在多种不同环境中采集了若干RGB-D序列，环境包括实验室、走廊、休息区以及
---
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(i)
Fig. 5. FPPI vs. miss rate curves. Left column: results on office dataset. Middle column: results on mobile camera dataset. Right column: results on clothing store dataset. The top row shows comparison results with other approaches, and the middle row gives the contribution analysis of each detection feature. The bottom row depicts the detection miss rates for different distance ranges. In (d) - (f), the “Full” curve means using both features and other curves show the results when a specific feature is removed.
商店。作者总共从序列中选出3556帧作为训练样本帧。在这些帧上执行第一检测阶段（体型合理候选区域定位）后，共自动生成29691个位置并记录为合理候选。随后这些候选会被手动标记为人体目标或非人体目标，我们在这些候选上提取特征（HOHD和JHCH）用于学习。最终共标记得到5451个正（人体）样本和24240个负（非人体）样本。训练样本包含100多个不同行人的多种姿态，例如站立、行走、坐姿、鞠躬等。我们采用线性核支持向量机（SVM）作为分类器，特征向量是两个归一化直方图（HOHD和JHCH）等权重线性组合得到的。在训练过程中，我们会将图像中头部完全不可见的人体样本从训练集中移除，因为HOHD和JHCH均基于包含头部的人体上半身，这类缺失头部信息的样本会影响分类器的性能。
这些样本也被用于获取我们提出系统的参数。在我们的实现中，我们计算已标记人体样本的平均躯干宽度、平均头部尺寸、最大和最小身高值，得到参数$\omega$、$\lambda$、$h_{max}$和$h_{min}$。
##### 3.2 结果
检测性能：我们将提出的系统与传统HOG检测器（Dalal和Triggs，2005）、Xia等人（2011）提出的基于深度的检测器，以及Choi等人（2013）提出的最新检测器进行对比。图5(a)-(c)给出了四种方法的每图像误报数（FPPI）与漏检率曲线。由于Choi等人方法的源代码未公开，我们仅在办公室和移动相机数据集上评估了其性能（使用作者报告的结果）。我们从办公室和移动相机数据集中每四秒取一张图像，从服装店数据集中每三秒取一张图像，用于性能评估。在评估帧中，我们手动标注了人体上半身的边界框，并结合深度图像和边界框推断出其三维位置。我们采用Choi等人（2013）提出的两种评估标准来判定阳性检测结果：第一种基于检测区域与真实边界框的重叠程度，第二种基于三维距离。
---
实验结果表明，本文提出的检测器性能显著优于其他三种方法。由于背景复杂度高、行人姿态多变，HOG检测器在RGB图像中检测行人的性能存在局限。Xia等人的方法利用二维头部轮廓和三维头部表面模型在深度图像中匹配头部，在我们的测试场景中，头部经常出现部分遮挡，因此该方法的召回率受限。Choi等人提出的方法采用了包含深度模板在内的多线索检测，但没有充分利用三维信息，当人体深度数据不完整时，基于深度的上半身模板会遇到困难。本文提出的两阶段人体检测器结合了RGB和深度数据，联合利用三维形状和外观信息，在部分遮挡情况下仍能取得良好性能。
接下来，我们评估了所提检测器中第一检测阶段的贡献，结果见表1。结果表明，该阶段能够在获得较低漏检率的同时，大幅缩减检测器的搜索空间，因为检测响应中仅包含少量误报。
Table 1. Miss rate and FPPI in first detection phase
| Dataset | Office | Mobile camera | Clothing store |
| Miss rate | 0.06 | 0.08 | 0.05 |
| FPPI | 27 | 10 | 12 |
该阶段的漏检主要由深度伪影（深度数据丢失）导致。三个数据集中都存在部分帧中行人距离相机过远的情况，这些行人的深度数据几乎完全缺失，因此会被第一检测阶段漏检。
我们还对所提检测器中两种特征各自的贡献进行了定量评估。每次关闭其中一种特征，对比三个数据集上的检测结果。如图5(d)-(f)所示，关闭JHCH特征带来的性能下降幅度比关闭HOHD特征更大。这是因为JHCH是外观信息与深度信息的联合组合，能提供更多判别信息，而HOHD仅从深度数据中提取特征。
最后，我们评估了目标与相机的距离对检测准确率的影响，因为目标越远，深度数据的噪声越大、越不完整。我们分别分析了短距离（< 4m）和长距离（> 4m）下的漏检率，结果如图5(g)-(i)所示。结果表明，所提方法对距离更近的行人能获得更高的检测准确率。
跟踪性能：我们考虑两类跟踪误差（Harville, 2005），即跟踪丢失误差（遮挡后无法重新关联轨迹）和ID切换误差（两个被跟踪行人之间发生身份交换），而误检和漏检已经在检测性能评估中进行了考量。由于移动相机数据集中的机器人处于运动状态，本案例中所有行人都在机器人的局部坐标系下完成跟踪。
我们将用于数据关联的三维JHCH的性能，与独立颜色直方图或独立高度直方图的性能进行对比，实验使用了办公室数据集中的42985帧、移动相机数据集中的前18529
Fig. 6. Examples of detection and tracking results on office dataset (top row), mobile camera dataset (second row) and clothing store dataset (bottom two rows).
帧图像，以及服装店数据集中的前29802帧图像。跟踪误差数量的对比结果如表2所示。可以看到，通过构建颜色与高度的三维联合直方图，跟踪误差（尤其是ID切换误差）得到了显著降低。
Table 2. Tracking error counts for three association methods
| Office | Mobile camera | Clothing store |
| 42985 frames | 18529 frames | 29802 frames |
| co | ho | ch | co | ho | ch | co | ho | ch |
| #TL | 87 | 93 | 65 | 14 | 21 | 10 | 15 | 14 | 13 |
| #IDS | 7 | 22 | 0 | 6 | 11 | 0 | 6 | 15 | 1 |
| #Total | 94 | 115 | 65 | 20 | 32 | 10 | 21 | 29 | 14 |
TL：跟踪丢失，IDS：ID切换。
co：仅使用颜色，ho：仅使用高度，ch：JHCH。
图6展示了本文提出的系统在三个数据集上的部分可视化实验结果。
计算效率：本文提出的系统在搭载四核Intel i5-2500 CPU、8GB内存的台式电脑上运行。在该配置下，本文提出的行人检测与跟踪系统（C++实现）达到了实时性能（30-50 fps，无需GPU加速）。
##### 3.3. 适配多相机系统的讨论
上述实验均在单相机设置下对本文提出的方法进行了评估。我们还考虑将该方法适配到可获得更广视野的多相机系统中，我们采用如图7所示的系统设置方案。这种设置能够提供联合视野（Luber等人，2011），同时缓解由
---
Fig. 7. Setup of multi-camera system offering a joint view filed.
不同RGB-D相机（Kinect）投射的重叠红外图案所造成的相互干扰。
由于本文方法在三维点云中完成行人检测与跟踪，可将多台已标定相机生成的点云融合作为预处理阶段，之后便可在融合得到的最终点云中对行人目标进行检测与跟踪。
#### 4. 结论
本文提出了一种使用单RGB-D相机、可应对复杂动态环境的行人检测与跟踪系统。实验结果表明，该方法通过融合RGB数据与深度数据，能够有效检测跟踪不同姿态、不同外观的行人，并且在将三维点重投影到原始图像域时可提供准确的人体轮廓。系统的三个阶段逐步完成任务，PEI表示极大地简化了检测和跟踪阶段的计算。
### 致谢
本研究得到了国家自然科学基金（项目编号：61175036）的资助。我们还要感谢崔颖、程锡恩和王烁鸿提供的许多有益讨论。
### 参考文献
Bahadori, S., Iocchi, L., Leone, G., Nardi, D., 2007. 基于固定立体视觉的实时行人定位与跟踪。Applied Intelligence 26卷，83–97页。
Bevilacqua, A., Stefano, L.D., Azzari, P., 2006. 基于飞行时间深度传感器的行人跟踪，收录于：IEEE International Conference on Video and Signal Based Surveillance，pp. 89–93。
Choi, W., Pantofaru, C., Savarese, S., 2013. 移动相机下多人跟踪的通用框架. IEEE Transactions on Pattern Analysis and Machine Intelligence 35, 1577–1591.
Dalal, N., Triggs, B., 2005. 用于人体检测的方向梯度直方图，载于：IEEE Conference on Computer Vision and Pattern Recognition, pp. 886–893.
Dan, B.K., Kim, Y.S., Suryanto, Jung, J.Y., Ko, S.J., 2012. 基于传感器融合的鲁棒人数统计系统. IEEE Transactions on Consumer Electronics 58, 1013–1021.
Enzweiler, M., Eigenstetter, A., Schiele, B., Gavrila, D.M., 2010. 处理部分遮挡的多线索行人分类，载于：IEEE Conference on Computer Vision and Pattern Recognition, pp. 990–997.
Ess, A., Leibe, B., Schindler, K., Gool, L.V., 2009. 移动平台下的鲁棒多人跟踪. IEEE Transactions on Pattern Analysis and Machine Intelligence 31, 1831–1846.
Fablet, R., Black, M.J., 2002. 基于视图表示的人体运动自动检测与跟踪，载于：European Conference on Computer Vision, pp. 476–491.
Felzenszwalb, P., 2001. 学习目标识别模型，载于：IEEE Conference on Computer Vision and Pattern Recognition, pp. 1056–1062.
Fleuret, F., Berclaz, J., Lengagne, R., Fua, P., 2008. 基于概率占用地图的多相机人员跟踪. IEEE Transactions on Pattern Analysis and Machine Intelligence 30, 267–282.
Han, J., Pauwels, E.J., de Zeeuw, P.M., de With, P.H.N., 2012. 在智能环境中利用RGB-D传感器实现多次重新进入场景下的实时人体跟踪. IEEE Transactions on Consumer Electronics 58, 255–263.
Han, J., Shao, L., Xu, D., Shotton, J., 2013. 微软Kinect传感器增强计算机视觉：综述. IEEE Transactions on Cybernetics 43, 1318–1334.
Haritaoglu, I., Flickner, M., Beymer, D., 2013. Video-CRM：理解商店中的顾客行为，载于：SPIE Proceedings, Video Surveillance and Transportation Imaging Applications.
Harville, M., 2005. 结合形状与颜色的短期和长期平面图外观模型的立体人员跟踪，载于：IEEE Conference on Advanced Video and Signal Based Surveillance, pp. 522–527.
Ikemura, S., Fujiyoshi, H., 2010. 利用关系深度相似性特征的实时人体检测，载于：Asian Conference on Computer Vision, pp. 25–38.
Kailath, T., 1967. 信号选择中的散度与Bhattacharyya距离度量. IEEE Transactions on Communication Technology 15, 52–60.
Levi, K., Weiss, Y., 2004. 从少量样本学习目标检测：优良特征的重要性，载于：IEEE Conference on Computer Vision and Pattern Recognition, pp. 53–60.
Liu, J., Liu, Y., Cui, Y., Chen, Y.Q., 2013. 复杂环境下基于单RGBD相机的实时人体检测与跟踪，载于：IEEE International Conference on Image Processing, pp. 3088–3092.
Liu, Y., Chen, X., Yao, H., Cui, X., Liu, C., Gao, W., 2009. 轮廓-运动特征（CMF）：鲁棒行人检测的时空方法. Pattern Recognition Letters 30, 148–156.
Luber, M., Spinello, L., Arras, K.O., 2011. RGB-D数据中基于在线增强目标模型的人员跟踪，载于：IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3844–3849.
Mitzel, D., Leibe, B.，2012。面向头戴式摄像头的近程人体检测，载于：英国机器视觉会议，第1–11页。
Moore, D.，2003。真实环境下的人体运动检测与跟踪系统。博士学位论文，加州理工学院。
Perez, P., Hue, C., Vermaak, J., Gangnet, M.，2002。基于颜色的概率跟踪，载于：欧洲计算机视觉会议，第661–675页。
Rusu, R.B., Sundaresan, A., Morisset, B., Hauser, K., Agrawal, M., Latombe, J.C., Beetz, M.，2009。告别平面：高效实时三维感知与运动规划。《野外机器人学杂志》26卷，第841–862页。
Salas, J., Tomasi, C.，2011。结合彩色图像和深度图像的人体检测，载于：墨西哥模式识别会议，第127–135页。
Wang, J., Chen, D., Chen, H., Yang, J.，2012。红外视频中的行人检测与跟踪研究。《模式识别通讯》33卷，第775–785页。
Wu, B., Nevatia, R.，2007。基于边缘段部件检测器贝叶斯组合的多部分遮挡人体检测与跟踪。《国际计算机视觉杂志》75卷，第247–266页。
Xia, L., Chen, C.C., Aggarwal, J.K.，2011。使用Kinect深度信息的人体检测，载于：IEEE计算机视觉与模式识别会议研讨会，第15–22页。
Yang, M.Y., Forstner, W.，2010。点云数据中的平面检测。技术报告，波恩大学大地测量与地理信息研究所。
Yous, S., Laga, H., Chihara, K.，2008。基于单立体相机世界Z地图的人体检测与跟踪，载于：第八届视觉监测国际研讨会。
Zhang, H., Reardon, C., Parker, L.E.，2013。移动机器人搭载彩色深度相机的实时多人体感知。《IEEE控制论汇刊》43卷，第1429–1441页。
Zhang, Z., Venetianer, P.L., Lipton, A.J.，2008。基于人体模型相机校准的鲁棒人体检测与跟踪系统，载于：第八届视觉监测国际研讨会。
Zhou, J., Hoang, J.，2005。实时鲁棒人体检测与跟踪系统，载于：IEEE计算机视觉与模式识别会议，第149–159页。
Zhu, Q., Yeh, M.C., Cheng, K.T., Avidan, S.，2006。方向梯度直方图级联加速的人体检测，载于：IEEE计算机视觉与模式识别会议，第1491–1498页。