Figure 1. The occlusion problem and the solution
---
Figure 2. The setting of our task
用于识别的身高和身体尺寸。Fukuzoe等人（2008年）提出了一种利用身体形态的人员识别方法，但该方法未使用俯视摄像头，因此其系统本质上存在图像遮挡问题。通过使用俯视图像，我们的方法可以解决图像遮挡问题。Nakatani等人（2011年）提出了一种使用俯视图像的方法，但他们仅使用了普通RGB图像，因此其方法在特征提取阶段偶尔会出现身体尺寸误检测的问题。我们使用深度信息解决了该问题。
## 提出的方法
本节我们对提出的方法进行说明。图3展示了我们方法的整体框架，该方法由三部分组成：(1) 利用深度信息提取人员区域、(2) 特征提取、(3) 人员识别分类器。本文的研究重点是深度信息。尽管本文讨论了两种应用场景，但上述三个模块在两种场景下的处理方法是一致的，因此为简便起见，我们仅针对站立场景介绍各个处理步骤。我们采用Microsoft Kinect ()采集深度信息，该方式可以便捷高效地更快、更准确地获取下文所述的人员区域和深度直方图。
---
## 人员区域提取
进行人员识别时，我们需要从采集到的图像中提取出人员区域。该提取过程基于背景减除法，而背景减法通常对环境变化（例如光照变化）较为敏感。为了解决这个问题，我们使用Kinect摄像头采集的深度信息。在我们的场景中，摄像头采集到人员的身体头部区域和地面区域，两者之间存在显著的深度差。因此，我们可以通过对深度值设置阈值来提取人员区域。图4展示了一个基于深度信息的人员提取示例，图中颜色深浅表示深度信息。
## 特征提取
## 身高
在本节中，我们介绍供分类器使用的特征。本文一共研究四个特征：(1) 身高、(2) 身体维度、(3) 身体大小、(4) 深度直方图。
身高是区分不同个体最重要的特征之一。我们利用深度信息估计图像中与人物身高相关的特征。相机到头顶区域的距离因人而异。我们检测每张图像中距离相机最近像素的距离，将其作为身高特征。
## 身体维度
身体维度同样是身份识别中直观且具有辨识度的特征，因此我们在本文方法中引入了维度值。在我们的方法中，我们计算人体区域提取步骤中提取得到的人体区域的像素总和。
## 身体大小
身体的物理尺寸是个人身份识别最有效的特征之一。准确来说，身体大小特征包括肩宽和头部区域的宽度。在本文方法中，我们将x轴和y轴方向的宽度作为身体大小特征，这些值从人体区域图像的边缘分布中提取得到。我们取人体区域中x轴和y轴的最大值。图5展示了一个身体大小特征的示例。
## 深度直方图
第四个特征基于每张图像的深度直方图，它大致包含了高度信息，例如头部和肩部区域之间的距离。本文中深度信息的取值范围为0到255。我们为每张图像生成深度值直方图。提取该特征时，我们处理的输入图像包含地面区域，请注意这里处理的不是人体区域图像。原因在于背景（即地面区域）的差异往往因人而异。图6展示了一个深度直方图的示例。
## 身份识别分类器
最终我们基于这四个特征构建了分类器。本文采用AdaBoost算法（Freund & Schapier, 1996）作为分类器。AdaBoost算法是最著名的机器学习技术之一，它通过组合若干弱分类器得到一个强分类器。本文我们使用开源软件Weka实现AdaBoost算法()。我们采用C4.5算法（Quinlan, 1993）作为弱分类器，该算法在Weka中名为“J48”。C4.5同样是知名的机器学习技术，用于生成决策树。图7展示了AdaBoost算法的大致流程。
---
Figure 3. The outline of our method
Figure 4. An example of person's area extraction
Figure 5. An example of the body size feature
---
Figure 6. An example of the depth histogram
## 实验
## 设置
本次实验我们在两种场景下评估了本文方法：站立场景和接触场景。站立场景共有8名测试者，我们为每位测试者采集了20张图像，因此站立场景的数据集共包含160张图像。接触场景共有7名测试者，我们准备了105张图像，即每位测试者15张图像。两种场景下所有图像的尺寸均为$640 \times 480$像素。
图8展示了站立场景下8名受试者的俯视图像示例。正如你在图8中所见，人类很难区分这些图像。我们针对两种场景采用留一交叉验证法对所提方法进行了评估：每次从数据中取出一张图像作为当前测试数据，剩余数据作为训练数据，对所有测试数据重复该验证过程。换言之，当k等于测试数据规模时，该方法与k折交叉验证等价。本次评估的标准为准确率，其计算方式为
$$ \frac{\#of~images~identified~correctly}{\#of~images}\times100. $$
## 站立场景的实验结果
我们首先在站立场景下评估了我们的方法，对比了四种特征的所有组合。表1展示了部分组合的实验结果。在表中，“height”“dimensions”“size”和“dHist”分别指代特征中的“身高”“身体尺寸”“身体大小”和“深度直方图”特征
Figure 7. Adaboost
---
Figure 8. Top-view images in the test data for the standing situation
提取部分，符号“+”表示特征组合；例如“height+dHist”表示结合了“身高”和“深度直方图”特征的方法，“all”表示使用全部四种特征的系统。
结合“身高”和“深度直方图”两种特征的方法取得了最优性能（94.4%）。结合“身高”“身体大小”“深度直方图”的组合，以及使用全部四种特征的组合也得到了相同的准确率。结果表明，多特征组合本质上是有效的。作为单特征使用时，“深度直方图”的准确率高于其他所有特征。
首先，我们详细分析了最优特征集（即height+dHist）的结果。表2给出了使用该特征集方法的混淆矩阵，“Sub1”到“Sub8”分别指代各测试受试者。表中的所有受试者按身高排序，换言之，Sub1是所有受试者中身高最矮的，Sub8是最高的。误识别大多发生在身高相近的受试者之间，例如Sub5和Sub7之间就出现了两例误识别。要解决这个问题，我们需要引入与身体特征无关的其他特征。
接下来，我们逐一讨论每个单特征的表现。身高特征作为单特征使用时效果并不理想，准确率仅为52.5%。但本质上身高是区分度最高的特征之一，因为不同人的身高存在差异。该特征在本次实验中效果不佳的原因是，受试者的站位会随拍摄场景变化。如果受试者在拍摄图像中的位置不同，相机到头顶的距离也会不同。需要说明的是，我们方法中使用的身高特征基于Kinect相机测得的距离，并非受试者的实际身高。图9展示了该问题的一个示例，图中的数值为Kinect输出的距离，距离
---
Table 1. The experimental result for the standing situation
| Features | Accuracy |
| height | 52.5 |
| dimensions | 40.6 |
| size | 73.8 |
| dHist | 90.6 |
| height+dHist | 94.4 |
| height+size | 88.1 |
| dimensions+dHist | 92.5 |
| size+dHist | 90.6 |
| height+dimensions+size | 86.9 |
| height+size+dHist | 94.4 |
| all | 94.4 |
值即使是同一个受试者，也会因站位不同而产生差异。
解决该问题的一种方案是利用人物位置对Kinect输出结果进行归一化处理。我们的方法通常可以借助Kinect提供的深度信息估算出正确的人物区域。结合正确的人物区域，我们可以通过归一化函数计算出准确的距离。通过归一化处理，如果能得到合适的距离，身高特征可以获得更高的准确率。图10展示了该处理过程的一个示例。完成该实验后，我们对加入归一化处理的方法进行了评估。结果显示，基于身高特征的准确率大幅提升至74.4%，这一结果证明了归一化处理的有效性。
体围尺寸特征同样对人物在图像中的位置敏感，因此该单一特征的准确率是所有单一特征中最低的，仅为40.6%。对该特征而言，归一化处理的重要性与身高特征相当。
相较于身高特征和体围尺寸特征，体型特征的鲁棒性相对更强。Nakatani等人的研究（Nakatani et al., 2011）也报告了相同的趋势。原因在于，人体
Table 2. The confusion matrix of the best features set (standing): height+dHist
| Subject | Sub1 | Sub2 | Sub3 | Sub4 | Sub5 | Sub6 | Sub7 | Sub8 |
| Sub1 | 20 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Sub2 | 1 | 19 | 0 | 0 | 0 | 0 | 0 | 0 |
| Sub3 | 0 | 0 | 19 | 0 | 0 | 1 | 0 | 0 |
| Sub4 | 0 | 1 | 0 | 18 | 0 | 1 | 0 | 0 |
| Sub5 | 0 | 0 | 0 | 1 | 18 | 1 | 0 | 0 |
| Sub6 | 0 | 0 | 0 | 0 | 0 | 20 | 0 | 0 |
| Sub7 | 0 | 0 | 1 | 0 | 2 | 0 | 17 | 0 |
| Sub8 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 20 |
---
Figure 9. An example of the difference of the Kinect outputs
尺寸（即人物区域的x方向和y方向尺寸）在不同位置下的变化幅度通常小于身高特征和体围尺寸特征。我们认为，对体型特征进行归一化处理同样能够提升识别准确率。
## 接触场景的实验结果
接下来，我们在接触场景下对本文方法进行了评估。我们还对比了四种特征的所有组合。表3展示了接触场景下部分特征组合的实验结果。结合“身高”和“深度直方图”两种特征的方法取得了最优性能（91.4%）。作为单一特征，“深度直方图”的准确率高于其他所有特征。这些结果呈现出与站立场景相同的趋势。
作为单一特征，“身高”特征在该场景下的准确率得到了大幅提升（表1中为52.5%，本场景中为88.6%）。“身高”特征原本存在的问题是每个人物的位置往往存在差异，在站立场景中我们通过归一化函数解决了该问题。而在接触场景中，每个人物的位置相对稳定：该场景下测试者需要握住门把手开门，因此与站立场景相比，我们的方法可以从每张图像中捕捉到位置相近的人物区域。在该场景下，每个人物的位置信息本身就存在个体差异，因此可以作为身份识别的新特征。尽管身高特征效果提升明显，但体型特征的准确率却大幅下降，原因是我们的方法无法准确捕捉人体体型，
---
Figure 10. An example of the normalization process
也就是x方向和y方向尺寸，因为人物此时的朝向为斜向前方（参见图2的右上图像），因此我们的方法无法估算出正确的人体体型。要获得更高的识别准确率，我们需要解决这一问题。
表4展示了采用该特征集的方法对应的混淆矩阵。与表2相同，表中每个测试对象按身高顺序排列。大多数识别错误也都出现在人物身高相近的情况中，例如Sub3和Sub4。解决该问题是我们未来重要的研究工作。
## 讨论
在本节中，我们将针对两种场景的实验结果展开讨论，并
Table 3. The experimental result for the touching situation
| Features | Accuracy |
| height | 88.6 |
| dimensions | 48.6 |
| size | 47.6 |
| dHist | 89.5 |
| height+dHist | 91.4 |
| height+dimensions+size | 89.5 |
| dimensions+size+dHist | 91.4 |
| height+size+dHist | 91.4 |
| all | 91.4 |
---
Table 4. The confusion matrix of the best features set (touching): height+dHist
| Subject | Sub1 | Sub2 | Sub3 | Sub4 | Sub5 | Sub6 | Sub7 |
| Sub1 | 15 | 0 | 0 | 0 | 0 | 0 | 0 |
| Sub2 | 1 | 14 | 0 | 0 | 0 | 0 | 0 |
| Sub3 | 0 | 1 | 12 | 2 | 0 | 0 | 0 |
| Sub4 | 0 | 0 | 2 | 12 | 0 | 1 | 0 |
| Sub5 | 0 | 0 | 0 | 0 | 15 | 0 | 0 |
| Sub6 | 0 | 0 | 0 | 1 | 0 | 14 | 0 |
| Sub7 | 0 | 0 | 0 | 0 | 1 | 0 | 14 |
我们系统的有效性。身体维度和尺寸特征对衣物变化十分敏感。处理衣物信息是身份识别任务最重要的问题之一（Hossain et al., 2010）。如果目标人物所穿衣物发生变化，可能会对识别准确率产生负面影响，因为估算得到的身体维度和尺寸偶尔会不准确。另一方面，衣物信息作为上下文信息，是人物识别任务中最有效的特征之一。Gallagher and Chen (2009) 已经证明了衣物信息在图像人物识别中的有效性。Yamaguchi et al. (2011) 已经将衣物特征作为上下文信息应用于部分遮挡图像的人物识别任务中。如果我们的系统将衣物信息作为上下文处理，将会提升识别准确率。这是我们未来的研究工作。
深度直方图特征是单特征中效果最优的特征。该特征包含多种距离信息，例如相机与头部之间的距离、头部与肩部区域之间的距离，以及相机与地面区域之间的相对距离。换句话说，该特征表征了从多个区域计算得到的相对距离差异。因此，将它与表征拍摄对象到相机绝对距离的身高特征结合后效果十分出色。另一方面，直方图特征对人物的位置也十分敏感：如果人物的位置发生变化，各个部位之间的距离也会改变，这是直方图特征造成误识别的主要原因。此外，由于直方图特征包含多个数值，其归一化过程相较于身高特征会更加复杂，因此深度直方图特征的归一化方法是我们方法中需要解决的重要问题之一。
我们的系统目前仅处理人物停在门前的场景。尽管这一前提符合实际应用逻辑，但为了构建更灵活的系统，我们需要将适用目标拓展到行走或移动中的人物。这也是我们系统未来的研究工作。
在人员监控领域，人物追踪是最重要的任务之一。行人重识别是指在非重叠视角摄像头拍摄的图像中识别同一个体的任务（Farenzena et al., 2010）, (Gray & Tao, 2008)。将我们聚焦于俯视头部图像的方法应用于行人重识别任务是一项值得探索的未来研究工作。
## 结论
本文提出了一种结合俯视图像和深度信息的人物识别方法。通过使用俯拍摄像头，我们解决了图像遮挡和隐私保护两大问题。此外，深度信息对于基于俯视图像的人物识别任务十分有用。我们处理了两种场景：站立场景和触摸场景。
---
我们的系统使用四个特征对图像进行分类：身高、身体维度、体型和深度直方图。我们采用以C4.5作为分类器的AdaBoost算法。对于站立场景，结合“身高”和“深度直方图”的方法获得了94.4%的准确率。实验结果证明了我们的任务和方法的有效性。核心问题是Kinect采集的距离值存在波动，这一问题由被测人员在拍摄图像中的位置差异导致：位置的不同会产生距离值的差异，因此我们的方法会对特征所用的距离值做出错误估计。对身高特征应用归一化处理后，准确率得到了提升（单个特征的准确率从52.5%提升至74.4%）。该结果体现了归一化处理的重要性，这是未来一项重要的研究工作，尤其针对深度直方图特征。另一方面，在接触场景下，位置问题对身高特征的干扰程度最小。
身体维度和体型特征对服装变化较为敏感。而另一方面，服装信息作为上下文信息，在人员识别中发挥着重要作用。将上下文特征应用到我们的方法中也是我们未来的研究方向。
我们使用站立场景下8名人员的160张图像、接触场景下7名人员的105张图像对我们的方法进行了评估。然而，本次实验使用的测试数据集规模太小，我们需要通过更大规模的数据集（即包含更多人员和更多图像）来验证本方法的有效性。
## 参考文献
Farenzena, M., Bazzani, L., Perina, A., Murino, V., & Cristani, M. (2010). 基于对称驱动局部特征累积的行人重识别。见：IEEE计算机视觉与模式识别会议（CVPR）论文集（第2360-2367页）。
Freund, Y., & Schapier, R. E. (1996). 新型提升算法的实验研究。见：ICML论文集（第148–156页）。
Fukuzoe, T., Itou, M., Mito, D., & Watanabe, M. (2008). 基于概率识别框架融合身体形态图像特征与日常习惯的人员识别方法。IEICE信息与系统汇刊 D辑 91(5), 1369-1379。
Gallagher, A. C., & Chen, T. (2009). 利用上下文识别消费图像中的人物。IPSJ计算机视觉与应用汇刊 1, 115–126. doi:10.2197/ipsjtcva.1.115.
Gray, D., & Tao, H. (2008). 基于局部特征集成的视角不变行人识别。见：欧洲计算机视觉会议（ECCV）论文集（第262-275页）。
Hossain, M. A., Makihara, Y., Wang, J., & Yagi, Y. (2010). 结合分块服装分类与自适应权重控制的服装无关步态识别。模式识别, 43(6), 2281–2291. doi:10.1016/j.patcog.2009.12.020.
Iwashita, Y., & Stoica, A. (2009). 基于阴影分析的步态识别。见：2009年仿生、学习与安全智能系统研讨会论文集（第26-31页）。
Jain, A., Lin, H., & Bolle, R. (1997). 在线指纹验证。IEEE模式分析与机器智能汇刊, 19(4), 302–314. doi:10.1109/34.587996.
Kale, A., Sundaresan, A., Rajagopalan, A. N., Cuntoor, N. P., Roy-Chowdhury, A. K., Kruger, V., & Chellappa, R. (2004). 基于步态的人员识别。IEEE图像处理汇刊, 13(9), 1163–1173. doi:10.1109/TIP.2004.832865 PMID:15449579.
金出武雄（T. Kanade）(1973). 《计算机复合体图像处理与人脸识别》，技术报告，京都大学信息科学系。
中谷理（R. Nakatani）、河野大（D. Kouno）、岛田健（K. Shimada）、远藤哲也（T. Endo）(2011). 《一种利用俯视摄像头拍摄头部俯视图像的个人识别方法》，载于《第二届高级计算智能与智能信息学国际研讨会论文集（IWACIII2011）》（第SS4-1页）。
大西真（M. Onishi）、依田一（I. Yoda）(2010). 办公综合体长期顾客流动可视化，载于《国际模式识别会议（ICPR）论文集》（第1747-1750页）。
J. R. Quinlan (1993). 《C4.5：机器学习程序》，Morgan Kaufmann出版社。
---
L. Snidaro、C. Micheloni、C. Chiavedale (2005). 面向环境智能的视频安全技术，《IEEE系统、人与控制论汇刊A辑：系统与人》，35(1)，133–144。doi:10.1109/TSMCA.2004.838478.
M. Turk、A. P. Pentland (1991). 用于识别的特征脸，《认知神经科学杂志》，3(1)，71–86。doi:10.1162/jocn.1991.3.1.71 PMID:23964806.
内田博（H. Uchida）、猪田亮（R. Inoda）、辻俊（T. Tsuji）、阿部聪（S. Abe）(2009). 电梯大厅人群计数与轮椅识别的实时图像处理，《日本电气学会工业应用汇刊》，129(6)，578–584。doi:10.1541/ieejias.129.578.
渡边茂（S. Watanabe）、N. Pakvasa (1973). 模式识别中的子空间方法，载于《第一届国际模式识别会议论文集》（第2-32页）。
R. P. Wildes (1997). 虹膜识别：一种新兴的生物识别技术，《IEEE会刊》，85，1348–1363。doi:10.1109/5.628669.
山口淳（J. Yamaguchi）、岛田健（K. Shimada）、榎田晋（S. Enokida）、江岛敏（T. Ejima）、远藤哲也（T. Endo）(2011). 利用面部特征与上下文信息的个人识别，《日本模糊理论与智能信息学会志》，23(2)，13–21。doi:10.3156/jsoft.23.137.
袁啸（X. Yuan）、魏小勇（X.-Y. Wei）、宋永端（Y.-D. Song） (2011). 面向计数应用的俯视摄像头行人检测，《IEICE信息与系统汇刊》，94(6)，1269–1277。doi:10.1587/transinf.E94.D.1269.
赵威（W. Zhao）、R. Chellappa、P. J. Phillips、A. Rosenfeld (2003). 人脸识别：文献综述，《ACM计算综述》，35(4)，399–458。doi:10.1145/954339.954342.