# 第 6 届计算机与知识工程国际会议 (ICCKE 2016)，2016 年 10 月 20-21 日，波斯大学，通过软生物特征的权重自适应来改进人员识别
Shaghayegh Gharghabi $^{1}$, Bita Azari $^{2}$, Faraz Shamshirdar $^{2}$, Reza Safabaki $^{1}$
$^{1}$机器人研究中心，$^{2}$计算机工程系
阿米尔卡比尔科技大学 (德黑兰理工大学)
德黑兰，伊朗
(s.gharghabi, bita.az, faraz.shamshirdar, safa)@aut.ac.ir
摘要：当前人员识别技术的关键挑战之一在于，在各种姿势下难以进行识别。最近，研究人员越来越关注利用从人体提取的软生物特征信息，以克服生物识别系统在非约束环境中的局限性。在本文中，我们在线性组合中整合了面部和身体信息。我们提出了一种新方法，该方法根据检测到的关节的可靠性以及特征之间的相关性，对识别系统中的特征权重进行自适应调整。我们在各种姿势（如坐姿和圆形行走）下，对五人组进行识别，以评估该方法。该方法应用于配备 Kinect 传感器的服务机器人。结果表明，基于特征之间的相关性进行权重自适应后，平均提高了 4.39%；考虑特征的可靠性后，平均提高了 6.88%。
关键词：权重自适应；人员识别；软生物特征；Kinect。
## 1. 引言
在各种姿势下进行自动人员识别在包括服务机器人、视频监控和智能环境在内的许多领域都起着重要作用。近年来，已经开发出各种生物识别系统 (BRS)，用于人员识别。在这些系统中，使用诸如面部、步态、虹膜和指纹等特征，这些特征可以独特地区分个体 [^1]。面部是人员识别中最重要的生物特征之一，过去已得到广泛研究，并在文献中进行了回顾 [^2] [^3]。面部是一种强大的独特特征，可用于人员识别；但是，它容易受到姿势、光照变化和低分辨率的影响。此外，在某些情况下，人的面部可能会被遮挡或不可见。
Robbins 及其同事的研究表明，当同时使用身体和面部信息时，可以提高人员识别率 [^4]。使用此类信息是识别人员最常见的方法。除了克服主要识别系统中的问题外，越来越多的研究人员正在关注利用基于对人体物理特征描述的辅助信息，即软生物特征 [^1]。可以在非约束环境中利用身体的整体形状和骨骼数据，并且可以在长时间内区分人员，从而在面部信息不可用或不足以获得准确结果时，实现区分。
最近的一些研究提出，可以通过结合人类的生理特征和面部信息来实现识别系统。基于二维图像的这些生物特征的结合已经在[^5]中得到建议。该研究表明，软生物特征可以提高远距离人脸识别系统的识别准确率。在[^6]中，将姿态图级别的人员识别器与人脸识别器和全局识别器相结合，用于照片相册中的人员识别。该方法表明，结合这些识别器可以提高人员识别的性能。基于二维图像的识别方法存在一些缺点，它们根据帧序列或标注员来估计一个人的软生物特征。因此，这些方法不如三维方法准确。
近年来，廉价的三维传感器（如Kinect）的出现使得获取骨骼数据的三维信息（如身高和肢体长度）变得更加容易。有一些研究集中于基于深度信息提取骨骼特征的识别方法。在Meifen Cao等人的研究中[^7]，使用主成分分析（PCA）提取个体特征以识别人员。该方法将PCA应用于个体的19个链接长度。然后，获得特征向量并用于机器人对个体的识别和跟踪。在[^8]中，提出了使用三维范围数据中的头部和肩部区域来识别个体。该方法基于支持向量机（SVM），其中头部到肩部签名（HSS）被用作基础。在[^9]中，结合了基于骨骼和基于表面的特征进行识别。他们使用准穷尽学习策略来加权特征，以最大化再识别性能。另一项由Matteo等人进行的 nghiên cứu使用身体关节作为关键点，用于提取三维描述符以进行再识别。在该方法中，评估提取关节的可靠性，并将关节视为关键点[^10]。在我们的先前工作中，我们结合了面部和身体信息，用于在各种姿势和低分辨率下的非侵入式自动人员识别[^11]。
在本研究中，由于身体特征表现出不同的判别强度，我们为这些特征分配权重。
---
这些权重基于特征之间的相关性，以提高人员识别的准确性。此外，提取的骨骼特征在各种姿势下可能具有较低的可靠性。因此，我们提出了一种方法，根据特征的可靠性调整特征的权重。本文的其余部分组织如下。本节详细介绍了提出的人员识别系统及其组件。实验设置和结果将在第0节中进行介绍。最后，结论和未来工作的建议将在第IV节中给出。
### II. 人员识别系统
在本节中，我们将人脸和身体识别系统相结合。在人脸识别系统中，稀疏分类器用于获得测试人脸属于每个训练类的概率。此外，一些身体特征被用于人员识别系统。这些特征使用基于特征可靠性的特征之间的相关性进行加权。我们将在以下子节中详细描述该系统。
### A. 分类器的计算和组合
我们采用Wright等人[^12]提出的稀疏表示分类（SRC）技术进行人脸识别。该方法的核心思想是：稀疏非零系数会集中分布在与测试样本同类的训练样本上。将测试样本编码为训练图像的稀疏线性组合，再对其进行1范数最小化计算。SRC方法通过评估哪一类训练样本结合对应编码系数得到的重构误差最小，从而完成对测试样本的分类。选择该方法一方面因为它可实现实时处理，另一方面已有前人研究报道它具备优异性能[^13]。我们将SRC应用于由著名的Viola-Jones方法[^14]检测得到的人脸上。
我们还使用 OpenNI 骨骼跟踪器自动提取个体身体的软生物特征，该跟踪器在计算机视觉和机器人技术中被广泛使用 [^15]。 OpenNI 跟踪器在 3D 数据上工作，并为人的 15 个不同的骨骼关节提供 3D 位置的坐标，且为实时。 与基于 2D 的方法相比，该跟踪器在估计关节位置的坐标方面具有更高的性能 [^16]。 我们从检测到的关节的坐标值中提取 14 个骨骼特征（图 1）。 这些特征是关节之间的距离，使用欧几里得距离计算得出。 我们考虑了 15 个用于人脸的分类器和 14 个用于身体的特征。
我们假设 c 是个体身份类别的标签，而 F 是个体人脸和身体特征的连接。 个体的身份由线性分类器预测概率的线性组合来预测：
$$ s(F,\mathbf{c})=\sum_{i}\omega_{i}P_{i}(\mathbf{c}\mid\mathrm{F}) $$
Fig. 1. Link length between adjacent joints and the selected features from body information
其中 $P_i(\mathbf{c}|F)$ 是由第 i 部分对身份类别 c 预测的概率，而 $\omega_i$ 是与第 i 个分类器的权重相关联。 通过使用稀疏人脸识别，预测每个身份类别 c。 我们将其预测称为 $P_0(\mathbf{c}|F)$。 骨骼特征的分布被认为是高斯分布。 因此，$P_i(\mathbf{c}|F), i=1,\ldots,14$ 使用高斯分布的概率密度计算得出。 在下一节中，我们将描述我们用于计算 $\omega_i$ 的方法。
### A. 相关性
在所提出的方法中，特征是有权重的。 这些权重决定了特征在个体识别中的作用。 为了了解这些作用，计算了所有特征之间的内部相关性和判别能力。 使用皮尔逊相关系数计算所有特征对之间的相关性：
$$ r=\frac{\sigma_{_{XY}}}{\sigma_{_{X}}\sigma_{_{Y}}}=\frac{\sum_{j=1}^{N}(X_{j}-\overline{X})(Y_{j}-\overline{Y})}{\sqrt{\sum_{j=1}^{N}(X_{j}-\overline{X})^{2}}\sqrt{\sum_{j=1}^{N}(Y_{j}-\overline{Y})^{2}}} $$
其中 $\sigma_{X}$ 和 $\sigma_{Y}$ 分别是两个变量 X 和 Y 的标准偏差，而 $\sigma_{XY}$ 表示它们的协方差。 $X_{j}$ 和 $Y_{j}$ 是第 j 个人的两个判别特征，而 $\overline{X}$ 和 $\overline{Y}$ 是所有个体中这些特征的平均值。
r 的值范围是 -1.0 到 1.0。 接近 1.0 的相关系数意味着线性方程完美地
---
描述了 X 和 Y 之间的关系，所有数据点都位于一条线上，在该线上，当 X 增加时，Y 增加。 值 -1.0 意味着所有数据点都位于一条线上，在该线上，当 X 增加时，Y 减少。 当相关系数的值为 0 时，变量之间没有线性相关性。
通过方程 (2) 获得特征的相关性矩阵。通过对矩阵的每一行进行求和，我们计算了每个特征与其他所有特征之间的相关性。由于提取的身体特征中，具有较高相关性的信息与其他特征相同，因此我们为该特征分配了较低的权重。相反，具有较低相关性的特征应具有较高的权重。为了实现这些目标，我们表示了一种基于相关性的权重自适应 (CWA) 算法。在该方法中，使用每行的平均值来找到该特征与其他特征之间的相关性。获得的相关性为 $a_i, i=1,\ldots,14$。然后，所有部分的权重基于最大值 ( $a_{max}$) 和最小值 ( $a_{min}$) 的平均相关性进行计算：
$$ w_{i}=\frac{a_{max}+a_{min}-a_{i}}{n(a_{max}+a_{min})-as} $$
其中 n 是特征的数量，as 是所有平均相关值的总和。
### B. 可靠性
在某些姿势中，骨骼跟踪器可能无法检测到所有关节，这可能是由于分割目标的质量以及不同姿势中出现的遮挡程度所致。在这种情况下，OpenNI 跟踪器将这些关节标记为未跟踪。因此，对关节的位置进行估计，但它们的可靠性不如其他关节的位置。我们提出了一种方法，该方法将基于可靠性的权重自适应应用于 CWA 方法，并将其命名为 RCWA。
由于所有特征都是整个骨骼的一部分，因此，即使关节不可靠，我们仍然从它们中提取特征，并根据其可靠性调整特征的权重。开发了两种权重自适应算法：1) 我们将该特征视为完全不可靠，因此为从未跟踪关节获得的特征分配零值作为权重。因此，在这种情况下，仅可靠特征 (RF) 用于人员识别。2) 我们为不可靠的估计关节分配权重。这些权重是基于可靠关节的数量进行计算的。所有特征都用于识别 (AF)，但它们的权重是根据可靠关节的数量进行调整的：
$$ \omega_{i}^{\prime}=\omega_{i}\times\frac{number~of~reliable~joints}{number~of~all~joints} $$
这种权重自适应方法基于以下假设：如果可靠关节的数量更多，则估计的关节更可靠。因此，权重会随着时间的推移根据关节的可靠性进行更新。
a) Sitting
b) Circular walking
c) Straight walking
d) Still
Fig. 2 Sample images of persons in four different poses that were used for training and recognition.
### III. 实验
本节介绍对所提出的人员识别系统进行实证评估的结果。由于没有包含 3D 关节信息的不同姿势的人员识别数据集，因此我们准备了一个数据集。我们使用该应用程序用于家庭机器人，该机器人应在环境中识别多个人。因此，该方法仅在五人组上进行评估；三名成年男性和两名成年女性。在本实验中，我们重点是识别不同姿势中的人员。在每种姿势中，只有一些身体信息或面部信息可用，并且不同人员的关节可靠性可能因姿势而异。用于评估的数据是在不同日期收集的。
我们考虑了四种不同的姿势序列：直线行走、圆形行走、坐姿和静止。静止姿势用于训练，而其他三种姿势序列被用作我们的测试集。在坐姿序列中，身体和面部信息都可用，但骨骼信息无法准确确定，导致关节的可靠性较低。此外，用于识别的面部分辨率也很低。在直线行走时，当人朝向摄像头行走时，面部和身体都可见，但当人背向摄像头行走时，面部不可见，只能获取身体信息。当人沿圆形路径行走时，身体的一些关节不可见，而面部从侧面可见。图 2 显示了不同姿势的人的一些样本图像。
在静止姿势下，每个人都面向摄像头站立五秒钟，并将数据保存到数据集，以便与测试样本进行比较。对于每个人，将有 $5 \times 30$ 帧可用。每 15 帧，保存一张面部图像，因此每个人都有十张面部图像。每个测试样本序列的数据是从人出现在场景的那一刻开始，持续 20 秒。对于每个人，计算骨骼特征。然后，通过对这些特征进行平均，形成一个包含 14 个骨骼特征的向量，并将其保存到每个人的数据集。
逻辑上，我们假设人脸特征与身体特征之间的相关性为零。下文将给出包含所有骨骼特征之间相关性的相关矩阵
---
Fig. 3 The correlation matrix between body features
表 I 列出了四种测试集上竞争方法的识别率。通过对所有样本序列进行平均，我们获得了面部识别系统的 40.48% 准确率、身体识别系统的 67.23% 准确率以及面部和身体组合的 80.23% 准确率。与未进行权重自适应的面部和身体组合相比，CWA 系统将人员识别率提高了 4.39%。此外，通过考虑用于组合的特征的可靠性，在 RCWA $^{RF}$ 中获得了更高的性能。最后，由于不可靠的特征包含一些用于人员识别的有用信息，因此 RCWA $^{AF}$ 与其他方法相比，获得了最佳性能。
表I列出了各对比方法在四个测试集上的识别率。对所有样本序列取平均后，我们得到的识别准确率为：人脸识别系统40.48%，人体识别系统67.23%，二者结合的系统80.23%。与未进行权重适配的人脸+人体结合方案相比，CWA系统将人物识别率提升了4.39%。此外，在RCWA中融合特征时，我们考虑了特征本身的可靠性 $^{RF}$，由此获得了更高的性能。最后，由于不可靠特征也包含一些对人物识别有用的信息，因此与其他所有方法相比，RCWA $^{AF}$ 取得了最优的识别性能。
TABLE I. RECOGNITION RATES OF FACE AND BODY RECOGNITION SYSTEM, THEIR COMBINATION AND OUR PROPOSED METHODS
| Sitting(%) | Circular walking(%) | Walking straight(%) | Average(%) |
| Face | 76.84 | 10.19 | 34.42 | 40.48 |
| Body | 44.93 | 71.61 | 85.15 | 67.23 |
| Face-body | 81.69 | 72.33 | 86.69 | 80.23 |
| CWA | 90.96 | 75.28 | 87.63 | 84.62 |
| RCWA $^{RF}$ | 92.32 | 76.36 | 87.73 | 85.47 |
| RCWA $^{AF}$ | 95.01 | 78.21 | 88.13 | 87.11 |
### IV. 结论
本文提出了一种方法，该方法利用身体特征，并将身体特征与面部信息相结合，以解决不同姿势下的身份识别问题。通过线性组合实现了面部和身体生物特征的集成。我们的具体目标是通过自适应基于特征之间的相关性和检测关节可靠性的软生物特征权重来提高身份识别的准确性。实验表明，适当的特征关联权重可以提高识别准确率。我们还证明，为具有较高相关性的特征分配较低的系数可以提高在建立用户身份方面的准确性。该方法已应用于服务机器人，并使用 RGBD 传感器（Microsoft Kinect）。
在未来的工作中，我们将研究部分遮挡的身体和更多姿势的身体的识别。此外，由于随着时间的推移，人们的外貌会发生变化（例如，留胡子以及身体的整体形状），我们计划开发一种无监督算法，以适应训练集并学习随时间推移而发生变化的人员的新特征。
## 参考文献
[^1]: A. K. Jain, S. C. Dass, and K. Nandakumar, "Soft biometric traits for personal recognition systems," in Biometric Authentication, pp. 731-738. Springer Berlin Heidelberg, 2004.
[^2]: J. H. Shah, M. Sharif, M. Raza, and A. Azeem, "A survey: Linear and nonlinear pca based face recognition techniques," in International Arab Journal of Information Technology, Vol. 10, No. 6, pp. 536-545, 2013.
[^3]: T. Sinsinwar, and P. K. Dwivedi, "A survey on feature extraction method and dimension reduction techniques in face recognition," in International Journal of Applied Science and Engineering Research, Vol. 3, No. 3, pp. 734-740, 2014.
[^4]: R. A. Robbins, and M. Coltheart, "The effects of inversion and familiarity on face versus body cues to person recognition," in Journal of Experimental Psychology: Human Perception and Performance, Vol. 38, No. 5, pp. 1098-1104, 2012
[^5]: Tome, Pedro, et al. "Soft biometrics and their application in person recognition at a distance," in IEEE Transactions on Information Forensics and Security, pp. 464-475, 2014.
[^6]: Zhang, Ning, et al. "Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues." arXiv preprint arXiv:1501.05703, 2015.
[^7]: M. Cao, and H. Hashimoto, "Specific person recognition and tracking of mobile robot with Kinect 3D sensor," in 39th IEEE Annual Conference on the Industrial Electronics Society (IECON), pp. 8323-8328, November 2013.
[^8]: N. Kirchner, A. Alempijevic, and A. Virgona, "Head-to-shoulder signature for person recognition," in IEEE International Conference on Robotics and Automation (ICRA), pp. 1226-1231, 2012.
[^9]: I. B. Barbosa, M. Cristani, A. Del Bue, L. Bazzani, and V. Murino, "Re-identification with rgb-d sensors," in Computer Vision–ECCV Workshops and Demonstrations, pp. 433-442. Springer Berlin Heidelberg, 2012.
[^10]: M. Munaro, S. Ghidoni, D. T. Dizmen, and E. Menegatti, "A feature-based approach to people re-identification using skeleton keypoints," in IEEE International Conference on Robotics and Automation (ICRA), 2014.
## [^11]: S. Gharghabi, and R. Safabakhsh, “Person recognition based on face and body information for domestic service robots,” in IEEE 3rd RSI International Conference on Robotics and Mechatronics (ICROM), pp. 265-270, 2015.
---
[^12]: J. Wright, A. Y. Yang, A. Ganesh, S. S. Sastry, and Y. Ma, "Robust face recognition via sparse representation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 31, No. 2, pp. 210-227, 2009.
[^13]: M. Yang, L. Zhang, J. Yang, and D. Zhang, "Robust sparse coding for face recognition," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011.
[^14]: P. Viola, and M. Jones, "Rapid object detection using a boosted cascade of simple features," in Proceedings of the 2001 IEEE Computer Society
计算机视觉与模式识别会议 (CVPR)，第 1 卷，第 1-511 页，2001 年。
[^15]: OpenNI, OpenNI. (Last Accessed: February 2015).
[^16]: M. Raptis, D. Kirovski, and H. Hoppe, “Real-time classification of dance gestures from skeleton animation,” in Proceedings of the 2011 ACM SIGGRAPH/Eurographics symposium on computer animation, pp. 147-156, 2011.