# 顶视配置下使用RGB-D相机的行人重识别数据集
Daniele Liciotti、Marina Paolanti $^{(✉)}$、Emanuele Frontoni、Adriano Mancini 和 Primo Zingaretti
意大利安科纳市马尔凯理工大学信息工程系，Via Brecche Bianche，邮编60131，安科纳，意大利
{d.liciotti,m.paolanti}@pm.univpm.it，
{e.frontoni,a.mancini,p.zingaretti}@univpm.it
摘要。视频分析涉及多种技术，用于对视频流进行监测、分析并提取有价值信息。就此而言，行人重识别是场景监测、人机交互、零售、人员计数、环境辅助生活及诸多其他计算机视觉研究方向中的重要课题。现有数据集不适用于活动监测和人类行为分析，因此我们构建了一个全新的行人重识别数据集，在顶视配置下使用RGB-D相机采集数据。选择该方案主要是为了减少遮挡，同时它还具备隐私保护优势，因为相机不会拍摄到人脸。使用RGB-D相机可以提取人体测量特征，用以识别从相机下方经过的行人。本文详细介绍了TVPR数据集的采集和构建方式，该数据集包含100名行人，针对每个视频帧计算得到9个深度和颜色特征，这些特征连同关键描述性统计量一并提供。
关键词：行人重识别 · 顶视数据集 · RGB-D相机 · TVPR
## 1 引言
近几十年来，随着对多相机监测场景中发生的事件实现自主理解，视频分析得到了快速发展。视频监控的一个基本问题是行人重识别（re-id），即判断不同时刻记录的同一个人的不同实例或图像是否属于同一目标。日常生活中，人类可以不费吹灰之力完成这项任务。我们的大脑经过训练，能够定位、检测行人，之后再正确对其进行重识别。近年来，该问题在学术研究界和工业实验室都获得了越来越多的关注。
行人重识别在视频监控领域有诸多重要应用，因为它能节省人力，无需人们从大量数据中穷尽搜索特定行人
---
的视频序列。识别相机广泛应用于商场、办公楼、机场、车站、博物馆等大多数公共场所。这类相机通常拥有不重叠视场，因此能够扩大覆盖范围，覆盖更大的地理区域。这些监控网络会产生海量视频数据，可供执法人员实时监控，也可在事件发生后用于取证。对这些数据进行自动化分析不仅能加快处理速度，还能显著提升监控质量 [^20]。
利用视频分析可以刻画场景中行人的行为特征，分析其长期活动，这是高层监控任务向安保人员发出警报所必需的。
近年关于re-id方法的相关文献大多聚焦于基于外观的模型。研究人员已将兴趣点、结构信息和颜色作为主要的外观线索 [^5]。RGB-D相机的推出，结合视觉图像可提供低成本的额外粗略深度信息，能为室内应用提供足够的精度和分辨率。因此，这类相机已经成功应用于零售领域，用于唯一识别顾客，分析购物者的行为与互动 [^12]。
本文提出了一个采用顶视配置RGB-D相机的全新行人re-id数据集：TVPR（Top View Person Re-identification）数据集。我们选用Asus Xtion Pro Live RGB-D相机，因为它能够低成本快速获取颜色与深度信息。该相机安装在待分析区域上方的天花板处。
为了进行re-id评估，我们采集了100名行人的数据，采集工作跨数日、在不同时段完成。我们选择顶视配置是因为它比通常用于手势识别甚至电子游戏的前视配置适用性更强。顶视配置能够减少遮挡问题 [^13]，并且具备保护隐私的优势，因为相机不会拍摄到人脸。本文顶视数据集的主要研究动机和部分相关应用/工作已在表1中说明。
本文介绍了从深度和颜色信息中提取大量有效特征的流程。在所有可能的特征中，我们选出了下文将介绍的9个最具研究价值的特征。从颜色和深度图像中提取的这组特征将用于在未来工作中开展re-id流程。
本文结构安排如下：Sect. 2概述了re-id领域的现有方法；Sect. 3详细介绍了本文核心工作提出的数据采集方案；接下来的章节（Sect. 4）给出了数据集的部分样本和关键统计信息（Subsects. 4.1和4.2），最后是结论与未来工作（Sect. 5）。
## 2 研究现状
过去几年，目标识别领域已有大量研究通过对比视频序列开展工作。基于颜色的
---
Table 1. Main motivations and possible applications of TVPR.
| Research challenges | Applications | Related works |
| Reliable and occlusion free people counting | Safety and security in crowded environments; people flow analysis; access control and counting | [^4] [^11] [^21] [^24] [^25] |
| Interaction detection between people and environment | Intelligent retail environment shelf: Shopper Analytics;\nAmbient Assisted Living (AAL) | [^6] [^12] [^16] |
| Fall detection, Human Behaviours Analysis (HBA) | High reliability fall detection;\nocclusion free; HBA at home and AAL | [^10] [^13] |
视频序列的特征通常通过一组能够良好表征视频序列的关键帧来描述。HSV颜色直方图和RGB颜色直方图对透视变化和分辨率变化具备鲁棒性 [^9]。提取自头部、裤子和衬衫区域的衣物颜色直方图，结合行人的近似身高，已被用作判别特征。
近年来，行人re-id问题受到了广泛关注，已有诸多综述研究探讨了该课题的不同方面 [^15]。行人re-id的研究工作可分为两类：特征类和学习类 [^22]。
将人体测量指标用于re-id的方法最早在 [^14]中被提出。在该方法中，身高通过RGB相机估算得到，被用作关联来自非重叠视角的个体轨迹的线索。
在[^7]中，作者提出使用局部运动特征来跨摄像头视角重新识别行人。他们通过时空分割得到不同行人身体部位之间的对应关系，并在这些身体部位上提取颜色直方图和边缘直方图。该方法通过基于特征和对应关系匹配身体部位来完成行人重识别。
在[^23]中，研究者提出了形状与外观上下文方法用于行人重识别，该方法计算形状单词与视觉单词的共现性。人体通过形状上下文和学习得到的形状字典被划分为L个部分，随后这些部分再通过空间核进一步分割为M个子区域，在每个子区域上提取视觉单词直方图。因此，行人重识别中使用$L \times M$个直方图作为视觉特征。
在[^3]中，行人外观通过结合三种特征进行表示（这些特征根据从轮廓分割得到的对称轴与非对称轴采样）：加权颜色直方图、最大稳定颜色区域以及重复性高结构化补丁。
解决行人重识别问题的另一类方法是在低层次视觉特征上学习判别模型。在[^9]中，研究者使用Adaboost选择最优的局部特征集合用于行人识别。偏最小二乘
---
在[^19]中被用于实现行人重识别。而Prosser等人[^18]则使用排序SVM来学习排序模型。
近年来，度量学习在行人重识别领域得到了广泛研究。[^26]提出了一种概率相对距离比较模型，该模型最大化真匹配对距离小于错误匹配对距离的概率。
在[^17]中，作者研究了在无约束场景下，是否可以通过将服装外观描述符与从RGB-D传感器深度数据中提取的人体测量度量融合，来提升行人重识别的准确率。作者还针对重识别任务提出了一种基于差异性的框架，用于构建和融合行人图像的多模态描述符，可替代目前广泛使用的分数级融合方法。
目前已有多个用于测试重识别模型的公开数据集：VIPeR $^1$、iLIDS $^2$、ETHZ $^3$以及较新的CAVIAR4REID $^4$。这些数据集覆盖了行人重识别问题的多个挑战场景，例如形状变形、遮挡、光照变化、极低分辨率图像、图像模糊等。[^8]。[^2]提出了另一个重识别数据集，该数据集包含79名行人，分为四组。数据采用RGB-D技术采集，但正如上文表1所述，不适用于本文的研究需求。
## 3 搭建与数据采集
我们构建了一个名为TVPR $^{5}$的数据集，包含100名行人的数据，由以顶视配置安装的RGB-D摄像头录制得到。这100名行人的数据分多天采集完成（关于TVPR的更多信息参见第4节）。摄像头安装在实验室天花板上，距离地面4米，覆盖面积为14.66 m $^2$（4.43 m $\times$ 3.31 m）。摄像头安装在待分析表面的上方（图1）。
第一步是处理从RGB-D相机获取的数据。该相机可采集尺寸为$640 \times 480$像素的深度图和彩色图，帧率最高可达约30 fps，并通过基于红外图案的结构光对场景/物体进行照明。
选出的9个特征中有7个是从深度图像中提取的人体测量特征：
• 地面与头部之间的距离，$d_{1}$；
• 地面与肩部之间的距离，$d_{2}$；
• 头部表面积，$d_{3}$；
头围，$d_{4}$；
• 肩围，$d_{5}$；
---
(a)
(b)
Fig. 1. System architecture.
• 肩宽，$d_{6}$；
• 胸前后径，$d_{7}$
剩余两个基于颜色的特征从彩色图像中获取。我们还定义了TVH、TVD和TVDH。
• TVH 是颜色描述符：
$$ T V H=\left\{H_{h}^{p},H_{o}^{p}\right\} $$
• TVD 是深度描述符：
$$ T V D=\left\{d_{1}^{p},d_{2}^{p},d_{3}^{p},d_{4}^{p},d_{5}^{p},d_{6}^{p},d_{7}^{p}\right\} $$
• 最后，TVDH 是定义得到的人体特征签名：
$$ T V D H=\left\{d_{1}^{p},d_{2}^{p},d_{3}^{p},d_{4}^{p},d_{5}^{p},d_{6}^{p},d_{7}^{p},H_{h}^{p},H_{o}^{p}\right\} $$
颜色对于计算机视觉和人类感知都是重要的视觉属性，是图像/视频检索中应用最广泛的视觉特征之一。我们使用HSV直方图来提取这两个特征。局部直方图已被证明应用广泛且效果出色。人体特征签名同样由分别针对头部/头发和外衣计算得到的两个颜色直方图构成：式(3)中的$H_h^p$、$H_o^p$，正如[^1]中所示，H通道和S通道均采用$n = 10$个量化箱。
图2展示了本文研究采用的所有特征：人体测量特征和基于颜色的特征。
---
Fig. 2. Anthropometric and colour-based features.
## 4 评估结果
### 4.1 数据集描述
我们数据集中的100名受试者数据分23次采集获得。23个文件夹中每个存储一次采集过程的视频。表2记录了每次采集的录制时长（单位：秒）以及该次采集的人数。所有采集工作在8天内完成，总录制时长约为2000秒。采集在室内场景中进行，受试者从安装在天花板上的相机下方经过。环境光照是另一个重要问题。每次录制过程中光照条件并不恒定，它会随一天中的不同时段变化，还会受天气条件带来的自然光照影响。本文场景下的视频采集示例如图3所示，分别为自然光和人工照明条件下的人体采集示例。每次采集过程中，每个受试者以正常步速沿一个方向在录制区域内行走，之后转身沿相反方向重复同一路线。该方法用于更好地将TVPR拆分为训练集（受试者第一次从相机下方经过）和测试集（受试者再次从相机下方经过）。
招募的受试者年龄在19–36岁之间：其中女性43名，男性57名；86人发色较深，12人发色较浅，2人无头发。此外，这些人中55人留短发，43人留长发。受试者录制时穿着日常服装，如T恤/运动衫/衬衫、宽松长裤、大衣、围巾和帽子。其中，18名受试者穿着大衣，7名受试者
---
Table 2. Time [s] of registration for each session and the number of people of that session.
| Session | Time [s] | # people | Session | Time [s] | # people |
| g001 | 68.765 | 4 | g013 | 102.283 | 6 |
| g002 | 53.253 | 3 | g014 | 92.028 | 5 |
| g003 | 50.968 | 2 | g015 | 126.446 | 6 |
| g004 | 59.551 | 3 | g016 | 86.197 | 4 |
| g005 | 75.571 | 4 | g017 | 95.817 | 5 |
| g006 | 128.827 | 7 | g018 | 57.903 | 3 |
| g007 | 125.044 | 6 | g019 | 82.908 | 5 |
| g008 | 75.972 | 3 | g020 | 87.228 | 4 |
| g009 | 94.336 | 4 | g021 | 42.624 | 2 |
| g010 | 116.861 | 6 | g022 | 68.394 | 3 |
| g011 | 101.614 | 5 | g023 | 56.966 | 3 |
| g012 | 155.338 | 7 | | | |
| | | Total | 2004.894 | 100 |
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
Fig. 3. Snapshots of a registration session of the recorded data, in an indoor scenario, with artificial light. People had to pass under the camera installed on the ceiling. The sequence a-e, b-f corresponds to the sequence d-h, c-g respectively training and testing set of the classes 8-9 for the registration session g003.
受试者均佩戴围巾。所有视频都具有固定分辨率，帧率约为30 fps。视频以原生.oni文件格式保存，但可转换为任意其他格式。彩色流以非压缩格式提供。
图4展示了每个提取的人体测量特征的直方图。由于分析样本存在个体差异，从数据中拟合得到了一条高斯曲线。
---
(a)
(b)
(c)
(d)
(e)
(f)
(g)
Fig. 4. Statistics histogram for each feature (a $d_1$ distance between floor and head; b $d_2$ distance between floor and shoulders; c $d_3$ area of head surface; d $d_4$ Head circumference; e $d_5$ shoulders circumference; f $d_6$ shoulders breadth; g $d_7$ thoracic anteroposterior depth). The resultant Gaussian curve (in red) is due to the dissimilarity of the analysed subjects. (Color figure online)
### 4.2 性能验证
累积匹配特征（Cumulative Matching Characteristic, CMC）曲线表示在前n个匹配结果中找到正确匹配的期望，它相当于检测问题中的ROC曲线。该性能指标基于摄像头网络中行人外观分布的若干假设，用于评估识别问题，被生物特征研究领域公认为是识别性能的首要衡量指标。
正如识别和行人重识别（re-id）任务中的通用方法，我们针对每个测试样本，使用标准距离度量对训练图库中的样本进行排序。我们测试了3种不同距离度量作为匹配距离的效果，分别是：L1城市块距离、欧氏距离（Euclidean Distance）和余弦距离（Cosine Distance）。
为评估我们的数据集，本文使用CMC曲线以识别率的形式展示了性能结果，如图5所示。具体来说，横轴为匹配得分的排名，纵轴为正确识别的概率。
针对我们的数据集，我们通过CMC曲线对比了TVH和TVD两种方法，以比较不同描述子输出的排名结果。
图5a给出了TVH得到的CMC曲线，图5b展示了TVD得到的CMC曲线。我们将上述结果与TVH和TVD的平均结果进行了对比，平均CMC曲线展示在图5d中。
可以看到，描述子组合取得了最佳性能。从图5d中可以看出，描述子组合的性能优于单独使用任意一个描述子得到的结果。这一结果是由于
---
(a)
(b)
(c)
(d)
Fig. 5. The CMC curves obtained on TVPR dataset.
深度信息能够提供更多有效信息。事实上，深度信息的表现优于彩色信息，在排名高于15时取得了最佳性能（图5b）。其更优异的表现证明了该描述子的重要性和应用潜力。
## 5 结论与未来工作
行人重识别是监控和安全等视频分析应用中的关键问题。本文提出了一个用于行人重识别的全新数据集TVPR，该数据集包含从彩色图像和深度图像中提取的一组特征。
我们使用RGB-D相机对穿越监控区域的行人进行检测、跟踪和特征描述。我们选择顶视配置，因为它对如表1所列的一系列任务适用性更强，即鲁棒性更高。
未来我们将进一步研究更精细复杂的特征。CMC曲线表明，对于不同的距离度量方法，深度描述子都具有很强的判别能力。在模型中集成更多特征似乎可以提升身份判别的效果。这一点对于构建分类模型而言非常重要。
---
未来的研究工作将包括把该重识别系统与音频框架集成，以及使用其他类型的RGB-D传感器，例如飞行时间（TOF）传感器。该系统还可作为高层次语义信息源集成到网络化环境智能场景中，为各类问题提供线索，例如检测异常速度和尺寸离群值，从而对可能出现的失控情况发出警报。
## 参考文献
[^1]: Baltieri, D., Vezzani, R., Cucchiara, R.: Learning articulated body models for people re-identification. In: Proceedings of the 21st ACM International Conference on Multimedia, pp. 557–560. ACM (2013)
[^2]: Barbosa, I.B., Cristani, M., Bue, A., Bazzani, L., Murino, V.: Re-identification with RGB-D sensors. In: Fusiello, A., Murino, V., Cucchiara, R. (eds.) ECCV 2012. LNCS, vol. 7583, pp. 433–442. Springer, Heidelberg (2012). doi:10.1007/978-3-642-33863-2_43
[^3]: Bazzani, L., Cristani, M., Murino, V.: Symmetry-driven accumulation of local features for human characterization and re-identification. Comput. Vis. Image Underst. 117(2), 130–144 (2013)
[^4]: Castrillón-Santana, M., Lorenzo-Navarro, J., Hernández-Sosa, D.: People semantic description and re-identification from point cloud geometry. In: 2014 22nd International Conference on Pattern Recognition (ICPR), pp. 4702–4707. IEEE (2014)
[^5]: D'Angelo, A., Dugelay, J.-L.: People re-identification in camera networks based on probabilistic color histograms. In: IS&T/SPIE Electronic Imaging, p. 78820K. International Society for Optics and Photonics (2011)
[^6]: Frontoni, E., Mancini, A., Zingaretti, P.: RGBD sensors for human activity detection in AAL environments. In: Longhi, S., Siciliano, P., Germani, M., Monteriú, A. (eds.) Ambient Assisted Living: Italian Forum 2013, pp. 127–135. Springer, Heidelberg (2014)
[^7]: Gheissari, N., Sebastian, T.B., Hartley, R.: Person re-identification using spatiotemporal appearance. In: 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 1528–1535. IEEE (2006)
[^8]: Gong, S., Cristani, M., Yan, S., Loy, C.C.: Person Re-identification. Advances in Computer Vision and Pattern Recognition, 1st edn. Springer, London (2014)
[^9]: Gray, D., Tao, H.: Viewpoint invariant pedestrian recognition with an ensemble of localized features. In: Forsyth, D., Torr, P., Zisserman, A. (eds.) ECCV 2008. LNCS, vol. 5302, pp. 262–275. Springer, Heidelberg (2008). doi:10.1007/978-3-540-88682-2_21
[^10]: Kepski, M., Kwolek, B.: Fall detection using ceiling-mounted 3d depth camera. In: 2014 International Conference on Computer Vision Theory and Applications (VISAPP), vol. 2, pp. 640–647. IEEE (2014)
[^11]: Kouno, D., Shimada, K., Endo, T.: Person identification using top-view image with depth information. In: 2012 13th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel & Distributed Computing (SNPD), pp. 140–145. IEEE (2012)
## [^12]: Licotti, D., Contigiani, M., Frontoni, E., Mancini, A., Zingaretti, P., Placidi, V.: Shopper analytics: a customer activity recognition system using a distributed RGB-D camera network. In: Distante, C., Battiato, S., Cavallaro, A. (eds.) VAAM 2014. LNCS, vol. 8811, pp. 146–157. Springer, Cham (2014). doi:10.1007/978-3-319-12811-5_11
---
[^13]: Licotti, D., Massi, G., Frontoni, E., Mancini, A., Zingaretti, P.: Human activity analysis for in-home fall risk assessment. In: 2015 IEEE International Conference on Communication Workshop (ICCW), pp. 284–289. IEEE (2015)
[^14]: Madden, C., Piccardi, M.: Height measurement as a session-based biometric for people matching across disjoint camera views. In: Image and Vision Computing New Zealand, pp. 282–286. Citeseer (2005)
[^15]: Messelodi, S., Modena, C.M.: Boosting fisher vector based scoring functions for person re-identification. Image Vis. Comput. 44, 44–58 (2015)
[^16]: Migniot, C., Ababsa, F.: 3D human tracking from depth cue in a buying behavior analysis context. In: Wilson, R., Hancock, E., Bors, A., Smith, W. (eds.) CAIP 2013. LNCS, vol. 8047, pp. 482–489. Springer, Heidelberg (2013). doi:10.1007/978-3-642-40261-6_58
[^17]: Pala, F., Satta, R., Fumera, G., Roli, F.: Multimodal person reidentification using RGB-D cameras. IEEE Trans. Circ. Syst. Video Technol. 26(4), 788–799 (2016)
[^18]: Prosser, B., Zheng, W.-S., Gong, S., Xiang, T., Mary, Q.: Person re-identification by support vector ranking. In: BMVC, vol. 2, p. 6 (2010)
[^19]: Schwartz, W.R., Davis, L.S.: Learning discriminative appearance-based models using partial least squares. In: 2009 XXII Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI), pp. 322–329. IEEE (2009)
[^20]: Tu, P.H., Doretto, G., Krahnstoever, N.O., Perera, A.A., Wheeler, F.W., Liu, X., Rittscher, J., Sebastian, T.B., Yu, T., Harding, K.G.: An intelligent video framework for homeland protection. In: Defense and Security Symposium, p. 65620C. International Society for Optics and Photonics (2007)
[^21]: Vera, P., Monjaraz, S., Salas, J.: Counting pedestrians with a zenithal arrangement of depth cameras. Mach. Vis. Appl. 27(2), 303–315 (2016)
[^22]: Wang, X.: Intelligent multi-camera video surveillance: a review. Pattern Recognit. Lett. 34(1), 3–19 (2013)
[^23]: Wang, X., Doretto, G., Sebastian, T., Rittscher, J., Tu, P.: Shape and appearance context modeling. In: IEEE 11th International Conference on Computer Vision (ICCV 2007), pp. 1–8. IEEE (2007)
[^24]: Wateosot, C., Suvonvorn, N.: Top-view based people counting using mixture of depth and color information. In: The Second Asian Conference on Information Systems (ACIS) (2013)
[^25]: Zhang, X., Yan, J., Feng, S., Lei, Z., Yi, D., Li, S.Z.: Water filling: unsupervised people counting via vertical kinect sensor. In: 2012 IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance (AVSS), pp. 215–220. IEEE (2012)
[^26]: Zheng, W.-S., Gong, S., Xiang, T.: Person re-identification by probabilistic relative distance comparison. In: 2011 IEEE conference on Computer vision and pattern recognition (CVPR), pp. 649–656. IEEE (2011)