# 第18章 在拥挤环境中进行的人数统计和重新识别
Emanuele Frontoni, Marina Paolanti 和 Rocco Pietrini
## 摘要
如今，自动检测人员并理解其行为是现代智能视频系统中的关键方面之一。 这种兴趣源于社会需求。 安全和视频分析、智能零售环境以及日常生活活动只是其中的一些可能的应用。 由于遮挡、外观变化、复杂动态背景等诸多严重挑战，该问题仍然悬而未决。 然而，近年来，隐私问题日益突出，这使得这些系统的设计更加具有挑战性，同时也需要遵守不同国家的法规。 RGB-D 深度相机是用于此任务的常用传感器，因为它们具有可用性、可靠性和经济性。 研究表明，深度相机在应对人类之间的严重遮挡和复杂背景方面具有巨大的价值（在准确性和效率方面）。 特别是，RGB-D相机在顶部配置时表现出巨大的潜力，即使在拥挤的环境中也能实现高性能（考虑至少每平方米 3 个人），从而最大限度地减少遮挡，并且是最符合隐私保护的方法。 人员检测和跟踪的第一步是分割，以获取人员轮廓，因此本章将介绍不同的方法，从传统的基于手工特征的方法到深度学习技术。 这些技术也解决了非凡的问题，即当两个人足够靠近时，会形成一个独特的 blob，从相机的角度来看。 本章将向读者介绍多级分割和水填充算法作为基于手工特征的方法，此外，还从文献中介绍了一种深度学习方法。 在本章中介绍的方法是在边缘上进行实时处理（没有图像录制），遵循物联网范式。 实时分析
---
也加强了上述隐私合规性的概念。 本章的最后一部分是关于人员重新识别（re-id），它是一个过程，用于确定不同时间记录的同一人的不同实例或图像是否属于同一主体。 人员重新识别在视频监控中具有许多重要的应用，因为它节省了人工在大量视频序列中进行彻底搜索的工作。 身份识别摄像头广泛应用于大多数公共场所，如商场、办公楼、机场、车站和博物馆。 这些摄像头通常提供更全面的覆盖范围，并且覆盖了较大的地理区域，因为它们具有不重叠的视野。 由这些网络提供的海量视频数据，由执法人员实时监控，并在事件发生后用于法医目的。 这些数据的自动分析显著提高了监控质量，并且可以更快地处理数据。 本章将利用手工设计的 anthropomorphic 特征与机器学习方法，然后介绍一种深度学习方法进行比较。 然后采用不同的指标来评估上述算法并进行比较。
### 18.1 简介
如今，检测和跟踪人员是一项至关重要且具有挑战性的任务，适用于各种应用。 它可以用于许多交互式和智能系统中，例如视频监控和人机交互。 近年来，人们对该主题的研究不断深入，并开发出稳健的方法来跟踪隔离或少量人员，即使存在短暂的遮挡 [^15] [^72]。 然而，在拥挤的环境中跟踪大量人员会遇到许多问题，例如持续的遮挡、外观变化以及动态和复杂的背景 [^41]。 事实上，这些问题是拥挤环境中的严重问题，因为传统的监控技术无法理解图像 [^68]。
解决人员计数问题的技术可以分为两大类：基于检测的方法和基于映射的方法。 前一种方法是指运行检测器，然后对输出进行计数或聚类。 不同的特征可以包括身体、头部、肤色、头发等。 对于有效的检测算法，它们可以在不太拥挤的环境中实现高准确度，但无法扩展到大型人群 [^68]。 基于映射的方法是指提取特征并将其映射到值。 它们使用边缘点、背景、纹理、光流等作为特征。 与基于检测的方法相比，这些方法可以扩展到大型人群。 为了解决人员检测和跟踪问题，常用的传感器是 RGB-D 相机。 与传统相机相比，它们的性能提高了可靠性、可用性和可负担性。 深度相机的效率和准确性已被证明在人类之间存在严重遮挡和复杂背景的情况下会提高 [^53]。 高分辨率的
---
深度信息与视觉信息为行为识别和人员追踪领域的诸多应用开辟了新的机遇。利用可靠的深度图可以显著提升追踪和检测的结果 [^32]。
现有研究中，深度相机通常要么垂直安装在头顶（俯视配置）[^8]，要么水平安装在与人等高的位置（前视配置）[^21]。研究人员更偏好采用俯视配置的RGB-D相机，因为相比前视配置它适用性更强。此外，它还能缓解遮挡问题，并且具备隐私保护能力，因为相机不会记录到人的面部 [^32]。在 [^33] 中，研究表明，即使在高度拥挤的场景（定义为每平方米超过三人的场景）下，俯视视角的人数统计应用准确率也是最高的，最高可达99%。然而，这种配置也存在一个重要局限：无法获取与前视相关的特征，而许多现有前沿方法都广泛采用前视配置 [^60] [^61]。
在文献中，存在一些使用RGB-D技术的、用于研究人员重新识别的数据集，主要是在正面视图配置下，例如VIPeR [^19]、iLIDS多摄像头跟踪场景 [^58]、ETHZ [^11]、CAVIAR4REID [^4] [^6]。 它们涵盖了许多现有问题的方面，例如形状变形、遮挡、光照变化、低分辨率图像和图像模糊。 俯视图数据集在[^31]中介绍，称为TVPR（俯视人员重新识别）数据集。
在过去几年中，文献中提出了许多用于人员检测和跟踪的视觉技术和算法。 总的来说，我们可以区分以下内容：使用背景差分、水填充、统计算法、机器学习，以及深度学习技术的分段。
本章的组织结构如下：第18.2节介绍了人员检测和跟踪算法和方法的最新进展，第18.3节介绍了结果和用例，最后，第18.4节总结了结论。
### 18.2 算法和方法
在过去几年中，已经提出了许多用于人员检测和跟踪的视觉技术和算法。 在本节中，我们介绍了用于从俯视RGB-D数据跟踪和检测人类的算法和技术的最新进展，涵盖了早期和近期文献。 特别是，考虑与背景差分、水填充、统计算法以及机器学习和深度学习技术相关的算法。
#### 18.2.1 使用背景差分的算法
在大多数方法中，为了在后续阶段获得更高的准确率，必须先去除背景。在re-id中，使用相同参考背-
---
在大多数情况下，为了获得更好的准确性，需要去除背景。 在重新识别中，使用相同的参考背景帧的方法是不合适的，因为数据是从不同的摄像头和具有不同背景的摄像头采集的 [^49]。 背景消除的最简单方法是手动分割轮廓，如[^1]中提出的。 文献中的许多工作 [^48] [^64] [^65] 使用高斯混合模型（GMM）进行背景分类，由[^52]提出。 其局限性是对快速光照变化的敏感性。 另一种方法是提出结构元素的概念 [^23]，它指的是整个图像类的概率元素，并且被广泛用于背景消除 [^12] [^50]。 其主要优点是，它可以用于具有不同背景的静态图像数据集。 但是，其局限性是耗时。 在[^25]中，作者利用Kinect摄像头中的深度信息，利用头部和地板之间的距离。
在 [^67] 中，提出了一种基于立体视觉的公交车乘客计数系统。该计数系统涉及检测、分割、跟踪和计数的多个步骤。高度图已被分割，以突出显示不同高度乘客的头部，从而生成包含与头部相关信息的二值图像 [^34]。该系统利用了计算机断层扫描 (CT) 的思想，深度图像被分割成不同的层，这些层沿横平面滑动，层与层之间具有固定的深度间距。然后，基于经典的轮廓查找算法，可以找到每个层的区域。之后，使用支持向量机 (SVM) 分类器来分类活动。另一项工作提出了一种低级分割和跟踪方法，该方法可以检测商店货架上的产品交互以及商店内的人员移动 [^43]。
作者们 [^17] 使用 Microsoft Kinect 深度传感器以天花板配置，并提出了一种基于深度帧分析的自动室内跌倒检测方法。一种分割算法用于识别采集的元素。它提取元素并实现一种解决方案，用于对场景中的所有 blob 进行分类。通过人体测量关系和特征来识别人体。在 [^10] 中，提出了一种基于 RGB-D 数据的低级身体部位分割方法，该数据由 RGB-D 传感器收集。目标对象类别是某些人体部位。为了生成用于训练分类器的训练数据，作者使用虚拟环境中人体合成表示，并结合 Kinect 骨骼跟踪数据。
在 [^55] 中，提出了一种使用多个深度相机的方案，旨在开发用于跟踪的实时室内监控系统。该系统试图克服诸如严重遮挡、相似外观、光照变化等常见问题。它基于拼接的俯视图背景消除。检测方案采用了不同的阶段，例如基于图的分割、头部半椭球体模型和测地距离图，从而在与其他最先进技术相比，提高了鲁棒性和效率。
[^24] 中提出的算法对经典分割技术进行了改进。该算法首先通过最近邻插值填充深度图中的空洞，之后对深度图采用带有 $5 \times 5$ 窗口的中值
---
运用阵列对数据进行平滑处理。为提取出目标人物，该算法先提取地面，再从深度图中移除地面对应的像素。在此之后，为确认被跟踪目标的存在并确定头部位置，研究人员使用了基于支持向量机（Support Vector Machine，SVM）的人物检测器。该算法在弱光照条件下的跌倒检测任务中取得了较高的灵敏度与特异性，效果可观。[^36]也提出了一种应用于公共交通场景的人数统计方法，该方法采用分割思路。Kinect传感器采集的数据包含一个涵盖1-5个人物的图像数据库，包含有无握住扶手的不同身体姿势情况。但该方法中，图像会被分块处理，目的是找到潜在的局部最大值，以便在下一步筛选候选头部区域，最终过滤掉所有非头部物体。
在 [^5] 中，采用了一种基于飞行时间 (TOF) 技术的创新型主动传感器，应用于实时人员跟踪系统，即使在光照条件较差的情况下也能成功工作。通过基于像素级别的参数统计模型的简单背景差分处理。该系统经过在不同光照条件下和涉及多人在近距离交互的实验，已被证明可靠。
[^45] 提出了一种使用顶视相机系统的，用于检测人物的方法。作者使用判别性类别方案，引入了一种新的特征描述符来训练头部和肩部检测器，具有出色的运行性能。一个最终的跟踪步骤可靠地将检测结果传递，从而提供稳定的跟踪结果。
[^38] 和 [^39] 论文探讨了使用粒子滤波和 Xtion PRO-LIVE 相机进行 3D 人体姿势跟踪的问题。提出了一种混合 2D-3D 方法，将人体分成两部分：头部和肩膀在 2D 空间中进行跟踪，而手臂在 3D 空间中进行跟踪。
#### 18.2.2 水填充
水填充是一种计算机视觉算法，被许多研究人员在考虑 RGB-D 相机（顶视配置）时所采用。
在 [^71] 中，作者构建了一个使用垂直 Kinect 传感器进行人员计数的系统，并且使用深度信息来消除外观变化的影响。他们提出了一种新的无监督水填充方法，可以在拥挤的环境中找到合适的局部最小值区域（人员头部），具有鲁棒性、局部性和尺度不变性。其局限性在于，当某些移动物体比头部更靠近传感器时，该方法无法处理这种情况。
[^7] 也介绍了使用水填充技术的的人员计数系统。在这种情况下，传感器垂直于天花板。水填充算法用于确定人员的头部。机器人操作系统 (ROS) 用于从 Kinect 传感器捕获深度信息，图像由开源库 OpenCV 处理。
---
通过使用，可以消除抖动，并短暂跟踪图像中消失的人员。
水填充算法通过模拟“雨”和地面“水流”，在深度图像中找到局部最小值区域，形成类似水滴的结构。通过计算与局部最小值点的距离，可以计算出轮廓线。深度图像可以被视为一个函数 $f(x, y)$，该函数可能不可导，甚至不连续，这是由于深度传感器的噪声造成的。找到人员意味着在 f 中找到局部最小值区域。该问题可以定义为找到满足以下方程的区域 A 和 N：[^71]
$$ E_{A}(f(x,y))+\eta\leqslant E_{N\backslash A}(f(x,y)) $$
其中 $A \in N$，A 是局部区域，N 是其邻域，两者形状可以任意，$E(\cdot)$ 是一个操作，用于将区域中的深度信息与一个反映区域内总深度信息的实数值相关联。$\eta$ 是一个阈值，以确保 A 中的深度应低于 $N \setminus A$ 的容差范围。Zhang 等人 [^71] 定义了一个额外的测量函数 $g(x, y)$ 为
定义 18.1 $g(x,y)$ 是一个测量函数，应用于 $f(x,y) \iff \exists\epsilon > 0, \forall(x_1,y_1)$、$(x_2,y_2)$，满足条件 $\|(x_1-x_2)^2 + (y_1-y_2)^2\| < \epsilon$，如果 $f(x_1,y_1) \leq f(x_2,y_2)$
$$ \begin{aligned}f(x_{1},y_{1})+g(x_{1},y_{1})&\leqslant f(x_{2},y_{2})+g(x_{2},y_{2})\\g(x_{1},y_{1})&\geqslant g(x_{2},y_{2})\\g(x_{1},y_{1})&\geqslant0,g(x_{2},y_{2})\geqslant0\end{aligned} $$
$g(x,y)$ 的形式可以是简单的，例如，一个零函数。使用 $g(x,y)$ 可以帮助推断 $f(x,y)$。$g(x,y)$ 的定义使我们能够有效地解决方程，并对噪声具有鲁棒性。
对于这些情况，通常不需要 $g(x, y)$ 的一般解，但适当的非平凡形式是可以接受的。函数 $f(x, y)$ 的形式可以被看作是山峰和凹陷的组合。在山峰中，雨滴会由于重力的作用流向附近的凹陷区域。一步一步地，凹陷区域会被雨滴填满。函数 $g(x, y)$ 表示在点 $(x, y)$ 处的雨滴数量。当雨停止时，收集了雨滴的区域可以被分类为凹陷。由 Liciotti 等人提出的算法 18.1 [^30] 是原始方法的一个改进版本 [^71]。特别是，雨滴的选择是根据前景图像的分割（第 4 行）进行的。此过程提高了算法的执行速度。其主要特征如图 18.1 所示。
---
Fig. 18.1 The main characteristics of water filling algorithm. A, B, C correspond to three people, respectively, and D is a noise region (figure a). Region A has smaller scale compared with B and C, and the absolute height of A is larger than noise region D. After the water filling process (figure b), the measure function $g(x, y)$ which reflects the property of $f(x, y)$ is obtained (figure c). Finally, the people are detected by a threshold operation on measure function $g(x, y)$
```pseudo
// Algorithm 18.1: Water Filling
1: function WATERFILLING(f(x, y), T, K)
2: g(x, y) = 0
3: M, N = size(f(x, y))
4: fg(x, y) = (bg(x, y) ân‘f(x, y)) > T where fg(x, y) is the foreground and bg(x, y) the background
5: for k = 1 : K do
6: x = rand(1, M), y = rand(1, N) with (x, y) ∈ fg(x, y)
7: while True do
8: d(x_n, y_n) = f(x_n, y_n) + g(x_n, y_n) ân‘f(x, y) + g(x, y)) where (x_n, y_n) is the neighbourhood of (x, y)
9: (x^, y^) = arg min d(x_n, y_n)
10: if d(x^, y^) < 0 then
11: x = x^, y = y^
12: else
13: g(x, y) = g(x, y) + 1
14: break
15: end if
16: end while
17: end for
18: return g(x, y) > T
19: end function
```
雨滴的总数是 $K = tMN$，其中 t 通常设置为 100。在每次迭代（第 5 行）中，$(x, y)$ 是通过离散均匀分布随机生成的（第 6 行）。如果 $(x^*, y^*)$ 附近的点 $(x, y)$ 满足等式 18.2，那么 $(x, y)$ 处的雨滴会流向 $(x^*, y^*)$，并且循环重新开始，直到达到局部最小值。当达到局部最小值时，测量函数 $g(\cdot)$ 会增加（第 13 行）。当所有 K 个雨滴找到其稳定位置后，计算测量函数 $g(x, y)$，并通过应用阈值 T，可以提取摄像头下的人的头部（第 18 行）。
---
(a) RGB
(b) Segmentation
Fig. 18.2 Multilevel segmentation algorithm. Head recognition (b): different colours of the blob highlight the head of the people detected in the scene (a). Images from [^29]
#### 18.2.3 多级分割
多层次分割算法克服了常见二值分割方法在人群碰撞情况下的局限性。在正常的分割中，当两个人碰撞时，他们会变成一个单独的“blob”（人物）。多层次分割确保在发生碰撞时，即使两个人处于一个单独的“blob”中，他们的头部也会被检测到并作为区分元素被考虑 [^13]。在图 18.2 中，可以看到通过多层次分割算法获得的每个人的头部。在碰撞情况下，两个人的头部都会被检测到，并在黄色的“blob”中（图 18.2a 和 b）。多层次分割的详细说明见伪代码算法 18.2。MULTILEVELSEGM 函数以前景图像 $(f(x, y))$ 作为输入。FINDPOINTMAX 函数计算图像中的最高点 $(max)$ 及其位置坐标 $(point_{max})$。在第 3 行，层级计数器采用阈值，该阈值是一个固定值，对应于人体头部的平均高度（[^13] 采用 10 厘米的值，这非常合理）。当分割级别变为负数（超过下限）时，迭代停止。在第 5 行，有一个分割函数，该函数以二进制图像作为输出，其中“blob”代表移动对象，这些对象位于分割级别之上 $(max - level)$。此二进制图像是 FINDCONTOURS 函数的输入，该函数返回每个“blob”的点向量。然后，FILTERCONTOURS 函数删除噪声（可以应用大小和形状条件）。每个通过 FILTERMASK 函数识别出的“blob”的最高点/深度值（由 FINDPOINTMAX 函数计算）被插入到点向量中。最后，MULTILEVELSEGM 函数返回一个包含所有局部最大点的向量。此向量的长度正好是当前帧中人物的数量。
---
```pseudo
// Algorithm 18.2: Multi level segmentation algorithm
1: function MULTILEVELSEGM(f(x, y))
2: (max, point_{max}) = FINDPOINTMAX(f(x, y))
3: level = threshold
4: while (max - level) > 0 do
5: f_{level}(x, y) = f(x, y) > (max - level)
6: contours = FINDCONTOURS(f_{level}(x, y))
7: FILTERCONTOURS(contours)
8: for each contour i ∈ contours do
9: f_{mask}(x, y) = FILTERMASK(f_{level}(x, y), i)
10: v_{max}, p_{max} = FINDPOINTMAX(f_{mask}(x, y))
11: if p_{max} ≠ points then
12: points.PUSHBACK(p_{max})
13: end if
14: end for
15: level = level + threshold
16: end while
17: return points
18: end function
```
#### 18.2.4 基于深度学习的语义分割
计算机视觉中的一个主要问题是图像、视频和 3D 数据的语义分割。语义分割是实现完整场景理解的高级任务之一。场景理解最初的目标是构建能够像人类一样“看”的机器，以从图像中推断出一般原则和当前情况，但它已经远远超出了这个范围。诸如图像搜索引擎、自动驾驶、计算摄影、视觉图形、人机交互等应用是之前无法预料的，并且随着场景理解技术的发展，其他应用仍在不断涌现 [^16]。作为高级计算机视觉的核心问题，虽然它在过去 50 年里取得了一些巨大的成功，但要实现对视觉场景的完整理解，仍然需要付出更多努力。在过去，这个问题一直使用不同的传统计算机视觉和机器学习技术来解决。尽管这些方法很流行，但深度学习带来了显著的变化，许多计算机视觉问题都使用卷积神经网络 (CNN) 等深度架构来解决，这些架构在准确性方面甚至在效率方面都大大超过了其他方法。本节介绍一个特定的案例研究，该案例研究描述了来自文献中的五种基于 CNN 架构和实现方法的语义分割方法。在本案例中，目标是从俯视配置中分割出人们的头部，因此测试了不同的 CNN 架构。人们的头部始终从俯视配置中可见，因此在成功检测后，
---
计数变得很 trivial，因为我们已经有一个二进制掩码，可以将其应用于常见的计算机视觉算法以提取轮廓。在第 18.3 节，报告了不同架构之间的比较，详细信息见 [^33]。
##### 18.2.4.1 U-NET
[^47]中提出的U-Net架构如图18.3所示，它主要由两部分构成：
收缩路径（左侧）；
• 扩张路径（右侧）。
第一条路径遵循典型的 CNN 架构。它由重复应用两个 $3 \times 3$ 卷积（无填充卷积），每个卷积后跟 ReLU（线性修正单元）和一个步长为 2 的 $2 \times 2$ 最大池化操作，用于下采样。在每个下采样步骤中，特征通道的数量会加倍。扩张路径中的每个步骤都由上采样特征图，然后是 $2 \times 2$ 卷积（“上卷积”）组成，该卷积将特征通道数量减半，然后与收缩路径中的相应裁剪特征图连接，以及两个 $3 \times 3$ 卷积，每个卷积后跟 ReLU。在最终层，使用一个 $1 \times 1$ 卷积将每个 32 个分量的特征向量映射到所需的类别数量。类似地，[^46] 的作者重新审视了经典的 U-Net 架构，移除了两个最大池化层，并将 ReLU 激活函数更改为 LeakyReLU（图 18.4）。另一种 U-Net 架构由 [^33] 提出。特别是，在第一个 ReLU 激活函数之后以及在每个最大池化和上采样函数之后添加了一个批处理归一化。图 18.5 所示。
Fig. 18.3 U-Net architecture
---
Fig. 18.4 U-Net2 architecture
Fig. 18.5 U-Net3 architecture [^33]
##### 18.2.4.2 SegNet
Vijay 及其同事在 [^2] 中展示了 SegNet 架构，如图 18.6 所示。该架构由一个非线性处理层（编码器）序列和相应的解码器集合以及一个像素级分类器组成。通常，每个编码器由一个或多个卷积层（带批处理归一化和 ReLU 非线性）、后跟非重叠的最大池化和子采样组成。由于池化过程导致的稀疏编码，在解码器中使用最大池化索引对编码序列进行上采样。最大池化索引用于解码器，以执行低分辨率特征图的上采样。这具有重要的优点，可以保留分割图像中的高频细节，并且还可以减少解码器中可训练参数的总数。整个架构可以使用随机梯度下降进行端到端训练。
---
Fig. 18.6 SegNet architecture
原始 SegNet 预测往往在进行条件随机场 (CRF) 后处理之前就比较平滑。
##### 18.2.4.3 ResNet
He 等人于 [^22] 观察到，加深传统的具有前馈网络的训练损失往往会增加。理论上，浅网络的训练损失应该是相应深度网络的训练损失的上限。这是因为通过添加层严格增加模型表达能力，从而增加了深度。深度网络可以使用恒等映射，表达浅网络可以表达的所有函数，因此深度网络可以表达浅网络可以表达的所有函数。He 等人提出了残差网络，该网络具有显著改进的训练特性。ResNet 由一系列残差单元 (RU) 组成，如图 18.7 所示。ResNet 中的第 n 个 RU 的输出 $x_{n}$ 计算如下：
$$ x_{n}=x_{n-1}+F(x_{n-1};W_{n}) $$
其中，$F(x_{n-1}; W_n)$ 是残差，由 $W_n$ 确定参数。 这样，F 不直接计算输出 $x_n$，而是只计算一个残差，并将其添加到输入 $x_{n-1}$ 中。 这种设计可以被称为跳跃连接，因为输入 $x_{n-1}$ 和输出 $x_n$ 之间存在一个跳过实际计算 F 的连接。 经验观察表明，与传统的 feed-forward 网络相比，ResNet 具有更好的训练性能。 这可以通过网络内部的改进梯度流动来解释。
---
Fig. 18.7 Residual unit
##### 18.2.4.4 FractalNet
Fractal 网络由 Larsson 等人在 [^26] 中提出。 设 C 表示一个截断的 fractal $f_C(\cdot)$ (即，一系列堆叠的层) 的索引，而截断 fractal 的基本情况是一个卷积：
$$ f_1(z)=conv(z) $$
根据扩展规则，
$$ z^{\prime}=conv(z) $$
$$ f_{C+1}(z)=conv(conv(z^{\prime})\oplus f_{C}(z^{\prime})) $$
可以递归地定义用于后续 fractal，其中 $\oplus$ 是一个连接操作，$\text{conv}(\cdot)$ 是一个卷积运算符。 通过连接操作 $\oplus$ 将两个 blob 合并。 由于这两个 blob 包含来自不同视觉级别的功能，因此连接它们可以提高网络的判别能力。 通常，此操作可以是求和、最大化和连接。 为了扩大感受野并包含更多上下文信息，在上述扩展规则中添加了下采样和上采样操作。 特别是，添加了一个步长为 2 的最大池化和一个步长也为 2 的反卷积。 在下采样操作之后，fractal 的感受野会更广。 通过连接操作组合不同的
Fig. 18.8 FractalNet architecture
---
感受野，网络可以利用多尺度视觉线索并提高其判别能力。 Fractal Net 架构如图 18.8 所示。
#### 18.2.5 重新识别
人员重新识别在视频监控中有很多重要的应用，因为它节省了人工在大量视频序列中搜索人员的精力。 身份识别摄像头广泛应用于大多数公共场所，如商场、办公楼、机场、车站和博物馆。 这些摄像头通常提供增强的覆盖范围，并覆盖大地理区域，因为它们具有不重叠的视野。 由这些网络提供的大量视频数据由执法人员实时监控，并在事件发生后用于法医目的。
在这种情况下，对整个身体外观进行鲁棒建模至关重要，因为其他经典生物特征（如面部、步态）可能由于传感器分辨率低或帧率低而不可用。 通常，假设个人在不同 sighting 之间穿着相同的衣服。 该模型必须对姿势、视角、光照变化和遮挡具有不变性：这些挑战需要特定的基于人类的解决方案。
对这些数据的自动分析不仅能提升处理速度，还能大幅提高监测质量[^56]。通过视频分析可以得到场景中人员的行为特征，分析其长期活动规律，这是高级监控任务中向安保人员发出预警所必需的环节。近年来，目标识别领域已经开展了大量基于视频序列比对的研究工作。视频序列的颜色特征通常由一组能够良好表征整段视频的关键帧来描述。HSV颜色直方图和RGB颜色直方图对视角变化和分辨率变化都具有鲁棒性[^20]。提取自头部、上衣、裤子区域的衣物颜色直方图，结合人员的估算身高，已经被用作行人识别的判别特征。行人重识别研究可以分为两类：基于特征的方法和基于学习的方法[^37]。将人体测量指标用于行人重识别的思路最早在[^35]中被提出。在该研究中，身高通过RGB相机估算得到，被用作关联来自不重叠视角的个体轨迹的线索。在[^18]中，作者提出利用局部运动特征对跨相机视角的行人进行重识别。他们通过时空分割得到不同行人身体部位之间的对应关系，并在这些身体部位上提取颜色直方图和边缘直方图。该方法通过基于特征和对应关系匹配身体部位完成行人重识别。针对行人重识别、计算形状词和视觉词共现的形状与外观上下文方法在[^59]中被提出。人体通过形状上下文和训练得到的形状字典被划分为L个部分，之后这些部分会被进一步分割为
---
通过空间核得到M个子区域。在每个子区域上提取视觉词直方图。因此，针对行人重识别（person re-id）任务，$L \times M$个直方图被用作视觉特征。在[^12]中，行人的外观通过结合三类特征进行表示（这些特征根据从轮廓分割得到的对称轴和非对称轴采样）：加权颜色直方图、最大稳定颜色区域以及重复性高结构斑块。另一种解决行人重识别问题的方法是在低层视觉特征上学习判别模型。在[^20]中，Adaboost被用于选择最优的局部特征集成来完成行人识别。在[^51]中，偏最小二乘法被用于实现行人重识别。而Prosser等人[^44]使用排序SVM来学习排序模型。过去多年来，度量学习已被广泛应用于行人重识别领域。在[^73]中，研究者提出了一种概率相对距离比较模型，该模型最大化正匹配对的距离小于错匹配对距离的概率。在[^40]中，作者研究了在无约束场景下，是否可以通过将服装外观描述符与利用RGB-D传感器从深度数据中提取的人体测量度量融合，来提升服装外观描述符的重识别准确率。他们还针对行人重识别任务提出了一种基于差异的框架，用于构建和融合行人图像的多模态描述符，可替代目前广泛使用的分数层融合方法。
最近，卷积神经网络（CNN）被广泛应用于解决人员重新识别问题。在人员重新识别问题中，深度学习模型仍然受到训练数据样本不足的困扰。这是因为大多数数据集只为每个个体提供两张图像 [^27]。文献中已经提出了几种 CNN 模型，以提高人员重新识别的性能。具体来说，有两种模型被用于重新识别领域：一种是分类模型，另一种是基于对或三元组比较的 Siamese 模型。
基于分类的模型需要确定个体身份。在 [^63] 中，提出了一种名为 Feature Fusion Net (FFN) 的新型特征提取模型，用于行人图像表示。该模型利用了 CNN 特征和手工特征。作者使用了颜色直方图特征和纹理特征。提取的特征随后经过一个缓冲区层和一个全连接层，这些层起到了融合的作用。该模型的有效性已在三个具有挑战性的数据集上得到证明。在 [^62] 中，提出了一种用于人员重新识别的混合深度架构，由 Fisher 向量和多个监督层组成。该网络采用线性判别分析 (LDA) 作为目标函数进行训练，旨在最大化类之间的边距。在 [^66] 中，作者提出了一种基于使用 CNN 从多个领域学习深度特征表示的方法，旨在发现每个训练数据集的有效神经元。作者提出了一种称为 Domain Guided Dropout 的算法，以通过丢弃无用神经元来改进特征学习过程。他们在各种数据集上进行了评估，但存在一些限制，即某些神经元仅对特定数据集有效，而对另一个数据集无效。在 [^28] 中，设计了一种多尺度上下文感知网络。该网络通过在每个层中堆叠多个尺度的卷积，学习了关于身体和身体部位的强大特征。他们还提出了一种学习和
---
通过具有新空间约束的空间变换网络来定位可变形的行人部件，而不是使用预定义的刚性部件。
由于人员重新识别研究领域缺乏训练实例， Siamese 网络模型已被广泛且有效地采用。 Siamese 神经网络是一种包含两个或多个相同子网络的神经网络架构。 Siamese 网络用于成对（对于两个子网络）或三元（对于三个子网络）的任务。 一些成对研究的例子可以在 [^14] [^57] [^69] 中找到。 在 [^57] 中，作者将四个 CNN 结合起来，每个 CNN 嵌入来自不同比例或不同身体部位的图像。 每个子 CNN 都使用自适应列表式损失函数进行训练。 此外，他们采用了一个 sharpness 参数和一个自适应 margin 参数，以便在训练过程中自动更加关注困难的负样本。 在 [^69] 中，提出了一种 Siamese 神经网络，用于学习成对相似性。 该方法可以在统一框架中同时学习颜色特征、纹理特征和度量。 该网络是一个对称结构，包含两个子网络，它们通过 Cosine 函数连接。 此外，还使用了二项式偏差来处理人员图像的大量变化 [^14]。 作者提出了一种基于协方差描述符的新型特征，即卷积协方差特征。 该过程分为三个步骤：首先，训练一个混合网络用于人员识别； 其次，采用另一个混合网络用于区分性别； 最后，将两个网络的输出通过一种粗到精的迁移学习方法传递到一个 Siamese 网络中，以完成最终的人员重新识别任务。 在 [^9] 中，作者提出了一种基于深度神经网络的可扩展的基于距离的特征学习框架，用于从原始人员图像中生成特征表示。 一个 CNN 网络通过一组三元组进行训练，以生成满足相对距离约束的特征。 在 [^70] 中，提出了一种监督学习框架，用于从原始图像生成紧凑且可按比特扩展的哈希代码。 训练图像被组织成一组三元样本，两个图像具有相同的标签，一个图像具有不同的标签。 深度卷积神经网络用于以端到端的方式训练模型，同时优化判别图像特征和哈希函数。 在 [^54] 中，提出了一种三阶段训练方法：首先，深度卷积神经网络在独立的带有属性标签的数据集上进行训练，然后，它在另一个仅带有人员 ID 标签的数据集上进行微调，使用他们定义的特定三元损失函数，最后，更新后的网络预测目标数据集的属性标签。
##### 18.2.5.1 自上视图配置中的人员重新识别
自上视图配置中的重新识别已在 [^31] [^42] 中进行研究。 为了完成这项任务，作者构建了一个名为 TVPR $^{1}$ (Top-View Person Re-identification) 的数据集。 使用了 Asus Xtion PRO LIVE RGB-D 摄像头，因为它可以在经济且快速的方式下获取颜色和深度信息。
---
摄像头安装在待分析区域上方的天花板处，共采集了100名受试者的数据，采集工作分多天在不同时段完成。每名受试者以正常步态沿同一方向走过记录区域，在摄像头正下方停留数秒，随后转身沿相反方向重复相同路线，每次都会在摄像头下方停留一段时间。选择这种俯视布局是因为它比通常用于手势识别甚至电子游戏的前置布局适用性更强。俯视布局可以减少遮挡问题[^30]，并且拥有保护隐私的优势，因为摄像头不会记录人脸。本文介绍了从深度信息和色彩信息中提取大量有效特征的流程。第一步是处理从RGB-D摄像头获取的数据，该摄像头可采集尺寸为$640 \times 480$像素的深度图像与彩色图像，采集帧率最高可达约30 fps，并通过基于红外图案的结构光对场景/物体进行照明。筛选出的九项特征中，有七项是从深度图像提取的人体测量特征：
• 头部与地面的距离，$d_{1}$；
• 肩部与地面的距离，$d_{2}$；
• 头部表面面积，$d_{3}$；
头部周长，$d_{4}$；
• 肩部周长，$d_{5}$；
• 肩膀宽度，$d_{6}$；
胸部前后深度，$d_{7}$
另外两个基于颜色的特征是从彩色图像中获得的，类似于[^3]，对于H通道和S通道，都使用n=10的量化。
• 头部/头发的颜色直方图，$H_{h}$；
• 外衣的颜色直方图，$H_{o}$
它也定义了三个描述符：TVH、TVD和TVDH。
• TVH是颜色描述符：
$$ T V H=\{H_{h}^{p},H_{o}^{p}\} $$
• TVD是深度描述符：
$$ TVH=\{d_{1}^{p},d_{2}^{p},d_{3}^{p},d_{4}^{p},d_{5}^{p},d_{6}^{p},d_{7}^{p}\} $$
- 最后，TVDH是定义为以下内容的个人特征：
$$ T V D H=\{d_{1}^{p},d_{2}^{p},d_{3}^{p},d_{4}^{p},d_{5}^{p},d_{6}^{p},d_{7}^{p},H_{h}^{p},H_{o}^{p}\} $$
图18.9显示了考虑的一组特征：人体测量特征和基于颜色的特征。
100人的数据集是在23个注册会话中采集的。每个注册会话的文件夹包含一个视频。会话的录制时间[秒]以及会话中人员的数量，如表18.1所示。采集是在8天内进行的，总录制时间约为2000秒。注册是在室内环境中进行的，人们在安装在天花板上的摄像头下方行走。另一个重要问题是环境照明。在每个录制会话中，照明条件并不恒定，因为它会随着一天中的不同时间而变化，并且还取决于天气条件造成的自然光照。这些视频采集，在这种环境中，如图18.10所示，是人员注册的示例，分别在阳光和人工光照下。在每个注册会话中，每一个人都以平均步态行走。
---
Fig. 18.9 Anthropometric and colour-based features
(a)
(b)
(c)
(e)
(f)
(g)
(h)
Fig. 18.10 Snapshots of a registration session of the recorded data, in an indoor scenario, with artificial light. People had to pass under the camera installed on the ceiling. The sequences a–e, b–f correspond to the sequences d–h, c–g respectively for the training and testing sets of the classes 8–9 for the registration session g003 [^31]
各记录场次以及对应场次的人数已列于表18.1中。本次采集工作共分8天完成，总录制时长约为2000 s。所有人员登记采集均在室内场景中进行，受试人员从安装在天花板上的摄像头下方穿行。另一个主要问题是环境光照：每次录制过程中的光照条件都不是恒定的，它会随一天中的不同时段发生变化，同时也受天气条件影响下的自然光照干扰。该场景下的视频采集示例如图18.10所示，分别为日光照射和人工照明两种条件下的人员登记采集样本。每位受试人员在登记采集过程中都以正常步速行走。
---
Table 18.1 Time [s] of registration for each session and the number of people of that session [^31]
| Session | Time [s] | # People | Session | Time [s] | # People |
| g001 | 68.765 | 4 | g013 | 102.283 | 6 |
| g002 | 53.253 | 3 | g014 | 92.028 | 5 |
| g003 | 50.968 | 2 | g015 | 126.446 | 6 |
| g004 | 59.551 | 3 | g016 | 86.197 | 4 |
| g005 | 75.571 | 4 | g017 | 95.817 | 5 |
| g006 | 128.827 | 7 | g018 | 57.903 | 3 |
| g007 | 125.044 | 6 | g019 | 82.908 | 5 |
| g008 | 75.972 | 3 | g020 | 87.228 | 4 |
| g009 | 94.336 | 4 | g021 | 42.624 | 2 |
| g010 | 116.861 | 6 | g022 | 68.394 | 3 |
| g011 | 101.614 | 5 | g023 | 56.966 | 3 |
| g012 | 155.338 | 7 | | | |
| | | Total | 2004.894 | 100 |
在录制区域内，被测试者在一个方向上移动，然后返回并重复相同的路线，但方向相反。 这种方法用于更好地将TVPR在训练集（人在摄像头下的第一次通过）和测试集（人再次通过摄像头时）中进行划分。 招募的受试者年龄在19-36岁之间，其中女性43人，男性57人；86人头发为深色，12人头发为浅色，2人无发。 此外，其中55人留短发，43人留长发。 受试者穿着日常服装，如T恤/运动衫/衬衫、宽松的裤子、外套、围巾和帽子。 特别是，18名受试者穿着外套，7名受试者穿着围巾。 所有视频具有固定的尺寸和约30 fps的帧率。 视频以原始的.oni文件格式保存，但可以转换为任何其他格式。 颜色流以非压缩格式提供。 图18.11显示了每个提取的人体测量特征的直方图。 由于分析对象的差异，从数据中获得一个高斯曲线。 累积匹配特性 (CMC) 曲线表示在前n个匹配中找到正确匹配的期望。 它相当于检测问题的受试者运行特性 (ROC) 曲线。 该性能指标评估识别问题，并基于对摄像头网络中外观分布的一些假设。 它被认为是生物识别研究人员识别性能的主要指标。 就像在识别和再识别任务中一样，对于每个测试项，我们使用标准的距离度量对训练库中的元素进行排序。 已经研究了三种距离度量作为匹配距离度量：L1 City block、欧氏距离和余弦距离。 为了评估TVPR，性能结果以识别率的形式报告，并使用CMC曲线显示在图18.12中。 具体来说，水平轴是匹配分数的排名，垂直轴是正确识别的概率。 考虑到数据集，图表显示了TVH和TVD的CMC曲线，用于比较使用这些不同描述符返回的排名。 图18.12a显示了TVH的CMC。 图18.12b表示TVD的CMC。 这些结果与TVH和TVD的平均值进行比较。 平均CMC显示在图18.12c中。 观察到，描述符的组合实现了最佳性能。 在图18.12d中，可以看出，描述符的组合提高了每个单独描述符的结果。 这种情况是由于深度信息可以提供更多信息。 事实上，深度在排名值高于15时表现最佳（图18.12b）。 其更好的性能表明了该描述符的重要性。
---
$d_{3}$
$d_{5}$
Fig. 18.11 Statistics histogram for each feature (18.11a $d_1$ distance between floor and head; 18.11b $d_2$ distance between floor and shoulders; 18.11c $d_3$ area of head surface; 18.11d $d_4$ Head circumference, 18.11e $d_5$ shoulders circumference, 18.11f $d_6$ shoulders breadth; 18.11g $d_7$ thoracic anteroposterior depth). The resultant Gaussian curve (in red) is due to the dissimilarity of the analysed subjects [^31]
---
Fig. 18.12 The CMC curves obtained on TVPR Dataset [^42]
比较使用这些不同描述符返回的排名。 图18.12a显示了TVH的CMC。 图18.12b表示TVD的CMC。 这些结果与TVH和TVD的平均值进行比较。 平均CMC显示在图18.12c中。 观察到，描述符的组合实现了最佳性能。 在图18.12d中，可以看出，描述符的组合提高了每个单独描述符的结果。 这种情况是由于深度信息可以提供更多信息。 事实上，深度在排名值高于15时表现最佳（图18.12b）。 其更好的性能表明了该描述符的重要性。
### 18.3 结果和用例
本节报告了用于测试多级分割和水填充算法、DCNN用于人数统计以及基于再识别特征的方法的性能的实验结果。
---
Table 18.2 Image processing algorithms performances
| Algorithm | Precision | Recall | F1-score |
| Multilevel segmentation | 0.9390 | 0.9872 | 0.9625 |
| Water filling | 0.9365 | 0.7564 | 0.8369 |
(a)
(b)
Fig. 18.13 CBSR dataset
特别是，多级分割和水填充算法的评估是基于CBSR数据集的一个子集进行的。 $^{2}$ 该数据集包含总共3884张图像，其中包含6094个头部。 它包含背景去除后的深度图像，在地面真实数据中，头部被手动涂成红色。
表 18.2 显示了算法在精度、召回率和 F1 分数方面的结果。这些算法的性能指标很高。但是，当头部位于图像边缘时，准确率会降低。相比之下，多级分割算法似乎比水填充算法更准确（图 18.13）。
在评估深度学习方法时，使用了 TVHeads $^{3}$ 数据集。该数据集包含来自俯视配置的人的深度图像。特别是，此数据集的目的是定位摄像头下方的人的头部。它包含总共 1815 张深度图像（16 位），其尺寸为 $320 \times 240$ 像素。此外，在图像预处理阶段后，深度图像还通过适当的缩放转换为 8 位的图像，以突出显示头部的轮廓，从而提高图像的对比度和亮度（图 18.14）。
每个 CNN 实现都使用两种类型的深度图像进行训练：
• 16 位：由深度传感器获取的原始图像；
8 位：缩放的图像，用于突出显示头部的轮廓，从而提高图像的对比度和亮度。
---
(a) 8 bit Depth image.
(b) 16 bit Depth image.
(c) Ground truth.
Fig. 18.14 TVHeads dataset. It consists of 8-bit scaled depth images (a), 16-bit original images (b) and the corresponding ground truth (c) [^33]
Table 18.3 Jaccard and Dice indices of different CNN architectures. From [^33]
| Net | Bit | Jaccard | Jaccard | Dice | Dice |
| Train | Validation | Train | Validation |
| Fractal [^26] | 8 | 0.960464 | 0.948000 | 0.979833 | 0.973306 |
| 16 | 0.961636 | 0.947762 | 0.980443 | 0.973180 |
| U-Net [^47] | 8 | 0.896804 | 0.869399 | 0.945595 | 0.930138 |
| 16 | 0.894410 | 0.869487 | 0.944262 | 0.930188 |
| U-Net2 [^46] | 8 | 0.923823 | 0.939086 | 0.960403 | 0.968586 |
| 16 | 0.923537 | 0.938208 | 0.960249 | 0.968119 |
| U-Net3[^33] | 8 | 0.962520 | 0.931355 | 0.980902 | 0.964458 |
| 16 | 0.961540 | 0.929924 | 0.980393 | 0.963690 |
| SegNet [^2] | 8 | 0.884182 | 0.823731 | 0.938531 | 0.903347 |
| 16 | 0.884162 | 0.827745 | 0.938520 | 0.905756 |
| ResNet [^22] | 8 | 0.932160 | 0.856337 | 0.964889 | 0.922609 |
| 16 | 0.933436 | 0.848240 | 0.965572 | 0.917889 |
Table 18.4 Semantic segmentation results of different ConvNet architectures. From [^33]
| Net | Bit | Accuracy | Precision | Recall | F1-score |
| Fractal [^26] | 8 | 0.994414 | 0.991400 | 0.993120 | 0.992235 |
| 16 | 0.994437 | 0.992667 | 0.993297 | 0.992970 |
| U-Net [^47] | 8 | 0.992662 | 0.946475 | 0.950483 | 0.948408 |
| 16 | 0.992569 | 0.945083 | 0.948957 | 0.946938 |
| U-Net2 [^46] | 8 | 0.993156 | 0.970013 | 0.969206 | 0.969568 |
| 16 | 0.993165 | 0.967884 | 0.970557 | 0.969123 |
| U-Net3[^33] | 8 | 0.994572 | 0.990451 | 0.990387 | 0.990419 |
| 16 | 0.994559 | 0.989382 | 0.989411 | 0.989396 |
| SegNet [^2] | 8 | 0.992683 | 0.946304 | 0.953136 | 0.949625 |
| 16 | 0.992699 | 0.946237 | 0.953342 | 0.949658 |
| ResNet [^22] | 8 | 0.993789 | 0.968399 | 0.968374 | 0.968359 |
| 16 | 0.993819 | 0.968765 | 0.969256 | 0.968992 |
---
Table 18.5 Qualitative result of prediction. From [^33]
| 8-bit | 16-bit | Label |
|  |  |  |
| FractalNet [^26] | | | |
| U-Net [^47] | | | |
| U-Net2 [^46] | | | |
| U-Net3 [^33] | | | |
| SegNet [^2] | | | |
| ResNet [^22] | | | |
---
在这种情况下，分别选择训练集、测试集和验证集，用于学习模型参数。完成此阶段后，最佳模型也会在之前未见过的测试集上进行评估。在以下实验中，分别选择 70%、10% 和 20% 的数据集进行训练、测试和验证。此外，测试了不同的超参数组合，并使用了学习率为 0.001 的 Adam 优化算法。语义分割性能分为两个不同的表格。表 18.3 显示了训练和验证的 Jaccard 和 Dice 指数，而表 18.4 报告了准确率、精度、召回率和 F1 分数的指标。这两个表格都与在 200 个 epoch 期间进行的学习过程相关。在表 18.3 中，最佳 CNN 架构是 U-Net3 8 位版本。实际上，Jaccard 指数达到 0.962520。第二名是 Fractal Net 16 位版本，也获得了更高的验证性能。表 18.4 报告了最佳 CNN 架构（就准确率而言）是 U-Net3 8 位版本，而 Fractal Net 16 位版本在精度、召回率和 F1 分数指标方面略有超过。定性结果见表 18.5。
### 18.4 结论
安装在俯视配置中的 RGB-D 摄像头在跟踪和检测人群方面具有诸多优势，尤其是在拥挤的环境中，准确率可达 99%。本章的目的是展示这些传感器在俯视配置中的应用潜力，用于两种任务：人数统计和重新识别。这种解决方案已成功应用于许多应用中，因为与通常用于手势识别或视频游戏的正面配置相比，它们非常适合。将深度信息与视觉图像相结合是其在零售领域的成功的原因。
未来的工作将包括将这些系统与音频框架集成，并使用其他类型的 RGB-D 传感器，例如飞行时间 (TOF) 传感器。该系统还可以作为网络环境感知场景中的高语义级信息源，以提供不同问题的线索，例如检测异常速度和尺寸异常，这可以提示可能出现不可控的情况。未来的研究将致力于改进用于人员计数和重新识别的俯视图配置方法，通过提取其他全面的特征，并将其设置为实时处理视频图像，特别是零售场景。
## 参考文献
## [^1]: Annesley J, Orwell J, Renno J (2005) Evaluation of MPEG7 color descriptors for visual surveillance retrieval. In: 2005 IEEE international workshop on visual surveillance and performance
---
evaluation of tracking and surveillance, pp 105–112.
[^2]: Badrinarayanan V, Kendall A, Cipolla R (2015) Segnet: a deep convolutional encoder-decoder architecture for image segmentation. arXiv preprint arXiv:1511.00561
[^3]: Baltieri D, Vezzani R, Cucchiara R (2013) Learning articulated body models for people re-identification. In: Proceedings of the 21st ACM international conference on multimedia, pp 557–560. ACM
[^4]: Barbosa BI, Cristani M, Del Bue A, Bazzani L, Murino V (2012) Re-identification with RGB-D sensors. In: First international workshop on re-identification
5. Bevilacqua A, Stefano LD, Azzari P (2006) 使用飞行时间深度传感器进行人员跟踪。In: 2006 年国际视频和信号监控会议，pp 89–89.
6. Cheng DS, Cristani M, Stoppa M, Bazzani L, Murino V (2011) 使用图象结构进行重新识别。In: 英国计算机视觉会议论文集，pp 68.1–68.11. BMVA Press.
7. Coşkun A, Kara A, Parlaktuna M, Ozkan M, Parlaktuna O (2015) 使用 Kinect 传感器进行人员计数系统。In: 2015 年创新智能系统和应用国际研讨会，pp 1–7.
8. Dan B, Kim YS, Jung J, Ko S (2012) 基于传感器融合的鲁棒人员计数系统。IEEE 消费电子学报 58(3):1013–1021.
9. Ding S, Lin L, Wang G, Chao H (2015) 用于人员重新识别的基于相对距离比较的深度特征学习。Pattern Recognit 48(10):2993–3003. .
[^10]: Dittrich F, Woern H, Sharma V, Yayilgan S (2014) Pixelwise object class segmentation based on synthetic data using an optimized training strategy. In: 2014 First international conference on networks & soft computing (ICNSC2014), pp 388–394. IEEE
11. Ess A, Leibe B, Gool LV (2007) 深度和外观用于移动场景分析。In: 2007 年国际计算机视觉会议，pp 1–8.
12. Farenzena M, Bazzani L, Perina A, Murino V, Cristani M (2010) 通过基于对称性的局部特征累积进行人员重新识别。In: 2010 年计算机视觉与模式识别国际会议，pp 2360–2367.
[^13]: Ferracuti N, Norscini C, Frontoni E, Gabellini P, Paolanti M, Placidi V (2019) A business application of RTLS technology in intelligent retail environment: Defining the shopper's preferred path and its segmentation. J Retail Consum Serv 47:184–194
14. Franco A, Oliveira L (2017) 卷积协方差特征：概念、集成和在人员重新识别中的性能。Pattern Recognit 61:593–609. .
[^15]: Frontoni E, Zingaretti P (2005) A vision based algorithm for active robot localization. In: 2005 International symposium on computational intelligence in robotics and automation, pp 347–352. IEEE
[^16]: Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J (2017) A review on deep learning techniques applied to semantic segmentation. arXiv:1704.06857
17. Gasparrini S, Cippitelli E, Spinsante S, Gambi E (2014) 使用 Kinect® 传感器进行跌倒检测的深度型系统。Sensors 14(2):2756–2775. .
[^18]: Gheissari N, Sebastian TB, Hartley R (2006) Person reidentification using spatiotemporal appearance. In: IEEE conference on computer vision and pattern recognition, pp 1528–1535. IEEE
## [^19]: Gray D, Brennan S, Tao H (2007) Evaluating appearance models for recognition, reacquisition, and tracking. In: IEEE international workshop on performance evaluation for tracking and surveillance, Rio de Janeiro
---
[^20]: Gray D, Tao H (2008) Viewpoint invariant pedestrian recognition with an ensemble of localized features. In: European conference on computer vision, pp 262–275. Springer
21. Han J, Pauwels EJ, de Zeeuw PM, de With PHN (2012) 使用 RGB-D 传感器对智能环境中多次重入的人员进行实时跟踪。IEEE 消费电子学报 58(2):255–263.
[^22]: He K, Zhang X, Ren S, Sun J (2016) Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770–778
23. Jojic N, Perina A, Cristani M, Murino V, Frey B (2009) Stel 成分分析：对图像类结构的空间相关性建模。In: 2009 年计算机视觉与模式识别国际会议，pp 2044–2051.
24. Kepski M, Kwolek B (2014) 使用三轴加速度计和深度传感器检测人体跌倒。In: 2014 年 IEEE 工程医学与生物社会第 36 届国际会议，pp 770–773.
25. Kouno D, Shimada K, Endo T (2012) 利用深度信息的俯视图进行人员识别。2012年第13届国际软件工程、人工智能、网络和并行/分布式计算会议论文集，140–145页。
[^26]: Larsson G, Maire M, Shakhnarovich G (2016) Fractalnet: ultra-deep neural networks without residuals. arXiv:1605.07648
[^27]: Lavi B, Serj MF, Ullah I (2018) Survey on deep learning techniques for person re-identification task. CoRR. arXiv:1807.05284
[^28]: Li D, Chen X, Zhang Z, Huang K (2017) Learning deep context-aware features over body and latent parts for person re-identification
[^29]: Liciotti D, Frontoni E, Mancini A, Zingaretti P (2016) Pervasive system for consumer behaviour analysis in retail environments. Video analytics. Face and facial expression recognition and audience measurement. Springer, Berlin, pp 12–23
[^30]: Liciotti D, Massi G, Frontoni E, Mancini A, Zingaretti P (2015) Human activity analysis for in-home fall risk assessment. In: 2015 IEEE international conference on communication workshop (ICCW), pp 284–289. IEEE
[^31]: Licotti D, Paolanti M, Frontoni E, Mancini A, Zingaretti P (2017) Person re-identification dataset with RGB-D camera in a top-view configuration. In: Nasrollahi K, Distante C, Hua G, Cavallaro A, Moeslund TB, Battiato S, Ji Q (eds) Video analytics. Face and facial expression recognition and audience measurement. Springer International Publishing, Cham, pp 1–11
[^32]: Licotti D, Paolanti M, Frontoni E, Zingaretti P (2017) People detection and tracking from an RGB-D camera in top-view configuration: review of challenges and applications. In: Battiato S, Farinella GM, Leo M, Gallo G (eds) New trends in image analysis and processing - ICIAP 2017, pp 207–218. Springer International Publishing, Cham
[^33]: Liciotti D, Paolanti M, Pietrini R, Frontoni E, Zingaretti P (2018) Convolutional networks for semantic heads segmentation using top-view depth data in crowded environment. In: 2018 24th international conference on pattern recognition (ICPR), pp 1384–1389. IEEE
34. Lin S, Liu A, Hsu T, Fu L (2015) 用于日常活动识别的俯视深度序列中的代表性身体关键点。2015年IEEE系统、人类与控制国际会议论文集，2968–2973页。
[^35]: Madden C, Piccardi M (2005) Height measurement as a session-based biometric for people matching across disjoint camera views. In: Image and vision computing conference. Wickliffe Ltd
[^36]: Malawski F (2014) Top-view people counting in public transportation using Kinect. Chall Mod Technol 5(4):17–20
[^37]: Messelodi S, Modena CM (2015) Boosting Fisher vector based scoring functions for person re-identification. Image Vis Comput 44:44–58
## [^38]: Migniot C, Ababsa F (2013) 3D human tracking in a top view using depth information recorded by the xtion pro-live camera. In: Bebis G, Boyle R, Parvin B, Koracin D, Li B, Porikli F, Zordan V, Klosowski J, Coquillart S, Luo X, Chen M, Gotz D (eds) Advances in visual computing. Springer, Berlin, pp 603–612
---
39. Migniot C, Ababsa F (2016) 俯视人类跟踪的混合3D–2D方法。J R-Time Image Process 11(4):769–784。
[^40]: Pala F, Satta R, Fumera G, Roli F (2016) Multimodal person reidentification using RGB-D cameras. IEEE Trans Circuits Syst Video Technol 26(4):788–799
[^41]: Paolanti M, Liciotti D, Pietrini R, Mancini A, Frontoni E (2018) Modelling and forecasting customer navigation in intelligent retail environments. J Intell Robot Syst 91(2):165–180
[^42]: Paolanti M, Romeo L, Licotti D, Pietrini R, Cenci A, Frontoni E, Zingaretti P (2018) Person re-identification with RGB-D camera in top-view configuration through multiple nearest neighbor classifiers and neighborhood component features selection. Sensors 18(10):3471
[^43]: Paolanti M, Romeo L, Martini M, Mancini A, Frontoni E, Zingaretti P (2019) Robotic retail surveying by deep learning visual and textual data. Robot Auton Syst 118:179–188
[^44]: Prosser BJ, Zheng WS, Gong S, Xiang T, Mary, Q (2010) Person re-identification by support vector ranking. In: BMVC, vol 2, p 6
45. Rauter M (2013) 基于俯视深度图像的可靠人类检测和跟踪。2013年IEEE计算机视觉和模式识别会议研讨会论文集，529–534页。
[^46]: Ravishankar H, Venkataramani R, Thiruvenkadam S, Sudhakar P, Vaidya V (2017) Learning and incorporating shape models for semantic segmentation. In: International conference on medical image computing and computer-assisted intervention, pp 203–211. Springer
[^47]: Ronneberger O, Fischer P, Brox T (2015) U-net: convolutional networks for biomedical image segmentation
48. Roy A, Sural S, Mukherjee J (2012) 结合步态和运动相位，并使用时空模型进行人员重新识别的分层方法。模式识别快报 33(14):1891–1901。. . 基于新型模式识别的方法，用于生物特征识别中的重新识别
49. Saghafi MA, Hussain A, Zaman HB, Saad MHM (2014) 人员重新识别技术综述。IEEE计算视觉 8(6):455–474。
[^50]: Satta R, Fumera G, Roli F (2011) Exploiting dissimilarity representations for person re-identification. In: Pelillo M, Hancock ER (eds) Similarity-based pattern recognition. Springer, Berlin, pp 275–289
[^51]: Schwartz WR, Davis LS (2009) Learning discriminative appearance-based models using partial least squares. In: 2009 XXII Brazilian symposium on computer graphics and image processing (SIBGRAPI), pp 322–329. IEEE
52. Stauffer C, Grimson WEL (1999) 自适应背景混合模型，用于实时跟踪。1999年IEEE计算机学会计算机视觉和模式识别会议论文集，第2卷，246–252页。
53. Sturari M, Liciotti D, Pierdicca R, Frontoni E, Mancini A, Contigiani M, Zingaretti P (2016) 通过视觉和无线电信标传感器融合进行零售客户分析。模式识别快报 81:30–40。.
[^54]: Su C, Zhang S, Xing J, Gao W, Tian Q (2016) Deep attributes driven multi-camera person re-identification. In: Leibe B, Matas J, Sebe N, Welling M (eds) Computer vision - ECCV 2016. Springer International Publishing, Cham, pp 475–491
55. Tseng T, Liu A, Hsiao P, Huang C, Fu L (2014) 使用多个俯视深度相机进行室内监控的人类检测和跟踪。2014年IEEE/RSJ智能机器人与系统国际会议论文集，4077–4082页。
[^56]: Tu PH, Doretto G, Krahnstoever NO, Perera AA, Wheeler FW, Liu X, Rittscher J, Sebastian TB, Yu T, Harding KG (2007) An intelligent video framework for homeland protection. In: Unattended ground, sea, and air sensor technologies and applications IX, vol 6562, p 65620C. International Society for Optics and Photonics
57. Wang J, Wang Z, Gao C, Sang N, Huang R (2017) DeepList：用于人员重新识别的自适应列表约束深度特征学习。IEEE电路系统视频技术期刊 27(3):513–524。
---
[^58]: Wang T, Gong S, Zhu X, Wang S (2014) Person re-identification by video ranking. In: Fleet D, Pajdla T, Schiele B, Tuytelears T (eds) Computer vision - ECCV 2014. Springer International Publishing, Cham, pp 688–703
[^59]: Wang X, Doretto G, Sebastian T, Rittscher J, Tu P (2007) Shape and appearance context modeling
60. Wang Z, Hu R, Liang C, Yu Y, Jiang J, Ye M, Chen J, Leng Q (2016) 通过跨视图一致性进行零样本人员重新识别。IEEE多媒体期刊 18(2):260–272。
61. Wu A, Zheng W, Lai J (2017) 基于深度的人员重新识别。IEEE图像处理期刊 26(6):2588–2603。
62. Wu L, Shen C, van den Hengel A (2017) 基于Fisher网络的深度线性判别分析：用于人员重新识别的混合架构。模式识别 65:238–250。.
[^63]: Wu S, Chen YC, Li X, Wu AC, You JJ, Zheng WS (2016) An enhanced deep feature representation for person re-identification
64. Xiang JP (2012) 用于人员重新识别的半监督学习。2012年机器学习与网络国际会议论文集，第1卷，336–340页。
65. Xiang ZJ, Chen Q, Liu Y (2014) 基于模糊空间颜色直方图的人员重新识别。多媒体工具应用 73(1):91–107。.
[^66]: Xiao T, Li H, Ouyang W, Wang X (2016) Learning deep feature representations with domain guided dropout for person re-identification
[^67]: Yahiaoui T, Meurie C, Khoudour L, Cabestaing F (2008) A people counting system based on dense and close stereovision. In: Elmoataz A, Lezoray O, Nouboud F, Mammass D (eds) Image and signal processing. Springer, Berlin, pp 59–66
68. Ye W, Xu Y, Zhong Z (2007) 密集环境中可靠的人口计数。2007年IEEE机器人与生物仿生国际会议论文集，1133–1137页。
[^69]: Yi D, Lei Z, Li SZ (2014) Deep metric learning for practical person re-identification
70. Zhang R, Lin L, Zhang R, Zuo W, Zhang L (2015) 基于正则化相似性学习的位级可扩展深度哈希，用于图像检索和人员重新识别。IEEE 图像处理汇刊 24:4766–4779.
71. Zhang X, Yan J, Feng S, Lei Z, Yi D, Li SZ (2012) 水填充：通过垂直 Kinect 传感器实现的非监督人群计数。2012 年 IEEE 第 9 届高级视频和基于信号的监控国际会议，第 215–220 页。
72. Zhao T, Nevatia R, Wu B (2008) 拥挤环境中的多个人分割和跟踪。IEEE 模式分析与机器智能汇刊 30(7):1198–1211.
[^73]: Zheng WS, Gong S, Xiang T (2011) Person re-identification by probabilistic relative distance comparison