# 现实世界监控中的人体姿态估计进展
Mickael Cormier $^{3,1}$
Andreas Specker $^{3,1}$ Jürgen Beyerer $^{1,3}$
Aris Clepe $^{1,2}$
Fraunhofer IOSB, 德国卡尔斯鲁厄; $^{2}$Fraunhofer 机器学习中心; $^{3}$卡尔斯鲁厄理工学院 (KIT) 人体工程学和机器人研究所，视觉与融合实验室
名字.
名字
## 摘要
不断增加的监控摄像头为智能视频分析提供了各种机会，以提高公共安全。 在众多任务中，自动识别可疑和暴力行为是一项关键任务。 为了保护个人隐私，防止种族偏见并减少复杂性，大多数方法首先提取人员的姿态或骨骼，然后进行活动识别。 然而，当前的文献主要关注研究数据集，而没有考虑现实世界的挑战和人体姿态估计的要求。 我们通过分析这些挑战，例如数据不足和需要实时处理，来填补这一空白，并提出一个框架，用于在不可控的拥挤监控场景中进行人体姿态估计。 我们的系统集成了缓解措施以及跟踪组件，以整合时间信息。 最后，我们提供详细的定量和定性分析，分别在科学数据集和真实世界数据集上，以突出改进和实现鲁棒的真实世界人体姿态估计所面临的剩余障碍。
### 1. 引言
现实世界中智能视频监控与人类行为识别研究的一个目标，是近乎实时地检测因事故或跌倒受伤而需要帮助的人员，同时检测公共场所中的暴力行为。在所有这类场景中，监控录像都需要即时处理，以便在数分钟内为现场提供人员援助。然而，监控摄像头数量的快速增长，理所当然地引发了有关隐私，以及已被证实的、基于外表对不同人群存在偏见的重要担忧[^32]。为规避这类问题，一种解决思路是采用基于骨架的行为识别，该方法有望达到可观的
Figure 1: In a real-world setting person detection and pose prediction encounter various obstacles: train tracks, power cables and moving trams block different parts of the image; camera angle creates variance in person size.
匿名化 [^13]。此外，由于骨骼表示是一种高度抽象的表示，它还可以大大减少计算量，这是与传统的两流RGB和光流方法 [^57] 的一个重要方面。公共服务机构，如医院或警察部门，通常缺乏支持大规模模型的必要资金和基础设施。因此，通常需要对实时视频进行处理，以便在单个消费级GPU或更小的嵌入式系统上运行。因此，处理流程必须轻量级，因此模型必须具有低内存占用，这通常与减少模型参数数量相关。
虽然人体姿态估计（HPE）在科学数据集方面可能提供有前景的结果，但缺乏用于户外监控场景的大规模HPE数据集。公开可用的数据集缺乏大视场、不同的高处视角以及多个陡峭角度等。如图1所示，现实世界的数据分布与传统数据集有很大差异。公共交通基础设施，如铁轨、路面和电力电缆，可能会主导监控区域。由于视角高，
---
人员会被各类障碍物、其他人员甚至自身部分遮挡或几乎完全遮挡。此外，受一天中的时段和季节影响，还会出现亮度、对比度差异等各类挑战。因此，对同一个人的检测结果会随时间变化，也可能短暂缺失，导致姿态估计相应变得困难。即使边界框尺寸的微小扰动也往往会导致随时间推移得到不同的姿态，严重损害行为识别的质量。本文提出了一种适用于现实场景监控的人群姿态估计框架。与同类采用高内存消耗的3D CNNs进行人体姿态检测与跟踪的方法不同[^40] [^14]，我们的框架可适配单块消费级GPU，仅需少量工作即可针对多个摄像头完成复制与扩展。我们的框架包含三个主要组件：用于现实场景人员检测的行人检测模块、可输出时间一致性轨迹的鲁棒快速视觉跟踪模块，以及支持多轨迹快速姿态估计的人群姿态估计模块。
总之，我们解决了现实世界监控中人体姿态估计的挑战，并通过对一个旨在突出这些挑战的真实数据集进行定量和定性分析，评估了最先进的 HPE 方法。我们的贡献有三点：（1）我们提出了一种用于在监控和人群中的现实世界 HPE 框架；（2）我们表明，HPE 中的 CNN 在泛化到监控领域时表现不佳，并强调了实现快速和稳健的现实世界 HPE 仍然存在的障碍；（3）我们提出了策略，以在时间上稳定姿势，以促进基于骨骼的活动识别。
### 2. 相关工作
#### 2.1. 人体姿态估计
自 CNN 首次应用于 HPE [^44] 以来，多个数据集的规模不断增长，并随后被公开 [^28] [^2] [^1] [^42] [^12] [^22] [^51] [^31]. COCO 数据集 [^28]，是最常用的数据集之一，包含超过 20 万张图像和 25 万个姿势。与 MPII 数据集 [^2] 类似，COCO 具有非连续的图像，包含常见的姿势和正面视图。PoseTrack18 [^1] 基于 MPII 数据集，包含连续的视频帧，以及更复杂的真实场景，例如体育赛事。COCO 定义了自己的拓扑结构，包含 17 个关键点，其中五个（鼻子、眼睛、耳朵）位于头部。在更真实的场景中，由于相机角度较陡，可靠地检测到人的耳朵和眼睛具有挑战性。因此，MPII 和 Posetrack18 拓扑结构简化了姿势，将头部关键点减少到两个和三个。
此类数据集主要代表了在常见和简单情况下的人体姿态，并且具有有利的相机角度。OCHuman [^51] 和 OCPose [^31] 是较小的数据集，它们通过使用类似的正面视图，处理单个、非连续图像中的（自）遮挡情况，同时包含两个主体。CrowdPose [^22] 也属于较小的数据集，包含拥挤的场景。该数据集也由非连续图像组成，人群处于受控环境中，例如集体照片或体育赛事。因此，在这些数据集上进行训练，对于真实世界的监控场景效果不佳，因为真实场景中存在严重的相机角度问题、严重的（自）遮挡以及人群密集的场景。
人群和复杂姿势造成的遮挡是人体姿态估计领域的一个挑战。解决此挑战的一种方法是自下而上的方法 [^3] [^20] [^6]。这些方法首先检测场景中的所有身体部位，并将找到的关键点融合在一起以创建人体姿态。由于这些方法独立于图像中实际的人数来检测关键点，因此推理时间与人数无关。尽管具有这些优点，但其预测性能在监控环境中会显著下降，因为它们无法可靠地创建复杂的人体互动（例如街头斗殴）中的正确姿态。
自下而上的另一种方法是自上而下的方法，它由一个人员检测器组成，以创建每个人的边界框，然后姿态估计器单独预测实际的姿态。姿态估计主要由 CNN [^39] [^45] 或 transformer [^46] [^25] 完成。由于自上而下方法的质量与人员检测器相关，因此其质量受人员检测的质量影响。此外，推理时间与人数成正比。借助最近的、准确的人员检测器和批量处理，这些问题得到了解决，从而使自上而下的方法成为监控环境中可靠的人体姿态估计方法。最近，进一步的研究重点是提高遮挡的关键点的检测 [^15] 以及使用 GNN 直接预测人群的姿态 [^11]。
#### 2.2. 人员重新识别
最近，关于人员重新识别的研究重点已从主要开发大型模型 [^5] [^43] [^37] 转向任务特定和轻量级架构 [^55] [^24] 以及通用方法 [^18] [^26] [^36] [^56] [^7] [^17] [^35] [^38] [^52]. 文献表明，优化的较小模型在未见过的数据上实现了最先进的结果 [^29] [^47] [^55]，并具有更高的泛化能力 [^29] [^56] [^19]. 通常，用于通用人员重新识别的方法分为两类：从单个数据集学习的方法 [^18] [^26] [^36] [^56] 和从多个数据集学习的方法 [^7] [^17] [^35] [^38] [^52]. 由于有几个数据集符合我们的要求，即真实的户外监控场景 [^21] [^33] [^53] [^23] [^19] [^54]，因此在本工作中，我们采用第二种方法。 大多数相关工作使用实例 [^7] [^17] [^56] 或批处理 [^52] 归一化层来学习特征，这些特征是
---
独立于训练域。 其他策略包括使用数据增强技术 [^38]、对抗训练 [^49] 或单独的映射网络 [^35]。 在本工作中，我们利用任务特定模型与实例归一化的组合，在多个数据集上进行训练，并使用数据增强来构建轻量级和通用的重新识别模型。
### 3. 现实世界的挑战
(a)
(b)
(c)
Figure 2: Various challenges are present in real-world scenarios. A selection of these are: (a) Strong camera glare through reflection on mobile devices, camera distortion, train tracks interfering with human shape and sharp shadows that can lead to false positive detections, (b) people that are partially or completely obscured by environmental shadows and (c) complex, entangled and occluded poses
在监控中进行人体姿态估计是一项具有挑战性的任务。 与实验室条件不同，监控摄像头全年持续在白天和夜晚工作，并经历不同的天气。 在夏季，手机的反射可能会部分地与摄像头融合，如图 2a 所示，而同一场景中的照明可能会发生强烈变化，如图 2b 所示。 此外，由于视频监控的性质，图像通常会受到严重扭曲，而且摄像头大多安装在高处，并且倾斜以提供更大的视野。 这种摄像头视角会强调其他物体或自身造成的遮挡，有时甚至是自身的阴影，如图 2b 和 2c 所示。
数据采集与标注是真实场景监控项目必不可少的核心环节。海量原始数据会高速生成，但由于标注成本高昂，仅有一小部分数据可用于监督学习。受个人隐私相关政策以及数据持久化存储等后勤问题限制，可用数据中仅一小部分被授权开展存储和进一步处理。尽管主动学习方法的目标是筛选潜在价值最高的数据来优化深度学习模型，我们发现这类方法对野外场景下的人体姿态估计任务并未带来显著提升。不过，数据仍需要采用人在回路的半自动处理流程，基于当时部署上线的模型的定性观测结果，筛选最有潜力的样本。举例来说，婴儿车或特定形变都可能干扰姿态估计结果。本研究构建了一个面向真实场景监控人群姿态估计（Real World Surveillance Crowd Pose Estimation, RWS-CPE）的私有数据集，可用于开展定量分析：该数据集从11台不同摄像头采集的素材中筛选出100帧，共包含4785个边界框和1894个姿态，每张图像中少则十几人，多则超过百人。边界框和人体姿态按照[^9]所述，借助模型预测结果进行交互式标注。对于垂直高度超过100px的边界框，采用Posetrack18拓扑结构[^1]标注姿态，其余目标仅标注边界框。数据集的目标尺寸分布极具挑战性：共包含1323个小框（< 32 × 32px）、2834个中框（32 × 32px ≤ box ≤ 96 × 96px）和628个大框（> 96 × 96px）。
### 4. 自上而下的人群姿态估计
我们系统的目标是从监控摄像头的实时视频流中提供人体姿态估计 (HPE)，以便对生成的骨架进行动作识别，并检测暴力行为，如图 2b 和 2c 所示。虽然基于骨架的动作识别在文献中主要使用地面真实标注，但在实际环境中实时获得清晰稳定的骨架跟踪仍然非常具有挑战性。大型视频监控系统需要高度的灵活性和可扩展性，并且几乎可以像插件一样轻松地添加新服务器和摄像头。因此，我们的处理流程被编译并以 Docker 容器的形式部署在 Kubernetes 集群中，以减少管理工作量。由于政府机构通常预算非常有限，因此我们的流程需要在消费级硬件上提供可接受的结果和速度，例如，该流程需要在单个配备 6GB 显存的 RTX 2060 GPU 上处理摄像头流。在本节中，我们将简要概述我们的系统，并介绍每个主要的处理组件。
#### 4.1. 概述
我们用于实时实际环境的 HPE 系统设计为具有高度的灵活性。因此，每个组件都封装在单独的模块中，这允许在每个流程步骤中进行可视化和配置。监控摄像头产生的视频流是处理流程的输入。
---
Figure 3: Examples of invalid poses return by the bottom-up approach OpenPose $^{[3]}$ on the MOT20 Dataset [^12] which combines joints of different persons.
除非另有说明，每个组件都处理单个帧。 虽然自下而上的 HPE 方法在检测人数的增长方面表现良好，这对于保证处理时间很有好处，但与自上而下的方法相比，预测质量存在差距。 此外，它们会产生会严重影响后续活动识别处理的伪影，如图 3 所示。 因此，我们首先实现了一个 CNN 人体检测器，该检测器为人体预测生成边界框。 这些边界框随后由视觉跟踪器处理，该跟踪器使用人体重新识别模块创建、维护和排序跟踪。 从此步骤返回一个维度为 $N \times T \times B$ 的张量，其中 N 是跟踪的数量，T 是时间长度，B 是检测参数的抽象。 此张量作为 HPE 模块的输入。 在这里，我们遵循 [^13]，将 2D 姿势表示为大小为 $K \times H \times W$ 的热图，其中 K 是关节的数量，H 和 W 分别是帧的高度和宽度。 为了与姿势估计器生成的与帧大小相同的边界框热图匹配，应对热图进行零填充。 最后，我们通过沿时间维度堆叠所有热图，为每个跟踪获得一个大小为 $N \times K \times T \times H \times W$ 的 3D 热图体。 根据我们的系统对动作识别的要求，此张量也可以使用维度为 $N \times T \times S$ 的骨架抽象进行压缩。
#### 4.2. 人体检测
在现实世界的监控场景中，人体检测是一个复杂的权衡问题：一方面，检测器预计以高速处理帧，以避免成为流水线的主要瓶颈。 另一方面，检测器需要提供准确的边界框预测，以包含所有身体部位，以便进行精确的姿势估计。 此外，虚假正例会导致级联噪声，因此应避免。 遵循 [^10]，我们为可接受的速度选择了一个单阶段人体检测器，即 YOLOv4。
Figure 4: Overview of our real-world system for HPE. Depending on the interface of a following action recognition module, the output is either a 3D Heatmap Volume or a compressed skeleton abstraction
以及在监控场景中，其对其他单阶段检测器的优越准确性，用于人体检测。 由于智能监控项目的实际应用通常在没有标注材料的情况下开始，因此仅使用几个帧示例来精确项目规范。 但是，这些样本不足以用于目标域的监督训练。
#### 4.3. 视觉跟踪和时间一致性
在自上而下的 HPE 方法中，该模型用于预测每个由人员检测器提供的边界框的姿势，而与时间信息无关。由于大多数流行的数据集只提供单帧，因此无法评估时间方面。因此，既不使用来自过去的预测，也不使用来自未来帧的预测来预测特定时间点 t 的姿势。因此，帧序列的预测在时间上高度不稳定，这会损害动作识别系统的性能。一个常见的问题是由于照明或姿势的轻微变化而导致的检测缺失，从而导致骨骼序列中断。整个流程试图满足实时要求，而 HPE 占计算成本的很大一部分。因此，应丢弃多个检测和不完整的轨迹，以减少计算时间。为此，我们开发了一种轻量级的视觉跟踪器，该跟踪器必须至少像人员检测组件一样快速。其主要功能是在一段时间内跟踪人员，以便能够进行基于序列的活动识别。跟踪中断是可以接受的，只要它们保持最小长度。由于来自静态监控的输入流以至少 25 FPS 的速率传输，因此可以满足关于人员移动速度的物理假设，即一个人在连续帧之间只会移动几个像素。我们认为，一个人重识别模型既准确又快速，足以提供足够的跟踪质量。
---
我们采用 OSNet-x1.0 架构，并使用实例归一化 [^56]，因为它在合理计算成本下提供最先进的性能。该模型的参数设置采用 [^55] 中提出的设置。在训练过程中，应用多种数据增强机制以增加训练数据的方差。具体来说，图像会随机翻转，调整其亮度、对比度，并在两个方向上旋转高达 30 度。后者有助于克服现实世界的挑战，例如陡峭的相机视角，因为它模拟了从几乎垂直的视角对人的不同观看角度 [^30]。我们利用多个具有不同特征的互补数据集来学习领域无关的重识别特征。Market-1501 [^53] 和 DukeMTMC-reID [^33] 由低安装静态相机捕获的典型监控图像组成，而 PRAI-1581 [^50] 是基于无人机的数据库，因此代表了来自概述相机的陡峭视角。我们通过提取视频帧中所有人员的 12 个归一化特征向量来实现跟踪。然后，计算到前一帧中出现的人员的特征向量的欧几里得距离。当距离低于可调整的阈值时，将画廊跟踪的人员 ID 分配给匹配的检测。否则，会创建一个新的跟踪。
我们的模块直接将特征保存到内存中，以获得最佳的速度。由于该模块运行连续且需要满足法律要求，因此我们实现了一个环形缓冲区，只保存来自前面几帧的特征。该画廊大小经验设置为五个，这已被证明足以实现可靠的重识别性能。
为了实现时间上的一致性，会根据可用的 $N \times T \times B$ 轨迹构建一个张量 $\tilde{N}$。如果某个轨迹在选定的时间范围内缺少 60% 的检测结果，我们认为填充这些缺失的数据可能会产生误导，因此该轨迹将不会被传递。对于一个缺口大小 G，所有小于 G 的缺口将通过复制来自上一帧或线性插值来填充，以防止姿态估计中的缺口。实证研究表明，对于垂直尺寸小于 100 像素的边界框，姿态估计的准确性非常低，并且会随着时间的推移产生严重的伪影。因此，也会过滤掉超出用户选择尺寸范围的轨迹，从而得到一个大小为 $N \times T \times B$ 的最终张量 $N \leq \tilde{N}$，该张量按轨迹 ID 排序。
#### 4.4. 人群姿态估计
虽然自上而下的 HPE 在监控场景中更准确，但其速度高度依赖于场景的拥挤程度。这种依赖性是自上而下方法的固有特性。对于每个边界框，将相应的图像区域作为输入，输入到骨干网络中，该网络会生成低分辨率特征。这些特征作为瓶颈，通过上采样过程创建每个关键点的热图。可以直接使用这些热图，以利用关键点周围的上下文信息，或者可以提取每个关键点的坐标，方法是找到热图中具有最大值的像素位置。然后，将提取的关键点坐标从图像区域转换到实际的输入图像维度。这种复杂模型的推理时间很高，因此，对于复杂的场景，每个检测都会增加计算时间。如上一节所述，避免处理无效轨迹和过滤掉过小的检测是提高运行时间的第一个步骤。第二步是定义需要生成骨架的感兴趣区域。根据摄像头的视野，摄像头的放置旨在分析人员在空间上明确定义的区域中的行为。降低输入框的分辨率可以提高 HPE 组件的运行时间。但是，与准确性下降相比，这种速度提升很小。同样的情况也适用于使用较小的模型，如 MobileNet [^34] 或 LiteHRNet [^48]，但我们观察到，在推理时使用批处理和将精度降低到 FP16 可以提高整体速度，而不会对准确性产生重大影响。由于新引入的 Transformer 模型可以减少参数数量和计算量，同时提高结果，因此我们训练了一个混合 Transformer 模型，该模型具有截断的 CNN 骨干网络 Transpose-R 和 Transpose-H。此外，可以并行地在推理下一帧时，从热图中提取关键点或执行类似的后处理步骤，以获得格式良好的张量。
### 5. 结果
我们使用名为“野外人员重新识别”（Person Re-identification in the Wild, PRW）的数据集[^54]进行实验，该数据集由六个监控摄像头在校园内拍摄。PRW数据集使用了与著名的Market-1501[^53]数据集相同的低分辨率摄像头拍摄的视频片段。但是，与Market-1501不同，它包含完整的视频帧，而不是裁剪的边界框，这使得可以评估人员检测方法。总共包含11,816个视频帧，每秒从原始视频中采样一个帧。这些帧包含43,110个手动标注的边界框。我们使用PANDA数据集[^42]来提高检测器的泛化能力，该数据集是一个千像素分辨率的监控视频数据集，包含具有大视野和人群密集的场景。提供了555张静态千像素图像（390张用于训练，165张用于测试），即至少具有26，$753 \times 15$，052像素的图像，但测试的标注未公开。每个场景平均显示205多名人员，范围从平均52名到571名。此外，我们还在RWS-CPE验证数据集上进行了评估，该数据集在第3节中介绍，其中包含100个高清帧，包含4,785个边界框和1,894个姿势，均由人工标注。
---
#### 5.1. 检测
我们使用表 1 对几种行人检测模型进行了评估和比较，数据集包括学术界的 PRW 和真实世界的 RWS-CPE 数据集。除了在 PANDA 数据集上进行微调的 YOLOv4-Panda 之外，其他模型都是使用 COCO [^28] 数据集进行训练的。结果表明，YOLO 架构在两个数据集上都表现出良好的性能。在真实世界的数据中，模型架构之间的差距越来越大。此外，虽然在学术界的 PRW 数据集上，COCO 和 PANDA 训练模型的 AP 值之间的差异可以忽略不计，但在 RWS-CPE 上，YOLOv4-Panda 的性能优于其他模型。PANDA 数据集更适合在真实世界的监控场景中进行迁移学习，因为它包含许多小人以及拥挤的场景。与其他模型不同，它能够检测到一些小的人，即使目标 $AP^{S}$ 非常小。但是，由于 PANDA 数据集主要包含小的人，因此与其他 YOLO 模型相比，其 $AP^{L}$ 性能较差。这一发现强调了选择与目标域具有相似特征且能够代表真实世界监控数据的多样性的有意义的训练数据的必要性。尽管如此，仍有很大的改进空间，因此，使用目标域数据进行训练似乎是不可避免的。就推理时间而言，使用小型 YOLO 模型具有优势。例如，YOLOv4-tiny 可以在我们的硬件配置上达到 262 FPS 的处理速度。具有 transformer 后端的 RetinaNet，即 PVT v2 b0 [^41]，的处理时间与我们的 YOLOv4-Panda 相似，但 AP 和 AR 分数较低。
#### 5.2. 视觉跟踪和时间一致性
我们在多个摄像头上进行了实验，尤其是在一个火车站前，数千人通过静态摄像头覆盖的区域，时间持续几个小时。为了提高速度，我们将画廊大小固定为五个，并以FP16精度对人员重新识别模型进行处理，并将检测结果调整为$64 \times 128$像素，而不会对性能产生明显的下降。整个模块以稳定的10 FPS速率进行视觉跟踪，即使在场景中存在约150-200名行人时。换句话说，重新识别模型每秒处理超过100个检测结果。我们尝试通过批量输入来进一步提高速度，但这会降低人群稀疏场景下的速度。
我们对该模块在匿名中央车站场景中进行定性评估，如图 5 所示。结果表明，该系统对场景前景具有鲁棒的跟踪能力。随着距离相机的距离增加，当出现较小的边界框和更多的遮挡时，我们观察到更多的身份切换或跟踪中断。此外，跟踪可以提供更稳定的轨迹，从而减少中断。
#### 5.3. 姿态估计
在表 2 中，我们在真实世界的 RWS-CPE 数据集上评估和比较了多个 HPE 模型，该数据集包含 1,894 个姿势，并带有地面真值 bounding box，以及由第 5.1 节中描述的 YOLOv4-Panda 模型提供的检测结果。我们选择了一个具有 MobileNetv2 [^34] 主干的 HPE 模型，以提高推理速度。我们将它的推理速度与具有 HRNetW48 主干的模型进行比较。此外，我们训练了一个 Transpose 混合 Transformer 模型 [^46]，该模型具有 ResNet-S 和 HrNet-S 主干，并将其与由 MMPose 训练的流行的 ResNet-50 和 HRNet-W32 主干模型进行比较 [^8]。我们在 COCO 人体姿态估计任务上预训练这些模型，并在 Posetrack18 数据集上进行 30 个 epoch 的微调，均使用地面真值检测结果。
在我们的消费级机器上，所有模型的性能相对较慢。MobileNetv2 和 ResNet-50 的帧速率分别为 5 和 7 FPS，但平均精度（AP）结果最差（分别为 0.32 和 0.41）。相比之下，在 Posetrack18 数据集上实现最先进结果的 HRNet-W32 和 HRNet-W48 模型的帧速率分别为 3 和 1 FPS，但平均精度分别为 0.52 和 0.53。在 Posetrack18 数据集中表现出竞争力的 Transformer 模型 Transpose-R 和 Transpose-H，在 Ground Truth 边界框下，平均精度分别为 0.60 和 0.59，但当使用不准确的边界框预测时，结果较差。就处理速度而言，Transformer 模型的帧速率分别为 1 FPS。这些结果表明，与混合 Transformer 相比，全卷积神经网络模型更容易受到领域差距的影响。然而，在预测的检测结果上，性能下降到 0.49 的平均精度；这些模型在地面真实边界框和预测边界框之间显示出更大的 0.10 和 0.11 平均精度差距。目前尚不清楚这是否是由于这些模型的敏感性更高，还是由于检测失败。
#### 5.4. 失败案例
我们进一步在图 1 中对 Transpose-R 模型进行定性评估。该模型在对清晰可见且未被遮挡的人员返回的骨架似乎是真实的，并且头部和肩膀的预测尤其准确。包含多个人员、婴儿车或自行车的误导性检测会干扰该模型。在自行车或另一个人的身体部位上检测到关键点，其置信度高于主要人物所代表的边界框。此外，该模型难以区分左右。此外，我们比较了 Transpose-R 和 Transpose-H 模型在图 6 中对具有挑战性姿势的评估结果。对于包含两个演员的检测失败，两个模型都无法仅预测一个主体的关节，而是预测了两个主体的关键点。根据角度，诸如跌倒或躺倒之类的异常姿势仍然具有挑战性。在每种情况下，Transpose-R 似乎比其对应模型产生更多
---
| Image Size | Model | FPS | PRW | RWS-CPE |
| AP | $AP^{{50}}$ | $AP^{{75}}$ | $AP^{{S}}$ | $AP^{{M}}$ | $AP^{{L}}$ | AR | AP | $AP^{{50}}$ | $AP^{{75}}$ | $AP^{{S}}$ | $AP^{{M}}$ | $AP^{{L}}$ | AR |
| 416 × 416 | YOLOv3 | 53 | 0.40 | 0.73 | 0.40 | - | 0.29 | 0.50 | 0.46 | 0.17 | 0.36 | 0.13 | 0.01 | 0.17 | 0.46 | 0.19 |
| YOLOv4-tiny | 262 | 0.33 | 0.59 | 0.35 | - | 0.18 | 0.47 | 0.38 | 0.08 | 0.15 | 0.07 | 0.00 | 0.04 | 0.36 | 0.09 |
| 608 × 608 | YOLOv4 | 26 | 0.48 | 0.79 | 0.53 | - | 0.34 | 0.60 | 0.55 | 0.23 | 0.40 | 0.24 | 0.01 | 0.24 | 0.60 | 0.25 |
| 640 × 640 | YOLOv4-csp-x-swish | 16 | 0.45 | 0.73 | 0.50 | - | 0.32 | 0.57 | 0.52 | 0.22 | 0.35 | 0.24 | 0.01 | 0.23 | 0.60 | 0.24 |
| 896 × 896 | YOLOv4-p5 | 9 | 0.47 | 0.76 | 0.51 | - | 0.34 | 0.58 | 0.53 | 0.21 | 0.34 | 0.24 | 0.02 | 0.22 | 0.57 | 0.23 |
| 960 × 544 | YOLOv4-Panda | 19 | 0.47 | 0.86 | 0.47 | - | 0.37 | 0.56 | 0.57 | 0.28 | 0.56 | 0.26 | 0.06 | 0.32 | 0.55 | 0.33 |
| 1280 × 1280 | YOLOv4-p6 | 5 | 0.48 | 0.79 | 0.52 | - | 0.35 | 0.59 | 0.56 | 0.26 | 0.42 | 0.28 | 0.03 | 0.29 | 0.61 | 0.29 |
| 960 × 544 | RetinaNet PVT v1 Medium | 9 | 0.45 | 0.74 | 0.50 | - | 0.30 | 0.59 | 0.52 | 0.17 | 0.30 | 0.17 | 0.00 | 0.16 | 0.51 | 0.19 |
| RetinaNet PVT v2 b0 | 19 | 0.47 | 0.74 | 0.50 | - | 0.30 | 0.59 | 0.56 | 0.17 | 0.33 | 0.17 | 0.00 | 0.17 | 0.52 | 0.20 |
| RetinaNet PVT v2 b1 | 14 | 0.49 | 0.79 | 0.54 | - | 0.34 | 0.61 | 0.55 | 0.19 | 0.35 | 0.19 | 0.00 | 0.20 | 0.55 | 0.22 |
Table 1: Quantitative results on the public PRW Dataset and the private RWS-CPE Dataset. Models are trained on COCO Dataset [^28], with exception of YOLOv4-Panda which is fine-tuned on Panda [^42]. Pre-trained RetinaNet [^27] models are taken from MMDetection [^4]. Average Precision (AP) and Average Recall (AR) follow the COCO evaluation. The FPS is measured for the models only, not the complete detection module.
Figure 5: Anonymized results of a central station scene. Re-identification shows stable track results in the foreground. Background tracks appear more unstable due to smaller boxes and increased occlusion. Temporal consistency partially stabilized background tracks.
可能的预测结果，并且比其对应模型产生更少的异常值。
#### 5.5. 讨论
我们的 HPE 研究结果在实际监控场景中显示出很有希望的成果。 然而，由于模型是在其他领域训练的，而不是在监控领域，因此仍然存在一些挑战。 经过 YOLOv4-Panda 检测器，该检测器是在与目标领域相似的领域中训练的，在定量方面，它通常表现更好。 然而，其性能在大型人员（ $AP^{L}$）方面受到限制，而这些人员的姿势对于动作识别系统是必需的。 此外，此类系统需要检测与相关动作和姿势相关的暴力情况。 然而，诸如拳打、打斗或躺卧之类，在训练数据集中表现不佳，要么会被检测器遗漏，要么对姿势估计而言过于模糊。 因此，为了提高 HPE 在实际监控中的效果，需要一个大型、经过标注的数据集，该数据集应代表目标领域和场景。
### 6. 结论
在本文中，我们介绍了关于 HPE 在实际监控中的最新研究进展。 在指出现实环境和数据采集及标注所带来的挑战后，我们提出了一个由人员检测、跟踪以及后续姿势估计组成的处理流程。 广泛的评估揭示了科学系统和实际监控系统之间的巨大领域差距。
---
| Input size | Method | FPS | Posetrack18 | RWS-CPE |
| AP | gtbbox AP | AP | $AP^{{50}}$ | $AP^{{75}}$ | $AP^{{M}}$ | $AP^{{L}}$ | AR |
| $384 \times 288$ | MobileNetv2 [^34] | 5 | 0.78 | 0.34 | 0.32 | 0.58 | 0.33 | 0.28 | 0.42 | 0.37 |
| HRNet-W48 [^39] | 1 | 0.86 | 0.57 | 0.53 | 0.73 | 0.60 | 0.49 | 0.64 | 0.57 |
| $256 \times 192$ | ResNet-50 [^16] | 7 | 0.81 | 0.43 | 0.41 | 0.62 | 0.45 | 0.36 | 0.53 | 0.46 |
| HRNet-W32 [^39] | 3 | 0.83 | 0.56 | 0.52 | 0.72 | 0.58 | 0.48 | 0.62 | 0.61 |
| $256 \times 192$ | Transpose-R [^46] | 5 | 0.83 | 0.60 | 0.49 | 0.68 | 0.55 | 0.44 | 0.66 | 0.59 |
| Transpose-H [^46] | 1 | 0.82 | 0.59 | 0.44 | 0.69 | 0.54 | 0.44 | 0.65 | 0.58 |
Table 2: Comparisons on the RWS-CPE dataset provided with the same detected human boxes. Pre-training is done on the COCO Human Pose Estimation task with GT boxes. The training is done on the Posetrack18 dataset [^1] with GT boxes. The transformer models TransPose [^46] report competitive results with HRNet and ResNet listed for comparison for better runtimes and seems to better generalize. The versions of HRNet and ResNet are taken from MMPose [^8].
Figure 6: A street fight containing multiple examples of complex human interactions for pose estimation: occlusion by interacting person, compact and entangled pose, crawling, self-occlusion and lying on the ground. The first row shows the input, second row and the last row contains poses from Transpose-H and Transpose-R respectively.
世界数据以及最先进方法的泛化问题。 为了解决这个问题，目前从实际监控系统获取的标注数据是不可避免的，但成本很高。 尽管如此，我们的系统以 7-10 FPS 的速度运行，并且利用轻量级跟踪组件来增强姿势的时间一致性，从而取得了有希望的成果。 进一步的研究应侧重于交互式方法来标注实际数据以及半监督学习方法，以减少所需的工作量。 此外，可以通过关键点异常检测来提高时间一致性。 在一个轨迹中，预计关键点应该检测到靠近某个区域，并且该区域在时间上对于该关键点是保持一致的。 因此，预测结果超出该区域将被定义为异常值，可以删除或使用时间信息进行校正。
## 致谢
本工作由曼海姆警察局提供支持。 曼海姆警察局与巴登-符腾堡州合作，将在曼海姆开展一项模型项目，该项目将测试和进一步开发基于智能视觉的活动识别系统，截止到 2023 年。
## 参考文献
## [^1]: Mykhaylo Andriluka, Umar Iqbal, Eldar Insafutdinov, Leonid Pishchulin, Anton Milan, Juergen Gall, and Bernt
---
Schiele. Posetrack: A benchmark for human pose estimation and tracking. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5167–5176, 2018.
[^2]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014.
[^3]: Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and Y. A. Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.
[^4]: Kai Chen, Jiaqi Wang, Jiangmiao Pang, Yuhang Cao, Yu Xiong, Xiaoxiao Li, Shuyang Sun, Wansen Feng, Ziwei Liu, Jiarui Xu, Zheng Zhang, Dazhi Cheng, Chenchen Zhu, Tianheng Cheng, Qijie Zhao, Buyu Li, Xin Lu, Rui Zhu, Yue Wu, Jifeng Dai, Jingdong Wang, Jianping Shi, Wanli Ouyang, Chen Change Loy, and Dahua Lin. MMDetection: Open mmlab detection toolbox and benchmark. arXiv preprint arXiv:1906.07155, 2019.
[^5]: Tianlong Chen, Shaojin Ding, Jingyi Xie, Ye Yuan, Wuyang Chen, Yang Yang, Zhou Ren, and Zhangyang Wang. Abd-net: Attentive but diverse person re-identification. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8351–8361, 2019.
[^6]: Bowen Cheng, Bin Xiao, Jingdong Wang, Honghui Shi, Thomas S Huang, and Lei Zhang. Higherhrnet: Scale-aware representation learning for bottom-up human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5386–5395, 2020.
[^7]: Seokeon Choi, Taekyung Kim, Minki Jeong, Hyoungseob Park, and Changick Kim. Meta batch-instance normalization for generalizable person re-identification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3425–3435, 2021.
[^8]: MMPose Contributors. Openmmlab pose estimation toolbox and benchmark. , 2020.
[^9]: Mickael Cormier, Fabian Röpke, Thomas Golda, and Jürgen Beyerer. Interactive labeling for human pose estimation in surveillance videos. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, pages 1649–1658, October 2021.
[^10]: Mickael Cormier, Stefan Wolf, Lars Sommer, Arne Schumann, and Jürgen Beyerer. Fast pedestrian detection for real-world crowded scenarios on embedded gpu. In IEEE EUROCON 2021-19th International Conference on Smart Technologies, pages 40–44. IEEE, 2021.
[^11]: Yan Dai, Xuanhan Wang, Lianli Gao, Jingkuan Song, and Heng Tao Shen. Rsgnet: Relation based skeleton graph network for crowded scenes pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 35, pages 1193–1200, 2021.
[^12]: P. Dendorfer, H. Rezatofighi, A. Milan, J. Shi, D. Cremers, I. Reid, S. Roth, K. Schindler, and L. Leal-Taixé. Mot20: A benchmark for multi object tracking in crowded scenes. arXiv:2003.09003[cs], Mar. 2020. arXiv: 2003.09003.
[^13]: Haodong Duan, Yue Zhao, Kai Chen, Dian Shao, Dahua Lin, and Bo Dai. Revisiting skeleton-based action recognition. arXiv preprint arXiv:2104.13586, 2021.
[^14]: Rohit Girdhar, Georgia Gkioxari, Lorenzo Torresani, Manohar Paluri, and Du Tran. Detect-and-Track: Efficient Pose Estimation in Videos. In CVPR, 2018.
[^15]: Thomas Golda, Tobias Kalb, Arne Schumann, and Jürgen Beyerer. Human pose estimation for real-world crowded scenarios. In 2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), pages 1–8. IEEE, 2019.
[^16]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016.
[^17]: Jieru Jia, Qiuqi Ruan, and Timothy M Hospedales. Frustratingly easy person re-identification: Generalizing person re-id in practice. arXiv preprint arXiv:1905.03422, 2019.
[^18]: Xin Jin, Cuiling Lan, Wenjun Zeng, Zhibo Chen, and Li Zhang. Style normalization and restitution for generalizable person re-identification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3143–3152, 2020.
[^19]: Philipp Kohl, Andreas Specker, Arne Schumann, and Jurgen Beyerer. The mta dataset for multi-target multi-camera pedestrian tracking by weighted distance aggregation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pages 1042–1043, 2020.
[^20]: Sven Kreiss, Lorenzo Bertoni, and Alexandre Alahi. Pifpaf: Composite fields for human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11977–11986, 2019.
[^21]: SV Aruna Kumar, Ehsan Yaghoubi, Abhijit Das, BS Harish, and Hugo Proença. The p-destre: A fully annotated dataset for pedestrian detection, tracking, and short/long-term reidentification from aerial devices. IEEE Transactions on Information Forensics and Security, 16:1696–1708, 2020.
[^22]: Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, and Cewu Lu. Crowdpose: Efficient crowded scenes pose estimation and a new benchmark. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10863–10872, 2019.
[^23]: Wei Li, Rui Zhao, Tong Xiao, and Xiaogang Wang. Deep reid: Deep filter pairing neural network for person reidentification. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 152–159, 2014.
[^24]: Wei Li, Xiatian Zhu, and Shaogang Gong. Harmonious attention network for person re-identification. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2285–2294, 2018.
[^25]: Yanjie Li, Shoukui Zhang, Zhicheng Wang, Sen Yang, Wankou Yang, Shu-Tao Xia, and Erjin Zhou. Tokenpose: Learning keypoint tokens for human pose estimation. arXiv preprint arXiv:2104.03516, 2021.
## [^26]: Shengcai Liao and Ling Shao. Interpretable and generalizable person re-identification with query-adaptive convolution
---
与时序升维相关内容。收录于《计算机视觉——ECCV 2020：第16届欧洲会议，英国格拉斯哥，2020年8月23-28日，会议录，第XI部分 16》，页码456–474，Springer，2020年。
[^27]: Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988, 2017.
[^28]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer, 2014.
[^29]: Hao Luo, Youzhi Gu, Xingyu Liao, Shenqi Lai, and Wei Jiang. Bag of tricks and a strong baseline for deep person re-identification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pages 0–0, 2019.
[^30]: Lennart Moritz, Andreas Specker, and Arne Schumann. A study of person re-identification design characteristics for aerial data. In Pattern Recognition and Tracking XXXII, volume 11735, page 117350P. International Society for Optics and Photonics, 2021.
[^31]: Lingteng Qiu, Xuanye Zhang, Yanran Li, Guanbin Li, Xiaojun Wu, Zixiang Xiong, Xiaoguang Han, and Shuguang Cui. Peeking into occluded joints: A novel framework for crowd pose estimation. In European Conference on Computer Vision, pages 488–504. Springer, 2020.
[^32]: Inioluwa Deborah Raji, Timnit Gebru, Margaret Mitchell, Joy Buolamwini, Joonseok Lee, and Emily Denton. Saving face: Investigating the ethical concerns of facial recognition auditing. In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, pages 145–151, 2020.
[^33]: Ergys Ristani, Francesco Solera, Roger S. Zou, R. Cucchiara, and Carlo Tomasi. Performance measures and a data set for multi-target, multi-camera tracking. In ECCV Workshops, 2016.
[^34]: Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, and Liang-Chieh Chen. Mobilenetv2: Inverted residuals and linear bottlenecks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4510–4520, 2018.
[^35]: Jifei Song, Yongxin Yang, Yi-Zhe Song, Tao Xiang, and Timothy M Hospedales. Generalizable person re-identification by domain-invariant mapping network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 719–728, 2019.
[^36]: Vladislav Sovrasov and Dmitry Sidnev. Building computationally efficient and well-generalizing person reidentification models with metric learning. In 2020 25th International Conference on Pattern Recognition (ICPR), pages 639–646. IEEE, 2021.
[^37]: Yumin Suh, Jingdong Wang, Siyu Tang, Tao Mei, and Kyoung Mu Lee. Part-aligned bilinear representations for person re-identification. In Proceedings of the European Conference on Computer Vision (ECCV), pages 402–419, 2018.
[^38]: Masato Tamura and Tomokazu Murakami. Augmented hard example mining for generalizable person re-identification. arXiv preprint arXiv:1910.05280, 2019.
[^39]: Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, et al. Deep high-resolution representation learning for visual recognition. IEEE transactions on pattern analysis and machine intelligence, 2020.
[^40]: Manchen Wang, Joseph Tighe, and Davide Modolo. Combining detection and tracking for human pose estimation in videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11088–11096, 2020.
[^41]: Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo, and Ling Shao. Pvtv2: Improved baselines with pyramid vision transformer. arXiv preprint arXiv:2106.13797, 2021.
[^42]: Xueyang Wang, Xiya Zhang, Yinheng Zhu, Yuchen Guo, Xiaoyun Yuan, Liuyu Xiang, Zerun Wang, Guiguang Ding, David Brady, Qionghai Dai, et al. Panda: A gigapixel-level human-centric video dataset. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3268–3278, 2020.
[^43]: Longhui Wei, Shiliang Zhang, Wen Gao, and Qi Tian. Person transfer gan to bridge domain gap for person re-identification. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 79–88, 2018.
[^44]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2016.
[^45]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In Proceedings of the European conference on computer vision (ECCV), pages 466–481, 2018.
[^46]: Sen Yang, Zhibin Quan, Mu Nie, and Wankou Yang. Transpose: Keypoint localization via transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11802–11812, 2021.
[^47]: Mang Ye, Jianbing Shen, Gaojie Lin, Tao Xiang, Ling Shao, and Steven C. H. Hoi. Deep learning for person re-identification: A survey and outlook. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.
[^48]: Changqian Yu, Bin Xiao, Changxin Gao, Lu Yuan, Lei Zhang, Nong Sang, and Jingdong Wang. Lite-hrnet: A lightweight high-resolution network. In CVPR, 2021.
[^49]: Qindong Zhang, Sanping Zhou, and Jinjun Wang. Learning generic feature representations with adversarial regularization for person re-identification. In 2021 IEEE International Conference on Image Processing (ICIP), pages 2358–2362. IEEE, 2021.
[^50]: Shizhou Zhang, Qi Zhang, Yifei Yang, Xing Wei, Peng Wang, Bingliang Jiao, and Yanning Zhang. Person re-identification in aerial imagery. IEEE Transactions on Multimedia, 23:281–291, 2020.
## [^51]: Song-Hai Zhang, Ruilong Li, Xin Dong, Paul Rosin, Zixi Cai, Xi Han, Dingcheng Yang, Haozhi Huang, and Shi-Min Hu. Pose2seg: Detection free human instance segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 889–898, 2019.
---
[^52]: Yuyang Zhao, Zhun Zhong, Fengxiang Yang, Zhiming Luo, Yaojin Lin, Shaozi Li, and Nicu Sebe. Learning to generalize unseen domains via memory-based multi-source meta-learning for person re-identification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6277–6286, 2021.
[^53]: Liang Zheng, Liyue Shen, Lu Tian, Shengjin Wang, Jingdong Wang, and Qi Tian. Scalable person re-identification: A benchmark. In Proceedings of the IEEE international conference on computer vision, pages 1116–1124, 2015.
[^54]: Liang Zheng, Hengheng Zhang, Shaoyan Sun, Manmohan Chandraker, Yi Yang, and Qi Tian. Person re-identification in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1367–1376, 2017.
[^55]: Kaiyang Zhou, Yongxin Yang, Andrea Cavallaro, and Tao Xiang. Omni-scale feature learning for person re-identification. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3702–3712, 2019.
[^56]: Kaiyang Zhou, Yongxin Yang, Andrea Cavallaro, and Tao Xiang. Learning generalisable omni-scale representations for person re-identification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.
[^57]: Yi Zhu, Xinyu Li, Chunhui Liu, Mohammadreza Zolfaghari, Yuanjun Xiong, Chongruo Wu, Zhi Zhang, Joseph Tighe, R. Manmatha, and Mu Li. A comprehensive study of deep video action recognition, 2020.