原始文章
# 使用深度 SORT 和 YOLOv3 以及迁移学习的基于检测的多人跟踪：在 5G 基础设施中的应用
伊姆兰·艾哈迈德 $^{1}$ · 米斯巴·艾哈迈德 $^{1}$ · 阿维斯·艾哈迈德 $^{2}$ · 全吉杰 $^{3,4}$
收到：2020 年 6 月 26 日 / 接受：2020 年 10 月 1 日
© Springer-Verlag GmbH Germany，隶属于 Springer Nature，2020 年
## 摘要
如今，5G 通过以高可靠性、高带宽和安全网络连接来处理视频流，深刻地影响着视频监控和监控服务。它还增强了人工智能、机器学习和深度学习技术，这些技术需要大量的处理来提供接近实时的解决方案。在视频监控中，人员跟踪是一项至关重要的任务，因为人体具有可变形性，并且存在各种环境因素，如遮挡、光照和背景条件；特别是从俯视角度看，人的外观与正面或侧面视图有很大不同。在本研究中，我们提出了一个使用 5G 基础设施的多人跟踪框架。该框架采用俯视角度，可以提供场景或视野的广阔覆盖范围。为了进行人员跟踪，我们提出了一种基于深度学习的跟踪检测框架，该框架包括 YOLOv3 检测和 Deep SORT 算法跟踪。尽管该模型是使用正面视图图像进行预训练的，但它仍然可以提供良好的检测结果。为了进一步提高检测模型的准确性，我们采用了迁移学习方法。通过这种方法，检测模型可以利用预训练模型，并附加一个使用俯视图数据集进行额外训练的层。为了评估性能，我们在不同的俯视图视频序列上进行了实验。实验结果表明，迁移学习可以提高整体性能、检测准确性，并减少误报。深度学习检测模型 YOLOv3 在使用预训练模型时实现了 92% 的检测准确率，而使用迁移学习时实现了 95%。跟踪算法 Deep SORT 也实现了出色的结果，跟踪准确率为 96%。
关键词：5G、深度学习、YOLOv3、Deep SORT、迁移学习、人员检测和跟踪、俯视
## 1 引言
传统的视频监控部署依赖复杂的光纤和线缆连接，这类连接在大规模部署时的实施和管理成本很高。如今，视频监控分析中的视频传输已采用无线连接方式。5G网络提升了移动宽带能力，能够满足高分辨率摄像头的高带宽需求，保障服务质量交付[^1]。它还对视频安全监控系统和应用进行了升级，尤其在人员跟踪与检测领域优势显著。5G为众多视频监控应用提供核心能力支撑，例如人群分析[^2] [^3]、机器人技术[^4]、安全分析[^5] [^6]、自动驾驶车辆[^7] [^8]、人机交互（HCI）[^9] [^10]、人脸识别[^11]、定位导航，而最重要的就是人员跟踪与检测。然而，对于研究人员而言，它仍旧属于最具挑战性的课题之一，因为
---
由于视觉外观的变化，包括形状、大小、姿势、服装颜色和身体关节，如图 1 所示，因此存在许多变化。杂乱的场景和相机视角、运动的突然变化、物体之间的紧密交互以及遮挡也是影响跟踪算法性能的重要因素。
许多研究人员提出了几种特征和深度学习技术[16–19]，试图克服这些挑战。大多数开发的技巧使用正面或侧面相机，这可能会导致遮挡问题（当一个人被其他物体或人遮挡时，会出现这种情况，如图 1 所示）。为了解决这个问题，一些研究人员[^20]使用多个相机来准确地定位和检测人员，但这需要付出计算成本、安装费用和传输负载，因为每个捕获或录制的视频序列都必须传输到计算机系统以进行进一步处理。
为了解决如图 1 所示的遮挡问题，许多研究人员，例如[13, 21–24]，建议使用单个顶视摄像头。如图 2 所示，与正面或侧面视图相比，顶视中的遮挡问题不太可能发生，因为当场景变得拥挤时，可能会发生物体之间的遮挡。由于这个特性，基于顶视的人员跟踪和检测在许多实际应用中变得重要，特别是在监控系统中，包括在户外和室内环境中进行人员检测[25–29]，人员计数[29–34]，人员跟踪，动作识别，行为理解[^35]，人群分析[^36]，人员姿势特征[^37]和工业工作流程[^21] [^33]。使用顶视摄像头还可以减少隐私问题，因为摄像头不是捕获面部图像，而是从上方捕获人员的身体[^38]。除了处理遮挡问题外，单个顶视摄像头的视角还可以克服计算、传输负载、功耗、人力和安装费用[^39]。图 1 和图 2 描绘了两种不同相机视角的差异。从示例图像中可以看出，相机视角的变化会导致人员的视觉特征（形状、大小、姿势、比例和身体方向）发生显着变化。
鉴于上述讨论，在这项工作中，该框架由顶视 5G 基础设施组成，并提出了基于深度学习的检测和跟踪模块。该框架由一个顶视 IP 摄像头组成，该摄像头用于记录视频流。视频流通过 5G 基础设施以高速度和带宽传输到服务器。服务器将这些视频传输到监控单元以进行进一步分析和处理。监控单元使用深度学习模型进行多人跟踪和检测。对于多人检测，使用了 YOLOv3 (You Only Look Once) [^41]，该模型是在包含从正面或正常视图记录的图像的数据集上进行预训练的。为了提高检测精度，通过在顶视人员数据集上额外训练现有检测模型来执行迁移学习。据我们所知，这项工作可能是第一项尝试。
(a)
(b)
Fig. 1 Some example images taken from literature showing occlusion problem occurs in conventional frontal or side view. a Due to occlusion false detection occurs [^12]. b Occlusion as person crossing each
(c)
(d)
other [^13]. c Occlusion caused by crowded scene [^14]. d Occlusion because a side view camera perspective [^15]
(a)
(b)
Fig. 2 Some sample images from literature showing how top view camera perspective overcome the problem of occlusion. a Top View Person tracking in industrial environment [^22]. b Top view person
(c)
(d)
tracking using (head and shoulder information) [^13]. c Occlusion handling in top view [^24]. d Top view person tracking in a wide field of view [^40]
---
应用迁移学习，并针对顶视多个人数据集，在5G基础设施中训练目标检测模型。检测到的人员使用分配的唯一跟踪ID进行跟踪。对于多个人跟踪，将Deep SORT（简单在线和实时跟踪）[^42]算法与检测模型结合。本文的工作概述如下：
提供一个框架，使用5G基础设施进行顶视多个人跟踪。采用基于深度学习的跟踪检测方法，包括使用YOLOv3进行检测，以及使用Deep SORT算法进行跟踪。
评估YOLOv3的性能，该模型在包含正面视图样本图像的数据集上进行预训练，并在使用IP摄像头记录的多个人数据集上进行测试，该数据集与训练数据集完全不同。
- 采用迁移学习方法，以提高模型的检测精度。利用嵌入在现有预训练模型中的顶视数据集进行额外训练。
- 使用Deep SORT跟踪算法与检测模型相结合，进行顶视人员跟踪。
使用顶视多个人数据集（通过准确率）以及跟踪结果，评估检测模型的性能，并比较使用和不使用迁移学习的情况。
本文的工作组织如下：第2节详细介绍了顶视人员跟踪和检测领域现有的研究。第3节简要讨论了用于测试和实验的、使用单个顶视IP摄像头记录的多个人数据集。第4节详细阐述了用于检测和跟踪5G基础设施中多个人员的框架。第5节详细说明了实验结果。还解释了使用和不使用迁移学习的模型性能评估（第5节）。第6节总结了本文的工作，并提出了可能的未来方向。
## 2 文献综述
在第1节中提到的，在顶视视频序列或图像中进行人员跟踪和检测，被认为是具有挑战性的任务之一。研究人员开发了多种基于不同传统特征和少量深度学习模型的顶视人员检测和跟踪技术。在顶视图像或视频序列中，人员使用头部信息、头部-肩部信息，或者有时使用完整的顶视人员身体信息进行检测和跟踪 [^43]。本节简要概述近年来开发的各种顶视人员跟踪和检测技术。讨论分为传统blob特征和基于深度学习的技术。
大多数用于俯视图的人体检测模型基于背景消除和分割方法 [^25] [^37] [^44] [^45]。 一些研究人员使用特征信息，例如 [^30]，通过将人的头部视为圆柱形 blob 来使用形状信息； 类似地，[^31] 将俯视图中人的形状视为半椭球体。 Ozturk 等人 [^46] 假设俯视图中人的身体是一个椭圆形 blob，并在俯视图输入图像中进行检测。 Wu 等人 [^47] 使用深度图像进行人员跟踪和 [^48] 人员检测。 此外，[^49] 采用 Hough 圆，[^38] 使用头发旋涡形状信息进行俯视图中的人员检测。 一些研究人员利用颜色信息 [^38] [^46] [^50] [^51]，而另一些人则使用边缘信息，例如 Canny 边缘检测器或 Sobel 滤波器 [^32] [^46] [^52]，用于俯视图中的人员检测和跟踪。
许多研究人员使用基于文本的信息，例如头发纹理 [^38]，用于俯视图中的人员检测。 俯视图场景中的感兴趣区域 (ROI) 也各不相同； 一些人假设只有人头作为 (ROI) [^32] [^38]，而其他研究人员则将头部-肩膀信息作为 ROI [^45] [^50] [^53] [^54] 用于人员检测。 还有一些人将整个人的身体用作 ROI 进行检测 [^46] [^53] [^55] [^56]。 除了人员检测之外，不同的研究人员还开发了俯视图中的人员跟踪方法，例如 [^27] [^32] [^50] [^55] [^57] 使用卡尔曼滤波器进行俯视图中的人员跟踪。
同样，[^31] [^44] [^46] [^51] [^57] 使用粒子滤波器对视频序列中的人员进行跟踪。 在 [^25] 中，作者使用匈牙利算法跟踪俯视图中的人员。 此外，[^51] 使用中值滤波器，[^53] 使用均值迁移算法进行个体跟踪。 Burbano 等人 [^29] 跟踪俯视图中的人员，并提出了一种图结构方法。 Bagaa 等人 [^58] 提供了一种使用 5G 网络的有效跟踪区域框架。 几位研究人员利用基于特征的技术，例如在 [^59] 中，开发了一种使用定向梯度直方图 (HoG) 特征的有效俯视图人体检测方法。 在 [^34] 中，作者使用局部三元模式特征以及 SVM 分类器进行人员检测和跟踪。
类似地，在 [^21] 中，提出了一种旋转的 HoG 算法，使用用于俯视图工业图像的人体检测。 另一种鲁棒的算法是提出的 [^22] 算法，该算法使用广角相机记录室内环境中人员的俯视图视频序列。 该算法使用不同角度的变尺寸边界框。 Gao 等人 [^51] 使用 HOG 特征进行复杂环境中的人员检测和计数。 Lowe [^60] 和 Ozturk 等人 [^46] 使用 SIFT 特征来感知人体和头部中的变化。 [^34] 使用固定尺寸的检测
---
window 以及基于 CoHOG 的技术，用于检测从俯视角度拍摄的图像中的人物。 Choi 等人 [^61] 和 Ertler 等人 [^26] 开发了一种基于各种尺寸检测窗口的方法，该方法可检测俯视图像中人物的身体和头部肩膀。 Choi 等人 [^61] 使用统计测量来减小提取的特征尺寸，例如均值和标准偏差。
在 [^62] 中，作者提供了一种基于特征的俯视方法，用于在工业和室内环境中检测人物。 同样，在另一项工作中 [^33]，提出了一种基于特征的方法，用于使用从俯视角度拍摄的样本图像跟踪多个人物。 Ullah 等人 [^40] 采用基于 blob 的方法，并提供了一种旋转不变的人物跟踪解决方案，用于俯视监控。 [^63] 还比较了一些传统的跟踪技术，这些技术使用来自俯视角度的人物视频序列。 在 [^64] 中，作者使用一种高效的旋转 HoG 方法以及 SVM 分类器，用于俯视角度的人物检测。 少数研究人员还使用深度学习方法 [^26] 用于使用鱼眼相机进行人物跟踪和检测。 大多数提出的模型都使用了正面视图数据。 各种研究人员 [24, 65–67] 使用航空和卫星图像执行目标检测和跟踪任务。 相应地，一些研究人员将深度学习技术应用于俯视目标跟踪和检测，但他们的工作主要针对单类目标，主要是人物 [^24] [^68] [^69]。 Ahmed 等人 [^70] 使用两种不同的深度学习模型进行俯视多类目标检测。 作者使用 Faster-RCNN 和 Mask-RCNN 分别进行俯视目标检测和分割。 Ahmad 等人 [^71] 使用基于卷积神经网络 (CNN) 的跟踪技术，用于在俯视室内和室外环境中跟踪多个人物。 在最近的工作中 [^72]，使用俯视人物图像，并比较了三种基于深度学习的分割模型。
## 3 数据集
该数据集包含通过安装在顶部的 IP 摄像头拍摄的多个人物的视频序列。 本工作中使用的所有序列均在巴基斯坦伊斯兰管理科学研究所的室内无约束大学校园环境中拍摄。 最突出的组成元素是多个（通常为 2–20）穿着不同颜色衣服的人，他们手中拿着不同的物品，例如手机、书籍和包。 使用 Point Gray FlyCap2 摄像头和 Fujinon 广角镜头拍摄视频，该镜头安装在距离地面约 4 米的高度。 录制的视频帧率为 20 fps，分辨率为 $644 \times 482$，压缩率为 50%。 由于使用了广角镜头摄像头，因此可以覆盖整个场景并解决遮挡问题。 录制的视频序列的持续时间不同。 在每个视频序列中，人物可以在场景中自由移动。 为了进行迁移学习，我们使用了从不同视频序列中提取的 1000 个图像块，这些视频序列包含具有不同尺寸、外观、姿势、比例和角度的多个人物，如第 5 节中讨论的样本帧所示。 从样本帧中，可以很容易地看到，从俯视角度观察人物的外观与正常或正面视图明显不同。 这些训练图像或视频帧均未用于任何测试集，用于训练和测试使用了不同的视频序列。
## 4 系统概述
如前所述，传统的监控系统要么依赖于复杂的电缆和专用软件，要么采用完全集中的处理方式，这导致了成本高昂的解决方案、更长的分析时间和巨大的带宽需求。另一方面，基于 IP 的摄像头可以通过 5G 连接来减少网络负载并支持高带宽的视频流。在这项工作中，讨论了使用 5G 基础设施的俯视多目标跟踪框架，如图 3 所示。该框架由一个俯视 IP 摄像头组成，该摄像头用于记录视频流。视频流通过 5G 基础设施传输到服务器，如图 3 所示。5G 基础设施以高速和高带宽传输记录的视频流，增强了深度学习技术，该技术需要大量的处理来提供用于俯视多目标跟踪的近实时解决方案。服务器将这些视频传输到监控单元以进行进一步的分析和处理。监控单元使用基于深度学习的技术进行多目标跟踪和检测。对于多个人检测，使用了 YOLOv3 [^41]，而对于跟踪，Deep SORT [^42] 算法与检测模块结合使用。关于基于深度学习的
Fig. 3 Top view multiple people tracking using 5G infrastructure
---
俯视多目标跟踪的检测细节将在后续部分中提供。
### 4.1 使用 Deep SORT 和 YOLOv3 以及迁移学习的俯视多目标跟踪
在本节中，讨论了如图 4 所示的俯视多目标跟踪的检测框架。该框架分为两个模块，第一个是基于深度学习的__人__检测模块，第二个用于__人__跟踪。为了跟踪俯视视频序列中的__人__，首先必须检测__人__。有许多可用的目标检测模型，例如 [73–78]，但这里采用了 YOLOv3 [^41]，该模型在通用目标检测方面表现最佳。该模型使用单阶段网络架构来预测类概率和相应的检测边界框。原始的 YOLOv3 模型是在 COCO 数据集 [^79] 上训练的。为了提高检测性能，采用了迁移学习，通过在俯视多__人__数据集上额外训练模型，并附加了预训练的前视模型。
此外，__人__检测模块与 Deep SORT [^42] 跟踪算法结合使用，该算法旨在识别和跟踪俯视场景中的多个__人__。图 4 显示了用于俯视__人__跟踪的整体过程。俯视视频流首先转换为样本帧，并输入到 YOLOv3 模型中，检测到__人__的边界框后，信息由 Deep SORT 跟踪算法进一步处理，该算法有助于跟踪场景中的__人__。以下部分详细介绍了应用于俯视多目标跟踪的基于深度学习的跟踪框架。
#### 使用 YOLOv3 以及迁移学习进行的人检测
在这项工作中，YOLOv3 [^41] 用于在俯视图场景中进行多个人检测，如图 5 所示。该模块分为两部分。第一部分是使用 COCO 数据集的预训练模型 [^79]。在第二部分，为了进一步提高模型对俯视图人物的检测能力，采用了迁移学习。迁移学习在各种机器学习问题中被广泛应用；它强调存储在解决问题过程中获得的知识，并将其用于不同的相关问题的解决方案 [^80]。它被认为是深度学习中的一种有效关键技术，在该技术中，模型在包含数千张图像的不同数据集上进行训练。迁移学习的主要目标不是丢弃现有模型中的有价值的信息，而是利用现有的训练模型知识，并将其与新训练的层结合起来，以解决新的问题。将现有知识和新学习的知识相结合，使模型能够为不同的问题提供更好的和更快的解决方案。在迁移学习中，最常用的工具是微调。在各种目标检测和分类任务中，由于缺乏特定应用的可用数据集，因此该工具被广泛使用。在这项工作中，检测模型 YOLOv3 在俯视图多个人数据集上进行额外训练，并将该新训练的模型嵌入到预训练的前视图模型中，如图 5 所示。将两个权重文件结合起来，生成一个新的学习模型，这显著提高了俯视图人物的检测结果。
YOLOv3 模型使用单个网络架构来预测整个输入图像的类概率和相应的边界框。原始 YOLO $^{[81]}$ 模型包含 24 个卷积层和 2 个
Fig. 4 The general deep learning based tracking by detection framework of top view person tracking. YOLOv3 model and Deep SORT algorithm is used for person detection and tracking respectively
---
Fig. 5 The overall framework of top view multiple people detection using YOLOv3 with Transfer Learning. The detection model YOLOv3 pre-trained (utilizing frontal or normal view data set) is appended with the additional trained model on multiple person data set recorded using top view)
Fig. 6 Top view person detection approach using YOLO [^81]
全连接层。卷积层用于提取图像，而全连接层用于计算类预测和概率。在人物检测过程中，如图 6 所示，模型将输入视频帧划分为 $S \times S$ 个区域，也称为网格单元。这些网格单元与边界框预测和类概率相关联。每个单元格预测中心是否位于网格单元格内的概率。如果预测为正，则会预测边界框和每个正检测的置信度值。置信度值表示检测到的边界框作为人物的程度，定义为：
$$ Conf(person)=Pr(person)\times IOU(Pred,Truth), $$
其中 $Pr(person)$ 表示边界框中是否存在人物（是为 1，否为 0），$IoU(Pred, Truth)$ 用于表示预测的边界框和真实边界框的交集。它表示为 [^41]：
$$ IoU(Pred,Truth)=area\frac{BoxT\cap BoxP}{BoxT\cup BoxP}. $$
在上述公式中，BoxT 表示训练集中的真实边界框（手动标注），而预测的边界框表示为 BoxP。交集面积表示为 area。
对于俯视图中人物检测，选择合适的区域并进行预测。预测后，使用置信度值来获得所需的边界框。对于所有边界框，预测五个值，包括高度、宽度、x 坐标、y 坐标和置信度值，其中宽度和高度分别由 w 和 h 表示，边界框中心坐标由 x 和 y 表示。通过定义阈值，丢弃低分置信度值，然后处理剩余的多个高置信度边界框，并通过使用非最大抑制来推导出最终的位置参数。最后，对于检测到的边界框，计算损失函数。在原始工作中，损失函数是回归损失和分类损失之和 [^81]。但是，在这个工作中，只考虑一种对象，即人物。因此，本工作的损失函数定义如下：
$$ loss(person)=L_{c}+L_{IoU} $$
其中 $L_{c}$ 表示预测边界框坐标的损失，$L_{IoU}$ 用于计算真实边界框坐标的损失。
由于俯视图中人物的大小不同，YOLO v3 损失函数为所有边界框计算相同的损失。但是，对于整个图像，小物体和大物体对损失函数的影响不同。因此，为了提高坐标对比的损失函数
---
使用归一化 [^82]。坐标损失函数 $L_{c}$ 的计算公式为 [^81]：
$$ \begin{align*}\mathcal{L}_{c}=\lambda_{coord}\sum_{i=0}^{S^{2}}\sum_{j=0}^{B}I_{ij}^{person}\Big[(x_{i}-x_{i}^{*})^{2}+(y_{i}-y_{i}^{*})^{2}\\+(\sqrt{w_{i}}-\sqrt{w_{i}^{*}})^{2}+(\sqrt{h_{i}}-\sqrt{h_{i}^{*}})^{2}\Big].\end{align*} $$
在上述公式中，$\lambda_{coord}$ 是用于边界框坐标预测的缩放参数，$\lambda_{coord} = 5$ ([^81]) $\cdot x_i, y_i, h_i, w_i$ 是在 $i_th$ 网格中检测到的边界框的预测位置，而 $x_i^*, y_i^*, h_i^*, w_i^*$ 是在 $i_th$ 网格中边界框的实际位置。上述公式计算了与具有坐标值 x 和 y 的预测边界框相关的损失函数。$I_{ij}^{person}$ 表示检测到的人在 $j_{th}$ 边界框中的可能性。$\lambda$ 是一个常数，上述函数计算每个边界框的总和，使用 (j = 0 到 B) 作为每个网格单元 ( $i = 0$ 到 $S^2$) 的预测器。该函数定义为 [^81]。
$L_{IOU}$ 的 $IOU_{pred}^{truth}$ 的计算方法如下：
$$ \begin{align*}\mathcal{L}_{IoU}&=\sum_{i=0}^{S^{2}}\sum_{j=0}^{B}I_{ij}^{person}[(\xi_{i}-\xi_{i}^{*})]^{2}\\&\quad+\lambda_{no-person}\sum_{i=0}^{S^{2}}\sum_{j=0}^{B}I_{ij}^{no-person}[(\xi_{i}-\xi_{i}^{*})]^{2}.\end{align*} $$
在公式 5 中，$\lambda_{no-person}$ 显示了分类错误；类似地，$\xi_i$ 和 $\xi_i^*$ 分别是预测和原始滑动窗口中 $i_{th}$ 网格单元的置信度值。$I_{person}$ 表示目标人物是否位于 $j_{th}$ 网格单元的边界框内。如果目标人物存在于 $j_{th}$ 边界框和 $i_{th}$ 网格单元内，则该函数等于 1；否则，它变为 0。
#### 4.1.2 使用 Deep SORT 进行俯视图人物跟踪
对于从俯视图跟踪人物，使用基于深度学习的跟踪算法 Deep SORT [^42]，如图 7 所示。它主要基于帧到帧的数据关联方法和卡尔曼滤波。滤波用于评估当前视频帧中的现有轨迹。它通常用于 $x', y', h', \gamma', u, v, h, \gamma$，其中 $x', y', h', \gamma'$ 是检测到的边界框的每个坐标的跟踪速度，$(u, v, h, \gamma)$ 是边界框的位置 [^42]。
卡尔曼滤波器与Deep SORT结合使用，采用线性观测和恒定速度。因此，每个现有轨迹在当前帧中的位置被估计在下一帧中。轨迹估计是基于边界框的空间信息进行的。为了获取每个检测和跟踪目标的视觉信息，使用外观描述符进行特征提取。该描述符是使用CNN训练的。
Fig. 7 General frame work of top view person tracking using deep SORT [^42]
使用训练好的模型提取特征，并形成一个特征向量。该向量将相同的身份特征放在一起，而不同身份的特征彼此远离。
利用从外观描述符中提取的信息，现在可以将新的检测结果与下一帧中的现有跟踪结果相关联。为此，定义了一个检测阈值，以便忽略低检测结果。在下一帧中，每个检测结果都使用阈值进行关联。Deep SORT 算法使用成本矩阵来表示外观，并使用两个距离值表示新检测和跟踪之间的空间相似性，如 [^42] 所示：
$$ d^{(1)}(i,j)=(d_{j}-y_{i})^{T}S_{i}^{-}1(d_{j}-y_{i}). $$
在上述方程中，$y_{i}$，$S_{i}$ 表示 $i_{th}$ 投影轨迹是测量空间，并且对于 $j_{th}$ 新检测 $d_{j}$ 而言，使用了。它也被称为马哈拉诺比斯距离，该距离是新检测 $j_{th}$ 和估计位置 $i_{th}$ 轨迹之间的计算差异。此外，使用上述指标，通过使用马哈拉诺比斯距离阈值来排除不太可能的相关性，该阈值定义了 $i_{th}$ 轨迹和 $j_{th}$ 检测之间的距离，如 [^42] 所述：
$$ b_{i,j}^{(1)}=1[d^{(1)}(i,j)Fig. 8 Detection and tracking results of pre-trained YOLOv3 and Deep SORT tracking algorithm for top view person video sequence. The visualization results can be seen for the initial few frames; two persons are allowed to walk within the top view scene freely in this video sequence.
---
Fig. 9 Detection and tracking results of pre-trained YOLOv3 and Deep SORT tracking algorithm for top view multiple person video sequence (the results are shown for few sample frames)
Fig. 10 Detection and tracking results of pre-trained YOLOv3 and Deep SORT tracking algorithm for top view multiple person video sequence. In this video sequence the number of multiple people are entering in the scene is increasing (the results are shown for few sample frames)
f4335
由于样本帧中，人物的视觉外观与正面或侧面视图不同。在场景的不同位置，人物的大小各不相同，如图 8 所示。因此，预训练的检测模型无法检测到该人物，导致检测和跟踪失败。虽然该模型仍然显示出更好的检测和跟踪结果。良好的结果通过检测到的人物边界框来证明，而未检测到的结果（误报）已手动用红色十字标记。从样本帧可以看出，person1 和 person2 在某些帧中被检测和跟踪，但在某些情况下，当人物外观发生变化时，模型会给出错误的结果（误报）。这可能是因为使用了预训练模型，导致人物的外观可能对检测模型来说令人困惑。
f4395
f4425
类似地，我们还测试了另一个俯视图视频序列的检测和跟踪算法，其中有多个人进入俯视图场景。跟踪算法和检测模型的整体测试性能良好，但在某些情况下，未检测到并跟踪到俯视图中的人物。此外，在某些情况下，跟踪ID被分配给另一个人，这表明模型将相同的跟踪ID分配给不同的人。在图 9 中，可以查看针对多个人员进入俯视图场景视频序列的预训练模型的可视化结果。从样本帧（f3008、f3068）中，可以观察到两个进入场景的人被正确检测和跟踪，但用红色十字标记的人员未被检测和跟踪。由于该人员在中心移动，且下半身被遮挡，这可能是预训练模型产生误报的原因，无法检测到它。类似地，在样本帧（f3008、f3068、f3228）中，由于突发照明变化，人员1未被检测到。在样本帧中，图 9（f3228、f3268、f3354）显示了多个进入场景的人员被准确检测和跟踪，这表明深度学习的有效性。在序列中，人员数量会发生变化，如图样本帧（f3354）所示；深度学习模型在俯视图中最多可以检测和跟踪到十四个人。
---
Fig. 11 Training loss of YOLOv3 using top view person data set
(f3008、f3068、f3228)中，人员1未被检测到，因为存在突发照明变化。在样本帧中，图 9（f3228、f3268、f3354）显示了多个进入场景的人员被准确检测和跟踪，这表明深度学习的有效性。在序列中，人员数量会发生变化，如图样本帧（f3354）所示；深度学习模型在俯视图中最多可以检测和跟踪到十四个人。
另一个多个人员进入场景的视频序列的测试结果也可以在图 10 中可视化。从样本帧中，可以观察到深度学习模型的检测和跟踪结果很有前景。虽然检测模型是使用包含正面视图图像的数据集进行预训练的，但它仍然可以为俯视图数据集提供良好的结果。在俯视图场景的某些区域，模型无法跟踪和检测到人员，这些人员在样本帧中被手动标记为红色十字。例如，在图 10（f4260）中，检测模型将相同的边界框分配给两个人，原因可能是这两个人走得很近，或者可能是由于人员在地板上的阴影。类似地，在样本帧（f4335、f4395、f4425）中，检测和跟踪模型丢失了人员14的ID，这可能是由于人员外观的变化造成的。
### 5.2 使用YOLOv3和deep SORT在经过迁移学习后的俯视图人员检测和跟踪结果
如前所述，为了提高YOLOv3对于俯视图数据集的人员检测准确性，采用了迁移学习方法。YOLOv3模型使用俯视图多个人数据集进行额外训练。收集了超过 10,000 个在不受约束的室内环境中拍摄的多个人样本帧/图像，如第 3 节所述。对于测试和训练，将数据集视频帧分为 30% 和 70%。对于训练，使用了批次大小为 64，epoch 数量为 40。在第 40 个 epoch 结束时，获得了训练损失和训练准确率，如图 11 和 12 所示。在训练模型后，会生成一个新的权重文件；借助迁移学习，将权重文件与预训练的权重文件（COCO 数据集）合并。
使用新学习的模型测试了俯视图视频序列。实验结果表明，迁移学习显着提高了俯视图数据集的结果。图 13、14 和 15 显示了应用迁移学习后，俯视图多个人跟踪和检测框架的输出结果。
我们使用与上述部分中讨论相同的视频序列对模型进行了测试。用于测试的第一个视频序列主要涵盖室内俯视环境，其中包含两个人。场景中人物的移动不受限制。两人都在场景中自由移动；由于相对于相机位置或径向距离，人物的外观会受到影响。从图 13 可以看出，所有样本帧中人物的视觉特征都不相似。但是，由于检测模型在顶部视图、多个人数据集上进行了额外的训练，并结合了预训练的权重文件，因此它可以有效地检测和跟踪这两个人。该模型还为每个人分配跟踪 ID，如图 13 所示。即使人物的外观存在显着变化，例如在帧 (f0010, f0574) 中，人物在场景中的移动和相对于相机的位置不同，且比例不同。即使如此，具有迁移学习的检测模型可以检测和跟踪多个人员，并且不会出现任何故障，并且还会根据其大小调整边界框。
还测试了经过 YOLOv3 顶部视图多个人数据集训练的模型，该模型用于另一个视频序列，其中多个人员进入顶部视图场景，如图所示。
Fig. 12 Training accuracy of YOLOv3 using top view person data set
---
Fig. 13 Testing results for top view person video sequence of Deep SORT and YOLOv3 after transfer learning. The visualization results can be seen for the initial few frames, in this video sequence two persons are allowed to walk freely within the top view scene
Fig. 14 Testing results for top view multiple person video sequence of Deep SORT and YOLOv3 after transfer learning. In this video sequence multiple people are entering in the scene
从样本帧可以看出，应用迁移学习后，检测模型的准确性显着提高，该模型可以有效地检测、计数和跟踪顶部视图场景中的多个人员。在图 14 和 15 中，由于篇幅限制，仅显示了几个样本帧的结果。
如图 15 所示，描绘了训练模型的多个人员样本帧的测试结果。在样本帧中，人员紧密地在场景中行走，穿着不同颜色的衣服。从样本帧中可以观察到，尽管人员彼此紧密互动，但深度学习模型仍然可以区分场景中的每个人。在某些地方，虽然模型没有像预训练模式那样检测到人员，但准确性得到了显着提高。
### 5.3 性能评估
在这项工作中，使用了不同的定量参数来评估基于深度学习的顶部视图多个人跟踪框架的性能。用于评估检测模型的性能，使用了 YOLOv3 的精度、召回率和准确性。对于跟踪，我们使用了与 [^83] 相同的参数。精度、召回率和准确性的计算公式如下：
$$ Precision=\frac{tp}{tp+fp} $$
---
Fig.15 Testing results for top view multiple person video sequence using Deep SORT and YOLOv3 after transfer learning. In this video sequence the number of multiple persons are entering in the scene is increasing
$$ Recall=\frac{tp}{tp+fn} $$
$$ Accuracy=\frac{tp+tn}{tp+fp+tn+fn}. $$
在上述公式 (12)-(14) 中，$t_p$ 表示在顶部视图视频序列中，正确检测为人的真阳性数量。$f_p$ 显示的是错误检测为人的假阳性数量，$t_n$ 真阴性表示正确识别为背景的边界框数量，$f_n$ 假阴性表示当模型错误地将背景识别为人的情况。顶部人员检测的精度、召回率和准确性的结果如图 16 所示。可以分析出，当模型在顶部视图数据集上进行额外训练时，模型在顶部视图数据集上进行额外训练时。
为了评估跟踪算法的性能，本研究使用了最常用的指标 MOTA 和 MOTP，如原始工作 [^42] 和 [^83] [^84]。
Fig. 16 Precision, recall and accuracy of pre-trained YOLOv3 without transfer learning and YOLOv3 trained with transfer learning for top view multiple person detection
---
Table 1 Evaluation results of tracking algorithm
| S.NO | Deep SORT with YOLOv3 (without transfer learning) (%) | Deep SORT with YOLOv3 (with transfer learning) (%) |
| MOTA | 92 | 96 |
| MOTP | 90 | 95 |
使用这些参数的主要原因是，它们结合了三种不同的错误来源，如 [^84]。
$$ MOTA=1-\frac{\sum_{t}(fn_{t}+fp_{t}+idsw_{t})}{\sum_{t}g_{t}}. $$
它展示了多目标跟踪的准确性 (MOTA)，从漏检率或跟踪算法在虚假警报、误匹配和跟踪失败方面的错误数量等方面进行评估。 上述方程中的 t 表示帧索引，gt 表示地面真实对象或人数。 为了表示对场景中人物在俯视位置的估计准确性，使用了多目标跟踪精度 (MOTP)，公式如下：[^84]
$$ MOTP=\frac{\sum t,id_{t,i}}{\sum_{t}c_{t}} $$
在上式中，视频帧 t 中的匹配次数由 $c_t$ 表示，目标对象（即人物 i）的边界框与地面真实框的重叠程度由 $d_{t,i}$ 表示。 俯视人脸数据集的跟踪准确性如表 1 所示。 它显示了使用 YOLOv3 检测模型的 Deep SORT 跟踪算法的 MOTA 和 MOTP，以及是否使用迁移学习。
## 6 结论
在本文中，针对俯视多人跟踪，提出了一种基于深度学习的跟踪检测框架，并使用了 5G 基础设施。 为了进行检测，使用了 YOLOv3 检测模型。 由于检测模型是使用包含正面或侧面图像的数据集进行预训练的，并且存在大量的人在俯视场景中的外观、可见性、大小、形状和姿势变化，因此它仍然可以获得令人鼓舞的结果。 为了进一步提高预训练模型的检测准确性，采用了迁移学习。 额外使用俯视多人数据集对检测模型进行训练。 将新训练的模型权重文件与预训练模型（即 COCO 权重文件）相结合。 对于俯视多人跟踪，将检测模型与 Deep SORT 跟踪算法结合使用。 我们的研究是第一个使用迁移学习，并在包含多个姿势、大小、形状和外观变化的人的俯视多人数据集上训练 YOLOv3（目标检测模型）的工作。 实验结果表明，该俯视深度学习人员检测模型的鲁棒性和效率。 使用未经迁移学习的预训练权重文件，检测模型的准确率为 92%，而使用迁移学习，模型的准确率达到 95%。 对于俯视人员跟踪，模型实现了 96% 的跟踪准确率。
在未来的工作中，该模型可以扩展到多个俯视对象数据集，通过使用迁移学习，该模型可以额外针对具有不同背景和场景的不同俯视对象进行训练。 通过在完全的俯视多人数据集上训练模型，可以进一步提高模型的检测准确性。
致谢 本工作由韩国国家研究基金 (NRF) 资助，资金由韩国政府提供 (编号：2018045330)。
## 参考文献
1. Jang YM, Cano JC, Yang K, Choi Y-J (2016) 面向下一代的使能技术. Mobile Syst Netw 2016:9805636.
[^2]: Chen Y, Yang X, Zhong B, Pan S, Chen D, Zhang H (2016) Cnntracker: online discriminative object tracking via deep convolutional neural network. Appl Soft Comput 38:1088–1098
[^3]: Zhan B, Monekosso DN, Remagnino P, Velastin SA, Xu L-Q (2008) Crowd analysis: a survey. Mach Vis Appl 19(5–6):345–357
[^4]: Wu X, Huang G, Sun L et al (2016) Fast visual identification and location algorithm for industrial sorting robots based on deep learning. Robot 38(6):711–719
5. Clift LG, Lepley J, Hagras H, Clark AF (2018) 安全与监控中基于自主计算智能的行为识别. 载于: 《反恐、打击犯罪、法医与监控技术 II》，第 10802 卷. 国际光学与光子学学会. SPIE, 页码 173–179.
[^6]: Hodgetts HM, Vachon F, Chamberland C, Tremblay S (2017) See no evil: cognitive challenges of security surveillance and monitoring. J Appl Res Mem Cogn 6(3):230–243
[^7]: Jeong Y, Son S, Jeong E, Lee B (2018) An integrated self-diagnosis system for an autonomous vehicle based on an IOT gateway and deep learning. Appl Sci 8(7):1164
[^8]: Bansal P, Kockelman KM (2018) Are we ready to embrace connected and self-driving vehicles? A case study of texans. Transportation 45(2):641–675
[^9]: Verschae R, Ruiz-del Solar J (2015) Object detection: current and future directions. Front Robot AI 2:29
[^10]: Borji A, Cheng M-M, Jiang H, Li J (2015) Salient object detection: a benchmark. IEEE Trans Image Process 24(12):5706–5722
## [^11]: Haghighat M, Abdel-Mottaleb M (2017) Low resolution face recognition in surveillance systems using discriminant correlation analysis. In: 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017). IEEE, pp 912–917
---
[^12]: Breitenstein MD, Reichlin F, Leibe B, Koller-Meier E, Van Gool L (2011) Online multiperson tracking-by-detection from a single, uncalibrated camera. IEEE Trans Pattern Anal Mach Intell 33(9):1820–1833
[^13]: Choi J-W, Moon D, Yoo J-H (2015) Robust multi-person tracking for real-time intelligent video surveillance. ETRI J 37(3):551–561
[^14]: Shu G, Dehghan A, Oreifej O, Hand E, Shah M (2012) Part-based multiple-person tracking with partial occlusion handling. In: 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, pp 1815–1821
[^15]: Liu P, Li X, Liu H, Fu Z (2019) Online learned Siamese network with auto-encoding constraints for robust multi-object tracking. Electronics 8(6):595
[^16]: Zou Z, Shi Z, Guo Y, Ye J (2019) Object detection in 20 years: a survey. arXiv:1905.05055
[^17]: Yao R, Lin G, Xia S, Zhao J, Zhou Y (2019) Video object segmentation and tracking: a survey. arXiv:1904.09172
[^18]: Zhou S, Ke M, Qiu J, Wang J (2018) A survey of multi-object video tracking algorithms. In: International Conference on Applications and Techniques in Cyber Security and Intelligence. Springer, New York, pp 351–369 (ISBN: 978-3-319-98776-7)
[^19]: Li P, Wang D, Wang L, Lu H (2018) Deep visual tracking: review and experimental comparison. Pattern Recog 76:323–338
[^20]: Anuj L, Krishna MG (2017) Multiple camera based multiple object tracking under occlusion: a survey. In: 2017 International Conference on Innovative Mechanisms for Industry Applications (ICIMIA). IEEE, pp 432–437
[^21]: Ahmed I, Carter JN (2012) A robust person detector for overhead views. In: Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012). IEEE, pp 1483–1486
22. Ahmed I, Adnan A (2017) 关于从俯视角度检测人物的鲁棒算法。Clust Comput 21(1):1–22.
[^23]: Ahmad M, Ahmed I, Ullah K, Khan I, Adnan A (2018) Robust background subtraction based person's counting from overhead view. In: 2018 9th IEEE annual ubiquitous computing, electronics mobile communication conference (UEMCON), pp 746–752
[^24]: Migniot C, Ababsa F (2016) Hybrid 3D–2D human tracking in a top view. J Real Time Image Proc 11(4):769–784
[^25]: Vera P, Monjaraz S, Salas J (2016) Counting pedestrians with a zenithal arrangement of depth cameras. Mach Vis Appl 27(2):303–315
[^26]: Ertler C, Posseger H, Optiz M, Bischof H (2017) Pedestrian detection in RGB-D images from an elevated viewpoint. In: 22nd Computer Vision Winter Workshop. TU Wien, Pattern Reconition and Image Processing Group, Vienna
[^27]: Kristoffersen M, Dueholm J, Gade R, Moeslund T (2016) Pedestrian counting with occlusion handling using stereo thermal cameras. Sensors 16(1):62
[^28]: Malawski F (2014) Top-view people counting in public transportation using kinect. Chall Mod Technol 5(4):17–20
[^29]: Burbano A, Bouaziz S, Vasiliu M (2015) 3D-sensing distributed embedded system for people tracking and counting. In: 2015 International Conference on Computational Science and Computational Intelligence (CSCI). IEEE, pp 470–475
30. Zhang Z, Venetianer PL, Lipton AJ (2008) 开发一种鲁棒的人体检测和跟踪系统，该系统使用基于人体模型的相机标定。第八届国际视觉监控研讨会-VS2008。马赛。
[^31]: Tseng T-E, Liu A-S, Hsiao P-H, Huang C-M, Fu L-C (2014) Real-time people detection and tracking for indoor surveillance using multiple top-view depth cameras. In: 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, pp 4077–4082
[^32]: García J, Gardel A, Bravo I, Lázaro JL, Martínez M, Rodríguez D (2013) Directional people counter based on head tracking. IEEE Trans Ind Electron 60(9):3991–4000
[^33]: Ahmed I, Ahmad A, Piccialli F, Sangaiah AK, Jeon G (2018) A robust features-based person tracker for overhead views in industrial environment. IEEE Internet of Things J 5(3):1598–1605
[^34]: Rauter M (2013) Reliable human detection and tracking in top-view depth images. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp 529–534
[^35]: Lin Q, Zhou C, Wang S, Xu X (2012) Human behavior understanding via top-view vision. AASRI Procedia 3:184–190
[^36]: Ryan D, Denman S, Sridharan S, Fookes C (2015) An evaluation of crowd counting methods, features and regression models. Comput Vis Image Underst 130:1–17
[^37]: Hsu T-W, Yang Y-H, Yeh T-H, Liu A-S, Fu L-C, Zeng Y-C (2016) Privacy free indoor action detection system using top-view depth camera based on key-poses. In: 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE, pp 004058–004063
[^38]: Nakatani R, Kouno D, Shimada K, Endo T (2012) A person identification method using a top-view head image from an overhead camera. JACIII 16(6):696–703
39. Ahmad M, Ahmed I, Ullah K, Khan I, Khattak A, Adnan A (2019) 用于视频监控的节能相机解决方案。国际计算机科学与应用进展期刊。
[^40]: Ullah K, Ahmed I, Ahmad M, Rahman AU, Nawaz M, Adnan A (2019) Rotation invariant person tracker using top view. J Ambient Intell Human Comput:1–17 (Springer)
[^41]: Redmon J, Farhadi A (2018) Yolov3: An incremental improvement. arXiv:1804.02767
[^42]: Wojke N, Bewley A, Paulus D (2017) Simple online and realtime tracking with a deep association metric. In: IEEE international conference on image processing (ICIP). IEEE, pp 3645–3649
43. Ahmad M, Ahmed I, Ullah K, Ikhan, Khattak A, Adnan A (2019) 从俯视图进行人员检测：综述。国际计算机科学与应用进展期刊。
44. Iguernaissi R, Merad D, Drap P (2018) 基于 Kinect 深度数据的人数统计。第七届国际模式识别应用与方法研讨会论文集。SciTePress, 塞图巴尔, pp 364–370。
[^45]: Perng J-W, Wang T-Y, Hsu Y-W, Wu B-F (2016) The design and implementation of a vision-based people counting system in buses. In: 2016 International Conference on System Science and Engineering (ICSSE). IEEE, pp 1–3
[^46]: Ozturk O, Yamasaki T, Aizawa K (2009) Tracking of humans and estimation of body/head orientation from top-view single camera for visual focus of attention analysis. In: 2009 IEEE 12th International Conference on Computer Vision Workshops, ICCV Workshops. IEEE, pp 1020–1027
47. Wu C-J, Houben S, Marquardt N (2017) Eaglesense：一种用于跟踪交互空间中人员和设备的实时俯视深度感知技术。2017 年人机交互计算系统研讨会论文集。ACM, 纽约, pp 3929–3942。
[^48]: Wetzel J, Laubenheimer A, Heizmann M (2020) Joint probabilistic people detection in overlapping depth images. IEEE Access 8:28A,A 349–28A,A 359
[^49]: Van Oosterhout T, Bakkes S, Kröse BJ et al (2011) Head detection in stereo data for people counting and segmentation. In: VISAPP, pp 620–625
## [^50]: Wateosot C, Suvonvorn N et al (2013) Top-view based people counting using mixture of depth and color information. In:
---
第二届亚洲信息系统会议。ACIS (Citeseer)
[^51]: Gao C, Liu J, Feng Q, Lv J (2016) People-flow counting in complex environments by combining depth and color information. Multimedia Tools Appl 75(15):9315–9331
[^52]: Mukherjee S, Saha B, Jamal I, Leclerc R, Ray N (2011) Anovel framework for automatic passenger counting. In: 2011 18th IEEE International Conference on Image Processing. IEEE, pp 2969–2972
[^53]: Velipasalar S, Tian Y-L, Hampapur A (2006) Automatic counting of interacting people by using a single uncalibrated camera. In: 2006 IEEE International Conference on Multimedia and Expo. IEEE, pp 1265–1268
[^54]: Yu S, Chen X, Sun W, Xie D (2008) A robust method for detecting and counting people. In: 2008 International Conference on Audio, Language and Image Processing. IEEE, pp 1545–1549
[^55]: Yahiaoui T, Meurie C, Khoudour L, Cabestaing F (2008) A people counting system based on dense and close stereovision. In: International Conference on Image and Signal Processing. Springer, Berlin, Heidelberg, pp 59–66 (ISBN: 978-3-540-69905-7)
[^56]: Cao J, Sun L, Odoom MG, Luan F, Song X (2016) Counting people by using a single camera without calibration. In: Chinese control and decision conference (CCDC). IEEE, pp 2048–2051
[^57]: Snidaro L, Micheloni C, Chiavedale C (2005) Video security for ambient intelligence. IEEE Trans Syst Man Cybern Part A Syst Humans 35(1):133–144
[^58]: Bagaa M, Taleb T, Ksentini A (2016) Efficient tracking area management framework for 5G networks. IEEE Trans Wirel Commun 15(6):4117–4131
[^59]: Pang Y, Yuan Y, Li X, Pan J (2011) Efficient hog human detection. Sig Process 91(4):773–781
[^60]: Lowe DG (1999) Object recognition from local scale-invariant features. In: Proceedings of the Seventh IEEE International Conference on Computer Vision, vol 2. IEEE, pp 1150–1157
[^61]: Choi T-W, Kim D-H, Kim K-H (2016) Human detection in top-view depth image. Contemp Eng Sci 9(11):547–552
62. Ahmed I, Ahmad M, Adnan A, Ahmad A, Khan M (2019) 使用机器学习的用于不同俯视视角的行人检测器。机器学习与网络国际期刊 10(10):2657–2668。
[^63]: Ullah K, Ahmed I, Ahmad M, Khan I (2019) Comparison of person tracking algorithms using overhead view implemented in opencv. In: 9th Annual Information Technology, Electromechanical Engineering and Microelectronics Conference (IEMECON). IEEE, pp 284–289
[^64]: Ahmed I, Ahmad M, Nawaz M, Haseeb K, Khan S, Jeon G (2019) Efficient topview person detector using point based transformation and lookup table. Comput Commun 147:188–197
[^65]: Du D, Qi Y, Yu H, Yang Y, Duan K, Li G, Zhang W, Huang Q, Tian Q (2018) The unmanned aerial vehicle benchmark: object detection and tracking. In: European Conference on Computer Vision. Springer, New York, pp 375–391
[^66]: Zhu P, Wen L, Du D, Bian X, Ling H, Hu Q, Wu H, Nie Q, Cheng H, Liu C et al (2018) Visdrone-vdt2018: The vision meets drone video detection and tracking challenge results. In: Proceedings of the European Conference on Computer Vision (ECCV)
[^67]: Qi Y, Zhang S, Zhang W, Su L, Huang Q, Yang M-H (2019) Learning attribute-specific representations for visual tracking. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol 33, no 1, pp 8835–8842
[^68]: Ahmad M, Ahmed I, Adnan A (2019) Overhead view person detection using yolo. In: IEEE 10th Annual Ubiquitous Computing, Electronics Mobile Communication Conference (UEM-CON), pp 0627–0633
[^69]: Ahmad M, Ahmed I, Ullah K, Ahmad M (2019) A deep neural network approach for top view people detection and counting. In: IEEE 10th Annual Ubiquitous Computing, pp 1082–1088
[^70]: Ahmed I, Din S, Jeon G, Piccialli F (2019) Exploring deep learning models for overhead view multiple object detection. IEEE Internet Things J 7(7):5737–5744
[^71]: Ahmad M, Ahmed I, Khan FA, Qayum F, Aljuaid H (2020) Convolutional neural network-based person tracking using overhead views. Int J Distrib Sens Netw 16(6):1550147720934738
[^72]: Ahmed I, Ahmad M, Khan FA, Asif M (2020) Comparison of deep-learning-based segmentation models: Using top view person images. IEEE Access 8:136361–136373
73. Krizhevsky A, Sutskever I, Hinton GE (2012) 使用深度卷积神经网络的 ImageNet 分类。在 Pereira F, Burges CJC, Bottou L, Weinberger KQ (编者) 的《神经网络信息处理系统进展》。Curran Associates, Inc., Red Hook, pp 1097–1105。
[^74]: Simonyan K, Zisserman A (2014) Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556
[^75]: Szegedy C, Liu W, Jia Y, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V, Rabinovich A (2015) Going deeper with convolutions. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1–9
[^76]: Girshick R, Donahue J, Darrell T, Malik J (2014) Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 580–587
[^77]: Girshick R (2015) Fast R-CNN. In: Proceedings of the IEEE international conference on computer vision, pp 1440–1448
[^78]: Ren S, He K, Girshick R, Sun J (2015) Faster R-CNN: towards real-time object detection with region proposal networks. In: Cortes C, Lawrence ND, Lee DD, Sugiyama M, Garnett R (eds) Advances in neural information processing systems. Curran Associates, Inc., Red Hook, pp 91–99
[^79]: Lin T-Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P, Zitnick CL (2014) Microsoft coco: common objects in context. In: European conference on computer vision. Springer, New York, pp 740–755 (ISBN: 978-3-319-10602-1)
[^80]: West J, Ventura D, Warnick S (2007) Spring research presentation: a theoretical foundation for inductive transfer, vol 1, no 8. Brigham Young University, College of Physical and Mathematical Sciences
[^81]: Redmon J, Divvala S, Girshick R, Farhadi A (2016) You only look once: unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 779–788. arXiv:1506.02640
[^82]: Zhang X, Yang W, Tang X, Liu J (2018) A fast learning method for accurate and robust lane detection using two-stage feature extraction with yolo v3. Sensors 18(12):4308
[^83]: Bernardin K, Stiefelhagen R (2008) Evaluating multiple object tracking performance: the clear mot metrics. EURASIP J Image Video Process 2008:1–10
[^84]: Milan A, Leal-Taixé L, Reid L, Roth S, Schindler K (2016) Mot16: a benchmark for multi-object tracking. arXiv arXiv:1603.00831
Publisher's Note Springer Nature 对发表的地图中的管辖权主张以及机构隶属关系保持中立。