收稿日期：2020年6月10日，录用日期：2020年7月8日，出版日期：2020年7月20日，当前版本日期：2020年7月30日。 数字对象标识符 10.1109/ACCESS.2020.3010248 # 人体姿态估计研究进展：二维人体姿态估计应用模型综述与分类 TEWODROS LEGESSE MUNEA $^{1}$, YALEW ZELALEM JEMBRE $^{2}$, HALEFOM TEKLE WELDEGEBRIEL $^{1}$, 陈龙标 $^{1}$, 黄晨曦 $^{1}$, 杨晨晖 $^{1}$ $^{1}$厦门大学信息学院，中国厦门 361005 $^{1}$厦门大学信息学院，中国厦门 361005 $^{2}$韩国大邱启明大学电子工程系，韩国大邱 42601 通讯作者：杨晨晖 () 本研究受“双一流建设基金”部分资助。 ## 摘要 人体姿态估计的任务是在输入图像中定位人体关键点，从而准确识别个体姿态。该步骤是多项计算机视觉任务的核心前提，这些任务包括人体行为识别、人体跟踪、人机交互、游戏、手语和视频监控等。因此，本文通过撰写本综述梳理二维人体姿态估计的相关研究，填补该领域的知识空白。本文在简要介绍后，根据需检测的人数将问题划分为单人姿态估计和多人姿态估计两类。随后依次阐述人体姿态估计的各类研究方法，再列举姿态估计的相关应用以及当前面临的问题。在此基础上，本文重点讨论了对领域发展影响重大的相关研究，逐一分析了各模型的创新性、研究动机、网络结构、流程（工作原理），同时梳理了各模型的实际应用、存在缺陷、所用数据集，以及用于模型评估的评价指标。本综述可为入门研究者提供研究基础，通过梳理现有研究在流程和结构上存在的不足，帮助研究者探索新的模型。 关键词 人体姿态估计、姿态估计与行为识别、姿态估计综述、单人及多人姿态估计。 ### I. 引言 人体姿态估计是计算机视觉领域最具挑战性的研究方向之一，目标是从给定的图像或视频中确定人体关键点（身体部位/关节）的位置或空间坐标[^1], [^2], 如图1所示。因此，姿态估计就是基于图像观测得到由关节和刚性部位组成的铰接人体的姿态[^3]。 人体姿态估计指从图像中推理人体姿态的过程，可分为二维姿态估计和三维姿态估计两类[^4]。为解决该问题，已有诸多文献提出了多种研究方法。早期研究提出了铰接人体姿态估计的经典方法，称为图像结构模型（pictorial structures）[^5] [^6] [^7] [^8]。在这些模型中，身体部位的空间相关性被表示为树结构图模型，这类模型非常suc ![Image](images/64082553f767a908faf216c32afdf97d5d3294f9f2c9ec91eadc7915e1b6d628.jpg) 图1. 给定图像中每个个体的估计姿态。 当肢体可见时可成功运作，但当树状结构无法捕捉相关性时就会遇到问题 --- 在人体姿态估计的早期研究工作中，人工设计特征如边缘、轮廓、方向梯度直方图（HOG）特征以及颜色直方图也得到了应用[^9] [^10] [^11] [^12] [^13]。这些模型的泛化性能较差，在检测身体部位的准确位置时存在困难。 贡献：在深度学习和公开数据集的助力下，人体姿态估计相关问题与挑战的解决已经取得了显著进展。本篇综述总结了相关研究，梳理了最新研究信息，并指出了未来的研究方向。与以往一些出色的综述[^14] [^15] [^16] [^17] [^18]类似，本文也介绍了人体姿态估计的基础概念，可供刚接触该领域的研究者参考，帮助他们结合现有模型的网络结构设计新模型。此外，本文还能帮助研究者将自身工作与重要的深度学习模型进行对比。本综述的具体主要贡献如下： • 除了对所应用的评估指标和所采用的数据集进行概述外，还总结了常用的骨干网络架构和损失函数。 • 概述了近年来的2D人体姿态估计模型 - 介绍了每个模型研究工作的局限性与待解决的开放性问题 ### A. 相关工作 过去几年已经发表了多篇与姿态估计相关的综述论文。例如，2016年发表的两篇综述论文[^14]、[^15]对未采用深度学习方法的人体姿态估计模型进行了全面调研。随后[^16]发表了一篇关于深度学习、姿态估计以及深度学习在计算机视觉中应用的综述。[^19]发表了手姿态估计的综述，[^20]则发表了头部姿态估计的综述。 最近一篇基于深度学习的2D人体姿态估计综述来自[^17]。该综述首先将姿态估计划分为单人和多人姿态估计流程，并在每个分类下进一步划分了子类别。另一篇基于深度学习的姿态估计综述也刚刚发表[^18]，内容同时涵盖2D和3D姿态估计。其中2D人体姿态估计沿用[^17]的分类方式，3D人体姿态估计则被划分为无模型方法和基于模型的方法，两种场景下都围绕这些分类对相关方法展开了讨论。 本篇综述介绍了不同的基于深度学习的2D人体姿态估计模型，对模型所用的骨干架构、损失函数、采用的数据集以及应用的评估指标都进行了讨论和评估。本文的主要目标是详细分析目前已知的主流有效模型，为读者提供融合不同模型架构的多种思路，从而帮助他们借助更优的评估指标或高效的骨干架构构建性能更好的人体姿态估计模型。 ### B. 姿态估计的基本步骤 人体姿态估计的主要流程可归纳为两个基本步骤：i) 定位人体关节/关键点；ii) 将这些关节分组为有效的人体姿态配置 [^7]，[^8]。第一步的核心工作是找到图2所示图像中每个人体关键点的位置，例如头部、肩部、手臂、手部、膝盖、脚踝。 ![Image](images/bacd7be25201821ecba701d255548305db4818d9a0b393ac52b3126d916c3558.jpg)
(a)
![Image](images/9374e6692a6c81bd67eb51501942250233a287f49db2a63be04391f16b3d5751.jpg)
(b)
FIGURE 2. Keypoints localized by different dataset: (a) COCO keypoints, and (b) MPII keypoints.
采集和标注这些关节可以采用多种主流数据集格式，不同数据集对应不同的关键点存储方式。如图2所示，对于同一幅人体关节图像，不同数据集平台会输出不同的格式。例如，COCO数据集 [^21] 提供17个人体关节标注，而MPII数据集 [^22] 提供14个人体关节标注。表1列出了两个平台的数据集输出情况。 第二步是将这些关节分组为有效的人体姿态配置，这一步确定了如图3所示各身体部位之间的成对关系。目前已有多种不同技术用于对候选关键点进行分组 [^23]，[^24]。 本文其余部分的结构安排如下：第二节根据需要跟踪的人数划分姿态估计的类别，介绍姿态估计的研究方法、姿态估计的应用，以及姿态估计存在的缺陷和面临的挑战。第三节首先介绍了研究所用的骨干网络架构、损失函数、采用的数据集，最后介绍了用于模型评估的常用指标。第四节详细讨论了各个模型的网络流程。第五节以表格形式对各类模型进行了简要总结，并基于本文介绍的内容展开讨论，最后第六节总结了本文的工作。 ### 二、姿态估计基础 本节根据需要跟踪的人数讨论了姿态估计的总体分类，介绍了 ---
TABLE 1. Different keypoints for MPII & COCO dataset.
COCO output formatMPII output format
Nose - 0Head - 0
Neck - 1Neck - 1
Right Shoulder - 2Right Shoulder - 2
Right Elbow - 3Right Elbow - 3
Right Wrist - 4Right Wrist - 4
Left Shoulder - 5Left Shoulder - 5
Left Elbow - 6Left Elbow - 6
Left Wrist - 7Left Wrist - 7
Right Hip - 8Right Hip - 8
Right Knee - 9Right Knee - 9
Right Ankle - 10Right Ankle - 10
Left Hip - 11Left Hip - 11
Left Knee - 12Left Knee - 12
Left Ankle - 13Left Ankle - 13
Right Eye - 14Chest - 14
Left Eye - 15
Right Ear - 16
Left Ear - 17
Background - 18Background - 15
![Image](images/a91853128b480cbcc63caec2f70c22d8a6bba67d7176540b7abbc9ba6c2196f6.jpg) ![Image](images/51a8c8c4f17fc439bc835749fcfc329630726924ac117a5a589d365df278236f.jpg)
FIGURE 3. Configuration of valid human pose estimation.
目前最主流的方法、姿态估计的应用，最后还讨论了目前仍然需要新型创新方法来解决的诸多挑战。 ### A. 单人/多人姿态估计 根据给定图像中需要估计的人数，姿态估计可分为单人姿态估计和/或多人姿态估计。与多人姿态估计相比，单人姿态估计要简单得多，它仅需估计单幅图像中单个行人的姿态。而多人姿态估计需要确定图像中所有个体的姿态 [^25]。图4展示了单人姿态估计和多人姿态估计方法在给定图像上的应用。 近年来，人体姿态估计技术在标准基准测试上取得了令人瞩目的进展，这涵盖了单人姿态估计 [^26] [^27] [^28] [^29] [^30] 和多人姿态估计 [^31] [^32] [^33] [^34] [^35] 两个领域。 ![Image](images/5e7affb206b091506441b6a0a7f28d3b0f0eaf61fcefdb56fef08e7b421101cd.jpg)
FIGURE 4. Classification of pose estimation: (a) Single person vs (b) multi-person pose estimation.
基于深度学习架构的提出与应用 [^36] [^37] [^38] [^39]，以及MPII人体姿态数据集 [^22]、COCO [^21] 和LSP [^40] 等大规模数据集的出现，使得单人姿态估计和多人姿态估计问题近年来受到了越来越多的关注。 ### B. 姿态估计的研究方法 估计给定图像中个体姿态时，常用两种主流方法。1) 自顶向下方法，处理流程为从低分辨率逐步到高分辨率：首先使用 bounding box 目标检测器检测出图像中的所有个体实例，之后再专注于确定他们的姿态 [^26], [^27], [^29]，如图5所示。 ![Image](images/d971f71d2c0c3d7a7d1d96002de426ff00589ab1d0d437b64eb11fe0d690680d.jpg)
FIGURE 5. Pose estimation of multi-person in top-down approaches.
这类方法始终存在过早承诺问题，也就是说，如果个体检测失败，后续就没有补救的可能。同时，当多个个体距离较近时，这类方法的鲁棒性很差。此外，它的计算成本取决于图像中的人数，人数越多计算成本就越高。因此，这类方法的运行时间与数量 --- 成正比：即每检测出一个人，就要运行一次单人姿态估计器。 ![Image](images/0bc58f807439b67092ae6e0b4a0569e87c3903dfd72eb1dbabceeb868d3372b3.jpg)
FIGURE 6. Some samples of multi-person pose estimation in bottom-up approaches.
2) 自底向上方法 [^31] [^32] [^33] [^34] 的处理流程为从高分辨率到低分辨率。该方法首先定位与身份无关的语义实体，再将这些实体分组为不同的人体实例。自底向上方法克服了过早承诺问题，并且其运行时间复杂度与图像中的人数相互独立，如图6所示。此外，部分采用自底向上方法的研究还会利用来自其他身体部位和其他人体的全局上下文线索。不过，当人群重叠度较高时，自底向上方法在对身体部位进行分组时会面临较大挑战。 ### C. 姿态估计的应用 人体姿态估计较早的应用领域包括动作识别、人体跟踪、动画和游戏 [^41], [^42]，也涵盖视频监控、辅助生活和高级驾驶辅助系统（ADAS） [^43], [^44]。此外，它还可以通过描述运动员的动作，为体育运动提供赛事分析 [^45]。姿态估计还可应用于手语识别，帮助残障人士。目前姿态估计最常见的部分应用如图7所示。 ### D. 面临的挑战 目前几乎所有最先进的（SOTA）姿态估计模型都包含一个模块，用于检测身体关节或估计关节位置，并在身体部位候选之间构建成对项，辅助将成对项分类为有效的人体姿态配置。在这个过程中，研究者会面临诸多挑战，例如图像中人体的位置和规模变化大、关节难以观测、人与人之间的交互会带来复杂的空间干扰，衣物、光照变化、身体接触、衣物/背景对身体部位的遮挡、肢体关节活动等因素，都会大大增加身体部位关联的难度。随着3D深度传感相机成本下降，以及处理这类技术数据集的机器学习算法不断改进，我们相信会有新方法诞生，解决当前的这些挑战。 ![Image](images/0d65c6de3afbb058150854433e905c62e3023621c4cc2946c1c6b80179815375.jpg)
(a)
(b)
(c)
![Image](images/0e09f2830c6e189fecb6c13281d5eba4844108704619a0445bd882a0a9c7de0b.jpg) ![Image](images/ef2eb99d484113b062436a2b50a50a69ac46e0866c6e46a47cbfce91fb929358.jpg)
(e)
FIGURE 7. Applications of pose estimation: (a) action recognition, (b) gaming, (c) human tracking, (d) sports game analysis, and (e) sign languages.
### III. 姿态估计的主要组件 在深入介绍各个研究模型的细节之前，我们首先梳理姿态估计研究基础中的核心组成部分，包括骨干架构、所用的姿态损失函数、使用的数据集，以及采用的评价指标。 ### A. 骨干架构 DeepPose [^46]是首篇将深度学习应用于人体姿态估计的重要研究论文。作者采用AlexNet [^37]的网络架构作为骨干架构，该架构包含五个卷积层、两个全连接层和一个softmax分类器。在AlexNet提出后，R-CNN [^47]、Fast R-CNN [^48]、FPN [^49]、Faster R-CNN [^50]和Mask R-CNN [^39]等其他机器学习算法，也被用作其他人体姿态估计研究的骨干架构[^51]、[^32]和[^52]。第二受欢迎的骨干架构是VGG [^36]，它被应用于[^29]、[^34]中。尽管AlexNet和VGG已经投入使用很长时间，但近年来大多数人体姿态估计研究[^26]、[^27]、[^31]、[^32]、[^35]、[^53]，都使用ResNet [^38]作为骨干架构。 ### B. 损失函数 作为机器学习的一个分支，人体姿态估计模型通过损失函数进行学习。损失函数用于评估特定算法对给定数据集的建模效果，它可以降低预测过程中的误差[^54]、[^55]。人体姿态估计模型中主要使用三种损失函数，即平均绝对误差（MAE）、均方误差（MSE）和交叉熵损失。 MAE即$L_{1}$损失函数，计算方式为真实值与预测值之间所有绝对差值之和的平均值。$L_{1}$损失函数不考虑误差方向，仅衡量误差的大小。$L_{1}$损失函数对离群点不敏感，因此具备鲁棒性。但它 --- 很难实现精确回归，这会给机器学习带来复杂度[^56]。 $$ L_{1}=1/n\sum_{i=1}^{n}\left|y_{i}-f(x_{i})\right| $$ MSE也被称为$L_{2}$损失或二次损失函数，计算方式为真实值与预测值之间差值平方的平均值。和$L_{1}$损失一样，$L_{2}$损失函数仅衡量误差大小，不考虑误差方向。由于其数学特性，$L_{2}$损失函数计算梯度更加简便。但与$L_{2}$不同，$L_{1}$损失函数对离群点非常敏感，这是因为当预测值和真实值偶尔相差很大时，该损失会对差值进行平方处理[^56]。 $$ L_{2}=1/n\sum_{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2} $$ 在交叉熵损失（负对数似然，也叫对数损失）中，每个预测概率都会与实际类别的输出值（0或1）进行对比，计算得到的分数会根据预测概率与预期值的差距对模型进行惩罚[^54]。惩罚是对数形式的：差距较小（0.1或0.2）时惩罚分数很小，差距很大（0.9或1.0）时惩罚分数极大[^54]。这意味着交叉熵损失更小的算法更优，如果对数损失为0.0，则说明该算法得到的预测概率是完美的。 $$ Log_{loss}=-(y_{i}log(f(x_{i}))+(1-y_{i})log(1-f(x_{i}))) $$ ### C. 数据集 人体姿态估计领域的研究者主要使用以下四个可免费向公众开放的数据集：FLIC、LSP、MPII人体姿态数据集和COCO。人体姿态估计研究中也会使用一些知名度较低的数据集，例如Pascal VOC [^57]、适用于二维和三维单人体姿态估计的SURREAL [^58]，还有HumanEva、Human3.6数据集、CrowdPose [^59]以及JTA [^60]。 电影帧标注数据集（Frames Labeled In Cinema，简称FLIC）[^61]共包含5003张图像，其中80%（约4000张图像）用作训练集，20%（约1016张图像）用作测试集。FLIC数据集采集自好莱坞的30部热门电影，通过在每10帧画面上运行SOTA人体检测器模型得到。这些图像中的人物穿着各异，姿态各不相同。数据集中每个人物都标注了10个身体关节点。大多数情况下，FLIC数据集被用于单人和多人姿态估计模型。 利兹运动姿态数据集（Leeds Sports Pose，简称LSP）[^40]与LSP扩展数据集（LSP extension，有时也记作LSPe）总共包含来自Flickr的11000张训练图像和1000张测试图像。这些图像大多拍摄自体育活动场景，因此从外观特征角度来看具备很高的挑战性。此外，图像中大多数人物的身高被缩放到约150像素。LSP数据集中每个人物的全身共标注了14个关节点，相比FLIC数据集标注的关节点数量更多。具体来说，原始LSP数据集共有2000张标注图像，而LSP扩展数据集共有10000张标注图像。大多数情况下，这两个数据集都被用于单人体姿态估计模型。 马克斯·普朗克信息学研究所（MPII）人体姿态数据集 [^22]包含约25000张图像，其中共有超过40000个标注了身体关节点的人物。采集这些图像的目的是覆盖人类的日常活动。正如引言部分所述，MPII人体姿态数据集中每个人物的身体标注了15个身体关节点。和FLIC数据集一样，MPII人体姿态数据集也被用于单人和多人姿态估计模型。 最后，MS-COCO数据集在多人姿态估计模型研究中受到了极大关注。MS-COCO通常简称为COCO（全称Common Objects in Context，上下文通用目标数据集），是微软（MS）推出的数据集 [^21]。COCO是一个超大规模数据集，标注类型涵盖目标检测、关键点检测、物料分割、全景分割和图像字幕，标注信息存储在JSON文件中。COCO数据集提供了组成丰富多样的数据，包含不同尺度下的各类人体姿态、遮挡场景和无约束环境，非常适合相关研究。COCO数据集总共包含20万张图像，其中共有25万个标注了关键点的人物，每个人物实例标注了17个关节点。自2014年发布以来，COCO已经推出了多个版本的大规模数据集。 ### D. 常用评估指标 和所有其他研究领域一样，人体姿态估计研究也会使用评估指标来对比不同模型的优劣。部分研究者会基于自己开发的指标宣称自己模型的优越性，这可能会造成虚假的性能提升。本节简要介绍人体姿态估计研究中几种常用的评估指标，目的是推动该领域形成一致的结果评估标准，同时也方便刚进入该领域的研究者快速掌握这些指标的用法。 1）正确部件百分比（PCP）：该指标衡量肢体的检测率。若预测得到的两个关节位置与真实肢体关节位置之间的距离小于肢体长度的一半，则该肢体（身体部位）被判定为检测成功 [^46]。PCP也常被称为PCP@0.5。尽管PCP最初被认为是首选评估指标，但近年来它已不再受青睐。这是因为PCP会对较短的肢体产生惩罚，PCP数值越高说明模型性能越好。 2）检测关节百分比（PDJ）：该指标是为解决PCP存在的局限性提出的。该评估指标规定，若预测关节位置与真实关节位置之间的距离在躯干直径（右髋与左肩之间的距离）的一定比例范围内，则该关节检测正确。例如，对于PDJ@0.2，它意味着预 --- ![Image](images/45c8d97a127e750951ec122ffefdd76109453a2adde4237e6565417e3c99b406.jpg)
FIGURE 8. DeepPose's DNN-based pose regressor and refiner.
测关节位置与真实关节位置之间的距离应小于 $0.2 \times$ 倍躯干直径。通过改变该比例，可以得到不同定位精度要求下的检测率。 3）正确关键点百分比（PCK）：该指标同样衡量预测关节位置与真实关节位置之间的距离。PCK评估指标用于衡量人体关节的定位准确率。PCK的判定标准与PDJ非常相似，区别仅在于躯干直径被替换为真实人体关节外接矩形的最大边长（或阈值）[^62]。因此，若预测关节与真实关节之间的距离在指定阈值的一定比例范围内，则该关节检测被判定为正确。同样，PCK数值越高，模型性能越好。 4）PCKh是PCK的改进版本。PCKh的匹配阈值是头部段长度的50%（即取头部长度的50%作为参考）。PCKh也被定义为基于头部归一化的正确关键点指标 [^63]。在PCKh中，若预测关节位置与真实关节位置的距离在特定阈值范围内，则该关节检测被判定为正确。但该阈值需要根据个体尺寸自适应选择，预测关节位置应落在真实位置的 $\alpha l$ 个像素范围内，其中 $\alpha$ 是常数，l是头部尺寸，对应真实头部 bounding box 对角线长度的60%。通常会报告PCKh@0.5（ $\alpha = 0.5$）的得分 [^63]。为了使该指标不受关节活动度的影响，选择头部尺寸作为参考通常更优。 5）曲线下面积（AUC）对整个不同范围的PCK阈值（例如当 $\alpha$ 从0变化到0.5时）进行整体衡量。它反映了模型区分不同人体关节的能力。AUC数值越高，模型性能越好。 6）目标关键点相似度（OKS）用于衡量预测关键点与真实值之间的接近程度。在关键点检测性能评估中，OKS与交并比（IoU）非常相似。因此，模型的OKS越高，说明预测关键点与真实值之间的重合度越高。 除上述评估指标外，平均精度（AP）和均值平均精度（mAP）也被使用 [^64]，[^65]。除了深度学习的发展以及大规模数据集的出现，[^66] [^67] [^68]中讨论的非线性跳跃系统也有助于提升深度学习模型中不同算法的效率。 ### 四、人体姿态估计领域的主要研究 接下来我们将深入介绍部分独特且性能优异的姿态估计模型的网络流程。在讨论每种方法时，我们将解答以下问题：它们的架构是如何组织的？CNN架构是如何逐步加深[^69]？它是单人还是多人模型？模型使用了哪类损失函数？使用了什么数据集，以及如何对研究工作进行评估？ ### A. DeepPose DeepPose是2014年发表的单人姿态估计模型[^46]，它将人体关节点定位建模为基于CNN的回归问题（属于基于DNN的回归类别）。作者采用AlexNet[^37]作为骨干架构，分析了对带有重复中间监督的多阶段架构进行联合训练的效果。DeepPose利用级联回归器输出每个关节点的坐标$(x, y)$，对粗粒度姿态进行优化，从而得到更准确的估计结果。在DeepPose的级联回归器预测出关节点后，会围绕该关节点裁剪图像，输入下一阶段。这使得后续回归器能够学习更细粒度的特征，更高分辨率的图像可帮助它们获得更高的精度。 DeepPose总共包含3级级联回归器，用于估计给定图像中单个个体的姿态。DeepPose的整体网络结构如图8所示，其中蓝色表示卷积层，绿色表示全连接层。左侧示意图为初始阶段，包含用于生成粗粒度姿态的基于DNN的回归器。在该阶段预测出关节点后，会围绕检测到的关节点坐标裁剪图像，再将其作为输入传入下一阶段，即基于DNN的优化器（对应图8的右侧部分）。 该模型在FLIC和LSP两个数据集上，采用PCK和PCP评估指标进行了性能验证，在大多数场景下的表现都优于此前的SOTA工作。 尽管推出首个基于CNN的人体姿态估计模型具有重大意义，但该工作仍存在一些局限性。核心问题在于，直接对关节位置进行回归难度很高，这提升了学习的复杂度 --- ![Image](images/65ba051e2726c015d9e7980c2f46e504b0c88772f6ca8c5b782ecc90b684ea2c.jpg)
FIGURE 9. ConvNet pose overall network structure.
，这削弱了模型的泛化能力。因此DeepPose在部分区域的表现很差。尽管如此，它对近年的SOTA研究仍具备很高的推动作用，帮助研究界将研究挑战转变为针对现有关节或关键点的热图估计问题。 ### B. ConvNet POSE：基于卷积网络的高效目标定位 在本文[^70]中，针对ConvNet架构提出了一种多分辨率CNN架构，用于生成离散热图，替代预测单目RGB图像中单个关节位置概率的连续回归方案。在ConvNet姿态任务中，通过并行使用多分辨率CNN架构可以同时捕获不同尺度的特征。 该模型采用滑动窗口检测器生成粗粒度热图输出，再通过"姿态优化"卷积网络对粗热图进行细化，得到更精准的定位结果，恢复初始模型中因池化操作损失的空间精度。也就是说，该模型包含三个模块：用于粗定位的卷积网络模块、对指定位置(x, y)处每个关节从ConvNet中采样并裁剪特征的模块，以及微调模块，图9展示了该模型的整体网络结构。 该模型展示了ConvNet与图模型的联合应用。关节之间的空间关系通常由图模型学习[^71]。该模型的性能分别在FLIC [^61]和MPII [^22]数据集上使用PCK和PCKh@0.5指标进行评估，性能优于以往的SOTA模型。 该模型实现了卷积网络与图模型的联合使用。此外，研究表明热图比直接关节回归更具优势。人体姿态具有结构化特性，这源于多种约束：物理连接（例如膝关节与髋部、脚踝存在刚性关联）、身体比例、关节活动限制（例如膝盖无法向前弯曲）、左右对称性、互穿约束等等。因此，对这种结构进行建模后，可见关键点的检测会更简单，同时也能指导对极难检测的遮挡关键点的估计。但该模型本身缺乏对结构的建模。 ### C. CPM：卷积姿态机器 CPM [^29]由一系列卷积网络构成，这些网络为每个关键点的位置生成二维置信图。CPM提供的序列预测框架可帮助模型同时学习图像丰富的隐式空间信息和特征表示。CPM是完全可微的，其多阶段架构可以进行端到端训练。因此在CPM中，除第一阶段外，前一阶段生成的图像特征和置信图会作为下一阶段的输入。CPM的核心设计目标之一是学习长程空间关系，该目标通过大感受野实现。此外，CPM在每个阶段后使用中间监督来避免梯度消失问题。 CPM的整体网络结构和感受野如图10所示。CPM网络被划分为多个阶段（阶段数为超参数，通常取值为3），每个阶段都会计算每个关键点的置信（信念）图。图10的(a)和(b)展示了姿态机的结构，(c)和(d)分别展示了对应的卷积网络，(e)展示了不同阶段的感受野。 在第一阶段，一个基础卷积网络（即由X表示的经典VGG结构）根据原始输入图像预测每个关键点的置信图。由此可知：如果图像中的人物有p个关节点，那么置信图就有p层，每层对应一个关节点的热图。将每层的损失相加得到总损失，以此实现中间监督，解决梯度消失问题。 对于后续阶段，例如阶段$\geq$2，网络结构与第一阶段相同，区别仅在于网络的输入包含两部分数据：前一阶段输出的置信图，以及原始图像经$X'$处理得到的结果。除此之外，CPM研究表明，增大感受野可以提升关键点预测的准确率。此外，CPM实现了 --- ![Image](images/38b905ea25062072c905fb23b329cb5da3688bde5d593ef7f60e05abd9621962.jpg)
(e) Effective Receptive Field
FIGURE 10. Network architecture and receptive field of CPM.
每个阶段后的中间监督，以解决梯度消失问题。 CPM在三个知名数据集MPII、LSP和FLIC上验证了模型，使用PCK@0.1、PCK@0.2和PCKh@0.5作为评估指标。值得注意的是，在难度最高的踝关节关键点检测任务上，CPM取得的PCKh@0.5得分比此前的SOTA高出10.76%。 CPM是将卷积网络集成到姿态机器中，学习图像特征和依赖图像的空间模型，以实现人体姿态估计。然而，该工作在单人姿态估计中采用了自顶向下方法，这就带来了我们之前讨论过的、自顶向下方法本身存在的已知误差和复杂性。 ### D. 用于人体姿态估计的堆叠沙漏网络 堆叠沙漏网络[^27]的结构就如同堆叠起来的沙漏，由多个池化步骤和上采样层构成，其核心设计动机是捕获各个尺度的信息。在人体姿态估计任务中，个体的朝向、肢体布局、相邻关节之间的关系以及许多其他线索，都需要在图像的不同尺度下才能得到最佳识别。 因此，堆叠沙漏网络反复运用自底向上（通过池化将高分辨率转为低分辨率）、自顶向下（通过上采样将低分辨率转为高分辨率）以及中间监督来提升网络性能。堆叠沙漏模块的整体网络结构如图12所示。堆叠沙漏结构帮助网络捕获各个尺度的信息，也就是同时捕获了全局信息和局部信息。这意味着网络使用跳跃连接保留每个分辨率下的空间信息，并将其传递给上采样步骤。 ![Image](images/894c0f2a0063148d75987f2deaad7ef86aa939dffdd2ba6e7f5700bd4d8704ab.jpg)
FIGURE 11. A single hourglass module in which a box represents a residual module.
图11展示了单个沙漏模块，其中每个方框代表一个残差模块。沙漏结构中的核心模块是残差学习（也称为循环学习），采用旁路加法结构。这种残差结构由三个不同尺度的卷积层构成，卷积层之间插入了批量归一化和ReLu，能够在保留原始层级信息的同时提取更高层次的特征。第二条路径为跳跃路径，仅包含一个卷积核，也就是一个步长为1的卷积层。因此，该路径仅改变数据深度，不改变数据尺寸。 每个沙漏模块都使用四阶残差模块。四阶沙漏子网络将特征从原始尺度提取到1/16尺度，该过程仅改变数据深度，不改变数据尺寸。沙漏模块用于捕获图像不同尺度下包含的局部信息。不同尺度下可能包含大量有用信息，例如人体位置、肢体动作、相邻关节点之间的关系等等。网络首先使用卷积层和最大池化层将特征缩放至较小分辨率。每经过一次最大池化（下采样），网络就会分岔（分支），并对特征进行卷积 --- ![Image](images/f911c1ea043e19f6109daaf99d0c6965420fabbf452712b479fe3168c11e9e46.jpg)
FIGURE 12. The overall structure of stacked hourglass modules.
原始池化前分辨率下的特征；在得到最低分辨率的特征后，网络开始进行上采样，逐步融合不同尺度的特征信息。这里的低分辨率特征采用最近邻上采样法，之后将两组不同的特征集逐元素相加（即对两个不同特征集执行元素相加操作）。 堆叠沙漏网络的下采样采用最大池化，上采样采用最近邻插值。原始图像经下采样后输入到沙漏子网络中。沙漏网络的输出经过两个线性模块得到最终的响应图。在此过程中，使用残差模块和卷积层逐步提取特征。二级使用的网络以两个沙漏网络为核心，重复了一级网络的后半部分。第二个沙漏网络的输入包含三个通道（路径）：第一个沙漏网络的输入数据、第一个沙漏网络的输出数据，以及一级预测结果。这三路数据通过拼接和相加进行融合，且它们的尺度不同，体现了当前流行的跳级（跳跃）结构思想。 堆叠沙漏网络中，高分辨率到低分辨率的处理和低分辨率到高分辨率的处理是对称的。堆叠沙漏网络在MPII和FLIC数据集基准上使用PCK@0.2和PCKh@0.5评估指标进行测试，性能超过了此前所有的SOTA结果。此外，该方法在难以检测的关节（膝盖和脚踝）上，准确率提升了4-5%。 ### E. DeeperCut：一个更深、更强、更快的多人姿态估计模型 DeeperCut [^33] 是DeepCut [^52]所提方法的改进升级版本。DeeperCut采用了强大的身体部位检测器来生成有效的人体关节自底向上候选框，并且将极深的残差网络（ResNet [^38]）用于人体检测，而DeepCut则将Fast R-CNN [^48]用于该任务。生成的关键点通过图像条件成对项被组装为数量可变的一致身体部位配置。与DeepCut不同，DeeperCut采用增量优化策略，能够更高效地探索搜索空间，从而同时获得更优的性能和速度提升。使用ResNet解决了梯度消失问题，因为ResNet通过恒等层传递状态、对残差函数进行建模，从而解决了该问题。 与DeepCut类似，DeeperCut通过最小化基于整数线性规划（ILP）的联合目标，联合估计图像中所有个体的姿态。作者首先由身体部位检测器生成一组人体关节候选框（D）和一组人体关节类别（C），例如头部、肩部和膝盖，每个候选关节对应每一类关节都有一个一元分数。将ResNet适配为基于滑动窗口身体部位检测的全卷积模型时，通常会得到32px的步长，这对于有效的关节定位来说过于粗糙。作者通过将步长从32px减小到8px解决了该问题。此外，除了解决适配ResNet过程中的梯度消失问题，DeeperCut还获得了更大的感受野尺寸，这使得模型在预测单个身体关节位置时可以融入上下文信息。 检测到关键点后，DeeperCut在候选关键点上应用了图像条件成对项。首先，随机选择图像中的一个个体，再通过训练得到的回归将每个关键点的位置固定在其真值位置。其次，生成个体成对得分图，该得分图呈圆锥形状，延伸向正确位置的方向，但在视觉上较为模糊。最后，采用增量优化策略，利用分支定界算法增量求解多个成对实例，得到有效的人体姿态配置。 DeeperCut在LSP、MPII和COCO数据集上测试了该模型，采用AP和mAP作为评估指标，该模型性能优于以往大多数SOTA模型，仅CPM [^29] 除外，CPM在部分场景下取得了与之相近的性能。该评估在单人姿态估计和多人姿态估计任务上均开展了测试。 DeeperCut提出了新颖的图像条件成对项，但处理单张输入图像仍需要数分钟时间（约4分钟/张）。尽管如此，其成对表示 --- ![Image](images/0a7807f4d58fcb0130f68022a847fe031081ac69eb8baee2caed671514711e17.jpg)
FIGURE 13. Implementation of IEF.
很难被精确回归。此外，该模型实现时采用的批量大小为1，这会增加模型的不稳定性。 ### F. IEF：基于迭代误差反馈的人体姿态估计 IEF人体姿态估计方法 [^72] 的核心思想源于“先预测、找出预测错误再迭代修正”的概念，该过程通过自上而下的反馈机制实现。IEF采用的框架对分层特征提取器（ConvNet）进行了扩展，使其同时涵盖输入空间和输出空间。在IEF方法中，误差预测会通过自校正模型反复逐步输入到初始解中，替代了一次性直接检测关键点的思路。该框架被命名为迭代误差反馈（Iterative Error Feedback，IEF），图13展示了IEF在人体姿态估计中的实现方案。 在图13的左侧，输入由图像I和初始猜测关键点 $y_0$（即上一轮输出 $y_{t-1}$ 的表示）组成。假设存在三个关键点，分别对应头部（红色）、右手腕（绿色）和左手腕（蓝色）。接着定义输入 $X_t = I \oplus g(y_{t-1})$，其中I代表图像，$y_{t-1}$ 为上一轮输出。被建模为ConvNet的函数 $f(X_t)$ 输出修正量 $\varepsilon_t$，该修正量被加到当前输出 $y_t$ 上得到 $y_{t+1}$，即完成了本次修正。函数 $g(y_{t+1})$ 将每个关键点位置转换为一个高斯热力图通道，使其能够和图像共同作为下一轮迭代的输入。该过程会重复渐进执行T次，直到得到经过细化、非常接近真值的 $y_{t+1}$。 IEF人体姿态估计方法在LSP和MPII两个数据集上，使用PCKh@0.5这一评估指标进行了性能测试。IEF方法提出了具有创新性的优秀工作。该方法使用的f和g两个函数都是可学习的，其中f为ConvNet。这意味着f具备在联合输入输出空间上学习特征的能力。 ### G. 基于部位亲和场的实时多人二维姿态估计 实时多人二维姿态估计方法[^34]提出了一种使用部件亲和场（Part Affinity Fields，PAF）连接人体部位的创新方案，这是一种非参数方法，实现了自下而上的多人姿态估计模型。该研究的主要出发点是梳理多人场景下检测单个身体关节面临的难点，例如图像中人数不固定、人与人存在交互、个体尺度不规则、问题复杂度升高等等。 该模型的整体流程与架构如图14所示。对于给定的输入图像（图14.a），每个关节的位置由部件置信度图确定（图14.b），而身体部位的位置和朝向由PAF确定（图14.c）——PAF是一个二维向量，用于表征身体部位之间的关联程度。如图14(d)所示，这些身体部位候选会在解析步骤中通过一组二分匹配完成关联，最终根据(e)中的解析结果组装得到完整的全身姿态。 图14所示的双分支多阶段CNN网络，输入为图像经过VGG架构前10层初始化得到的特征图F。该前馈模型同时预测两类输出：用于预测关节位置的置信度图S（米色区域所示），共J个置信度图，每个关节对应一个置信度图（S = S₁, S₂, ..., Sⱼ）；以及用于编码部件/肢体关联的亲和场L，即一组二维向量场（蓝色区域所示），共C个向量，每个肢体对应一个向量（L = L₁, L₂, ..., L_C）。 因此，在第一阶段结束时，网络会输出一组检测置信度图和部件亲和场。对于后续各个阶段，输入为前一阶段的两个输出与特征图F的组合。置信度图和部件亲和场都会经过贪心推理，得到图像中每个个体的二维关键点，该过程称为二分匹配。此外，该研究在每个阶段后都设置了中间监督 --- ![Image](images/f3fe4cae945bf562037477ca0f26cb294b5e1dd542712071efd8cc8b4e9fcb95.jpg)
FIGURE 14. Overall pipeline (a - e) and architecture of the two-branch multi-stage CNN.
![Image](images/7f51e6bbf3ef780b144184666edc950ce44ebe64442e97b397747d2b7e4c18ce.jpg)
FIGURE 15. The network structure of Cascaded Pyramid Network.
，通过定期恢复梯度来解决梯度消失问题。 该研究在COCO和MPII数据集上进行评估，采用AP、mAP和PCKh@0.5作为评价指标，相比现有SOTA模型，在性能和效率上都取得了更优的结果。 ### H. CPN：面向多人姿态估计的级联金字塔网络（Cascaded Pyramid Network） 面向多人姿态估计的级联金字塔网络（Cascaded Pyramid Network，CPN）模型[^32]的研究动机是解决一类被称为“难关键点”的挑战性问题，这类问题包括关键点遮挡（被衣物或其他人员遮挡）、关键点不可见、背景复杂等。作者提出了一种自上而下的多人姿态估计模型，采用CPN网络结构，如图15所示。该CPN网络结构由两个阶段组成：GlobalNet和RefineNet。相对简单的关键点由GlobalNet完成估计，而难关键点的估计则由RefineNet通过在线难关键点挖掘损失实现。 CPN网络结构使用CNN模型识别部分人体关键点，这类关键点被称为可见易关键点，相对容易检测，例如鼻子、左手肘和 --- 下图中的右手。可见的易关键点具有相对固定的形状，这有助于获取纹理信息，从而更容易得到关节位置周边的上下文信息。另一类可见的难关键点会被衣物遮挡，例如左膝、右膝和左髋。此外，还有一些关节不仅会被衣物遮挡，还完全隐藏难以分辨，例如下图中的右肩。对于这类没有上下文信息的难关键点，需要扩大局部感受野来进一步细化上下文信息。基于这一思路，CPN大致将人体关节分为简单部分和困难部分两类。 GlobalNet由前向CNN构成，是一个简单的回归模型，专注于易于检测的人体关键点，通常为眼睛、手臂等易检测部位。RefineNet的作用是检测难以识别的人体关键点，即难关键点。RefineNet将多感受野信息与GlobalNet生成的金字塔模型特征图进行整合，最终将所有相同尺寸的特征图拼接，得到对模糊关键点的修正结果。RefineNet通过两种方法挖掘难关键点：1) 拼接来自不同输出的关键点，2) 面向二级网络的在线难关键点挖掘技术。总体而言，RefineNet通过卷积操作结合了低层特征和高层特征。 结合RefineNet与在线难关键点挖掘，该模型在COCO数据集上使用AP和OKS评估指标测试时，性能超过了此前的SOTA模型。CPN与堆叠沙漏网络（stacked hourglass）具有相似的特性，在高分辨率到低分辨率、低分辨率到高分辨率的处理过程中都具有对称性。不难发现，高分辨率到低分辨率的处理属于分类网络的一部分，计算量较大。尽管如此，反向处理（即低分辨率到高分辨率）的计算量相对较小。 ### 一、人体姿态估计与跟踪的简单基线 人体姿态估计与跟踪的简单基线方法的核心出发点[^31]是：近年来大多数人体姿态估计模型结构复杂、架构各异，但取得的性能结果却非常接近。简单基线方法提出了一个相对简化且直观的模型：在ResNet末尾添加数个反卷积层来估计关键点热图。大多数人体姿态估计模型如堆叠沙漏网络[^27]和CPN[^32]都采用上采样加卷积的结构来放大低分辨率特征图，而简单基线方法在ResNet中插入数层反卷积，通过这种非常简单的方式将特征图扩展到原始图像的尺寸，生成关键点热图，如图16所示。 本文同时讨论了姿态估计和姿态跟踪，但我们的讨论重点是前者。 ![Image](images/a4adde01b8a82af0e52014e486dd9f5726724aa5e2cb2f71c542b26aea743e1e.jpg)
FIGURE 16. Simple Baselines network structure.
如前所述，该模型的网络结构非常直观：在ResNet之后添加数层反卷积，为每个单独的关键点生成热图。该研究得到的核心结论是：反卷积层数越多，生成热图的分辨率就越高。 简单基线方法在COCO数据集上使用AP评估指标，简洁轻易地取得了比以往研究更优异的性能。与CPN类似，高分辨率到低分辨率的处理被视为分类网络（如ResNet和VGGNet）的一部分，这部分计算量较重，而低分辨率到高分辨率的处理计算量相对较轻。 ### J. HRNet：用于人体姿态估计的深度高分辨率表示学习 人体姿态估计领域的常用思路是将高分辨率特征图下采样为低分辨率，再尝试从低分辨率特征图中恢复出高分辨率输出。基于这一研究动机，该研究提出了一个直观且与众不同的模型，即高分辨率网络（HRNet），在整个处理过程中始终保持高分辨率表示 [^35]。在堆叠沙漏网络 [^27] 中，高到低分辨率和低到高分辨率过程是对称的。在CPN [^32] 和简单基线方法 [^31] 中，高分辨率到低分辨率的处理被主干架构归为分类网络的一部分，计算量较重，而反向过程计算量相对较轻。 该网络架构的第一阶段就设有一个高分辨率子网络，如图17所示。随后逐步逐个添加高到低分辨率的子网络，得到多个阶段的输出。最终，多个分辨率子网络的输出并行连接。网络反复进行多尺度融合，使得每个高低分辨率的特征图表示都能反复接收来自其他并行表示分支的信息，从而得到信息量更丰富的高分辨率表示。最终，网络输出的关键点热图和空间分辨率都更加准确。得益于反复的多尺度融合，与以往研究不同，HRNet不需要使用中间热图监督。 --- ![Image](images/d81a4b8a8f7c054cc741bb3b104f361937a6d211a0d241778303e90a4f632e1a.jpg)
FIGURE 17. The network architecture of HRNet.
![Image](images/0b0bc978a42d97b8003abf67b63dee8546aadb48c8fec0d2bd3ba80781c8c9d8.jpg)
FIGURE 18. CFA network architecture with several stages.
HRNet由并行的高低分辨率子网络构成，多分辨率子网络之间会进行反复的信息交换（即多尺度融合）。水平方向和垂直方向分别对应网络深度和特征图尺度。网络总共有三个尺度分支。每个尺度分支在前向传播过程中，特征图分辨率不会发生改变。尽管各尺度分支之间会进行信息交换，三个分支始终保持不同的分辨率。例如在前向过程中，1号分支（即图中的最上方分支）会对自身特征图进行下采样，然后传输给2号分支。2号分支也会通过上采样将放大后的特征传输给1号分支，这两种操作可以在同一阶段完成。 HRNet在COCO和MPII数据集上使用AP、mAP、PCKh@0.5评估指标进行评测，取得了更优异的性能。HRNet采用高低分辨率子网络输出的并行连接，而非常用的串行连接。这意味着由于始终保持着高分辨率表示，网络不需要恢复分辨率。 ### K. CFA：用于人体姿态估计的级联特征聚合 CFA提出了一种级联多沙漏结构，聚合低、中、高层特征以更好地捕捉局部细节信息和全局语义信息 [^26]。CFA网络架构背后的设计思路是融合堆叠沙漏网络 [^27]、CPN [^32]和HRNet [^35]网络架构中蕴含的设计理念。 CFA的整体网络结构如图18所示。CFA由多个沙漏网络组成，这些沙漏网络 --- ![Image](images/787d6b8b8a25e1b8a7da3b90f4b7d7b7f1d6d6314cec48809468c6a8a1b47b7e.jpg) ## 粗略阶段 ### 图19：CFA中不同阶段的特征聚合 按元素相加。特征聚合机制表明，每个阶段的沙漏网络都会预测特征图，同时上一阶段的输出会同时作为下一阶段的输入。 在CFA的每个阶段中，采用了基于ResNet构建的沙漏网络，这是一种基于沙漏结构设计的编码器-解码器模型。编码器部分使用的基础结构是ResNet，从编码器到 --- 解码器的连接方式为高速连接。在CFA模型的所有阶段中共有三种不同的特征聚合类型：低层特征聚合、中层特征聚合和高层特征聚合。 图19简要描述了CFA不同阶段之间的特征聚合过程。低层特征包含丰富的局部细节信息，可帮助定位人体关节的精确位置。另一方面，为了优化复杂背景和部分遮挡情况下的定位结果，高层特征携带了语义信息。最终，所有这些不同的特征聚合结果都会作为输入送入下一阶段，使预测更加稳定。 CFA仅使用PCKh@0.5评估指标在LIP和MPII数据集上对模型进行了评估。在单人姿态估计领域，基于MPII数据集的PCKh@0.5评估指标，该论文的结果在2019年CVPR论文中位列第一。 ### L. OccNet：面向真实世界拥挤场景的人体姿态估计 该模型的提出动机是估计真实世界拥挤区域中个体的姿态 [^73]。在这类人口密集区域进行姿态估计的挑战包括人群间距小、相互遮挡和部分可见。该方法是一种两阶段自上而下的方案，首先定位个体，之后对每个检测到的人物执行单人姿态估计。该模型提出了两个遮挡检测网络：遮挡网络（Occlusion Net，OccNet）和遮挡网络交叉分支（Occlusion Net Cross Branch，OccNetCB），如图20所示，主干网络为ResNet，在图中以米色标注。 在OccNet中，为了在前层学习联合表示，网络在两次转置卷积之后进行分支。OccNet会为每个姿态的关键点位置生成两组热图：一组是可见关键点的热图，另一组是被遮挡关键点的热图。另一种架构OccNetCB仅在一次转置卷积之后就进行分支。在OccNetCB中，两个分支都可以获取彼此提取的信息，因为两个分支的输出是共享的。 该模型已在两个标注了真实拥挤场景的数据集：CrowdPose和JTA数据集上，使用OKS和AP评估指标完成了评估。 ### M. DarkPose：面向人体姿态估计的分布感知坐标表示 关键点分布感知坐标表示方法（DarkPose）的核心研究动机是：热图的坐标表示[^30]，而热图的相关假设从未得到过系统研究。基于这一思路，作者指出现有标准坐标解码方法存在设计缺陷，并提出了一套符合原理的分布感知解码方法。除此之外，研究设计了用于无偏模型训练的准确热图分布，替代了常规的坐标编码流程 ![Image](images/de115c69e84219c954ee9d8cc908cd6e61b81b03b2060ca2ec57b495e17f05ac.jpg)
FIGURE 20. The network structure of Occlusion Net (OccNet) and OccNetCB (Cross branch).
（即将真实坐标转换为热图）。 现有方法的标准标签表示方式，是将坐标热图构建为以个体每个关键点标注坐标为中心的二维高斯分布。根据该研究的结论，热图标签表示的主要障碍来自输入图像分辨率带来的二次函数级计算成本，这限制了基于CNN的模型处理常规高分辨率原始图像数据。因此，需要将所有人脸边界框图像下采样到较小分辨率，再输入人体姿态估计模型，最终还需要将预测得到的每个关键点位置转换回原始图像坐标空间，这就带来了亚像素定位问题。传统从热图到坐标的解码方式，直接取激活值最大的位置作为最终位置预测。DarkPose的网络结构如图21所示。 坐标表示（即坐标编码与解码问题）聚焦于预测给定图像中的关节坐标。坐标解码是将每个个体关节的预测热图转换为原始图像空间中坐标的过程。传统标准方法利用次大激活值将热图上采样回原始图像分辨率，与之不同，DarkPose引入热图分布统计来更准确地定位真实的最大值位置（如图21所示），该方案通过泰勒展开实现。人体姿态估计模型预测得到的热图，通常会在最大激活值附近出现多个峰值，这会对模型性能带来负面影响。 --- ![Image](images/dc722b00ac8a87686fa8a2c06739366955d936b1739665e9bba4ada3c31a0ece.jpg)
FIGURE 21. Overview of the network structure of DarkPose.
TABLE 2. Summary of models.
ModelsBackbone architectureSingle / Multi-personTop-down / Bottom-upDataset usedLoss functionEvaluation metrics
DeepPose (2014)AlexNetSingle PersonTop-downFLIC, LSPL2 LossPCP, PDJ
ConvNet Pose (2015)Built-inSingle PersonTop-downFLIC, MPIIL2 LossPCKh@0.5, PCK, PCK@0.05
Convolutional Pose Machines (2016)VGG structureSingle PersonTop-downFLIC, LSP, MPIIL2 LossPCK@0.1, PCK@0.2, PCKh@0.5
Stacked hourglass (2016)ResNetSingle PersonBoth bottom-up & Top-downFLIC, MPIIL2 LossPCKh@0.5, PCK, PCK@0.2
DeeperCut (2016)ResNetBoth and Single and Multi-PersonBottom-upCOCO, LSP, MPIICross-Entropy loss, L1 LossAP, mAP, AUC, PCKh@0.5
Human Pose Estimation with Iterative Error Feedback (2016)VGG and ConvNetSingle PersonTop-downLSP, MPIIL2 LossPCKh@0.5
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields (2017)VGGMulti-PersonBottom-upCOCO, MPIIL2 LossAP, mAP, PCKh@0.5
Cascaded Pyramid Network for multi-person pose estimation (2018)ResNet, FPN and Mask R-CNNMulti-PersonTop-downCOCOL2 Loss, L2 Loss with online hard keypoints miningAP, OKS
Simple Baselines for Human Pose Estimation and Tracking (2018)ResNetMulti-PersonTop-downCOCOL2 LossAP, mAP
HRNet: Deep High-Resolution Representation Learning for Human Pose Estimation (2019)ResNetMulti-PersonBottom-upCOCO, MPIIL2 LossAP, PCKh@0.5
Cascade Feature Aggregation for Human Pose Estimation (2019)ResNetSingle PersonTop-downMPII, LIPL2 LossPCKh@0.5
Human Pose Estimation for Real-World Crowded Scenarios (2019)ResNetMulti-PersonTop-downCrowdPose, JTAL2 LossAP, OKS
Distribution-Aware Coordinate Representation for Human Pose Estimation (2019)ResNet, HRNet-W32Single PersonTop-downCOCO, MPIIL2 LossPCKh@0.5, PCK, OKS, AP
降低解码方法的性能。为了解决该问题，DarkPose在恢复分辨率之前加入了热图分布调制步骤。该坐标解码方法共包含三个步骤：热图分布调制、基于泰勒展开的分布感知关节定位（实现亚像素精度），以及恢复到原始坐标空间的分辨率。研究发现，坐标编码过程在降采样时也存在与坐标解码类似的局限。部分现有方法首先会将原始图像下采样到模型输入尺寸，因此在这种场景下，生成热图之前需要对真实关节坐标做相应变换，DarkPose采用无偏亚像素中心坐标编码来完成该变换。 DarkPose明确提出了坐标表示面临的各类问题，并且该模型在COCO和MPII数据集上，使用PCK和OKS评价指标完成了评估。 --- ### 第五节 总结与讨论 本文结合我们所知的最具代表性的精选研究，综述了人体姿态估计领域取得的研究进展。本次讨论从DeepPose [^46]展开，该工作是姿态估计领域首个广为人知的成果，是后续大多数相关研究的参考基准。本文依据模型的新颖性、创新性、影响力以及其他标准遴选了相关研究模型，表2从多个维度对这些模型进行了总结。 人体姿态估计的任务是从图像中推断出人体姿态[^4]。为实现这一目标，不同模型采用了各类不同的技术。我们可以从多个维度对这些技术进行评估，包括骨干架构、采用的方法、单人体还是多人体追踪、使用的数据集、损失函数以及采用的评价指标等。 如表2所示，如今ResNet [^38]是大多数模型骨干架构的默认选择，这是因为它不仅精度出色，还能够解决梯度消失问题。 根据给定图像中待检测的人数，姿态估计模型可分为单人体和多人体姿态估计两类。单人体姿态估计已经开展了大量研究，取得了十分优异的成果。尽管多人体姿态估计已经获得了关注，但该方向仍存在诸多挑战。这些挑战来源于图像中人物位置各异、关节可见性不同、尺度差异大、人物之间存在交互、关节被衣物遮挡等多种因素。 如表2所示，大多数情况下研究人员更偏好自顶向下（Top-down）方法而非自底向上（bottom-up）方法，也有部分模型同时采用这两种方法。 在数据集选择方面，近年来COCO和MPII是研究人员的默认选择。其中COCO是十分知名的数据集，它涵盖种类极为丰富的人体姿态和海量图像。除COCO和MPII之外，研究人员也会使用LSP和FLIC数据集。 尽管$L_1$损失对离群点不敏感，但目前大多数模型仍使用$L_2$损失函数来评估模型的学习过程。最后，在mAP和AP成为主流之前，PCKh@0.5是人体姿态估计领域最常用的评价指标。 本文综述了聚焦于预测个体全身姿态的模型。目前也有很多出色的研究只针对人体局部部位的姿态估计，例如手部姿态、头部姿态、上半身姿态等等。此外，[^74]的研究中还专门开展了仅针对儿童的姿态估计工作。 本文先介绍了姿态估计的相关内容，随后根据检测人数将姿态估计分为单人体和多人体两类。进一步地，本文探讨了姿态估计领域常用的方法，之后讨论了该技术的应用和存在的缺陷。最后，本文对单人体和多人体姿态估计方向的部分重要论文进行了简要讨论。 ### 六、结论 因此，本文为刚接触人体姿态估计的研究者提供了一份研究指南。此外，本文还可作为研究基础，帮助研究者结合上文提及的不同论文中的技术创新出新模型，创新方式可以是更换骨干架构、融合两到三个现有模型得到新模型，或是在上述已有研究的基础上新增架构。 本文对人体姿态估计发展进程中最杰出、最具影响力的模型进行了综述。正如前文介绍，二维人体姿态估计一直是计算机视觉领域一个基础却极具挑战性的课题。人体姿态估计的核心目标是定位人体解剖关键点（例如头部、肩部、肘部、腕部等）或关节。本文开篇介绍了人体模型以及机器学习算法的应用，这类算法可提升视觉识别、图像识别、文本检测等多个领域的性能。目前互联网上公开了大量超大规模数据集。依托这些数据集，基于深度学习的二维人体姿态估计已经取得了长足进展。然而，除了本文总结与讨论部分探讨的问题之外，未来仍有诸多挑战有待解决。例如：（i）衣物和他人造成的身体部位遮挡，（ii）人与人之间的交互干扰，（iii）人体结构约束，（iv）几乎不可见的关节，这些都是未来几年亟需重点关注并解决的突出问题。 ## 参考文献 [^1]: S. Kreiss, L. Bertoni, and A. Alahi, "PifPaf: Composite fields for human pose estimation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 11969–11978. [^2]: S. C. Babu. (2019). A 2019 Guide to Human Pose Estimation With Deep Learning. [Online]. Available: [^3]: X. Chen and A. L. Yuille, “Articulated pose estimation by a graphical model with image dependent pairwise relations,” in Proc. NIPS, 2014, pp. 1736–1744. [^4]: D. Mwiti. (2019). A 2019 Guide to Human Pose Estimation. [Online]. Available: [^5]: M. Andriluka, S. Roth, and B. Schiele, “Pictorial structures revisited: People detection and articulated pose estimation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2009, pp. 1014–1021, doi: 10.1109/CVPR.2009.5206754. [^6]: M. Andriluka, S. Roth, and B. Schiele, “Monocular 3D pose estimation and tracking by detection,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., Jun. 2010, pp. 623–630, doi: 10.1109/CVPR.2010.5540156. [^7]: S. Johnson and M. Everingham, “Clustered pose and nonlinear appearance models for human pose estimation,” in Proc. Brit. Mach. Vis. Conf., 2010, p. 5. [^8]: L. Pishchulin, M. Andriluka, P. Gehler, and B. Schiele, “Poselet conditioned pictorial structures,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2013, pp. 588–595. [^9]: Y. Yang and D. Ramanan, “Articulated pose estimation with flexible mixtures-of-parts,” in Proc. CVPR, Jun. 2011, pp. 1385–1392, doi: 10.1109/CVPR.2011.5995741. [^10]: Y. Yang and D. Ramanan, “Articulated human detection with flexible mixtures of parts,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 12, pp. 2878–2890, Dec. 2013, doi: 10.1109/TPAMI.2012.261. [^11]: F. Wang and Y. Li, “Beyond physical connections: Tree models in human pose estimation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2013, pp. 596–603, doi: 10.1109/CVPR.2013.83. [^12]: M. Sun and S. Savarese, “Articulated part-based model for joint object detection and pose estimation,” in Proc. Int. Conf. Comput. Vis., Nov. 2011, pp. 723–730, doi: 10.1109/ICCV.2011.6126309. ## [^13]: M. Eichner, M. Marin-Jimenez, A. Zisserman, and V. Ferrari, “2D articulated human pose estimation and retrieval in (Almost) unconstrained still images,” Int. J. Comput. Vis., vol. 99, no. 2, pp. 190–214, Sep. 2012, doi: 10.1007/s11263-012-0524-9. --- [^14]: W. Gong, X. Zhang, J. González, A. Sobral, T. Bouwmans, C. Tu, and E.-H. Zahzah, “Human pose estimation from monocular images: A comprehensive survey,” Sensors, vol. 16, no. 12, p. 1966, Nov. 2016. [^15]: H.-B. Zhang, Q. Lei, B.-N. Zhong, J.-X. Du, and J. Peng, “A survey on human pose estimation,” Intell. Autom. Soft Comput., vol. 22, no. 3, pp. 483–489, Jul. 2016, doi: 10.1080/10798587.2015.1095419. [^16]: Y. Guo, Y. Liu, A. Oerlemans, S. Lao, S. Wu, and M. S. Lew, “Deep learning for visual understanding: A review,” Neurocomputing, vol. 187, pp. 27–48, Apr. 2016, doi: 10.1016/j.neucom.2015.09.116. [^17]: Q. Dang, J. Yin, B. Wang, and W. Zheng, “Deep learning based 2D human pose estimation: A survey,” Tsinghua Sci. Technol., vol. 24, no. 6, pp. 663–676, Dec. 2019, doi: 10.26599/TST.2018.9010100. [^18]: Y. Chen, Y. Tian, and M. He, “Monocular human pose estimation: A survey of deep learning-based methods,” Comput. Vis. Image Understand., vol. 192, Mar. 2020, Art. no. 102897, doi: 10.1016/j.cviu.2019.102897. [^19]: A. Erol, G. Bebis, M. Nicolescu, R. D. Boyle, and X. Twombly, “Vision-based hand pose estimation: A review,” Comput. Vis. Image Understand., vol. 108, nos. 1–2, pp. 52–73, Oct. 2007, doi: 10.1016/j.cviu.2006.10.012. [^20]: E. Murphy-Chutorian and M. M. Trivedi, “Head pose estimation in computer vision: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 31, no. 4, pp. 607–626, Apr. 2009, doi: 10.1109/TPAMI.2008.106. [^21]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick, “Microsoft COCO: Common Objects in Context,” in Proc. ECCV, 2014, pp. 740–755. [^22]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “MPII human pose dataset,” in Proc. CVPR, Jun. 2014, pp. 3686–3693. Accessed: Apr. 13, 2018. [Online]. Available: , doi: 10.1109/CVPR.2014.471. [^23]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “2D human pose estimation: New benchmark and state of the art analysis,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 3686–3693. [^24]: B. X. Nie, C. Xiong, and S.-C. Zhu, “Joint action recognition and pose estimation from video,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 1293–1301. [^25]: M. Fieraru, A. Khoreva, L. Pishchulin, and B. Schiele, “Learning to refine human pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2018, pp. 205–214. [^26]: Z. Su, M. Ye, G. Zhang, L. Dai, and J. Sheng, “Cascade feature aggregation for human pose estimation,” in Proc. CVPR, 2019, pp. 1–18. [^27]: A. Newell, K. Yang, and J. Deng, “Stacked hourglass networks for human pose estimation,” in Proc. ECCV, 2016, pp. 483–499. [^28]: H. Zhang, H. Ouyang, S. Liu, X. Qi, X. Shen, R. Yang, and J. Jia, “Human pose estimation with spatial contextual information,” in Proc. CVPR, 2019, pp. 1–10. [^29]: S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh, “Convolutional pose machines,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 4724–4732. [^30]: F. Zhang, X. Zhu, H. Dai, M. Ye, and C. Zhu, "Distribution-aware coordinate representation for human pose estimation," in Proc. CVPR, 2019, pp. 7093–7102. [^31]: B. Xiao, H. Wu, and Y. Wei, “Simple baselines for human pose estimation and tracking,” in Computer Vision—ECCV, V. Ferrari, M. Hebert, C. Sminchisescu, and Y. Weiss, Eds. Cham, Switzerland: Springer, 2018, pp. 472–487. [^32]: Y. Chen, Z. Wang, Y. Peng, Z. Zhang, G. Yu, and J. Sun, “Cascaded pyramid network for multi-person pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 7103–7112, doi: 10.1109/CVPR.2018.00742. [^33]: E. Insafutdinov, L. Pishchulin, B. Andres, M. Andriluka, and B. Schiele, "DeeperCut: A deeper, stronger, and faster multi-person pose estimation model," in Proc. ECCV, 2016, pp. 34–50. [^34]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, “Realtime multi-person 2D pose estimation using part affinity fields,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 1302–1310. [^35]: K. Sun, B. Xiao, D. Liu, and J. Wang, “Deep high-resolution representation learning for human pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 5686–5696. [^36]: K. Simonyan and A. Zisserman, “VGG: Very deep convolutional networks for large-scale image recognition,” CoRR, vol. abs/1409.1556, pp. 1–14, Apr. 2015. [^37]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "AlexNet: ImageNet classification with deep convolutional neural networks," in Proc. NIPS, 2012, pp. 1097–1105. [^38]: K. He, X. Zhang, S. Ren, and J. Sun, “ResNet: Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 770–778. [^39]: K. He, G. Gkioxari, P. Dollár, and R. B. Girshick, “Mask R-CNN,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), 2017, pp. 2980–2988. [^40]: S. Johnson, "LSP: Leeds sports pose dataset," in Proc. Brit. Mach. Vis. Conf., Aug. 2010, pp. 12.1–12.11, doi: 10.5244/C.24.12. [^41]: A. Yao, J. Gall, and L. Van Gool, “Coupled action recognition and pose estimation from multiple views,” Int. J. Comput. Vis., vol. 100, no. 1, pp. 16–37, Oct. 2012, doi: 10.1007/s11263-012-0532-9. [^42]: M. B. Holte, C. Tran, M. M. Trivedi, and T. B. Moeslund, “Human pose estimation and activity recognition from multi-view videos: Comparative explorations of recent developments,” IEEE J. Sel. Topics Signal Process., vol. 6, no. 5, pp. 538–552, Sep. 2012, doi: 10.1109/JSTSP.2012.2196975. [^43]: Spagnolo and Paolo, “Proceedings IEEE conference on advanced video and signal based surveillance. AVSS 2003,” in Proc. IEEE Conf. Adv. Video Signal Based Surveillance., Jul. 2003, p. 1, doi: 10.1109/AVSS.2003.1217889. [^44]: D. Gerónimo, A. M. López, A. D. Sappa, and T. Graf, “Survey of pedestrian detection for advanced driver assistance systems,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 32, no. 7, pp. 1239–1258, Jul. 2010, doi: 10.1109/TPAMI.2009.122. [^45]: M. Leo, N. Mosca, P. Spagnolo, P. L. Mazzeo, and A. Distante, “Real-time multi-view event detection in soccer games,” in Proc. 2nd ACM/IEEE Int. Conf. Distrib. Smart Cameras, Sep. 2008, pp. 1–10, doi: 10.1109/ICDSC.2008.4635729. [^47]: R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 580–587. [^48]: R. Girshick, “Fast R-CNN,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1440–1448. [^49]: T. Lin, P. Dollár, R. B. Girshick, K. He, B. Hariharan, and S. J. Belongie, "FPN: Feature pyramid networks for object detection," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Apr. 2017, pp. 936–944. [^50]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 6, pp. 1137–1149, Jun. 2017. [^51]: X. Fan, K. Zheng, Y. Lin, and S. Wang, “Combining local appearance and holistic view: Dual-source deep neural networks for human pose estimation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 1347–1355. [^52]: L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. Gehler, and B. Schiele, “DeepCut: Joint subset partition and labeling for multi person pose estimation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 4929–4937. [^53]: Z. Zhang, J. Tang, and G. Wu, “Simple and lightweight human pose estimation,” in Proc. CVPR, 2019, pp. 1–8. [^54]: J. Brownlee, “Machine learning mastery: Loss and loss functions for training deep learning neural networks,” in Deep Learning Performance. Vermont, VIC, Australia: Machine Learning Mastery Pty. Ltd., 2019. [Online]. Available: [^55]: R. Parmar, “Common Loss functions in machine learning,” in Towards Data Science. 2018. [Online]. Available: [^56]: Chioka. (2013). Differences Between L1 and L2 as Loss Function and Regularization. [Online]. Available: [^57]: M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman, “The Pascal visual object classes (VOC) challenge,” Int. J. Comput. Vis., vol. 88, no. 2, pp. 303–338, Sep. 2009. [^58]: G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev, and C. Schmid, “SURREAL: Learning from synthetic humans,” in Proc. CVPR, 2017, pp. 4627–4635. [Online]. Available: , doi: 10.1109/CVPR.2017.492. [^59]: J. Li, C. Wang, H. Zhu, Y. Mao, H.-S. Fang, and C. Lu, “CrowdPose: Efficient crowded scenes pose estimation and a new benchmark,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10855–10864, doi: 10.1109/CVPR.2019.01112. [^60]: M. Fabbri, F. Lanzi, S. Calderara, A. Palazzi, R. Vezzani, and R. Cucchiara, “Learning to detect and track visible and occluded body joints in a virtual world,” in Proc. ECCV, 2018, pp. 430–446. [^61]: B. Sapp and B. Taskar, “MODEC: Multimodal decomposable models for human pose estimation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2013, pp. 3674–3681. [Online]. Available: ## [^62]: G. Ning, Z. Zhang, and Z. He, “Knowledge-guided deep fractal neural networks for human pose estimation,” IEEE Trans. Multimedia, vol. 20, no. 5, pp. 1246–1259, May 2018. --- [^63]: M. Andriluka, U. Iqbal, E. Insafutdinov, L. Pishchulin, A. Milan, J. Gall, and B. Schiele, “PoseTrack: A benchmark for human pose estimation and tracking,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5167–5176. [^64]: J. Hui. (2018). mAP (mean Average Precision) for Object Detection. in Medium. [Online]. Available: [^65]: S. Chauhan. (2019). Understanding Mean Average Precision for Object Detection (With Python Code). in Medium. [Online]. Available: [^66]: P. Cheng and S. He, “Observer-based finite-time asynchronous control for a class of hidden Markov jumping systems with conic-type nonlinearities,” IET Control Theory Appl., vol. 14, no. 2, pp. 244–252, Jan. 2020, doi: 10.1049/iet-cta.2019.0443. [^67]: P. Cheng, S. He, J. Cheng, X. Luan, and F. Liu, “Asynchronous output feedback control for a class of conic-type nonlinear hidden Markov jump systems within a finite-time interval,” IEEE Trans. Syst., Man, Cybern. Syst., early access, Mar. 25, 2020, doi: 10.1109/TSMC.2020.2980312. [^68]: P. Cheng, J. Wang, S. He, X. Luan, and F. Liu, “Observer-based asynchronous fault detection for conic-type nonlinear jumping systems and its application to separately excited DC motor,” IEEE Trans. Circuits Syst. I, Reg. Papers, vol. 67, no. 3, pp. 951–962, Mar. 2020, doi: 10.1109/TCSI.2019.2949368. [^69]: C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, “Going deeper with convolutions,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 1–9. [^70]: J. Tompson, R. Goroshin, A. Jain, Y. LeCun, and C. Bregler, “Efficient object localization using convolutional networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 648–656. [^71]: D. B. West, Introduction To Graph Theory, 2nd ed. Upper Saddle River, NJ, USA: Prentice-Hall, 2001. [^72]: J. Carreira, P. Agrawal, K. Fragkiadaki, and J. Malik, “IEF: Human pose estimation with iterative error feedback,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 4733–4742, doi: 10.1109/CVPR.2016.512. [^73]: T. Golda, T. Kalb, A. Schumann, and J. Beyerer, “Human pose estimation for real-world crowded scenarios,” in Proc. 16th IEEE Int. Conf. Adv. Video Signal Based Surveillance. (AVSS), Sep. 2019, pp. 1–8. [^74]: G. Sciortino, G. M. Farinella, S. Battiato, M. Leo, and C. Distante, “On the estimation of children’s poses,” in Image Analysis and Processing—ICIAP, S. Battiato, G. Gallo, R. Schettini, and F. Stanco, Eds. Cham, Switzerland: Springer, 2017, pp. 410–421. ![Image](images/f5e832524911f578026df40c7d4c913cc3aa4bfe0324e30766ec83195d6d5831.jpg) TEWODROS LEGESSE MUNEA 1985年出生于埃塞俄比亚索多。他于2008年获得埃塞俄比亚亚的斯亚贝巴大学计算机科学学士学位，2015年获得韩国水原亚洲大学计算机科学与工程硕士学位。目前他在中国厦门大学信息学院攻读计算机科学博士学位，主要研究方向包括姿态估计、单人及多人姿态估计、动作识别、深度学习和计算机视觉。 YALEW ZELALEM JEMBRE 2007年获得埃塞俄比亚亚的斯亚贝巴大学计算机科学学士学位，分别于2012年和2017年在亚洲大学获得计算机工程硕士学位和博士学位。2008年至2010年，他担任中兴通讯（香港）埃塞俄比亚分公司固网下一代网络（FLNGN）工程师。2017年9月至2018年12月，他担任韩国大邱庆北国立大学助理教授，目前任大邱启明大学助理教授。他的研究方向包括认知无线电、自组织网络、机器学习和水下传感器网络，他于2015年获得《通信与网络期刊》最佳论文奖。 ![Image](images/cca33713f1e55f6f27d5d79c7292b89de436e1adf0a4e064f2402bc89cb5c5c5.jpg) ![Image](images/e5ab9d311860b141f0534eecdaaa9c44a62bd042bb7e0ed3038ca11b49f507a0.jpg) HALEFOM TEKLE WELDEGEBRIEL 2009年获得默克莱理工学院信息技术工程学士学位，2014年获得埃塞俄比亚国防大学工程学院计算机与信息技术技术硕士（M.Tech.）学位。目前他在中国厦门厦门大学信息科学与工程学院攻读博士学位，主要研究方向包括光学字符识别、数据挖掘以及利用深度学习技术处理大数据。 ![Image](images/b777699d7ac0b127b3074d00232234731819bbe10fd786ec589a53e5b4e741a5.jpg) 陈龙彪分别于2016年在中国浙江大学、2018年在法国索邦大学获得计算机科学博士学位。他曾在法国国立矿业电信学院（Institut Mines-Télécom）担任研究助理，目前为中国厦门大学智慧城市感知与计算福建省重点实验室助理教授。他的研究方向包括普适计算、城市计算和大数据分析，已在顶级期刊和会议发表超过20篇学术论文，包括ACM UBICOMP、IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS、IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS以及爱思唯尔（Elsevier）旗下的JNCA。他担任ACM SIGSPATIAL中国区技术委员会委员、IEEE UIC会议程序委员会委员，分别在2015年和2016年两次获得UBICOMP荣誉提名奖。 ![Image](images/6c4a8acfa4ed5e65648c8f6ec5f355feb0667dae96aead6adff68a7b91c7d96f.jpg) 黄晨曦现任厦门大学助理教授，研究方向包括图像处理、图像重建、数据融合、三维可视化、机器学习等。自2019年起，他担任Journal of Medical Imaging and Health Informatics的副主编。 ![Image](images/0379607b3d85a6d1ceeb6651963e8d4c015b33b03d38833f49c8e545de515ece.jpg) 杨晨辉分别于1989年和1992年在国防科技大学获得自动控制专业学士、硕士学位，1995年在浙江大学获得机械工程博士学位。他在国防科技大学工作期间就开始开展无人驾驶车辆领域的研究，之后加入厦门大学计算机科学系任教，于2005年晋升为正教授。 他曾于1990年至2000年在阿贡国家实验室担任访问学者，2014年至2015年在南加州大学（USC）担任访问学者。他的研究方向包括计算机视觉、图形学和机器学习，专注于研发智能交通、医疗和工业领域的创新产品。