# 基于深度学习的人体姿态估计：综述 CE ZHENG，美国中佛罗里达大学 WENHAN WU，美国北卡罗来纳大学夏洛特分校 CHEN CHEN, TAOJIANNAN YANG, and SIJIE ZHU，美国中佛罗里达大学 JU SHEN，美国代顿大学 NASSER KEHTARNAVAZ，美国得克萨斯大学达拉斯分校 MUBARAK SHAH，美国中佛罗里达大学 人体姿态估计旨在从图像、视频等输入数据中定位人体部位并构建人体表示（例如人体骨架）。过去十年来，该领域受到了越来越多的关注，已被广泛应用于人机交互、运动分析、增强现实和虚拟现实等诸多领域。尽管近年来开发的基于深度学习的方案在人体姿态估计任务上取得了优异性能，但由于训练数据不足、深度歧义与遮挡等问题，该领域仍存在诸多挑战。本综述的目标是，根据各类方案的输入数据与推理流程，通过系统分析与对比，全面梳理近年来针对二维和三维姿态估计的基于深度学习的解决方案。本综述涵盖了2014年以来的260余篇研究论文，此外还介绍了二维和三维人体姿态估计的常用数据集与评估指标，总结并讨论了所梳理方法在主流数据集上的定量性能对比。最后，本文总结了该领域现存的挑战、实际应用和未来的研究方向。本文提供了定期更新的项目页面：. CCS 概念：• 计算方法 → 计算机视觉；• 通用与参考文献 → 综述与概览； 额外关键词与短语：人体姿态估计综述、二维与三维姿态估计、基于深度学习的姿态估计、姿态估计数据集、姿态估计评估指标 ACM 引用格式： Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, and Mubarak Shah. 2023. 基于深度学习的人体姿态估计：综述。ACM Comput. Surv. 56, 1, 文章11（2023年8月），37页。 C. Zheng 与 W. Wu 两位作者对本研究贡献相等。 0360-0300/2023/08-ART11 $15.00 --- ## 1 引言 人体姿态估计（Human pose estimation, HPE）是计算机视觉领域已得到广泛研究的课题，旨在从传感器采集的输入数据（尤其是图像和视频）中估计人体各部位的结构。HPE可提供人体的几何与运动信息，已应用于人机交互、运动分析、增强现实（AR）、虚拟现实（VR）、医疗保健等诸多领域。近年来随着深度学习方案的快速发展，已有研究证明这类方案在包括图像分类[^105]、语义分割[^142]和目标检测[^204]在内的各类任务中性能优于传统计算机视觉方法。将深度学习技术应用于HPE任务已经取得了显著进展和优异性能。然而，遮挡、训练数据不足、深度模糊性等挑战仍然存在有待攻克的难题。对于带有2D姿态标注的图像和视频，2D HPE易于实现，且使用深度学习技术进行单人人体姿态估计已经达到了很高的性能。近年来，研究人员愈发关注复杂场景中存在严重遮挡的多人HPE问题。与之相对，3D HPE获取精准3D姿态标注的难度远高于2D HPE。动作捕捉系统可以在可控的实验室环境中采集3D姿态标注，但这类系统在野外非受控环境中存在局限性。对于单目RGB图像和视频的3D HPE任务，核心挑战是深度模糊性。在多视角设置下，视角关联是需要解决的关键问题。部分研究采用了深度传感器、惯性测量单元（IMU）和射频设备等传感器，但这些方法通常成本较高，且需要专用硬件。 鉴于HPE研究的快速发展，本文梳理该领域的最新进展、总结现有研究成果，旨在为基于深度学习的2D与3D HPE的当前研究现状提供清晰的概述。 ### 1.1 已有综述与本文贡献 此前已有多篇与HPE相关的调研和综述发表。其中，文献[^85] [^163] [^164] [^194]聚焦于基于视觉的人体动作捕捉这一广义领域，涵盖姿态估计、跟踪和行为识别，因此姿态估计只是这些综述覆盖的主题之一。文献[^67]综述了2012年之前的3D HPE研究工作。文献[^141]介绍了基于人体部位解析的单视角和多视角HPE方法。这些发表于2001–2015年间的综述主要聚焦于未采用深度学习的传统方法。文献[^60]发表了一篇同时涵盖与HPE相关的传统方法和基于深度学习方法的综述，但仅纳入了少量基于深度学习的方法。文献[^214]的综述覆盖了输入为RGB的3D HPE方法，而文献[^169]仅回顾了2D HPE方法。文献[^28]总结了从传统方法到近期基于深度学习方法的单目HPE研究（截至2019年，纳入论文不足100篇），但该综述仅覆盖了单目相机的2D HPE和3D单视角HPE，忽略了单目相机的3D多视角HPE以及其他传感器方案的3D HPE。此外，该综述未开展广泛的性能比较和深入分析，对现有挑战和未来研究方向的讨论也相对简短。 本调研旨在弥补已有调研的不足，不仅系统综述了近年来基于深度学习的2D与3D HPE解决方案，还涵盖了HPE的其他研究方向，包括（2D和3D）HPE方法在常用数据集上的性能评估、相关应用以及全面讨论。本调研与已有调研的核心区别如下： --- ![Image](images/bc777fd8c1fe9182433284b776e18a64be51503a73313798a1a25bdee1613998.jpg)
Fig. 1. Taxonomy of this survey.
- 我们对截至2022年的260余篇相关文献中的基于深度学习的2D和3D HPE方法进行了全面梳理，按照2D/3D场景、单视图/多视图、输入来自单目图像/视频或其他来源、学习范式对方法进行了分类。 - 对2D和3D HPE方法开展了充分的性能评估。我们按类别总结并对比了主流方法在常用数据集上已报道的性能，结果对比清晰展现了不同方法的优缺点，揭示了HPE的研究趋势和未来方向。 - 概述了HPE的广泛应用场景，例如监控、AR/VR和医疗健康。 - 围绕2D和3D HPE展开深入讨论，梳理了HPE面临的核心挑战，并指明了未来提升性能的潜在研究方向。 ### 1.2 文章组织结构 HPE主要分为两大类：2D HPE（第2节）和3D HPE（第3节）。图1展示了基于深度学习的HPE方法分类体系。按照检测人数，2D HPE方法可分为单人设置和多人设置两类。单人方法（第2.1节）又分为回归方法和基于热图的方法两类；多人方法（第2.2节）同样分为自上而下方法和自下而上方法两类。 3D HPE方法按输入源类型分类：单目RGB图像和视频（第3.1节），或其他传感器（例如惯性测量单元传感器，第3.2节）。大多数3D HPE方法以单目RGB图像和视频为输入，这类方法又进一步分为：单视图单人方法（第3.1.1节）、单视图多人方法（第3.1.2节）和多视图方法（第3.1.3节）。多视图设置主要用于多人姿态估计，因此该类别下未单独区分单人或多人场景。 接下来，结合2D和3D HPE的研究流程，本文总结了常用的数据集和评价指标，并对比了主流方法的实验结果（第4节）。此外，本文介绍了HPE的各类应用，例如AR/VR（第5节）。最后，本文对未来有前景的研究方向展开了深入讨论（第6节）。 --- ![Image](images/1c0a1c078ab65d54777e50a8a3d48093fb33d6bcbb44bc5e3d66603e0ba8860c.jpg)
(a) Regression Methods
(b) Heatmap-based Methods
Fig. 2. Single-person 2D HPE frameworks. (a) Regression methods directly learn a mapping (via a deep neural network) from the original image to the kinematic body model and produce joint coordinates. (b) Given the ground-truth 2D pose, the ground-truth heatmaps of each joint are generated by applying a Gaussian kernel to each joint's location. Then, heatmap-based methods utilize a model to predict the heatmap of each joint.
## 2 二维人体姿态估计（2D HPE） 2D HPE方法从图像或视频中估计人体关键点的二维位置或空间坐标。传统2D HPE方法针对身体部位采用不同的手工特征提取技术，这些早期工作将人体描述为火柴人模型以获取全局姿态结构。近年来，基于深度学习的方法大幅提升了估计效果，在HPE领域取得了重大突破。下文我们将分别梳理单人场景和多人场景下基于深度学习的2D HPE方法。 ### 2.1 二维单人姿态估计 二维单人姿态估计用于在输入为单人图像时定位人体关节位置。如果输入图像中存在多个人，则首先对输入图像进行裁剪，使每个裁剪块（或子图像）中仅包含一个人。该过程可通过上半身检测器[^161]或全身检测器[^204]自动完成。一般来说，采用深度学习技术的单人算法流程可分为两类：回归方法和基于热图的方法。回归方法采用端到端框架学习从输入图像到人体关节位置或人体模型参数的映射[^233]。基于热图的方法的目标是预测身体部位和关节的大致位置[^26] [^171]，这些预测结果由热图表示进行监督[^231] [^254]。目前基于热图的框架已被广泛应用于二维HPE任务中。二维单人HPE方法的通用框架如图2所示。 2.1.1 回归方法。已有大量研究工作基于回归框架（例如，参考文献 [^17] [^54] [^116] [^118] [^147] [^148] [^153] [^154] [^172] [^178] [^190] [^222] [^233] [^284]）从图像中预测关节坐标，如图2(a)所示。Toshev和以AlexNet [^105]作为骨干网络， --- Szegedy [^233]提出了一种名为DeepPose的级联深度神经网络回归器，用于从图像中学习关键点。凭借DeepPose出色的性能，HPE的研究范式开始从传统方法转向深度学习，尤其是卷积神经网络（CNN）。Sun等人[^222]基于ResNet-50 [^66]提出了一种感知结构的回归方法，称为“组合姿态回归”。该方法采用包含人体信息和姿态结构的重参数化基于骨骼的表示，替代了传统的基于关节的表示。Luvizon等人[^148]为HPE提出了一种端到端回归方法，该方法在完全可微的框架中使用soft-argmax函数将特征图转换为关节坐标。Li等人[^116]首次设计了一种基于transformer的级联网络，用于回归人体关键点，通过自注意力机制捕捉关节与外观的空间相关性。与以往方法不同，Li等人[^112]提出了一种名为RLE（对数似然估计）的归一化流模型来捕捉关节位置的分布，旨在通过残差对数似然估计找到优化后的参数。 对于基于回归的方法而言，能够编码丰富姿态信息的优良特征至关重要。学习更好特征表示的一种常用策略是多任务学习[^209]。通过在相关任务（例如姿态估计和基于姿态的动作识别）之间共享表示，模型可以在原始任务（姿态估计）上获得更好的泛化能力。沿着这一研究方向，Li等人[^118]提出了一种异构多任务框架，该框架包含两项任务：一是通过回归器从完整图像中预测关节坐标，二是使用滑动窗口从图像块中检测身体部位。Fan等人[^54]针对两项任务提出了双源（即图像块和完整图像）CNN：关节检测任务判断图像块是否包含人体关节，关节定位任务则寻找关节在图像块中的精确位置。每个任务对应一个损失函数，两项任务结合可得到更优的结果。 2.1.2 基于热图的方法。人体姿态估计（HPE）的基于热图方法不直接估计人体关节的二维坐标，而是旨在估计通过在每个关节位置添加二维高斯核生成的二维热图，如图2所示。具体来说，该方法的目标是为总共K个关键点估计K张热图$\{H_1, H_2, \ldots, H_K\}$。每个关键点热图中的像素值$H_i(x, y)$表示该关键点位于位置$(x, y)$的概率（参见图2(b)）。目标（即真值）热图由以真值关节位置为中心的二维高斯分布生成[^231] [^232]。因此，姿态估计网络通过最小化预测热图与目标热图之间的差异（例如均方误差（MSE））进行训练。与关节坐标相比，热图保留了空间位置信息，同时能让训练过程更平稳。 因此，近年来越来越多研究关注利用热图表示关节位置，并为HPE开发有效的CNN架构，例如参考文献[^6] [^7] [^11] [^46] [^59] [^124] [^129] [^145] [^171] [^200] [^231] [^232] [^254] [^259] [^269] [^285]。作为基础性工作之一，Wei等人[^254]提出了一个基于卷积网络的顺序框架，名为卷积姿态机（CPM），通过多阶段处理预测关键点位置（每个阶段的卷积网络利用前一阶段生成的二维置信图，输出越来越精确的身体部位位置预测）。与此同时，Newell等人[^171]提出了一个名为“堆叠沙漏”的编码器-解码器网络，通过中间监督重复自底向上和自顶向下的处理过程。在该工作中，编码器通过瓶颈压缩特征，随后解码器对特征进行扩展以进入下一子阶段。堆叠沙漏（SHG）网络由连续的池化和上采样步骤组成，能够捕获各个尺度的信息。此后，研究人员为HPE开发了多种复杂的SHG架构变体。遵循参考文献[^171]的工作，Chu等人[^41]设计了新型沙漏残差单元（HRU），该单元通过一个带有更大感受野滤波器的侧分支扩展了残差单元，以捕获 --- 来自不同尺度的特征。杨等人[^269]设计了多分支金字塔残差模块（Pyramid Residual Module, PRM），用以替换SHG中的残差单元，提升了深度CNN的尺度不变性。孙等人[^221]提出了一种全新的高分辨率网络（High-Resolution Net, HRNet），该网络通过并行连接多分辨率子网络并进行多次重复多尺度融合，学习得到可靠的高分辨率特征表示，从而实现更准确的关键点热图预测。受HRNet启发，俞等人[^274]提出了一种名为Lite-HRNet的轻量级HRNet，设计了条件通道加权块来实现通道间和不同分辨率间的信息交换。近年来，HRNet [^221]及其变体[^31] [^274] [^277]凭借优异的性能，已被广泛应用于HPE和其他姿态相关任务中。 随着生成对抗网络（Generative Adversarial Networks, GANs）[^61]的出现，研究人员将其应用到HPE领域，用以生成符合生物学规律的姿态配置，区分高置信度预测结果和低置信度预测结果，从而能够推断被遮挡身体部位的姿态。受可高效优化关节的沙漏结构启发，陈等人[^27]构建了一种结构感知条件对抗网络——Adversarial PoseNet，该网络包含一个基于沙漏网络的姿态生成器和两个判别器，用于区分合理与不合理的人体姿态。周等人[^39]构建了一个基于对抗学习的网络，采用两个结构相同的堆叠沙漏网络分别作为判别器和生成器。生成器估计每个关节的位置，判别器区分真实热图和预测热图。传统基于GAN的方法将HPE网络作为生成器，利用判别器提供监督信息，与之不同，彭等人[^188]开发了一种对抗数据增强网络，该方法将HPE网络作为判别器，将增强网络作为生成器来执行对抗增强，以此优化数据增强过程和网络训练。 除了为HPE设计有效网络的这些研究工作之外，研究人员还对人体结构信息展开探索，为构建HPE网络提供更多更优质的监督信息。杨等人[^270]设计了用于HPE的端到端CNN框架，该框架可以通过结合人体部位之间的空间一致性和外观一致性挖掘难负样本。文献[^40]提出了一种结构化特征级学习框架，用于推理HPE中人体关节之间的相关性，该框架能够捕捉更丰富的人体关节信息，提升学习效果。柯等人[^96]设计了多尺度结构感知神经网络，结合多尺度监督、多尺度特征组合、结构感知损失方案和关键点掩码训练方法，提升复杂场景下HPE模型的性能。唐等人[^224]构建了一个基于沙漏结构的监督网络，称为Deeply Learned Compositional Model，用以描述身体部位之间复杂真实的关联，学习人体中的组合模式信息（每个身体部位的方向、尺度和形状信息）。与以往考虑所有身体部位的方法不同，唐和吴[^223]指出，并非所有身体部位之间都存在关联，因此他们提出了基于部位的分支网络，为每个部位组学习特定的表示，而非为所有部位学习共享表示。 视频序列中的人体姿态是（3D）时空信号。因此，对时空信息建模对于视频HPE而言十分重要。Jain等人 [^81] 设计了一个双分支CNN框架，融合帧对中的颜色特征与运动特征，在HPE中构建了一个表现力强的时空模型。Pfister等人 [^189] 提出了一种CNN，该网络能够利用多帧的时序上下文信息，通过光流对齐相邻帧预测得到的热图。与以往计算量大的基于视频的方法不同，Luo等人 [^145] 引入了结合长短期记忆的循环结构，从不同帧中捕获时序几何一致性和依赖性。该方法缩短了视频HPE网络的训练时间。Zhang等人 [^293] --- ![Image](images/01b5c7a748691452306adfd6a2b50e0d5cf32ed7055cd784eff2b350c1e94525.jpg)
(a) Top-Down Approaches
(b) Bottom-Up Approaches
Fig. 3. Illustration of the multi-person 2D HPE frameworks. (a) Top-down approaches have two sub-tasks: (1) human detection and (2) pose estimation in the region of a single human; (b) Bottom-up approaches also have two sub-tasks: (1) detect all keypoints candidates of body parts and (2) associate body parts in different human bodies and assemble them into individual pose representations.
引入了一个关键帧提议网络，用于捕获帧中的时空信息，同时设计了人体姿态插值模块，实现高效的基于视频的HPE。 ### 2.2 二维多人姿态估计 与单人HPE相比，多人HPE难度更大、更具挑战性，因为该任务需要确定人数、每个人的位置，以及如何为不同的人分组关键点。为了解决这些问题，多人HPE方法可以分为自上而下方法和自下而上方法两类。自上而下方法使用现成的人体检测器从输入图像中获得一组框（每个框对应一个人），然后对每个人体框应用单人姿态估计器来生成多人姿态。与自上而下方法不同，自下而上方法先在单张图像中定位所有人体关节，再将它们分组分配给每个个体。在自上而下流程中，输入图像中的人数会直接影响计算时间。自下而上方法的计算速度通常比自上而下方法更快，因为这类方法不需要单独为每个人检测姿态。图3展示了二维多人HPE方法的通用框架。 2.2.1 自上而下流程。如图3(a)所示，自上而下流程包含两个重要部分：用于获取人体边界框的人体检测器，以及用于预测这些边界框内关键点位置的单人姿态估计器。已有一系列研究专注于设计和改进HPE网络中的模块，例如参考文献 [^14] [^71] [^72] [^121] [^134] [^166] [^180] [^221] [^246] [^259] [^283]。为了回答构建HPE网络时“简单方法能做到多好”这一问题，Xiao等人 [^259] 在ResNet（骨干网络）中添加了数个反卷积层，构建了一个简单有效的结构，生成用于高分辨率表征的热图。为了提高关键点定位的准确率，Wang等人 [^246] 提出了一个两阶段、基于图的模型无关框架，名为Graph-PCNN。该框架包含一个用于获取粗略关键点位置的定位子网络，以及一个用于得到精细化关键点定位表征的图姿态优化模块。Cai等人 [^14] 提出了一个多阶段网络 --- 搭配残差步网络（Residual Steps Network, RSN）模块，通过高效的同层级特征融合策略学习精细的局部表征，还搭配了姿态优化机（Pose Refine Machine, PRM）模块，在特征的局部表征和全局表征之间取得平衡。 在遮挡和截断场景下进行姿态估计经常出现在多人设置中，因为肢体重叠是不可避免的。由于遮挡，人体检测器可能在自顶向下流程的第一步就出现失效。因此，对遮挡或截断的鲁棒性是多人HPE方法的一个重要特性。为实现这一目标，Iqbal和Gall [^78]构建了一个基于卷积姿态机的姿态估计器来估计候选关节点。随后，他们使用整数线性规划解决关节-人物关联问题，即使在存在严重遮挡的情况下也能得到人体姿态。方等人[^55]设计了区域多人姿态估计（RMPE）方法，以提升复杂场景下HPE的性能。RMPE框架包含三个部分：对称空间变换网络（用于在不准确的边界框内检测单个人体区域）、参数化姿态非极大值抑制（用于解决冗余检测问题），以及姿态引导候选生成器（用于扩充训练数据）。Papandreou等人[^180]提出了一种两阶段架构，搭配Faster R-CNN人物检测器生成候选人体的边界框，再由关键点估计器通过一种热图-偏移聚合的形式预测关键点位置。该方法在遮挡和杂乱场景中表现良好。为缓解HPE中的遮挡问题，陈等人[^29]提出了级联金字塔网络（CPN），该网络包含两个部分：GlobalNet（用于预测不可见关键点的特征金字塔网络）和RefineNet（结合关键点挖掘损失整合GlobalNet各层级特征的网络）。他们的结果表明，CPN在预测被遮挡关键点方面具备良好性能。苏等人[^219]设计了通道洗牌模块（Channel Shuffle Module）和空间通道注意力残差瓶颈块（Spatial & Channel-wise Attention Residual Bottleneck）两个模块，实现了通道维度和空间维度的信息增强，以提升遮挡场景下多人HPE的效果。邱等人[^199]开发了遮挡姿态估计与校正模块和一个遮挡姿态数据集，用以解决人群姿态估计中的遮挡问题。Umer等人[^237]提出了一种关键点对应框架，在遮挡场景中利用前一帧的时间信息恢复遗漏的姿态。该网络通过自监督进行训练，能够提升稀疏标注视频数据集上的姿态估计结果。 近年来，基于Transformer的方法吸引了更多关注[^122] [^125] [^150] [^216] [^268] [^277]，这是因为Transformer中的注意力模块能够获取长程依赖关系以及预测关键点的全局证据，能力优于CNNs。早期探索工作[^268]提出了一款面向2D HPE的基于Transformer的模型，命名为TransPose，该模型利用注意力层预测关键点热图，学习遮挡场景下HPE的细粒度证据。沿用文献[^268]的思路，Li等人[^125]构建了一个纯基于Transformer的模型TokenPose，通过token表示捕获约束线索和视觉外观关系。与在低分辨率下学习特征表示的基于视觉Transformer的方法不同，Yuan等人[^277]提出了一种名为HRFormer的高分辨率Transformer，将HRNet[^31]中的模块替换为Transformer模块，提升了内存利用率和计算效率。Ma等人[^150]将token剪枝姿态Transformer（PPT）应用于人体区域定位，使模型能够高效估计多视角姿态。与HPE中传统的两步结构不同，Shi等人[^216]提出了一种基于注意力机制的全端到端框架，可直接估计实例感知的人体姿态。 除了上述介绍的基于图像的研究，视频多帧姿态估计在多人2D HPE领域也受到广泛关注[^9] [^63] [^139] [^140] [^264]，这类方法利用视频序列中的时序信息辅助姿态估计。为了降低视频帧的标注成本，Bertasius等人[^9]提出了名为PoseWarper的网络，它提升了标注 --- 在帧间的传播，有利于利用稀疏标注进行模型训练。为了缓解视频帧间的运动模糊和姿态遮挡问题，Liu等人[^139]设计了面向多帧HPE的网络DCpose，该网络包含三个模块（Pose Temporal Merger、Pose Residual Fusion和Pose Correction Network），用于挖掘帧间时序信息来完成关键点检测。尽管如此，这些方法仍未能充分利用相邻帧的信息。为了解决这一问题，Liu等人[^140]提出了一种分层对齐框架，缓解两帧之间未对齐上下文的聚合问题。 2.2.2 自底向上流程。自底向上流程（例如参考文献[^16] [^31] [^56] [^75] [^88] [^104] [^170] [^175] [^228] [^244] [^252]）主要包含两个核心步骤：人体关节检测（即提取局部特征并预测人体关节候选）和单个目标的关节候选组装（即通过部件关联策略对关节候选进行分组，构建姿态表示），如图3(b)所示。 Pishchulin等人[^192]提出了一种基于Fast R-CNN的身体部位检测器DeepCut，它是最早的两阶段自底向上方法之一。该方法首先检测所有身体部位候选框，随后对每个部位进行标注，再通过整数线性规划（ILP）将这些部位组装得到最终姿态。然而，DeepCut的计算成本很高。为此，Insafutdinov等人[^76]提出了DeeperCut来改进DeepCut：通过采用性能更强的身体部位检测器，搭配更优的增量优化策略和图像条件成对项对身体部位进行分组，该方法在提升性能的同时加快了推理速度。之后，Cao等人[^16]构建了检测器OpenPose，该方法利用卷积姿态机[^254]通过热图预测关键点坐标，并利用部位亲和场（Part Affinity Fields，PAFs，即一组2D矢量场，其矢量图编码了肢体的位置和方向）将关键点关联到对应人体。OpenPose大幅加快了自底向上多人HPE的处理速度。朱等人[^315]基于OpenPose框架改进了网络结构，通过在PAFs中添加冗余边增加关节间的连接，最终取得了优于基线方法的性能。尽管基于OpenPose的方法在高分辨率图像上取得了出色效果，但它们在低分辨率图像和遮挡场景下性能较差。为解决这一问题，Kreiss等人[^104]提出了自底向上方法PifPaf，该方法使用部位强度场预测身体部位位置，使用部位关联场表示关节的关联关系，在低分辨率和遮挡场景下的性能优于以往基于OpenPose的方法。受OpenPose[^16]和堆叠沙漏结构[^171]的启发，Newell等人[^170]提出了一种单阶段深度网络，可同时完成姿态检测和分组分配任务。在文献[^170]的基础上，Jin等人[^88]提出了一种新的可微分分层图分组方法来学习人体部位分组。基于文献[^170]和[^221]，Cheng等人[^31]提出了HRNet的扩展版本，名为更高分辨率网络（Higher Resolution Network），该方法对HRNet生成的高分辨率热图进行反卷积，解决了自底向上多人HPE中的尺度变化挑战。 多任务结构也被应用于自底向上HPE方法中。Papandreou等人[^179]提出了PersonLab，将姿态估计模块和人物分割模块结合，用于关键点检测和关联。PersonLab由短距离偏移（用于优化热图）、中距离偏移（用于预测关键点）和长距离偏移（用于将关键点分组到不同实例）组成。Kocabas等人[^99]提出了带有姿态残差网络的多任务学习模型MultiPoseNet，该模型可同时完成关键点预测、人体检测和语义分割三项任务。然而，这类方法难以应对人体尺度的变化；为解决这一问题，Luo等人[^146]提出了尺度自适应热图回归方法SAHR（scale-adaptive heatmap regression），来自适应优化关节标准差，高效提升了模型对各类人体尺度和标注歧义的容忍度。 --- ### 2.3 2D HPE 总结 总而言之，随着深度学习技术的蓬勃发展，2D HPE的性能已经得到了显著提升。近年来，更深、性能更强的网络提升了2D单人HPE方法（如DeepPose [^233]和Stacked Hourglass Network [^171]）以及2D多人HPE方法（如AlphaPose [^55]和OpenPose [^16]）的性能。 尽管目前2D HPE已经取得了令人瞩目的性能，但该领域仍存在若干挑战有待未来研究进一步解决。首要挑战是严重遮挡场景下（例如人群场景）的人体可靠检测 [^29]。自上而下的2D HPE方法中，人体检测器可能无法识别高度重叠人体的边界。同样，在遮挡场景中，自下而上方法的关键点关联难度也更为突出。 第二个挑战是计算效率。尽管部分方法（如OpenPose [^16]）能够在算力中等的特定硬件上实现接近实时的处理（例如，在Nvidia GTX 1080 Ti GPU上可达22 FPS），但仍难以将这类网络部署在资源受限的设备上。实际应用（例如游戏、AR和VR）要求商用设备上的HPE方法具备更高的效率，这才能为用户带来更好的交互体验。 另一个挑战在于稀有姿态的数据十分有限。尽管目前2D HPE的数据集规模已经足够大（例如COCO dataset [^132]）能够满足正常姿态（例如站立、行走、跑步）估计的需求，但这些数据集中非常规姿态（例如摔倒）的训练数据十分有限。数据不平衡可能会导致模型偏差，使得模型在这类姿态上表现不佳。开发有效的数据生成或增强技术来生成额外的姿态数据，以训练更鲁棒的模型，是解决该问题的有效方向。 ## 3 三维人体姿态估计（3D HUMAN POSE ESTIMATION） 3D HPE的目标是预测人体关节在三维空间中的位置，近年来受到了广泛关注，因为它能够提供丰富的人体三维结构信息。该技术可应用于诸多领域（例如3D电影与动画产业、虚拟现实和运动分析）。尽管2D HPE已经取得了显著进展，但3D HPE仍然是一项具有挑战性的任务。现有大多数研究针对单目图像或视频开展3D HPE，这是一个不适定逆问题：因为三维投影到二维会丢失一个维度的信息。当可获取多视角数据，或是部署了IMU、LiDAR等其他传感器时，借助信息融合技术，3D HPE可以成为一个适定问题。另一个局限是，深度学习模型对数据需求量大，且对数据采集环境敏感。与2D HPE数据集可以轻松获得准确的二维姿态标注不同，采集准确的三维姿态标注十分耗时，人工标注并不现实。此外，现有数据集通常采集自室内环境，且仅包含选定的日常动作。近期参考文献中的研究 [^242] [^271] [^308] 通过跨数据集推理发现，使用存在偏差的数据集训练得到的模型泛化能力较差。本节我们首先聚焦单目RGB图像和视频的3D HPE，随后介绍基于其他传感器的3D HPE。 ### 3.1 单目RGB图像与视频的3D HPE 单目相机是二维和三维场景中HPE应用最广泛的传感器。近年来，基于深度学习从单目图像和视频开展二维HPE研究取得的进展，使得研究人员能够将相关工作拓展到三维HPE领域。 从单视角单目图像和视频重建三维人体姿态是一项极具挑战性的任务，存在自遮挡、其他物体遮挡、深度歧义以及训练数据不足等问题。这是一个严重的不适定问题，因为不同的三维人体姿态可以投影得到相似的二维姿态投影。 ---
(a) Skeleton-only Methods - Direct Estimation Approaches
![Image](images/65105f8d787e3a78fba4405d7d31688d680aa8508988f0ffa6bd71d54ac5b312.jpg)
(b) Skeleton-only Methods - 2D to 3D Lifting Approaches
(c) Human mesh recovery Methods (Volumetric Model)
Fig. 4. Single-person 3D HPE frameworks. (a) Direct estimation approaches directly estimate the 3D human pose from 2D images. (b) 2D-to-3D lifting approaches leverage the predicted 2D human pose (intermediate representation) for 3D pose estimation. (c) Human mesh recovery methods incorporate parametric body models to recover a high-quality 3D human mesh. The 3D pose and shape parameters inferred by the 3D pose and shape network are fed into the model regressor to reconstruct 3D human mesh. Part of the figure is from Reference [^5].
利用多视角相机估计三维人体姿态可以缓解遮挡问题。在多视角设置下，需要解决视点关联问题。因此，基于深度学习的三维HPE方法可分为三类：单视角单人三维HPE、单视角多人三维HPE和多视角三维HPE。 3.1.1 单视角单人三维HPE。单人三维HPE方法可根据是重建三维人体骨架还是利用人体模型恢复三维人体网格，分为仅骨架方法和人体网格恢复（HMR）两类。 A. 仅骨架方法。仅骨架方法将估计三维人体关节作为最终输出，不采用人体模型重建三维人体网格表示。这类方法可进一步分为直接估计方法和二维到三维提升（2D-to-3D lifting）方法。 直接估计：如图4(a)所示，直接估计方法无需中间估计二维姿态表示，即可从二维图像中推理得到三维人体姿态，例如文献[^119] [^183] [^184] [^222] [^225]。Li和Chan[^117]使用一个浅层网络，同步训练带滑动窗口的身体部位检测器和姿态坐标回归。Sun等人[^222]提出了一种结构感知回归方法。他们没有使用基于关节的表示，而是采用了稳定性更强的基于骨骼的表示。研究人员利用基于骨骼的表示挖掘三维骨骼结构，定义了组合损失，该表示可以编码骨骼之间的长程相互作用。Pavlakos等人[^183] [^184]引入了体积表示，将高度非线性的三维坐标回归问题转换为离散空间中可处理的形式。卷积网络会预测体积中每个关节的体素似然。人体关节的序数深度关系被用来缓解对精准三维真值姿态的需求。 --- 二维到三维提升：受近年来二维HPE研究取得成功的推动，可从中间估计得到的二维人体姿态推断三维人体姿态的二维到三维提升方法，已经成为一种流行的三维HPE解决方案，如图4(b)所示。在第一阶段，研究人员采用现成的二维HPE模型估计二维姿态，随后在第二阶段利用二维到三维提升得到三维姿态，例如参考文献[^18] [^111] [^156] [^168] [^226] [^307]。得益于当前最优二维姿态检测器的出色性能，二维到三维提升方法的性能通常优于直接估计方法。Martinez等人[^156]提出了一种全连接残差网络，基于二维关节位置回归得到三维关节位置。尽管该方法在当时取得了最优结果，但由于过度依赖二维姿态检测器会带来重建歧义性，该方法可能会失效。Tekin等人[^226]和Zhou等人[^307]采用二维热图而非二维姿态作为中间表示来估计三维姿态。Wang等人[^250]开发了一种成对排序CNN来预测成对人体关节的深度排序，随后采用由粗到细的姿态估计器从二维关节和深度排序矩阵中回归得到三维姿态。Jahangiri和Yuille[^80]、Sharma等人[^215]以及Li和Lee[^111]首先生成多个不同的三维姿态假设，再使用排序网络选择最优的三维姿态。 由于人体姿态可以表示为"关节为节点、骨骼为边"的图结构，图卷积网络（Graph Convolutional Networks, GCN）已被应用于二维到三维姿态提升问题，并展现出优异的性能[^38] [^42] [^137] [^281] [^296]。Ci等人[^42]提出了局部连接网络（Locally Connected Network, LCN），该网络同时利用全连接网络和GCN编码局部关节邻域之间的关系。LCN可以克服GCN的两大局限：一是GCN的权重共享机制会损害姿态估计模型的表示能力，二是结构矩阵缺乏支持自定义节点依赖的灵活性。Zhao等人[^296]也针对GCN中卷积滤波器对所有节点共享权重矩阵的局限性开展了研究，他们提出语义GCN（Semantic-GCN）来探究图中未被显式表示的语义信息和关系，使用语义图卷积（SemGConv）操作学习边的通道级权重。由于SemGConv和非局部层交错设置，该网络可以同时捕获节点之间的局部和全局关系。Zhou等人[^316]进一步提出了一种新型调制GCN网络，该网络由权重调制和亲和调制两个部分组成。权重调制为不同节点分配不同的调制向量，对特征变换进行解耦；亲和调制则可以挖掘预定义人体骨架之外的额外关节关联。 运动学模型是一种由相互连接的骨骼和关节构成、带有运动学约束的铰接式人体表示，近年来在三维人体姿态估计（3D HPE）领域受到了越来越多的关注。许多方法利用运动学模型带来的先验知识，例如骨骼关节连接信息、关节旋转特性、固定骨长比，来实现合理的姿态估计，例如参考文献 [^58] [^108] [^160] [^173] [^174] [^245] [^263] [^309]。Zhou等人 [^309] 将运动学模型作为运动学层嵌入网络，以施加方向和旋转约束。Nie等人 [^173] 和Lee等人 [^110] 采用骨架LSTM网络来利用关节关系和连接特性。观察到基于运动学结构的人体各部位具有不同的自由度（DOF），Wang等人 [^245] 和Nie等人 [^174] 提出了双向网络来建模人体骨骼的运动学和几何依赖关系。Kundu等人 [^107] [^108] 设计了一种运动学结构保留方法，通过基于能量的损失推断局部运动学参数，并基于父相对局部肢体运动学模型探索了二维部件分割。Xu等人 [^263] 证明了二维关节中的噪声是阻碍准确三维姿态估计的关键因素之一。因此，他们采用二维姿态校正模块，基于运动学结构修正不可靠的二维关节。Zanfir等人 [^278] 引入了运动学潜在归一化流表示（即应用于原始分布的一系列可逆变换），搭配可微分语义人体部位对齐损失函数。 --- 三维人体姿态估计（3D HPE）数据集通常采集自受控环境，仅包含选定的常见动作。很难为野外数据获取准确的三维姿态标注。因此，处理带有非常规姿态和遮挡的野外数据的三维人体姿态估计仍然是一项挑战。为此，有一类二维到三维升维方法可以在没有三维姿态标注的情况下，从野外图像中估计三维人体姿态，例如参考文献 [^19] [^64] [^242] [^271] [^308]。Zhou等人 [^308] 提出了一种弱监督迁移学习方法，使用野外图像的二维标注作为弱标签。一个三维姿态估计模块被连接到二维姿态估计模块的中间层。对于野外图像，二维姿态估计模块执行有监督的二维热图回归，同时在弱监督三维姿态估计模块中施加三维骨长约束损失。Habibie等人 [^64] 设计了投影损失，用于在没有三维标注的情况下优化三维人体姿态。他们设计了三维-二维投影模块，利用网络前一层输出的预测三维姿态估计二维人体关节位置。投影损失可在不需要三维标注的情况下更新三维人体姿态。受参考文献 [^50] 启发，Chen等人 [^19] 基于升维的闭包性和不变性，提出了一种无监督升维网络，为升维-重投影-升维过程添加几何自一致性损失。闭包性指的是：对于一个升维得到的三维骨骼，经过随机旋转和重投影后，得到的二维骨骼会落在有效二维姿态的分布范围内。不变性指的是：当改变三维骨骼的二维投影视点时，重新升维得到的三维骨骼应当与原三维骨骼一致。 与从单目图像估计三维人体姿态不同，视频能够提供时序信息，从而提升三维人体姿态估计（3D HPE）的准确率和鲁棒性，例如相关研究见[^13] [^34] [^44] [^187] [^227] [^248] [^311] [^312]。Hossain和Little [^201]提出了一种循环神经网络，该网络使用带shortcut连接的长短期记忆（Long Short-Term Memory, LSTM）单元，从人体姿态序列中挖掘时序信息。他们的方法在序列到序列网络中利用历史信息，预测时序一致的三维姿态。Dabral等人[^44]、Cai等人[^13]和Li等人[^127]注意到，已有研究通常忽略了空间约束与时序相关性之间的互补特性，因此他们利用时空关系与约束（例如骨长约束、左右对称约束），提升了序列帧下3D HPE的性能。Pavllo等人[^187]提出了一种时间卷积网络，基于连续二维序列的二维关键点估计三维姿态。然而，他们的方法基于预测误差在时序上不连续且相互独立的假设，该假设在存在遮挡的情况下并不成立[^34]。Chen等人[^187]在文献[^23]的基础上，增加了骨骼方向模块和骨骼长度模块，确保人体解剖结构在视频帧之间的时序一致性；而Liu等人[^138]利用注意力机制识别关键帧，并在大时间感受野中建模长程依赖关系。Zeng等人[^281]采用分合策略解决稀有和未见姿态的问题：人体首先被拆分为局部区域，由独立的时间卷积网络分支分别处理，随后将每个分支得到的低维全局上下文融合，以维持全局一致性。 得益于自注意力机制，Transformer架构已经成为自然语言处理领域的首选模型，目前该架构在计算机视觉领域也发展迅速。近期研究已经证明，Transformer注意力机制在各类视觉任务中具备强大的全局表征能力[^97]。Zheng等人[^304]提出了首个纯基于Transformer的3D HPE方法，名为PoseFormer，该方法不涉及卷积架构。其中空间Transformer模块编码人体关节之间的局部关系，时间Transformer模块捕捉整个序列中跨帧的全局依赖关系。Li等人[^120]进一步设计了多假设Transformer，挖掘多个姿态假设的时空表征。Zhao等人[^299]进一步提出了PoseFormerV2，该方法利用长骨架序列在 --- 频域中的紧凑表征，有效扩大了感受野，提升了对带噪声二维关节检测的鲁棒性。 B. 人体网格恢复（Human Mesh Recovery, HMR）。HMR方法会采用SMPL这类参数化人体模型[^143]来重建人体网格，如图4(c)所示。SMPL（Skinned Multi-Person Linear，蒙皮多人线性）模型[^143]是三维人体姿态估计（3D HPE）领域应用广泛的模型，可对展现软组织动力学特性的自然姿态依赖形变进行建模。为了学习人体随姿态变化的形变规律，SMPL使用1786组覆盖不同受试者、不同姿态的高分辨率三维扫描数据，搭配模板网格来优化混合权重[^95]、姿态依赖混合形状、平均模板形状，以及从顶点到关节位置的回归器。通过模型预定义的关节回归矩阵[^101]即可得到三维姿态。目前还有其他常用的体积模型，包括DYNA [^193]、Stitched Puppet（拼接木偶）模型[^317]、Frankenstein & Adam [^93]，以及GHUM & GHUML(ite) [^262]。 体积模型用于恢复高质量人体网格，可提供额外的人体形状信息。作为最受欢迎的体积模型之一，SMPL模型[^143]已在三维人体姿态估计中得到广泛应用，例如参考文献[^5] [^10] [^101] [^115] [^167] [^287] [^289] [^313]，这是因为它与现有渲染引擎兼容。Tan等人[^239]、Tung等人[^236]、Pavlakos等人[^186]和Omran等人[^176]通过回归SMPL参数重建三维人体网格。Kolotouros等人[^102]没有选择预测SMPL参数的路径，而是使用图卷积神经网络（Graph-CNN）架构回归SMPL网格顶点的位置。Kocabas等人[^98]将大规模运动捕捉数据集AMASS [^152]用于其基于SMPL的方法VIBE（Video Inference for Body Pose and Shape Estimation，人体姿态与形状估计视频推理）的对抗训练。VIBE利用AMASS区分真实人体运动和姿态回归模块预测出的运动。由于真实场景中低分辨率视觉内容比高分辨率内容更常见，现有训练完善的模型在分辨率下降时可能会失效。Xu等人[^266]将对比学习方案引入基于SMPL的自监督分辨率感知网络。该自监督对比学习方案使用自监督损失和对比特征损失来保证特征与尺度的一致性。Choi等人[^37]提出了时间一致性网格恢复系统（TCMR），利用双向门控循环单元对三维人体运动输出进行平滑处理。Kolotouros等人[^103]提出了一种基于条件归一化流的概率模型，用于从二维证据恢复三维人体网格。Zheng等人[^302]设计了一种基于Transformer的轻量方法，可从二维人体姿态重建人体网格，大幅降低计算量与内存消耗，同时性能可与Pose2Mesh [^38]相媲美。 近年来已有不少研究尝试在HMR中应用Transformer[130, 301–303]。Lin等人提出了METRO [^130]和MeshGraphormer [^131]，这两种方法将CNN与Transformer网络结合，从单张图像回归SMPL网格顶点。但这类方法以牺牲计算量和内存占用为代价换取更高的精度。FeatER [^303]和POTTER [^301]通过提出轻量Transformer架构降低了计算与内存成本，二者仅需要不到总参数量的10%和15%的乘积累加操作（MAC），性能却优于METRO。 已有多种基于SMPL的扩展模型，用于解决SMPL模型存在的计算复杂度高、缺少手部和面部特征点的局限性。SMPLify [^109]是一种将SMPL模型拟合到检测得到的二维关节并最小化重投影误差的优化方法。Pavlakos等人 [^182]提出了名为SMPL-X的新模型，该模型还可以预测全关节手部和面部特征点。遵循SMPLify的方法，他们还提出了SMPLify-X，这是从AMASS数据集学习得到的改进版本 [^152]。Hassan等人 [^65]进一步将SMPLify-X扩展为PROX——该方法通过添加三维环境约束，实现带物体排除的邻近关系约束。Kolotouros等人 [^101]将基于回归和基于优化的SMPL参数估计方法整合为一种名为SPIN（SMPL oOptimization IN the loop）的新方法，在训练循环中引入SMPLify。 --- ![Image](images/401b4341692d885183d00cd5dbdb845157e5646709a3ca8ed7bea09001dbb689.jpg)
(a) Top-Down Approaches
![Image](images/9af6bfc626fb86fedd669860e82c42acf974fdd53c76c76e54af94ba3f8bbf83.jpg)
(b) Bottom-Up Approaches
Fig. 5. Illustration of the multi-person 3D HPE frameworks. (a) Top-down methods first detect single-person regions by human detection network. For each single-person region, individual 3D poses can be estimated by 3D pose network. Then, all 3D poses are aligned to the world coordinate. (b) Bottom-up methods first estimate all body joints and depth maps, then associate body parts to each person according to the root depth and part relative depth. Part of the figure is from Reference [^300].
估计得到的二维姿态被用作迭代优化流程的初始化，用于生成更准确的三维姿态与形状。 除了基于SMPL的模型，其他模型也被用于恢复三维人体姿态或网格，例如参考文献 [^195] [^212] [^243]。Chen等人 [^35]提出了圆柱人体模型（Cylinder Man Model），为三维数据生成遮挡标签并进行数据增强，还引入了姿态正则化项对错误估计的遮挡标签进行惩罚。Xiang等人 [^258]利用Adam模型 [^93]重建三维运动，提出了名为三维部位方向场（3D Part Orientation Fields, POFs）的三维人体表示方法，用于在二维空间中编码人体部位的三维方向。Wang等人 [^243]提出了一种新的人体网格骨骼级蒙皮模型，通过设置骨长和关节角度，将骨骼建模与身份特异性变化解耦。Fisch和Clark [^57]提出了一种方向关键点模型，可计算用于六维人体姿态估计（6D HPE）的完整三轴关节旋转，包括偏航、俯仰和滚转。 3.1.2 单视图多人三维人体姿态估计（3D HPE）。针对单目RGB图像或视频的三维多人人体姿态估计，其分类与二维多人人体姿态估计类似，分为自上而下方法和自下而上方法，分别如图5(a)和图5(b)所示。第2.2节中对二维自上而下和自下而上方法的对比同样适用于三维场景。 自上而下方法。三维多人人体姿态估计的自上而下方法首先进行人体检测，检测出每个单独的个体。随后，针对每个检测到的人，由三维姿态网络估计绝对根节点（人体中心关节）坐标和相对于根节点的三维姿态。基于每个人的绝对根节点坐标和其相对根节点的姿态，所有姿态都会被对齐到世界坐标系下。Rogez等人 [^207]定位每个人的候选区域以生成潜在姿态，并使用回归器联合优化姿态候选。这种定位-分类-回归方法名为LCR-Net，在受控环境数据集上表现良好，但无法很好地泛化到自然场景图像。为了解决这个问题，Rogez等人 [^208]提出了LCR-Net++，通过对训练数据使用合成数据增强来提升性能。Zanfir等人 [^279]在结合场景约束的三维多人人体姿态估计模块中添加了语义分割。此外，对于基于视频的多人三维人体姿态估计，该方法使用匈牙利匹配法解决了三维时间分配问题。Moon等人 [^165] --- 在自上而下的流水线框架下提出了一种感知相机距离的方法。RootNet估计人体根节点相对于相机的坐标。随后，所提出的PoseNet对每个裁剪出的人体估计相对于根节点的三维姿态。Benzine等人 [^8] 提出了一种单阶段方法，命名为PandaNet（Pose estimAtioN and Detection Anchor-based Network）。该方法引入了低分辨率的基于锚框的表示，以解决遮挡问题。开发了感知姿态的锚框选择模块，通过去除模糊锚框来解决重叠问题。该方法还对不同尺度对应的损失进行自动加权，以处理不同尺寸人物的不平衡问题。Li等人 [^113] 解决了自上而下方法中缺乏全局信息的问题。他们采用分层多人序数关系方法，利用身体级语义和全局一致性分层编码交互信息。 自下而上方法。与自上而下方法不同，自下而上方法首先生成所有人体关节位置和深度图，再根据根节点深度和部件相对深度将人体部件关联到每个人。自下而上方法的核心挑战之一是如何对属于每个人的人体关节进行分组。Zanfir等人 [^280] 将人物分组问题建模为二进制整数规划（BIP）问题。他们使用肢体评分模块估计检测到关节的候选运动学连接，再通过骨架分组模块求解BIP问题，将肢体组装为完整骨架。Nie等人 [^175] 提出了单阶段多人姿态机（SPM），为每个人定义唯一身份根关节。该方法利用密集位移图将人体关节对齐到每个根关节。不过该方法存在局限：只有配对的二维图像和三维姿态标注可用于监督学习。针对无配对二维图像和三维姿态标注的场景，Kundu等人 [^106] 提出了一种冻结网络，在实际部署范式下利用两种不同模态之间的共享潜在空间，将学习任务转化为跨模型对齐问题。Fabbri等人 [^53] 开发了一种基于距离的启发式方法，用于多人场景下的关节关联。具体来说，该方法从检测到的头部（即置信度最高的关节）出发，通过选择三维欧氏距离最近的关节来连接剩余关节。Chen等人 [^33] 在其方法中融合了自上而下和自下而上两种思路：自上而下网络首先估计每个边界框内的关节热图，随后自下而上网络利用估计得到的关节热图处理尺度变化问题。 自下而上方法的另一项挑战是遮挡。为应对这一挑战，Metha等人 [^159] 提出了抗遮挡姿态图（ORPM）方法，在位置图的构造中引入冗余，便于热图中的人物关联，尤其是在遮挡场景中。Zhen等人 [^300] 利用感知深度的部件关联算法，通过对人际遮挡和骨骼长度约束进行推理，将关节分配给不同个体。Mehta等人 [^158] 先不考虑精度，快速推断可见身体关节的中间三维姿态，之后通过学习到的姿态先验和全局上下文推断被遮挡关节，重建出完整的三维姿态。最后通过应用时间一致性和拟合运动学骨骼模型对最终三维姿态进行优化。 自顶向下方法与自底向上方法的对比。自顶向下方法通常依靠先进的人体检测方法和单人HPE方法取得了不错的效果，但随着人数增加，尤其是在拥挤场景中，计算复杂度和推理时间会变得过高。此外，由于自顶向下方法首先检测每个人的 bounding box，场景中的全局信息可能会被忽略。裁剪区域的估计深度可能与实际深度排序不一致，预测得到的人体也可能出现在重叠位置。相反，自底向上方法具有线性计算复杂度和时间复杂度。然而，如果目标是恢复三维人体网格，自底向上方法很难直接处理该问题 --- 重建人体网格。对于自顶向下方法，检测到每个独立人体后，结合单人三维人体网格恢复方法就能轻松恢复每个人的人体网格；而对于自底向上方法，则需要额外的模型回归器模块，基于最终的三维姿态重建人体网格。 3.1.3 多视角三维HPE。对于单视角设置下的三维HPE而言，局部遮挡是一项极具挑战性的问题。解决该问题的自然方案是从多个视角估计三维人体姿态，因为一个视角中被遮挡的部分在其他视角中可能是可见的。要从多个视角重建三维姿态，需要解决不同相机之间对应位置的关联问题。我们没有在该类别中区分单人还是多人，因为多视角设置主要用于多人姿态估计。 一组方法[^48] [^49] [^128] [^198] [^235]利用人体模型解决关联问题，通过优化模型参数使模型投影与二维姿态匹配。应用广泛的三维图像结构模型[^12]就是这类模型的代表。然而，这类方法通常需要占用大量内存，计算成本高昂，尤其是多视角设置下的多人三维人体姿态估计（3D HPE）任务。Rhodin等人[^206]在网络中引入了多视角一致性约束，但该方法需要大量三维真值训练数据。为了克服这一局限，Rhodin等人[^205]进一步提出了一种编解码框架，可在无需三维标注的情况下，从多视角图像和背景分割结果中学习感知几何的三维潜在表示。Chen等人[^20]、Mitra等人[^162]、Zhang等人[^292]以及Huang等人[^69]提出了多视角匹配框架，借助一致性约束重建所有视角下的三维人体姿态。Pavlakos等人[^185]和Zhang等人[^295]基于所有标定相机参数，将多视角图像的二维关键点热图聚合到三维图像结构模型中。但当多视角相机环境发生变化时，模型需要重新训练。Qiu等人[^198]和Kocabas等人[^100]利用对极几何匹配成对多视角姿态来重建三维姿态，并将方法推广适配到新的多视角相机环境中。需要注意的是，若不引入循环一致性约束，单独对每对视角进行匹配可能会得到错误的三维姿态重建结果[^48]。Tu等人[^235]在三维体素空间中聚合每个相机视角的所有特征，避免单个相机视角产生错误估计。他们分别设计了长方体候选框网络和姿态回归网络，用于定位所有人员和估计三维姿态。当可用视角足够多（超过10个）时，使用所有视角进行三维姿态估计并不现实。Pirinen等人[^191]提出了一种自监督强化学习方法，选择少量视角通过三角测量重建三维姿态。Wang等人[^251]提出了一种基于Transformer的模型，无需依赖任何中间任务即可直接从多视角图像回归得到三维姿态。所提出的多视角姿态Transformer（MvP）被设计用于表示多人关节的查询嵌入。多视角信息通过一种新型的几何引导注意力机制完成融合。 除准确率之外，轻量架构、快速推理速度，以及对新相机设置的高效适配性，也是多视角HPE中需要纳入考虑的因素。与将所有视角输入统一匹配的文献[^48]不同，Chen等人[^22]采用迭代处理策略，在三维姿态迭代更新的过程中，将每个视角的二维姿态与三维姿态不断匹配。相较于先前方法中运行时间会随相机数量增加而激增的问题，该方法具备线性时间复杂度。Remelli等人[^203]将每个视角的图像编码到统一的潜在表示中，使特征图与相机视角解耦。作为一种轻量的规范融合方法，这些二维表示通过基于GPU的直接线性变换升维得到三维姿态，加快了处理速度。为了提升多视角融合方案的泛化能力，Xie等人[^260]提出了一种预训练的 --- 多视图融合模型（MetaFuse）能够在仅拥有少量标注数据的情况下高效适配新的相机设置。研究人员采用模型无关元学习框架，学习通用融合模型的最优初始化参数以完成适配。为降低VoxelPose [^235]的计算成本，Ye等人提出了Faster VoxelPose [^273]，该方法将特征体重新投影到三个二维坐标平面上，分别从三个平面估计X、Y、Z坐标。Faster VoxelPose的帧率可达31.1 fps，与原始VoxelPose相比，速度提升了近$10 \times$。 ### 3.2 来自其他来源的3D HPE 尽管单目RGB相机是3D HPE最常用的设备，其他传感器（例如深度传感器、IMU和射频设备）也被用于该任务。 深度传感器与点云传感器：近年来，深度传感器凭借低成本、普及率不断提升的优势，在三维计算机视觉任务中获得了越来越多的关注。深度歧义性是3D HPE的核心挑战之一，使用深度传感器可以缓解该问题。Yu等人[^275]、Xiong等人[^261]、Kakkhodamohammadi等人[^94]以及Zhi等人[^305]利用深度图像估计三维人体姿态。 与深度图像相比，点云能够提供更多信息。当前最先进的点云特征提取技术PointNet [^196]和PointNet++ [^197]，已经在分类和分割任务中展现出优异的性能。Jiang等人[^86]和Wang等人[^249]将PointNet++与三维人体模型相结合，重建三维人体网格。 结合IMU与单目图像：可穿戴惯性测量单元（IMU）能够通过记录运动跟踪人体各部位的方向和加速度，且不受物体遮挡和衣物遮挡的影响。Marcard等人[^240] [^241]、Huang等人[^74]、Zhang等人[^294]以及Huang等人[^70]提出了基于IMU的HPE方法来重建三维人体姿态。但使用IMU时，随时间推移可能会出现漂移问题。 射频设备：基于射频（RF）的传感技术也被应用于3D HPE，例如参考文献[^298]和[^297]。这类基于射频的传感系统的主要优势在于，信号可穿墙，能在WiFi频段范围内经人体反射完成探测，不需要目标携带无线发射器。此外，由于采集的是非视觉数据，还可以保护隐私。但与视觉相机图像相比，射频信号的空间分辨率相对较低，现有射频系统只能得到较为粗糙的三维姿态估计结果。 其他传感器/来源：除上述传感器外，Isogawa等人[^79]利用非视距（NLOS）成像系统捕获的光子三维时空直方图估计三维人体姿态。部分方法[^229] [^230] [^265]通过鱼眼相机解决第一视角三维姿态估计问题。Saini等人[^210]利用多架自主微型空中飞行器（MAV）采集的图像估计人体运动。Clever等人[^43]聚焦于基于压力传感垫采集的压力图像，实现卧床静息姿态的HPE。 ### 3.3 3D HPE 总结 近年来，3D HPE领域取得了显著进展。由于大量3D HPE方法采用2D到3D提升策略，随着2D HPE研究的发展，3D HPE的性能得到了大幅提升。OpenPose [^16]、AlphaPose [^55]和HRNet [^221]等部分2D HPE方法已被广泛用作3D HPE方法中的2D姿态检测器。除3D姿态外，部分方法还可从图像或视频中恢复3D人体网格，例如参考文献[^98] [^101] [^282] [^306]。然而，尽管目前已取得诸多进展，该领域仍存在多项挑战。 其中一项挑战是模型泛化能力。高质量的3D真值姿态标注依赖动作捕捉系统，而这类系统难以轻松部署在任意环境中。因此，现有数据集大多是在受限场景中采集得到的。目前性能最优的方法能够 --- 在这些数据集上取得可观的结果，但应用于野外数据时性能会出现下降。我们可以利用游戏引擎生成包含多样化姿态和复杂场景的合成数据集，例如SURREAL数据集 [^238]和GTA-IM数据集 [^15]。但由于合成数据和真实数据之间存在分布差距，从合成数据中学习往往无法达到理想的性能。 和2D HPE一样，对遮挡的鲁棒性和计算效率也是3D HPE面临的两大核心挑战。在拥挤场景中，由于存在严重的相互遮挡，且每个人物的分辨率可能较低，现有3D HPE方法的性能会大幅下降。3D HPE对计算量的要求高于2D HPE。例如，2D到3D提升方法依赖2D姿态作为中间表示来推断3D姿态，因此开发在保持高姿态估计准确率的同时兼具计算效率的2D HPE流程至关重要。 ## 4 数据集与评价指标 数据集是开展HPE研究的必要基础，也是实现不同算法之间公平比较的必要条件。本节将介绍用于评估基于深度学习的2D和3D HPE方法的最常用数据集和评价指标，并总结现有方法在这些流行数据集上取得的结果。 ### 4.1 2D HPE数据集 尽管2014年之前已有多个可用于2D HPE任务的数据集，但近期研究很少使用这些数据集，因为它们存在多项缺陷，例如缺少多样化的动作、数据量有限等。基于深度学习的方法需要大量训练数据支撑，因此本节主要讨论近年提出的大规模二维人体姿态数据集。 马克斯·普朗克信息学研究所发布的MPII人体姿态数据集 [^3]是用于关节式HPE评估的流行数据集，包含约25000张图像，共计超过40000个标注了身体关节的人物。该数据集由Amazon Mechanical Turk的工作人员完成标注，拥有丰富的标注信息，包括身体部位遮挡、3D躯干和头部朝向等。MPII中的图像适用于2D单人或多人HPE任务。 微软发布的Common Objects in Context（COCO）数据集 [^132]是目前应用最广泛的大规模数据集。它拥有超过33万张图像、20万个标注了关键点的目标，每个个体都标注了17个关节。此外，Jin等人 [^89]提出了为HPE提供全身标注的COCO-WholeBody数据集。 PoseTrack数据集[^1]是面向视频中HPE与关节跟踪的大规模数据集，包含拥挤环境下身体部位遮挡与截断的场景。PoseTrack数据集共有两个版本：PoseTrack2017 [^1]包含514个视频序列，共16219个姿态标注，划分为250个训练序列、50个验证序列和214个测试序列。PoseTrack2018 [^2]包含1138个视频序列，共153615个姿态标注，划分为593个训练序列、170个验证序列和375个测试序列。PoseTrack中每个标注人物标注了15个关节，额外还标注了关键点可见性。 关于LSP [^90]、FLIC [^213]、AIC-HKD [^257]、CrowdPose [^114]、Penn Action [^291]、J-HMDB [^83]和HiEve [^133]等其他数据集的详细信息，请读者查阅原始文献。这些数据集的汇总信息如表1所示。 ### 4.2 二维HPE的评价指标 想要精确评价HPE的性能十分困难，因为需要考虑诸多不同的特征和需求（例如上半身/全身人体、单人/多人姿态估计、人体尺寸等）。因此，二维HPE领域使用了多种评价指标，本文在此总结常用的指标。 ---
Table 1. Datasets for 2D HPE
Image-based datasets
NameYearSingle-Person /Multi-PersonJointsNumber of imagesEvaluation protocol
TrainValTest
LSP [^90]2010Single141k-1kPCP
LSP-extended [^91]2011Single1410k--PCP
FLIC [^213]2013Single105k-1kPCP&PCK
FLIC-full [^213]2013Single1020k--PCP&PCK
FLIC-plus [^232]2014Single1017k--PCP&PCK
MPII [^3]2014Single1629k-12kPCPm/PCKh
Multiple163.8k-1.7kmAp
COCO2016 [^132]2016Multiple1745k22k80kAP
COCO2017 [^132]2017Multiple1764k2.7k40kAP
AIC-HKD [^257]2017Multiple14210k30k60kAP
CrowdPose [^114]2019Multiple1410k2k8kmAP
Video-based datasets
NameYearSingle-Person /Multi-PersonJointsNumber of videosEvaluation protocol
TrainValTest
Penn Action [^291]2013Single131k-1k-
J-HMDB [^83]2013Single150.6k-0.3k-
PoseTrack2017 [^1]2017Multiple1525050214mAP
PoseTrack2018 [^2]2018Multiple15593170375mAP
HiEve [^133]2020Multiple1419-13mAP
正确部件百分比（Percentage of Correct Parts, PCP）[^51]是早期二维HPE研究中常用的评价指标，通过评估骨骼预测结果来得到肢体的定位精度。当预测关节与真实关节的距离小于肢体长度的一定比例（范围在0.1到0.5之间）时，即认为该肢体定位正确。部分研究中，当阈值取0.5时，PCP指标也记为PCP@0.5。该指标用于单人HPE的评价。但PCP在最新研究中已未被广泛使用，因为它会对本身更难检测的短肢体施加额外惩罚。PCP指标越高，代表模型性能越好。为了解决PCP的缺陷，研究者提出了检测关节百分比（Percentage of Detected Joints, PDJ）指标：当预测关节与真实关节的距离在躯干直径的一定比例范围内时，即认为该预测关节检测成功 [^233]。 正确关键点百分比（Percentage of Correct Keypoints, PCK）[^272]同样用于在给定阈值下衡量不同关键点的定位精度。当阈值设置为每张测试图像头部段长度的50%时，该指标记为PCKh@0.5；当检测关节与真实关节的距离小于躯干直径的0.2倍时，该指标记为PCK@0.2。PCK值越高，代表模型性能越好。 平均精度（Average Precision, AP）和平均召回率（Average Recall, AR）。AP 是根据精确率（真阳性结果占所有预测阳性结果的比例）和召回率（真阳性结果占真实阳性样本总数的比例）衡量关键点检测准确率的指标，它会计算召回率在 0 到 1 区间内的平均精度值。AP 存在多个相似变体，例如关键点平均精度（Average Precision of Keypoints, APK）就被提出于参考文献 [^272] 中。均值平均精度（Mean Average Precision, mAP）是所有类别平均精度的均值，是 MPII 和 PoseTrack 数据集上广泛使用的评估指标。AR 是 COCO 关键点评估中使用的另一项指标 [^132]。目标关键点相似度（Object Keypoint Similarity, OKS）的作用类似于目标检测中的交并比（Intersection over Union, IoU），用于 AP 或 AR 的计算。该指标根据目标的尺度以及预测关键点与真实关键点之间的距离计算得到，COCO 评估通常将 10 个 OKS 阈值下的 mAP 作为评估指标。 ### 4.3 二维人体姿态估计（2D HPE）方法的性能对比 单人二维人体姿态估计：表 2 展示了不同单人二维 HPE 方法在 MPII 数据集上使用 PCKh@0.5 指标的对比结果。尽管基于热图的方法和基于回归的方法都取得了出色的效果，但二者在二维单人 HPE 任务中都存在各自的局限性。回归方法可以通过端到端框架学习输入图像到 ---
Table 2. Comparison of Different Methods on the MPII Dataset for 2D Single-person HPE Using PCKh@0.5 Measure (i.e., the Threshold is Equal to 50% of the Head Segment Length of Each Test Image)
Max Planck Institute for Informatics (MPII)
YearMethodHeadShoulderElbowWristHipKneeAnkleMeanParame (M)FLOPS(%)
H2017[^41]98.596.391.988.190.688.085.091.3-14.7
2017[^40]98.596.292.588.791.188.686.092.07.3-
2018[^96]98.596.892.788.490.689.386.392.1--
2018[^224]98.496.992.688.791.889.486.292.315.533.6
2018[^250]98.596.491.987.691.188.184.191.5--
2019[^231]98.696.992.889.091.589.085.792.328.59.5
2019[^230]98.697.692.888.891.789.886.692.323.941.4
2019[^121]98.497.193.289.292.090.185.592.6--
2020[^6]-------92.7--
2020[^14]98.597.393.989.992.090.686.893.0--
2021[^125]97.195.990.486.089.387.182.590.228.1-
R2017[^222]97.294.387.981.286.578.575.486.4--
2019[^234]97.594.391.587.486.087.183.791.13.09.0
2019[^40]98.196.692.087.590.68882.791.2--
2021[^116]97.396.090.684.389.785.579.089.5--
2021[^153]98.095.991.086.089.886.682.690.4--
2022[^154]-------7.5--
注：参考文献 [^14] [^76] [^121] [^125] [^207] [^221] 为二维多人 HPE 方法，本文也将其应用于单人场景。 H：热图法；R：回归法。（红色：性能最优；蓝色：性能次优）。
Table 3. Comparison of Different 2D Multi-person HPE Methods on the Test-dev Set of the COCO Dataset Using AP Measure (AP.5: AP at OKS = 0.50; AP.75: AP at OKS = 0.75; AP(M) Is Used for Medium Objects; AP(L) is used for Large Objects)
Microsoft Common Objects in Context (COCO)
YearMethodExtraBackboneImageAPAP75APMAPN1AWN1Param(M)FLOPS
T2019[^22]noHBN-W32384 x 28874.992.582.871.380.928.316.9
2019[^22]noHBN-W4888.4 x 28875.592.581.571.981.563.682.9
2019[^22]yesHBN-W48384 x 28877.092.784.573.483.163.632.9
2019[^12]yes4xResNet-50384 x 28877.193.884.673.482.3--
2020[^28]yesHBN-W48384 x 28876.292.581.672.582.463.632.9
2020[^13]yesHBN-W48384 x 28877.492.684.673.683.763.632.9
2020[^28]no4xResNet-50384 x 28878.694.086.675.581.311.165.0
2021[^15]noHBN-W48256 x 19275.092.282.371.382.117.522.8
2021[^15]noHBN-W48384 x 28875.992.383.472.281.129.822.1
2021[^14]noHBN-W48384 x 28879.293.685.974.384.333.470.1
2022[^10]noTransformer256 x 19275.289.881.771.782.120.88.7
B2017[^17]noHornless140 x 14065.586.872.368.672.6--
2018[^17]noHornless1401 x 140168.789.075.464.175.568.7405.5
2019[^28]noResNet-101800 x 100064.887.871.160.471.3--
2020[^28]noHornless512 x 51267.685.173.762.774.6--
2020[^31]noHBN-W48640 x 64070.589.377.266.675.863.8154.3
2021[^46]noHBN-W48640 x 64072.090.778.867.877.763.8154.6
2022[^24]noHBN-W32640 x 64072.891.279.968.379.3--
Extra：训练使用了额外数据。T：自上而下；B：自下而上。 关键点坐标的非线性映射，该方案提供了快速的学习范式和亚像素级的预测精度。然而，由于该问题具有高度非线性，回归方法通常只能得到次优解 [^148]。基于热图的方法性能优于基于回归的方法，在二维 HPE 中应用更广泛 [^14] [^121] [^148]，原因在于：（1）热图中每个像素的概率预测可以提升关键点定位的准确率；（2）热图保留了空间位置信息，能够提供更丰富的监督信息。但预测关键点的精度依赖于热图的分辨率，使用高分辨率热图会显著增加计算成本和内存占用 [^221]。 多人2D HPE：表3展示了不同2D HPE方法在COCO数据集test-dev集合上的实验结果，同时汇总了各方法的实验设置（额外数据、模型骨干、输入图像尺寸）和AP评分。对比实验体现了自上而下和自下而上方法在多人HPE中的突出效果。通常来说，自上而下流程的效果更好，因为它先通过检测方法从图像中检测出每个个体，再用单人HPE方法预测关键点位置。在这种情况下，由于背景大部分被去除，每个检测到的人的关键点估计难度更低。不过，自下而上方法通常比自上而下方法速度更快，因为它们直接检测所有关键点，再通过关键点关联策略将其分组为每个人的姿态，包括亲和性链接[^16]、关联嵌入[^170]和像素级关键点回归[^310]。除了上述基于图像的方法，表4还展示了近期基于视频的研究在PoseTrack2017和PoseTrack2018数据集上的对比，汇总了测试集的详细结果。 ---
Table 4. Comparison of Different 2D Video-based HPE Methods on the PoseTrack2017 Test Set and PoseTrack2018 Test Set
PoseTrack2017
YearMethodBackboneHeadShoulderElbowWristHipKneeAnkleTotal
2018[^47]VGG---53.1--50.463.4
2019[^9]HRNet-W4879.584.380.175.877.676.870.877.9
2020[^218]Transformer---71.9--65.074.0
2021[^139]HRNet-W4884.384.980.576.177.977.171.279.2
2022[^140]HRNet-W4886.186.181.877.479.579.173.680.9
PoseTrack2018
2018[^63]ResNet-152---74.5--69.076.4
2019[^9]HRNet-W4878.984.480.976.875.677.571.878.0
2021[^139]HRNet-W4882.884.080.877.276.177.672.379.0
2022[^140]HRNet-W4883.684.581.477.976.878.372.979.6
Table 5. Datasets for 3D HPE
DatasetYearCapture systemEnvironmentSizeSingle personMulti-personSingle viewMulti-view
HumanEva [^217]2010Marker-based MoCapIndoor6 subjects, 7 actions, 40k framesYesNoYesYes
Human3&M [^77]2014Marker-based MoCapIndoor11 subjects, 17 actions, 3.6M framesYesNoYesYes
CMU Panoptic [^92]2016Marker-less MoCapIndoor8 subjects, 1.5M framesYesYesYesYes
MPI-INF-3DHP [^157]2017Marker-less MoCapIndoor and outdoor8 subjects, 8 actions, 1.3M framesYesNoYesYes
TotalCapture [^234]2017Marker-based MoCap with IMUsIndoor5 subjects, 5 actions, 1.9M framesYesNoYesYes
3DPW [^240]2018Hand-held cameras with IMUsIndoor and outdoor7 subjects, 51k framesYesYesYesNo
MuPoTs-3D [^159]2018Marker-less MoCapIndoor and outdoor8 subjects, 8k framesYesYesYesYes
AMASS [^152]2019Marker-based MoCapIndoor and outdoor300 subjects, 9M framesYesNoYesYes
NBA2K [^314]2020NBA2K19 game engineIndoor27 subjects, 27k posesYesNoYesNo
GTA-IM [^15]2020GTA game engineIndoor1M framesYesNoYesNo
Occlusion-Person [^295]2020Unreal Engine 4 game engineIndoor73k framesYesNoYesYes
### 4.4 3D HPE数据集 与大量带有高质量标注的二维人体姿态数据集不同，为3D HPE数据集获取准确的三维标注是一项极具挑战性的工作，需要动作捕捉系统（如MoCap和可穿戴IMU）的支持。受篇幅限制，下文仅介绍几种被广泛使用的、面向基于深度学习的3D HPE的大规模三维姿态数据集： Human3.6M [^77]是针对单目图像和视频的3D HPE最常用的室内数据集。共有11名专业演员在室内实验室环境中，从4个不同视角完成17种动作。该数据集包含360万个带三维真值标注的三维人体姿态，标注由高精度基于标记的MoCap系统捕获。协议1使用受试者S1、S5、S6和S7的图像作为训练集，使用受试者S9和S11的图像作为测试集。 MuPoTS-3D [^159]是一个多人三维测试集，其真值三维姿态由多视图无标记MoCap系统捕获，共包含20个真实场景（5个室内场景、15个室外场景）。部分室外镜头中存在带遮挡、光照剧烈变化和镜头眩光的挑战性样本，20个序列共收集了超过8000帧画面，由8名受试者完成。 如需了解其他数据集的详细信息，请读者查阅原始文献，这些数据集包括MPI-INF-3DHP [^157]、HumanEva [^217]、CMU Panoptic Dataset [^92]、TotalCapture [^234]、MuCo-3DHP Dataset [^159]、3DPW [^240]、AMASS [^152]、NBA2K [^314]、GTAIM [^15]和Occlusion-Person [^295]。这些数据集的汇总信息如表5所示。 ### 4.5 3D HPE的评价指标 MPJPE（Mean Per Joint Position Error，平均每关节位置误差）是评估3D HPE性能最常用的指标。MPJPE通过估计三维关节和真值位置之间的欧氏距离计算，计算公式如下： $$ MPJPE=\frac{1}{N}\sum_{i=1}^{N}\left\|J_{i}-J_{i}^{*}\right\|_{2}, $$ 其中N为关节数量，$J_{i}$和$J_{i}^{*}$分别是第i个关节的真值位置和估计位置。 ---
Table 6. Comparison of Different 3D Single-view Single-person HPE Approaches on the Human3.6M dataset (Protocol 1)
ApproachesSkeleton only methodsM3PIEFA-SMPIE
YearMethods2D pose defectorImageParam(M)FLOP(s)PMaxDiceEdiGeotPhonePhotoFusePurchSelfSelfSonkaWaliWakdiWalkWalkYAverageAverage
Direct2019[^18]-----0.7431.966.739.352.070.060.068.383.736.5-63.8-----
2019[^18]-----48.554.454.452.059.485.349.952.965.871.156.652.960.944.747.856.241.9
2019[^18]-----48.548.449.149.827.951.242.048.362.037.454.851.245.445.452.752.742.6
2019[^19]-----47.360.751.460.561.149.947.368.186.253.047.861.042.160.649.357.642.6
2019[^20]-----45.449.245.749.450.458.247.946.057.563.049.746.652.238.940.849.439.1
Lifting2019[^18]-CPNimage0.50.0345.246.241.341.949.449.452.144.444.257.345.845.345.540.335.735.936.4
2019[^19]-CPNimage11-44.647.445.648.850.859.047.243.957.961.949.746.651.337.139.440.839.0
2020[^20]-CPNVideo--46.647.143.941.645.849.646.540.053.461.146.342.643.131.532.642.135.6
2020[^20]-CPNVideo--46.245.143.939.341.645.849.646.540.053.461.146.344.443.131.532.644.5
2020[^20]-CPNVideo--38.241.545.949.141.651.441.641.452.057.945.444.445.031.532.742.432.7
2021[^18]-CPNVideo590.141.544.549.149.949.941.645.141.445.057.245.244.244.031.532.844.333.9
2021[^20]-CPNVideo101.441.544.839.842.546.551.642.142.053.360.745.543.346.131.832.244.134.6
2021[^20]-CPNVideo-7.039.241.240.340.346.349.340.140.045.051.745.043.146.031.832.043.034.0
Output2021[^18]-CPNVideo410.637.040.937.339.742.349.940.150.551.755.042.159.841.029.927.040.952.4
YearVideoImageImage(mm)(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))
YearVideoImageImage(mm)(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))(LPO(s))
2019[^10]-SMFLImage------------------50.1-
2019[^10]-SMFLImage------------------41.1-
2020[^20]-AdamImage------------------58.3-
Mesh2021[^18]-SMFLImage14011----------------64.947.0
2021[^19]-SMFLImage52.553----------------57.740.8
2021[^20]-SMFLImage23057---------------54.036.7
2021[^30]-SMFLImage2916---------------51.284.2
2022[^30]-SMFLImage49----------------52.235.7
2020[^31]-SMFLImage5910---------------77.054.5
2020[^30]-SMFLImage5910---------------63.441.1
2021[^37]-SMFLVideo12310---------------62.641.4
在仅基于骨架的方法中，“Direct”表示无需经过二维姿态即可直接估计三维姿态的方法 表示。“提升”指的是将二维姿态表示提升到三维空间的方法。已公布的二维-三维提升方法的总参数量（Params）和FLOPs计算时不包含外部二维姿态检测器的参数量和FLOPs。 PA-MPJPE也称为重建误差，是估计姿态与真实姿态经过后处理刚性对齐后得到的MPJPE。 NMPJPE定义为将预测位置按尺度归一化到参考[^206]后得到的MPJPE。 MPVE（平均顶点误差）[^186]衡量真实顶点与预测顶点之间的欧氏距离： $$ MPVE=\frac{1}{N}\sum_{i=1}^{N}\left\|V_{i}-V_{i}^{*}\right\|_{2}, $$ 其中N是顶点数量，V是真实顶点，$V^{*}$是估计顶点。 3DPCK是二维人体姿态估计（HPE）评估中使用的正确关键点百分比（PCK）指标的三维扩展版本。如果估计关节与真值关节之间的距离在特定阈值范围内，则该估计关节被判定为正确。通常该阈值设置为150毫米。 总结。正如Ji等人[^84]指出，较低的MPJPE并不总能代表准确的姿态估计，因为该指标依赖于人体形状和骨架的预测尺度。尽管3DPCK对错误关节的鲁棒性更强，但它无法评估正确关节的精度。现有指标都设计用于评估单帧中估计姿态的精度，然而现有评估指标无法检验连续帧中重建人体姿态的时间一致性和平滑性。设计能够评估兼具时间一致性和平滑性的三维人体姿态估计性能的帧级评估指标仍然是一个开放问题。 ### 4.6 三维人体姿态估计方法的性能对比 单视图单人：从表6可以看出，大多数单视图单人三维人体姿态估计方法在Human3.6M数据集上都能以很高的精度估计三维人体姿态。然而，尽管Human3.6M数据集的训练和测试数据规模较大，它仅包含11名参与者在实验室环境下完成的17种活动。当在场景更复杂的野外数据上估计三维姿态时，这些方法的性能会快速下降。从视频估计三维姿态的性能优于从单张图像估计，因为视频保留了时间一致性。 ---
Table 7. Comparison of Different 3D Single-view Multi-person HPE Approaches on the MuPoTS-3D dataset
MuPoTS-3D
YearMethod3DPCK $\uparrow$fps
All peopleMatched people
Top down2019[^165]81.882.59.3
2020[^87]69.172.2-
2020[^113]82.0--
2021[^32]87.5--
Bottom up2018[^159]65.069.8-
2019[^158]70.4--
2020[^8]72.0--
2020[^300]73.580.59.3
Integrated2021[^33]89.6--
2022[^253]82.7-13.3
文中报告的帧率取自参考文献[^253]。
Table 8. Comparison of Different 3D Multi-view HPE Approaches on the Human3.6M Dataset
Human3.6M
YearMethodUse extra 3D dataProtocol 1Protocol 1FLOPs(G)
MPJPE $\downarrow$Normalized MPJPE $\downarrow$PA-MPJPE $\downarrow$
2019[^128]Yes79.9-45.1-
2019[^100]No60.660.047.5-
2019[^198]No31.2--55
2019[^198]Yes26.2--55
2020[^203]No30.2---
2020[^260]No29.3---
2020[^295]Yes19.5---
2021[^149]No25.8--50
2021[^202]Yes18.7---
2022[^150]Yes24.4--15
对于仅估计骨架的方法，二维到三维提升方法通常优于直接估计方法，这得益于当前最优的二维姿态检测器的出色性能。除了估计关节的三维坐标外，还有一类方法使用SMPL这类体模型恢复人体网格。由于数据集不提供真实网格顶点，这类方法仍然仅报告关节的MPJPE。但这类方法报告的MPJPE高于仅估计三维关节的方法。原因之一是这类方法同时回归姿态参数和形状参数，再将其输入体模型进行网格重建，仅评估关节的MPJPE无法体现它们的优势。 单视角多人场景：由于遮挡更为严重，在多人场景下估计3D人体姿态是比单人场景更困难的任务。如表7所示，近年来单视角多人HPE方法已经取得了显著进展。得益于最先进的行人检测方法和单人HPE方法，自上而下方法的性能优于自下而上方法。但自下而上方法的计算效率和时间效率更高。 多视角：对比表6和表8的结果可以明显看出，在使用相同数据集和评估指标的情况下，多视角3D HPE方法的性能（例如协议1下的MPJPE）相比单视角3D HPE方法有所提升。多视角设置可以缓解遮挡和深度歧义性问题。 ## 5 应用场景 本节我们综述了HPE在若干热门应用方向的相关研究工作。 动作识别、预测、检测与跟踪：姿态信息已被用作各类应用的线索，包括动作识别、预测、检测与跟踪。Angelini等人[^4]提出了一种基于姿态算法的实时动作识别方法。Yan等人[^267]利用姿态的动态骨骼模态实现动作识别。Markovitz等人[^155]研究了用于视频中人类动作异常检测的人体姿态图。Cao等人[^15]将预测得到的3D姿态用于长期人体运动预测。Sun等人[^220]提出了一种视角不变的概率姿态嵌入方法，用于视频对齐。Hua等人[^68]提出了一种基于注意力的对比学习框架，该框架融合了局部相似性和全局特征，用于构建基于骨骼的动作表示。 基于姿态的视频监控的优势在于保护隐私：它通过姿态和人体网格表示进行监控，无需获取敏感的个人身份信息。Das等人[^45]将姿态信息嵌入视频，以识别日常生活活动，实现人类行为监控。 动作矫正与在线指导：舞蹈、体育运动以及专业训练等活动需要精准的人体动作控制指导。通常情况下，私人教练以面对面的方式完成姿态矫正和动作指导工作。借助 --- 3D HPE和动作检测技术，AI私人教练仅需架设摄像头即可开展指导，无需专业教练在场，让健身指导变得更加便捷。Wang等人[^247]设计了一套带有姿态估计模块的AI指导系统，用于提供个性化运动训练辅助。 服装解析：电子商务的发展对包括服装购买在内的诸多方面产生了显著影响。图片展示的服装产品已经无法满足顾客的需求，顾客希望能看到自己试穿选中服装后的真实效果。服装解析[^211] [^276]和姿态迁移[^123]通过推理人们穿着特定服装后的3D外观，让这一需求成为可能。HPE可以为服装解析提供合理的人体区域。此外，基于推理得到的顾客试穿选中商品后的可靠3D外观评估适配性，还可以对推荐系统进行升级。Patel等人[^181]实现了基于3D姿态、身形和服装款式的服装预测。 动画、电影与游戏领域：动作捕捉是在动画、电影和游戏行业中，呈现带有复杂动作和真实物理交互的角色的核心组件。传统设备通常价格昂贵，且搭建流程复杂。HPE能够提供真实的姿态信息，同时降低对专业高价设备的需求 [^136] [^256]。 增强现实（AR）与虚拟现实（VR）：AR技术旨在提升真实环境中数字对象的交互体验，VR技术的目标是为用户提供沉浸式体验。AR和VR设备将人体姿态信息作为输入，以实现不同应用的目标。可以在真实场景中生成卡通角色替代真人。Weng等人 [^255] 借助三维姿态估计和人体网格恢复技术，从单张照片生成了三维角色动画。Zhang等人 [^286] 提出了一个基于姿态的系统，可将转播的网球比赛视频转换为可交互、可控制的视频精灵。 医疗健康领域：HPE可提供量化的人体运动信息，供医生诊断复杂疾病、制定康复训练方案和开展物理治疗。Lu等人 [^144] 设计了一个基于姿态的评估系统，用于评估帕金森病的运动症状严重程度。Gu等人 [^62] 开发了基于姿态的物理治疗系统，可让患者在家中就能获得评估和指导。此外，还可搭建这类系统检测异常动作，并提前预测后续动作；如果系统判断可能发生危险，会立即发出警报。Chen等人 [^25] 利用HPE算法进行跌倒检测监测，以便及时提供援助。同时，HPE方法还可以为医院环境中的患者提供可靠的姿态标注，推动自然行为神经关联相关研究 [^21]。 ## 6 结论与未来研究方向 本次综述对近年来基于深度学习的二维和三维HPE方法进行了系统性梳理，涵盖了这些方法的完整分类与性能对比。尽管该领域已经取得了丰硕成果，但正如2.3节和3.3节所讨论，目前仍然存在诸多挑战。我们进一步提出了几个具有前景的未来研究方向，以推动HPE研究的发展。 - HPE的领域自适应。对于部分应用，例如从婴儿图像中估计人体姿态 [^73] 或从艺术作品集合中估计人体姿态 [^151]，带有真值标注的训练数据十分有限。此外，这些应用的数据分布与标准姿态数据集的数据分布存在差异，在现有标准数据集上训练的HPE方法无法在不同领域间实现良好泛化。近年来，缓解领域差异的主流思路是利用基于GAN的学习方法，但如何有效迁移人体姿态知识来缩小领域差距，这一问题仍未得到解决。 • 诸如SMPL、SMPL-X、GHUM & GHUML以及Adam这类人体模型被用于构建人体网格表示，然而这些模型拥有大量的 --- 参数。如何在减少参数量的同时保留重建网格的质量是一个值得研究的有趣问题。此外，不同人的身体形状存在不同形变，一个更有效的人体模型可利用BMI [^177] 和轮廓 [^126] 这类额外信息实现更好的泛化性。 大多数现有方法都忽略了人与3D场景的交互。存在大量可供探索的强人-场景关系约束，例如人体不可能同时出现在场景中其他物体所在的位置。结合语义线索的物理约束能够得到可靠、真实的3D HPE结果。 - 3D HPE 被应用于视觉跟踪与分析领域。现有基于视频得到的3D HPE结果不够平滑连续，其中一个原因是MPJPE这类评估指标无法评价结果的平滑度与真实度。应当开发关注时间一致性和运动平滑性的合适帧级评估指标。 • 现有训练完善的网络很少关注分辨率不匹配问题。HPE网络的训练数据通常是高分辨率图像或视频，这会导致在从低分辨率输入预测人体姿态时得到不准确的估计结果。对比学习方案[^24]（例如将原始图像及其低分辨率版本作为正样本对）可能有助于构建分辨率感知型HPE网络。 视觉任务中的深度神经网络容易受到对抗攻击，不可感知的微小噪声就会显著影响HPE的性能。目前极少有研究[^82] [^135]关注HPE面临的对抗攻击问题。研究对抗攻击的防御方法可以提升HPE网络的鲁棒性，推动基于姿态的实际应用发展。 - 由于人体存在异质性，不同身体部位可能具有不同的运动模式和形态。单一共享网络架构对于估计所有自由度各不相同的身体部位而言可能并非最优方案。神经架构搜索（Neural Architecture Search, NAS）[^52]可以为每个身体部位的估计搜索最优架构[^30]。此外，NAS还可用于发现高效的HPE网络架构，从而降低计算成本[^290]。当需要满足多个目标（例如延迟、准确率和能耗）时，在HPE领域探索多目标NAS也很有价值。 HPE研讨会与挑战赛：最后，我们将2017–2022年的HPE研讨会和挑战赛汇总列在了我们的项目页面（）上，以方便该领域的研究开展。 ## 参考文献 [^1]: M. Andriluka, U. Iqbal, E. Ensafutdinov, L. Pishchulin, A. Milan, J. Gall, and B. Schiele. 2018. PoseTrack: A benchmark for human pose estimation and tracking. In CVPR. [^2]: Mykhaylo Andriluka, Umar Iqbal, Eldar Insafutdinov, Leonid Pishchulin, Anton Milan, Juergen Gall, and Bernt Schiele. 2018. PoseTrack: A benchmark for human pose estimation and tracking. In CVPR. [^3]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2014. 2D human pose estimation: New benchmark and state of the art analysis. In CVPR. [^4]: Federico Angelini, Zeyu Fu, Yang Long, Ling Shao, and Syed Mohsen Naqvi. 2018. ActionXPose: A novel 2D multi-view pose-based algorithm for real-time human action recognition. arXiv preprint arXiv:1810.12126. [^5]: Anurag Arnab, Carl Doersch, and Andrew Zisserman. 2019. Exploiting temporal context for 3D human pose estimation in the wild. In CVPR. [^6]: Bruno Artacho and Andreas Savakis. 2020. UniPose: Unified human pose estimation in single images and videos. In CVPR. [^7]: Vasileios Belagiannis and Andrew Zisserman. 2017. Recurrent human pose estimation. In FG. [^8]: Abdallah Benzine, Florian Chabot, Bertrand Luvison, Quoc Cuong Pham, and Catherine Achard. 2020. PandaNet: Anchor-based single-shot multi-person 3D pose estimation. In CVPR. ## [^9]: Gedas Bertasius, Christoph Feichtenhofer, Du Tran, Jianbo Shi, and Lorenzo Torresani. 2019. Learning temporal pose estimation from sparsely-labeled videos. In NeurIPS. --- [^10]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J. Black. 2016. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. In ECCV. [^11]: Adrian Bulat and Georgios Tzimiropoulos. 2016. Human pose estimation via convolutional part heatmap regression. In ECCV. [^12]: M. Burenius, J. Sullivan, and S. Carlsson. 2013. 3D Pictorial structures for multiple view articulated pose estimation. In CVPR. [^13]: Y. Cai, L. Ge, J. Liu, J. Cai, T. Cham, J. Yuan, and N. M. Thalmann. 2019. Exploiting spatial-temporal relationships for 3D pose estimation via graph convolutional networks. In ICCV. [^14]: Yuanhao Cai, Zhicheng Wang, Zhengxiong Luo, Binyi Yin, Angang Du, Haoqian Wang, Xinyu Zhou, Erjin Zhou, Xiangyu Zhang, and Jian Sun. 2020. Learning delicate local representations for multi-person pose estimation. arXiv preprint arXiv:2003.04030. [^15]: Zhe Cao, Hang Gao, Karttikeya Mangalam, Qizhi Cai, Minh Vo, and Jitendra Malik. 2020. Long-term human motion prediction with scene context. In ECCV. [^16]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. 2017. Realtime multi-person 2D pose estimation using part affinity fields. In CVPR. [^17]: Joao Carreira, Pulkit Agrawal, Katerina Fragkiadaki, and Jitendra Malik. 2016. Human pose estimation with iterative error feedback. In CVPR. [^18]: Ching-Hang Chen and Deva Ramanan. 2017. 3D Human pose estimation = 2D pose estimation + matching. In CVPR. [^19]: Ching-Hang Chen, Ambrish Tyagi, Amit Agrawal, Dylan Drover, Rohith Mv, Stefan Stojanov, and James M. Rehg. 2019. Unsupervised 3D pose estimation with geometric self-supervision. In CVPR. [^20]: He Chen, Pengfei Guo, Pengfei Li, Gim Hee Lee, and Gregory Chirikjian. 2020. Multi-person 3D pose estimation in crowded scenes based on multi-view geometry. In ECCV. [^21]: Kenny Chen, Paolo Gabriel, Abdulwahab Alasfour, Chenghao Gong, Werner K. Doyle, Orrin Devinsky, Daniel Friedman, Patricia Dugan, Lucia Melloni, Thomas Thesen et al. 2018. Patient-specific pose estimation in clinical environments. In IEEE J. Translat. Eng. Health Med. Vol. 6, 1–11. [^22]: Long Chen, Haizhou Ai, Rui Chen, Zijie Zhuang, and Shuang Liu. 2020. Cross-view tracking for multi-human 3D pose estimation at over 100 FPS. In CVPR. [^23]: Tianlang Chen, Chen Fang, Xiaohui Shen, Yiheng Zhu, Zhili Chen, and Jiebo Luo. 2021. Anatomy-aware 3D human pose estimation with bone-based pose decomposition. In IEEE Trans. Circ. Syst. Vid. Technol, Vol. 32, 198–209. [^24]: Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020. A simple framework for contrastive learning of visual representations. arXiv preprint arXiv:2002.05709. [^25]: Weiming Chen, Zijie Jiang, Hailin Guo, and Xiaoyang Ni. 2020. Fall detection based on key points of human-skeleton using OpenPose. In Symmetry, Vol. 12, 744. [^26]: Xianjie Chen and Alan L. Yuille. 2014. Articulated pose estimation by a graphical model with image dependent pairwise relations. In NeurIPS. [^27]: Yu Chen, Chunhua Shen, Xiu-Shen Wei, Lingqiao Liu, and Jian Yang. 2017. Adversarial PoseNet: A structure-aware convolutional network for human pose estimation. In ICCV. [^28]: Yucheng Chen, Yingli Tian, and Mingyi He. 2020. Monocular human pose estimation: A survey of deep learning-based methods. In Comput. Vis. Image Underst. Vol. 192, 102897. [^29]: Yilun Chen, Zhicheng Wang, Yuxiang Peng, Zhiqiang Zhang, Gang Yu, and Jian Sun. 2018. Cascaded pyramid network for multi-person pose estimation. In CVPR. [^30]: Zerui Chen, Yan Huang, Hongyuan Yu, Bin Xue, Ke Han, Yiru Guo, and Liang Wang. 2020. Towards part-aware monocular 3D human pose estimation: An architecture search approach. In ECCV. [^31]: Bowen Cheng, Bin Xiao, Jingdong Wang, Honghui Shi, Thomas S. Huang, and Lei Zhang. 2020. HigherHRNet: Scale-aware representation learning for bottom-up human pose estimation. In CVPR. [^32]: Yu Cheng, Bo Wang, Bo Yang, and Robby T. Tan. 2021. Graph and temporal convolutional networks for 3D multi-person pose estimation in monocular videos. In AAAI. [^33]: Yu Cheng, Bo Wang, Bo Yang, and Robby T. Tan. 2021. Monocular 3D multi-person pose estimation by integrating top-down and bottom-up networks. In CVPR. [^34]: Y. Cheng, B. Yang, B. Wang, Y. Wending, and R. Tan. 2019. Occlusion-aware networks for 3D human pose estimation in video. In ICCV. [^35]: Yu Cheng, Bo Yang, Bo Wang, Wending Yan, and Robby T. Tan. 2019. Occlusion-aware networks for 3D human pose estimation in video. In ICCV. [^36]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. 2022. Cross-attention of disentangled modalities for 3D human mesh recovery with transformers. In ECCV. ## [^37]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. 2021. Beyond static features for temporally consistent 3D human pose and shape from a video. In CVPR. --- [^38]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. 2020. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV. [^39]: Chia-Jung Chou, Jui-Ting Chien, and Hwann-Tzong Chen. 2018. Self adversarial training for human pose estimation. In APSIPA ASC. [^40]: Xiao Chu, Wanli Ouyang, Hongsheng Li, and Xiaogang Wang. 2016. Structured feature learning for pose estimation. In CVPR. [^41]: Xiao Chu, Wei Yang, Wanli Ouyang, Cheng Ma, Alan L. Yuille, and Xiaogang Wang. 2017. Multi-context attention for human pose estimation. In CVPR. [^42]: H. Ci, C. Wang, X. Ma, and Y. Wang. 2019. Optimizing network structure for 3D human pose estimation. In ICCV. [^43]: Henry M. Clever, Zackory Erickson, Ariel Kapusta, Greg Turk, Karen Liu, and Charles C. Kemp. 2020. Bodies at rest: 3D human pose and shape estimation from a pressure image using synthetic data. In CVPR. [^44]: Rishabh Dabral, Anurag Mundhada, Uday Kusupati, Safeer Afaque, Abhishek Sharma, and Arjun Jain. 2018. Learning 3D human pose from structure and motion. In ECCV. [^45]: Srijan Das, Saurav Sharma, Rui Dai, François Brémond, and Monique Thonnat. 2020. VPN: Learning video-pose embedding for activities of daily living. In ECCV. [^46]: Bappaditya Debnath, Mary O'Brien, Motonori Yamaguchi, and Ardhendu Behera. 2018. Adapting MobileNets for mobile based upper body pose estimation. In AVSS. [^47]: Andreas Doering, Umar Iqbal, and Juergen Gall. 2018. Joint flow: Temporal flow fields for multi person tracking. arXiv preprint arXiv:1805.04596. [^48]: Junting Dong, Wen Jiang, Qixing Huang, Hujun Bao, and Xiaowei Zhou. 2019. Fast and robust multi-person 3D pose estimation from multiple views. In CVPR. [^49]: Zijian Dong, Jie Song, Xu Chen, Chen Guo, and Otmar Hilliges. 2021. Shape-aware multi-person pose estimation from multi-view images. In ICCV. [^50]: Dylan Drover, Ching-Hang Chen, Amit Agrawal, Ambrish Tyagi, and Cong Phuoc Huynh. 2018. Can 3D pose be learned from 2D projections alone? In ECCV. [^51]: Marcin Eichner, Manuel Marin-Jimenez, Andrew Zisserman, and Vittorio Ferrari. 2012. 2D articulated human pose estimation and retrieval in (almost) unconstrained still images. In Int. 7. Comput. Vis. Vol. 99, 190–214. [^52]: Thomas Elsken, Jan Hendrik Metzen, and Frank Hutter. 2019. Neural architecture search: A survey. J. Mach. Learn. Res. Vol. 20, 1997–2017. [^53]: Matteo Fabbri, Fabio Lanzi, Simone Calderara, Stefano Alletto, and Rita Cucchiara. 2020. Compressed volumetric heatmaps for multi-person 3D pose estimation. In CVPR. [^54]: Xiaochuan Fan, Kang Zheng, Yuewei Lin, and Song Wang. 2015. Combining local appearance and holistic view: Dual-source deep neural networks for human pose estimation. In CVPR. [^55]: Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, and Cewu Lu. 2017. RMPE: Regional Multi-person Pose Estimation. In ICCV. [^56]: Mihai Fieraru, Anna Khoreva, Leonid Pishchulin, and Bernt Schiele. 2018. Learning to refine human pose estimation. In CVPR Workshops. [^57]: Martin Fisch and Ronald Clark. 2020. Orientation keypoints for 6D human pose estimation. arXiv preprint arXiv:2009.04930. [^58]: Georgios Georgakis, Ren Li, Srikrishna Karanam, Terrence Chen, Jana Kosecka, and Ziyan Wu. 2020. Hierarchical kinematic human mesh recovery. In ECCV. [^59]: Georgia Gkioxari, Alexander Toshev, and Navdeep Jaitly. 2016. Chained predictions using convolutional neural networks. In ECCV. [^60]: Wenjuan Gong, Xuena Zhang, Jordi González, Andrews Sobral, Thierry Bouwmans, Changhe Tu, and El-hadi Zahzah. 2016. Human pose estimation from monocular images: A comprehensive survey. In Sensors, Vol. 16, 1966. [^61]: Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial nets. In NeurIPS. [^62]: Yiwen Gu, Shreya Pandit, Elham Saraee, Timothy Nordahl, Terry Ellis, and Margrit Betke. 2019. Home-based physical therapy with an interactive computer vision system. In ICCV Workshops. [^63]: Hengkai Guo, Tang Tang, Guozhong Luo, Riwei Chen, Yongchen Lu, and Linfu Wen. 2018. Multi-domain pose network for multi-person pose estimation and tracking. In ECCV Workshops. [^64]: I. Habibie, W. Xu, D. Mehta, G. Pons-Moll, and C. Theobalt. 2019. In the wild human pose estimation using explicit 2D features and intermediate 3D representations. In CVPR. [^65]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J. Black. 2019. Resolving 3D human pose ambiguities with 3D scene constraints. In ICCV. ## [^66]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In CVPR. --- [^67]: Michael B. Holte, Cuong Tran, Mohan M. Trivedi, and Thomas B. Moeslund. 2012. Human pose estimation and activity recognition from multi-view videos: Comparative explorations of recent developments. In IEEE J. Sel. Top. Signal Process. Vol. 6, 538–552. [^68]: Yilei Hua, Wenhan Wu, Ce Zheng, Aidong Lu, Mengyuan Liu, Chen Chen, and Shiqian Wu. 2023. Part aware contrastive learning for self-supervised action recognition. In IJCAI. [^69]: Congzhentao Huang, Shuai Jiang, Yang Li, Ziyue Zhang, Jason Traish, Chen Deng, Sam Ferguson, and Richard Yi Da Xu. 2020. End-to-end dynamic matching network for multi-view multi-person 3D pose estimation. In ECCV. [^70]: Fuyang Huang, Ailing Zeng, Minhao Liu, Qiuxia Lai, and Qiang Xu. 2020. DeepFuse: An IMU-aware network for real-time 3D human pose estimation from multi-view image. In WACV. [^71]: Junjie Huang, Zheng Zhu, Feng Guo, and Guan Huang. 2020. The devil is in the details: Delving into unbiased data processing for human pose estimation. In CVPR. [^72]: Shaoli Huang, Mingming Gong, and Dacheng Tao. 2017. A coarse-fine network for keypoint localization. In ICCV. [^73]: Xiaofei Huang, Nihang Fu, Shuangjun Liu, Kathan Vyas, Amirreza Farnoosh, and Sarah Ostadabbas. 2020. Invariant representation learning for infant pose estimation with small data. arXiv preprint arXiv:2010.06100. [^74]: Yinghao Huang, Manuel Kaufmann, Emre Aksan, Michael J. Black, Otmar Hilliges, and Gerard Pons-Moll. 2018. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. In ACM Trans. Graph. [^75]: Eldar Insafutdinov, Mykhaylo Andriluka, Leonid Pishchulin, Siyu Tang, Evgeny Levinkov, Bjoern Andres, and Bernt Schiele. 2017. ArtTrack: Articulated multi-person tracking in the wild. In CVPR. [^76]: Eldar Insafutdinov, Leonid Pishchulin, Bjoern Andres, Mykhaylo Andriluka, and Bernt Schiele. 2016. DeeperCut: A deeper, stronger, and faster multi-person pose estimation model. In ECCV. [^77]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu. 2014. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments. In IEEE Trans. Pattern Anal. Mach. Intell. Vol. 36, 1325–1339. [^78]: Umar Iqbal and Juergen Gall. 2016. Multi-person pose estimation with local joint-to-person associations. In ECCV. [^79]: Mariko Isogawa, Ye Yuan, Matthew O'Toole, and Kris M. Kitani. 2020. Optical non-line-of-sight physics-based 3D human pose estimation. In CVPR. [^80]: Ehsan Jahangiri and Alan L. Yuille. 2017. Generating multiple diverse hypotheses for human 3D pose consistent with 2D joint detections. In ICCV Workshops. [^81]: Arjun Jain, Jonathan Tompson, Yann LeCun, and Christoph Bregler. 2014. MoDeep: A deep learning framework using motion features for human pose estimation. In ACCV. [^82]: Naman Jain, Sahil Shah, Abhishek Kumar, and Arjun Jain. 2019. On the robustness of human pose estimation. In CVPR Workshops. [^83]: H. Jhuang, J. Gall, S. Zuffi, C. Schmid, and M. J. Black. 2013. Towards understanding action recognition. In ICCV. [^84]: Xiaopeng Ji, Qi Fang, Junting Dong, Qing Shuai, Wen Jiang, and hou. 2020. A survey on monocular 3D human pose estimation. In Virt. Real. Intell. Hardw. Vol. 2, 471–500. [^85]: Xiaofei Ji and Honghai Liu. 2009. Advances in view-invariant human motion analysis: A review. In IEEE Trans. Syst., Man, Cybern. Vol. 40, 13–24. [^86]: Haiyong Jiang, Jianfei Cai, and Jianmin Zheng. 2019. Skeleton-aware 3D human shape reconstruction from point clouds. In ICCV. [^88]: Sheng Jin, Wentao Liu, Enze Xie, Wenhai Wang, Chen Qian, Wanli Ouyang, and Ping Luo. 2020. Differentiable hierarchical graph grouping for multi-person pose estimation. arXiv preprint arXiv:2007.11864. [^89]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. 2020. Whole-body human pose estimation in the wild. arXiv preprint arXiv:2007.11858. [^90]: Sam Johnson and Mark Everingham. 2010. Clustered pose and nonlinear appearance models for human pose estimation. In BMVC. [^91]: Sam Johnson and Mark Everingham. 2011. Learning effective human pose estimation from inaccurate annotation. In CVPR. [^92]: Hanbyul Joo, Tomas Simon, Xulong Li, Hao Liu, Lei Tan, Lin Gui, Sean Banerjee, Timothy Scott Godisart, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. 2017. Panoptic studio: A massively multiview system for social interaction capture. In IEEE Trans. Pattern Anal. Mach. Intell. 3334–3342. [^93]: H. Joo, T. Simon, and Y. Sheikh. 2018. Total capture: A 3D deformation model for tracking faces, hands, and bodies. In CVPR. [^94]: A. Kadkhodamohammadi, A. Gangi, M. de Mathelin, and N. Padoy. 2017. A multi-view RGB-D approach for human pose estimation in operating rooms. In WACV. ## [^95]: Ladislav Kavan. 2014. Part I: Direct skinning methods and deformation primitives. In ACM SIGGRAPH. --- [^96]: Lipeng Ke, Ming-Ching Chang, Honggang Qi, and Siwei Lyu. 2018. Multi-scale structure-aware network for human pose estimation. In ECCV. [^97]: Salman Khan, Muzammal Naseer, Munawar Hayat, Syed Waqas Zamir, Fahad Shahbaz Khan, and Mubarak Shah. 2021. Transformers in vision: A survey. arXiv preprint arXiv:2101.01169. [^98]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. 2020. VIBE: Video Inference for human Body pose and shape Estimation. In CVPR. [^99]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. 2018. MultiPoseNet: Fast multi-person pose estimation using pose residual network. In ECCV. [^100]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. 2019. Self-supervised learning of 3D human pose using multi-view geometry. In CVPR. [^101]: N. Kolotouros, G. Pavlakos, M. Black, and K. Daniilidis. 2019. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In ICCV. [^102]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. 2019. Convolutional mesh regression for single-image human shape reconstruction. In CVPR. [^103]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. 2021. Probabilistic modeling for human mesh recovery. In ICCV. [^104]: Sven Kreiss, Lorenzo Bertoni, and Alexandre Alahi. 2019. PifPaf: Composite fields for human pose estimation. In CVPR. [^105]: Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. 2012. ImageNet classification with deep convolutional neural networks. In NeurIPS. [^106]: Jogendra Nath Kundu, Ambareesh Revanur, Govind Vitthal Waghmare, Rahul Mysore Venkatesh, and R. Venkatesh Babu. 2020. Unsupervised cross-modal alignment for multi-person 3D pose estimation. In ECCV. [^107]: Jogendra Nath Kundu, Siddharth Seth, Varun Jampani, Mugalodi Rakesh, R. Venkatesh Babu, and Anirban Chakraborty. 2020. Self-supervised 3D human pose estimation via part guided novel image synthesis. In CVPR. [^108]: Jogendra Nath Kundu, Siddharth Seth, Mv Rahul, Mugalodi Rakesh, Venkatesh Babu Radhakrishnan, and Anirban Chakraborty. 2020. Kinematic-structure-preserved representation for unsupervised 3D human pose estimation. In AAAI. [^109]: Christoph Lassner, Javier Romero, Martin Kiefel, Federica Bogo, Michael J. Black, and Peter V. Gehler. 2017. Unite the people: Closing the loop between 3D and 2D human representations. In CVPR. [^110]: Kyoungoh Lee, Inwoong Lee, and Sanghoon Lee. 2018. Propagating LSTM: 3D pose estimation based on joint interdependency. In ECCV. [^111]: Chen Li and Gim Hee Lee. 2019. Generating multiple hypotheses for 3D human pose estimation with mixture density network. In CVPR. [^112]: Jiefeng Li, Siyuan Bian, Ailing Zeng, Can Wang, Bo Pang, Wentao Liu, and Cewu Lu. 2021. Human pose regression with residual log-likelihood estimation. In ICCV. [^113]: Jiefeng Li, Can Wang, Wentao Liu, Chen Qian, and Cewu Lu. 2020. HMOR: Hierarchical Multi-person Ordinal Relations for monocular multi-person 3D pose estimation. In ECCV. [^114]: Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, and Cewu Lu. 2019. CrowdPose: Efficient crowded scenes pose estimation and a new benchmark. In ICCV. [^115]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. 2021. HybrIK: A hybrid analytical-neural inverse kinematics solution for 3D human pose and shape estimation. In CVPR. [^116]: Ke Li, Shijie Wang, Xiang Zhang, Yifan Xu, Weijian Xu, and Zhuowen Tu. 2021. Pose recognition with cascade transformers. In CVPR. [^117]: Sijin Li and Antoni B. Chan. 2014. 3D human pose estimation from monocular images with deep convolutional neural network. In ACCV. [^118]: Sijin Li, Zhi-Qiang Liu, and Antoni B. Chan. 2014. Heterogeneous multi-task learning for human pose estimation with deep convolutional neural network. In CVPR Workshops. [^119]: Sijin Li, Weichen Zhang, and Antoni B. Chan. 2015. Maximum-margin structured learning with deep networks for 3D human pose estimation. In ICCV. [^120]: Wenhao Li, Hong Liu, Hao Tang, Pichao Wang, and Luc Van Gool. 2022. MHFormer: Multi-hypothesis transformer for 3D human pose estimation. In CVPR. [^121]: Wenbo Li, Zhicheng Wang, Binyi Yin, Qixiang Peng, Yuming Du, Tianzi Xiao, Gang Yu, Hongtao Lu, Yichen Wei, and Jian Sun. 2019. Rethinking on multi-stage networks for human pose estimation. arXiv preprint arXiv:1901.00148. [^122]: Yizhuo Li, Miao Hao, Zonglin Di, Nitesh Bharadwaj Gundavarapu, and Xiaolong Wang. 2021. Test-time personalization with a transformer for human pose estimation. In NeurIPS. ## [^123]: Yining Li, Chen Huang, and Chen Change Loy. 2019. Dense intrinsic appearance flow for human pose transfer. In CVPR. --- [^124]: Yanjie Li, Sen Yang, Peidong Liu, Shoukui Zhang, Yunxiao Wang, Zhicheng Wang, Wankou Yang, and Shu-Tao Xia. 2022. SimCC: A simple coordinate classification perspective for human pose estimation. In ECCV. [^125]: Yanjie Li, Shoukui Zhang, Zhicheng Wang, Sen Yang, Wankou Yang, Shu-Tao Xia, and Erjin Zhou. 2021. TokenPose: Learning keypoint tokens for human pose estimation. In ICCV. [^126]: Zhongguo Li, Anders Heyden, and Magnus Oskarsson. 2020. A novel joint points and silhouette-based method to estimate 3D human pose and shape. arXiv preprint arXiv:2012.06109. [^127]: Z. Li, X. Wang, F. Wang, and P. Jiang. 2019. On boosting single-frame 3D human pose estimation via monocular videos. In ICCV. [^128]: Junbang Liang and Ming C. Lin. 2019. Shape-aware human pose and shape reconstruction using multi-view images. In ICCV. [^129]: Ita Lifshitz, Ethan Fetaya, and Shimon Ullman. 2016. Human pose estimation using deep consensus voting. In ECCV. [^130]: Kevin Lin, Lijuan Wang, and Zicheng Liu. 2021. End-to-end human pose and mesh reconstruction with transformers. In CVPR. [^131]: Kevin Lin, Lijuan Wang, and Zicheng Liu. 2021. Mesh graphormer. In ICCV. [^132]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. 2014. Microsoft COCO: Common objects in context. In ECCV. [^133]: Weiyao Lin, Huabin Liu, Shizhan Liu, Yuxi Li, Rui Qian, Tao Wang, Ning Xu, Hongkai Xiong, Guo-Jun Qi, and Nicu Sebe. 2020. Human in events: A large-scale benchmark for human-centric video analysis in complex events. arXiv preprint arXiv:2005.04490. [^134]: Huajun Liu, Fuqiang Liu, Xinyi Fan, and Dong Huang. 2021. Polarized self-attention: Towards high-quality pixel-wise regression. arXiv preprint arXiv:2107.00782. [^135]: Jian Liu, Naveed Akhtar, and Ajmal Mian. 2019. Adversarial attack on skeleton-based human action recognition. arXiv preprint arXiv:1909.06500. [^136]: Jingyuan Liu, Hongbo Fu, and Chiew-Lan Tai. 2020. PoseTween: Pose-driven tween animation. In ACM UIST. [^137]: Kenkun Liu, Rongqi Ding, Zhiming Zou, Le Wang, and Wei Tang. 2020. A comprehensive study of weight sharing in graph networks for 3D human pose estimation. In ECCV. [^138]: Ruixu Liu, Ju Shen, He Wang, Chen Chen, Sen-ching Cheung, and Vijayan Asari. 2020. Attention mechanism exploits temporal contexts: Real-time 3D human pose reconstruction. In CVPR. [^139]: Zhenguang Liu, Haoming Chen, Runyang Feng, Shuang Wu, Shouling Ji, Bailin Yang, and Xun Wang. 2021. Deep dual consecutive network for human pose estimation. In CVPR. [^140]: Zhenguang Liu, Runyang Feng, Haoming Chen, Shuang Wu, Yixing Gao, Yunjun Gao, and Xiang Wang. 2022. Temporal feature alignment and mutual information maximization for video-based human pose estimation. In CVPR. [^141]: Zhao Liu, Jianke Zhu, Jiajun Bu, and Chun Chen. 2015. A survey of human pose estimation: The body parts parsing based methods. In $\mathcal{J}$. Vis. Commun. Image Repres. Vol. 32, 10–19. [^142]: Jonathan Long, Evan Shelhamer, and Trevor Darrell. 2015. Fully convolutional networks for semantic segmentation. In CVPR. [^143]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. 2015. SMPL: A skinned multi-person linear model. In ACM Trans. Graph. Vol. 34, 1–16. [^144]: Mandy Lu, Kathleen Poston, Adolf Pfefferbaum, Edith V. Sullivan, Li Fei-Fei, Kilian M. Pohl, Juan Carlos Niebles, and Ehsan Adeli. 2020. Vision-based estimation of MDS-UPDRS gait scores for assessing Parkinson's disease motor severity. arXiv preprint arXiv:2007.08920. [^145]: Yue Luo, Jimmy Ren, Zhouxia Wang, Wenxiu Sun, Jinshan Pan, Jianbo Liu, Jiahao Pang, and Liang Lin. 2018. LSTM pose machines. In CVPR. [^146]: Zhengxiong Luo, Zhicheng Wang, Yan Huang, Liang Wang, Tieniu Tan, and Erjin Zhou. 2021. Rethinking the heatmap regression for bottom-up human pose estimation. In CVPR. [^147]: Diogo C. Luvizon, David Picard, and Hedi Tabia. 2018. 2D/3D pose estimation and action recognition using multitask deep learning. In CVPR. [^148]: Diogo C. Luvizon, Hedi Tabia, and David Picard. 2019. Human pose regression by combining indirect part detection and contextual information. In Comput. Graph, Vol. 85, 15–22. [^149]: Haoyu Ma, Liangjian Chen, Deying Kong, Zhe Wang, Xingwei Liu, Hao Tang, Xiangyi Yan, Yusheng Xie, Shih-Yao Lin, and Xiaohui Xie. 2021. TransFusion: Cross-view fusion with transformer for 3D human pose estimation. In BMVC. [^150]: Haoyu Ma, Zhe Wang, Yifei Chen, Deying Kong, Liangjian Chen, Xingwei Liu, Xiangyi Yan, Hao Tang, and Xiaohui Xie. 2022. PPT: Token-pruned pose transformer for monocular and multi-view human pose estimation. In ECCV. ## [^151]: Prathmesh Madhu, Angel Villar-Corrales, Ronak Kosti, Torsten Bendschus, Corinna Reinhardt, Peter Bell, Andreas Maier, and Vincent Christlein. 2020. Enhancing human pose estimation in ancient vase paintings via perceptually-grounded style transfer learning. arXiv preprint arXiv:2012.05616. --- [^152]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. 2019. AMASS: Archive of Motion capture As Surface Shapes. In ICCV. [^153]: Weian Mao, Yongtao Ge, Chunhua Shen, Zhi Tian, Xinlong Wang, and Zhibin Wang. 2021. TFPose: Direct human pose estimation with transformers. arXiv preprint arXiv:2103.15320. [^154]: Weian Mao, Yongtao Ge, Chunhua Shen, Zhi Tian, Xinlong Wang, Zhibin Wang, and Anton van den Hengel. 2022. Poseur: Direct human pose regression with transformers. In ECCV. [^155]: Amir Markovitz, Gilad Sharir, Itamar Friedman, Lihi Zelnik-Manor, and Shai Avidan. 2020. Graph embedded pose clustering for anomaly detection. In CVPR. [^156]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J. Little. 2017. A simple yet effective baseline for 3D human pose estimation. In ICCV. [^157]: D. Mehta, H. Rhodin, D. Casas, P. Fua, O. Sotnychenko, W. Xu, and C. Theobalt. 2017. Monocular 3D human pose estimation in the wild using improved CNN supervision. In 3DV. [^158]: Dushyant Mehta, Oleksandr Sotnychenko, Franziska Mueller, Weipeng Xu, Mohamed Elgharib, Pascal Fua, Hans-Peter Seidel, Helge Rhodin, Gerard Pons-Moll, and Christian Theobalt. 2020. XNect: Real-time multi-person 3D motion capture with a single RGB camera. In ACM TOG, Vol. 39, 82–1. [^159]: Dushyant Mehta, Oleksandr Sotnychenko, Franziska Mueller, Weipeng Xu, Srinath Sridhar, Gerard Pons-Moll, and Christian Theobalt. 2018. Single-shot multi-person 3D pose estimation from monocular RGB. In 3DV. [^160]: Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel et al. 2017. VNect: Real-time 3D human pose estimation with a single RGB camera. In ACM TOG, Vol. 36. 1–14. [^161]: Antonio S. Micilotta, Eng-Jon Ong, and Richard Bowden. 2006. Real-time upper body detection and 3D pose estimation in monoscopic images. In ECCV. [^162]: Rahul Mitra, Nitesh B. Gundavarapu, Abhishek Sharma, and Arjun Jain. 2020. Multiview-consistent semi-supervised learning for 3D human pose estimation. In CVPR. [^163]: Thomas B. Moeslund and Erik Granum. 2001. A survey of computer vision-based human motion capture. In Comput. Vis. Image Underst. Vol. 81, 231–268. [^164]: Thomas B. Moeslund, Adrian Hilton, and Volker Krüger. 2006. A survey of advances in vision-based human motion capture and analysis. In Comput. Vis. Image Underst. Vol. 104, 90–126. [^165]: Gyeongsik Moon, Juyong Chang, and Kyoung Mu Lee. 2019. Camera distance-aware top-down approach for 3D multi-person pose estimation from a single RGB image. In ICCV. [^166]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. 2019. PoseFix: Model-agnostic general human pose refinement network. In CVPR. [^167]: Gyeongsik Moon and Kyoung Mu Lee. 2020. I2L-MeshNet: Image-to-Lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV. [^168]: Francesc Moreno-Noguer. 2017. 3D human pose estimation from a single image via distance matrix regression. In CVPR. [^169]: Tewodros Legesse Munea, Yalew Zelalem Jembre, Halefom Tekle Weldegebriel, Longbiao Chen, Chenxi Huang, and Chenhui Yang. 2020. The progress of human pose estimation: A survey and taxonomy of models applied in 2D human pose estimation. In IEEE Access, Vol. 8, 133330–133348. [^170]: Alejandro Newell, Zhiao Huang, and Jia Deng. 2017. Associative embedding: End-to-end learning for joint detection and grouping. In NeurIPS. [^171]: Alejandro Newell, Kaiyu Yang, and Jia Deng. 2016. Stacked hourglass networks for human pose estimation. In ECCV. [^172]: Aiden Nibali, Zhen He, Stuart Morgan, and Luke Prendergast. 2018. Numerical coordinate regression with convolutional neural networks. arXiv preprint arXiv:1801.07372. [^173]: B. X. Nie, P. Wei, and S. Zhu. 2017. Monocular 3D human pose estimation by predicting depth on joints. In ICCV. [^174]: Qiang Nie, Ziwei Liu, and Yunhui Liu. 2020. Unsupervised human 3D pose representation with viewpoint and pose disentanglement. In ECCV. [^175]: Xuecheng Nie, Jiashi Feng, Jianfeng Zhang, and Shuicheng Yan. 2019. Single-stage multi-person pose machines. In ICCV. [^176]: Mohamed Omran, Christoph Lassner, Gerard Pons-Moll, Peter V. Gehler, and Bernt Schiele. 2018. Neural body fitting: Unifying deep learning and model-based human pose and shape estimation. In 3DV. [^177]: Ahmed A. A. Osman, Timo Bolkart, and Michael J. Black. 2020. STAR: A spare trained articulated human body regressor. In ECCV. [^178]: Paschalis Panteleris and Antonis Argyros. 2021. PE-former: Pose estimation transformer. arXiv preprint arXiv:2112.04981. ## [^179]: George Papandreou, Tyler Zhu, Liang-Chieh Chen, Spyros Gidaris, Jonathan Tompson, and Kevin Murphy. 2018. PersonLab: Person pose estimation and instance segmentation with a bottom-up, part-based, geometric embedding model. In ECCV. --- [^180]: George Papandreou, Tyler Zhu, Nori Kanazawa, Alexander Toshev, Jonathan Tompson, Chris Bregler, and Kevin Murphy. 2017. Towards accurate multi-person pose estimation in the wild. In CVPR. [^181]: Chaitanya Patel, Zhouyingcheng Liao, and Gerard Pons-Moll. 2020. TailorNet: Predicting clothing in 3D as a function of human pose, shape and garment style. In CVPR. [^182]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. 2019. Expressive body capture: 3D hands, face, and body from a single image. In CVPR. [^183]: Georgios Pavlakos, Xiaowei Zhou, and Kostas Daniilidis. 2018. Ordinal depth supervision for 3D human pose estimation. In CVPR. [^184]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G. Derpanis, and Kostas Daniilidis. 2017. Coarse-to-fine volumetric prediction for single-image 3D human pose. In CVPR. [^185]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G. Derpanis, and Kostas Daniilidis. 2017. Harvesting multiple views for marker-less 3D human pose annotations. In CVPR. [^186]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. 2018. Learning to estimate 3D Human pose and shape from a single color image. In CVPR. [^187]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 2019. 3D human pose estimation in video with temporal convolutions and semi-supervised training. In CVPR. [^188]: Xi Peng, Zhiqiang Tang, Fei Yang, Rogerio S. Feris, and Dimitris Metaxas. 2018. Jointly optimize data augmentation and network training: Adversarial data augmentation in human pose estimation. In CVPR. [^189]: Tomas Pfister, James Charles, and Andrew Zisserman. 2015. Flowing convnets for human pose estimation in videos. In ICCV. [^190]: Tomas Pfister, Karen Simonyan, James Charles, and Andrew Zisserman. 2014. Deep convolutional neural networks for efficient pose estimation in gesture videos. In ACCV. [^191]: Aleksis Pirinen, Erik Gärtner, and Cristian Sminchisescu. 2019. Domes to drones: Self-supervised active triangulation for 3D human pose reconstruction. In NeurIPS. [^192]: Leonid Pishchulin, Eldar Insafutdinov, Siyu Tang, Bjoern Andres, Mykhaylo Andriluka, Peter V. Gehler, and Bernt Schiele. 2016. DeepCut: Joint subset partition and labeling for multi person pose estimation. In CVPR. [^193]: Gerard Pons-Moll, Javier Romero, Naureen Mahmood, and Michael J. Black. 2015. Dyna: A model of dynamic human shape in motion. In ACM TOG, Vol. 34, 1–14. [^194]: Ronald Poppe. 2007. Vision-based human motion analysis: An overview. In Comput. Vis. Image Underst. Vol. 108, 4–18. [^195]: Ammar Qammaz and Antonis A. Argyros. 2019. MocapNET: Ensemble of SNN encoders for 3D human pose estimation in RGB images. In BMVC. [^196]: Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. 2017. PointNet: Deep learning on point sets for 3D classification and segmentation. In CVPR. [^197]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J. Guibas. 2017. PointNet++: Deep hierarchical feature learning on point sets in a metric space. In NeurIPS. [^198]: Haibo Qiu, Chunyu Wang, Jingdong Wang, Naiyan Wang, and Wenjun Zeng. 2019. Cross view fusion for 3D human pose estimation. In ICCV. [^199]: Lingteng Qiu, Xuanye Zhang, Yanran Li, Guanbin Li, Xiaojun Wu, Zixiang Xiong, Xiaoguang Han, and Shuguang Cui. 2020. Peeking into occluded joints: A novel framework for crowd pose estimation. arXiv preprint arXiv:2003.10506. [^200]: Varun Ramakrishna, Daniel Munoz, Martial Hebert, James Andrew Bagnell, and Yaser Sheikh. 2014. Pose machines: Articulated pose estimation via inference machines. In ECCV. [^201]: Mir Rayat Imtiaz Hossain and James J. Little. 2018. Exploiting temporal information for 3D human pose estimation. In ECCV. [^202]: N. Dinesh Reddy, Laurent Guigues, Leonid Pishchulin, Jayan Eledath, and Srinivasa G. Narasimhan. 2021. TesseTrack: End-to-end learnable multi-person articulated 3D pose tracking. In CVPR. [^203]: Edoardo Remelli, Shangchen Han, Sina Honari, Pascal Fua, and Robert Wang. 2020. Lightweight multi-view 3D pose estimation through camera-disentangled representation. In CVPR. [^204]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. 2015. Faster r-cnn: Towards real-time object detection with region proposal networks. In NeurIPS. [^205]: Helge Rhodin, Mathieu Salzmann, and Pascal Fua. 2018. Unsupervised geometry-aware representation for 3D human pose estimation. In ECCV. [^206]: Helge Rhodin, Jörg Spörri, Isinsu Katircioglu, Victor Constantin, Frédéric Meyer, Erich Müller, Mathieu Salzmann, and Pascal Fua. 2018. Learning monocular 3D human pose estimation from multi-view images. In CVPR. ## [^207]: G. Rogez, P. Weinzaepfel, and C. Schmid. 2017. LCR-Net: Localization-classification-regression for human pose. In CVPR. --- [^208]: Grégory Rogez, Philippe Weinzaepfel, and Cordelia Schmid. 2019. LCR-Net++: Multi-person 2D and 3D pose detection in natural images. In IEEE Trans. Pattern Anal. Mach. Intell. Vol. 42, 1146–1161. [^209]: Sebastian Ruder. 2017. An overview of multi-task learning in deep neural networks. arXiv preprint arXiv:1706.05098. [^210]: Nitin Saini, Eric Price, Rahul Tallamraju, Raffi Enficiaud, Roman Ludwig, Igor Martinović, Aamir Ahmad, and Michael Black. 2019. Markerless outdoor human motion capture using multiple autonomous micro aerial vehicles. In ICCV. [^211]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. 2019. PIFu: Pixel-aligned implicit function for high-resolution clothed human digitization. In ICCV. [^212]: Shunsuke Saito, Tomas Simon, Jason Saragih, and Hanbyul Joo. 2020. PIFuHD: Multi-level pixel-aligned implicit function for high-resolution 3D human digitization. In CVPR. [^213]: Ben Sapp and Ben Taskar. 2013. MODEC: Multimodal decomposable models for human pose estimation. In CVPR. [^214]: Nikolaos Sarafianos, Bogdan Boteanu, Bogdan Ionescu, and Ioannis A. Kakadiaris. 2016. 3D human pose estimation: A review of the literature and analysis of covariates. In Comput. Vis. Image Underst. Vol. 152, 1–20. [^215]: Saurabh Sharma, Pavan Teja Varigonda, Prashast Bindal, Abhishek Sharma, and Arjun Jain. 2019. Monocular 3D human pose estimation by generation and ordinal ranking. In ICCV. [^216]: Dahu Shi, Xing Wei, Liangqi Li, Ye Ren, and Wenming Tan. 2022. End-to-end multi-person pose estimation with transformers. In CVPR. [^217]: L. Sigal, A. Balan, and M. J. Black. 2010. HumanEva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. In Int. J. Comput. Vis. Vol. 87, 4. [^218]: Michael Snower, Asim Kadav, Farley Lai, and Hans Peter Graf. 2020. 15 keypoints is all you need. In CVPR. [^219]: Kai Su, Dongdong Yu, Zhenqi Xu, Xin Geng, and Changhu Wang. 2019. Multi-person pose estimation with enhanced channel-wise and spatial information. In CVPR. [^220]: Jennifer J. Sun, Jiaping Zhao, Liang-Chieh Chen, Florian Schroff, Hartwig Adam, and Ting Liu. 2020. View-invariant probabilistic embedding for human pose. In ECCV. [^221]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. 2019. Deep high-resolution representation learning for human pose estimation. In CVPR. [^222]: Xiao Sun, Jiaxiang Shang, Shuang Liang, and Yichen Wei. 2017. Compositional human pose regression. In ICCV. [^223]: Wei Tang and Ying Wu. 2019. Does learning specific features for related parts help human pose estimation? In CVPR. [^224]: Wei Tang, Pei Yu, and Ying Wu. 2018. Deeply learned compositional models for human pose estimation. In ECCV. [^225]: Bugra Tekin, Isinsu Katircioglu, Mathieu Salzmann, Vincent Lepetit, and Pascal Fua. 2016. Structured prediction of 3D human pose with deep neural networks. In BMVC. [^226]: Bugra Tekin, Pablo Márquez-Neila, Mathieu Salzmann, and Pascal Fua. 2017. Learning to fuse 2D and 3D image cues for monocular body pose estimation. In ICCV. [^227]: Bugra Tekin, Artem Rozantsev, Vincent Lepetit, and Pascal Fua. 2016. Direct prediction of 3D body poses from motion compensated sequences. In CVPR. [^228]: Zhi Tian, Hao Chen, and Chunhua Shen. 2019. DirectPose: Direct end-to-end multi-person pose estimation. arXiv preprint arXiv:1911.07451. [^229]: Denis Tome, Thiemo Alldieck, Patrick Peluse, Gerard Pons-Moll, Lourdes Agapito, Hernan Badino, and Fernando De la Torre. 2020. SelfPose: 3D egocentric pose estimation from a headset mounted camera. arXiv preprint arXiv:2011.01519. [^230]: Denis Tome, Patrick Peluse, Lourdes Agapito, and Hernan Badino. 2019. xR-EgoPose: Egocentric 3D human pose from an HMD camera. In ICCV. [^231]: Jonathan Tompson, Ross Goroshin, Arjun Jain, Yann LeCun, and Christoph Bregler. 2015. Efficient object localization using convolutional networks. In CVPR. [^232]: Jonathan J. Tompson, Arjun Jain, Yann LeCun, and Christoph Bregler. 2014. Joint training of a convolutional network and a graphical model for human pose estimation. In NeurIPS. [^233]: Alexander Toshev and Christian Szegedy. 2014. DeepPose: Human pose estimation via deep neural networks. In CVPR. [^234]: Matt Trumble, Andrew Gilbert, Charles Malleson, Adrian Hilton, and John Collomosse. 2017. Total capture: 3D human pose estimation fusing video and inertial sensors. In BMVC. [^235]: Hanyue Tu, Chunyu Wang, and Wenjun Zeng. 2020. VoxelPose: Towards multi-camera 3D human pose estimation in wild environment. In ECCV. [^236]: Hsiao-Yu Fish Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. 2017. Self-supervised learning of motion capture. In NeurIPS. [^237]: Rafi Umer, Andreas Doering, Bastian Leibe, and Juergen Gall. 2020. Self-supervised keypoint correspondences for multi-person pose estimation and tracking in videos. arXiv preprint arXiv:2004.12652. ## [^238]: Gul Varol, Javier Romero, Xavier Martin, Naureen Mahmood, Michael J. Black, Ivan Laptev, and Cordelia Schmid. 2017. Learning from synthetic humans. In CVPR. --- [^239]: Ignas Budvytis, Vince Tan, and Roberto Cipolla. 2017. Indirect deep structured learning for 3D human body shape and pose prediction. In BMVC. [^240]: Timo von Marcard, Roberto Henschel, Michael J. Black, Bodo Rosenhahn, and Gerard Pons-Moll. 2018. Recovering accurate 3D human pose in the wild using IMUs and a moving camera. In ECCV. [^241]: Timo Von Marcard, Bodo Rosenhahn, Michael J. Black, and Gerard Pons-Moll. 2017. Sparse inertial poser: Automatic 3D human pose estimation from sparse IMUs. In Computer Graphics Forum. [^242]: Bastian Wandt and Bodo Rosenhahn. 2019. RepNet: Weakly supervised training of an adversarial reprojection network for 3D human pose estimation. In CVPR. [^243]: Haoyang Wang, Riza Alp Guler, Iasonas Kokkinos, George Papandreou, and Stefanos Zafeiriou. 2020. BLSM: A bone-level skinned model of the human mesh. In ECCV. [^244]: Haixin Wang, Lu Zhou, Yingying Chen, Ming Tang, and Jinqiao Wang. 2022. Regularizing vector embedding in bottom-up human pose estimation. In ECCV. [^245]: Jue Wang, Shaoli Huang, Xinchao Wang, and Dacheng Tao. 2019. Not all parts are created equal: 3D pose estimation by modeling bi-directional dependencies of body parts. In ICCV. [^246]: Jian Wang, Xiang Long, Yuan Gao, Errui Ding, and Shilei Wen. 2020. Graph-PCNN: Two stage human pose estimation with graph pose refinement. arXiv preprint arXiv:2007.10599. [^247]: Jianbo Wang, Kai Qiu, Houwen Peng, Jianlong Fu, and Jianke Zhu. 2019. AI Coach: Deep human pose estimation and analysis for personalized athletic training assistance. In ACM MM. [^248]: Jingbo Wang, Sijie Yan, Yuanjun Xiong, and Dahua Lin. 2020. Motion guided 3D pose estimation from videos. In ECCV. [^249]: Kangkan Wang, Jin Xie, Guofeng Zhang, Lei Liu, and Jian Yang. 2020. Sequential 3D human pose and shape estimation from point clouds. In CVPR. [^250]: Min Wang, Xipeng Chen, Wentao Liu, Chen Qian, Liang Lin, and Lizhuang Ma. 2018. DRPose3D: Depth ranking in 3D human pose estimation. In IJCAI. [^251]: Tao Wang, Jianfeng Zhang, Yujun Cai, Shuicheng Yan, and Jiashi Feng. 2021. Direct multi-view multi-person 3D human pose estimation. In NeurIPS. [^252]: Yihan Wang, Muyang Li, Han Cai, Wei-Ming Chen, and Song Han. 2022. LitePose: Efficient architecture design for 2D human pose estimation. In CVPR. [^253]: Zitian Wang, Xuecheng Nie, Xiaochao Qu, Yunpeng Chen, and Si Liu. 2022. Distribution-aware single-stage models for multi-person 3D pose estimation. In CVPR. [^254]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. 2016. Convolutional pose machines. In CVPR. [^255]: C. Weng, B. Curless, and I. Kemelmacher-Shlizerman. 2019. Photo Wake-Up: 3D character animation from a single photo. In CVPR. [^256]: Nora S. Willett, Hijung Valentina Shin, Zeyu Jin, Wilmot Li, and Adam Finkelstein. 2020. Pose2Pose: Pose selection and transfer for 2D character animation. In IUI. [^257]: Jiahong Wu, He Zheng, Bo Zhao, Yixin Li, Baoming Yan, Rui Liang, Wenjia Wang, Shipei Zhou et al. 2017. AI chal-lenger: A large-scale dataset for going deeper in image understanding. arXiv preprint arXiv:1711.06475. [^258]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. 2019. Monocular total capture: Posing face, body, and hands in the wild. In CVPR. [^259]: Bin Xiao, Haiping Wu, and Yichen Wei. 2018. Simple baselines for human pose estimation and tracking. In ECCV. [^260]: Rongchang Xie, Chunyu Wang, and Yizhou Wang. 2020. MetaFuse: A pre-trained fusion model for human pose estimation. In CVPR. [^261]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Zhou Tianyi, and Junsong Yuan. 2019. A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In ICCV. [^262]: Hongyi Xu, Eduard Gabriel Bazavan, Andrei Zanfir, William T. Freeman, Rahul Sukthankar, and Cristian Sminchiscu. 2020. GHUM & GHUML: Generative 3D human shape and articulated pose models. In CVPR. [^263]: Jingwei Xu, Zhenbo Yu, Bingbing Ni, Jiancheng Yang, Xiaokang Yang, and Wenjun Zhang. 2020. Deep kinematics analysis for monocular 3D human pose estimation. In CVPR. [^264]: Lumin Xu, Yingda Guan, Sheng Jin, Wentao Liu, Chen Qian, Ping Luo, Wanli Ouyang, and Xiaogang Wang. 2021. ViPNAS: Efficient video pose estimation via neural architecture search. In CVPR. [^265]: Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, and Christian Theobalt. 2019. Mo2Cap2: Real-time mobile 3D motion capture with a cap-mounted fisheye camera. In IEEE TVCG Proc. VR. Vol. 25, 2093–2101. [^266]: Xiangyu Xu, Hao Chen, Francesc Moreno-Noguer, Laszlo A. Jeni, and Fernando De la Torre. 2020. 3D human shape and pose from a single low-resolution image with self-supervised learning. In ECCV. ## [^267]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. 2018. Spatial temporal graph convolutional networks for skeleton-based action recognition. In AAAI. --- [^268]: Sen Yang, Zhibin Quan, Mu Nie, and Wankou Yang. 2021. TransPose: Keypoint localization via transformer. In ICCV. [^269]: Wei Yang, Shuang Li, Wanli Ouyang, Hongsheng Li, and Xiaogang Wang. 2017. Learning feature pyramids for human pose estimation. In ICCV. [^270]: Wei Yang, Wanli Ouyang, Hongsheng Li, and Xiaogang Wang. 2016. End-to-end learning of deformable mixture of parts and deep convolutional neural networks for human pose estimation. In CVPR. [^271]: Wei Yang, Wanli Ouyang, Xiaolong Wang, Jimmy Ren, Hongsheng Li, and Xiaogang Wang. 2018. 3D human pose estimation in the wild by adversarial learning. In CVPR. [^272]: Yi Yang and Deva Ramanan. 2012. Articulated human detection with flexible mixtures of parts. In IEEE Trans. Pattern Anal. Mach. Intell. Vol. 35, 2878–2890. [^273]: Hang Ye, Wentao Zhu, Chunyu Wang, Rujie Wu, and Yizhou Wang. 2022. Faster VoxelPose: Real-time 3D human pose estimation by orthographic projection. In ECCV. [^274]: Changqian Yu, Bin Xiao, Changxin Gao, Lu Yuan, Lei Zhang, Nong Sang, and Jingdong Wang. 2021. Lite-HRNet: A lightweight high-resolution network. In CVPR. [^275]: T. Yu, J. Zhao, Z. Zheng, K. Guo, Q. Dai, H. Li, G. Pons-Moll, and Y. Liu. 2019. DoubleFusion: Real-time capture of human performances with inner body shapes from a single depth sensor. In IEEE Trans. Pattern Anal. Mach. Intell. 7287–7296. [^276]: Tao Yu, Zerong Zheng, Yuan Zhong, Jianhui Zhao, Qionghai Dai, Gerard Pons-Moll, and Yebin Liu. 2019. SimulCap: Single-view human performance capture with cloth simulation. In CVPR. [^277]: Yuhui Yuan, Rao Fu, Lang Huang, Weihong Lin, Chao Zhang, Xilin Chen, and Jingdong Wang. 2021. HRFormer: High-resolution vision transformer for dense predict. In NeurIPS. [^278]: Andrei Zanfir, Eduard Gabriel Bazavan, Hongyi Xu, Bill Freeman, Rahul Sukthankar, and Cristian Sminchisescu. 2020. Weakly supervised 3D human pose and shape reconstruction with normalizing flows. In ECCV. [^279]: A. Zanfir, E. Marinoiu, and C. Sminchisescu. 2018. Monocular 3D pose and shape estimation of multiple people in natural scenes: The importance of multiple scene constraints. In CVPR. [^280]: Andrei Zanfir, Elisabeta Marinoiu, Mihai Zanfir, Alin-Ionut Popa, and Cristian Sminchisescu. 2018. Deep network for the integrated 3D sensing of multiple people in natural images. In NeurIPS. [^281]: Ailing Zeng, Xiao Sun, Fuyang Huang, Minhao Liu, Qiang Xu, and Stephen Lin. 2020. SRNet: Improving generalization in 3D human pose estimation with a split-and-recombine approach. In ECCV. [^282]: W. Zeng, W. Ouyang, P. Luo, W. Liu, and X. Wang. 2020. 3D human mesh regression with dense correspondence. In CVPR. [^283]: Feng Zhang, Xiatian Zhu, Hanbin Dai, Mao Ye, and Ce Zhu. 2020. Distribution-aware coordinate representation for human pose estimation. In CVPR. [^284]: Feng Zhang, Xiatian Zhu, and Mao Ye. 2019. Fast human pose estimation. In CVPR. [^285]: Hong Zhang, Hao Ouyang, Shu Liu, Xiaojuan Qi, Xiaoyong Shen, Ruigang Yang, and Jiaya Jia. 2019. Human pose estimation with spatial contextual information. arXiv preprint arXiv:1901.01760. [^286]: Haotian Zhang, Cristobal Sciutto, Maneesh Agrawala, and Kayvon Fatahalian. 2020. Vid2Player: Controllable video sprites that behave and appear like professional tennis players. arXiv preprint arXiv:2008.04524. [^287]: Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, and Zhenan Sun. 2021. PyMAF: 3D human pose and shape regression with pyramidal mesh alignment feedback loop. In ICCV. [^288]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. 2022. MixSTE: Seq2seq mixed spatio-temporal encoder for 3D human pose estimation in video. In CVPR. [^289]: Tianshu Zhang, Buzhen Huang, and Yangang Wang. 2020. Object-occluded human shape and pose estimation from a single color image. In CVPR. [^290]: Wenqiang Zhang, Jiemin Fang, Xinggang Wang, and Wenyu Liu. 2020. EfficientPose: Efficient human pose estimation with neural architecture search. arXiv preprint arXiv:2012.07086. [^291]: Weiyu Zhang, Menglong Zhu, and Konstantinos G. Derpanis. 2013. From actemes to action: A strongly-supervised representation for detailed action understanding. In ICCV. [^292]: Yuxiang Zhang, Liang An, Tao Yu, Xiu Li, Kun Li, and Yebin Liu. 2020. 4D association graph for realtime multi-person motion capture using multiple video cameras. In CVPR. [^293]: Yuexi Zhang, Yin Wang, Octavia Camps, and Mario Sznaier. 2020. Key frame proposal network for efficient pose estimation in videos. arXiv preprint arXiv:2007.15217. [^294]: Zhe Zhang, Chunyu Wang, Wenhu Qin, and Wenjun Zeng. 2020. Fusing wearable IMUs with multi-view images for human pose estimation: A geometric approach. In CVPR. [^295]: Zhe Zhang, Chunyu Wang, Weichao Qiu, Wenhu Qin, and Wenjun Zeng. 2020. AdaFuse: Adaptive multiview fusion for accurate human pose estimation in the wild. In Int. J. Comput. Vis. Vol. 129, 703–718. ## [^296]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N. Metaxas. 2019. Semantic graph convolutional networks for 3D human pose regression. In CVPR. --- [^297]: Mingmin Zhao, Yingcheng Liu, Aniruddh Raghu, Tianhong Li, Hang Zhao, Antonio Torralba, and Dina Katabi. 2019. Through-wall human mesh recovery using radio signals. In ICCV. [^298]: Mingmin Zhao, Yonglong Tian, Hang Zhao, Mohammad Abu Alsheikh, Tianhong Li, Rumen Hristov, Zachary Kabelac, Dina Katabi, and Antonio Torralba. 2018. RF-based 3D skeletons. In SIGCOMM. [^299]: Qitao Zhao, Ce Zheng, Mengyuan Liu, Pichao Wang, and Chen Chen. 2023. PoseFormerV2: Exploring frequency domain for efficient and robust 3D human pose estimation. In CVPR. [^300]: Jianan Zhen, Qi Fang, Jiaming Sun, Wentao Liu, Wei Jiang, Hujun Bao, and Xiaowei Zhou. 2020. SMAP: Single-shot multi-person absolute 3D pose estimation. In ECCV. [^301]: Ce Zheng, Xianpeng Liu, Guo-Jun Qi, and Chen Chen. 2023. POTTER: Pooling attention transformer for efficient human mesh recovery. In CVPR. [^302]: Ce Zheng, Matias Mendieta, Pu Wang, Aidong Lu, and Chen Chen. 2022. A lightweight graph transformer network for human mesh reconstruction from 2D human pose. In ACM Multimedia. [^303]: Ce Zheng, Matias Mendieta, Taojiannan Yang, Guo-Jun Qi, and Chen Chen. 2023. FeatER: An efficient network for human reconstruction via feature map-based TransformER. In CVPR. [^304]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 2021. 3D human pose estimation with spatial and temporal transformers. In ICCV. [^305]: Tiancheng Zhi, Christoph Lassner, Tony Tung, Carsten Stoll, Srinivasa G. Narasimhan, and Minh Vo. 2020. TexMesh: Reconstructing detailed human texture and geometry from RGB-D video. In ECCV. [^306]: Keyang Zhou, Bharat Lal Bhatnagar, and Gerard Pons-Moll. 2020. Unsupervised shape and pose disentanglement for 3D meshes. arXiv preprint arXiv:2007.11341. [^307]: K. Zhou, X. Han, N. Jiang, K. Jia, and J. Lu. 2019. HEMlets pose: Learning part-centric heatmap triplets for accurate 3D human pose estimation. In ICCV. [^308]: Xingyi Zhou, Qixing Huang, Xiao Sun, Xiangyang Xue, and Yichen Wei. 2017. Towards 3D human pose estimation in the wild: A weakly-supervised approach. In ICCV. [^309]: Xingyi Zhou, Xiao Sun, Wei Zhang, Shuang Liang, and Yichen Wei. 2016. Deep kinematic pose regression. In ECCV. [^310]: Xingyi Zhou, Dequan Wang, and Philipp Krähenbühl. 2019. Objects as points. arXiv preprint arXiv:1904.07850. [^311]: Xiaowei Zhou, Menglong Zhu, Kosta Derpanis, and Kostas Daniilidis. 2016. Sparseness meets deepness: 3D human pose estimation from monocular video. In CVPR. [^312]: Xiaowei Zhou, Menglong Zhu, Georgios Pavlakos, Spyridon Leonardos, Konstantinos G. Derpanis, and Kostas Danilidis. 2018. MonoCap: Monocular human motion capture using a CNN coupled with a geometric prior. In IEEE Trans. Pattern Anal. Mach. Intell. Vol. 41, 901–914. [^313]: Hao Zhu, Xinxin Zuo, Sen Wang, Xun Cao, and Ruigang Yang. 2019. Detailed human shape estimation from a single image by hierarchical mesh deformation. In CVPR. [^314]: Luyang Zhu, Konstantinos Rematas, Brian Curless, Steve Seitz, and Ira Kemelmacher-Shlizerman. 2020. Reconstructing NBA players. In ECCV. [^315]: Xiangyu Zhu, Yingying Jiang, and Zhenbo Luo. 2017. Multi-person pose estimation for PoseTrack with enhanced part affinity fields. In ICCV PoseTrack Workshop. [^316]: Zhiming Zou and Wei Tang. 2021. Modulated graph convolutional network for 3D human pose estimation. In ICCV. [^317]: Silvia Zuffi and Michael J. Black. 2015. The stitched puppet: A graphical model of 3D human shape and pose. In CVPR. 2022年1月23日收稿；2023年4月1日修回；2023年5月17日录用