![Image](images/e703b1486304f04865ebb34a3f7cfb38998b9f854ca6ffed2e9a87a61abe0266.jpg) # 深度三维人体姿态估计综述 拉玛·巴斯托拉·纽帕内 $^{1}$ · 李侃 $^{1}$ · 特斯法耶·芬塔·博卡 $^{1}$ 录用：2024年11月6日 / 在线发表：2024年11月25日 © 作者 2024 ## 摘要 三维人体姿态估计（3D-HPE）是计算机视觉中一个高度活跃且不断发展的研究领域，拥有扩展现实、动作识别、视频监控等众多应用。随着深度学习、公开数据集和计算能力的提升，该领域取得了重大进展，解决了深度歧义、遮挡和数据稀缺等诸多挑战。研究人员需要应对不同场景特有的问题：单目设置中的不适定问题、多视图系统中需要相机同步的跨视图聚合问题，以及多人场景中的人物间遮挡问题。本综述全面梳理了当前用于应对这些挑战的各类技术策略，涵盖卷积神经网络、图卷积网络、Transformers及其组合方法。内容覆盖单目与多视图设置、单人与多人场景、图像与视频输入等不同情况。本综述探讨了多种解决方案范式，包括单阶段策略与2D到3D提升策略、绝对关键点与相对关键点、像素空间、体素空间与神经辐射场空间，确定性、概率性或基于扩散的策略，以及自上而下与自下而上方法。本文还考察了监督学习之外的先进学习技术，以及面向不同姿态数据集的数据增强方法，分析了近期方法在不同场景基准数据集上的性能。本文将挑战分为共性问题与场景特有问题，并提出了未来研究方向，以推动该领域的进一步发展。此外，关键内容以表格或可视化形式总结，便于快速理解。本综述是日新月异的三维人体姿态估计领域中研究人员的宝贵资源和可靠参考。 关键词 三维人体姿态估计 · 单人 · 多人 · 数据增强 · 学习技术 · 场景特有挑战 --- ## 1 引言 三维人体姿态估计（3D-HPE）是计算机视觉领域最活跃、最具活力的研究方向之一，旨在从图像或视频帧中预测人体关节的三维坐标（Zhang et al. 2023a; Shuai et al. 2023; Zhang et al. 2023b）。当包含人体的三维场景投影到二维图像上时，所有关节的位置信息和深度信息都会丢失。三维姿态估计的最终目标是准确确定关节在图像中的二维位置，以及其在相机坐标系中的深度（Ci et al. 2022）。3D-HPE的应用十分广泛，涵盖人机交互（Huo et al. 2023）、动作识别（Rajasegaran et al. 2023）、扩展现实（XR）（Zhang 2012）、自动驾驶汽车（Lamas et al. 2022）、视频监控（Matsukawa et al. 2020）、游戏（Tuyls et al. 2021）和医疗领域（Liu et al. 2023）。这些应用的性能高度依赖3D-HPE的精度，因此它是计算机视觉中一个至关重要的研究领域。深度学习技术的进步、Human3.6M（Ionescu et al. 2014）这类大规模三维姿态数据集的可得性，以及计算资源的发展，都加速了该领域的研究，催生了学术界和工业界的大量重要贡献。 3D-HPE问题取决于采集图像的传感器数量以及场景中的人数，这两个因素都会影响姿态估计的性能。根据相机数量的不同，输入数据可分为单目（单相机）和多视图（多相机）两类，因此3D-HPE的研究可划分为四种场景：单目图像、单目视频、多视图图像和多视图视频。这些场景还可进一步分为单人姿态估计和多人姿态估计，最终得到八种不同的场景。因此，除深度歧义、遮挡、数据不足、外观变化（如衣着和光照）以及铰接人体本身的复杂性这些共性问题外，每种场景还存在其独特的挑战。在非受控环境中采集RGB图像要简单得多，成本也更低，但深度歧义和自遮挡是单目图像面临的主要问题（Ci et al. 2022; Xu et al. 2022）。单目视频方法需要从帧间关系中提取并利用时间信息（Zheng et al. 2021; Honari et al. 2023），以获得更优的姿态估计效果。多视图图像可通过三角测量或类似技术更好地处理自遮挡和深度歧义问题（Bartol et al. 2022; Wan et al. 2023），但这类方法需要精确的相机校准和同步（Shuai et al. 2023）。 此外，由于多人场景存在人际遮挡、对以相机为中心的坐标的要求等新挑战，我们无法将为单人场景设计的方法直接推广到多人场景中（Cheng et al. 2023）。研究人员已经开发出多种方法应对这些挑战，通常会利用卷积神经网络（CNNs）（Li et al. 2020b）、图卷积网络（GCN）（Kipf and Welling 2017）、Transformer（Vaswani et al. 2017）等深度学习架构，以及这些架构的组合。此外，研究者还采用了线上/线下数据增强技术和监督学习之外的学习技术来解决数据稀缺问题，提升模型对自然场景的适应性。该领域的持续发展很可能会催生更准确、更高效的模型，惠及多个技术与科学领域。本篇综述全面概述了3D-HPE技术的研究现状，重点介绍了该领域的共性挑战、不同场景特有的挑战以及未来研究方向。 --- ### 1.1 已有综述 早期的综述工作（Sarafianos等人，2016年）根据输入类型（如图像或图像序列）、单视图或多视图场景对研究方法进行分类，构建了一套方法分类体系。该综述既涵盖了传统方法，也介绍了部分基于深度学习的方法。该研究还提出了一个全新的合成数据集SynPose300，并在该数据集上对多种当前最优技术进行了评估。Gamra和Akhloufi在2021年的综述工作将二维单人流程分为基于回归的方法和基于检测的方法，将三维方法分为单阶段方法论和两阶段方法论，同时还通过自上而下和自下而上的思路对多人流程展开了分析。Desmarais等人2021年的综述根据网络骨干架构和输入类型，对3D-HPE技术进行了回顾，并基于准确率、速度和鲁棒性对比了各类方法的性能。Wang等人2021年的工作回顾了面向3D-HPE的现有深度学习方法，分类维度涵盖输入类型、人数，以及直接三维估计与从二维姿态提升到三维姿态的技术路线差异。Liu等人2022年的综述工作聚焦于单目二维和三维HPE。Yan等人2022年的工作回顾了3D HPE从经典方法到深度学习方法的发展历程，涵盖了各类学习方法。Tian等人2023年的综述着重根据设计范式、重建细节和应用场景，对单目三维人体网格恢复技术进行分类。Zheng等人2023年的综述研究了适用于二维和三维姿态估计的当代深度学习方法，并根据输入数据和推理流程对不同方法进行了比较。 3D-HPE领域发展迅速，需要对新方法和新趋势进行频繁梳理总结。综述论文对于理解该领域的发展进展至关重要，因为它们能够全面概述综述发表时该领域已有的各类技术。本文旨在在前人综述的基础上，对3D-HPE领域的最新发展进展进行全面、结构清晰的梳理，并为近年的技术进步提供有价值的参考见解。 ### 1.2 研究范围 多数综述论文都会梳理该领域的共同挑战，并提出未来研究方向。虽然数据稀缺和泛化性问题经常被列为该领域的核心挑战，但现有研究很少聚焦于现有技术解决这些问题的具体策略。本综述填补了这一空白，对相关解决方案进行了探索和整理，包括监督学习之外的先进学习算法，以及在线/离线姿态数据增强技术。这种结构化的呈现旨在为读者提供清晰、实用的理解，帮助读者掌握这些策略缓解数据稀缺和泛化性问题的思路。 随着机器学习算法的发展，问题解决思路已经从基于CNN的方法转向图Transformer这类混合算法，解空间也从基于像素的形式转向体素/NeRF（Neural Radiance Fields），从确定性方法转向概率多假设方法，近年又发展出了基于扩散的方法。我们聚焦于这些最新趋势和研究视角，全面回顾了计算机视觉顶级期刊和会议中2020年至2024年3月期间发表的最新论文，同时也纳入了少数该时间范围之外的相关研究。本综述对关键内容进行了全面总结，为了清晰呈现，还采用表格和可视化说明进行展示。 --- 此外，我们对现有问题开展了广泛研究，将其划分为共性挑战与特定场景问题，并为研究提供了具备可操作性的未来方向建议。我们相信这些洞见将为读者带来极大助益，帮助他们在上述领域快速取得进展。图1展示了本综述的核心研究方向，即从RGB图像估计三维人体姿态。本综述的主要贡献总结如下： 1. 不同于以往工作，我们首先梳理了近年各类最新的问题求解策略（第2节），随后针对不同3D-HPE场景综述了前沿深度学习方法（第3、4节）。这种架构能够帮助读者全面理解这个快速发展的3D-HPE领域。 2. 我们专门探讨了传统监督之外的学习策略，包括半监督、弱监督、无监督和自监督方法。此外，我们将姿态数据增强技术分为离线和在线两类进行综述。这些方法因能够解决3D-HPE领域数据不足和数据多样性欠缺这一共性挑战，受到研究人员的高度重视。 3. 我们展示了现有最优方法在各基准数据集上的性能，重点对比了不同深度学习算法在不同场景下的表现。我们创新性地将研究挑战划分为共性问题和特定场景问题，并提供了具备可操作性的未来方向建议。本综述剩余部分的结构安排如下：第2节按照问题求解阶段、关节关键点坐标、多人范式、概率/扩散基方法以及求解空间对3D-HPE策略进行分类；第3节和第4节分别总结单人和多人场景下的前沿技术；第5节介绍监督学习之外的学习技术；第6节介绍基准数据集、在线/离线姿态数据增强技术和评价指标；第7节探讨各类3D HPE模型在基准数据集上的性能表现；第8节将3D-HPE领域的挑战划分为共性挑战和特定场景挑战，并提出潜在的未来研究方向；最后，第9节对本研究进行总结。 ![Image](images/4584593c9229a6efe2cf7c5969f46da3389f07fd7e8e62ec83a2f108684f9327.jpg)
Fig. 1 Taxonomic landscape of 3D human pose estimation survey
--- ## 2 3D-HPE问题求解策略 本节梳理了当前3D-HPE方法所采用的问题求解策略，我们从多个维度对这些方法展开分析：求解过程的阶段数，包括端到端单阶段方法，或是包含2D转3D提升的两阶段方法；关键点估计所用的坐标系，分为绝对坐标系和相对坐标系；应对多人物场景的多人范式；确定性方法，或是概率与扩散基方法；问题求解空间，包括像素空间、体素空间或NeRF；以及领域新兴趋势和需求。在深入介绍技术细节之前，表1给出了关键术语的简要定义，方便读者更好地理解相关概念。 ### 2.1 问题求解阶段 根据问题求解阶段，现有3D-HPE方法可分为单阶段（端到端）范式和两阶段（2D转3D提升）范式。端到端学习方法旨在直接从图像中估计3D姿态，采用的方法包括坐标回归、图像与姿态之间的最近邻匹配，或对一组姿态类别分类。在两阶段方法中，感知2D姿态的特征或直接得到的2D人体姿态会被用作中间输入来估计3D坐标。得益于大规模数据集的可得性以及深度学习技术的进步，2D-HPE领域已经取得了显著进展。基于这些发展，研究人员将Stack Hourglass（Newell et al. 2016）、Cascaded Pyramid Network（CPN，Chen et al. 2018）和High-Resolution Network（HRNet，Sun et al. 2019）等最先进的2D-HPE网络，应用于恢复3D人体姿态。两阶段策略降低了在小型3D数据集上过拟合的风险，还可以利用MPII（Andriluka et al. 2014）和COCO（Lin et al. 2014）等现有2D姿态数据集。纹理、语义细节等额外图像信息，能够帮助从2D姿态准确预测3D姿态（Zhou et al. 2024a）。 #### 2.1.1 单阶段/端到端 Umar等人（2020）提出利用多视图数据保证空间一致性，无需为单目图像的3D-HPE标注成本高昂的3D姿态。LCR-Net++（Rogez et al. 2020）和UniPose+（Artacho and Savakis 2022）提出了用于2D和3D姿态估计的端到端方法。这些方法将深度回归直接整合到姿态估计网络中。Wang等人（2021b）提出了用于多人3D姿态估计的Multi-view Pose Transformer模型。该模型采用直接回归方法，搭配分层关节查询嵌入方案和投影注意力机制。尽管该模型性能优异、速度较快，但难以应对数据稀缺和相机配置变化的问题。Reddy等人（2021）通过TesseTrack解决了该问题，该方法在公共体素化特征空间中采用时空框架，同时处理空间和时间维度上的3D关节重建和人物关联问题。Honari等人（2023）将对比自监督学习用于从RGB视频进行单阶段人体姿态估计。Luvizon等人（2023）的研究工作解决了可扩展性问题，该工作采用可扩展的顺序 ---
Table 1 Glossary of key terminologies
Key termsBrief concepts
Convolutional Neural Networks (CNNs)Mostly used to extract features from 2D images or video frames to predict the 2D location of body keypoints or estimate depth maps, which are then used to infer 3D poses
Data AugmentationInvolves artificially increasing the size and diversity of the dataset by applying transformations to images, such as rotation, flipping, scaling, or altering keypoint positions. This technique enhances the ability of the model to generalize, enabling pose estimation models to effectively manage different human poses, body shapes, and camera perspectives
Diffusion ModelsThese are generative models that synthesize human poses by progressively refining random noise into a plausible human skeleton. These models aim to predict missing pose data or generate diverse pose samples
Graph Convolutional Networks (GCNs)Useful for modeling the skeleton as a graph where joints are nodes, and bones are edges, learning how the spatial configuration of these joints evolves. GCNs are particularly effective in inferring the 3D pose from 2D pose keypoints by learning joint relationships
Hybrid ApproachIn 3D-HPE, a hybrid approach combines different methods (e.g., CNNs, GCNs, or transformers) to better capture both local and global relationships between body joints. Top-down and bottom-up approaches are also combined to improve the performance of multi-person pose estimation
Neural Radiance Field (NeRF)NeRF is a neural rendering technique to model and synthesize realistic 3D scenes from 2D images. It works by learning a volumetric scene representation where each point in 3D space is associated with color and density. In 3D-HPE, NeRF can be used to represent a human body's volumetric scene in 3D by learning the appearance and geometry from a set of 2D images
TransformerIn 3D-HPE, transformers can model long-range dependencies between body joints. They use self-attention mechanisms to focus on how joints relate to each other spatially and temporally across video frames
VoxelIn 3D-HPE, voxels represent the 3D volume of the human body or parts of the body on a grid of 3D units called volumetric pixels (voxels). Each voxel contains information about whether it is occupied by part of the human body and may carry appearance information such as color or texture
--- 金字塔网络，采用由粗到细的顺序方法在多个尺度上回归姿态。 单阶段范式的优缺点：在实际应用中，二维姿态估计结果通常噪声较多，这会对后续的三维姿态估计步骤造成显著且不可逆的影响（Zhang et al. 2023c）。单阶段方法无需依赖中间二维估计器，直接从二维图像估计三维姿态，因此避开了这一问题。然而，卷积运算聚焦于局部特征，且缺乏中间处理过程，这使得这类方法计算成本高昂（Chen et al. 2024），因此不适合实时处理。此外，单阶段方法训练需要三维标注，因此自然环境下大规模标注数据集的稀缺会导致姿态估计器过拟合，泛化能力较差。缺少中间监督也会让这类方法易受背景和光照变化的影响，同时特征的复杂性使得单模型的学习过程极为困难（Zhang et al. 2023b）。此外，从图像直接回归得到三维人体姿态是一个高度非线性的问题，会导致估计模型体积大、解搜索空间广阔，且更容易得到次优解。因此，将预测得到的二维人体姿态提升为三维姿态，已经成为该领域两阶段方法中一个可行的研究方向（Nie et al. 2023）。 #### 2.1.2 二维到三维姿态提升 根据三维坐标估计所用中间输入的类型不同，三维人体姿态估计的两阶段方法可分为基于感知二维姿态特征的提升方法和基于二维姿态的提升方法。基于感知二维姿态特征的提升方法利用从检测得到的二维人体姿态中提取的二维姿态感知特征，例如热图、部分亲和力场或其他关键点描述子。这些特征捕获了二维姿态的空间和上下文信息，随后被用于估计三维坐标（Pavlakos et al. 2017; Wang et al. 2020; Liu et al. 2020a; Kundu et al. 2020a; Remelli et al. 2020; Benzine et al. 2020; Wu and Xiao 2020; Tu et al. 2020）。Liu等人（2021）的研究以二维姿态为输入，采用基于注意力的时间卷积神经网络来估计三维姿态。Zhan等人（2022）将输入从二维像素空间转换为归一化坐标系中的三维射线，缓解了相机内参数和俯仰角变化带来的波动。 部分研究工作（Wandt et al. 2021; Cheng et al. 2021a; Wehrbein et al. 2021; Kundu et al. 2022; Usman et al. 2022）结合二维姿态置信度得分和热图来估计三维姿态。这类方法利用高置信度关节校正低置信度、不确定关节的位置，从而提升整体预测精度。Kim等人（2024）利用二维姿态中各关节的置信度生成伪标签。模型根据二维姿态的置信度为每个关节计算加权平均值，得到三维伪真值，随后将其用于自监督学习。 基于二维姿态的提升方法（Zhou et al. 2017; Pavllo et al. 2019; Liu et al. 2020b; Shuai et al. 2023）直接将由二维空间中检测得到的关键点或关节组成的二维人体姿态作为中间输入。这类方法利用这些二维关节的空间结构推断对应的三维位置，目标是从二维关节位置重建三维姿态。Xu等人（2020）的研究利用透视投影细化二维姿态，并通过施加运动学约束来估计三维姿态。Zhang et al. --- 等人（2020）利用包括姿态和视点在内的姿态几何信息，将二维姿态提升为三维姿态。AdaFuse（Zhang et al. 2021）采用二维姿态方法为每个视图生成热图，并在估计三维姿态之前利用对极几何对热图进行融合。 二维转三维升维方法的优缺点：从图像中估计二维人体姿态是一个已经得到良好解决的问题（Nie et al. 2023），该方法能够清晰可视化关节位置，且与三维姿态在空间上对齐良好；在有充足真值（GT）数据的情况下，该方法对变化背景、衣物、颜色等图像畸变具有较强鲁棒性。这种方法可以显著减少不确定性和语义损失（Lee et al. 2023）。此外，目前可获取的二维标签数量非常多，尤其是野外场景下的标签，因为标注二维姿态比采集三维真值更简单、成本更低（Nie et al. 2023）。二维人体姿态检测器的广泛普及，加上二维骨架表示轻量的特性，使得基于升维的方法在三维姿态估计领域十分流行（Zhao et al. 2023b）。然而，二维转三维的流程涉及诸多可变因素，例如视图数量、视频序列长度，以及是否使用相机标定（Shuai et al. 2023）。此外，二维转三维方法会继承二维模型产生的误差，并且由于需要在第二个步骤中逐次计算深度，而非同时估计深度，因此会增加计算复杂度。 ### 2.2 联合关键点坐标 现有的3D-HPE方法要么预测相对于人体根关节的三维姿态，要么预测相对于相机坐标的三维姿态。根据参考坐标系的不同，这些方法可分为以人为中心和以相机为中心两类。部分模型会同时估计以人为中心和以相机为中心坐标下的关键点，以便将其性能与现有最优方法和训练所用数据集进行比较。例如，TesseTrack（Reddy et al. 2021）在Human3.6M数据集上计算以根为中心的MPJPE指标，在CMU Panoptic数据集上计算非根中心的MPJPE指标。对于单人体场景，估计相对身体坐标下的三维姿态是合适的；但对于单目图像的多人体场景，需要绝对坐标；而对于多相机视图的多人体姿态估计，全局坐标才有意义。 #### 2.2.1 以人为中心 以人为中心方法也称为相对坐标法或以根为中心方法，该方法预测关键点相对于人体中心位置（例如骨盆）的三维坐标，根关节被置于坐标原点，其他关节相对于它进行估计。这种方法主要适用于单目图像的单人体姿态估计。已有诸多研究介绍了针对单目图像单人体3D-HPE的、以根为中心坐标下的姿态估计方法（Zhang et al. 2023a; Ci et al. 2022; Zheng et al. 2021; Bartol et al. 2022; Cheng et al. 2021a; Wehrbein et al. 2021; Usman et al. 2022）。此外，部分研究（Honari et al. 2023; Liu et al. 2021; Lee et al. 2023; Choi et al. 2021a; Kundu et al. 2021）聚焦于视频输入，估计以人为中心坐标下的三维姿态。然而，以人为中心方法不太适用于涉及多人或多视图的场景，因为这类方法会丢失人物在场景中的位置信息，无法确定人物的空间位置。 --- #### 2.2.2 以相机为中心 以相机为中心或绝对坐标方法以相机作为参考点，预测相对于相机的三维关键点。相机与人之间的距离决定了人的尺寸和关键点位置，这在涉及多视图图像或视频输入的多人3D HPE任务中至关重要。例如，距离相机更远的人看起来比离相机更近的人更矮，即使这个远处的人实际身高更高。以人为中心的坐标限制了多视图设置的泛化能力，因为从一个相机预测得到的相对姿态难以投影到另一个不同的视图中，这增加了多场景下遮挡处理的复杂度。相反，当估计是相对于静态参考系进行时，预测结果可以轻松地从一个视图投影到另一个视图（Luvizon et al. 2022）。对于多相机场景，在全局或世界坐标系中估计三维姿态是更合理的选择。在实际应用中，估计绝对三维姿态比根相对三维姿态更具优势。例如，在无人零售店中，检测顾客拿起的商品是核心需求，这依赖于世界坐标系中准确的手部定位（Zhan et al. 2022）。类似地，增强现实这类应用也需要以相机为中心的人体关键点，以实现人在世界坐标系中的重新定位。多项研究工作（Cheng et al. 2023; Wu and Xiao 2020; Cheng et al. 2021a; Luvizon et al. 2022; Wei et al. 2022; Cheng et al. 2021b; Zou and Tang 2021; Jin et al. 2022; Wang et al. 2022）使用单目图像或视频输入，在相机坐标系中求解人体关键点。大多数多视图研究工作（Zhang et al. 2021; Dong et al. 2022; Gholami et al. 2022）估计相对于世界坐标系的人体关键点，支持跨多个视图的关节运动表达。 ### 2.3 多人问题范式 三维多人姿态估计（3D-MPPE）采用的问题求解范式可分为自上而下、自下而上和混合三类方法，如图2所示。自上而下范式首先使用边界框识别出每一个人，再检测每个人的关键点。与之相对，自下而上范式会一次性生成所有个体的热力图，随后再将关键点分配给对应的人。一般来说，自上而下方法往往精度更高，而自下而上方法通常速度更快。混合方法结合了自上而下和自下而上方法的特点，以充分利用二者各自的优势。此外，不同于自上而下和自下而上范式典型的两阶段解决方案，部分研究采用单阶段方法解决多人3D-HPE问题。 #### 2.3.1 自上而下范式 自上而下方法首先识别出可能包含人体的边界框，随后对每个检测到的个体执行单人HPE。已有方法（Reddy et al. 2021; Cheng et al. 2021a; Dong et al. 2022; Han et al. 2022; Guo et al. 2021; Lin and Lee 2021; Chen et al. 2020; Wu et al. 2021）使用这种自上而下方法在多人场景中估计三维姿态。一般而言，自上而下方法的姿态估计精度更优，非常适合对精度要求较高的应用场景（Wu and Xiao 2020）。但这类方法严重依赖于人体检测器的精度（Han et al. 2021）。 --- ![Image](images/a8fc4902da078ba744eb0afbdcc5690cc362c69d9f10ee3d875e873c90f5da8c.jpg)
Fig. 2 Multi-person paradigms: top-down, bottom-up, and hybrid approaches
2022)，且通常无法检测到被大部分遮挡的个体。此外，这类方法在拥挤场景下的可扩展性较差，因为其计算复杂度会随人数增加而上升，导致运行速度变慢，不适合实时处理。Benzine et al. (2020)的研究工作采用了不依赖图像中人数的边界框检测方案。 #### 2.3.2 自下而上范式 自下而上方法不需要人工检测，能够同时估计多个人的姿态。这类方法通常先生成热图，再经过后处理步骤将检测到的关节组装为完整的人体骨架。Zhou et al. (2021, 2023) 提出了一种用于实例感知人体解析的自下而上方法，该方法将语义丰富、包含充足几何信息的人体关节回归为像素嵌入，能够通过关节关联实现细粒度语义的高效分组。现有方法 (Wang et al. 2021b; Zhang et al. 2023c; Tu et al. 2020; Benzine et al. 2021; Fabri et al. 2020) 都遵循自下而上范式处理多人 3D-HPE，效率高于自上而下方法。与自上而下方法不同，自下而上方法只需一次前向处理即可得到所有人的关节位置，即使在严重遮挡的情况下也能完成三维姿态推理 (Benzine et al. 2020)。但目前大多数自下而上方法对所有个体都采用统一尺度处理，因此对多人之间的尺度变化敏感，对较小个体的关节检测能力更弱。 #### 2.3.3 混合/单阶段 自上而下方法通常能够很好地适配场景中人物的尺度差异，但容易因单个人体内部的遮挡产生检测错误，并且在拥挤场景中，随着人数增加，这类方法需要消耗更多资源。另一方面，自下 --- 而上方法通常效率较高，性能不随场景中的人数变化，但在处理小尺度个体时容易出错。Cheng et al. (2021b, 2023) 提出结合自上而下网络和自下而上网络，同时发挥两种方法的优势。在他们的集成网络中，自上而下网络估计图像块中所有个体的关节，而自下而上网络使用基于归一化热图的人体检测，提升了模型对尺度变化的鲁棒性。 相关论文作者 (Jin et al. 2022; Wang et al. 2022) 提出，目前无论是两阶段自上而下还是自下而上的多人方法，都存在计算冗余、计算成本高的问题，导致实时处理的效率不足。Jin et al. (2022) 针对多人三维人体姿态估计提出了一种基于解耦回归模型的单阶段解决方案，使用回归图完成估计。Wang et al. (2022) 提出了一种单阶段分布感知方法，通过递归方式提升人体关节估计的效果。 ##### 2.4 确定式 vs. 概率式 vs. 基于扩散的方法 现有 3D-HPE 研究可根据提供的解的数量分为确定式方法和概率式方法两大类。确定式方法为每张图像生成单个确定的三维姿态，更适合实际场景应用。概率式方法将二维到三维的转换建模为概率分布，为每张图像输出一组可能的解，能够适配从二维提升到三维过程中的不确定性和歧义性。为了让这类概率方法具备实用性，聚合技术会将多个假设整合为一个质量更高的单一三维姿态。近年来，扩散模型在图像生成任务中十分流行，也被探索应用于三维姿态估计任务。这类模型的核心思路是，将简单数据分布（如高斯噪声）逐步转换为能够表示最终三维姿态的更复杂分布。这类方法的通用流程如 Fig. 3 所示。 #### 2.4.1 确定式方法 现有大多数3D-HPE方法（Honari et al. 2023; Artacho and Savakis 2022; Nie et al. 2023; Liu et al. 2020a; Wang et al. 2020; Zhao et al. 2023b; Luvizon et al. 2022; Tang et al. 2023）都采用确定性思路，为每一帧输出一个确定的单一3D姿态。确定性方法受到青睐是因为它能产出一致直观的结果，适用于各类实际应用。然而，受深度歧义性和身体部位遮挡的影响，从二维关节检测结果准确重构出正确3D姿态极具挑战性，该问题本身存在多个可行解。确定性方法往往假设仅存在一个解，因此忽略了这类歧义性，最终容易得到不够理想的结果。 #### 2.4.2 概率方法 概率方法主要针对二维检测器输出结果，对姿态估计中的不确定性进行建模。Bertoni et al. (2019) 通过基于拉普拉斯推导的损失函数估计置信区间，解决了定位中的歧义问题。Rogez et al. (2020); Wehrbein et al. (2021) 提出概率模型来生成多个3D姿态 --- ![Image](images/ba74e10790047f0f366fec30121ffb8671ec50d93a9ead6e6f9465e6bf951ca5.jpg)
Fig. 3 Generic flow of deterministic, probabilistic, and diffusion-based approaches
候选，为姿态检测的定位过程提供一系列姿态候选方案。Han et al. (2022) 提出不确定性学习方法，通过概率建模关节位置的不确定性，解决噪声标注、人物检测不精确和遮挡带来的不确定性问题。Wandt et al. (2022) 利用归一化流建立姿态的先验分布，帮助从随机投影中识别出概率最高的等比例3D姿态。Li et al. 2023b, 2022 的研究提出了一种方法论：先进行初始一对多映射，再通过多个中间候选完成多对一映射。Bartol et al. (2022) 提出了人体姿态三角化方法，通过对每个关节的随机视角子集做三角化生成多个3D姿态候选。Lee et al. (2023) 使用基于姿态熵的概率模型，Jiang et al. (2023) 使用概率分布表示相机姿态，而MHCanon-Net (Kim et al. 2024) 在空间域生成姿态和旋转的多个候选，同时捕获跨多帧特征的时间相关性。概率3D-HPE框架可以通过集成动态参数和启发式函数（如关节约束或运动约束）实现增强。Sun et al. (2024) 最近的研究就是该思路的典型案例，他们将本体感受反馈整合到了概率模型中。 #### 2.4.3 基于扩散模型的方法 扩散模型例如（Gong et al. 2023）从初始含噪姿态估计出发，通过学习得到的扩散过程逐步迭代优化姿态。这类方法通常包含学习得到的逆过程，逐步去除噪声以恢复真实姿态。Shan et al. (2023) 提出基于扩散的方法，可兼容现有3D-HPE方法作为骨干网络，还支持在推理阶段自定义候选数量。Holmquist and Wandt (2023) 引入条件扩散模型，通过对表示3D关节的向量逐步变换来预测多个候选 --- 将坐标转换为高斯分布。去噪阶段依赖于由采用嵌入Transformer的二维关节检测器生成的逐关节热图。该嵌入Transformer将每个关节的所有样本非线性嵌入到单个向量中，保留了它们的多模态特性。Cai等人（2024a）利用基于层级信息的解耦方法，在前向扩散过程中对姿态先验进行显式建模。在反向过程中，他们使用的去噪器由与层级结构相关的空间Transformer和时间Transformer组成。 ### 2.5 问题求解空间 现有方法根据执行实际三维姿态估计任务的问题求解空间被分类梳理。大多数3D-HPE方法在像素空间中运行，仅有少数研究工作提出了使用离散体素在三维空间中运行的模型。近年来，已有不少研究将NeRF应用于三维人体建模相关的各类任务中。 #### 2.5.1 基于像素的方法 大多数现有方法（Honari等，2023；Cheng等，2023；Kim等，2024；Chen等，2024；Nie等，2023；Lee等，2023；Zhao等，2023b；Chen等，2022；Tang等，2023；Gong等，2023；Yu等，2023）均在像素空间内完成3D-HPE任务。这类方法通常首先提取与人体姿态相关的图像特征，并将其表示在二维空间中，后续的姿态估计任务则在这些二维特征图上完成。这类基于像素的方法计算效率较高，但由于从二维特征空间回归三维坐标是高度非线性过程，因此面临着显著挑战。 #### 2.5.2 基于体素的方法 三维姿态估计中的体积监督可为三维空间中的每个体素提供详细的真值数据，提供更丰富的信息。该方法通过将三维坐标回归转换为对每个体素的置信度估计预测，直接得到三维坐标结果（Pavlakos等，2017）。此外，在多人环境中，如果事先未知人数，直接回归关节坐标并不现实，因此体积热图成为自底向上多人3D-HPE的自然选择（Fabbri等，2020）。Tu等（2020）、Reddy等（2021）、Zhang等（2023c）提出了基于体素的方法，用于从多个相机视角估计多人的三维姿态，该方法通过整合所有相机视角，直接在三维体素空间中运行。在该技术中，整合后的三维表示有效消除了跨不同视角关联二维姿态的需求，有利于处理遮挡问题。但这类方法的精度高度依赖体积热图的分辨率，精度与每个体素的大小直接相关，而高分辨率热图需要占用大量内存，会引发可扩展性问题。因此，这类方法要么精度高但速度慢，要么速度快但精度低，且针对每一种特定的速度-精度权衡都必须重新训练模型（Luvizon等，2023）。 --- #### 2.5.3 基于NeRF的方法 近年来，神经辐射场（Neural Radiance Field, NeRF）（Mildenhall et al. 2020）已凭借从多幅图像合成场景生成新视角的能力受到广泛关注。研究人员提出将NeRF应用于动画、数字分身、肖像合成等各类任务的三维人体建模中。近期一些工作，例如A-NeRF (Su et al. 2021) 和Neural Body (Peng et al. 2021, 2023)，专门研究了使用NeRF表示关节化人体的方法。A-NeRF结合关节化骨架模型与隐函数，从二维图像生成三维表示；它使用标准三维姿态估计器初始化关节人体姿态，并利用空间潜变量。Neural Body专注于从稀疏多视角视频生成运动人体的新视角，通过潜码编码局部特征和外观，这些潜码与可捕捉人体动态的SMPL (Loper et al. 2015) 模型的顶点相关联。最新研究改进（Peng et al. 2023）引入了隐式表面模型，以提升几何提取效果，并在训练过程中约束学习到的几何结构。Gholami et al. (2024) 提出了一种基于NeRF的数据增强方法，结合A-NeRF (Su et al. 2021)生成多样化的三维人体姿态数据。现有大量使用NeRF进行人体建模的方法，通常依赖现成的三维姿态估计器或SMPL这类重型参数模型，这些模型本身隐含包含三维姿态信息。目前，尚未存在得到广泛认可的、专门研究使用NeRF进行三维人体姿态估计的方法。 ### 2.6 新兴技术与需求 除了前述小节介绍的各类策略，近期已有若干新技术被提出。随着大语言模型（LLMs）在自然语言处理领域取得成功，近期一些研究（Wang et al. 2024; Feng et al. 2024）已开始探索其在3D-HPE中的应用。LLMs有望通过整合语言模型的语义理解能力与几何推理能力提升3D-HPE的性能，有望催生更鲁棒、更准确的姿态估计系统。 随着移动设备、平板和嵌入式系统的应用日益广泛，面向实时3D-HPE的轻量级模型变得越来越重要。目前已有一些方法（Choi et al. 2021b; Ye et al. 2022; Liu et al. 2020b）被提出以实现实时3D-HPE，但核心挑战在于如何设计出兼具效率与准确性、可在内存和处理能力较低等计算资源有限的设备上运行的模型。这类技术进步将能够在便携、资源受限的设备上实现AR/VR体验、健身追踪、人机交互等实时应用，让3D-HPE在日常使用中更易获取、更具实用性。 现有许多三维姿态估计方法仅适用于背景均匀的场景。然而，针对实际应用探索人类与动态三维场景的交互至关重要。这需要理解人类如何与环境交互，这对开发更鲁棒、更具实用性的姿态估计技术必不可少。一些研究（Guzov et al. 2021; Yi et al. 2022; Wang et al. 2023a）使用各类传感器探索人-场景交互，但要推动这类方法在动态环境中的发展仍需进一步研究。Zhou et al. (2024c) 的最新工作使用多传感器进行人类活动识别，在特征选择过程中融入传感器数据，这类方法可以提升动态环境下的人体交互效果。 --- ## 3 单人3D-HPE方法 本节概述了单人3D-HPE领域的现有技术，核心研究内容为预测头部、肩部、肘部、膝盖等关键人体关节的三维坐标。这些方法按照输入类型分为单目图像视频方法和多视图图像视频方法，再进一步根据所采用的深度学习算法划分为CNNs、GCNs、Transformers和混合模型等类别。单人3D-HPE的一般流程总结于图4中。 ### 3.1 单目图像的3D-HPE 基于单目图像的3D-HPE仅使用单个相机采集的RGB图像，无需校准相机参数。该方向作为大量以人为核心应用的关键组成部分，已经得到了广泛关注。尽管备受关注，但由于深度歧义和遮挡问题，该任务仍然极具挑战性，需要大规模野外数据集才能实现有效的泛化。深度歧义指难以准确确定人体关节关键点的深度（即与相机的距离）：不同的三维姿态可以产生相似甚至完全相同的二维投影，因此无法从单个相机视图中推断出正确的深度。类似地，遮挡指手臂、腿部等身体部位被其他身体部位或外部物体阻挡视线，导致难以估计完整人体姿态。方法必须对遮挡具备鲁棒性，能够根据可见关节推断出隐藏的人体关节。目前已有多种方法被提出以解决这些挑战，下文将分小节展开讨论。 #### 3.1.1 基于CNN的方法 已有多项研究提出端到端方法，以解决模型对大规模三维姿态标注的依赖，旨在提升泛化能力，有效应对深度歧义和遮挡等挑战。Umar等人（2020）使用带二维姿态标注的图像训练模型，加入了热图损失和多视图一致性损失。Mitra等人（2020）利用多视图同步视频学习姿态嵌入。 ![Image](images/3e10a0824451df6f59fc38ecbb9ca4dc36245bdd229d52986663924d9d8c3f18.jpg)
Fig. 4 Single-person 3D-HPE pipelines in single stage and 2D-to-3D lifting
--- 嵌入，仅使用有限数量的3D姿态标签，确保相似姿态在嵌入空间中得到相近的映射结果。Kundu等人（2020b）的研究利用未标注的单目视频样本，设计了融合分层肢体连接性的运动学结构保留流水线。Luvizon等人（2023）提出可扩展顺序金字塔网络，通过在多尺度回归姿态、生成用于3D姿态回归的热图和深度图，解决了可扩展性问题。 部分研究利用身体部位的几何特性处理深度歧义和遮挡问题。Fang等人（2018）、Xu等人（2022）提出了利用运动学、对称性、运动协调等姿态语法的方法，这些架构以双向RNN层级结构为特点，能够高效捕捉依赖语法中的双向关系。Liu等人（2020a）使用图卷积长短时记忆网络（LSTM）（Hochreiter和Schmidhuber 1997）建模不同身体部位之间的关联。Kundu等人（2020a）的研究引入了一种可微的基于部位的表示，包含单个基于部位的二维木偶模型、人体姿态关节活动约束和一组未配对的三维姿态。Wu和Xiao（2020）假设肢体为刚性结构，使用人体关节深度值，以及沿肢体对深度值稠密插值得到的肢体深度图完成估计。 研究人员还引入了多种学习与优化策略，用以解决数据稀缺、泛化能力不足和遮挡问题。Li等人（2020b）提出了一种自监督学习方法，利用几何原理从多视角帧中生成监督信号。为了处理自遮挡带来的噪声影响，网络融入了二维关节的置信度。Wandt等人（2021）设计了CanonPose，利用来自未标定相机的多视角自监督学习单目3D-HPE。其核心思路是，一个视角的二维检测结果可以通过标准姿态空间投影到另一个视角。Zhang等人（2020）提出了一种推理阶段优化方法，通过在推理阶段对无标注目标图像进行自监督学习来提升模型的泛化能力。Kundu等人（2022）结合了无模型关节定位和基于模型的参数回归网络，该方法引入了包括背景、模拟合成关节级遮挡在内的负样本，提升了所提出的姿态和关节不确定性方法的有效性。基于CNN的方法很容易与其他网络集成。例如，Gao等人（2023）使用基于CNN的人体姿态估计子网络预测手部关节坐标，大幅提升了其网络的整体性能。 #### 3.1.2 基于GCN的方法 GCN已被应用于两阶段方法中，因为检测得到的二维关键点可以表示为图结构，从而能够有效捕捉和处理人体关节之间的关联关系。研究人员利用人体关节关系和肢体长度约束来处理深度歧义性和遮挡问题。Ma等人（2021）提出了ContextPose，该方法将施加肢体长度约束的图形结构模型整合到图神经网络中。Xu和Takano（2021）通过将多尺度、多层次特征与人体骨骼先验知识结合，提出了Graph Stacked Hourglass Network。Xu等人（2021）的研究提出了一种采用师生框架的方法：教师网络使用基于姿态字典的正则化，学生网络使用GCN，借助几何一致性估计三维坐标。Zou和Tang（2021）提出了一种 --- 权重调制GCN，用以分离不同节点的特征变换，学习人体关节之间的多种关系模式。Ci等人（2022）将拉普拉斯算子分解为预定义结构矩阵和可学习权重矩阵的乘积，以此捕捉图节点之间的依赖关系。Azizi等人（2022）提出了一种谱GCN架构，该架构对图拉普拉斯的特征值矩阵使用莫比乌斯变换，通过节间角度和关节平移对姿态进行显式编码。Zhang等人（2023c）提出了Parallel Hop-Aware Graph Attention Network，该网络可以学习骨骼关节之间的相关性，同时保持人体图的空间精确表示以及多跳节点的语义关联。 #### 3.1.3 基于Transformer的方法 部分研究提出使用特定于姿态的自注意力机制来利用人体骨骼的结构信息。Li等人（2023a）提出了一种面向姿态的Transformer架构适配方案，该方法计算关节对之间的相对距离，并将该信息编码为自注意力过程中的注意力偏置。这种机制提升了捕捉人体骨骼内部依赖关系的能力。Zhou等人（2024a）提出在网络中通过从各个图像块中筛选有价值的特征来利用图像信息。 #### 3.1.4 混合/其他方法 GCN+Transformer：部分研究人员在网络中结合了GCN与Transformer，以同时利用两种架构的优势。Zhao等人（2022）提出了GraFormer，该模型由GraAttention和ChebGConv两个组件构成。GraAttention在多头注意力之后，用图卷积层替换了MLP，以捕获来自所有节点的全局信息。ChebGConv模块可促进非相邻节点之间的信息交换，从而获得更广阔的感受野。Chen等人（2024）提出了一种动态图Transformer，由Transformer编码器（TE）、静态GCN和动态GCN组成。TE模块利用自注意力机制挖掘骨骼关节之间复杂的全局关联。静态GCN专注于提取人体关节之间的局部物理连接特征，而动态GCN则专门用于学习基于不同动作姿态的稀疏动态K近邻交互，有效解决了关节的姿态依赖相关性问题。 其他方法：Li和Pun（2023）通过联合训练，将基于GAN的姿态生成网络与基于MLP的估计网络相结合。基于GAN的网络提升了生成姿态的多样性，并通过关节角损失确保姿态保持在合理范围内，该研究还提出了一种基于MLP的身体部位分组策略用于姿态估计。Chai等人（2023）提出了一种基于GAN的无监督方法，解决3D人体姿态域自适应问题，该方法通过几何约束实现全局位置对齐，并对局部根相对姿态进行增强，提升3D姿态中局部结构的多样性。Nie等人（2023）提出了一种基于自动编码器（AutoEncoder, AE）的方法，通过回归任务中的域自适应解决2D-3D歧义问题，从而学习3D人体模型。Kang等人（2023）提出了一种名为GridConv的卷积运算改进方法，通过对图结构的姿态表示进行变换。 --- 经由语义网格变换转换为类编织网格姿态。卷积核中集成了一个注意力模块，增强了GridConv对上下文信息的编码能力。 ### 3.2 基于单目视频的3D-HPE 从单个RGB相机拍摄的视频中估计3D人体姿态，在监控系统等多种应用中都具有重要意义，这得益于RGB相机成本低廉、部署便捷的优势。基于单目视频的方法可以利用时序信息解决深度歧义和遮挡挑战，但这类方法也面临诸多难点，包括人体动力学的高维变异性与非线性，以及运动模糊、运动速度相对训练数据存在差异等问题。目前已有多种方法被提出以应对这些挑战，我们将在后续小节中展开介绍。 #### 3.2.1 基于CNN的方法 大多数方法利用时间信息解决深度歧义及其他挑战。Artacho和Savakis（2022）提出了端到端统一框架UniPose+，使用线性序列LSTM提取时间信息。Pavllo等人（2019）采用空洞时间卷积捕捉长期依赖关系，可同时处理多帧以解决深度歧义问题。Wang等人（2020）提出了一种方法，利用CNN和LSTM分别学习图像与空间上下文的特征表示，再捕捉时间依赖以实现平滑预测。Liu等人（2020b）通过时间卷积网络（TCN）整合注意力机制，从而利用时间上下文信息。Xu等人（2020）将运动学分析融入深度模型，通过遵循透视投影约束利用人类先验知识优化含噪声的2D输入，并通过轨迹补全完成3D姿态优化。Cheng等人（2020）提出在空间和时间维度都使用多尺度特征，以应对不同距离、不同运动速度的人体目标。Liu等人（2021）利用基于注意力的模型和多尺度空洞卷积结构，在不增加网络层数的前提下学习大时间感受野内的隐式依赖关系。Cho等人（2021）提出一种方法，利用无模型元学习实现单目视频场景对相机畸变的自适应。Lee等人（2023）提出时间传播LSTM网络，利用时空姿态相关性最小化姿态熵，解决了关节相互依赖、时间一致性和人类感知相关问题。 #### 3.2.2 基于GCN的方法 基于GCN的方法利用多个相邻节点的空间和时间表示，获取关键点的更丰富信息。Zeng等人（2021）提出了动态感知跳分层级通道压缩融合层，该层通过从相邻节点提取相关信息、抑制无关噪声来更新节点特征。Yu等人（2023）的研究工作提出了一种全局-局部学习架构，在基于GCN的模型中同时利用全局时空表示和局部关节表示，并使用真实2D姿态数据。 --- #### 3.2.3 基于Transformer的方法 Transformer中的自注意力机制能够清晰捕捉长输入序列中的全局相关性。因此，目前已经开发出多种基于Transformer的方法来处理长视频序列，从而获取更全面的姿态信息以应对各类挑战。大多数方法（Zheng等人2021；Li等人2022；Zhao等人2023b；Kim等人2024）采用空间Transformer，通过空间自注意力层捕捉单帧内2D关节之间的局部关系，同时考虑2D关节的位置信息，再利用时间Transformer模块分析不同帧之间空间特征表示的全局依赖关系。 张等人（2022）提出了MixSTE（Mixed Spatio-Temporal Encoder，混合时空编码器），该方法对每个关节的时序运动分别建模，并使用空间transformer捕捉关节间的空间相关性。与聚焦于中心帧的方法不同，MixSTE处理输入视频的全部帧，提升了输入序列与输出序列之间的连贯性。唐等人（2023）提出了时空交叉注意力（STC）机制，以并行方式对空间和时序信息建模。周等人（2024b）提出了SlowFastFormer，该模型包含一个带慢分支和快分支的并行编码阶段，后续连接融合阶段，以处理不同速率的运动。蔡等人（2024a）提出了一种基于扩散的方法，该方法在前向扩散过程中采用解纠缠策略，利用分层信息对姿态先验进行显式建模。该模型包含一个由分层关联空间transformer和时序transformer组成的去噪器，在反向扩散过程中通过提高相邻关节的注意力权重，增强了分层关节之间的连接。 #### 3.2.4 混合方法 GCN+transformers：朱等人（2021）提出了PoseGTAC，该方法使用图空洞卷积（GAC）扩大感受野并学习多尺度姿态上下文，同时搭配图Transformer层捕捉全局长程关系。李等人（2023b）扩展了他们此前的工作（Li et al. 2022），将标准transformer编码器替换为图transformer编码器，以此同时捕捉人体关节的全局和局部信息，更好地约束估计得到的3D姿态的物理结构。龚等人（2023）提出了一种基于扩散的架构，整合了基于GCN的扩散模型和上下文编码器，旨在解决不确定性问题。翟等人（2023）提出了带组内关节细化的跳步图Transformer（Hopwise GraphFormer），用于探究人体关节之间的潜在关联。Hop-wise GraphFormer组件根据关节的k跳邻居对关节聚类，并对这些聚类采用类transformer注意力机制，旨在挖掘隐藏的关节协同关系。陈等人（2023）提出了高阶有向Transformer（HDFomer），用于解决3D关键点深度估计中关键点重叠、姿态快速变化、尺度变化多样的挑战。HDFomer利用关节-关节、骨骼-关节和超骨骼-关节关系，结合自注意力和高阶注意力构建多阶注意力模块。该方法将GCN整合到基于transformer的框架中，在性能与效率之间取得平衡。 --- ### 3.3 基于多视图图像的3D-HPE 从多相机图像估计单人3D姿态的核心目标是确定世界坐标系下人体关节的绝对三维位置。利用多视图信息可以有效恢复深度信息和被遮挡的身体部位。但多视图方法在实际应用中存在诸多挑战，因为它需要同步且经过校准的相机来聚合多视角的信息。目前已有多种采用不同深度学习算法的方法被提出以解决这些挑战，我们将在后续小节展开讨论。 #### 3.3.1 基于CNN的方法 Remelli等人（2020）提出了一种轻量级架构，可在标准参考坐标系中获取与相机位姿解耦的特征图。该方法从学习得到的与相机无关的3D姿态表示中预测2D关节位置，并通过可微三角测量的高效公式将2D姿态提升为3D姿态。AdaFuse（Zhang等人，2021）利用对极几何和相机参数找到对应点，融合来自各视图的热图，并应用SoftMax算子降低噪声。Luvizon等人（2022）的研究针对绝对坐标下的3D人体姿态预测任务，通过利用视锥空间姿态估计，将绝对深度预测与相对关节深度估计分离开来。Wan等人（2023）提出了一个多视图融合模块，利用在源视图中检测到的关键点生成伪热图，通过特征匹配表示参考视图中定位关键点的概率分布；整体三角测量结合了解剖学先验，以保持姿态的一致性与合理性，将整个姿态作为一个统一实体进行推理。Jiang等人（2023）提出了概率三角测量模块，用于从多视图估计未标定的3D人体姿态。Usman等人（2022）提出了Metapose，该方法在训练或推理过程中都不需要3D关节标注或相机参数。Metapose通过一个简单的视图等变神经网络融合单视图模块的输出，结合了来自多视图的姿态预测和不确定性估计。 ### 3.4 多视角视频下的3D-HPE 利用多视角视频估计单个人的3D姿态，可以有效解决深度歧义和遮挡相关问题。然而，该方法需要大量计算能力和昂贵的设备配置，因此该领域的研究相对较少，且不适用于实时处理。 Shuai等人（2023）提出了一种多视图融合Transformer，可在不需要相机标定的情况下处理可变多视图序列。该方法将视图间关系融入其相对注意力块，重构来自多视图的特征。此外，该方法在多视图融合和时间融合Transformer中采用了随机掩码机制，提升了对视图数量和视频长度变化的鲁棒性。Cai等人（2024b）提出了FusionFormer，该方法同样不依赖相机参数，可在统一框架下融合多视图和多帧特征。FusionFormer将2D姿态估计结果编码为姿态特征，并 --- 随后利用Transformer编码器将多视图和多帧特征联合合并为一个全局特征。 Zhang等人（2024）提出了一种基于深度语义图Transformer的多视图3D人体姿态估计方法。该网络动态学习深度语义特征及其关系，整合了所有人关节的位置、空间结构和骨骼边缘信息。通过逐步融合来自多视角的关键时空信息，该方法可以有效建模帧之间的长期依赖关系。 ## 4 3D多人姿态估计方法 三维多人姿态估计（3D-MPPE）非常适用于解决各类现实世界问题，包括运动表现分析、人机交互和视频监控。尽管该方向颇具研究潜力，针对多人的三维人体姿态估计（3D-HPE）研究仍然十分有限且极具挑战性。这主要源于缺乏足够的野外数据集、存在遮挡问题，且输入图像/视频的质量参差不齐。此外，要准确反映每个人相对于他人的位置，还原他们在现实场景中的实际位置，就需要在绝对坐标系下估计三维姿态。 ### 4.1 基于单目图像的3D-MPPE 从单目图像中估计多人的三维姿态难度尤其高，因为该任务需要从单幅图像的特征中计算出多个人的姿态。目前已有多种使用不同深度学习算法的方法被提出，用于解决该问题。 #### 4.1.1 基于CNN的方法 Rogez等人（2020）、Benzine等人（2020）提出了基于锚点的自上而下方法来估计多人三维姿态。Benzine等人（2020）提出的PandaNet相较于热图可以使用更低分辨率的输出，因为单个输出像素就可以表示一个目标的完整姿态，这有利于处理遮挡问题。Guo等人（2021）提出了一种利用解耦双分支结构的方法，该方法可重建人体身高，确定三维人体根节点的深度和位置。注意力机制提升了相对姿态估计的准确率，还通过在训练样本中添加人工合成遮挡来处理遮挡导致的边界框收缩问题。 Jin等人（2022）提出了解耦回归模型，构建了用于多人三维姿态估计的单阶段流程。该方法将二维姿态回归与人物深度估计相结合，通过位置查询操作联合进行三维姿态回归，还可以自适应学习实例的尺度信息。Wang等人（2022）提出了一种分布感知单阶段模型，可同时在相机坐标空间中定位人物及其身体关节的三维位置。 --- #### 4.1.2 基于GCN的方法 Han等人（2022）提出了一种自上而下的方法，可以同时预测三维人体关节位置及其对应不确定性。可见关节的不确定性通常较低，被遮挡关节的不确定性较高。基于学习得到的不确定性和关节间的关联关系，不确定性感知GCN通过让低不确定性关节约束高不确定性关节，对初始的三维关节估计结果进行优化。Chen等人（2022）开发了一种部位感知的自上而下模型，解决了人体部位的异质性问题，而现有方法对所有部位都采用统一的解码器架构，这正是该方法的不同之处。 ### 4.2 基于单目视频的3D-MPPE 本小节将梳理现有针对单目视频的三维多人姿态估计方法。这些方法旨在通过有效利用时序信息，解决人内/人际遮挡、深度歧义性等挑战。 #### 4.2.1 基于GCN的方法 Cheng等人（2021a）提出了一种自顶向下方法，该方法使用基于有向图的joint-GCN和人体骨骼GCN，利用热图置信度分数和部位亲和场分数处理遮挡、部分出框场景以及人体检测不准确的问题。他们还引入了joint-TCN用于生成跨帧的以人为中心3D姿态，velocity-TCN保证连续帧中的姿态一致性，root-TCN则在不需要相机参数的情况下，利用弱透视投影估计相机坐标系下的3D姿态。Cheng等人在2021b的研究工作中引入了一个集成网络，该网络结合了两个分支：自顶向下分支预测边界框内所有个体的3D姿态，自底向上分支利用自顶向下分支输出的关节热图处理尺度变化问题。此外，该研究提出了一种双人姿态判别器，用于解决单目视频多人姿态估计中存在的人际遮挡和近距离交互相关问题。作者在2023年的论文中扩展了他们2021b的研究工作，引入了测试阶段优化来解决训练数据和测试数据之间的差异问题。该方法整合了高阶时间约束、重投影损失和骨骼长度正则化。 #### 4.2.2 基于Transformer的方法 Park等人（2023）提出了一种自顶向下方法，采用序列到序列的2D转3D提升模型，并辅以几何感知数据增强，解决输出结果存在的鲁棒性不足、遮挡和抖动问题。单人空间Transformer（Single Person Spatial Transformer）捕捉单帧中属于每个个体的关节之间的空间相关性。随后，人际空间Transformer（Inter-Person Spatial Transformer）学习同一帧内多个个体之间的关系。最后，单关节时间Transformer（Single Joint Temporal Transformer）为序列中的每个标记提供时间上下文。 --- ### 4.3 基于多视图图像的3D-MPPE 从多视图图像估计多个人的3D姿态需要识别不同视图之间的对应关系。目前多视图设置下多人场景的现有方法可以分为基于重建的方法和基于体积表示的方法，如图5所示。基于重建的方法（Dong et al. 2022）和体积方法（Zhang et al. 2022）采用多步骤流程，而Wang等人（2021b）提出了一种不需要中间阶段的解决方案。后续章节将探讨利用这些策略增强跨视图对应，从而提升多人姿态估计性能的最新技术。 #### 4.3.1 基于CNN的方法 Lin和Lee（2021）提出了一种自顶向下方法，利用平面扫描算法通过多个参考相机视图隐式强制执行跨视图一致性约束，提高深度回归的准确率。该方法采用由粗到精的策略，对目标相机视图中每个2D姿态内的每个关节进行深度回归：首先回归人员层级的深度，再估计每个个体关节层级的相对深度，最后通过反向投影这些估计得到的深度得到3D姿态。 Tu等人（2020）提出了VoxelPose，这是一种自底向上的方法，直接在3D空间中操作，从多个相机视图估计多人姿态。VoxelPose不依赖跨视图对应，而是在3D体素空间中整合所有相机视图的特征。利用3D卷积的长方体提案网络（Cuboid Proposal Network）用于定位场景中的所有个体，之后姿态回归网络（Pose Regression Network）为每个检测到的个体估计精细的3D姿态。 #### 4.3.2 基于GCN的方法 Wu等人（2021）的研究工作提出了一种自顶向下方法，采用由粗到细的策略，共包含三个模块。首先，多视图匹配图模块利用视觉和几何线索，通过跨不同视图匹配人物来识别粗略的人体中心候选区域。随后，中心细化图模块对这些人体 ![Image](images/f2138f15cd1dad06571b84ddc7390e9894221e05fb602665c58e700d26bad675.jpg)
Fig. 5 General paradigms for multi-view 3D-MPPE
--- 中心位置进行细化，通过聚合多视图特征并自适应采样点，提升定位的效率和准确率。最后，姿态回归图利用身体关节之间的空间关系以及多视图之间的几何关系，对3D姿态进行细化。 #### 4.3.3 基于Transformer的方法 Wang等人（2021b）提出了多视图姿态Transformer（MvP）模型，该模型使用直接回归法估计多个人的3D姿态。MvP采用分层方法表示多个骨骼关节的查询嵌入，并引入了基于输入的自适应查询方法。此外，MvP融入了一种由几何引导的注意力机制，称为投影注意力，用于融合每个关节的跨视图信息。更进一步，MvP引入了RayConv操作，将视图相关的相机几何信息嵌入到特征表示中，以此增强投影注意力。 ### 4.4 多视图视频的3D-MPPE 多视图多人3D姿态估计的研究核心是利用多个相机视图的输入，精准定位场景中每个个体的3D骨骼关节。该领域的主要挑战包括跨视图关联的歧义和庞大的状态空间。现有解决这些问题的方法将在以下小节展开讨论。 #### 4.4.1 基于CNN的方法 Chen等人（2020）提出了一种顺序处理多个相机视频输入的方法，而非同时处理所有输入，该方法利用视频中的时间一致性，将每个相机视图的2D姿态直接与3D空间中的3D姿态对齐。Reddy等人（2021）提出了TesseTrack，该方法采用不依赖固定相机视图数量的时空框架，使用3D CNN在体素空间中定位每个人，再用4D CNN处理每个检测个体周围划定的时空体积，生成短期的、特定人物的表示。Dong等人（2022）提出了一种多路匹配算法，通过融合几何和外观线索，识别不同视图之间检测到的2D姿态的循环一致对应关系，再使用3D图画结构模型，根据对应的边界框和关键点为每个人重构3D姿态。Zhang等人（2023c）提出了一种多分支网络，用于从多视图图像构建的基于3D体素的表示中直接估计和跟踪3D姿态。具体而言，该方法将所有相机视图中含噪声、不完整的信息投影到公共3D空间，形成全面的特征体，再通过预测每个体素是否包含特定身体关节，从体素表示中估计3D姿态。 --- ## 5 学习技术 深度学习方法需要大量数据来保证模型的鲁棒性和泛化性。当前3D-HPE的主流方法大多遵循全监督范式，需要输入真值三维数据。然而，获取三维姿态数据成本高、耗时长，通常需要多视图设备或动作捕捉系统，因此在无约束场景中难以应用。为了解决野外三维姿态数据稀缺的问题，学界已经采用了弱监督/半监督/自监督和无监督学习等多种学习技术，相关内容总结在图6中。 ### 5.1 监督学习 监督学习利用标注数据集训练模型。第3节和第4节介绍的大多数3D-HPE方法（如(Zhang et al. 2023b; Luvizon et al. 2023; Zhang et al. 2023c; Chen et al. 2024; Zhan et al. 2022; Chen et al. 2022; Luvizon et al. 2022; Jin et al. 2022; Dong et al. 2022; Tang et al. 2023; Gong et al. 2023; Holmquist and Wandt 2023; Yu et al. 2023; Azizi et al. 2022; Zhao et al. 2022; Li and Pun 2023; Kang et al. 2023; Zhang et al. 2022; Cai et al. 2024a; Zhai et al. 2023; Chen et al. 2023; Park et al. 2023)）都使用了监督学习模型。这些方法在给定数据集上表现优异，但 ![Image](images/9c72c6e2bc2cc2b0717b3540527549256fc2dd0d675268da03a64a602cc9f693.jpg)
Fig. 6 Summary of learning techniques: a supervised learning, b–d self-supervised learning with various strategies
--- 由于标注的野外三维姿态数据集十分有限，这些方法在无约束环境中缺乏泛化性。因此，研究者提出了多种监督学习之外的学习策略，来解决数据稀缺和多样性问题。 ### 5.2 半监督学习 半监督学习旨在结合标注数据和未标注数据提升学习性能，它通过利用未标注数据应对标注数据稀缺的挑战。Pavllo等人(2019)从循环一致性中获得启发，将未标注视频数据用于半监督训练。他们的方法流程为：使用标准二维关键点检测器预测未标注视频的二维关键点，再从这些关键点估计三维姿态，最后将估计得到的三维姿态映射回二维空间。Cheng等人(2020)也引入了一种结合二维视频数据的半监督学习方法。Mitra等人(2020)提出了一种基于多视图一致性度量学习的半监督学习方法，该方法无需二维姿态标注即可训练单张图像三维人体姿态估计网络。此外，它还结合了有限的三维监督，促进网络学习姿态特异性特征。 Cheng等人(Cheng et al. 2021b, 2023)的研究旨在通过结合重投影误差和多视角的半监督学习提升网络性能。重投影误差衡量生成三维姿态的投影结果与检测得到的二维姿态之间的差异，而多视角误差则评估不同视角下预测三维姿态的一致性。Nie等人(2023)提出了一种基于域适应的学习架构，该架构将监督模式和半监督模式统一整合，无需多视图或时间一致性这类额外信息。该方法利用丰富的二维姿态提升三维姿态估计的准确率。 ### 5.3 弱监督学习 弱监督学习处理标注不完善的数据，这类数据的标签可能存在噪声、不完整或不精确的问题。该方向通过开发对标签缺陷具备鲁棒性的模型，解决低质量标签问题。Umar等人（2020）利用未标注多视图图像，以及一批独立标注了二维姿态的图像，通过多视图一致性损失得到三维监督信号，该损失约束从多视图图像得到的三维姿态在刚体变换下保持一致。Chen等人（2021）提出演绎弱监督学习（Deductive Weakly-Supervised Learning, DWSL），可使用未校准相机和多视图二维人体姿态，从单目图像中估计三维姿态。DWSL学习深度和相机姿态的潜在表征以完成三维姿态重建，并且融入演绎推理从不同视角推断人体姿态。该方法使用重构损失保证模型学习和推理结果的可靠性。Qiu等人（2023）提出弱监督预训练（Weakly-Supervised Pre-Training, WSP）方法，可在没有三维标注的情况下从单目图像中提取弱三维信息。WSP首先在二维姿态数据集上进行预训练，之后在三维姿态数据集上微调。 --- ### 5.4 无监督学习 无监督学习指在完全没有标注的数据集上训练模型，目标是挖掘数据中的隐藏模式。Kundu等人（2020b）的研究提出，利用运动学约束，从野生无标注单目视频的单目图像中估计三维姿态。Xu和Takano（2021）针对从二维姿态估计三维人体姿态（3D-HPE）提出了一种无监督师生网络。教师网络利用循环一致性架构将不同视角的二维姿态对齐到同一三维姿态，保证旋转不变性。学生网络同样遵循循环一致性架构，在输入视角中以旋转等变性保证姿态估计的一致性，并通过几何自监督增强训练效果。Yu等人（2021）提出了一种方法，解决单目视频三维姿态估计无监督学习中的尺度歧义与姿态歧义问题。生成的三维姿态经过随机投影后，会依次通过升维网络、逆变换和重投影过程。这使得网络可以利用时间几何一致性对训练过程进行自监督。 Wandt等人（2022）提出了ElePose方法，该方法仅使用二维标注，通过升维网络并行预测相机仰角，即可从单目图像中估计三维人体姿态。方法将三维姿态随机旋转后投影回二维，计算二维损失。Honari等人（2023）研究了对比自监督（contrastive self-supervised, CSS）学习的概念，该学习方法的核心是最大化给定样本与正样本之间的相似性，同时最小化其与负样本之间的相似性。作者将每个潜在向量拆分为时变分量和时不变分量，仅对时变分量应用对比损失。Chai等人（2023）提出了一种无监督域自适应框架，该框架仅需要目标数据集的非序列二维姿态和相机内参，以及一个作为源数据集的大规模三维标注人体姿态数据集。 ### 5.5 自监督学习 自监督学习是无监督学习的一种类型，该方法中模型从数据生成伪标签，并利用自行生成的监督机制学习有用的表征。Wang等人（2020）提出了一种包含两个互补学习任务的自监督校正机制：将二维姿态转换为三维姿态，再将三维姿态投影回二维，以此保证几何一致性。Kundu等人的研究（2020a）提出利用同一行人不同姿态的成对视频帧、基于部件的二维傀儡模型、人体姿态关节约束以及未配对三维姿态来学习模型。Li等人（2020b）提出了一种用于单目图像三维姿态估计的自监督学习方法，该方法在训练过程中利用多视角图像，借助几何知识构建监督信号。Zhang等人（2020）提出了一种在模型推理阶段融入自监督学习的方法，这一点使其区别于其他在训练阶段应用自监督学习的方法。 CanonPose（Wandt等人，2021）适用于未标定但时间同步的多视角相机。该方法使用现成的二维姿态估计器，输出标准旋转下的三维姿态，可投影到任意相机设置中。Gong等人（2022）提出了一种能够显式生成二维-三维姿态对的方法，实现全监督 --- 并显著提升了自学习过程。该方法引入了一个基于强化学习的模仿器，与姿态估计器和姿态生成器共同训练。Kundu等人（2022）提出了一种用于单目三维人体姿态估计的域自适应模型，该模型带有标记的合成样本和不确定性估计。Kim等人（2024）提出了一种用于单目视频三维姿态估计的自监督训练方法，可处理来自未标定相机野外人像视频的多个假设。网络使用多视角数据训练，利用多视角一致性进行监督。 ## 6 数据集、评价指标与数据增强 本节将在6.1小节介绍近期3D-HPE方法中常用的数据集，6.2小节则介绍适用于各类数据集的评价指标。为缓解数据稀缺相关问题、提升数据多样性，6.3小节在现有数据集的基础上介绍了数据增强技术。表2概述了近期技术中常用数据集及其对应的评价指标。 ### 6.1 数据集 Human3.6M（Ionescu等人，2014）是三维人体姿态估计领域规模最大、应用最广泛的数据集，包含360万帧视频数据，由四台同步工作在50Hz的相机从四个不同视角采集得到。该数据集记录了11名专业演员（6名男性、5名女性）在室内环境中完成15种不同日常活动的过程，活动包括进食、摆姿势、行走、打电话、坐下等。11名受试者中有7名标注了三维姿态。训练集由5名受试者（S1、S5、S6、S7和S8）的数据组成，测试集包含另外2名受试者（S9和S11）的数据。 Human3.6M数据集通常用于评估3D-HPE模型，目前已建立多种评估协议，确保不同方法间的比较满足标准化要求。最常用的是Protocol 1、Protocol 2，部分场景下还会使用Protocol 3。Protocol 1在对齐两个姿态的根关节后，通过测量预测3D关节与真值3D关节的平均欧氏距离，计算得到单位为毫米的平均每关节位置误差（MPJPE）。Protocol 2在完成普洛可士对齐（消除平移、旋转和缩放差异）后报告误差，该指标通常被称为PA-MPJPE。Protocol 3在计算MPJPE前，通过对齐预测姿态和真值姿态的尺度对姿态做归一化处理，得到的指标通常被称为N-MPJPE。 MPI-INF3DHP数据集（Mehta等人，2017）的特点是包含真实人类受试者，其真值3D标注由无标记动作捕捉系统在室内外环境中采集得到。该数据集包含身着日常服装的受试者与物体交互、从多个相机角度完成各类动作的数据，共收录8名受试者完成的8种不同活动，例如行走、静坐和完成复杂运动姿态。在该数据集上评估3D-HPE模型主要使用正确关键点百分比（PCK）指标，该指标用于统计预测关节落在真值关节指定距离范围内的比例。此外， ---
Table 2 Summary of benchmark datasets with evaluation metrics
DatasetEnvNCSubjTFNPEval. MetricsRemarks
Human3.6mIndoor4113.6MSingleMPJPE;N-/PA-MPJPELargest motion capture dataset
HumanEva-IIndoor7412 seqSingleMPJPE; PA-MPJPEMotion capture; 4 gray scale + 3 color cameras
Total CaptureIndoor851.892MMultiMPJPE; PA-MPJPEMoCap; 13 IMUs
MPI-INF-3DHPIndoor1481.3MSinglePCK; AUC; MPJPEMotion capture; data augmentation
ShelfIndoor35-MultiPCKHeavy occlusion
CampusOutdoor33-MultiPCKOutdoor Environment
CMU PanopticIndoor52181.5MMultiAP; MPJPELarge social interaction
MuPoTS-3DIndoor + outdoorN8>8KMultiPCKrel; PCKabsFrom MPI-INF-3DHP; 5 indoor; 15 outdoor
3DPWOutdoor1760 seqMultiMPJPE; PA-MPJPEin-the-wild; IMUs; phone cameras
SURREALLabN1456 MSingleMPJPE; PA-MPJPERendered from mocap data(H3.6M)
JTASyntheticN>21500kMultiPCK; F1Urban scenarios
NC为相机数量，NS为受试者数量，TF为总帧数，NP为人数，I/V表示图像/视频，seq表示序列，3DHP和3DPW可用于跨数据集评估 曲线下面积（AUC）通过绘制不同阈值距离下的PCK值计算得到，MPJPE也可用于该评估。 HumanEva数据集（Sigal等人，2010）包含两个子集：HumanEva-I和HumanEva-II。HumanEva-I规模更大，而HumanEva-II采用更先进的硬件系统，可提供更高质量的动作捕捉数据。HumanEva-I包含4名受试者完成6种不同动作的数据（行走、拳击、慢跑、抛接、手势），以60Hz帧率从三个相机角度采集得到。相比之下，HumanEva-II仅包含2名受试者，他们执行一段名为“Combo”的扩展动作序列；例如，受试者可能先沿椭圆路径行走，随后转为同方向慢跑。HumanEva-I提供可用于两个数据集的训练和验证数据，测试数据则来自HumanEva-II。3D-HPE方法通常使用MPJPE和PA-MPJPE作为HumanEva数据集的评估指标。 MuCo-3DHP和MuPoTS-3D数据集（Mehta等人，2018）是为多人三维人体姿态估计任务设计的。其中MuCo-3DHP用作训练集，由MPI-INF-3DHP数据集（Mehta等人，2017）合成得到。与之相对， --- MuPoTS-3D数据集用作测试集，包含在自然真实环境中采集的20个场景。这些数据集使用三维正确关键点百分比（3DPCK）指标进行评估。 KTH multiview football dataset II（Kazemi等人，2013）包含足球运动员的图像，以根关节居中的2D和3D姿态作为真值标注。该数据集提供了将这些3D姿态投影到三个不同视图的部分相机参数，但未明确给出具体的内参和外参。该数据集采集时的相机配置与Human3.6M和MPI-INF-3DHP训练场景使用的相机配置差异显著，因此相比其他数据集，该数据集的评估难度明显更高。 Total Capture数据集（Trumble等人，2017）提供了同步视频、IMU（惯性测量单元）和Vicon标注，整个大规模数据集包含由8台相机采集的约190万帧数据。数据集包含4名男性受试者和1名女性受试者的记录，每名受试者完成五种不同活动：关节活动度（ROM）、行走、表演、跑步和自由动作。每项活动重复进行三次。根据数据集的结构划分，训练集包含1、2、3号受试者完成的ROM-1、2、3，自由动作-1、2，行走-1、3，表演-1、2以及跑步-1；测试集包含1至5号受试者完成的自由动作3（FS3）、表演3（A3）和行走2（W2）。该数据集的标准评估指标为MPJPE和PA-MPJPE。 CMU Panoptic数据集（Joo等人，2015）是一个大规模真实场景室内3D人体姿态数据集，包含65段描绘日常活动的视频序列。该数据集在Panoptic摄影棚内采集，为参与各类社交互动和日常活动的多个人体提供了详细的3D姿态标注。该数据集的标准评估指标是3D人体根节点位置的平均精度（AP），尤其适用于多人场景。AP用于评估模型在3D空间中定位每个人体根节点的有效性。 Occlusion-Person数据集（Zhang等人，2021）是一个带有关节遮挡标注的合成数据集。数据集包含13个穿着不同服饰的人体模型，分布在客厅、卧室、办公室等9个不同场景中。沙发、桌子等物体被布置在合适位置，以部分遮挡某些人体关节。每个场景配备8台相机采集多视图图像，深度图提供15个关节的精确3D坐标作为真值。图像中每个关节的遮挡标签通过对比该点深度值与对应3D关节在相机坐标系下的深度来确定。在该设定下，数据集中约20%的人体关节存在遮挡。 JTA数据集（Fabbri等人，2018）是一个从游戏《侠盗猎车手5》（GTA-V）场景中生成的合成数据集。该数据集的特点是包含多个人物，单帧最多可出现32个人物，涵盖了多样的光照、视角和遮挡场景。值得注意的是，数据集根据相机与每个人物的距离调整人物图像的尺寸，因此在不同场景中，当人群从相机近处延伸到远处时，人物尺寸存在显著变化。尽管JTA是合成数据集，这一特性使其在以相机为中心的应用研究中具有很高价值。JTA数据集通常使用PCK和F1分数来评估方法性能，其中F1分数可以在检测关键点的准确率和模型减少错误预测的能力之间取得平衡。 --- Campus数据集和Shelf数据集（Belagiannis等人，2014）：Campus数据集记录了户外场景中三个人之间的互动，由3台相机采集得到。与之相对，Shelf数据集记录了四个人拆解货架的过程，由5台相机采集。值得注意的是，与Campus数据集相比，Shelf数据集的遮挡程度更高。 3DPW数据集（Marcard等人，2018）包含使用IMU采集的野外人像数据，覆盖室内和室外场景。该数据集提供了经过校准的相机参数和精确的SMPL参数，但数据集中包含的遮挡样本数量有限，无法充分代表真实环境中常见的更复杂的遮挡场景。 SURREAL（Varol等人，2017）是一个合成数据集，包含来自1964段视频序列的600万帧，共涉及115名受试者。该数据集由照片级真实感的渲染图组成，展示了在形状、纹理、视角和姿态上存在大幅变化的人体。 除了上述数据集之外，研究人员还推出了其他3D姿态数据集，以丰富现有资源的多样性。例如，SLOPER4D（Dai等人，2023）提供了一个位于城市环境中的场景感知数据集，可提供上下文相关的数据。另一个数据集mRI（An等人，2022）专注于多模态3D姿态数据，适用于涉及多感官输入的场景。 基于深度学习方法的泛化性和鲁棒性很大程度上依赖于大规模、多样化数据集的获取。研究人员采用多种策略来最大化这些数据集的效用。一种常用方法是使用多个基准数据集，例如Human3.6M和MPI-INF3DHP，通常模型会在Human3.6M上训练，在MPI-INF3DHP上测试，以此评估其泛化能力。此外，如第6.3节所述，研究人员已经探索了多种在线和离线姿态增强技术，通过引入更多变化和复杂性来扩充训练数据。为了解决标注数据有限的挑战，近年来的方法越来越多地采用自监督学习策略，如第5节所述。为了缩小领域差距，一些方法在测试阶段加入推理时优化。根据应用场景和数据集的获取情况，实施其中一种或多种策略可以提升模型性能。 ### 6.2 评价指标 平均每个关节位置误差（Mean per joint position error, MPJPE）：该指标衡量关节真实位置与对应预测位置之间的平均欧氏距离。MPJPE值越低，表明姿态估计模型的性能越好。在数学上，MPJPE的计算方式如下： $$ E_{M P J P E}(f,S)=\frac{1}{N_{S}}\sum_{i=1}^{N_{S}}\left|\left|P_{f,S}^{(f)}(i)-P_{g t,S}^{(f)}(i)\right|\right|_{2} $$ 其中S表示帧f中的对应骨骼，$N_{s}$是所考虑关节的数量。关节$i^{th}$的估计位置由$P_{f,S}^{(f)}(i)$给出，而$P_{gt,S}^{(f)}(i)$是关节$i^{th}$对应的真实值。MPJPE逐帧计算真实关节位置与预测关节位置之间的欧氏距离，再对所有帧取平均值。 --- N-MPJPE将MPJPE归一化到标准尺度，而PA-MPJPE使用普氏分析通过平移、旋转和缩放将预测结果与真实值对齐。 正确关键点百分比（Percentage of correct key-points, PCK）衡量关键点在指定阈值距离内的定位精度，在许多研究中该阈值通常设为150毫米。PCK值越高，说明模型性能越好。$PCK_{abs}$基于绝对相机位置评估关键点精度，而$PCK_{rel}$评估相对于以人为中心的关节位置的精度。曲线下面积（Area Under Curve, AUC）是在多个PCK阈值下计算得到的，可对模型性能进行全面评估，AUC值越高说明性能越好。 正确部位百分比（PCP）是用于评估3D肢体检测准确率的一项指标。它根据预测关节与对应真值位置之间的距离判断身体部位估计是否正确，判定标准为该距离应小于肢体长度的一半。这一特定变体通常被称为PCP@0.5。PCP@0.5的一个显著局限性是它往往会对更短的肢体施加更严重的惩罚，这会影响在肢体长度不一的数据集上对模型性能的整体评估结果。 三维绝对正确关键点百分比（ $3DPCK_{abs}$）（Moon et al. 2019）在不进行根对齐的情况下，衡量以相机为中心的绝对坐标中关键点定位的准确率。它评估模型在不调整根关节的前提下，预测关键点相对于相机位置的能力。为了评估绝对三维人体根关节的定位准确率，采用了三维人体根关节位置平均精度（ $AP_{25}^{root}$）指标。Proot25规定，若预测根关节坐标与真值根关节坐标之间的欧氏距离小于25厘米，则该预测判定为正确。 其他方向 近年来三维人体姿态估计的最新进展推出了新的指标与方法，用以提升准确率和训练效率。姿态相似度（PSIM）指标（Lee et al. 2023）基于感知机制，通过整合结构、位置和内在相似性来优化评估，能够捕捉人体姿态中复杂的空间和时间依赖关系。与此同时，三角化残差损失（TR损失）（Zhao et al. 2023a）将全局多视图几何一致性用于自监督学习，性能优于依赖局部成对一致性和高成本对极约束的传统方法。这些创新旨在提升三维姿态估计研究的性能，并降低计算成本。 ### 6.3 姿态数据增强 深度学习模型需要大规模数据集，而在三维姿态估计任务中，由于获取准确的三维姿态标注需要高昂的成本和时间，该领域面临着巨大挑战。训练数据存在偏向室内环境和常见活动的偏差，导致模型在多样化、无约束环境中的泛化能力较差（Li et al. 2020a；Gong et al. 2021）。现有数据集中参与者和动作的数量有限，使得三维姿态估计器容易过拟合，这一点可以从算法在跨数据集测试中的性能下降看出，对于稀有和复杂姿态来说尤其明显（Li and Pun 2023）。姿态数据增强方法被提出用于解决这些瓶颈问题，如图7所示，根据数据生成和训练所处的阶段，这类方法大致分为离线和在线两类技术。 --- ![Image](images/b2bfba513897c28e008eca26d4523109aa0cd0c56b4bb08e2fa8b1bf1c71b744.jpg)
Fig. 7 Working flow of offline vs online pose data augmentation
在离线技术中，姿态数据会先生成，之后三维人体姿态估计（3D-HPE）模型使用生成的数据进行训练；而在线技术则同时训练姿态生成网络和人体姿态估计网络。在线方法的可微分能力允许增强器与三维姿态估计器联合优化，以估计误差作为反馈，持续生成更多样化的姿态。离线技术增强得到的姿态数据可以被同类任务模型重复使用，而在线姿态增强的优势在于可以并行训练两个网络并实现相互校正。 #### 6.3.1 离线姿态数据增强方法 LCR-Net++（Rogez等人，2020）从带有2D标注的真实世界图像中生成伪真值3D关节位置。研究者将大规模MoCap 3D姿态语料正交投影到多个随机虚拟视图上，构建得到大量带有对应定向3D姿态的2D姿态数据集。检索得到的最相似姿态被用来定义伪真值全身3D姿态，随后用于网络训练。Li等人（2020a）提出了一种方法，在姿态先验知识的指导下，利用交叉、变异等进化算子探索3D人体姿态空间。Cho等人（2021）提出了一种从无畸变2D关键点生成合成畸变数据的方法，为相机畸变的跨场景研究提供了支持。 Guan等人（2023）提出了名为PoseGU的3D姿态生成器，该生成器仅使用真值数据集中极少数量的种子样本。该方法引入了反事实风险最小化（Counterfactual Risk Minimization），通过校正真值3D姿态数据集与生成3D姿态数据集之间的分布不匹配，保证3D姿态估计中的无偏学习。Chai等人（2023）提出的方法包含一个增强生成器和一个锚点判别器：生成器从源数据集生成骨角度、骨长度和旋转的变换参数，判别器则保证变换后姿态对的真实性与质量。Park等人（2023）提出了一种几何感知的数据增强策略，采用了人物平移、人物旋转、地平面平移、地平面旋转等技术。该方法在增强过程中，利用人体体积模型引入噪声或移除被遮挡的关键点，以此模拟真实遮挡场景。 --- #### 6.3.2 在线姿态数据增强方法 Cheng等人（2020）针对时间卷积网络提出了一种方法，通过将对应热图置零处理特定关键点或帧，以适配不同的遮挡场景。Guo等人（2021）在训练过程中采用旋转、水平翻转等技术，他们通过丢弃输入图像、调整边界框来解决多人姿态估计中的人物间遮挡问题。Gong等人（2021）提出了PoseAug方法，利用微分运算修改姿态、体型、视角、位置等几何因素。PoseAug在判别器中采用了感知部件的运动链空间（Kinematic Chain Space），保证增强数据的有效性。Xu等人（2022）提出了一种姿态模拟器，通过将每个3D姿态从不同相机角度投影为不同的2D姿态，用虚拟2D姿态增强训练样本，帮助模型学习几何特征。Han等人（2022）在训练过程中采用了多种增强技术，包括水平翻转、旋转、合成遮挡和颜色抖动。 张等人（2023a）提出了一个整合了增强器、估计器和判别器的模型。可微分增强器以训练误差为反馈，调整2D-3D姿态对的主要几何特征，使其更好地与估计器对齐。感知部件的3D判别器通过局部监督扩大了可行增强姿态的范围，确保关节角度的合理性和多样性。此外，还可以纳入对人类运动起关键作用的身体部位属性（例如腿部特征，Wang et al. 2023）来提升姿态多样性。Li和Pun（2023）提出了一个生成器，在现有数据集范围内扩大每个关节角度的分布，同时使用自适应插值判别器将其约束在合理范围内。Du等人（2024）将进化数据增强与感知解剖学的全局-局部表示相结合，用于3D人体姿态估计。Gholami等人（2024）提出了一个基于NeRF（Mildenhall et al. 2020）的模型，名为PoseGen，用于从图像进行姿态数据增强。PoseGen包含一个生成器，生成3D人体姿态和相机视点，再由判别器评估，以确保其合理性。随后将3D姿态和相机视点输入NeRF模型，渲染出对应的人体图像。 ## 7 3D-HPE方法的性能 本节概述了多个基准数据集上近期3D-HPE领域研究进展的评估工作。Human3.6M是目前最常用的数据集，是诸多最优模型的研究基础。这些模型会用到多个数据集，包括Human3.6M本身、MPI-INF-3DHP、MuPoTS-3D、CMU Panoptic、Total Capture、Campus、Shelf和JTA。单人方法主要依托Human3.6M进行训练，使用MPJPE、PA-MPJPE和N-MPJPE等指标评估性能。为保证模型鲁棒性，在Human3.6M上训练得到的模型会在MPI-INF-3DHP上验证，使用3DPCK、AUC和MPJPE等指标。 尽管Human3.6M聚焦单人场景，它也被用作基准，用于将多人3D HPE模型与现有最优方法进行对比评估。MuPoTS-3D是多人单目3D姿态估计的关键基准，提供了数据集，可支持使用以人为中心（PCK$_{rel}$）和以相机为中心（PCK$_{abs}$）指标评估性能。CMU Panoptic对于评估复杂多 --- 视角、多人场景下的模型至关重要。此外，Campus、Shelf和JTA这类规模较小的数据集被用于测试多人3D人体姿态估计在不同设置下的模型表现。总体而言，这些数据集提供了全面的基准体系，让研究人员能够在不同挑战和不同场景下评估并对比自身3D-HPE模型的效果。 近期研究在基准数据集上的性能已总结在表格中，部分对比也通过图表呈现，以便对模型进行清晰的对比分析。这些方法根据面向不同场景的深度学习算法分类，涵盖面向单人/多人3D-HPE的单目/多视角方法，输入类型分为图像或视频两类。大多数方法在使用真值2D姿态作为输入时性能会有所提升。但出于实用目的，实际会采用由姿态检测器估计得到的2D姿态来获得结果。 表3展示了单目图像和基于视频的单人三维人体姿态估计（HPE）方法在Human3.6M数据集上的性能结果，以及在MPI-INF-3DHP数据集上的交叉验证结果。图8通过图表直观对比了基于图像的单人三维姿态估计方法的性能。对比结果表明，基于GCN的方法在Human3.6M数据集上取得了最优性能，而基于GAN的方法在MPI-INF-3DHP的交叉验证中表现最佳。与之类似，图9展示了基于视频的方法的性能，结果显示结合GCN与Transformer的混合方法在两个数据集上都取得了最优结果。 表4对多视图单人三维人体姿态估计（HPE）方法在Human3.6m、Total Capture和CMU Panoptic数据集上的性能进行了对比。基于CNN的方法Adafuse（Zhang等人，2021）在多视图图像输入下表现出色，而基于Transformer的方法（Cai等人，2024b）在多视图视频输入下性能更优。 表5概述了单目三维多人姿态估计方法在MuPoTS-3D和JTA数据集上的性能，涵盖基于图像和基于视频两种输入类型。图10给出了MuPoTS-3D数据集的性能对比图。对比分析表明，基于CNN的方法在单目图像类方法中持续保持良好性能，而基于GCN的方法在视频输入技术中表现突出。 与之类似，表6重点展示了多视图多人三维人体姿态估计（HPE）方法在CMU Panoptic、Campus和Shelf数据集上的性能，图11给出了性能的直观展示。对比结果显示，对于多视图图像输入，采用自下而上方法的基于Transformer的方法性能与采用自上而下方法的基于GCN的方法相当。对于多视图视频类方法，体素空间下的自上而下方法在多人场景中表现最佳。为方便查看，最优结果已用粗体标出。 ## 8 挑战与未来研究方向 ### 8.1 挑战 研究人员已投入大量精力解决3D-HPE领域的挑战，并在一定程度上取得了可观的成果。由于3D-HPE本身具有多样性，它 ---
Table 3 Performance of monococular single-person 3D-HPE methods on Human3.6M & MPI-INF-3DHP datasets
AlgorithmMethodHuman3.6MMPI-INF-3DHPRemarks
MHE $\downarrow$P-MPJPE $\downarrow$PCK $\uparrow$AUC $\uparrow$MHE $\downarrow$
CNNLuvizon et al. (2023)55.5-83.244.396.8End-to-end; supervised
Zhang et al. (2020)--83.648.292.2ISO; self-supervised
Wandt et al. (2021)81.953.069.0-119.2Self-supervised
Xu et al. (2022)58.143.8---Online data aug
Kundu et al. (2022)103.288.9--96.2S->H: trained on SURREAL & tested on H3.6M
GCNXu et al. (2021)85.359.868.235.2-Unsupervised
Xu and Takano (2021)51.9-80.145.8-2D-to-3D; supervised
Zou and Tang (2021)49.439.186.153.7-2D-to-3D; supervised
Ci et al. (2022)44.237.374.036.7-2D-to-3D; supervised
Zhang et al. (2023b)49.134.986.955.0-2D-to-3D; supervised
TransformerLi et al. (2023a)50.5-84.153.7-Uncertainty learning
Zhou et al. (2024a)46.4-88.259.368.92D-to-3D; supervised
GCN+ TransformerZhao et al. (2022)51.8-79.043.8-2D-to-3D; supervised
Chen et al. (2024)49.838.985.553.680.42D-to-3D; supervised
AutoencoderNie et al. (2023)50.337.383.545.983.03Semi-supervised
GANChai et al. (2023)49.934.292.162.561.3Unsupervised; offline data aug
Li and Pun (2023)47.336.889.958.269.7Supervised; online data aug
Grid ConvKang et al. (2023)46.337.689.257.672.1Grid Convolution
基于单目视频的单人3D-HPE方法 ---
Table 3 (continued)
AlgorithmMethodHuman3.6MMPI-INF-3DHPRemarks
MHE $\downarrow$P-MPJPE $\downarrow$PCK $\uparrow$AUC $\uparrow$MHE $\downarrow$
CNNLiu et al. (2021)44.835.6---2D-to-3D;supervised
Lee et al. (2023)40.531.882.648.881.3Probabilistic
GCNZeng et al. (2021)47.9-82.146.2-2D-to-3D;supervised
Yu et al. (2023)44.4-98.5379.1227.762D-to-3D;supervised
TransformerHonari et al. (2023)100.374.12--93.0End-to-end; CSS
Tang et al. (2023)40.531.898.783.923.12D-to-3D;supervised
Zhao et al. (2023b)45.235.697.978.827.8Frequency domain
Kim et al. (2024)69.050.3--102.1Probabilistic;Self-supervised
Cai et al. (2024a)39.7-98.578.129.2Diffusion-based
Zhou et al. (2024b)42.634.298.275.736.4Hierarchical supervision
GCN+ TransformerLi et al. (2023b)42.534.294.865.854.0Probabilistic
Gong et al. (2023)36.9-98.075.929.1Diffusion-based
Chen et al. (2023)40.331.798.772.937.22D-to-3D;supervised
Zhai et al. (2023)41.132.587.257.0-2D-to-3D;supervised
ISO 推理阶段优化，CSS 对比自监督学习，MPJPE单位为毫米，PCK/AUC单位为%，粗体：最优结果 在不同场景下会遇到各类挑战。例如，单目输入技术面临的挑战与多视图技术不同。同样，多人方法比单人方法会遇到更多挑战。如图12所示，这些挑战大致可分为通用挑战和特定场景挑战两类。 --- ![Image](images/b26ccd19f4239947c9894e9191ee6688a0630a3802a4ba950cddab555dbe88ba.jpg)
Fig. 8 Performance of monocular image-based methods for single-person 3D-HPE
![Image](images/018cf8f97b349ed89baecd90a02b56e09cedb49df7b39dffde628335fe9c697b.jpg)
Fig. 9 Performance of monocular video-based methods for single-person 3D-HPE
#### 8.1.1 通用挑战 铰接人体结构：人体结构和姿态具有高度的可变性和复杂性，这主要是因为人体力学机制涉及大量自由度。人体每个关节都可沿多个轴运动，由此产生了种类极多的可能构型与姿态。这种可变性为准确估计3D-HPE带来了巨大挑战。此外，不同个体之间的体型、尺寸和比例差异进一步增加了复杂度，要求模型能够在广泛的人体类型上都具备泛化能力。 密集歧义性：不同三维姿态的图像投影可能看起来非常相似，因为从三维到二维的转换本身就会丢失深度信息。因此，多种不同的三维关键点配置可以在图像平面上生成完全相同的二维关键点投影。由此可见，仅训练模型将二维像素位置转换为三维世界坐标的方法很可能无法取得成功。户外环境下的单目姿态估计不需要相机校准，灵活性更高，但它面临着 ---
AlgorithmMethodH3.6mTotal CPanopticRemarks
CNNRemelli et al. (2020)30.227.5-Supervised; 2D-to-3D
Zhang et al. (2021)19.519.214.7Panoptic(4-views); supervised; 2D-to-3D
Luvizon et al. (2022)39.0--Supervised; 2D-to-3D
Wan et al. (2023)21.123.0-Supervised; 2D-to-3D
Jiang et al. (2023)27.8-24.2Panoptic(4-views); probabilistic Triangulation
For video-based input
TransformerShuai et al. (2023)26.224.6-T=27; no camera params; CPN (H3.6m) Res101 (TC)
Cai et al. (2024b)25.415.0-T=27; no camera params; CPN; ViTPose (15.1); Res101 (TC)
HybridZhang et al. (2024)27.6--T=27; no camera params; CPN; Graph Transformer
T=27 means 27 frames, CPN Res101 as 2D backbone, MPJPE in mm, bold: best result
不适定问题带来的严峻挑战，因为它缺乏额外数据，而视频或多视角设置可以受益于时间信息或多视角信息。 三维标注有限：深度学习技术需要大量数据才能达到最优性能。然而，三维真值数据的稀缺给三维人体姿态估计（HPE）的发展带来了巨大挑战。目前应用最广泛的数据集，如Human3.6M和HumanEva，都是在受控的室内环境中通过动作捕捉系统采集得到的。因此，在这些数据集上训练得到的模型，尽管在数据集本身范围内能取得很高的性能，但泛化能力往往较差。 数据集多样性有限：许多配对三维姿态数据集在姿态种类、外观（包括背景和光照条件）以及穿着方面的多样性都十分有限。因此，现有的三维人体姿态估计方法在面对分布外（OOD）样本时，往往泛化性能不佳。这一挑战很大程度上来源于训练数据中可用的二维-三维姿态对的多样性受限。 ---
Table 5 Performance of monocular multi-person 3D HPE methods on MuPoTS-3D & JTA datasets
AlgorithmMethodMuPoTS-3D t=15 cmJTA (t in m) F1 $\uparrow$Remarks
PCKrel $\uparrow$PCKabs $\uparrow$t=0.4t=0.8t=1.2
CNNRogez et al. (2020)70.6----Topdown;Offline\nDataAug;Probabilistic
Benzine et al. (2020)72.0-3DPCK=83.2 (all)Supervised;Topdown; No F1 for JTA
Jin et al. (2022)80.939.3---Supervised; Single-stage
Wang et al. (2022)82.739.2---Supervised; Single-stage
GCNHan et al. (2022)79.7----Uncertainty;Topdown;Data Aug(online)
Chen et al. (2022)77.8----Supervised; Top-down
AutoencoderFabbri et al. (2020)--50.8264.7670.44Supervised;Bottomup; voxel
Monocular video-based methods for multi-person
GCNCheng et al. (2021a)87.545.7---Supervised;Top-down
Cheng et al. (2021b)89.648.057.2268.5172.86SemiSupervised;Topdown+bottomup
Cheng et al. (2023)89.648.158.1569.3274.19SemiSupervised;ISO;\nHybrid
TransformerPark et al. (2023)83.750.9---Volumetric DataAug. (offline)
PCK/F1 单位为%，t表示F1的阈值：当检测点与目标点的距离小于t时，该点记为真阳性 物体遮挡与自遮挡：人体的部分部位可能会被不透明物体遮挡，因此难以正确估计姿态。在某些特定姿态下，人体会发生自遮挡：身体的一个部位会被另一个部位遮挡，导致人体姿态难以计算。 计算复杂度：现有模型的性能已经得到了显著提升，但这通常是以增加计算资源消耗为代价的。随着手机、平板这类通常资源受限的手持设备的普及，维持3D-HPE模型的性能成为了一项极大的挑战。 环境因素：光照变化、背景杂乱、衣物差异和相机角度都会影响姿态估计模型的准确率。户外环境的光照、背景条件、相机视角以及人类受试者行为都多样且不受约束，模型很难适配这类环境。 --- ![Image](images/af025848f8c0f9bba81a51837180bade3b596a09068693f569e3d3b5a193b1a4.jpg)
Fig. 10 Performance of monocular methods for 3D multi-person pose estimation
Table 6 Performance of multi-view multi-person 3D-HPE methods on CMU panoptic, Campus & Shelf datasets
AlgorithmMethodPanopticCampusShelfRemarks
AP2 $\uparrow$mAP $\uparrow$MPJPE $\downarrow$PCK $\uparrow$PCK $\uparrow$
CNNTu et al. (2020)83.5995.3917.6896.797.0Supervised;Bottomup;Voxel
Lin and Lee (2021)92.1297.6816.7597.097.9Supervised;Topdown
GCNWu et al. (2021)-98.1815.84-97.7Supervised: Topdown
TransformerWang et al. (2021b)92.3096.0215.8096.697.4Supervised;Bottomup
Multi-view video-based methods for multi-person
CNNChen et al. (2020)---96.696.8Supervised;Topdown
Reddy et al. (2021)--7.397.498.2Supervised;Topdown; voxel
Dong et al. (2022)Qualitative analysis96.396.9Supervised;Topdown
Zhang et al. (2023c)--16.9796.797.1Supervised;\nBottomup;Voxel
MPJPE 单位为毫米，PCK/AP 单位为%，mAP：AP的平均值，加粗：最优结果 #### 8.1.2 单目设置下的挑战 泛化性：单目图像方法受限于无法利用多视角或时间信息这类额外线索。因此，它们高度依赖规模大、多样性高的训练数据集，而这类数据集往往十分稀缺。这种对现有三维姿态数据集有限多样性的依赖，极大地限制了有监督三维姿态估计模型的泛化能力。 运动模糊：快速运动会导致图像或视频产生运动模糊，使得准确检测和估计身体部位变得十分困难。现有很多方法都将 --- ![Image](images/56bec9b5d173c948b8114a8c700c5e6b611b2cf281367d8598fd856954aa561f.jpg)
Fig. 11 Performance of multi-view methods for 3D multi-person pose estimation
![Image](images/2ca410aee62f9f8b5e35bfbd7c0f2af52ecb09676c399e8889b946af92d407c4.jpg)
Fig. 12 Common and specific challenges in 3D-HPE
将3D HPE问题简单作为坐标回归问题处理，忽略了人体固有的运动学结构。这种疏漏往往会导致不准确的结果。 空间与时间信息融合：利用视频序列中的时间信息，对于解决人体姿态估计中的深度歧义性和遮挡问题至关重要。尽管视频提供了有利于理解身体结构的序列变化，但如何有效整合空间和时间信息仍然颇具挑战。现有方法主要聚焦于帧级特征关联，往往忽略了跨帧关节之间的关系。未来研究需要探索这些相互依赖关系，以提升姿态估计模型的准确性。 鲁棒性：当目标人物的尺寸相较于训练数据的尺度明显过大或过小，或是运动速度明显过快或过慢时，现有方法的性能往往会下降。应对这些挑战需要从不同长度的视频中自适应提取时间特征，并确保模型兼容单图像输入，以实现在不同场景下的通用性。 --- #### 8.1.3 多视角设置中的挑战 相机同步与标定：面向3D人体姿态估计的多视角方法要求相机同步且完成标定，这增加了整个流程的复杂度。该方法的一项核心挑战是深度不确定性，尤其是在相机参数未知的情况下。许多多视角方法依赖精确的相机标定来有效利用多视角信息。然而，在动态采集场景中实现相机的同步精确标定并不现实。尽管引入相机参数可以为网络提供强有力的先验知识，但在动态环境中完成准确标定仍然十分困难。 相机外参数据集有限：目前用于多视角人体姿态估计的数据集普遍存在相机外参多样性不足的问题。因此，在这些数据集上训练得到的模型通常难以有效泛化到未见过的相机配置中。这一局限意味着每当相机设置发生变化，都需要对模型进行重新标注和重新训练。此外，现有模型的鲁棒性不足以应对未见过的视角，例如非常规的相机角度或拍摄距离。由于模型在有限数据上训练，因此通常仅在与训练视角高度相似的测试样本上表现优异，当遇到陌生视角时性能会出现大幅下降。 跨视角聚合：面向3D人体姿态估计的多视角方法需要有效融合多视角和/或多帧特征，以实现信息的高效聚合。诸如Triangulation或pictorial structure模型这类从二维视角重建三维姿态的方法，在拥挤或复杂场景中容易出错。体积方法采用离散化的三维表示，直接在三维空间中采集和处理多视角特征，但这类方法面临挑战：计算复杂度会随体积空间的大小呈三次方增长。多人三维姿态的实时估计尤其具有挑战性，这是因为跨不同视角关联二维姿态的复杂度很高，且涉及的状态空间极大，尤其是在拥挤环境中，多个人之间的交互会进一步增加跨视角关联的复杂度。 计算开销增加：使用多个相机进行数据采集会引入复杂度，因为这需要对相机进行同步和校准，以获取准确的相机参数并有效整合信息。随着人数和相机数量的增加，计算复杂度会大幅上升。 #### 8.1.4 多人场景下的挑战 人际遮挡：多人人体姿态估计模型面临着处理个体间遮挡的挑战，这类遮挡源于人与人之间以及人与环境中实体物体之间的交互。除了肢体遮挡自身其他身体部位的自遮挡外，其他个体或物体造成的遮挡进一步加大了姿态估计的难度。多人之间距离相近且存在交互，使得持续可靠地对人体关节进行分组难以实现。 以相机为中心的需求：单人三维人体姿态估计方法通常使用相对于目标人物中心的以人为中心坐标，无法直接应用于需要相机坐标的多人三维人体姿态估计。 --- 这一核心挑战的产生原因是，使用以人为中心的坐标会掩盖每个个体在场景中的位置，导致每个人的具体位置不明确。绝对三维人体姿态估计是一个更复杂的问题，该问题需要相对于固定的参考相机位置进行预测，确保所有估计得到的骨架都能正确放置在统一的三维空间中。 人体检测误差与计算量线性增长：由于人体尺寸存在差异、场景拥挤且人与人之间交互紧密，在图像中识别多个个体十分困难。采用自顶向下的方法逐个估计每个人的姿态，会导致计算成本随图像中的人数成比例增长。 人体尺度敏感性与冗余性：自底向上方法会同时估计图像中所有个体的姿态，之后再对属于每个人的关键点进行分组，这会带来冗余的计算复杂度。 多人场景下的多视图融合：对包含多个个体的多视图图像进行信息融合难度尤其大，因为这需要在所有相机中识别出每个人的身份。此外，为了进行三维姿态估计，还需要识别并分组来自不同视图、对应同一个体的特征。 ### 8.2 未来研究方向 值得关注的新兴趋势与需求，包括基于LLM的3D-HPE、实时处理以及动态环境下的场景感知三维姿态估计，已在第2.6节讨论。尽管近年相关技术已有进展，仍有诸多领域存在改进空间。本节将重点介绍未来研究与开发最具潜力的方向。 #### 8.2.1 遮挡处理 遮挡被广泛认为是3D-HPE领域的重大挑战。由于存在多种类型的遮挡，例如人际遮挡、个体内遮挡以及物体造成的遮挡，三维人体姿态估计变得格外困难。结合下述策略可为解决遮挡挑战提供有效方案。 可以利用包含遮挡场景的数据集（例如The Occlusion-Person Dataset），结合数据增强技术使用带遮挡的数据集训练模型，让模型对遮挡具备鲁棒性。 此外，基于扩散的模型可用于学习人体姿态的底层结构，并对被遮挡的身体部位生成合理的估计。 NeRF可生成考虑了被遮挡身体部位的新视角，通过利用来自新视角的互补信息实现更精准的姿态估计。 --- #### 8.2.2 解决数据不足问题的策略 构建用于3D人体姿态标注的野外场景数据集成本极高。大多数数据集都是在实验室环境下构建的，仅少数可用于野外场景，无法满足深度学习模型的需求。这种数据稀缺性会导致模型在非受控环境或复杂姿态下的性能下降。因此，开发创新策略解决数据限制问题至关重要，我们的建议如下： 通过使用对比学习、姿态一致性或基于重构的目标等技术，自监督学习即使在标注数据稀缺或不完整的场景下也能提升模型的泛化能力和性能。 - 姿态数据增强技术可用于生成多样化的姿态对，还可通过引入负样本（例如背景和关节级遮挡）进一步提升效果。 - 推理时优化技术可在不永久更新网络的前提下优化估计得到的3D姿态，从而提升3D姿态模型在源数据和目标数据不同姿态分布下的泛化能力。 #### 8.2.3 3D多人姿态估计 许多实际应用都涉及多人场景，但3D多人姿态估计领域目前仍不成熟，需要更先进的方法来解决3D-MPPE面临的挑战，包括人物交互、人体尺寸变化以及以相机为中心的视角相关考量。 自底向上方法结合自适应尺度变化技术后，能够高效处理人群，解决人体尺寸不一的问题。 #### 8.2.4 基于多视角图像的3D-HPE 现有多视角姿态估计方法比单目方法精度更高，但受限于精准相机标定和跨视角聚合策略的挑战，二者很难在动态捕捉场景中同步实现。 目前的跨视角聚合方法主要依赖基于重构和体积的方法。这类方法可以通过融入基于NeRF的技术进一步改进，提升多视角信息的聚合效果。 --- ## 9 结论 本综述全面概述了三维人体姿态估计领域近年来的研究进展与相关策略。三维人体姿态估计（3D-HPE）领域正快速发展，其发展由卷积神经网络、图卷积神经网络、transformer及其组合等多种技术共同推动。本文全面综述了这些应用于各类场景的技术，涵盖单目/多视角相机设置、单人/多人场景以及图像/视频输入等不同场景。除传统监督学习外，本综述还探讨了弱监督、半监督和自监督学习等新兴技术，阐述了这些方法对提升姿态估计准确性与鲁棒性的贡献。本文还探讨了在线与离线姿态数据增强策略，以提高3D-HPE模型的泛化能力，同时简要讨论了绝对关键点坐标、问题求解空间、概率/扩散方法、基准数据集、评估指标以及近年方法的性能表现。本文将研究难点划分为共性问题和场景特定问题，清晰梳理了该领域当前面临的障碍。此外，本文结合可落地的建议明确了未来研究方向，体现出3D-HPE领域仍存在诸多持续的创新与发展机遇。 致谢 本研究得到中国北京市自然科学基金资助（项目编号：4222037、L181010）。我们谨向所有为本研究做出贡献的人员致以诚挚谢意。 作者贡献 Rama Bastola Neupane：研究构思、数据整理、研究调研、形式分析、可视化、论文初稿撰写；文稿修改；Kan Li：研究构思、项目指导、资源提供；Tesfaye Fenta Boka：论文评审与修改、数据整理； 数据可用性 本研究开展过程中未生成或分析任何数据集。 ## 声明 利益冲突 作者声明不存在利益冲突。 开放获取 本文采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行授权。该协议允许您以任何媒介或格式对本文内容进行非商业性使用、分享、分发和复制，前提是您需对原作者和来源给予适当署名，提供知识共享许可协议的链接，并注明您是否对授权材料进行了修改。根据本许可协议，您无权分享改编自本文或本文部分内容的材料。除非在材料的引用说明中另有说明，否则本文中的图像或其他第三方材料均包含在本文的知识共享许可协议范围内。如果相关材料未纳入本文的知识共享许可协议，且您的预期使用不符合法规要求或超出许可允许的使用范围，您需要直接向版权方获得使用许可。如需查看本许可协议的副本，请访问 . ## 参考文献 Andriluka M, Pishchulin L, Gehler P 等 (2014) 二维人体姿态估计：全新基准与现有技术水平分析。见：IEEE计算机视觉与模式识别会议论文集，pp 3686–3693 An S, Li Y, Ogras U (2022) mri：基于毫米波、RGB-D和惯性传感器的多模态三维人体姿态估计数据集。见：神经信息处理系统进展，pp 27414–27426 --- Artacho B、Savakis A (2022) Unipose+：面向图像和视频的二维与三维人体姿态估计统一框架。《IEEE模式分析与机器智能汇刊》44:9641–9653。 Azizi N、Possegger H、Rodolà E 等人 (2022) 基于莫比乌斯图卷积网络的三维人体姿态估计。收录于：欧洲计算机视觉会议，第160–178页 Bartol K、Bojanic D、Pribanic T (2022) 可泛化的人体姿态三角化。收录于：IEEE计算机学会计算机视觉与模式识别会议论文集，第2022年6月卷。IEEE计算机学会，第11018–11027页， Belagiannis V、Amin S、Andriluka M 等人 (2014) 用于多人姿态估计的三维图像结构模型。收录于：IEEE计算机视觉与模式识别会议论文集，第1669–1676页 Benzine A、Chabot F、Luvison B 等人 (2020) Pandanet：基于锚框的单阶段多人三维人体姿态估计。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，第6856–6865页 Benzine A、Luvison B、Pham QC 等人 (2021) 复杂图像中的单阶段多人三维人体姿态估计。《模式识别》。 Bertoni L、Kreiss S、Alahi A (2019) Monoloco：单目三维行人定位与不确定性估计。收录于：IEEE/CVF国际计算机视觉会议论文集，第6861–6871页 Cai Q、Hu X、Hou S 等人 (2024a) 结合分层时空去噪器的解耦扩散三维人体姿态估计。收录于：AAAI人工智能大会论文集，第882–890页 Cai Y、Zhang W、Wu Y 等人 (2024b) Fusionformer：用于三维姿态估计的简洁统一特征融合Transformer。收录于：AAAI人工智能大会，第900–908页 Chai W、Jiang Z、Hwang JN 等人 (2023) 全局适配遇见局部泛化：三维人体姿态估计的无监督域适应。收录于：IEEE国际计算机视觉会议论文集。电气和电子工程师协会，第14609–14619页， Chen Z、Huang Y、Yu H 等人 (2022) 通过神经架构搜索学习鲁棒的分部件感知单目三维人体姿态估计器。《国际计算机视觉杂志》130:56–75。 Chen L、Ai H、Chen R 等人 (2020) 面向多人三维人体姿态估计的百帧级以上跨视图跟踪。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，第3279–3288页 Chen Z、Dai J、Bai J 等人 (2024) Dgformer：用于三维人体姿态估计的动态图Transformer。《模式识别》。 Cheng Y、Wang B、Tan RT (2023) 基于双网络的单目视频三维多人姿态估计。《IEEE模式分析与机器智能汇刊》45:1636–1651。 Cheng Y、Wang B、Yang B 等人 (2021a) 面向单目视频三维多人姿态估计的图与时域卷积网络。收录于：AAAI人工智能大会。AAAI Cheng Y、Wang B、Yang B 等人 (2021b) 融合自顶向下与自底向上网络的单目多人三维人体姿态估计。收录于：IEEE计算机视觉与模式识别会议。IEEE Cheng Y、Yang B、Wang B 等人（2020）采用结合显式遮挡训练的时空网络进行三维人体姿态估计。见：AAAI人工智能大会论文集，页码 10631–10638 Chen H、He JY、Xiang W 等人（2023）Hdformer：用于三维人体姿态估计的高阶有向Transformer。见：第三十二届国际人工智能联合会议论文集，页码 581–589 Chen Y、Wang Z、Peng Y 等人（2018）用于多人姿态估计的级联金字塔网络。见：IEEE计算机视觉与模式识别会议论文集，页码 7103–7112 Chen X、Wei P、Lin L（2021）面向未标定相机弱监督三维人体姿态估计的演绎学习方法。见：AAAI人工智能大会，页码 1089–1096 Cho H、Cho Y、Yu J 等人（2021）结合基于优化的元学习，实现视频中考虑相机畸变的三维人体姿态估计。见：IEEE国际计算机视觉会议论文集，电气和电子工程师协会，页码 11149–11158, Choi S、Choi S、Kim C（2021b）MobileHumanPose：面向移动设备的实时三维人体姿态估计方法。见：IEEE/CVF计算机视觉与模式识别会议论文集，页码 2328–2338 Choi H、Moon G、Chang JY 等人（2021a）超越静态特征，从视频中获取时间一致性三维人体姿态与形状。见：IEEE计算机视觉与模式识别会议，IEEE Ci H、Ma X、Wang C 等人（2022）用于单目三维人体姿态估计的局部连接网络。IEEE Trans Pattern Anal Mach Intell 44卷：1429–1442。 --- Dai Y、Lin Y、Lin X 等人（2023）Sloper4d：面向城市环境全局四维人体姿态估计的场景感知数据集。见：IEEE计算机学会计算机视觉与模式识别会议论文集，卷 2023-June，IEEE计算机学会，页码 682–692, Desmarais Y、Mottet D、Slangen P 等人（2021）面向无标记运动捕捉的三维人体姿态估计算法综述。Comput Vision Image Underst。 Dong J、Fang Q、Jiang W 等人（2022）多视角下快速鲁棒的多人三维姿态估计与追踪。IEEE Trans Pattern Anal Mach Intell 44卷：6981–6992。 Du S、Yuan Z、Lai P 等人（2024）Joypose：面向三维人体姿态估计的进化数据增强与解剖感知全局-局部表示联合学习。Pattern Recognit。 Fabbri M、Lanzi F、Calderara S 等人（2018）在虚拟世界中学习检测与追踪可见和遮挡人体关节。见：欧洲计算机视觉会议（ECCV）论文集，页码 430–446 Fabbri M、Lanzi F、Calderara S 等人（2020）用于多人三维姿态估计的压缩体积热图方法。见：IEEE/CVF计算机视觉与模式识别会议论文集，页码 7204–7213 Fang HS、Xu Y、Wang W 等人（2018）学习姿态文法对三维姿态估计中的人体结构进行编码。见：AAAI人工智能大会论文集 Feng Y、Lin J、Dwivedi SK 等人（2024）Chatpose：围绕三维人体姿态的对话。见：IEEE/CVF计算机视觉与模式识别会议论文集，页码 2093–2103 Gamra MB、Aklloufi MA（2021）二维和三维人体姿态估计的深度学习技术综述。《Image Vision Comput》。 Gao Q、Deng Z、Ju Z 等（2023）面向仿生双手遥操作机器人、采用生物启发的双手运动捕捉方法。《Cyborg Bionic Syst》4:0052 Gholami M、Wandt B、Rhodin H 等（2022）Adaptpose：基于可学习运动生成的三维人体姿态估计跨数据集自适应方法。收录于：IEEE计算机学会计算机视觉与模式识别会议论文集，第2022年6月卷。IEEE计算机学会，页码13065–13075， Gholami M、Ward R、Wang ZJ（2024）Posegen：基于nerf的三维人体姿态数据集生成学习。收录于：AAAI人工智能大会会议论文，页码1905–1913 Gong J、Foo LG、Fan Z 等（2023）Diffpose：迈向更可靠的三维姿态估计。收录于：IEEE计算机学会计算机视觉与模式识别会议论文集，第2023年6月卷。IEEE计算机学会，页码13041–13051， Gong K、Li B、Zhang J 等（2022）Posetriplet：自监督下三维人体姿态估计、模仿与幻觉生成的协同进化方法。收录于：IEEE计算机学会计算机视觉与模式识别会议论文集，第2022年6月卷。IEEE计算机学会，页码11007–11017， Gong K、Zhang J、Feng J（2021）Poseaug：面向三维人体姿态估计的可微分姿态增强框架。收录于：IEEE计算机视觉与模式识别会议。IEEE Guan S、Lu H、Zhu L 等（2023）Posegu：结合新型人体姿态生成器与无偏学习的三维人体姿态估计。《Comput Vision Image Underst》。 Guo Y、Ma L、Li Z 等（2021）基于预测分解校正因子的单目三维多人姿态估计。《Comput Vision Image Underst》。 Guzov V、Mir A、Sattler T 等（2021）人体定位系统（hps）：基于穿戴式传感器的大场景三维人体姿态估计与自定位方法。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，页码4318–4329 Han C、Yu X、Gao C 等（2022）基于不确定性学习的单张图像三维人体姿态估计。《Pattern Recognit》。 Hochreiter S、Schmidhuber J（1997）长短期记忆。《Neural Comput》9:1735–1780 Holmquist K、Wandt B（2023）Diffpose：基于扩散模型的多假设人体姿态估计。收录于：IEEE国际计算机视觉会议论文集。电气和电子工程师协会，页码15931–15941， Honari S、Constantin V、Rhodin H 等（2023）面向三维人体姿态估计的单目视频时序表示学习。《IEEE Trans Pattern Anal Mach Intell》45:6415–6427。 Huo R、Gao Q、Qi J 等（2023）面向人机/机器人交互的视频三维人体姿态估计。收录于：Yang H、Liu H、Zou J 等（编）国际智能机器人与应用会议论文集，第14273卷。施普林格自然新加坡，页码176–187， --- Ionescu C、Papava D、Olaru V 等（2014）Human3.6m：自然环境中三维人体感知的大规模数据集与预测方法。《IEEE Trans Pattern Anal Mach Intell》36:1325–1339。 Jiang B、Hu L、Xia S（2023）面向未校准多视角三维人体姿态估计的概率三角化方法。见：IEEE国际计算机视觉会议论文集。电气和电子工程师协会，第14804–14814页， Jin L、Xu C、Wang X 等（2022）单阶段就已足够：多人绝对三维人体姿态估计。见：IEEE计算机学会计算机视觉与模式识别会议论文集，卷2022-June。IEEE计算机学会，第13076–13085页， Joo H、Liu H、Tan L 等（2015）全景工作室：面向社交动作捕捉的大规模多视角系统。见：IEEE国际计算机视觉会议论文集，第3334–3342页，网址 Kang Y、Liu Y、Yao A 等（2023）基于网格卷积的三维人体姿态提升。见：AAAI人工智能会议论文集，第1105–1113页 Kazemi V、Burenius M、Azizpour H 等（2013）基于随机森林的多视角身体部位识别。见：2013年第24届英国机器视觉会议BMVC2013。英国机器视觉协会 Kim HW、Lee GH、Nam WJ 等（2024）Mhcanonnet：面向野外视频自监督三维人体姿态估计的多假设规范提升网络。《Pattern Recognit》 Kipf TN、Welling M（2017）基于图卷积网络的半监督分类。见：国际学习表示会议（ICLR'2017） Kundu JN、Seth S、Jamkhandi A 等（2021）面向自适应三维人体姿态估计的非局部潜在关系蒸馏。见：神经信息处理系统年会。MIT Press Kundu JN、Seth S、Jampani V 等（2020a）基于部位引导新图像合成的自监督三维人体姿态估计。见：IEEE/CVF计算机视觉与模式识别会议论文集，第6152–6162页 Kundu JN、Seth S、V RM 等（2020b）面向无监督三维人体姿态估计的运动学结构保留表示。见：AAAI人工智能会议论文集，第11312–11319页 Kundu JN、Seth S、Ym P 等（2022）面向自监督三维人体姿态估计的不确定性感知自适应方法。见：IEEE计算机学会计算机视觉与模式识别会议论文集，卷2022-June。IEEE计算机学会，第20416–20427页， Lamas A、Tabik S、Montes AC 等（2022）用于降低视频监控武器检测假阴性的人体姿态估计方法。《Neurocomputing》 489:488–503。 Lee K、Kim W、Lee S（2023）从人体姿态相似性度量到三维人体姿态估计器：时间传播LSTM网络。《IEEE Trans Pattern Anal Mach Intell》 45:1781–1797。 Li S、Ke L、Pratama K 等（2020a）基于进化训练数据的级联深度单目三维人体姿态估计。见：IEEE/CVF计算机视觉与模式识别会议论文集，第6173–6183页 Li Y、Li K、Jiang S 等（2020b）几何驱动的自监督三维人体姿态估计方法。见：AAAI人工智能会议论文集，第11442–11449页 Li W、Liu H、Tang H 等（2023）面向基于Transformer的三维人体姿态估计的多假设表示学习。《Pattern Recognit》 Li W, Liu H, Tang H, 等 (2022) Mhformer: 用于三维人体姿态估计的多假设变换器。载于：IEEE计算机学会计算机视觉与模式识别会议论文集，第2022-June卷。IEEE Computer Society，页码13137–13146， Lin TY, Maire M, Belongie S, 等 (2014) Microsoft coco：上下文下的常见目标。载于：计算机视觉——ECCV 2014：第13届欧洲会议，页码740–755 Lin J, Lee GH (2021) 基于平面扫描立体视觉的多视图多人三维姿态估计。载于：IEEE/CVF计算机视觉与模式识别会议论文集，页码11886–11895 Li H, Pun CM (2023) Cee-net: 用于三维人体姿态生成与估计的互补端到端网络。载于：AAAI人工智能会议论文集，页码1305–1313 Li H, Shi B, Dai W, 等 (2023a) 面向姿态结合不确定性引导细化的二维转三维人体姿态估计。载于：AAAI人工智能会议论文集，页码1296–1304 Liu J, Ding H, Shahroudy A 等 (2020) 三维姿态估计的特征增强网络。IEEE模式分析与机器智能汇刊 42:494–501。 --- Liu R, Shen J, Wang H 等 (2021) 基于带扩张卷积的注意力神经网络增强视频三维人体姿态估计。国际计算机视觉杂志 129:1596–1615。 Liu W, Bao Q, Sun Y 等 (2022) 单目二维与三维人体姿态估计最新进展：深度学习视角。ACM计算概览 55:1–41 Liu W, Lin X, Chen X 等 (2023) 基于视觉的帕金森病震颤严重程度量化的MDS-UPDRS评分估计。医学图像分析。 Liu R, Shen J, Wang H, 等 (2020b) 注意力机制利用时序上下文：实时三维人体重建。载于：IEEE/CVF计算机视觉与模式识别会议论文集，页码5064–5073 Loper M, Mahmood N, Romero J 等 (2015) SMPL: 蒙皮化多人体线性模型。ACM图形汇刊(TOG) 34:1–16 Luvizon DC, Tabia H, Picard D (2023) Ssp-net: 用于实时三维人体姿态回归的可扩展顺序金字塔网络。模式识别。 Luvizon DC, Picard D, Tabia H (2022) 相机坐标系下三维人体姿态估计的基于共识优化。国际计算机视觉杂志 130:869–882。 Marcard TV, Henschel R, Black MJ, 等 (2018) 结合惯性测量单元与移动相机恢复野外场景下的精确三维人体姿态。载于：欧洲计算机视觉会议(ECCV)论文集，页码601–617，链接 Ma X, Su J, Wang C, 等 (2021) 三维人体姿态估计中的上下文建模：统一视角。载于：IEEE/CVF计算机视觉与模式识别会议论文集，页码6238–6247 Matsukawa T, Okabe T, Suzuki E 等 (2020) 分层高斯描述符及其在行人重识别中的应用。IEEE模式分析与机器智能汇刊 42:2179–2194。 Mehta D, Rhodin H, Casas D, 等 (2017) 基于改进CNN监督的野外单目三维人体姿态估计。载于：IEEE三维视觉国际会议(3DV)，页码506–516 Mehta D、Sotnychenko O、Mueller F等人（2018）基于单目RGB的单次拍摄多人三维姿态估计。收录于：3D视觉国际会议（3DV），页码120–130 Mildenhall B、Srinivasan PP、Tancik M等人（2020）Nerf：用于视图合成的神经辐射场场景表示。收录于：欧洲计算机视觉会议（ECCV），页码405–421 Mitra R、Gundavarapu NB、Sharma A等人（2020）用于三维人体姿态估计的多视图一致半监督学习。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，页码6907–6916 Moon G、Chang JY、Lee KM（2019）面向单张RGB图像的感知相机距离的自上而下三维多人姿态估计方法。收录于：IEEE/CVF国际计算机视觉会议论文集，页码10133–10142 Newell A、Yang K、Deng J（2016）用于人体姿态估计的堆叠沙漏网络。计算机视觉ECCV 2016：第14届欧洲会议，荷兰阿姆斯特丹，页码483–499 Nie Q、Liu Z、Liu Y（2023）基于域适配三维人体概念的二维人体姿态三维提升。国际计算机视觉杂志 131:1250–1268。 Park S、You E、Lee I等人（2023）面向野外单目视频的鲁棒平滑三维多人姿态估计。收录于：IEEE国际计算机视觉会议论文集，电气和电子工程师协会，页码14726–14736, Pavlakos G、Zhou X、Derpanis KG等人（2017）单图像三维人体姿态的由粗到精体积预测。收录于：IEEE计算机视觉与模式识别会议论文集，页码7025–7034 Pavllo D、Feichtenhofer C、Grangier D等人（2019）结合时间卷积和半监督训练的视频三维人体姿态估计。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，页码7753–7762 Peng S、Geng C、Zhang Y等人（2023）结合结构化隐码的隐神经表示人体建模方法。IEEE模式分析与机器智能汇刊 45:9895–9907。 Peng S、Zhang Y、Xu Y等人（2021）Neural Body：动态人体新视图合成的结合结构化隐码的隐神经表示。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，页码9054–9063 Qiu Z、Qiu K、Fu J等人（2023）基于透视知识的三维人体姿态估计弱监督预训练方法。模式识别。 --- Rajasegaran J、Pavlakos G、Kanazawa A等人（2023）三维姿态与跟踪对人体动作识别的益处研究。收录于：IEEE计算机学会计算机视觉与模式识别会议论文集，卷2023-June，IEEE计算机学会，页码640–649, Reddy ND、Guigues L、Pishchulin L等人（2021）Tessetrack：端到端可学习的多人铰接三维姿态跟踪。收录于：IEEE计算机视觉与模式识别会议，IEEE Remelli E、Han S、Honari S等人（2020）基于相机解耦表示的轻量化多视图三维姿态估计。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，页码6040–6049 Rogez G、Weinzaepfel P、Schmid C（2020）Lcr-net++：自然图像中的多人二维和三维姿态检测。IEEE模式分析与机器智能汇刊 42:1146–1161。 Sarafianos N、Boteanu B、Ionescu B 等人（2016）三维人体姿态估计：文献综述与协变量分析。《Comput Vis Image Underst》152:1–20。 Shan W、Liu Z、Zhang X 等人（2023）结合多假设聚合的基于扩散模型的三维人体姿态估计。收录于：IEEE国际计算机视觉会议论文集。电气和电子工程师协会，第14715–14725页， Shuai H、Wu L、Liu Q（2023）面向三维人体姿态估计的自适应多视图时序融合Transformer。《IEEE Trans Pattern Anal Mach Intell》45:4122–4135。 Signal L、Balan AO、Black MJ（2010）Humaneva：用于关节人体运动评估的同步视频与动作捕捉数据集及基线算法。《Int J Comput Vision》87:4–27。 Su SY、Yu F、Zollhöfer M 等人（2021）A-nerf：用于学习人体形状、外观和姿态的关节神经辐射场。收录于：《神经信息处理系统进展》，第12278–12291页 Sun K、Xiao B、Liu D 等人（2019）面向人体姿态估计的深度高分辨率表示学习。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，第5693–5703页。 Sun J、Zhou L、Geng B 等人（2024）结合本体感受反馈概率模型的四足机器人腿部状态估计。《IEEE/ASME transactions on mechatronics》 Tang Z、Qiu Z、Hao Y 等人（2023）结合时空交叉注意力的三维人体姿态估计。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，电气和电子工程师协会（IEEE），第4790–4799页， Tian Y、Zhang H、Liu Y 等人（2023）从单目图像恢复三维人体网格：综述。《IEEE transactions on pattern analysis and machine intelligence》。 Trumble M、Gilbert A、Malleson C 等人（2017）Total Capture：融合视频与惯性传感器的三维人体姿态估计。收录于：第28届英国机器视觉会议论文集，网址 Tu H、Wang C、Zeng W（2020）VoxelPose：面向野外环境多相机三维人体姿态估计。收录于：计算机视觉-ECCV 2020：第16届欧洲会议，英国格拉斯哥，2020年8月23-28日，会议论文集，第197–212页 Tuyls K、Omidshafiei S、Muller P 等人（2021）Game Plan：人工智能能为足球做什么，足球能为人工智能做什么 Umar I、Pavlo M、Jan K（2020）基于野外多视图图像的弱监督三维人体姿态学习。收录于：IEEE/CVF计算机视觉与模式识别会议论文集，第5243–5252页 Usman B、Tagliasacchi A、Saenko K 等人（2022）MetaPose：无需三维监督的多视图快速三维姿态估计。收录于：IEEE计算机学会计算机视觉与模式识别会议论文集，卷2022-June。IEEE计算机学会，第6749–6760页， Varol G、Romero J、Martin X 等人（2017）从合成人体中学习。收录于：IEEE计算机视觉与模式识别会议论文集，第109–117页 Vaswani A、Brain G、Shazeer N 等人（2017）注意力机制即是全部所需。《神经信息处理系统进展》30 Wan X, Chen Z, Zhao X (2023) 面向三维人体姿态估计的视角一致性感知全局三角化。Comput Vis Image Underst. Wandt B, Little JJ, Rhodin H (2022) Elepose：通过预测相机仰角并学习二维姿态归一化流实现无监督三维人体姿态估计。In：Proceedings of the IEEE computer society conference on computer vision and pattern recognition, vol 2022-June. IEEE Computer Society, pp 6625–6635, Wandt B, Rudolph M, Zell P, et al (2021) Canonpose：野外场景下的自监督单目三维人体姿态估计。In：Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 13294–13304 Wang K, Lin L, Jiang C et al (2020) 基于自监督学习的三维人体姿态机。IEEE Trans Pattern Anal Mach Intell 42:1069–1082. --- Wang K, Boonpratatong A, Chen W et al (2023) 人类行走过程中腿部的基本特性：线性与非线性。IEEE Trans Neural Syst Rehabil Eng 31:4871–4881 Wang J, Luvizon D, Xu W, et al (2023a) 场景感知的第一人称三维人体姿态估计。In：Proceedings of the IEEE/cvf conference on computer vision and pattern recognition, pp 13031–13040 Wang Z, Nie X, Qu X, et al (2022) 面向多人三维姿态估计的分布感知单阶段模型。In：Proceedings of the IEEE computer society conference on computer vision and pattern recognition, vol 2022-June. IEEE computer society, pp 13086–13095, Wang J, Tan S, Zhen X et al (2021) 深度三维人体姿态估计研究综述。Comput Vis Image Underst. Wang D, Xuan S, Zhang S (2024) Locllm：基于大语言模型的可泛化人体关键点定位。In：Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 614–623 Wang T, Zhang J, Cai Y, et al (2021b) 直接多视角多人三维姿态估计。In：Advances in neural information processing systems, pp 13153–13164 Wehrbein T, Rudolph M, Rosenhahn B, et al (2021) 结合归一化流的概率单目三维人体姿态估计。In：IEEE/CVF International conference on computer vision. Institute of Electrical and Electronics Engineers (IEEE), pp 11179–11188, Wei WL, Lin JC, Liu TL, et al (2022) 运动人体捕捉：基于单目视频的时间注意力三维人体姿态与形状估计。In：Proceedings of the IEEE computer society conference on computer vision and pattern recognition, vol 2022-June. IEEE Computer Society, pp 13201–13210, Wu S, Jin S, Liu W, et al (2021) 基于多视图图像的图结构三维多人姿态估计。In：IEEE/CVF international conference on computer vision. Institute of Electrical and Electronics Engineers (IEEE), pp 11128–11137, Wu H, Xiao B (2020) 基于显式组合深度图的三维人体姿态估计。In：Proceedings of the AAAI conference on artificial intelligence, pp 12378–12385 Xu Y, Wang W, Liu T et al (2022) 基于姿态文法与数据增强的单目三维姿态估计。IEEE Trans Pattern Anal Mach Intell 44:6327–6344. Xu C, Chen S, Li M, et al (2021) 面向无监督三维人体姿态估计的不变性教师-等变性学生框架。In：AAAI conference on artificial intelligence, pp 3013–3021 Xu T, Takano W (2021) 面向三维人体姿态估计的图堆叠沙漏网络. 收录于: IEEE/CVF计算机视觉与模式识别会议论文集, 第16105–16114页 Xu J, Yu Z, Ni B, 等 (2020) 单目三维人体姿态估计的深度运动学分析. 收录于: IEEE/CVF计算机视觉与模式识别会议论文集, 第899–908页 Yan J, Zhou M, Pan J, 等 (2022) 三维人体姿态估计研究进展：从优化到实现及其他. 《国际模式识别与人工智能期刊》 36 1, Zhu W, Wang C, 等 (2022) Faster VoxelPose：基于正投影的实时三维人体姿态估计. 收录于: 欧洲计算机视觉会议, 施普林格出版社, 第142–159页 Yi X, Zhou Y, Habermann M, 等 (2022) 物理惯性定位器(PIP)：基于稀疏惯性传感器的物理感知实时人体运动追踪. 收录于: IEEE/CVF计算机视觉与模式识别会议论文集, 第13167–13178页 Yu BX, Zhang Z, Liu Y, 等 (2023) Gla-gen: 面向单目视频三维人体姿态估计的全局-局部自适应图卷积网络. 收录于: IEEE国际计算机视觉会议论文集. 电气与电子工程师协会, 第8784–8795页, Yu Z, Ni B, Xu J, 等 (2021) 缓解无监督单目三维人体姿态估计建模歧义性的方法. 收录于: IEEE国际计算机视觉会议论文集. 电气与电子工程师协会, 第8631–8640页, Zeng A, Sun X, Yang L, 等 (2021) 面向复杂三维姿态估计的骨骼图神经网络学习. 收录于: IEEE国际计算机视觉会议论文集. 电气与电子工程师协会, 第11416–11425页, Zhai K, Nie Q, Ouyang B, 等 (2023) Hopfir: 面向三维人体姿态估计的带组内关节细化的跳感知图Transformer. 收录于: IEEE国际计算机视觉会议论文集. 电气与电子工程师协会, 第14939–14949页, (2012) 微软Kinect传感器及其影响. IEEE多媒体 19:4–10. 链接 Z, Wang C, Qiu W 等 (2021) Adafuse: 野外场景精确人体姿态估计的自适应多视图融合. 国际计算机视觉期刊 129:703–718. --- Zhang J, Gong K, Wang X 等 (2023) 面向图像和视频三维人体姿态估计的姿态增强学习. IEEE模式分析与机器智能汇刊 45:10012–10026. Zhang S, Wang C, Nie L 等 (2023) 面向鲁棒三维人体姿态估计的增强跳感知相关性学习. 国际计算机视觉期刊 131:1566–1583. Zhang Y, Wang C, Wang X 等 (2023) Voxeltrack: 野外场景下多人三维人体姿态估计与追踪. IEEE模式分析与机器智能汇刊 45:2613–2626. Zhang J, Nie X, Feng J (2020) 跨场景三维人体姿态估计的推理阶段优化. 见: 神经信息处理系统进展, 第2408–2419页 张 J、涂 Z、杨 J 等人 (2022) Mixste：面向视频中三维人体姿态估计的Seq2seq混合时空编码器。见：Proceedings of the IEEE computer society conference on computer vision and pattern recognition，第2022-June卷。IEEE Computer Society，页码13222–13232， 张 L、周 K、鲁 F 等人 (2024) 面向多视图三维人体姿态估计的深度语义图Transformer。见：AAAI conference on artificial intelligence，页码7205–7214 詹 Y、李 F、翁 R 等人 (2022) Ray3d：面向单目绝对三维定位的基于射线的三维人体姿态估计方法。见：Proceedings of the IEEE computer society conference on computer vision and pattern recognition，第2022-June卷。IEEE Computer Society，页码13106–13115， 赵 W、王 W、田 Y (2022) Graformer：面向三维姿态估计的图导向Transformer。见：Proceedings of the IEEE computer society conference on computer vision and pattern recognition，第2022-June卷。IEEE Computer Society，页码20406–20415， 赵 J、于 T、安 L 等人 (2023a) 面向数据高效三维姿态估计的三角化残差损失。见：Advances in neural information processing systems 赵 Q、郑 C、刘 M 等人 (2023b) Poseformerv2：面向高效鲁棒三维人体姿态估计的频域探索。见：Proceedings of the IEEE computer society conference on computer vision and pattern recognition，第2023-June卷。IEEE Computer Society，页码8877–8886， 郑 C、吴 W、陈 C 等人 (2023) 基于深度学习的人体姿态估计：综述。ACM Comput Surv 56:1–37 郑 C、朱 S、Mendieta M 等人 (2021) 结合空间与时间Transformer的三维人体姿态估计。见：Proceedings of the IEEE international conference on computer vision。Institute of Electrical and Electronics Engineers Inc.，页码11636–11645， 周 T、杨 Y、王 W (2023) 可微分多粒度人体解析。IEEE Trans Pattern Anal Mach Intell 45(7):8296–8310 周 L、陈 Y、王 J (2024) 面向三维人体姿态估计的Slowfastformer。Comput Vis Image Underst. 周 X、黄 Q、孙 X 等人 (2017) 面向野外地三维人体姿态估计：一种弱监督方法。见：Proceedings of the IEEE international conference on computer vision，页码398–407 周 T、王 W、刘 S 等人 (2021) 面向实例感知人体语义解析的可微分多粒度人体表示学习。见：Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，页码1622–1631 周 Y、谢 J、张 X 等人 (2024c) 基于深度融合套索网络的节能可解释多传感器人类活动识别。IEEE transactions on emerging topics in computational intelligence 周 F、尹 J、李 P (2024a) 基于图像的提升——利用图像线索实现精确三维人体姿态估计。见：AAAI conference on artificial intelligence，页码7632–7640 朱 Y、徐 X、沈 F 等人 (2021) Posegtac：结合空洞卷积的图Transformer编解码三维人体姿态估计方法。见：international joint conference on artificial intelligence。Morgan Kaufmann 邹 Z、唐 W (2021) 用于三维人体姿态估计的调制图卷积网络。见：Proceedings of the IEEE International Conference on Computer Vision。Institute of Electrical and Electronics Engineers Inc.，页码11457–11467， 出版者注：施普林格·自然对已发表地图中的管辖权主张以及机构隶属关系保持中立。