# 深度学习用于三维人体姿态估计与网格恢复：综述 刘阳 $^{a}$, 丘昌镇 $^{a}$, 张志勇 $^{a}$ $^{a}$中山大学电子与通信工程学院，中国广东省深圳市 ## 摘要 三维人体姿态估计与网格恢复已在计算机视觉、自动驾驶、机器人技术等多个领域引起了广泛的研究兴趣。近年来，针对三维人体姿态估计与网格恢复的深度学习研究蓬勃发展，研究者针对该领域的各类问题提出了大量方法。为推动未来相关研究，本文梳理了超过200篇参考文献，对该领域过去五年深度学习方法的最新进展进行了全面综述。据我们所知，本综述是首个全面涵盖三维人体姿态估计深度学习方法的综述，内容既包含单人方法也包含多人方法，同时覆盖人体网格恢复方向，囊括了基于显式模型和隐式表示的各类方法。我们还给出了不同方法在多个公开数据集上的对比结果，分享了具有启发性的观察，并展望了具有探索价值的未来研究方向。本研究的项目页面会定期更新，地址为 。 人体姿态估计、三维人体姿态、人体网格恢复、人体重建、深度学习、文献综述 ### 1. 引言 #### 1.1. 研究动机 人类是各类社会活动中最主要的行为主体，让人工智能具备对人类的理解能力对造福社会至关重要。因此，大量以人为核心的任务成为了研究的焦点。其中，三维人体姿态估计（HPE）与人体网格恢复（HMR）是计算机视觉领域中，用于解读复杂真实环境下人类状态与行为的核心任务。 三维人体姿态估计可以精准预测人体关节点在三维空间中的坐标。与二维方法相比，该技术能够提供更全面准确的空间信息，从而帮助我们更好地理解复杂的人类行为。 --- 可应用于众多高层计算机视觉应用中 [^1] [^2] [^3] [^4]。人体网格恢复可重建人体的三维数字模型，能够捕捉形状 [^5] [^6]、姿态 [^7]、衣物 [^8] [^9]和面部表情 [^10]等细节，因此可以为我们理解人类与物理世界的交互提供直接依据。三维姿态估计与网格恢复拥有广泛的应用场景，例如安全监控 [^11]、人机交互 [^12] [^13]、自动驾驶 [^14] [^15]和虚拟现实 [^16]。 近年来，随着先进深度学习技术的发展，三维人体姿态估计与网格重建近年来受到了越来越多的关注。三维姿态估计已从最初聚焦单人研究，逐步拓展到覆盖多人场景，可支持的数据输入也更加多样化。在人体网格重建领域，数据输入和精细细节捕捉方面都取得了诸多进展。显式模型参数的扩充让人体表示更加细致，参数类型的扩展也助力刻画更精细的人体表面。随着隐式渲染技术的发展及其被引入人体网格重建领域，研究人员已经实现了更加灵活的人体表示方式。然而，三维姿态估计和网格重建都仍面临诸多重大挑战，例如多人场景处理、自遮挡问题以及人体细节重建等。因此，对三维人体姿态估计与网格重建领域的最新进展进行系统全面的综述十分必要。 #### 1.2. 本综述的研究范围 过去五年间，学界已经发表了多篇针对三维人体姿态估计与网格重建的综述。其中综述[^17] [^18]主要聚焦于二维和三维姿态估计，对人体网格重建（HMR）相关研究的关注度较低。综述[^19]专门针对网格重建进行了全面综述，重点介绍了基于显式模型的方法。综述[^20]明确聚焦于采用隐式渲染技术的网格重建，但并未对三维姿态估计与网格重建领域最新的隐式渲染方法和相关系统进行详尽梳理。现有综述大多仅轻度涉及三维人体姿态估计与网格重建技术，几乎没有深入探讨它们在其他计算机视觉任务中的应用以及未来面临的挑战。 本综述主要聚焦于基于深度学习的三维人体姿态估计与人体网格重建方法，同时覆盖单人场景和多人场景下的三维姿态估计研究。在人体网格重建方面，本文系统梳理了基于显式模型和隐式模型的各类技术。如图1所示，本综述全面收录了2019-2023年间来自主流计算机视觉会议和期刊的最新前沿研究成果。 相较于现有研究，本文的主要贡献可总结如下： （1）据我们所知，本综述是首个全面涵盖三维人体姿态估计深度学习方法的综述，内容包括 --- ![Image](images/bf160f05f7cb39b8a1fdb7456318ccecea2023b1964a7b9d31c30f1201cb6803.jpg)
Figure 1: Recent research of deep learning for 3D HPE and HMR.
单人方法与多人方法，以及人体网格重建领域基于显式模型和隐式表示的各类方法。 （2）与现有综述不同，本文没有忽略隐式表示在方法中的作用，尤其是在隐式渲染近年快速发展的背景下。这类方法能够生成细节丰富的输出，包括带有表情、动作以及其他实现照片级真实感所必需的细节的着装人体。 （3）本文全面综述了深度学习在三维姿态估计与网格重建领域的最新发展，为读者提供了前沿方法的详细概述。此外，本文还探讨了这些研究进展对其他各类计算机视觉任务的推动作用，并深入分析了该领域面临的挑战。 本文结构安排如下：第2节介绍已得到广泛应用的人体传感器类型与人体表示方法。第3节概述了用于三维人体姿态估计和网格重建的深度学习研究进展。第4节调研了现有的单人及多人三维人体姿态估计方法。第5节回顾了人体网格重建方法，包括基于模板和无模板的方法。第6节介绍了各任务对应的评价指标和数据集。此外，第7节讨论了该领域的相关应用，及其对其他计算机视觉任务的影响。最后，第8节对全文进行总结。图2展示了用于3D HPE和HMR的深度学习方法分类体系。另外，我们维护了一个定期更新的项目页面，访问地址为：. ![Image](images/c2605cab5330ac1b7c32dcc7fbca9911797b8d1fd7f4ce2310c5f23bf25f3450.jpg)
Figure 2: A taxonomy of deep learning methods for 3D HPE and HMR.
--- ### 2. 研究背景 #### 2.1. 用于3D HPE和HMR的传感器 可用于三维人体姿态估计和网格重建的传感器种类繁多，主要分为主动传感器和被动传感器两大类。 ##### 2.1.1. 主动传感器 主动传感器的工作原理是发射一组信号，通过检测信号的反射完成测量，例如带有反射标记的动作捕捉（Motion Capture, MoCap）系统[^21]、触觉传感[^22]、飞行时间（Time of Flight, ToF）相机[^23] [^24]以及射频（Radio Frequency, RF）技术[^25] [^26]。MoCap设备和触觉设备仅适用于配合度高的目标，主动相机通常无法在户外使用，且多个主动设备同时使用可能会产生相互干扰，因此这类设备的应用场景存在较大限制。 ##### 2.1.2. 被动传感器 被动传感器在测量过程中不会主动发射任何信号，而是依赖来自目标或自然光源的信号，包括惯性测量单元（Inertial Measurement Units, IMUs）[^27] [^28]和图像传感器[^29] [^30]。其中，RGB图像传感器尤为突出：它操作简单、使用方便、可适配多种环境，还能捕获高分辨率彩色图像。此外，多个RGB图像传感器可以组合构建多视图系统[^31] [^32] [^33]。 在本篇综述中，考虑到RGB图像传感器的广泛适用性以及文章的篇幅限制，我们聚焦于基于RGB图像传感器的三维人体姿态估计和网格重建研究。 #### 2.2. 人体表示 三维姿态估计器和网格重建器可以根据前文所述的传感器输入生成对应的输出结果。三维人体姿态估计的输出包含描述人体位置和关节方向的三维坐标，表征了每个关节（例如头、颈、肩、肘、膝）的空间位置，骨骼则刻画了关节之间的连接关系。通常这些坐标采用全局坐标系表示，或相对于相机坐标系表示。关键点树结构常被用来描述人体姿态，其中树的节点代表关节，边代表关节之间的连接。 另一方面，基于骨架的人体姿态表示方法无法提供人体表面的详细信息。人体网格恢复的输出通常是三维人体模型，它全面涵盖了人体形状和表面细节的描述，能够提供更加丰富的表示。基于统计的模型被广泛应用于人体网格表示中，例如SCAPE [^34] 和 SMPL [^35]。SMPL 是一种可学习的蒙皮顶点模型，将人体表示为带有拓扑的三维网格 --- 结构。人体的姿态和形状由姿态参数 $\theta$ 和形状参数 $\beta$ 描述。姿态参数控制关节角度和整体姿势，形状参数决定人体的形状。目前已有多种基于SMPL扩展表示能力的模型，例如带有手部表示的MANO模型（SMPL+H）[^36] 和带有面部表示的FLAME模型 [^37]。SMPL-X [^38] 是一个综合模型，通过融合FLAME头部模型 [^37] 和MANO手部模型 [^36]，能够同时捕捉人体、面部和手部信息。H4D [^39] 基于SMPL模型的先验知识构建，通过引入时间维度扩展了模型能力，能够表示动态人体形状与姿态。 除了上述提到的显式模型表示之外，近年来基于隐式模型的方法得到了发展，这类方法通过非参数模型实现更灵活的人体表示。基于体素的模型适合体积渲染和物理模拟，但它的分辨率受到体素大小的限制，还可能导致更大的存储需求。Varol 等人 [^40] 提出了端到端网络架构BodyNet，能够从单张图像预测人体的体积形状。隐式重建将输入转换为隐函数表示，便于从不规则的带噪数据中重建高质量三维网格模型。为了解决从图像重建三维网格的不适定问题，Onizuka 等人提出了 TetraTSDF（四面体裁剪符号距离函数）模型 [^41]。TetraTSDF 是一种四面体表示模型，即使目标人物穿着宽松衣物，也能准确恢复复杂的人体形状。Zheng 等人 [^42] 设计了参数模型条件隐式表示（PaMIR），该方法利用二维图像特征图和对应的SMPL特征体生成隐式表面表示。 ### 3. 面向3D HPE和HMR的深度学习方法概述 ![Image](images/ee31362ea00ddc7757577860962f5ad492e9dca95c53df8a5f756c7bdc13a748.jpg)
Figure 3: A basic framework of deep learning for 3D HPE and HMR.
本节概述了用于三维人体姿态估计与网格恢复的深度学习框架。如图3所示，共有四个 --- 基于深度学习系统中的组件。首先，数据从各类传感器采集得到，包括RGB图像、深度图像、射频信号、惯性测量单元（IMU）等等。其次，输入数据经由深度学习模型处理，这类模型通常由编码器和解码器构成。编码器从输入数据中提取表征特征，例如通过ResNet [^43]或HRNet [^44]这类架构得到特征。解码器可基于多层感知机（MLP，Multi-Layer Perceptron）[^45]或Transformer [^46]这类框架，最终输出人体的三维姿态和重建模型。该结构使得模型能够高效地将复杂输入数据处理转换为精细准确的人体姿态和网格三维表征。第三，在模型学习过程中可以选择多种学习方法。除全监督学习之外，为缓解数据依赖，也会采用弱监督学习 [^47] [^48]、无监督学习 [^49] [^50]和小样本学习 [^51] [^52]等方法。为缩减模型体积，可以应用知识蒸馏 [^53] [^54]、模型剪枝 [^55]和参数量化 [^56]等技术。此外，还可以引入元学习 [^57]和强化学习 [^58]等方法，使模型能够适应不同场景和数据约束。最后，深度学习模型输出三维人体姿态估计和网格重建的结果。这些结果可以多种形式表示，包括关键点 [^59] [^60]、网格 [^35] [^36] [^61]和体素 [^62] [^41] [^9]。这些表征有助于全面理解三维空间中的人体。在接下来的章节中，我们将深入探讨三维人体姿态估计和网格重建的具体内容，对每个方面进行分类阐述。 ### 4. 三维人体姿态估计 三维人体姿态估计可通过预测人体关键点的深度信息得到更精准的姿态，但它的挑战性远大于二维姿态估计。根据目标数量，三维姿态估计可分为单人估计和多人估计。得益于深度学习技术的快速发展，单人三维姿态估计已经取得了飞速进展，但它仍面临诸多挑战，例如推理效率、部分身体不可见等问题。拥挤场景下的多人估计由于人体与人体、人体与场景之间存在交互和遮挡，挑战性更强。本节我们将对该领域的研究进展进行详细介绍，将其分为两类展开。表1总结了所有代表性方法。 #### 4.1. 单人三维姿态估计 如图4所示，单人三维姿态估计主要分为直接估计方法和二维升三维方法（2D to 3D lifting）。直接法通过预测器直接从输入中估计三维人体姿态，而二维升三维方法从二维估计结果中得到三维姿态，流程为先检测人体关键点在二维空间中的坐标，再将这些二维关键点升维得到三维空间坐标。 ---
Table 1: Overview of 3D human pose estimation.
MotivationsMethods
Single Personin ImagesSolving Depth Ambiguity• Optical-aware: VI-HC [^63], Ray3D [^64]\n• Appropriate feature representation: HEMIets [^65]
Solving Body Structure Understanding• Joint aware: JRAN [^66]\n• Lindh aware: Wu et al. [^67], Deep grammar network [^68]\n• Orientation keypoint: Fitch et al. [^69]\n• Graph-based: Lin et al. [^70], LCN [^71], Modulated-GCN [^72], Skeletal-GNN [^73], HopFIR [^74], RS-Net [^50]
Solving Occlusion Problems• Learnable-triangulation [^75]\n• RPSM [^76]\n• Lightweight multi-view [^77]\n• AdaPose [^78]\n• Bartol et al. [^79]\n• 3D pose consensus [^80]\n• Probabilistic triangulation module [^31]
Solving Data Lacking• Unsupervised learning: Kudo et al. [^81], Chen et al. [^82], EdaPose [^83]\n• Self-supervised learning: EpilophosePose [^84], Wang et al. [^85], MRP-Net [^86], PoseTriplet [^88]\n• Weekly-supervised learning: Hua et al. [^87], CameraPose [^47]\n• Transfer learning: Adaptpose [^88]
in VideosSolving Single-frame Limitation• VideoPose3D [^89]\n• PoseFormer [^90]\n• UniPose+ [^91]\n• MHFormer [^92]\n• MixSTE [^93]\n• Honari et al. [^94]\n• HSTFormer [^95]\n• STCFformer [^96]
Solving Real-time Problems• Temporally sparse sampling: Einfah et al. [^21]\n• Spatio-temporal sparse sampling: MioSynthFormer [^97]
Solving Body Structure Understanding• Motion loss: Wang et al. [^98]\n• Human-joint affinity: DG-Net [^99]\n• Anatomy-aware: Chen et al. [^100]\n• Part aware attention: Xue et al. [^101]
Solving Occlusion Problems• Optical-flow consistency constraint: Cheng et al. [^102]\n• Multi-view: MTF-Transformer [^32]
Solving Data Lacking• Unsupervised learning: Yu et al. [^103]\n• Weakly-supervised learning: Chen et al. [^104]\n• Sens-supervised learning: MCSS [^105]\n• Self-supervised learning: Kundu et al. [^106], P-STMO [^107]\n• Meta-learning: Cho et al. [^97]\n• Data augmentation: PoseAvg [^108]; Zhang et al. [^109]
Multi-personTop-downSolving Real-time Problems• Multi-view: Chen et al. [^110]\n• Whole body: AlphaPose [^111]
Solving Representation Limitation• VoxTrack [^2]
Solving Occlusion Problems• Wu et al. [^112]
Solving Data Lacking• Single-shot: PandaNet [^52]\n• Optical-aware: Moon et al. [^113]
Bottom-upSolving Real-time Problems• Fahlet et al. [^114]
Solving Supervisory Limitation• HMOR [^115]
Solving Data Lacking• Single-shot: SMAP [^116], Benzine et al. [^117]
Solving Occlusion Problems• Melta et al. [^118]\n• LCR-Net++ [^119]
OthersSingle Stage• Jiu et al. [^120]
Top-down + Bottom-up• Cheng et al. [^121]
##### 4.1.1. 图像中的单人三维姿态估计 解决深度歧义问题。如图5(a)所示，不同的三维姿态坐标投影到二维图像可能得到相同结果，从而产生了一个不适定问题。该问题可以利用光的传播特性和相机成像原理解决。为了解决这个不适定问题，魏等人[^63]提出了一个视角不变框架，缓解视角多样性带来的影响。在该提出的框架中，视角不变分层校正网络（VI-HC）通过视角一致性约束预测三维姿态的优化结果。此外，在基础网络生成初始估计后，视角不变判别网络实现了高层约束。基于射线的三维绝对估计方法（Ray3D）[^64]可以将输入从像素空间转换为三维归一化射线。解决该问题的另一种有效方法是学习更合适的特征表示。基于部件中心的热图三元组（HEMlets）框架[^65]利用三个联合热图表示末端关节的相对深度信息，弥合了两种方法之间的差距。 --- ![Image](images/68e0d654856e0dffacbeb547981f6caae081da09277d14ffe591c74591581dac.jpg)
(a) The direct estimation method
![Image](images/a2fbaba7a421ef1f545546056e8cd47ee4b7bde0e7b8160805e8d43af64de385.jpg)
(b) The 2D to 3D lifting method
Figure 4: Typical single person 3D human pose estimation. (a) The direct estimation method; (b) The 2D to 3D lifting method.
二维位置与三维人体姿态之间。 ![Image](images/fd28c02141413bfea0a389b7c6f59c5c7f3af75a67de5f9b373f015f5ce1296a.jpg)
(a) Depth ambiguity
![Image](images/f73fd1439380c6f4de0d9eed5ec6ffa091f2bbd07940bd5870cbadbea47594ff.jpg)
(b) Graph-based tion
![Image](images/a7e1316abf8a18a3f5a67d78b95c5a0a60bf8f1fe24ffa322ce78a4ff6224f24.jpg)
representa-
![Image](images/cc19ab1cb942f36fcf91abd0554b7a67e9c4d43236c7b960c79a824e6e617f74.jpg)
(c) Transfer learning
Figure 5: (a) Depth ambiguity; (b) Graph-based representation for human body; (c) Transfer learning.
解决身体结构理解问题。与其他计算机视觉任务不同，人体独特的结构可以提供约束或先验信息，提升姿态估计性能。在关节关系感知网络（JRAN）[^66]中，研究人员设计了双注意力模块，生成全局特征和局部特征的注意力块权重。肢体姿态感知网络[^67]利用运动学约束和轨迹信息，防止误差沿人体结构累积。[^68]中的姿态文法学习了二维-三维映射函数，能够将输入的二维姿态转换到三维空间，并且将人体结构的三个方面（运动学、对称性、运动协调性）整合到双向循环神经网络（RNN）中。基于方向关键点的方法[^69]使用虚拟标记生成足够信息，通过简单后处理即可准确推断旋转。 图神经网络（GNN）是定义在图数据结构上的卷积网络。普通神经网络很难处理图结构数据，例如人体结构信息。然而，如图5(b)所示，使用基于图的学习方法可以更轻松应对这一挑战。刘等人[^70]提出了一种特征增强网络，特征由卷积层学习，并通过图卷积LSTM（Graphical ConvLSTM）进行增强，以感知不同身体部位之间的图结构长短期依赖关系。局部连接网络（LCN）[^71]利 --- 该方法为不同关节分配专用滤波器，而非让不同关节共享滤波器。调制图卷积网络（Modulated-GCN）[^72]分别引入权重调制和亲和调制，用于学习不同人体关节的调制向量、调整图结构。曾等人[^73]设计了一种骨架GNN学习框架，解决三维人体姿态估计中的深度歧义性与自遮挡问题。在该框架中，所提出的跳感知层次压缩通道融合层用于从相邻节点提取相关信息。高阶正则分裂图网络（RS-Net）[^59]利用多跳邻域捕捉人体关节之间的长程依赖关系，为不同人体关节学习独立的调制向量，并将调制矩阵添加到对应的骨架邻接矩阵中。翟等人[^74]利用注意力机制进行组内关节细化，挖掘潜在的关节协同效应，探索关节之间的潜在协同关系。 解决遮挡问题。人体的部分遮挡，包括自遮挡和其他遮挡（如物体遮挡、多人遮挡），是各类场景中十分常见的情况。遮挡会干扰姿态估计过程，可能导致预测出错误姿态。通过多视角方法解决遮挡问题十分有效，在多视角系统中，一个视角无法观测到的被遮挡姿态，通常可以在其他视角中被观测到。因此，基于多视角的方法可以通过跨视角帧推理得到更可靠的结果。实际研究中，Iskakov等人[^75]结合代数三角测量和体积三角测量，实现从多视角二维图像中估计三维姿态。前者基于带置信权重的可微代数三角测量，后者则利用来自中间二维骨干特征图的体积聚合。多视角几何先验已被融入[^76]，该方法分为两个步骤：首先通过跨视角融合预测多视角RGB图像中的二维姿态，其次利用所提出的递归图画结构模型（RPSM）从预先预测的多视角二维姿态中恢复三维姿态。为了提升多视角三维姿态估计的实时性能，Remelli等人[^77]设计了带有可微直接线性变换（DLT）层的轻量级框架。自适应多视角融合[^78]通过确定遮挡视角和可见视角的点对应关系，增强遮挡视角的特征。为了解决多视角估计的泛化性问题，Bartol等人[^79]提出了用于姿态三角测量的随机学习框架。Luvizon等人[^80]有效整合二维标注数据和三维姿态，设计了一致性感知方法，该方法通过来自内参数缩放因子的不同相干估计，优化未标定图像的多视角姿态。嵌入在三维姿态估计框架中的概率三角测量模块[^31]可以将多视角方法扩展到未标定场景，它使用概率分布对相机姿态建模，并从二维特征迭代更新相机姿态，取代了传统的相机姿态更新方式，消除了对相机标定的依赖。 解决数据匮乏问题。近年来，多样化且高效的特征表示，加上端到端训练模式的发展，已sig- --- 大幅提升了深度学习模型在3D人体姿态估计中的准确率。然而，这类模型的一个显著局限是依赖全监督训练，需要大量成本高昂、耗费人力的标注3D数据，且这类数据大多来自室内场景。要解决这一挑战，需要探索全监督学习之外的替代训练策略，例如无监督、半监督和小样本学习方法。 无监督学习通常侧重于从未标注训练数据中学习特征而非特定任务，通过挖掘数据的内在特征来挖掘样本之间的关联。第一项相关研究[^81]可以通过对抗学习在不使用任何3D数据集的情况下预测3D人体姿态，该方法基于生成对抗网络进行无监督训练。该方法[^82]利用几何自监督，在训练过程中从恢复得到的3D骨架随机重投影得到不同相机视角下的2D姿态，从而在“提升-重投影-提升”流程中形成自一致性损失。Elepose[^83]利用随机投影，通过归一化流在线性子空间的2D姿态上估计似然。此外，Elepose还学习相机角度的分布，以降低训练过程对训练数据集中相机旋转先验的依赖。 自监督学习是无监督学习的一个分支，模型可以从未标注训练数据中自主学习，并通过前置任务在未标注数据上得到表征模型。在实际应用中，EpipolarPose[^84]无需任何3D真值数据或相机外参即可训练3D姿态估计器，它从多视图图像预测2D姿态，再通过对极几何得到3D姿态和相机几何结构。Wang等人[^85]针对3D人体姿态估计设计了一种简单有效的自监督校正机制，通过学习人体姿态的所有内在结构完成任务，整个机制分为两部分：2D到3D的姿态转换和3D到2D的姿态投影。MRP-Net[^86]将自监督3D人体姿态估计重新表述为无监督域自适应问题，包含无模型的关节定位和基于模型的参数回归。为了降低对指导学习的一致性损失的依赖，与以往研究不同，该方法[^58]通过提出的自增强双循环学习框架生成2D-3D姿态对来增强监督信号。 弱监督模型的特点是仅依赖弱标签，通常面临的挑战是需要在有限或不精确的引导下完成复杂任务。尽管缺乏全监督场景下通常所需的详细标注，这类模型仍能提取有价值的信息，利用模糊或信息密度较低的标签来推断数据内部复杂的模式和关联。这种在极少监督下正常运行的能力，使得它们在获取完整标注数据不现实或成本过高的场景中尤为实用。在实际应用中，Hua等人[^87]提出了一种弱监督方法，该方法首先通过三角测量将两个视图下的2D关键点提升为粗粒度3D姿态，再利用空间配置和跨视图相关性对3D姿态进行优化。Yang等人[^47]设计了一种弱监督框架，仅利用投影关系从 --- 已知相机参数条件下的2D姿态标注中估计3D姿态。 迁移学习能够将模型参数从源域迁移到目标域，实现已训练模型参数向新模型的共享，如图5(c)所示。该方法能够提升训练速度、优化效率，无需像大多数网络的常规训练方式那样从头开始学习。例如，Adaptpose [^88]是一个端到端的跨数据集适配三维人体姿态估计预测器，针对数据有限的应用场景，它借助迁移学习实现。 ##### 4.1.2. 视频中的单人三维人体姿态估计 随着硬件技术的发展，图像数据通常以视频形式采集和处理。与单帧图像相比，视频帧数据能够提供更连续的信息，可通过时空域完成人体姿态估计的序列预测。此外，还可以从视频中提取光流和场景流信息，结合多模态[^122] [^60]数据预测三维人体姿态。 解决单帧方法的局限性。利用视频中的连续图像帧可以捕捉动态变化和时序信息。通过分析这些信息，深度学习模型能够提取运动特征和时空关联，从而有效提升三维人体姿态估计的效果。Pavllo等人[^89]提出了一种面向视频的三维人体姿态估计方法，该方法利用空洞卷积在二维关键点轨迹上提取时序线索，随后设计了一种结合反投影的半监督方法来提升性能。PoseFormer [^90]是一个基于时空Transformer的框架，它通过分析每一帧内的人体关节关系以及跨帧的时间相关性来预测三维人体姿态。在已有研究[^123]的基础上，unipose+ [^91]利用多尺度特征表示增强了框架骨干网络中的特征提取器。该框架利用跨尺度上下文信息和结合高斯热图调制的关节定位来提高解码器的估计精度。 此外，多假设Transformer（MHFformer）[^92]在三阶段框架中学习带有多个合理姿态假设的时空表示。在混合时空编码器（MixSTE）框架[^93]中，时序Transformer模块学习每个关节的时序运动以及关节间的空间关联。Honari等人[^94]提出了一种无监督特征提取方法，利用对比自监督（CSS）学习从视频中提取时序信息。在该研究方向的基础上拓展，分层时空Transformer（HSTFormer）[^95]同时利用不同层级关节的时空关联，是首个研究带多级融合的分层Transformer编码器的工作。近年来，时空交叉（STC）注意力模块[^96]将关联学习分解到空间和时间维度，降低了关节间亲和矩阵的计算成本。 解决实时性问题。然而，尽管各类方法提升了三维姿态估计的性能，它们也给基于视频的估计带来了新的问题和挑战。例如，连续的视频帧增加 --- 会产生可观的计算成本，这对系统的处理效率提出了挑战，也加大了实时处理的难度。为了降低整体计算复杂度，Einfalt等人[^21]设计了一种基于Transformer的方案，通过在Transformer块内进行时间上采样，从时间稀疏的2D姿态序列中提升得到稠密3D姿态。Sun等人[^97]通过时空稀疏采样降低了Transformer中注意力计算的复杂度，使得在计算资源受限的平台上也能完成视频序列中3D人体姿态的估计。 解决人体结构理解问题。同时，视频提供的连续运动信息促使研究人员将视频与人体运动学结合起来。Wang等人[^98]设计了一种运动损失函数，用于计算预测关键点轨迹与真值关键点轨迹的运动模式差异，同时还提出了运动编码，这是一种简单有效的关键点运动表示方法，适用于视频中的3D人体姿态估计。动态图网络（Dynamical Graph Network, DG-Net）[^99]通过视频中的时空关节关系动态确定人体关节的亲和性，并自适应预测人体姿态。为了解决直接回归3D关节坐标存在的缺陷，Chen等人[^100]提出了一种解剖学感知的估计框架。这个基于人体骨骼解剖学的框架包含骨骼方向预测网络和骨骼长度预测网络，它能有效利用骨骼特征弥合2D关键点与3D关节之间的差距。Xue等人[^101]设计了一个部件感知的时间注意力模块，能够分别提取每个部件的时间依赖关系。 解决遮挡问题。为了解决遮挡问题，基于视频的3D人体姿态估计可以采用多视角方法，并利用视频帧之间输入的连续性来预测被遮挡的身体部位。Cheng等人[^102]提出了一种遮挡感知模型，该模型利用估计得到的关键点2D置信度热图和光流一致性约束，在遮挡场景中生成更完整的3D姿态。此外，多视角时间融合Transformer（Multi-view and Temporal Fusing Transformer, MTF-Transformer）[^32]在未标定场景中融合多视角序列，实现视频中的3D人体姿态估计。为了降低对相机标定的依赖，该框架通过相对注意力机制推断视角对之间的关系。 解决数据稀缺问题。人类动作本身具有连续性，因此基于视频的姿态估计对于提升理解能力至关重要。与带3D标注的静态图像相比，高质量的带标注3D视频相对稀缺。然而，互联网上存有大量未标注的视频数据，将这些数据用于学习具有重要意义。因此，研究基于视频的3D人体姿态估计以缓解对数据的依赖十分必要。实践中，Yu等人[^103]将无监督3D姿态估计过程分为两个子任务：尺度估计模块和姿态提升模块。尺度估计模块优化输入的2D姿态，而姿态提升模块将优化后的2D姿态映射为对应的3D姿态。在弱监督方法方面，Chen等人[^104]提出了一种弱监督方法，采用了视图合成框架和几何感知表示。在该框架中，方法利用2D关键点进行监督。 --- 通过将人体姿态从一个视角合成到另一个视角，学习不同视角间共享的三维表示。半监督学习仅使用部分标注数据，由大量未标注数据和少量标注数据组成。在此研究背景下，Mitra等人[^105]提出了一种多视图一致性半监督方法，能够从无标注、无标定但同步的多视角视频中回归三维人体姿态。在自监督方法中，Kundu等人[^106]利用人体骨架的先验知识，通过部件引导的人体图像合成解耦出变异的固有因素。类似地，Shan等人[^107]在空间和时间域对人体关节进行随机掩码，以便更好地捕捉空间和时间依赖关系。元学习（又称“学会学习”）是算法基于经验优化自身学习策略的过程。该方法需要在多种学习任务上训练模型，使模型能够利用更少数据样本更高效地学习新任务。Cho等人[^57]提出了一种用于三维人体姿态估计的基于优化的元学习算法。该算法可以在模型训练过程中，从无畸变二维关键点生成合成畸变数据，从而适应任意相机畸变。除了改变学习监督方式，数据增强也是增加数据量、提升模型泛化性能的实用方法。PoseAug [^108]在判别模块控制增强姿态可行性的前提下，调整姿态、体型、视角等几何因子用于模型学习。Zhang等人[^109]在线生成更多样、更具挑战性的姿态。 #### 4.2 多人三维人体姿态估计 如图6所示，多人三维人体姿态估计主要可分为两大类：自下而上方法（估计+关联）和自上而下方法（检测+估计）。自上而下方法采用两阶段流程，首先检测输入图像中的所有人物，再在检测得到的边界框中提取每个人的关键点。自下而上方法则先在单阶段内检测所有关键点，随后将这些关键点关联到对应的人物。例如，Cheng等人[^121]在多人姿态估计中融合了自上而下和自下而上两种方法，互补彼此的缺陷。自上而下方法对潜在的错误边界框具有鲁棒性，而自下而上网络在处理尺度变化时鲁棒性更强。最终，从自上而下网络和自下而上网络得到的三维估计姿态会被输入一个集成网络，得到最终的三维姿态。还有一些单阶段方法以及融合上述两种方法的方案。不同于主流的多人三维人体姿态估计两阶段方案，Jin等人[^120]提出了一种单阶段方法。该方法通过提出的解耦表示，表达图像平面中的二维姿态和三维人体实例的深度信息，并通过提取二维姿态特征、实现深度回归来预测实例的尺度信息。 --- ![Image](images/ad57962269fd125fb4296600db007c9f1804c957deb381887b7e3e80f46e603d.jpg)
Figure 6: Typical multi-person 3D pose estimation.
##### 4.2.1. 自上而下方法 在自顶向下方法中，AlphaPose [^111] 可预测包含面部、身体、手部和足部的全身多人三维人体姿态。在本文提出的框架中，对称积分关键点回归模块实现了快速精准的定位，参数化姿态非极大值抑制模块有助于消除冗余的人体检测结果，姿态感知身份嵌入模块支持联合姿态估计与跟踪。为了提升多人三维姿态估计的实时性能，Chen 等人 [^110] 提出了一种可实时处理视频的多视图时间一致性方法，该方法直接在三维空间中将二维输入与三维姿态匹配，在12相机设置下可达到150 FPS（每秒帧数）以上的帧率，在28相机设置下可达到34 FPS。此外，选择合适的表示方法能够有效提升多人姿态估计的效果。例如，Zhang 等人 [^2] 采用体素表示来预测多人三维姿态与跟踪，所提出的体素表示可以判断每个体素是否包含特定人体关节。在多人场景中，遮挡问题通常比单人体场景更严重、更复杂。为应对这一挑战，Wu 等人 [^112] 利用图神经网络提升多人多视图三维人体姿态估计的信息传递效率。多视图匹配图模块在网络内关联粗略的跨视图姿态，中心细化图模块进一步对结果进行优化。单次学习使用的训练数据远少于常规监督学习所需的数据量，目标是提升模型效果。作为一种基于锚框的模型，PandaNet [^52] 引入了姿态感知锚框选择策略来剔除模糊锚框。Moon 等人 [^113] 提出了一种自顶向下、感知相机距离的多人三维姿态估计方法，该方法不依赖真值信息。 ##### 4.2.2. 自底向上方法 MubyNet [^124] 是典型的用于多人三维姿态估计的自底向上多任务方法，该方法支持对所有组件参数进行训练。在轻量型自顶向下框架的研究中，Fabbri 等人 [^114] 利用高分辨率体积热图提升估计性能，还设计了一种可压缩表示尺寸的体积热图自编码器。设计更优的监督方法同样有效，Wang 等人 [^115] 提出了一种名为分层多人序数关系（Hierarchical Multi-person Ordinal Relations, HMOR）的新型监督方法，该方法使用单目相机并 --- 设计了一个全面的顶层模型来学习这些序数关系，通过由粗到细的架构提升了人体深度估计的准确率。在单次学习的自上而下估计研究中，Mehta等人[^118]在其提出的单次框架中，借助抗遮挡姿态图推断出强部分遮挡条件下的全身姿态。Zhen等人[^116]设计了一种单次、自下而上的框架，通过利用整幅图像中的深度相关线索估计多人的绝对位置。在他们此前的工作[^52]基础上，Benzine等人[^117]提出了一种单次3D人体姿态估计方法，无需边界框即可预测多人3D姿态。该方法将Stacked Hourglass Network [^125]扩展到可处理多人场景。为了解决遮挡问题，LCRNet++ [^119]整合相邻姿态假设，在人物被部分遮挡或被图像边界截断时，无需近似初始人体定位即可预测多人2D和3D姿态。 #### 4.3. 3D姿态估计总结 单人3D人体姿态估计的研究主要聚焦于上述部分关键问题。尽管该领域已经涌现出许多值得肯定的研究成果，但相关挑战尚未得到完全解决，仍需更全面的深入研究。与基于图像的方法相比，基于视频的方法无疑被认为是未来发展的方向。多人3D人体姿态估计采用的方法必须根据具体场景调整。当前主流技术可分为两大类方法，每一类都存在固有局限性：自上而下方法严重依赖人体检测，易受检测误差影响，通常会导致多人环境下的姿态估计结果不可靠；反之，自下而上方法独立于人体检测，因此不受检测误差的影响，但这类方法难以同时准确处理场景中的所有人物，对小尺度人物检测的影响尤为明显。与计算机视觉的其他领域一致，单阶段端到端方法是该领域未来的发展方向。 ### 5. 3D人体网格恢复 人体网格恢复根据其表示模型可分为两类：基于模板（参数化）方法和无模板（非参数化）方法，如图7所示。基于模板的人体网格恢复通过估计模型参数来重建预定义模型（例如SCAPE [^34]、SMPL [^35]）。相比之下，无模板人体网格恢复无需依赖预定义模型，可直接从输入数据预测3D人体。借助模板的先验知识，参数化方法比非参数化方法的鲁棒性更强，但即使扩展了更多参数（如SMPL+H [^36]和SMPL+X [^61]），其灵活性和细节表现力仍存在固有局限。人体网格恢复是人体数字化的关键技术，在计算机视觉领域是一项重大挑战。 --- 和计算机图形学领域带来了重大挑战，这源于几何纹理和颜色变化的复杂性。此外，人体网格恢复面临着与3D姿态估计类似的挑战，包括环境干扰、多人场景和遮挡问题。本节我们将围绕上述分类和挑战介绍主流方法，并在表2中提供全面总结。 ![Image](images/7ded6ba48c748707c31049dce90ec1bca5af391986c4fc07895f7a03cdf7b791.jpg)
(a) Template based human mesh recovery
![Image](images/5f02c152781bb43a1c96cac7d308c8c5723bcca78c03f11aa1b79130fbe67499.jpg)
(b) Template-free human mesh recovery
Figure 7: Typical human mesh recovery. (a) Template based human mesh recovery method; (b) Template-free human mesh recovery method.
#### 5.1. 基于模板的人体网格恢复 ##### 5.1.1. 裸体人体重建 多模态方法。人体网格重建中的多模态技术通过结合RGB图像、深度信息、光流等多种模态的数据发挥优势。融合不同模态的数据可以显著提升网格重建的鲁棒性与精度。为了降低标注成本，Rong等人 [^126]提出了一种面向人体网格重建的混合标注方法与混合训练策略，该方法有效利用了各类异质标注，包括3D标注、2D标注、身体部位分割和密集对应。人体姿态与形状估计的深度双流视频推理方法（DTS-VIBE）[^127]将该任务重新定义为多模态问题，融合RGB数据与光流，实现了更可靠的估计，解决了RGB视频存在的时间不一致问题。LASOR [^128]在存在人际遮挡的场景中，通过合成感知遮挡的轮廓与2D关键点数据来估计三维姿态和形状。CLIFF [^129]将预训练阶段得到的裁剪图像和边界框信息作为输入，提升了相机坐标系下全局旋转估计的准确率。 利用注意力机制。Transformer [^212]作为一种自注意力模型，已经在自然语言处理（NLP）领域取得了显著的成功[^213] [^214]。在此之后，视觉Transformer（ViT）[^46]也在计算机视觉领域取得了同等成功[^45] [^215]，目前大量基于Transformer的方法被应用于网格重建任务中。注意力机制的作用是放大神经网络中特定部分的重要性。为了解决部分遮挡问题，部位注意力回归器（PARE）[^130]利用从 ---
Table 2: Overview of human mesh recovery.
Main ideasMethods
Template-basedNaked• Hybrid annotation: Box et al. [^120]
• Optical flow: DTS-VIII [^127]
• Silentness: LASOR [^128]
• Cropped image and bounding box: CLIFF [^129]
• Star-driven attention: PAIR [^130]
• Graph-attention: Meis Geomphzer [^131]
• Spatio-temporal attention: MPS-Net [^132], PSVT [^133]
• Efficient architecture: FaxMETRO [^134], Xar et al. [^135]
• End-of-stream structure: METRO [^136]
• Temporarily encoding features: Kansinema et al. [^137]
• Self-attention temporal: VIBE [^138]
• Temprually consistent: TCMR [^139]
• Multi-level spatial-temporal attention: MAED [^140]
• Temporally embedded low stream: TaPoe [^141]
• Short-term and long-term temporal correlations: GLoT [^142]
• Confidence-aware majority voting mechanism: Dong et al. [^143]
• Probabilistic-based multi-view: Seoptepa et al. [^144]
• Dynamic physics-geometry consistency: Huang et al. [^30]
• Cross-view basis: Zhas et al. [^145]
Boosting Efficiency• Spase-constrained formulation: SCOPE [^146]
• Single-stage trade: BDP [^147]
• Precise heatmap input: HaER [^148]
• Removing redundant tolerance: TORE [^149]
Developing Variance Representations• Texture map: TexturePoint [^150]
• CT map: Zhang et al. [^151], DeoMR [^152], Zhang et al. [^153]
• Heat map: Sun et al. [^154], 3DCD/CoreNet [^155]
• Uniform representation: DSTormer [^156]
Utilizing Structural Information• Part-based: Inteport [^157]
• Stableness dissimulating: Sun et al. [^158]
• Hybrid inverse linearities: HyBiK [^159], NKI [^160]
• Uncertainty: Umar et al. [^161]
• Kinematic time structure: Seoptepa et al. [^162]
• Kinematic chain: SGHE [^163]
• Self-improving: SPEN [^164], RaFu [^165], Viu et al. [^5]
Choosing Appropriate Learning Strategies• Novel issues: Zandri et al. [^68], Jiang et al. [^58]
• Comprised learning: Madhali et al. [^167], Ye et al. [^60]
• Bivioral error adaptation: Zhas et al. [^168]
• Single-shot: Pae2UV [^169]
• Contrastive learning: JOTR [^170]
• Density adaptation: Sun et al. [^171]
DetailedWith Clothes• Alllock et al. [^172]
• Multi-Garnment Network (MGN) [^173]
• Texture map: Teo2Shape [^174]
• Layered general representation: BCNet [^175]
• Temporal space: H4D [^176]
With Hands• Linguistic prior: SGNIy [^177]
• Two-handle interaction: [^178]
• Base-object interaction: [^179]
Whole Body• PBOX [^179]
• ExPoint [^180]
• FreeMaskUp [^181]
• POXIE [^182]
• Moon et al. [^183]
• PyMAF [^184]
• OVS [^185]
• HyBrkX [^186]
Template-freeRegression-based• FACSMILE [^187], PooLHonn [^188], GTA [^189], NSF [^190]
Optimization-based Differentiable• DFFPs [^191], AGSD [^192]
Implicit Representations• VIFs [^192], PHAD [^193]
• Numerical space: ABCH [^195], ABCHI++ [^196], CAB [^197]
• Geometric price: GeoPFPs [^198]
• Novel representation: Peng et al. [^199], XINHF [^200]
Neural Radiance Fields• Volume differentiation scheme [^201]
• Actor-NoRF [^51]
Diffusion Models• HMD [^202]
Impulse + Exploit• HMD [^203], IP-Net [^204], PaLM [^42], Zhu et al. [^205], ECON [^206], ECON [^207], DELTA [^10], GETA/index [^208]
Diffusion + Exploit• IDAD [^209]
NoRF + Explicit• Transformer [^210]
Gaussian Splitting + Explicit• Animated 3D Gaussian [^211]
分割掩码得到的身体部位间关系，引导网络提升对被遮挡身体部位的预测效果。Mesh Graphormer [^131]使用经图卷积神经网络（GCNN）增强的Transformer估计三维网格顶点和身体关节，同时利用GCNN基于现有网格拓扑推断相邻顶点之间的相互作用。该架构有效将图网络与Transformer的注意力机制融合，能够对局部和全局交互进行建模。MPS-Net [^132]使用运动连续性注意力捕捉时间一致性，随后利用分层注意力特征机制更高效地融合时间相邻表征的特征。FastMETRO [^134]基于人体三角网格的拓扑结构，对不相邻顶点使用自注意力机制，以此减少内存开销并提升推理速度。Xue等人 [^135]提出了一种面向人体网格重建的可学习采样模块，以降低固有深度歧 --- 义。该模块通过生成关节自适应令牌聚合全局信息，充分利用输入图像中的非局部信息。METRO [^136]是一种用于端到端人体网格重建的网格Transformer，其编码器捕捉顶点与关节之间的交互，解码器输出三维关节坐标和网格结构。Qiu等人 [^133]提出了一种基于Transformer的端到端视频多人人体网格重建方法。该方法利用时空编码器提取全局特征，再通过时空姿态形状解码器预测人体姿态和网格。 利用时序信息。随着视频技术的发展，从相邻帧提取时序信息的基于视频的人体网格重建方法已展现出更大的研究潜力。为了更准确有效地学习人体三维动态，Kanazawa等人[^137]提出了一个从视频生成平滑三维网格的框架，该框架还通过对图像特征进行时序编码来预测过去和未来的三维运动。人体姿态与形状估计视频推理（VIBE）[^138]通过基于自注意力机制的时序网络和对抗训练估计运动学合理的运动序列，整个过程不需要任何真值三维标签。为了降低对当前帧静态特征的依赖，解决以往基于时序方法存在的局限，Choi等人[^139]开发了时序一致性网格重建（TCMR）系统。该系统利用时序信息保证一致性，通过融合过去帧和未来帧的数据，有效恢复平滑的三维人体运动。多级注意力编解码器（MAED）网络[^140]通过其多级注意力机制，捕获时空层级、人体关节层级等多个层级的关联关系。Wang等人[^141]提出了专门适配直播视频的时序嵌入三维人体姿态与形状估计（TePose）方法。他们通过多尺度时空图卷积网络设计了用于对抗训练的运动判别器，可使用不包含任何三维标签的数据集完成训练；此外还采用了顺序数据加载策略，满足直播流式传输从头到尾的独特数据处理需求。为了有效平衡短期和长期时序关联的学习，全局到局部Transformer（GLoT）[^142]从结构上将长期关联和短期关联的建模解耦。 多视图方法。Dong等人[^143]设计了一个实用的多视图框架，采用置信度感知多数投票机制，将多视图图像的二维观测整合为单个实例的统一三维表示。Sengupta等人[^144]提出了一种基于概率的多视图方法，该方法不对图像序列施加特定目标姿态、视角或背景条件等约束。Huang等人[^33]提出了一种用于多人多视图网格重建的动态物理-几何一致性方法，该方法整合了运动先验、相机外参和人体网格数据，降低了噪声人体语义数据带来的影响。Zhuo等人[^145]提出了一种跨视图融合方法，该方法通过获得更精细的三维中间表示并缓解 --- 不同视图之间的不一致性。 提升效率。使用轻量模型和低计算成本维持优异性能既十分关键也充满挑战，在可穿戴设备、功率受限系统和边缘计算这类应用中尤其如此。SCOPE [^146]利用二维和三维关键点，为人体网格重建高效计算高斯-牛顿方向。该方法利用固有稀疏性，采用稀疏约束公式，实现了超过30 FPS的实时性能。为实现单阶段多个人体网格重建模型，人体网格即点（Body Meshes as Points, BMP） [^147]将多个人物表示为点，每个点关联一个人体网格，大幅提升了效率与性能。HeatER [^148]直接处理热图输入，降低了内存与计算成本。Dou等人 [^149]设计了一种用于人体网格重建的高效Transformer，通过移除冗余令牌降低了模型复杂度与计算成本。 开发多样化表征。稳定有效的特征表征对于提升人体网格重建领域深度学习算法的能力至关重要，因为它能从复杂输入数据中高效提取有意义的模式。基于帧间图像纹理保持不变的假设，TexturePose [^150]利用人体在不同帧间的外观恒定性，通过纹理一致性损失计算每一帧的纹理图。DenseRaC [^216]生成像素到表面的对应图，优化参数化人体姿态与形状的估计。Zhang等人 [^151]利用身体部位的密集对应关系建立了二维像素与三维顶点之间的联系，有效解决了相关问题。他们提出的DaNet模型专注于学习二维到三维的映射，而PartDrop策略确保模型更多关注互补身体部位和相邻位置特征。为解决图像特征与三维网格之间缺乏密集对应的问题，DecoMR [^152]通过在UV空间建立像素到表面的密集对应图来重建人体网格。Zhang等人 [^153]设计了一种双分支网络，在人体被物体遮挡时利用局部UV图表示人体，有效地将该图转换为三维人体形状的估计。Sun等人 [^154]提出了一种人体中心引导的表征方法，可同时预测人体中心热图和网格参数图。该方法在像素层面描述三维人体网格，支持单阶段多人体三维网格回归。3DCrowdNet [^155]采用基于关节的回归器分离目标特征，用于拥挤场景下的多人体网格重建，该方法利用对拥挤场景鲁棒的图像特征热图，而非 bounding box 内的完整特征图。双流时空Transformer（Dual-stream Spatio-temporal Transformer, DSTformer） [^156]提取骨骼关节之间的长距离时空关系，可从大规模异构视频数据中有效捕捉统一的人体运动表征，用于人体网格重建这类以人为中心的任务。 利用结构信息。人体的结构信息是人体网格重建中的独特先验知识，能够提升 --- 对身体关系的理解。此外，引入描述各类身体结构之间相互关系的额外物理约束，能够显著提升模型性能。Holopose [^157]采用基于部件的多任务回归网络处理2D、3D和密集姿态，实现3D人体表面估计。Sun等人 [^158]提出了一种从单张图像和单目视频中恢复人体网格的端到端方法。该方法利用骨骼解缠降低解耦的复杂度，同时融入时间一致性，可高效捕捉短期和长期时间线索。混合逆运动学（Hybrid Inverse Kinematics, HybrIK） [^159]通过扭摆分解从3D关节计算摆角旋转，并使用网络预测扭转旋转。该方法能够解决从3D姿态估计网格过程中的非线性挑战，以及图像与模型之间的不对齐问题。Li等人 [^160]在后续工作中设计了NIKI，这是一种可利用可逆网络从正向和反向过程中学习的模型。为了解决非线性映射和关节位置漂移问题，Lee等人 [^161]提出了一种不确定性感知的人体网格恢复方法，利用2D姿态的信息解决2D任务中固有的歧义性。Sengupta等人 [^162]提出了一种概率方法来规避该不适定问题，该方法将人体的运动学树结构与SMPL参数的高斯分布相结合，随后预测3D关节旋转矩阵的分层矩阵-费希尔分布。SGRE [^163]直接估计关节的全局旋转矩阵，避免人体网格恢复过程中运动学链上的误差累积。 选择合适的学习策略。SPIN [^164]通过自改进神经网络将初始估计优化流程融入训练循环，可将人体网格估计结果拟合到2D关节上。Zanfir等人 [^48]开发了一种方法，将运动学潜在归一化流表示、动力学模型与结构化可微分语义身体部位对齐损失函数相结合，旨在提升半监督和自监督3D人体姿态与形状估计的效果。Jiang等人 [^166]针对单图像多人网格恢复提出了两种新型损失函数：一种是基于距离场的碰撞损失，用于惩罚重建人体之间的相互穿透；另一种是深度排序感知损失，用于处理遮挡问题并提升目标深度排序的准确性。Madadi等人 [^167]提出了一种无监督去噪自编码器网络，可利用稀疏运动捕捉数据有效恢复不可见地标。为了解决无监督人体网格恢复任务中的姿态失效和形状歧义挑战，Yu等人 [^50]设计了一种将任务解耦为无监督3D姿态估计并利用运动学先验知识的策略。双层在线自适应（Bilevel Online Adaptation, BOA） [^217]采用双层优化来协调域外流式视频人体网格恢复中2D约束与时间约束之间的冲突。作者在后续工作中提出的动态双层在线自适应（Dynamic Bilevel Online Adaptation, DBOA） [^168]融入了时间约束来弥补3D标注缺失的不足。Huang等人 [^169]开发了Pose2UV，这是一种单次拍摄人体网格恢复方法，能够利用深度UV先验提取遮挡情况下的目标特征。JOTR[^170]融合了2D和3D特征，并融入了针对 --- 基于Transformer对比学习框架的三维特征提取。ReFit [^165]通过反馈更新循环机制对关键点进行重投影，并优化人体模型。You等人[^5]提出了一种以三维姿态为中介的人体网格恢复协同进化方法。该方法将流程分为两个不同阶段：首先从视频中估计三维人体姿态，随后结合估计得到的三维姿态与时序图像特征，回归得到网格顶点。为缩小训练数据与测试数据之间的差距，CycleAdapt [^171]提出了一种包含网格重建网络和运动去噪网络的域自适应方法，实现了更有效的领域适配。 ##### 5.1.2 精细化人体恢复 基于模型的人体网格恢复已经取得了尚可的结果，但仍缺乏精细化的人体表达；如今，针对基础参数化裸体模型的扩展已经支持对各类身体部位和细节进行参数化描述，包括衣物[^175] [^39]、手部[^36]、面部[^37]和全身[^38]，相关内容已在2.2节讨论。 带衣物的人体恢复：Alldieck等人[^172]从单目视频的1至8帧中，估计出包含衣物和头发信息的SMPL模型参数。Bhatnagar等人[^173]开发了多衣物网络（MGN），用于在SMPL模型之上重建人体形状和衣物分层。Tex2Shape [^174]将人体网格回归问题转化为图像到图像的估计任务，具体而言，它预测可见区域的部分纹理图，随后重建人体形状，为可见区域和遮挡区域添加细节。BCNet [^175]在SMPL模型之上采用分层衣物表示，创新性地将衣物的蒙皮权重与人体网格解耦。Jiang等人[^39]提出了一种方法，利用时序跨度、形状和初始姿态的SMPL参数，以及编码运动和辅助信息的隐码，通过可见区域的纹理图，实现包含可见和遮挡部分在内的精细化人体形状恢复。 带手部的人体恢复：Forte等人[^176]提出了SGNify模型，可从手语视频中捕捉手部姿态、面部表情和身体动作。它利用语言先验和三维手部姿态约束，有效解决了孤立手语中的歧义问题。此外，TwoHands [^177]和手-对象关系[^178]可以有效重建手部细节。 全身人体恢复：为解决三维人体网格与三维场景之间的不一致问题，Hassan等人[^179]提出了一种名为带对象排除的邻近关系（PROX）的人体全身与场景联合恢复方法。表现力姿态形状回归（ExPose）框架[^180]采用人体驱动的注意力机制，通过回归方法实现整体表现力人体重建，缓解了基于优化方法中的局部最优问题。FrankMocap [^181]分别对面部、手部和身体独立进行三维网格恢复回归，随后通过集成模块合并输出结果。PIXIE [^182]利用SMPL-X的共享形状空间整合了来自身体、面部和手部的独立估计 --- 覆盖身体所有部位。Moon等人[^183]开发了一个用于全身人体网格恢复的端到端框架Hand4Whole，该框架利用三维关节旋转的关节特征来提升三维手部预测的准确性。Zhang等人[^184]改进了PyMAF框架[^218]，开发出PyMAF-X用于全身模型的精细重建。这一改进旨在通过采用特征金字塔方法、优化网格-图像对齐参数，解决基于回归的单阶段人体网格恢复方法中存在的错位问题。OSX [^185]采用了一种简单有效的组件感知Transformer，包含一个全局身体编码器和一个局部面部/手部解码器，无需为每个部位单独搭建网络。Li等人[^186]扩展了HybrIK [^159]框架，提出了HybrIK-X，这是一个基于混合分析-神经逆运动学框架的单阶段模型，能够恢复带有细节信息的完整全身网格。 #### 5.2. 无模板人体恢复 用于人体网格恢复的无模板方法（包括神经网络回归模型、基于可微分渲染的优化模型、隐式表示模型、神经辐射场（NeRF）和高斯溅射（Gaussian Splatting））相比基于模板的方法展现出更强的灵活性，能够呈现更丰富的细节。 ![Image](images/57ae50f2fd772f4601ec6ead0fb02e44bf4f2aefdc1da1b923a8b0ef5e88905b.jpg)
(a) NeRF
![Image](images/78c36fc1ef82a29f9d4744a95e9241060da5dc7686a3f59cf068186afbe3420a.jpg)
(b) 3D Guassian Splatting
Figure 8: (a) NeRF; (b) 3D Guassian Splatting.
基于回归的方法。基于回归的人体网格恢复规避了基于模板模型固有的局限与偏差，可直接输出无模板的人体三维模型。这种方法能够更动态灵活地生成模型，可捕捉更多样的人体形状与姿态。FACSIMILE（FAX）利用图像转换网络直接在原始图像分辨率下恢复几何结构，无需通过中间表示进行间接输出。Jinka等人[^188]针对存在自遮挡的场景提出了一种鲁棒的形状表示方法，该方法使用剥离后的RGB图和深度图对人体进行编码，显著提升了训练与推理过程的准确性和效率。神经表面场（Neural Surface Fields, NSF）[^190]为从单目深度恢复三维着装人体网格，在基础表面上构建了连续灵活的位移场模型。该方法可适配不同分辨率和拓扑结构的基础表面，推理过程无需重新训练。Zhang等人[^189]提出了用于着装化身重建的全局相关三维解耦Transformer（Global-correlated 3D-decoupling Transformer for clothed Avatar reconstruction, GTA），该模型采用一个 --- 编码器捕捉全局相关的图像特征，并使用解码器通过交叉注意力对三平面特征进行解耦。 基于优化的方法。基于优化的可微分渲染通过最小化渲染误差，将渲染过程整合到优化方法中。AG3D [^192]通过采用整体三维生成器，并以预测的二维法向图的形式整合几何线索，捕捉人体与宽松衣物的形状和形变。Gärtner等人[^191]设计了DiffPhy，这是一个基于可微分物理的模型，它结合了带有解剖学关节约束的物理可信人体表示，显著提升了人体恢复的性能和鲁棒性。 隐式表示方法。隐式表示不会直接表示对象的顶点、网格这类几何数据，而是通过函数定义空间中的点是否属于该对象。隐式表示的优势在于能够紧凑灵活地表示复杂形状，包括拓扑结构复杂或不连续的形状，因此在人体重建领域取得了出色的成果。Saito等人[^193]提出了像素对齐隐式函数（PIFu），这是一种将二维图像像素与三维对象对齐的隐式表示方法，还设计了端到端深度学习框架，可从单张图像推理出三维表面和纹理。PIFu首次将隐式表示应用于人体网格恢复，能够实现穿衣人体的几何细节重建。随后，PIFuHD [^194]将PIFu的工作扩展到4K分辨率图像，进一步提升了细节还原能力。Huang等人[^195]通过构建语义空间和语义变形场，设计了可动画穿衣人体重建（ARCH）方法。He等人[^196]提出了ARCH++，这是一个带有跨空间一致性约束的联合监督框架，可同时估计姿态空间和标准空间中的占有率，作者将基于隐式表示的人体网格恢复问题从姿态空间转换到标准空间进行处理。但该方法的局限性在于高度依赖精准的姿态估计，并且基于蒙皮权重的衣物表达在细节上仍不够自然。GeoPIFu [^198]使用结合几何先验的结构感知三维U-Net学习潜在体素特征。为了解决视图极度稀疏时表示学习的不适定问题，Peng等人[^199]开发了一种全新的人体表示方法，该方法假设不同帧学习到的神经表示共享锚定在可变形网格上的潜在编码。穿衣化身重建（CAR）方法[^197]采用基于学习的隐式模型，首先在标准空间生成总体形状，随后通过预测姿态空间中的非刚性优化变形来细化表面细节。三维感知神经人体拟合（3DNBF）[^200]使用高斯椭球核构建体积人体表示，解决了遮挡和二维-三维歧义性挑战。 神经辐射场。如图8(a)所示，神经辐射场[^219]基于隐式表示原理，利用神经网络学习场景的连续体积密度和颜色分布，能够生成任意视 --- 角。Gao等人[^201]采用了结合标准神经辐射场（NeRF）与体积变形方案的特殊表示方法，能够恢复训练过程中未见过的人体的新视角与新姿态。Mu等人[^51]提出了ActorsNeRF，这是一种基于NeRF的人体表示方法，通过两层标准空间的参数共享编码类别级先验，可从少量单目图像中恢复人体网格。 扩散模型。扩散模型基于一系列扩散过程构建，通过向原始数据添加随机噪声对其进行变换，再通过反向过程逐步去除该噪声，以此生成新数据。人体网格扩散（Human Mesh Diffusion, HMDiff）[^202]将网格恢复任务视作反向扩散过程，把输入特定的分布信息整合到扩散过程中，并引入先验知识简化任务。 结合显式参数的隐式表示。基于隐式表示的方法可以恢复自由形态的几何形状，但这类方法往往会过度依赖精准的姿态，或是针对新姿态或衣物生成效果不理想的形状。为提升这类场景下的鲁棒性，现有研究采用显式人体模型对隐式方法中的网格重建进行约束。研究者希望得到一种结合隐式方法与显式方法的方案，基于粗粒度人体网格的几何结构进行优化，精细生成细节丰富的人体模型。分层网格变形（Hierarchical Mesh Deformation, HMD）[^203]利用人体关节、轮廓和逐像素着色信息提供的约束，结合了参数化模型的鲁棒性与自由形式三维变形的灵活性。Bhatnagar等人[^204]提出了隐式部件网络（Implicit Part Network, IP-Net），用于预测细节化的人体表面，包括穿衣人体的三维表面、内部身体表面以及参数化人体模型。参数化模型条件隐式表示（Parametric Model-Conditioned Implicit Representation, PaMIR）[^42]将参数化人体模型与自由形式深度隐函数相结合，通过正则化提升模型泛化能力。Zhu等人[^205]采用了「投影-预测-变形」策略，利用关节、轮廓和着色信息的监督，优化人体恢复方法生成的SMPL模型。ICON [^206]利用SMPL模型生成稳定的粗粒度人体网格，随后渲染人体的正面和背面法线，这些法线可提供丰富的纹理细节，并与原始图像结合。最终，人体法线、穿衣人体法线和有符号距离函数（Signed Distance Function, SDF）信息被输入隐式多层感知器（MLP），得到最终结果。随后，Xiu等人提出了ECON [^207]，该方法整合了法线估计、法线积分和形状补全，在法线积分的优化方程中将SMPL-X深度用作软几何约束，力求在法线积分过程中保持与邻近表面的一致性。Feng等人[^10]提出了分解化身（Disentangled Avatars, DELTA），这是一种采用显式-隐式混合三维表示来表征人体的模型。GETAvatar [^208]可直接生成带纹理的显式三维人体网格。GETAvatar通过显式表面建模构建了可关节化的三维人体表征，利用三维扫描数据二维法线图得到的真实表面细节丰富表征，并使用基于光栅化的渲染器进行表面渲染。神经化身扩散修复（Diffusion Inpainting of Neural Avatars, DINAR）[^209]将神经纹理与SMPL-X --- 该方法基于人体模型，采用隐扩散模型恢复可见区域和不可见区域的纹理，再将这些纹理整合到基础SMPL-X网格上。TransHuman [^210]使用Transformer将SMPL模型投影到规范空间，并将每个输出token与一个可变形辐射场相关联。该场对观测空间中的查询点进行编码，可进一步用于整合参考图像中的细粒度信息。Gaussian Splatting [^220]是一种点云处理与渲染技术，它使用高斯函数为每个点创建影响范围，最终在二维图像中得到更平滑自然的表示，如图8(b)所示。该技术已经在同步定位与地图构建（Simultaneous Localization and Mapping, SLAM）[^221]、生成式人体建模[^222]、动态场景重建[^223]和多模态生成[^224]领域取得了不错的效果。基于Gaussian Splatting的重建需要初始点云输入，这给从图像输入恢复人体网格带来了挑战。不过，显式模型可以提供初始点，作为基础让从RGB输入通过Gaussian Splatting恢复人体网格成为可行方案。Animatable 3D Gaussian [^211]通过将3D高斯扩展到动态人体场景，从输入图像和姿态中学习人体化身。在该研究提出的框架中，他们在规范空间对一组蒙皮3D高斯和对应的骨架建模，再根据输入姿态将3D高斯变形到姿态空间。 #### 5.3. 人体网格恢复研究总结 本章对基于显式模型和隐式模型的人体网格恢复方法进行了全面综述。显式模型擅长鲁棒重建人体网格，但往往难以捕捉精细细节，因此催生了一系列扩展方法来提升细节精度。相比之下，基于隐式的人体网格恢复以灵活性和适应性著称，但通常稳定性不足。因此，已有不少研究探索将隐式模型与显式模型结合，协同发挥二者各自的优势。人体网格恢复中灵活性与鲁棒性的权衡是一个关键且长久的研究方向。 ### 6. 评估 #### 6.1. 评估指标 有多种评估指标可用于公平衡量深度模型在人体姿态估计任务中的性能，下文将介绍部分核心评估指标。 平均每关节位置误差（Mean Per Joint Position Error, MPJPE）被广泛用于评估三维人体姿态估计的精度，它通过计算预测关节坐标与真实关节坐标之间的L2距离得到。设第j个关节的估计坐标为 $p_j^*$ ，真实 --- 真实坐标为 $p_{j}$ ，则骨架中第j个关节的MPJPE可计算为： $$ MPJPE=\frac{1}{N}\sum_{j=1}^{N}\left\|p_{j}-p_{j}^{*}\right\|_{2} $$ 式中骨架包含N个关节，和二维场景不同（二维误差以像素为单位量化），三维关节坐标以毫米（mm）为单位测量和报告。 平均每关节角度误差（Mean Per Joint Angle Error, MPJAE）量化估计关节与真实关节之间的角度差异。函数 $r_j^*$ 返回第j个关节的估计角度，函数 $r_j$ 返回真实角度。三维场景下MPJAE的计算方式如下： $$ MPJAE=\frac{1}{3N}\sum_{j=1}^{3N}\left|\left(r_{j}-r_{j}^{*}\right)\bmod\pm180\right| $$ 平均每关节定位误差（MPJLE）是比MPJPE和MPJAE感知性更强、更鲁棒的评估指标[^225]。它通过感知阈值t支持可调节的容忍度： $$ MPJLE=\frac{1}{N}\sum_{j=1}^{N}\mathbb{1}_{\left\|l_{j}-l_{j}^{*}\right\|_{2}\geq t} $$ 其中$l(\cdot)$表示关节定位。 MPJPE、MPJAE和MPJLE存在多种变体，包括普氏对齐（PA-）MPJPE、MPJAE、MPJLE以及归一化（N-）MPJPE、MPJAE、MPJLE。前者指经过普氏对齐的指标，后者表示归一化后的指标。此外，部分二维指标可适配到三维场景，例如三维正确关键点百分比（3D PCK）和三维曲线下面积（3D AUC）。PCK[^226]测量预测关键点与真值关键点之间的距离，若该距离小于预定义阈值，则判定该关键点正确。AUC表示阈值变化时，PCK阈值曲线下的累计面积。 平均每顶点位置误差（MPVPE）是用于评估人体网格重建的指标，通过计算预测网格点与真值网格点之间的L2距离得到。在部分已发表的文章中，MPVPE也被称为顶点对顶点（V2V）误差和每顶点误差（PVE）。 #### 6.2. 数据集 数据集在开发基于深度学习的人体姿态估计和网格恢复技术中至关重要。研究人员已经构建了大量数据集来训练模型，方便不同方法之间开展公平比较。在本节中，我们介绍近年来相关数据集的详细信息。这些 ---
Table 3: The overview of the mainstream datasets.
DatasetTypeDataTotal framesFeatureDownload link
Human3.6M [^225]3D/MeshVideo3.6Mmulti-viewWebsite
3DPW [^227]3D/MeshVideo51Kmulti-personWebsite
MPI-INF-3DHP [^228]2D/3DVideo2Kin-wildWebsite
HumanEva [^229]3DVideo40Kmulti-viewWebsite
CMU-Panoptic [^230]3DVideo1.5Mmulti-view/multi-personWebsite
MuCo-3DHP [^118]3DImage8Kmulti-person/occluded scienceWebsite
SURREAL [^231]2D/3D/MeshVideo6.0Msynthetic modelWebsite
3DOH50K [^153]2D/3D/MeshImage51Kobject-occludedWebsite
3DCP [^232]MeshMesh190contactWebsite
AMASS [^233]MeshMotion11Ksoft-tissue dynamicsWebsite
DensePose [^234]MeshImage50Kmulti-personWebsite
UP-3D [^235]3D/MeshImage8Ksport scienceWebsite
THuman2.0 [^236]MeshImage7Ktextured surfaceWebsite
数据集的汇总信息，包含三维姿态和三维网格相关内容，已呈现在表3中。 Human3.6M数据集[^225]是三维人体姿态估计评估中最常用的数据集。它包含360万个海量姿态数据，均是在真实场景中通过RGB和ToF相机从多个不同视角采集得到。此外，该数据集还包含人体网格的高精度三维扫描数据，在人体感知系统的发展中发挥了关键作用。表4展示了当前最优的三维人体姿态估计方法在Human3.6M数据集上的性能。
Table 4: Comparisons of 3D pose estimation methods on Human3.6M [^225].
MethodYearPublicationHighlight$MPJPE _{1}$$PMPJPE _{1}$Code
Graformer [^237]2022CVPR'22graph-based transformer35.2-Code
GLA-GCN [^238]2023ICCV'23adaptive GCN34.437.8Code
PoseDA [^49]2023arXiv'23domain adaptation49.434.2Code
GFPose [^239]2023CVPR'23gradient fields35.630.5Code
TP-LSTMs [^240]2022TPAMI'22pose similarity metric40.531.8-
FTCM [^122]2023TCSVT'23frequency-temporal collaborative28.1-Code
VideoPose3D [^89]2019CVPR'19semi-supervised46.836.5Code
PoseFormer [^90]2021ICCV'21spatio-temporal transformer44.334.6Code
STCFformer [^96]2023CVPR'23spatio-temporal transformer40.531.8Code
3Dpose_zsl [^85]2020TPAMI'20self-supervised63.663.7Code
MTF-Transformer [^32]2022TPAMI'22multi-view temporal fusion26.2-Code
AdaptPose [^88]2022CVPR'22cross datasets42.534.0Code
3D-HPE-PAA [^101]2022TIP'22part aware attention43.133.7Code
DeciWatch [^241]2022ECCV'22efficient framework52.8-Code
Diffpose [^242]2023CVPR'23pose refine36.928.7Code
Elopeo [^83]2022CVPR'22unsupervised-36.7Code
Uplift and Upsample [^21]2023CVPR'23efficient transformers48.137.6Code
RS-Net [^59]2023TIP'23regular splitting graph network48.638.9Code
HSTFormer [^95]2023arXiv'23spatial-temporal transformers42.733.7Code
PoseFormerV2 [^60]2023CVPR'23frequency domain45.235.6Code
DiffPose [^243]2023ICCV'23diffusion models42.930.8Code
MPI-INF-3DHP数据集[^228]提供了超过2000个户外场景视频，带有13个关键点的关节标注，适用于二维和三维人体姿态估计。其真值通过多相机布置和无标记MoCap系统获取，相较于传统依赖真人的基于标记的MoCap系统是一项重大转变。表5展示了当前最优方法在3DHP数据集上的性能。 3DPW数据集[^227]采集了51000个单视角视频序列，补 ---
Table 5: Comparisons of 3D pose estimation methods on MPI-INF-3DHP [^228].
MethodYearPublicationHighlightMPJPE $_{j}$PCK $_{j}$AUC $_{j}$Code
HSTFormer [^95]2023arXiv'23spatial-temporal transformers28.398.078.6Code
PoseFormerV2 [^60]2023CVPR'23frequency domain27.897.978.8Code
Uplift and Upsample [^21]2023CVPR'23efficient transformers46.995.467.6Code
RS-Net [^59]2023TIP'23regular splitting graph network-85.653.2Code
Diffpose [^242]2023CVPR'23pose refine29.198.075.9Code
FTCM [^122]2023TCSVT'23frequency-temporal collaborative31.297.979.8Code
STCFformer [^96]2023CVPR'23spatio-temporal transformer23.198.783.9Code
PoseDA [^49]2023arXiv'23domain adaptation61.392.062.5Code
TP-LSTMs [^240]2022TPAMI'22pose similarity metric48.882.681.3-
AdaptPose [^88]2022CVPR'22cross datasets77.288.454.2Code
3D-HPE-PAA [^101]2022TIP'22part aware attention69.490.357.8Code
Elepose [^83]2022CVPR'22unsupervised54.086.050.1Code
充了IMU数据。这些视频由手持相机录制，IMU数据可帮助将二维姿态与其对应的三维姿态关联起来。3DPW是目前最具挑战性的数据集之一，近年来已成为多人野外场景三维姿态估计的基准数据集。表6展示了当前最优人体网格恢复方法在Human3.6M和3DPW数据集上的性能。
Table 6: Comparisons of human mesh recovery methods on Human3.6M [^225] and 3DPW [^227].
MethodPublicationHighlightHuman3.6M3DPWCode
$MPJPE_1$$PA-MPJPE_1$$MPJPE_1$$PA-MPJPE_1$$PVE_1$$PVE_1$
VirtualMarker [^24]CVPR'23novel intermediate representation47.332.067.541.377.9CodeCode
NIK [^160]CVPR'23inverse kinematics--71.340.686.6CodeCode
TORE [^149]ICCV'23efficient transformer59.636.472.344.488.2CodeCode
JOTR [^170]ICCV'23contrastive learning--76.448.792.6CodeCode
HMDiff [^202]ICCV'23reverse diffusion processing49.332.472.744.582.4CodeCode
ReFit [^165]ICCV'23recurrent fitting network48.432.265.841.0-CodeCode
PyMAP-X [^184]TPAMI'23regression-based one-stage whole body--74.245.387.0CodeCode
PointHMR [^245]CVPR'23vertex-relevant feature extraction48.332.973.944.985.5-Code
PLIKS [^246]CVPR'23inverse kinematics47.034.560.538.573.3CodeCode
ProPose [^247]CVPR'23learning analytical posterior probability45.729.168.340.679.4CodeCode
POTTER [^248]CVPR'23pooling attention transformer56.535.175.044.887.4CodeCode
PoseExaminer [^249]ICCV'23automated testing of out-of-distribution--74.546.588.6CodeCode
MotionBERT [^156]ICCV'23pretrained human representations43.127.868.840.679.4CodeCode
3DNBF [^200]ICCV'23analysis-by-synthesis approach--88.853.3-CodeCode
FastMETRO [^134]ECCV'22efficient architecture52.233.773.544.684.1CodeCode
CLIFF [^129]ECCV'22multi-modality inputs47.132.769.043.081.2CodeCode
PARE [^130]ICCV'21part-driven attention--74.546.588.6CodeCode
Graphormer [^131]ICCV'21GCNN-reinforced transformer51.234.574.745.687.7CodeCode
PSVT [^133]CVPR'23spatio-temporal encoder--73.143.584.0-Code
GLoT [^142]CVPR'23short-term and long-term temporal correlations67.046.380.750.696.3CodeCode
MPS-Net [^132]CVPR'23temporally adjacent representations69.447.491.654.0109.6CodeCode
MAED [^140]ICCV'21multi-level attention56.438.779.145.792.6CodeCode
Lee et al. [^61]ICCV'21uncertainty-aware58.438.492.852.2106.1-Code
TCMR [^139]CVPR'21temporal consistency62.341.195.055.8111.3-Code
VIBE [^138]CVPR'20self-attention temporal network65.641.482.951.999.1CodeCode
ImpHMR [^250]CVPR'23implicitly imagine person in 3D space--74.345.487.1-Code
SGRE [^163]ICCV'23sequentially global rotation estimation--78.449.693.3CodeCode
PMCE [^5]ICCV'23pose and mesh co-evolution network53.537.769.546.784.8CodeCode
HumanEva数据集[^229]是一个多视角三维人体姿态估计数据集，包含两个版本：HumanEva-I和HumanEva-II。HumanEva-I包含约40000帧多视角视频帧，由7台相机采集，分别布置在前方、左侧、右侧（RGB）和四个角落（单色）。HumanEva-II则有约2460帧，由四个角落各布置一台的共四台相机采集得到。 CMU-Panoptic数据集[^230] [^251]包含65个帧序列，大约 --- 5.5小时的视频素材，共包含150万个带标注的三维姿态。该数据集由一套大规模多视角系统采集，该系统配备511台已校准相机和10个支持硬件同步的RGB-D传感器，对于开发基于多视角几何的弱监督方法至关重要，这类方法可解决传统计算机视觉技术中常见的遮挡问题。 多人合成三维人体姿态（MuCo-3DHP）数据集[^118]是一个用于三维人体姿态估计的大规模多人遮挡训练集。MuCo-3DHP的所有帧都是通过合成增强方案从MPI-INF3DHP数据集生成得到的。 SURREAL数据集[^231]是一个大规模合成人体数据集，包含600万帧RGB视频。它提供了多种精准标注，包括深度、身体部位、光流、二维/三维姿态和表面信息。SURREAL数据集中的图像在纹理、视角和姿态上均存在变化，人体模型基于SMPL参数构建，SMPL是被广泛认可的网格表示标准。 3DOH50K数据集[^153]包含51600张图像，均采集自真实场景下的六个不同视角，绝大多数都存在目标遮挡。每张图像都标注了真值二维和三维姿态、SMPL参数以及分割掩码。该数据集用于训练人体估计和重建模型，可帮助模型在遮挡场景下获得出色性能。 3DCP数据集[^232]是一个源自AMASS[^233]的三维人体网格数据集。它包含190个自接触网格，覆盖6名受试者（三男三女），每个网格都通过SMPL-X参数化模板建模。 AMASS数据集[^233]是一个全面多样的人体动作数据集，包含来自300名受试者的超过11000种动作，总时长超过40小时。动作数据附带用于骨骼和网格表示的SMPL参数，数据来源于使用15个光学标记点的基于标记的动作捕捉系统。 DensePose数据集[^234]包含5万张手动标注的真实图像，共有从COCO[^252]数据集中提取的500万对图像-表面对应对。该数据集对于密集人体姿态估计以及检测、分割任务的训练十分重要。 UP-3D数据集[^235]是专门用于三维人体姿态和形状估计的数据集，包含运动场景下的大量标注。UP-3D共有约8000张来自LSP和MPII数据集的图像，此外UP-3D中的每张图像都附带元数据文件，标注了三维拟合的质量等级（中等或高）。 THuman数据集[^236]是一个三维真实世界人体网格数据集，包含7000张RGBD图像，每张图像都配有通过Kinect相机获取的带纹理表面网格。该数据集包含带有精细纹理的表面网格以及对齐后的SMPL模型，有望极大促进和推动人体网格重建方向的未来研究。 --- ### 7. 应用场景 在本节中，我们梳理了人体姿态估计与网格恢复在若干热门应用方向的相关研究。 运动重定向。人体运动重定向可将人类动作迁移到虚拟角色身上，利用姿态估计无需动作捕捉系统即可实现图像到图像的转换，因此三维人体姿态估计是重定向技术的核心基础。近年来，涌现出大量基于三维人体姿态估计的重定向研究工作[^253] [^254] [^255]，研究者还设计了端到端方法与配套数据集[^256]。此外，学界开发出了适用于野外场景的无监督方法[^257]，通过标准化操作和推导得到的正则化项实现该方法。除身体重定向外，面部重定向[^258] [^259]也受到广泛关注，面部表情的细节能够更精细地刻画表演者的情绪与心理状态。 人体化身。人体化身是通过数字技术创建的类人虚拟实体，能够在各类数字媒体平台进行交互与自我表达。人体姿态估计与网格恢复能够让数字化身更真实生动地模拟人类的动作与行为，帮助开发者创建出行为和真实人类高度相似的虚拟角色[^209] [^260]。例如，Luo等人[^261]提出了一种实时多人物化身控制器，该控制器利用基于视频的姿态估计器输出的带噪声姿态和基于语言的运动生成器实现功能。 动作识别。动作识别利用算法从图像或视频中识别和分析人类动作，三维人体姿态估计与重建得到的结果对解析三维场景下人体运动的动态特征至关重要，能够将这些运动转化为可利用的行为洞察[^262] [^263] [^1] [^264]。此外，这些技术进展能够大幅提升动作识别的效率[^265]。还可以通过多任务学习和特征共享，在同一个框架中同时处理姿态估计和动作识别任务[^266]。 安全监控。在公共场所或关键设施的视频监控系统中，行人跟踪与重识别是核心任务。结合人体姿态估计，人体跟踪可用于行人流量的监控分析、特定目标跟踪，以及空间中人类行为的跟踪分析，这种方法对复杂场景下的人体跟踪任务十分有利[^267] [^268] [^269] [^270]。由于这类系统中单台相机的视角有限，重识别技术可以在同一个人穿越不同相机视角时对其进行识别和跟踪，人体姿态估计对提升重识别的性能有重要贡献[^11]。 SLAM。SLAM通过采集环境中的传感器数据，利用相机、LiDAR等技术精准估计自身位置，同时构建或优化环境地图，能够在未知区域实现自主定位与地图构建。与传统的 --- 大多聚焦于物体的SLAM系统不同，近年来的研究进展已将重心转向将人类纳入环境上下文建模中。值得注意的是，Dai等人[^271]已经证明了三维人体轨迹重建在室内场景中的重要意义，提升了室内导航能力。此外，Kocabas等人[^272]创新性地将人体运动先验整合进SLAM框架，有效实现了人体姿态估计与场景分析的融合。 自动驾驶。在机器人导航和自动驾驶车辆应用中，人体姿态估计能够让系统更好地理解人类的行为和意图，进而实现更智能的决策与交互。Zheng等人[^14]针对自动驾驶场景下的三维人体姿态估计，提出了一种多模态方法，利用RGB图像上的二维标签作为弱监督。Wang等人[^15]开发了一套完整框架，可从真实驾驶场景中学习符合物理规律的人体动力学，有效缩小了安全关键应用中真实人类行为和模拟人类行为之间的差距。 人机交互。人机交互是人与计算机之间的双向交互，核心需求是计算机能够准确解读人类姿态。Liu等人[^12]推动了该领域发展，针对工业人机交互中的头部姿态估计提出了非对称关系感知表示学习方法，该方法采用了有效的洛伦兹分布学习方案。在增强现实（AR）系统中，人体姿态估计的精度能够显著提升虚拟物体与真实环境的交互质量，促进人类与虚拟实体实现更自然的交互。在此背景下，Weng等人[^16]开发了一种全新方法和应用，可在AR中从单张照片实现人体动画生成。 ### 8. 挑战与结论 在本篇综述中，我们梳理了近年来基于深度学习的三维人体姿态估计与网格恢复方法的最新研究进展，涵盖了这些方法的完整分类体系和性能对比，还指出了若干具有前景的研究方向，希望能够推动该领域的发展。 速度。速度是算法实际部署中需要考虑的核心因素。尽管目前大多数研究都称其在GPU上实现了实时性能，但大量应用都需要在边缘计算平台，尤其是智能手机中的ARM处理器上实现实时高效处理。ARM处理器和GPU之间的性能差异十分显著，这凸显了速度优化的巨大价值。尽管部分基于视频的视觉处理任务[^273] [^274] [^275]已经意识到处理速度对实时应用场景的重要性，但三维场景下的相关研究仍有待推进[^77]。 拥挤与遮挡挑战。在开放世界场景中，拥挤和遮挡现象十分普遍，它们是长期 --- 目标检测领域长期存在悬而未决的挑战。目前，自上而下方法依赖于目标检测，因此这类问题无法避免。尽管自下而上策略可以绕开目标检测，但它在关键点组装方面面临巨大挑战。因此，部分研究者[^121]尝试将两种方法相结合。此外，在处理过程中加入时间一致性约束（例如光流[^102]）也可以缓解遮挡问题。 大模型。大模型在语言[^276] [^277]以及分割[^278]、跟踪[^279]等基础计算机视觉任务中的效果已得到广泛认可，表现十分出色。此外，尽管以人为中心的计算机视觉任务[^280]相关研究正在蓬勃发展，三维任务领域仍有待进一步探索。不仅如此，大模型的发展本身不仅是一个重要研究方向，探索如何有效利用大模型也存在巨大挑战，同时具备重要现实意义。将姿态估计与大语言模型[^281]融合，以及将大视觉模型与姿态估计相结合的探索性工作同样具有研究意义。 更精细的重建。目前，基于显式模型的方法，例如SMPL [^35]和SMPL-X [^61]，无法满足人们对细节的期望。另一方面，隐式表示方法[^193] [^195] [^198]，以及NeRF [^201] [^51]和Gaussian Splatting [^211]等渲染技术虽然能够捕捉精细细节，但在姿态估计方面缺乏足够的鲁棒性。弥合鲁棒姿态估计与表面细节之间的缺口仍是一项艰巨挑战，需要计算机视觉和计算机图形学研究者的共同努力。 结合环境进行重建。人类在日常生活中会与现实世界中的各类物体和环境产生交互。对这些交互进行三维重建的能力对于理解和模拟它们的动态变化至关重要。这一方向在应用于人类化身的人工智能领域具有特殊意义。在物体交互重建中，运动恢复结构（Structure from Motion）会遇到姿态初始化、物体观测稀疏等挑战[^7]。此外，Yi等人[^282]指出，环境重建和人体重建可以相互促进，同时提升两个领域的效果。 可控性与可动画化。可控性指对人类化身的姿态、动作和表情进行精确控制，使其能够在虚拟环境中展现各种预期行为。而可动画化指化身能够生动流畅地展现各类动作和表情，使其看起来更加真实自然。Jiang等人[^283]利用显式变形场对神经隐式场进行变形，从而实现了人物角色的动画化。他们将目标人体网格映射到由参数化人体模型表示的模板人体网格上，进而通过控制姿态和形状参数，简化了生成化身的动画制作和重塑过程。提升人体网格重建的可控性与可动画化，能够帮助开发者创作数字角色。 --- 更加真实、生动且富有表现力。这反过来也提升了它们在虚拟世界中的交互性与吸引力。 ## 参考文献 [^1]: H. Duan, Y. Zhao, K. Chen, D. Lin, B. Dai, Revisiting skeleton-based action recognition, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 2969–2978. [^2]: Y. Zhang, C. Wang, X. Wang, W. Liu, W. Zeng, Voxeltrack: Multi-person 3d human pose estimation and tracking in the wild, IEEE Transactions on Pattern Analysis and Machine Intelligence 45 (2) (2022) 2613–2626. [^3]: Y. Zhu, H. Shuai, G. Liu, Q. Liu, Multilevel spatial-temporal excited graph network for skeleton-based action recognition, IEEE Transactions on Image Processing 32 (2022) 496–508. [^4]: J. Yang, Z. Zhang, S. Xiao, S. Ma, Y. Li, W. Lu, X. Gao, Efficient data-driven behavior identification based on vision transformers for human activity understanding, Neurocomputing 530 (2023) 104–115. [^5]: Y. You, H. Liu, T. Wang, W. Li, R. Ding, X. Li, Co-evolution of pose and mesh for 3d human body estimation from video, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14963–14973. [^6]: S. Tripathi, L. Müller, C.-H. P. Huang, O. Taheri, M. J. Black, D. Tzionas, 3d human pose estimation via intuitive physics, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 4713–4725. [^7]: Z. Fan, M. Parelli, M. E. Kadoglou, M. Kocabas, X. Chen, M. J. Black, O. Hilliges, Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video, arXiv preprint arXiv:2311.18448 (2023). [^8]: L. Dai, L. Ma, S. Qian, H. Liu, Z. Liu, H. Xiong, Cloth2body: Generating 3d human body mesh from 2d clothing, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 15007–15017. [^9]: S. Tang, G. Wang, Q. Ran, L. Li, L. Shen, P. Tan, High-resolution volumetric reconstruction for clothed humans, ACM Transactions on Graphics 42 (5) (2023) 1–15. [^10]: Y. Feng, W. Liu, T. Bolkart, J. Yang, M. Pollefeys, M. J. Black, Learning disentangled avatars with hybrid 3d representations, arXiv preprint arXiv:2309.06441 (2023). [^11]: P. Wang, Z. Zhao, F. Su, X. Zu, N. V. Boulgouris, Horeid: deep high-order mapping enhances pose alignment for person re-identification, IEEE Transactions on Image Processing 30 (2021) 2908–2922. [^12]: H. Liu, T. Liu, Z. Zhang, A. K. Sangaiah, B. Yang, Y. Li, Arhpe: Asymmetric relation-aware representation learning for head pose estimation in industrial human-computer interaction, IEEE Transactions on Industrial Informatics 18 (10) (2022) 7107–7117. [^13]: J. Zou, Simplified neural architecture for efficient human motion prediction in human-robot interaction, Neurocomputing 588 (2024) 127683. [^14]: J. Zheng, X. Shi, A. Gorban, J. Mao, Y. Song, C. R. Qi, T. Liu, V. Chari, A. Cornman, Y. Zhou, et al., Multi-modal 3d human pose estimation with 2d weak supervision in autonomous driving, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 4478–4487. ## [^15]: J. Wang, Y. Yuan, Z. Luo, K. Xie, D. Lin, U. Iqbal, S. Fidler, S. Khamis, Learning human dynamics in autonomous driving scenarios, in: Proceedings of --- IEEE/CVF 国际计算机视觉会议，2023年，第20796–20806页。 [^16]: C.-Y. Weng, B. Curless, I. Kemelmacher-Shlizerman, Photo wake-up: 3d character animation from a single photo, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 5908–5917. [^17]: W. Liu, Q. Bao, Y. Sun, T. Mei, Recent advances of monocular 2d and 3d human pose estimation: A deep learning perspective, ACM Computing Surveys 55 (4) (2022) 1–41. [^18]: C. Zheng, W. Wu, C. Chen, T. Yang, S. Zhu, J. Shen, N. Kehtarnavaz, M. Shah, Deep learning-based human pose estimation: A survey, ACM Computing Surveys 56 (1) (2023) 1–37. [^19]: Y. Tian, H. Zhang, Y. Liu, L. Wang, Recovering 3d human mesh from monocular images: A survey, IEEE transactions on pattern analysis and machine intelligence (2023). [^20]: L. Chen, S. Peng, X. Zhou, Towards efficient and photorealistic 3d human reconstruction: a brief survey, Visual Informatics 5 (4) (2021) 11–19. [^21]: M. Einfalt, K. Ludwig, R. Lienhart, Uplift and upsample: Efficient 3d human pose estimation with uplifting transformers, in: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2023, pp. 2903–2913. [^22]: Y. Luo, Y. Li, M. Foshey, W. Shou, P. Sharma, T. Palacios, A. Torralba, W. Matusik, Intelligent carpet: Inferring 3d human pose from tactile signals, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 11255–11265. [^23]: A. Ruget, M. Tyler, G. Mora Martín, S. Scholes, F. Zhu, I. Gyongy, B. Hearn, S. McLaughlin, A. Halimi, J. Leach, Pixels2pose: Super-resolution time-of-flight imaging for 3d pose estimation, Science Advances 8 (48) (2022) eade0123. [^24]: R. Pandey, A. Tkach, S. Yang, P. Pidlypenskyi, J. Taylor, R. Martin-Brualla, A. Tagliasacchi, G. Papandreou, P. Davidson, C. Keskin, et al., Volumetric capture of humans with a single rgbd camera via semi-parametric learning, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 9709–9718. [^25]: Y. Ren, Z. Wang, Y. Wang, S. Tan, Y. Chen, J. Yang, Gopose: 3d human pose estimation using wifi, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 6 (2) (2022) 1–25. [^26]: T. Li, L. Fan, Y. Yuan, D. Katabi, Unsupervised learning for human sensing using radio signals, in: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2022, pp. 3288–3297. [^27]: J. L. Ponton, H. Yun, A. Aristidou, C. Andujar, N. Pelechano, Sparseposer: Real-time full-body motion reconstruction from sparse data, ACM Transactions on Graphics 43 (1) (2023) 1–14. [^28]: F. Huang, A. Zeng, M. Liu, Q. Lai, Q. Xu, Deepfuse: An imu-aware network for real-time 3d human pose estimation from multi-view image, in: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2020, pp. 429–438. [^29]: S. Zou, X. Zuo, S. Wang, Y. Qian, C. Guo, L. Cheng, Human pose and shape estimation from single polarization images, IEEE Transactions on Multimedia (2022). ## [^30]: L. Xu, W. Xu, V. Golyanik, M. Habermann, L. Fang, C. Theobalt, Eventcap: Monocular 3d capture of high-speed human motions using an event camera, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. --- 识别会议，2020年，第4968–4978页。 [^31]: B. Jiang, L. Hu, S. Xia, Probabilistic triangulation for uncalibrated multi-view 3d human pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14850–14860. [^32]: H. Shuai, L. Wu, Q. Liu, Adaptive multi-view and temporal fusing transformer for 3d human pose estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence 45 (4) (2022) 4122–4135. [^33]: B. Huang, Y. Shu, T. Zhang, Y. Wang, Dynamic multi-person mesh recovery from uncalibrated multi-view cameras, in: 2021 International Conference on 3D Vision (3DV), IEEE, 2021, pp. 710–720. [^34]: D. Anguelov, P. Srinivasan, D. Koller, S. Thrun, J. Rodgers, J. Davis, Scape: shape completion and animation of people, in: ACM SIGGRAPH 2005 Papers, 2005, pp. 408–416. [^35]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, M. J. Black, Smpl: A skinned multi-person linear model, ACM transactions on graphics (TOG) 34 (6) (2015) 1–16. [^36]: J. Romero, D. Tzionas, M. J. Black, Embodied hands: Modeling and capturing hands and bodies together, arXiv preprint arXiv:2201.02610 (2022). [^37]: T. Li, T. Bolkart, M. J. Black, H. Li, J. Romero, Learning a model of facial shape and expression from 4d scans., ACM Trans. Graph. 36 (6) (2017) 194–1. [^38]: G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. Osman, D. Tzionas, M. J. Black, Expressive body capture: 3d hands, face, and body from a single image, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 10975–10985. [^39]: B. Jiang, Y. Zhang, X. Wei, X. Xue, Y. Fu, H4d: Human 4d modeling by learning neural compositional representation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 19355–19365. [^40]: G. Varol, D. Ceylan, B. Russell, J. Yang, E. Yumer, I. Laptev, C. Schmid, Bodynet: Volumetric inference of 3d human body shapes, in: Proceedings of the European conference on computer vision (ECCV), 2018, pp. 20–36. [^41]: H. Onizuka, Z. Hayirci, D. Thomas, A. Sugimoto, H. Uchiyama, R.-i. Taniguchi, Tetratsdf: 3d human reconstruction from a single image with a tetrahedral outer shell, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 6011–6020. [^42]: Z. Zheng, T. Yu, Y. Liu, Q. Dai, Pamir: Parametric model-conditioned implicit representation for image-based human reconstruction, IEEE transactions on pattern analysis and machine intelligence 44 (6) (2021) 3170–3184. [^43]: K. He, X. Zhang, S. Ren, J. Sun, Deep residual learning for image recognition, in: Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778. [^44]: J. Wang, K. Sun, T. Cheng, B. Jiang, C. Deng, Y. Zhao, D. Liu, Y. Mu, M. Tan, X. Wang, et al., Deep high-resolution representation learning for visual recognition, IEEE transactions on pattern analysis and machine intelligence 43 (10) (2020) 3349–3364. [^45]: I. O. Tolstikhin, N. Houlsby, A. Kolesnikov, L. Beyer, X. Zhai, T. Unterthiner, J. Yung, A. Steiner, D. Keysers, J. Uszkoreit, et al., Mlp-mixer: An all-mlp architecture for vision, Advances in neural information processing systems 34 (2021) 24261–24272. ## [^46]: A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, et al., An image is --- worth 16x16 words：面向大规模图像识别的Transformer，arXiv预印本 arXiv:2010.11929 (2020)。 [^47]: C.-Y. Yang, J. Luo, L. Xia, Y. Sun, N. Qiao, K. Zhang, Z. Jiang, J.-N. Hwang, C.-H. Kuo, Camerapose: Weakly-supervised monocular 3d human pose estimation by leveraging in-the-wild 2d annotations, in: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2023, pp. 2924–2933. [^48]: A. Zanfir, E. G. Bazavan, H. Xu, W. T. Freeman, R. Sukthankar, C. Sminchisescu, Weakly supervised 3d human pose and shape reconstruction with normalizing flows, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VI 16, Springer, 2020, pp. 465–481. [^49]: W. Chai, Z. Jiang, J.-N. Hwang, G. Wang, Global adaptation meets local generalization: Unsupervised domain adaptation for 3d human pose estimation, arXiv preprint arXiv:2303.16456 (2023). [^50]: Z. Yu, J. Wang, J. Xu, B. Ni, C. Zhao, M. Wang, W. Zhang, Skeleton2mesh: Kinematics prior injected unsupervised human mesh recovery, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 8619–8629. [^51]: J. Mu, S. Sang, N. Vasconcelos, X. Wang, Actorsnerf: Animatable few-shot human rendering with generalizable nerfs, arXiv preprint arXiv:2304.14401 (2023). [^52]: A. Benzine, F. Chabot, B. Luvison, Q. C. Pham, C. Achard, Pandanet: Anchor-based single-shot multi-person 3d pose estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 6856–6865. [^53]: Z. Yang, A. Zeng, C. Yuan, Y. Li, Effective whole-body pose estimation with two-stages distillation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 4210–4220. [^54]: S. Tripathi, S. Ranade, A. Tyagi, A. Agrawal, Posenet3d: Learning temporally consistent 3d human pose via knowledge distillation, in: 2020 International Conference on 3D Vision (3DV), IEEE, 2020, pp. 311–321. [^55]: H. Liu, C. Ren, An effective 3d human pose estimation method based on dilated convolutions for videos, in: 2019 IEEE International Conference on Robotics and Biomimetics (ROBIO), IEEE, 2019, pp. 2327–2331. [^56]: S. Choi, S. Choi, C. Kim, Mobilehumanpose: Toward real-time 3d human pose estimation in mobile devices, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 2328–2338. [^57]: H. Cho, Y. Cho, J. Yu, J. Kim, Camera distortion-aware 3d human pose estimation in video with optimization-based meta-learning, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11169–11178. [^58]: K. Gong, B. Li, J. Zhang, T. Wang, J. Huang, M. B. Mi, J. Feng, X. Wang, Posetriplet: Co-evolving 3d human pose estimation, imitation, and hallucination under self-supervision, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 11017–11027. [^59]: M. T. Hassan, A. B. Hamza, Regular splitting graph network for 3d human pose estimation, IEEE Transactions on Image Processing (2023). ## [^60]: Q. Zhao, C. Zheng, M. Liu, P. Wang, C. Chen, Poseformerv2: Exploring frequency domain for efficient and robust 3d human pose estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 8877–8886. --- [^61]: Z. Cai, W. Yin, A. Zeng, C. Wei, Q. Sun, Y. Wang, H. E. Pang, H. Mei, M. Zhang, L. Zhang, et al., Smpler-x: Scaling up expressive human pose and shape estimation, arXiv preprint arXiv:2309.17448 (2023). [^62]: R. Li, Y. Xiu, S. Saito, Z. Huang, K. Olszewski, H. Li, Monocular real-time volumetric performance capture, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXIII 16, Springer, 2020, pp. 49–67. [^63]: G. Wei, C. Lan, W. Zeng, Z. Chen, View invariant 3d human pose estimation, IEEE Transactions on Circuits and Systems for Video Technology 30 (12) (2019) 4601–4610. [^64]: Y. Zhan, F. Li, R. Weng, W. Choi, Ray3d: ray-based 3d human pose estimation for monocular absolute 3d localization, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13116–13125. [^65]: K. Zhou, X. Han, N. Jiang, K. Jia, J. Lu, Hemlets posh: learning part-centric heatmap triplets for 3d human pose and shape estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (6) (2021) 3000–3014. [^66]: X. Zheng, X. Chen, X. Lu, A joint relationship aware neural network for single-image 3d human pose estimation, IEEE Transactions on Image Processing 29 (2020) 4747–4758. [^67]: L. Wu, Z. Yu, Y. Liu, Q. Liu, Limb pose aware networks for monocular 3d pose estimation, IEEE Transactions on Image Processing 31 (2021) 906–917. [^68]: Y. Xu, W. Wang, T. Liu, X. Liu, J. Xie, S.-C. Zhu, Monocular 3d pose estimation via pose grammar and data augmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (10) (2021) 6327–6344. [^69]: M. Fisch, R. Clark, Orientation keypoints for 6d human pose estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (12) (2021) 10145–10158. [^70]: J. Liu, H. Ding, A. Shahroudy, L.-Y. Duan, X. Jiang, G. Wang, A. C. Kot, Feature boosting network for 3d pose estimation, IEEE transactions on pattern analysis and machine intelligence 42 (2) (2019) 494–501. [^71]: H. Ci, X. Ma, C. Wang, Y. Wang, Locally connected network for monocular 3d human pose estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (3) (2020) 1429–1442. [^72]: Z. Zou, W. Tang, Modulated graph convolutional network for 3d human pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11477–11487. [^73]: A. Zeng, X. Sun, L. Yang, N. Zhao, M. Liu, Q. Xu, Learning skeletal graph neural networks for hard 3d pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11436–11445. [^74]: K. Zhai, Q. Nie, B. Ouyang, X. Li, S. Yang, Hopfir: Hop-wise graphformer with intragroup joint refinement for 3d human pose estimation, arXiv preprint arXiv:2302.14581 (2023). [^75]: K. Iskakov, E. Burkov, V. Lempitsky, Y. Malkov, Learnable triangulation of human pose, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 7718–7727. [^76]: H. Qiu, C. Wang, J. Wang, N. Wang, W. Zeng, Cross view fusion for 3d human pose estimation, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 4342–4351. ## [^77]: E. Remelli, S. Han, S. Honari, P. Fua, R. Wang, Lightweight multi-view 3d pose estimation through camera-disentangled representation, in: Proceedings of the --- IEEE/CVF 计算机视觉与模式识别会议，2020年，第6040–6049页。 [^78]: Z. Zhang, C. Wang, W. Qiu, W. Qin, W. Zeng, Adafuse: Adaptive multiview fusion for accurate human pose estimation in the wild, International Journal of Computer Vision 129 (2021) 703–718. [^79]: K. Bartol, D. Bojanić, T. Petković, T. Pribanić, Generalizable human pose triangulation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 11028–11037. [^80]: D. C. Luvizon, D. Picard, H. Tabia, Consensus-based optimization for 3d human pose estimation in camera coordinates, International Journal of Computer Vision 130 (3) (2022) 869–882. [^81]: Y. Kudo, K. Ogaki, Y. Matsui, Y. Odagiri, Unsupervised adversarial learning of 3d human pose from 2d joint locations, arXiv preprint arXiv:1803.08244 (2018). [^82]: C.-H. Chen, A. Tyagi, A. Agrawal, D. Drover, R. Mv, S. Stojanov, J. M. Rehg, Unsupervised 3d pose estimation with geometric self-supervision, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 5714–5724. [^83]: B. Wandt, J. J. Little, H. Rhodin, Elepose: Unsupervised 3d human pose estimation by predicting camera elevation and learning normalizing flows on 2d poses, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 6635–6645. [^84]: M. Kocabas, S. Karagoz, E. Akbas, Self-supervised learning of 3d human pose using multi-view geometry, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 1077–1086. [^85]: K. Wang, L. Lin, C. Jiang, C. Qian, P. Wei, 3d human pose machines with self-supervised learning, IEEE transactions on pattern analysis and machine intelligence 42 (5) (2019) 1069–1082. [^86]: J. N. Kundu, S. Seth, P. YM, V. Jampani, A. Chakraborty, R. V. Babu, Uncertainty-aware adaptation for self-supervised 3d human pose estimation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 20448–20459. [^87]: G. Hua, H. Liu, W. Li, Q. Zhang, R. Ding, X. Xu, Weakly-supervised 3d human pose estimation with cross-view u-shaped graph convolutional network, IEEE Transactions on Multimedia (2022). [^88]: M. Gholami, B. Wandt, H. Rhodin, R. Ward, Z. J. Wang, Adaptpose: Cross-dataset adaptation for 3d human pose estimation by learnable motion generation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13075–13085. [^89]: D. Pavllo, C. Feichtenhofer, D. Grangier, M. Auli, 3d human pose estimation in video with temporal convolutions and semi-supervised training, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 7753–7762. [^90]: C. Zheng, S. Zhu, M. Mendieta, T. Yang, C. Chen, Z. Ding, 3rd human pose estimation with spatial and temporal transformers, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11656–11665. [^91]: B. Artacho, A. Savakis, Unipose+: A unified framework for 2d and 3d human pose estimation in images and videos, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (12) (2021) 9641–9653. ## [^92]: W. Li, H. Liu, H. Tang, P. Wang, L. Van Gool, Mhformer: Multi-hypothesis --- 面向三维人体姿态估计的Transformer，载于：IEEE/CVF 计算机视觉与模式识别会议论文集，2022年，第13147–13156页。 [^93]: J. Zhang, Z. Tu, J. Yang, Y. Chen, J. Yuan, Mixste: Seq2seq mixed spatiotemporal encoder for 3d human pose estimation in video, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13232–13242. [^94]: S. Honari, V. Constantin, H. Rhodin, M. Salzmann, P. Fua, Temporal representation learning on monocular videos for 3d human pose estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). [^95]: X. Qian, Y. Tang, N. Zhang, M. Han, J. Xiao, M.-C. Huang, R.-S. Lin, Hstformer: Hierarchical spatial-temporal transformers for 3d human pose estimation, arXiv preprint arXiv:2301.07322 (2023). [^96]: Z. Tang, Z. Qiu, Y. Hao, R. Hong, T. Yao, 3d human pose estimation with spatiotemporal criss-cross attention, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 4790–4799. [^97]: Y. Sun, A. W. Dougherty, Z. Zhang, Y. K. Choi, C. Wu, Mixsynthformer: A transformer encoder-like structure with mixed synthetic self-attention for efficient human pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14884–14893. [^98]: J. Wang, S. Yan, Y. Xiong, D. Lin, Motion guided 3d pose estimation from videos, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, Springer, 2020, pp. 764–780. [^99]: J. Zhang, Y. Wang, Z. Zhou, T. Luan, Z. Wang, Y. Qiao, Learning dynamical human-joint affinity for 3d pose estimation in videos, IEEE Transactions on Image Processing 30 (2021) 7914–7925. [^100]: T. Chen, C. Fang, X. Shen, Y. Zhu, Z. Chen, J. Luo, Anatomy-aware 3d human pose estimation with bone-based pose decomposition, IEEE Transactions on Circuits and Systems for Video Technology 32 (1) (2021) 198–209. [^101]: Y. Xue, J. Chen, X. Gu, H. Ma, H. Ma, Boosting monocular 3d human pose estimation with part aware attention, IEEE Transactions on Image Processing 31 (2022) 4278–4291. [^102]: Y. Cheng, B. Yang, B. Wang, W. Yan, R. T. Tan, Occlusion-aware networks for 3d human pose estimation in video, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 723–732. [^103]: Z. Yu, B. Ni, J. Xu, J. Wang, C. Zhao, W. Zhang, Towards alleviating the modeling ambiguity of unsupervised monocular 3d human pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 8651–8660. [^104]: X. Chen, K.-Y. Lin, W. Liu, C. Qian, L. Lin, Weakly-supervised discovery of geometry-aware representation for 3d human pose estimation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 10895–10904. [^105]: R. Mitra, N. B. Gundavarapu, A. Sharma, A. Jain, Multiview-consistent semi-supervised learning for 3d human pose estimation, in: Proceedings of the ieee/cvf conference on computer vision and pattern recognition, 2020, pp. 6907–6916. ## [^106]: J. N. Kundu, S. Seth, V. Jampani, M. Rakesh, R. V. Babu, A. Chakraborty, Self-supervised 3d human pose estimation via part guided novel image synthesis, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 6152–6162. --- [^107]: W. Shan, Z. Liu, X. Zhang, S. Wang, S. Ma, W. Gao, P-stmo: Pre-trained spatial temporal many-to-one model for 3d human pose estimation, in: Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part V, Springer, 2022, pp. 461–478. [^108]: K. Gong, J. Zhang, J. Feng, Poseaug: A differentiable pose augmentation framework for 3d human pose estimation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 8575–8584. [^109]: J. Zhang, K. Gong, X. Wang, J. Feng, Learning to augment poses for 3d human pose estimation in images and videos, IEEE Transactions on Pattern Analysis and Machine Intelligence (2023). [^110]: L. Chen, H. Ai, R. Chen, Z. Zhuang, S. Liu, Cross-view tracking for multi-human 3d pose estimation at over 100 fps, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 3279–3288. [^111]: H.-S. Fang, J. Li, H. Tang, C. Xu, H. Zhu, Y. Xiu, Y.-L. Li, C. Lu, Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time, IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). [^112]: S. Wu, S. Jin, W. Liu, L. Bai, C. Qian, D. Liu, W. Ouyang, Graph-based 3d multi-person pose estimation using multi-view images, in: Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 11148–11157. [^113]: G. Moon, J. Y. Chang, K. M. Lee, Camera distance-aware top-down approach for 3d multi-person pose estimation from a single rgb image, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 10133–10142. [^114]: M. Fabbri, F. Lanzi, S. Calderara, S. Alletto, R. Cucchiara, Compressed volumetric heatmaps for multi-person 3d pose estimation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 7204–7213. [^115]: C. Wang, J. Li, W. Liu, C. Qian, C. Lu, Hmor: Hierarchical multi-person ordinal relations for monocular multi-person 3d pose estimation, in: Computer Vision—ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part III 16, Springer, 2020, pp. 242–259. [^116]: J. Zhen, Q. Fang, J. Sun, W. Liu, W. Jiang, H. Bao, X. Zhou, Smap: Single-shot multi-person absolute 3d pose estimation, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XV 16, Springer, 2020, pp. 550–566. [^117]: A. Benzine, B. Luvison, Q. C. Pham, C. Achard, Single-shot 3d multi-person pose estimation in complex images, Pattern Recognition 112 (2021) 107534. [^118]: D. Mehta, O. Sotnychenko, F. Mueller, W. Xu, S. Sridhar, G. Pons-Moll, C. Theobalt, Single-shot multi-person 3D pose estimation from monocular rgb, in: 2018 International Conference on 3D Vision (3DV), IEEE, 2018, pp. 120–130. [^119]: G. Rogez, P. Weinzaepfel, C. Schmid, Lcr-net++: Multi-person 2d and 3d pose detection in natural images, IEEE transactions on pattern analysis and machine intelligence 42 (5) (2019) 1146–1161. [^120]: L. Jin, C. Xu, X. Wang, Y. Xiao, Y. Guo, X. Nie, J. Zhao, Single-stage is enough: Multi-person absolute 3d pose estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13086–13095. ## [^121]: Y. Cheng, B. Wang, R. T. Tan, Dual networks based 3d multi-person pose estimation from monocular video, IEEE Transactions on Pattern Analysis and Machine Intelligence 45 (2) (2022) 1636–1651. --- [^122]: Z. Tang, Y. Hao, J. Li, R. Hong, Ftcm: Frequency-temporal collaborative module for efficient 3d human pose estimation in video, IEEE Transactions on Circuits and Systems for Video Technology (2023). [^123]: B. Artacho, A. Savakis, Unipose: Unified human pose estimation in single images and videos, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 7035–7044. [^124]: A. Zanfir, E. Marinoiu, M. Zanfir, A.-I. Popa, C. Sminchisescu, Deep network for the integrated 3d sensing of multiple people in natural images, Advances in neural information processing systems 31 (2018). [^125]: A. Newell, K. Yang, J. Deng, Stacked hourglass networks for human pose estimation, in: Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part VIII 14, Springer, 2016, pp. 483–499. [^126]: Y. Rong, Z. Liu, C. Li, K. Cao, C. C. Loy, Delving deep into hybrid annotations for 3d human recovery in the wild, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 5340–5348. [^127]: Z. Li, B. Xu, H. Huang, C. Lu, Y. Guo, Deep two-stream video inference for human body pose and shape estimation, in: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2022, pp. 430–439. [^128]: K. Yang, R. Gu, M. Wang, M. Toyoura, G. Xu, Lassor: Learning accurate 3d human pose and shape via synthetic occlusion-aware data and neural mesh rendering, IEEE Transactions on Image Processing 31 (2022) 1938–1948. [^129]: Z. Li, J. Liu, Z. Zhang, S. Xu, Y. Yan, Cliff: Carrying location information in full frames into human pose and shape estimation, in: Computer Vision—ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part V, Springer, 2022, pp. 590–606. [^130]: M. Kocabas, C.-H. P. Huang, O. Hilliges, M. J. Black, Pare: Part attention regressor for 3d human body estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11127–11137. [^131]: K. Lin, L. Wang, Z. Liu, Mesh graphormer, in: Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 12939–12948. [^132]: W.-L. Wei, J.-C. Lin, T.-L. Liu, H.-Y. M. Liao, Capturing humans in motion: temporal-attentive 3d human pose and shape estimation from monocular video, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13211–13220. [^133]: Z. Qiu, Q. Yang, J. Wang, H. Feng, J. Han, E. Ding, C. Xu, D. Fu, J. Wang, Psvt: End-to-end multi-person 3d pose and shape estimation with progressive video transformers, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 21254–21263. [^134]: J. Cho, K. Youwang, T.-H. Oh, Cross-attention of disentangled modalities for 3d human mesh recovery with transformers, in: Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part I, Springer, 2022, pp. 342–359. [^135]: Y. Xue, J. Chen, Y. Zhang, C. Yu, H. Ma, H. Ma, 3d human mesh reconstruction by learning to sample joint adaptive tokens for transformers, in: Proceedings of the 30th ACM International Conference on Multimedia, 2022, pp. 6765–6773. [^136]: K. Lin, L. Wang, Z. Liu, End-to-end human pose and mesh reconstruction with transformers, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 1954–1963. ## [^137]: A. Kanazawa, J. Y. Zhang, P. Felsen, J. Malik, Learning 3d human dynamics --- 来自视频的（研究），载于：IEEE/CVF 计算机视觉与模式识别会议论文集，2019年，第5614–5623页。 [^138]: M. Kocabas, N. Athanasiou, M. J. Black, Vibe: Video inference for human body pose and shape estimation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 5253–5263. [^139]: H. Choi, G. Moon, J. Y. Chang, K. M. Lee, Beyond static features for temporally consistent 3d human pose and shape from a video, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 1964–1973. [^140]: Z. Wan, Z. Li, M. Tian, J. Liu, S. Yi, H. Li, Encoder-decoder with multilevel attention for 3d human shape and pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 13033–13042. [^141]: Z. Wang, S. Ostadabbas, Live stream temporally embedded 3d human body pose and shape estimation, arXiv preprint arXiv:2207.12537 (2022). [^142]: X. Shen, Z. Yang, X. Wang, J. Ma, C. Zhou, Y. Yang, Global-to-local modeling for video-based 3d human pose and shape estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 8887–8896. [^143]: Z. Dong, J. Song, X. Chen, C. Guo, O. Hilliges, Shape-aware multi-person pose estimation from multi-view images, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11158–11168. [^144]: A. Sengupta, I. Budvytis, R. Cipolla, Probabilistic 3d human shape and pose estimation from multiple unconstrained images in the wild, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 16094–16104. [^145]: L. Zhuo, J. Cao, Q. Wang, B. Zhang, L. Bo, Towards stable human pose estimation via cross-view fusion and foot stabilization, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 650–659. [^146]: T. Fan, K. V. Alwala, D. Xiang, W. Xu, T. Murphey, M. Mukadam, Revitalizing optimization for 3d human pose and shape estimation: A sparse constrained formulation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11457–11466. [^147]: J. Zhang, D. Yu, J. H. Liew, X. Nie, J. Feng, Body meshes as points, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 546–556. [^148]: C. Zheng, M. Mendieta, T. Yang, C. Chen, Heater: An efficient and unified network for human reconstruction via heatmap-based transformer, arXiv preprint arXiv:2205.15448 (2022). [^149]: Z. Dou, Q. Wu, C. Lin, Z. Cao, Q. Wu, W. Wan, T. Komura, W. Wang, Tore: Token reduction for efficient human mesh recovery with transformer, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 15143–15155. [^150]: G. Pavlakos, N. Kolotouros, K. Daniilidis, Texturepose: Supervising human mesh estimation with texture consistency, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 803–812. ## [^151]: H. Zhang, J. Cao, G. Lu, W. Ouyang, Z. Sun, Learning 3d human shape and pose from dense body parts, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (5) (2020) 2610–2627. --- [^152]: W. Zeng, W. Ouyang, P. Luo, W. Liu, X. Wang, 3d human mesh regression with dense correspondence, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 7054–7063. [^153]: T. Zhang, B. Huang, Y. Wang, Object-occluded human shape and pose estimation from a single color image, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 7376–7385. [^154]: Y. Sun, Q. Bao, W. Liu, Y. Fu, M. J. Black, T. Mei, Monocular, one-stage, regression of multiple 3d people, in: Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 11179–11188. [^155]: H. Choi, G. Moon, J. Park, K. M. Lee, Learning to estimate robust 3d human mesh from in-the-wild crowded scenes, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 1475–1484. [^156]: W. Zhu, X. Ma, Z. Liu, L. Liu, W. Wu, Y. Wang, Motionbert: A unified perspective on learning human motion representations, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 15085–15099. [^157]: R. A. Guler, I. Kokkinos, Holopose: Holistic 3d human reconstruction in-the-wild, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 10884–10894. [^158]: Y. Sun, Y. Ye, W. Liu, W. Gao, Y. Fu, T. Mei, Human mesh recovery from monocular images via a skeleton-disentangled representation, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 5349–5358. [^159]: J. Li, C. Xu, Z. Chen, S. Bian, L. Yang, C. Lu, Hybrik: A hybrid analytical-neural inverse kinematics solution for 3d human pose and shape estimation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 3383–3393. [^160]: J. Li, S. Bian, Q. Liu, J. Tang, F. Wang, C. Lu, Niki: Neural inverse kinematics with invertible neural networks for 3d human pose and shape estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 12933–12942. [^161]: G.-H. Lee, S.-W. Lee, Uncertainty-aware human mesh recovery from video by learning part-based 3d dynamics, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 12375–12384. [^162]: A. Sengupta, I. Budvytis, R. Cipolla, Hierarchical kinematic probability distributions for 3d human shape and pose estimation from images in the wild, in: Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 11219–11229. [^163]: D. Wang, S. Zhang, 3d human mesh recovery with sequentially global rotation estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14953–14962. [^164]: N. Kolotouros, G. Pavlakos, M. J. Black, K. Daniilidis, Learning to reconstruct 3d human pose and shape via model-fitting in the loop, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 2252–2261. [^165]: Y. Wang, K. Daniilidis, Refit: Recurrent fitting network for 3d human recovery, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14644–14654. ## [^166]: W. Jiang, N. Kolotouros, G. Pavlakos, X. Zhou, K. Daniilidis, Coherent reconstruction of multiple humans from a single image, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. --- 5579-5588. [^167]: M. Madadi, H. Bertiche, S. Escalera, Deep unsupervised 3d human body reconstruction from a sparse set of landmarks, International Journal of Computer Vision 129 (8) (2021) 2499–2512. [^168]: S. Guan, J. Xu, M. Z. He, Y. Wang, B. Ni, X. Yang, Out-of-domain human mesh reconstruction via dynamic bilevel online adaptation, IEEE Transactions on Pattern Analysis and Machine Intelligence 45 (4) (2022) 5070–5086. [^169]: B. Huang, T. Zhang, Y. Wang, Pose2uv: Single-shot multiperson mesh recovery with deep uv prior, IEEE Transactions on Image Processing 31 (2022) 4679–4692. [^170]: J. Li, Z. Yang, X. Wang, J. Ma, C. Zhou, Y. Yang, Jotr: 3d joint contrastive learning with transformers for occluded human mesh recovery, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 9110–9121. [^171]: H. Nam, D. S. Jung, Y. Oh, K. M. Lee, Cyclic test-time adaptation on monocular video for 3d human mesh reconstruction, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14829–14839. [^172]: T. Alldieck, M. Magnor, B. L. Bhatnagar, C. Theobalt, G. Pons-Moll, Learning to reconstruct people in clothing from a single rgb camera, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 1175–1186. [^173]: B. L. Bhatnagar, G. Tiwari, C. Theobalt, G. Pons-Moll, Multi-garment net: Learning to dress 3d people from images, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 5420–5430. [^174]: T. Alldieck, G. Pons-Moll, C. Theobalt, M. Magnor, Tex2shape: Detailed full human body geometry from a single image, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 2293–2303. [^175]: B. Jiang, J. Zhang, Y. Hong, J. Luo, L. Liu, H. Bao, Bcnet: Learning body and cloth shape from a single image, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, Springer, 2020, pp. 18–35. [^176]: M.-P. Forte, P. Kulits, C.-H. P. Huang, V. Choutas, D. Tzionas, K. J. Kuchenbecker, M. J. Black, Reconstructing signing avatars from video using linguistic priors, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 12791–12801. [^177]: B. Zhang, Y. Wang, X. Deng, Y. Zhang, P. Tan, C. Ma, H. Wang, Interacting two-hand 3d pose and shape reconstruction from single color image, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11354–11363. [^178]: Y. Chen, Z. Tu, D. Kang, R. Chen, L. Bao, Z. Zhang, J. Yuan, Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion, IEEE Transactions on Image Processing 30 (2021) 4008–4021. [^179]: M. Hassan, V. Choutas, D. Tzionas, M. J. Black, Resolving 3d human pose ambiguities with 3d scene constraints, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 2282–2292. [^180]: V. Choutas, G. Pavlakos, T. Bolkart, D. Tzionas, M. J. Black, Monocular expressive body regression through body-driven attention, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part X 16, Springer, 2020, pp. 20–40. ## [^181]: Y. Rong, T. Shiratori, H. Joo, Frankmocap: A monocular 3d whole-body --- 基于回归与整合的姿态估计系统，载于：IEEE/CVF 国际计算机视觉会议论文集，2021年，第1749–1759页。 [^182]: Y. Feng, V. Choutas, T. Bolkart, D. Tzionas, M. J. Black, Collaborative regression of expressive bodies using moderation, in: 2021 International Conference on 3D Vision (3DV), IEEE, 2021, pp. 792–804. [^183]: G. Moon, H. Choi, K. M. Lee, Accurate 3d hand pose estimation for whole-body 3d human mesh estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 2308–2317. [^184]: H. Zhang, Y. Tian, Y. Zhang, M. Li, L. An, Z. Sun, Y. Liu, Pymaf-x: Towards well-aligned full-body model regression from monocular images, IEEE Transactions on Pattern Analysis and Machine Intelligence (2023). [^185]: J. Lin, A. Zeng, H. Wang, L. Zhang, Y. Li, One-stage 3d whole-body mesh recovery with component aware transformer, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 21159–21168. [^186]: J. Li, S. Bian, C. Xu, Z. Chen, L. Yang, C. Lu, Hybrik-x: Hybrid analytical-neural inverse kinematics for whole-body mesh recovery, arXiv preprint arXiv:2304.05690 (2023). [^187]: D. Smith, M. Loper, X. Hu, P. Mavroidis, J. Romero, Facsimile: Fast and accurate scans from an image in less than a second, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 5330–5339. [^188]: S. S. Jinka, R. Chacko, A. Sharma, P. Narayanan, Peeledhuman: Robust shape representation for textured 3D human body reconstruction, in: 2020 International Conference on 3D Vision (3DV), IEEE, 2020, pp. 879–888. [^189]: Z. Zhang, L. Sun, Z. Yang, L. Chen, Y. Yang, Global-correlated 3d-decoupling transformer for clothed avatar reconstruction, arXiv preprint arXiv:2309.13524 (2023). [^190]: Y. Xue, B. L. Bhatnagar, R. Marin, N. Sarafianos, Y. Xu, G. Pons-Moll, T. Tung, Nsf: Neural surface fields for human modeling from monocular depth, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 15049–15060. [^191]: E. Gärtner, M. Andriluka, E. Coumans, C. Sminchisescu, Differentiable dynamics for articulated 3d human motion reconstruction, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 13190–13200. [^192]: Z. Dong, X. Chen, J. Yang, M. J. Black, O. Hilliges, A. Geiger, Ag3d: Learning to generate 3d avatars from 2d image collections, arXiv preprint arXiv:2305.02312 (2023). [^193]: S. Saito, Z. Huang, R. Natsume, S. Morishima, A. Kanazawa, H. Li, Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 2304–2314. [^194]: S. Saito, T. Simon, J. Saragih, H. Joo, Pifuhd: Multi-level pixel-aligned implicit function for high-resolution 3d human digitization, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 84–93. [^195]: Z. Huang, Y. Xu, C. Lassner, H. Li, T. Tung, Arch: Animatable reconstruction of clothed humans, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 3093–3102. ## [^196]: T. He, Y. Xu, S. Saito, S. Soatto, T. Tung, Arch++: Animation-ready clothed human reconstruction revisited, in: Proceedings of the IEEE/CVF international --- 计算机视觉会议，2021年，第11046–11056页。 [^197]: T. Liao, X. Zhang, Y. Xiu, H. Yi, X. Liu, G.-J. Qi, Y. Zhang, X. Wang, X. Zhu, Z. Lei, High-fidelity clothed avatar reconstruction from a single image, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 8662–8672. [^198]: T. He, J. Collomosse, H. Jin, S. Soatto, Geo-pifu: Geometry and pixel aligned implicit functions for single-view human reconstruction, Advances in Neural Information Processing Systems 33 (2020) 9276–9287. [^199]: S. Peng, Y. Zhang, Y. Xu, Q. Wang, Q. Shuai, H. Bao, X. Zhou, Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 9054–9063. [^200]: Y. Zhang, P. Ji, A. Wang, J. Mei, A. Kortylewski, A. Yuille, 3d-aware neural body fitting for occlusion robust 3d human pose estimation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 9399–9410. [^201]: X. Gao, J. Yang, J. Kim, S. Peng, Z. Liu, X. Tong, Mps-nerf: Generalizable 3d human rendering from multiview images, IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). [^202]: L. G. Foo, J. Gong, H. Rahmani, J. Liu, Distribution-aligned diffusion for human mesh recovery, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 9221–9232. [^203]: H. Zhu, X. Zuo, S. Wang, X. Cao, R. Yang, Detailed human shape estimation from a single image by hierarchical mesh deformation, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 4491–4500. [^204]: B. L. Bhatnagar, C. Sminchisescu, C. Theobalt, G. Pons-Moll, Combining implicit function learning and parametric models for 3d human reconstruction, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part II 16, Springer, 2020, pp. 311–329. [^205]: H. Zhu, X. Zuo, H. Yang, S. Wang, X. Cao, R. Yang, Detailed avatar recovery from single image, IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (11) (2021) 7363–7379. [^206]: Y. Xiu, J. Yang, D. Tzionas, M. J. Black, Icon: Implicit clothed humans obtained from normals, in: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2022, pp. 13286–13296. [^207]: Y. Xiu, J. Yang, X. Cao, D. Tzionas, M. J. Black, Econ: Explicit clothed humans optimized via normal integration, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 512–523. [^208]: X. Zhang, J. Zhang, R. Chacko, H. Xu, G. Song, Y. Yang, J. Feng, Getavatar: Generative textured meshes for animatable human avatars, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 2273–2282. [^209]: D. Svitov, D. Gudkov, R. Bashirov, V. Lempitsky, Dinar: Diffusion inpainting of neural textures for one-shot human avatars, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 7062–7072. ## [^210]: X. Pan, Z. Yang, J. Ma, C. Zhou, Y. Yang, Transhuman: A transformer-based human representation for generalizable neural human rendering, in: Proceedings of the IEEE/CVF International conference on computer vision, 2023, pp. 3544–3555. --- [^211]: Y. Liu, X. Huang, M. Qin, Q. Lin, H. Wang, Animatable 3d gaussian: Fast and high-quality reconstruction of multiple human avatars, arXiv preprint arXiv:2311.16482 (2023). [^212]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin, Attention is all you need, Advances in neural information processing systems 30 (2017). [^213]: J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, Bert: Pre-training of deep bidirectional transformers for language understanding, arXiv preprint arXiv:1810.04805 (2018). [^214]: T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al., Language models are few-shot learners, Advances in neural information processing systems 33 (2020) 1877–1901. [^215]: Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, B. Guo, Swin transformer: Hierarchical vision transformer using shifted windows, in: Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 10012–10022. [^216]: Y. Xu, S.-C. Zhu, T. Tung, Denserac: Joint 3d pose and shape estimation by dense render-and-compare, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 7760–7770. [^217]: S. Guan, J. Xu, Y. Wang, B. Ni, X. Yang, Bilevel online adaptation for out-of-domain human mesh reconstruction, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 10472–10481. [^218]: H. Zhang, Y. Tian, X. Zhou, W. Ouyang, Y. Liu, L. Wang, Z. Sun, Pymaf: 3d human pose and shape regression with pyramidal mesh alignment feedback loop, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11446–11456. [^219]: B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, R. Ng, Nerf: Representing scenes as neural radiance fields for view synthesis, Communications of the ACM 65 (1) (2021) 99–106. [^220]: B. Kerbl, G. Kopanas, T. Leimkühler, G. Drettakis, 3d gaussian splatting for real-time radiance field rendering, ACM Transactions on Graphics 42 (4) (2023). [^221]: C. Yan, D. Qu, D. Wang, D. Xu, Z. Wang, B. Zhao, X. Li, Gs-slam: Dense visual slam with 3d gaussian splatting, arXiv preprint arXiv:2311.11700 (2023). [^222]: X. Liu, X. Zhan, J. Tang, Y. Shan, G. Zeng, D. Lin, X. Liu, Z. Liu, Humangaussian: Text-driven 3d human generation with gaussian splatting, arXiv preprint arXiv:2311.17061 (2023). [^223]: G. Wu, T. Yi, J. Fang, L. Xie, X. Zhang, W. Wei, W. Liu, Q. Tian, X. Wang, 4d gaussian splatting for real-time dynamic scene rendering, arXiv preprint arXiv:2310.08528 (2023). [^224]: Z. Chen, F. Wang, H. Liu, Text-to-3d using gaussian splatting, arXiv preprint arXiv:2309.16585 (2023). [^225]: C. Ionescu, D. Papava, V. Olaru, C. Sminchisescu, Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments, IEEE Transactions on Pattern Analysis and Machine Intelligence 36 (7) (2014) 1325–1339. doi:10.1109/TPAMI.2013.248. [^226]: Y. Yang, D. Ramanan, Articulated human detection with flexible mixtures of parts, IEEE Transactions on Pattern Analysis and Machine Intelligence 35 (12) (2013) 2878–2890. doi:10.1109/TPAMI.2012.261. 227] T. Von Marcard、R. Henschel、M. J. Black、B. Rosenhahn、G. Pons-Moll，重- --- 建利用IMU和移动相机恢复野外场景下的精准三维人体姿态，载于：欧洲计算机视觉会议（ECCV）论文集，2018年，第601–617页。 [^228]: D. Mehta, H. Rhodin, D. Casas, P. Fua, O. Sotnychenko, W. Xu, C. Theobalt, Monocular 3d human pose estimation in the wild using improved cnn supervision, in: 2017 international conference on 3D vision (3DV), IEEE, 2017, pp. 506–516. [^229]: L. Sigal, A. O. Balan, M. J. Black, Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion, International journal of computer vision 87 (1-2) (2010) 4. [^230]: H. Joo, H. Liu, L. Tan, L. Gui, B. Nabbe, I. Matthews, T. Kanade, S. Nobuhara, Y. Sheikh, Panoptic studio: A massively multiview system for social motion capture, in: Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015. [^231]: G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev, C. Schmid, Learning from synthetic humans, in: Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 109–117. [^232]: L. Muller, A. A. Osman, S. Tang, C.-H. P. Huang, M. J. Black, On self-contact and human pose, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 9990–9999. [^233]: N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, M. J. Black, Amass: Archive of motion capture as surface shapes, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 5442–5451. [^234]: R. A. Güler, N. Neverova, I. Kokkinos, Densepose: Dense human pose estimation in the wild, in: Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 7297–7306. [^235]: C. Lassner, J. Romero, M. Kiefel, F. Bogo, M. J. Black, P. V. Gehler, Unite the people: Closing the loop between 3d and 2d human representations, in: Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 6050–6059. [^236]: Z. Zheng, T. Yu, Y. Wei, Q. Dai, Y. Liu, Deephuman: 3d human reconstruction from a single image, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 7739–7749. [^237]: W. Zhao, W. Wang, Y. Tian, Graformer: Graph-oriented transformer for 3d pose estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 20438–20447. [^238]: B. X. Yu, Z. Zhang, Y. Liu, S.-h. Zhong, Y. Liu, C. W. Chen, Gla-gn: Global-local adaptive graph convolutional network for 3d human pose estimation from monocular video, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 8818–8829. [^239]: H. Ci, M. Wu, W. Zhu, X. Ma, H. Dong, F. Zhong, Y. Wang, Gfpose: Learning 3d human pose prior with gradient fields, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 4800–4810. [^240]: K. Lee, W. Kim, S. Lee, From human pose similarity metric to 3d human pose estimator: Temporal propagating lstm networks, IEEE transactions on pattern analysis and machine intelligence 45 (2) (2022) 1781–1797. [^241]: A. Zeng, X. Ju, L. Yang, R. Gao, X. Zhu, B. Dai, Q. Xu, Deciwatch: A simple baseline for $10\times$ efficient 2d and 3d pose estimation, in: European Conference on Computer Vision, Springer, 2022, pp. 607–624. ## [^242]: J. Gong, L. G. Foo, Z. Fan, Q. Ke, H. Rahmani, J. Liu, Diffpose: Toward more --- 可靠三维姿态估计，载于：IEEE/CVF 计算机视觉与模式识别会议论文集，2023年，第13041–13051页。 [^243]: K. Holmquist, B. Wandt, Diffpose: Multi-hypothesis human pose estimation using diffusion models, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 15977–15987. [^244]: X. Ma, J. Su, C. Wang, W. Zhu, Y. Wang, 3d human mesh estimation from virtual markers, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 534–543. [^245]: J. Kim, M.-G. Gwon, H. Park, H. Kwon, G.-M. Um, W. Kim, Sampling is matter: Point-guided 3d human mesh reconstruction, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 12880–12889. [^246]: K. Shetty, A. Birkhold, S. Jaganathan, N. Strobel, M. Kowarschik, A. Maier, B. Egger, Plik: A pseudo-linear inverse kinematic solver for 3d human body estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 574–584. [^247]: Q. Fang, K. Chen, Y. Fan, Q. Shuai, J. Li, W. Zhang, Learning analytical posterior probability for human mesh recovery, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 8781–8791. [^248]: C. Zheng, X. Liu, G.-J. Qi, C. Chen, Potter: Pooling attention transformer for efficient human mesh recovery, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 1611–1620. [^249]: Q. Liu, A. Kortylewski, A. L. Yuille, Poseexaminer: Automated testing of out-of-distribution robustness in human pose and shape estimation, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 672–681. [^250]: H. Cho, Y. Cho, J. Ahn, J. Kim, Implicit 3d human mesh recovery using consistency with pose and shape from unseen-view, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 21148–21158. [^251]: T. Simon, H. Joo, I. Matthews, Y. Sheikh, Hand keypoint detection in single images using multiview bootstrapping, in: Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2017, pp. 1145–1153. [^252]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, C. L. Zitnick, Microsoft coco: Common objects in context, in: Computer Vision—ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, Springer, 2014, pp. 740–755. [^253]: K. Aberman, P. Li, D. Lischinski, O. Sorkine-Hornung, D. Cohen-Or, B. Chen, Skeleton-aware networks for deep motion retargeting, ACM Transactions on Graphics (TOG) 39 (4) (2020) 62–1. [^254]: Z. Yang, W. Zhu, W. Wu, C. Qian, Q. Zhou, B. Zhou, C. C. Loy, Transmomo: Invariance-driven unsupervised video motion retargeting, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 5306–5315. [^255]: W.-Y. Yu, L.-M. Po, R. C. Cheung, Y. Zhao, Y. Xue, K. Li, Bidirectionally deformable motion modulation for video-based human pose transfer, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 7502–7512. ## [^256]: T. L. Gomes, R. Martins, J. Ferreira, R. Azevedo, G. Torres, E. R. Nascimento, A shape-aware retargeting approach to transfer human motion and appearance --- 针对单目视频中的研究，《国际计算机视觉杂志》129 (7) (2021)：2057–2075。 [^257]: W. Zhu, Z. Yang, Z. Di, W. Wu, Y. Wang, C. C. Loy, Mocanet: Motion retargeting in-the-wild via canonicalization networks, in: Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36, 2022, pp. 3617–3625. [^258]: L. Mo, H. Li, C. Zou, Y. Zhang, M. Yang, Y. Yang, M. Tan, Towards accurate facial motion retargeting with identity-consistent and expression-exclusive constraints, in: Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36, 2022, pp. 1981–1989. [^259]: X. Chen, M. Mihajlovic, S. Wang, S. Prokudin, S. Tang, Morphable diffusion: 3d-consistent diffusion for single-image avatar creation, arXiv preprint arXiv:2401.04728 (2024). [^260]: Z. Su, L. Hu, S. Lin, H. Zhang, S. Zhang, J. Thies, Y. Liu, Caphy: Capturing physical properties for animatable human avatars, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14150–14160. [^261]: Z. Luo, J. Cao, K. Kitani, W. Xu, et al., Perpetual humanoid control for real-time simulated avatars, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 10895–10904. [^262]: H. Yang, D. Yan, L. Zhang, Y. Sun, D. Li, S. J. Maybank, Feedback graph convolutional network for skeleton-based action recognition, IEEE Transactions on Image Processing 31 (2021) 164–175. [^263]: V. Mazzia, S. Angarano, F. Salvetti, F. Angelini, M. Chiaberge, Action transformer: A self-attention model for short-time pose-based human action recognition, Pattern Recognition 124 (2022) 108487. [^264]: Z. Lu, H. Wang, Z. Chang, G. Yang, H. P. Shum, Hard no-box adversarial attack on skeleton-based human action recognition with skeleton-motion-informed gradient, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 4597–4606. [^265]: C. Bian, W. Feng, L. Wan, S. Wang, Structural knowledge distillation for efficient skeleton-based action recognition, IEEE Transactions on Image Processing 30 (2021) 2963–2976. [^266]: D. C. Luvizon, D. Picard, H. Tabia, Multi-task deep learning for real-time 3d human pose estimation and action recognition, IEEE transactions on pattern analysis and machine intelligence 43 (8) (2020) 2752–2764. [^267]: Q. Bao, W. Liu, Y. Cheng, B. Zhou, T. Mei, Pose-guided tracking-by-detection: Robust multi-person pose tracking, IEEE Transactions on Multimedia 23 (2020) 161–175. [^268]: N. D. Reddy, L. Guigues, L. Pishchulin, J. Eledath, S. G. Narasimhan, Tessetrack: End-to-end learnable multi-person articulated 3d pose tracking, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 15190–15200. [^269]: S. Goel, G. Pavlakos, J. Rajasegaran, A. Kanazawa, J. Malik, Humans in 4d: Reconstructing and tracking humans with transformers, arXiv preprint arXiv:2305.20091 (2023). [^270]: Y. Sun, Q. Bao, W. Liu, T. Mei, M. J. Black, Trace: 5d temporal regression of avatars with dynamic cameras in 3d environments, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 8856–8866. ## [^271]: Y. Dai, C. Wen, H. Wu, Y. Guo, L. Chen, C. Wang, Indoor 3d human trajectory --- 利用监控摄像头视频与点云的重建，IEEE 汇刊- [^272]: M. Kocabas, Y. Yuan, P. Molchanov, Y. Guo, M. J. Black, O. Hilliges, J. Kautz, U. Iqbal, Pace: Human and camera motion estimation from in-the-wild videos, arXiv preprint arXiv:2310.13768 (2023). [^273]: A. Habibian, D. Abati, T. S. Cohen, B. E. Bejnordi, Skip-convolutions for efficient video processing, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 2695–2704. [^274]: Y. Tay, M. Dehghani, D. Bahri, D. Metzler, Efficient transformers: A survey, ACM Computing Surveys 55 (6) (2022) 1–28. [^275]: L. G. Foo, J. Gong, Z. Fan, J. Liu, System-status-aware adaptive network for online streaming video understanding, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 10514–10523. [^276]: R. Anil, A. M. Dai, O. Firat, M. Johnson, D. Lepikhin, A. Passos, S. Shakeri, E. Taropa, P. Bailey, Z. Chen, et al., Palm 2 technical report, arXiv preprint arXiv:2305.10403 (2023). [^277]: J. Achiam, S. Adler, S. Agarwal, L. Ahmad, I. Akkaya, F. L. Aleman, D. Almeida, J. Altenschmidt, S. Altman, S. Anadkat, et al., Gpt-4 technical report, arXiv preprint arXiv:2303.08774 (2023). [^278]: A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A.C. Berg, W.-Y. Lo, et al., Segment anything, arXiv preprint arXiv:2304.02643 (2023). [^279]: J. Yang, M. Gao, Z. Li, S. Gao, F. Wang, F. Zheng, Track anything: Segment anything meets videos, arXiv preprint arXiv:2304.11968 (2023). [^280]: Y. Ci, Y. Wang, M. Chen, S. Tang, L. Bai, F. Zhu, R. Zhao, F. Yu, D. Qi, W. Ouyang, Unihcp: A unified model for human-centric perceptions, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 17840–17852. [^281]: Y. Feng, J. Lin, S. K. Dwivedi, Y. Sun, P. Patel, M. J. Black, Posegpt: Chatting about 3d human pose, arXiv preprint arXiv:2311.18836 (2023). [^282]: H. Yi, C.-H. P. Huang, D. Tzionas, M. Kocabas, M. Hassan, S. Tang, J. Thies, M. J. Black, Human-aware object placement for visual environment reconstruction, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 3959–3970. [^283]: R. Jiang, C. Wang, J. Zhang, M. Chai, M. He, D. Chen, J. Liao, Avatarcraft: Transforming text into neural human avatars with parameterized shape and pose control, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14371–14382.