Figure 1. Difference between (a) traditional human pose estimation [^27] and (b) egocentric human pose estimation [^61]
估计方法的综合性调查。这种缺失凸显了现有研究中的一个重要空白，尽管该领域越来越受到关注和发展。
在本调查中，我们旨在探讨 3D 自视角人体姿态估计的各个方面，首先在第 2 节中描述常用的数据集。接下来，在第 3 节中，我们探讨不同的自视角估计方法，根据输出生成方式将它们分为两类：基于骨骼的方法和基于人体形状的方法。骨骼方法探索了各种主要基于回归（估计 3D 关节坐标）和热图（估计 2D 热图）的方法。另一方面，基于人体形状的方法主要使用不同的形状恢复方法生成人体模型。此外，我们对自视角姿态估计模型进行了全面的评估，展示了第 4 节中的各种评估指标，并在第 5 节中对最先进方法的性能在主要数据集上的分析。最后，我们在第 6 节总结了本调查，并提出了自视角 3D 人体姿态估计的未来研究方向。
### 2. 数据集
大规模数据集是可视化和分析计算机视觉问题的关键因素之一。虽然像 MPII [^6] 和 Human3.6M [^26] 这样的基准数据集存在于传统的姿态估计中，但对于自视角姿态估计的基准数据集存在显著的差距。图 2 显示了 4 个不同数据集的样本图像。表 1 总结了 9 个自视角姿态估计数据集的关键特征，并在下面的文本中提供了更多详细信息。
EgoCap [^51] 提出了一种使用无标记运动捕捉系统创建大型训练数据集的方法。他们利用八个固定摄像头来估计 3D 骨骼运动。他们将这些运动投影到安装在头部摄像头的图像上，增强了数据集，包括背景替换、服装颜色变化和模拟光照变化。训练集包括来自六个受试者的 75,000 个带注释的图像，以及来自两个额外受试者的 25,000 个图像，用于验证。
$Mo^{2}Cap^{2}$ 数据集 [^68] 旨在解决获取标注的三维姿态数据的难题，并引入了一种无标记的多视角运动捕捉技术。为了应对获取多样化以自我为中心的训练样本所需的时间，该数据集包含一个从以自我为中心的鱼眼视图生成的合成训练语料库。该数据集基于 SURREAL 数据集 [^63]，提供了 53 万张具有 2D 和 3D 关节位置地面真实标注的逼真训练图像。
xr-EgoPose [^60] 包含 383,000 帧，展示了具有丰富多样性的肤色、体型、服装风格的个体，背景和光照条件各不相同。场景是从动作捕捉数据随机生成的，具有逼真的身体类型，如瘦小到高大，以及从浅色到深色的肤色。为了追求逼真效果，该合成数据集是通过 Maya 动画和 V-Ray 的物理渲染设置创建的。
(a) Dataset setup for UnrealEgo [^3]: Left image shows a glass equipped with two fisheye cameras. The middle image provides a third-person perspective of the person, offering context to the scene. The right image depicts the egocentric view of the person.
(b) Sample image from EgoPW [^66] dataset visualizing egocentric view on the left image and exocentric view on the right image.
(c) Sample image from EgoGTA [^67] dataset.
(d) Sample image from Wang et al.'s [^64] dataset.
Figure 2. Sample images from different datasets used for egocentric human pose estimation.
---
| Dataset | Year | No. of Images | No. of Subjects / Actions | Characteristics | Dataset Website |
| EgoCap [^51] | 2016 | 100,000 | 8 subjects | marker-less motion capture system; annotated. | Link |
| $Mo^{2}Cap^{2}$ [^68] | 2019 | 530,000 | 3000 actions | annotated; 700 different body textures. | Link |
| xr-EgoPose [^60] | 2019 | 383,000 | 23 male and 23 female subjects; 9 actions | synthetic; scene is generated from randomized characters, environments, lighting rigs and animation. | Link |
| EgoBody [^74] | 2022 | 219,731 | 15 indoor scenes; 36 subjects | two subjects (camera wearer and interactee) involved in different interaction scenarios. | Link |
| EgoPW [^66] | 2022 | 318,000 | 10 subjects; 20 actions | in-the-wild real data; 20 different clothing styles. | Link |
| UnrealEgo [^3] | 2022 | 900,000 | 17 subjects; 30 actions | 450k in-the-wild stereo views; Motions, 3D environments, spawning human characters. | Link |
| EgoGTA [^67] | 2023 | 320,000 | 101 different actions | synthetic; based on GTA-IM containing different daily motions and scene geometry. | Link |
| ECHP [^39] | 2023 | 30 video sequences; 75,000 frames | 9 subjects; 10 daily actions | indoor and outdoor; real-world data. | Link |
| Ego-Exo4D [^18] | 2023 | 5625 video sequences; 1422 hours | 839 subjects; 43 actions | 131 different scenes in 13 different cities; comprises skilled human activities (e.g., sports, music, dance, bike repair). | Link |
Table 1. Popular datasets for egocentric 3D human pose estimation.
EgoBody [^74] 使用 Microsoft HoloLens2 头戴设备捕捉双人互动。它提供同步的多模态数据，包括 RGB、深度、头部、手部和眼动轨迹。该数据集包含来自 36 名受试者的 125 个序列，分布在 15 个场景中，提供准确的 3D 人体形状、姿势和运动的真实标注。该数据集旨在探索人类注意力、互动和运动之间的关系，克服先前数据集的局限性，并促进社会学和人机交互研究。
EgoPW [^66] 数据集是第一个在野外环境中捕捉的人体表现数据集，它使用同步的个人中心和外部摄像头。它包含 10 名演员、20 种服装风格和 20 种动作，共 318,000 帧，组织成 97 个序列，并带有 3D 姿势作为伪标签。
UnrealEgo 数据集 [^3] 引入了具有 17 种不同 3D 模型和 14 个环境的强大个人中心 3D 人体运动捕捉技术，包含超过 45,000 个动作。它具有立体鱼眼图像和深度图，可以捕捉到复杂的活动，如踢腿和后空翻。该数据集包含 450,000 个野外立体视图，包含元数据，如 3D 关节位置和相机详细信息，与 xR-EgoPose [^60] 相比，它展示了更广泛的关节位置分布。他们随后发布了 UnrealEgo2 和 UnrealEgo-RW 数据集 [^4]，这些数据集提供了更多具有不同人体动作的视图。
EgoGTA [^67] 数据集由 320,000 帧组成，包含 101 个序列，具有不同的人体纹理，它利用 GTA-IM [^9] 中多样化的日常动作和真实场景几何形状。该方法涉及将 SMPL-X [^50] 模型拟合到来自 GTA-IM [^9] 的 3D 关节轨迹，然后将虚拟鱼眼相机附加到前额，以生成带有和不带人体合成图像、语义标签和深度图。
ECHP [^39] 数据集包含 65,000 个训练图像、10,000 个验证图像和一个测试集，该测试集包含个人中心图像和来自 VICON 运动捕捉的 3D 真实标注。个人中心姿势是使用 OpenPose [^10] 和人体分割提取的。校准和 Aruco 标记 [^17] 用于获取个人中心相机姿态。该数据集包含 30 个序列，9 名受试者、20 种纹理和 10 种动作，分布在各种室内/室外场景中。测试集提供了泛化能力，使用了 4 名未见过的受试者和 17,000 个真实标注帧。
Ego-Exo4D [^18] 是一套开创性的多模态数据集和基准测试，它提供了最大的公开的、时间同步的第一人称和第三人称视频集合，由 839 名个体在 13 个城市、131 个场景中拍摄。它包含 1422 小时的视频，包括第一人称和多个同步的第三人称视图。EgoPose 基准测试的重点是从第一人称视频中恢复 3D 身体和手部动作。该任务是估计 17 个 3D 身体关节位置和 21 个 3D 关节位置（每个手），遵循 MS COCO 约定。
### 3. 3D 第一人称姿态估计方法
在对第一人称姿态估计进行了广泛的文献调研后，本节讨论了大约 35 种流行的技术，并将它们分为两类：骨架法和基于身体形状的方法。基于骨架的 3D 姿态估计方法 [^49] [^56] [^57] 利用人体骨架表示来准确跟踪和推断 3D 关节位置和身体运动。基于人体形状的方法 [^8] [^23] [^73] 使用参数模型，例如 SMPL [^41] 和 SMPL-X [^50]，来准确估计 3D 关节位置和身体形状。检索人体网格对于支持后续任务至关重要，例如重建穿着的人 [^70] [^79]、渲染 [^22] 和建模头像 [^24] [^80]。以下子部分详细介绍了每类中的不同方法。我们根据一些重要特征进一步将方法划分为子类，如粗体所示。
#### 3.1. 基于骨架的方法
在本节中，我们提供了有关基于骨架的第一人称姿态估计方法的详细信息。表 2 简要概述了 17 种此类基于骨架的方法。
Rhodin 等人 [^51] 提出了一种无标记自中心动作捕捉系统，使用嵌入在头盔或 VR 头显中的鱼眼相机。该方法采用了搭配基于卷积网络的身体部位检测器的生成式姿态估计框架，非常适合需要自然运-
---
| Skeletal based Methods | Year | Highlighted Characteristics | Dataset | Limitations | Code/Project Website Link |
| Egocap [^51] | 2016 | First marker-less motion capture system; utilized pose estimation framework for fisheye views with a ConvNet based body-part detector. | EgoCap | No real-time prototype. | Project |
| Jiang et al. [^28] | 2017 | Leveraged dynamic motion signatures and static scene structures to infer the invisible pose efficiently. | custom Kinect V2 dataset | Ambiguity in egocentric inputs due to unpredictable arm poses. | - |
| $Mo^{2}Cap^{2}$ [^68] | 2019 | Real-time; disentangled 3D pose estimation, addressed 2D joint detection, camera-to-joint distances, and joint position recovery for accurate results and a precise 2D overlay. | $Mo^{2}Cap^{2}$ | Scenes with severe occlusions. | Project |
| xr-EgoPose [^60] | 2019 | Encoder-decoder model for VR headset images, addressing resolution differences in upper and lower body poses, with a dual-branch decoder preserving uncertainty information. | xR-EgoPose | Scenes with extreme occlusions and out-of-field view. | Code |
| You2Me [^46] | 2020 | Inferred robust poses by incorporating static scene features, explicit second-person body interactions and utilizing dyadic interactions and dynamic first-person motion features. | You2Me | Scenerios where camera wearer is crouched and camera points towards the floor. | Code |
| EgoGlass [^77] | 2021 | Utilized body part information for low-visible joints and tackling self-occlusion by preserving uncertainty information. | EgoGlass | Lower body estimation produces larger errors. | - |
| Zhang et al. [^76] | 2021 | Implemented auto-calibration module with self-correction for fisheye cameras to rectify image distortions, ensuring alignment between 3D predictions and distorted 2D poses. | xR-EgoPose | Not evaluated in real-world setting. | - |
| Wang et al. [^64] | 2021 | Spatio-temporal optimization framework that combines 2D and 3D keypoints, VAE-based motion priors and SLAM-based camera pose estimation for stable global body pose estimation. | $Mo^{2}Cap^{2}$, AMASS | Not evaluated in real-world setting. | Project |
| Wang et al. [^66] | 2022 | Implemented weak supervision with spatio-temporal optimization and synthetic data with domain adaptation for better egocentric pose estimation. | EgoPW | Accuracy of pseudo labels constrained by in-the-wild capture system. | - |
| Akada et al. [^3] | 2022 | Enhances 3D pose estimation by integrating a stereo-based 2D joint location estimation module with weight-sharing encoders and a multi-branch autoencoder for uncertainty capture. | UnrealEgo | Occlusions and complex motions scenerios. | Project |
| Ego+X [^38] | 2022 | Dual-camera framework for 3D global pose estimation and social interaction characterization, leveraging visual SLAM and a Pose Refine Module (PRM) for spatial and temporal accuracy and characterizes social interactions based on global 3D poses. | ECHA | Camera localization robustness limited; temporal smoothing effectiveness not fully evaluated. | - |
| Wang et al. [^67] | 2023 | First egocentric pose estimation framework, integrating depth estimation for occlusion handling in close interactions. | EgoGTA, EgoPW-Scene | Accuracy is constrained by depth estimation where scene is occluded by body. | Project |
| EgoFish3D [^39] | 2023 | A self-supervised framework for egocentric 3D pose estimation, utilizing real-world data with three key modules: third person view, egocentric, and interactive modules, achieving accurate results without the need for ground truth annotations. | ECHP | Overlooked the significance of the perspective factor, which can convey valuable information about the 3D effect intensity. | - |
| Ego3DPose [^33] | 2023 | A stereo matcher network and perspective embedding heatmap representation, independent learning of stereo correspondences and leveraging 3D perspective information. | UnrealEgo | Scenes with occlusions, distortions and real-world setting. | Code |
| Ego-STAN [^48] | 2023 | Tackles fisheye distortion and self-occlusions in egocentric human pose estimation through a domain-guided spatio-temporal transformer, using 2D image representations, feature map tokens, and 3D pose estimation for accurate joint localization and uncertainty management. | xr-EgoPose | Scenes in real-world setting. | - |
| Dhamanaskar et al. [^13] | 2023 | Utilized third-person view information, creating a self-supervised neural network that establishes a shared space for consistent 3D body pose detection across diverse video settings, ensuring adaptability to real-world scenarios with unknown camera configurations. | First2Third-Pose | Evaluation limited to two datasets; broader assessment needed for generalization. | Code |
| EgoFormer [^36] | 2023 | Leveraged video context and establishing long-term temporal relationships. It addresses ambiguity in first-person videos, surpassing dynamic features, and introduces a novel motion clue representation for enhanced accuracy. | CMU Mocap [^1] | Lack of real-world testing and limited model comparisons. | - |
Table 2. Popular skeletal based egocentric 3D pose estimation methods.
动与交互。然而，该方法无法实现实时性能。为解决这一问题，$\mathrm{Mo}^{2}\mathrm{Cap}^{2}$ [^68] 使用双尺度位置不变卷积网络检测二维关节，可适配透视畸变和径向畸变。它使用位置敏感距离模块估计相机到关节的绝对距离，随后通过对二维检测结果进行反投影来恢复关节的实际位置。但该方法在存在严重遮挡的场景中表现不佳。
EgoGlass [^77] 通过利用人体部位信息来提高姿态检测的准确性，从而解决遮挡问题。2D 模块包含用于热图和人体部位预测的分支，而 3D 模块采用伪肢体遮挡处理方法，以处理现实世界图像中的遮挡。该模块还充当关节热图的自编码器，增强了 3D 身体姿态估计，并捕获了多个视图中 2D 预测的不确定性。[^67] 引入了一个以自我为中心的深度估计网络，用于使用广角以自我为中心的鱼眼相机预测人体后方的场景深度图，通过深度补全网络解决由人体引起的遮挡。此外，还提出了一个场景感知的姿态估计网络，用于 3D 姿态回归。[^25] 使用向量量化变分自编码器 (VQ-VAE) 来预测和优化人体姿态，解决了目标检测的挑战。
---
scured lower body appearance. xR-EgoPose [^60] 和 Self-Pose [^61] 使用了一种编码器-解码器架构，旨在提高从通过 VR 头盔摄像头获取的单目图像中捕获上半身和下半身姿势的准确性。[^60] 采用双分支解码器来解决上半身和下半身之间的分辨率差异。它通过首先生成 2D 热图，然后使用自编码器进行 3D 姿势回归，来处理 2D 关节位置的不确定性。
为了解决视野范围外的问题，[^28] 开发了一种方法，旨在利用动态运动特征和静态场景结构来推断受主视角视频中人物不可见姿势。该方法通过结合短期和长期姿势动态，使用分类器来估计姿势概率，并对较长的序列进行联合推断。他们通过使用来自摄像头 SLAM 的动态运动信息以及偶尔可见的身体部位，扩展了该想法 [^29]，以实现鲁棒的自视角姿势估计，确保几何一致性。EgoTAP [^32] 通过引入网格 ViT 热图编码器和传播网络，解决了立体自视角 3D 姿势估计中不可见肢体和自遮挡的问题。网格 ViT 能够有效地总结关节热图，从而保留空间关系。传播网络利用骨骼信息来预测 3D 姿势，从而提高可见和不太可见关节的准确性。
为了减少来自第一人称视角的真实世界数据集的稀缺性，[^66] 提出使用来自外部视角的弱监督方法。该方法利用时空优化来生成 EgoPW 数据集中帧的准确 3D 姿态，并将其用作训练第一人称姿态估计网络的标签。它还结合了合成数据集，并采用领域自适应来弥补合成数据和真实数据之间的差距。[^3] 提出了一种在不受约束的环境中进行第一人称姿态估计的解决方案。它使用 2D 关节位置估计模块来处理立体输入，通过使用权重共享的编码器和利用立体信息的解码器来提高性能。3D 模块由一个多分支自编码器组成，用于预测 2D 热图以生成 3D 姿态，并重建热图以捕获不确定性。
透视失真会导致诸如尺度变化、深度歧义和视野限制等问题。为了解决这个问题，Ego3DPose [^33] 引入了一个立体匹配网络，该网络独立学习立体对应关系，并预测每个肢体的明确 3D 方向，从而避免对全身信息的依赖。此外，还引入了一种透视嵌入热图表示，允许 2D 模块提取和利用 3D 透视信息。[^48] 通过利用领域引导的时空 Transformer 模型 Ego-STAN，解决了鱼眼失真和自遮挡的挑战。它利用 2D 图像表示和时空注意力来减轻失真，并准确估计严重遮挡的关节的位置。[^76] 采用带有自校正的自动校准模块，以减轻图像失真对 3D 姿态估计的影响。与传统的后处理步骤不同，该模块确保 3D 预测与失真的 2D 姿态之间的一致性。
当预测的姿态位于鱼眼相机的局部坐标系而不是全局坐标系时，可能会导致时间不稳定等问题。为了解决这个问题，[^64] 提出了一种用于自视角视频中精确且稳定全局身体姿态估计的方法。它利用 CNN 检测到的 2D 和 3D 关键点、基于 VAE 的运动先验和基于 SLAM 的相机姿态估计。这种方法有效地解决了诸如时间抖动和跟踪失败等问题，显着提高了获得连贯身体姿态的准确性和稳定性。Ego+X [^38] 提出了一种使用两个相机的框架，用于 3D 全局姿态估计和社会互动特征。Ego-Glo 模块使用双分支网络和视觉 SLAM 来解决空间和时间误差。此外，EgoSoc 模块基于全局 3D 人体姿态，执行自视角社会互动特征，包括物体检测和人与人之间的互动。
使用动作捕捉系统生成 3D 真实数据是一项繁琐的任务。为了缓解这个问题，EgoFish3D [^39] 提出了三个模块：一个第三方视角模块，从外部相机图像生成准确的 3D 姿态；一个自视角模块，通过自监督学习从单个鱼眼图像预测 3D 姿态；以及一个交互模块，估计第三方视角和自视角之间的旋转差异。该方法实现了无需地面真实标注的自监督自视角 3D 姿态估计，并利用了一个具有同步第三方视角和自视角图像的真实数据集 (ECHP)。连接第一人称和第三人称视角 [^37] [^53] [^69] 在更好地理解佩戴者的动作和姿势方面起着至关重要的作用。[^12] 使用来自配对的第三方视频的视觉信息来创建一个共享空间，其中同一姿势的不同视图彼此靠近。他们训练了一个特殊的神经网络来学习这个共享空间，教会它区分两个视图是否显示相同的 3D 骨架。
EgoFormer [^36], 是一种基于 Transformer 的模型，用于在增强现实 (AR) 和虚拟现实 (VR) 应用程序中进行自我姿态估计。它通过利用视频上下文并建立长期时间关系，解决了第一人称视频中的歧义问题。它提取有效的时序特征、动态特征，并引入了一种新的表示方法来捕捉运动线索。You2Me [^46] 解决了估计佩戴相机的人的 3D 身体姿势的挑战，该方法利用与可见第二人的交互。关键的见解是，个体之间的双向交互有助于学习用于互联姿势的时间模型，即使一个人很大程度上不在视野范围内。该方法结合了动态的第一人称运动特征、静态的第一人称场景特征以及第二人的身体姿势交互特征，以显式地考虑相机佩戴者的身体姿势。
---
| Body Shape based Methods | Year | Highlighted Characteristics | Dataset | Limitations | Code/Project Website Link |
| Yuan et al. [^71] | 2018 | Integrates control-based modeling, physics simulation, and imitation learning for ego-pose estimation, enabling domain adaptation by considering underlying physics dynamics. | CMU\nMocap [^1] | Indirect 2D evaluation may not capture full 3D accuracy; limited behaviors may hinder complex motion generalization. | - |
| Dittadi et al. [^14] | 2021 | Variational autoencoders for generating human body poses from limited head and hand pose data; addressing challenges through specialized inference models. | AMASS [^44] | Incomplete utilization of temporal history, constraints on body shape variation and reliance on assumed availability of hand signals. | - |
| CoolMoves [^2] | 2021 | Achieves real-time, expressive full-body motion synthesis for avatars using limited input cues, dynamically fusing stylized examples from skilled performers, excelling in activities like dancing and fighting. | CMU\nMoCap | Limited sensing of legs and feet, resulting in lower body reconstruction jitters and reduced accuracy in foot-driven motions. | - |
| EgoRenderer [^21] | 2021 | Renders full-body neural avatars from egocentric fisheye images - texture synthesis, pose construction, and neural image translation; addresses challenges of top-down view and distortions. | EgoRenderer | Incomplete joint estimation; unnatural motions in SMPL model animations and temporal instability in frame predictions. | Project |
| HPS [^20] | 2021 | Integrates wearable sensors, IMUs and a head-mounted camera for precise 3D pose tracking in pre-scanned environments, eliminating drift with localization and scene constraints. | HPS | Lack of features and scene changes between static 3D scans and real images. | Project |
| Avatarposer [^30] | 2022 | First learning-based method predicting full-body poses in world coordinates, leveraging transformer encoder and motion input from head and hands | CMU\nMocap, AMASS | Sensitivity to inaccuracies and occlusions in hand tracking data. | Code |
| FLAG [^5] | 2022 | Flow-based model for realistic 3D human body pose prediction with uncertainty estimates, enhancing prior work through high-quality pose generation and efficient latent variable sampling for optimization. | AMASS | Difficulty in generating complex lower-body poses due to sparse training data and lack of temporal data integration. | Project |
| Su et al. [^54] | 2022 | A data framework transforms raw video into 3D pose, enriched by a lightweight Self-Perception Excitation (SPE) module for egocentric self-awareness. | Mocap\ndataset [^72] | Dependency on MoCap data and synchronized third-person view videos may limit the method's real-world applicability. | - |
| EgoEgo [^35] | 2023 | Ego body pose estimation using ego head pose estimation leveraging SLAM, and conditional diffusion for disentangled head and body pose estimation. | ARES | Evaluation on synthetic and relatively small real-world datasets. | Code |
| EgoHMR [^75] | 2023 | Scene-conditioned diffusion approach using a physics-based collision score, realistic human-scene interaction, accurate estimation for visible body parts while enhancing diversity. | EgoBody | Limited temporal context for reconstructing egocentric human motions. | Code |
| EgoPoser [^31] | 2023 | Used sparse motion sensor; mitigates overfitting with position-invariant prediction, adaptable to diverse body sizes, robust with hands out of view and reduces motion artifacts. | AMASS | Limited evaluation on diverse real-world scenarios. | - |
| SimpleEgo [^11] | 2024 | Directly predicts joint rotations as matrix Fisher distributions, providing robust uncertainty estimation and realistic deployment prospects. | SynthEgo | Accuracy could be limited when large portions of the body are occluded in the image. | Project |
Table 3. Popular body shape based egocentric 3D pose estimation models.
该方法结合了动态的第一人称运动特征、静态的第一人称场景特征以及第二人的身体姿势交互特征，以显式地考虑相机佩戴者的身体姿势。
#### 3.2. 基于人体形状的方法
在本节中，我们将详细介绍文献中发现的不同基于人体形状的自适应姿态估计方法。其中 12 种方法在表 3 中进行了重点介绍。
Dittadi 等人 [^14] 使用变分自编码器从嘈杂的头部和手部姿势数据中生成人体姿势。它通过训练专门的推理模型来解决在有限信息的情况下预测完整身体姿势的挑战。Yuan 等人 [^71] 采用基于控制的建模，结合物理模拟，并使用模仿学习来获取用于自适应姿态估计的基于视频的控制策略。传统的计算机视觉方法仅关注运动的运动学 [^42]，而忽略了动态的底层物理 [^43]。考虑到这一点，该框架允许领域自适应，将策略从模拟环境转移到真实世界数据。CoolMoves [^2] 是一种 VR 系统，它使用来自 VR 系统的有限输入线索，实现了对用户化身的实时、富有表现力的全身动作合成。它通过与熟练表演者的风格化示例进行动态融合来区分主要的运动。该系统在合成上身和下身的运动方面表现出色，无需显式跟踪线索，解决了舞蹈和格斗等活动中的挑战。
为了解决自上而下的视图失真问题，EgoRenderer [^21] 通过将过程分解为纹理合成、姿势构建和神经图像转换 [^52] [^58]，从自适应图像中渲染完整的身体化身。Human POSEitioning System (HPS) [^20] 结合可穿戴传感器、惯性测量单元 (IMU) 和头部安装的摄像头，以准确地跟踪和集成 3D 人的姿势，并将其集成到预扫描的环境中。通过融合基于摄像头的定位和基于 IMU 的跟踪以及场景约束，HPS 实现了物理上合理的运动估计。
为了解决身体截断和姿势歧义等问题，[^75] 引入了一种受物理碰撞分数引导的场景条件扩散模型，以促进生成逼真的人体与场景的交互。它使用无分类器训练以实现灵活性，从而在采样时提供准确的估计，可用于可见的身体部位和运动。
---
verse 能够对未见部分产生合理的预测结果。[^30] 仅利用来自用户头部和手部的运动输入，预测了全身姿态在世界坐标系中的位置。该方法利用 Transformer 编码器，提取深度特征，区分全局运动和局部关节方向，以促进姿态估计。FLAG [^5] 使用来自头戴设备的稀疏输入信号和基于流的生成模型来预测全身姿态，并为关节提供不确定性估计。[^54] 通过分析来自第一人称视频的 3D 佩戴者姿态，克服了身体不可见性和复杂运动的挑战。他们将原始视频转换为 3D 姿态，并结合自感知激发模块，从第一人称视角实现自理解。
EgoEgo [^35] 使用单目第一人称视频来估计自我头部姿态并生成自我身体姿态，无需配对数据集即可独立学习。它结合了单目 SLAM 和基于 Transformer 的模型来准确地估计自我头部姿态，并使用条件扩散模型根据预测的头部姿态生成全身姿态。SimpleEgo [^11] 直接从头戴式摄像头图像中回归概率全身姿态参数。它直接预测关节旋转，无需迭代拟合过程或手动调整。通过将关节旋转表示为矩阵 Fisher 分布，该模型预测置信度得分，从而实现鲁棒的不确定性估计。AGrL [^15] 提出了一种轻量级 MLP 驱动的扩散模型，用于从稀疏跟踪信号合成逼真的全身运动。[^34] 引入了一种使用智能手表和头戴式摄像头实现经济的运动捕捉方法，该方法结合了头部姿态以实现稀疏性，结合了地面水平线以适应户外环境，并使用视觉线索优化运动。EgoPoser [^31] 使用稀疏运动传感器生成全身姿态估计，重点是基于 HMD 的自我身体姿态估计，尤其是在大型场景中。它通过强调与全局不变预测的“全局-局部”运动分解策略，解决了过拟合问题。值得注意的是，它能够适应不同的体型，并且在手部不可见时仍然具有鲁棒性。
### 4. 评估指标
在本节中，我们简要描述了用于评估 3D 第一人称人体姿态估计方法的各种指标。
MPJPE（Mean Per Joint Position Error）是一种广泛使用的指标，它测量所有预测的 3D 关节位置与地面真实位置之间的平均误差，通过计算它们之间的欧氏距离来计算。
PA-MPJPE 侧重于单个姿态的准确性，通过使用 Procrustes 分析检查每个帧中估计姿态与地面真实姿态的对齐情况。
BA-MPJPE 首先调整骨骼长度以达到标准骨骼，然后计算 PA-MPJPE，通过考虑骨骼长度的结构一致性，并消除身体比例的影响，提供全面的评估。
Global MPJPE 通过对批次中的所有姿态与地面真实姿态对齐来评估全局关节位置的准确性，同时考虑平移和旋转。
MPJRE（Mean Per Joint Rotation Error）和 MPJVE（Mean Per Joint Velocity Error）分别通过计算预测关节和地面真实关节之间的平均旋转和速度差异来比较。
Percentage of Correct Key-points (PCK) 是一种衡量准确性的指标，用于检查预测的关键点和实际关节是否在特定距离范围内。通常，此距离阈值是基于主体的大小设置的。
头部平移和方向误差分别关注头部姿态估计中的平移和旋转准确性。平移误差使用预测和地面真实头部轨迹之间的平均欧几里得距离进行量化。旋转误差则使用预测和地面真实头部旋转矩阵之间的 Frobenius 范数进行计算。
Table 4. Comparison of different skeletal based 3D egocentric pose estimation methods on Mo²Cap² dataset using MPJPE (mm).
Table 5. Comparison of different skeletal based 3D egocentric pose estimation methods on xR-EgoPose dataset using MPJPE (mm).
---
Figure 3. Qualitative comparison between three different state-of-the-art skeletal-based egocentric 3D pose estimation models on the xR-EgoPose dataset [^60]. The predicted 3D poses (red) are superimposed onto the ground truth poses (blue).
### 5. 性能分析
在本节中，我们比较了用于 3D 自主人体姿态估计的几种最先进方法的性能，这些方法在一些流行的自主数据集上进行了评估。
骨架方法性能：表 4 显示了五种不同的骨架自主姿态估计方法在广泛使用的 Mo²Cap² [^68] 数据集上，针对不同动作的性能。在所有动作上的平均 MPJPE 从 EgoFish3D [^39] 方法的 66.8 毫米降至 SelfPose-UNet [^61] 方法的 46.61 毫米。我们看到，2D-3D 提升模型 [^60] [^61] 取得了更好的结果，这可能是因为它们保留了关节的不确定性信息。图 3 显示了三种不同的骨架方法在 xR-EgoPose [^60] 数据集上生成的 3D 姿态的定性评估。表 5 比较了在 xR-EgoPose [^60] 数据集上，六种不同的骨架方法。总体而言，这些方法的 MPJPE 值低于在 Mo²Cap² [^68] 数据集中测试的方法，尤其是在关节可见性较差的动作中。这可能是因为在此数据集的评估中，大多数动作相对简单。
基于身体形状的方法性能：表 6 显示了六种不同的基于身体形状的自主姿态估计方法在 AMASS [^44] 数据集上的性能。我们可以看到，AGRoL [^15] 通过其平滑的运动生成，优于其他
Table 6. Comparison of different body shape based 3D Egocentric Pose Estimation methods on AMASS [^44] dataset using MPJPE (cm) and MPJVE (cm/s).
Figure 4. Qualitative comparison of three different state-of-the-art body shape based egocentric 3D pose estimation models on the HPS dataset. [^20].
方法，但它仅限于离线使用。对于实时应用，EgoPoser [^31] 更合适，因为它在处理不同体型时具有更好的适应性，并且在双手不可见时也更健壮。图 4 定性地比较了三种不同的基于身体形状的方法，使用 HPS [^20] 数据集上的 3D 人体姿态和形状。
### 6. 结论与未来方向
在本综述论文中，我们概述了使用 RGB 图像或视频序列进行 3D 个体姿态估计的方法，涵盖了各种数据集和估计方法。研究人员提出了各种轻量级设置的数据集。然而，除了最近的 Ego-Exo4D [^18] 数据集之外，缺乏标准化的基准数据集，这给评估不同个体姿态估计模型的鲁棒性带来了挑战。在讨论基于骨骼和身体形状的个体姿态估计方法的优点和缺点时，我们发现大多数现有方法在野外场景中都存在困难，这主要是由于训练数据不足。值得注意的是，与传统的姿态估计类似，个体姿态估计模型面临的最大挑战是强遮挡和有限的视野，尤其是对于下半身关节。多视角一致性可以通过使用额外的 3D 信息来解决此问题。此外，还可以利用时序和上下文信息来进一步提高模型的鲁棒性，以应对这些问题。因此，为了更好地适应实时技术，改进个体姿态估计方法仍有很大的空间。
总之，本综述论文为研究人员提供了一个全面的资源，用于探索现有的个体姿态估计方法，了解普遍存在的挑战，并进行进一步的改进。
### 7. 致谢
本材料的部分内容基于美国国家科学基金会资助的项目，项目编号为 2153249 和 2316240。本材料中表达的任何观点、发现、结论或建议均由作者表达，不一定反映美国国家科学基金会的观点。
---
## 参考文献
[^1]: CMU Motion Capture Database.