# 基于自我头部姿态估计的自我身体姿态估计 李佳曼 C. 刘凯伦 $^{\dagger}$ 吴佳俊 $^{\dagger}$ 斯坦福大学 {jiamanli,karenliu,jiajunwu}@cs.stanford.edu ![Image](images/6bb29c5d476ccb05f6b3d092310966dde62c0c58de10bb4a242be1cbb4db7c25.jpg) 时间戳 (a) 以自我为中心的视频 ![Image](images/2ae631b171d39ec2010f6aadb6d5c6d88d140d8b997bcf13d5e56d3749340bfa.jpg)
(b) Head Pose Estimation
![Image](images/894b1adfa2a3833188b0c44647534d1f9b080349ae6d540a6446aaf7c23905fb.jpg) 时间戳
(c) Full-Body Human Motion Generation
Figure 1. Taking egocentric video (a) as input, our approach first predicts head pose (b); it then estimates multiple plausible full-body human motions (c) from the predicted head pose. This motion sequence shows a human kicking and jumping in place. Please refer to the supplementary video on our project page for a complete motion sequence visualization.
## 摘要 从以自我为中心的视频序列中估计三维人体运动在理解人类行为方面发挥着关键作用，在虚拟现实/增强现实领域有诸多应用。然而，直接学习以自我为中心的视频与人体运动之间的映射极具挑战性，因为用户的身体往往无法被安装在用户头部的前置摄像头捕捉到。此外，收集大规模、高质量的包含配对的以自我为中心视频和三维人体运动的数据集需要借助精密的动作捕捉设备，这通常会将视频中的场景局限于实验室环境。为了摆脱对配对的以自我为中心视频和人体运动数据的依赖，我们提出了一种新方法——基于自我头部姿态估计的自我身体姿态估计（EgoEgo），该方法将问题拆解为两个阶段，并以头部运动作为中间表征将两阶段连接起来。EgoEgo首先结合SLAM技术与学习方法，来估计精确的头部运动；随后，以估算出的头部姿态为输入，EgoEgo利用条件扩散模型生成多种合理的全身运动结果。这种头部姿态与身体姿态的解耦，使得我们无需使用包含配对的以自我为中心视频和三维人体运动的训练数据集，从而能够分别利用大规模的以自我为中心视频数据集和动作捕捉数据集。此外，为了进行系统性的基准测试，我们开发了一个包含配对的以自我为中心视频和人体运动的合成数据集——AMASS-Replica-Ego-Syn（ARES）。无论是在ARES数据集还是真实数据上，我们的EgoEgo模型的表现都显著优于当前最先进的方法。 ### 1. 引言 ### 1. 引言 从以自我为中心的视频（使用前置单目摄像头记录第一人称视角所观察到的环境）中估计三维人体运动，对于虚拟现实/增强现实中的应用至关重要。然而，直接学习以自我为中心的视频与全身人体运动之间的映射关系具有挑战性，原因有二。首先，建模这种复杂关系很困难；与从第三人称视频中重建运动不同，人体通常不在以自我为中心的视频的视野范围内。其次，学习这种 --- 映射关系需要大规模、多样化的数据集，其中包含配对的以自我为中心的视频和相应的三维人体姿态。创建这样的数据集需要精细的仪器来进行数据采集，不幸的是，目前还不存在这样的数据集。因此，现有工作仅在具有有限运动和场景多样性的小规模数据集上展开研究 [^22] [^47] [^48]。 我们提出了一种通用且稳健的方法——EgoEgo，仅利用以自我为中心的视频就能在多种场景下估计全身人体运动。我们的核心思路是将头部运动作为中间表征，从而将问题分解为两个阶段：从输入的以自我为中心的视频中估计头部运动，再根据估算出的头部运动来估计全身运动。在大多数日常活动中，人类具备极强的头部稳定能力，能够使头部与身体的质心保持一致[^13]，因此头部运动堪称全身运动估计的绝佳特征。更重要的是，这种分解方式使得该方法无需依赖成对的以自我为中心的视频和人体姿态数据，从而能够利用大规模的单模态数据集（例如仅包含以自我为中心的视频或3D人体姿态的数据集）进行训练，而这类数据集通常很容易获取。 第一阶段是从以自我为中心的视频中估计头部姿态，这一过程类似于定位问题。然而，直接应用最先进的单目SLAM方法[^33]会得到不尽人意的结果，原因在于未知的重力方向以及估算空间与真实3D世界之间的尺度差异。我们提出了一种混合解决方案，结合SLAM与基于Transformer的学习模型，从而实现从以自我为中心的视频中更精准地估计头部运动。在第二阶段，我们基于预测得到的头部姿态，利用扩散模型生成全身运动。最后，为了评估我们的方法并训练其他基准模型，我们构建了一个包含成对的以自我为中心的视频和3D人体运动的大规模合成数据集，该数据集也可为未来视觉运动技能学习和从仿真到现实的迁移研究提供助力。 我们的工作主要有四项贡献。首先，我们提出了一种分解范式——EgoEgo，将基于以自我为中心的视频的运动估计问题拆解为两个阶段：自我中心下的头部姿态估计，以及基于头部姿态的自我中心下身体姿态估计。这种分解方式使我们能够分别训练各个组件，无需依赖包含两个配对模态的大规模数据集。其次，我们针对自我中心下的头部姿态估计开发了混合方法，融合了单目SLAM与学习的结果。第三，我们提出了一种条件扩散模型，可根据头部姿态生成全身姿态。最后，我们贡献了一个包含以自我为中心的视频和3D人体运动的大规模合成数据集，用作测试平台以对比不同方法，结果表明我们的方法大幅优于各基准模型。 ### 2. 相关工作 基于第三人称视频的运动估计。近年来，从第三人称视角的图像和视频中进行3D姿态估计已得到广泛研究。这一领域主要包含两类典型方法：一类是直接从图像和视频中回归关节位置[^25] [^28] [^36] [^52]；另一类则采用参数化人体模型[^20]，根据图像或视频来估计人体模型参数[3, 12, 15–18, 21]。最近，人们开始运用学习到的运动先验来解决运动抖动、缺乏全局轨迹以及关节或帧缺失等问题[^19] [^29] [^46]。此外，在基于视频的运动估计中还会施加物理约束[^41] [^49]。与能够看到全身的第三人称视频不同，在自中心视频中大部分关节是不可见的，这给相关问题的解决带来了巨大挑战。尽管从自中心视角无法观察到身体关节，但环境变化的视觉信息为推断头部运动提供了重要线索。在这项工作中，我们提出将头部姿态作为中间表示，用以连接自中心视频与全身运动。 基于自中心视频的运动估计。基于自中心视频的姿态估计正受到越来越多的关注。研究人员会利用鱼眼相机等特殊硬件，从采集的图像中预测全身姿态[^9] [^35] [^38] [^42]。虽然用鱼眼相机拍摄的图像中通常能看到身体关节，但图像的畸变现象给姿态估计带来了重大挑战。Jiang等人[^8]将普通相机安装在人体胸部，提出了一种隐式运动图匹配方法，用于从输入视频中预测全身运动。You2Me[^26]通过观察摄像头视野中第二人的交互姿态来预测全身运动。为了实现从头戴式相机估计并预测符合物理规律的运动这一目标，EgoPose[^47] [^48]开发了一种深度强化学习框架，用以学习控制策略，从而估计当前姿态并预测未来姿态。后续研究Kinpoly[^22]结合了运动学与动力学，以预测与已知物体交互时符合物理规律的运动。尽管他们的方法在收集的数据集上取得了令人瞩目的成果，但它无法处理超出数据分布范围的场景和运动。本研究旨在建立一个更通用、更稳健的框架，仅凭借自中心视频就能推断全身运动。为了验证该框架在更通用场景和运动中的有效性，我们还引入了一种合成与动作捕捉数据对应的自中心视频的方法，以便进行定量评估。 基于稀疏传感器的运动估计。有些研究并未从视频中估计运动，而是探索从稀疏传感器输入重建人体运动。TransPose[^45]提出了一种实时流程，能够从6个惯性测量单元传感器（包括头部、躯干、左右手臂）预测全身运动。 --- 以及左右小腿。后续工作PIP [^44] 在运动学估计器的基础上进一步引入了PD控制器，以便在重建过程中加入物理约束。TIP [^11] 采用相同的传感器设置，并部署了基于Transformer的模型来有效利用IMU的序列信息。LOBSTr [^43] 则研究了更少传感器的使用情况。该工作利用来自4个关节（头部、左右手、躯干）的追踪器信息，提出了一种基于RNN的模型，从过去的上半身关节信号中推断下半身运动。最近的研究成果 [^1] [^4] [^10] [^40] 进一步放宽了输入约束，仅使用头部和手部信号即可。在本研究中，我们并不依赖惯性传感器的任何观测数据，而是旨在开发仅以自中心视频为输入的解决方案。 #### 3. 方法 我们的方法EgoEgo能够从单目自中心视频序列中估计3D人体运动。如图2所示，我们的核心思路是利用头部运动：首先从自中心视频中估计头部运动，再根据头部运动估计全身运动。我们发现头部运动是全身运动估计的绝佳特征，也是一种紧凑的中间表示方式，能将复杂问题简化为两个更简单的子问题。这种拆分方式还使我们能够在第一阶段利用包含头部运动（但无全身运动）的大规模自中心视频数据集，在第二阶段利用单独的3D人体运动数据集（但无自中心视频）。 符号说明。我们将全身运动表示为$X \in \mathbb{R}^{T \times D}$，将从前置头戴式摄像头拍摄的自中心图像表示为$I \in \mathbb{R}^{T \times h \times w \times 3}$，其中T为序列长度，D为姿态状态的维度，$h \times w$为图像尺寸。我们引入头部运动$\boldsymbol{H} \in \mathbb{R}^{T \times D'}$作为中间表示，用以衔接输入的自中心视频与输出的人体运动，其中$D'$为头部姿态的维度。 #### 3.1. 从自中心视频中估计头部姿态 从自中心视频中估计头部运动可视为一个相机定位问题。但我们发现有三个问题阻碍我们直接应用最先进的单目SLAM方法[^33]来解决这一问题。首先，估计出的头部姿态的重力方向是未知的，因此无法直接将其结果输入全身运动估计器，因为后者要求头部姿态是在重力方向为$[0, 0, -1]^T$的坐标系中表达的。其次，单目SLAM估计出的平移量与现实世界中的距离不成比例。第三，单目SLAM在估计头部相对旋转方面的精度往往低于平移估计的精度。 基于这些观察，我们提出了一种结合SLAM与学习模型的混合方法，以实现比单独使用最先进SLAM算法更精确的头部姿态估计。首先，我们开发了基于Transformer的模型GravityNet，用于根据SLAM计算出的旋转和平移轨迹估计重力方向。我们通过将SLAM的平移结果旋转，使估计出的重力方向与3D世界中的真实重力方向$[0, 0, -1]^T$对齐。此外，从自中心视频中提取的光流特征中，我们的方法训练出了模型HeadNet，用于估计头部旋转和平移距离。HeadNet预测的平移距离被用来重新缩放SLAM估计出的平移量，而HeadNet预测的头部旋转则直接用来替换SLAM估计出的旋转结果。图2总结了我们生成头部姿态的流程。 单目SLAM。我们采用DROID-SLAM [^33] 从以自我为中心的视频中估计相机轨迹。DROID-SLAM [^33] 是一种基于学习的方法，能够同时估计相机位姿轨迹并重建环境的3D地图。通过设计对相机位姿和深度的循环迭代更新机制，它相比以往的SLAM系统展现出更优越且更稳健的结果 [^2]。更多细节请参考 [^33]。 重力方向估计。我们引入 $\text{GravityNet}$ 来根据一系列头部姿态 $g \in \mathbb{R}^3$ 预测重力方向 $\hat{h}_1, \hat{h}_2, ..., \hat{h}_T$。重力方向g由单位向量表示。输入的头部姿态 $\hat{h}_t$ 包含3D头部平移量、由连续6D旋转向量表示的头部旋转量 [^53]、头部平移差以及由 $O_{t-1}^{-1} O_t$ 计算得出的头部旋转差，其中 $O_t$ 表示时间步t时的头部旋转矩阵。我们采用了基于Transformer的架构 [^37]，该架构包含两个自注意力模块，每个模块均由多头注意力层后接位置前馈层构成。我们取Transformer的第一个输出，将其输入到多层感知机中以预测重力方向g。我们在大规模动作捕捉数据集AMASS上训练我们的GravityNet [^23]。不过，AMASS中的运动序列本身已具备正确的重力方向 $g_c = [0, 0, -1]^T$。为了模拟单目SLAM所预测的头部姿态分布，我们对每个AMASS序列中的头部姿态施加随机缩放和随机旋转，以此生成用于重力估计的训练数据。训练过程中会用到针对重力向量的 $L_1$ 损失函数。根据GravityNet的预测结果，我们计算旋转矩阵 $R_g$ 以使预测值g与 $g_c$ 对齐。随后我们将 $R_g$ 应用于表示为 $\hat{P}_1, \hat{P}_2, ..., \hat{P}_T$ 的SLAM平移量，得到 $P_1, P_2, ..., P_T$，其中 $P_t = R_g \hat{P}_t$。 头部姿态估计。我们提出HeadNet，用于根据一系列光流特征 $d_{1}, d_{2}, ..., d_{T}$ 预测一系列距离 $R_{1}, ..., R_{T}$ 和头部旋转量 $o_{1}, ..., o_{T}$。光流特征由预训练的ResNet-18提取 [^6]。我们采用了与GravityNet相同的模型架构。由于单目SLAM系统给出的尺度可能与实际情况不一致 --- ![Image](images/46794855c9480650e138ceb47f03e636db92562dea63c2b52c798e57135c9c64.jpg)
Figure 2. Overview of EgoEgo. The model first takes an egocentric video as input and predicts the head pose with a hybrid approach that combines monocular SLAM and the learned GravityNet and HeadNet. The predicted head pose is then fed to a conditional diffusion model to generate the full-body pose.
![Image](images/4dd8be532465c7e0c9f79a37a539c4c08c3c77096c9d4966f9bbcd8221d9a19f.jpg)
Figure 3. Model architecture of the denoising network in a single step of the reverse diffusion process.
三维世界中人体移动的地方，我们使用 HeadNet 来预测连续时间步之间平移差异的向量范数，记为 $d_1, ..., d_T$，其中 $d_t$ 表示一个标量值。对于由单目 SLAM 生成并通过对齐重力方向进行旋转的每个相机平移序列，给定相机平移轨迹 $P \in \mathbb{R}^{T \times 3}$，我们计算 $d_t^s$ 和 $P_t$ 之间的距离 $P_{t+1}$ 为 $d_t^s = ||P_{t+1} - P_t||_2$。我们将距离序列的均值作为 $d^s = \frac{1}{T} \sum_{t=1}^{T} d_t^s$。类似地，我们计算预测距离序列 $d = \frac{1}{T} \sum_{t=1}^{T} d_t$ 的均值。尺度计算为 $s = \frac{d}{d^s}$。我们将尺度 s 乘以预测平移 P，并使用 sP 作为我们的全局头部平移结果。 该网络还能预测头部坐标系下的头部角速度 $\omega_1, ..., \omega_T$。我们对预测的角速度进行积分，从而生成对应的旋转量 $\boldsymbol{R}_1, ..., \boldsymbol{R}_T$。在推理阶段，我们假设已知的第一个头部朝向，通过对预测的头部角速度进行积分来估算后续的头部朝向。 HeadNet的训练损失定义如下：$\mathcal{L} = \mathcal{L}_{dist} + \mathcal{L}_{vel} + \mathcal{L}_{rot}$。$\mathcal{L}_{dist}$ 表示用于衡量平移距离的 $L_1$ 损失；$\mathcal{L}_{vel}$ 表示用于衡量角速度的 $L_1$ 损失；$\mathcal{L}_{rot}$ 表示旋转损失 $\mathcal{L}_{rot} = ||R_{pred}R_{gt}^T - I||_1$，其中 $R_{pred}$ 表示利用预测的角速度得到的积分旋转结果，$R_{gt}$ 表示真实的旋转矩阵，而 I 代表单位矩阵。 #### 3.2. 基于头部姿态的全身体姿估计 由于不同的全身动作可能具有相同的头部姿态，因此从头部姿态预测全身体姿并非一对一的映射问题。基于此，我们采用条件生成模型来解决该任务。受扩散模型在图像生成领域取得的最新成果的启发[^30]，我们部署扩散模型来根据头部姿态生成全身体姿。我们采用了去噪扩散概率模型（DDPM）中提出的公式[^7]，该公式也已被应用于一些同期研究[^14] [^34] [^50]中，用于运动生成和运动插值任务。我们将首先介绍数据表示方法，随后详细阐述条件扩散模型的公式。 时间 t 下的身体姿态 $\mathbf{X}_t \in \mathbb{R}^D$ 包含全局关节位置（$\mathbb{R}^{J \times 3}$）和全局关节旋转（$\mathbb{R}^{J \times 6}$）。我们采用应用广泛的 SMPL 模型[^20]作为骨骼模型，关节数量 J 为 22。为了在扩散模型中便于表述，我们用 $\boldsymbol{x}_n$ 来表示噪声水平为 n 时的身体姿态序列 $\mathbf{X}_1^n, \mathbf{X}_2^n, ..., \mathbf{X}_T^n$。 扩散模型的核心思路是设计一个前向扩散过程，向原始数据中添加高斯噪声， --- 该过程遵循已知的方差调度，随后训练一个去噪模型，利用从正态分布中采样的 $x_N$，经过 N 步逐步去噪以生成 $x_0$。 具体而言，扩散模型包含前向扩散过程和反向扩散过程。前向扩散过程会逐步向原始数据 $\boldsymbol{x}_{0}$ 中添加高斯噪声，它通过式 1 所示的 N 步马尔可夫链来表述： $$ q(\boldsymbol{x}_{1:N}|\boldsymbol{x}_{0}):=\prod_{n=1}^{N}q(\boldsymbol{x}_{n}|\boldsymbol{x}_{n-1}). $$ 每一步均由使用 $\beta_{n}$ 的方差调度决定，其定义如下： $$ q(\boldsymbol{x}_{n}|\boldsymbol{x}_{n-1}):=\mathcal{N}(\boldsymbol{x}_{n};\sqrt{1-\beta_{n}}\boldsymbol{x}_{n-1},\beta_{n}\boldsymbol{I}). $$ 为了生成以头部姿态为条件的全身体动，我们需要逆转扩散过程。该逆向过程可被近似为一个具有学习得到的均值和固定方差的马尔可夫链： $$ p_{\theta}(\boldsymbol{x}_{n-1}|\boldsymbol{x}_{n},c):=\mathcal{N}(\boldsymbol{x}_{n-1};\boldsymbol{\mu}_{\theta}(\boldsymbol{x}_{n},n,c),\sigma_{n}^{2}\boldsymbol{I}). $$ 其中 $\theta$ 表示神经网络的参数，c 代表头部条件。学习得到的均值 $\mu_{\theta}(\boldsymbol{x}_{n}, n, c)$（为表述简便，方程中用 $\mu_{\theta}$ 表示）可表示为如下形式，此处 $\alpha_{n}$ 和 $\bar{\alpha}_{n}$ 为固定参数，$\hat{\boldsymbol{x}}_{\theta}(\boldsymbol{x}_{n}, n, c)$ 是对 $\boldsymbol{x}_{0}$ 的预测值： $$ \boldsymbol{\mu}_{\theta}=\frac{\sqrt{\alpha_{n}}(1-\bar{\alpha}_{n-1})\boldsymbol{x}_{n}+\sqrt{\bar{\alpha}_{n-1}}(1-\alpha_{n})\hat{\boldsymbol{x}}_{\theta}(\boldsymbol{x}_{n},n,c)}{1-\bar{\alpha}_{n}} $$ 学习均值的过程可被重新参数化为学习预测原始数据 $x_{0}$。训练损失被定义为 $x_{0}$ 的重建损失： $$ \mathcal{L}=\mathbb{E}_{\boldsymbol{x}_{0},n}||\hat{\boldsymbol{x}}_{\theta}(\boldsymbol{x}_{n},n,c)-\boldsymbol{x}_{0}||_{1} $$ 如图 3 所示，在第 n 个去噪步骤中，我们将头部姿态条件 $c_1, ..., c_T$ 与噪声水平为 n 时的身体姿态表征 $X_1^n, ..., X_T^n$ 进行拼接，再结合噪声嵌入作为 Transformer 模型的输入，从而估计出 $x_0$。 ### 3.3. 合成数据生成 我们的方法不需要配对训练数据。不过，为了基准测试的目的，我们开发了一种自动合成大规模数据集的方法，该数据集包含各种配对的第一人称视角视频和人体动作。 在3D场景中生成动作。为了生成同时包含第一人称视角视频和真实人体动作的数据集，我们使用了大规模动作捕捉数据集AMASS [^23] 以及3D场景数据集Replica [^31]。我们将Replica中的场景网格转换为有向距离场（SDF），以便进行穿透计算。我们将AMASS [^23] 中的每个序列划分为长度为150帧的子序列。对于每个子序列，根据Replica [^31] 提供的语义标注，我们将第一个姿态放置在随机位置，且双脚与地面接触。接着，我们按照Wang等人 [^39] 的方法，计算该序列中每个姿态的穿透损失。我们通过经验将阈值设为2，仅保留穿透损失小于该阈值的姿态。具体而言，对于时间t时的人体网格 $M_t$，它由参数化人体模型 [^20] [^27] 表示，我们用 $d_i$ 来表示顶点i的有向距离。此时，穿透损失被定义为 $L_{pen}^t = \sum_{d_i < 0} \|d_i\|$。 合成逼真的第一人称视角图像。通过检测3D场景中的穿透现象得到的动作序列，可提供用于渲染合成第一人称视角视频的相机姿态轨迹。AI Habitat [^24] [^32] 是一个用于具身智能体研究的平台，它支持根据相机轨迹和3D场景进行快速渲染。我们将头部姿态轨迹输入该平台，从而合成第一人称视角下的逼真图像。我们共生成了1,664,616帧图像，帧率为30 fps，相当于18个场景、约15小时的动作内容。我们将这个合成数据集命名为AMASS-Replica-Ego-Syn（ARES），并在图4中展示了该合成数据集的一些示例。 #### 4. 实验 除了人类感知研究外，我们还基于人体动作重建常用的五种指标，对我们的方法和基线方法进行评估与比较。我们还进行了消融研究，以分析我们方法中各个阶段的性能以及模型的设计选择。 ## 4.1. 数据集与评估指标 AMASS-Replica-Ego-Syn（ARES）是我们的合成数据集，其中包含合成的第一人称视角视频和真实动作。ARES涵盖了18个场景中约15小时的动作内容。我们从训练集中移除5个未见过的场景，训练数据集由13个不同场景中的约120万帧组成。测试数据集则包含来自5个未见场景的34,850帧。 AMASS [^23] 是一个大规模动作捕捉数据集，包含约45小时的多样化动作。我们按照HuMoR [^29] 的方法划分训练数据和测试数据。 Kinpoly-MoCap [^22] 包含使用头戴式相机拍摄的第一人称视角视频，以及通过动作捕捉设备获取的对应3D动作。总动作时长约为80分钟。由于该数据集使用动作捕捉设备，因此第一人称视角视频仅限于单个实验室场景。 Kinpoly-RealWorld [^22] 包含配对的第一人称视角视频以及使用iPhone ARKit拍摄的头部姿态。与在实验室场景拍摄的Kinpoly-MoCap不同，Kinpoly-RealWorld提供了户外环境下的第一人称视角视频。 GIMO [^51] 包含第一人称视角视频、视线方向、3D动作以及扫描的3D场景。该数据集是通过…… --- ![Image](images/e520a5459c7ec85abbe0ce3384c92eddbf8d8135185a19e691b415f6628ab8a7.jpg)
Figure 4. Illustration of our ARES Dataset. “Ego-View” represents the synthetic egocentric images using our proposed data generation pipeline. We also provide a third-person view reference in the second row. The left and right show two sequences from different scenes.
MethodARESKinpoly-MoCap [^22]GIMO [^51]
$O_{head}$$T_{head}$MPJPEAccelFS$O_{head}$$T_{head}$MPJPEAccelFS$O_{head}$$T_{head}$MPJPEAccelFS
PoseReg [^48]0.77354.7147.7127.687.11.051943.9160.461.810.81.511528.6189.371.514.2
Kinpoly-OF [^22]0.62323.4141.67.34.21.332475.5230.516.415.81.521739.3404.221.914.4
EgoEgo (ours)0.20148.0121.16.22.70.58505.1125.98.01.60.67356.8152.110.41.9
Table 1. Full-body motion estimation from egocentric video on ARES, Kinpoly-MoCap [^22], and GIMO [^51].
我们采用HoloLens、iPhone 12以及基于惯性测量单元（IMU）的动作捕捉服来研究由眼动引导的动作预测任务。其中，我们使用15个场景进行训练，4个场景进行测试。 ### 评估指标 - 头部朝向误差（$O_{head}$）通过计算预测头部旋转矩阵$3 \times 3$与真实头部旋转矩阵$\|R_{pred}R_{gt}^{-1} - I\|_2$之间的弗罗贝尼乌斯范数来得到，其中$R_{pred}$代表预测的头部旋转矩阵，$R_{gt}$代表真实的头部旋转矩阵。 - 头部平移误差$T_{head}$是通过计算两条轨迹的平均欧几里得距离得到的。我们利用该指标来衡量以毫米为单位的头部关节平移误差。 • MPJPE表示以毫米为单位的平均关节位置误差。 - Accel表示预测的关节位置与真实关节位置之间的加速度差异，其单位为$(mm/s^{2})$。 • FS代表足部滑动度量，其计算方式遵循NeMF [^5]中的定义。具体来说，我们首先将脚趾关节和踝关节的速度投影到xy平面，然后计算每一步中投影速度的$L_1$范数，记为$v_t$。只有当某一步的高度$h_t$低于指定阈值H时，我们才会累加该步的水平平移量。最终该度量值是对序列中加权值$v_t(2 - 2^{\frac{h_t}{H}})$取平均值得到的，其单位为$(mm)$。 #### 4.2. 基于第一人称视频的身体姿态估计 训练数据。我们使用ARES、KinplyRealWorld和GIMO数据集提供的配对第一人称视频和头部姿态来训练HeadNet模型。需要注意的是，这些数据集中的身体运动信息并未用于HeadNet的训练。我们的GravityNet和条件扩散模型均在AMASS数据集上训练。对于下述基线模型，我们使用ARES数据集中的配对第一人称视频和真实运动数据来训练它们。 基线模型。我们将所提出的方法与两个基线模型PoseReg [^48]和Kinpoly [^22]进行比较。PoseReg [^48]以光流特征序列为输入，利用LSTM模型预测每个时间步的姿态状态。该姿态状态包括根部平移、根部朝向、关节旋转以及对应的速度，涵盖根部的线速度和所有关节的角速度。KinpolyOF [^22]则提出了一种逐步骤回归模型，用于从光流特征中估计全身运动。由于我们的任务仅允许使用第一人称视频作为输入，因此我们选择了仅依赖光流特征输入的Kinpoly模型，无需借助额外的真实头部姿态和动作标签信息。 实验结果。我们在ARES、Kinpoly-MoCap [^48]和GIMO [^22]数据集上，将EgoEgo完整流程与基线方法PoseReg [^22]、Kinpoly-OF [^51]进行了比较，结果如表1所示。结果显示，在三个数据集上我们的EgoEgo均大幅优于所有基线模型。图5展示了定性结果：我们生成的运动能更好地保留根部轨迹，且相较于基线模型，生成的运动更具动态感和真实感。 #### 4.3. 基于第一人称视频的头部姿态估计 基线对比。我们将我们的混合方法与DROID-SLAM的预测结果进行比较[^33]。为了公平比较，我们对SLAM轨迹应用旋转操作，使SLAM的第一个预测头部姿态与真实头部姿态对齐。我们在AMASS训练集上训练GravityNet；而对于HeadNet，我们分别在ARES、Kinpoly-RealWorld和GIMO数据集上训练，以便评估不同数据集上的性能。 --- ![Image](images/828d9ddd919a4b24456807c9f5e08a0dc9e367eb2f63ae4e3a7848eca8d56ba3.jpg)
Figure 5. Qualitative results comparisons. We show the results of two egocentric videos from different scenes.
实验结果。我们在表2中展示了在三个数据集上的头部姿态估计结果。在ARES数据集上，我们的头部旋转预测结果更为准确；在真实采集的数据集上，结果也具备可比性。由于真实采集的数据集规模有限（Kinpoly-RealWorld包含20分钟的训练视频，GIMO包含30分钟的训练视频），我们认为未来若能开发出包含头部姿态的大规模真实采集数据集，头部旋转预测的性能还能进一步提升。总体而言，我们的混合方法结合了HeadNet精确的旋转预测能力，以及重力对齐的SLAM结果的缩放平移处理，能够生成更精确的头部姿态估计结果，为第二阶段提供输入。 #### 4.4. 基于头部姿态的身体姿态估计 基线对比。我们将用于全身姿态估计的条件扩散模型与两个基线模型Avatar-Poser[^10]和Kinpoly-Head[^22]进行比较。AvatarPoser[^10]以头部姿态和手部姿态作为输入来预测全身运动。
DROID-SLAM [^33]Ours
$O_{head}$$T_{head}$$O_{head}$$T_{head}$
ARES0.62411.30.23176.5
Kinpoly-MoCap0.551290.80.58487.8
GIMO0.67865.40.68304.7
Table 2. Head pose estimation on test sets.
我们移除了输入中的手部姿态，将其修改为仅以头部姿态作为输入的设置。Kinpoly-Head[^22]是我们对Kinpoly模型的改进版本，它仅以头部姿态作为输入。基线和我们的方法均在包含高质量动作捕捉数据的AMASS训练集上进行训练。 实验结果。我们在表3中展示了基线和我们的方法在AMASS测试集上的表现。由于我们的模型属于生成式模型，对于同一个头部姿态输入会有多种合理的预测结果。为了进行定量比较，我们对每个头部姿态输入生成200个样本，并使用…… ---
Method$O_{head}$$T_{head}$MPJPEAccelFS
AvatarPoser [^10]0.1928.6124.716.118.8
Kinpoly-Head [^22]0.1987.8110.911.411.2
Diffusion Model (ours)0.0436.7109.010.54.4
Table 3. Full-body motion estimation from GT head pose on AMASS testing dataset [^22].
ARESKinpoly-MoCapGIMO
$O_{head}$$T_{head}$$O_{head}$$T_{head}$$O_{head}$$T_{head}$
SLAM0.62411.330.551290.820.67865.41
SLAM+S0.62325.950.55643.450.67569.48
SLAM+S+G0.62176.540.55487.770.67304.74
Full model0.23176.540.58487.770.68304.74
Table 4. Ablation study for the components in head pose estimation. S represents the scale predicted by HeadNet, and G represents GravityNet.
MPJPE值最小的那个样本作为最终结果。 #### 4.5. 消融实验 头部姿态估计中各组件的影响。我们在表4中研究了头部姿态估计中各个组件的作用。结果表明，用于对齐重力方向的旋转处理以及学习到的缩放参数，都能有效提升头部平移结果的精度。 全身姿态估计中头部姿态的影响。我们比较了分别以我们预测的头部姿态和真实头部姿态作为输入的全身姿态估计结果。表5显示，使用真实头部姿态能显著改善全身姿态估计效果，这说明若能开发出预测更精确头部姿态的方法，全身姿态估计的性能还能进一步提升。 ### 4.6. 人类感知研究 我们还在评估过程中开展了两项人类感知研究。第一项研究旨在评估从以自我为中心的视频中预测全身运动的质量，第二项研究则评估从真实头部姿态中预测全身运动的质量。在这两项研究中，我们都比较了四种类型的运动：我们的EgoEgo模型结果、两种基线模型的结果以及真实值。在第一项人类研究中，每次都会向用户展示两种运动和一个以自我为中心的视频，并要求他们选出更合理的一种。在第二项人类研究中，用户会被展示两种运动，并需选出看起来更自然、更逼真的一种。由于共有10个示例，且两种运动可能来自四个来源，因此每项研究包含60个问题。每个问题均由20名亚马逊土耳其机器人（Amazon Mechanical Turk）工作者作答。 如图6(a)所示，对于从以自我为中心的视频中进行的全身运动估计，与基线模型相比，我们的结果分别有98%和69%的参与者更为青睐。此外，
ARESKinpoly-MoCapGIMO
EEEE w/ GTEEEE w/ GTEEEE w/ GT
$O_{head}$0.200.040.580.030.670.06
$T_{head}$148.029.1505.160.7356.866.0
MPJPE121.1105.6125.976.0152.1125.7
Accel6.26.38.07.210.410.2
FS2.73.01.62.51.91.7
Table 5. Ablation study for the effects of head pose to full-body pose estimation. EE represents EgoEgo. GT represents ground truth head poses.
![Image](images/424897aa55a494d498b936a4651831219072e1851a37d950282f35cde66dbd2c.jpg)
Figure 6. Results of human perceptual studies. The numbers shown in the chart represent %.
与真实值相比，有34%的反馈认为我们的结果更佳（需注意，完美输出应达到50%），这表明人们难以轻易区分我们的结果与真实运动。如图6(b)所示，对于从头部姿态中进行的全身运动估计，与基线模型相比，我们的结果分别有88%和79%的参与者更为青睐。 ## 5. 结论 我们提出了一种用于从以自我为中心的视频中估计全身运动的通用框架。其核心在于将问题分解为两个阶段：首先从以自我为中心的视频中预测头部姿态，再将第一阶段的输出用于第二阶段以估计全身运动。此外，我们开发了一种混合解决方案，以便在单目SLAM基础上生成更精确的头部姿态。我们还提出了一种条件扩散模型，以便根据预测的头部姿态生成多样化且高质量的全身运动。为了在一个大规模数据集上对不同方法进行评估，我们设计了数据生成流程，用以合成包含配对的以自我为中心视频和3D人体运动的大规模数据集。无论是在合成数据集还是真实采集的数据集上，我们的结果均优于以往的研究。 致谢。我们感谢Kuang Zhengfei在可视化方面的帮助，以及Jonathan Tseng关于扩散模型的讨论。本研究部分得到了ONR MURI N00014-22-1-2740、NSF CCRI 2120095、丰田研究院（TRI）、斯坦福以人为本的人工智能研究所（HAI）、Innopeak、Meta和三星的支持。 --- ## 参考文献 [^1]: Sadegh Aliakbarian, Pashmina Cameron, Federica Bogo, Andrew Fitzgibbon, and Thomas J. Cashman. FLAG: Flow-based 3D avatar generation from sparse observations. In CVPR, 2022. 3 [^2]: Carlos Campos, Richard Elvira, Juan J Gómez Rodríguez, José MM Montiel, and Juan D Tardós. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM. IEEE Transactions on Robotics, 37(6):1874–1890, 2021. 3 [^3]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Ky-oung Mu Lee. Beyond static features for temporally consistent 3D human pose and shape from a video. In CVPR, 2021. 2 [^4]: Andrea Dittadi, Sebastian Dziadzio, Darren Cosker, Ben Lundell, Thomas J Cashman, and Jamie Shotton. Full-body motion from a single head-mounted device: Generating SMPL poses from partial observations. In ICCV, 2021. 3 [^5]: Chengan He, Jun Saito, James Zachary, Holly Rushmeier, and Yi Zhou. NeMF: Neural motion fields for kinematic animation. In NeurIPS, 2022. 6 [^6]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 3 [^7]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020. 4 [^8]: Hao Jiang and Kristen Grauman. Seeing invisible poses: Estimating 3D body pose from egocentric video. In CVPR, 2017. 2 [^9]: Hao Jiang and Vamsi Krishna Ithapu. Egocentric pose estimation from human vision span. In ICCV, 2021. 2 [^10]: Jiaxi Jiang, Paul Streli, Huajian Qiu, Andreas Fender, Larissa Laich, Patrick Snape, and Christian Holz. AvatarPoser: Articulated full-body pose tracking from sparse motion sensing. In ECCV, 2022. 3, 7, 8 [^11]: Yifeng Jiang, Yuting Ye, Deepak Gopinath, Jungdam Won, Alexander W Winkler, and C Karen Liu. Transformer Inertial Poser: Attention-based real-time human motion reconstruction from sparse imus. In SIGGRAPH ASIA, 2022. 3 [^12]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018. 2 [^13]: EA Keshner and BW Peterson. Motor control strategies underlying head stabilization and voluntary head movements in humans and cats. Progress in Brain Research, 76:329–339, 1988. 2 [^14]: Jihoon Kim, Jiseob Kim, and Sungjoon Choi. FLAME: Free-form language-based motion synthesis & editing. In AAAI, 2023. 4 [^15]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. VIBE: Video inference for human body pose and shape estimation. In CVPR, 2020. 2 [^16]: Muhammed Kocabas, Chun-Hao P Huang, Otmar Hilliges, and Michael J Black. PARE: Part attention regressor for 3D human body estimation. In ICCV, 2021. 2 [^17]: Muhammed Kocabas, Chun-Hao P Huang, Joachim Tesch, Lea Müller, Otmar Hilliges, and Michael J Black. SPEC: 利用估计的摄像头观察野外的人群。载于ICCV 2021年会议论文集。2 [^18]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In ICCV, 2019. 2 [^19]: Jiaman Li, Ruben Villegas, Duygu Ceylan, Jimei Yang, Zhengfei Kuang, Hao Li, and Yajie Zhao. Task-generic hierarchical human motion prior using vaes. In 3DV, 2021. 2 [^20]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics (TOG), 34(6):1–16, 2015. 2, 4, 5 [^21]: Zhengyi Luo, S Alireza Golestaneh, and Kris M Kitani. 3D human motion estimation via motion compression and refinement. In ACCV, 2020. 2 [^22]: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, and Kris Kitani. Dynamics-regulated kinematic policy for egocentric pose estimation. In NeurIPS, 2021. 2, 5, 6, 7, 8 [^23]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. AMASS: Archive of motion capture as surface shapes. In ICCV, 2019. 3, 5 [^24]: Manolis Savva*, Abhishek Kadian*, Oleksandr Maksymets*, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, and Dhruv Batra. Habitat: A platform for embodied AI research. In ICCV, 2019. 5 [^25]: Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, and Christian Theobalt. VNect: Real-time 3D human pose estimation with a single RGB camera. ACM Transactions on Graphics, 36(4):1–14, 2017. 2 [^26]: Evonne Ng, Donglai Xiang, Hanbyul Joo, and Kristen Grauman. You2me: Inferring body pose in egocentric video via first and second person interactions. In CVPR, 2020. 2 [^27]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, 2019. 5 [^28]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-fine volumetric prediction for single-image 3D human pose. In CVPR, 2017. 2 [^29]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J Guibas. HuMoR: 3D human motion model for robust pose estimation. In ICCV, 2021. 2, 5 [^30]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In CVPR, 2022. 4 [^31]: Julian Straub, Thomas Whelan, Lingni Ma, Yufan Chen, Erik Wijmans, Simon Green, Jakob J Engel, Raul Mur-Artal, Carl Ren, Shobhit Verma, et al. The Replica dataset: A digital replica of indoor spaces. arXiv preprint arXiv:1906.05797, 2019.5 ## [^32]: Andrew Szot, Alex Clegg, Eric Undersander, Erik Wijmans, Yili Zhao, John Turner, Noah Maestre, Mustafa Mukadam, Devendra Chaplot, Oleksandr Maksymets, Aaron Gokaslan, Vladimir Vondrus, Sameer Dharur, Franziska Meier, Wojciech --- Galuba, Angel Chang, Zsolt Kira, Vladlen Koltun, Jitendra Malik, Manolis Savva和Dhruv Batra。Habitat 2.0：训练家庭助手重新布置其居住环境。载于NeurIPS 2021年会议论文集。 [^33]: Zachary Teed and Jia Deng. DROID-SLAM: Deep visual slam for monocular, stereo, and RGB-D cameras. In NeurIPS, 2021. 2, 3, 6, 7 [^34]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. In ICLR, 2023. 4 [^35]: Denis Tome, Patrick Peluse, Lourdes Agapito, and Hernan Badino. xR-EgoPose: Egocentric 3D human pose from an HMD camera. In ICCV, 2019. 2 [^36]: Hsiao-Yu Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. Self-supervised learning of motion capture. In NeurIPS, 2017. 2 [^37]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017. 3 [^38]: Jian Wang, Lingjie Liu, Weipeng Xu, Kripasindhu Sarkar, and Christian Theobalt. Estimating egocentric 3D human pose in global space. In ICCV, 2021. 2 [^39]: Jiashun Wang, Huazhe Xu, Jingwei Xu, Sifei Liu, and Xiao-long Wang. Synthesizing long-term 3D human motion and interaction in 3D scenes. In CVPR, 2021. 5 [^40]: Alexander Winkler, Jungdam Won, and Yuting Ye. QuestSim: Human motion tracking from sparse sensors with simulated avatars. In SIGGRAPH ASIA, 2022. 3 [^41]: Kevin Xie, Tingwu Wang, Umar Iqbal, Yunrong Guo, Sanja Fidler, and Florian Shkurti. Physics-based human motion estimation and synthesis from videos. In ICCV, 2021. 2 [^42]: Weipeng Xu, Avishek Chatterjee, Michael Zollhofer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, and Christian Theobalt. Mo $^{2}$cap $^{2}$: Real-time mobile 3D motion capture with a cap-mounted fisheye camera. IEEE Transactions on Visualization & Computer Graphics (TVCG), 25(05):2093–2101, 2019. [^43]: Dongseok Yang, Doyeon Kim, and Sung-Hee Lee. Lobstr: Real-time lower-body pose prediction from sparse upper-body tracking signals. Computer Graphics Forum, 40(2):265–275, 2021. 3 [^44]: Xinyu Yi, Yuxiao Zhou, Marc Habermann, Soshi Shimada, Vladislav Golyanik, Christian Theobalt, and Feng Xu. Physical inertial poser (PIP): Physics-aware real-time human motion tracking from sparse inertial sensors. In CVPR, 2022. 3 [^45]: Xinyu Yi, Yuxiao Zhou, and Feng Xu. TransPose: real-time 3D human translation and pose estimation with six inertial sensors. ACM Transactions on Graphics (TOG), 40(4):1–13, 2021. 2 [^46]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. GLAMR: Global occlusion-aware human mesh recovery with dynamic cameras. In CVPR, 2021. 2 [^47]: Ye Yuan and Kris Kitani. 3D ego-pose estimation via imitation learning. In ECCV, 2018. 2 [^48]: Ye Yuan and Kris Kitani. Ego-pose estimation and forecasting as real-time PD control. In ICCV, 2019. 2, 6 [^49]: Ye Yuan, Shih-En Wei, Tomas Simon, Kris Kitani, and Jason Saragih. SimPoE: Simulated character control for 3D human pose estimation. In CVPR, 2021. 2 [^50]: Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. MotionDiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022. 4 [^51]: Yang Zheng, Yanchao Yang, Kaichun Mo, Jiaman Li, Tao Yu, Yebin Liu, C. Karen Liu, and Leonidas J Guibas. GIMO: Gaze-informed human motion prediction in context. In ECCV, 2022. 5,6 [^52]: Xiaowei Zhou, Menglong Zhu, Spyridon Leonardos, Konstantinos G Derpanis, and Kostas Daniilidis. Sparseness meets deepness: 3D human pose estimation from monocular video. In CVPR, 2016. 2 [^53]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019. 3