# WHAM：重建基于世界坐标系、具备精确三维运动的人体

申素荣 $^{1}$ 金周勇 $^{1}$ 埃尼·哈利拉伊 $^{1}$ 迈克尔·J·布莱克 $^{2}$

 $^{1}$卡内基梅隆大学 $^{2}$马克斯·普朗克智能系统研究所  

{soyongs, juyongk, ehalilaj}@andrew.cmu.edu <mailto:black@tuebingen.mpg.de>

![Image](images/940a8ebe396ed6932063945120887764b791ab9269bd0425977d4c3143e1757b.jpg)

<div style="text-align: center;">Figure 1. WHAM: World-grounded Humans with Accurate Motion. State-of-the-art methods like TRACE [^43] and SLAHMR [^53] fail to capture global 3D human trajectories accurately when given in-the-wild videos captured using a moving camera, producing implausible world-grounded motion (e.g., foot sliding). To address this, WHAM uses two novel strategies: (1) feature integration from 2D keypoints and pixels to reconstruct precise and pixel-aligned 3D human motion and (2) contact-aware trajectory recovery to place the human in a global coordinate system without foot sliding. Gray dots show the ground-truth global trajectory. See Supplemental Video.</div>

## 摘要

从视频中估计三维人体运动的研究发展迅速，但现有方法仍存在几个关键局限。首先，大多数方法在相机坐标系下估计人体。其次，此前在全局坐标系下估计人体的工作通常假设地面为平坦平面，且会产生脚滑问题。第三，精度最高的方法依赖计算成本高昂的优化流程，仅能用于离线应用。最后，现有基于视频的方法精度居然低于单帧方法。我们通过WHAM（World-grounded Humans with Accurate Motion）解决了这些局限，该方法能够从视频中高效、准确地重建全局坐标系下的三维人体运动。WHAM利用动作捕捉数据学习将二维关键点序列提升至三维，并将其与视频特征融合，整合了运动上下文与视觉信息。WHAM结合从SLAM方法估计得到的相机角速度与人体运动，来估计人体的全局轨迹。我们将该方法与接触感知的轨迹优化方法，该方法

让WHAM能够在各类场景下捕获人体运动，例如爬楼梯。WHAM在多个野外基准测试上的表现优于所有现有三维人体运动恢复方法。研究用代码可在 <http://wham.is.tue.mpg.de/> 获取。

### 1. 引言

我们的目标是从单目视频中准确估计人体的三维姿态与形状。这是一个长期存在的问题，尽管该领域已经取得了快速进展，仍有若干关键挑战待解决。首先，人体运动需要在一致的全局坐标系下计算。其次，方法需要具备计算效率。第三，结果需要准确、时序平滑、细节丰富、观感自然，且具备真实的脚地接触。第四，该捕捉方法需要适用于任意运动的相机。满足这些约束才能让无标记人体运动捕捉广泛应用于游戏、AR/VR、自动驾驶、运动分析和人机交互等领域。我们通过以下方法解决这些挑战

---

WHAM（World-grounded Humans with Accurate Motion），它能够从运动相机中快速准确地恢复三维人体运动，见图1。

从视频估计三维人体时，我们理应能够利用视频的时序特性，这符合直觉。但违反直觉的是，现有用于三维人体姿态与形状（HPS）估计的基于视频的方法 [^5] [^14] [^16] [^29] [^42] [^50] 精度反而低于最优的单帧方法 [^6] [^13] [^17] [^20] [^22] [^24] [^25] [^57] [^57]。这可能是训练数据的问题。目前已有大规模的单图像数据集，包含真值三维人体标注，涵盖了多样的身体形状、姿态、背景、光照等条件。相比之下，带真值标注的视频数据集要有限得多。

为解决这一问题，WHAM同时利用了大规模AMASS动作捕捉（mocap）数据集[^31]和视频数据集。我们的核心思路是先从AMASS中学习三维人体运动，再将该信息与视频中的时序图像线索融合，兼得二者优势。与先前研究[^58] [^59]类似，我们利用AMASS生成合成二维关键点与真值运动序列对，基于此预训练一个可捕捉运动上下文的运动编码器，以及一个可将二维关键点序列提升为三维姿态序列的解码器。鉴于近期二维关键点检测模型的鲁棒性[^52] [^56]，我们的预训练模型能够很好地从视频中预测人体姿态。

然而仅靠关键点对于精确的三维网格估计来说过于稀疏。为了提升精度，我们联合训练了一个特征整合网络，用于融合来自视频和二维关键点序列的信息。我们使用了先前工作中已经预训练好的图像编码器[^1] [^6] [^20] [^24]，并利用视频数据集训练特征整合网络[^10] [^14] [^32] [^47]。这一整合过程为从稀疏二维关键点中提取的运动上下文补充了密集视觉上下文，显著提升了恢复得到的姿态和形状精度。

尽管上述方法能够生成准确的运动，但我们需要得到全局坐标系下的运动结果，而大多现有方法仅输出相机坐标系下的人体姿态。当相机处于运动状态时，人体运动和相机运动相互纠缠，估计全局人体轨迹十分困难。近期研究通过优化拟合解决该问题，基于学习得到的人体运动先验，搭配SLAM方法得到的相机信息[^19] [^40] [^53]，或是COLMAP得到的密集三维场景信息[^27]。但这类方法计算成本高，远无法达到实时运行。近期基于回归的方法速度更快，但要么需要用静态或已知相机条件约束问题[^41] [^58]，要么存在时域抖动且精度有限[^43]。我们通过新增两个模块来解决这一挑战。首先，我们训练了一个全局轨迹解码器，从二维关键点序列预测人体的全局朝向和根节点速度。具体来说，我们将相机角速度拼接到上下文特征中，训练全局轨迹解码器递归预测当前的朝向和根节点速度，从而有效地将相机运动从人体运动中分离出来。WHAM可以从SLAM方法的输出获取相机角速度，若设备支持也可直接从相机陀螺仪获取。

上述方案依赖于从AMASS中学习到的人体运动知识，因此，当地面不平整（例如上楼梯）时，它可能无法捕捉到高度变化，因为AMASS中这类数据的数量有限。为解决这一问题，我们引入脚接触作为额外的显式运动上下文形式。我们利用从AMASS和三维视频数据集中得到的估计接触标签，训练WHAM预测脚与地面接触的概率。随后我们训练了一个轨迹细化网络，根据脚接触/速度信息输出对根节点朝向和速度的更新。这一细化步骤让WHAM即使在地形不平整的情况下，也能准确估计全局坐标系下的人体运动。

WHAM的计算开销极低，因为它是一种递归预测姿态、形状和全局运动参数的在线算法。除去预处理步骤（边界框检测、关键点检测和行人识别）后，该网络的运行速度可达200 fps，远快于先前方法。此外，尽管我们没有像[^53]那样使用全局优化，仍然得到了精度准确、漂移极小的3D相机轨迹和全局人体运动结果。通过在多个野外数据集上的大量对比实验以及详细的消融研究，我们发现WHAM在3D人体姿态估计和全局轨迹估计任务上均达到了当前最优（SOTA）精度（见图1）。

综上所述，本文的工作如下：(1) 提出了首个能够有效融合3D人体运动上下文与视频上下文，用于3D HPS回归的方法；(2) 提出了一种全新的全局轨迹估计框架，该框架利用运动上下文和足部接触信息有效解决了脚滑问题，支持对非平面表面上的行人进行3D追踪；(3) 在全局坐标系下高效完成HPS回归；(4) 在多个野外基准数据集（3DPW [^47], RICH [^9], EMDB [^15]）上取得了当前最优（SOTA）性能。WHAM是首个在保持时间平滑性的同时，逐帧准确率超过所有基于图像和基于视频方法的视频类方法。

### 2. 相关工作

基于图像的3D HPS估计。从图像中恢复3D HPS的方法大致可分为两大类：无模型方法[^21] [^26] [^33]和基于模型的方法[6, 11–13, 20, 24, 34, 35]。本文聚焦于基于模型的方法，这类方法估计统计人体模型的低维参数[^28] [^36] [^37] [^51]。早期工作探索了基于优化的方法[^2]，而本文聚焦于基于深度学习的直接回归方法。

现有许多方法都遵循HMR的架构

---

[^13]，该架构使用预训练主干网络预测图像特征，之后通过多层感知器（MLP）从图像特征回归得到SMPL [^28]姿态参数。训练这类网络通常使用配对的图像与SMPL参数；这些参数通常是伪真值（p-GT），由2D关键点估计得到[^11] [^20] [^24] [^34] [^35]。研究者还提出了其他用于HPS回归的架构[^6] [^17] [^18] [^22] [^23] [^57]。这些方法都没有利用视频信息，也没有在全局坐标系下估计人体。尽管这些基于图像的模型准确率较高，但当将它们独立应用到视频序列的每一帧时，得到的形状和姿态会出现时间不一致的问题。相比之下，WHAM能够有效聚合时间信息，得到逐帧准确且时间一致的3D HPS估计结果。

基于视频的3D HPS。基于视频的方法通常通过融合主干网络从每一帧提取的静态特征来编码时序信息。HMMR [^14] 使用卷积编码器，而VIBE [^16] 和MEVA [^29] 采用循环神经网络。TCMR [^5] 将序列划分为过去帧、未来帧和完整帧，聚合信息以通过运动一致性对输出施加强约束。MPS-Net [^50] 利用注意力机制捕捉非局部运动上下文，并通过层级架构聚合时序特征。MAED [^48] 和GLoT [^42] 均使用transformer架构 [^46] 对视频进行编码。MAED在时间（跨帧）和空间（单帧内）两个维度对视频编码，并利用运动学树迭代回归每个关节角。GLoT通过聚焦邻近帧编码长期时间相关性并优化局部细节。尽管整合了跨帧信息，现有所有基于视频的方法准确率都低于最优的单帧方法。

由于带真实SMPL姿态标注的视频训练数据有限，多种单帧方法从2D/3D关键点 [^4] [^7] [^30] [^33] [^38] 推断网格，并将关键点作为训练的代理。另一类方法利用资源丰富的3D mocap数据 [^31] 训练网络将2D关节提升为3D姿态，再将3D姿态作为真实3D信息的代理。MotionBERT [^59] 通过正投影合成2D关键点，学习统一的运动表示。ProxyCap [^58] 利用启发式相机姿态分布将合成3D关键点投影到虚拟相机中。尽管这类方法受益于mocap数据集的规模，它们在测试阶段无法充分利用视频中的可用视觉信息。本文提出一种组合网络架构与训练策略，可同时利用人体姿态的代理表示（升维）和从视频中提取的视觉上下文。

基于密集传感器的全局3D运动估计。多种方法利用其他传感器补充视频数据，以估计世界坐标系下的3D HPS。3DPW数据集 [^47] 采用预先校准的穿戴式惯性传感器与手持相机，在复杂环境中联合优化相机位姿与人体运动。类似地，EMDB数据集 [^15] 将电磁传感器与RGB-D相机结合使用，可实现世界坐标系下精准的人体动作捕捉。尽管穿戴式传感器有助于全局人体运动重建，但它们具有侵入性，需要被测者配合，且无法处理存档视频。BodySLAM++ [^8] 采用结合视觉惯性传感器的优化方法，该传感器由立体相机和IMU组成。相比之下，我们使用标准单目相机，无需专用设备即可兼顾易用性与准确率。虽然WHAM可将相机陀螺仪作为输入，但这并非必需条件。

单目全局三维人体轨迹估计。从单目动态相机中估计人体全局轨迹是一项颇具挑战性的任务。已有工作依赖学习得到的人体运动先验分布来将人体运动与相机运动分离。GLAMR [^55]基于预测并补全的三维运动序列计算全局轨迹，并对场景中多个人体的轨迹进行优化。然而，由于GLAMR未考虑相机运动线索，当相机发生旋转时输出轨迹可能存在噪声。SLAHMR [^53]和PACE [^19]使用现成的SLAM算法 [^44] [^45]，对相机运动和人体运动进行联合优化，以最小化学习得到的运动先验的负对数似然 [^39]。尽管这类方法取得了不错的效果，但其优化方法的计算成本很高。TRACE [^43]是一种纯回归方法，它利用光流作为运动线索，可同时估计多个人体，但缺乏时间一致性。GloPro [^41]可实时回归全局人体运动的不确定性，但需要已知相机位姿。相比之下，WHAM同时利用了人体运动的显式和隐式先验知识，能够高效重构世界坐标系下准确且时间连贯的三维人体运动。

### 3. 方法

#### 3.1. 概述

本文提出的带精确运动的世界坐标人体（WHAM）框架的整体结构如图2所示。WHAM的输入是由运动可能未知的相机采集得到的原始视频数据$\{I^{(t)}\}_{t=0}^{T}$。我们的目标是预测对应序列的SMPL模型参数$\{\Theta^{(t)}\}_{t=0}^{T}$，以及表示在世界坐标系下的根方向$\{\Gamma^{(t)}\}_{t=0}^{T}$和平移量$\{\tau^{(t)}\}_{t=0}^{T}$。我们使用ViTPose [^52]检测二维关键点$\{x_2^{(t)}\}_{t=0}^{T}$，再通过运动编码器从二维关键点中提取运动特征$\{\phi_m^{(t)}\}_{t=0}^{T}$。此外，我们使用预训练图像编码器[^6] [^20] [^24]提取静态图像特征$\{\phi_i^{(t)}\}_{t=0}^{T}$，并将其与$\{\phi_m^{(t)}\}_{t=0}^{T}$融合得到细粒度运动特征$\{\hat{\phi}_m^{(t)}\}_{t=0}^{T}$，再从该特征回归得到三维人体

---

![Image](images/ba970b53c537634b26309cf5d8816e0ff434c700e74c54d8c5a7a6c5f09cf34a.jpg)

<div style="text-align: center;">Figure 2. An Overview of WHAM. WHAM takes the sequence of 2D keypoints estimated by a pretrained detector and encodes it into a motion feature. WHAM then updates the motion feature using another sequence of image features extracted from the image encoder through the feature integrator. From the updated motion feature, the Local Motion Decoder estimates 3D motion in the camera coordinate system and foot-ground contact probability. The Trajectory Decoder takes the motion feature and camera angular velocity to initially estimate the global root orientation and egocentric velocity, which are then updated through the Trajectory Refiner using the foot-ground contact. The final output of WHAM is pixel-aligned 3D human motion with the 3D trajectory in the global coordinates.</div>

世界坐标系下的运动。

#### 3.2. 网络架构

单向运动编码器与解码器。与使用固定时长窗口的已有方法[^5] [^29] [^42] [^50] [^59]不同，我们为运动编码器和解码器采用单向循环神经网络（RNN），这使得WHAM适用于在线推理。运动编码器$E_M$的目标是从当前及历史二维关键点序列和初始隐藏状态$\phi_m^{(t)}$中提取运动上下文$h_E^{(0)}$：

 $$ \phi_{m}^{(t)}=E_{M}\big(x_{2D}^{(0)},x_{2D}^{(1)},...,x_{2D}^{(t)}|h_{E}^{(0)}\big). $$

与CLIFF [^24]类似，我们将关键点归一化到人体周围的边界框内，并将边界框的中心和尺度与关键点拼接。运动解码器$D_M$的作用是从历史运动特征中恢复SMPL参数$(\theta, \beta)$、弱透视相机平移c以及脚-地面接触概率p：

 $$ \big(\theta^{(t)},\beta^{(t)},c^{(t)},p^{(t)}\big)=D_{M}\big(\hat{\phi}_{m}^{(0)},...,\hat{\phi}_{m}^{(t)}|h_{D}^{(0)}\big). $$

在此，$\hat{\phi}_m^{(t)}$是与图像特征$\hat{\phi}_i^{(t)}$融合得到的运动特征（下文将对其进行描述）。在合成数据上进行预训练时，图像特征不可用，因此我们设置$\hat{\phi}_m^{(t)} = \hat{\phi}_m^{(t)}$。由于编码器和解码器的任务是从稀疏二维输入信号$\Theta$重建出稠密三维表示$x_{2D}$，我们设计了一个中间任务来预测三维关键点$x_{3D}$，并将其用作中间运动表示。这种级联方法引导$\phi_m$表示运动的隐式上下文以及人体的三维空间结构。与PIP [^54]类似，我们采用神经初始化方法，利用MLP初始化运动编码器和解码器的隐藏状态，即$(h_E^{(0)}, h_D^{(0)})$；详细内容请参见第4.3节和补充材料。

运动与视觉特征融合器。我们利用AMASS数据集，通过将三维SMPL关节投影到带有不同相机运动的图像中，合成生成二维序列。这实际上提供了近乎无限的训练数据，其多样性远高于现有包含真值三维姿态和形状的视频数据集。尽管我们利用了时序人体运动上下文，但将二维关键点提升为三维网格仍是一个存在歧义的任务。我们的核心思路是利用图像线索补充二维关键点信息，帮助消除三维姿态的歧义。具体来说，我们使用在人体网格恢复任务上预训练的图像编码器[^1] [^6] [^20] [^24]提取图像特征$\phi_i$，该特征包含与三维人体姿态和形状相关的稠密视觉上下文信息。随后我们训练了一个特征融合网络$F_I$，将$\phi_m$与$\phi_i$结合，实现运动与视觉上下文的融合。特征融合器采用了一种简单有效的残差连接：

 $$ \begin{array}{r}{\hat{\phi}_{m}^{(t)}=\phi_{m}^{(t)}+F_{I}\Big(\mathbf{c o n c a t}\big(\phi_{m}^{(t)},\phi_{i}^{(t)}\big)\Big).}\end{array} $$

这为利用AMASS在二维转三维提升任务上预训练得到的运动特征补充了视觉上下文，最终得到增强的运动特征，能够借助图像证据帮助消除该任务的歧义性。

全局轨迹解码器。我们额外设计了一个解码器$D_T$，用于从运动特征$\Gamma_0^{(t)}$中预测粗略的全局根节点朝向$v_0^{(t)}$和根节点速度$\phi_m^{(t)}$。由于$\phi_m$源自相机坐标系下的输入信号，从中分离出人体运动和相机运动的难度极大。为了解决这一歧义性问题，我们将相机角速度$\omega^{(t)}$附加到运动特征$\phi_m^{(t)}$中，构建出不依赖于相机参数的运动上下文。这一设计使得WHAM能够同时兼容现成的

---

SLAM算法[^44] [^45]以及现代数码相机普遍配备的陀螺仪测量数据。我们使用单向RNN递归预测全局朝向$\Gamma_{0}^{(t)}$。

 $$ \bigl(\Gamma_{0}^{(t)},v_{0}^{(t)}\bigr)=D_{T}\bigl(\phi_{m}^{(0)},\omega^{(0)},...,\phi_{m}^{(t)},\omega^{(t)}\bigr). $$

接触感知轨迹优化。在大多数场景下，世界坐标系下的高质量三维运动意味着准确的脚-地面接触且不存在滑动。我们希望WHAM能够推广到现有工作通常假设的平坦地面之外的场景。具体来说，我们提出的新型轨迹优化器旨在解决脚滑动问题，使WHAM能够很好地适配包括爬楼梯在内的多种运动。优化过程包含两个阶段。首先，我们基于从运动解码器$\tilde{v}^{(t)}$估计得到的脚-地面接触概率$p^{(t)}$，将 ego-centric 根节点速度调整为$D_{M}$，以最小化脚滑动：

 $$ \tilde{v}^{(t)}=v_{0}^{(t)}-\left(\Gamma_{0}^{(t)}\right)^{-1}\bar{v}_{f}^{(t)}, $$

其中，当脚趾与脚跟的接触概率$\bar{v}_{f}^{(t)}$高于阈值时，$p^{(t)}$为脚趾与脚跟在世界坐标系下的平均速度。然而，当接触估计和姿态估计不准确时，这种速度调整通常会引入平移噪声。因此，我们提出了一种简单的学习机制，通过轨迹优化网络$R_{T}$更新根节点方向与速度来解决该问题。最终，全局平移通过滚动输出操作计算得到：

 $$ \begin{array}{r l r}{\big(\Gamma^{(t)},v^{(t)}\big)}&{{}=}&{R_{T}\big(\phi_{m}^{(0)},\Gamma_{0}^{(0)},\tilde{v}^{(0)},...,\phi_{m}^{(t)},\Gamma_{0}^{(t)},\tilde{v}^{(t)}\big),}\end{array} $$

 $$ \begin{array}{r l r}{\tau^{(t)}}&{{}=}&{\displaystyle\sum_{i=0}^{t-1}\Gamma^{(i)}v^{(i)}.}\end{array} $$

综上所述，整个流程从单目视频序列中重建出相机坐标系和世界坐标系下准确的三维人体姿态与形状（图 2）。

#### 3.3 训练

在AMASS上预训练。我们分两个阶段训练：(1) 使用合成数据预训练，(2) 使用真实数据微调（图 3）。预训练阶段的目标是让运动编码器从输入的二维关键点序列中提取运动上下文。随后运动解码器和轨迹解码器将该运动上下文映射到对应的三维运动空间和全局轨迹空间（即将编码提升到三维空间）。我们使用AMASS数据集[^31]生成大量合成样本对，每个样本对包含二维关键点序列以及对应的真值SMPL参数。

为了从AMASS数据合成二维关键点，我们创建虚拟相机，将从真值网格得到的三维关键点投影到虚拟相机上。与MotionBERT [^59] 和

![Image](images/03cf3bd79eb41d6eef62a4db8d76b1dd321ab3e635c3890cf7ffa2be169dfc50.jpg)

<div style="text-align: center;">Figure 3. WHAM's Two-Stage Training Scheme. During pretaining, we generate synthetic 2D keypoint sequences from AMASS [^31] and train a motion encoder and decoder on the generated data (top). We then leverage video datasets with ground truth SMPL parameters, for which there is much less data. We use the fixedweight pre-trained image encoder and keypoints detector (∗) to extract image features and 2D keypoints. In this stage, we train the feature integration network while fine-tuning the motion encoder and motion/trajectory decoders, marked ∗ (bottom).</div>

ProxyCap [^58] 使用静态相机进行关键点投影不同，我们采用同时包含旋转运动和平移运动的动态相机。该选择有两个主要出发点：首先，它能体现静态相机设置和动态相机设置下捕获的人体运动之间的固有差异；其次，它支持学习不依赖特定相机的运动表示，轨迹解码器可基于该表示重建全局轨迹。我们还对二维数据进行了噪声添加和掩码增强。合成生成过程的细节参见补充材料。

在视频数据集上微调。我们从预训练网络出发，在四个视频数据集上对WHAM进行微调：3DPW [^47]、Human3.6M [^10]、MPI-INF-3DHP [^32]以及InstaVariety [^14]。针对人体网格重建任务，我们使用来自AMASS和3DPW的真值SMPL参数、来自Human3.6M和MPI-INF-3DHP的三维关键点，以及来自InstaVariety的二维关键点对WHAM进行监督。针对全局轨迹估计任务，我们使用AMASS、Human3.6M和MPI-INF-3DHP数据集。此外，在训练过程中我们还尝试加入BEDLAM [^1]，这是一个包含真实感视频和真值SMPL参数的大规模合成数据集。

微调有两个目标：1) 让网络接触真实的二维关键点，而非仅在合成数据上训练；2) 训练特征整合网络来聚合运动特征和图像特征。为实现这些目标，我们在视频数据集上联合训练整个网络，同时对预训练模块设置更小的学习率（参见图 3）。与已有工作[^5] [^16] [^29] [^42] [^50]一致，我们使用预训练且权重固定的图像编码器[^20]提取图像特征。但为了利用最新的网络架构和训练策略，我们在下一节还对不同类型的编码器[^1] [^6] [^24]进行了实验。实现细节。在预训练阶段，我们训练

---

我们在AMASS数据集上训练WHAM共80个epoch，学习率为$5 \times 10^{-4}$。随后我们在3DPW、MPI-INF3DHP、Human3.6M和InstaVariety数据集上对WHAM进行30个epoch的微调。微调阶段，我们为特征积分器设置学习率$1 \times 10^{-4}$，为预训练组件设置学习率$1 \times 10^{-5}$。训练过程中，我们使用Adam优化器，批量大小设为64，并将序列分割为81帧的块。

### 4. 实验

数据集。我们在三个野外基准数据集上评估WHAM：3DPW [^47]、RICH [^9]和EMDB [^15]。遵循先前工作[^1] [^5] [^13] [^16] [^20] [^24] [^29]的设置，我们在相机坐标系下进行评估。我们在EMDB的一个子集（EMDB 2）上评估估计的全局轨迹，该子集提供了动态相机拍摄下的真实全局运动（用于评估）。我们还在使用带陀螺仪的iPhone拍摄的新序列上进行测试。更多关于数据集和iPhone测试结果的细节见补充材料。

评估指标。为了评估3D人体姿态和形状估计的准确性，我们计算了以毫米（mm）为单位的平均关节位置误差（MPJPE）、普氏对齐MPJPE（PA-MPJPE）和顶点误差（PVE）。我们计算加速度误差（Accel，单位为$m/s^2$）$^1$，以衡量重建运动的帧间平滑度。我们还评估了世界坐标系下运动重建和轨迹估计的准确性。遵循先前工作[^19] [^53]的设置，我们将序列分割为长度100帧的较小分段，对每个输出分段使用前两帧与真值数据对齐（得到W-MPJPE $_{100}$），或使用整段分段对齐（得到WA-MPJPE $_{100}$），单位为mm。这些现有指标无法衡量长序列上的漂移，因此对3D性能的评估并不符合实际。因此，我们还评估了刚体对齐后整条轨迹的误差，计算了根平移误差（RTE，单位为%），该误差由人物的实际位移归一化。我们还评估了世界坐标系下运动的抖动（单位为$10m/s^3$）和接触过程中的脚滑（FS，单位为mm）。

#### 4.1. 3D人体运动恢复

单帧精度。表1在三个基准数据集[^9] [^15] [^47]上对WHAM与现有最先进的单帧方法和基于视频的方法进行了全面比较。由于所有方法在训练过程中都未接触过RICH或EMDB的数据，因此这些数据集上的结果能够反映各方法的泛化能力。WHAM (Res)、WHAM (HR)和WHAM (ViT)分别对应不同架构的预训练图像编码器，分别源自SPIN（ResNet-50）[^20]、CLIFF（HRNet-W48）[^1] [^24]和HMR2.0（ViT-H/16）[^6]。不出所料，WHAM (HR)比WHAM (Res)精度更高，

![Image](images/1b868ea037dfb3878b1950385969a5bf544343910263986df32b374ed517d923.jpg)

<div style="text-align: center;">Figure 4. Qualitative comparison with previous state-of-the-art methods for 3D human pose and shape estimation. See text.</div>

而基于Transformer的版本WHAM (ViT)精度最高。骨干网络的选择对结果影响很大，WHAM (ViT)在所有基准数据集的所有单帧指标（MPJPE、PA-MPJPE和PVE）上都优于所有现有方法。即使使用最简单的ResNet骨干网络，WHAM (Res)在RICH数据集上的表现也优于除ReFit之外的所有方法。

帧间平滑性。我们还使用加速度误差评估帧间平滑性。与最先进的逐帧方法 [^1] [^6] [^22] [^24]相比，WHAM的加速度误差显著更低。这表明WHAM在不牺牲高逐帧精度的前提下，重构出了跨帧平滑、更合理的三维人体运动。另一方面，与近期的时序方法 [^5] [^42] [^50]相比，WHAM的加速度误差与之相当或略高。但我们观察到，这些基于视频的方法往往会过度平滑人体运动，导致逐帧指标精度更低。

在BEDLAM上训练可以持续提升已有工作的精度（见 [^1] [^3] [^49]），如表2所示，我们也得到了相同的结论。但与ReFit相比，添加BEDLAM给WHAM带来的性能提升相对更小。一个可能的原因是，不同于ReFit，为了控制训练时长，我们在训练过程中没有微调图像编码器。

为了直观理解这些数值结果，我们在图4中将WHAM与TCMR [^5]和GLoT [^42]进行定性对比。TCMR和GLoT虽然能生成平滑的结果，但当受试者上楼梯时，它们无法捕捉到左膝的弯曲动作，而WHAM能更准确地重构三维人体姿态。

#### 4.2. 三维全局轨迹重建

为了评估全局轨迹重建，我们将WHAM与最先进方法，以及一个结合了SLAM方法（DPVO [^45]）和逐帧

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2" colspan="2">Models</td><td colspan="4">3DPW (14)</td><td colspan="4">RICH (24)</td><td colspan="4">EMDB (24)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPIPE</td><td style='text-align: center; word-wrap: break-word;'>MPIPE</td><td style='text-align: center; word-wrap: break-word;'>PVE</td><td style='text-align: center; word-wrap: break-word;'>Accel</td><td style='text-align: center; word-wrap: break-word;'>PA-MPIPE</td><td style='text-align: center; word-wrap: break-word;'>MPIPE</td><td style='text-align: center; word-wrap: break-word;'>PVE</td><td style='text-align: center; word-wrap: break-word;'>Accel</td><td style='text-align: center; word-wrap: break-word;'>PA-MPIPE</td><td style='text-align: center; word-wrap: break-word;'>MPIPE</td><td style='text-align: center; word-wrap: break-word;'>PVE</td><td style='text-align: center; word-wrap: break-word;'>Accel</td></tr><tr><td rowspan="6">per-frame</td><td style='text-align: center; word-wrap: break-word;'>SPIN [^20]</td><td style='text-align: center; word-wrap: break-word;'>59.2</td><td style='text-align: center; word-wrap: break-word;'>96.9</td><td style='text-align: center; word-wrap: break-word;'>112.8</td><td style='text-align: center; word-wrap: break-word;'>31.4</td><td style='text-align: center; word-wrap: break-word;'>69.7</td><td style='text-align: center; word-wrap: break-word;'>122.9</td><td style='text-align: center; word-wrap: break-word;'>144.2</td><td style='text-align: center; word-wrap: break-word;'>35.2</td><td style='text-align: center; word-wrap: break-word;'>87.1</td><td style='text-align: center; word-wrap: break-word;'>140.7</td><td style='text-align: center; word-wrap: break-word;'>166.1</td><td style='text-align: center; word-wrap: break-word;'>41.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PARE $^{{*}}$ [^17]</td><td style='text-align: center; word-wrap: break-word;'>46.5</td><td style='text-align: center; word-wrap: break-word;'>74.5</td><td style='text-align: center; word-wrap: break-word;'>88.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>60.7</td><td style='text-align: center; word-wrap: break-word;'>109.2</td><td style='text-align: center; word-wrap: break-word;'>123.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>72.2</td><td style='text-align: center; word-wrap: break-word;'>113.9</td><td style='text-align: center; word-wrap: break-word;'>133.2</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CLIFF $^{{*}}$ [^24]</td><td style='text-align: center; word-wrap: break-word;'>43.0</td><td style='text-align: center; word-wrap: break-word;'>69.0</td><td style='text-align: center; word-wrap: break-word;'>81.2</td><td style='text-align: center; word-wrap: break-word;'>22.5</td><td style='text-align: center; word-wrap: break-word;'>56.6</td><td style='text-align: center; word-wrap: break-word;'>102.6</td><td style='text-align: center; word-wrap: break-word;'>115.0</td><td style='text-align: center; word-wrap: break-word;'>22.4</td><td style='text-align: center; word-wrap: break-word;'>68.3</td><td style='text-align: center; word-wrap: break-word;'>103.5</td><td style='text-align: center; word-wrap: break-word;'>123.7</td><td style='text-align: center; word-wrap: break-word;'>24.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HybrIK $^{{*}}$ [^22]</td><td style='text-align: center; word-wrap: break-word;'>41.8</td><td style='text-align: center; word-wrap: break-word;'>71.6</td><td style='text-align: center; word-wrap: break-word;'>82.3</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.8</td><td style='text-align: center; word-wrap: break-word;'>110.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>65.6</td><td style='text-align: center; word-wrap: break-word;'>103.0</td><td style='text-align: center; word-wrap: break-word;'>122.2</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HMR2.0 [^6]</td><td style='text-align: center; word-wrap: break-word;'>44.4</td><td style='text-align: center; word-wrap: break-word;'>69.8</td><td style='text-align: center; word-wrap: break-word;'>82.2</td><td style='text-align: center; word-wrap: break-word;'>18.1</td><td style='text-align: center; word-wrap: break-word;'>48.1</td><td style='text-align: center; word-wrap: break-word;'>96.0</td><td style='text-align: center; word-wrap: break-word;'>110.9</td><td style='text-align: center; word-wrap: break-word;'>18.8</td><td style='text-align: center; word-wrap: break-word;'>60.7</td><td style='text-align: center; word-wrap: break-word;'>98.3</td><td style='text-align: center; word-wrap: break-word;'>120.8</td><td style='text-align: center; word-wrap: break-word;'>19.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ReFit $^{{*}}$ [^49]</td><td style='text-align: center; word-wrap: break-word;'>40.5</td><td style='text-align: center; word-wrap: break-word;'>65.3</td><td style='text-align: center; word-wrap: break-word;'>75.1</td><td style='text-align: center; word-wrap: break-word;'>18.5</td><td style='text-align: center; word-wrap: break-word;'>47.9</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>92.9</td><td style='text-align: center; word-wrap: break-word;'>17.1</td><td style='text-align: center; word-wrap: break-word;'>58.6</td><td style='text-align: center; word-wrap: break-word;'>88.0</td><td style='text-align: center; word-wrap: break-word;'>104.5</td><td style='text-align: center; word-wrap: break-word;'>20.7</td></tr><tr><td rowspan="11">temporal</td><td style='text-align: center; word-wrap: break-word;'>TCMR $^{{*}}$ [^5]</td><td style='text-align: center; word-wrap: break-word;'>52.7</td><td style='text-align: center; word-wrap: break-word;'>86.5</td><td style='text-align: center; word-wrap: break-word;'>101.4</td><td style='text-align: center; word-wrap: break-word;'>6.0</td><td style='text-align: center; word-wrap: break-word;'>65.6</td><td style='text-align: center; word-wrap: break-word;'>119.1</td><td style='text-align: center; word-wrap: break-word;'>137.7</td><td style='text-align: center; word-wrap: break-word;'>5.0</td><td style='text-align: center; word-wrap: break-word;'>79.8</td><td style='text-align: center; word-wrap: break-word;'>127.7</td><td style='text-align: center; word-wrap: break-word;'>150.2</td><td style='text-align: center; word-wrap: break-word;'>5.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE $^{{*}}$ [^16]</td><td style='text-align: center; word-wrap: break-word;'>51.9</td><td style='text-align: center; word-wrap: break-word;'>82.9</td><td style='text-align: center; word-wrap: break-word;'>98.4</td><td style='text-align: center; word-wrap: break-word;'>18.5</td><td style='text-align: center; word-wrap: break-word;'>68.4</td><td style='text-align: center; word-wrap: break-word;'>120.5</td><td style='text-align: center; word-wrap: break-word;'>140.2</td><td style='text-align: center; word-wrap: break-word;'>21.8</td><td style='text-align: center; word-wrap: break-word;'>81.6</td><td style='text-align: center; word-wrap: break-word;'>126.1</td><td style='text-align: center; word-wrap: break-word;'>149.9</td><td style='text-align: center; word-wrap: break-word;'>26.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPS-Net $^{{*}}$ [^50]</td><td style='text-align: center; word-wrap: break-word;'>52.1</td><td style='text-align: center; word-wrap: break-word;'>84.3</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>6.5</td><td style='text-align: center; word-wrap: break-word;'>67.1</td><td style='text-align: center; word-wrap: break-word;'>118.2</td><td style='text-align: center; word-wrap: break-word;'>136.7</td><td style='text-align: center; word-wrap: break-word;'>5.8</td><td style='text-align: center; word-wrap: break-word;'>81.4</td><td style='text-align: center; word-wrap: break-word;'>123.3</td><td style='text-align: center; word-wrap: break-word;'>143.9</td><td style='text-align: center; word-wrap: break-word;'>6.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GLoT $^{{*}}$ [^42]</td><td style='text-align: center; word-wrap: break-word;'>50.6</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>96.4</td><td style='text-align: center; word-wrap: break-word;'>6.0</td><td style='text-align: center; word-wrap: break-word;'>65.6</td><td style='text-align: center; word-wrap: break-word;'>114.3</td><td style='text-align: center; word-wrap: break-word;'>132.7</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>79.1</td><td style='text-align: center; word-wrap: break-word;'>119.9</td><td style='text-align: center; word-wrap: break-word;'>140.8</td><td style='text-align: center; word-wrap: break-word;'>5.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GLAMR [^55]</td><td style='text-align: center; word-wrap: break-word;'>51.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>8.0</td><td style='text-align: center; word-wrap: break-word;'>79.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>107.7</td><td style='text-align: center; word-wrap: break-word;'>73.8</td><td style='text-align: center; word-wrap: break-word;'>113.8</td><td style='text-align: center; word-wrap: break-word;'>134.9</td><td style='text-align: center; word-wrap: break-word;'>33.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TRACE $^{{*}}$ [^43]</td><td style='text-align: center; word-wrap: break-word;'>50.9</td><td style='text-align: center; word-wrap: break-word;'>79.1</td><td style='text-align: center; word-wrap: break-word;'>95.4</td><td style='text-align: center; word-wrap: break-word;'>28.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>71.5</td><td style='text-align: center; word-wrap: break-word;'>110.0</td><td style='text-align: center; word-wrap: break-word;'>129.6</td><td style='text-align: center; word-wrap: break-word;'>25.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SLAHMR [^53]</td><td style='text-align: center; word-wrap: break-word;'>55.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>52.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>69.7</td><td style='text-align: center; word-wrap: break-word;'>93.7</td><td style='text-align: center; word-wrap: break-word;'>111.3</td><td style='text-align: center; word-wrap: break-word;'>7.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PACE [^19]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>49.3</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (Res) $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>40.2</td><td style='text-align: center; word-wrap: break-word;'>62.7</td><td style='text-align: center; word-wrap: break-word;'>75.1</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>51.8</td><td style='text-align: center; word-wrap: break-word;'>89.5</td><td style='text-align: center; word-wrap: break-word;'>103.2</td><td style='text-align: center; word-wrap: break-word;'>5.0</td><td style='text-align: center; word-wrap: break-word;'>57.8</td><td style='text-align: center; word-wrap: break-word;'>84.0</td><td style='text-align: center; word-wrap: break-word;'>99.7</td><td style='text-align: center; word-wrap: break-word;'>5.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (HR) $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>39.0</td><td style='text-align: center; word-wrap: break-word;'>62.6</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>49.1</td><td style='text-align: center; word-wrap: break-word;'>84.6</td><td style='text-align: center; word-wrap: break-word;'>96.4</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>57.1</td><td style='text-align: center; word-wrap: break-word;'>85.7</td><td style='text-align: center; word-wrap: break-word;'>103.2</td><td style='text-align: center; word-wrap: break-word;'>5.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (ViT) $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>35.9</td><td style='text-align: center; word-wrap: break-word;'>57.8</td><td style='text-align: center; word-wrap: break-word;'>68.7</td><td style='text-align: center; word-wrap: break-word;'>6.6</td><td style='text-align: center; word-wrap: break-word;'>44.3</td><td style='text-align: center; word-wrap: break-word;'>80.0</td><td style='text-align: center; word-wrap: break-word;'>91.2</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>50.4</td><td style='text-align: center; word-wrap: break-word;'>79.7</td><td style='text-align: center; word-wrap: break-word;'>94.4</td><td style='text-align: center; word-wrap: break-word;'>5.3</td></tr></table>

<div style="text-align: center;">Table 1. Quantitative comparison of state-of-the-art models on the 3DPW [^47], RICH [^9], and EMDB [^15] datasets. Ordering of per-frame and temporal methods is done separately by descending MPJPE on EMDB (except for PACE). For testing on EMDB, we follow the protocol of EMDB 1 [^15]. Parenthesis denotes the number of body joints used to compute MPJPE and PA-MPJPE, and  $^{*}$ denotes models trained with the 3DPW training set. Bold numbers denote the most accurate method in each column. Accel is in  $m/s^{2}$, all other errors are in mm.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Models</td><td rowspan="2">Dataset</td><td colspan="4">3DPW (14)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>PVE</td><td style='text-align: center; word-wrap: break-word;'>Accel</td></tr><tr><td rowspan="2">CLIFF [^1] [^24]</td><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>43.6</td><td style='text-align: center; word-wrap: break-word;'>68.8</td><td style='text-align: center; word-wrap: break-word;'>82.1</td><td style='text-align: center; word-wrap: break-word;'>19.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R+B</td><td style='text-align: center; word-wrap: break-word;'>43.0</td><td style='text-align: center; word-wrap: break-word;'>66.9</td><td style='text-align: center; word-wrap: break-word;'>78.5</td><td style='text-align: center; word-wrap: break-word;'>31.0</td></tr><tr><td rowspan="2">ReFit [^49]</td><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>40.5</td><td style='text-align: center; word-wrap: break-word;'>65.3</td><td style='text-align: center; word-wrap: break-word;'>75.1</td><td style='text-align: center; word-wrap: break-word;'>18.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R+B</td><td style='text-align: center; word-wrap: break-word;'>38.2</td><td style='text-align: center; word-wrap: break-word;'>57.6</td><td style='text-align: center; word-wrap: break-word;'>67.6</td><td style='text-align: center; word-wrap: break-word;'>21.4</td></tr><tr><td rowspan="2">WHAM (ViT)</td><td style='text-align: center; word-wrap: break-word;'>R</td><td style='text-align: center; word-wrap: break-word;'>35.9</td><td style='text-align: center; word-wrap: break-word;'>57.8</td><td style='text-align: center; word-wrap: break-word;'>68.7</td><td style='text-align: center; word-wrap: break-word;'>6.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R+B</td><td style='text-align: center; word-wrap: break-word;'>35.7</td><td style='text-align: center; word-wrap: break-word;'>56.9</td><td style='text-align: center; word-wrap: break-word;'>67.4</td><td style='text-align: center; word-wrap: break-word;'>6.7</td></tr></table>

<div style="text-align: center;">Table 2. Dataset ablation experiments on 3DPW [^47]. R denotes the use of real datasets and B denotes BEDLAM.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Models</td><td colspan="5">EMDB 2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WA-MPJPE $_{100}$</td><td style='text-align: center; word-wrap: break-word;'>W-MPJPE $_{100}$</td><td style='text-align: center; word-wrap: break-word;'>RTE</td><td style='text-align: center; word-wrap: break-word;'>Jitter</td><td style='text-align: center; word-wrap: break-word;'>FS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DPVO (+ HMR2.0) [^6] [^45]</td><td style='text-align: center; word-wrap: break-word;'>647.8</td><td style='text-align: center; word-wrap: break-word;'>2231.4</td><td style='text-align: center; word-wrap: break-word;'>15.8</td><td style='text-align: center; word-wrap: break-word;'>537.3</td><td style='text-align: center; word-wrap: break-word;'>107.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GLAMR [^55]</td><td style='text-align: center; word-wrap: break-word;'>280.8</td><td style='text-align: center; word-wrap: break-word;'>726.6</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>46.3</td><td style='text-align: center; word-wrap: break-word;'>20.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TRACE [^43]</td><td style='text-align: center; word-wrap: break-word;'>529.0</td><td style='text-align: center; word-wrap: break-word;'>1702.3</td><td style='text-align: center; word-wrap: break-word;'>17.7</td><td style='text-align: center; word-wrap: break-word;'>2987.6</td><td style='text-align: center; word-wrap: break-word;'>370.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SLAHMR [^53]</td><td style='text-align: center; word-wrap: break-word;'>326.9</td><td style='text-align: center; word-wrap: break-word;'>776.1</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>31.3</td><td style='text-align: center; word-wrap: break-word;'>14.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (w/DPVO [^45])</td><td style='text-align: center; word-wrap: break-word;'>135.6</td><td style='text-align: center; word-wrap: break-word;'>354.8</td><td style='text-align: center; word-wrap: break-word;'>6.0</td><td style='text-align: center; word-wrap: break-word;'>22.5</td><td style='text-align: center; word-wrap: break-word;'>4.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (w/DROID [^44])</td><td style='text-align: center; word-wrap: break-word;'>133.3</td><td style='text-align: center; word-wrap: break-word;'>343.9</td><td style='text-align: center; word-wrap: break-word;'>4.6</td><td style='text-align: center; word-wrap: break-word;'>21.5</td><td style='text-align: center; word-wrap: break-word;'>4.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (w/ GT gyro)</td><td style='text-align: center; word-wrap: break-word;'>131.1</td><td style='text-align: center; word-wrap: break-word;'>335.3</td><td style='text-align: center; word-wrap: break-word;'>4.1</td><td style='text-align: center; word-wrap: break-word;'>21.0</td><td style='text-align: center; word-wrap: break-word;'>4.4</td></tr></table>

<div style="text-align: center;">Table 3. Global motion estimation accuracy on EMDB [^15].</div>

方法（HMR2.0 [^6]）进行比较，结果见表3。WHAM不依赖相机角速度的来源，我们分别对比了使用DPVO、DROID-SLAM [^44]和真值角速度（陀螺仪）的结果。

如表3所示，WHAM在所有指标上都优于现有方法。具体来说，结合WHAM与DPVO的方案比DPVO结合HMR2.0的全局轨迹估计更准确，说明我们的方法主动优化了全局轨迹，而非进行简单积分。DROID-SLAM的结果略优于DPVO。此外，WHAM在抖动和脚滑指标上显著优于基于回归的方法TRACE。我们在图5和图1中进一步展示了这一点：对于动态相机拍摄的视频，WHAM在全局坐标系下捕捉到的人体运动比TRACE和SLAHMR更一致、更合理。如图6所示，在全局坐标系下捕捉人体运动模式方面，WHAM的表现优于GLAMR、TRACE和SLAHMR。

#### 4.3. 消融实验

为了进一步深入分析我们的方法，我们开展消融实验，分析每个组件对性能的贡献。如表4所示，我们的完整系统（WHAM）优于每次移除单个组件得到的不同WHAM变体。具体来说，我们首先观察到，与没有特征集成的消融版本（w/o $F_{1}$）相比，添加特征集成可以同时提升运动和全局轨迹估计的精度。同理，移除对

---

![Image](images/593e8418280e68c9f8bd06b1a5e54f7941747e2c6aa7945063b2b5c800c43558.jpg)

<div style="text-align: center;">Figure 5. Qualitative comparison with TRACE [^43] and SLAHMR [^53] on global human motion estimation with dynamic cameras.</div>

![Image](images/b7ac1d6fdb5c49539b6f4b7a3a27426c5b76d74e5e388fad457f2767f40f8c49.jpg)

<div style="text-align: center;">Figure 6. Comparison of global trajectory estimation on EMDB [^15]. Overall, WHAM shows better alignment to ground truth data compared to GLAMR [^55], TRACE [^43], and SLAHMR [^53].</div>

使用AMASS的2D转3D提升任务（无提升模块）[^31]出现了显著的性能下降。WHAM的表现也优于去掉神经初始化（w/o NI）的消融版本，在MPJPE指标上的优势尤为明显。此外，我们还实验了仅基于运动上下文解码轨迹、不使用估计相机角速度的WHAM版本（w/o $\omega$）。虽然该版本在预测3D人体姿态方面性能相近，但它存在相机运动与人体运动相互纠缠的问题，导致整体轨迹误差（RTE）显著偏高。最后我们观察到，去掉轨迹优化（w/o traj. ref.）的WHAM虽然抖动更低，但全局轨迹误差和 foot 滑动误差更大，这说明我们的方法有助于提升全局轨迹精度，减少 foot 滑动。核心细节已在此展示；更多细节以及运行时间成本相关信息请见补充材料。

### 5. 结论

WHAM是一种从运动相机中恢复全局坐标下精准3D人体运动的新方法，相比现有最先进方法，它能更高效

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Models</td><td colspan="7">EMDB 2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>WA-MPJPE $_{100}$</td><td style='text-align: center; word-wrap: break-word;'>W-MPJPE $_{100}$</td><td style='text-align: center; word-wrap: break-word;'>RTE</td><td style='text-align: center; word-wrap: break-word;'>Jitter</td><td style='text-align: center; word-wrap: break-word;'>FS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $F_1$</td><td style='text-align: center; word-wrap: break-word;'>44.2</td><td style='text-align: center; word-wrap: break-word;'>69.0</td><td style='text-align: center; word-wrap: break-word;'>147.6</td><td style='text-align: center; word-wrap: break-word;'>377.9</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>23.1</td><td style='text-align: center; word-wrap: break-word;'>5.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o lifting</td><td style='text-align: center; word-wrap: break-word;'>60.3</td><td style='text-align: center; word-wrap: break-word;'>83.0</td><td style='text-align: center; word-wrap: break-word;'>238.0</td><td style='text-align: center; word-wrap: break-word;'>693.0</td><td style='text-align: center; word-wrap: break-word;'>11.5</td><td style='text-align: center; word-wrap: break-word;'>24.5</td><td style='text-align: center; word-wrap: break-word;'>5.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $N_I$</td><td style='text-align: center; word-wrap: break-word;'>40.4</td><td style='text-align: center; word-wrap: break-word;'>66.3</td><td style='text-align: center; word-wrap: break-word;'>142.7</td><td style='text-align: center; word-wrap: break-word;'>368.1</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>22.3</td><td style='text-align: center; word-wrap: break-word;'>4.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\omega$</td><td style='text-align: center; word-wrap: break-word;'>39.1</td><td style='text-align: center; word-wrap: break-word;'>62.0</td><td style='text-align: center; word-wrap: break-word;'>156.5</td><td style='text-align: center; word-wrap: break-word;'>422.0</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>22.1</td><td style='text-align: center; word-wrap: break-word;'>5.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o traj. ref.</td><td style='text-align: center; word-wrap: break-word;'>38.2</td><td style='text-align: center; word-wrap: break-word;'>59.3</td><td style='text-align: center; word-wrap: break-word;'>154.7</td><td style='text-align: center; word-wrap: break-word;'>407.5</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>18.8</td><td style='text-align: center; word-wrap: break-word;'>6.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WHAM (Ours)</td><td style='text-align: center; word-wrap: break-word;'>38.2</td><td style='text-align: center; word-wrap: break-word;'>59.3</td><td style='text-align: center; word-wrap: break-word;'>135.6</td><td style='text-align: center; word-wrap: break-word;'>354.8</td><td style='text-align: center; word-wrap: break-word;'>6.0</td><td style='text-align: center; word-wrap: break-word;'>22.5</td><td style='text-align: center; word-wrap: break-word;'>4.4</td></tr></table>

<div style="text-align: center;">Table 4. Ablation experiments. See text.</div>

率且更精准地完成任务。我们的方法利用AMASS数据集训练网络，将关键点的2D序列递归提升为3D SMPL参数序列。但仅有关键点缺少关于人体及其运动的宝贵信息。因此，我们随时间整合图像上下文信息，学习将其与运动上下文结合，以更好地估计人体形状和姿态。此外，我们的方法会利用相机角速度的估计值，该估计值可以通过SLAM方法计算得到，若设备支持也可直接从相机陀螺仪获取。最后，我们将所有这些信息与 foot 接触估计结合，从单目视频序列中恢复出全局坐标下的3D人体运动。在针对野外复杂场景的基准测试中，WHAM在3D HPS和世界坐标轨迹估计精度两个方面都显著优于现有最先进方法（包括基于图像和基于视频的方法）。凭借其速度和精度优势，WHAM为野外动捕应用提供了坚实基础。

局限性与未来研究方向：WHAM从AMASS中学习人体运动，这限制了它对分布外运动的泛化能力。尽管我们在数据合成过程中采用了随机掩码，但我们的生成方法主要假设全身都在视野范围内的场景。更多细节请见补充材料。

WHAM开辟了许多未来研究方向。例如，虽然我们目前使用SLAM估计相机角速度，但SLAM还可以提供相机内参、外参以及3D场景信息，这些信息可用于约束场景与人体之间的一致性。WHAM是为实时应用设计的在线方法，但它也可以为类似光束平差法的基于优化的后处理提供初始化，这类后处理会联合优化相机、场景和人体运动。此外，WHAM实现实时的手机端部署是完全可行的。

致谢。本研究的部分工作是第一作者在马克斯·普朗克智能系统研究所实习期间完成的。本研究得到了NSF CAREER奖（CBET 2145473）以及陈-扎克伯格科学核心开放软件奖的部分支持。利益冲突披露。<https://files.is.tue.mpg.de/black/CoI_CVPR_2024.txt>.

---

## 参考文献

[^1]: Michael J. Black, Priyanka Patel, Joachim Tesch, and Jinlong Yang. BEDLAM: A synthetic dataset of bodies exhibiting detailed lifelike animated motion. In Proceedings IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), pages 8726–8737, 2023. 2, 4, 5, 6, 7

[^2]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J. Black. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. In Computer Vision – ECCV 2016, pages 561–578. Springer International Publishing, 2016. 2

[^3]: Zhongang Cai, Wanqi Yin, Ailing Zeng, Chen Wei, Qingping Sun, Yanjun Wang, Hui En Pang, Haiyi Mei, Mingyuan Zhang, Lei Zhang, Chen Change Loy, Lei Yang, and Ziwei Liu. SMPLer-X: Scaling up expressive human pose and shape estimation. In Proc. Neural Information Processing Systems (NeurIPS), 2023. 6

[^4]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision (ECCV), 2020. 3

[^5]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Ky-oung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 2, 3, 4, 5, 6, 7

[^6]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. Humans in 4D: Reconstructing and tracking humans with transformers. arXiv preprint arXiv:2305.20091, 2023. 2, 3, 4, 5, 6, 7

[^7]: Riza Alp Guler and Iasonas Kokkinos. Holopose: Holistic 3d human reconstruction in-the-wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3

[^8]: Dorian F. Henning, Christopher Choi, Simon Schaefer, and Stefan Leutenegger. Bodyslam++: Fast and tightly-coupled visual-inertial camera and human motion tracking, 2023. 3

[^9]: Chun-Hao P. Huang, Hongwei Yi, Markus Höschle, Matvey Safroshkin, Tsvetelina Alexiadis, Senya Polikovsky, Daniel Scharstein, and Michael J. Black. Capturing and inferring dense full-body human-scene contact. In Proceedings IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), pages 13274–13285, 2022. 2, 6, 7

[^10]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, 2014. 2, 5

[^11]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation. In 3DV, 2020. 2, 3

[^12]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation. In 3DV, 2020.

[^13]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and

姿态。发表于计算机视觉与模式识别会议（CVPR），2018年。2、3、6

[^14]: Angjoo Kanazawa, Jason Y. Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. arXiv preprint arXiv:1812.01601, 2018. 2, 3, 5, 6

[^15]: Manuel Kaufmann, Jie Song, Chen Guo, Kaiyue Shen, Tianjian Jiang, Chengcheng Tang, Juan José Zárate, and Otmar Hilliges. EMDB: The Electromagnetic Database of Global 3D Human Pose and Shape in the Wild. In International Conference on Computer Vision (ICCV), 2023. 2, 3, 6, 7, 8

[^16]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. VIBE: Video inference for human body pose and shape estimation. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 5252–5262. IEEE, 2020. 2, 3, 5, 6, 7

[^17]: Muhammed Kocabas, Chun-Hao P. Huang, Otmar Hilliges, and Michael J. Black. PARE: Part attention regressor for 3D human body estimation. In Proc. International Conference on Computer Vision (ICCV), pages 11127–11137, 2021. 2, 3, 7

[^18]: Muhammed Kocabas, Chun-Hao P. Huang, Joachim Tesch, Lea Müller, Otmar Hilliges, and Michael J. Black. SPEC: Seeing people in the wild with an estimated camera. In Proc. International Conference on Computer Vision (ICCV), pages 11015–11025, Piscataway, NJ, 2021. IEEE. 3

[^19]: Muhammed Kocabas, Ye Yuan, Pavlo Molchanov, Yunrong Guo, Michael J. Black, Otmar Hilliges, Jan Kautz, and Umar Iqbal. Pace: Human and motion estimation from in-the-wild videos. In 3DV, 2024. 2, 3, 6, 7

[^20]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In ICCV, 2019. 2, 3, 4, 5, 6, 7

[^21]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In CVPR, 2019. 2

[^22]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. Hybrik: A hybrid analytical-neural inverse kinematics solution for 3d human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3383–3393, 2021. 2, 3, 6, 7

[^23]: Jiefeng Li, Siyuan Bian, Qi Liu, Jiasheng Tang, Fan Wang, and Cewu Lu. NIKI: Neural inverse kinematics with invertible neural networks for 3d human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 3

[^24]: Zhihao Li, Jianzhuang Liu, Zhensong Zhang, Songcen Xu, and Youliang Yan. Cliff: Carrying location information in full frames into human pose and shape estimation. In ECCV, 2022. 2, 3, 4, 5, 6, 7


## [^25]: Jing Lin, Ailing Zeng, Haoqian Wang, Lei Zhang, and Yu Li. One-stage 3d whole-body mesh recovery with component aware transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21159–21168, 2023. 2


---

[^26]: Kevin Lin, Chung-Ching Lin, Lin Liang, Zicheng Liu, and Lijuan Wang. Mpt: Mesh pre-training with transformers for human pose and mesh reconstruction, 2023. 2

[^27]: Miao Liu, Dexin Yang, Yan Zhang, Zhaopeng Cui, James M. Rehg, and Siyu Tang. 4d human body capture from egocentric video via 3d scene grounding. In 3DV, 2021. 2

[^28]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, 2015. 2,3

[^29]: Zhengyi Luo, S. Alireza Golestaneh, and Kris M. Kitani. 3d human motion estimation via motion compression and refinement. In Proceedings of the Asian Conference on Computer Vision (ACCV), 2020. 2, 3, 4, 5, 6

[^30]: Xiaoxuan Ma, Jiajun Su, Chunyu Wang, Wentao Zhu, and Yizhou Wang. 3d human mesh estimation from virtual markers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 534–543, 2023. 3

[^31]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of motion capture as surface shapes. In International Conference on Computer Vision, pages 5442–5451, 2019. 2, 3, 5, 8

[^32]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3D human pose estimation in the wild using improved cnn supervision. In 3D Vision (3DV), 2017 Fifth International Conference on. IEEE, 2017. 2, 5

[^33]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In European Con-ference on Computer Vision (ECCV), 2020. 2, 3

[^34]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Neuralannot: Neural annotator for 3d human mesh training sets. In Computer Vision and Pattern Recognition Workshop (CVPRW), 2022. 2, 3

[^35]: Gyeongsik Moon, Hongsuk Choi, Sanghyuk Chun, Jiyoung Lee, and Sangdoo Yun. Three recipes for better 3d pseudo-gts of 3d human mesh estimation in the wild. In Computer Vision and Pattern Recognition Workshop (CVPRW), 2023. 2, 3

[^36]: Ahmed A. A. Osman, Timo Bolkart, and Michael J. Black. STAR: Sparse trained articulated human body regressor. In Computer Vision - ECCV 2020, pages 598–613. Springer, 2020. 2

[^37]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 10975–10985, 2019. 2

[^38]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 459–468, 2019. 3

[^39]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J. Guibas. Humor: 3d human

用于鲁棒姿态估计的运动模型。发表于国际计算机视觉会议（ICCV），2021年。3

[^40]: Nitin Saini, Chun-Hao P. Huang, Michael J. Black, and Aamir Ahmad. Smartmocap: Joint estimation of human and camera motion using uncalibrated RGB cameras. IEEE Robotics and Automation Letters, pages 1–8, 2023. 2

[^41]: Simon Schaefer, Dorian F. Henning, and Stefan Leutenegger. Glopro: Globally-consistent uncertainty-aware 3d human pose estimation & tracking in the wild, 2023. 2, 3

[^42]: Xiaolong Shen, Zongxin Yang, Xiaohan Wang, Jianxin Ma, Chang Zhou, and Yi Yang. Global-to-local modeling for video-based 3d human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 8887–8896, 2023. 2, 3, 4, 5, 6, 7

[^43]: Yu Sun, Qian Bao, Wu Liu, Tao Mei, and Michael J. Black. TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments. In IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2023. 1, 2, 3, 7, 8

[^44]: Zachary Teed and Jia Deng. DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D Cameras. Advances in neural information processing systems, 2021. 3, 5, 7

[^45]: Zachary Teed, Lahav Lipson, and Jia Deng. Deep patch visual odometry. arXiv preprint arXiv:2208.04726, 2022. 3, 5, 6, 7

[^46]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017. 3

[^47]: Timo von Marcard, Roberto Henschel, Michael Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In European Conference on Computer Vision (ECCV), 2018. 2, 3, 5, 6, 7

[^48]: Ziniu Wan, Zhengjia Li, Maoqing Tian, Jianbo Liu, Shuai Yi, and Hongsheng Li. Encoder-decoder with multi-level attention for 3d human shape and pose estimation. In The IEEE International Conference on Computer Vision (ICCV), 2021. 3

[^49]: Yufu Wang and Kostas Daniilidis. Refit: Recurrent fitting network for 3d human recovery. In International Conference on Computer Vision, 2023. 6,7

[^50]: Wen-Li Wei, Jen-Chun Lin, Tyng-Luh Liu, and Hong-Yuan Mark Liao. Capturing humans in motion: Temporal-attentive 3d human pose and shape estimation from monocular video. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 2, 3, 4, 5, 6, 7

[^51]: Hongyi Xu, Eduard Gabriel Bazavan, Andrei Zanfir, William T. Freeman, Rahul Sukthankar, and Cristian Sminchisescu. GHUM & GHUML: generative 3D human shape and articulated pose models. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6183–6192, 2020. 2


## [^52]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. ViTPose: Simple vision transformer baselines for human pose


---

估计。发表于《神经信息处理系统进展》，2022年。2、3

[^53]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 1, 2, 3, 6, 7, 8

[^54]: Xinyu Yi, Yuxiao Zhou, Marc Habermann, Soshi Shimada, Vladislav Golyanik, Christian Theobalt, and Feng Xu. Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 4

[^55]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 3, 7, 8

[^56]: Feng Zhang, Xiatian Zhu, Hanbin Dai, Mao Ye, and Ce Zhu. Distribution-aware coordinate representation for human pose estimation. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 2

[^57]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. 2, 3

[^58]: Yuxiang Zhang, Hongwen Zhang, Liangxiao Hu, Hongwei Yi, Shengping Zhang, and Yebin Liu. Real-time monocular full-body capture in world space via sequential proxy-to-motion learning. arXiv preprint arXiv:2307.01200, 2023. 2, 3, 5

[^59]: Wentao Zhu, Xiaoxuan Ma, Zhaoyang Liu, Libin Liu, Wayne Wu, and Yizhou Wang. Motionbert: A unified perspective on learning human motion representations. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023. 2, 3, 4, 5