# 基于单目视频的3D人体姿态物理重建中的轨迹优化 Erik Gärtner $^{1,2}$ Mykhaylo Andriluka $^{1}$ Hongyi Xu $^{1}$ Cristian Sminchisescu $^{1}$ $^{1}$Google Research，$^{2}$隆德大学 {mykhayloa,hongyixu,sminchisescu}@google.com ## 摘要 我们专注于从单目视频中估计符合物理规律的关节化人体运动这一任务。现有未考虑物理规律的方法往往会产生时间上不一致且带有运动伪影的输出；而最先进的基于物理的方法要么仅在受控实验室条件下有效，要么仅考虑了局限于脚部的简化版身体-地面接触模型。本文探讨了如何通过将功能完备的物理引擎直接融入姿态估计过程来解决这些缺陷。以无约束的真实场景为输入时，我们的方法会先估算出地面位置与物理人体模型的尺寸，随后通过轨迹优化来还原物理运动。该方法的优势在于它能轻松适配具有不同地面属性的各类场景，同时支持任意形式的自接触以及关节化人体与场景几何结构之间的接触。我们在Human3.6M基准测试上验证了该方法与现有基于物理的方法相比能取得具有竞争力的结果[^13]；此外，无需重新训练，它就能直接应用于AIST基准测试中更复杂的动态运动[^36]以及无约束的网络视频。 ### 1. 引言 本文旨在解决从单目视频中重建符合物理规律的关节化3D人体运动的难题，旨在补充近期的一些方法$[15, 16, 23, 42, 42, 48]$——这些方法在标准关节精度指标上能实现越来越精准的3D姿态估计结果，但生成的重建结果在视觉上仍常显不自然。 我们实现物理合理性的主要机制是将物理定律融入姿态估计过程中。这自然使我们能够对所估计的关节化运动施加多种理想的特性，比如时间一致性和在重力作用下的平衡性。或许利用物理规律进行姿态估计时面临的关键挑战之一，在于如何充分建模人与场景交互所产生的各类复杂物理现象。在近期文献[29–31,43]中，为了提升推理效率，通常会采用简化的物理模型。例如，大多数研究都…… ![Image](images/a579b8b88f732699fe36f73dc2a4ab0d2db56831ee66b0e2e3a88ce430a49046.jpg) ![Image](images/b7b44164d78049f324f2c59e9f1ba19f323eda23c0e9c62b92cfc5b78d75dfda.jpg) ![Image](images/b43388ed52141a1c1a707674b6cdf8892b8323332cb6a8e8e5d6528f1257c566.jpg) ![Image](images/89f0b265780580377d556b78c72e2577e21d22de0d234efd92b8848a8adb244f.jpg) ![Image](images/dbd761a79285d243a779a19ee138867b21a7712bb5f1ba5d20942a48b6a9cab9.jpg) ![Image](images/d7b8b3782745f33caa5cf3acce4bcd7f2adf69a7564f4722adbb5be2169b5710.jpg)
Figure 1. Example results of our approach on internet videos of dynamic motions. Note that our model can reconstruct physically plausible articulated 3d motion even in the presence of complex contact with the ground: full body contact (top row), feet and hands (middle), and feet and knee contacts (bottom).
该过程自然使我们能够对所估计的关节运动施加多种理想的特性，比如时间一致性和在重力作用下的平衡性。或许利用物理原理进行姿态估计时面临的关键挑战之一，在于难以充分模拟人与环境相互作用所产生的各类复杂物理现象。在近期文献[29–31,43]中，为提升推理效率，通常会采用简化的物理模型。例如，大多数情况下… --- ![Image](images/ddc25441e288278e4d613183a06affa5af302c7946e7f1d73ef440d82818cc5a.jpg)
Figure 2. Examples results of our approach for scene with soft ground (top) and interaction with a chair (bottom).
近期的研究方法倾向于采用简化的接触模型（仅考虑足部接触），忽略了与地面以外物体相互作用所产生的潜在影响，也没有对更细微的物理效应进行建模，比如滑动摩擦和滚动摩擦，或是不同柔软程度的表面。显然，在现实世界中有许多场景都需要借助功能更完备的物理模型。为了弥补这一不足，我们探索了以功能完备的物理模拟为基础来构建基于物理的关节姿态估计方法。这种方法的优势在于，它能让我们的技术轻松应用于文献中尚未涉及的各种运动和场景（参见图1和图2）。具体而言，与[29–31,43]中的方法相比，我们的方法能够重建身体与地面之间任意类型的接触运动（参见图1）。我们的方法还能模拟与障碍物和支撑面（如家具）的相互作用，并且可以调整地面的刚度和阻尼参数，以模拟蹦床地面等特殊情形（参见图2）。我们采用了Bullet [^7] 引擎，该引擎此前已被用于模拟人体运动[^24]。不过，我们的实现细节并不依赖于特定引擎，因此我们预计随着物理模拟技术的进一步发展，我们的研究成果质量还会继续提升。 本文的主要贡献是：通过实验评估以通用物理引擎为基础、利用轨迹优化技术进行基于物理的关节运动估计的效果，相关实验数据来自实验室环境和真实世界场景。我们证明，将功能完备的物理引擎与轨迹优化技术相结合，不仅能达到甚至超越现有最先进方法的精度，还能适用于多种场景和运动类型。此外，据我们所知，我们是首个将基于物理的重建技术应用于图1和图2所示这类复杂真实世界运动的研究团队。作为第二项贡献，我们得出了一些技术性见解：比如我们通过自动调整3D模型以适应图像中的人物，并采用合适的2D对齐损失函数，成功实现了估计出的物理运动与2D输入图像之间的精准对齐；而相关研究[29–31,43]通常并未报告2D对齐误差，且在定性层面上可能无法使物理模型与图像实现良好的2D对齐。我们还深化了对残余根部力控制[^45]应用的理解。学界此前认为这种残余根部力对于缩小仿真与现实之间的差距、补偿物理模型的不准确性至关重要。我们通过实验证明，即便在复杂且动态的运动场景中，也未必需要采用这种不符合物理规律的残余力控制方式。 ### 2. 相关工作 接下来，我们首先探讨近期不涉及物理推理的3D人体姿态估计相关研究，随后回顾基于物理的人体建模领域的相关工作，并将我们的方法与其它基于物理的3D姿态估计方法进行比较。 无需物理规律的3D姿态估计。目前最先进的方法在估计图像中的2D和3D人体姿态方面表现极为出色[^5] [^15] [^49]，近期的研究更是将这一成果拓展到视频中的3D姿态估计[^16] [^23] [^42]。推动这些方法性能提升的关键要素，在于能够基于数据驱动来预估关节3D姿态的先验知识[^16] [^47]，以及能从大量带注释的训练图像中学习复杂的CNN特征表示[^13] [^14] [^21] [^37]。因此，这些方法在常见姿态上的表现十分优异，但对于罕见姿态仍面临挑战。遮挡、复杂的成像条件以及动态运动（如体育运动）依然是难题，因为这些情况种类繁多且难以在训练集中完整体现。正如[^29]所指出的，即便对于常见姿态，最先进的方法生成的重建结果仍常出现诸如肢体漂浮、足部滑动以及不符合物理规律的倾斜等现象。我们的目标是通过将物理规律融入推理过程，对现有最先进方法中使用的统计模型加以补充，从而添加一种适用于任何人类运动的通用组件，无论训练集或测试集的统计特性如何。 与姿态估计领域的近期进展同步，如今我们已经拥有了精确的统计形状与姿态模型[^3] [^20] [^44]。这些人体模型通常是通过对数千人的扫描数据估算得出，能够为给定姿态生成相应的形状变形效果。在本文中，我们利用了这些成果，采用统计人体形状模型[^44]来确定物理模型的尺寸，并根据身体各部分的体积推算出质量。 基于物理的人体运动建模。人体运动建模一直是计算机领域的研究热点。 --- ![Image](images/03f04cbe5efe446d357607b8366db1edad4b07e45f4bc305b93691bfbc0c895c.jpg)
Figure 3. Overview. Given a monocular video of a human motion, we estimate the parameters of a physical human model and motor control trajectories $\tau(t)$ such that the physically simulated human motion aligns with the video. We first use an inference network that predicts 2d landmarks $I_i$ and body semantic segmentation masks from the video frames. From n seed frames we estimate a time-consistent human shape $\beta$ and the ground-plane location $T_g$. These are then kept fixed during a per-frame pose refinement step which provides the 3d kinematic initialization $\{\theta_i\}$ to the physics optimization. The dynamics stage creates a physical model that mirrors the statistical shape model with appropriate shape and mass. Our dynamics optimization improves 3d motion estimation taking into account 3d kinematics, 2d landmarks and physical constraints. We refer to §3 for details.
Contact modelReal-timePhysics implementationResidual forceBody modelReal-world videos
Li et al. [^19]body jointsnocustomnofixedyes
Rempe et al. [^29]feetnocustomnofixedyes
PhysCap [^31]feetyescustomyesfixedyes
Shimada et al. [^30]feetyescustomyesfixedyes
SimPoE [^46]full bodyyesMuJoCo [^35]yesadapt.no
Xie et al. [^43]feetnocustomnoadapt.no
DiffPhy [^9]full bodynoTDS [^12]noadapt.yes
Oursfull bodynoBullet [^7]noadapt.yes
Table 1. Comparison of recent physics-based articulated pose estimation approaches. “Contact model” indicates what contact points between body and ground are considered, “Residual force” indicates if the physical model allows application of additional external force to move the person (see [^45]), “Body model” specifies if approach adapts the physical model to person in the video, and “Real-world videos” specifies if approach has also been evaluated on real-world videos or only on videos captured in laboratory conditions.
计算机图形学[^2] [^17]、机器人技术[^8]以及强化学习[^11] [^24] [^40]领域的文献。除少数例外情况外，这些领域中的大多数模型都是利用动作捕捉数据[^2]来构建和评估的。一些研究如[^26]采用图像作为输入，旨在为模拟角色训练运动控制器，使其能在各种干扰下重现观察到的动作。这类研究侧重于为固定角色训练运动控制器，而我们的研究重点则是估算图像中观测到的对象的运动。此外，该角色的尺寸、形状和质量与观测到的对象无关。[^17]提出了一种能直接反映肌肉激活情况的逼真人体模型，以及为其学习控制策略的方法。[^41]能为不同尺寸的角色生成运动，并学习适应每种尺寸的控制策略。[^17]、[^41]以及图形学文献中的类似成果，并未针对真实图像中观测到的角色进行此类研究，也未解决同时估算物理运动以及应对图像测量或2D到3D映射过程中的不确定性等难题[^33]。 基于物理的3D姿态估计。基于物理的人体姿态估计在计算机视觉领域有着悠久的发展历史[^4] [^22] [^38]。早期的研究，如[^38]，已经将物理模拟作为3D姿态跟踪的先验知识，但仅考虑了行走等简单运动，且主要在受控实验室环境下的多视角场景中进行评估。我们在表1中列出了近期研究的一些特性。[^19]实现了对人体运动以及与各类工具类物体交互的基于物理的联合估计。[^29]提出了一种简化版的物理推理模型，仅针对脚部和躯干进行建模，再通过逆向运动学推断其他身体部位的位置；而[^19]则对所有身体部位进行联合建模，同时纳入了与物体交互所产生的力。[^30]和[^31]采用了一种专门的基于物理的公式，在预先检测到脚部接触点和运动学估计值的基础上求解地面反作用力。相比之下，我们并不假设能够预先检测到接触点，在我们的方法中，这些接触点会被作为物理推理的一部分来估计。因此，我们不会像文献[19,29–31]那样局限于预定义的接触类型或其精确的先验估计。实验表明，我们的方法在定量指标上优于[^29]和[^31]，同时在定性方面也展现出处理更复杂场景的能力。 --- 我们能够处理更困难的真实场景网络视频，比如翻滚和体育类活动，而这些用以往的方法很难重建。我们的工作在概念上与SimPoE[^46]类似，两者都运用了物理模拟技术。但与SimPoE不同的是，我们提出了一套适用于真实世界视频的完整流程，而SimPoE仅在实验室环境下经过测试，且需要校准摄像头。此外，由于SimPoE依赖强化学习来训练针对特定数据集的神经网络模型以控制模拟人体，因此尚不清楚SimPoE在真实世界视频中的多变运动场景下能有多好的泛化能力。SimPoE方法的一个明显优势是测试时的执行速度很快，不过这需要漫长的预训练过程作为代价。我们的方法与[^43]的方法有相似之处，后者也是通过最小化包含物理约束的目标函数来估计3D人体运动。与[^43]相比，最显著的区别在于：(1)我们使用的是功能完备的物理模型，而他们采用的是简化的物理模型；(2)他们的模型虽考虑了基于物理的损失函数，但输出结果并不要求与实际物理运动相符；(3)他们没有讨论该方法在真实数据上的表现。[^43]方法的优势在于他们定义了一个可微模型，能够直接通过梯度下降法进行优化。最后，同期发表的研究[^9]通过利用可微物理模拟器最小化损失函数，来实现基于物理的人体姿态重建，该过程以估计出的运动学数据为输入。 ### 3. 我们的方法 我们在图3中概述了所采用的方法。以单目视频为输入，我们首先利用[^48]的运动学方法重建初始的3D运动姿态轨迹，并据此估算人体形状以及地面相对于摄像头的位置。随后，我们根据估算出的人体形状，创建具有相应体型尺寸和重量的物理人体模型。接下来，我们构建一个目标函数，用于衡量物理模型的运动与图像测量结果之间的相似度，该函数还包含用于约束合理人体姿态、抑制抖动运动的正则化项。最后，我们通过最小化该目标函数来求解关节扭矩轨迹，进而重建物理运动。为实现这一物理运动，我们借助Bullet库中提供的刚体动力学实现功能[^7]。 #### 3.1. 人体模型与控制 我们将人体建模为由关节连接的刚性几何实体。我们的模型由26个胶囊体构成，包含16个3D人体关节，共计48个自由度。我们依托人体形状的统计模型[^44]来针对不同类型的人体创建相应的模型。具体而言，给定表示人体形状的3D网格后，我们按照[^2]提出的方法估算几何实体的尺寸，以近似还原该网格。接着，我们根据各几何实体的体积计算其质量和惯性，并基于CAESAR人体形状数据集[^28]中的解剖学体重分布[^27]来估算质量。 我们并未显式建模人体肌肉，而是通过直接在关节处施加扭矩来驱动模型。我们将时间t时施加的扭矩向量记为$\boldsymbol{\tau}_{t}$，时间t时各关节的角位置和角速度分别记为$\boldsymbol{q}_{t}$和$\dot{\boldsymbol{q}}_{t}$，时间t时各关节的3D笛卡尔坐标集合记为$\mathbf{x}_{t}$。与[^25]的做法类似，我们通过引入一系列控制目标$\dot{\mathbf{q}}_{1:T} = \{\dot{\mathbf{q}}_{1}, \dot{\mathbf{q}}_{2}, \ldots, \dot{\mathbf{q}}_{t}\}$来控制物理模型的运动，这些目标会通过控制回路推导出对应的扭矩。我们模型中人体运动由初始身体状态$\mathbf{s}_{0} = (\mathbf{q}_{0}, \dot{\mathbf{q}}_{0})$、用于指定地面位置和朝向的世界几何结构$\mathbf{G}$、各关节的控制轨迹$\dot{\mathbf{q}}_{1:T}$以及相应的控制规则共同确定。我们假设初始加速度为$\mathbf{0}$。为实现该控制回路，我们采用了关节岛算法$^{1}$（AIA）[^34]，该算法将电机控制目标作为线性互补问题（LCP）中的约束条件（参见[^34]中的公式(6.3)a、b），同时纳入接触约束。相较于[^2]、[^9]和[^25]中采用的PD控制所需的1000–2000 Hz频率，AIA即便在100 Hz的频率下也能实现稳定的模拟。 #### 3.2. 基于物理的关节运动估计 我们对物体运动估计任务的处理方式，总体上与文献中其他轨迹和时空优化方法类似 [^1] [^2] [^39]。我们针对一系列重叠的时间窗口进行优化，每个后续窗口的起点都以前一个窗口中的状态作为初始值。为了降低搜索空间的维度，我们采用三次B样条插值来表示控制目标 $\hat{q}_{1:T}$，并针对样条系数进行优化 [^6]。根据第3.3节中介绍的目标函数L，我们的目标是通过最小化L来求得最优运动，这里的L是关于控制轨迹的样条系数 $\hat{q}_{1:T}$。我们用身体关节的运动学估计值来初始化控制轨迹（详见第3.4节）；初始状态也来源于相应的运动学估计值。我们利用基于运动学运动的有限差分来估算初始速度。如同 [^1] [^2] 中所描述的那样，由于我们的仿真环境不支持对动力学变量求导，因此我们采用进化优化算法CMA-ES [^10] 来最小化目标函数。通常，每个窗口在2000次迭代、每次迭代100个样本的情况下，CMA-ES就能收敛。当并行评估100个样本时，推理过程需要20到30分钟。 --- #### 3.3. 目标函数 我们采用由多个组成部分加权组合而成的复合目标函数。 三维姿态：为了使重建出的物理运动与估计的运动学三维姿态 $\mathbf{q}_{1:T}^{k}$ 尽可能接近，我们采用以下目标函数。 $$ \begin{array}{l l l}{L_{C O M}(\hat{\mathbf{q}}_{1:T})}&{=}&{\displaystyle\sum_{t}(\|\mathbf{c}_{t}-\mathbf{c}_{t}^{\mathbf{k}}\|_{2}^{2}+\|\dot{\mathbf{c}}_{t}-\dot{\mathbf{c}}_{t}^{\mathbf{k}}\|_{2}^{2})}\\ \end{array} $$ $$ \begin{array}{l l l}{L_{{p o s e}}}&{=}&{\displaystyle\sum_{t}\displaystyle\sum_{j\in\mathbf{J}}\operatorname{a r c c o s}(|\langle\mathbf{q}_{t j},\mathbf{q}_{t j}^{\mathbf{k}}\rangle|)}\end{array} $$ 其中 $\mathbf{c}_t$ 和 $\mathbf{c}_t^k$ 分别表示重建运动与运动学估计中时间t处的质心位置；$L_{pose}$ 用于衡量观测到的关节角度与其运动学估计值之间的夹角，求和式(2)是对所有身体关节（包括决定身体全局方向的基座关节）组成的集合J进行的。 二维投影：为了使三维运动与图像观测结果对齐，我们选取一组 $N = 28$ 个标志点，包括主要的身体关节、眼睛、耳朵、鼻子、手指以及脚尖。设 $I_t$ 表示时间t时人体上三维标志点的位置，C为将世界坐标点通过透视投影映射到图像平面的相机投影矩阵，$I_t^d$ 为CNN检测器识别出的标志点向量，$s_t$ 为对应的检测置信度向量。二维标志点投影损失定义如下： $$ {\cal L}_{2d}=\sum_{t}\sum_{n}\mathbf{s}_{t n}\|\mathbf{C}\mathbf{l}_{t n}-\mathbf{l}_{t n}^{d}\|_{2}. $$ 关于二维标志点的估算细节，请参阅第3.4节。 正则化：我们在目标函数中加入了几种正则项。首先，我们采用了 [^47] 中提出的针对人体姿态的正则化流先验，用以惩罚不自然的姿态。该损失函数表示为： $$ L_{nf}=\sum_{t}\|\mathbf{z}(\mathbf{q}_{t})\|_{2}, $$ 其中 $\mathbf{z}(\mathbf{q}_{t})$ 是与身体姿态 $\mathbf{q}_{t}$ 相对应的潜码。为了抑制抖动剧烈的运动，我们加入了针对关节加速度的总变差损失。 $$ L_{T V}=\frac{1}{J}\sum_{t}\sum_{j}\left\|\ddot{\mathbf{x}}_{t j}-\ddot{\mathbf{x}}_{t-1,j}\right\|_{1} $$ 最后，我们加入了一项 $L_{lim}$ 项，用于对偏离人体关节极限的情况施加指数级惩罚。基于物理的运动估计中所使用的整体目标函数L，就是式(1)–(5)与项 $L_{lim}$ 的加权和。详细内容请参阅补充材料。
ModelMPJPE-GMPJPEMPJPE-PA
HUND [^48]23911672
+ S23311071
+ SO1788562
+ SO + G1488463
+ SO + T1868561
+ SO + GT1358058
Table 2. Ablation of kinematics improvements on HUND on a validation subset of Human3.6M. +S indicates time-consistent body shape, +O indicates additional non-linear optimization, +G using ground-plane constraints, and +T temporal smoothness constraints.
#### 3.4. 运动学三维姿态与形状估计 在本节中，我们介绍了从输入视频序列中提取二维和三维证据的方法。 人体形状。给定输入序列后，我们首先利用HUND [^48]提取每帧的三维姿态和形状的初始运动学估计值。在其优化流程中，HUND还能恢复相机内参c并估算二维关键点位置，这些关键点会被用于式(3)中的二维重投影目标函数。由于HUND是针对单张图像设计的，因此最初得到的形状和姿态估计结果在时间上并不一致。为了提升三维姿态初始化的质量，我们将HUND扩展至视频姿态估计领域。本节介绍的额外步骤在表2所示的实验中进行了评估，实验所用验证集包含来自Human3.6M数据集的20个序列。在我们的改进方案中，并未重新训练HUND神经网络预测器，而是直接采用BFGS算法来最小化HUND损失函数。作为第一步，我们在多个视频帧上联合估计人体形状。为确保优化过程可求解，我们首先在n=5个种子帧上联合估计形状和姿态，随后固定更新后的形状，再对所有视频帧的姿态进行重新估计。种子帧是根据其平均二维关键点置信度得分最高的原则选取的。我们将经过形状重新估计的HUND方法称为HUND+S，而将后续还重新估计姿态的方法称为HUND+SO。表2展示了这两种变体的实验结果。值得注意的是，与原始的HUND结果相比，HUND+SO的性能有显著提升。 地面平面。我们通过齐次变换$\mathbf{T}_g$来定义地面平面的位置，该变换可将HUND坐标系映射到规范坐标系——在该坐标系中地面平面经过原点，且其法线由“y”轴给出。设$\mathbf{M}^t$为第t帧人体网格上的一个点子集。网格点到地面平面的有符号距离由$D(\mathbf{M}^t) = \mathbf{T}_g \mathbf{M}^t \mathbf{e}_y$表示，其中$\mathbf{e}_y = [0, 1, 0, 0]^T$是齐次坐标下“y”轴的单位向量。为了估算变换$\mathbf{T}_g$，我们引入了如下目标函数： --- 函数 $$ L_{g p}(\mathbf{T}_{g},\mathbf{M})=\sum_{t}\|\operatorname*{m i n}(\delta,L_{k}(D(\mathbf{M}^{t})))\|_{2}, $$ 其中$L_{k}(D^{t})$对应$D^{t}$中最小的k=20个有符号距离。该目标函数倾向于让$T_{g}$使身体网格与地面接触，但并不偏好特定的接触点。当人处于空中时，该目标函数也具备鲁棒性，此时会将距离截断为$\delta$，在本文的实验中我们将其设为0.2米。我们通过最小化以下表达式来还原$T_{g}$： $$ \begin{aligned}L_{gp}(\mathbf{T}_{g})=&L_{gp}(\mathbf{T}_{g},\mathbf{M}_{l})+L_{gp}(\mathbf{T}_{g},\mathbf{M}_{r})\\&+2L_{gp}(\mathbf{T}_{g},\mathbf{M}_{b}),\end{aligned} $$ 其中$M_{l}$、$M_{r}$和$M_{b}$分别对应左脚、右脚和整个人体的网格。这种方式会促使地面平面与双脚接触，即便人在跳跃或用身体其他部位触地时（比如翻跟头的情况）也能保持鲁棒性。 $$ {\cal L}_{t e m p}=\sum_{t}\|\mathbf{M}^{t}-\mathbf{M}^{t-1}\|_{2}+\|\pmb{\theta}_{t}-\pmb{\theta}_{t-1}\|_{2}, $$ 三维姿态。最后一步，我们利用估算出的形状和地面平面，结合时间一致性目标函数，对所有帧中的姿态进行重新估计。 其中，$\mathbf{M}^{t}$ 表示身体网格，$\theta_{t}$ 表示时间 t 下的 HUND 身体姿态向量。为了施加地面约束，我们使用公式(6)，但此时保持 $\mathbf{T}_{g}$ 固定，并针对身体姿态进行优化。在表2的实验中，我们将采用公式(8)中时间约束的方法称为 $HUND+SO+T$，而将同时利用时间和地面约束的完整运动学优化方法称为 $HUND+SO+GT$。表2表明，时间和真实值约束都能显著提升三维姿态估计的准确性。即便如此，我们最优变体 $HUND+SO+GT$ 的结果中仍存在运动抖动和足部滑动等伪影，而引入动力学模型后这些伪影显著减少（详见表3）。 ### 4. 实验结果 数据集。我们在三个人体运动数据集上评估我们的方法：Human3.6M [^13]、HumanEva-I [^32] 和 AIST [^36]。此外，我们还在自制的“野外”互联网视频上进行了定性评估。为了在表2和表3中比较我们方法的不同变体，我们使用了由Human3.6M数据集中20个长度为100帧的短序列组成的验证集。对于表4中的主要评估，我们采用了 [^43] 中提出的同一组全长序列子集。我们使用的AIST数据集预处理版本 [^36] 来自 [^18]，该版本通过多视角重建获得了伪三维身体姿态真值。 ![Image](images/15d2144305cff29070505af4011c71c8c6deb7d68facef3fbea6c20c74f07a63.jpg)
Figure 4. Qualitative results on the Human3.6M dataset. Note how the dynamical model (right) recovers plausible locomotion.
在我们的实验中，我们选取了包含单个受试者多种舞蹈动作的15个视频子集。在HumanEva-I的评估中，我们遵循 [^29] 中定义的协议，使用该数据集验证集中的行走动作，并基于第一个摄像头拍摄的图像进行评估。在Human3.6M实验中，我们假设相机外部参数已知，而对于其他数据集则对其进行估计。为了加快表4中Human3.6M长序列的计算速度，我们并行计算所有时间窗口，然后在后期处理阶段将它们合并。 我们报告的结果包括所有关节的平均全局位置误差（毫米）（MPJPE-G），以及平移对齐（MPJPE）和Procrustes对齐（MPJPE-PA）误差指标。需要注意的是，要获得MPJPE-G指标的分数，该方法必须既能估计关节姿态，又能正确追踪人在世界坐标系中的全局位置。除了标准评估指标外，我们还采用了与 [^29] 中类似的足部滑动和漂浮指标，但通过阈值而非接触标注来检测接触情况。最后，我们报告图像对齐误差（MPJPE-2d）和三维关节速度误差（单位：米/秒）。更多细节请参阅补充材料。 模型组件分析。表3展示了我们方法的消融实验结果。我们的完整动力学模型采用第3.4节介绍的HUND+SO+GT方法得到的运动学输入，记为HUND+SO+GT + Dynamics。与HUND+SO+GT相比，我们的动力学模型在关节定位指标上表现相当或略好（例如MPJPE-G从135毫米略微改善为132毫米），但大幅减少了运动伪影。出现足部滑动的帧数比例从64%降低到了 ---
ModelMPJPE-GMPJPEMPJPE-PAMPJPE-2dVelocityFootskate (%)Float (%)
HUND+SO1788562121.32540
HUND+SO + Dynamics1678762120.4571
HUND+SO+GT1358058120.58640
HUND+SO+GT + Dynamics1328057110.2780
HUND+SO+GT + Dynamics
w/o 2d re-projection, (3)15410468170.32--
w/o 3d joints, (2)1348460110.27--
w/o COM, (1)1498157110.31--
w/o COM and 3d joints, (1, 2)1518559110.33--
w/o pose prior, (4)1388057110.24--
Table 3. Ablation experiments of the dynamics model on a validation set of 20 sequences from the Human3.6M dataset.
DatasetModelMPJPE-GMPJPEMPJPE-PAMPJPE-2dVelocityFootskate (%)
Human3.6MVIBE [^16]2086944160.3227
PhysCap [^31]-9765---
SimPoE [^46]-5742---
Shimada et al. [^30]-7758---
Xie et al. [^43] (Kinematics)-74----
Xie et al. [^43] (Dynamics)-68----
Ours: HUND+SO+GT1458356140.4648
Ours: HUND+SO+GT + Dynamics1438456130.244
HumanEva-IRempe et al. [^29] (Kinematics)408-----
Rempe et al. [^29] (Dynamics)422-----
Ours: HUND+SO+GT2089076140.5140
Ours: HUND+SO+GT + Dynamics1969174140.274
AISTOurs: HUND+SO+GT15610767100.5951
Ours: HUND+SO+GT + Dynamics15411369130.414
Table 4. Quantitative results of our models compared to prior work on Human3.6M [^13], HumanEva-I [^32] and a subset of AIST [^18] [^36].
速度误差在0.58到0.27米/秒之间。我们还评估了一个基于更简单运动学变体的动态模型$HUND+SO$，该模型在从视频重新估计姿态时并未纳入地面平面和时间约束。对于$HUND+SO$而言，引入动力学推理同样能显著改善感知指标。需要注意的是，$HUND+SO$的输出结果存在足部滑动现象（占25%的帧）和漂浮现象（占40%的帧）。在(cf. (6))中加入地面平面约束后，$HUND+SO+GT$中的漂浮现象得以消除，但足部滑动问题依然存在（占64%的帧）。无论是对于$HUND+SO$还是$HUND+SO+GT$，动力学推理都能大幅减少这两类瑕疵。图4展示了$HUND+SO+GT$结合动力学模型后的输出示例，并将其与用于初始化的$HUND+SO+GT$进行了对比。值得注意的是，在$HUND+SO+GT$的输出中，人物似乎是通过在空中漂浮来向前移动，而我们的动力学方法则能推断出与主体整体运动相符的合理3D姿态。表3的下半部分报告了我们完整模型$HUND+SO+GT$结合动力学模型的结果，同时我们也逐步移除了目标函数中的某些组件（参见§3.3）。我们发现目标函数的所有组件都对整体精度有贡献，其中最重要的组件是2D重投影项（参见(cf. (3))）以及质心位置差异项（参见(cf. (1))）。若缺少这些组件，MPJPE-G分别会从132毫米上升至154毫米和151毫米。排除3D关节组件后，精度仅从132毫米略微下降至134毫米。 与最先进方法的比较。在表4中，我们展示了我们的完整模型在Human3.6M、HumanEva-I和AIST数据集上的结果。我们使用作者公开提供的实现与VIBE [^16]进行比较，并采用原始文献中报告的其他方法的评估结果。由于VIBE仅生成根相对姿态估计，我们采用PhysCap [^31]中提出的类似技术，通过最小化二维关节重投影误差来估计全局位置和方向。在Human3.6M基准测试中，我们的方法在关节精度和感知指标方面优于VIBE和我们自己的HUND+SO+GT。与VIBE相比，MPJPE-G从208毫米提高到143毫米，MPJPE-2d从16像素提高到13像素，足部滑动帧的比例从27%降低到4%。值得注意的是，除了预训练的SimPoE外，我们的方法在所有基于物理的方法中取得了最佳的MPJPE-PA，但与[^30]以及近期工作[^43]相比，MPJPE略高（我们的82毫米对比[^43]的68毫米和[^30]的77毫米）。需要指出的是，[^43]以更强的运动学基线（74毫米MPJPE）为起点，并且如果给定如此更好的运动学初始化，其他方法的性能也可能相应提高。此外，我们的动力学方法在HumanEva-I上改进了[^29]的结果，并且与HUND+SO+GT相比，MPJPE-G显著更好。在AIST数据集上，动力学同样 --- ![Image](images/dd6985dd80d9d24e60bf268d4e52e8acde871782ac3776fd42edd84659207c5b.jpg)
Figure 5. Example result on AIST [^36]. The kinematic initialization produces poses that are unstable in the presence of gravity (red circle) or poses that are temporally inconsistent (yellow circles). Our physics-based approach corrects both errors.
与运动学初始化相比，动力学方法在MPJPE-G、足部滑动现象以及速度指标上均有改善。 真实互联网视频上的结果。我们在图5中展示了我们的方法在AIST数据集[^36]上的示例结果，在图1、2和6中展示了在真实互联网视频上的结果。为了获得图2中所示的带软地面的效果，我们手动调整了地面的刚度和阻尼参数以模拟蹦床行为。图2下方展示的来自Human3.6M数据集的椅子场景，是我们手动向场景中添加椅子后生成的，因为我们的方法无法对场景中的物体进行推理。 在图5中，我们定性地比较了包含物理约束的完整系统与最佳运动学方法HUND+SO+GT的输出结果。我们强烈建议读者观看补充材料中的视频$^{2}$，以了解这两种方法之间的差异，并查看其与VIBE的定性对比情况[^16]。我们发现，我们的物理建模方法往往能够纠正HUND+SO+GT产生的姿态不平衡问题（例如图5中的第二帧），同时显著提升重建结果的时间连贯性。需要注意的是，通常HUND+SO+GT和我们的基于物理的方法所产生的输出都能与二维观测数据相匹配，但基于物理的方法能更精确地估计三维姿态。例如，在图6的第一个序列中，基于物理的模型推断出的姿态能够让人物在后续帧中完成跳跃动作，而HUND+SO+GT则将左腿放置在一个会导致无法跳跃的角度上。值得注意的是，基于物理的方法的输出结果可能与运动学初始化值存在显著差异（见图6中的第二个示例）。 ### 5. 结论 在本文中，我们提出了一种基于物理的人类三维关节视频重建方法。通过将运动学约束与动力学约束紧密结合…… ![Image](images/3bd7734e272e4195eeea7feb68cd532289e7aa2af27b0f2e049bb8215b59eb15.jpg) ![Image](images/7b8fbf27bef6b90c4ca9b2829cae08a4545456a5d454cc30d73a4bb740caf917.jpg)
Figure 6. Example results on real-world videos. In the top row sequence, the kinematic initialization incorrectly places the left foot before the jump. We highlight the mistake by showing the scene from another viewpoint (red circle). The kinematic initialization also fails to produce temporally consistent poses in the example in the bottom row (yellow circles). Our physics-based inference corrects both errors and generates a more plausible motion. See tiny.cc/traj-opt for more results.
在充分考虑接触、质量和惯性因素，且数值由人体形状估计结果确定的优化过程中，我们能够提升重建结果的物理合理性，减少纯运动学方法所产生的重建伪影。我们研究的主要目标之一就是证明将复杂的物理模型融入三维姿态估计流程所具有的优势。显然，与[^31]、[^43]等专门的基于物理的方法相比，这种模型的推理过程更为复杂，但它具备更强的能力和普适性。 伦理考量。本研究旨在通过引入物理约束来提升人体姿态重建的质量。我们认为，物理模型的细节程度限制了其在人员识别或监控等任务中的应用。同样的限制也使其无法用于生成深度伪造内容，尤其是由于该模型缺乏逼真的外观表现。我们相信，我们的模型能够适配并支持各种不同体型和尺寸的人群。虽然本文并未对此展开探讨，但我们认为这是未来重要的研究方向。致谢。我们要感谢Erwin Coumans在项目中的帮助，也要感谢那些提出宝贵意见的匿名审稿人。 --- ## 参考文献 [^1]: Mazen Al Borno, Martin de Lasa, and Aaron Hertzmann. Trajectory optimization for full-body movements with complex contacts. In IEEE transactions on visualization and computer graphics, volume 19, pages 1405–14, 08 2013. 4 [^2]: Mazen Al Borno, Ludovic Righetti, Michael J. Black, Scott L. Delp, Eugene Fiume, and Javier Romero. Robust Physics-based Motion Retargeting with Realistic Body Shapes. In Computer Graphics Forum, 2018. 3, 4 [^3]: Dragomir Anguelov, Praveen Srinivasan, Daphne Koller, Sebastian Thrun, Jim Rodgers, and James Davis. Scape: shape completion and animation of people. In ACM SIGGRAPH 2005 Papers, pages 408–416. 2005. 2 [^4]: M. A. Brubaker, L. Sigal, and D. J. Fleet. Estimating contact dynamics. In 2009 IEEE 12th International Conference on Computer Vision, pages 2389–2396, 2009. 3 [^5]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields. In CVPR, 2017. 2 [^6]: Michael F. Cohen. Interactive spacetime control for animation. In SIGGRAPH, 1992. 4 [^7]: Erwin Coumans and Yunfei Bai. Pybullet, a python module for physics simulation for games, robotics and machine learning. , 2016–2019. 2, 3, 4 [^8]: M. Da Silva, Y. Abe, and J. Popović. Simulation of human motion data using short-horizon model-predictive control. Computer Graphics Forum, 27(2):371–380, 2008. 3 [^9]: Erik Gärtner, Mykhaylo Andriluka, Erwin Coumans, and Cristian Sminchisescu. Differentiable dynamics for articulated 3d human motion reconstruction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2022. 3, 4 [^10]: Nikolaus Hansen. The CMA Evolution Strategy: A Comparing Review, pages 75–102. Springer Berlin Heidelberg, Berlin, Heidelberg, 2006. 4 [^11]: Nicolas Heess, Dhruva TB, Srinivasan Sriram, Jay Lemmon, Josh Merel, Greg Wayne, Yuval Tassa, Tom Erez, Ziyu Wang, S. M. Ali Eslami, Martin A. Riedmiller, and David Silver. Emergence of locomotion behaviours in rich environments. CoRR, abs/1707.02286, 2017. 3 [^12]: Eric Heiden, David Millard, Erwin Coumans, Yizhou Sheng, and Gaurav S Sukhatme. NeuralSim: Augmenting differentiable simulators with neural networks. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA) 2021. [^13]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, jul 2014. 1, 2, 6, 7 [^14]: H. Joo, T. Simon, and Y. Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8320–8329, 2018. 2 [^15]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018. 1, 2 [^16]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. Vibe: Video inference for human body pose and shape estimation. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2020. 1, 2, 7, 8 [^17]: Seunghwan Lee, Moonseok Park, Kyoungmin Lee, and Je-hee Lee. Scalable muscle-actuated human simulation and control. ACM Transactions on Graphics, 38:1–13, 07 2019. [^18]: Ruilong Li, Shan Yang, David A. Ross, and Angjoo Kanazawa. Learn to dance with aist++: Music conditioned 3d dance generation, 2021. 6,7 [^19]: Zongmian Li, Jiri Sedlar, Justin Carpentier, Ivan Laptev, Nicolas Mansard, and Josef Sivic. Estimating 3d motion and forces of person-object interactions from monocular video. In Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^20]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, Oct. 2015. 2 [^21]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of motion capture as surface shapes. In International Conference on Computer Vision, pages 5442–5451, Oct. 2019. 2 [^22]: Dimitris Metaxas. Physics-Based Vision. Kluwer Academic Publishing, 1997. 3 [^23]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1,2 [^24]: Xue Bin Peng, Pieter Abbeel, Sergey Levine, and Michiel van de Panne. Deepmimic: Example-guided deep reinforcement learning of physics-based character skills. In SIGGRAPH, 2018. 2, 3 [^25]: Xue Bin Peng, Pieter Abbeel, Sergey Levine, and Michiel van de Panne. Deepmimic: Example-guided deep reinforcement learning of physics-based character skills. ACM Trans. Graph., 37(4):143:1–143:14, July 2018. 4 [^26]: Xue Bin Peng, Angjoo Kanazawa, Jitendra Malik, Pieter Abbeel, and Sergey Levine. Sfv: Reinforcement learning of physical skills from videos. ACM Trans. Graph., 37(6), Nov. 2018. 3 [^27]: Leonid Pishchulin, Stefanie Wuhrer, Thomas Helten, Christian Theobalt, and Bernt Schiele. Building statistical shape spaces for 3d human modeling. Pattern Recognition, 2017. 4 [^28]: Stanley Plagenhoef, F Gaynor Evans, and Thomas Abdelnour. Anatomical data for analyzing human motion. Research quarterly for exercise and sport, 54(2):169–178, 1983. 4 [^29]: Davis Rempe, Leonidas J. Guibas, Aaron Hertzmann, Bryan Russell, Ruben Villegas, and Jimei Yang. Contact and human dynamics from monocular video. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 1, 2, 3, 6, 7 ## [^30]: Soshi Shimada, Vladislav Golyanik, Weipeng Xu, Patrick Pérez, and Christian Theobalt. Neural monocular 3d human --- 具备物理感知能力的动作捕捉技术。《ACM图形学汇刊》，40(4)，2021年8月。1,2,3,7 [^31]: Soshi Shimada, Vladislav Golyanik, Weipeng Xu, and Christian Theobalt. Physcap: Physically plausible monocular 3d motion capture in real time. ACM Transactions on Graphics, 39(6), dec 2020. 1, 2, 3, 7, 8 [^32]: L. Sigal, A. Balan, and M. J. Black. HumanEva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. International Journal of Computer Vision, 87(1):4–27, Mar. 2010. 6,7 [^33]: C. Sminchisescu and B. Triggs. Kinematic jump processes for monocular 3d human tracking. In CVPR, 2003. 3 [^34]: Jakub Stepien. Physics-Based Animation of Articulated Rigid Body Systems for Virtual Environments. PhD thesis, 10 2013. 4 [^35]: E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5026–5033, 2012. 3 [^36]: Shuhei Tsuchida, Satoru Fukayama, Masahiro Hamasaki, and Masataka Goto. Aist dance video database: Multi-genre, multi-dancer, and multi-camera database for dance information processing. In Proceedings of the 20th International Society for Music Information Retrieval Conference, ISMIR 2019, pages 501–510, Delft, Netherlands, Nov. 2019. 1, 6, 7, 8 [^37]: Timo von Marcard, Roberto Henschel, Michael Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In European Conference on Computer Vision (ECCV), sep 2018. 2 [^38]: M. Vondrak, L. Sigal, and O. C. Jenkins. Physical simulation for probabilistic motion tracking. In 2008 IEEE Conference on Computer Vision and Pattern Recognition, pages 1–8, 2008. 3 [^39]: Andrew Witkin and Michael Kass. Spacetime constraints. In SIGGRAPH, 1988. 4 [^40]: Jungdam Won, Deepak Gopinath, and Jessica Hodgins. A scalable approach to control diverse behaviors for physically simulated characters. ACM Trans. Graph., 39(4), 2020. 3 [^41]: Jungdam Won and Jehee Lee. Learning body shape variation in physics-based characters. ACM Trans. Graph., 2019. 3 [^42]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 1, 2 [^43]: Kevin Xie, Tingwu Wang, Umar Iqbal, Yunrong Guo, Sanja Fidler, and Florian Shkurti. Physics-based human motion estimation and synthesis from videos. In Int. Conf. Comput. Vis., 2021. 1, 2, 3, 4, 6, 7, 8 [^44]: Hongyi Xu, Eduard Gabriel Bazavan, Andrei Zanfir, William T Freeman, Rahul Sukthankar, and Cristian Sminchisescu. GHUM & GHUML: Generative 3d human shape and articulated pose models. In IEEE Conf. Comput. Vis. Pattern Recog., pages 6184–6193, 2020. 2,4 [^45]: Ye Yuan and Kris Kitani. Residual force control for agile human behavior imitation and extended motion synthesis. In Advances in Neural Information Processing Systems, 2020. 2, 3 [^46]: Ye Yuan, Shih-En Wei, Tomas Simon, Kris Kitani, and Jason Saragih. Simpoe: Simulated character control for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 3, 4, 7 [^47]: Andrei Zanfir, Eduard Gabriel Bazavan, Hongyi Xu, Bill Freeman, Rahul Sukthankar, and Cristian Sminchisescu. Weakly supervised 3d human pose and shape reconstruction with normalizing flows. arXiv preprint arXiv:2003.10350, 2020. 2, 5 [^48]: Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Zanfir, William T Freeman, Rahul Sukthankar, and Cristian Sminchisescu. Neural descent for visual 3d human pose and shape. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1, 4, 5 [^49]: Andrei Zanfir, Elisabeta Marinoiu, Mihai Zanfir, Alin-Ionut Popa, and Cristian Sminchisescu. Deep network for the integrated 3d sensing of multiple people in natural images. In NeurIPS, pages 8410–8419, 2018. 2