Table 1. Comparison of existing performance capture technologies with our proposed method.
Fig. 2. Construction of synthetic image by sampling random identity and pose for the SOMA parametric model, clothing, hair and accessory assets, textures, shaders and HDRI environments from our asset library (top row). From this we can produce a highly realistic image and a number of corresponding ground-truth annotations (bottom row).
对标记映射进行易出错的手动调整 [Loper et al. 2014] 的必要，也避免了预测出的特征点相对于网格发生滑动的问题——而使用基于人类标注的特征点数据集训练的深度神经网络或传统的轮廓跟踪方法往往会出现这种情况。
该流程始于一个参数化模型，该模型能够捕捉面部和身体形状、身体与手部姿态以及面部表情，包括舌头的运动。为此，我们基于广受欢迎的SMPL-H人体模型[Romero et al. 2017]以及Wood等人提出的面部模型[^2021]进行构建。随后，我们从庞大且多样化的素材库中添加纹理、头发和衣物。最后，我们将人体置于室内3D场景或室外场景中，并利用HDR图像[Debevec 2006]模拟环境光照效果。我们使用Cycles渲染引擎[Blender Foundation 2021]来渲染场景。图2展示了我们的渲染构建过程，以及通过该流程生成的一些真实标注示例。使用我们的流程渲染的图像示例可见图3。流程中所使用的所有源自真人采集的数据均获得了明确授权。下文我们将简要概述该参数化模型及数据生成流程；如需了解更多细节，请参阅补充材料。
### 3.1 参数化人体模型
我们通过优化并扩展训练数据（如下所述）以及加入舌头运动功能，对Wood等人提出的面部模型[^2021]进行了改进。我们将更新后的面部模型与SMPL-H人体模型[Romero et al. 2017]相结合，从而生成一个具有高度可控性和表现力的完整人体参数化模型，我们将其命名为SOMA（源自希腊语，意为“身体”）。SOMA模型的网格顶点位置由网格生成函数$\mathcal{M}(\beta, \gamma, \zeta, \psi, \theta)$定义，该函数接收以下参数：用于描述身体形状的$\beta \in \mathbb{R}^{300}$、用于描述面部形状的$\gamma \in \mathbb{R}^{256}$、用于描述手部形状的$\zeta \in \mathbb{R}^9$、用于描述表情的$\psi \in \mathbb{R}^{224}$以及用于描述姿态的$\theta \in \mathbb{R}^{54 \times 3}$。该模型的完整数学定义可在补充材料中找到。
舌头运动是通过添加12个混合变形来实现的，这些混合变形专门用于控制舌头的运动，能够覆盖大部分可能的舌头运动方式。鉴于舌头是一块极为复杂的肌肉，要用合理数量的混合变形来捕捉其全部运动范围几乎是不可能的。
---
Fig. 3. Example images from the SynthBody, SynthFace and SynthHand datasets, all of our neural networks are trained exclusively on these synthetic datasets.
Fig. 4. Twelve tongue blendshapes included in the SOMA model, visualized with mouth opening blendshapes also activated. These blendshapes allow for significant coverage of the range-of-motion of the tongue.
与其引入结构复杂的关节骨骼系统而增加拟合难度，我们宁愿在模型的表现力上做出妥协，选择一组能覆盖大部分运动情况的少量混合变形，这些混合变形在图4中有所展示。
面部形状基。我们采用[^2021]组扫描数据对Wood等人$N = 1040$的模型进行重新训练，选取这些数据是为了提升其在多个人口统计维度上的多样性。我们发现Wood等人[^2021]的模型在针对嘴唇较薄或较厚的人群时泛化能力较差，分析还显示原始训练数据中嘴唇周围拓扑结构的语义对应关系存在不一致性。因此，我们采用自身的方法结合商用拓扑重构软件[Russian3DScanner 2021]，以半自动方式对训练数据进行预处理，以确保口腔区域的一致性。随后我们执行光度细化[Nicolet等人，2021]，以便更好地捕捉皱纹等高频特征。关于对训练数据所做的改进详情，请参阅补充材料。为获取形状基，我们需将基与参数$[\boldsymbol{\gamma}_{0}, \ldots, \boldsymbol{\gamma}_{N}]$一同拟合。
Fig. 5. Body and face shape samples. We sample at random from male, female and ungendered GMMs. The SOMA model itself has no explicit concept of gender.
Fig. 6. Pose and expression library samples. If not all data is present in the original capture, we splice together body, hand and face pose and expression from separate sequences.
此处采用向量Adam算法[Ling et al. 2022]进行拟合。
### 3.2 素材库
如图2所示，我们通过采样形状、姿态、头发和服装素材以及纹理和环境来构建独特的渲染效果。面部和身体形状是从拟合于面部训练数据的高斯混合模型（GMMs）中采样得到的，或是直接取自包含3572个来自不同来源的人体扫描数据的库[Mahmood等人，2019年；Renderpeople，2024年；Ten24 Media，2024年；Yang等人，2014年]。示例身份信息如图5所示。
对于面部表情，我们重新注册Wood等人提供的库[^2021]以提升质量，并加入舌头动作，同时添加由艺术家创作的包含舌头动作的额外序列。对于身体和手部姿态，我们从大型库中采样，这些库包括AMASS[Mahmood等人，2019年]、MANO[Romero等人，2017年]以及使用MoSh[Loper等人，2014年]处理的其他动作捕捉数据。示例姿态和表情如图6所示。
一旦获得已设定姿态的身体网格，我们便添加头发、服装和配饰，并在真实感环境中渲染结果。为此，我们构建了一个由艺术家创作的素材大型库，从中采样以生成种类繁多的真实感场景。我们使用置换贴图来模拟基础服装，用网格素材来表示眼镜和头饰。头发则以发丝形式呈现，针对头皮发、胡须、眉毛和睫毛分别制作独立素材。我们结合使用HDRIs和3D房间环境来提供多种多样的环境光照和背景内容。
---
Fig. 7. Selection of assets from our library of accessories, clothing and hair. Displacement-based assets automatically adapt to variation in body shape, mesh-based assets and hair are adapted using lattice warping.
示例素材可见于图7，关于素材库的更多细节则在补充材料中给出。
### 3.3 训练数据集
为了训练我们方法中使用的深度神经网络（DNNs），我们生成了三个数据集，每个数据集包含约10万张图像，分别涵盖全身、面部和左手。我们将这些数据集命名为SynthBody、SynthFace和SynthHand。这些数据集将在发表时附带稀疏标注公开发布。各数据集的示例图像可见图3。SynthBody和SynthFace的分辨率为$512 \times 512$像素，两者均包含2D地标和语义分割标注。SynthBody还包含3D关节位置以及SMPL-H姿态和形状参数，而SynthFace则包含头部姿态标注。SynthHand的分辨率为$256 \times 256$像素，包含2D和3D关节位置以及MANO参数标注。所有数据集还包含相机参数，下载说明可在查看。请注意，下文展示的所有结果均来自仅用这些合成数据集训练的DNNs。
## 4 动态捕捉
我们采用多阶段技术将SOMA模型适配到图像或视频数据上。第一阶段利用在第3节描述的流程生成的合成数据训练出的DNNs，从输入图像中回归出包括2D地标在内的信息。第二阶段采用传统优化方法，通过最小化3D网格顶点在图像中的投影误差，使我们的参数化模型适配观测到的2D地标。优化过程
Fig. 8. Overview of our method architecture. From an input image we regress landmarks and initial model parameters, we refine these for the face and hands and minimize reprojection error to obtain the output parameters.
Fig. 9. Dense landmark definitions for the body, hands and face. We use 1428 landmarks for the full body, 141 for each hand and 744 for the face. Face landmarks include 16 points on the limbus boundary in each eye, 12 points on the teeth and 9 points on the tongue.
涉及一系列能量项，用以编码对场景的先验认知，具体细节如下所述。我们发现仅使用2D地标无法得到稳健的结果，而以良好的身体形状和姿态近似值为优化初始化至关重要。因此，我们也训练DNNs从输入图像中预测身体姿态和形状。该方法无需优化即可实时运行，从而为结果预览提供解决方案。图8以图形方式展示了我们的流程。
### 4.1 神经网络
我们的模型拟合流程依赖于全身密集的关节点以及姿态和形状的初始化信息。关节点的高密度对于确保人体表面的形状重建精度至关重要[Wood et al. 2022]；我们在图9中展示了模板网格上的关节点集。我们发现，直接从图像回归参数化模型参数的深度神经网络非常稳健，能够学习到关于人体姿态的强大隐式先验，不过仅靠它们本身难以获得极其精确的结果。然而，从合理的身体姿态估计出发，能够帮助优化器找到更好的解，尤其是在单视图约束不足的情况下。
---
我们发现单个深度神经网络无法为面部和手部生成足够高保真度的结果，这可能是由于包含整个身体的感兴趣区域（ROI）分辨率有限所致。因此，我们分别为身体、手部和面部训练三个独立的深度神经网络；每个模型都以紧密裁剪自相应身体部位的ROI作为输入。训练期间，ROI是根据真实关节点估计得出的；推理时则使用检测器来估计全身ROI，再根据初始关节点预测结果提取子ROI。关于检测与跟踪的更多细节，以及支持上述设计选择的训练过程和实验结果，请参阅补充材料。
网络结构与损失函数。遵循Zhang等人[2023b]的做法，我们使用在ImageNet [Deng et al. 2009]上预训练的HRNet [Sun et al. 2019]作为骨干网络，从输入图像中提取视觉特征。如图10所示，HRNet计算出的压缩表征随后被用作三个基于多层感知机（MLP）的头部网络的输入，以预测概率性关节点、姿态和形状。
对于预测的关节点L，我们将每个关节点建模为圆形高斯分布，$L_i = \{\mu_i, \sigma_i\}$，其中$\mu_i = [x_i, y_i]$是该关节点的预期二维位置，$\sigma_i$代表预测的不确定性[Wood et al. 2022]。我们用$\mu'_i = [x'_i, y'_i]$表示真实关节点位置。训练时，我们采用带有权重$\lambda_i$的高斯负对数似然损失。
$$ \mathcal{L}_{\mathrm{l d m k}}=\sum_{i=1}^{\left|\mathrm{L}\right|}\lambda_{i}\Biggl(\log\left(\sigma_{i}^{2}\right)+\frac{\left\|\boldsymbol{\mu}_{i}-\boldsymbol{\mu}_{i}^{\prime}\right\|^{2}}{2\sigma_{i}^{2}}\Biggr). $$
我们按照Zhou等人的做法[[^2019]]，将姿态头部输出的姿态参数表示为6D旋转，并计算真实旋转$L_1$与预测旋转$\mathcal{L}_{\text{pose}} = \|\xi - \xi'\|_1$之间的$\xi'$损失$\xi$。我们将SOMA模型的正向运动学表示为$\mathbf{J}_T, \mathbf{J}_R = H(\theta; \beta, \gamma, \zeta)$，其中H会根据给定的姿态$\mathbf{J}_T$和形状参数$\mathbf{J}_R$计算出世界坐标系下的关节平移$\theta$和旋转$\beta, \gamma, \zeta$。于是我们得到真实关节变换$\mathbf{P}_T', \mathbf{P}_R' = H(\theta'; \beta', \gamma', \zeta')$和预测关节变换$\mathbf{P}_T, \mathbf{P}_R = H(n(\xi); \beta, \gamma', \zeta')$，其中n负责将6D旋转映射为轴角。我们利用这些数据来计算分解为两部分的姿态重建损失：
$$ \mathcal{L}_{\mathrm{j o i n t}_{T}}=\frac{1}{|\mathbf{J}|}\sum_{j=1}^{|\mathbf{J}|}\|\mathbf{P}_{T}^{j}-\mathbf{P}_{T}^{\prime j}\|_{1} $$
$$ \mathcal{L}_{\mathrm{j o i n t}_{R}}=\frac{1}{|\mathrm{J}|}\sum_{j=1}^{|\mathrm{J}|}\mathrm{a r c c o s}\left(\frac{t r(\mathbf{P}_{R}^{j}(\mathbf{P}_{R}^{\prime j})^{T})-1}{2}\right) $$
其中$|J|$表示关节数量，$tr(\cdot)$表示迹运算。
形状头部会预测SOMA形状参数，我们计算真实形状参数与预测值之间的$L_1$误差$\mathcal{L}_{\text{shape}} = \|\boldsymbol{\beta} - \boldsymbol{\beta}'\|_1$。需要注意的是，形状参数在公式2中也会被隐式优化。因此，我们的最终损失函数为：
$$ \mathcal{L}=\alpha_{l}\mathcal{L}_{\mathrm{ldmk}}+\alpha_{p}\mathcal{L}_{\mathrm{pose}}+\alpha_{t}\mathcal{L}_{\mathrm{joint}_{T}}+\alpha_{r}\mathcal{L}_{\mathrm{joint}_{R}}+\alpha_{s}\mathcal{L}_{\mathrm{shape}} $$
其中$\alpha_{l}, \alpha_{p}, \alpha_{t}, \alpha_{r}, \alpha_{s}$是分配给各项损失的权重。
Fig. 10. Landmark, pose, and shape estimator DNN architecture. Used in full for the body DNN, without shape head for the hand DNN, and with only landmark head for the face DNN. $\boldsymbol{\theta} = n(\boldsymbol{\xi})$ is input to the SOMA model.
模型。我们采用上述完整架构和损失函数，在SynthBody数据集上训练人体DNN。该模型可预测人体上的1428个关键点（见图9）、人体姿态、$\xi \in \mathbb{R}^{23\times6}$（不包括骨盆和手部），以及能解释大部分形状变异的SOMA人体形状参数的前10个分量。手部DNN则在SynthHand数据集上训练，但省略了形状头及相关损失函数（$\alpha_s = 0$）。我们仅针对左手训练一个DNN。推理时，我们会将输入图像和预测的关键点沿x轴镜像处理，并将右手的预测姿态沿y轴镜像。手部DNN可预测手部的141个密集关键点（见图9）以及15个手部姿态关节（不包括手腕）。面部DNN在SynthFace数据集上训练，可直接回归出面部的744个关键点（见图9）。由于面部因形状和表情产生的变化远小于人体，且优化器能在模型拟合阶段完全确定这些参数，因此我们省略了姿态头和形状头（$\alpha_s = \alpha_p = \alpha_t = \alpha_p = 0$）。
### 4.2 模型拟合
我们采用L-BFGS算法[Liu和Nocedal 1989]，从初始的姿态和形状参数出发，寻找能够解释观测到的关键点的SOMA模型最优参数。若存在多个视角，我们会从预测概率关键点平均sigma值最小的视角中回归出姿态和形状参数。我们首先利用PnP算法[Fischler和Bolles 1981]初始化全局位置和朝向，随后采用三阶段拟合流程：（1）仅优化平移和旋转以完善PnP初始化结果；（2）优化姿态、表情和形状参数以拟合SOMA模型；可选地，（3）在未提供相机校准信息时，修正相机外参（多视角情况）或焦距（单视角情况）。
在未提供相机校准信息的多视角场景中，可利用模板3D头部网格及每个视角的2D面部关键点，通过PnP算法精确估计相机的位置和朝向[Szymanowicz等人 2022]。之所以选用头部而非整个人体，是因为姿态和表情的变化对整体形状的影响极小，这样能得到更可靠的相机定位结果。除非另有说明，我们假设不存在相机畸变，且光学中心与图像中心对齐。
---
优化的目标函数为：
$$ \begin{aligned}E(\Phi,\mathbf{Q};\mathbf{L})=&\underbrace{E_{ldmks}}_{Data term}+\underbrace{E_{shape}+E_{exp}+E_{pose}+E_{temp}+E_{intsct}+E_{cam}}_{Regularizers}\end{aligned} $$
其中$\Phi = \{\beta, \gamma, \zeta, \psi, \theta\}$为SOMA参数，Q在多视角情况下代表相机外参，单视角情况下代表焦距，它们在序列中保持不变，L则为预测的概率关键点。
唯一的数据项是L的投影误差。关键在于，我们利用预测的不确定性$\sigma$来为每个关键点加权损失，因此对于C个相机的F帧数据而言：
$$ E_{ldmks}=\sum_{i,j,k}^{F,C,|\mathbf{L}|}\frac{\|\mathbf{x}_{ijk}-\boldsymbol{\mu}_{ijk}\|^{2}}{2\sigma_{ijk}^{2}} $$
其中，$[\mu_{ijk}, \sigma_{ijk}]$ 是预测的 $k^{th}$ 地标点的二维位置及不确定性，而 $x_{ijk}$ 则是该地标点在姿态化的 SOMA 网格上的二维投影，即 $\mathcal{M}(\Phi)$，这是通过 $j^{th}$ 相机在 $i^{th}$ 坐标系下观测到的结果 [Wood et al. 2022]。根据预测地标的不确定性来对损失进行加权，在全身场景中尤为有价值——因为在此场景下，身体部位很容易因姿态或视角原因产生自遮挡现象。在多视图情况下，这种方式能让某个身体部位可见性最佳的视图优先于存在遮挡的视图；在单视图情况下，它能使先验对遮挡部位的影响更大，而对未遮挡区域则优先考虑地标信息。
正则化项。我们采用了多种先验来规范优化过程 [Pavlakos et al. 2019; Wood et al. 2022]。$E_{shape}$ 是多个高斯混合模型先验的组合；其作用是最小化给定身体和面部形状的对数概率，即 $\beta$ 和 $\gamma$。对于面部，我们针对第 3.1 节所述的训练扫描数据的形状参数拟合高斯混合模型；对于身体，我们则针对 SMPL-H 身份库拟合高斯混合模型（见第 3.2 节）。$E_{exp}$ 是一种针对表情参数的 $L_1$ 损失，用于促进稀疏性，同时结合四次屏障损失以确保系数落在 [^0] 到 [^1] 的范围内。$E_{temp}$ 是一种针对三维顶点位置之间帧间距离的 $L_2$ 损失，这有助于减少由预测的二维地标噪声引起的抖动现象。$E_{intct}$ 用于防止眼球、牙齿和舌头与面部表面相交 [Wood et al. 2022]。$E_{cam}$ 是一种针对相机位置与其初始位置之间差异的 $L_2$ 损失，以防止相机偏离初始位置过远。如果我们对场景有更多信息，扩展该系统以加入更多先验十分简单。例如，我们可以添加针对受试者身高的 $L_2$ 损失来减少尺度上的歧义，或者根据受试者的性别来限制形状先验。
神经姿态先验。一个关键挑战是确保估计出的身体和手部姿态的合理性，尤其是在单视图场景下，该问题属于不适定问题。身体和手部姿态带来的变化程度及自遮挡现象远比面部表情复杂，而我们发现面部表情并不需要复杂的先验。为解决这一问题，我们采用了神经姿态先验，具体来说就是归一化流 [Rezende and Mohamed 2015]。
我们的先验由一个已知的基础分布和一系列双射变换组成，这些变换使模型能够将数据映射到潜空间，反之亦然。身体（或手部）姿态被建模为对从基础分布 $p_{z}(z)$ 中采样的潜码 z 施加变换 T 后的结果，在本研究中该基础分布为多元正态分布。变换 T 是可逆的，这使我们能够利用变量变换公式来计算姿态的密度。
$$ p_{q}(q)=p_{z}\left(T^{-1}(q)\right)\left|\det\mathbb{J}_{T^{-1}}(q)\right| $$
其中，$\mathbb{J}_T$ 是变换的雅可比矩阵，q 表示姿态。更具体地说，$q = [\xi, \mathbf{P}_T, \mathbf{P}_R]$ 是标准化姿态下的局部关节旋转与全局关节变换的拼接结果（正面朝向的根节点位置位于 $[0, 0, 0]$）。
为了捕捉人体和手部姿态分布的复杂性，我们采用一系列简单的变换 $T = T_K \circ T_{K-1} \circ \ldots \circ T_1$ 来构成复杂的变换，其中每个 $T_i$ 将 $z_{i-1}$ 映射到 $z_i$，$z_0$ 是基础分布中的潜变量，而 $z_K$ 则是数据 q。这种组合由神经网络（采用 Real-NVP [Dinh et al. 2017] 架构）建模，训练目标是最大化数据的对数似然值，具体如下：
$$ \log p_{q}(q)=\log p_{z}(z_{0})-\sum_{i=1}^{K}\log\det\left|\frac{\partial T_{i}}{\partial z_{i}}\right| $$
在模型拟合方面，我们将姿态先验能量项定义为 $E_{pose} = -\alpha_b \log p_{qb}(q_b) - \alpha_h \log p_{qh}(q_h)$，其中 $q_b$ 和 $q_h$ 分别代表人体和手部姿态的表征，而 $\alpha_b$ 和 $\alpha_h$ 则是对应的人体和手部负对数似然权重。
## 5 实验
由于整体动作捕捉并非常用技术，可用于评估完整方法的数据集很少。因此，我们采用多种不同的基准测试来单独评估各子任务。综合这些结果以及定性分析结果可知，我们的方法达到了很高的质量水平，且在各类输入数据和场景下均表现出较强的鲁棒性。更多结果、基准测试数据集与实验流程的详情，以及全面的消融实验内容均可在补充材料中查看。
需要注意的是，尽管许多基准测试同时提供训练集和测试集，但我们在所有实验中使用的都是同一组 DNN（仅在 SynthBody、SynthHand 和 SynthFace 数据集上训练），并未使用任何基准测试的训练集。在进行跨数据集评估时 [Choudhury et al. 2023]，很难获得可比较的指标，不过跨数据集评估能更准确地反映该方法的泛化能力。对于有训练集的基准测试，使用训练集得出的最佳结果以粗体显示，未使用训练集得出的最佳结果则以下划线标示。我们的方法能在所有这些基准测试中均表现出良好的泛化能力，这反映出我们的合成数据具有高度的多样性和公平性，且不会偏向任何特定场景。
手部。为了评估手部的动作捕捉性能，我们采用了 FrieHAND 数据集 [Zimmermann et al. 2019]。我们仅利用手部 DNN 的预测结果和 $E_{pose}$ 来拟合 MANO 手部模型 [Romero et al. 2017]。定量结果如表 2 所示，我们的方法性能与近期其他方法相当。值得注意的是，我们的方法是唯一一个未在 FreiHAND 训练集上训练的方法。
---
Table 2. Single-view hand reconstruction errors on the FreiHAND dataset [Zimmermann et al. 2019], ours is the only method not trained on FreiHAND. Qualitative results are shown in Figure 11.
| Method | PA-MPVPE $\downarrow$ | PA-MPJPE $\downarrow$ | F-Scores $\uparrow$ 5 mm / 10 mm |
| Non-parametric |
| I2L-MeshNet [Moon and Lee 2020] | 7.6 | 7.4 | 0.681 / 0.973 |
| METRO [Lin et al. 2021a] | 6.7 | 6.8 | 0.717 / 0.981 |
| Parametric |
| FrankMocap [Rong et al. 2021] | 11.6 | 9.2 | 0.553 / 0.951 |
| PIXIE [Feng et al. 2021] | 12.1 | 12.0 | 0.468 / 0.919 |
| Hand4Whole [Moon et al. 2022] | 7.7 | 7.7 | 0.664 / 0.971 |
| PyMAF-X [Zhang et al. 2023b] | 8.1 | 8.4 | 0.638 / 0.969 |
| PyMAF-X (extra data) [Zhang et al. 2023b] | 7.5 | 7.7 | 0.671 / 0.974 |
| Ours | 8.1 | 8.6 | 0.653 / 0.967 |
Fig. 11. Qualitative comparison to METRO [Lin et al. 2021a] for hand reconstruction, on images from the FreiHAND dataset [Zimmermann et al. 2019]. FreiHAND © LMB, University of Freiburg.
Table 3. Face shape reconstruction results on the NoW Challenge [Sanyal et al. 2019] validation and test sets. Qualitative results are shown in Figure 12.
| Method | Val Error (mm) | Test Error (mm) |
| Single-view | Median | Mean | Std | Median | Mean | Std |
| PyMAF-X [Zhang et al. 2023b] | - | - | - | 1.13 | 1.42 | 1.20 |
| Wood et al. [^2022] | 0.95 | 1.17 | 0.97 | 1.02 | 1.28 | 1.08 |
| AlbedoGAN [Rai et al. 2024] | 0.90 | 1.12 | 0.96 | 0.98 | 1.21 | 0.99 |
| MICA [Zielonka et al. 2022] | 0.91 | 1.13 | 0.95 | 0.90 | 1.11 | 0.92 |
| TokenFace [Zhang et al. 2023a] | - | - | - | 0.76 | 0.95 | 0.82 |
| Ours | 0.87 | 1.08 | 0.89 | 0.89 | 1.11 | 0.93 |
| Multi-view | Median | Mean | Std | Median | Mean | Std |
| Bai et al. [^2021] | - | - | - | 1.08 | 1.35 | 1.15 |
| Wood et al. [^2022] | 0.75 | 0.90 | 0.73 | 0.81 | 1.01 | 0.84 |
| Ours | 0.68 | 0.83 | 0.68 | 0.70 | 0.88 | 0.74 |
近期的一些非参数方法 [Lin et al. 2021b; Moon and Lee 2020] 虽然能得出更优的指标，但不适用于动作捕捉任务。定性结果以及与近期研究的对比详见图 11 和补充材料。
面部。我们在NoW基准测试[Sanyal等人，2019年]上评估了面部动作捕捉性能，具体做法是仅对SOMA模型的面部进行拟合，省略所有不必要的能量项；结果如表3所示。大多数全身基准测试中的面部真实值质量较低，因此这使我们能够更直接地将我们的面部模型与其他近期方法（包括Wood等人的模型[^2021]）进行比较。我们还评估了NoW基准测试的一个变体：利用每个受试者的所有图像作为系统输入来重建其面部形状，即多视角场景。虽然在单视角情况下我们的方法并未超越Zhang等人[2023a]的方法，但我们的方法可扩展至多视角输入，从而能生成更精确的重建结果。定性结果以及与近期研究的对比详见图12和补充材料。NoW挑战赛仅关注面部而非整个头部，因此头部/耳朵形状的改进并未体现在定量结果中。
身体。对于全身部分，我们在三个数据集上进行了评估：EHF[Pavlakos等人，2019年]用于评估形状和姿态重建，SSP-3D[Sengupta等人，2020年]用于评估形状重建，Human3.6M[Ionescu等人，2014年]用于评估骨骼姿态估计。EHF最适用于动作捕捉应用场景，不过仅涵盖单视角场景。Human3.6M无法用于评估形状重建，但能让我们测试多视角处理的有效性。
EHF数据集[Pavlakos等人，2019年]的结果见表4。在大多数指标上我们均优于近期方法，或与同期研究成果持平；定性结果显示我们的结果显著更准确，如图13所示。我们可以轻松为该方法引入额外的监督信号；例如，若引入一次演员身高的测量数据，就能得到43.1毫米的全身MPVPE值（无需骨盆对齐），因为单视角场景固有的尺度模糊问题得以解决。
SSP-3D数据集上的形状重建结果见表5。我们的方法优于同样仅在合成数据上训练的最接近的方法[Black等人，2023年]，也超越了整体的最先进方法[Sengupta等人，2021a]。
Human3.6M数据集[Ionescu等人，2014年]上的多视角重建结果见表6。我们的方法显著优于其他同样未在Human3.6M上训练的多视角方法。由于该数据集的多样性有限，其他方法极有可能出现过拟合现象；Choudhury等人[^2023]的研究结果在表6中得到了印证。Human3.6M基准测试仅评估关节位置，无法完全确定人体姿态，因此存在一些自由度（如肢体旋转）未被定义[Zhang等人，2021年]。我们的方法能恢复完整的身体网格，往往能得出更具说服力的结果，图13所示的定性结果也证实了这一点。
## 6 讨论
### 6.1 局限性
我们的方法存在诸多局限性，无论是在合成训练数据还是模型拟合方面均是如此。由于地标点具有概率性特征，我们可以忽略那些地标点平均置信度过低的帧，从而利用相邻帧生成平滑插值的结果。这种方式能产出看似合理的结果，但会大幅牺牲这些帧的精确度。整个系统依赖于所预测的二维地标点的质量，因此当手部相互交错或所选的子感兴趣区域不佳时，便可能导致处理失败。虽然大多数情况下先验参数可通用，但对它们进行调整以规范优化过程仍颇为繁琐。
---
Fig. 12. Qualitative comparison to MICA [Zielonka et al. 2022] for face reconstruction on a number of images from the NoW challenge [Sanyal et al. 2019]. We observe greater variation in nose, lip, ear and head shape, along with more accurate representation of wrinkles, in our method. NoW © MPI.
Table 4. Single-view holistic reconstruction errors on the EHF dataset [Pavlakos et al. 2019]. MPVPE is pelvis aligned, PA-MPVPE is aligned with Procrustes analysis. Qualitative results are shown in Figure 13.
| Method | MPVPE | PA-MPVPE | PA-MPJPE |
| Full-body | Hands | Face | Full-body | Body | Hands | Face | Body | Hands |
| PIXIE [Feng et al. 2021] $^{{*}}$ | 89.1 | 42.8 | 32.6 | 55.0 | 53.8 | 11.2 | 5.5 | 65.5 | 11.1 |
| HybrIK-X [Li et al. 2023] $^{{*}}$ | 121.4 | 52.1 | 41.9 | 59.8 | 50.0 | 17.6 | 8.1 | 60.8 | 17.9 |
| OSX [Lin et al. 2023] | 70.8 | 53.7 | 26.4 | 48.7 | - | 15.9 | 6.0 | - | - |
| PyMAF-X (Res50) [Zhang et al. 2023b] | 68.0 | 29.8 | 20.5 | 47.3 | 45.9 | 10.1 | 5.6 | 52.9 | 10.3 |
| PyMAF-X (HR48) [Zhang et al. 2023b] | 64.9 | 29.7 | 19.7 | 50.2 | 44.8 | 10.2 | 5.5 | 52.8 | 10.3 |
| SMPLer-X-L20 [Cai et al. 2024] $^{\dagger}$ | 65.4 | 49.4 | 17.4 | 37.8 | - | 15.0 | 5.1 | - | - |
| SMPLer-X-L32 [Cai et al. 2024] $^{\dagger}$ | 62.4 | 47.1 | 17.0 | 37.1 | - | 14.1 | 5.0 | | |
| Multi-HMR-ViT-L/14 [Baradel $^{{*}}$ et al. 2024] $^{\dagger}$ | 42.0 | 28.9 | 18.0 | 28.2 | - | 10.8 | 5.3 | - | - |
| Ours | 51.0 | 21.6 | 18.4 | 34.2 | 33.0 | 9.8 | 4.9 | 38.0 | 9.7 |
$^{*}$本文采用官方实现对结果进行评估——Feng等人[^2021]采用了不同的面部评估协议，Li等人[^2023]并未报告EHF指标。$^{\dagger}$这些为同期研究的结果。
Table 5. Single-view body shape reconstruction errors on the SSP-3D dataset [Sengupta et al. 2020].
| Method | PVE-T-SC |
| HMR [Kanazawa et al. 2018] | 22.9 |
| SPIN [Kolotouros et al. 2019] | 22.2 |
| SHAPY [Choutas et al. 2022b] | 19.2 |
| STRAPS [Sengupta et al. 2020] | 15.9 |
| Sengupta et al. [2021b] | 15.2 |
| Sengupta et al. [2021a] | 13.6 |
| BEDLAM-CLIFF [Black et al. 2023] | 14.2 |
| Ours | 11.8 |
Table 6. Multi-view body pose errors on the Human3.6M validation set [lonescu et al. 2014] excluding sequences with incorrect ground-truth annotations following Iskakov et al. [^2019]. MPJPE is not pelvis aligned.
| Multi-view Method | Trained on H36M | MPJPE |
| Pavlakos et al. [^2017] | ✗ | 56.9 |
| Iskakov et al. [^2019] | ✓ | 17.7 |
| TEMPO [Choudhury et al. 2023] | ✓ | 18.5 |
| TEMPO [Choudhury et al. 2023] | ✗ | 63.0 |
| Ours | ✗ | 27.9 |
未来我们可以采用基于机器学习的迭代优化方法，以减少对定制先验参数的依赖并提升抗误差能力[Choutas等人，2022a]。我们常常发现，处理失败的根源在于合成训练数据。我们的合成数据存在特定缺陷，比如缺少极为罕见的姿势、宽松衣物以及头发模拟数据。使用我们的方法，通过采集和手动清理就能轻松解决姿势数据的缺失问题；资产库中的空缺则可通过艺术家的努力来填补。虽然提供校准参数后我们支持移动摄像头，但当前实现尚无法同时优化随时间变化的被摄物体与摄像头位置。这将是该系统的一项强大扩展，能够实现真正任意的摄像头输入，近期的研究[Shin等人，2024]也证明了其有效性。
### 6.2 结论
我们展示了一个能够对人体进行整体高质量动作捕捉的系统，涵盖身体、面部和手部。我们的参数化模型在身体和手部模型[Romero等人，2017]以及面部模型[Wood等人，2021]的基础上进行了改进，能够以高保真度呈现完整的人体。我们利用该模型生成合成数据，用于训练执行二维地标回归以及从图像中直接预测姿态和形状的DNN。随后通过优化将模型拟合到人物的图像或视频上，从而实现高质量的整体动作捕捉。我们的方法侧重于：（1）由DNN直接回归姿态和形状所带来的鲁棒性；（2）精确度
---
Fig. 13. Qualitative examples of single-view full body reconstruction for images from the EHF [Pavlakos et al. 2019] (top 4 rows) and Human3.6M [Ionescu et al. 2014] (bottom 3 rows) datasets compared with recent methods. Additional qualitative results including failure cases can be found in the supplementary material. Our method achieves more precise results and significantly higher fidelity reconstruction of the face. EHF © MPI, Human3.6M © IMAR.
由DNN预测图像空间特征所实现的精确度；（3）模型拟合的适应性，能够支持任意数量和位置的摄像头。正因如此，我们的系统无需标记点或专用硬件，可使用任意摄像头且无需校准，还能从单次拍摄中输出身体、手部和面部的综合结果。我们在人体重建基准测试中取得了业界领先的结果，证明无需繁琐步骤即可实现高质量的整体动作捕捉。
## 致谢
作者感谢Rodney Brunet、Kendall Robertson和Jon Hanzelka在服装资产库方面的工作；感谢Steve Hoogendyk在舌头混合形状方面的工作；也感谢Ben Lundell和Erroll Wood提出的意见与建议。
---
## A 模型定义
SOMA网格由$N = 12943$个顶点和12726个多边形构成，骨骼包含K=54个关节：其中身体部分22个（采用SMPL骨骼），每只手15个（同SMPL-H），眼睛部分2个，均源自Wood等人[^2021]提出的面部模型，以轴角形式表示。
网格顶点位置由网格生成函数 $\mathcal{M}(\beta, \gamma, \zeta, \psi, \theta) : \mathbb{R}|\beta| + |\gamma| + |\zeta| + |\psi| + |\theta| \to \mathbb{R}^{N \times 3}$ 定义，该函数使用参数 $\beta \in \mathbb{R}^{300}$ 表示身体形状，$\gamma \in \mathbb{R}^{256}$ 表示面部形状，$\zeta \in \mathbb{R}^9$ 表示手部形状，$\psi \in \mathbb{R}^{224}$ 表示表情，$\theta \in \mathbb{R}^{54 \times 3}$ 表示骨骼姿态。
$$ \mathcal{M}(\beta,\gamma,\zeta,\psi,\theta)=\mathcal{L}(\mathcal{T}(\beta,\gamma,\zeta,\psi,\theta),\theta,\mathcal{T}(\beta,\gamma,\zeta);\mathbf{W}) $$
其中 $\mathcal{L}(\mathbf{X}, \theta, \mathbf{J}; \mathbf{W})$ 是一种标准的线性混合蒙皮（LBS）函数，它根据关节旋转 $\mathbf{X} \in \mathbb{R}^{N \times 3}$ 围绕关节位置 $\mathbf{J} \in \mathbb{R}^{K \times 3}$ 旋转顶点位置 $\theta$；每个顶点处的手工设定的蒙皮权重 $\mathbf{W} \in \mathbb{R}^{K \times N}$ 决定了旋转在网格上的插值方式。
$\mathcal{T}(\beta, \gamma, \zeta, \psi, \theta): \mathbb{R}^{|\beta|+|\gamma|+|\zeta|+|\psi|+|\theta|} \to \mathbb{R}^{N\times3}$ 通过向模板网格 $\overline{\mathbf{T}} \in \mathbb{R}^{N\times3}$ 添加位移来构建未摆姿势的身体网格，该模板网格代表了处于T型姿势且表情中性的平均人体：
$$ \mathcal{T}(\boldsymbol{\beta},\boldsymbol{\gamma},\boldsymbol{\zeta},\boldsymbol{\psi},\boldsymbol{\theta})_{k}^{j}=\overline{T}_{k}^{j}+\beta_{i}S_{k}^{i j}+\gamma_{i}U_{k}^{i j}+\zeta_{i}V_{k}^{i j}+\psi_{i}E_{k}^{i j}+P(\boldsymbol{\theta})_{k}^{j} $$
利用线性身体形状基 $\mathbf{S} \in \mathbb{R}^{|\beta| \times N \times 3}$、面部形状基 $\mathbf{U} \in \mathbb{R}^{|\gamma| \times N \times 3}$、手部形状基 $\mathbf{V} \in \mathbb{R}^{|\zeta| \times N \times 3}$、表情基 $\mathbf{E} \in \mathbb{R}^{|\psi| \times N \times 3}$，以及表示与姿态参数 $P(\theta)$ 相关的姿态依赖型混合形状偏移量的 $\boldsymbol{\theta}$，最终由 $\mathcal{J}(\beta, \gamma, \zeta):\mathbb{R}^{|\beta| + |\gamma| + |\zeta|} \to \mathbb{R}^{K \times 3}$ 调整关节位置以反映形状变化：
$$ \mathcal{T}(\boldsymbol{\beta},\boldsymbol{\gamma},\boldsymbol{\zeta})_{k}^{j}=J(\overline{T}_{k}^{j}+\beta_{i}S_{k}^{i j}+\gamma_{i}U_{k}^{i j}+\zeta_{i}V_{k}^{i j}) $$
其中 J 是 SMPL-H 关节回归器的修改版本。身体形状基 S 取自中性的 SMPL-H [Romero et al. 2017]，且仅保留身体部分。手部形状基 V 取自 MANO [Romero et al. 2017]，排除第一个大致代表尺度的分量，因为这一信息已包含在 S 中。二者均为从人类扫描数据中学习得到的 PCA 基。姿态依赖型混合形状 $P(\theta)$ 也取自中性的 SMPL-H。面部形状基 U 如主论文所述，是从面部扫描库中学习得到的。面部表情基 E 取自 Wood et al. 的研究 [^2021]，但额外增加了12个混合形状以实现舌头的活动。
为了构建模板网格 $\overline{T}$，我们手动将 Wood et al. 的模板 [^2021] 对齐到 SMPL-H 模板的头部。对齐后，移除 SMPL-H 的头部和新头部的下颈部，再将这两个部分网格合并。接合处的拓扑结构是手工制作的，以便在两种网格密度不同的情况下实现平滑过渡，详见图14。新的UV贴图也是根据SMPL-H的UV空间手工设定的。
由于模板网格的拓扑结构与Wood et al. [^2021] 和 SMPL-H 均有显著差异，因此必须对这些模型对应的基进行调整，以便其能在SOMA模型中正常工作。为此，我们计算了从各源拓扑结构到SOMA拓扑结构的映射函数。具体来说，我们通过遍历每个SOMA顶点，将源模型中距离该顶点最近的三角形内各顶点的值加权求和，从而把数据从源模型映射到SOMA。
Fig. 14. Head and neck topology of the SOMA model.
我们采用手工制作的遮罩，限制Wood et al. [^2021] 的基仅作用于头部和颈部，而SMPL-H的基仅作用于身体部分。
## B 自动面部重新拓扑
要为Wood et al.的模型 [^2022] 添加训练数据，通常需要使用Wrap [Russian3DScanner 2021]等工具，通过手动选择对应点将新的头部扫描数据重新拓扑为目标拓扑，这一过程既缓慢又容易出现人工标注不一致的情况。为了获得总共1040个样本，我们采用了以下方法自动对新的面部扫描数据进行重新拓扑。
首先，由于训练数据中口腔区域的一致性较差，我们会在每次扫描的唇缘上标注点。接着，我们从多个视角对每次扫描结果进行均匀着色渲染。我们利用多视图拟合方法，拟合出能在人脸模型拓扑结构下最佳重建扫描结果的3D网格。我们将此作为Wrap算法的初始化输入，该算法能够修正误差并提升表面细节质量，使其优于原始扫描结果。要指导Wrap重拓扑过程，需要在原始扫描数据与目标人脸模型拓扑之间建立稀疏的对应点，以实现精确的表面对齐。我们自动在拟合网格的耳朵和眼睛位置选取一组稀疏点，并将其添加到人工标注的唇部对应点中。由于拟合网格与扫描表面相近，我们通过寻找法线方向与拟合网格相似的最近扫描顶点，来确定扫描上的对应点。为提高耳后对应点的准确性，我们在拟合网格上将这些点向耳后移动2厘米，然后再在扫描网格上寻找法线方向相似的最近点。一旦利用这些对应点将拟合网格重拓扑到扫描网格上，我们便采用光度优化技术[Nicolet et al. 2021]，在同一拓扑结构中更好地还原皱纹等高频特征。
主论文中描述的口腔区域语义一致性较差的例子，以及经上述流程改进后的效果，均展示在图15中。
---
Fig. 15. Improvements to semantic consistency in the mouth region as part of our updated face identity basis training. The same edge loop is shown in bold for the original retopologized scans and our updated versions. The new training data has topology that is significantly more consistent with the semantic region of the lips shown by the texture.
## C 合成数据详情
### C.1 姿态库
为了逼真地模拟人体姿态，我们从多种来源收集了大量的姿态与表情库。对于面部表情和眼部运动，我们采用了Wood等人[^2021]建立的库，该库是通过Wood等人[^2022]的技术采集的。利用此处介绍的更新后的模型和技巧，我们重新处理原始的多视图视频数据，以提取包括舌头运动在内的更高质量结果。我们还加入了一些由艺术家制作的、包含舌头动作的表情序列，以此增强生成数据中的相关表征。总体而言，我们有近16.5万帧的表情和眼动数据可供采样。对于身体姿态数据，我们将AMASS库[Mahmood et al. 2019]与通过传统光学动作捕捉技术采集、并经MoSh[Loper et al. 2014]处理的各类姿态序列库相结合。这些库大多仅包含身体姿态数据，但有些也包含关节化手部数据。总计超过200万帧。我们还使用MANO数据集[Romero et al. 2017]来提供单独的手部姿态数据。
我们从这些库中随机采样，将来自不同序列的面部表情和身体姿态组合在一起。如果某个身体姿态序列缺少关节化手部数据，我们就从手部姿态库中截取相应数据补充进去。对于身体姿态采样，我们根据整个库拟合出的高斯混合模型下单个姿态的对数概率来设定权重；对于面部表情采样，则根据表情系数的绝对值之和设定权重，同时还会随机调整视线方向和眼睛闭合状态。这样就能从库中选出难度较高且种类多样的姿态和表情。
### C.2 服装
为了能够模拟出适应各种体型与姿势的衣物，我们采用了位移贴图技术 [Ma et al. 2020]。这些衣物模型由艺术家使用Marvelous Designer [CLO Virtual Fashion Inc. 2024] 在我们的模板人体模型上制作成带纹理的网格，随后被烘焙为位移贴图。我们还为每件模型制作了反照率、法线、金属度和粗糙度贴图，从而呈现出极高的真实感。在渲染时，我们利用自适应细分技术来保留衣物的高频细节。衣物模型分为上衣和下装，此外还有手镯、戒指、手套和手表等多种配饰。我们同样利用位移技术来模拟假肢。总共我们有384个衣物位移模型和148个配饰位移模型。
我们还对Wood等人开发的某些网格衣物模型进行了调整与扩展 [^2021]，使其适配我们的新模板模型，并在渲染时使用同样的基于格子的变形技术来让这些衣物适配不同的人物形象。我们的网格衣物库包含36种眼镜模型、56种头饰以及7种面具和眼罩。
虽然位移衣物模型能很好地适配各种体型与姿势，但在表现力方面存在明显局限。采用该技术无法呈现连衣裙和裙子这类宽松款式的衣物，这导致我们的合成数据中存在显著缺口。我们希望未来能借鉴Black等人使用的方法 [^2023]，通过布料模拟来解决这一问题。
### C.3 头发
我们借鉴了Wood等人的头发库 [^2021]，并对其进行了扩展，重点在于增加头发类型和样式的多样性。这些头发模型是由艺术家制作的基于发丝的资产，我们会将其调整以适配新的模板模型。在生成过程中，基础模型会被变形以匹配特定人物的头部形状。我们的头发库总共包含479种发型、81种眉毛样式、71种睫毛样式以及91种胡须样式。
由于这些资产较为复杂，我们目前并未进行任何模拟来让头发更真实地受重力或身体影响。从结果来看，这并未造成太大问题，因为深度神经网络能够充分学习并泛化相关知识；但不可否认的是，这确实是合成图像与真实图像之间领域差异的一个组成部分。
### C.4 纹理
我们扩展了Wood等人的面部纹理库 [^2021]，新增了207种纹理，从而提升了不同种族和年龄段的多样性。为了获得毛孔级别的细节凹凸贴图，我们像Wood等人那样 [^2021] 对反照率纹理进行高通滤波处理。但由于不同肤色的反照率纹理对比度存在差异，这会导致皮肤镜面粗糙度的外观不一致。我们通过根据肤色亮度来调整凹凸贴图的强度，从而使不同肤色下的皮肤镜面高光效果更加自然且一致。对于身体部分，我们使用了包含25种高质量纹理的库，这些纹理按性别进行了平衡。在选取纹理时，我们首先选择面部纹理，然后挑选与面部纹理在感知上相似度在一定范围内的身体纹理，之后再将身体纹理重新上色，使其与面部纹理完全匹配。
---
### C.5 环境
我们采用两种技术为渲染提供光照和背景：1）基于HDR图像的光照，适用于室内外环境[Debevec 2006; Wood et al. 2021]；2）基于网格的场景，主要用于室内环境。对于HDR环境，我们会从914张图像[Poly Haven 2024]中随机选取，并随机旋转这些图像、调整其亮度，以增加环境的多样性。对于基于网格的场景，我们使用了47个室内环境[Chocofur 2024; Evermotion 2024]。这些室内环境由面光源和点光源照明，以模拟室内光线效果；此外还会选用477种室外HDRI中的一种作为额外的室外环境。为了找到场景中物体的合理放置位置，我们会随机选取位置（在预定义的地面上）以及带衣物的网格模型的姿态，直到找到物体与场景之间无交集的组合为止。由于网格场景可能会产生遮挡现象，我们会随机调整摄像机位置，直至至少有75%的关节可见为止。在部分场景中，我们还会加入次要人物，用作遮挡物或干扰源。
## D 检测与跟踪
对于图像中人体的检测与跟踪，我们采用了类似Wood等人描述的滑动窗口方法[^2022]。我们训练了一个轻量级的DNN，用于检测全身共36个关键点，该网络以ResNet18 [He et al. 2016]作为骨干网络。
对于视频的第一帧或单张图像，我们采用滑动窗口方法，对每个窗口运行该DNN，并选取置信度超过阈值且最高的窗口。随后，我们通过多次运行DNN来细化这个候选感兴趣区域，从而得到围绕预测关键点的更精确的边界框。这个细化后的感兴趣区域会作为密集关键点DNN的输入。
在视频中，我们使用上一帧中密集关键点的边界框作为候选感兴趣区域，而非每帧都运行滑动窗口方法。如果新帧中预测关键点的置信度中位数过低，我们就会对该帧重新执行完整的检测流程。我们还可以选择对视频中的每一帧都进行候选感兴趣区域的迭代细化处理。为了提取给定帧中的面部和手部感兴趣区域，我们会根据该帧预测出的密集全身关键点子集来确定边界框。
## E DNN训练细节
在训练DNN时，我们使用合成数据集中的单帧图像，这些图像是围绕相关身体部位（即身体、手部和面部）裁剪而成的。为此，我们会围绕特定的一组关键点提取一个方形感兴趣区域。裁剪区域会与图像坐标轴对齐，并紧密包含这些2D关键点。手部模型采用的方形感兴趣区域尺寸为$128\times128$，身体和面部模型采用的尺寸则为$256\times256$。为了在$\mathcal{L}_{\text{joint}_T}$和$\mathcal{L}_{\text{joint}_R}$中对SOMA模型进行部分预测评估，我们使用了形状、平移以及任何缺失的姿态参数的真实值作为参考。
数据增强。在训练过程中，我们通过应用旋转、缩放和平移操作来优化ROI提取过程。这种增强模拟了推理阶段ROI未能被精确定义的场景。除了ROI增强外，我们还将外观增强引入训练流程。具体而言，我们会随机对图像进行模糊处理，以模拟由相机运动引起的运动模糊效果，该操作通过方向性模糊核实现。需要注意的是，这种模拟的运动模糊并非源于实际场景中的物体移动，而是一种后期处理效果。该操作的效果与图像尺寸成正比，且模糊方向是随机选择的。我们还会通过向指定范围内的所有通道添加恒定偏移量来调整亮度；同样，我们通过$img = (img-0.5) \times (1 + \text{contrast}) + 0.5$随机增大或减小对比度。此外，我们还会改变图像的色相和饱和度、应用JPEG压缩，并将图像从BGR格式转换为灰度格式。每种增强方式的应用都取决于给定的概率。另外，为了训练手部模型，我们通过将图像库中的遮挡物叠加到原始图像上，来引入随机遮挡效果。这些遮挡物并非场景中真实存在的物体，只是被叠加在图像之上，且会经历随机的位移、缩放和旋转。最后我们发现，将随机ISO噪声[Alvar和Bajić 2022]（灵感来源于真实相机噪声）融入输入图像，有助于身体模型的训练。这种噪声可近似为与图像强度相关的泊松噪声和与图像强度无关的高斯噪声的组合。
网络架构。我们的主干网络采用PyTorch Image Models库[Wightman 2019]中的模型构建。具体而言，人脸和身体DNN使用在ImageNet1k上预训练的hrnet-w48主干网络，手部DNN则使用在ImageNet1k上预训练的hrnet-w18主干网络。我们设定隐藏层维度为512，以便从这些主干网络中提取视觉特征。对于关键点、姿态和形状预测头，我们采用简单的前馈神经网络，该网络由两个全连接层组成，中间穿插Leaky ReLU激活函数。我们设定隐藏层维度为512，输出维度则根据各任务的输出数量分别确定。
训练超参数。身体和手部DNN的训练周期为600个epoch，人脸DNN的训练周期为300个epoch，批量大小为$(64\times4)$，训练任务分布在四张A100 GPU上执行。所有网络均使用AdamW[Loshchilov和Hutter 2017]优化器，学习率为$10^{-4}$。为提高收敛效率，学习率会通过余弦退火调度器进行调整。训练身体和手部模型时，我们将关键点损失权重($\alpha_l$)设为10.0，姿态和形状权重则根据情况设为1.0。对于身体和手部DNN，我们分别将$\alpha_t$设为2.0，将$\alpha_r$设为1.0。对于神经姿态先验，身体和手部先验的训练周期均为600个epoch，批量大小为1024。两种模型均使用AdamW优化器，身体先验的学习率为$10^{-4}$，手部先验的学习率为$10^{-5}$。与身体和手部DNN类似，学习率同样通过余弦退火调度器调整以提高收敛效率。
## F注册详情
### F.1能量项
此处提供了主论文中未完全定义的若干能量项。形状先验由两部分组成，一部分针对人脸，另一部分针对身体：
---
对于人脸和身体形状，我们均采用包含G个分量的多变量高斯混合模型(GMM)：
$$ E_{\mathrm{s h a p e}}=E_{\mathrm{f a c e\_{s} h a p e}}+E_{\mathrm{b o d y\_{s} h a p e}} $$
对于面部和身体形状而言，我们均采用由G个分量组成的多变量高斯混合模型（GMM）：
$$ E_{part\_shape}=-\log\left(p(\boldsymbol{\beta})\right) $$
其中，$p(\boldsymbol{\beta}) = \sum_{i=1}^{G} \alpha_i \mathcal{N}(\boldsymbol{\beta}|\boldsymbol{v}_i, \Sigma_i)$、$\nu_i$ 和 $\Sigma_i$ 分别是 $i^{th}$ 分量的均值和协方差矩阵，而 $\alpha_i$ 是该分量的权重。$E_{\text{exp}}$ 可防止过度使用表情混合变形。
$$ E_{\mathrm{e x p}}=\left\|\boldsymbol{\psi}\right\|+E_{\mathrm{q u a r t i c}} $$
其中
$$ E_{\mathrm{quartic}}=\left\{\begin{array}{l l}\left(t_{0}-t\right)^{4}&t<0\\ 0&0\leq t\leq1\\ \left(t-t_{1}\right)^{4}&t>1\end{array}\right. $$
$E_{temp}$ 通过促使面部网格顶点在长度为F且包含C个摄像头的序列中，于相邻帧i-1和i之间保持静止，从而减少抖动现象。
$$ E_{temp}=\sum_{i=2,j,k}^{F,C,|\mathbf{L}|}\|x_{i,j,k}-x_{i-1,j,k}\|^{2} $$
$E_{cam}$ 会对摄像头偏离初始位置的运动进行惩罚：
$$ E_{\mathrm{c a m}}=\|\mathbf{Q}-\mathbf{Q}_{\mathrm{i n i t}}\|^{2} $$
其中Q表示所有摄像头的当前位置，$Q_{init}$ 表示所有摄像头的初始位置。$E_{intst}$ 可防止眼睛和牙齿与面部网格相交，这一做法参考了Wood等人的研究 [^2022]。
$$ E_{\mathrm{i n t s c t}}=E_{\mathrm{e y e s}}+E_{\mathrm{t e e t h}} $$
$E_{\mathrm{eyes}}$ 会对眼睑顶点与球面之间的距离平方进行惩罚；$E_{\mathrm{teeth}}$ 则采用牙齿几何形状的凸包，并对该凸包内部的距离进行惩罚。
$$ E_{teeth}=\sum_{i\in I}D_{i}^{2} $$
其中，$D_{i}$ 用于衡量 $i^{th}$ 皮肤顶点在凸包内部的距离，
$$ D_{i}=\min_{h\in H}\left\{d_{i,1},\ldots,d_{i,H}\right\} $$
而 $d_{i,h}$ 测量 $i^{th}$ 皮肤顶点与凸包的 $h^{th}$ 平面之间的内部距离，该平面由位置 $p_{h}$ 和法线 $\hat{n}_{h}$ 定义。
$$ d_{i,j}=-\min\left(\hat{n}_{h}\cdot x_{i}+p_{h},0\right) $$
### F.2 姿态先验
我们的方法采用基于流模型、具有Real-NVP [Dinh et al. 2017]架构的模型作为姿态先验。我们特意选择归一化流 [Aliakbarian et al. 2022; Kolotouros et al. 2021]而非其他常用的基于变分自编码器（VAE）[Kingma and Welling 2014]的先验，主要基于两点原因：首先，VAE往往需要仔细调整KL散度损失与重建损失之间的权衡，而这种权衡会因场景不同而变化 [Pavlakos et al. 2019; Rempe et al. 2021]；其次，与依赖后验分布近似推断的VAE不同，归一化流能够执行精确的似然评估，因此用作先验时可实现更稳健的优化 [Aliakbarian et al. 2022]。与VAE相比，归一化流的这一能力已在文献中得到广泛验证 [Aliakbarian et al. 2022]，研究表明归一化流不仅能提供更准确的似然估计，在对分布内及分布外姿态样本进行评估时也能给出更稳健的估计。
## G 实验细节
面部。NoW基准测试包含100名受试者的2054张2D图像，每位受试者均有对应的真实3D头部扫描数据。验证集包含20名受试者，测试集包含80名受试者。该任务的目标是从单张图像中尽可能精确地重建受试者面部的3D形状。我们使用官方评估流程来评估输出的网格模型。
手部。FreiHAND [Zimmermann et al. 2019]测试集包含3960张分辨率为224×224像素的RGB图像，这些图像记录了多名受试者在不同姿势和环境条件下的右手图像，且配有真实的MANO参数。我们使用官方实现来计算该数据集上3D重建基准测试的标准指标：PA-MPVPE、PA-MPJPE以及误差在5毫米和10毫米时的F分数。
正文。EHF数据集[Pavlakos等人，2019年]包含100张在摄影棚环境下拍摄的单目图像，这些图像对应同一受试者的数据，且配有SMPL-X [Pavlakos等人，2019年]网格的基准真值。我们将SOMA模型与这些数据进行配准，随后进行重新拓扑处理，以便能够基于SMPL-X基准真值进行评估。这种重新拓扑过程本身会引入误差，因为两种网格之间的几何结构并不完全一致，因此我们在此报告的结果是真实质量的保守近似值。我们分别报告了全身及各身体部位的MPVPE和PA-MPVPE指标，同时独立报告了身体和手部的PA-MPJPE指标。
SSP-3D数据集[Sengupta等人，2020年]包含311张不同姿势下运动员的单视角图像，这些图像配有SMPL [Loper等人，2015年]基准真值标注。同样，我们对SOMA模型进行配准并重新拓扑以匹配基准真值，在此过程中产生的误差可忽略不计。我们报告的是PVE-T-SC指标，即经过尺度校正后的Tpose网格的顶点误差，这也是该数据集的标准评估指标。
Human3.6M数据集[Ionescu等人，2014年]包含了通过四台摄像机拍摄的多名受试者影像，这些影像配有3D骨骼关键点基准真值。我们选取第9号和第11号受试者的每第五帧图像用于评估，涵盖单视角和多视角两种情况。在多视角评估中，我们排除了第9号受试者中部分基准真值无效[Iskakov等人，2019年]的序列。单视角情况下，我们报告的是经过骨盆对齐处理的MPJPE以及PA-MPJPE指标；多视角情况下则报告未经过骨盆对齐处理的MPJPE指标。我们针对该数据集采用标准的14个关节配置进行评估，但由于SOMA模型的关节与Human3.6M的标注方案不一致，因此需要将SOMA网格映射到这14个关节上。我们采用了Tan等人的方法[^2016]，通过求解网格中仅四个顶点的最佳仿射组合，来预测在等间距抽取的5%帧子集上每个关节的位置。需要注意的是，这种映射方式的灵活性极为有限，这一过程只是将原本手动且带有偏差的操作自动化而已。
---
Fig. 16. Results including visible tongue. In many cases we achieve accurate results (left), although we do see a number of failure cases (right). For example, where the landmark DNN misses the tongue or confuses it for thicker lips, or the tongue blendshapes can't capture extreme tongue shapes.
性能表现。我们的实验要么在配备NVIDIA RTX 2080 GPU的本地机器上运行，要么在配备NVIDIA A100 GPU的虚拟机上运行。在RTX 2080机器上，针对单张图像执行手部、面部和身体DNN推理大约需要100毫秒。在A100虚拟机上，对EHF数据集（100张单视角图像，迭代200次）进行模型拟合需要10分钟。模型拟合是针对整个序列联合进行的，大量时间被用于数据在GPU上的拷贝操作，因此执行时间并不会随帧数的增加而线性增长。例如，在A100虚拟机上拟合Human3.6M数据集中的3000帧序列（迭代200次）需要30分钟。
## H 补充结果
图16展示了包含可见舌部的一些面部重建结果。多数情况下重建质量较高，但我们也注意到一些失败案例：一是混合形状的表达能力有限，二是地标DNN无法准确回归舌部上的地标点。常见的失败情况包括将舌部误判为较厚的嘴唇，以及完全无法识别舌部的可见性。添加舌部混合形状也表明，我们可以根据特定拍摄场景中发现的重建质量缺口，或者根据具有独特面部动作的特定演员的录入序列，轻松添加更多混合形状。
Human3.6M数据集[Ionescu等人，2014年]上单视图情况下的实验结果如表7所示。尽管我们的方法是唯一一个未在Human3.6M训练集上训练的方法，但其性能仍与其他方法相当。正如主论文中所强调的，主论文及图17中展示的定性结果表明，我们的方法能够重建出质量显著更高的人体网格。不过，这一优势并未体现在基于稀疏真实标注计算出的MPJPE指标上。
图17展示了在EHF[Pavlakos等人，2019年]和Human3.6M[Ionescu等人，2014年]数据集上进行全身重建的进一步定性对比结果。我们的方法在处理复杂的手部交错姿态时会出现失误。我们推测，如果拥有更高质量的姿态数据（如Moon等人[^2020]）以及由此生成的更优质的合成数据（如Moon等人[^2023]），或许就能提升在这类情况下的鲁棒性。不过也有可能的是，模型拟合方法本身需要加以改进，才能妥善应对这类场景，例如考虑交点或接触点的情况[Taheri等人，2022年、2020年]。
Table 7. Single-view body pose errors on the Human3.6M validation set [lonescu et al. 2014]. MPJPE is pelvis aligned, PA-MPJPE is aligned with Procrustes-analysis. Note that ours is the only method not trained on the Human3.6M training set. Qualitative results are shown in the main paper and Figure 17.
| Single-view Method | MPJPE | PA-MPJPE |
| SPIN [Kolotouros et al. 2019] | 62.5 | 41.1 |
| I2L-MeshNet [Moon and Lee 2020] | 55.7 | 41.1 |
| HybrIK [Li et al. 2021] | 54.4 | 34.5 |
| Graphormer [Lin et al. 2021b] | 51.2 | 34.5 |
| PyMAF-X (Res50) [Zhang et al. 2023b] | 58.8 | 40.2 |
| PyMAF-X (HR48) [Zhang et al. 2023b] | 54.2 | 37.2 |
| HMR2 [Goel et al. 2023] | 45.3 | 33.4 |
| HybrIK-X [Li et al. 2023] | 47.0 | 29.8 |
| Ours | 56.2 | 40.1 |
图18展示了我们的方法在NoW基准测试[Sanyal等人，2019年]上进行面部重建的定性结果。图19则展示了我们的方法在FreiHAND数据集[Zimmermann等人，2019年]上进行手部重建的定性结果，其中也包含了一些失败案例。
## 消融实验
在本节中，我们将展示并讨论一系列消融实验，以验证我们方法中的不同组件。
### 1.1 初始化与优化
我们的方法利用DNN直接回归来初始化优化过程，而以往许多研究要么用DNN回归姿态和/或形状，要么在不进行动态初始化的情况下通过优化来重建人体。
在表8、表9和表10中，我们将未使用DNN初始化的结果与完整方法进行了对比。不使用DNN初始化时，我们以T形姿势和模板形状作为初始值。在单视图情况下（表8、表9），在迭代次数相同的前提下，我们发现结果明显更差，这证明初始化对于帮助优化器找到合适的最小值至关重要。没有初始化时，结果稳定性极差，严重影响了方法的鲁棒性。在多视图情况下（表10），初始化的影响似乎较小，这可能是因为用于优化的数据量更大，因此优化器面临的歧义性更低。
在表8和表9中，我们将仅使用DNN的方法（即不进行优化的方法）与完整方法进行了性能对比。优化的影响通常较小，因为DNN能够直接产生相当精确的结果。这些模型对各类姿态和图像条件具有鲁棒性，似乎已经学习到了关于人体姿态和形状的强大先验知识。优化的作用在于提升结果在图像空间对齐、精细姿态与形状细节以及时间稳定性方面的精确度。这对结果的感知质量有极大影响，尽管这一点在所用指标中并未明显体现，详见图20。
---
Fig. 17. Further qualitative comparisons for full-body reconstruction on the EHF [Pavlakos et al. 2019] and Human3.6M [Ionescu et al. 2014] datasets. Failure cases are shown in the bottom two rows; our method can perform poorly for interlocking hand poses, and in cases where the hand network fails, here due to a bad ROI. EHF © MPI, Human3.6M © IMAR
---
Table 8. Ablations on the EHF dataset [Pavlakos et al. 2019]. MPVPE is pelvis aligned.
| Method | MPVPE | PA-MPVPE | PA-MPJPE |
| Full-body | Hands | Face | Full-body | Body | Hands | Face | Body | Hands |
| No DNN init. | 105.5 | 60.5 | 20.1 | 100.1 | 63.4 | 16.6 | 5.2 | 95.0 | 16.5 |
| No optimization | 61.7 | 56.0 | 17.9 | 49.3 | 42.6 | 10.4 | 5.9 | 52.5 | 10.2 |
| No prob. landmarks | 67.4 | 25.6 | 18.2 | 37.0 | 34.9 | 11.8 | 5.2 | 40.7 | 11.7 |
| Full | 51.0 | 21.6 | 18.4 | 34.2 | 33.0 | 9.8 | 4.9 | 38.0 | 9.7 |
Fig. 18. Qualitative results for single-view face reconstruction on images from the NoW benchmark [Sanyal et al. 2019]. NoW © MPI.
### 1.2 手部与面部DNN
我们的方法采用专门的DNN来优化面部和手部的预测结果。图20展示了不进行这种优化、仅单独使用人体DNN时的结果，此时面部和手部的性能会显著下降。
Fig. 19. Qualitative results for hand reconstruction on images from the FreiHAND dataset [Zimmermann et al. 2019]. Our method fails for some cases of significant occlusion and challenging poses (bottom row). FreiHAND © LMB, University of Freiburg
### 1.3 概率性地标
我们在方法中采用了密集的概率性特征点，以便根据深度神经网络预测的置信度给优化器提供更多灵活性。在表8、表9和表10中，我们展示了忽略这些置信度预测、在优化过程中将所有特征点视为具有相同确定性的情况所产生的影响。在所有情况下，这都会对结果产生负面影响，因为优化器会被较差的特征点预测所“干扰”。
---
No Hand/Face DNNs
No Optimization
Fig. 20. Comparison of our method without hand or face DNNs, without optimization and with the full method on the EHF dataset [Pavlakos et al. 2019]. Without hand and face DNNs the quality of these areas is drastically reduced, without optimization image alignment is significantly poorer, and the face shape and expression is not captured at all as we do not initialize this using a DNN. EHF © MPI.
Table 9. Single-view ablations on the Human3.6M validation set [lonescu et al. 2014]. MPJPE is pelvis aligned.
| Single-view Method | MPJPE | PA-MPJPE |
| No DNN init. | 92.8 | 78.6 |
| No optimization | 66.6 | 47.1 |
| No prob. landmarks | 59.6 | 41.4 |
| No pose prior | 56.5 | 40.6 |
| No identity prior | 56.8 | 41.0 |
| No temporal prior | 57.2 | 41.0 |
| Full | 56.2 | 40.1 |
Table 10. Multi-view ablations on the Human3.6M validation set [lonescu et al. 2014] excluding sequences with incorrect ground-truth annotations following Iskakov et al. [^2019]. MPJPE is not pelvis aligned.
| Multi-view Method | MPJPE |
| No DNN init. | 28.7 |
| No prob. landmarks | 32.9 |
| No pose prior | 27.9 |
| No identity prior | 28.1 |
| No temporal prior | 27.8 |
| Full | 27.9 |
优化器无法针对那些预测精度较高的特征点进行精细调整。在多视角情况下（表10），概率性特征点的优势似乎更为明显，它们能让优化器选用最佳的可视角度；而在单视角情况下（表9），这种优势则没那么显著。
Fig. 21. Predicted dense landmarks for a multi-view, full-body scenario (left) and monocular hand scenario (right), landmarks are colored from least confident (red) to most confident (green). Occluded parts are less confident than visible parts meaning during model-fitting landmarks from views without occlusion (multi-view) or priors can be more heavily relied upon. FreiHAND © LMB, University of Freiburg.
图21展示了概率性特征点在处理因人体姿态变化导致的自遮挡问题时的优势。被遮挡的部位可以借助其他视角的观测结果或先验信息获得更强的约束，从而在这些情况下得到更合理的结果。
---
Fig. 22. Variation in error for the Human3.6M benchmark [lonescu et al. 2014] with different numbers of cameras used as input. The more cameras the better the results, though with diminishing gains. MPJPE is not pelvis-aligned.
### l.4 先验信息
表9和表10展示了姿态、形状和时间先验信息对单视角及多视角场景下配准质量的影响。在单视角情况下，所有这些先验信息都能对结果产生轻微的正面作用。但在多视角情况下，其影响微乎其微；就时间先验而言，它甚至还会使MPJPE数值略微升高。这并不意外：在多视角情况下，密集特征点提供的数据足以几乎完全确定最终结果，因此我们很少需要依赖先验信息。而在单视角情况下，常常存在自遮挡或深度歧义问题，此时我们会更多地依赖姿态先验；或是存在尺度歧义问题，此时我们会更多依赖形状先验。时间先验能够提升动作平滑度，这对动作捕捉的视觉效果而言至关重要，但MPJPE指标却完全无法体现这一点。
### 1.5 视角数量
我们使用Human3.6M基准测试集[Ionescu等人，2014]来评估视角数量对我们方法的影响。由于我们的方法可接受任意输入视角，因此我们使用数据集中现有的四个视角子集来运行重建流程。如图22所示，每新增一个摄像头，结果都会有所改善，不过随着摄像头数量的增加，这种益处会逐渐减弱。在单视角情况下存在显著的尺度/平移歧义，因此这种情况下世界坐标系下（非骨盆对齐）的MPJPE数值较高也就不足为奇了。新增第二个视角能为尺度提供强有力约束，从而大幅改善结果。此后，每个摄像头都能帮助减轻自遮挡的影响并进一步优化结果，但效果要有限得多。当摄像头数量超过四个时，预期效果会进一步减弱，因为添加到目标函数中的大多是冗余信息。
## 参考文献
Sadegh Aliakbarian, Pashmina Cameron, Federica Bogo, Andrew Fitzgibbon和Thomas J. Cashman。2022年。Flag：基于流的三维虚拟形象生成方法，仅需稀疏观测数据。载于CVPR会议论文集，第13253–13262页。
Brett Allen、Brian Curless和Zoran Popović。2003年。人体形状空间：基于深度扫描的重建与参数化。ACM TOG 22卷第3期（2003年），第587–594页。
Saeed Ranjbar Alvar和Ivan V Bajić。2022年。RGB图像的实际噪声模拟。arXiv预印本arXiv:2201.12773（2022年）。
Dragomir Anguelov、Praveen Srinivasan、Daphne Koller、Sebastian Thrun、Jim Rodgers和James Davis。2005年。SCAPE：人体形状补全与动画生成。ACM TOG 24卷（2005年），第408–416页。
白子谦、崔兆鹏、刘晓明和谭平。2021年。通过网络内优化实现Riggingle 3D人脸重建。载于CVPR。
Fabien Baradel*、Matthieu Armando、Salma Galaaoui、Romain Brégier、Philippe Weinzaepfel、Grégory Rogez和Thomas Lucas*。2024年。Multi-HMR：单次拍摄下的多人全身人体网格恢复。载于ECCV。
Michael J Black、Priyanka Patel、Joachim Tesch和杨金龙。2023年。BEDLAM：一个展示逼真动画运动的人体合成数据集。载于CVPR，第8726–8737页。
Blender基金会。2021年。Cycles渲染器。
蔡忠刚、尹婉琪、曾爱玲、韦晨、孙庆平、王燕君、彭慧恩、梅海怡、张明远、张磊等。2024年。Smpler-x：大规模扩展的表情丰富型人体姿态与形状估计。NeurIPS 36（2024）。
Chocofur。2024年。Chocofur室内场景。。
Rohan Choudhury、Kris M Kitani和László A Jeni。2023年。TEMPO：高效的多视角姿态估计、跟踪与预测。载于ICCV，第14750–14760页。
Vasileios Choutas、Federica Bogo、Jingjing Shen和Julien Valentin。2022a。学习拟合可变形模型。载于ECCV，第160–179页。
Vasileios Choutas、Lea Müller、Chun-Hao P. Huang、Siyu Tang、Dimitrios Tzionas和Michael J. Black。2022b。利用度量与语义属性进行精确的三维人体形状回归。载于CVPR，第2718–2728页。
CLO Virtual Fashion公司。2024年。MarvelousDesigner。。Paul Debevec。2006年。基于图像的照明技术。载于ACM SIGGRAPH 2006课程，第4-es页。
邓佳、董伟、Socher Richard、李丽佳、李凯和李飞飞。2009年。ImageNet：一个大规模分层图像数据库。载于CVPR，第248–255页。
Laurent Dinh、Jascha Sohl-Dickstein和Samy Bengio。2017年。使用Real NVP进行密度估计。载于ICLR。
Evermotion。2024年。Evermotion。。
Faceware Technologies。2024年。Faceware。。
冯瑶、Vasileios Choutas、Timo Bolkart、Dimitrios Tzionas和Michael J Black。2021年。利用调节机制协同回归表情丰富型人体模型。载于3DV。
Martin A Fischler和Robert C Bolles。1981年。随机样本一致性：一种模型拟合范式及其在图像分析与自动制图中的应用。《ACM通讯》第24卷第6期（1981年），第381–395页。
Shubham Goel、Georgios Pavlakos、Jathushan Rajasegaran、Angjoo Kanazawa和Jitendra Malik。2023年。Humans in 4D：利用Transformer重建并跟踪人体。载于CVPR，第14783–14794页。
何恺明、张翔宇、任少卿和孙剑。2016年。用于图像识别的深度残差学习。载于CVPR，第770–778页。
Catalin Ionescu、Dragos Papava、Vlad Olaru和Cristian Sminchisescu。2014年。Human3.6M：自然环境下三维人体感知的大规模数据集与预测方法。《IEEE模式分析与机器智能汇刊》第36卷第7期（2014年），第1325–1339页。
Karim Iskakov、Egor Burkov、Victor Lempitsky和Yury Malkov。2019年。可学习的人体姿态三角剖分。载于ICCV。
Joo Hanbyul、Simon Tomas和Sheikh Yaser。2018年。Total Capture：一种用于跟踪面部、手部及人体的三维变形模型。载于CVPR，第8320–8329页。
Angjoo Kanazawa、Michael J. Black、David W. Jacobs和Jitendra Malik。2018年。端到端人体形状与姿态恢复。载于CVPR，第7122–7131页。
Sameh Khamis、Jonathan Taylor、Jamie Shotton、Cem Keskin、Shahram Izadi和Andrew Fitzgibbon。2015年。从深度图像中学习高效的手部形状变化模型。载于CVPR会议论文集，第2540–2548页。
Diederik P Kingma和Max Welling。2014年。自动编码变分贝叶斯。载于ICLR会议论文集。
Nikos Kolotouros、Georgios Pavlakos、Michael J. Black和Kostas Daniilidis。2019年。通过在循环中拟合模型来学习重建3D人体姿态和形状。载于ICCV会议论文集，第2252–2261页。
Nikos Kolotouros、Georgios Pavlakos、Dinesh Jayaraman和Kostas Daniilidis。2021年。用于人体网格恢复的概率建模。载于ICCV会议论文集，第11605–11614页。
Jiefeng Li、Siyuan Bian、Chao Xu、Zhicun Chen、Lixin Yang和Cewu Lu。2023年。HybrIKX：用于全身网格恢复的混合解析-神经逆运动学方法。arXiv预印本arXiv:2304.05690（2023年）。
Jiefeng Li、Chao Xu、Zhicun Chen、Siyuan Bian、Lixin Yang和Cewu Lu。2021年。HybrIK：用于3D人体姿态和形状估计的混合解析-神经逆运动学解决方案。载于CVPR会议论文集，第3383–3393页。
Tianye Li、Timo Bolkart、Michael J Black、Hao Li和Javier Romero。2017年。从4D扫描中学习面部形状和表情模型。ACM TOG 36卷第6期（2017年），第194–1页。
Jing Lin、Ailing Zeng、Haoqian Wang、Lei Zhang和Yu Li。2023年。基于组件感知Transformer的单阶段3D全身网格恢复方法。载于CVPR会议论文集，第21159–21168页。
Kevin Lin、Lijuan Wang和Zicheng Liu。2021a。基于Transformer的端到端人体姿态和网格重建方法。载于CVPR会议论文集，第1954–1963页。
Kevin Lin、Lijuan Wang和Zicheng Liu。2021b。Mesh Graphormer。载于ICCV会议论文集。
Selena Zihan Ling、Nicholas Sharp和Alec Jacobson。2022年。用于旋转等变几何优化的VectorAdam。NeurIPS 35（2022年），第4111–4122页。
Dong C Liu和Jorge Nocedal。1989年。关于大规模优化中的有限内存BFGS方法。Mathematical programming 45卷第1-3期（1989年），第503–528页。
---
Matthew Loper、Naureen Mahmood和Michael J Black。2014年。MoSh：从稀疏标记点捕捉运动和形状。ACM TOG 33卷第6期（2014年），第1–13页。
Matthew Loper、Naureen Mahmood、Javier Romero、Gerard Pons-Moll和Michael J Black。2015年。SMPL：一种带皮肤的多人线性模型。ACM TOG 34卷第6期（2015年）。
Ilya Loshchilov和Frank Hutter。2017年。解耦权重衰减正则化方法。arXiv预印本arXiv:1711.05101（2017年）。
Qianli Ma、Jinlong Yang、Anurag Ranjan、Sergi Pujades、Gerard Pons-Moll、Siyu Tang和Michael J Black。2020年。学习为3D人物生成服装。载于CVPR会议论文集，第6469–6478页。
Naureen Mahmood、Nima Ghorbani、Nikolaus F Troje、Gerard Pons-Moll和Michael J Black。2019年。AMASS：作为表面形状的动作捕捉档案库。载于ICCV会议论文集。
Manus-Meta。2024年。Manus。。
Gyeongsik Moon、Hongsuk Choi和Kyoung Mu Lee。2022年。用于全身3D人体网格估计的精确3D手部姿态估计方法。载于CVPR会议论文集，第2308–2317页。
Gyeongsik Moon和Kyoung Mu Lee。2020年。I2L-MeshNet：用于从单张RGB图像中精确估计3D人体姿态和网格的图像到像素预测网络。载于ECCV会议论文集，第752–768页。
文英硕、斋藤俊辅、徐伟鹏、罗翰·乔希、朱莉娅·布法罗、哈雷·贝兰、尼古拉斯·罗森、杰西·理查森、迈兹·马洛里、菲利普·布里、托马斯·西蒙、彭波、舒巴姆·加尔格、凯文·麦克菲尔以及白鸟贵明。2023年。重光照3D交互手部数据集。收录于NeurIPS数据集与基准测试专题。
文英硕、余守一、何文、白鸟贵明以及李炅模。2020年。InterHand2.6M：基于单张RGB图像的三维交互手部姿态估计数据集与基线模型。收录于ECCV会议论文集。
Move AI公司。2024年。Move AI。。
Movella公司。2024年。XSens。。
Natural Point公司。2024年。OptiTrack。。
巴蒂斯特·尼科莱、亚历克·雅各布森以及温泽尔·雅各布。2021年。几何逆向渲染的重大进展。SIGGRAPH Asia 40会议论文集，第6页（2021年12月）。
乔治奥斯·帕夫拉科斯、瓦西里斯·乔塔斯、尼玛·戈尔班尼、蒂莫·博尔卡特、艾哈迈德·AA·奥斯曼、迪米特里奥斯·齐奥纳斯以及迈克尔·J·布莱克。2019年。富有表现力的人体捕捉：从单张图像中恢复3D手部、面部及身体姿态。收录于CVPR会议论文集，第10975–10985页。
乔治奥斯·帕夫拉科斯、周晓伟、康斯坦丁诺斯·G·德尔帕尼斯以及科斯塔斯·达尼伊利迪斯。2017年。利用多视角数据实现无标记3D人体姿态标注。收录于CVPR会议论文集，第6988–6997页。
Poly Haven网站。2024年。Poly Haven。。
阿希什·拉伊、希雷斯·古普塔、阿尤什·潘迪、弗朗西斯科·维森特·卡拉斯科、信吾·杰森·高桥、阿莫里·奥贝尔、金大烈、阿尤什·普拉卡什以及费尔南多·德拉托雷。2024年。迈向逼真的生成式3D人脸模型。收录于WACV会议论文集，第3738–3748页。
戴维斯·雷姆佩、托尔加·比尔达尔、亚伦·赫茨曼、杨继梅、斯里纳特·斯里达尔以及莱昂尼达斯·J·吉巴斯。2021年。HuMoR：用于鲁棒姿态估计的3D人体运动模型。收录于ICCV会议论文集。
Renderpeople网站。2024年。Renderpeople。。
达尼洛·雷森德以及沙基尔·穆罕默德。2015年。基于归一化流的变分推断。收录于ICML会议论文集，第1530–1538页。
哈维尔·罗梅罗、迪米特里奥斯·齐奥纳斯以及迈克尔·J·布莱克。2017年。具身手部：手部与身体的联合建模与捕捉。ACM TOG期刊，第36卷第6期（2017年），第1–17页。
容宇、白鸟贵明以及朱汉彪。2021年。FrankMocap：一种通过回归与整合实现单目3D全身姿态估计的系统。收录于ICCVW会议论文集。
Russian3DScanner公司。2021年。Wrap3。。
苏比克·萨尼亚尔、蒂莫·博尔卡特、冯海文以及迈克尔·J·布莱克。2019年。无需3D监督即可从图像中学习回归3D人脸形状与表情。收录于CVPR会议论文集，第7763–7772页。
阿卡什·森古普塔、伊格纳斯·布德维蒂斯以及罗伯托·奇波拉。2020年。为野外环境下的精准3D人体姿态与形状估计提供合成训练数据。收录于BMVC会议论文集。
阿卡什·森古普塔、伊格纳斯·布德维蒂斯以及罗伯托·奇波拉。2021b。基于野外多张无约束图像的概率性3D人体形状与姿态估计。收录于CVPR会议论文集，第16094–16104页。
申昭永、金柱永、埃尼·哈利拉杰以及迈克尔·J·布莱克。2024年。Wham：重建具有精准3D运动的地面固定人体模型。收录于CVPR会议论文集，第2070–2080页。
StretchSense公司。2024年。StretchSense。。
孙科、肖斌、刘东以及王京东。2019年。用于人体姿态估计的深度高分辨率表征学习。收录于CVPR 2019会议论文集。
Stanislaw Szymanowicz、Virginia Estellers、Tadas Baltrušaitis和Matthew Johnson。2022年。野外环境中的照片级真实感$360^{\circ}$头部虚拟形象。发表于ECCV。第660–667页。
Omid Taheri、Vasileios Choutas、Michael J. Black和Dimitrios Tzionas。2022年。GOAL：生成用于手-物体抓握的4D全身运动。发表于CVPR。第13263–13273页。
Omid Taheri、Nima Ghorbani、Michael J Black和Dimitrios Tzionas。2020年。GRAB：一个关于人体抓取物体的全身数据集。发表于ECCV。第581–600页。
David Joseph Tan、Thomas Cashman、Jonathan Taylor、Andrew Fitzgibbon、Daniel Tarlow、Sameh Khamis、Shahram Izadi和Jamie Shotton。2016年。贴合如手套：快速且可靠的手部形状个性化定制。发表于CVPR。第5610–5619页。
Ten24 Media。2024年。3D场景商店。。
Vicon Motion Systems。2024年。Vicon。。
Ross Wightman。2019年。PyTorch图像模型。。
Erroll Wood、Tadas Baltrušaitis、Charlie Hewitt、Sebastian Dziadzio、Thomas J Cashman和Jamie Shotton。2021年。虚构至真实：仅利用合成数据进行的野外面部分析。发表于ICCV。第3681–3691页。
Erroll Wood、Tadas Baltrušaitis、Charlie Hewitt、Matthew Johnson、Jingjing Shen、Nikola Milosavljević、Daniel Wilde、Stephan Garbin、Toby Sharp、Ivan Stojiljković等。2022年。基于密集特征点的3D面部重建。发表于ECCV。第160–177页。
Yipin Yang、Yao Yu、Yu Zhou、Sidan Du、James Davis和Ruigang Yang。2014年。人体模型的语义参数化重塑。发表于3DV，第2卷。第41–48页。
Zhitao Yang、Zhongang Cai、Haiyi Mei、Shuai Liu、Zhaoxi Chen、Weiye Xiao、Yukun Wei、Zhongfei Qing、Chen Wei、Bo Dai等。2023年。Synbody：用于3D人体感知与建模的分层人体模型合成数据集。发表于ICCV。
Hongwen Zhang、Yating Tian、Yuxiang Zhang、Mengcheng Li、Liang An、Zhenan Sun和Yebin Liu。2023b。Pymaf-x：从单目图像中实现对齐良好的全身模型回归。发表于PAMI（2023年）。
Tianke Zhang、Xiangeng Chu、Yunfei Liu、Lijian Lin、Zhendong Yang、Zhengzhuo Xu、Chengkun Cao、Fei Yu、Changyin Zhou、Chun Yuan等。2023a。基于面部组件标记的精确3D面部重建。发表于ICCV。第9033–9042页。
Yan Zhang、Michael J Black和Siyu Tang。2021年。我们不止由关节构成：预测3D人体的运动方式。发表于CVPR。第3372–3382页。
Yi Zhou、Connelly Barnes、Jingwan Lu、Jimei Yang和Hao Li。2019年。关于神经网络中旋转表示的连续性研究。发表于CVPR。第5745–5753页。
Wojciech Zielonka、Timo Bolkart和Justus Thies。2022年。迈向人脸的度量级重建。发表于ECCV。第250–269页。
Christian Zimmermann、Duygu Ceylan、Jimei Yang、Bryan Russell、Max Argus和Thomas Brox。2019年。FreiHAND：一个用于从单张RGB图像中无标记捕捉手部姿态和形状的数据集。发表于ICCV。第813–822页。