# MoSh：基于稀疏标记的运动与形状捕捉 Matthew Loper $^{*}$ Naureen Mahmood $^{\dagger}$ Michael J. Black $^{\ddagger}$ 马克斯·普朗克智能系统研究所，德国图宾根 ![Image](images/7c94c85a5c0fce126829c5dc416311cfa45915019e634d232eba122a8a96d96c.jpg) 图1：基于动作捕捉的形状还原。MoSh利用标准的动作捕捉标记集来计算人体形状和姿态。紫色的人体是由67个动作捕捉标记估算得出的，而绿色的是用高分辨率3D人体扫描仪获取的扫描数据。双色人体对比展示了从稀疏标记估算出的形状与扫描结果的差异。MoSh仅需稀疏的动作捕捉标记数据就能生成动画（紫色姿态人体），其真实感是传统的基于骨骼的动作捕捉方法难以企及的。 ## 摘要 基于标记的动作捕捉技术常被诟病为生成的动画缺乏生命力。我们认为，人体表面运动的重要信息其实存在于标准标记集中，但在提取骨骼的过程中被丢失了。我们提出了一种名为MoSh（运动与形状捕捉）的新方法，它能从动作捕捉数据中自动提取这些细节。MoSh利用人体的参数化模型，通过稀疏标记数据同时估算人体形状和姿态。与以往的研究不同，MoSh会先求解标记相对于人体的位置，再直接从标记中估算出精确的人体形状，无需借助3D扫描数据；这实际上将动作捕捉系统转化成了近似的3D人体扫描仪。MoSh允许人体形状随时间变化，因此能够直接从标记中捕捉软组织运动。我们评估了不同标记集对姿态和形状精度的影响，并提出了一种用于捕捉软组织运动的新稀疏标记集。我们通过利用历史动作捕捉数据恢复人体形状、姿态和软组织运动，以此生成细腻且逼真的动画来展示MoSh的效果。我们还演示了如何将软组织运动重定向到新角色上，以及如何放大软组织的3D形变以创造出极具视觉冲击力的夸张动画。 *电子邮箱： †电子邮箱： ‡电子邮箱： CR分类：I.3.7 [计算机图形学]：三维图形与真实感——动画 关键词：人体动画、动作捕捉、形状捕捉、软组织运动 相关链接：DL PDF WEB ## 1 引言 虽然基于标记的动作捕捉技术被广泛用于电影和游戏中的人体角色动画制作，但它也常被批评为生成的动作呆板且不自然。我们认为，这是由于通过作为人体运动代理的骨骼进行“间接控制”所导致的。在标准的动作捕捉中，人体表面的可见3D标记被用来推断无法直接观测到的骨骼。随后利用该骨骼来驱动3D模型，最终渲染出的就是可见的人体表面。尽管常规协议会将标记放置在人体运动相对刚性的部位，但软组织运动始终会影响表面标记的运动。由于表面标记的非刚性运动被视为噪声，因此在从非刚性人体表面过渡到刚性、关节化的骨骼表示的过程中，关于人体运动的细微信息便丢失了。我们认为这些非刚性标记运动并非噪声，而是对应着对逼真动画至关重要的细微表面运动。 我们提出了一种名为MoSh（用于运动与形状捕捉）的新方法，该方法用三维参数化人体模型取代了骨骼模型。给定一组标准标记点，MoSh能够同时估算这些标记点在代理三维人体模型上的位置、估计人体形状，并恢复关节化的身体姿态。通过允许人体形状随时间变化，MoSh能够捕捉软组织的非刚性运动。以往针对此类运动的动作捕捉研究依赖于大量的标记点集[Park和Hodgins 2006；Park和Hodgins 2008]。相比之下，我们发现即便在少量标记点的情况下也存在显著的软组织运动，而捕捉到这种运动能够生成更加细腻且逼真的动画效果。 --- MoSh还能从少量标记点中恢复出在定性和定量上都相当精确的人体形状；图1展示了利用67个标记点恢复出的人体形状与姿态，并将恢复出的人体形状与三维扫描结果进行了对比。虽然细节有所缺失，但MoSh能让使用传统动作捕捉系统的用户仅凭借标记点就能获得合理的三维人体形状。 MoSh的基础版本包含五个核心组件。1）MoSh采用一种能真实呈现各种自然人体形状、姿态以及姿态相关变形的三维参数化人体模型。为此我们使用了基于SCAPE模型[Anguelov等，2005]的已学习统计人体模型。2）不同受试者以及不同拍摄时段中，标记点在人体上的位置存在差异，因此我们不假设能预先获知精确的标记点位置。MoSh的一项重要创新在于它能求解出相对于三维人体模型的观测到的标记点位置。3）MoSh还能同时求解出最能解释所观测到的三维动作捕捉标记数据的人体三维形状。4）上述第2步和第3步要求我们同时求解出三维人体姿态。第2至4步的内容都整合到一个目标函数中，我们会针对动作捕捉序列的子集对该函数进行优化。5）在第二阶段，MoSh会利用计算出的人体形状和标记点在人体上的位置，来估算整个动作捕捉过程中的人体姿态。 这种基础方法虽能生成令人满意的动画，但假设整个拍摄时段内人体形状保持不变，这一设定并未考虑到软组织的动态特性；例如跳跃时脂肪的晃动。目前尚无实用的技术能够轻松捕捉这类软组织运动。以往的方法虽使用了大量标记点集[Park和Hodgins 2006]，但应用起来耗时久、标注难度大且容易出现遮挡问题，这些方法也无法应用于存档数据。基于视频的表面捕捉方法有望实现更高的真实感[de Aguiar等，2008；Stark和Hilton 2007]，但这类技术尚未成熟，也未得到广泛应用。为了捕捉软组织变形，我们允许人体形状随时间变化，以更好地匹配标记点的运动。我们的解决方案采用了低维度的形状模型来确保实用性，同时对偏离未考虑软组织变形时所估算的固定人体形状的情况予以惩罚。我们假定这类变形可以在静态人体形状变化的空间内被近似描述；也就是说，我们通过改变个体的“身份”来有效模拟其软组织变形。只要人体形状变化的空间足够丰富，这种方法的效果就会出奇地好。 虽然我们可以利用标准标记点和历史动作捕捉序列来估算人体形状和姿态，但我们进一步设计了标记点数量更多或更少的额外标记集。通过采用一个主要的目标函数，并以3D人体网格作为训练集，我们评估了不同标记集对人体形状和姿态捕捉精度的影响。尽管常用于动作捕捉的标准47个标记集（例如CMU数据集中的标记集）在恢复形状和姿态方面表现惊人地出色，但我们发现，增加20个标记点的扩展标记集能够捕捉到更多的软组织运动。 我们用近800组动作捕捉序列来验证该方法。由于无需使用人体扫描仪或其他硬件，MoSh可应用于历史动作捕捉数据。为证明这一点，我们利用47个标记点重建了CMU动作捕捉数据集中39名受试者的性别、形状和运动。生成的动画细腻且逼真，其人体形状在视觉上与参考视频相匹配。在定量评估中，我们对20名体型各异的受试者进行扫描，并使用不同数量的标记点运行MoSh。 MoSh可直接用于动画制作，也可作为动画师的参考。在随附的视频中，我们展示了如何改变人体形状，从而将动作捕捉序列重新定位到新的人体上（参见[Anguelov等人，2005]）。这种转换适用于任何与我们的人体模型拓扑结构相同的角色。我们将几个卡通角色与我们的网格对齐，然后直接为它们制作动画，无需经历开发绑定模型或重新定位骨骼运动的繁琐过程。这些动画包含了软组织运动的传递，我们还展示了如何放大这些运动，以生成具有夸张软组织动态的有趣动画。 总之，MoSh的主要贡献在于它提供了一种完全自动化的方法，能够从稀疏的标记点集中“挖掘”出逼真的人体形状、姿态和软组织运动。这使得MoSh适合处理历史动作捕捉数据。通过使用相同（或稍作扩充的）标记集，MoSh补充了现有的基于标记的动作捕捉技术：动画师可以从标记点、MoSh网格或两者中提取标准的骨骼模型。 ## 2 相关工作 关于从标记点集估算骨骼代理的研究文献丰富，也有相应的商业解决方案。由于MoSh不使用骨骼，我们在此不回顾这些方法。相反，我们重点关注文献中与我们的工作更直接相关的一些关键主题：将模型拟合到稀疏标记点、密集标记集以及表面捕捉。 从标记点到模型。要从稀疏标记点获取人体形状，需要一个人体形状模型来约束问题。此前已有几种相关方法。Allen等人[^2003]从3D训练扫描数据中学习固定姿态下的人体形状变异模型。Anguelov等人[^2005]则更进一步，学习了一个能同时捕捉人体形状和非刚性姿态变形的模型。 Allen等人证明，利用一组稀疏的74个标志点就能大致还原未知的3D人体形状。但他们仅针对固定姿态进行此项操作，因为其模型无法表示姿态变化。重要的是，这些标志点是完美且已知的；也就是说，他们已经掌握了想要还原的网格上的3D坐标，无需估算其在网格上的位置。与MoSh不同，这种方法并未解决仅从动作捕捉标记点估算人体形状和姿态的问题。 Anguelov等人[^2005]展示了如何利用运动捕捉标记来驱动SCAPE模型动画。他们的方法需要对受试者进行包含身体标记的3D扫描。该扫描有两个用途：首先用于估算人体的3D形状模型，且该形状会被固定下来；其次，扫描得到的标记被用来建立扫描数据与运动捕捉标记之间的对应关系。这些限制意味着该方法无法应用于存档的运动捕捉数据，且用户需要同时拥有3D人体扫描仪和运动捕捉系统。 需要注意的是，Anguelov等人并未解决MoSh所针对的问题。他们将SCAPE模型拟合到3D人体扫描结果上（他们称之为形状补全），并在已知标记位置的前提下，利用运动捕捉标记来驱动模型动画。我们的研究则超越了他们的工作：仅凭借稀疏的运动捕捉标记，无需任何扫描数据，也无需知晓标记在身上的精确位置，就能估算出人体形状。我们通过单一的目标函数和优化方法，同时求解标记位置、人体形状以及姿态。与[Anguelov等人，2005]的研究不同，MoSh完全自动化，且适用于存档数据。 我们还超越了以往的研究，定义了新的标记集，并评估了它们对重建精度的影响。这为从业者选择合适的标记集提供了参考。 --- 软组织的动力学特性。与上述研究不同，它们并未涉及软组织运动的捕捉。有趣的是，运动捕捉领域（尤其是生物力学方向）对软组织运动的关注，实际上主要集中在如何最小化软组织动力学带来的影响[Leardini等人，2005]。软组织运动会导致标记相对于骨骼移动，从而降低所估算骨骼模型的精度。但对于动画制作而言，我们认为这类软组织运动对于让角色显得栩栩如生至关重要。 密集标记集。为了捕捉软组织运动，以往的研究采用了大型、密集的标记集。Park和Hodgins[^2006]使用350个标记来还原皮肤形变；在此过程中，他们会将特定于受试者的模型贴合到标记上，并估算缺失的标记位置。在后续研究[Park和Hodgins，2008]中，他们使用包含400–450个标记的大型标记集，针对$\approx$ 10,000帧的动作数据来创建特定于受试者的模型；该模型随后可用于在后续实验中，为同一受试者利用稀疏标记集还原姿态。在这些研究中，作者会在类似运动捕捉演员的角色上可视化软组织形变效果。而我们则将软组织形变转移到风格化更强的角色上。 Hong等人[^2010]在肩部区域使用200个标记，采用数据驱动的方法来推导肩部关节活动模型。虽然密集标记能够捕捉丰富的形状和形变信息，但它们在诸多应用中并不实用：放置标记耗时较长，且大量标记可能会限制运动。使用这类大型标记集时，还会面临不可避免的遮挡问题和标记识别挑战。 近期的研究采用密集的标记集或绘制在身上的图案来捕捉皮肤形变[Bogo等人，2014；Neumann等人，2013a]。这类研究与Park和Hodgins的工作类似，但使用的是计算机视觉方法而非传统的运动捕捉标记。 我们的研究有所不同：它符合标准的运动捕捉规范，且与现有的稀疏标记集向后兼容。MoSh的目标是充分利用稀疏标记来获取更多有效信息。 表面捕捉。与稀疏标记相对的是那些在每个时间点捕获完整三维网格的方法[de Aguiar等人，2008年；Stark和Hilton，2007年]；这可以被视为一种非常密集的标记集。还有一些方法会先对人体进行扫描，然后在整个序列中对其进行变形[de Aguiar等人，2007a；Liu等人，2013年]。现有的表面捕捉方法依赖于多摄像头计算机视觉算法，与商业化的基于标记的系统相比，其计算成本更高。这些方法最适用于捕捉服装或呼吸等难以参数化的复杂表面[Tsoli等人，2014年]。就人体形状而言，我们发现结合参数化人体模型后，少量的标记集就已经具备很强的表达能力。 在相关的方法中，de Aguiar等人[2007b]使用了一种中间模板，该模板通过动作捕捉标记以传统方式进行动画处理。随后他们再将模板的运动传递到更复杂的网格上。与MoSh类似，这种方法的灵感来源于常规做法，但它仍需通过一个粗糙的代理来间接实现，而非直接从标记求解形状和姿态。 属性捕捉。标记包含有关身体形状信息的观点并非新鲜事。Livne等人[^2012]利用动作捕捉数据，通过对人体运动进行三维姿态跟踪，提取性别、年龄、心理状态及人格特质等具有社会意义的特征。这项研究表明，稀疏的标记集包含了关于人及其身体的丰富信息。MoSh则采取了不同的思路，利用稀疏标记数据来提取精确的三维身体形状。与Livne等人一样，我们证明了可以从标记中估算出性别。除此之外，我们推测完整的三维身体模型还能用于提取更多属性。 运动放大。近期已有研究致力于放大视频序列中的微小运动[Wang等人，2007年；Wu等人，2012年；Wadhwa等人，2013年]，但关于三维运动放大的研究较少。部分原因可能是捕捉三维表面运动较为困难。另有研究利用动作捕捉数据来夸大骨骼运动[Kwon和Lee，2007年]。在[Neumann等人，2013b]的研究中，他们开发了用于空间局部化变形建模的方法，并证明这些变形可以被编辑和夸大。在[Jain等人，2010年]的研究中，他们通过编辑身体形状来实现夸张效果，但并未对非刚性的软组织动力学进行建模或放大。虽然面部运动的夸张效果已受到一些关注，但我们认为我们的研究是首个仅利用稀疏标记集来提取全身软组织运动以实现夸张效果的工作。 总而言之，MoSh占据着独特的地位——它利用现有的动作捕捉标记集来估算三维身体形状和变形。MoSh能直接从动作捕捉标记生成动画人体，其真实感是传统的绑定和基于骨架的方法难以在短时间内实现的。 ## 3 人体模型 从稀疏标记中提取身体形状显然是一个不适定问题；无数种身体结构都能解释相同的标记数据。为了推断出最可能的身体形态，我们必须拥有一个能够反映人群中身体形状相关性的人体模型。为此我们使用了一种类似于SCAPE[Anguelov等人，2005年]的学习型人体模型。不过需要指出的是，任何网格模型均可使用，只要满足以下两个条件：(1) 它允许形状和姿态的变化；(2) 相对于其参数而言是可微分的。 我们的身体模型是一个函数，该函数返回一个包含10,777个顶点的三角网格，其参数包括全局平移中心$\gamma$、姿态参数向量$\theta$、平均形状$\mu$以及形状参数向量$\beta$。形状是通过对基础模板网格的三角形进行形变来定义的。身体表面被描述为$S(\beta, \theta, \gamma)$，其中顶点k的坐标记为$S_k(\beta, \theta, \gamma)$。身体网格被分割成多个部分，每个部分可以围绕$\theta$所定义的轴进行旋转。姿态参数$\theta$由19个轴角向量组成，向量的长度表示旋转量。与SCAPE类似，函数$S(\cdot)$包含了从各种姿态的身体中学习到的、依赖于姿态的非刚性形变。身体形状通过平均形状和形状基向量的线性组合来近似；$\beta$就是这些线性系数的向量。这种形状基是通过对训练用身体形状的形变进行主成分分析（PCA）而得到的。在下文中，我们使用100个主成分来表示身体形状。 我们利用3803组处于直立姿态的CAESAR扫描数据来训练身体形状模型（其中约2103组来自女性，1700组来自男性，数据来源于美国和欧盟数据集）[Robinette et al. 2002]。模型中依赖于姿态的部分则是从78人（41名女性和37名男性）的1832组不同姿态扫描数据中学习得到的。这些扫描数据采用[Hirshberg et al. 2012]中的技术进行对齐。由于该模型是基于大量扫描数据训练的，因此能够真实地捕捉到各种各样的形状和姿态。关于SCAPE的更多细节，请参阅[Anguelov et al. 2005]。 需要注意的是，我们训练了三种身体形状模型：分别适用于男性和女性的独立模型，以及一个性别中立模型。如果已知受试者的性别，我们就使用对应的模型；如果未知性别，我们就先拟合性别中立模型以推断性别，然后再使用下文所述的特定性别模型。 --- ![Image](images/cafc9eceacf61a28116b440f9ec65a8f09e6519bdbe2ef510ad74e4bae432bbd.jpg)
Figure 2: Optimizing shape and markers. Left: initial guess of markers, $v_{i}$, on the template shape in the canonical pose (blue). Right: Shape and marker locations after optimization. Optimized marker locations, $\tilde{m}_{i}$, are shown in red. Note that they have moved (see inset).
## 4 身体与世界中的标记 动作捕捉标记从人体表面延伸出来的程度各不相同，且是人工放置在身体上的。精确的放置可能较为困难，尤其是在体型较胖的受试者身上，脂肪会阻碍对标记位置的触诊。因此，我们无法提前准确知晓标记的位置。MoSh的第一步就是针对给定的动作捕捉序列（或同一受试者的多个序列），求解出标记相对于模板身体网格的位置。 ### 4.1 定义标记集 我们假设已知标记的数量以及它们相对于参考模板网格的大致位置。只有当用户想要使用新的标记集时，才需要手动操作。此时，用户需要为每个标记指定一个模板顶点。具体来说，用户会创建一个映射$h(i)$，将标记索引i对应到模板上的顶点索引。每个标记还需要用户指定从标记中心到皮肤表面的预期距离$d_{i}$。由于我们会针对每个受试者对这些位置和距离进行优化，因此它们可以是近似值。 为了用身体来参数化标记位置，我们引入了一个潜在坐标系，该坐标系包含了处于中性姿态下的标记和我们的身体模型$\gamma_0$、$\theta_0$，如图2（左）所示。这个潜在坐标系的目的是以一种与姿态和平移无关的方式，建模身体表面与标记之间的关系。随后，这种关系会被应用到动作捕捉帧中观察到的网格上。 我们随后将标记点的默认位置 $v_{i}$ 表示为 $$ v_{i}(\beta)\equiv S_{h(i)}(\beta,\theta_{0},\gamma_{0})+d_{i}N_{h(i)}(\beta,\theta_{0},\gamma_{0}), $$ 其中 $N_{k}(\beta,\theta,\gamma)$ 表示给定人体模型参数下索引为 k 的顶点法向量。因此，$v_{i}(\beta)$ 就是模型顶点的位置，该位置在潜在坐标系统中，会沿着表面法向偏移用户指定的距离 $d_{i}$，对应第 i 个标记点。这些在图 2 中以蓝色球体示意。 标记集的定义只需进行一次，之后便可应用于使用该标记集采集的任何受试者数据。例如，我们对包含 47 个标记点的 Vicon 标记集仅定义一次，便将其用于 CMU 数据库中的所有动作捕捉序列。 ![Image](images/776a5910bf08a2a5af8ff9f4cc28d179b3c48d1aa90be9ad703b7a2815980268.jpg)
Figure 3: Marker transformations. In the latent coordinate space (left) we project a marker, $\tilde{m}_i$ into a basis defined by the nearest vertex: specifically by its normal, an arbitrary normalized edge, and the cross product between them. This provides a pose invariant representation for the marker. When the body pose changes (right), we then compute the location of the marker, $\tilde{m}_i(\tilde{m}_i, \beta, \theta_t, \gamma_t)$, in the observed frame.
### 4.2 标记点的参数化 默认的标记点 $v_i$ 只是近似值，下文我们将通过优化来求解特定受试者和动作捕捉序列下的人体形状 $\beta$ 以及潜在标记点的实际位置 $\tilde{m}_i$。令 $\tilde{M}$ 表示所有潜在标记点的集合。在符号表示上，我们用 i 指代标记点编号，用 t 指代动作捕捉序列的帧号。观测到的标记点单独表示为 $m_{i,t}$，整体表示为 $M_t$。根据一组 $M_t$，我们可以估算出潜在标记点 $\tilde{M}$，它们在图 2 中以红色球体示意。 为此，我们定义了一个函数 $\hat{m}(\tilde{m}_{i},\beta,\theta_{t},\gamma_{t})$，它能在给定特定人体形状、姿态和位置的情况下，将潜在标记点映射到世界坐标系中。我们称这些为“模拟标记点”。直观来说，我们希望求解出人体形状、姿态、身体位置以及潜在标记点位置 $\tilde{m}_{i}$，使得这些模拟标记点投影到动作捕捉序列中时，能与观测到的标记点 $M_{t}$ 相匹配。 这需要从局部表面几何结构到三维标记点位置的映射，且该映射能够从潜在坐标系统转移到不同姿态下产生的观测标记点。我们在潜在坐标系统中，以标记点最近的三角形所确定的正交基来表示标记点的位置。该基由三个向量定义：三角形的法向量、三角形的一条归一化边，以及这两个向量的叉积。这一几何关系在图 3（左）中示意。 我们将把 $\tilde{m}$ 投影到网格中最接近的三角形 $\tau(\tilde{m})$ 所对应的基底上的刚体变换矩阵记为 $B_{\tau(\tilde{m})}(\beta, \theta, \gamma)$。随后我们定义模拟标记点的位置 $\hat{m}(\cdot)$ 为 $$ \hat{m}^{*}(\tilde{m},\beta,\theta_{t},\gamma_{t})=B_{\tau(\tilde{m})}(\beta,\theta_{t},\gamma_{t})B_{\tau(\tilde{m})}^{-1}(\beta,\theta_{0},\gamma_{0})\tilde{m}^{*} $$ 其中 $\tilde{m}^* = [\tilde{m}^T, 1]^T$ 和 $\tilde{m}^*(\cdot) = [\tilde{m}(\cdot)^T, 1]^T$ 表示齐次坐标下的标记点位置。方程 2 可以拆分为两步来看。首先，矩阵 $B_{\tau(\tilde{m})}^{-1}(\beta, \theta_0, \gamma_0)$ 将 $\tilde{m}^*$ 从三维潜在空间位置转换为其局部基底中的坐标向量。第二步，$B_{\tau(\tilde{m})}(\beta, \theta_t, \gamma_t)$ 将该坐标向量映射为三维观测空间中的位置 $\tilde{m}^*(\cdot)$，该位置由特定的身体位置和姿态 $\gamma_t, \theta_t$ 决定。这一过程在图 3（右）中示意。 --- 定义了标记点的参数化方式后，接下来我们定义用于估算标记点位置、人体形状、姿态以及非刚性运动的目标函数。 ## 5 目标函数 设包含n个时间点的身体姿态序列为$\theta_{1..n}$，位置序列为$\gamma_{1..n}$，分别用$\Theta$和$\Gamma$表示。我们希望估计出潜在的标记点$\tilde{M}$、姿态$\Theta$、身体位置$\Gamma$以及身体形状$\beta$，使得模拟出的标记点$\hat{m}(\cdot)$能与观测到的标记点$m_{i,t}$相匹配。为此我们定义了一个包含多个项的目标函数。 数据项$E_{D}$是模拟标记点与观测标记点之间距离的平方和： $$ E_{D}(\tilde{M},\beta,\Theta,\Gamma)=\sum_{i,t}||\hat{m}(\tilde{m}_{i},\beta,\theta_{t},\gamma_{t})-m_{i,t}||^{2}. $$ 注意：距离是以厘米为单位测量的。 表面距离能量项$E_{S}$会促使标记点在潜在坐标系中保持与身体表面的预定距离。设$r(x, S)$表示三维位置x到表面S的有符号距离，那么 $$ E_{S}(\beta,\tilde{M})=\sum_{i}||r(\tilde{m}_{i},S(\beta,\theta_{0},\gamma_{0}))-d_{i}||^{2}. $$ 由于标记点的位置在初始阶段大致已知，因此如果估计出的潜在标记点偏离该位置，我们就会对其进行惩罚。能量项$E_{I}$会将调整后的标记点约束在其原始位置附近。 $$ E_{I}(\beta,\tilde{M})=\sum_{i}||\tilde{m}_{i}-v_{i}(\beta)||^{2}. $$ 我们还定义了姿态和形状的先验来约束身体形状和姿态的估计。这些先验被建模为高斯分布，其统计参数$\mu_{\beta}, \mu_{\theta}, \Sigma_{\beta}, \Sigma_{\theta}$是根据用于训练身体模型的姿态和形状训练数据计算得出的。我们通过惩罚与平均形状和姿态之间的马氏距离平方来对$\beta$和$\theta_{t}$进行约束： $$ E_{\beta}(\beta)=(\beta-\mu_{\beta})^{T}\Sigma_{\beta}^{-1}(\beta-\mu_{\beta}) $$ $$ E_{\theta}(\Theta)=\sum_{t}\big(\theta_{t}-\mu_{\theta}\big)^{T}\Sigma_{\theta}^{-1}\big(\theta_{t}-\mu_{\theta}\big). $$ 我们还加入了速度恒定性项$E_{u}$，它能在一定程度上平滑标记点噪声： $$ E_{u}(\Theta)=\sum_{t=2}^{n}\left|\left|\theta_{t}-2\theta_{t-1}+\theta_{t-2}\right|\right|^{2}. $$ 我们的总体目标就是这些项的总和，每一项都由其对应的权重$\lambda$加权： $$ E(\tilde{M},\beta,\Theta,\Gamma)=\sum_{\omega\in\{D,S,\theta,\beta,I,u\}}\lambda_{\omega}E_{\omega}(\cdot). $$ ## 6 优化 上述目标函数具有很强的通用性，根据我们所最小化或固定的变量不同，它就能帮助我们解决各类问题。在所有情况下，优化过程均采用Powell的狗腿法[Nocedal和Wright 2006]，并采用高斯-牛顿法近似计算海森矩阵。目标函数的梯度是通过自动微分[Griewank和Walther 2008]计算的，该方法会将链式法则应用于目标函数；在此过程中我们使用了名为Chumpy[Loper 2014]的自动微分工具包。只有身体模型$S_k(\beta, \theta, \gamma)$和有符号网格距离$r(x, S)$的微分是手动完成的，以提升运行效率。 优化过程主要分为两类：第一类用于估计与时间无关的参数（身体形状$\beta$和标记点位置$\tilde{M}$），第二类用于估计随时间变化的参数$\Theta = \{\theta_1, \ldots, \theta_n\}$、$\Gamma = \{\gamma_1, \ldots, \gamma_n\}$。 身体形状与潜在标记点：对于给定的动作捕捉序列（或同一受试者的多个序列），优化过程总是先从部分帧开始，估计潜在标记点位置$\tilde{M}$、身体形状$\beta$、姿态$\Theta$以及身体位置$\Gamma$。潜在标记点位置和身体形状被视为与时间无关，可针对整个序列（或一组序列）一次性估计出来。 值得注意的是，在标记点位置的优化过程中，从潜在坐标系到观测坐标系的变换会被持续重新估计。最近邻的分配、局部基本身，以及标记点与基之间的相关系数都会不断调整，从而细化标记点与身体表面之间的关系。 公式9中的$\lambda$值为：$\lambda_{D}=0.75$、$\lambda_{S}=100.0$、$\lambda_{I}=0.25$、$\lambda_{\beta}=1.0$、$\lambda_{\theta}=0.25$、$\lambda_{u}=0$。 初始化这些$\lambda$值的目的是在优化结束时，通过对其期望值的估计来对每个项进行归一化；尤其是基于距离的$\lambda$值（$\lambda_{D}$、$\lambda_{S}$、$\lambda_{I}$）可解释为单位为$\frac{1}{cm^{2}}$的逆方差。随后这些$\lambda$值会经过经验性微调。 由于我们是在随机不连续帧上进行优化，因此此阶段不使用速度项（$\lambda_{u}=0$）。 为避免陷入局部最优，优化过程分为六个阶段，初始阶段采用强正则化，随后逐步降低正则化强度。具体而言，正则化权重$\{\lambda_{\theta}, \lambda_{\beta}, \lambda_{I}\}$依次乘以40、20、10、4、2，最终降至1。需注意，这些数据项是非线性的，而正则化项则为线性或二次的。类似于分级非凸优化方案，通过增大正则化权重可使目标函数更具凸性，从而有助于优化过程在早期阶段避开局部最优。实践中我们发现这种方法效果显著。 用于参数估计的帧数越多，计算成本就越高，因为每一帧都需要对应的姿态$\theta_{t}$。为提高效率，我们采用随机选取的动捕时间点子集来进行优化。我们针对不同数量的随机帧进行了实验，发现超过12帧后效果并无显著提升。因此，此处所有实验均使用12个随机帧。 姿态估计。此时运动捕捉问题转化为：在已知人体形状和潜在标记点的情况下，估计每个时间点的身体姿态$\theta_{t}$和身体位置$\gamma_{t}$。若第t帧之前的解可用，则以该解作为优化的初始值，随后对每个时间步进行简短优化。 在姿态估计中，当前的$\lambda$值为：$\lambda_{D}=0.75$、$\lambda_{S}=0$、$\lambda_{I}=0$、$\lambda_{\beta}=0$、$\lambda_{\theta}=1.0$、$\lambda_{u}=6.25$。注意，现在我们引入了速度平滑项$\lambda_{u}$。权重为零意味着 --- 该项不会被使用，相应的参数也不会被优化。具体来说，我们不会优化标记点位置或人体形状。不过我们会使用姿态先验$\lambda_{\theta} = 1.0$来对不太可能的姿态进行惩罚。此处我们未采用分阶段正则化策略，因为优化过程起始于最小值附近，收敛速度较快。 姿态与软组织运动。在上述优化中，我们假设人体形状和潜在标记点位置保持不变。为捕捉软组织运动，我们现在允许人体形状在序列中发生变化，同时保持标记点变换固定。我们仍用$\beta$表示第一阶段估计出的形状，但将形状相对于$\beta$的时变偏差记为$B = \{\beta_1 \ldots \beta_n\}$，这样人在时间t的形状即为$\beta + \beta_t$。 为了对$\beta_{t}$进行正则化，我们在公式9中新增了一个能量项： $$ E_{\Delta}(B)=\sum_{t}||\beta_{t}||^{2} $$ 我们将$\lambda_\Delta$设为0.25，并在公式9中加入$\lambda_\Delta E_\Delta(\cdot)$。该项允许人体形状随时间变化，同时将其约束在不会偏离人体“固有形状”$\beta$太多的范围内。 虽然我们的体型训练集中并不包含软组织动态的相关示例，但它确实涵盖了人群中的多种体型变化。我们利用这些变化来捕捉运动过程中的软组织变形。例如，吸气时的人看起来就像胸部更高或腹部更大的另一个人；当一个人上下跳跃时，其胸部的变化方式会与其他人的胸部相似。有趣且或许令人惊讶的是，人与人之间存在的体型差异竟能用来近似描述个体因动态变化而产生的体型差异。当然，有些软组织变形可能无法用这种方式解释，但只要拥有足够多的训练用体型数据以及足够多的主成分，我们认为就能表示出各种各样的此类变形。不过我们推测，针对特定软组织变形的训练数据或许能用于构建更简洁的模型。另外需注意的是，我们并未对软组织动态进行建模，只是对动作捕捉标记数据中呈现的现象进行近似处理。 由于标准标记集是为估算骨骼而设计的，因此标记大多被放置在刚体上以减少软组织运动的影响。这也是现有动作捕捉方法缺乏精细度的另一原因。因此，为了捕捉软组织动态，我们需要采取完全相反的做法：必须在软组织上设置标记。下文我们将对此展开讨论。 运行时间方面，体型和标记估算大约需要7分钟。不含软组织估算的姿态估算每帧耗时约1秒；而包含软组织估算的姿态估算每帧则需约2秒。 ## 7 标记选择 基于动作捕捉的体型估算效果取决于标记的数量与位置；在此我们提出了一种构建新标记集的方法，以改善人体表面重建效果。从实用性角度而言，标记集必须简单易懂、便于操作人员使用、能在不同受试者间重复应用，同时还要兼顾自遮挡、自接触以及对受试者活动的影响。因此我们从标准标记集出发，提出了额外的对称标记位置，最终得到共114个候选标记（见图4）。 随后我们会对这些候选标记进行评估，以确定它们对体型恢复的重要性。为此我们使用 ![Image](images/14aaaee26dc490dda303a6e2b3b729a0406582d02945cd7963baf6808e0b050a.jpg)
Figure 4: Marker sets. The union of all markers illustrates the 114 possible markers we considered. Yellow markers correspond to a standard 47-marker Vicon set. The 20 orange markers were found to improve shape estimation the most. The union of yellow and orange markers corresponds to our 67-marker set used for capturing shape and soft-tissue motion. White markers were deemed redundant and were not used.
来自FAUST数据集[Bogo等人，2014年]的5名不同体型女性的165个多姿态网格模型。将模板网格与每个三维扫描结果对齐，从而得到一组已配准的网格，$R^z$、$z = 1 \ldots 165$，其中所有顶点在165个实例间均一一对应。我们将这114个标记与模板网格的顶点相关联，然后利用不同子集的标记来估算体型。我们通过估算网格与真实网格顶点间的欧几里得距离来评估结果的准确性。具体而言，我们计算所有顶点（包括用于拟合的子集）的均方根误差（RMSE），涵盖全部网格模型。 更正式地说，给定最大标记数量c，我们需找到网格顶点集A的一个子集T，使得体型估算的精度最高。这个子集T就是能使代价函数$E_{M}(T)$最小化的那个子集；也就是说 $$ T^{*}=\underset{T\subseteq A,|T|=c}{\arg\min}E_{M}(T). $$ 为表述简便，我们现将人体模型参数$\{\beta, \theta, \gamma\}$简记为P。我们也将已配准网格z的第k个顶点记为$R_k^z$。仅能利用已配准网格z的顶点子集T时，能得到的最佳参数$P^*(\{R_j^z | j \in T\})$定义如下： $$ P^{*}(\{R_{j}^{z}|j\in T\})=\arg\min_{P}\sum_{i\in T}||S_{i}(P)-R_{i}^{z}||^{2}. $$ 选择子集T时所涉及的成本，需要考虑所有已注册网格中各个顶点$i \in A$之间的距离$z \in Z = \{1 \ldots 165\}$。 $$ E_{M}(T)=\sum_{i\in A,z\in Z}||S_{i}(P^{*}(\{R_{j}^{z}|j\in T\}))-R_{i}^{z}||^{2}. $$ $$ \mathrm{N o t e~t h a t~t h e~R M S E~i s~}(E_{M}(T)/(|A||Z|))^{1/2}. $$ 由于枚举全部114个标记点的所有可能子集是不现实的，因此我们采用贪心算法。假设当前有N个标记点，我们移除其中一个，计算这N-1个标记点所构成集合的成本，然后从中选出… --- ![Image](images/4d0cbdb12b274998979044faef1761f8c33a3676c7823f3b437f95daacd7affe.jpg)
Figure 5: Marker selection residuals. The plot shows the mesh shape reconstruction error as a function of marker count.
能带来最小误差的那个被删除的标记点。我们移除该标记点后重复上述过程。 图4展示了全部114个候选标记点。其中标准的47个标记点用黄色表示；白色和橙色标记点则对应我们考虑添加的补充标记点。通过贪心算法我们发现，白色标记点在形状估计方面的效用不如橙色标记点。图5绘制了不同数量标记点对应的RMSE曲线。需要注意的是，此处我们是以47个标记点为基础，既从中删除标记点，也向其中添加标记点。令人惊讶的是，即便从标准集合中移除标记点，在标记点数量降至约25个时仍能得到合理的形状估计结果。我们最终决定保留原有集合，并添加20个额外的（橙色）标记点。向47个标记点中添加新标记点后，RMSE明显减小。值得注意的是，若去掉部分原有的47个标记点，我们也能用更少的标记点获得与67个标记点集合相近的误差水平。不过为了能与CMU的研究结果进行对比，我们决定保留这47个标记点并在此基础上进行扩展。 ## 8 实验结果 ### 8.1 定量形状分析 我们评估优化的第一阶段，即身体形状与标记点位置的确定过程。为了将估计出的身体形状与真实形状进行比较，我们使用高分辨率3D人体扫描仪（3dMD LLC，亚特兰大，佐治亚州）对20名受试者进行了扫描。扫描前，所有受试者均签署了书面知情同意书。此外，其中10名受试者为职业模特，他们签署的模特合同中允许我们公开其完整的扫描数据。 我们还使用Vicon动作捕捉系统（Vicon Motion Systems Ltd，牛津，英国）来采集受试者身上89个标记点的数据。这89个标记点是根据第7节中评估的114个标记点所进行的标记点优化分析结果选定的。我们进行形状和姿态估计时最多使用67个标记点；未使用的标记点可用于评估预留标记点的误差。在所有实验中，我们都采用了考虑软组织变形的优化方法。我们共处理并评估了73组动作捕捉序列的误差。 我们的目标是估计出能最小化3D人体形状重建误差的身体形状。我们通过两种方式衡量这一误差：预留标记点误差和网格配准误差。预留标记点误差反映了我们对优化过程中未使用的标记点位置的预测能力：例如，若我们用47个标记点来估计身体形状，就会利用剩余的标记点来估算预留误差。如图6（右侧）所示，当我们使用67个标记点时，预留标记点的平均距离会降至约3.4厘米。需要注意的是，这些误差包含了在受试者身上放置标记点时产生的偏差，这类偏差很容易超过1厘米。具体而言，当我们根据部分标记点估计形状时，并不会优化预留标记点的放置位置。因此这种误差综合了人为放置误差，以及未被用于拟合的子集无法预测的预留标记点的软组织运动误差。 当标记点数量达到约25个后，误差改善程度便十分有限。这一点很有意思，因为它表明少量的标记点就能给出较好的身体形状估计结果。需要注意的是，本次评估涵盖了全部73组动作捕捉序列，因此能够反映MoSh在解释由形状和姿态变化引起的标记点运动方面的效果。 图7（第一行）展示了几个受试者的示例3D扫描结果。对于每个受试者，我们将模板网格与扫描数据对齐；该模板网格的拓扑结构与MoSh人体模型相同（图7第二行）。由此生成的配准网格将用于后续评估。需要注意的是，这些配准网格能够准确反映扫描结果，且符合模型的网格拓扑结构，同时没有孔洞。配准误差用于衡量用平均顶点间距离来描述受试者配准网格的精确程度。使用67个标记点恢复的人体形状显示在图7第三行；此处我们将MoSh的结果调整为与扫描数据相同的姿势。鉴于MoSh输出的是形状向量$\beta$，我们会调整$\{\theta, \gamma\}$以使人体模型与配准网格之间的距离最小化。图7最下方的热图显示了MoSh生成的形状与配准网格之间的距离，从而反映出MoSh利用67个标记点近似还原形状的效果。 图6（左侧）展示了这种配准误差。配准误差的表现与保留标记点误差类似，只是数值更小。与保留标记点实验不同，此处我们只需描述形状，无需同时考虑姿势和形状。形状估计结果是基于12帧动作捕捉数据得出的，约束性较强。 虽然像[Park和Hodgins 2006]中使用的那种大量标记点确实能提供更多信息，但图6（左侧）显示，标记点数量越多，带来的收益反而越小。理想的标记点数量很可能与网格的分辨率相关。 为了帮助理解这些数字的含义，图8展示了使用不同数量的标记点重建出的某位受试者的身体形状。此处我们依据贪心评估策略选取标记点。令人惊讶的是，仅用10个标记点就能大致还原出该人的体型。需要注意的是，随着标记点数量的增加，配准误差会减小；具体数值以米为单位表示配准误差。 出于研究目的，我们在此提供了这10个模型、扫描数据、对齐后的网格、动作捕捉序列以及MoSh拟合结果： 这些数据可供他人利用相同的序列来估算形状，并与真实形状及我们的结果进行对比。 ### 8.2 CMU动作捕捉数据集 虽然CMU数据集没有对应的真实形状数据，但我们仍可进行定性评估。图9展示了从CMU数据集中恢复出的形状，视频帧显示在人体上方，旁边是依据47个标准标记点估算出的姿势。需要明确的是，MoSh并未使用该视频帧；我们在此展示它仅是为了直观评估大致的形状效果。由于CMU --- ![Image](images/8b9916788390a3a83d21ae8efe5c9f861882f2c651d75ddeeac07dbd7f379755.jpg) ![Image](images/a4d7ad13d04910916bf119a8a88cb7230867176ee5af198712b7d3a4ac527a10.jpg)
Figure 6: Effects of marker number on reconstruction error. The mean and standard deviations of distance residuals indicate how the marker number affects reconstruction. Left: Shape reconstruction error. This is computed as the mean absolute distance between the true body shape (as represented by the alignment of the template to a scan) and the body shape estimated by MoSh reposed to match the registered mesh. Right: Held-out marker error across all sequences. This measures errors in both shape and pose but is inflated by marker placement error and marker movement. In both plots, 68.2% ( $\pm1\sigma$) of the residuals are contained between the error bars.
数据集缺乏人体测量数据，因此无法进行定量评估。 ### 8.3 性别估算 对于上述CMU数据集的结果，我们选用了那些能通过配套视频画面确定受试者性别的序列。接下来我们想探究是否能通过标记点自动估算性别（参见[Livne等人，2012]）。我们使用线性支持向量机，根据人体模型参数来预测性别。首先，我们将中性性别的人体模型拟合到CAESAR数据集中的所有受试者身上，从而获取线性形状系数；随后训练SVM，利用这些形状参数来预测已知的性别。接着，我们利用MoSh从CMU数据集中估算出的人体形状参数，结合中性性别人体模型来评估性别分类效果。在39名性别已知的受试者中，我们的预测准确率达89.7%；这一结果与[Livne等人，2012]的研究结果相近，这并不令人意外，因为两种方法所依赖的标记点数据本质上是一致的。 ### 8.4 姿态估计结果 基于我们对固有形状的估算结果$\beta$以及标记点位置$\tilde{M}$，我们现在会对某一动作捕捉序列中的姿态进行优化。我们针对CMU数据集中的39名受试者、共722个不同的动作捕捉序列计算了姿态参数。图10展示了CMU数据集中一些代表性序列里的若干帧图像。即便仅使用47个标记点，我们也能捕捉到部分软组织形变情况，此处展示的结果也体现了随时间变化的人体形状形变过程。姿态重建的视觉细节很难通过静态图像呈现，但在配套的视频中清晰可见。需要注意的是，这一过程完全自动化完成。 评估姿态与形状综合精度的最佳方式是计算预留标记点的误差。为此我们选取了20名受试者以及采用扩展标记集采集的73个动作捕捉序列，其中用67个标记点进行估算，另外22个用于计算预留误差。该误差值为3.4厘米，对应图6右侧图表中最右边的点。 当使用的标记点数量较少时，任意一个标记点的噪声都可能对结果产生影响。在形状估计阶段，形状和标记点位置是根据多个姿态估算得出的，因此单个标记点的偏差不应过度影响形状或标记点位置的估计。在姿态估计过程中，速度恒定性有助于降低单个标记点噪声的影响。未来的研究应探索自动检测并降低缺失标记点或移位标记点权重的方法。 ## 9 软组织形变结果 我们的人体模型是通过静态受试者的配准网格数据训练而成的，能够表征形状以及与姿态相关的形变。模型中并未明确学习许多其他细微的人体形状形变，包括静态肌肉收缩、呼吸、重力作用、外力以及动力学效应。我们的研究结果表明，从不同人身上学到的人体形状空间能够捕捉到可近似模拟软组织运动的形状差异。需要注意的是，我们并未对软组织的动力学特性进行建模，仅拟合了标记点数据中显现出的此类运动效应。 图11展示了几个序列中的示例。我们展示了每位受试者采用单一人体形状$\beta$时的估算人体形状（每对图像中的左图），以及允许偏离该形状的估算结果$\beta_t$（每对图像中的右图）。请注意胸部和腹部的标记点：红色的是模型预测的模拟标记点，绿色的是实际观测到的标记点。随着人体形状的变化，我们能更精准地匹配发生软组织形变的标记点。这并不令人意外，但关键在于估算出的形状依然保持“自然”，且看起来仍像该受试者本人。 从数值上看，加入动力学模型后，观测到的标记点平均误差从0.79厘米降至0.62厘米。这并不令人意外，因为我们允许物体形状发生形变以适配这些标记点。我们还测试了未用于估计形状的标记点的误差情况。在此情况下，平均误差也从3.41厘米降至3.39厘米。这一改善并不显著，但足以证明拟合软组织运动并不会恶化未参与拟合的标记点误差。这也印证了我们的主观感受：身体形状不会发生不自然的形变，且远离被追踪标记点的非刚性运动反映了真实的身体形变。 --- ![Image](images/232bbad96997421aee191eecc4d81e0aaee6dedab776e1f6ec603c4e8ad717b0.jpg)
Figure 7: Shape reconstruction. First row: raw 3D scans from a high-resolution scanner. Second row: registered meshes obtained by precisely aligning a template mesh, with the same topology as our model, to the scans. These registered meshes faithfully capture the body shape and are used for our quantitative analysis. Third row: our model with shape, $\beta$, estimated from only 67 markers. Here we estimate the pose, $\theta$, of our model to match the registered meshes to facilitate comparison. Bottom row: Distance between second and third rows. The heat map shows Euclidean distance from the registered mesh to the nearest point on the surface of the body estimated by MoSh; blue means zero and red means $\geq$ 4 cm.
当然，虽然我们无法用稀疏的标记点捕捉细微的褶皱，但MoSh能够估算出如此逼真的形变，实在令人惊讶。 更多可视化效果与结果可参见附带的视频。在视频中可以看到，当不建模动力学时，观测到的标记点会相对于估算出的形状“游动”。视频中还对比了47个标记点与我们的67个标记点方案，结果表明放置在软组织上的额外标记点至关重要。 ### 9.1 夸张的软组织形变 我们的软组织形变对应着人体形状空间中的特定方向。我们可以沿这些方向调整形变程度，从而减弱或放大形变效果。具体而言，我们将三维运动乘以$\beta_t$，再乘上用户指定的常数来放大软组织形变。这种效果难以通过印刷品呈现，但视频中展示了同一序列在不同夸张程度下的示例。我们发现，将形变程度放大1.5倍或2倍时仍能保持类似自然的运动效果；若夸张程度达到4倍，有时会产生有趣的效果，有时则会形成不自然的身体形状。 对于动画师而言，该工具可用于生成参考素材，因为它能清晰展示软组织的形变方式。它也可用于创造新的特效，以基于物理上真实的形变来夸张表现人类动作。 ### 9.2 软组织重定向 骨骼动作捕捉数据的重要用途之一是将动作重定向到新角色上，MoSh也能实现这一点。以图12中从互联网下载的风格化角色为例，对于每个角色，我们都会通过手动点击对应点初始化的正则化配准方法，将模板向该角色的形状进行形变。 --- ![Image](images/970fc08bcdd78f2c7dfb3b20c3a6e52a0f08bcedebb040aebc1a0a8190fc2038.jpg)
Figure 8: Shape from markers. We show the effect of the number of markers (5, 10, 25, 47, 67) on the registration error (in m) of the estimated shape. Far right: reference image of the subject.
Figure 9: CMU bodies. Extracted shapes (bottom) and reference images (top) for several CMU subjects. Shape and pose is computed with MoSh using 47 Vicon markers only.
为了基于该角色网格建模形状形变，我们只需用角色的模板形变替换原有的平均形状$\mu$，从而重新确定PCA人体形状模型的中心。随后将软组织形变系数$\beta_t$应用于这个新的平均形状即可。我们还会直接将估算出的平移量$\gamma_t$以及MoSh部件旋转参数$\theta_t$，连同学习到的非刚性、依赖姿势的形状形变，应用到新角色的各个部件上，从而生成逼真的动画。需要注意的是，为了实现真实的软组织传递效果，我们会选用身体形状与风格化角色相似的真人演员，详见图12。当然，这些形变也可以被夸张处理。 ## 10 结论与讨论 MoSh解决了现有动作捕捉方法面临的一个关键难题。通过从稀疏标记点估算随时间变化的身体形状，MoSh能够捕捉身体细微的非刚性运动，从而生成逼真的动画。MoSh与现有的行业标准动作捕捉系统完全兼容；它既可以独立使用，也可以与传统骨骼动作捕捉技术结合使用，因为不会丢失任何信息，且MoSh能直接使用当前系统所用的相同标记点。我们希望MoSh能为旧的动作捕捉数据集注入新活力，同时提供一种易于采用的工具，以拓展基于标记的动作捕捉技术的现有投资价值。 目前该方法仍存在若干局限性，这些局限性也为未来的研究指明了有趣的方向。例如，我们需要大致知晓标记点的集合，且假设这些标记点之间存在对应关系；虽然我们可以修正部分标记错误，但仍需要基于已标注完整的数据集。确定标记点对应关系并清理标记集，是当前动作捕捉流程中耗时较长的环节。若能利用人体模型自动解决这些问题，将颇具意义。比如，我们还可以利用模拟标记点来检测标记点是否缺失或发生位移；如果某个标记点在不同拍摄时段间发生移动，我们便能实时更新其位置。我们还能单独估算每个标记点的噪声，并在姿态和形状估算过程中将其纳入考量。估算出的身体姿态还可用于生成虚拟标记序列，以此替代原始标记点，从而为解决遮挡问题提供合理的方案。对于从标记点提取骨骼数据的方法而言，模拟不同的标记集或许会很有用。 MoSh输出结果的质量很大程度上取决于所使用的人体模型的质量。如果我们的模型无法真实还原某种姿态，那么MoSh的输出就会出现瑕疵。我们在几种姿态下观察到了这种情况，比如双臂向前伸展、肘部伸直且掌心相对时。这表明我们的姿态训练集需要补充新的姿态。 --- ![Image](images/577139d1fb964e73834d4685ce2bedad5e4959f5cc5b5b0ae05c33f436ff6bbf.jpg)
Figure 10: CMU mocap. Example meshes extracted from the CMU mocap dataset and representative frames from the animation. All shapes and poses are estimated automatically using only 47 markers. See accompanying video to see these and other results for CMU.
该集合应补充新的姿态。 未来研究的一个有趣方向是采用其他类型的人体模型。比如，应该可以用采用线性混合蒙皮技术和矫正混合形状的模型来替换我们当前的模型。 我们用于评估新标记集的方法，可用于构建专门用于捕捉特定类型非刚性变形（如呼吸运动）的标记集。如果我们拥有3D网格序列，就能扩展分析范围，选出专门用于捕捉软组织运动的标记集。我们并未评估哪种姿态对估算身体形状最有效，只是随机选择了12种姿态。若能同步优化标记集和姿态，就能让动作捕捉系统成为更高效的“人体扫描仪”；人体扫描流程包括粘贴标记点并让受试者摆出指定的姿态。 我们的软组织运动结果是基于稀疏标记点得出的近似结果，却能呈现出密集的形变效果。由于获取数据较为容易，利用这些数据来训练更贴合物理规律的软组织运动模型会很有意义。也就是说，我们或许可以借助MoSh来学习更复杂的、具备动力学特性的身体形状模型，从而实现软组织运动在不同身体形状和动作下的泛化应用。 我们计划扩展人体模型和MoSh方法，以纳入脚部、手部和面部的运动。我们认为这相对简单，但可能需要比此处使用的高斯模型更为复杂的姿态先验模型。或许可以进一步拓展这些思路来捕捉衣物细节，或者将基于标记的分析与视频或深度数据相结合。最后，我们也在致力于利用多分辨率模型加快处理速度，以便能在虚拟制作中应用MoSh技术。 ## 致谢 本项目所使用的CMU动作捕捉数据来自mocap.cs.cmu.edu。该数据库的研发得到了NSF EIA-0196217项目的资助。我们感谢B. Corner提供的宝贵反馈，感谢E. Holderness和M. Martin在动作捕捉及扫描方面的协助，同时感谢J. Romero给出的建议和技术指导。 ## 参考文献 ALLEN, B., CURLESS, B., 以及 POPOVIĆ, Z. 2003. 人体形状空间：基于深度扫描的重建与参数化。《ACM图形学汇刊》（SIGGRAPH会议论文集）第22卷第3期，第587–594页。 ANGUELOV, D., SRINIVASAN, P., KOLLER, D., THRUN, S., RODGERS, J., 以及 DAVIS, J. 2005. SCAPE：人体形状的补全与动画制作。《ACM图形学汇刊》（SIGGRAPH会议论文集）第24卷第3期，第408–416页。 《ACM图形学汇刊》第33卷第6期，文章编号220，出版日期：2014年11月 --- ![Image](images/026df2e4ae9cde859acf19a56408c3dd803aec78cf7e9e53c59c51cad2fd651d.jpg) 图11：软组织的运动情况。图中展示了一些代表性样本。每对图像中，左侧为未建模动力学的情况（人体形状固定），右侧为考虑动力学的情况（人体形状会发生变化）。每张图像均展示了全身及局部细节区域。绿色球体对应动作捕捉标记点，红色球体对应模拟的标记点位置。允许人体形状随时间变化能更好地捕捉软组织变形现象。值得注意的是，在考虑动力学的情况下，预测出的标记点与实际观测到的标记点吻合度更高。 BOGO, F., ROMERO, J., LOPER, M., 以及 BLACK, M. J. 2014. FAUST：3D网格配准的数据集与评估。载于IEEE计算机视觉与模式识别会议（CVPR）论文集。 DE AGUIAR, E., THEOBALT, C., STOLL, C., 以及 SEIDEL, H.-P. 2007. 用于人体形状与动作捕捉的无标记可变形网格跟踪技术。载于IEEE计算机视觉与模式识别会议（CVPR）论文集，第1–8页。 DE AGUIAR, E., ZAYER, R., THEOBALT, C., SEIDEL, H. P., 以及 MAGNOR, M. 2007. 数字化模型自然动画的简单框架。载于2007年巴西计算机图形学与图像处理研讨会（SIBGRAPI 2007）论文集，第3–10页。 DE AGUIAR, E., STOLL, C., THEOBALT, C., AHMED, N., SEIDEL, H.-P., 以及 THRUN, S. 2008. 基于稀疏多视角视频的动作捕捉技术。《ACM图形学汇刊》（SIGGRAPH会议论文集）第27卷第3期（8月），第98:1–98:10页。 GRIEWANK, A., 以及 WALTHER, A. 2008. 《导数评估：算法微分的原则与技术》（第二版）。美国工业与应用数学学会出版，费城，宾夕法尼亚州，美国。 HIRSHBERG, D. A., LOPER, M., RACHLIN, E., 以及 BLACK, M. J. 2012. 共配准：关节3D形状的同步对齐与建模。载于ECCV 2012计算机视觉会议论文集，A. Fitzgibbon、S. Lazebnik、P. Perona、Y. Sato和C. Schmid编，计算机科学讲义第7577卷。施普林格·柏林海德堡出版社，第242–255页。 HONG, Q. Y., PARK, S. I., 以及 HODGINS, J. K. 2010. 基于数据的肩部复合体分割方法。《计算机图形学论坛》第29卷第2期，第537–544页。 JAIN, A.、THORMÄHLEN, T.、SEIDEL, H.-P.和THEOBALT, C. 2010年。MovieReshape：视频中人体的跟踪与形变处理。《ACM图形学交易》（SIGGRAPH会议论文集）第29卷第6期（12月），148:1–148:10。 KWON, J.-Y.和LEE, I.-K. 2007年。角色动画中的橡胶状夸张效果。收录于第15届太平洋计算机图形与应用会议论文集，IEEE计算机协会，美国华盛顿特区，PG'07，第18–26页。 LEARDINI, A.、CHIARI, L.、CROCE, U. D.和CAPPOZZO, A. 2005年。基于立体摄影测量的人体运动分析：第三部分——软组织伪影评估与补偿。《步态与姿势》第21卷第2期，第212–225页。 LIU, Y.、GALL, J.、STOLL, C.、DAI, Q.、SEIDEL, H.-P.和THEOBALT, C. 2013年。利用多视角图像分割实现多角色的无标记动作捕捉。《IEEE模式分析与机器智能交易》第35卷第11期，第2720–2735页。 LIVNE, M.、SIGAL, L.、TROJE, N.和FLEET, D. 2012年。基于3D姿态跟踪的人体属性分析。《计算机视觉与图像理解》第116卷第5期，第648–660页。 LOPER, M. 2014年。Chumpy自动微分库。。 --- ![Image](images/d97ecd0bc1a5205281eed4117668d7d8373f3979ae4dbeb9d98ab90f3329c44c.jpg)
Figure 12: Retargeting soft-tissue motions. Top row: Body part segmentation for human and stylized characters. Middle row: retargeting pose and soft-tissue motion of an actor (left) to a stylized female character (middle), with heat maps (right) illustrating the percentage of soft-tissue deformation; blue means zero and red means $\geq$ 20 percent deformation. Bottom row: retargeting to another stylized character. See accompanying video to visualize the soft-tissue motions.
NEUMANN, T.、VARANASI, K.、HASLER, N.、WACKER, M.、MAGNOR, M.和THEOBALT, C. 2013年。手臂肌肉形变的捕捉与统计建模。《计算机图形学论坛》第32卷第2期（5月），第285–294页。 NEUMANN, T.、VARANASI, K.、WENGER, S.、WACKER, M.、MAGNOR, M.和THEOBALT, C. 2013年。稀疏局部形变分量。《ACM图形学交易》第32卷第6期（11月），179:1–179:10。 NOCEDAL, J.和WRIGHT, S. J. 2006年。《数值优化》第2版。施普林格出版社，纽约。 PARK, S. I.和HODGINS, J. K. 2006年。人体运动中皮肤形变的捕捉与动画制作。《ACM图形学交易》（SIGGRAPH会议论文集）第25卷第3期（7月），第881–889页。 PARK, S. I.和HODGINS, J. K. 2008年。皮肤与肌肉形变的数据驱动建模。《ACM图形学交易》（SIGGRAPH会议论文集）第27卷第3期（8月），96:1–96:6。 ROBINETTE, K.、BLACKWELL, S.、DAANEN, H.、BOEHMER, M.、FLEMING, S.、BRILL, T.、HOERLIN, D.和BURNSIDES, D. 2002年。美国与欧洲平民体表人体测量资源（CAESAR）最终报告。技术报告AFRL-HEWP-TR-2002-0169，美国空军研究实验室。 STARK, J.和HILTON, A. 2007年。基于表演的动画表面捕捉。《IEEE计算机图形学与应用》第27卷第3期，第21–31页。 TSOLI, A.、MAHMOOD, N.和BLACK, M. J. 2014年。赋予形状以生命：3D人体呼吸的捕捉、建模与动画制作。《ACM图形学交易》（SIGGRAPH会议论文集）第33卷第4期（7月），52:1–52:11。 WADHWA, N.、RUBINSTEIN, M.、DURAND, F.和FREEMAN, W. T. 2013年。基于相位的视频运动处理。《ACM图形学交易》（SIGGRAPH会议论文集）第32卷第4期（7月），80:1–80:10。 WANG, H.、XU, N.、RASKAR, R.和AHUJA, N. 2007年。Videoshop：一种在梯度域中进行时空视频编辑的新框架。《图形模型》第69卷第1期，第57–70页。 WU, H.-Y.、RUBINSTEIN, M.、SHIH, E.、GUTTAG, J.、DURAND, F.和FREEMAN, W. T. 2012年。欧拉视频放大技术：用于揭示世界中的细微变化。《ACM图形学交易》（SIGGRAPH会议论文集）第31卷第4期（7月），65:1–65:8。