## 1 引言
身体与手实际上是密不可分的。然而尽管如此，关于身体和手的建模研究却各自独立发展。虽然在学习逼真的全身3D统计形状模型方面已取得显著进展，但这些模型通常对手部的活动能力限制较多，甚至没有相关功能。同样，利用深度传感器和视频序列追踪手部的研究也很多，但这些手部模型都是独立于身体进行建模和追踪的。我们认为，手与身体共同作用于交流过程，若不对手部和身体进行联合分析，就无法完整理解我们的行为、情绪和意图。随着虚拟现实和增强现实领域的关注度不断提升，人们对动作逼真、结合身体与手部的虚拟角色和化身的需求也日益迫切。在此，我们提出了一种捕捉手与身体4D运动的新方法。
---
在构建全身的逼真3D统计形状模型方面已经取得了不少进展，但这些模型通常对手部的活动能力限制较多，甚至无法表现手部动作。同样，利用深度传感器和视频序列来追踪手部的研究也相当丰富，不过这类研究中的手部模型都是独立于身体进行建模和追踪的。我们认为，手部与身体在交流中缺一不可，若不对手部和身体进行联合分析，便无法全面了解一个人的行为、情绪和意图。随着人们对虚拟现实和增强现实的兴趣日益浓厚，对能够呈现动态逼真身体和手部的角色及虚拟形象的需求也愈发迫切。在此，我们提出了一种全新的方法，用于捕捉手部与身体的4D运动。
多种因素导致了手部与身体的分离。像 SCAPE [Anguelov 等人，2005] 这样的全身模型是基于受试者握紧拳头的姿势训练而成的，而更现代的模型如 SMPL [Loper 等人，2015] 则假设手部是张开且刚性的。这两种模型在动画呈现时都显得不够逼真。这类 3D 人体模型是根据全身的 3D 扫描数据创建的。在大多数人体扫描仪的分辨率下，手部尺寸较小，手指部分难以被清晰捕捉，从而导致数据噪声以及手指间的“粘连”现象。此外，手部常被身体或其他部位遮挡，这往往会造成大量数据缺失。因此，为了获得足够的分辨率以及不受限制的运动效果，大多数手部视觉跟踪研究都专注于单独捕捉手部——有时也会连同前臂一起——利用 RGB-D 序列来实现。
我们的贡献主要可分为两类：一是开发新的手部模型，二是实现手部与身体的同步跟踪。
首先，我们收集了一个包含 31 名受试者、多达 51 种姿势的详细手部扫描数据库。我们采集了男性和女性的左右手数据，涵盖了多种姿势，还包括手部与物体互动的场景。
其次，我们利用这些数据构建了一个类似于 SMPL 人体模型 [Loper 等人，2015] 的统计性手部模型，我们将其命名为 MANO，即具备关节运动和非刚性变形的手部模型。与 SMPL 类似，该模型将几何变化分解为由受试者自身特征引起的部分和由姿势导致的部分。该模型经过训练，旨在最小化训练集中的顶点误差。为简化计算，姿势空间采用了线性混合蒙皮技术，同时根据扫描数据自动学习修正用的混合形状。MANO 基于 SMPL 的手部拓扑结构创建，其组成部分与 SMPL 类似：模板形状、运动学树、形状与姿势混合形状、混合权重以及关节回归器。
不过，手部的关节活动方式与全身存在显著差异；手部拥有大量活动范围受限的关节。因此，MANO 在多个方面与 SMPL 有所不同。与 SMPL 一样，MANO 也使用依赖于姿势的修正混合形状。但与 SMPL 不同的是，我们借鉴了 [Mohr 和 Gleicher 2003] 提出的局部蒙皮混合权重思路，通过惩罚那些涉及距离较远的关节的修正项，强制使这些修正混合形状具有局部性。此外，由于整个手部空间的维度较高，针对噪声多且分辨率低的身体扫描数据进行拟合时，不仅计算成本高昂，还容易陷入局部最优解。因此，我们通过从数据集中提取姿势参数的线性嵌入来降低姿势空间的维度。我们认为这是首次基于如此高质量的手部数据进行的此类分析。最终得到的 MANO 模型体积小、易于动画制作，且与现有的图形软件兼容。
第三，我们将 MANO 与 SMPL 人体模型结合，从而得到一个能够描述手部与身体相互作用的新综合模型（SMPL+H）。在此模型中，我们采用了 SMPL 模型中的手部形状空间，以捕捉手部与身体形态之间的相关性。在此基础上，我们加入了 MANO 的关节、运动学树、混合权重以及姿势混合形状。
第四，我们解决了捕捉运动中的完整身体和手部的问题。为此，我们采用了一种4D人体扫描系统，能够以每秒60帧的速度捕获完整的3D人体形状。在扫描仪的分辨率下，手部数据可能极其嘈杂且分辨率低，有时甚至会完全消失。为了恢复手部姿态，我们对DYNA [Pons-Moll et al. 2015]中使用的时序网格配准算法4Cap进行了修改，加入了一个简单的速度先验，以防止在数据完全缺失时出现突然的手部运动。借助这一方法，我们将SMPL+H模型拟合到全身4D序列中，从而恢复人体的固有形状及其变化的姿态，包括手指的关节活动。
为了展示这些模型和方法，我们将SMPL+H模型拟合到各种动作复杂的序列中。图1展示了几个示例，更多内容可在补充视频中查看。除了恢复模型参数外，我们还允许对齐后的顶点移动以更好地贴合扫描结果（若偏离模型表面则会受到惩罚），从而提升模型的真实感和细节程度。最终生成的模型和对齐结果比使用SMPL模型的效果自然得多。
总之，我们提出了一种新的手部形状和姿态模型，该模型基于数据学习而成，与现有的图形系统兼容，具有低维度、真实感强且与SMPL人体模型兼容的特点。通过将MANO模型与SMPL模型结合，我们能够以极高的真实感共同捕捉运动中的身体和手部，同时应对数据缺失和嘈杂的问题。这为研究身体与手部的相关运动开辟了前所未有的细致程度。MANO模型和SMPL+H模型可供研究使用[MANO网页]，同时还有用于训练MANO的对齐网格以及用于评估的测试数据集。
## 2 相关工作
身体和手部往往被分开研究。例如，神经控制模型长期以来都采用这种划分方式[Penfield and Boldrey 1937]。我们认为，对于视觉、图形学和虚拟现实领域而言，将手部和身体一起建模和跟踪具有重要意义。
手部捕捉。由于在计算机图形学、动画、人机交互、康复及机器人等领域的应用需求，人类手部的3D运动捕捉研究已有数十年历史[Erol et al. 2007; Heap and Hogg 1996]。近年来，随着消费级RGB-D传感器和虚拟现实技术的发展[Hamer et al. 2009; Leap 2017; Melax et al. 2013; Oberweger et al. 2015; Oikonomidis et al. 2011a, 2012; Romero et al. 2013; Schmidt et al. 2014; Schröder et al. 2014; Sridhar et al. 2015; Tagliasacchi et al. 2015; Tang et al. 2017; Taylor et al. 2016; Tompson et al. 2014; Tzionas et al. 2016; Wang et al. 2013; Xu et al. 2016]，相关研究的热度也在不断提升[Supančič III et al. 2015; Ye et al. 2013]。
---
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(i)
(j)
Fig. 2. Hand models. (a) Primitives approximation [Oikonomidis et al. 2011a], (b) Sum-of-Gaussians model [Sridhar et al. 2013], (c) Sphere-Meshes [Tkach et al. 2016] can be thought of as a generalization of the previous models, (d) Articulated TSDF for a voxelized shape-primitive hand model [Schmidt et al. 2014], (e) Triangular Mesh [Ballan et al. 2012; Tzionas et al. 2016], (f) Loop Subdivision Surface of a triangular control mesh [Khamis et al. 2015], (g) Convex Bodies for tracking [Melax et al. 2013], (h) Convex Parts of a triangular mesh for contact point detection [Tzionas et al. 2016], (i) Learned Model using a CNN to synthesize images of a given hand pose [Oberweger et al. 2015], (j) Our proposed hand MANO model. Images reproduced from the cited papers or their supplementary videos.
尽管有上述研究热情，但关键问题依然存在，手部检测和跟踪一直颇具挑战性。手部结构灵活，拥有多个自由度，且各手指在颜色和形状上极为相似。此外，手部运动速度快，容易产生运动模糊，从而增加跟踪难度。手部的3D形状还会导致自身遮挡，使得手部姿态推断变得模糊不清。最关键的问题是手部尺寸较小；在全身图像或扫描数据中，手部往往难以被清晰识别。
即便是传统的基于标记点的动作捕捉技术，在同时捕捉手部与身体方面也存在局限。大多数捕捉协议会忽略手部信息，且目前公开的数据集中也缺乏关于手指姿态的相关数据。手部需要小型标记点，而在大范围内使用时，就需要大量动作捕捉摄像头才能精确识别这些标记点。此外，标记点还会限制手部的活动范围，容易脱落，还常常被遮挡。这些因素都限制了手部与身体运动的同步捕捉与研究。
一些方法会借助额外的设备来简化手部追踪，比如可穿戴摄像头[Kim et al. 2012]、标记点[Zhao et al. 2012]、数据手套[Dipietro et al. 2008]或彩色手套[Wang and Popović 2009]。不过这类方法具有侵入性，会改变手部形状，阻碍手部的自然运动。而且，要同时捕捉全身和手部动作，还需将这些设备与其他系统结合并同步运作。像Leap Motion[Leap 2017]这类近期的商业解决方案无需标记点或手套，但只能捕捉手部动作而无法获取身体数据。
近期的大多数研究系统采用普通的RGB-D摄像头[Supančič III et al. 2015; Ye et al. 2013]，但这类摄像头的分辨率有限，现有方法也只能捕捉手部而非全身动作。另一方面，多摄像头系统[Ballan et al. 2012; Sridhar et al. 2013; Tzionas et al. 2016]虽然能覆盖较大范围，但目前仍无法实现全身与手部的同步追踪。
拟合与追踪。从Rehg和Kanade [^1994]的研究开始，学界提出了众多生成式手部模型，也有多种将其拟合到数据中的方法。这些方法包括多种滤波技术[Bray et al. 2007; MacCormick and Isard 2000; Stenger et al. 2001; Wu et al. 2001]、信念传播算法[Hamer et al. 2010, 2009; Sudderth et al. 2004]、粒子群优化算法[Oikonomidis et al. 2011a](PSO)、采样方法[Oikonomidis et al. 2014]、逆向运动学[Kim et al. 2012; Wang and Popović 2009]、概率线匹配[Athitsos and Sclaroff 2003]、降维线性搜索子空间[Heap and Hogg 1996; Wu et al. 2001]、基于贝叶斯滤波的Chamfer匹配[Thayananthan et al. 2003]以及基于物理的方法[Melax et al. 2013]。Schmidt等人[^2014]将有符号距离函数表示法拓展到关节物体上，Qian等人[^2014]则将基于梯度的ICP算法与PSO相结合。Sridhar等人[^2013]探索了在RGB图像中使用高斯求和模型进行手部追踪的方法。但这些方法均未涉及全身与手部的同步追踪问题。
手部模型。学界已提出多种手部模型，如图2所示。一种常用方法是用形状基元来近似手部（图2a），这种方法能快速计算距离[Oikonomidis et al. 2011a, 2012, 2014; Qian et al. 2014; Rehg and Kanade 1994; Tagliasacchi et al. 2015]。另一种方法是高斯求和模型[Sridhar et al. 2015, 2013]（图2b）。图2c中的球体网格模型[Tkach et al. 2016]可视为这些模型的推广，而基于形状基元的模型也常被用作底层碰撞模型[Oikonomidis et al. 2011b]。Schmidt等人[^2014]会将每个形状基元体素化，并为局部坐标系计算有符号距离函数（图2d）。Melax等人[^2013]则使用凸体并集来进行手部追踪。不过这些方法对手部形状的近似程度有限。
采用线性混合蒙皮（LBS）[Lewis et al. 2000]的三角化网格模型（图2e）更加逼真，且与图像数据的契合度更高[Ballan et al. 2012; Tzionas et al. 2016]。尽管这类网格模型的形状固定，但在交互过程中计算接触点时仍具有实用价值[Tzionas and Gall 2015]；通过将网格近似为一组凸包[Tzionas et al. 2016]（图2h），可加速这一计算过程。最近出现的一种替代方案[Taylor et al. 2016]采用平滑的Loop细分曲面[Loop 1987]（图2f）来建模手部，这种曲面能够高效且精确地计算导数。De La Gorce等人[^2011]定义了一个三角化手部模型，并为每块骨骼引入了缩放参数，从而使手部能够改变形状。他们利用表面纹理和着色效果，通过“分析-合成”方法将模型与图像相匹配。
---
近年来，深度学习为从图像和深度图中估计手部姿态提供了新的途径。与Tompson等人[^2014]仅使用单个卷积神经网络（CNN）从输入图像预测手部关节的做法不同，Oberweger等人[^2015]训练了第二个CNN，以形成从输出到输入的闭环并优化预测出的姿态。这个第二个CNN（图2i）是一种图像合成器，其设计灵感源自Dosovitskiy等人[^2015]的研究，能够根据第一个CNN预测出的手部姿态来渲染手部图像。
上述所有方法都是将手部独立于身体其他部位进行建模，只有[Melax et al. 2013; Taylor et al. 2016]的研究还考虑了前臂。不过，正如我们在实验部分所展示的那样，在真实的全身数据中，手部及前臂数据噪声较大甚至完全缺失的情况并不少见。
降维处理。虽然手部拥有众多自由度，但其中大部分并非独立可控；在自然运动中，手部姿态实际上属于低维空间。研究人员已采用各种手套式[Santello et al. 1998; Todorov and Ghahramani 2004]或标记点式[Schröder et al. 2014]的采集方法来研究这一问题，而有效维度会因任务和采集系统的不同而有所差异。Santello等人[^1998]发现，两个主成分就能解释其数据中超过80%的方差。Schröder等人[^2014]则发现，3-6个成分可解释80–90%的方差。Todorov和Ghahramani[^2004]采用不同的实验方案，得出有效维度约为6.5的结论。虽然我们的采集方法有所不同且更为精细，但研究结果与Todorov和Ghahramani[^2004]的结论基本一致。
ElKoura和Singh[^2003]证明了低维手部姿态空间的实际应用价值，他们将其用于数据驱动的方法中，以生成适合音乐创作的物理上合理的手部姿态。此外，Schröder等人[^2014]也利用这一空间来实现对含噪RGB-D数据的高效手部跟踪。不过，他们训练模型时所用的运动数据是通过侵入式的标记点采集方式获得的，这种方式会改变手部的形状和姿态空间；而且他们所依赖的模型是基于圆柱形基本体构成的固定形状模型。
个性化手部模型。针对用户定制手部模型能够提升跟踪精度[Tan et al. 2016]。可以通过多视角立体成像方法离线重建个性化的模板网格[Ballan et al. 2012; Tzionas et al. 2016]，但这种方法的用户扩展能力较差。De La Gorce等人[^2011]定义了56个缩放参数以使骨骼长度可变，但他们并未从数据中学习这些参数之间的相关性。Taylor等人[^2014]则通过离线校准步骤，调整模板手部网格的形状，使其适配用户手部的深度数据，从而实现个性化建模。
Khamis等人[^2015]进一步利用深度传感器采集的50人的手部扫描数据，来学习形状变化的模型。他们将线性混合蒙皮模型拟合到部分手部扫描数据上，并从中学习出描述偏差的低维PCA模型。这与MANO模型类似，只不过他们限定了依赖姿态的变形必须由LBS来建模；而我们则通过学习依赖姿态的校正混合形状来生成更逼真的姿态网格[Loper等人，2015]。经过校准步骤[Sharp等人，2015]后，他们的模型便可用于实时跟踪[Tan等人，2016；Taylor等人，2016]。
人体模型。人体的建模与跟踪发展历程与手部类似，可参照图2中的示例。早期的人体模型基于几何图元，而较新的模型则是从数据中学习得到的。早期方法能捕捉人体形状的统计特征，但并未建模身体几何结构随姿态变化的情况[Allen等人，2003；Seo等人，2003]。SCAPE模型的问世[Anguelov等人，2005]展示了如何构建同时结合形状与姿态变化的模型。SCAPE模型实现了极高的真实感，催生了许多相关研究方法[Chen等人，2013；Freifeld和Black，2012；Hasler等人，2009；Hirshberg等人，2012；Pons-Moll等人，2015]。这些模型用三角形变形来表示形状，这在优化与拟合方面会带来技术挑战。在这方面，基于顶点的模型[Allen等人，2006；Hasler等人，2010；Loper等人，2015]更为理想。不过这些模型均未考虑手部运动，均采用握拳或张开手的固定姿态。
我们的手部模型以SMPL[Loper等人，2015]为基础，并将SMPL中的手部替换为新学到的MANO模型。原始的SMPL手部包含少量弯曲与腕部旋转，但不足以捕捉显著的手部姿态变化。新的MANO模型既可以单独使用，也能与人体模型结合（即SMPL+H）。单独使用时，由于它基于标准的基于顶点的建模方法，应能轻松替代上述大多数手部模型。当与人体模型结合时，我们便能同时估计手部姿态与身体运动。据我们所知，此前尚无模型试图同时建模并捕捉全身与精细手部细节。
## 3 模型
鉴于同时捕捉手部与人体的难度较大，我们主张采用两阶段方法来创建灵巧的全身模型。首先，我们收集大量孤立状态下的手部扫描数据。这些扫描是利用专门配置用于固定腕部位置来扫描手部的设备获得的，这样就能捕捉到手部变形的细微差别。接着，我们采用迭代过程训练手部模型：先用模型将模板与扫描数据对齐，再从配准后的扫描数据中学习模型。第二阶段，我们将该手部模型与全身模型整合，从而得到单一、灵巧且完全可活动的身体模型。
MANO模型基于SMPL[Loper等人，2015]，且与全身SMPL模型兼容。为了便于将手部模型与全身模型整合，我们以全身模型中的手部顶点作为模板。为完整起见，此处给出原始论文[Loper等人，2015]中提出的SMPL模型M的一般公式：
$$ M(\overrightarrow{\beta},\overrightarrow{\theta})=W(T_{P}(\overrightarrow{\beta},\overrightarrow{\theta}),J(\overrightarrow{\beta}),\overrightarrow{\theta},\mathcal{W}) $$
$$ T_{P}(\overrightarrow{\beta},\overrightarrow{\theta})=\bar{\mathbf{T}}+B_{S}(\overrightarrow{\beta})+B_{P}(\overrightarrow{\theta}) $$
其中，蒙皮函数W（在本例中为LBS）被应用于具有形状$T_P$、定义运动树的关节位置J、姿态$\vec{\theta}$、形状$\vec{\beta}$以及混合权重$\mathcal{W}$的关节装配网格。
与传统的LBS模型不同，在SMPL模型中，经过姿态调整和蒙皮处理的网格$T_{P}$是手部姿态和形状的函数。形状混合变形函数$B_{S}$使得基础形状能够随个体特征而变化。
---
Fig. 3. Data collection with the 3dMDhand System. The system captures a hand with the wrist resting on a hand stand, and performing different articulated motions. The active stereo system is composed by 5 scanning units, each collecting one color image (top row) with flash-based illumination and two grayscale images (bottom row) using speckle illumination. The result is a high quality, textured scan of the hand (right most image).
手部的基础形状会随个体特征发生变化。姿态混合变形函数$B_{P}$则用于描述网格随关节弯曲而产生的形变。传统的LBS模型过于平滑，且会在关节处出现“塌陷”现象。对于MANO模型，我们学习了用于修正这些缺陷的混合变形，从而让手指弯曲效果更加自然。
具体来说，姿态混合变形和形状混合变形被定义为一组形变的线性组合，也就是顶点偏移量：
$$\begin{array}{r l r}{B_{P}(\vec{\theta};\mathcal{P})}&{{}=}&{\displaystyle\sum_{n=1}^{9K}\left(R_{n}(\vec{\theta})-R_{n}(\vec{\theta}^{*})\right)\mathbf{P}_{n},}\end{array}$$
$$ \begin{array}{r l r}{B_{S}(\overrightarrow{\beta};\mathcal{S})}&{{}=}&{\displaystyle\sum_{n=1}^{|\overrightarrow{\beta}|}\beta_{n}\mathbf{S}_{n}.}\end{array} $$
此处$\mathbf{P}_n \in \mathcal{P}$代表姿态混合变形，K表示手部模型中的部件数量。这些并非直接由手部部件的旋转来控制，而是由类似SMPL模型中的部件旋转矩阵元素来决定。$R_n(\vec{\theta})$用于索引拼接后的旋转矩阵元素向量中的$n^{th}$元素，而$\vec{\theta}^*$则表示零姿态。
形状混合变形是通过对一组已配准的手部形状进行主成分分析（PCA）得到的，这些形状均已归一化到零姿态，如图4所示。因此，这里的$\beta_n$为线性系数，向量$\mathbf{S}_n \in \mathcal{S}$则是我们在下文将要学习的低维形状基中的主成分。
关节位置$J(\beta)$同样依赖于形状参数。这些参数是通过稀疏线性回归矩阵$\mathcal{J}$从网格顶点中学习得到的，这一方法与SMPL模型中的做法一致。更多细节请参阅[Loper等人，2015]。
在能够学习模型参数$(S, \mathcal{P}, \mathcal{W}, \mathcal{T}, \bar{T})$之前，我们首先需要获取大量不同姿势下多人的手部扫描数据，然后将模板网格与这些数据进行配准以实现对应关系。我们将在下方详细描述这些步骤。
### 3.1 手部数据
我们的手部数据是通过3dMDhand系统[3dMDhand 2017]采集的（图3，3dMD LLC，亚特兰大）。该系统由五个扫描单元组成，每个单元包含一台分辨率为$2448 \times 2048$的彩色摄像头、两台分辨率为$1624 \times 1236$的灰度摄像头，以及两台为灰度图像提供照明的散斑投影仪。扫描结果的分辨率约为
Fig. 4. PCA shape space. Each column depicts the effect of one of the first five principal components (PCs) of the learned hand shape space. The effect of each PC is shown by adding $\pm3$ standard deviations (std) to the mean shape (left-most image), as indicated. See the Supplemental Video.
5万个顶点，包含纹理贴图，根据制造商说明，其均方根误差仅为0.2毫米。
利用该系统，我们采集了31名受试者的左右手数据，共得到2018组扫描结果。我们将左手扫描数据镜像处理，使其看起来像右手数据。这种镜像处理有助于我们训练出统一的手部模型；之后我们再将训练好的右手模型镜像回去，以生成左手模型。
每位受试者需完成三种类型的姿势：一组关节探索姿势、Feix等人提出的抓握分类法中的31种姿势[^2016]，以及一些混合姿势。完整的姿势集合可见图5。每位受试者会根据自身情况完成协议中的部分内容。
对于每次扫描，我们都会手动移除与手臂和倒立姿势相关的几何数据。这种手动裁剪每次扫描大约需要30秒。随后，我们利用颜色信息自动分割出涉及物体抓握的姿势中的物体，因为这些物体被涂成了绿色。更具体地说，只要某个顶点在8位RGB色彩空间中的$G > \max(R, 20)$值满足条件，该顶点就会被归类为物体顶点。
---
Fig. 5. Hand capture protocol. Each of the 31 subjects performed most of the 51 hand poses shown here. Images here are shown from multiple subjects.
其中G和R分别对应绿色通道和红色通道的数值。这种方式会导致抓取物体的手部扫描数据出现明显的孔洞。
### 3.2 配准
构建手部模型的下一步是将模板与所有手部扫描数据进行配准或对齐，从而使它们相互对应。对含噪的手部扫描数据进行配准是一项极具挑战性的任务。网格配准本身就是一个难题，而手部由于具有高度相似的结构（手指）以及大量的自身和物体遮挡现象，使得配准难度更大。虽然以往的一些研究利用标志点来简化配准过程，但我们并未采用这种方法，因为在配准大量扫描数据时这种方法并不实用。相反，我们通过人工筛选配准结果来启动模型的创建过程。具体来说，我们先从一个粗糙的手部模型开始，用它来配准所有扫描数据，人工挑选出质量较好的配准结果，据此学习得到改进的模型，然后重复这一过程。这样便能逐步优化配准效果和模型质量。
我们将配准过程视为一个优化问题：在确保配准结果符合模型预测的前提下，最小化扫描数据与已配准网格V之间在配准顶点位置上的距离。此处我们不展开详细说明，因为该方法与以往的研究[Hirshberg等人，2012年；Loper等人，2015年]类似，只是增加了人工筛选环节。具体而言，我们最小化的是
$$ E(\vec{\beta},\vec{\theta},{\bf V};{\bf S})=\lambda_{g}E_{g}+\lambda_{c}E_{c}+\lambda_{\theta}E_{\theta}+\lambda_{\beta}E_{\beta} $$
$$ E_{g}(\mathbf{V};\mathbf{S})=\sum_{s\in\mathcal{S}}\rho(\min_{v\in\mathcal{V}}\|s-v\|) $$
$$ E_{c}(\mathbf{V},\overrightarrow{\beta},\overrightarrow{\theta})=\sum_{i}\|D_{i}(\mathbf{V})-D_{i}(M(\overrightarrow{\beta},\overrightarrow{\theta}))\|^{2} $$
$$E_{\theta}(\vec{\theta})=||\vec{\theta}||^{2}$$
$$E_{\beta}(\vec{\beta})=\|\vec{\beta}\|^{2}.$$
能量函数由四个主要部分构成：数据（或几何）项$E_g$、耦合项$E_c$、姿态先验$E_\theta$以及形状先验$E_\beta$。数据项$E_g$表示扫描数据S中的顶点s与配准表面$\mathcal{V}$之间的点到平面距离（其中手写体符号表示连续表面），并通过Geman-McClure误差函数$\rho$[Geman和McClure，1987年]来增强其鲁棒性。
耦合项$E_c$促使已配准的网格V与模型M相似，我们也会对模型M的参数$\vec{\beta}, \vec{\theta}$进行优化。此处我们依据模型边缘与配准网格边缘之间的差异来定义相似性。这些边缘由函数D给出，它本质上是一种线性映射。通过直接优化配准过程中的顶点，我们可以突破模型的限制，获得更精确的配准结果，同时耦合项又能保证配准结果与模型保持合理的接近程度。
形状先验项$E_{\beta}$会对优化后的形状参数与CAESAR数据集[Robinette等人，2002年]中手部形状分布之间的马氏距离进行惩罚。由于我们的形状空间是通过对未受姿势影响的配准结果执行主成分分析得到的，因此它是正交的。我们根据解释方差的平方根来调整其基向量$\sqrt{cov}$，这就要求系数$\vec{\beta}$需按基向量的逆进行缩放，从而实现对它们的标准化。因此（参见[Brereton，2015年]），马氏距离可以方便地表示为形状参数$\vec{\beta}$的范数。
对于姿态先验$E_{\theta}$，我们为每种姿态定义了特定的先验（因为根据协议它们的值是已知的）。我们先用一种惩罚偏离中性姿态行为的先验来初始化，随后针对每种姿态用高斯先验进行细化。
公式5中的目标函数具有高度非凸性。为了对其进行优化，我们采用了狗腿法——一种拟牛顿最小二乘优化器[Nocedal和Wright 2006]。梯度则是通过OpenDR[Loper和Black 2014]的自动微分功能来计算。
我们将配准和模型构建的整个过程迭代两次，期间会进行最终的视觉检查以确定__
---
训练用的配准良好的网格数据库。经过检查，2018个扫描样本中的1554次配准被判定为成功，并被纳入发布的数据集中。由于这只是简单的二元标记任务，每次扫描的检查时间仅需大约1-2秒。在配准过程中，第一次迭代我们使用初始姿态先验，第二次则使用上述提到的特定姿态高斯先验。在一台主频为3.7 GHz的四核Intel Xeon E5计算机上，利用4个线程进行配准时，每帧处理时间约为30秒，其中只有最近点搜索环节是多线程处理的。
图6展示了一位受试者的一系列手部扫描图像及对应的对齐网格。图7展示了不同受试者在同一种相对平坦的姿态下的各种手型。这些图片能让我们了解对齐网格的细节程度。
### 3.3 手部模型
基于这组经过筛选的配准数据，我们的目标是学习SMPL风格手部模型的参数，使其能适配这些配准结果。我们采用了与[Loper等人2015]中用于身体建模相同的策略。模型参数，即$(S, P, W, \mathcal{T}, \bar{T})$，会在其他参数保持不变的情况下通过迭代方式优化。与SMPL类似，个性化模板$\tilde{T}_i$被用于优化与姿态相关的组件$(P, W)$，而通过PCA进行的线性分解则用于填充形状空间S和模板$\bar{T}$。不过，我们修改了SMPL中的多个组件，以兼顾手部与身体之间的差异。
MANO包含15个关节以及全局朝向。与身体中的大多数关节不同，许多手部关节在解剖学上仅受限于一个自由度，但为简便起见我们的模型将其视为球窝关节。因此手部姿态实际上是过度参数化的。由于SMPL模型中的大部分参数都属于随关节数量线性增长的姿态相关混合形状$B_{P}$，对于手部这种高度关节化的物体而言，对$B_{P}$进行正则化以避免过拟合至关重要。这种过拟合的一个表现就是，按照[Loper等人2015]所述流程训练的模型所产生的姿态相关变形具有非局部性。
因此，我们重新构建了模型，使其具备更强的正则化机制，从而促使姿态相关混合形状$B_{P}$局限于对其有影响的关节附近。由于姿态相关混合形状会将姿态旋转元素映射为顶点位移，实现这一点的自然方式是惩罚顶点位移对旋转中心距离较远的关节的依赖程度。
更具体地说，我们用一个取决于输入关节与输出顶点之间距离的成本，来替换SMPL中所有姿态混合形状元素所对应的恒定成本$\lambda_{P}$（公式14 [Loper等人2015]）。
$$ \Lambda_{P}(i,j)=\mathcal{T}_{j}D_{\mathrm{g e o}}(t_{i},\bar{T}) $$
其中，$D_{\text{geo}} \in \mathbb{R}^N$ 表示特定顶点 $t_i$ 与模板网格 $\tilde{T}$ 中其余顶点之间的测地距离，而 $\mathcal{J}_j \in \mathbb{R}^N$ 则表示关节 j 对应的关节回归矩阵。$\Lambda_P$ 用于为每一对输入关节和输出顶点确定代价。由于每个输入关节对应 9 个标量输入（即其旋转矩阵），且每个输出顶点对应 3 个标量，因此在计算与 $\Lambda_P$ 的乘积之前，$3 \times 9$ 中的每个元素都会被扩展为一个 $\mathcal{P}$ 块。到加权平均点的测地距离并未被定义；因此，我们用测地距离的加权平均值来替代它。这种新的正则化方案能够产生更具局部性且经过正则化的、依赖于姿态的形变，相关效果可参见补充视频中的演示。
其次，我们模型的零姿态代表一只平摊的手（如 CAESAR 数据集 [Robinette et al. 2002] 中所示，为了与 SMPL 兼容），这与我们数据集中的平均姿态相去甚远（见图 10）。由于模型的优化顺序，零姿态与平均姿态之间的差异所产生的形变会导致不自然的模板。更具体地说，个性化模板 $\hat{T}_{i}$ 的初始优化是使用没有姿态混合形状的模型 $B_{P}$ 来执行的，这些姿态混合形状在此之后才进行优化。然后模板吸收零姿态和平均姿态之间的姿态相关修正，导致指关节出现不自然的凸起（见图 8 顶行）。因此，在姿态相关形变能够合理工作之前，模板优化不应考虑具有极端姿态的配准。我们通过根据认为配准可能受到姿态相关混合形状影响的程度，对用于优化 $\hat{T}_{i}$ 的配准进行加权来表达这一点，即
$$ w_{i}=\left[\sum_{n=1}^{9K}\|R_{n}(\overrightarrow{\theta})-R_{n}(\overrightarrow{\theta}^{*})\|_{F}^{2}\right]^{-2} $$
其中，$R_n$ 代表与姿态轴角 $n^th$ 或静止姿态 $\vec{\theta}$ 相对应的旋转矩阵拼接后的 $\vec{\theta}^*$ 元素，而 $\|\cdot\|_F$ 则表示弗罗贝尼乌斯范数。我们选择使用旋转轴差异的弗罗贝尼乌斯范数，是因为它具有明确的欧几里得解释，同时具备旋转不变性，且不存在周期性方面的问题，这一点优于角度差等其他表示方法。采用双重平方运算是一种简单的启发式策略，旨在对偏离静止姿态的情况予以严厉惩罚。公式 (11) 中的权重仅在 $\hat{T}_i$ 优化的第一轮迭代中生效，此时依赖于姿态的混合形状取值为零，这些权重本质上是对那些会激活强烈姿态混合形状的、偏离静止姿态的情况进行惩罚。
第三，我们利用左右手的对称性，利用右手及（镜像后的）左手数据来创建单一的右手模型。随后再将得到的模型镜像处理，从而得到左手模型。这种方式能让我们虚拟地将训练数据量翻倍，有助于限制过拟合现象。关于镜像处理的详细内容详见补充材料。
最后，与 SMPL 的另一个区别在于：在完成初始配准之后，我们并未使用 CAESAR 数据来构建形状空间。相反，我们利用姿态受试者给出的中性姿态来计算自己的形状空间。图 7 展示了一些示例。这么做的原因是，CAESAR 数据集中的配准结果存在系统性偏差，这种偏差源于姿态、遮挡以及数据集创建所采用的技术等因素的综合作用。
通过训练流程中的这些改动，我们如今按照[Loper等人，2015年]的方法训练MANO模型。在配备3.7 GHz四核英特尔至强E5处理器、开启8个线程的单台计算机上，这一步骤大约需要耗时42小时。我们模型中学习到的组件——比如与姿态相关的矫正混合形状——对于纠正误差至关重要。
---
Fig. 6. Examples of the captured poses for a single subject. The top row shows some of the captured scans, while the bottom row shows the corresponding mesh alignments with pink color.
Fig. 7. Examples of the captured "flat-hand" pose for various subjects. The top row shows some of the captured scans, while the bottom row shows the corresponding mesh alignments with pink color.
Fig. 8. Three different views (columns) of the average pose-subject templates $\hat{T}_{i}$ for a model optimized with constant (first row) and vertex-joint-dependent (second row) regularization. Pay attention to the bumps in the knuckles in the first row, which are attenuated considerably in the second.
这些误差源于线性混合蒙皮算法，同时它们也影响着手指自然弯曲效果的呈现；详见图9。
手部姿态嵌入。为了让该模型能切实应用于扫描配准场景，我们试图提取出一组能够高效描述最常见手部姿态的参数。神经科学研究表明，大多数手部姿态的变异都存在于低维流形上[Santello等人，1998年]，因此我们会用一组系数来参数化每种手部姿势，这些系数可映射到一个低维流形上。对该流形的唯一要求是它必须可微，以便能在我们的优化框架中应用链式法则。为了追求简洁性，我们选择利用数据集中的姿态通过PCA得到的线性映射，且采用轴角表示形式（将所有轴角映射到范围$(-\pi, \pi]$内）。我们姿态空间的主成分可在图10中看到。对于高质量数据而言，使用较多的主成分就能实现高精度；但对于含噪数据来说，则需要在精度（较多主成分）与鲁棒性（较少主成分）之间做出权衡。针对我们的数据，我们发现每只手仅需6个成分就足以模拟最常见的手部姿态，能捕捉到训练姿态中约81%的变异量（详见实验部分）。
### 3.4 SMPL+H：模型集成
与以往的手部模型不同，我们的目标是得到一个能与全身扫描数据配准的、集成化的灵巧全身模型。因此，我们需要将左右手模型与完整的SMPL身体模型进行集成。基本的集成过程十分简单：模型中与手指关节活动相关的组件（混合权重、与姿态相关的形变以及关节回归器）取自训练好的MANO模型，而其余身体部位的组件则取自包含手腕在内的完整SMPL模型。为了捕捉身体与手部形状之间的相关性，我们利用完整身体模型中的形状空间[Loper等人，2015年；Robinette等人，2002年]来确定手部的形状。
与SMPL模型类似，这种身体+手部模型完全兼容动画制作软件及游戏引擎，其简洁的设计也让它使用起来快速又方便。不过，手部完整的关节活动能力也带来了代价：姿态空间的维度增加了一倍多。这其实有些适得其反，因为大部分姿态自由度都集中在身体的一个小区域内，而该区域的数据往往存在噪声或缺失。因此，我们并未采用手部姿态空间的完整维度，而是为每只手使用了上文所述的6维线性嵌入。这样一来，不含手部的SMPL模型拥有66个自由度，而SMPL+H模型则拥有78个自由度。
---
Fig. 9. The effect of pose blendshapes. From left to right, model without pose-dependent blendshapes in red, model with pose-dependent blendshapes in green, registration in pink, two overlays, personalized template in cyan, personalized template plus pose-dependent blendshapes in yellow. Pose blend shapes prepare the hand template for the subsequent articulation, to correct for artifacts of the latter. Therefore the deformations of the template in yellow correct the artifacts in red (best viewed on screen) and result in a good model after posing, shown with green color. Each row shows two different poses; the first one shows a large correction on the bending of the pinky finger, while the second one shows the correction of the articulation in the middle finger.
Fig. 10. PCA pose space. The left-most image depicts the mean pose, while the rest of the columns depict the effect of the first ten principal components (PCs) of the pose space. The effect of each PC is shown by adding $\pm2$ standard deviations (std) to the mean pose, as indicated.
## 4 捕捉身体与手部运动
为了评估SMPL+H模型，我们使用了包含运动中的身体和手部的4D序列数据，也就是3D扫描的时间序列。我们将所提出的模型拟合到这些扫描数据上，使所有数据都能相互对应。
### 4.1 摄像系统
为此，我们采用了3dMDbody.u [3dMDbody 2017]多摄像头主动立体成像系统，能够以每秒60帧的速度采集3D扫描数据。该摄像系统由22对立体摄像头、22个彩色摄像头、34个散斑投影仪以及白光LED面板阵列组成。在此实验中我们并未使用彩色摄像头。对于每一帧t，系统会输出由立体摄像头生成的3D扫描数据$S^t$，这些数据用于描述投影的纹理图案。
这些摄像头对的排列方式能够覆盖多个重叠视角，从而支持各种全身运动，如手臂活动、原地跑步、投掷或跳跃等。所有摄像头协同工作以捕捉全身图像，没有摄像头专门用来拍摄手部。这种设置虽然有利于采用我们所提出的整体模型，但却给手部建模带来了额外挑战：手部区域分辨率较低，投影的散斑图案尺寸远大于手指宽度，且手指运动速度极快。这些因素导致在连续数帧中会出现大面积的遮挡区域，使得手部特征无法被观测到。上述情况表明，需要构建强大的手部模型，并将其与全身模型相结合。
### 4.2 序列
利用第4.1节所述的摄像系统，我们采集了一组具有挑战性的新4D序列，涵盖了不同受试者和动作类型。这些序列被分为三组。第一组包含11个序列，涉及10名受试者（5男5女），他们的体型各异，均执行无约束的即兴动作。针对这组序列，我们将所提出的模型与SMPL模型进行比较。第二组共28个序列，针对同一受试者采集，动作设计侧重于手部运动，包括打篮球、数数或打字等。第三组包含2个序列，由两名专业女演员表演表达恐惧情绪的即兴动作。第一组序列的帧数在189到1125之间，第二组在204到890之间，第三组则超过3500帧。总体而言，我们的数据集包含41个序列，共计27,156帧及对应的3D扫描数据。所有受试者均穿着统一的简易服装：男女均为紧身泳裤，女性还穿着运动胸罩。所有受试者均已签署书面知情同意书，同意参与本研究。
### 4.3 网格配准
全身配准的目标是通过为身体和手部匹配单一的3D模板，使所有时间点的3D扫描数据能够相互对应。
---
该模板$\bar{T}$是一个由6890个顶点和13,776个三角形构成的封闭三维三角网格。
与第3.2节类似，配准过程被转化为一个最小化问题。我们通过最小化扫描数据与配准结果之间的距离，来调整配准顶点的位置，从而减小模型与数据之间的差异。
在注册过程中，我们采用了与[Loper等人，2015年；Pons-Moll等人，2015年]类似的两阶段方法。首先，我们利用一部分扫描数据——通常是受试者保持相对静止的前50帧——为每个受试者j计算出特定的模板$\tilde{T}^j$。随后，我们利用$\tilde{T}^j$将所提出的模型与所有扫描数据（包括第一阶段所用的子集）对齐。通过采用针对特定受试者的模板，第二阶段的优化过程会显著加快。为了确保局部优化能够顺利进行，在两个阶段中，每一帧的优化都是以上一帧的姿态作为初始值。如果第一帧缺乏合适的初始值，我们会为该帧增加一个额外的初始阶段，在此阶段会使用更强的姿态先验。
4.3.1 针对特定受试者的模板。对于初始值远离最优解的第一帧，我们利用受试者被要求从近似“A字姿势”开始这一事实，采取一种带有强姿态先验的保守策略。对于这一帧，我们仅通过优化姿态和形状来求解模型拟合结果。
$$ E_{0}(\vec{\beta},\vec{\theta};\mathbf{S},\lambda_{a})=\lambda_{a}\lambda_{\bar{g}}E_{\bar{g}}+\frac{\lambda_{\theta_{b}}}{\lambda_{a}}E_{\theta_{b}}+\frac{\lambda_{\theta_{h}}}{\lambda_{a}}E_{\theta_{h}}+\lambda_{\beta}E_{\beta} $$
其中
$$ E_{\vec{g}}(\vec{\beta},\vec{\theta};\mathbf{S})=E_{g^{*}}(\vec{\beta},\vec{\theta};\mathbf{S})+0.1E_{g^{\prime}}(\vec{\beta},\vec{\theta};\mathbf{S}) $$
$$ E_{g^{*}}(\vec{\beta},\vec{\theta};\mathbf{S})=\sum_{s\in\mathbf{S}}\rho(\min_{m\in\mathcal{M}(\vec{\beta},\vec{\theta})}\|s-m\|) $$
$$ E_{g^{\prime}}(\vec{\beta},\vec{\theta};\mathbf{S})=\sum_{m\in M(\vec{\beta},\vec{\theta})}\rho(\min_{s\in C}\|s-m\|) $$
$$E_{\theta_b}(\vec{\theta}_b)=\|\vec{\theta}_b\|^{2}$$
这里，$\mathcal{M}(\vec{\beta}, \vec{\theta})$表示由模型顶点$M(\vec{\beta}, \vec{\theta})$构成的表面，C表示由扫描顶点S构成的表面；数据项$E_g$包含类似于公式(6)的扫描到网格能量$E_g^*$以及网格到扫描的能量$E_g'$。我们通过实验发现，20个形状参数$\beta_i \in \vec{\beta}$就足以有效捕捉形状特征。
虽然一般来说$E_g^*$就足以完成拟合，但$E_g'$对不匹配的模型顶点施加的惩罚机制，能避免在该阶段提取的模板中出现手部过长等问题。从这个角度看，正如[Tagliasacchi等人，2016年；Tkach等人，2016年]所论述的那样，$E_g$可以被视为豪斯多夫距离的近似；将豪斯多夫公式中的最大值运算符替换为求和运算后，该公式便具有可微性，同时也能增强对异常扫描数据的鲁棒性。
此外，$E_{\beta}$是类似于公式(9)的形状项，$E_{\theta_{b}}$是类似于公式(8)的姿态先验。这种先验适用于身体姿态参数$\tilde{\theta}_{b}$，范围涵盖手腕及以内部位，不包括手指，即$\tilde{\theta}_{h}$。我们通过实验发现，高斯姿态先验并不适用于手部，因为一旦扫描数据中缺少手部信息，该先验就会将手部姿态困在均值姿态附近的局部最小值中，即便后续重新出现手部数据也是如此。由于手部姿态偏差并非呈高斯分布，我们发现高斯混合模型（GMM）的表达能力更强。受[Bogo等人，2016年；Olson和Agarwal，2013年]的启发，我们采用GMM，通过将GMM中的求和运算近似为最大值运算符来实现。
$$E_{\theta_{h}}(\vec{\theta}_{h})\equiv-\operatorname{l o g}\sum\big(g_{j}\mathcal{N}(\vec{\theta}_{h}\vec{\mu}_{\theta_{h},j},\Sigma_{\theta_{h},j})\big)$$
$$ \approx-\log\max_{j}\left(g_{j}\mathcal{N}(\vec{\theta}_{h}\vec{\mu}_{\theta_{h},j},\Sigma_{\theta_{h},j})\right) $$
$$ =\min_{j}\Big(-\log\big(g_{j}\mathcal{N}(\vec{\theta}_{h}\vec{\mu}_{\theta_{h},j},\Sigma_{\theta_{h},j})\big)\Big) $$
其中 $g_j$ 表示N个高斯的混合模型权重，而 $\tilde{\mu}_{\theta_h,j}$ 和 $\Sigma_{\theta_h,j}$ 则分别表示混合模型中每个分量的均值矩阵和协方差矩阵。针对左手和右手分别独立计算GMM，但所使用的数据相同，即来自MANO数据集的所有左右手姿态数据，并根据需要对其进行镜像处理。我们通过实验发现 $N = 10$ 的效果较好。目标函数（12）会在基于退火权重 $\lambda_a$ 的退火框架中被使用。在优化过程初期，由于初始解距离理想最优解较远，优化过程很容易陷入局部最小值。因此，我们一开始采用较小的权重 $\lambda_a = 100$，从而让先验项的权重更高、数据项权重更低。利用该权重完成粗略对齐后，我们再使用较大的权重 $\lambda_a = 500$ 进行配准，以便在较弱的先验约束下实现更精准的拟合。目标函数（12）仅用于第一帧，作为后续阶段粗略初始化的第一步。
接下来，我们通过最小化以下表达式来优化形状、姿态以及完全耦合的对齐网格V：
$$ E(\vec{\beta},\vec{\theta},\mathbf{V};\mathbf{S},\lambda_{a})=\lambda_{a}\lambda_{g}E_{g}(\mathbf{V};\mathbf{S})+\frac{\lambda_{\theta_{b}}}{\lambda_{a}}E_{c}+\frac{\lambda_{\theta_{h}}}{\lambda_{a}}E_{\theta_{h}}+\lambda_{\beta}E_{\beta}+\lambda_{r}E_{r} $$
其中
$$ E_{r}(\overrightarrow{\theta})=\sum_{k}\|\theta_{k}-\theta_{k}^{\prime}\|^{2} $$
并且 $E_{g}$ 与 $E_{c}$ 分别由公式（6）和（7）定义。需注意的是，$E_{c}$ 是一个“耦合”项，用于约束对齐后的网格与模型尽可能接近。
为了给拟合过程留出更多自由度，我们去掉了身体姿态先验项 $E_{\theta_{b}}$。不过我们保留了手部姿态先验项 $E_{\theta_{h}}$，因为手部数据往往噪声很大，甚至会在连续几帧中完全消失。正因如此，数据项被简化为 $E_{g}$，即去掉了公式（15）中对模型点的求和运算，该运算对扫描数据中的空洞极为敏感。项 $E_{\beta}$ 在公式（9）中有定义。为了抑制抖动运动带来的不稳定性，我们引入了零速度正则化项 $E_{r}$，用于在优化过程中惩罚当前 $\theta$ 姿态参数与前一帧 $\theta'$ 姿态参数之间的大幅变化，尤其是在完全没有数据输入的情况下。
在将初始子序列中的所有帧对齐后，我们参照[Loper等人，2015]的方法对所有对齐后的网格进行去姿态处理，并通过视觉检查手动选取一部分网格，以过滤掉去姿态过程中产生的伪影。随后，我们对这些去姿态后的对齐结果取平均值，从而得到特定于该受试者的模板 $\bar{T}^{j}$。
4.3.2 特定受试者的序列对齐。在获得特定于受试者的模板 $\bar{T}^j$ 之后，我们在第二阶段避免对 $\beta$ 进行优化，
---
以此显著提升优化速度并增强鲁棒性。因此，我们的对齐过程类似于4.3.1节的描述，但省略了形状项 $E_{\beta}$。这样一来，第一帧的初始化便通过基于模型的优化来完成，
$$ E_{0}(\overrightarrow{\theta};\mathbf{S},\lambda_{a})=\lambda_{a}\lambda_{\overrightarrow{g}}E_{g}(\overrightarrow{\beta},\overrightarrow{\theta};\mathbf{S})+\frac{\lambda_{\theta_{b}}}{\lambda_{a}}E_{\theta_{b}}+\frac{\lambda_{\theta_{h}}}{\lambda_{a}}E_{\theta_{h}} $$
随后进行耦合对齐。
$$ E(\overrightarrow{\theta},\mathbf{V};\mathbf{S},\lambda_{a})=\lambda_{a}\lambda_{g}E_{g}(\mathbf{V};\mathbf{S})+\frac{\lambda_{c}}{\lambda_{a}}E_{c}+\frac{\lambda_{\theta_{h}}}{\lambda_{a}}E_{\theta_{h}}+\lambda_{r}E_{r}. $$
后续帧仅通过耦合对齐来进行优化。所有相关项的定义均与4.3.1节一致。通过采用先获取特定受试者模板、再进行特定受试者配准的两阶段方法，我们将后者的参数维度减少了20个，更重要的是，使得配准过程更加精确且鲁棒。
4.3.3 优化。目标函数(12)、(20)、(22)、(23)通过基于梯度的dogleg最小化方法[Nocedal和Wright 2006]来最小化。梯度是通过OpenDR[Loper和Black 2014]利用自动微分技术计算得出的。在配备4个线程的3.7 GHz四核Intel Xeon E5计算机上，每帧优化时间约为4分钟，其中只有最近点搜索过程采用了多线程处理。
Fig. 11. Representative scans of the test-dataset created to evaluate the MANO model. The dataset contains 50 scans of 6 subjects performing single- and double-finger articulation, as well as a more coordinated movement of all fingers.
## 5 实验
下文我们将对MANO模型进行定量与定性评估，同时对SMPL+H模型进行定性评估。
### 5.1 MANO模型评估
紧凑性。图12分别绘制了MANO姿态空间与形状空间的紧凑性曲线，左侧为左手法，右侧为右手法。这些图表展示了不同数量的成分所能捕捉到的训练集方差情况。姿态空间的图表显示，6个、10个和15个成分分别能解释整个空间的81%、90%和95%。虽然更多的成分能降低误差，但也会导致模型对噪声的过拟合以及更高的计算需求。因此，对于干净的手部数据集而言，较多的成分更为适用；而全身数据则因少量成分所提供的额外正则化效果而受益。
泛化能力。为了评估MANO模型中姿态空间的泛化能力，我们构建了包含50个右手扫描样本的实验数据集，如图11所示，其中严重遮挡的样本已被剔除。该数据集中的受试者并未参与模型训练。图13展示了姿态空间的泛化曲线，反映了训练好的模型对未见过的姿态的适应情况。该图表以毫米为单位，呈现了低维空间中不同成分数量对应的扫描到网格（s2m）误差的平均值与标准差。结果显示MANO模型的泛化效果良好，且随着低维姿态空间中成分数量的增加，误差呈单调下降趋势。当成分数量增加时，低维空间的曲线会逐渐趋近于完整空间所达到的0.93毫米最小误差。
为了研究形状空间的泛化能力，图11中实验数据集里的6名受试者样本并不足够。因此，我们对训练集中的形状进行了留一法评估。我们报告了每个测试受试者的模板顶点上的平均绝对误差（mabs）。图14展示了形状空间的泛化曲线，反映了模型对未见过的形状的适应情况。与图13中姿态空间的曲线类似，随着成分数量的增加，形状空间的误差也呈单调下降趋势。
训练数据集规模。我们随后研究了在不同数据集上训练的模型的性能。首先，我们通过比较仅用右手姿态训练的模型与用加入镜像左手姿态后的数据集训练的模型，来考察在数据集中加入镜像姿态的影响。前一种方法或许能通过为左右手分别创建特定的MANO模型来利用双手之间的差异，而后一种方法则是通过合并数据集来为双手提供更多训练数据。在完整维度的姿态空间中，前一种方法的误差为1.05毫米，后一种为0.93毫米。如图11所示，这两种方法均在独立的测试数据集上进行了评估。由于该测试数据集在姿态空间上的差异更大，我们选择为每位受试者使用固定的个性化模板，仅对姿态参数进行优化。为简洁起见，我们在补充材料中加入了通用性对比图，展示了在姿态空间分量数量变化时两种方法的性能差异。如前所述，最终选用的MANO模型是同时利用右手及镜像左手数据的模型，因为其误差更小且训练流程更连贯。
姿态混合形状的影响。关于姿态混合形状的影响，我们再次为每位受试者使用固定的个性化模板，分别激活和停用姿态混合形状来对测试数据集的扫描结果进行拟合。后者本质上是一种线性混合蒙皮技术，其表现与[Ballan等人，2012年；Taylor等人，2016年；Tzionas等人，2016年]等方法类似。在完整姿态空间中，激活混合形状时的误差为0.93毫米，而停用时为1.3毫米。这一数值上的提升与图9中展示的定性结果一致。因此我们得出结论：姿态混合形状不仅能提升视觉真实感，还能改善拟合效果。
参数学习的影响。还有一个待解决的问题是学习模型参数$(S, \mathcal{P}, \mathcal{W}, \mathcal{J}, \bar{T})$对新数据拟合精度的总体影响。由于我们希望研究学习所有参数的总体效果，本次实验更改了评估方案，在拟合过程中同时对姿态和形状参数进行优化。如图11所示的独立数据中，未经训练的模型在完整姿态空间下的s2m误差为2.90毫米。
---
Fig. 12. Compactness plots for the pose (left) and shape (right) space. For the former, 6 and 15 components explain 81% and 95% correspondingly of the space.
Fig. 13. Generalization plot for the pose space. We report the mean scan-to-mesh (s2m) error for a varying number of components for the low-D pose space. For each number of components we depict the mean and standard deviation of the error. The error for the full space is 0.93 mm.
而学习了参数的模型误差仅为1.01毫米，性能提升了超过60%。为简洁起见，我们在补充材料中加入了另一张通用性对比图，展示了不同数量的姿态分量下的性能差异。
### 5.2 SMPL+H评估
我们的SMPL+H测试序列是用能够扫描全身而非仅限手部的扫描仪采集的。因此，如图1、15、17中的扫描结果（顶部行）所示，手部数据往往噪声极大。请注意，如图17（顶部）所示，输入扫描中整只手甚至整条手臂在连续多帧中完全消失的情况并不罕见。上述挑战要求采用第3.1节所述的低维度模型。
Fig. 14. Generalization plot for the shape space. For benchmarking we follow a leave-one-out approach on the training subjects. We report the mean absolute error (mabs) on the vertices of the template of each test-subject, for a varying number of components for the low-D shape space. For each number of components we depict the mean and standard deviation of the error.
关于MANO模型的内容见第3.1节，关于SMPL+H模型的内容见第3.4节。根据图12中展示的姿态空间紧凑性图表，为兼顾精度与鲁棒性，本节评估选用了6个分量。
如图15所示，与SMPL相比，SMPL+H的整体方法显著提升了视觉真实感。图中显示，SMPL（图15绿色部分）总是呈现平坦张开的手部形态，这往往导致真实感和表现力不足。相比之下，SMPL+H（图15粉色部分）能够精准捕捉富有表现力的手部姿态，相比SMPL大幅提升了真实感。
这种联合建模证明了其对恶劣条件的强鲁棒性，而这类条件通常会给性能捕捉方法带来挑战。图17
---
Fig. 15. Example 3D scans (white) from our 4D sequences and corresponding registrations of SMPL+H (pink). A small discrepancy between (white) scans and corresponding (pink) registrations suggests an expressive model and accurate registration method. Our holistic approach results in natural motion capture even under challenging conditions. We compare SMPL+H (pink) with SMPL [Loper et al. 2015] (green). The latter is representative of existing state-of-the-art methods without joint modeling of body and hands, and always results in open flat hands. On the contrary, SMPL+H performs significantly more realistically, capturing accurate and expressive hand poses.
显示SMPL+H即使在数据严重缺失、运动快速或存在测量噪声的情况下也能自然运作，而这些情况在手部场景中尤为常见。
最后需要指出的是，我们的方法并非完美无缺。图16展示了两种典型的失效情况：人们与物体互动时的扫描数据，以及低维姿态空间无法很好覆盖的手部姿态。
详细结果可在补充视频中查看。
## 6 结论
我们提出了MANO——一种新型的人手模型，它基于实例学习而成，维度较低，易于设定姿态并适配数据，且由于基于带混合形状的线性混合蒙皮技术构建，因此能与图形引擎兼容。该形状模型的逼真度及其简洁的表述方式使其能广泛应用于诸多领域。
我们将MANO与人体模型结合，得到了SMPL+H——首个基于实例学习且包含完整手部关节的人体形状模型。通过将该模型拟合到4D扫描数据上，我们验证了它的表现力与鲁棒性。
Fig. 16. Typical failure cases for hands. Each pair shows the scan (white) and the corresponding registration of SMPL+H (pink). Left: At the moment hand-object interaction is not explicitly modeled, thus wrong correspondences are established between the hands of the model and the object scan data. Right: Unusual hand poses may fall outside the low-dimensional pose space.
---
Fig. 17. Example 3D scans (white) from our 4D sequences and corresponding registrations of SMPL+H (pink). A small discrepancy between (white) scans and corresponding (pink) registrations suggests an expressive model and accurate registration method. Our holistic approach results in natural motion capture even under challenging conditions, like the illustrated cases of severe missing data due to fast motion, occlusion, finger-webbing or measurement noise. Please note that it is not uncommon that the whole hand or even the arm completely disappear for several frames, posing increased challenges.
---
这些数据来自进行自然动作的人群。结果显示，即便原始数据存在噪声、分辨率低或部分缺失，优化过程依然稳定。通过同时捕捉手部与身体，我们能生成动作自然的虚拟形象。
### 6.1 讨论
模型方面：虽然本研究是基于SMPL [Loper et al. 2015] 开发的，但我们的数据集、设计选择及研究成果可应用于利用SCAPE [Anguelov et al. 2005] 等表征来训练相关手部模型。
训练数据集方面：第5.1节对MANO的定量评估表明，通过镜像操作扩充数据集能让模型受益。这反映出未来需要更丰富的训练数据集，或许可以采用动态4D扫描序列而非静态3D扫描。
实时应用方面：如第3节所述，混合形状编码了顶点偏移（逐顶点位移），因此其内存占用与网格相当。此外，如公式(3)和(4)所示，它们呈线性特征，故运行时间与LBS相近。因此，采用线性混合形状的模型在内存和运行时效率上都表现优异，也适用于实时应用场景。
低维姿态空间的效率方面：在低维姿态空间中进行优化进一步提升了计算效率。不过从定义上来说，低维空间无法完全覆盖整个姿态空间。当人们以自然方式使用手部时，低维空间能很好地描述其姿态；而对于复杂的非自然姿态，则可能超出该空间范围。在这种情况下，低维姿态空间可作为后续在全姿态空间中优化的高效初始化手段。另外，我们计划利用深度学习训练非线性潜空间模型，但这需要更多的训练数据。
失败案例：我们的SPML+H序列（见第4.2节）包含了一些手部姿势异常、超出低维姿态空间范围的失败案例，如上所述。相关示例已收录在我们的补充视频中。此外，我们采集了一个包含手与物体交互的序列（一个人捡起一个重球，见图16），这也是典型的失败案例，因为我们目前尚未明确建模手与物体的交互过程。不过，受[Ballan等人，2012年；Bambach等人，2015年；Oikonomidis等人，2011b年；Rogez等人，2015年；Sridhar等人，2016年；Tzionas等人，2016年；Tzionas和Gall，2015年]等研究的启发，未来可以解决这类问题。请注意，所有失败案例均已纳入我们的数据集[MANO网页版]，以推动后续研究。
工业应用：我们的方法在多个方面对工业应用具有重要意义。首先，尽管我们的采集环境较为复杂，但无需标记即可完整捕捉身体和手部动作的能力，使其适用于高端应用场景。其次，带有手部关节的身体模型可直接供动画师使用，因为它在设计上就与现有的动画系统兼容。我们认为这是首个具备此类特性的身体与手部学习模型。第三，这为同时捕捉手部与身体动作提供了切实可行的途径，能让动画师了解身体姿态与手部姿态之间的关联；这既可作为参考资料，也能用于训练关联二者的机器学习模型。
### 6.2 局限性与未来工作
未来有诸多研究方向。我们展示了基于SMPL+H的追踪结果，其中涉及少量自接触情况，但我们目前并未对此进行明确考量。以往的3D人体形状追踪系统存在一个主要局限：它们不允许存在自接触现象，而许多自然动作和姿势恰恰需要这种接触。我们认为，优秀的手部模型在这一方向上具有重要价值，因为这样我们就能更好地将其适配到手部与其他身体部位接触的扫描数据中。
与其他物体的接触同样重要。我们的手部训练集中包含此类案例，但我们去除了物体，且在拟合过程中并未明确考虑手与物体的接触问题。当然，要分析这种物体交互情况，就必须同时分析物体表面特性。这超出了本文的研究范围，但MANO模型应能为该领域的研究提供便利。加入特定交互的混合形状扩展，或许有助于模拟操作过程中的非刚性皮肤变形。
我们认为，像我们的数据集[MANO网页版]这样的高质量数据，对于构建MANO这类强大的模型至关重要。不过，在用如此昂贵的数据构建出强大模型之后，MANO在适配RGB-D或RGB等其他模态的低质量数据，或是用于训练处理这类数据的方法方面，也具有重要作用。
身体与手部模型的结合也是如此。在此我们是将SMPL+H适配于4D采集数据。若能将该模型适配于质量较低的RGB-D序列将会很有意义。由于像SMPL这样的身体模型已经能基于此类数据得出高质量结果[Bogo等人，2015年]，因此将身体与手部模型一同适配或许也是可行的。不过难点仍在于如何从低分辨率数据中估算手指形态。
为应对这一挑战，我们计划将MANO和SMPL+H用于截然不同的目的——生成用于深度学习的逼真训练数据。这一领域正日益受到研究人员的关注[Simon et al. 2017; Varol et al. 2017]。MANO训练集包含高质量的纹理贴图，因此我们能够生成具有真实纹理的手部模型，对其进行姿态调整、光照处理，再将其放入背景各异的场景中。随后，我们计划训练深度神经网络，以便从图像中估算手部的形状和姿态。
最后，我们计划利用SMPL+H配准技术来训练模型，以捕捉手部运动与身体运动之间的相关性。现有方法[Jörg et al. 2012]基于动画生成的合成数据。受此启发，我们希望利用真实的无标记动作捕捉数据来探究手部与身体的相关性，同时采用逼真的姿态和形状空间。现有的动作捕捉数据集[CMU 2000; Ionescu et al. 2014]并不包含手部信息，而SMPL+H正好能填补这一空白。只要拥有足够的SMPL+H配准数据，就能建立起从身体运动到手部姿态的映射关系。这将有助于实现更逼真、更稳健的动作捕捉，也能通过添加相关且合理的手部姿态来丰富现有的动画或动作捕捉序列。
---
## 致谢
我们感谢T. Alexiadis、A. Keller、J. Marquez、S. Polikovsky、E. Holderness和J. Purmort在试验协调、扫描仪设置及数据采集方面提供的帮助。感谢Lilla LoCurto和Bill Outcault为“驻留艺术”项目拍摄的艺术片段。感谢T. Zaman录制视频旁白，也感谢T. Ntouni和A. Quiros Ramirez在项目网站建设上的协助。最后，我们感谢[Loper et al. 2015]一文的共同作者M. Loper、N. Mahmood和G. Pons-Moll。
## 参考文献
2000年。CMU图形实验室动作捕捉数据库。。
3dMDbody 2017。3dMDbody。。访问日期：2017年9月1日。
3dMDhand 2017。3dMDhand。。访问日期：2017年9月1日。
Brett Allen、Brian Curless和Zoran Popović。2003年。人体形状空间：基于深度扫描的重建与参数化。《ACM图形学交易》（SIGGRAPH会议论文集）第22卷第3期，第587–594页。
Brett Allen、Brian Curless、Zoran Popović和Aaron Hertzmann。2006年。学习身份与姿态相关的身体形状变异模型以实现实时合成。收录于ACM SIGGRAPH/Eurographics计算机动画研讨会（SCA '06）。Eurographics协会，第147–156页。
Dragomir Anguelov、Praveen Srinivasan、Daphne Koller、Sebastian Thrun、Jim Rodgers和James Davis。2005年。SCAPE：人体形状的补全与动画制作。《ACM图形学交易》（TOG）第24卷第3期，第408–416页。
Vassilis Athitsos和Stan Sclaroff。2003年。从杂乱图像中估算3D手部姿态。收录于IEEE计算机视觉与模式识别会议（CVPR）。第432–439页。
Luca Ballan、Aparna Taneja、Juergen Gall、Luc Van Gool和Marc Pollefeys。2012年。利用判别性显著点捕捉手部动作。《欧洲计算机视觉会议论文集》（ECCV）。第640–653页。
Sven Bambach、Stefan Lee、David Crandall和Chen Yu。2015年。伸出援手：在复杂的自中心交互中检测手部并识别活动。收录于国际计算机视觉会议（ICCV）。第1949–1957页。
Federica Bogo、Michael J. Black、Matthew Loper和Javier Romero。2015年。基于单目RGB-D序列的运动人体全身细节重建。载于国际计算机视觉会议（ICCV）。第2300–2308页。
Federica Bogo、Angjoo Kanazawa、Christoph Lassner、Peter Gehler、Javier Romero和Michael J. Black。2016年。Keep it SMPL：从单张图像自动估计三维人体姿态与形状。载于欧洲计算机视觉会议——ECCV 2016。
Matthieu Bray、Esther Koller-Meier和Luc Van Gool。2007年。用于高维跟踪的智能粒子滤波算法。《计算机视觉与图像理解》（CVIU）第106卷第1期（2007年），第116–129页。
Richard G. Brereton。2015年。马氏距离及其与主成分得分的关系。《化学计量学杂志》第29卷第3期（2015年），第143–145页。
Yinpeng Chen、Zicheng Liu和Zhengyou Zhang。2013年。基于张量的人体建模。载于IEEE计算机视觉与模式识别会议（CVPR）。第105–112页。
Martin De La Gorce、David J. Fleet和Nikos Paragios。2011年。基于模型的三维手部姿态估计：来自单目视频的数据。IEEE模式分析与机器智能交易（PAMI）第33卷第9期（2011年），第1793–1805页。
Laura Dipietro、Angelo M Sabatini和Paolo Dario。2008年。基于手套的系统及其应用综述。《系统、人与控制论交易》第38卷第4期（2008年），第461–482页。
Alexey Dosovitskiy、Jost Tobias Springerberg和Thomas Brox。2015年。用卷积神经网络学习生成椅子模型。载于IEEE计算机视觉与模式识别会议（CVPR）。第1538–1546页。
George ElKoura和Karan Singh。2003年。Handrix：人体手部动画制作。载于2003年ACM SIGGRAPH/Eurographics计算机动画研讨会论文集。Eurographics协会，第110–119页。
Ali Erol、George Bebis、Mircea Nicolescu、Richard D. Boyle和Xander Twombly。2007年。基于视觉的手部姿态估计：综述。《计算机视觉与图像理解》（CVIU）第108卷第1-2期（2007年），第52–73页。
Thomas Feix、Javier Romero、Heinz-Bodo Schmiedmayer、Aaron M. Dollar和Danica Kragic。2016年。人类抓取类型的GRASP分类体系。IEEE人机系统交易第46卷第1期（2016年），第66–77页。
Oren Freifeld和Michael J. Black。2012年。Lie Bodies：三维人体形状的流形表示。载于欧洲计算机视觉会议（ECCV）（第I部分，LNCS 7572），由A. Fitzgibbon等人编辑。Springer-Verlag出版社，第1–14页。
Stuart Geman和Donald E. McClure。1987年。断层成像重建的统计方法。载于第46届国际统计学会会议论文集，《国际统计学会公报》第52卷。
Henning Hamer、Juergen Gall、Thibaut Weise和Luc Van Gool。2010年。基于稀疏训练数据的物体相关手部姿态先验。载于IEEE计算机视觉与模式识别会议（CVPR）。第671–678页。
Henning Hamer、Konrad Schindler、Esther Koller-Meier和Luc Van Gool。2009年。跟踪操作物体的手部动作。载于国际计算机视觉会议（ICCV）。第1475–1482页。
Nils Hasler、Carsten Stoll、Martin Sunkel、Bodo Rosenhahn和Hans-Peter Seidel。2009年。人体姿态与体型的统计模型。《计算机图形学论坛》第28卷第2期（2009年），第337–346页。
尼尔斯·哈斯勒、托尔斯滕·托尔梅伦、博多·罗森汉和汉斯-彼得·塞德尔。2010年。用于形状和姿态的骨架学习。载于2010年ACM SIGGRAPH交互式3D图形与游戏研讨会论文集（I3D '10）。ACM出版社，美国纽约，第23–30页。
托尼·希普和大卫·霍格。1996年。基于可变形模型的3D手部追踪研究。载于IEEE国际自动人脸与手势识别会议（FG）论文集。第140–145页。
大卫·A·赫什伯格、马修·洛珀、埃里克·拉赫林和迈克尔·J·布莱克。2012年。共配准：关节化3D形状的同步对齐与建模。载于欧洲计算机视觉会议（ECCV）论文集。第242–255页。
卡塔林·约内斯库、德拉戈斯·帕帕瓦、弗拉德·奥拉鲁和克里斯蒂安·斯明奇塞斯库。2014年。Human3.6M：自然环境中3D人体感知的大规模数据集与预测方法。《IEEE模式分析与机器智能交易》第36卷第7期（2014年7月），第1325–1339页。
索菲·约尔格、杰西卡·霍金斯和阿拉·萨福诺娃。2012年。面向手势角色的数据驱动手指运动合成。《ACM图形学交易》（TOG）第31卷第6期（2012年），第189页。
萨梅赫·卡米斯、乔纳森·泰勒、杰米·肖顿、杰姆·凯斯金、沙赫拉姆·伊扎迪和安德鲁·菲茨吉本。2015年。从深度图像中学习高效的手部形状变化模型。载于IEEE计算机视觉与模式识别会议（CVPR）论文集。第2540–2548页。
大卫·金、奥特马尔·希尔 $^{TM}$
midis，以及 $^{p}$
一只手
$^{w}$陈文，伊阿松·奥伊科诺-
$^{e}$ 可在任何地方使用
$^{f}$软件与
Leap 2017. Leap Motion。。访问日期：2017年9月1日。
约翰·P·刘易斯、马特·科德纳和尼克斯顿·冯。2000年。姿态空间变形：形状插值与会骨驱动变形的统一方法。载于《ACM图形学交易》（SIGGRAPH）论文集。第165–172页。
查尔斯·卢普。1987年。基于三角形的平滑细分曲面。犹他大学数学系。
马修·洛珀、瑙琳·马哈茂德、哈维尔·罗梅罗、杰拉德·庞斯-莫尔和迈克尔·J·布莱克。2015年。SMPL：一种带骨骼的多人线性模型。《ACM图形学交易》（SIGGRAPH Asia会议论文集）第34卷第6期（2015年10月），第248:1–248:16页。
马修·M·洛珀和迈克尔·J·布莱克。2014年。OpenDR：一种近似可微渲染器。载于《计算机视觉——ECCV 2014》（计算机科学讲义，第8695卷）。施普林格出版社，第154–169页。
约翰·麦考密克和迈克尔·伊萨德。2000年。分区采样、关节化物体以及界面质量手部追踪。载于欧洲计算机视觉会议（ECCV）论文集。第3–19页。
MANO网站。。访问日期：2017年9月1日。
斯坦·梅拉克斯、列昂尼德·凯斯尔曼和斯特林·奥尔斯滕。2013年。基于动力学的3D骨骼手部追踪。载于图形界面会议论文集。第63–70页。
亚历克斯·莫尔和迈克尔·格莱彻。2003年。基于示例构建高效且精准的角色皮肤。载于《ACM图形学交易》（TOG）第22卷第3期（2003年），第562–568页。
乔治·诺塞达尔和斯蒂芬·赖特。2006年。数值优化。施普林格科学出版社。
马库斯·奥伯韦格、保罗·沃尔哈特和文森特·勒佩蒂。2015年。训练用于手部姿态估计的反馈循环。载于国际计算机视觉会议（ICCV）论文集。第3316–3324页。
Iason Oikonomidis、Nikolaos Kyriazis和Antonis A. Argyros。2011a。利用Kinect实现基于模型的高效手部关节3D跟踪。载于英国机器视觉会议（BMVC）。101.1–101.11。
Iason Oikonomidis、Nikolaos Kyriazis和Antonis A. Argyros。2011b。通过建模遮挡与物理约束，实现对与物体交互的手部的全自由度跟踪。载于国际计算机视觉会议（ICCV）。2088–2095。
Iasonas Oikonomidis、Nikolaos Kyriazis和Antonis A. Argyros。2012。对两只相互强烈作用的手部的关节运动进行跟踪。载于IEEE计算机视觉与模式识别会议（CVPR）。1862–1869。
Iason Oikonomidis、Manolis I.A. Lourakis和Antonis A. Argyros。2014。用于手部关节跟踪的进化型准随机搜索算法。载于IEEE计算机视觉与模式识别会议（CVPR）。3422–3429。
Edwin Olson和Pratik Agarwal。2013。基于混合模型的网络推理以实现鲁棒的机器人建图。《国际机器人研究杂志》（IJRR）第32卷第7期（2013年），826–840页。
Wilder Penfield和Edwin Boldrey。1937。通过电刺激研究人类大脑皮层中的躯体运动与感觉表征。《大脑》第60卷第4期（1937年），389页。
---
Gerard Pons-Moll、Javier Romero、Naureen Mahmood和Michael J. Black。2015。Dyna：一种动态人体形状运动模型。《ACM图形学交易》（SIGGRAPH论文集）第34卷第4期（2015年7月），120:1–120:14。
Chen Qian、Xiao Sun、Yichen Wei、Xiaoou Tang和Jian Sun。2014。基于深度图像的实时且鲁棒的手部跟踪技术。载于IEEE计算机视觉与模式识别会议（CVPR）。1106-1113。
James M. Rehg和Takeo Kanade。1994。高自由度关节结构的视觉跟踪：以人手跟踪为例。载于欧洲计算机视觉会议（ECCV）。35–46。
Kathleen M. Robinette、Sherri Blackwell、Hein Daanen、Mark Boehmer、Scott Fleming、Tina Brill、David Hoeferlin和Dennis Burnsides。2002。美国与欧洲平民表面人体测量资源（CAESAR）最终报告。技术报告AFRL-HE-WP-TR-2002-0169。美国空军研究实验室。
Gregory Rogez、James S. Supančič III和Deva Ramanan。2015。利用以自我为中心的 workspace 进行第一人称姿态识别。载于IEEE计算机视觉与模式识别会议（CVPR）。4325–4333。
Javier Romero、Hedvig Kjellström、Carl H. Ek和Danica Kragic。2013。结合物体上下文的非参数化手部姿态估计。《图像与视觉计算》第31卷第8期（2013年），555–564。
Marco Santello、Martha Flanders和John F. Soechting。1998。用于工具使用的姿势性手部协同作用。《神经科学杂志》第18卷第23期（1998年），10105–10115。
Tanner Schmidt、Richard Newcombe和Dieter Fox。2014。DART：密集的实时关节跟踪系统。载于机器人：科学与系统会议（RSS）。
Matthias Schröder、Jonathan Maycock、Helge Ritter和Mario Botsch。2014。利用协同逆运动学实现实时手部跟踪。载于2014年IEEE机器人与自动化会议（ICRA）。5447–5454。
Hyewon Seo、Frederic Cordier和Nadia Magnenat-Thalmann。2003。合成可动画化的身体模型并实现参数化形状修改。载于ACM SIGGRAPH/欧洲图形学计算机动画研讨会（SCA '03）。120–125。
Toby Sharp、Cem Keskin、Duncan Robertson、Jonathan Taylor、Jamie Shotton、David Kim、Christoph Rhemann、Ido Leichter、Alon Vinnikov、Yichen Wei、Daniel Freedman、Pushmeet Kohli、Eyal Krupka、Andrew Fitzgibbon和Shahram Izadi。2015年。精准、稳健且灵活的实时手部追踪技术。发表于ACM人机交互大会（CHI），第3633–3642页。
Tomas Simon、Hanbyul Joo、Iain Matthews和Yaser Sheikh。2017年。基于多视角自举法的单图像手部关键点检测。CVPR（2017）。
Srinath Sridhar、Franziska Mueller、Antti Oulasvirta和Christian Theobalt。2015年。利用检测引导的优化算法实现快速且稳健的手部追踪。发表于IEEE计算机视觉与模式识别会议（CVPR），第3213–3221页。
Srinath Sridhar、Franziska Mueller、Michael Zollhoefer、Dan Casas、Antti Oulasvirta和Christian Theobalt。2016年。基于RGB-D输入的物体操作手部的实时联合追踪技术。发表于欧洲计算机视觉会议（ECCV），第294–310页。
Srinath Sridhar、Antti Oulasvirta和Christian Theobalt。2013年。利用RGB和深度数据实现交互式无标记关节手部运动追踪。发表于国际计算机视觉会议（ICCV），第2456–2463页。
Björn Stenger、Paulo R.S. Mendonça和Roberto Cipolla。2001年。基于模型的三维关节手部追踪技术。发表于IEEE计算机视觉与模式识别会议（CVPR），第310–315页。
Erik B. Sudderth、Michael I. Mandel、William T. Freeman和Alan S. Willsky。2004年。基于非参数信念传播的视觉手部追踪技术。发表于生成模型视觉研讨会，第189–189页。
James S. Supančič III、Grégory Rogez、Yi Yang、Jamie Shotton和Deva Ramanan。2015年。基于深度的手部姿态估计：数据、方法与挑战。发表于国际计算机视觉会议（ICCV），第1868–1876页。
Andrea Tagliasacchi、Sofien Bouaziz、Mark Pauly和Hao Li。2016年。实时非刚性配准的现代技术与应用。发表于SIGGRAPH ASIA 2016课程。
2016课程。
Andrea Tagliasacchi、Matthias Schröder、Anastasia Tkach、Sofien Bouaziz、Mario Botsch和Mark Pauly。2015年。用于实时手部追踪的稳健关节ICP算法。欧洲图形学几何处理研讨会（SGP）第34卷第5期（2015年），第101–114页。
David Joseph Tan、Thomas Cashman、Jonathan Taylor、Andrew Fitzgibbon、Daniel Tarlow、Sameh Khamis、Shahram Izadi和Jamie Shotton。2016年。贴合如手套：快速且可靠的手部形状个性化定制技术。发表于IEEE计算机视觉与模式识别会议（CVPR），第5610–5619页。
Danhang Tang、Hyung Jin Chang、Alykhan Tejani和Tae-Kyun Kim。2017年。潜在回归森林：三维手部姿态的结构化估计方法。IEEE模式分析与机器智能交易第39卷第7期（2017年7月），第1374–1387页。
Jonathan Taylor、Lucas Bordeaux、Thomas Cashman、Bob Corish、Cem Keskin、Eduardo Soto、David Sweeney、Julien Valentin、Benjamin Luff、Arran Topalian、Erroll Wood、Sameh Khamis、Pushmeet Kohli、Toby Sharp、Shahram Izadi、Richard Banks、Andrew Fitzgibbon和Jamie Shotton。2016年。通过姿态与对应关系的联合连续优化实现高效且精准的交互式手部追踪技术。ACM图形学交易（SIGGRAPH）第35卷第4期（2016年），第143:1–143:12页。
乔纳森·泰勒、理查德·斯特宾、瓦伦·拉马克里希纳、杰米·肖顿、沙赫拉姆·伊扎迪、亚伦·赫茨曼和安德鲁·菲茨吉本。2014年。基于单目深度序列的用户特定手部建模。载于IEEE计算机视觉与模式识别会议（CVPR）。第644–651页。
阿拉萨纳坦·塔亚南坦、比约恩·斯滕格、菲利普·H·S·托尔和罗伯托·奇波拉。2003年。杂乱场景中的形状上下文与查默匹配技术。载于IEEE计算机视觉与模式识别会议（CVPR）。第127–133页。
阿纳斯塔西娅·特卡奇、马克·保利和安德烈亚·塔利亚萨基。2016年。用于实时手部建模与跟踪的球面网格。ACM图形学交易（TOG）第35卷第6期。
埃莫·托多罗夫和祖宾·加哈拉马尼。2004年。复杂手部操作背后的协同作用分析。载于第26届IEEE工程医学与生物学会年会，第2卷。第4637–4640页。
乔纳森·汤普森、墨菲·斯坦、扬·勒昆和肯·佩林。2014年。利用卷积网络实现人手姿态的实时连续恢复。ACM图形学交易（TOG）第33卷第5期，第169:1–169:10页。
迪米特里奥斯·齐奥纳斯、卢卡·巴兰、阿布希拉什·斯里坎塔、巴勃罗·阿蓬特、马克·波勒费斯和尤尔根·加尔。2016年。利用判别性显著点和物理仿真捕捉手部动作。国际计算机视觉杂志（IJCV）第118卷第2期，第172–193页。
迪米特里奥斯·齐奥纳斯和尤尔根·加尔。2015年。从手物交互中重建三维物体。载于国际计算机视觉会议（ICCV）。第729–737页。
古尔·瓦罗尔、哈维尔·罗梅罗、泽维尔·马丁、诺雷恩·马哈茂德、迈克尔·J·布莱克、伊万·拉普捷夫和科迪莉亚·施密德。2017年。从合成人类数据中学习。载于CVPR。
罗伯特·Y·王和乔万·波波维奇。2009年。利用彩色手套实现实时手部跟踪。ACM图形学交易（TOG）第28卷第3期，第63:1–63:8页。
杨刚·王、闵建元、张建杰、刘烨斌、徐峰、戴琼海和柴金祥。2013年。通过复合运动控制实现基于视频的手部动作捕捉。ACM图形学交易（TOG）第32卷第4期，第43:1–43:14页。
吴颖、林约翰和黄汤姆斯。2001年。捕捉自然手部动作。载于国际计算机视觉会议（ICCV）。第426–432页。
徐驰、阿什温·南贾帕、张晓伟和李成。2016年。从单幅深度图像高效估计手部姿态。国际计算机视觉杂志（IJCV）第116卷第1期，第21–45页。
叶茂、张青、王亮、朱杰杰、杨瑞刚和尤尔根·加尔。2013年。基于深度数据的人体运动分析综述。载于《飞行时间与深度成像：传感器、算法及应用》一书。第149–187页。
赵文平、柴金祥和徐英清。2012年。结合基于标记的动作捕捉技术与RGB-D相机以获取高保真手部运动数据。载于ACM SIGGRAPH/欧洲图形学计算机动画研讨会。第33–42页。
---
## 附录
## 模型/扫描镜像
为了创建MANO手部模型，我们首先收集大量单独的手部扫描数据。这些扫描是使用专门配置来捕捉固定手腕位置下手部的扫描仪获得的，从而能够捕捉到手部变形的细微差别。在获取了左右手的数据后，我们通过将左手扫描数据镜像为右手数据来创建一个增强数据集。这种方法不仅增加了训练数据的规模，还消除了受试者用手习惯带来的偏差。实际上，如实验部分所示，这确实带来了性能上的提升。该增强数据集使我们能够训练出一个适用于双手的统一手部模型——也就是说，我们训练右手模型，再通过镜像生成左手模型。那些依赖于全局坐标系的模型组件，比如网格模板T、形状混合形状$B_S$以及姿态混合形状$B_P$，都需要进行镜像处理。其余组件（例如混合权重$\mathcal{W}$和关节回归器$\mathcal{J}$）则保持不变。
我们在SMPL中将矢状面x定义为镜像平面。这意味着需要执行以下镜像变换：
$$ \boldsymbol{M}=\left[\begin{array}{ccc}{{{-1}}}&{{{0}}}&{{{0}}} \\{{{0}}}&{{{1}}}&{{{0}}} \\{{{0}}}&{{{0}}}&{{{1}}}\end{array}\right] $$
对扫描点和网格模板进行镜像处理非常简单：每个扫描点p以及模板中的顶点v$\tilde{\mathbf{T}}$分别被镜像为$p' = pM$和$v' = vM$。所有的形状混合形状$\mathbf{S}_n$（参见[Loper等人，2015年]中的公式(8)）也遵循类似的处理流程。
$$ B_{S}^{\prime}=MB_{S}=\sum_{n=1}^{|\overrightarrow{\beta}|}\beta_{n}MS_{n} $$
$$ \mathrm{S}_{n}^{\prime}=M\mathrm{S}_{n} $$
因为它们会将（与坐标系无关的）形状系数$\beta_{n}$映射为顶点位移。
姿态混合形状的处理方式略有不同，因为它们会与依赖于全局坐标系的手部姿态旋转相乘。因此，输出镜像后的姿态混合形状$MP_n$必须经过调整，以适配将右手姿态转换为左手姿态所需的镜像输入变换。
要理解如何实现这一点，首先需知道：一个姿态是通过在镜像坐标系中应用其旋转来实现的。这相当于将其对应的旋转矩阵R分别与变换$M, R' = MRM$相乘。
根据公式(9) [Loper等人，2015年]，我们希望得到镜像后的姿态混合形状$P'_{n}$，使得：
$$ B_{P}^{\prime}\equiv\sum_{n=1}^{|\overrightarrow{\beta}|}(R_{n}^{\prime}(\overrightarrow{\theta})-R_{n}^{\prime}(\overrightarrow{\theta}^{*}))\mathbf{P}_{n}^{\prime} $$
$$ =MB_{P}=\sum_{n=1}^{|\overrightarrow{\beta}|}(R_{n}(\overrightarrow{\theta})-R_{n}(\overrightarrow{\theta}^{*}))MP_{n} $$
其中$R'_n$是镜像旋转$R'$中的标量元素。因此，只需对$\mathbf{P}_n'$中的每个输入块$3 \times 3$应用逆镜像旋转变换（即先乘M再乘M），就能得到镜像后的姿态混合形状$\mathbf{MP}_n$。
## 评估——MANO手部模型
在接下来的图中，我们展示了几种对比情况下的泛化曲线变体。
图A.3展示了我们在不同数据集上训练的模型的性能。红色曲线代表仅在右手姿态数据上训练的MANO模型（即未进行镜像增强处理）。这种方法需要分别训练左右手独立的MANO模型，从而导致模型受到受试者用手习惯的影响而产生偏差。蓝色曲线则代表在增强数据集上训练的MANO模型，该数据集将左手姿态进行镜像处理后与右手姿态合并。这种方式只需一次训练过程即可得到一个统一的手部模型（左手模型是通过对训练得到的右手模型进行镜像生成的），且训练数据集规模更大，同时不存在用手习惯带来的偏差。这是我们为MANO模型所采用的方法。图表显示后一种方法的表现更优，这也反映出未来需要更丰富的训练数据集，或许可以采用动态的4D扫描而非静态的3D扫描。就完整的姿态空间而言，前一种方法的误差为1.05毫米，而后一种方法仅为0.93毫米。
图A.2展示了训练前后误差的对比情况。在完整姿态空间中，初始模型的误差为2.90毫米，而训练后的模型误差则降至1.01毫米。
---
Fig. A.1. Sample frames (non-sequential) from a jumping action. Fast motions result in missing hand data in the 3D scans, posing challenges to existing motion capture methods. The 3D scans are shown with beige color, while the resulting registration of SMPL+H is shown with pink. The proposed model and registration method result in natural motion capture even under fast motions and missing visual data for several frames, e.g. in the hand region.
Fig. A.3. Generalization plot for the model trained on different datasets. The baseline dataset is comprised of only right-hand scans, while the augmented dataset is comprised of right- and mirrored left-hand scans. We report the mean scan-to-mesh (s2m) error for a varying number of pose-space components. For x = 0 we show the error for the full space. The plot shows that an augmented dataset leads to a lower fitting error of the model, pointing to the need for bigger future training datasets.
Fig. A.2. Generalization plot for the model before and after training. We report the mean scan-to-mesh (s2m) error for a varying number of pose-space components. For x = 0 we show the error for the full space.