# HTML：一种用于3D手部重建与个性化的参数化手部纹理模型
钱能 $^{1,2}$、王佳怡 $^{1}$、穆勒·弗朗西斯卡 $^{1(\boxtimes)}$、伯纳德·弗洛里安 $^{1,3}$、戈利亚尼克·弗拉迪斯拉夫 $^{1}$ 以及特奥鲍尔特·克里斯蒂安 $^{1}$
$^{1}$ 德国萨尔布吕肯，萨尔兰信息学园区，马克斯·普朗克信息学研究所
{nqian,jwang,frmueller,fbernard,golyanik,theobalt}@mpi-inf.mpg.de
$^{2}$ 德国亚琛，亚琛工业大学
$^{3}$ 德国慕尼黑，慕尼黑工业大学
摘要。基于图像的3D手部重建是计算机视觉与图形学领域广泛研究的问题，其在虚拟现实和增强现实领域具有极高的应用价值。尽管多种3D手部重建方法会利用手部模型作为强先验来解决歧义问题并获得更稳健的结果，但大多数现有模型仅考虑手部形状和姿态，并未对纹理进行建模。为填补这一空白，本文提出了HTML——首个人类手部的参数化纹理模型。该模型涵盖了多个维度的手部外观变异性（如与性别、种族或年龄相关的差异），且数据采集仅需普通相机即可实现。实验表明，我们的外观模型可用于解决一系列具有挑战性的问题，例如从单目图像中重建3D手部。此外，该外观模型还可用于定义神经渲染层，从而支持基于自监督光度损失的训练。我们已将模型公开发布。
关键词：手部纹理模型 · 外观建模 · 手部追踪 · 3D手部重建
## 1 引言
双手是人类与环境互动最自然的方式之一。随着对虚拟现实和增强现实兴趣的增加，重建用户的手部以实现与虚拟环境之间直观且沉浸式的交互的需求也日益凸显。理想情况下，这种重建应能准确呈现手部的形状、姿态和外观。
---
Fig. 1. We present the first parametric hand texture model. Our model successfully captures appearance variations from different gender, age, and ethnicity.
然而，由于手部交互的复杂性和自遮挡现象，仅通过图像来捕捉用户手部是一项极具挑战性的任务。近年来，利用单目深度图像[^1] [^8] [^12] [^25] [^30] [^53] [^54]以及RGB图像[^7] [^22] [^46] [^55] [^57]进行手部姿态估计方面取得了显著进展。尽管大多数研究仅能估计关节位置，但近期也有少数研究尝试同时重建手部几何结构[^2] [^6] [^26] [^27] [^56]。
尽管近期取得了这些进展，但针对手部外观重建的研究仍寥寥无几。然而，手部外观的个性化对于提升虚拟现实应用中的沉浸感和“身体归属感”至关重要[^19]，同时也有助于通过“分析合成”方法改进手部追踪与姿态估计。若没有个性化的外观模型，现有的姿态估计方法只能使用较为粗糙的手部轮廓[^2] [^6] [^56]来近似表示外观。获取个性化手部纹理的一种方法是：将追踪到的几何形状投影到RGB图像上，再把观察到的颜色复制到纹理图中[^23]。不过，该方法只能恢复所观察手部部位的部分外观，且追踪误差会导致外观不自然。此外，由于缺乏明确的光照估计，光照效果会被嵌入到这类基于投影的方法的结果中。
为填补这一空白，我们提出了HTML——首个数据驱动的参数化手部纹理模型（见图1）。我们采集了多种类型的手部数据并对扫描结果进行对齐，以便开展主成分分析（PCA）并构建参数化纹理手部模型。PCA能将自然手部外观的变化压缩为低维的外观基，从而实现更稳健的外观拟合。我们的模型还能根据单张RGB图像中的部分观测结果，生成整个手部的逼真外观。我们的主要贡献可总结如下：
我们提出了一种新颖的参数化手部纹理模型HTML，并已将其公开提供。该模型基于包含51名受试者的高分辨率手部扫描数据集，这些受试者在性别、年龄和种族方面具有多样性。
我们将扫描数据与常用的MANO手部模型进行配准[^39]，从而创建出与MANO兼容的统计性手部外观模型。
---
– 我们证明了这种新型参数化纹理模型能够仅凭用户手部的单张RGB图像，就生成个性化的3D手部网格。
我们提出了一种概念验证型神经网络层，它采用MANO形状和姿态模型，结合我们提出的纹理模型，以“分析合成”的方式运作。该网络层能够实现自监督的光度损失计算，直接将渲染出的带纹理手部模型与输入图像进行对比。
## 2 相关工作
针对手部追踪应用而言，使用细节丰富且计算效率高的手部模型已有大量研究[^31] [^35] [^41] [^48]。不过，许多此类方法需要耗费大量时间由专家进行调整，才能将模型个性化适配到用户的手上，因此难以面向终端用户部署。因此，我们的综述重点聚焦于能够从图像自动生成个性化关节式手部模型的方法。但我们会发现，几乎所有这些方法都仅考虑形状的个性化，并未涵盖纹理或外观层面。
手部几何建模。文献中存在两类可定制的手部模型：一类是启发式参数化方法，直接对模型的几何图元进行移动和缩放 [^23] [^37] [^47] [^51] [^52]；另一类是基于数据的统计参数化方法，用于建模手部几何的协方差 [^20] [^39]。尽管启发式方法表达能力较强，但在将此类模型拟合到单张图像时，由于形状与姿态之间的歧义性，可能会产生不可行的手部形状配置。因此，现有方法必须针对一组深度图像离线进行定制化 [^37] [^47] [^51]，或者设计额外的启发式约束 [^52] 来解决这些歧义。另一方面，基于数据的参数化方法 [^20] 能够提供低维度的形状表示，并为手部姿态提供自然先验。最近的MANO模型 [^39] 还提供了基于数据学习得到的、与姿态相关的形状校正机制，以避免通过线性混合蒙皮（LBS）技术驱动手部模型时出现伪影。该模型已被应用于许多近期的手部姿态估计方法中 [^2] [^6] [^16] [^56]，也被用于标注手部姿态估计基准测试 [^15] [^16] [^58]。
不过，尽管MANO手部几何模型应用广泛，但目前仍没有能够生成逼真外观的数据驱动参数化纹理模型。因此，在本研究中我们首次提出了一种与MANO完全兼容的手部外观模型。虽然MANO模型的网格分辨率较低（仅778个顶点），但我们的外观模型是在纹理空间中定义的，因此能够实现更高的纹理分辨率。
外观建模。除了少数例外情况 [^23] [^24]，前述研究均未对手部纹理进行建模。de La Gorce等人的研究 [^23] [^24] 采用了基于合成的分析方法来对手部跟踪进行启发式纹理定制化。他们的方法仅能根据当前的姿态估计得到手部纹理的部分信息，并依赖平滑性先验，通过逐帧扩散过程将颜色传递到未被观测到的区域。
---
Fig. 2. Overview of our hand texture acquisition pipeline. We run rigid structure from motion (SfM) on a set of input images to obtain a scanned mesh for back and palm side of the hand, respectively. After removing background vertices, we fit the MANO template mesh to extract the texture from the scan. We remove lighting effects and seamlessly stitch the front and back texture, resulting in a complete texture for the captured hand (visualized on the 3D hand mesh from 2 virtual views on the right).
Romero等人 [^39] 提供了用于注册MANO模型的原始RGB扫描数据，但这些数据中包含强烈的光照效应，如阴影和过曝区域。因此，正如补充文档中所展示的，无法从这些扫描数据中恢复出准确的外观。尽管缺乏参数化的手部纹理模型，但从面部建模文献中不难看出此类模型的价值。例如，3D可变形人脸模型（3DMM）[^5] [^9] [^13] [^18] [^33] 提供了用于面部的参数化几何与外观模型，已被广泛应用于诸多领域的研究中 [^10]。例如，这些3DMM模型被应用于基于合成的RGB跟踪框架 [^38] [^50]，以及作为基于学习的方法的无监督损失函数 [^49]。我们提出的参数化手部外观模型有望在手姿估计与建模领域推动类似的进步。
## 3 带纹理的参数化手部模型
我们的手部纹理获取流程如图2所示。首先，我们分别记录观察手掌面和手背面的两组图像序列。随后，我们运行基于运动的刚性结构（SfM）[^3] [^40]，以获得所观察的手部表面的3D重建结果（详见第3.1节）。接下来，我们移除场景背景，并基于非线性优化方法将这两组（部分的）手部扫描数据注册到MANO模型[^39]上。之后，将部分手部扫描数据的纹理映射到已注册的网格上。接着我们去除纹理中的阴影效果，并将它们拼接起来以获得完整的手部纹理（详见第3.2节）。随后利用PCA生成参数化纹理模型（详见第3.3节）。
### 3.1 数据采集
我们总共采集了51名受试者的数据，这些受试者在性别、年龄和种族方面存在差异（见图3）。为了尽量减少扫描过程中的手部运动，我们分别记录手掌面和手背面，以便受试者能将手放在
---
Fig. 3. Distribution of age, gender, and skin color for our 51 captured subjects. We use the Goldman world classification scale [^42] for classifying skin color.
平整表面上。因此，对于每位受试者，我们能得到四组扫描数据，即左手和右手的手掌面与手背面。扫描一个手面需要$\sim$90秒，因此每人所需的总扫描时间为$\sim$6分钟。
为了获取3D手部扫描数据，我们使用了索尼的3DCreator应用程序[^44]。3D重建流程包含三个阶段：初始锚点提取、基于稀疏点的同步定位与地图构建（SLAM）[^21]，以及在线密集3D重建（雕刻）[^45]。最终输出的是带纹理的高分辨率表面网格（包括一个手面及背景），手部区域平均包含约6200个顶点和约11000个三角形。从设计上来说，我们的手部纹理模型是针对右手构建的。在创建模型时，我们对左手网格进行镜像处理，因此用于建模的“右手”样本总数为102个。我们注意到，通过镜像处理，我们也可以将“右手”的纹理模型应用于左手。下文我们将忽略这一技术细节，仅描述针对单只手部的纹理建模方法。
### 3.2 数据规范化
为了以数据驱动的方式学习纹理变化，关键在于将获取的3D扫描数据转化为统一的表示形式。由于MANO手部几何模型的普及性和广泛应用性，我们决定在MANO空间中构建手部纹理。这样做的优势在于，那些基于MANO的手部重建与跟踪框架，比如[^6] [^16] [^29]，可以直接扩展以纳入手部纹理信息。我们指出，通过定义相应的UV映射，我们的纹理模型也可与其他模型配合使用。我们的数据规范化包含多个连续阶段，即背景移除、MANO模型拟合、纹理映射、阴影去除和无缝拼接，接下来我们将逐一介绍。
背景移除。对于每只手，我们都重建了两个带纹理的网格：一个是手掌朝下置于平整表面上的形态，另一个是手掌朝上置于平整表面上的形态（参见第3.1节）。在这两种情况下，手部所放置的平整表面作为背景也会被重建为网格的一部分。因此，为了移除背景，我们采用基于RANSAC的鲁棒平面拟合方法[^11]，即把平面拟合到平整的背景表面上。为此，我们随机选取100组三个顶点的组合进行拟合。
---
将平面拟合到采样点上，然后统计内点的数量。任何与拟合平面之间的距离小于输入扫描网格的中值边长的点都被视为内点。最终，能够产生最多内点的平面就被认定为背景平面。我们通过实验发现，这种方法非常稳健，能够在所有情况下可靠地识别出平面。最后，我们结合基于距离和基于颜色的阈值处理方法，来剔除扫描网格中的背景顶点。具体来说，如果某个顶点与背景平面之间的距离小于1厘米，且该顶点颜色的红色通道与绿色通道之差小于30（RGB $\in [0,255]^{3}$），我们就会将其剔除。这样就能更好地保留那些靠近背景平面的手部顶点。
MANO模型拟合。接下来，我们将MANO手部模型拟合到经过滤后的手部扫描网格上（即不含背景的部分）。为此，我们首先根据Mueller等人[^29]提出的手部跟踪方法，获取MANO模型的形状和姿态参数。该方法采用高斯-牛顿优化算法，并利用基于训练好的机器学习预测器所提供的额外信息（例如用于对应点估计的信息）。由于他们的方法是为深度图像中的手部三维重建和跟踪而开发的，因此我们从部分手部扫描网格中渲染出合成深度图像。需要注意的是，该方法[^29]的部分训练数据来自合成深度图像，因此我们发现它能够为我们的数据提供足够精确的MANO几何模型拟合结果。
不过，由于MANO模型相对较为粗糙（包含778个顶点），更重要的是其表达手部形状的能力有限（仅能覆盖他们训练集中31名受试者的变化范围），我们发现仍然存在一些对齐误差。为了允许模型在MANO模型所定义的形状空间之外进行变形，我们采用一种补充性的非刚性优化方法，对先前拟合好的MANO网格进行进一步调整以匹配手部扫描数据。具体做法是使用一种变体的非刚性迭代最近点（ICP）算法[^4]，该算法通过优化每个顶点的位移来进一步细化模板——在本例中即为已拟合的MANO模型。我们的目标函数结合了三维点对点和点对面距离计算，以及空间平滑正则化项[^14]。在指尖等特征明显的部位，精确的对齐尤为重要，这样才能保证较高的视觉质量。因此，我们在非刚性ICP拟合过程中加入了针对指尖和手腕的先验对应关系。我们利用OpenPose[^43]从输入的扫描网格中自动获取这些对应关系。先验对应关系的影响在我们的评估中有所体现（详见第5.1节）。
纹理映射。在将手部模板（即拟合好的MANO模型加上用于细化的非刚性变形结果）与高分辨率带纹理的手部扫描数据精确对齐之后，我们便将扫描纹理映射到纹理图上。为此，我们手动为MANO模型模板定义了UV坐标，即将网格展开到平面上（详见图2中的纹理映射步骤）。我们将高分辨率手部扫描中的每个顶点投影到拟合好的MANO手部模板表面上的最近点。利用该投影点的重心坐标以及UV坐标……
---
在模板网格中，我们将颜色信息传递到纹理贴图上。即便对高分辨率手部扫描的所有顶点都执行了这一操作，纹理贴图中仍会有一些像素未被赋值（我们发现约6.5%的手部内部区域没有对应的纹理定义）。为解决这一问题，我们会基于邻域像素的修复算法来填充这些空洞。
阴影去除。我们通过控制照明条件来确保扫描数据具有低频阴影特征，由此可间接得出手部表面基本符合朗伯反射特性且无投影阴影的假设。由于平滑阴影效果属于低频成分（见图4a），因此可采用基于频率的方法（如拉普拉斯图像金字塔）将其分离并去除。具体步骤如下：首先利用上一步得到的纹理贴图构建包含五个层级的拉普拉斯金字塔；观察发现最底层可将近似恒定的肤色以及平滑阴影与金字塔前几层保留的纹理细节区分开来。我们将这一最底层替换为手掌和手背对应的恒定肤色，从而有效去除平滑阴影。该恒定肤色是通过对光线充足的区域取平均值得到的（见图4中的蓝色矩形）。值得注意的是，修改后的纹理贴图中仍保留了高层级中的纹理细节（见图4b）。
a)
b)
Fig. 4. Shading removal. (a) Original texture and its Laplacian pyramid decomposition. (b) The shading effects are removed by modifying the deepest level. (Color figure online)
无缝纹理拼接。由于目前针对掌心向上和掌心向下的网格都进行了纹理映射处理，我们最终会将这两部分纹理贴图融合，得到完整的手部纹理贴图。为此我们采用了一种新型的梯度域纹理拼接方法，该方法可直接在纹理图集域中操作，同时能保持3D网格拓扑在图集边界处产生的连续性 [^34]。
### 3.3 纹理模型创建
设$\{T_i\}_{i=1}^n$为第3.2节所述的数据规范化处理后得到的2D纹理贴图集合。为了创建参数化纹理模型，我们采用了主成分分析（PCA）技术。我们将每个$T_i$向量化，得到向量$t_i \in \mathbb{R}^{618,990}$，该向量
---
将所有手部像素的红、绿、蓝通道信息堆叠在一起。PCA首先计算数据协方差矩阵
$$ C=\frac{1}{n-1}\sum_{i=1}^{n}\left(t_{i}-\bar{t}\right)\left(t_{i}-\bar{t}\right)^{\top}, $$
其中$\bar{t} = \frac{1}{n} \sum_{i=1}^{n} t_i$为平均纹理。随后通过对$C = \bar{\Phi} \Lambda \bar{\Phi}^T$进行特征值分解，得到主成分$\bar{\Phi}$以及特征值对角矩阵$\Lambda$。据此我们便得到了参数向量$\alpha \in \mathbb{R}^k$、$k = 101$所对应的参数化纹理模型：
$$ t(\alpha)=\bar{t}+\varPhi\alpha. $$
Fig. 5. 3D hand personalization from a single image. Starting from a single RGB input image (left), we first initialize the mesh using the method by Boukhayma et al. [^6]. Next, we refine the fit non-rigidly and extract the partial hand texture. By fitting our parametric texture model, we are able to obtain a complete texture which minimizes the error to the input texture (right).
## 4 应用场景
为了展示我们的参数化手部外观模型的可行应用场景，我们介绍了两个实例：其一是从单张单目RGB图像中进行3D手部重建与个性化适配；其二是将其作为神经网络层，用于实现自监督的光度损失计算。
### 4.1 基于单张图像的手部个性化适配
给定一张单目RGB手部图像，我们的目标是重建出在形状和外观上均贴合用户特征的个人化3D手部网格。该应用包含四个步骤：（1）初始化MANO模型的形状和姿态参数；（2）进行非刚性形状与姿态优化；（3）提取局部纹理；（4）估算我们模型的外观参数。
---
形状与姿态初始化。我们采用Boukhayma等人的方法[^6]，从单张RGB图像中获取MANO模板网格的初始姿态和形状估计。如前所述，MANO的形状空间并不总是足以完美匹配用户的手部形状。此外，如Fig. 5（从左数第二幅图）所示，Boukhayma等人方法得到的结果也无法将网格精确地投影到图像平面上。因此，需要对这个初始网格进行进一步细化。
初始网格的非刚性细化。我们对初始网格估计进行非刚性细化，以更好地贴合图像中的手部轮廓。为此，我们利用边界顶点上的ICP约束来优化每个顶点的三维位移。我们定义手部网格的边界顶点集合为$\widetilde{V} \subset \mathcal{V}$，即轮廓上的顶点集合。设$\Pi : \mathbb{R}^3 \to \Omega$为将三维世界坐标转换为二维像素位置的相机投影函数。对于每个边界顶点$\bar{v}_i$，我们首先在图像域$\bar{p}_i$中找到距离最近的手部轮廓像素$\Omega$，计算公式如下：
$$ \bar{\boldsymbol{p}}_{i}=\underset{\boldsymbol{p}\in\varOmega}{a r g m i n}||\varPi(\bar{\boldsymbol{v}}_{i})-\boldsymbol{p}||_{2}\quad\mathrm{s.t.}\quad n(\boldsymbol{p})^{\top}\varPi(n(\bar{\boldsymbol{v}}_{i}))>\eta. $$
此处，$n(\boldsymbol{p})$是像素$\boldsymbol{p}$处的二维边界法线（通过Sobel滤波计算得出），而$\Pi(n(\bar{\boldsymbol{v}}_{i}))$则是$\bar{\boldsymbol{v}}_{i}$处三维顶点法线的二维图像平面投影。阈值$\eta = 0.8$会基于法线差异剔除不合适的像素。如果最近的手部轮廓像素$\bar{\boldsymbol{p}}_{i}$的距离小于$\bar{\boldsymbol{v}}_{i}$（等于图像尺寸的4%），我们就将其作为边界顶点$\delta$的对应点：
$$ \bar{\boldsymbol{c}}_{i}=\begin{cases}\bar{\boldsymbol{p}}_{i},&if\mid|\varPi(\bar{\boldsymbol{v}}_{i})-\bar{\boldsymbol{p}}_{i}|\mid_{2}<\delta\\\varnothing,&otherwise\end{cases} $$
接着，我们可以利用计算出的对应点，通过以下目标函数来优化细化后的三维顶点位置：
$$ E(\mathcal{V})=\frac{1}{|\bar{\mathcal{V}}|}\sum_{\bar{v}_{i}\in\bar{\mathcal{V}}}||\varPi(\bar{\boldsymbol{v}}_{i})-\bar{\boldsymbol{p}}_{i}||_{2}^{2}+w_{\mathrm{s m t h}}\sum_{\boldsymbol{v}_{j}\in\mathcal{V}}\sum_{\boldsymbol{v}_{k}\in\mathcal{N}_{j}}\frac{1}{|\mathcal{N}_{j}|}||(\boldsymbol{v}_{j}-\boldsymbol{v}_{k})-(\boldsymbol{v}_{j}^{0}-\boldsymbol{v}_{k}^{0})||_{2}^{2}, $$
其中$\mathcal{N}_j$是$\boldsymbol{v}_j$的相邻顶点集合，$\mathcal{V}^0 = \{\boldsymbol{v}_{\bullet}^0\}$是上一轮ICP迭代得到的顶点位置。总共我们进行20次ICP迭代，且如上所述，$\mathcal{V}, \mathcal{V}^0$是从形状和姿态初始化步骤中得到的初始值。
局部纹理提取。对于每一个完全可见的三角形——即其三个顶点均可见时，我们从输入图像中提取颜色并复制到纹理图中。这样得到的局部纹理图中通常最多只有一半的纹素被赋值，其余纹素则被设置为$\emptyset$。随后我们便得到向量化的目标纹理图$t^{\mathrm{trgt}}$（与第3.3节中模型创建时的方法一致）。
外观参数的估计。接下来，我们通过求解带Tikhonov正则化的最小二乘问题，来确定模型中最能匹配用户手部的外观参数：
---
$$ \begin{array}{r l}&{\mathop{a r g m i n}_{\alpha\in\mathbb{R}^{k}}\displaystyle\sum_{\boldsymbol{t}_{i}^{\mathrm{t r g t}}\neq\emptyset}(t_{i}^{\mathrm{t r g t}}-t(\alpha)_{i})^{2}+w_{\mathrm{r e g}}||\alpha||_{2}^{2}.}\end{array} $$
需要注意的是，我们提出的参数化外观模型能够生成完整的纹理。与提取的局部纹理不同，该结果不含光照效应以及手部模型轻微错位导致的伪影。
### 4.2 自监督光度损失
以往的研究中，研究人员训练神经网络从RGB图像中回归关节位置或MANO模型参数[^7] [^28] [^46] [^55] [^57] [^58]。最常用的损失函数是回归得到的关节位置与真实关节位置之间的欧几里得距离。一些研究还探索了网格与图像中手部区域之间的轮廓损失[^2] [^6] [^56]。我们的方法支持使用自监督的光度损失，该损失可补充现有的全监督损失。采用这种方式训练用于预测形状和姿态的神经网络时，我们还能额外得到手部纹理估计结果。为此，我们引入了带纹理的手部模型层，接下来将对其进行说明。
带纹理的手部模型层。给定一组MANO形状和姿态参数$(\beta, \theta)$以及纹理参数$\alpha$，我们的模型层会计算出带纹理的3D手部网格$\mathcal{M}(\beta, \theta, \alpha)$。随后，通过缩放的正射投影来渲染该网格的图像。这样，就可以直接利用光度损失，以“分析即合成”的方式将渲染出的图像与输入图像进行比较$\mathcal{I}$。我们将光度损失定义为：
$$ \mathcal{L}_{\mathrm{p h o t o}}(\beta,\theta,\alpha)=\frac{1}{|\varGamma|}\sum_{(u,v)\in\varGamma}||\mathrm{r e n d e r}(\mathcal{M}(\beta,\theta,\alpha))(u,v)-\mathcal{I}(u,v)||_{2}, $$
其中$\varGamma$是估计出的手部网格所投影到的像素集合。由于使用了可微渲染器，光度损失$\mathcal{L}_{\mathrm{photo}}$具备完全可微性，从而能够为神经网络训练实现反向传播。
神经网络训练。我们采用ResNet-34架构的残差网络[^17]，从给定的输入图像中回归形状$\beta$、姿态$\theta$和纹理参数$\alpha$。除了自监督的光度损失外，我们还采用了2D关节位置损失、3D关节位置损失，以及对形状、姿态和纹理参数幅值的L2正则化损失。该网络在PyTorch框架下训练[^32]，使用的是PyTorch3D提供的内置可微渲染器[^36]。我们假设训练时采用单一固定的光照条件。至于同时估计光照和材质属性的问题，我们留待后续研究解决。
## 5 实验
在本节中，我们会对所提出的参数化手部纹理模型进行评估，探讨纹理获取流程中的不同设计选择，并展示两个示例应用的结果。
---
### 5.1 纹理模型评估
紧凑性。图6（左）展示了我们纹理模型的紧凑性。该图描述了随着所用主成分数量的增加，训练数据集中可解释方差的提升情况。前几个主成分就能解释大量的变异，因为它们反映了纹理中更全局的变化，比如肤色。不过，增加更多主成分会继续提升可解释方差。
泛化能力。为了评估泛化能力，我们采用了留一受试者外测协议：移除一名受试者的数据（即左右手的两组纹理样本），重新构建PCA模型；接着用构建好的模型重建被排除的纹理，并以向量化纹理的平均绝对距离（MAD）来衡量重建误差。如图6（中）所示，对于这两个模型而言，随着主成分数量的增加，重建误差呈单调递减趋势。
Fig. 6. Evaluation of compactness, generalization and specificity. Using shading removal ("w/ sr") substantially outperforms not using shading removal ("w/o sr").
特异性。我们还报告了特异性，它用于量化模型生成的随机样本与训练数据之间的相似程度。为此，我们首先基于多元标准正态分布（由于PCA的高斯假设）从模型中采样一个纹理实例，然后依据MAD在训练数据集中找到最相似的纹理。我们重复此过程200次，并在图6（右侧）中展示MAD的统计结果。
阴影去除的影响。图6还展示了未去除阴影的纹理模型版本（“w/o sr”）在紧凑性、泛化能力和特异性方面的表现。可以看出，与去除阴影的版本（“w/sr”）相比，未去除阴影的版本在所有指标上表现更差。当光照效应未被去除时，它们会增加训练数据集的方差；因此，需要更多的主成分来解释这种变化，导致未见过的测试样本的重建误差更大。在补充材料中，我们也通过可视化结果说明：未去除阴影的模型所需的主成分必须能够解释强烈的光照变化。
---
先验对应关系的影響。如第3.2节所述，为确保手部模板网格与扫描网格的良好对齐，我们在模型构建阶段的非刚性ICP细化步骤中，利用指尖和手腕处的先验对应关系。图7对比了使用和不使用这些先验对应关系时进行非刚性ICP拟合所得到的纹理。尤其是拇指部位，其指尖常常无法对齐，导致纹理中缺少指甲部分；使用明确的先验对应关系可缓解这一问题。
Fig. 7. Using non-rigid ICP-based refinement with prior correspondences for fingertips and the wrist improves the alignment of the hand template mesh to the scanned mesh, yielding better textures (right). (Textures shown before shading removal.)
Fig. 8. Hand personlization from a single RGB input image for different subjects. (Color figure online)
### 5.2 应用结果：3D手部个性化
在此，我们展示了从单张RGB图像获取个性化3D手部模型的结果（详见第4.1节）。如前所述，由于现有先进回归方法的输出网格[^6]的投影误差较大，我们采用了基于轮廓的非刚性细化技术。为了简化示例应用中的分割过程，我们让用户在绿色背景前拍摄图像。
---
未来工作中，这一步骤可被专门的手部分割方法取代。图8展示了针对多名受试者，从单张RGB图像得到的手部模型拟合结果及完整的恢复纹理。由于我们使用低维PCA空间来建模手部纹理变化，因此即便输入数据存在噪声或部分损坏，也能稳健地估计出合理且完整的纹理（见图9）。相比之下，直接通过将输入图像投影到Boukhayma等人[^6]所提方法得到的网格上生成的纹理，存在明显的对齐偏差以及大量背景像素，因而质量较差。
### 5.3 应用结果：光度神经网络损失函数
我们的自监督光度损失（详见第4.2节）不仅能像以往研究那样获取形状和姿态估计结果，还能进一步估算手部外观。为验证这一点，我们在新近提出的FreiHAND数据集上训练了我们的网络[^58]。关于实验设置的详细信息，请参阅相关文档。在图10中，我们展示了分别用包含与不包含该光度损失的神经网络预测出的手部模型拟合结果（参见第4.2节）。我们注意到，采用光度损失时的姿态和形状预测结果与未采用时相比在定量上相似（平均对齐顶点误差MAVE分别为1.10厘米与1.14厘米，平均对齐关键点误差MAKE也分别为1.11厘米与1.14厘米）。此外，这些结果也与当前最先进的方法相当[^58]，其MAVE为1.09厘米，MAKE为1.10厘米。需要强调的是，采用光度损失的方法还能推断出高分辨率、细节丰富的整个手部纹理，这是其他方法所不具备的。
Input Image Extracted Texture using Boukhayma et al.
Estimated Complete Texture
Fig. 9. Fitting to noisy or corrupted input textures is robust and yields a realistic and complete texture estimate due to the low-dimensional PCA space built by our model.
---
Fig. 10. We show the predicted pose and texture from a neural network trained using a photometric loss $L_{photo}$ enabled by our parametric hand texture model.
## 6 局限性与讨论
实验表明，HTML可用于恢复个性化的3D手部形状与外观。尽管我们的模型能生成详细的纹理，但MANO网格的底层几何结构较为粗糙（仅含778个顶点）。若采用分辨率更高的网格，并扩展MANO形状空间以纳入更精细的几何信息，便可改善这一状况。可以探索使用非线性模型（如自编码器神经网络）来捕捉线性PCA模型无法表示的变异。由于手部外观会随着关节活动而变化，建模姿态相关的纹理变化能够提升真实感。不过这需要更复杂的采集与配准装置，以及规模更大的数据集来覆盖全部姿态空间和不同用户群体。从应用角度来看，除了纹理参数外，若能同时或联合估算光照参数，就能更好地重构输入观测数据。手部经常会出现阴影效果，因此准确建模光照条件是一大挑战，这一问题有待解决。我们模型的其它应用场景，比如探究自监督机制如何减少对关键点标注的需求或提升姿态估计精度，也可作为未来研究的方向。
## 7 结论
在这项工作中，我们提出了HTML——首个参数化手部纹理模型。该模型基于涵盖102名不同性别、年龄和种族人群的手部数据构建。
---
在模型创建过程中，我们精心设计了数据规范化流程，包括背景去除、几何模型拟合、纹理映射以及阴影去除。此外，我们还证明了该模型能够实现两项极具应用价值的功能：从单张RGB图像实现3D手部个性化建模，以及利用自监督损失学习纹理估计。我们公开提供该模型，以期推动该领域的后续研究。
致谢。作者感谢所有参与数据采集的人员。本研究得到了ERC Consolidator Grant 4DRepLy（项目编号770784）的支持。
## 参考文献
[^1]: Baek, S., In Kim, K., Kim, T.K.: Augmented skeleton space transfer for depth-based hand pose estimation. In: Computer Vision and Pattern Recognition (CVPR) (2018)
[^2]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In: Computer Vision and Pattern Recognition (CVPR) (2019)
3. Bailer, C., Finckh, M., Lensch, H.P.A.：尺度鲁棒的多视图立体匹配。收录于：Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C.（编）《ECCV 2012》。LNCS第7574卷，第398–411页。施普林格出版社，海德堡（2012年）。
[^4]: Besl, P.J., McKay, N.D.: A method for registration of 3-D shapes. Trans. Pattern Anal. Mach. Intell. (TPAMI) 14(2), 239–256 (1992)
[^5]: Blanz, V., Vetter, T.: A morphable model for the synthesis of 3D faces. In: SIGGRAPH, pp. 187–194 (1999)
[^6]: Boukhayma, A., de Bem, R., Torr, P.H.: 3D hand shape and pose from images in the wild. In: Computer Vision and Pattern Recognition (CVPR) (2019)
7. Cai, Y., Ge, L., Cai, J., Yuan, J.：基于单目RGB图像的弱监督3D手部姿态估计。收录于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS第11210卷，第678–694页。施普林格出版社，沙姆（2018年）。
[^8]: Chen, Y., Tu, Z., Ge, L., Zhang, D., Chen, R., Yuan, J.: SO-HandNet: self-organizing network for 3D hand pose estimation with semi-supervised learning. In: International Conference on Computer Vision (ICCV) (2019)
[^9]: Dai, H., Pears, N., Smith, W.A., Duncan, C.: A 3D morphable model of craniofacial shape and texture variation. In: International Conference on Computer Vision (ICCV), pp. 3085–3093 (2017)
[^10]: Egger, B., et al.: 3D morphable face models - past, present and future. ACM Trans. Graph. 39, 157:1–157:38 (2020)
[^11]: Fischler, M.A., Bolles, R.C.: Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM 24(6), 381–395 (1981)
[^12]: Ge, L., Cai, Y., Weng, J., Yuan, J.: Hand PointNet: 3D hand pose estimation using point sets. In: Computer Vision and Pattern Recognition (CVPR) (2018)
## [^13]: Gerig, T., et al.: Morphable face models—an open framework. In: International Conference on Automatic Face & Gesture Recognition (FG), pp. 75–82 (2018)
---
[^14]: Habermann, M., Xu, W., Zollhoefer, M., Pons-Moll, G., Theobalt, C.: LiveCap: real-time human performance capture from monocular video. ACM Trans. Graph. (TOG) 38(2), 1–17 (2019)
[^15]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: HOnnotate: a method for 3D annotation of hand and object poses. In: Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3196–3206 (2020)
[^16]: Hasson, Y., et al.: Learning joint reconstruction of hands and manipulated objects. In: Computer Vision and Pattern Recognition (CVPR) (2019)
[^17]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Computer Vision and Pattern Recognition (CVPR), pp. 770–778 (2016)
[^18]: Huber, P., et al.: A multiresolution 3D morphable face model and fitting framework. In: International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP) (2016)
[^19]: Jung, S., Hughes, C.: Body ownership in virtual reality. In: International Conference on Collaboration Technologies and Systems (CTS), pp. 597–600 (10 2016)
[^20]: Khamis, S., Taylor, J., Shotton, J., Keskin, C., Izadi, S., Fitzgibbon, A.: Learning an efficient model of hand shape variation from depth images. In: Computer Vision and Pattern Recognition (CVPR) (2015)
[^21]: Klein, G., Murray, D.: Parallel tracking and mapping for small AR workspaces. In: International Symposium on Mixed and Augmented Reality (ISMAR) (2007)
22. Kovalenko, O.、Golyanik, V.、Malik, J.、Elhayek, A.、Stricker, D.：基于关节运动的结构恢复：无需训练数据的精确且稳定的单目3D重建。《传感器》$\mathbf{19}(20)$，第4603页（2019年）。
[^23]: de La Gorce, M., Fleet, D.J., Paragios, N.: Model-based 3D hand pose estimation from monocular video. Trans. Pattern Anal. Mach. Intell. (PAMI) 33(9), 1793–1805 (2011)
[^24]: de La Gorce, M., Paragios, N., Fleet, D.J.: Model-based hand tracking with texture, shading and self-occlusions. In: Computer Vision and Pattern Recognition (CVPR) (2008)
[^25]: Li, S., Lee, D.: Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In: Computer Vision and Pattern Recognition (CVPR) (2019)
[^26]: Malik, J., et al.: HandVoxNet: deep voxel-based network for 3D hand shape and pose estimation from a single depth map. In: Computer Vision and Pattern Recognition (CVPR) (2020)
[^27]: Malik, J., et al.: DeepHPS: end-to-end estimation of 3D hand pose and shape by learning from synthetic depth. In: International Conference on 3D Vision (3DV) (2018)
[^28]: Mueller, F., et al.: GANerated hands for real-time 3D hand tracking from monocular RGB. In: Computer Vision and Pattern Recognition (CVPR) (2018)
[^29]: Mueller, F., et al.: Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Trans. Graph. (TOG) 38(4), 1–13 (2019)
[^30]: Oberweger, M., Wohlhart, P., Lepetit, V.: Training a feedback loop for hand pose estimation. In: International Conference on Computer Vision (ICCV) (2015)
[^31]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Efficient model-based 3D tracking of hand articulations using Kinect. In: British Machine Vision Conference (BMVC) (2011)
## [^32]: Paszke, A., et al.: PyTorch: an imperative style, high-performance deep learning library. In: Advances in Neural Information Processing Systems (NeurIPS), pp. 8024–8035 (2019)
---
[^33]: Paysan, P., Knothe, R., Amberg, B., Romdhani, S., Vetter, T.: A 3D face model for pose and illumination invariant face recognition. In: International Conference on Advanced Video and Signal Based Surveillance (AVSS), pp. 296–301 (2009)
[^34]: Prada, F., Kazhdan, M., Chuang, M., Hoppe, H.: Gradient-domain processing within a texture atlas. ACM Trans. Graph. (TOG) 37(4), 154:1–154:14 (2018)
[^35]: Qian, C., Sun, X., Wei, Y., Tang, X., Sun, J.: Realtime and robust hand tracking from depth. In: Computer Vision and Pattern Recognition (CVPR) (2014)
36. Ravi, N.等：PyTorch3D（2020年）。
[^37]: Remelli, E., Tkach, A., Tagliasacchi, A., Pauly, M.: Low-dimensionality calibration through local anisotropic scaling for robust hand model personalization. In: International Conference on Computer Vision (ICCV) (2017)
[^38]: Romdhani, S., Vetter, T.: Estimating 3D shape and texture using pixel intensity, edges, specular highlights, texture constraints and a prior. Comput. Vis. Pattern Recogn. (CVPR) 2, 986–993 (2005)
[^39]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph. (Proc. SIGGRAPH Asia) 36(6), 245:1–245:17 (2017)
[^40]: Schönberger, J.L., Frahm, J.M.: Structure-from-motion revisited. In: Computer Vision and Pattern Recognition (CVPR) (2016)
[^41]: Sharp, T., et al.: Accurate, robust, and flexible real-time hand tracking. In: ACM Conference on Human Factors in Computing Systems (CHI) (2015)
42. Shiffman, M.A.、Mirrafati, S.、Lam, S.M.、Cueteaux, C.G.：简化版面部年轻化技术。施普林格出版社，海德堡（2007年）。
[^43]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: Computer Vision and Pattern Recognition (CVPR) (2017)
44. 索尼3D Creator。
45. 索尼公司：3D Creator应用程序（白皮书），版本3：2018年8月（2018年）。
[^46]: Spurr, A., Song, J., Park, S., Hilliges, O.: Cross-modal deep variational hand pose estimation. In: Computer Vision and Pattern Recognition (CVPR) (2018)
[^47]: Sridhar, S., Oulasvirta, A., Theobalt, C.: Interactive markerless articulated hand motion tracking using RGB and depth data. In: International Conference on Computer Vision (ICCV) (2013)
[^48]: Taylor, J., et al.: Articulated distance fields for ultra-fast tracking of hands interacting. ACM Trans. Graph. (TOG) 36(6), 1–12 (2017)
[^49]: Tewari, A., et al.: MoFA: model-based deep convolutional face autoencoder for unsupervised monocular reconstruction. In: International Conference on Computer Vision (ICCV) (2017)
[^50]: Thies, J., Zollhöfer, M., Stamminger, M., Theobalt, C., Nießner, M.: Face2Face: real-time face capture and reenactment of RGB videos. In: Computer Vision and Pattern Recognition (CVPR) (2016)
[^51]: Tkach, A., Pauly, M., Tagliasacchi, A.: Sphere-meshes for real-time hand modeling and tracking. ACM Trans. Graph. (ToG) 35(6), 1–11 (2016)
[^52]: Tkach, A., Tagliasacchi, A., Remelli, E., Pauly, M., Fitzgibbon, A.: Online generative model personalization for hand tracking. ACM Trans. Graph. (ToG) 36(6), 1–11 (2017)
## [^53]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM Trans. Graph. 33, 169:1–169:10 (2014)
---
[^54]: Wan, C., Probst, T., Van Gool, L., Yao, A.: Crossing nets: combining GANs and VAEs with a shared latent space for hand pose estimation. In: Computer Vision and Pattern Recognition (CVPR) (2017)
[^55]: Yang, L., Li, S., Lee, D., Yao, A.: Aligning latent spaces for 3D hand pose estimation. In: International Conference on Computer Vision (ICCV) (2019)
[^56]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular RGB image. In: International Conference on Computer Vision (ICCV) (2019)
[^57]: Zimmermann, C., Brox, T.: Learning to estimate 3D hand pose from single RGB images. In: International Conference on Computer Vision (ICCV) (2017)
[^58]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Frei-HAND: a dataset for markerless capture of hand pose and shape from single RGB images. In: International Conference on Computer Vision (ICCV) (2019)