# Handy：构建高保真度的3D手部形状与外观模型
罗兰多斯·亚历山德罗斯·波塔米亚斯 $^{1}$、斯蒂利亚诺斯·普卢姆皮斯 $^{1}$、斯蒂利亚诺斯·莫斯霍格鲁 $^{1}$、瓦西里奥斯·特里安塔菲卢 $^{2}$、斯特凡诺斯·扎费里乌 $^{1}$
$^{1}$帝国理工学院 $^{2}$Cosmos Designs Ltd
{r.potamias,s.ploumpis,s.moschoglou,s.zafeiriou}@imperial.ac.uk
Figure 1. Our proposed hand model is able to generalise and accurately reconstruct the 3D hand shape and appearance from a single in-the-wild image. High frequency details are visible in our reconstructions such as wrinkles, veins, nail polish etc.
## 摘要
过去几年里，随着虚拟现实和增强现实技术的兴起，大量研究聚焦于人类手部的建模、追踪与重建。由于手部能够表达丰富的人类行为信息，它一直是人体中极为重要却又极具挑战性的组成部分。目前，大多数先进的重建与姿态估计方法都依赖于多边形数量较少的MANO模型。除了多边形数量少之外，MANO模型仅基于31名成年受试者的数据训练而成，这不仅限制了其表达能力，还给姿态估计方法带来了不必要的形状重建约束。此外，手部外观在多数手部重建方法中几乎未被重视和研究。在本研究中，我们提出了“Handy”——一个大规模的人类手部模型，该模型同时涵盖形状与外观信息，包含超过1200名受试者的数据，我们将其公开发布以供研究界使用。与现有模型不同，我们提出的手部模型是在年龄、性别和种族多样性丰富的数据集上训练的，从而弥补了MANO模型的不足，能够准确重建分布外样本。为了创建高质量的纹理模型，我们训练了一个强大的GAN，它能够保留高频细节并生成高分辨率的手部纹理。为了展示所提模型的能力，我们构建了一个带纹理的手部合成数据集，并训练了一个手部姿态估计网络，以便从单张图像中同时重建手部形状与外观。通过一系列详尽的定量与定性实验证明，我们的模型相比现有技术更为稳健，即便在复杂的真实场景条件下，也能精准还原3D手部形状、姿态以及高频细节纹理。
为了创建高质量的纹理模型，我们训练了一个强大的GAN，它能够保留高频细节并生成高分辨率的手部纹理。为了展示所提模型的能力，我们构建了一个带纹理的手部合成数据集，并训练了一个手部姿态估计网络，以便从单张图像中同时重建手部形状与外观。通过一系列详尽的定量与定性实验证明，我们的模型相比现有技术更为稳健，即便在复杂的真实场景条件下，也能精准还原3D手部形状、姿态以及高频细节纹理。
### 1. 引言
人类主要通过面部表情和手部动作来表达情感。手部动作与姿态是肢体语言的强烈信号，能够传递有意义的信息，这些信息在人类行为分析中起着关键作用。正因如此，手部在生物识别应用领域受到了广泛研究 [^11] [^40]。3D手部模型推动了虚拟现实领域关键任务的技术发展，比如人类手部追踪。
---
[^19]: [^36] [^42] [^51] and pose estimation [^18] [^55]. Specifically, hand pose estimation algorithms utilize these models in order to reconstruct a subject's hand from a monocular depth or RGB image. However, most of the current state-of-the-art methods on 3D hand reconstruction and pose estimation rely on low polygon models, with minimum diversity in terms of age, gender, and ethnicity and without any hand texture appearance [^39].
尤其是，MANO [^39] 被认为是最受欢迎的手部模型，它开创了参数化人手模型的构建先河。尽管其多边形分辨率较低（仅778个顶点），且仅包含31个样本，这限制了高保真3D重建方法的精确度。样本数量如此之少的统计模型，必然会对不同年龄和种族群体的手部形状重建造成制约。同样，尽管研究人员努力引入强大的姿态先验来将参数化模型准确约束在合理的手部姿态上 [^31]，但重建方法仍然依赖于有限的形状模型。重要的是，当前的参数化模型仅基于20至60岁成年人的手部形状构建，完全忽略了该年龄范围之外的形状差异。我们通过实验证明，儿童手部在形状上与成人存在显著差异，这使得现有的形状模型容易出现重建误差。
除了形状方面的局限外，当前手部模型的另一大缺陷在于缺乏高分辨率的纹理模型。尽管在虚拟和增强现实中，个性化外观重建至关重要，但尝试将手部纹理与形状和姿态一同建模的研究却寥寥无几。具体而言，目前从单目图像重建手部纹理的方法，受限于有限的人群多样性以及低分辨率纹理，难以满足实际应用需求[8–10, 37, 47]。最近，HTML [^37] 提出了目前可用的最大规模的人手参数化纹理模型，该模型包含51个样本。由于纹理部分是基于低分辨率纹理UV贴图的主成分分析（PCA）得到的，生成的纹理往往较为模糊，缺乏手部的高频细节。低分辨率纹理不仅限制了RGB重建的保真度，也阻碍了逼真合成数据的生成。目前，最先进的手部-物体检测方法 [^3] [^16] [^49] 都是在包含HTML或顶点颜色等低分辨率纹理的合成数据集上训练模型，这进而限制了最终重建结果的质量。
在本研究中，我们提出了“Handy”——首个由超过1200个样本构成的大规模参数化形状和纹理手部模型。凭借这些具有高分辨率纹理、涵盖广泛人群、性别和年龄差异的数据，我们构建了能够克服以往最先进模型形状局限的高分辨率手部模型。据我们所知，这是首个能够涵盖1至81岁受试者的手部模型。这些扫描数据配有高分辨率纹理，从而能够创建出细节丰富的纹理模型。与HTML [^37] 不同，我们采用基于样式的GAN构建了高分辨率纹理模型，该模型能够模拟人手的高频细节（如皱纹、血管、指甲油）。通过一系列实验，我们证明了所提出的参数化模型克服了以往方法的局限；同时，据我们所知，我们也首次实现了从单个自然场景图像中进行的高保真纹理重建。
尤其是，尽管基于单目深度图和RGB图像的三维手部重建已经取得成功，但目前能够同时重建手部姿态以及形状和纹理成分的方法仍寥寥无几。现有的三维手部数据集仅包含关于姿态和全局旋转的手部标注，而且通常仅通过建模平均手部形状来忽略手部形状的差异。此外，由于缺乏高分辨率纹理图的真实值，当前的手部重建方法无法准确预测特定手部的外观。为了实现纹理建模，我们顺应合成数据生成的发展趋势，构建了一个包含姿态、形状和纹理信息标注的大规模数据集。总而言之，本研究的贡献如下：
- 为了造福研究界，我们公开提供大规模的人类手部形状和外观模型，该模型基于超过1200个三维手部扫描数据构建，涵盖了年龄、性别和种族方面的高度多样性。
- 基于我们高保真度的手部模型，我们创建了一套用于单目三维手部重建的合成数据集并予以公开。如实验部分所示，我们的合成数据集能够帮助现成的重建方法提升效果。
- 我们提出了一种基于单目图像的高保真度外观重建方法，该方法能够重建皱纹、血管、指甲油等高频细节。
### 2. 相关工作
参数化手部模型。多年来，文献中提出了多种用于近似手部关节的手部模型。最初，Oikonomidis等人[^33]尝试将手部形状建模为一系列几何图元，如椭圆柱、椭球体、球体和圆锥体。继[^33]之后，又提出了各种利用各向异性高斯函数[^44]来建模手部关节的方法，
---
或是采用一系列球形网格[^46]，或是凸体集合[^28]。Schmidt等人[^41]首次利用常用的有符号距离函数对关节手部进行隐式表示。Khamis等人[^23]基于50个受试者的扫描数据，提出了首个线性混合蒙皮（LBS）模型。作者利用低维PCA来建模手部姿态和形状变化。为了解决LBS带来的体积损失问题并限制不切实际的姿态，Romero等人[^39]从31个受试者的扫描数据中学习出与姿态相关的校正混合形状，并提出了MANO参数化模型。Li等人[^26]提出了NIMBLE模型，用于建模手部内部结构，即骨骼和肌肉。最近，HTML[^37]试图通过收集50个受试者的手部纹理来创建人类手部的参数化外观模型。然而，由于数据量有限，作者在UV空间上训练PCA模型，导致生成的纹理分辨率较低。为解决上述局限，本研究提出了首个大规模的人类手部形状和外观模型，该模型由超过1200个扫描数据构成。
手部姿态估计。3D手部姿态估计是一个长期研究的领域，最初是通过将手部模型变形为体素形式的[^17]以及深度图像[^15] [^32] [^43] [^45]来实现。最初，3D姿态估计被视为一个拟合问题，即利用3D参数化模型来拟合2D关键点[^34] [^35]。De La Groce等人[^9]开创了从单张RGB图像中通过求解优化问题来进行手部姿态跟踪的技术。深度学习方法的出现使得研究重点转向了利用卷积神经网络（CNN）从RGB图像中预测稀疏关节关键点[^18] [^30] [^34] [^54]。大多数此类方法试图通过回归MANO模型[^39]参数[^2] [^3] [^53]来直接预测密集的3D手部位置，这限制了它们只能在MANO的形状和姿态空间内活动。有几种方法偏离了MANO的参数空间，转而利用图神经网络直接回归3D顶点位置[^13] [^24] [^25]。Hasson等人[^16]提出了一种基于CNN的方法，该方法通过回归MANO和AtlasNet参数来重建3D手部姿态以及各种物体形状。最近，少数方法尝试利用隐式表示[^22] [^50]、参数化表示[^4] [^49]或两者的组合表示[^7]来同时重建物体和手部。
用于手部姿态估计的合成数据集。事实证明，合成数据集非常有效，能够提升训练性能并克服许多应用中的数据限制，这些应用范围从人脸重建 [^48] 到行人检测 [^12]。大量手部姿态研究方法都是利用在不同手部姿态和光照环境下生成的合成数据进行训练的 [^3] [^5] [^13] [^49] [^54]。哈森等人 [^16] 利用SMLP模型 [^27]，根据GraspIt数据集中的各种手部姿态生成了合成数据 [^29]。除了手部数据外，作者还使用ShapeNet中的物体来生成手部与物体交互的数据集。然而，上述所有研究都仅限于少数几种纹理变化 [^54] 或低分辨率的手部纹理 [^3] [^16] [^47] [^49]，从而在合成图像与真实世界图像之间产生了域差异。为了缩小这种域差异，我们提出了一种新的包含手部与物体的数据集，类似于 [^16]，该数据集采用了高分辨率的手部纹理，朝着打造照片级逼真的合成手部数据集迈出了重要一步。
### 3. Handy：形状与外观模型
在本节中，我们将介绍我们的大规模手部模型“Handy”。我们首先介绍所收集到的3D数据集，正是凭借该数据集我们构建了高保真的形状与纹理模型。接着，我们描述了如何将整个手部数据集进行密集对应处理，进而创建出大规模形状模型。最后，我们阐述了如何训练基于样式的外观模型，该模型能够保留人手的所有高频细节。
#### 3.1. 大规模3D手部数据集
如第1节所述，我们收集了一个包含带纹理的3D手部扫描数据的大型数据集。这些手部数据是在伦敦科学博物馆的一次特别展览中采集的。用于采集数据的设备是3dMD 4相机结构光立体成像系统，该系统能够生成高质量的密集网格模型。原始扫描数据的顶点数约为30,000个。我们共采集了1208个不同受试者的数据，并记录了相关的元数据，包括性别（男性占53%，女性占47%）、年龄（1至81岁）、身高（80至210厘米）以及种族（白人占82%，亚裔占9%，混血占7%，黑人占2%），具体如图2所示。
Figure 2. Distribution of demographic characteristics of the scanned subjects. The collected hand dataset covers a large variety of ages, heights, and ethnicities.
尤为值得关注的是，我们收集的手部扫描数据在年龄、种族和身高方面具有极高的多样性，这为构建通用手部模型迈出了重要一步。与以往的方法相比[^37] [^39]，本次采集的数据中包含超过360名12岁以下的儿童以及100名60岁以上的老年人。为了捕捉不同的手部姿态变化，每位受试者需按照特定协议，每天进行一系列手部动作练习，持续101天。
---
部分示例图像如图7所示。由于我们的数据集包含人类受试者的个人信息，因此我们确保数据采集过程严格遵循伦理准则。
#### 3.2. 形状模型构建
为了创建人类手部的统计形状模型，我们首先将一组3D扫描数据与通用模板网格进行刚性对齐。在我们的方法中，使用了两种不同多边形数量的模板。作为低多边形分辨率模板，我们采用了包含778个顶点的MANO模板，该模板可直接适配SMPL模型[^27]。为了实现高质量的手部建模，我们采用了包含8407个顶点的高分辨率手部模板。为使原始扫描数据达到密集对应关系，我们从多个视角渲染这些扫描数据，并利用MediaPipe框架[^51]来检测2D关节位置。我们通过线性三角测量法将2D关节位置转换为3D坐标，再通过手指骨骼在表面上的投影来确定指尖位置。随后，我们利用转换得到的3D特征点来调整模板的姿态，使其与3D扫描表面对齐。最后，为了获得最终的手部密集配准结果，我们在手部模板网格与3D原始扫描数据之间应用非刚性迭代最近点算法（NICP）[^1]。
在所有3D原始手部扫描数据都与高分辨率模板达到密集对应关系后，我们将其归一化为标准的手掌张开姿态，以避免不必要的形变被纳入最终的形状模型中。我们构建的可变形手部形状模型是以形状的线性基来描述的。具体而言，通过主成分分析（PCA），我们构建了包含N个顶点的手部模型，该模型由保留下来的前$n_c$个主成分$\mathbf{U} \in \mathbb{R}^{3N \times n_c}$及其对应的$\lambda$个特征值构成正交基。新的手部实例可通过回归形状参数$\boldsymbol{\beta} = [\beta_0, \beta_1, ..., \beta_{n_c}] \in \mathbb{R}^{n_c}$来生成，公式如下：
$$ B_{s}(\boldsymbol{\beta})=\mathbf{T}+\sum_{i=0}^{n_{c}}\mathbf{U}_{\mathbf{i}}\boldsymbol{\beta}_{\mathbf{i}}\in\mathbb{R}^{3N} $$
其中$\mathbf{T} \in \mathbb{R}^{3N}$表示平均手部形状。前5个形状分量的变化情况如图3所示。
最终，可活动手部模型可定义为：
$$ \mathcal{M}(\boldsymbol{\beta},\boldsymbol{\theta})=W(T_{p}(\boldsymbol{\beta},\boldsymbol{\theta}),J(\boldsymbol{\beta}),\boldsymbol{\theta},\mathcal{W}) $$
$$ T_{p}(\boldsymbol{\beta},\boldsymbol{\theta})=B_{s}(\boldsymbol{\beta})+B_{p}(\boldsymbol{\theta}) $$
其中，$W(\cdot)$ 对应应用于具有特定姿态形状 $T_p$、$\mathcal{W}$ 的关节手模型的线性混合蒙皮函数（LBS）；J 用于定义混合权重，而关节位置的运动学树则分别由 $\beta, \theta$ 表示。
Figure 3. Mean shape T and the first five principal components, each visualized as additions and subtractions of 3 standard deviations ( $\pm3\sigma$) away from the mean shape.
分别对应形状和姿态参数。为了解决传统LBS函数导致的关节塌陷问题，我们借鉴MANO [^39] 的方法，采用学习得到的姿态校正混合形状，从而生成更逼真的手部姿态：
$$ B_{p}(\boldsymbol{\theta})=\sum_{i=0}^{9K}\left(R_{i}(\boldsymbol{\theta})-R_{i}(\boldsymbol{\theta}^{*})\right)\mathbf{P}_{i} $$
其中，$\mathbf{P}_i$ 代表姿态混合形状，K为手部模型的关节数量，$R_i(\theta)$ 是将姿态参数 $\theta$ 映射为第i个关节旋转矩阵的函数，而 $\theta^*$ 则指代标准姿态。
#### 3.3. 高分辨率外观模型
如HTML [^37] 中所示，为了训练纹理模型，需要让手部扫描数据相互对应。为实现最佳效果，我们请图形艺术家设计了一个UV手部模板，并将其作为参考模板来解包扫描数据。不过，这些手部扫描是在受限光照条件下获取的，且带有投影阴影。因此，在进行任何训练步骤之前，我们对UV纹理进行了预处理，以消除阴影和光照影响。具体而言，我们对UV纹理应用主成分分析（PCA），找出主要描述阴影因素的成分，然后从每个纹理UV图中减去这些成分，从而去除不必要的阴影。最后，我们进行了图像处理步骤，将手部纹理映射为更自然的颜色，包括提高亮度、进行伽马校正以及微调色调值。
在训练过程中，与其他方法在低频PCA域中建模外观空间的做法不同 [^37]，我们采用了强大的GAN架构 [^20] 来建模手部纹理。由于收集到的数据量有限，我们将学习率设为0.001。我们还发现，设置正则化权重 $\gamma$ 为50，有助于提升FID分数以及视觉质量。
---
最终结果的细节。在图4中，我们展示了所提出的高保真外观模型的一些随机生成结果。利用这种GAN架构，我们能够在保留高频皮肤细节的同时，避免PCA模型产生的平滑效应。图8中的纹理重建定性结果也验证了这一结论。
Figure 4. Generated high quality texture UV maps from our GAN appearance model.
### 4. 实验
#### 4.1. 所提出手部模型的内在评估
在本节中，我们评估所提出手部形状模型，并将其与文献中常用的MANO模型 [^39] 进行比较。我们遵循常规做法，从紧凑性、泛化能力和特异性方面对这两种形状模型进行对比。这两个模型均在MANO数据集的测试集上进行了测试。我们还报告了一种变体模型，该模型采用了第3.2节所述的MANO模板。需要注意的是，MANO模型的前10个主成分（共31个）是公开可用的。
紧凑性。在图5（左）中，我们展示了两种模型的紧凑性指标。紧凑性是指模型在保留一定数量主成分的情况下，能够解释训练数据集中方差的百分比。图5（左）表明，所提出的模型能更好地解释数据集的变化：仅需5个主成分就能解释超过90%的方差，而MANO模型则需要到第9个主成分才能达到90%的方差解释度。
泛化能力体现了模型生成训练集中未出现的新手部实例的能力。我们通过计算MANO测试集中每个网格与其对应模型重投影之间的平均顶点距离来衡量泛化误差。图5（中）显示，与MANO模型相比，所提出的模型具有更好的分布外泛化能力，且标准差更低；而MANO模型无法生成新的手部形状。
| Age <8 | Age <12 |
| MANO [^39] | 0.78 | 0.77 |
| Proposed w/ MANO $n_{c} = 10$ | 0.48 | 0.44 |
| Proposed w/ MANO $n_{c} = 30$ | 0.28 | 0.25 |
| Proposed $n_{c} = 10$ | 0.44 | 0.42 |
| Proposed $n_{c} = 30$ | 0.24 | 0.21 |
Table 1. Per vertex reconstruction error on 20 children's hands in mm. We also report the performance of the proposed model with the MANO template (w/MANO) and use a different number of components ( $n_{c}$) for a fair comparison. Bold denotes the best performance.
新的手部形状。
特异性。最后，我们报告特异性误差，该指标用于衡量生成的手部形状的逼真度及其与训练样本的相似程度。具体而言，我们生成了1000种手部形状，并测量它们与真实数据集中最接近样本之间的顶点距离。为了公平比较，各模型训练所用的样本被用作真实形状基准。图5（右）显示，与MANO模型相比，所提出方法的特异性误差更小，差距约为2.5毫米。需要注意的是，所提出模型与“所提出模型+MANO”模型之间的细微差异，源于所提出手部模板的高分辨率（8704个顶点），这使得其生成的形状比MANO模板（778个顶点）更精细。
#### 4.2. 儿童手部重建
当前最先进的手部模型存在一个主要局限：它们是基于特定年龄组的有限数据训练的，无法反映真实的手部变异情况。具体而言，我们测试了训练集中未包含的20名12岁以下儿童手部的重建误差。表1显示了所提出手部模型的重建能力——该模型基于1208名不同年龄段的受试者数据训练而成；相比之下，常用的MANO模型仅包含31个成人手部样本。图6中的彩色编码顶点误差图验证了所提出模型在儿童手部重建方面的优越性。不出所料，MANO模型无法正确重建成人与儿童手部的主要解剖差异，这种差异主要体现在手背部位。
#### 4.3. 基于单张图像的3D重建
遵循许多手部姿态估计方法的思路，我们创建了一个合成数据集来训练手部重建模型。具体来说，我们利用GAN模型生成了3万张带纹理的图像，以此构建包含带纹理手部的合成数据集。为了提升合成数据的逼真度，与[^16]类似，我们渲染了与ShapeNet数据集中的物体交互的手部图像，并完成后续处理。
---
Figure 5. Evaluation of compactness, generalization and specificity against MANO model.
Figure 6. Color coded reconstruction error of children's hands.
Figure 7. Hand shape and appearance reconstructions from single images under controlled conditions.
基于SMPL模型的手部形状。与Obman数据集[^16]不同，我们采用了高分辨率手部纹理，以弥合合成图像与真实场景中的手部图像之间的域差异。我们使用多种光照、照明和相机配置来生成多样化的合成渲染结果。为了利用所提出的Handy模型，我们对一种现成的方法[^3] [^14] [^16]进行了修改，用Handy替代了MANO参数化模型。该方法包含一个在ImageNet上预训练过的ResNet50图像编码器，以及两个用于回归我们参数化模型的姿态和形状隐码的分支。与以往方法不同的是，为了同时重建纹理，我们又增加了两个额外的分支，用于回归纹理模型的隐空间w以及相机配置(s, t)。我们使用一组损失函数训练网络，以实现精确的手部姿态、形状和外观估计。具体而言，类似于[^3] [^16] [^55]，我们通过针对隐形状参数、隐姿态参数以及生成的3D顶点位置施加损失，来强制进行形状和姿态估计：
$$ \begin{aligned}\mathcal{L}_{\beta}&=\|\boldsymbol{\beta}-\hat{\boldsymbol{\beta}}\|_{2},\quad\mathcal{L}_{\theta}=\|\boldsymbol{\theta}-\hat{\boldsymbol{\theta}}\|_{2}\\\mathcal{L}_{3D}&=\sum_{i}\|\mathbf{v}_{i}-\hat{\mathbf{v}}_{i}\|_{2}\end{aligned} $$
其中$\beta, \theta, v$表示预测的形状、姿态和顶点位置，$\hat{\beta}, \hat{\theta}, \hat{v}$表示其对应的真实值。
为了精确生成手部纹理，我们使用了多种损失函数的组合。由于合成数据是利用已知的真实UV贴图渲染的，因此我们可以直接通过UV损失迫使模型生成与真实UV贴图匹配的纹理：
$$ \mathcal{L}_{u v}=\|U V^{\mathcal{G}}-U V^{0}\|_{1} $$
其中$UV^{G}$对应生成的UV纹理，$UV^{O}$对应真实纹理。
此外，我们采用了一个可微渲染器，它使用具有可训练参数的正交相机，将生成的3D手部投影到输入图像平面上。为了获得精确的相机参数并建模外观细节，我们在渲染图像与输入图像之间应用像素损失：
$$ \mathcal{L}_{p i x}=\|I^{\mathcal{R}}-I^{0}\|_{1} $$
---
Figure 8. Hand shape and appearance reconstructions from single "in-the-wild" images. From left to right, we: i) depict the "in-the-wild" image, ii) our Handy-Shape reconstruction, iii) our Handy-GAN result, iv) our Handy-PCA model, and v) the HTML [^37] texture on top of our shape mesh (Handy-Shape).
其中$I^{\mathcal{R}}, I^{0}$分别对应原始图像和渲染图像。
最后，为了约束生成的手部纹理，我们应用了一种感知损失[^52]，迫使纹理模型生成与输入图像匹配的真实纹理：
$$ \mathcal{L}_{l p i p s}=\mathcal{F}(I^{\mathcal{R}},I^{0}) $$
具体的网络架构详见补充材料。
尽管合成数据足以训练手部姿态和外观估计网络，
但它们通常会限制纹理回归器生成位于我们纹理分布范围内的隐码，
从而无法重建更具挑战性的纹理。为了提升高保真度外观重建效果，
我们收集了一组真实场景中的图像，
具有复杂纹理的图像。为了提升外观的逼真度
我们仅进一步优化纹理参数w，以生成与真实图像外观相匹配的高分辨率纹理。
利用预训练的回归网络来预测手部的姿态、形状和纹理参数。
随后，类似于 [^21]，我们
只需进一步优化纹理参数 w，以生成分辨率更高、且与实际图像外观相匹配的纹理。
这些高分辨率纹理能够还原真实场景中的图像效果。
"野外"图像。优化函数是构-
造的，使用公式 7、8 以及 $L_2$ 正则化
该正则化约束用于确保 w 不会大幅偏离初始值。
估算。一旦获得优化后的w’，我们就对其进行微调。
我们会在“自然场景”数据集上对回归网络进行微调。
为了定量评估所提方法的纹理重建效果，我们将网络输入用扫描设备采集的图像。作为真实UV纹理，我们使用配准步骤后获取的每个受试者的对应UV贴图。如表2所示，就$L_{1}$损失和LPIPS损失而言，所提模型显著优于HTML模型。
| Method | $L_{1}$ ( $\times 10^{-2}$) | LPIPS [^52] |
| HTML | 2.14 | 0.092 |
| Handy-PCA | 1.44 | 0.065 |
| Handy-GAN | 0.47 | 0.010 |
Table 2. Quantitative comparison between the texture reconstruction models.
所提方法的优越性也可在图7中得到验证。为了合理比较各方法的纹理重建效果，三种方法均采用从我们的回归网络中提取的相同形状和姿态。所提方法能够重建输入图像中的高频细节，如皱纹、戒指、纹身和指甲油。相比之下，基于PCA的方法生成的结果较为平滑，缺乏高频细节，甚至无法正确重建肤色（图7，第2行）。
此外，我们在无约束环境下使用“自然场景”图像对所提方法与HTML进行了定性比较。在图8中，我们利用具有不同肤色、形状结构和光照条件的复杂图像来比较这三种方法。与之前的实验类似，三种方法均采用相同的形状和姿态。可以明显看出，Handy-GAN能够重建高频细节，如皱纹和精确的手部颜色，即使手部属于训练数据分布之外。同样值得关注的是，Handy-GAN还能重建患有白癜风、存在严重色差的手部纹理。
最后，为了定量评估“自然场景”条件下的形状和姿态重建效果，
---
Figure 9. Shape and pose reconstructions from the FreiHand [^55] and the proposed synthetic dataset.
| Method | MPVPE $\downarrow$ | MPJPE $\downarrow$ | F@5 mm $\uparrow$ | F@15 mm $\uparrow$ |
| Hasson et al. [^16] | 13.2 | - | 0.436 | 0.908 |
| Boukhayma et al. [^3] | 13. | - | 0.435 | 0.898 |
| MANO CNN [^55] | 10.8 | | 0.529 | 0.935 |
| MANO FIT [^55] | 13.7 | - | 0.439 | 0.892 |
| HTML [^37] | 11.1 | 11.0 | 0.508 | 0.930 |
| S $^{2}$Hand [^6] | 11.8 | 11.9 | 0.48 | 0.920 |
| Ren et al. [^38] | 8.1 | 8.0 | 0.649 | 0.966 |
| Proposed w/Obman | 9.9 | 9.7 | 0.572 | 0.922 |
| Proposed w/Synthetic | 8.8 | 8.7 | 0.612 | 0.952 |
| Proposed | 7.8 | 7.8 | 0.654 | 0.971 |
Table 3. Quantitative comparison on the FreiHand dataset [^55]
我们在流行的基准数据集FreiHand上测试了模型的性能。表3显示，所提方法优于以MANO为骨干的当前最先进的基于模型的方法。同样值得注意的是，正如预期，在所提出的合成数据集上训练的所提方法（Proposed w/Synthetic）比用Obman数据集训练的我们的方法[^16]（Proposed w/Obman）能实现更好的手部重建。这一发现验证了我们的假设：所提出的合成数据集能够弥合合成图像与“自然场景”图像之间的域差异。我们的手部重建定性结果如图9所示。
#### 4.4. 基于点云的重建
我们还评估了所提参数模型在点云上的形状和姿态重建能力。具体而言，我们将所提模型与最先进的隐式手部模型LISA [^8]在已配准的MANO数据集[^39]上进行了比较。我们遵循[^8]的方法，在MANO扫描结果的表面采样10万个点，测量重建结果与扫描点云（R2S）以及反向（S2R）之间的顶点到点的距离（单位：毫米）。表4显示，仅用30个形状分量，所提模型就能实现更低的重建误差，其性能优于LISA和MANO模型。此外，使用MANO模板且仅需10个分量的所提模型，其性能也大幅优于原始的MANO模型。
| R2S [mm] | S2R [mm] |
| MANO [^39] | 2.90 | 1.52 |
| LISA-im [^8] | 1.96 | 1.13 |
| LISA [^8] | 0.64 | 0.58 |
| Proposed w/MANO $n_{c} = 10$ | 0.21 | 0.29 |
| Proposed w/MANO $n_{c} = 30$ | 0.12 | 0.21 |
| Proposed $n_{c} = 10$ | 0.16 | 0.25 |
| Proposed $n_{c} = 30$ | 0.11 | 0.19 |
Table 4. Reconstruction error on point clouds sampled from the MANO dataset [^39].
### 5. 结论
在本文中，我们提出了Handy——首个大规模的手部形状与外观模型，该模型包含超过1200名受试者的数据。鉴于受试者群体具有高度的人口多样性，所提出的模型具备更强的表达能力，能够克服以往参数化模型在重建儿童手部形状方面的局限。此外，我们还训练了一个基于风格的GAN，用于生成具有高频细节的UV纹理，而这是传统的PCA方法无法实现的。通过一系列实验，我们展示了Handy在重建复杂手部形状和外观方面的强大能力。
致谢：S. Zafeiriou以及部分研究工作得到了EPSRC Fellowship项目DEFORM: Large Scale Shape Analysis of Deformable Models of Humans (EP/S010203/1)的资助。
---
## 参考文献
[^1]: Brian Amberg, Sami Romdhani, and Thomas Vetter. Optimal step nonrigid icp algorithms for surface registration. In 2007 IEEE conference on computer vision and pattern recognition, pages 1–8. IEEE, 2007. 4
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 3
[^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 2, 3, 6, 8
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. 3
[^5]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20544–20554, 2022. 3
[^6]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. 8
[^7]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In European Conference on Computer Vision, pages 231–248. Springer, 2022. 3
[^8]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20533–20543, 2022. 2, 8
[^9]: Martin de La Gorce, David J Fleet, and Nikos Paragios. Model-based 3d hand pose estimation from monocular video. IEEE transactions on pattern analysis and machine intelligence, 33(9):1793–1805, 2011. 2, 3
[^10]: Martin de La Gorce, Nikos Paragios, and David J Fleet. Model-based hand tracking with texture, shading and self-occlusions. In 2008 IEEE Conference on Computer Vision and Pattern Recognition, pages 1–8. IEEE, 2008. 2
[^11]: Nicolae Duta. A survey of biometric technology based on hand shape. Pattern recognition, 42(11):2797–2806, 2009. 1
[^12]: Matteo Fabbri, Guillem Brasó, Gianluca Maugeri, Orcun Cetintas, Riccardo Gasparini, Aljoša Ošep, Simone Calderara, Laura Leal-Taixé, and Rita Cucchiara. Motsynth: How can synthetic data help pedestrian detection and tracking? In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10849–10859, 2021. 3
[^13]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10833–10842, 2019. 3
[^14]: Lim Guan Ming, Jatesiktat Prayook, and Ang Wei Tech. Mobilehand: Real-time 3d hand shape and pose estimation from color image. In 27th International Conference on Neural Information Processing (ICONIP), 2020. 6
[^15]: Henning Hamer, Konrad Schindler, Esther Koller-Meier, and Luc Van Gool. Tracking a hand manipulating an object. In 2009 IEEE 12th International Conference on Computer Vision, pages 1475–1482. IEEE, 2009. 3
[^16]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2, 3, 5, 6, 8
[^17]: Tony Heap and David Hogg. Towards 3d hand tracking using a deformable model. In Proceedings of the Second International Conference on Automatic Face and Gesture Recognition, pages 140–145. Ieee, 1996. 3
[^18]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 118–134, 2018. 2, 3
[^19]: Linjun Jiang, Hailun Xia, and Caili Guo. A model-based system for real-time articulated hand tracking using a simple data glove and a depth camera. Sensors, 19(21):4680, 2019. 2
[^20]: Tero Karras, Miika Aittala, Samuli Laine, Erik Härkönen, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Alias-free generative adversarial networks. Advances in Neural Information Processing Systems, 34:852–863, 2021. 4
[^21]: Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4401–4410, 2019. 7
[^22]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 3
[^23]: Sameh Khamis, Jonathan Taylor, Jamie Shotton, Cem Keskin, Shahram Izadi, and Andrew Fitzgibbon. Learning an efficient model of hand shape variation from depth images. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2540–2548, 2015. 3
[^24]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4990–5000, 2020. 3
## [^25]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael M. Bronstein, and Stefanos Zafeiriou. Single image 3d hand reconstruction with mesh convolutions. In Proceedings of the British Machine Vision Conference (BMVC), 2019. 3
---
[^26]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: a non-rigid hand model with bones and muscles. ACM Transactions on Graphics (TOG), 41(4):1–16, 2022. 3
[^27]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. Smpl: A skinned multi-person linear model. ACM transactions on graphics (TOG), 34(6):1–16, 2015. 3, 4
[^28]: Stan Melax, Leonid Keselman, and Sterling Orsten. Dynamics based 3D skeletal hand tracking. In Proceedings of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, pages 184–184, 2013. 3
[^29]: Andrew T Miller and Peter K Allen. Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine, 11(4):110–122, 2004. 3
[^30]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 49–59, 2018. 3
[^31]: Evonne Ng, Shiry Ginosar, Trevor Darrell, and Hanbyul Joo. Body2hands: Learning to infer 3d hands from conversational gesture body dynamics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11865–11874, 2021. 2
[^32]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Training a feedback loop for hand pose estimation. In Proceedings of the IEEE international conference on computer vision, pages 3316–3324, 2015. 3
[^33]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Efficient model-based 3d tracking of hand articulations using kinect. In BmVC, volume 1, page 3, 2011. 2
[^34]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. In 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 436–445. IEEE, 2018. 3
[^35]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 459–468, 2018. 3
[^36]: Chen Qian, Xiao Sun, Yichen Wei, Xiaou Tang, and Jian Sun. Realtime and robust hand tracking from depth. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1106–1113, 2014. 2
[^37]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020. 2, 3, 4, 7, 8
[^38]: Jinwei Ren, Jianke Zhu, and Jialiang Zhang. End-to-end weakly-supervised multiple 3d hand mesh reconstruction from single image. arXiv preprint arXiv:2204.08154, 2022. 8
[^39]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017. 2, 3, 4, 5, 8
[^40]: Raul Sanchez-Reillo, Carmen Sanchez-Avila, and Ana Gonzalez-Marcos. Biometric identification through hand geometry measurements. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(10):1168–1171, 2000. 1
[^41]: Tanner Schmidt, Richard A Newcombe, and Dieter Fox. Dart: Dense articulated real-time tracking. In Robotics: Science and Systems, volume 2, pages 1–9. Berkeley, CA, 2014. 3
[^42]: Toby Sharp, Cem Keskin, Duncan Robertson, Jonathan Taylor, Jamie Shotton, David Kim, Christoph Rhemann, Ido Leichter, Alon Vinnikov, Yichen Wei, et al. Accurate, robust, and flexible real-time hand tracking. In Proceedings of the 33rd annual ACM conference on human factors in computing systems, pages 3633–3642, 2015. 2
[^43]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. 3
[^44]: Srinath Sridhar, Helge Rhodin, Hans-Peter Seidel, Antti Oulasvirta, and Christian Theobalt. Real-time hand tracking using a sum of anisotropic gaussians model. In 2014 2nd International Conference on 3D Vision, volume 1, pages 319–326. IEEE, 2014. 2
[^45]: Jonathan Taylor, Richard Stebbing, Varun Ramakrishna, Cem Keskin, Jamie Shotton, Shahram Izadi, Aaron Hertzmann, and Andrew Fitzgibbon. User-specific hand modeling from monocular depth sequences. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 644–651, 2014. 3
[^46]: Anastasia Tkach, Mark Pauly, and Andrea Tagliasacchi. Sphere-meshes for real-time hand modeling and tracking. ACM Transactions on Graphics (ToG), 35(6):1–11, 2016. 3
[^47]: Gul Varol, Javier Romero, Xavier Martin, Naureen Mahmood, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning from synthetic humans. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 109–117, 2017. 2, 3
[^48]: Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Thomas J Cashman, and Jamie Shotton. Fake it till you make it: face analysis in the wild using synthetic data alone. In Proceedings of the IEEE/CVF international conference on computer vision, pages 3681–3691, 2021. 3
[^49]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2750–2760, 2022. 2, 3
## [^50]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3895–3905, 2022. 3
---
[^51]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. Mediapipe hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214, 2020. 2, 4
[^52]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018. 7
[^53]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 3
[^54]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 3
[^55]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 2, 6, 8