# DART：带有多样配饰和丰富纹理的关节手模型高代恒 $^{1*}$ 修玉良 $^{2*}$ 李凯琳 $^{3*}$ 杨立新 $^{3*}$ 王峰 $^{1}$ 张鹏 $^{1}$ 张邦 $^{1}$ 陆泽宇 $^{3}$ 谭平 $^{4}$ $^{1}$阿里巴巴XR实验室 $^{2}$马克斯·普朗克智能系统研究所 $^{3}$上海交通大学 $^{4}$西蒙弗雷泽大学 {daiheng.gdh,yunzong.wf,funtian.zp,zhangbang.zb}@alibaba-inc.com {kailinli,siriusyang,lucewu}@sjtu.edu.cn ## 摘要手部作为人类生产力与智慧的载体，因近期数字孪生技术的热潮而备受关注。在各类可变形手部模型中，MANO在视觉与图形领域应用广泛。然而，MANO忽略了纹理和配饰因素，这大大限制了其生成照片级真实手部数据的能力。在本文中，我们推出了带有多样配饰和丰富纹理的MANO扩展版本——DART。DART包含50种外观和形状各异的日常3D配饰，以及325张手工绘制的2D纹理图，可模拟各类瑕疵或妆容效果。我们还提供了Unity GUI工具，可根据用户需求生成合成手部数据，比如姿势、相机、背景、光照、纹理和配饰等。最后，我们发布了DARTset数据集，其中包含大规模（80万张）的高保真合成手部图像，且配有精准对齐的3D标签。实验表明其在多样性方面表现优异。作为现有手部数据集的补充，DARTset能够提升手部姿态估计和网格恢复任务的泛化能力。纹理、配饰、Unity GUI工具、源代码以及DARTset数据集均可在dart2022.github.io免费获取。 ## 1 引言人类依赖手部与周围物体互动，并通过手语表达态度。从原始像素中准确重建这些手势，能够促进AR/VR中的沉浸式体验，也有助于我们更好地理解人类的心理与生理活动。新兴的数据驱动型手部重建方法需要高保真且多样化的手部图像，以及精准对齐的手部几何模型。除了手动标注采集到的自然场景手部图片外，利用照片级真实渲染引擎和关节手模型构建大规模合成数据，似乎是一种更具前景且成本更低的替代方案。然而，现有的关节手模型 [^40] [^36] [^24] [^23] 过于理想化，无法体现真实手部的复杂性与多样性。真实的手部在外观上往往存在差异（如皮肤与指甲的颜色、掌纹），还可能有瑕疵（如痣、疤痕、绷带）、个性化妆容（如纹身）以及配饰（如戒指、手表、手镯、手套）。此外，已捕获的纹理中包含了光照、阴影和材质等固有因素，就像HTML [^36] 一样，并不适用于照片级真实渲染流程。不同手部模型的对比情况总结在表1中。 --- ![Image](images/1c9625db3fe73f03a6f7d95308a9eecbf5e2810b8ba457228d29f0e987063bf5.jpg)

Figure 1: DART brings 3D hand model to a new level of realism. Aided with hundreds of high quality textures and additional accessories, photorealistic hand photos are synthesized.

Table 1: Comparison between different articulated hand models.

	MANO [^40]	HTML [^36]	NIMBIE [^24]	DART (ours)
Skin Color	✗	✓	✓	✓
Albedo	✗	✗	✓	✓
Wrist	✗	✗	✗	✓
Muscle	✗	✗	✓	✗
Accessories	✗	✗	✗	✓
Num of 2D Textures	0	51	38	325
Num of 3D Accessories	0	0	0	50

因此，无论是从合成图像中学习到的手部估计器无法很好地泛化到真实场景照片中的“通用重建”，还是VR用户无需摘下日常配饰、也无需前往医美诊所去除疤痕和纹身就能佩戴VR设备的“友好型VR设置”，在没有具备多样配饰和丰富纹理的更逼真的手部模型的情况下，都难以实现。为了实现这一目标，我们对MANO [^40]进行了扩展，将其发展为具备以下创新特性的DART模型： a) 丰富的纹理：手工制作的UV反照率纹理能够充分覆盖各种外观（如不同肤色、指甲、掌纹），还包括瑕疵（如痣、疤痕、绷带）、个性化妆容（如纹身）以及日常配饰（如戒指、手表、手镯、手套），详见图1。 b) 可活动的手腕：DART基于经过手腕增强的MANO模板构建，可由MANO的姿态参数驱动，详见图2b。其重要性体现在两个方面：1）在实际应用中手腕始终会出现，例如基于RGB(D)摄像头的手部追踪与重建任务，但最初的MANO模型并未包含手腕部分；2）一些日常配饰，如手表和手镯，是佩戴在手腕上的。 c) 多样的配饰：这类日常配饰同时具备UV纹理和3D网格，包括各类手表、戒指、手镯和手套，详见图1。接下来，基于该DART模型构建了合成数据生成器。给定反照率纹理贴图、皮肤材质、光源、背景照片以及目标姿态分布后，可利用Unity渲染出逼真的图像，同时导出对应的手部姿态及3D/2D关节位置。该数据生成器配有图形用户界面（见图3），提供实用的控制器，允许用户交互式地定制手部图像；此外，数据生成器也能根据预设设置自动渲染图像。通过这种方式，我们创建了DARTset（见图6）——一个包含80万张图像的大规模手部数据集，涵盖了多样的姿态、DART模型的精致纹理和配饰。DARTset中的每个数据样本都包含一张逼真图像及其对应的MANO姿态参数、2D/3D关节和网格信息。上述软件和数据均可在dart2022.github.io获取。 DART还可用于提升当前的手部姿态估计和网格重建任务，我们在DARTset上对四种具有代表性的重建方法进行了基准测试。表4中的定量结果充分表明，DARTset具有出色的兼容性和泛化能力。我们还报告了跨数据集评估结果，证明DARTset是对现有数据集的重要补充。 --- ## 2 相关工作 ### 2.1 合成手部数据计算机视觉领域逐渐意识到，尽管神经网络或许能从精心设计的层中获益，但其性能仍会受到训练数据的保真度和多样性的显著限制。为了进一步突破数据驱动方法的极限，人们开始将研究重点从对采集照片的繁琐人工标注，转向利用成熟的计算机图形学和动画技术进行大规模合成。合成数据相比人工标注具有几大优势：它能以较低的成本保证完美且丰富的真实标签；用户可根据特定用户或场景的需求控制数据的多样性（如姿态、摄像头、背景）；而且易于低成本地扩大规模。以3D人体合成数据为例，AGORA [^33]、HSPACE [^2] 和 GTA-Human [^4] 在下游视觉任务中已展现出其价值，例如3D姿态估计 [^9] [^17]、着装人体重建 [^50] 以及人机交互 [^5]。由于这些内容超出了本文的讨论范围，我们在此不再详述。现有的手部合成方法可分为三类，如表3所总结。 1) 基于GAN/VAE的生成方法：Mueller等人 [^57] 基于CycleGAN [^31] 提出了GAN相关的手部模型（GANH），通过合成图像到真实图像的转换来弥合域差异。GANH是一种能够较好模拟真实手部图像分布的方法。不过，作者并未公开其关节手部模型，这限制了它在其他重建任务中的应用，例如基于网格的手部姿态估计、考虑接触的手物交互等。 2) 基于深度的合成方法：Wan等人 [^48] 提出了Crossing Net，该方法结合GAN和VAE以及共享隐空间，来建模手部姿态与其对应深度图像之间的统计相关性。Oberweger等人 [^32] 则发布了一个带有标注3D关节的手部深度视频数据集。Rogez等人 [^38] 合成了以自我为中心工作场景下的人手与物体深度数据。在这些数据集上训练的模型仅能应用于深度传感器输入，因此无法很好地泛化到佩戴额外3D配饰的手部。 3) 基于模型的渲染方法：Zimmermann等人 [^58] 和Simon等人 [^42] 选择从Mixamo角色中合成手部数据，但这类数据的姿态和肤色多样性有限。Rogez等人 [^37] 利用商业软件Poser [^41] 渲染出了以自我为中心的RGB-D视频数据集。SynthHands [^30] 是一个RGB-D手部数据集，它通过用真实的动作捕捉数据驱动关节手部模型，并引入了物体和簇带来的交互与遮挡效果。Hasson等人 [^13] 则发布了一个大规模的合成数据集ObMan，用于研究MANO手部抓取物体的情况。尽管已有一些数据集考虑了肤色因素，如GANH [^31]、RHD [^58] 和SynthHands [^30]，但都缺少额外的配饰。基本上，它们的手部代理模型过于“干净”。DART属于第3类方法，它引入了更多样化且复杂的纹理以及各种3D配饰，详见表2，从而构建了更为精细的手部模型。 ### 2.2 关节手部模型虽然MANO [^40]提供了用于配准的原始RGB扫描数据，但这些数据中包含预先嵌入的纹理。要将反照率纹理与原始RGB像素分离并非易事。HTML [^36]通过主成分分析（PCA）将采集到的手部外观变化压缩为低维的外观基，以此构建手部纹理模型。但HTML仍未解决纹理中预嵌入光照和阴影的问题，而且手部在活动时外观也会发生变化。与HTML学习得到的预嵌入纹理图不同，DART提供的是与外部因素（如光照和阴影）相分离的漫反射贴图。近期的研究NIMBLE [^24]将3D手部模型逼真度提升到了新水平，模型中包含了骨骼、肌肉和皮肤。然而，上述模型均未考虑日常佩戴的饰品，而这正是DART的主要贡献。此外，DART还在纹理中加入了手部的常见特征，如痣、指甲颜色、疤痕、纹身和掌纹，详见表2。我们还提出了一种增强腕部功能的MANO手部模板，用于合成带有腕部饰品的手部数据，例如手表和手镯，见图2b。 --- ![Image](images/a1032fbc82107e6b9c89195f9a1f089031be76993714b8f335694e29d11ffff2.jpg)

Basic Texture	Amount
Bandage	$5 \times 3$
Palm prints	$10 \times 3$
Scars	$20 \times 3$
Tattoos	$20 \times 3$
Moles	$20 \times 3$
Nail colors	$20 \times 3$
Total	285

Accessories	Amount
Rings	10
Watches	10
Bracelet	20
Gloves	10
Total	50

Table 2: Samples (left) and statistics (right) of DART's textures and accessories. All textures contain 3 basic skin tones: dark, brown, light. Note that since above skin tones are represented as the same 2D UV map, it's relatively easy to extend them from other skin tone libraries.

### 2.3 基于图像的3D手部姿态/网格重建根据关节几何体的表示方式，3D手部重建可分为图像到姿态（I2P）和图像到形状（I2S）两类。 I2P仅关注关节模型的骨骼节点位置。现有的I2P方法可分为两种范式：基于热图的方法 [^45] [^34] [^55] 和基于回归的方法 [^44] [^39] [^20]。热图在归一化的3D空间中用高斯概率分布来表示关节的3D位置。基于回归的方法则将输入图像映射到输出的关节位置。每种范式中的代表性方法分别是Integral Poses [^45] 和残差对数似然估计（RLE） [^20]。 I2S则侧重于重建完整的手部表面几何结构。最常见的表面表示方式是三角网格模型（即MANO [^40]）。MANO的顶点：$\mathbf{V} \in \mathbb{R}^{778 \times 3}$由姿态参数 $\theta$ 和形状参数 $\beta$：$\mathbf{V} = \mathcal{M}(\theta, \beta)$ 驱动，其中 $\mathcal{M}(\cdot)$ 是一种蒙皮函数。因此，早期I2S方法的常见做法是回归出 $\theta$ 和 $\beta$，进而恢复手部网格 [^54] [^52] [^3] [^13]。不过，姿态参数并非定义在欧几里得空间中（而顶点却是在该空间中定义的）。这种空间差异阻碍了这些方法实现更高的性能。后来，有几项研究 [^51] [^56] [^21] 表明，通过神经逆运动学可以将I2P集成到I2S中。这些方法证明，I2P对关节位置的精准预测能够促进I2S的姿态估计。由于网格是一种图结构，一些研究采用基于图的卷积网络（GCN）来重建手部模型。这些方法利用了MANO的拓扑结构，并使用谱域 [^18] [^11] 或螺旋 [^19] [^7] 滤波来处理网格顶点。基于GCN的方法能够实现精确的重建，并且对异常情况具有鲁棒性。近年来，基于Transformer的 [^26] [^25] [^10] I2S方法逐渐兴起。METRO [^26] 方法对所有与顶点相关的特征应用自注意力机制，从而证明了引入顶点间非局部交互作用的优越性。除了基于网格的手部模型外，一些I2S方法还试图利用其他3D表示方法恢复手部形状，例如体素 [^28]、UV位置图 [^6] 以及符号距离函数 [^15]。本文选取了DARTset上的四种代表性方法作为基准，分别是Integral Pose [^45]（基于热图的I2P方法）、RLE [^20]（基于回归的I2P方法）、CMR [^7]（基于GCN的I2S方法）以及METRO [^26]（基于Transformer的I2S方法）。 ## 3 DART数据生成框架我们的框架与MANO的姿态参数兼容，且可控性极高。为实现这一点，我们并未采用一体化的预烘焙纹理贴图，而是将纹理贴图、材质、环境光与点光源（位置、强度和颜色）以及背景分开处理。DART数据生成框架的流程如下：首先，我们详细介绍如何创建数百张精美的纹理贴图，并为带有腕部的MANO模板手网格添加细节；接着，我们描述用于生成照片级高分辨率图像及其对应的MANO姿态和2D/3D关节的DART Unity图形用户界面。 --- ### 3.1 纹理贴图与模型在实际场景中，3D手部重建和姿态估计任务通常以手部裁剪图像为输入，图像中往往包含前臂或手腕部分。为了合成与现实输入设置结构相似的数据，我们如图2b所示，在原始的MANO模板手网格（778个顶点，1,538个面）上添加了成型手腕。这种由842个顶点和1,666个面组成的复合结构，可直接由MANO姿态 $\theta_i \in SO(3)$、$i \in 0,1,...,15$ 驱动。输入：$W_{init} \in \mathbb{R}^{778 \times 16}$、$P_{init} \in \mathbb{R}^{778 \times 3 \times 135}$、$R_{init} \in \mathbb{R}^{778 \times 16}$ 1: $W_{final} = \text{torch.zeros}(842, 16)$ 2: $W_{final}[:778] = W_{init}$ 3: $W_{final}[778 : 842] = W_{init}[777]$ 4: $P_{final} = \text{torch.zeros}(842, 3, 15)$ 5: $P_{final}[:778, :, :] = P_{init}$ 6: $R_{final} = \text{torch.zeros}(842, 16)$ 7: $R_{final}[:778] = R_{init}$ 输出：$W_{final}$、$P_{final}$、$R_{final}$，用于MANO的LBS计算。 ![Image](images/2a4b59541410680d4a5748336455761d1dbfe3260751e220241b09cf5a86b411.jpg)

(a) Pseudo code of alignment process

(b) Wrist-enhanced MANO

Figure 2: DART hand parametric model.

为实现这一目的，我们首先移除形状系数 $\beta \in \mathbb{R}^{10}$，仅关注手指关节活动相关组件，包括混合权重、姿态依赖形变以及关节回归器。接下来，我们将778个顶点对应的混合权重 $W_{\text{init}}$、姿态依赖形变 $P_{\text{init}}$ 和关节回归器 $R_{\text{init}}$ 对齐到842个顶点；新增的64个顶点按顺序编号于手腕处，同时保持手掌和手指顶点的编号不变。对齐过程如图2a所示。 DART的325张纹理图由五位经验丰富的3D艺术家设计并手工制作。如上所述，每张纹理图的分辨率为$4096 \times 4096$，部分样例展示在表2中。纹理图的创建流程如下：我们首先根据肤色创建三种基础纹理图：深色、浅色和棕色。接着添加额外的特征，如痣、指甲颜色、疤痕、纹身和掌纹，或者仅对基础纹理图进行微调以得到各种纹理图。此外，我们还制作了数十种高质量的3D纹理配件，并将它们放置在DART的模板网格上。借助这些手部网格，我们能够渲染出高保真度的手部图像，更多细节见第3.2节。配件在手指/手腕上的相对位置是固定的，以避免碰撞。这样一来，手腕上的手镯、手表等配件只需通过应用根部旋转就能轻松变换形态。至于手指上的戒指，则需要额外的父级旋转。由于MANO的骨骼结构采用父子层级关系，因此沿运动学树计算父级旋转十分简便。 ### 3.2 合成数据生成器 DART的另一项成果是基于Unity3D的合成数据生成器，它允许我们在可控条件下渲染手部图像，例如姿势、相机视角、背景、光照（强度、颜色和位置），当然还有DART的纹理和配件。其主要组成部分如下：光照设置方面，我们设置了两个光源（环境光、定向光）来控制光照的位置和强度。此外，我们还为需要调整光线颜色以模拟真实场景的用户提供了调色板。可控骨骼动画功能方面，Unity GUI支持用于姿势采样的骨骼动画。给定一段手部运动序列后，用户可以调整播放速度、暂停并导出特定的姿势帧。自动数据生成方面，对于每个选定或手动设计的手部姿势，数据生成器首先随机选取一种基础纹理图和一张背景图像。其中25%的样本会被随机分配一个配件。接着，利用所有这些元素，生成器会在选定的光照条件和视角下渲染图像。更多详情请访问dart2022.github.io。 --- ![Image](images/43a49bad9b29a4fd6ed2d07aec71dd0a959e347e6631ddb330cd236c134870b5.jpg)

Figure 3: DART GUI for synthetic data generation. It supports adding textures, deforming skeleton, changing illuminations and backgrounds, and exporting the MANO poses.

Table 3: Comparison among RGB-based 3D hand datasets. Note that syn indicates synthetic data, real indicates real captured data, and Tex. & As. means the textures and accessories.

	STB [^53]	RHD [^58]	GANH. [^31]	FreiH. [^59]	ObMan [^13]	InterH. [^29]	DARTset (ours)
Type	real	syn	syn	real	syn	real	syn
Size	36K	44K	331K	134K	153K	2.6M	800K
Mesh	✗	✗	✗	✓	✓	✓	✓
Tex. & As.	✗	✗	✗	✗	✗	✗	✓

## 4 DARTset与基准测试 ### 4.1 DARTset 姿势关节活动。姿势关节活动是扩充DARTset中姿势分布的关键步骤。手部的关节活动由一个全局手腕旋转和15个手指的相对旋转驱动。为了生成多样的全局旋转，我们借鉴MobRecon [^8]和ArtiBoost [^22]的方法，通过球面采样来均匀调整视角。为了生成多样的相对旋转，我们在手部关节限制范围内离散化出足够的姿势，以覆盖人类能够做出的所有可能配置。我们进行离散化处理时采用了经过解剖学注册的MANO版本：A-MANO [^52]。A-MANO定义了每个手指关节的合法旋转轴。通过沿每个手指的各轴排列所有合法的离散弯曲角度，我们就能得到一组基础姿势。不过，这些看似干净却虚假的关节描述并不够多样化，无法模拟真实场景。因此，我们引入了来自自然姿态分布的噪声，而FreiHAND恰好能满足这一需求。对于上述A-MANO数据集中的每一个合成姿态$\theta_i \in \mathbb{R}^{15 \times 3}$，我们首先从FreiHAND中随机选取2000个姿态，计算它们与$\theta_i$之间的差异，然后选出与$\tilde{\theta}_i$差异最大的那个姿态（记为$\theta_i$）。接着，我们通过四元数上的球面线性插值（Slerp）在$\theta_i$和$\tilde{\theta}_i$之间插入8个旋转姿态。值得一提的是，合成姿态与真实姿态之间的插值能够缩小DARTset与真实手部捕捉数据之间的姿态分布差距，而选择差异最大的姿态进行插值则能提升DARTset的姿态多样性。 ![Image](images/66c2b4cc0400d821c2d8bbbd0ddc058af4cae704aa3d1811fdcd30f05062d37e.jpg)

Figure 4: TSNE visualization for pose distribution of RHD, FreiHAND, and DARTset.

--- 纹理构成。我们在DART中利用生成的姿态，结合随机前景纹理贴图和配饰，并通过Alpha混合技术将随机背景从COCO [^27]数据集中提取出来进行渲染。如表3所示，DARTset中的样本总数达到80万。我们按照0.8、0.1、0.1的比例将DARTset划分为训练集、验证集和测试集。借助第3.2节中描述的生成器，我们可以轻松地将数据集规模扩展到数十亿级别。我们使用t-SNE [^58]将RHD [^59]、FreiHAND [^47]以及DARTset中的手部姿态投影到嵌入空间。从图4可以看出，与合成数据相比，DARTset的分布更接近真实数据集FreiHAND。同时，DARTset的分布比FreiHAND数据集更连续且范围更广，这意味着我们的数据集具有更强的泛化能力。 ![Image](images/9f2921f9b7435cec656ed7b4f3e34b5cd65ed2e39321e3619aa2b075473869b2.jpg)

Figure 5: We augment the skin tones by adding global offset onto the basic UV textures.

此外，如图5所示，我们可以在三种基础肤色（深色、棕色、浅色）的基础上添加随机全局偏移$o \in [-0.15, +0.15]$，以增强其多样性。这种简单的增强操作就能覆盖绝大多数人类手部纹理。数据生成统计。DARTset由训练集（758,378个）和测试集（288,77个）组成。对于每个采样的手部姿态，我们会随机选取一种基础纹理贴图以及一张背景图像。其中，25%的手部样本会配备配饰。由于配饰和纹理贴图（肤色、疤痕、痣等）都是均匀采样的，因此它们的渲染数量大致相等。渲染图像的分辨率为$512 \times 512$，对应的标注信息包括2D/3D关节位置以及MANO姿态参数。整个过程按顺序执行，在搭载Windows 11系统的笔记本电脑上，借助CPU（Intel(R) Core(TM) i7-10875H CPU @ 2.30GHz）和GPU（NVIDIA GeForce RTX 2070），每张图像的渲染时间约为500毫秒。 ### 4.2 任务、指标与基准测试我们在表4中对DARTset测试集上的四种主流手部重建方法进行了基准测试，这些方法可分为两类：1）基于关键点的：Integral Pose [^45]、RLE [^20]；2）基于MANO的：CMR [^7]、METRO [^26]。这些基线模型可作为3D手部姿态估计/手部网格重建任务的参考。我们对上述四种方法进行了重新实现，以适配我们的数据集和训练流程。前三个网络我们以ResNet [^14]作为骨干网络，而对于METRO，则遵循论文中的做法，采用HRNet [^49]。所有网络均使用Adam优化器 [^16]训练100个 epoch。所有训练图像都是根据手的边界框在$1.5\times$处进行裁剪，然后调整分辨率至$224\times224$。Integral Pose和RLE的输出是归一化2.5D空间内的关节UVD坐标；随后，我们通过弱透视相机模型将这些UVD坐标转换为3D位置。CMR和METRO的输出则是顶点的3D根相关坐标。为了评估这些方法，我们采用两个标准指标来报告结果：PA-MPJPE和PA-MPVPE。“PA”表示基于Procrustes分析的3D对齐[^12]。平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）分别用于计算手部关节和顶点处真实值与预测值之间的欧几里得距离。需要注意的是，由于基于关键点的方法（Integral Pose和RLE）仅能推断关节位置（无法得到顶点信息），因此只能评估PA-MPJPE。为了公平比较，尽管DART模型的手部包含842个顶点，但PA-MPVPE仅针对MANO模型的778个顶点进行测量。

Table 4: 3D hand pose / mesh reconstruction results on four learning-based methods.

	Integral Pose [^45]	RLE [^20]	CMR [^7]	METRO [^26]
PA-MPJPE $\downarrow$ (cm)	3.52	4.45	4.84	3.96
PA-MPVPE $\downarrow$ (cm)	-	-	3.46	3.52

--- 根据表4的第1列和第2列数据，Integral Pose在位置误差方面优于RLE。我们提出一种可能的推测：RLE模型是对标注关键点位置与其实际真值之间偏差的建模。由于DARTset中的渲染图像不存在现实世界采集系统带来的固有噪声，且合成数据集中的自动生成标注缺乏不确定性，因此RLE的正则化流会退化为几乎相同的变换，导致RLE模型沦为普通的回归模型，仅能简单回归关节位置。至于两种基于网格的网络（表4第3列和第4列），METRO的表现不如CMR。我们推测这是由于METRO基于Transformer的结构所致：METRO的注意力机制作用于所有输入标记（顶点和关节查询），即所谓的非局部交互，因此它在捕捉细粒度局部信息方面可能效果较差。相反，CMR利用多层次的粗到细网格结构，并基于这些结构执行顺序螺旋滤波，而螺旋滤波能够增强相邻顶点间的局部交互。 ### 4.3 配饰相关的消融研究我们开展消融研究以验证配饰的影响。我们利用从FreiHAND中提取的相同手部姿态和相机视角，重新渲染出两个数据集：带配饰的DART和不带配饰的DART。每个数据集包含32,560张图像（与FreiHAND训练集规模一致）。我们在这两个数据集上对比了两种基于学习的模型：Integral Pose和CMR。如表5所示，引入配饰后，Integral Pose的PA-MPJPE指标提升了7.8%，CMR网络的PA-MPJPE指标提升了5.9%，PA-MPVPE指标提升了7.2%。

Table 5: Ablation study on training w/ and w/o DART's accessories.

Method	Integral Pose [^45]		CMR [^7]
Method	w/o. Acs	w/. Acs	w/o. Acs	w/. Acs
PA-MPJPE $\downarrow$ (cm)	6.15	5.67	7.65	7.20
PA-MPVPE $\downarrow$ (cm)	-	-	6.73	6.24

### 4.4 跨数据集评估为了展示DARTset的优势，我们在表6和表7中报告了两种网格重建方法：CMR [^7] 和 METRO [^26] 的跨数据集评估结果。“Mixed”表示我们将FreiHAND数据集和DARTset按相等比例混合在一个批次中用于网络训练。我们选取FreiHAND [^59]作为代表性数据集，主要基于三个原因：1）FreiHAND是实地采集的数据集，具有真实的光照和环境噪声特征（与RHD、ObMan和GANerated Hands相比）；2）FreiHAND包含多样的相机视角和手部姿态（与STB相比）；3）FreiHAND是常用的基准数据集。相比之下，InterHand2.6M是一个手部交互数据集，其中一半数据存在明显的双手自交互现象。我们的单手数据集DARTset与InterHand2.6M之间仍存在域差异，因此我们仅提供在FreiHAND上的基线结果。

Table 6: Cross-dataset evaluation on CMR (PA-MPJPE / PA-MPVPE (cm)).

traintest	FreiHAND	DARTset	Mixed
FreiHAND	7.41 / 7.50	25.64 / 25.73	6.70 / 6.83
DARTset	12.82 / 11.95	4.84 / 3.46	5.30 / 4.10

Table 7: Cross-dataset evaluation on METRO (PA-MPJPE / PA-MPVPE (cm)).

train\test	FreiHAND	DARTset	Mixed
FreiHAND	7.35 / 6.94	17.73 / 17.58	6.88 / 6.85
DARTset	11.73 / 10.67	3.96 / 3.52	3.82 / 3.73

通过比较表6中的第1列和第3列，我们发现CMR模型（混合训练）在FreiHAND测试集上的PA-MPVPE指标提升了8.9%。这一提升证明了DARTset能够补充当前具有挑战性的真实世界数据集。然而，第2列和第3列揭示了DARTset与FreiHAND之间的域差异，主要体现在两个方面：1）纹理和配饰；2）FreiHAND与我们的DARTset之间的手部姿态分布。由于DARTset宽泛的手部姿态分布是导致该差异的主要原因（见图4），混合数据训练能显著提升FreiHAND的性能，却无法改善DARTset的性能（因其姿态分布更广），METRO模型也呈现出同样的情况（见表7）。 --- ![Image](images/e8d93c21ce76692d90b9f19314b0f9824932cd04127c5d8272ba3913ecf9792f.jpg)

Figure 6: Diagram of DARTset. We show some rendered images and their 2D keypoints annotations. For better visualization quality, the displayed images are cropped around the center of hand.

## 5 局限性与未来工作本研究主要聚焦于生成具有任意手势的手部模型。当前的流程并未针对随机手部形状采样进行优化，因此生成过程中手部形状保持固定。此外，3D配饰是手动设计的，尺寸固定，无法适配各种手部形状（如手表、手镯、手套）。如何实现完全自动化的尺寸自适应配饰添加并非易事，我们将此留待未来研究解决。另外，DART目前不支持手-物体或双手交互功能，但由于所有相关组件均已公开且兼容MANO，扩展DARTset以支持动态手势（如抓取动作 [^46]）是顺理成章的。最后，采用更先进的渲染技术 [^43] 或特定于皮肤的着色器 [^35]（目前DART采用的是主流的次表面散射皮肤着色器 [^1]）能够实现更逼真的渲染效果。我们已将完整套件发布在dart2022.github.io上，仅供研究使用，其中包括DART文档、Unity可执行包、源代码、DART纹理贴图、3D带纹理配饰以及DARTset。上述内容将长期可供下载。 ## 6 致谢修玉良的研究得到了欧盟“地平线2020”研究与创新计划下玛丽·居里行动计划资助，授予编号860768（CLIPE项目）。李凯琳、杨立新和卢泽武的研究得到了中国国家重点研发计划（编号2021ZD0110700）、上海市重大科技项目（2021SHZDZX0102）、上海智研院以及SHEITC（2018-RGZN-02046）的支持。 --- ## 参考文献 [^1]: SSS Skin Shaders. URL . [^2]: Eduard Gabriel Bazavan, Andrei Zanfir, Mihai Zanfir, William T Freeman, Rahul Sukthankar, and Cristian Sminchisescu. HSPACE: Synthetic Parametric Humans Animated in Complex Environments. $\underline{\text{arXiv}}$preprint $\underline{\text{arXiv}}$:2112.12867, 2021. [^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2019. [^4]: Zhongang Cai, Mingyuan Zhang, Jiawei Ren, Chen Wei, Daxuan Ren, Jiatong Li, Zhengyu Lin, Haiyu Zhao, Shuai Yi, Lei Yang, et al. Playing for 3d human recovery. arXiv preprint arXiv:2110.07588, 2021. [^5]: Zhe Cao, Hang Gao, Karttikeya Mangalam, Qizhi Cai, Minh Vo, and Jitendra Malik. Long-term human motion prediction with scene context. In European Conference on Computer Vision (ECCV). 2020. [^6]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In International Conference on Computer Vision (ICCV), 2021. [^7]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-Space Hand Mesh Recovery via Semantic Aggregation and Adaptive 2D-1D Registration. In Computer Vision and Pattern Recognition (CVPR), 2021. [^8]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. MobRecon: Mobile-Friendly Hand Mesh Reconstruction from Monocular Image. Computer Vision and Pattern Recognition (CVPR), 2022. [^9]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J. Black. Collaborative regression of expressive bodies using moderation. In International Conference on 3D Vision (3DV), 2021. [^10]: Daiheng Gao, Bang Zhang, Qi Wang, Xindi Zhang, Pan Pan, and Yinghui Xu. SCAT: Stride Consistency with Auto-regressive regressor and Transformer for hand pose estimation. In International Conference on Computer Vision (ICCV), 2021. [^11]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2019. [^12]: John C Gower. Generalized procrustes analysis. $\underline{\text{Psychometrika}}$, 1975. [^13]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Computer Vision and Pattern Recognition (CVPR), 2019. [^14]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2016. [^15]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning implicit representations for human grasps. In $\underline{\text{International Conference on 3D Vision (3DV)}}$, 2020. [^16]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR), 2015. [^17]: Muhammed Kocabas, Chun-Hao P. Huang, Joachim Tesch, Lea Müller, Otmar Hilliges, and Michael J. Black. SPEC: Seeing people in the wild with an estimated camera. In International Conference on Computer Vision (ICCV), 2021. [^18]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2019. ## [^19]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Computer Vision and Pattern Recognition (CVPR), 2020 --- [^20]: Jiefeng Li, Siyuan Bian, Ailing Zeng, Can Wang, Bo Pang, Wentao Liu, and Cewu Lu. Human pose regression with residual log-likelihood estimation. In $\underline{\text{International Conference on Computer Vision (ICCV)}}$, 2021. [^21]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation. In Computer Vision and Pattern Recognition (CVPR), 2021. [^22]: Kailin Li, Lixin Yang, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Arti-Boost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis. Computer Vision and Pattern Recognition (CVPR), 2022. [^23]: Yuwei Li, Minye Wu, Yuyao Zhang, Lan Xu, and Jingyi Yu. PIANO: A Parametric Hand Bone Model from Magnetic Resonance Imaging. In International Joint Conference on Artificial Intelligence (IJCAI), 2021. [^24]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Yuyao Zhang, Nianyi Li, Yuexin Ma, Lan Xu, and Jingyi Yu. NIMBLE: A Non-rigid Hand Model with bones and muscles. Transactions on Graphics (TOG), 2022. [^25]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In International Conference on Computer Vision (ICCV), 2021. [^26]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2021. [^27]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European Conference on Computer Vision (ECCV), 2014. [^28]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image. In European Conference on Computer Vision (ECCV), 2020. [^29]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. [^30]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-Time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor. International Conference on Computer Vision (ICCV), 2017. [^31]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3d hand tracking from monocular rgb. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2018. [^32]: Markus Oberweger, Gernot Riegler, Paul Wohlhart, and Vincent Lepetit. Efficiently Creating 3D Training Data for Fine-Hand Pose Estimation. $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2016. [^33]: Priyanka Patel, Chun-Hao P. Huang, Joachim Tesch, David T. Hoffmann, Shashank Tripathi, and Michael J. Black. AGORA: Avatars in Geography Optimized for Regression Analysis. In Computer Vision and Pattern Recognition (CVPR), 2021. [^34]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2017. [^35]: Eric Penner and George Borshukov. Pre-integrated skin shading. In $\underline{\text{GPU Pro 360 Guide to Rendering}}$. 2018. [^36]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In European Conference on Computer Vision (ECCV), 2020. ## [^37]: Grégory Rogez, Maryam Khademi, James Steven Supancic, J. M. M. Montiel, and Deva Ramanan. 3D Hand Pose Detection in Egocentric RGB-D Images. European Conference on Computer Vision (ECCV), 2014 --- [^38]: Grégory Rogez, James Steven Supancic, and Deva Ramanan. First-person pose recognition using egocentric workspaces. $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2015. [^39]: Gregory Rogez, Philippe Weinzaepfel, and Cordelia Schmid. LCR-NET: Localization-classification-regression for human pose. In $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2017. [^40]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: modeling and capturing hands and bodies together. $\underline{\text{Transactions on Graphics (TOG)}}$, 2017. [^41]: Gregory Shakhnarovich, Paul Viola, and Trevor Darrell. Fast pose estimation with parameter-sensitive hashing. In $\underline{\text{International Conference on Computer Vision (ICCV)}}$, 2003. [^42]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2017. [^43]: Peter-Pike Sloan, Jan Kautz, and John Snyder. Precomputed radiance transfer for real-time rendering in dynamic, low-frequency lighting environments. In International Conference on Computer Graphics and Interactive Techniques (SIGGRAPH), 2002. [^44]: Xiao Sun, Jiaxiang Shang, Shuang Liang, and Yichen Wei. Compositional human pose regression. In $\underline{\text{International Conference on Computer Vision (ICCV)}}$, 2017. [^45]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In European Conference on Computer Vision (ECCV), 2018. [^46]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A Dataset of Whole-Body Human Grasping of Objects. In European Conference on Computer Vision (ECCV), 2020. [^47]: Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research (JMLR), 2008. [^48]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Crossing Nets: Combining GANs and VAEs with a Shared Latent Space for Hand Pose Estimation. $\underline{\text{Computer Vision and Pattern Recognition (CVPR)}}$, 2017. [^49]: Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, et al. Deep high-resolution representation learning for visual recognition. Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2020. [^50]: Yuliang Xiu, Jinlong Yang, Dimitrios Tzionas, and Michael J. Black. ICON: Implicit Clothed humans Obtained from Normals. In Computer Vision and Pattern Recognition (CVPR), 2022. [^51]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks. In British Machine Vision Conference (BMVC), 2020. [^52]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a Contact Potential Field to Model the Hand-Object Interaction. In International Conference on Computer Vision (ICCV), 2021. [^53]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. 3d hand pose tracking and estimation using stereo matching. $\underline{\text{arXiv preprint arXiv:1610.07214}}$, 2016. [^54]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In $\underline{\text{International Conference on Computer Vision (ICCV)}}$, 2019. [^55]: Kun Zhou, Xiaoguang Han, Nianjuan Jiang, Kui Jia, and Jiangbo Lu. Hemlets pose: Learning part-centric heatmap triplets for accurate 3d human pose estimation. In International Conference on Computer Vision (ICCV), 2019. [^56]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular Real-Time Hand Shape and Motion Capture Using Multi-Modal Data. In Computer Vision and Pattern Recognition (CVPR), 2020. [^57]: Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks. $\underline{\text{International Conference on Computer Vision (ICCV)}}$, 2017. [^58]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In $\underline{\text{International Conference on Computer Vision (ICCV)}}$, 2017. [^59]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In International Conference on Computer Vision (ICCV), 2019.