# 分析三维手部姿态估计中的合成数据到真实数据的域差异赵卓然 $^{1*}$ 杨琳琳 $^{2\dagger}$ 孙鹏展 $^{3}$ 许攀 $^{1}$ 姚 Angela $^{3}$ $^{1}$香港科技大学（广州），中国 $^{2}$中国传媒大学，中国 $^{3}$新加坡国立大学，新加坡 , , , {pengzhan, ayao}@comp.nus.edu.sg ## 摘要近期用于面部、身体和手部的合成三维人体数据集在照片级真实感方面取得了突破。仅使用合成训练数据，人脸识别与人体姿态估计就已达到最先进的性能水平；但针对手部而言，合成数据到真实数据之间仍存在较大差距。本文首次对三维手部姿态估计的合成数据到真实数据差距展开了系统性研究。我们分析了这一差距，并确定了前臂、图像频率统计特征、手部姿态以及物体遮挡等关键影响因素。为辅助分析，我们提出了一种用于合成高质量数据的数据合成流程。结果表明，当整合我们所确定的这些关键组件后，合成手部数据可达到与真实数据同等的精度，这为仅使用合成数据进行手部姿态估计铺平了道路。代码和数据可在以下链接获取：。 ### 1. 引言从单目RGB图像进行3D手部姿态估计在计算机视觉、人机交互以及AR/VR应用中发挥着重要作用 [^5] [^16] [^18]。由于手部存在严重的遮挡问题和深度模糊现象，这一任务极具挑战性。大多数最新方法 [^11] [^25] [^32] 在训练时严重依赖3D真实标签，但获取这些标签既昂贵又耗时。因此，人们迫切希望利用合成数据，因为合成数据无需任何标注工作。在人脸识别 [^2] [^45] 和3D人体姿态估计 [^3] 领域，仅使用合成训练集就能达到最先进的水平。然而，尽管近期人们努力为合成数据丰富背景、姿态分布、相机视角以及手部纹理，3D手部姿态估计领域的合成数据与真实数据之间的差距仍然很大 [^14] [^17] [^22] [^50]。在合成数据上预训练—— ![Image](images/e744dbc9330f4982104415dfba6ae9dd03fb5b395ad97a0ad9b9065ef741b4cc.jpg)

Figure 1. We present a systematic study of the synthetic-to-real gap for 3D hand pose estimation by decomposing the synthetic data to establish associations between hand image components and predictions.

再通过真实数据进行微调，或者采用合成数据与真实数据混合训练的方式，其效果仍远优于仅使用合成数据训练的情况 [^10] [^14] [^17] [^22] [^34]。这些现象引出了一个问题：究竟是什么导致了3D手部姿态估计中的合成数据与真实数据之间的差距？目前存在许多合成手部数据集，但由于它们在姿态分布、背景、纹理等多个方面与真实手部数据集存在差异且无法分离，因此很难进行分析。为此，我们提出了一种数据合成流程以助力相关研究。该流程能够高效生成具有多样化背景、光照和手部纹理的高质量数据。凭借对渲染流程的完全控制，我们可以分解合成数据，从而分析不同手部图像组件与预测结果之间的关联，进而深化对合成数据与真实数据之间差距的理解（见图1）。此外，由于该流程能够生成可控的成对数据，它不仅能推动后续研究的发展，还能提升模型在下游应用中的性能。我们从四个维度分析合成数据与真实数据之间的差距： ---

Table 1. Representative synthetic hand datasets. HDR denotes high dynamic range scenes. HDR Res. denotes HDR background resolution, with higher values being more realistic and less blurry. For lighting, “manual” denotes manually defined settings while “dynamic” denotes diverse lighting conditions consistently applied across the foreground hand and background scene. “NS” means normal and specular maps for hand texturing. “GR” means the hand data generation and image rendering pipeline.

Dataset	Data Size	Background	HDR Type	HDR Res.	Lighting	Texture	NS	Template	Hand Type	GR
RHD [^55]	44K	static	-	-	manual	limited	✗	Mixamo	single hand	✗
ObMan [^17]	154K	static	-	-	manual	limited	✗	MANO	hand object	✓
DARTset [^14]	800K	static	-	-	manual	diverse	✗	DART	single hand	✓
Ego3D [^24]	55K	static	-	-	manual	limited	✗	Mixamo	two hands	✗
Re:InterHand [^34]	1.5M	HDR	Indoor	7K	dynamic	diverse	✗	MANO	two hands	✗
RenderIH [^22]	1M	HDR	Indoor & Outdoor	1K	dynamic	diverse	✗	A-MANO	two hands	✓
Ours	460K	HDR	Indoor & Outdoor	4K	dynamic	diverse	✓	NIMBLE	single hand	✓

外观、手部姿态、物体遮挡以及手部骨骼拓扑结构，这些要素对手部姿态估计至关重要。从外观角度来看，我们首先发现前臂的存在对于姿态估计模型定位手腕至关重要，进而影响整体姿态精度。其次，振幅谱增强技术[^9]对于提升模型从合成域到真实域的鲁棒性具有关键作用。第三，增加背景和手部纹理的多样性对缩小合成数据与真实数据之间的差距十分重要，但超过一定程度后其影响会趋于饱和。从姿态角度来看，我们观察到合成数据与真实数据之间的姿态差异会影响模型在合成域到真实域的表现。不过，当用于数据合成的真实手部姿态数量达到一定阈值后，性能提升便会趋于平缓。值得注意的是，我们发现仅使用一部分真实手部姿态来合成手部数据，就能使基于此类数据训练的模型达到与使用全部真实手部姿态时相当的性能。这一结果表明，我们流程生成的合成数据能有效促进手部表征的学习。与人类面部和身体不同，手部存在更多的自身遮挡以及与物体相互作用产生的遮挡现象。然而，仅有少数合成手部数据集涵盖了手部与物体的交互情况。将物体遮挡信息纳入合成训练数据中，能够提升模型在真实世界测试样本上的泛化能力。此外，我们观察到姿态估计模型能够将手部姿态与特定物体关联起来。将特定物体的遮挡模式作为先验知识，能在遇到类似物体时提升模型性能。最后，合成数据集与真实数据集通常采用不同的手部骨骼拓扑结构[^13] [^35]。这种差异可能导致评估不准确，因此有必要进行标签适配。通过整合不同的手部图像组件，仅用我们合成的数据训练的模型就能取得相较于真实数据而言更优的顶尖性能。此外，基于真实数据与合成数据混合训练的模型，在域内及跨域泛化能力上均优于仅用真实数据训练的模型。我们的贡献总结如下： 2. 我们提出了一种高质量的合成数据合成流程，该流程既支持我们的分析工作，也能为未来应用提升模型性能提供帮助。 1. 我们开展了首项关于3D手部姿态估计中合成数据与真实数据差距的系统研究。凭借对渲染流程的完全控制，我们通过分解合成数据，建立了手部图像组件与预测结果之间的关联。 3. 我们证明合成数据能够达到与真实数据同等的精度水平，同时也为仅使用合成数据进行手部姿态估计铺平了道路。 ### 2. 相关工作合成手部数据集。构建真实世界的3D手部数据集是一项极具挑战性且耗时的工作。数据采集通常需要多摄像头系统或深度传感器 [^15] [^33] [^51] [^56]。数据收集完成后，还需要对真值进行手动或半自动标注。合成数据是一种更省时、更经济的替代方案，即便生成的图像并非总是具备照片级真实感；RHD [^55]、SynthHands [^36] 和 ObMan [^17] 分别是单手、以自我为中心的手部以及抓取物体的手部的早期代表。最近，DARTset [^14] 引入了带腕部结构的手部模型以及配备不同配饰的手部数据。Ego3D [^24]、Re:InterHand [^34] 和 RenderIH [^22] 则涵盖了两只手相互作用的场景，既包括以自我为中心的视角 [^24]，也包含第三人称视角 [^22] [^34]。这些数据集在骨骼拓扑结构、背景考量、光照条件以及渲染用的手部纹理方面存在差异（详见表1）。由于大多数合成数据集仅用于预训练，之后还需用真实数据或混合数据进行微调 [^10] [^14] [^17] [^22] [^34]，因此这些合成数据集的独立有效性尚未得到证实。正如我们将展示的那样，这些数据集仍存在显著的合成到真实域差异；我们的工作是对3D手部姿态估计中这一差异的首次系统性研究。合成到真实的3D手部姿态估计。已有多项研究探索利用合成数据来提升手部姿态估计在真实数据上的泛化性能。在深度数据领域，[^31] [^44] 利用合成深度数据估计手部姿态。 --- ![Image](images/d9bd0dc83564f6481bc0b8a2c7b37f847e7ce6de5eb993b7882b1e2fc141b740.jpg) ![Image](images/1ae4ccc549b71cae4ade1f9785231bab389b5a5d3594ee80908f59c4ebf9531b.jpg)

Figure 2. (a) Real images (blue) have richer hand texture information and complex environments than synthetic images (red). Arms and interacting objects are often present in real images. (b) Real datasets have higher variation in amplitude values than synthetic ones across all frequency bands.

对于事件数据，Even- hands [^41] 利用合成事件流进行训练以捕捉手部姿态。我们的研究聚焦于RGB领域；手部姿态。我们的研究聚焦于RGB领域；最初的研究之一 [^55] 提出了一种合成RGB 数据集（RHD），该数据集展现出了更好的泛化结果优于规模有限的立体真实手部数据集。其他研究则致力于学习 ### 3. 合成到真实手部分析本研究验证了导致手部姿态估计中合成到真实域差异的手部图像组件（第3.1节）。为此，我们开发了一套手部图像合成流程（第3.2节），用于生成能够控制手部纹理、背景和姿态多样性的高质量合成图像。我们采用组合策略（第3.3节）来展示手臂和相互作用物体所产生的影响。此外，我们还揭示了遮挡程度与手部物体先验之间的关联（第3.4节）。训练[^50]、基于重建方法的伪标签 [^28]: , multi-modality supervisions [^6] [^27], input and output 表示表征对齐，以此构建统一的框架用于各类域自适应姿态估计[^19]。 #### 3. 合成数据到真实数据的手部分析本研究验证了导致手部姿态估计中合成数据到真实数据差距的手部图像成分（第3.1节）。为此，我们开发了手部图像合成流程（第3.2节），以生成能控制手部纹理、背景和姿态多样性的高质量合成图像。我们采用组合式策略（第3.3节）来展示手臂及交互物体所产生的影响。此外，我们还揭示了遮挡程度与手部物体先验之间的联系（第3.4节）。 #### 3.1. 手部图像成分典型的手部图像由手部、手臂、交互物体以及背景组成。将真实手部图像[^8] [^15] [^42] [^56]与合成图像[^14] [^17] [^22] [^48] [^55]进行对比，我们会发现这些组成部分之间存在若干差异（见图2(a)）。我们在下方总结了这些差异。外观方面：(1) 真实图像中的手部来自不同受试者，呈现出多样的手部纹理；而合成图像的纹理较为有限且不真实。(2) 真实图像通常包含复杂多样的环境，而合成图像的背景往往简单且有限。(3) 真实图像中手部与手臂一同出现，而合成图像中常常只有脱离手臂的单独手部。(4) PASTA[^9]的研究表明，在语义分割的高频成分上，合成图像的差异性小于真实图像。我们同样分析了真实与合成手部数据集在频谱中振幅的差异性（见图2(b)），结果发现合成手部数据集在整个频谱范围内的差异性均小于真实数据集。物体方面：(1) 真实图像中常出现手部与物体的交互，从而产生各种遮挡现象。(2) 有些物体可能同时出现在真实的训练集和测试集中，而另一些物体则从未在合成数据集中出现。因此，合成数据集可能缺乏真实数据集中存在的关于物体遮挡的先验信息。骨骼拓扑结构方面，真实手部数据与合成手部数据的骨骼可能存在差异。这种骨骼拓扑结构的差异源于人工标注的标签与通过参数化模型或商业模型生成的标签之间的系统性差别。 #### 3.2. 手部图像合成我们提出了一种渲染流程（见图3），该流程以能够模拟骨骼、肌肉、皮肤和纹理的参数化手部模型为起点。随后我们从真实世界的手部数据集中采样手部姿态。为了进一步提升真实感，每只手部都会被赋予高分辨率的纹理，并在不同的光照条件下搭配动态背景。手部模型方面，我们选用NIMBLE[^23]手部模型，该模型以姿态$\theta$、形状$\beta$和纹理$\alpha$参数作为输入，生成逼真的3D手部模型： $$ \mathcal{N}(\theta,\beta,\alpha)=\{\mathcal{G}(\theta,\beta),\mathcal{A}(\alpha)\}. $$ 上述公式中，$\mathcal{G}(\theta, \beta)$表示手部几何结构，包括皮肤、肌肉和骨骼网格。$\mathcal{A}(\alpha)$则表示手部纹理，涵盖漫反射贴图、镜面反射贴图和法线贴图。大多数现有的合成手部数据集[^14] [^17] [^22]均采用该模型。 --- ![Image](images/2c6119d43e1646c1756053b3ffaa4227f95242f5e2bd2a486f07898cd00636ef.jpg)

Figure 3. Image synthesis process.

![Image](images/54a22656c2ec8e994d1b1c8db4ee52b9de0f3ce65d827b6fa21228510827d58e.jpg)

Figure 4. Same hand in different textures.

MANO手部模型[^40]。NIMBLE的3D网格更精细，拥有5,990个顶点和9,984个三角形面片，而MANO仅有778个顶点和1,538个面片。NIMBLE和MANO的拓扑结构存在差异，包括关节数量（25个对比21个）及其位置的不同（详见补充材料章节F）。手部姿态。我们使姿态分布与目标真实数据集（即FreiHAND [^56]和DexYCB [^8]）保持一致，以消除其在分析过程中的影响。我们通过将NIMBLE手部网格拟合到MANO手部网格上来获取手部姿态。在拟合过程中，我们分两个阶段优化姿态、形状、旋转和平移参数，以避免拟合效果不佳的情况（详见补充材料第B节）。由于我们的数据合成流程具有可控性和普适性，我们进一步通过拟合算法从三个方面扩充姿态分布：（1）从ObMan [^17]中采样姿态，以纳入更多手与物体的交互情况；（2）从NIMBLE空间中随机合成姿态；（3）从基于深度手部数据集构建的VAE先验中采样 [^1]。手部纹理。我们使用NIMBLE模型合成丰富的手部纹理；该模型由$\mathcal{A}(\alpha) = \bar{A} + \Phi\alpha$定义，其中$\alpha$为外观参数，$\bar{A}$为平均外观，$\Phi$为模型主成分。现有的合成手部数据集要么手部纹理不真实，要么纹理多样性有限（例如RenderIH仅提供30种纹理）。NIMBLE手部纹理是对来自不同年龄、性别和种族的38种照片级真实手部纹理素材进行线性插值得到的，以此提升纹理多样性。部分示例如图4所示。背景与光照。我们以[^52]中的669个HDRI场景作为背景；这些图像包含逼真的室内外场景，已被[^3]、[^22]、[^34]、[^43]用于生成高度照片级真实的渲染场景。部分示例如图5所示。渲染。我们使用基于Blender Python的光线追踪渲染引擎Cycles [^4]进行渲染。首先，我们导入皮肤网格，并为网格应用漫反射、镜面反射和法线贴图。相机设置基于 ![Image](images/f3fa5ca0edb54ba82ac59b0248525ecd542a09371b0666c8ac63b9fc21b2840f.jpg)

Figure 5. Same hand and hand texture in different backgrounds and lighting. The same hand looks different under different backgrounds and lighting.

![Image](images/ef5122f38217f49eff90468e76071e126d1c802b7c68b9a41c4ad4b7a1651cc6.jpg)

Figure 6. Synthetic hand images with realistic hand textures, backgrounds, lighting, arms, and interacting objects.

分析时所用目标真实数据集的相机内参。背景和纹理是随机选择的。这种设置构建了一个仅需少量工作即可在Python中运行的自动化渲染流程。在单张RTX A5000 GPU上渲染一张图像大约需要1秒，通过并行化还能进一步提升速度。更多细节可在补充材料第C节中找到。 #### 3.3. 分解与合成由于我们的研究重点是分析不同组件的重要性，因此我们从真实图像中分割出手臂和物体，并将它们合成到合成图像中，如图1所示。这种合成方式比直接渲染这些组件更实用，也能作为更好的对照案例。为了从真实图像中分割出手臂和物体，我们使用预训练的物体检测器Grounding DINO [^30]来提取这些组件的边界框。随后将边界框裁剪结果输入到分割网络SAM [^21]中，以估算对应的分割掩码。对于每张真实图像$I_{real}^{i}$（其中$i \in [1, N]$，N为目标真实数据集中的姿态数量），我们借助物体检测器$bbox^{i}$，通过输入文本提示x来提取手臂或交互物体的边界框$D(\cdot)$：$bbox^{i} = D(x)$。接着将边界框$bbox^{i}$传递给SAM $S(\cdot)$，以获得对应的掩码$M^{i}$：$M^{i} = S(bbox^{i})$。最终包含手臂和交互物体的合成图像$I_{syn}^{j}$可定义如下： $$ \begin{aligned}\tilde{I}_{\mathrm{syn}}^{j}&=\left(1-M_{\mathrm{obj}}^{i}-M_{\mathrm{arm}}^{i}\right)\odot I_{\mathrm{syn}}^{j}\\&\quad+M_{\mathrm{obj}}^{i}\odot I_{\mathrm{real}}^{i}+M_{\mathrm{arm}}^{i}\odot I_{\mathrm{real}}^{i},\end{aligned} $$ --- ![Image](images/6141a09aa1018bf6e05d216f1afcd19b5cc215624f02f698c180a697829bba00.jpg)

Figure 7. We build a VAE object occlusion prior and use this prior to refine the predicted hand poses.

其中，$I_{syn}^{j}$ 表示渲染出的合成图像，$M_{obj}^{i}$ 和 $M_{arm}^{i}$ 分别表示提取出的物体掩码和手臂掩码，$\odot$ 表示逐元素乘法，而 $j = k * N + i$ 中则包含 $k \in \mathbb{Z}_{\geq 0}$。通过这种方式，我们便得到了最终的合成图像。相关示例如图6所示。 ### 3.4. 物体遮挡等级与先验为了分析物体遮挡在合成数据到真实数据适配中的影响，我们利用 [^47] 将验证集划分为不同的遮挡等级，该工具能为每只手提供手指级别的遮挡标签（包括五个手指和手掌），等级范围从0（最低）到6（最高）。此外，为了揭示遮挡等级与手部物体先验之间的联系，我们采用VAE先验来根据可见关节重建被遮挡的关节。与 [^49]、[^57] 类似，我们使用VAE [^20] 来构建物体遮挡先验，该先验包含编码器 $q(z|x_{3D})$ 和解码器 $p(x_{3D}|z)$（见图7）。在训练阶段，输入的3D姿态 $x_{3D}$ 会首先被随机掩码处理，以增加重建的多样性。随后，编码器将掩码后的3D姿态 $x_{3D}$ 映射到潜空间z，解码器再重构出3D姿态 $\hat{x}_{3D}$。我们采用KL散度损失和3D关节损失来训练物体遮挡先验： $$ \begin{array}{r}{L_{V A E}=\lambda L_{K L}+\|\hat{x}_{3D}-x_{3D}\|_{2}^{2}.}\end{array} $$ 在优化阶段，我们利用预训练的VAE先验来优化预测的关节。更多细节详见补充材料的D节和E节。 #### 4. 实验 #### 4.1. 数据集与评估指标我们以FreiHAND和Dex-YCB作为目标真实数据集，并合成对应的合成数据集Syn-Frei和SynDex用于分析。 - FreiHAND [^56] 包含13万张训练图像和4千张测试图像，均涉及单只手。每个训练样本都包含一张在绿色背景上拍摄的真实RGB图像，以及三张带有合成背景的图像。 - Dex-YCB [^8] 是一个大规模3D手-物体数据集，包含超过58.2万张图像，其中的物体来自YCB数据集 [^46]。我们采用默认的“S0”训练/测试划分方式，并使用训练集的简化版本（3.5万张图像）进行分析。 - HO3D-v2 [^15] 记录了3D手-物体交互场景，包含6.6万张训练图像和1.1万张测试图像。该数据集使用的十种交互物体均来自YCB数据集。我们利用HO3D-v2进行跨数据集验证，以评估模型在未见过的交互物体样本上的性能。 MOW [^7] 是一个记录人类野外操作物体的3D数据集，包含512个标注样本。它被用作测试集来评估模型的泛化能力。评估指标。我们采用标准的PA-MPJPE和PA-MPVPE指标（单位：厘米）来评估手部姿态和形状的精度，这些指标分别用于衡量预测结果与真实值在经过Procrustes对齐后的平均关节位置误差和平均顶点位置误差。 #### 4.2. 基准方法与训练细节我们选取了五种3D手部姿态估计方法作为基线：S²HAND [^12]、CMR [^11]、METRO [^25]、MeshGraphormer [^26]以及simpleHand [^54]，利用它们的官方训练代码在真实目标数据集上进行复现。此外，我们还在合成数据集上复现这些方法，并采用振幅谱增强技术 [^9]（详见补充材料第A节）进行对比，以验证我们的数据合成流程的有效性。所有基线模型均在一块NVIDIA RTX A5000 GPU上训练。我们主要使用S²HAND来分析合成数据与真实数据之间的差距。 #### 4.3. 与基线方法的对比我们以真实数据集FreiHAND上的五种方法作为基线，并在我们合成的数据集SynFrei上训练这些模型，以此展示我们的合成数据合成流程的有效性。如表2所示，仅用我们的合成数据集训练的模型就能取得最先进的结果：对于S²HAND、CMR、METRO、Mesh-Graphormer和simpleHand而言，它们分别能达到用真实数据集训练模型的97%、91%、88%、91%和84%的性能。这些结果表明合成数据与真实数据之间的差距约为0.1厘米。我们发现，仅用合成数据训练时模型性能会下降，尤其是那些架构更强大的模型。我们推测，更强的模型更容易对合成数据过拟合，从而影响其从合成数据到真实数据的泛化性能。我们还在DexYCB的简化版以及我们合成的SynDex数据集上训练S²HAND，结果显示其在Dex-YCB测试集上的PA-MPJPE值分别为0.86厘米和0.87厘米，性能相当。 #### 4.4. 与其他合成数据集的对比 #### 我们将其与DARTset [^14]进行比较，该数据集的姿态分布、手部腕部和配饰种类更为多样，但缺乏动态背景、交互物体以及振幅谱增强功能。DARTset从FreiHAND中采样手部姿态，并通过线性插值方式对合成姿态与FreiHAND采样姿态进行融合。 --- ![Image](images/962c73483862436d6116825c13fb549c62bd0f3cf8757dfaccace806bf942014.jpg) ![Image](images/4cdf22f3fe067952b53a0ae0ef01139a86c1019a2a2ff66325a284eda071b57b.jpg) ![Image](images/ddd516a7b2f27564f73f2691af99a0e8b4d8686de5d6ac0b5aa39ca3247eee53.jpg)

Figure 8. (a) Synthetic dataset size influence. (b) Background and hand texture diversity influence. (c) The percentage of real hand poses used for synthesizing data. The green lines indicate the saturation points.

Table 2. Comparisons of methods trained on FreiHAND and only our SynFrei on the FreiHAND test set (PA-MPJPE↓ / PA-MPVPE↓).

Method	Real FreiHAND	Our SynFrei	Syn $\rightarrow$Real
S $^{2}$HAND [^12]	0.99 / 1.02	1.02 / 1.05	97%
CMR [^11]	0.77 / 0.78	0.85 / 0.88	91%
METRO [^25]	0.69 / 0.71	0.78 / 0.79	88%
MeshGraphormer [^26]	0.69 / 0.70	0.76 / 0.78	91%
simpleHand [^54]	0.65 / 0.66	0.77 / 0.79	84%

Table 3. Comparisons of methods trained on DARTset and our SynFrei on the FreiHAND test set (PA-MPJPE↓ / PA-MPVPE↓). The results of DARTset are from its paper.

Method	DARTset	SynFrei
CMR	2.56 / 2.57	0.85 / 0.88
METRO	1.77 / 1.75	0.78 / 0.79

如表3所示，尽管我们的数据集规模仅为DARTset的一半（325,600个样本对比758,378个样本），但用我们的SynFrei训练的CMR和METRO模型性能仍优于DARTset。此外，即使姿态分布不同，用我们的SynDex训练的CMR在FreiHand测试集上的表现也优于DARTset（误差分别为1.92和1.98）。数据集规模与多样性对性能的影响。我们分析了合成数据集规模对合成数据到真实数据泛化性能的影 #### 4.5. 外观分析由于领域差异的存在，单手数据集与双手数据集之间的对比颇具挑战性。我们仍然针对用SynFrei和RenderIH [^22]训练的模型，在HO3D-v2测试集上评估其跨数据集泛化能力。我们仅取RenderIH模型的右手结果。用SynFrei训练的模型在跨数据集评估中的表现优于RenderIH，其PA-MPJPE值分别为1.41厘米和1.76厘米。这一结果可归因于交互式手部图像的表达能力有限，无法让模型学习到手与物体的交互关系；同时RenderIH图像中的背景分辨率较低，导致背景模糊，影响了模型性能。

Table 4. Arm, amplitude spectrum augmentation, and interacting object influence on FreiHAND and Dex-YCB test sets (PA-MPJPE↓). “Amp Aug” is short for amplitude spectrum augmentation. ✗ refers to assigning RGB values to the arm and object mask positions.

	Components			Train set
	Arm	Amp Aug	Object	SynFrei	SynDex
(i)		✓	✓	1.07	0.90
(ii)	✓		✓	1.11	0.89
(iii)	✓	✓		1.07	0.95
(iv)	✗	✓	✗	1.04	0.92
(v)	✓	✓	✓	1.02	0.87

如图所示，正如预期，增加更多数据带来的收益会逐渐递减。当Syn-Frei的合成数据集规模达到$8 \times 32,560$时，性能提升会趋于平稳，误差下降的趋势也会变缓。我们进一步用$8 \times 32,560$个样本生成了全尺寸的合成数据集，但这些样本的多样性程度有所不同：分别为50%、25%和5%，其中每个数值代表完整背景和手部纹理素材所占的百分比。如图8(b)所示，更丰富的背景和手部纹理能够缩小合成数据与真实数据之间的差距。这一结果表明，在合成数据时丰富背景和纹理素材是有益的。不过，当多样性达到50%时性能便不再提升，这说明大约300个室内外HDRI场景就足以用于合成手部数据。我们的合成流程中还可以采用多种技术来进一步提升性能，比如改变相机视角、翻转或旋转背景，以及调整肤色对比度、亮度或皮下颜色。手臂的影响。我们通过从合成图像中移除手臂来分析其重要性。表4显示，与第(i)行和第(v)行相比，使用不含手臂组件的SynFrei和SynDex数据集训练的模型，其PA-MPJPE值有所升高。图9(a)表明，在SynFrei数据集上训练且不含手臂的模型，容易将手臂的部分区域误判为手腕，尤其是当手臂占据图像较大比例时。而含有手臂的SynFrei数据集则不会出现此类错误。由于 --- ![Image](images/a0df4167efa4f9dc15df23e7eaaa14d5e29c72b2604e22cd03cac15dbc17e0ed.jpg)

Figure 9. (a) Comparisons of model trained with FreiHAND (Real), our SynFrei (Syn), our SynFrei with random arm (random), and our SynFrei (w/o arm) on FreiHAND test set. (b) Comparisons of model trained with FreiHAND, SynFrei, SynFrei with random interacting object and SynFrei (w/o object) on the FreiHAND test set.

手臂和手部的颜色相近，如果合成图像中缺少手臂信息，模型很容易产生混淆，从而将根关节错误地定位在手臂上而非手腕处。这一结果表明，手臂是定位手腕的重要线索，进而影响整体的手部姿态。振幅谱增强的影响。我们发现振幅谱增强是一个关键组件。去除该组件后，SynFrei（0.09厘米）和SynDex（0.02厘米）的PA-MPJPE值均会升高（见表4第(ii)行和第(v)行）。这表明振幅谱增强在扭曲振幅信息的同时保留相位信息（如手部结构）的能力，能够提升模型在从合成域到真实域迁移时的鲁棒性。随机手臂和物体遮挡的影响。我们按照第3.3节的描述，通过为对应的手臂和物体掩码位置赋予RGB值，进一步随机化手部图像中的手臂和物体。对于手臂而言，我们将其RGB值设为手部的平均值，以更好地模拟手与臂的协调性。对于物体遮挡，我们为物体位置赋予随机的RGB值。表4第(iv)行和第(v)行显示，尽管加入随机手臂和物体遮挡后，合成数据与真实数据之间的差距较从真实图像中分割出的数据略有增大，但在FreiHAND和Dex-YCB测试集上，合成数据的性能仍可达到95%和93%。这一结果表明，即便没有高度逼真的手臂或物体遮挡信息，模型也能学会准确定位手腕位置及交互物体（见图9）。 #### 4.6. 姿态分析我们通过控制用于数据合成的真实手部姿态数量，来分析手部姿态对合成到真实性能的影响。需要注意的是，我们在渲染时仍会为每只手赋予不同的背景和纹理以实现多样化。如图8(c)所示，当合成手部姿态接近真实姿态时，合成到真实的性能会得到提升。这一结果表明，合成数据集与真实数据集之间的姿态差异导致了合成到真实的差距。我们还发现，仅使用总真实姿态数的5%，用合成数据训练的模型就能达到最终性能的约80%；当使用20%的真实姿态时，性能可提升至约90%；而使用40%的真实姿态时，性能则能达到97%。换句话说，合成手部图像能有效帮助模型学习视觉表征，而核心手部姿态便足以实现良好的泛化性能。 #### 4.7. 物体遮挡分析表4的第(iii)行和第(v)行显示，从SynFrei（0.05厘米）和SynDex（0.08厘米）中移除交互物体后，PA-MPJPE值有所上升，尤其是在包含更多手-物交互的Dex-YCB测试集上表现更为明显。当物体大面积遮挡手部时，从合成图像中移除交互物体后，预测的手部姿态便无法再与物体产生交互（见图9(b)）。遮挡等级。我们采用HO3D-v2数据集进行跨数据集验证，该数据集包含手-物交互场景。由于HO3D-v2测试集标签并未公开，我们将原始训练集划分为训练集和验证集。我们在三种训练设置下比较模型在验证集上的性能：用HO3D-v2训练集训练的S²HAND（S₁）、FreiHAND（S₂）以及SynFrei（S₃）。如图10(a)所示，S₁与S₂、S₃之间存在性能差距。随着遮挡等级的升高，由于缺乏验证集中的物体遮挡信息，S₂和S₃的性能会下降，而融入了此类先验信息的S₁性能则会提升。我们进一步研究了各遮挡级别下独特物体数量的分布情况，发现了$S_{1}$的性能与独特物体数量之间的关系。如图10(b)所示，$S_{1}$在遮挡级别为6时表现最佳，该级别的独特物体数量最少。借助验证集中的物体遮挡先验信息，$S_{1}$能够将手部姿态与特定物体关联起来。此外，较高的遮挡级别往往与之相关 --- ![Image](images/69cf4afc59ff07d1e943fb6cfdff1c5f81f30e478e6fe1e4fdcd2663474ee17b.jpg) ![Image](images/7e606337af2c3f6b757418e905ee06ca1c2713820f52f05cbb6f0dd4c744abc5.jpg)

Figure 10. (a) Comparisons of $S_{1}$, $S_{2}$ and $S_{3}$ on validation sets with different occlusion levels. $S_{2}$ and $S_{3}$ after object occlusion prior refinement are denoted as $S_{2}$-refine and $S_{3}$-refine. (b) Relationship between the performance of $S_{1}$ and the number of unique objects at each occlusion level.

较高的遮挡等级往往对应着更大的物体，这类物体对手部姿态的约束更强，导致姿态变化更小。因此，$S_{1}$在较高遮挡等级下的性能表现更佳。然而，若没有物体遮挡信息，随着遮挡等级的升高，$S_{2}$和$S_{3}$的性能会下降。这些发现表明，物体遮挡先验有助于缩小合成到真实的差距。物体遮挡先验。我们利用Dex-YCB训练VAE物体遮挡先验模型（详见第3.4节），该模型涵盖了HO3D-v2中的物体。如图10(a)所示，应用VAE物体遮挡先验对预测的关节位置进行优化后（$S_3$-refine），$S_3$的合成到真实性能得到了提升。引入物体遮挡先验能够缩小高遮挡等级下合成数据集与真实手部数据集之间的差距。虽然以往的研究利用先验信息来优化真实到真实场景中的姿态[^37] [^39] [^57]，但我们的研究结果也证明了其在合成到真实适配中的实用性。通过我们的物体遮挡分析，我们提出了一种潜在的训练方案，以便更好地将合成数据应用于实际场景。模型可以首先在大规模合成数据上训练以学习手部表征。随后，利用现有的手-物体交互数据集来提供有用的先验信息，从而优化预测结果并进一步缩小合成数据与真实数据之间的差距。 ### 4.8. 手部骨骼拓扑分析不同的手部骨骼拓扑结构可能具有不同的关节定义[^13]。这可能会引入合成数据与真实数据之间的差距，因为合成数据的骨骼拓扑可能与真实数据集存在差异。为了分析手部骨骼拓扑差异的影响，我们在不进行标签适配的情况下训练S $^{2}$HAND模型，并通过将NIMBLE网格拟合到MANO网格来获取NIMBLE关节作为真实关节用于训练。需要注意的是，NIMBLE骨骼与MANO骨骼存在差异（详见补充材料F），在评估时我们会移除NIMBLE中多余的解剖学关节。如表5所示，使用NIMBLE关节且不进行标签适配时，合成数据到真实数据的误差从1.02厘米增加到1.28厘米。这一结果表明，合成数据集与真实数据集之间手部骨骼拓扑的差异会对预测结果产生偏差。

Table 5. Hand skeleton topology differences.

Label Adaptation	PA-MPJPE $\downarrow$
-	1.28
✓	1.02

Table 6. Cross-dataset generalization results in PA-MPJPE $\downarrow$. $\dagger$: results come from the official evaluation server.

Train Set\nTest Set	FreiHAND	Dex-YCB	$HO3D-v2^{\dagger}$	RHD	MOW
FreiHAND	0.99	1.14	1.39	1.40	1.47
+ SynFrei	0.95	1.11	1.28	1.32	1.38
Dex-YCB	1.63	0.86	1.25	1.72	1.24
+ SynDex	1.49	0.82	1.15	1.65	1.18

合成数据集与真实数据集之间手部骨骼拓扑的差异可能会对预测结果产生偏差。 ## 4.9. 跨数据集评估我们利用S $^{2}$HAND模型，通过跨数据集泛化能力来验证我们的合成数据在弥合不同手部数据集之间差距方面的效果。如表6所示，使用真实数据与合成数据混合训练的模型，在域内和跨域泛化方面的表现均优于仅用真实数据训练的模型。例如，在FreiHAND测试集上，用Dex-YCB和SynDex混合数据训练的模型，其性能优于仅用Dex-YCB数据训练的模型。这种差异可能是因为Dex-YCB数据集主要由室内图像组成，而FreiHAND测试集包含大量室外图像；纳入包含室内外环境的合成图像后便能弥补这一差距。这些结果证明我们的合成数据是真实数据的良好补充，无论是在域内还是跨域应用方面。更多结果可参见补充材料第H节。 ## 5. 结论本文首次对3D手部姿态估计中合成数据到真实数据的差距进行了系统性研究。我们从外观、手部姿态、物体遮挡以及手部骨骼拓扑等维度分析了这一差距。我们令人振奋地发现，合成手部数据能够达到与真实手部数据同等的精度，同时也为仅使用合成数据铺平了道路。使用真实数据与我们的合成数据混合训练的模型，在域内和跨域泛化方面的表现均优于仅用真实数据训练的模型。我们提出的数据合成流程能够生成高质量的合成手部图像，从而减轻我们对真实数据的依赖，为未来的研究与应用提供支持。 --- ## 致谢本研究/项目得到了新加坡教育部学术研究基金一级项目（FY2022）的支持。此外，本研究还得到了国家自然科学基金（编号62406298）、广州市南沙区科学技术局（编号2022ZD012）、汇丰银行项目L0562以及中国传媒大学中央高校基本科研业务费（CUC24XT07）的资助。 ### 参考文献 [^1]: Anil Armagan, Guillermo Garcia-Hernando, Seungryul Baek, Shreyas Hampali, Mahdi Rad, Zhaohui Zhang, Shipeng Xie, MingXiu Chen, Boshen Zhang, Fu Xiong, et al. Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 4 [^2]: Gwangbin Bae, Martin de La Gorce, Tadas Baltrušaitis, Charlie Hewitt, Dong Chen, Julien Valentin, Roberto Cipolla, and Jingjing Shen. Digiface-1m: 1 million digital face images for face recognition. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 3526–3535, 2023. 1 [^3]: Michael J Black, Priyanka Patel, Joachim Tesch, and Jinlong Yang. Bedlam: A synthetic dataset of bodies exhibiting detailed lifelike animated motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8726–8737, 2023. 1, 4 [^4]: Blender Foundation. Cycles Renderer. , 2021. Accessed on 5th August, 2023. 4 [^5]: Giuseppe Caggianese, Nicola Capece, Ugo Erra, Luigi Gallo, and Michele Rinaldi. Freehand-steering locomotion techniques for immersive virtual environments: A comparative evaluation. International Journal of Human-Computer Interaction, 36(18):1734–1755, 2020. 1 [^6]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European conference on computer vision (ECCV), pages 666–682, 2018. 3 [^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12417–12426, 2021. 5 [^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 3, 4, 5 [^9]: Prithvijit Chattopadhyay, Kartik Sarangmath, Vivek Vijaykumar, and Judy Hoffman. Pasta: Proportional amplitude spectrum training augmentation for syn-to-real domain generalization. In Proceedings of the IEEE/CVF International 计算机视觉会议，第19288–19300页，2023年。2, 3, 5 [^10]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Mvhm: A large-scale multi-view hand mesh benchmark for accurate 3d hand pose estimation. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 836–845, 2021. 1, 2 [^11]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1, 5, 6 [^12]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. 5, 6 [^13]: Xiaoming Deng, Yuying Zhu, Yinda Zhang, Zhaopeng Cui, Ping Tan, Wentian Qu, Cuixia Ma, and Hongan Wang. Weakly supervised learning for single depth-based hand shape recovery. IEEE Transactions on Image Processing, 30:532–545, 2021. 2, 8 [^14]: Daiheng Gao, Yuliang Xiu, Kailin Li, Lixin Yang, Feng Wang, Peng Zhang, Bang Zhang, Cewu Lu, and Ping Tan. Dart: Articulated hand model with diverse accessories and rich textures. Advances in Neural Information Processing Systems, 35:37055–37067, 2022. 1, 2, 3, 5 [^15]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 3, 5 [^16]: Shangchen Han, Po-chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, et al. Umetrack: Unified multiview end-to-end hand tracking for vr. In SIGGRAPH Asia 2022 Conference Papers, pages 1–9, 2022. 1 [^17]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 1, 2, 3, 4 [^18]: Songyao Jiang, Bin Sun, Lichen Wang, Yue Bai, Kunpeng Li, and Yun Fu. Skeleton aware multi-modal sign language recognition. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3413–3423, 2021. 1 [^19]: Donghyun Kim, Kaihong Wang, Kate Saenko, Margrit Betke, and Stan Sclaroff. A unified framework for domain adaptive pose estimation. In European Conference on Computer Vision, pages 603–620. Springer, 2022. 3 [^20]: Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013. 5 #### [^21]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. 4 --- [^22]: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen. Renderih: A large-scale synthetic dataset for 3d interacting hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20395–20405, 2023. 1, 2, 3, 4, 6 [^23]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: a non-rigid hand model with bones and muscles. ACM Transactions on Graphics (TOG), 41(4):1–16, 2022. 3, 2 [^24]: Fanqing Lin, Connor Wilhelm, and Tony Martinez. Two-hand global 3d pose estimation using monocular rgb. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 2373–2381, 2021. 2 [^25]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 1, 5, 6 [^26]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. 5, 6 [^27]: Qiuxia Lin, Linlin Yang, and Angela Yao. Cross-domain 3d hand pose estimation with dual modalities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17184–17193, 2023. 3 [^28]: Qiuxia Lin, Kerui Gu, Linlin Yang, and Angela Yao. Synthetic-to-real pose estimation with geometric reconstruction. Advances in Neural Information Processing Systems, 36, 2024. 3 [^29]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer vision–ECCV 2014: 13th European conference, Zurich, Switzerland, September 6-12, 2014, proceedings part v 13, pages 740–755. Springer, 2014. 4 [^30]: Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. arXiv preprint arXiv:2303.05499, 2023. 4 [^31]: Jameel Malik, Ahmed Elhayek, Fabrizio Nunnari, Kiran Varanasi, Kiarash Tamaddon, Alexis Heloir, and Didier Stricker. Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth. In 2018 International Conference on 3D Vision (3DV), pages 110–119, 2018. 2 [^32]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 752–768. Springer, 2020. 1 [^33]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb im- 年龄。欧洲计算机视觉会议（ECCV），2020年。2 [^34]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mize Mallorie, Philippe Bree, Tomas Simon, Bo Peng, Shubham Garg, Kevyn McPhail, and Takaaki Shiratori. A dataset of relighted 3D interacting hands. In NeurIPS Track on Datasets and Benchmarks, 2023. 1, 2, 4 [^35]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3d interacting hands. Advances in Neural Information Processing Systems, 36, 2024. 2 [^36]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of International Conference on Computer Vision (ICCV), 2017. 2 [^37]: Hyeongjin Nam, Daniel Sungho Jung, Yeonguk Oh, and Ky-oung Mu Lee. Cyclic test-time adaptation on monocular video for 3D human mesh reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14829–14839, 2023. 8 [^38]: Junho Park, Kyeongbo Kong, and Suk-Ju Kang. Attention-hand: Text-driven controllable hand image generation for 3d hand reconstruction in the wild. In European Conference on Computer Vision, pages 329–345. Springer, 2024. 4 [^39]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J Guibas. Humor: 3d human motion model for robust pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11488–11499, 2021. 8 [^40]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 4, 2 [^41]: Viktor Rudnev, Vladislav Golyanik, Jiayi Wang, Hans-Peter Seidel, Franziska Mueller, Mohamed Elgharib, and Christian Theobalt. Evenhands: Real-time neural 3d hand pose estimation from an event stream. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12385–12395, 2021. 3 [^42]: Srinath Sridhar, Franziska Mueller, Michael Zollhoefer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In Proceedings of European Conference on Computer Vision (ECCV), 2016. 3 [^43]: Tze Ho Elden Tse, Franziska Mueller, Zhengyang Shen, Danhang Tang, Thabo Beeler, Mingsong Dou, Yinda Zhang, Sasa Petrovic, Hyung Jin Chang, Jonathan Taylor, et al. Spectral graphormer: Spectral graph-based transformer for egocentric two-hand reconstruction using multi-view color images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14666–14677, 2023. 4 #### [^44]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-supervised 3d hand pose estimation through training by fitting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2 --- [^45]: Erroll Wood, Tadas Baltrusaitis, Charlie Hewitt, Sebastian Dziadzio, Thomas J Cashman, and Jamie Shotton. Fake it till you make it: face analysis in the wild using synthetic data alone. In Proceedings of the IEEE/CVF international conference on computer vision, pages 3681–3691, 2021. 1 [^46]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017. 5 [^47]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. 5, 3 [^48]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9877–9886, 2019. 3 [^49]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. Aligning latent spaces for 3d hand pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2335–2343, 2019. 5 [^50]: Linlin Yang, Shicheng Chen, and Angela Yao. Semihand: Semi-supervised hand pose estimation with consistency. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11364–11373, 2021. 1, 3 [^51]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 2 [^52]: Greg Zaal, S. Majboroda, and A. Mischok. HDRI Haven. , 2023. Accessed on 5th August, 2023. 4 [^53]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models. In Proceedings of the IEEE/CVF international conference on computer vision, pages 3836–3847, 2023. 4 [^54]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1367–1376, 2024. 5, 6 [^55]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017. 2, 3 [^56]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 2, 3, 4, 5 #### [^57]: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue, and Yangang Wang. Reconstructing interacting hands with interaction prior from monocular images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9054–9064, 2023. 5, 8 --- #### 分析3D手部姿态估计中的合成数据到真实数据的域差异补充材料在以下的补充材料中，我们介绍了关于本研究的更多细节。第A节给出了模型训练阶段用于增强合成图像的振幅谱增强算法。第B节给出了获取不同姿态下NIMBLE手部网格的拟合算法。第C节介绍了手部图像合成流程的渲染细节。第D节说明了我们如何获取用于物体遮挡分析的手指级遮挡标注。第E节给出了VAE物体遮挡先验的实现细节。第F节展示了NIMBLE与MANO手部模板之间的差异。第G节比较了用于数据合成的手部模型模板所产生的影响。第H节展示了使用合成数据与真实数据组合训练模型的结果。第I节显示了Procrustes对齐前的各组件影响。第J节展示了由生成模型生成的合成数据的对比结果。第K节展示了我们合成数据集的更多可视化结果。 #### A. 振幅谱增强我们在模型训练阶段应用振幅谱增强[^9]来解决频域差异问题。振幅谱增强算法如算法1所示。训练时我们将超参数$\alpha$设为3，$\beta$设为0.25，k设为2。 ```pseudo // Algorithm 1: Amplitude spectrum augmentation 1: Input: $x \in \mathbb{R}^{H \times W}$; $\triangleright$ Input synthetic image 2: Augmentation parameters: $\alpha, k, \beta$ 3: $\mathcal{F}(x) \leftarrow \mathrm{FFT}(x)$; $\triangleright$ Fast Fourier Transform 4: $\mathcal{A}(x), \mathcal{P}(x) \leftarrow \mathrm{Abs}(\mathcal{F}(x)), \mathrm{Ang}(\mathcal{F}(x))$ 5: $\mathcal{A}(x) \leftarrow \mathrm{FFTShift}(\mathcal{A}(x))$; $\triangleright$ Zero-center amplitude 6: for $p \in [-H/2, H/2]$ do 7: $\quad$ for $q \in [-W/2, W/2]$ do 8: $\quad\quad\quad\quad\quad\sigma[p, q] \leftarrow \left(2\alpha \sqrt{\frac{p^2 + q^2}{H^2 + W^2}}\right)^k + \beta$ 9: $\quad\quad\quad\quad\quad\text{end for}$ 10: end for 11: $\lambda \sim \mathcal{N}(1, \sigma^2)$; $\triangleright$ Calculate perturbations 12: $\tilde{\mathcal{A}}(x) \leftarrow \lambda \odot \mathcal{A}(x)$; $\triangleright$ Perturb amplitude spectrum 13: $\tilde{\mathcal{A}}(x) \leftarrow \mathrm{FFTShift}(\tilde{\mathcal{A}}(x))$ 14: $\tilde{x} \leftarrow \text{Inverse-FFT}(\tilde{\mathcal{A}}(x), \mathcal{P}(x))$; $\triangleright$ Augmented image ``` 为了准备用于渲染的手部网格，我们开发了将NIMBLE [^23]网格拟合到MANO [^40]网格的算法。 ##### B. 拟合算法 ![Image](images/e3fe26aa26f6d59e5481068ee1799ae08decf454e59f64a13cb32336ab4ca288.jpg)

Figure 1. Finger-level occlusion annotation preparation.

我们发现直接优化所有参数会导致较差的拟合结果，因此将拟合过程分为两个阶段。在粗略阶段，我们优化旋转参数$r \in \mathbb{R}^3$和平移参数$t \in \mathbb{R}^3$。训练损失由3D关节损失和顶点损失组成： $$ \begin{array}{r}{L=L_{j o i n t}+\lambda_{v e r t}L_{v e r t},}\end{array} $$ 其中$\lambda_{vert}$被设为0.1。我们对r和t均采用$1e0$的学习率。粗略阶段的训练轮数为2，每轮迭代3,000次。在精细阶段，我们同时优化姿态$\theta \in \mathbb{R}^{30}$、形状$\beta \in \mathbb{R}^{20}$、旋转r和平移t参数。训练损失由顶点损失以及姿态和形状参数的正则化损失组成： $$ \boldsymbol{L}=L_{v e r t}+\lambda_{p o s e}L_{p o s e}+\lambda_{s h a p e}L_{s h a p e}, $$ 其中$\lambda_{pose}$和$\lambda_{shape}$被设为50。我们对$1e^{-3}$和$\theta$采用$\beta$的学习率，对r和t采用$1e^{-2}$的学习率。精细阶段的训练轮数为4，每轮迭代3,000次。所有学习率每1,000次迭代便除以10。此外，为防止模型收敛到局部最小值，每轮训练开始时学习率会重置为初始值。 #### C. 渲染细节在本节中，我们详细介绍了用于渲染的相机设置。为确保分析结果不受其他影响因素的干扰，我们的相机视角与所对比的真实数据集保持一致。我们通过以下方式计算用于渲染每张合成图像 i 的相机焦距 $f^{i}$： $$ f^{i}=f_{x}^{i}*\frac{W_{sensor}}{W_{image}}, $$ 其中，$f_{x}^{i}$ 源自给定的相机内参矩阵 $K^{i}$，$W_{sensor}$ 代表传感器宽度，其值为 36 毫米，而 $W_{image}$ 表示渲染图像的像素宽度，该值可为 224 或 256。利用我们的渲染代码也能实现多视图设置。 ---

Encoder
Linear(512)	ReLU
Linear(512)	ReLU
Linear(512)	ReLU
Linear(512)

Table A. VAE encoder.

Decoder
Linear(512)	ReLU
Linear(512)	ReLU
Linear(512)	ReLU
Linear(512)	ReLU
Linear(512)	ReLU
Linear(512)

Table B. VAE decoder.

#### D. 遮挡等级划分我们介绍如何利用 [^47] 收集手指级别的遮挡标注。如图 1 所示，我们首先为五根手指和手掌的面与顶点分配不同颜色，然后将手部及顶点渲染到输入图像中。由于 HO3D-v2 [^15] 为每张图像提供了手部掩码，我们便应用该掩码来移除被物体遮挡的渲染手部区域。借助经过掩码处理的渲染手部及顶点，我们可以对比每个顶点的颜色与对应的手指颜色，从而计算出被遮挡的顶点数量。此处我们将被遮挡顶点的阈值设为 40，以此判定手指是否可被视作被遮挡。借助这些遮挡标注，我们就能将验证集划分为不同的遮挡等级，进而开展跨数据集验证。 #### E. VAE 架构包含编码器和解码器的 VAE 物体遮挡先验架构由一系列（线性层、ReLU 激活函数）组成（详见表 A 和表 B）。潜变量 z 的维度被设为 64。批量大小设为 128，学习率为 $1e^{-4}$。训练 VAE 物体遮挡先验的总轮数为 160，$\lambda$ 被设为 0.01。在训练阶段，我们使用 KL 散度损失和 3D 关节损失来训练物体遮挡先验，同时会对输入的 3D 姿态应用随机掩码。在优化阶段，我们对预测出的 3D 姿态应用可见性掩码，并利用物体遮挡先验来重建那些被遮挡的关节。可见性掩码是通过与手指级别遮挡标注 [^47] 类似的渲染比对方法获得的。 #### F. 手部骨骼拓扑差异 NIMBLE 与 MANO 之间的手部骨骼拓扑差异如图 2 所示。不同的手部骨骼拓扑可能具有不同的关节绑定定义，这种差异可能会给合成数据到真实数据的适配过程引入偏差。 ##### G. NIMBLE 与 MANO 对比我们分别在NIMBLE和MANO模型中渲染了1万张合成图像。我们保留了其他影响因素 ![Image](images/fecbbc40e8538ddd33e615b5e3b01b3e01413276eb13d1148e7e9c00680e9184.jpg)

Figure 2. Hand skeleton topology difference between NIMBLE template and MANO template. The green dot denotes the NIMBLE joints and the red dot denotes the MANO joints.

保持一致，比如姿态和背景多样性。MANO纹理贴图是从RenderIH收集的 [^22]。如表C所示，使用NIMBLE在所有指标上的表现都优于MANO。这表明，在图像合成中采用更精细的手部网格模板，对于缩小合成数据与真实数据之间的差距是有益的。

Table C. Comparison of S $^{2}$HAND trained with 10k synthetic images in MANO and NIMBLE template and tested on FreiHAND

Template	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	MPJPE $\downarrow$	MPVPE $\downarrow$
MANO	1.29	1.31	3.79	3.95
NIMBLE	1.24	1.26	2.95	3.06

#### H. 合成数据到真实数据的适配我们探讨了针对 FreiHAND 和 Dex-YCB 任务时，使用全部合成数据进行预训练的优势。如图 3 所示，通过利用我们的合成数据进行预训练，即便仅用少量真实数据微调，模型也能取得良好的性能。此外，在实际应用场景中，合成数据同样具有实用价值。如表D所示，将真实数据集与我们的全部合成数据相结合，能在MOW任务上取得更好的性能。图4展示了定性的比较结果。

Table D. Cross-dataset evaluation of S $^{2}$HAND on in-the-wild dataset MOW.

Train sets	PA-MPJPE $\downarrow$	Train sets	PA-MPJPE $\downarrow$
FreiHAND	1.47	Dex-YCB	1.24
+ SynFrei	1.38	+ SynDex	1.18
+ Total Syn Data	1.19	+ Total Syn Data	1.15

#### I. Procrustes对齐前的组件影响在本节中，我们将展示各组件在Procrustes对齐前对各项指标的最终预测所产生的影响。 --- ![Image](images/a8572fbe9318ff302a45b792759bdea4a520872ef36cf29b8143ccafeb1e4229.jpg) ![Image](images/790dd15c2a7f404f04c1551a291bba5a2bb55a01cf26b54e662b0d316d0fd824.jpg)

Figure 3. Comparison of training with real data only and pretraining with total synthetic data followed by fine-tuning on real data (Syn2Real).

![Image](images/1d56082484d74c0139754f886d3d7ac36307e33b496bfa5a5bdeb441438e9f8c.jpg)

Figure 4. Qualitative comparison on MOW.

Table E. Before vs. after Procrustes Alignment on FreiHAND test set across different factors. ✗ refers to assigning RGB values to the arm and object mask positions.

Arm	Amp Aug	Object	PA-MPJPE $\downarrow$	MPJPE $\downarrow$
✓	✓	✓	1.02	1.99
	✓	✓	1.07 -0.05 (-5%)	2.22 -0.23 (-12%)
✓		✓	1.11 -0.09 (-9%)	2.42 -0.43 (-22%)
✓	✓		1.07 -0.05 (-5%)	2.13 -0.14 (-7%)
✗	✓	✗	1.04 -0.02 (-2%)	2.07 -0.08 (-4%)

（MPJPE）。如表E所示，添加不同组件对MPJPE的影响要大于对PA-MPJPE的影响。例如，手臂组件带来的MPJPE提升幅度要大于PA-MPJPE（12%对比5%）。这证实了手臂对于定位手腕位置和全局旋转至关重要。此外，振幅谱增强对于缩小合成数据与真实数据间的差距起着关键作用；训练过程中若移除该组件，MPJPE性能会下降22%。 ![Image](images/2b4e65f8d11d5772e561842a1516afe4f6b8d4219430a7d1ca6db2ffef086da3.jpg)

"The person is holding the dog's collar with both hands."

Figure 5. Synthetic hand data generated by text-to-image generative models with the hand mesh image control and text prompt.

#### J. 与生成模型生成的数据对比我们运行ControlNet [^53]和Attention-Hand [^38]的官方代码，利用网格图像和文本提示来生成合成手部数据。由于AttentionHand目前尚未开源其预训练权重，我们只能从头开始训练。我们还以手部网格图像和文本提示为条件，训练了ControlNet模型。我们遵循AttentionHand的做法，选用MSCOCO [^29]作为训练集。如图5所示，虽然生成的手部图像背景逼真，但手部与给定的网格提示并不匹配。尽管生成模型在数据合成领域潜力巨大，但仍需进一步研究如何高效生成大规模、逼真且可靠的合成数据。 #### K. 额外可视化结果图6和图7展示了一些合成手部图像，以及带有手臂和交互物体的合成手部图像示例。 --- ![Image](images/cc42a2c4e58d932052c0f99f0cb880eadbaf710d6fff07f72bba0a9847b33c03.jpg)

Figure 6. Synthetic hand image samples in our dataset.

![Image](images/2c2d75fb0becb864e5030f9c2faaab49eb3b75bde3520dc892fcc23c4931bdca.jpg)

Figure 7. Synthetic hand images with arms or interacting objects.