# AnyHand：用于RGB(-D)手部姿态估计的大规模合成数据集陈思$^{1*}$ 刘宇林$^{1*}$ 艾波$^{1}$ 谢建文$^{2}$ 罗兰多斯·亚历山德罗斯·波塔米亚斯$^{3}$ 郑传霞$^{4}$ 苏浩$^{1}$ $^{1}$加州大学圣地亚哥分校$^{2}$Lambda公司 $^{3}$帝国理工学院$^{4}$南洋理工大学 ## 摘要我们提出了AnyHand，这是一个旨在推动3D手部姿态估计技术发展的大规模合成数据集。尽管近期基于基础模型的研究表明，扩大训练数据的规模能显著提升手部姿态估计性能，但现有的真实世界数据集在覆盖范围上存在局限，且以往的合成数据集很少能同时大规模提供遮挡情况、手臂细节以及对齐的深度信息。为解决这一瓶颈，我们推出的AnyHand包含250万张单手RGB-D图像和410万张手-物体交互RGB-D图像，并配有丰富的几何标注。实验表明，即便保持原有架构和训练方案不变，将AnyHand纳入现有RGB基线模型的原始训练数据配方中，也能在多个基准测试（FreiHAND和HO-3D）上取得显著性能提升。更令人惊喜的是，由此得到的模型在零样本测试中对域外HO-Cap数据集的泛化能力更强。结合针对训练数据规模与组成的大量消融实验，这些结果说明，训练数据的多样性和质量对于推进手部姿态估计技术的发展而言，与数据规模同样关键。我们在附录中还验证了AnyHand对齐深度图的实用性，结果表明，借助AnyHand扩展RGB-D监督信号后，现有RGB基线模型的一种轻量级深度融合变体，其性能甚至超过了以往的RGB-D方法。 ## 1 引言我们日常与物理世界的互动很大程度上是通过双手在三维空间中完成的，这种能力被广泛视为人类智能的起源。抓取工具、端起咖啡杯或敲击键盘，都是人类双手凭借卓越的精细灵巧性操控各种形状、大小和功能各异物体的例证。让机器具备类似的能力，对于VR/AR [^1] [^44] 和机器人技术 [^11] [^15] [^31] [^43] [^49] [^60] [^75] 而言至关重要，因为在这些领域，要从视觉观测中准确估计手部姿态，是实现与虚拟及物理世界自然交互的前提。在本研究中，我们探讨了3D手部姿态估计问题，即构建能够在不同真实场景下的RGB输入中稳健估计3D手部姿态的模型。近年来，该领域取得了多项进展，其中基于大容量Transformer的流水线能够从单张图像中回归MANO [^59] 等参数化手部表示。HaMeR [^52]、Hamba [^16] 和WiLoR [^55] 等近期成果表明，若在多样化、大规模数据上训练，相对简单的架构也能取得良好性能。然而，实践中要获取用于基础模型训练的此类大规模数据仍颇具挑战。例如，GigaHands [^18] 提供了序列化的手-物体交互标注，但作为真实采集的数据集，其多样性受到采集设置/规模的制约（如观察视角、受试者及物体种类等）。 --- ![Image](images/5553becf3e2edd0bddb7e0fc1e244fbee20c21f059190e047a1c0d3796cf8b77.jpg) ![Image](images/22801575f1f29efaa687a3fd19aaf1ce5db10d75dacfd1eb9ca6cd08e200ab6e.jpg) ![Image](images/8f6d321eb2be08095a945c1f310cd1e3999dd81e91bf0c6618eeaf50282c0989.jpg) ![Image](images/4361d5acbf17a227cfbbc87043aa259cad02662349dd24045a72c7c0c1b15593.jpg) ![Image](images/6ee0b43284085b45d6a0512739176f123659fb823a9858d10f183d16d6ec2ea8.jpg) ![Image](images/7285f5905153a6c61f59999fcc63e9ac5bf56e87a37f4ef8e99b79f1310c1752.jpg)

Quantitative Comparison with Prior Synthetic Hand Datasets

![Image](images/305c9e26e7745fa72e164dc13796d81d8d43fd86250e9dc53df0f5e739f56335.jpg) ![Image](images/20526add900a14279dc3464553025a4e04c52a793c69bd6ec5fe05a7b5ef7b57.jpg) ![Image](images/c1401df41253eb1a48bc16a0be5c39f957815be06095be974dac606a75461fd1.jpg)

Figure 1: We propose AnyHand as a large-scale synthetic RGB-D dataset that substantially expands coverage of hand poses, hand-object interactions, textures, and viewpoint variations. When added to training data for models such as HaMeR [^52] and WiLoR [^55], it yields consistent improvements across multiple benchmarks. Predicted hand meshes on in-the-wild images from WiLoR trained with AnyHand in addition are shown in pink. Bottom-left: Quantitative comparison with representative prior synthetic hand datasets across four axes: dataset size, unique pose count, shape/subject count, and texture count. AnyHand surpasses all prior datasets on every axis by a large margin. Bottomright: t-SNE visualization of hand pose distributions across datasets. AnyHand-Single densely covers the pose distributions of commonly used real and synthetic hand datasets, while also extending to additional low-density and edge-case regions that are less represented in prior data.

由于标注/重建流程存在局限性，尤其是在严重遮挡的情况下，其3D标注中可能会包含噪声。近期出现的一些大规模合成3D语料库，例如Objaverse(-XL) [^14] [^13]，提供了一种实用的替代方案：扩大合成数据的规模能够显著提升各类任务中下游3D模型的性能 [^67] [^63] [^77] [^70] [^64] [^34] [^35] [^68] [^25]。受这种数据扩展范式的启发，我们推出了AnyHand——一个大规模的RGB-D合成数据集，其中包含仅手部场景以及手部与物体交互的场景，这些场景具备逼真的纹理和丰富的标注（见图1）。该数据集提供了有保障的 Ground-Truth 标签，因为合成手部的姿态在生成时便已被“完美标注”，从而避免了真实数据集中常见的标注噪声问题。通过随机化相机视角、背景和光照条件，以及增加手部纹理、肤色和手型方面的受试者级差异，该数据集大幅拓展了视觉多样性，而这些在有限的真实参与者群体中是无法实现的。举个具体的例子，我们在附着手臂的语境中加入了多种逼真的前臂外观，包括裸露的皮肤以及短袖、长袖等衣物，这有助于缓解对干净采集条件的过度拟合问题。为了支持可复现性和未来研究，我们将公开发布完整的数据集、生成流程和模型检查点。随后，我们设计了一种混合训练方案，将我们创建的大规模合成数据集AnyHand与现有数据集相结合，并在多个标准基准测试中验证最先进的模型。无需额外的复杂设计，也就是说，我们使用与HaMeR [^52] 和 WiLoR [^55] 完全相同的架构和训练协议，重新训练的模型便超越了以往所有最先进的方法，这表明扩大训练数据的规模比架构设计更能发挥重要作用。关于数据规模、真实数据与合成数据混合以及流程组件的消融实验进一步表明，合成数据的规模和质量共同促成了这些性能提升。综上所述，我们的主要贡献如下： --- - 我们推出了AnyHand，这是一个大规模的RGB-D合成手部数据集，同时发布了相应的生成流程，该数据集包含具有对齐深度信息和手臂语境的逼真单手及手部与物体交互场景。 • 我们通过在标准基准测试中进行大量实验，展示了合成数据的优势，结果证明在各类具有挑战性的条件下，无论是在领域内精度还是领域外泛化能力方面均有稳定提升。 • 我们针对数据规模、真实数据与合成数据混合以及数据集组件进行了消融分析，为手部姿态估计中有效的合成数据设计提供了实用见解。 ## 2 相关工作 3D手部姿态估计。早期的3D手部姿态估计方法通常依赖基于深度的跟踪技术，利用深度信息中的几何线索以及关节对齐来实现实时恢复 [^56] [^62]。为了摆脱对深度传感器的依赖，Boukhayma等人 [^5] 提出了首个完全可学习的流程，能够从RGB图像中回归出MANO [^59] 参数。后续的基于RGB的方法通过更强的2D监督、细化模块、网格/顶点回归以及网格卷积技术来提升重建效果 [^78] [^2] [^28] [^29]。其他研究则致力于提升模型在遮挡和运动模糊情况下的鲁棒性 [^50] [^48]，或引入运动学和生物力学先验以抑制不合理的姿态 [^61] [^71]。最近，主流趋势是借助Transformer骨干网络来扩大模型容量并增加训练数据量，这一思路借鉴了它们在人体姿态和网格恢复领域的成功经验 [^72] [^36]。HandDiff [^10] 采用了一种基于扩散的框架，通过迭代去噪来生成手部姿态。相比之下，HaMeR [^52] 采用了极简的基座式设计，对ViT骨干网络进行微调 [^72]，使其能从单张RGB图像中直接回归出MANO的姿态、形状和相机参数，该模型在包含$\sim$270万张图像的混合数据集上训练而成。Hamba [^16] 用基于图的Mamba [^19] 骨干网络取代了注意力机制，以捕捉关节间的空间关系。WiLoR [^55] 进一步将训练数据规模扩大到$\sim$420万张RGB图像，并引入了粗到细的细化模块，从而实现了领先的RGB性能。这些研究表明，只要用大规模且多样化的数据进行训练，简单的架构也能取得出色的性能。然而，基于RGB的流程在深度信息上存在不适定性问题，即便2D投影看起来对齐良好，仍会出现全局平移和尺度误差。为了在有深度信息时充分利用几何线索，先前的研究探索了RGB-D框架，这类框架可从深度图或多模态输入（如图像-点云混合数据）中回归姿态 [^39] [^58]。作为近期的一个代表，Keypoint-Fusion [^40] 会在手部关键点周围融合RGB和深度特征，以减少RGB图像的歧义性。不过，由于缺乏大规模且对齐良好的RGB-D数据集，这些方法往往只能在特定基准测试数据集上训练，难以实现跨数据集的泛化。为解决这一问题，我们在合成数据中加入了对齐后的深度信息，使得基于Transformer的模型既能利用几何线索，又能保持数据驱动的泛化能力。 3D手部姿态估计与迁移的合成数据。收集大规模的真实3D手部标注数据十分困难，尤其是涉及手与物体交互的场景，因为手部体积小、具有关节结构且经常被遮挡。对于RGB-D学习而言，这一挑战更为严峻，因为具备对齐良好的深度数据及可靠3D标签的大规模数据集仍然十分稀缺。因此，合成数据提供了一种实用的方式，既能扩展监督数据的规模，又能获得配有完整3D真值的配对RGB-D观测数据。如表1所示，以往的合成手部数据集涵盖了该问题的不同方面，包括对齐后的深度信息 [^80]、手与物体交互 [^24]，以及采用HDR技术实现的更逼真的渲染效果。

Table 1: Comparisons with representative synthetic hand-pose datasets. AnyHand provides the most comprehensive setting among prior work, combining the largest scale with realistic HDR indoor/outdoor backgrounds, diverse dynamic lighting, aligned depth, and arm/object configurations (AnyHand-Single/Interact).

Dataset	Size	Background	Lighting	Depth	Arm	Object
RHD [^80]	44K	static	manual	✓	✗	✗
ObMan [^24]	154K	static	manual	✓	✓	✓
Re:InterHand [^47]	1.5M	HDR - Indoor	dynamic	✗	✗	✗
RenderIH [^32]	1.2M	HDR - Indoor / Outdoor	dynamic	✗	✗	✗
AnyHand-Single (Ours)	2.5M	HDR - Indoor / Outdoor	dynamic	✓	✓	✗
AnyHand-Interact (Ours)	4.1M	HDR - Indoor / Outdoor	dynamic	✓	✓	✓

--- 背景和动态光照[^47] [^32]。然而，现有数据集很少能同时提供尺度信息、逼真的渲染效果、手臂上下文、物体引起的遮挡以及对齐的深度数据。最近对合成数据与真实数据之间差距的分析进一步表明，前臂上下文、交互真实性、遮挡现象以及渲染差异是影响迁移效果的重要因素[^79]。我们在附录D中提供了与以往合成数据集的更详细对比。总体而言，现有数据集很少能将大规模数据、手与物体的遮挡关系、手臂上下文、逼真的渲染差异以及带有丰富3D标注的RGB对齐深度线索结合起来。这一缺口促使我们开发一种合成数据源，它既能补充真实的RGB训练数据，又能支持基于深度的扩展应用。 ## 3 AnyHand数据集鉴于对可扩展RGB-D标注的需求，我们提出了AnyHand——一个大规模合成数据集，旨在补充现有的真实世界数据，并支持仅基于RGB的模型以及RGB-D模型的训练，其设计遵循两大原则。首先，数据在姿态、形状、外观、视角及交互模式上应具有多样性，以支撑大容量模型的训练；其次，数据应具备几何一致性：我们提供了从渲染和模拟流程中获得的深度线索以及精确的手部标注。具体来说，AnyHand包含两个互补的分支：包含250万个RGB-D样本的AnyHand-Single，适用于各类单手场景；以及包含410万个RGB-D样本的AnyHand-Interact，专注于带有物体遮挡的手与物体交互场景。详细的数据集统计信息见附录C。 ### 3.1 数据集构建手部形状。为了覆盖广泛的手部形状，同时避免不真实的几何结构，我们从FreiHAND $\beta$和InterHand2.6M [^81]的经验分布中采样了47,438组MANO形状参数[^46]。这两个数据集均包含大量受试者级别的多样性样本，能够很好地反映人群中手部形状的真实分布。手部姿态。要保证手部姿态的真实性，就必须使其符合合理的关节活动范围。我们并未采用简单的启发式方法采样姿态，而是利用了DPoser-Hand [^42]——这是一种基于多个大型真实数据集（如FreiHAND [^81]、HO-3D [^20]、DexYCB [^7]、H2O [^30]以及Re:InterHand [^47]）训练得到的手部姿态模型。这种扩散先验模型的优势在于它能够捕捉真实数据中存在的多种姿态分布，从而让我们在生成多样化姿态的同时，避免产生那些源于简单采样的不自然关节活动。在数据集生成过程中，手部姿态会实时从该先验模型中采样。 ![Image](images/48b8ce34c509ccb10d794af9e6c8b91aa9d261283145c4b00a95d54286615e35.jpg)

Figure 2: Qualitative visualizations of controllable variations. We show representative samples from our generator by varying one factor at a time: skin tones, single-hand poses from DPoser-Hand [^42], hand textures from Handy [^54], and forearm appearance from SMPLitex [^6]. These examples demonstrate the diversity of appearance and context that we leverage in AnyHand.

--- 手部纹理。以往合成数据集的一个主要局限是缺乏高保真度的手部纹理，而这类纹理对于缩小仿真与真实之间的差距至关重要。为解决这一问题，我们采用了手部纹理生成器Handy [^54]来生成多种多样的逼真高频皮肤图案，这相比传统的MANO纹理空间，显著提升了渲染出的褶皱和阴影过渡的视觉真实感。具体而言，我们以Handy作为手部纹理的主要来源，再通过控制色彩变换（如色相和饱和度扰动）来拓展肤色分布范围，同时保留高频纹理结构。最终得到了10,240种独特的手部外观纹理，这一数量远远超过了以往研究中使用的有限手工制作纹理库[^80] [^24] [^47] [^32]。前臂纹理。为了在手与前臂连接处保持逼真的外观连续性，我们在数据集生成过程中会附加一个完整的SMPL-H手臂网格[^41] [^51] [^59]。我们使用SMPLitex[^6]为手臂贴图，该工具提供了254种高质量的人体纹理以实现逼真的渲染效果。这能为可见的前臂区域带来多样且自然的皮肤外观。背景。为了实现环境的多样化，我们采用了两种高分辨率背景来源：MIT室内场景数据集[^57]（包含536张图像）以及来自Poly Haven（原HDRI Haven）的734张HDRI环境贴图[^53]。对于每张渲染的手部样本，我们会随机选取一种背景，对其进行旋转、缩放处理，再按随机大小和位置裁剪成一块补丁，随后将其用作该样本特定的背景。即便多次选用同一张源图像或HDRI贴图，也能确保不同样本的背景外观存在差异。光照。为保证前景与背景的一致性，我们会随机调整少量场景光源，并将其颜色统计特征与背景补丁相关联，从而使渲染出的手部能呈现出场景的主导照明色调（例如温暖的室内钨丝灯光或较冷的日光）。对于HDRI环境贴图，我们直接利用其中的环境光照来获得协调的场景光线。摄像机。为确保视角的多样性，我们根据HO-3D[^20]和DexYCB[^7]等真实数据集的校准统计数据，在合理范围内随机调整摄像机的内外参数。其中，包括焦距和视野在内的内参会被采样，以模拟真实采集设备的相关设置；在外参方面，我们将摄像机到手部的距离控制在0.6-0.8米的合理范围内，同时让摄像机视角在手周围的全3D观测球面上随机分布，这样既能从各种可能的方向观察手部，又能保证手部始终处于画面中心，避免出现严重的截断现象。 AnyHand-Single数据集的渲染。准备好上述组件后，我们会将它们整合到一个统一的渲染与合成流程中。我们在SAPIEN[^69]中渲染所有场景，利用其光线追踪渲染器来更好地呈现逼真的阴影、投影及镜面反射效果。对于每个样本，我们首先绘制出形态和姿势合理的MANO模型，再为其贴上漫反射手部纹理。

Environment Map Background

![Image](images/afff5aed8a64b4b77cec5696f0e1578273fd20e26f230fcd6ca3caf8f00ee021.jpg)

Indoor Scenes Background

Environment Map Background

![Image](images/e165cd8b7bb882aa620413bb2696392ea6b7b998e1f0dc965f1d87d86a854c65.jpg) ![Image](images/5b243f123d2da5ec01c4f44d23e53d6d5ee2211e4739390a307d13447321d3c0.jpg)

Indoor Scenes Background

![Image](images/4786bc901d57f035e6c51200898e05ae60d82098f23c3265493c339f7acd66b6.jpg)

Figure 3: Qualitative visualizations. Examples of AnyHand-Single (left) and AnyHand-Interact (right), with both HDR environment-map backgrounds (top) and real indoor scenes (bottom). In addition to diverse hand/arm appearance and poses, we have additional diversity on the interacted objects and grasp configurations, producing a wide range of object-induced hand occlusions and self-occlusions under varying perspectives.

--- 通过可选的颜色扰动处理，得到带纹理的3D手部网格。接着，我们在3D空间中将带纹理的前臂部分与手部拼接在一起，这样就能在手与前臂连接处保持一致的几何形状和外观，避免2D合成中常见的边界瑕疵。具体来说，我们从参数化人体模型（SMPL/SMPL+H系列[^41] [^51] [^59]）中提取手臂网格，将其对齐到MANO腕部坐标系，再用SMPLitex[^6]为其贴图。最后，我们利用上述摄像机随机化技术，在考虑背景光照的情况下渲染前景的手臂部分。对于每个场景，我们会从两个独立采样的摄像机视角渲染两张图像，这样既能提升模拟器的效率，又能增加透视多样性。为了进一步丰富渲染数据，我们将渲染出的前景图像合成到随机裁剪的高分辨率背景补丁上，并搭配HDR环境光照；同时通过将场景光线颜色统计特征与所选背景补丁相关联，来保证前景与背景的一致性。对齐的深度图。我们也为所有合成样本提供了对齐的深度图。为此，我们首先利用SAPIEN为手和前臂渲染精确的度量深度图。对于背景区域，我们使用MoGe-2 [^66] 来估算密集的度量深度图。随后，我们在相机空间中直接融合前景和背景深度，从而得到用于最终合成图像的密集深度图。虽然由于渲染的前景与背景在相机内参上的差异，以及背景深度估算中的噪声，这并非“完美”的基准真实深度图，但它为训练和评估提供了有用的近似值。此外，我们还存储了前景掩码，以便模型可以选择性地将损失计算或深度使用限制在有效的手/臂区域。渲染AnyHand-Interact数据集。为了大规模建模现实场景中受遮挡的手部，我们渲染了该数据集的另一个分支——AnyHand-Interact，具体是通过渲染GraspXL [^76] 中的抓取行为来实现的。GraspXL基于物理模拟，提供了超过1000万条手-物体交互序列，涉及来自Objaverse [^14] 的50多万个具有真实纹理的物体，这些物体涵盖了多种类别和表面外观，且抓取方式符合接触一致性，遮挡模式也自然逼真。因此，我们直接使用完整的GraspXL语料库，并沿用其相关的物体集。渲染流程与单手分支的策略一致，但现在加入了手与被操纵物体之间的真实相互遮挡效果。 ### 3.2 数据集统计信息总体而言，AnyHand包含AnyHand-Single（125万个场景，250万张图像）和AnyHand-Interact（205万个场景，410万张图像），它们是利用47,438种手部形状、10,240种手部纹理、254种手臂纹理、1,270个背景以及来自Objaverse [^14] 的50多万个物体渲染而成的。需要注意的是，对于所有渲染样本，我们都保存了RGB图像、深度图、前景掩码、2D边界框，以及相机内参和外参。我们还直接提供了源自模拟的精确3D手部姿态和形状参数，可用于监督训练或评估。更多实现细节可参见附录C.1。 ## 4 在仅RGB设置下评估AnyHand数据集 ### 4.1 实验评估设置。为了评估AnyHand的质量及其在改进基础模型式手部网格重建方面的有效性，我们研究了两个具有代表性的框架：在270万张图像上训练的HaMeR [^52]，以及在420万张图像上训练的WiLoR [^55]。对于这两个框架，我们都在保持模型架构和训练超参数不变的情况下，将AnyHand补充到它们原有的训练语料库中。为了将数据集设计与单纯添加合成数据区分开来，我们还使用RenderIH [^32] 来训练HaMeR。RenderIH是一个具有代表性的大规模合成手部数据集，包含120万张带有HDR背景和动态光照的图像，我们采用相同的混合训练协议进行训练。每个训练批次都是根据预定义的权重从不同数据集中采样构建的。我们为新增的合成数据集分配了0.4的权重，同时将原有数据集的权重缩放为0.6，从而在保留原始数据分布的同时引入大量的合成监督信息。关于混合训练方案的详细信息可参见附录A.1。所有实验均在8块NVIDIA H100 GPU上运行，训练时间为5至7天直至收敛。计算相关细节可参见附录E。指标。遵循HaMeR[^52]和WiLoR[^55]原始论文中的协议，我们报告了经过Procrustes对齐的关节与顶点平均误差（PA-MPJPE、PA-MPVPE），以及在5毫米和15毫米阈值下的顶点F分数（F@5、F@15）[^81] [^27]。对于HO-3D[^20]数据集，我们还报告了$AUC_j$和$AUC_v$，它们分别定义为关节与顶点误差阈值范围内PCK曲线下的面积。 ---

Table 2: Comparison with the state-of-the-art on the FreiHAND benchmark [^81]. Top results are emphasized in top1, top2, and top3. Notably, augmented training with AnyHand yields a 7.6% PA-MPJPE improvement for HaMeR and a 1.9% improvement for WiLoR. A full comparison with more prior works can be found in Appx. in Tab. 6.

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	F@5mm $\uparrow$	F@15mm $\uparrow$
AMVUR [^26]CVPR23	6.2	6.1	0.767	0.987
HaMeR [^52]CVPR24	6.0	5.7	0.785	0.990
Hamba [^16]NeurIPS24	5.7	5.3	0.806	0.992
WiLoR [^55]CVPR25	5.5	5.1	0.825	0.993
HaMeR w/ RenderIH	5.857	5.486	0.797	0.992
HaMeR w/ AnyHand (Ours)	5.545	5.246	0.811	0.993
WiLoR w/ AnyHand (Ours)	5.394	5.046	0.827	0.994

Table 3: Comparison with the state-of-the-art on the HO-3D v2 benchmark [^20]. Top results are emphasized in top1, top2, and top3. Using AnyHand reduces PA-MPJPE by 3.0% for HaMeR and by 1.9% for WiLoR. A full comparison of more prior works can be found in Appx. Tab. 7.

Method	AUC $_j$ $\uparrow$	PA-MPJPE $\downarrow$	AUC $_v$ $\uparrow$	PA-MPVPE $\downarrow$	F@5 $\uparrow$	F@15 $\uparrow$
AMVUR [^26]	0.835	8.3	0.836	8.2	0.608	0.965
HaMeR [^52]	0.846	7.7	0.841	7.9	0.635	0.980
Hamba [^16]	0.850	7.5	0.843	7.7	0.648	0.982
WiLoR [^55]	0.851	7.5	0.846	7.7	0.646	0.983
HaMeR w/ RenderIH	0.846	7.685	0.842	7.902	0.634	0.982
HaMeR w/ AnyHand (Ours)	0.851	7.471	0.847	7.676	0.645	0.984
WiLoR w/ AnyHand (Ours)	0.853	7.355	0.848	7.624	0.649	0.984

### 4.2 实验结果域内结果。我们在常用的FreiHAND[^81]和HO-3D v2[^20]基准测试集上进行域内评估。如表2和表3所示，加入AnyHand后，HaMeR和WiLoR在所有指标上的表现均得到持续提升，这证明了我们的合成数据在提升基于RGB的手部姿态估计性能方面的有效性。在FreiHAND数据集上，搭载AnyHand的WiLoR取得了最佳结果，而合成数据增强对HaMeR的效果更为显著：PA-MPJPE从6.0毫米降至5.54毫米，PA-MPVPE从5.7毫米降至5.24毫米，使HaMeR的性能达到了顶尖方法的水平，且无需对网络架构做任何修改。在侧重手物交互的HO-3D v2数据集上，这一趋势同样存在。搭载AnyHand的WiLoR取得了最佳综合结果，而HaMeR也有显著提升，搭载AnyHand的HaMeR的PA-MPJPE从7.7毫米降至7.47毫米。相比之下，按照相同协议使用RenderIH[^32]进行训练时，在两个基准测试集上的改进幅度更小，这凸显了AnyHand的质量与有效性。附录图6中的定性示例进一步表明，使用AnyHand训练有助于减少复杂姿态和遮挡关节处的误差，而这些正是基于RGB的方法常见的失效模式。更多可视化结果见附录A.2。域外结果。为了评估模型的域外泛化能力，我们直接在未经过微调的HO-Cap[^65]基准测试集上评估其性能，该数据集的图像全部来自未见过的来源，存在明显的域偏移。如表4所示，用AnyHand的合成数据增强训练数据后，WiLoR和HaMeR的性能均有所提升，且排名也发生了明显变化：搭载AnyHand的HaMeR的PA-MPJPE达到4.66毫米，略优于PA-MPJPE为4.69毫米的搭载AnyHand的WiLoR。这一点尤为值得注意，因为在原始训练设置下，HaMeR在HO-Cap上的整体性能弱于WiLoR。这一事实说明，两种架构之间的性能差距并非固定不变，而是会受到训练数据分布的影响。分析。从这些实验中可以得出两个关键结论。首先，在原始训练数据集中加入AnyHand的合成数据后，两个具有代表性的基于ViT的基线模型（HaMeR和WiLoR）的性能均得到稳定提升，这表明这种增益并非局限于某一种模型框架。 ---

Table 4: Comparison with HaMeR [^52] and WiLoR [^55] on the HO-Cap benchmark [^65] as an in-the-wild case. Better results are bolded.

Method	AUC $_j$ $\uparrow$	PA-MPJPE $\downarrow$	F@5mm $\uparrow$	F@15mm $\uparrow$
HaMeR [^52]	0.901	4.94	0.621	0.984
WiLoR [^55]	0.899	5.02	0.615	0.981
HaMeR w/ AnyHand (Ours)	0.907	4.66	0.662	0.985
WiLoR w/ AnyHand (Ours)	0.906	4.69	0.652	0.987

设计层面来看，HaMeR上更显著的性能提升与其较小的训练数据集规模相符，而WiLoR由于经过了额外优化且训练数据量更大，提升空间相对有限。此外，在HO-Cap数据集上，加入AnyHand所带来的性能提升幅度远大于不同架构间的差异，这说明训练数据带来的改进效果可以超越架构差异本身。总体而言，这些发现支持了我们的观点：提升训练数据的质量、数量和多样性，比单纯迭代优化架构更为有效。 ### 4.3 关于AnyHand的消融实验我们在图4和表5中评估了AnyHand在领域内和领域外任务上的性能。我们保持HaMeR [^52]架构及训练协议不变，仅改变数据配置。在训练中引入AnyHand对模型规模的影响。图4通过改变合成数据的数量而保持真实数据比例不变，研究了合成数据规模扩展的效果。结果表明，为HaMeR补充AnyHand后，在所有基准测试中的性能均显著优于无合成数据的基线模型。在领域内基准测试（FreiHAND和HO-3D v2）中，小型数据集（FreiHAND上为$\frac{1}{3}$，HO-3D上为$\frac{2}{3}$）便已能带来主要性能提升，而将其扩充至全尺寸仅能带来有限的改进。然而，在领域外的HO-Cap基准测试中，随着合成数据量的增加，性能提升更为明显，这表明扩大合成数据规模可能特别有助于增强模型对领域偏移的鲁棒性。这很可能是因为更大的合成数据集涵盖了更广泛的姿态、形状、纹理和背景，更能匹配未见过的真实场景的多样性。这为未来开展大规模合成数据生成研究提供了强有力的依据。虚实混合训练方案。上述规模扩展实验表明添加AnyHand能够提升性能，但并未回答合成数据与真实数据应如何混合的问题。为探究这一问题，我们将总训练集规模固定为270万样本，与HaMeR最初的训练预算保持一致，并改变AnyHand所占的比例。例如，当AnyHand占270万数据的25%时，剩余的75%样本则取自HaMeR原有的训练语料库，并按比例缩减。所有模型均训练相同步数以便进行可控对比。如图5所示，仅使用AnyHand并不足以取得最佳效果：100%使用AnyHand的设置性能反而低于混合设置，甚至不如HaMeR原有的训练方案。这证实了AnyHand最适合作为补充性监督信息，而非完全替代真实训练数据。相比之下，所有混合设置均优于0%基线的性能，说明在相同的训练预算下，AnyHand始终能为HaMeR带来益处。值得注意的是，50%和75%的混合比例在各类基准测试中均表现出强劲的性能，甚至在多个案例中超越了WiLoR参考模型。 ![Image](images/fc3c459d3e3edbfe37a9247d158e8ee8f9e936cf315dffb12d112885b39ef0e0.jpg)

Figure 4: Scaling HaMeR training with AnyHand in addition. We retrain HaMeR [^52] while keeping its original real-data training set fixed, and vary the number of additional AnyHand samples used. We report PA-MPJPE and PA-MPVPE on FreiHAND [^81], HO-3D v2 [^20], and HO-Cap [^65]. Adding AnyHand in training consistently reduces error, with gains saturating beyond $\sim$2–4M samples.

--- ![Image](images/d0a056fb12654b213395933c255ca907af334b00fa24f249d9e305f1e06c7e03.jpg)

Figure 5: Effect of the training-data mixing ratio. HaMeR is trained with a fixed budget of 2.7M samples, matching its original data recipe, while varying the proportion of AnyHand. The remaining samples are drawn from HaMeR's original training corpus and scaled down proportionally. The dashed line indicates WiLoR's original result as a comparison. The results provide a rough estimate of the impact of different mixture ratios under a fixed training budget.

Table 5: Ablations on AnyHand components on the FreiHAND [^81] benchmark. In each experiment, the HaMeR [^52] model is trained with different data configurations while other settings are identical. Here “w/ interpolated pose” means using interpolated poses from real datasets instead of diffusing from the default DPoser-Hand [^42].

HaMeR [^52] Variant	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	F@5mm $\uparrow$	F@15mm $\uparrow$
HaMeR [^52]	6.000	5.700	0.7850	0.9900
w/ AnyHand	5.545	5.246	0.8110	0.9930
w/ AnyHand-Interact	5.850	5.525	0.7940	0.9919
w/ AnyHand-Single	5.626	5.286	0.8109	0.9930
w/o realistic arm textures	5.686	5.312	0.8096	0.9926
w/ interpolated poses	5.707	5.335	0.8056	0.9926

尽管使用的是更简单的HaMeR架构且训练数据更少，但这仍表明将大量合成数据与真实数据混合是提升手部姿态估计性能的有效策略。其他变体的消融实验。如表5所总结，我们进一步对AnyHand的关键设计选择进行了消融分析。首先，若去掉Single分支或Interact分支，性能都会下降，这说明当目标基准测试包含单手及手物交互两种情况时，同时用单手样本和交互样本进行训练能取得最佳整体效果。其次，去除手臂纹理会对性能造成轻微负面影响，这表明逼真的手臂外观（不仅限于几何特征）能提供有用的上下文线索，从而提升模型的泛化能力。最后，若用从真实数据插值得到的姿态替换基于扩散模型的姿态合成方法，性能会持续下降，这说明在该混合训练方案中，扩散模型能提供更有效的姿态多样性。摘要。这些消融实验共同表明，AnyHand带来的性能提升并非仅仅源于训练数据的增加。域内合成数据的扩展呈现出收益递减的现象，但仍能改善域外性能。混合实验表明，合成数据能够补充而非替代真实数据。此外，组件消融实验也证明特定的设计选择对性能有贡献。总体而言，这些发现表明数据质量和数量共同促成了第4.2节中所述的性能提升。 ## 5 结论我们提出了AnyHand——一个包含丰富标注的多样化手部场景的大规模合成数据集。通过将AnyHand融入最先进的手部姿态估计模型的原始训练集，我们在多个基准测试中均观察到了稳定的性能提升，从而验证了这种合成数据在优化基于RGB的方法时的有效性。我们还提出了一种新颖的RGB-D架构，该架构集成了轻量级的深度融合模块，实验表明其在手部姿态估计任务上的表现优于以往的RGB-D方法。总体而言，我们的研究为推进手部姿态估计开辟了一条极具前景的道路：通过提升训练数据的质量、多样性和模态覆盖范围，而非仅仅专注于架构创新。 --- ## 参考文献 [^1]: Apple. Apple Vision Pro. , 2024. Accessed: 2026-03-03. [^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In CVPR, pages 1067–1076, 2019. [^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv preprint arXiv:2406.09598, 2024. [^4]: Michael J Black, Priyanka Patel, Joachim Tesch, and Jinlong Yang. Bedlam: A synthetic dataset of bodies exhibiting detailed lifelike animated motion. In CVPR, pages 8726–8737, 2023. [^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019. [^6]: Dan Casas and Marc Comino-Trinidad. SMPLitex: A Generative Model and Dataset for 3D Human Texture Estimation from Single Image. In BMVC, 2023. [^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021. [^8]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In ICCV, pages 12929–12938, 2021. [^9]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, pages 20544–20554, 2022. [^10]: Wencan Cheng, Hao Tang, Luc Van Gool, and Jong Hwan Ko. Handdiff: 3d hand pose estimation with diffusion on image-point cloud. In CVPR, pages 2274–2284, 2024. [^11]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: Teleoperation with immersive active visual feedback. In CoRL, 2024. [^12]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision, pages 769–787. Springer, 2020. [^13]: Matt Deitke, Ruoshi Liu, Matthew Wallingford, Huong Ngo, Oscar Michel, Aditya Kusupati, Alan Fan, Christian Laforte, Vikram Voleti, Samir Yitzhak Gadre, et al. Objaverse-xl: A universe of 10m+ 3d objects. NeurIPS, 36:35799–35813, 2023. [^14]: Matt Deitke, Dustin Schwenk, Jordi Salvador, Luca Weihs, Oscar Michel, Eli VanderBilt, Ludwig Schmidt, Kiana Ehsani, Aniruddha Kembhavi, and Ali Farhadi. Objaverse: A universe of annotated 3d objects. In CVPR, pages 13142–13153, 2023. [^15]: Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, and Xiaolong Wang. Bunny-visionpro: Real-time bimanual dexterous teleoperation for imitation learning. In IROS, pages 12248–12255. IEEE, 2025. [^16]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. NeurIPS, 37:2127–2160, 2024. ## [^17]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In CVPR, pages 12943–12954, 2023 --- [^18]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, and Srinath Sridhar. Gigahands: A massive annotated dataset of bimanual hand activities. In CVPR, pages 17461–17474, 2025. [^19]: Albert Gu and Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. In COLM, 2024. [^20]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, pages 3196–3206, 2020. [^21]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, pages 3196–3206, 2020. [^22]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, pages 11090–11100, 2022. [^23]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019. [^24]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019. [^25]: Zeren Jiang, Chuanxia Zheng, Iro Laina, Diane Larlus, and Andrea Vedaldi. Mesh4d: 4d mesh reconstruction and tracking from monocular video. In CVPR, 2026. [^26]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, pages 758–767, 2023. [^27]: Arno Knapitsch, Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM Transactions on Graphics (ToG), 36(4):1–13, 2017. [^28]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael Bronstein, and Stefanos Zafeiriou. Single image 3d hand reconstruction with mesh convolutions. arXiv preprint arXiv:1905.01326, 2019. [^29]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, pages 4990–5000, 2020. [^30]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, pages 10138–10148, 2021. [^31]: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, and Siyuan Huang. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In CVPR, pages 6991–7003, 2025. [^32]: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen. Renderih: A large-scale synthetic dataset for 3d interacting hand pose estimation. In ICCV, pages 20395–20405, 2023. [^33]: Lijun Li, Li'an Zhuo, Bang Zhang, Liefeng Bo, and Chen Chen. Diffhand: End-to-end hand mesh reconstruction via diffusion models. arXiv preprint arXiv:2305.13705, 2023. [^34]: Ruining Li, Chuanxia Zheng, Christian Rupprecht, and Andrea Vedaldi. Puppet-master: Scaling interactive video generation as a motion prior for part-level dynamics. In ICCV, 2025. ## [^35]: Ruining Li, Chuanxia Zheng, Christian Rupprecht, and Andrea Vedaldi. Dso: Aligning 3d generators with simulation feedback for physical soundness. In ICCV, 2025 --- [^36]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, 2021. [^37]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, pages 12939–12948, 2021. [^38]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, pages 14687–14697, 2021. [^39]: Xingyu Liu, Pengfei Ren, Yuchen Chen, Cong Liu, Jing Wang, Haifeng Sun, Qi Qi, and Jingyu Wang. Sa-fusion: multimodal fusion approach for web-based human-computer interaction in the wild. In Proceedings of the ACM Web Conference 2023, pages 3883–3891, 2023. [^40]: Xingyu Liu, Pengfei Ren, Yuanyuan Gao, Jingyu Wang, Haifeng Sun, Qi Qi, Zirui Zhuang, and Jianxin Liao. Keypoint fusion for rgb-d based 3d hand pose estimation. In AAAI, volume 38, pages 3756–3764, 2024. [^41]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, October 2015. [^42]: Junzhe Lu, Jing Lin, Hongkun Dou, Ailing Zeng, Yue Deng, Xian Liu, Zhongang Cai, Lei Yang, Yulun Zhang, Haoqian Wang, et al. Dposer-x: Diffusion model as robust 3d whole-body human pose prior. In ICCV, pages 9988–9997, 2025. [^43]: Zhao Mandi, Yifan Hou, Dieter Fox, Yashraj Narang, Ajay Mandlekar, and Shuran Song. Dexmachina: Functional retargeting for bimanual dexterous manipulation. arXiv preprint arXiv:2505.24853, 2025. [^44]: Meta. Meta Quest 3. , 2023. Accessed: 2026-03-03. [^45]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In European Conference on Computer Vision, pages 752–768. Springer, 2020. [^46]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In ECCV, pages 548–564. Springer, 2020. [^47]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3d interacting hands. NeurIPS, 36:17689–17701, 2023. [^48]: Yeonguk Oh, JoonKyu Park, Jaeha Kim, Gyeongsik Moon, and Kyoung Mu Lee. Recovering 3d hand mesh sequence from a single blurry image: A new dataset and temporal unfolding. In CVPR, pages 554–563, 2023. [^49]: Chaoyi Pan, Changhao Wang, Haozhi Qi, Zixi Liu, Homanga Bharadhwaj, Akash Sharma, Tingfan Wu, Guanya Shi, Jitendra Malik, and Francois Hogan. Spider: Scalable physics-informed dexterous retargeting. arXiv preprint arXiv:2511.09484, 2025. [^50]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handdocnet: Occlusion-robust 3d hand mesh estimation network. In CVPR, pages 1496–1505, 2022. [^51]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In CVPR, 2019. ### [^52]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In CVPR, pages 9826–9836, 2024 --- [^53]: Poly Haven. Poly Haven HDRIs. , 2026. Previously known as HDRI Haven. CC0 licensed HDRI environment maps. Accessed: 2026-05-02. [^54]: Rolandos Alexandros Potamias, Stylianos Ploumpis, Stylianos Moschoglou, Vasileios Triantafyllou, and Stefanos Zafeiriou. Handy: Towards a high fidelity 3d hand shape and appearance model. In CVPR, pages 4670–4680, June 2023. [^55]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In CVPR, pages 12242–12254, 2025. [^56]: Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, and Jian Sun. Realtime and robust hand tracking from depth. In CVPR, pages 1106–1113, 2014. [^57]: Ariadna Quattoni and Antonio Torralba. Recognizing indoor scenes. In CVPR, pages 413–420. IEEE, 2009. [^58]: Pengfei Ren, Yuchen Chen, Jiachang Hao, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Two heads are better than one: Image-point cloud network for depth-based 3d hand pose estimation. In AAAI, volume 37, pages 2163–2171, 2023. [^59]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), November 2017. [^60]: Liangzhi Shi, Yulin Liu, Lingqi Zeng, Bo Ai, Zhengdong Hong, and Hao Su. Learning adaptive dexterous grasping from single demonstrations. In IROS, pages 9456–9463. IEEE, 2025. [^61]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In ECCV, pages 211–228. Springer, 2020. [^62]: Andrea Tagliasacchi, Matthias Schröder, Anastasia Tkach, Sofien Bouaziz, Mario Botsch, and Mark Pauly. Robust articulated-icp for real-time hand tracking. In Computer graphics forum, volume 34, pages 101–114. Wiley Online Library, 2015. [^63]: SAM 3D Team, Xingyu Chen, Fu-Jen Chu, Pierre Gleize, Kevin J Liang, Alexander Sax, Hao Tang, Weiyao Wang, Michelle Guo, Thibaut Hardin, Xiang Li, Aohan Lin, Jiawei Liu, Ziqi Ma, Anushka Sagar, Bowen Song, Xiaodong Wang, Jianing Yang, Bowen Zhang, Piotr Dollár, Georgia Gkioxari, Matt Feiszli, and Jitendra Malik. Sam 3d: 3dfy anything in images. 2025. URL . [^64]: Tencent Hunyuan3D Team. Hunyuan3d 2.0: Scaling diffusion models for high resolution textured 3d assets generation, 2025. [^65]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. Ho-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction. arXiv preprint arXiv:2406.06843, 2024. [^66]: Ruicheng Wang, Sicheng Xu, Yue Dong, Yu Deng, Jianfeng Xiang, Zelong Lv, Guangzhong Sun, Xin Tong, and Jiaolong Yang. Moge-2: Accurate monocular geometry with metric scale and sharp details, 2025. URL . [^67]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In CVPR, pages 17868–17879, 2024. [^68]: Tianhao Wu, Chuanxia Zheng, Frank Guan, Andrea Vedaldi, and Tat-Jen Cham. Amodal3r: Amodal 3d reconstruction from occluded 2d images. In ICCV, 2025. ### [^69]: Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, et al. Sapien: A simulated part-based interactive environment. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11097–11107, 2020 --- [^70]: Jianfeng Xiang, Zelong Lv, Sicheng Xu, Yu Deng, Ruicheng Wang, Bowen Zhang, Dong Chen, Xin Tong, and Jiaolong Yang. Structured 3d latents for scalable and versatile 3d generation. In CVPR, June 2025. [^71]: Pengfei Xie, Wenqiang Xu, Tutian Tang, Zhenjun Yu, and Cewu Lu. Ms-mano: Enabling hand pose tracking with biomechanical constraints. In CVPR, pages 2382–2392, 2024. [^72]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. NeurIPS, 35:38571–38584, 2022. [^73]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. [^74]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, pages 2750–2760, 2022. [^15]: Kuihan Yang, Qinxì Yu, Yecheng Wu, Kui Yan, Borui Li, An-Chien Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, et al. Egovla: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440, 2025. [^76]: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, and Jie Song. GraspXL: Generating grasping motions for diverse objects at scale. In ECCV, 2024. [^77]: Longwen Zhang, Ziyu Wang, Qixuan Zhang, Qiwei Qiu, Anqi Pang, Haoran Jiang, Wei Yang, Lan Xu, and Jingyi Yu. Clay: A controllable large-scale generative model for creating high-quality 3d assets. ACM Transactions on Graphics (TOG), 43(4):1–20, 2024. [^78]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, pages 2354–2364, 2019. [^79]: Zhuoran Zhao, Linlin Yang, Pengzhan Sun, Pan Hui, and Angela Yao. Analyzing the synthetic-to-real domain gap in 3d hand pose estimation. In CVPR, pages 12255–12265, 2025. [^80]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, pages 4903–4911, 2017. ### [^81]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, pages 813–822, 2019 --- ### 附录 ## A 在仅RGB设置下对AnyHand的更多评估 ## A.1 训练语料库与合成数据比例我们提供了两种被评估框架所用原始训练语料库的额外细节。HaMeR [^52] 的训练样本量约为272万，其中绝大多数为真实图像，仅有约6.1万份来自RHD [^80] 的合成样本，约占其训练数据的2.3%。WiLoR [^55] 通过纳入ARCTIC [^17]、BEDLAM [^4]、ReInterHand [^47] 和HOT3D [^3] 等额外数据集，将训练语料库规模扩大至约419万样本。不过，合成数据在其训练语料库中仍占比较小，约为18.7%。在用AnyHand增强原始训练语料库后，合成数据的比例大幅提升。对于HaMeR [^52] 而言，加入AnyHand后合成数据比例从约2.3%升至71.5%；对于WiLoR [^55] 而言，该比例从约18.7%升至68.4%。据我们所知，这是首次尝试用如此高比例的合成数据来训练基于Transformer的、具备基础模型特性的手部网格重建模型。因此，这些结果为验证大规模合成RGB-D监督是否能有效提升现代手部姿态估计器性能提供了重要的实证依据。 ### A.2 定性比较 ![Image](images/d4e2012e03745f2c922fe0355d15e1fe80ac8231d4c6ddd9369c4dba69e85361.jpg)

WiLoR w/AnyHand

Figure 6: Qualitative visualizations. WiLoR w/ AnyHand vs. WiLoR on FreiHAND [^81] and AnyHand Test Set. Left to right: input, GT, WiLoR w/ AnyHand, WiLoR. Adding synthetic data improves fine-grained pose estimation, particularly fingertip bending and finger joint angles (as boxed), yielding meshes that better match the image evidence.

图6展示了原始WiLoR与用AnyHand训练的WiLoR在FreiHAND和AnyHand测试样例上的定性比较结果。在手指弯曲、手部姿态奇特以及部分遮挡等复杂场景中，性能提升最为明显。与原始WiLoR相比，搭载AnyHand的WiLoR能更好地匹配指尖和指关节处的图像特征，生成的网格在手指弯曲程度和手部形状上更精准。这些示例支持了 --- ![Image](images/069ac5e16c434c65b99fa9d36e836b78ae497a9214c3a3eab9e2dab9e9039b3a.jpg)

Figure 7: Additional in-the-wild qualitative comparisons. We compare WiLoR trained with AnyHand against the original WiLoR and HaMeR on more real-world images. WiLoR w/AnyHand shows better mesh-to-image alignment, more accurate hand scale and shape recovery, and more faithful articulation for challenging hand-object interactions and viewpoint changes.

我们的定量结果，同时表明AnyHand有助于减少基于RGB的方法常见的错误，比如手指过度平滑、关节角度不准确以及遮挡情况下的对齐偏差等问题。为了进一步说明采用AnyHand训练的模型的定性预测质量，我们在图7中提供了额外的视觉对比。该图包含了七个真实图像示例。 ---

Table 6: Comparison with the state-of-the-art on the FreiHAND benchmark [^81]. Top results are emphasized in top1, top2, and top3. Notably, augmented training with AnyHand yields a 7.6% PA-MPJPE improvement for HaMeR and a 1.9% improvement for WiLoR.

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	F@5mm $\uparrow$	F@15mm $\uparrow$
I2L-MeshNet [^45]	7.4	7.6	0.681	0.973
Pose2Mesh [^12]	7.7	7.8	0.674	0.969
I2UV-HandNet [^8]	6.7	6.9	0.707	0.977
METRO [^36]	6.5	6.3	0.731	0.984
Mesh Graphormer [^37]	5.9	6.0	0.764	0.986
MobRecon [^9]	5.7	5.8	0.784	0.986
AMVUR [^26]CVPR23	6.2	6.1	0.767	0.987
HaMeR [^52]CVPR24	6.0	5.7	0.785	0.990
Hamba [^16]NeurIPS24	5.7	5.3	0.806	0.992
WiLoR [^55]CVPR25	5.5	5.1	0.825	0.993
HaMeR w/ AnyHand	5.545	5.246	0.811	0.993
WiLoR w/ AnyHand	5.394	5.046	0.827	0.994

其中两个样本来自HO-Cap [^65]数据集，两个来自HO-3D评估集 [^20]，还有一个为自然场景下的网络图像。这些示例使我们能够考察模型在标准基准数据和受控程度较低的真实世界图像上的表现。如图7所示，与原始的WiLoR和HaMeR相比，结合AnyHand的WiLoR能更一致地还原合理的手掌宽度、手指厚度以及手部的整体范围。这种提升在手部与物体交互的场景中尤为明显：结合AnyHand的WiLoR能更好地保留细微的动作细节，比如手指弯曲角度、指尖位置以及手部的投影轮廓。总体而言，这些可视化结果表明，使用AnyHand进行训练不仅能提高标准的姿态估计精度，还能在具有挑战性的真实世界场景中生成图像空间对齐度更高、更逼真的网格模型。 ### A.3 FreiHAND上的完整性能表现我们在表6中给出了主论文中表2的完整版本。 ## A.4 HO-3D上的完整性能表现我们在表7中给出了主论文中表3的完整版本。 ## B 在RGB-D场景下对AnyHand的评估 RGB-D架构。与仅使用RGB数据的场景不同，在该场景下我们重点评估AnyHand的影响；RGB-D场景需要调整架构以实现深度信息的融合，如图8所示。我们使用双嵌入分支分别对RGB数据和深度数据进行标记化，随后通过轻量级的双向交叉注意力模块在对应的图像块间交换两种模态的信息。融合后的标记会与任务标记拼接，再送入剩余的Transformer模块以完成3D手部姿态估计。需要注意的是，该融合模块被设计得轻量且模块化，因此能够轻松集成到现有的基于ViT的架构（如WiLoR [^55]）中，且无需做大量改动。训练环节。我们设置了两种训练变体：“仅真实数据”组在真实的RGB-D数据集HO3D [^20]和DexYCB [^7]上训练；而“真实数据+AnyHand”组则在此基础上加入我们提出的AnyHand进行训练，训练方案与RGB实验中的设置及流程保持一致。评估环节。我们在HO-3D v2 [^20]数据集上对模型进行评估，并报告以下两项指标：(1) 尺度平移对齐的MPJPE（STA-MPJPE）；(2) 普罗克鲁斯对齐的MPJPE（PA-MPJPE）。这两项指标的数值越低，代表模型性能越好。 ---

Table 7: Comparison with the state-of-the-art on the HO-3D v2 benchmark [^20]. Top results are emphasized in top1, top2, and top3. Using AnyHand reduces PA-MPJPE by 3.0% for HaMeR and by 1.9% for WiLoR.

Method	AUC $_j$ $\uparrow$	PA-MPJPE $\downarrow$	AUC $_v$ $\uparrow$	PA-MPVPE $\downarrow$	F@5 $\uparrow$	F@15 $\uparrow$
Liu et al. [^38]	0.803	9.9	0.810	9.5	0.528	0.956
HandOccNet [^50]	0.819	9.1	0.819	8.8	0.564	0.963
I2UV-HandNet [^8]	0.804	9.9	0.799	10.1	0.500	0.943
HOnnotate [^21]	0.788	10.7	0.790	10.6	0.506	0.942
Hasson et al. [^23]	0.780	11.0	0.777	11.2	0.464	0.939
ArtiBoost [^74]	0.773	11.4	0.782	10.9	0.488	0.944
Pose2Mesh [^12]	0.754	12.5	0.749	12.7	0.441	0.909
I2L-MeshNet [^45]	0.775	11.2	0.722	13.9	0.409	0.932
METRO [^36]	0.792	10.4	0.779	11.1	0.484	0.946
MobRecon [^9]	-	9.2	-	9.4	0.538	0.957
KeypointTrans [^22]	0.786	10.8	-	-	-	-
AMVUR [^26]	0.835	8.3	0.836	8.2	0.608	0.965
HaMeR [^52]	0.846	7.7	0.841	7.9	0.635	0.980
Hamba [^16]	0.850	7.5	0.843	7.7	0.648	0.982
WiLoR [^55]	0.851	7.5	0.846	7.7	0.646	0.983
HaMeR w/ AnyHand	0.851	7.471	0.847	7.676	0.645	0.984
WiLoR w/ AnyHand	0.853	7.355	0.848	7.624	0.649	0.984

![Image](images/cd9a4a5e04d2540949d378023239bf6cd11dc3bf0f7c3e1f6055491820fb66a0.jpg)

Figure 8: Workflow of AnyHandNet-D. Built upon WiLoR [^55]'s RGB-only pipeline, we add a lightweight depth fusion module (highlighted in yellow). RGB and depth are embedded into parallel token sequences, followed by a bidirectional RGB-Depth cross-attention. The fused tokens are concatenated with other task tokens and fed into the ViT backbone and refinement head, whose outputs are finally MANO decoded.

结果。定量结果如表8所示。我们的方法在STA-MPJPE（无旋转对齐）和PA-MPJPE（有旋转对齐）指标上始终优于以往的RGB-D方法，这表明性能提升不仅源于更精确的全局手部朝向，还源于去除全局相似性变换后更精准的关节手部结构。与Keypoint-Fusion [^40]相比，我们的模型将STA-MPJPE从1.87厘米降低至1.09厘米，相对误差减少了约41.7%。此外，仅使用真实数据的变体仍具备竞争力，其STA和PA指标已经超越以往的RGB-D基线模型，这说明融合模块本身具有鲁棒性，而结合大规模合成深度数据进行混合训练则能进一步带来性能提升。作为消融实验，移除RGB-D交叉注意力机制会导致收敛效果变差且误差增大，这证明了其在引导主干网络共同考虑给定类手区域的RGB和深度线索方面的有效性与重要性。 ---

Table 8: Comparison with RGB-D methods on the HO-3D v2 benchmark. We report STA-MPJPE, and PA-MPJPE (in cm; $\downarrow$). Top results are emphasized in top1, top2, and top3. AnyHandNet-D achieves the best overall results, and the real-only variant also surpasses prior RGB-D methods. Ablation on Xttn is also included. Note that baselines are trained in a dataset-specific setting, while AnyHandNet-D targets cross-dataset generalization without benchmark-specific retraining.

Input	Method	STA-MPJPE $\downarrow$	PA-MPJPE $\downarrow$
RGB-D	DiffHand [^33]	-	0.93
D&PCL	IPNet [^58]	2.01	0.87 $_{{1}}$
RGB-D	Keypoint-Fusion [^40]	1.87	0.94 $_{{3}}$
RGB-D	AnyHandNet-D (Real-only)	1.20 $_{{1}}$	0.89 $_{{1}}$
	Eval w/ MoGe-2 [^66] Estimated Depth	1.18 $_{{4}}$	0.80 $_{{2}}$
RGB-D	AnyHandNet-D (Real + AnyHand)	1.09 $_{{7}}$	0.81 $_{{4}}$
	Eval w/ MoGe-2 [^66] Estimated Depth w/o RGB-D Cross Attention	1.06 $_{{8}}$	0.79 $_{{3}}$
		1.21 $_{{1}}$	0.85 $_{{5}}$

缺失深度信息时的估计。在实际应用中，深度图并非总能获取。因此，我们还在HO-3D v2数据集上评估了我们的RGB-D模型，具体做法是用MoGe-v2 [^66]从RGB图像中估计出的深度图来替换真实深度图。令人惊讶的是，这种处理方式甚至比使用真实深度图时性能更好：STA-MPJPE从1.09厘米降至1.06厘米，PA-MPJPE从0.81厘米降至0.79厘米。这可能是因为HO-3D的真实深度图量化程度较高且存在缺失值，而MoGe-v2生成的估计深度更平滑、更密集，或许能更好地匹配合成训练数据分布——毕竟合成数据中的背景深度也是基于MoGe生成的。 ## C AnyHand数据集详情 ## C.1 合成数据生成流程我们在下方提供了AnyHand生成的额外实现细节。视场范围。对于每个渲染视图，相机视场是从$30^{\circ}$区间内均匀采样的。相机距离分布。我们从均值为0.6米、0.7米和1.0米，标准差均为0.1米的高斯分布中采样手与相机之间的距离。这样既能产生特写和远景视图，又能保证手在图像中的尺度符合现实情况。视角采样策略。渲染过程中，MANO手部被放置在原点处，腕部会连接一个前臂网格。随后我们沿着随机的三维观察方向，在选定的距离处采样相机中心位置，再将相机定向为朝向原点。这样一来就能从三维空间中的不同视角观察手-臂组合。光照配置。每个场景最多使用五盏灯。对于每个场景，我们会从一到五之间随机选择灯光数量。首先设置环境光以大致匹配所采样背景的主色调，如正文所述，以此保持渲染前景与背景之间的视觉一致性。剩余的灯光则从点光源、平行光和聚光灯三种类型中随机选取。每盏灯的位置及相关参数都是随机设定的，有一定概率会被赋予鲜艳的颜色，否则则为接近白色或略带暖色调的颜色。我们还会随机启用或禁用阴影，并调整相应的阴影范围。这种策略在增加光照多样性的同时，保持了整体场景的一致性。正在处理GraspXL序列。GraspXL [^76] 提供了手与物体的交互序列，即手先接近物体、建立接触，随后释放物体。对于AnyHand-Interact中的每个样本，我们首先随机选取一个物体，然后随机选择与该物体相关的一个交互序列。由于我们的目标是捕捉主动操作过程中被遮挡的手部，因此会选取手部抓住物体的确切帧。这一帧随后会被用于生成手-物样本。 ---

Table 9: Summary of the AnyHand generation pipeline and dataset statistics. The table summarizes the main design choices, rendering settings, and annotations used in AnyHand.

Component	Summary
Hand shapes	47,438, sampled from real datasets
Hand poses	On-the-fly samples from DPoser-Hand [^42]
Hand textures	10,240 unique textures
Arm textures	254 textures
Backgrounds	1,270 indoor images and HDRI maps
Objects	>500K objects
Camera FOV	Randomly sampled from $30^{\circ}$ to $40^{\circ}$
Camera distance	Mean 0.6m / 0.7m / 1.0m, std 0.1m
Lights	1 to 5 random lights per scene
Views per scene	2
AnyHand-Single	1.25M scenes, 2.5M images
AnyHand-Interact	2.05M scenes, 4.1M images
Stored annotations	RGB, depth, mask, bbox, camera, 3D pose/shape

原始的GraspXL序列基于简化的、无纹理的物体网格，以便高效进行物理模拟。为了提升视觉真实感，我们从Objaverse [^14] 中获取对应的带纹理物体网格，并将其与GraspXL中使用的简化网格对齐。具体来说，我们会调整带纹理网格的尺寸以匹配仿真网格的大小，并在渲染时使用它，同时保留所选GraspXL帧中的手部姿态和物体位置信息。其余的渲染流程，包括相机采样、光照、背景合成以及深度图生成，均与单手分支的流程一致。综上所述，AnyHand的详细信息列于表9中。 ### C.2 AnyHand的额外可视化展示我们在图9中展示了来自AnyHand的额外定性示例。对于每个样本，我们同时呈现渲染出的RGB图像、对应的3D手部网格、2D关节标注以及深度图。这些示例体现了AnyHand在手部姿态、相机视角、外观及交互场景方面的多样性，同时也凸显了其丰富的多模态标注特性。 ## D 关于合成手部数据集的额外讨论概述。表1总结了具有代表性的3D手部姿态估计合成数据集。在此，我们沿着多个数据设计维度进行了更详细的对比：姿态来源、手部形状与外观多样性、物体覆盖范围、渲染变化、手臂上下文以及深度监督。这种基于维度的对比十分重要，因为以往的数据集往往仅优化了合成手部数据的某一特定方面，却无法同时提供百万级规模的RGB-D监督数据、手-物遮挡情况、明确的手臂上下文、丰富的外观变化以及多样的3D标注。早期的合成RGB-D监督数据。RHD [^80] 是最早用于基于RGB的3D手部姿态估计的合成资源之一。它由20个执行39种动作的动画角色构成，通过区分角色与动作来减少训练集与测试集的重叠。该数据集提供了RGB图像、分割掩码、21个关键点的2D/3D标注、相机内参以及深度图，因此成为对齐合成监督的重要早期参考。其主要局限并不在于标注的完整性，而在于规模与覆盖范围：该数据集仅包含4.4万张图像，且聚焦于无物体遮挡的孤立手部，也没有明确的手-前臂连续性描述。因此，RHD虽证明了合成RGB-D监督的可行性，但并未针对当前基础模型式手部重建所需的大规模数据需求而设计。合成手-物体交互。ObMan [^24] 提出了基于3D手部与物体网格、分割掩码以及深度图的合成手-物体操控方法，通过渲染有实体的手而非悬浮式手部来提升真实感。不过，其数据多样性和规模仍达不到现代标准。ObMan包含来自8个日常类别的2,772个ShapeNet物体以及21K种抓取配置，因此所涵盖的物体形状、手部姿态及交互模式范围相对有限。其手部外观基于20名受试者提供的176张高分辨率手部纹理。 --- ![Image](images/d1db8c151cc9acb0047cb2b60ef20ab034d1fac6c0a9ba565bb2aef046dd7a34.jpg)

Figure 9: Qualitative visualizations of AnyHand. Additional examples from AnyHand, showing the rendered RGB images together with their corresponding 3D hand meshes, 2D joint annotations, and depth maps. These examples illustrate the diversity of poses, appearances, viewpoints, and interaction scenarios covered by the dataset.

ObMan的渲染依赖于LSUN/ImageNet背景图像和Blender合成技术，而非多样化的HDR环境光照。相比之下，AnyHand-Interact提供了规模达百万级的手-物体标注数据，具备更丰富的姿态、纹理、物体、遮挡及光照多样性。 --- 双手交互数据。Re:InterHand [^47] 旨在缩小双手交互数据中的外观差异。它在配备170台同步摄像头和469盏灯的多摄像头摄影棚中，采集了10名受试者的交互手部动作，并利用2,144张高分辨率环境贴图对追踪到的手部进行重新打光。因此，其数据能提供逼真的双手姿态及重新打光后的外观，但仅局限于手-手交互场景。它不包含被操控的物体、物体引起的遮挡、对齐的深度图或手腕周围的手臂上下文信息。此外，由于仅采集了10名受试者的数据，其受试者层面的形状多样性也受到限制。因此，Re:InterHand虽能提升双手图像的真实感，却并未针对可扩展的手-物体重建或RGB-D手部姿态学习展开研究。 RenderIH [^32] 同样聚焦于双手交互数据。它以InterHand2.6M的姿态数据为基础，通过随机关节偏移来增加姿态变化并减少不真实的手-手穿插现象。该系统能渲染120万张具有不同视点、300个HDR全景图以及30种基础手部纹理（并附加着色器级别的肤色扰动）的图像。然而，由于其姿态生成依赖于InterHand2.6M，姿态分布仍紧密贴合原始的InterHand姿态空间。此外，RenderIH并未建模手臂或手腕上下文：手部网格在开放的手腕边界处终止。这种遗漏可能会影响训练质量，因为Zhao等人 [^79] 的研究表明，手臂上下文是缩小手部姿态估计中合成数据与真实数据差距的重要因素。因此，尽管RenderIH提升了双手渲染的视觉多样性，却并未解决手腕边界伪影问题，也未提供实现稳健真实图像泛化所需的更广泛手臂上下文。所以，RenderIH更适合被视为一种用于双手交互姿态的增强与渲染流程，而非一个源自完全不同姿态源的新生成的大规模手部数据集。相比之下，AnyHand面向不同的应用场景。它为单手及手-物体场景提供了可扩展的RGB-D标注数据，包括共同渲染的手部、前臂、物体及深度注释。与Re:InterHand和RenderIH相比，AnyHand明确涵盖了手-物体操控、物体引起的遮挡、对齐的深度标注以及手臂上下文，同时采用了更大的外观数据源——包含10,240种漫反射手部外观和254种前臂纹理。与合成数据到真实数据差距分析的关系。近期一项密切相关的工作是Zhao等人[^79]的研究，他们利用与基准数据集匹配的合成数据来研究3D手部姿态估计中的合成到真实数据差距。与上述数据集不同，他们的工作主要是一个受控的分析框架，而非大规模训练资源。他们明确分解了手部纹理、背景、手臂环境、物体遮挡、姿态分布以及骨骼拓扑等因素。这一目标与我们不同：Zhao等人旨在最小化混杂因素并贴近目标基准分布，而AnyHand则致力于构建一个可扩展的合成数据生成流程，其覆盖范围远超现有真实数据集。这种差异体现在姿态、外观和尺度上。Zhao等人通过将NIMBLE拟合到MANO标注上，使他们的合成姿态分布与FreiHAND和Dex-YCB等真实目标数据集对齐。因此，他们的合成数据主要源自现有的基准姿态，可被视为基于基准条件的渲染与增强，而非具有独立姿态来源的新数据集。他们使用基于38种照片级真实手部纹理素材和669个HDRI场景生成的NIMBLE手部纹理。相比之下，AnyHand则从在多个真实数据集上训练的DPoser-Hand扩散先验中实时采样姿态，并利用Handy纹理生成技术获得10,240种独特的手部外观。此外，AnyHand还使用254种SMPLitex人体纹理为前臂添加带纹理的几何模型，并在模拟中共同渲染手部与前臂几何结构，从而避免了拼接手臂时可能出现的边界伪影。总结而言，以往的合成手部数据集在不同维度上取得了重要进展：RHD建立了早期的RGB-D对齐监督；ObMan引入了带有深度和分割信息的合成手部-物体交互数据；Re:InterHand提升了受光照影响的双手交互的真实感；RenderIH改进了合成双手姿态优化与照片级渲染；而Zhao等人则提供了对合成到真实数据差距的受控分析。AnyHand旨在填补一个互补但日益重要的空白：一种源于模拟、规模达百万级的RGB-D训练资源，能够同时覆盖多样化的手部姿态、丰富的手部形状与纹理变化、明确的前臂环境、大规模物体遮挡情况、逼真的渲染变化以及对齐的几何标注。 --- ## E 计算资源我们的主要训练实验是在GPU集群上进行的。除非另有说明，每次主要运行均使用单个节点，配备8块NVIDIA H100 GPU、来自双Intel Xeon Platinum 8350C CPU的128个CPU线程，以及约1 TiB的系统内存。在此配置下，每次完整训练大约需要5–7天。我们对所有报告的检查点采用相同的评估流程，以确保各基准模型和变体之间的比较具有一致性。 ## F 局限性尽管AnyHand为手部姿态估计提供了大规模且多样化的RGB-D监督数据，但它仍存在若干局限性，这些局限性也为未来的研究指明了有益方向。首先，手部姿态是从DPoser-Hand[^42]中采样的，这是一种在有限数量的真实数据集上训练的扩散先验。虽然我们应用了生物力学过滤（BMC损失[^73]）来剔除不合理的姿态，但一些解剖学上不可能的配置仍可能通过过滤。未来的工作可以通过引入更强的解剖学约束，或将姿态先验适配到特定的下游领域，来进一步改进姿态采样。其次，我们的合成流程会估算背景深度，并将渲染出的手部图像合成到2D背景图中，而非将其置于完整的3D场景中。这种做法虽然优先考虑可扩展性，但会导致手部边界附近的背景深度可能不够一致。不过在实践中这并无大碍，因为大多数手部姿态估计流程都是在经过精细裁剪的手部区域上运行的，此时学习信号主要由手部本身提供。若要以这种规模渲染完整的3D场景，所需的资源与计算成本将大幅上升，进而降低大规模数据集构建的效率。未来一个可行的方向是开发用于大型合成手部数据集的高效场景级渲染流程。最后，AnyHand是通过整合现有的姿态采样、纹理生成和渲染工具构建而成的。它最主要的贡献是为学术界提供大规模的数据资源。除了数据集本身外，我们还提供了关于数据规模扩展、真实数据与合成数据混合以及组件设计的系统性研究，这些成果可为未来手部姿态估计领域的合成数据相关工作提供参考。利用AnyHand来训练同时适用于RGB和RGB-D手部姿态估计的统一基础模型是一个颇具前景的方向，我们将其留待未来探索。 ## 基于AnyHand测试集的G基准测试我们以AnyHand作为基准，评估了包括HaMeR [^52] 和WiLoR [^55] 在内的最先进的RGB方法，以及用AnyHand训练的它们的变体（如RGB实验中所提及的）。如表10所示，原始的HaMeR和WiLoR模型尽管未在AnyHand的数据分布上训练，仍对AnyHand展现出不错的泛化能力。然而，在训练阶段加入AnyHand后，四个数据划分集以及姿态和网格指标上的性能均得到稳定提升，这表明训练时接触AnyHand能显著缩小与AnyHand测试集之间的域差异。这种提升在手部与物体交互的数据划分集（AnyHand-Interact）上尤为明显。在AnyHand-Interact-EnvMap和AnyHand-Interact-Indoor上，训练时加入AnyHand后，MPJPE从约19–26毫米降至5–6毫米，而F@5则从0.09–0.11左右提升至0.56–0.61。这些改进意味着在具有挑战性的交互场景下，姿态精度和网格重建质量均有大幅提升。在单手数据划分集（AnyHand-Single）上，改进幅度虽较小，但在各项指标上仍保持一致，这说明AnyHand的优势并不仅限于交互场景复杂的情况。总体而言，这些结果支持了将AnyHand既用作可扩展的训练数据源，又用作未来方法的参考基准。 ---

Table 10: Benchmarking methods on AnyHand. Best results in each sub-table are shown in bold. For F-scores, we report both pre-alignment and post-alignment values. These results serve as reference values for future methods utilizing AnyHand.

Method	Pose Metrics						Mesh Metrics
Method	AUC $_j$ $\uparrow$	MPJPE $\downarrow$	AUC $_j,pa$ $\uparrow$	PA-MPJPE $\downarrow$	AUC $_j,sta$ $\uparrow$	STA-MPJPE $\downarrow$	F@5 $\uparrow$	F@15 $\uparrow$	F-al@5 $\uparrow$	F-al@15 $\uparrow$
AnyHand-Sing1e-EnvMap
HaMeR	0.600	21.290	0.800	10.090	0.624	19.840	0.098	0.552	0.293	0.854
WiLoR	0.567	23.486	0.778	11.199	0.588	22.088	0.090	0.518	0.245	0.817
HaMeR w/ AnyHand	0.701	14.980	0.890	5.500	0.805	9.780	0.139	0.625	0.593	0.967
WiLoR w/ AnyHand	0.715	14.290	0.904	4.820	0.811	9.530	0.140	0.658	0.681	0.973
AnyHand-Single-Indoor
HaMeR	0.573	23.020	0.788	10.690	0.596	21.460	0.093	0.523	0.265	0.836
WiLoR	0.542	25.355	0.763	11.974	0.557	24.171	0.086	0.496	0.217	0.791
HaMeR w/ AnyHand	0.755	12.400	0.857	7.160	0.792	10.560	0.191	0.744	0.455	0.929
WiLoR w/ AnyHand	0.731	13.780	0.821	9.020	0.752	12.740	0.182	0.712	0.346	0.881
AnyHand-Interact-EnvMap
HaMeR	0.638	19.250	0.801	10.030	0.664	17.860	0.107	0.582	0.260	0.840
WiLoR	0.579	23.304	0.772	11.523	0.603	21.946	0.091	0.507	0.200	0.789
HaMeR w/ AnyHand	0.891	5.480	0.933	3.360	0.892	5.460	0.601	0.956	0.827	0.986
WiLoR w/ AnyHand	0.890	5.510	0.934	3.300	0.892	5.440	0.607	0.951	0.829	0.986
AnyHand-Interact-Indoor
HaMeR	0.595	21.990	0.795	10.360	0.642	19.380	0.096	0.526	0.247	0.828
WiLoR	0.545	25.594	0.768	11.757	0.583	23.332	0.085	0.464	0.195	0.778
HaMeR w/ AnyHand	0.887	5.690	0.932	3.400	0.889	5.590	0.579	0.952	0.883	0.986
WiLoR w/ AnyHand	0.882	5.940	0.931	3.440	0.885	5.770	0.560	0.944	0.817	0.985