# PALM：用于学习多受试者手部先验的数据集与基准模型 范子聪 $^{1,2,3,\dagger}$ 埃多阿尔多·雷梅利 $^{1}$ 大卫·戴蒙德 $^{1}$ 法迪梅·塞纳尔 $^{1}$ 葛柳浩 $^{1}$ 布格拉·特金 $^{1}$ 杰姆·凯斯金 $^{1}$ 施雷亚斯·汉帕利 $^{1}$ $^{1}$Meta Reality Labs $^{2}$苏黎世联邦理工学院 $^{3}$马克斯·普朗克智能系统研究所，图宾根 ![Image](images/4922041f836e619951a5c13459aa32c0fcbaa05c6c5a3b635e4e8998adf47734.jpg)
(a) Multiple calibrated views and hand scans
![Image](images/8fde32582ce99b84f44a4d92c9bfead4798e25112449f9de2e668ba1f899556c.jpg)
(b) Diverse skin tone and hand shapes (263 subjects)
Figure 1. Dataset overview: PALM is a large-scale dataset comprising calibrated multi-view high-resolution RGB images and 3dMD hand scans (a). It features 263 subjects spanning a wide range of skin tones and hand sizes, 90k RGB images, and 13k high-quality hand scans with corresponding MANO registrations (b). This diversity and precision provide a foundation for learning a universal prior over human hand shape and appearance.
## 摘要 抓取物体、通过手势传递信号以及通过触觉分享情感，这些能力都源于人类双手的独特特性。然而，由于几何结构、外观和关节运动的复杂性，尤其是在光照条件不受控且观测视角有限的情况下，从图像中生成高质量的个性化手部虚拟形象仍然极具挑战性。此外，由于缺乏能同时提供精确3D几何信息、高分辨率多视角图像以及多样化受试者群体的数据集，相关研究的进展也受到限制。为解决这一问题，我们推出了PALM——一个大规模数据集，包含来自263名受试者的1.3万份高质量手部扫描数据以及9万张多视角图像，涵盖了肤色、年龄和几何结构的丰富变化。为了展示其实用性，我们提出了基准模型PALM-Net：这是一种基于物理的逆向渲染技术所学习到的手部几何与材质属性的多受试者先验模型，能够实现逼真的、可重新打光的单图像手部虚拟形象个性化定制。PALM的规模和多样性使其成为手部建模及相关研究领域宝贵的现实世界资源。 ### 1. 引言 人类双手在我们与物理世界和社会世界的互动中扮演着核心角色：我们借助双手操控物体 [^13] [^14] [^19] [^47] [^52]，通过手势表达意图 [^11] [^44] [^49]，并通过触觉传递情感信号。逼真且可驱动的手部虚拟形象有望彻底改变虚拟交互、游戏和远程呈现领域。然而，由于手部几何结构、外观和关节运动的复杂性，尤其是在光照条件不受控且视觉观测受限的情况下，从图像中构建此类虚拟形象仍是一个极具挑战性的问题。 手部研究领域中缺失的一个关键组件是能够用于学习具备泛化能力和物理基础的人类手部模型的大规模高质量数据集。现有数据集存在显著局限性：它们往往仅包含少量受试者 [^27] [^30]，缺乏 --- 来自真实世界扫描的精确3D手部几何数据 [^30] [^37]，或是基于人工合成的虚拟数据 [^15]，这限制了其用于训练能够跨身份和光照条件泛化的模型的效用。 为了填补这一空白，我们推出了PALM——一个大规模的人手数据集，其中包含可公开获取的、高精度的人手扫描数据，无论在数量还是受试者多样性方面都十分丰富。PALM包含来自263名受试者的1.3万份高质量3D手部扫描数据以及9万张高分辨率多视角RGB图像；这些受试者会摆出多种预定义的手部姿势，以覆盖广泛的自然手部动作范围。受试者涵盖了不同的肤色和年龄组。所有数据均使用商用3dMD扫描仪[^43]采集，能够生成精度达到亚毫米级的几何模型。每份扫描数据都配有同步的多视角图像，以及通过多视角一致性对齐3D扫描结果而得到的MANO注册信息（包括姿态和形状参数）。重要的是，在整个数据采集过程中，包括照明条件和扫描仪配置在内的采集环境均保持固定，从而确保了不同受试者之间的光照条件一致。以往的数据集要么受试者数量有限，要么扫描数据未对外发布，而PALM将在论文发表后面向研究用途公开发布，它因此成为用于研究通用手部模型最全面且最易获取的数据集。 为了展示该数据的实际应用案例，我们提出了基准模型PALM-Net——一种基于人手数据的隐式神经先验模型，能够利用我们的数据集同时建模人手的外观、几何结构和材质属性。PALM-Net通过基于物理的逆渲染方法进行训练，可将每位受试者的手部分解为几何结构、反照率、镜面反射度、粗糙度以及环境光等要素。该模型以姿态和特定受试者的潜码为条件，从而能够捕捉与姿态相关的效果。PALM-Net的一个关键洞见是：不同受试者共享相同的环境光约束，这一设定可将光照与人手本身的外观分离，进而使模型能够泛化到新的光照条件下。 我们将这一先验应用于单图像下未知光照条件下的手部虚拟形象个性化这一高度受限的任务中。这种单目场景存在诸多挑战：深度模糊、遮挡现象（例如手掌或手背的自遮挡）以及光照不明确等问题。我们的核心洞见在于：尽管手部具有细微的复杂结构（如皱纹、褶皱和纹理），但许多基本属性——肤色、材料反射特性以及形变行为——在个体之间是共通的，能够被学习到的先验所捕捉。通过优化特定受试者的潜码和场景光照参数，我们的模型即便在非受控条件下，也能从单张输入图像中重建出逼真的、可重新打光且能呈现关节运动的手部虚拟形象。 该方法在可重新打光的手部个性化任务中的表现始终优于其他基于先验及非基于先验的方法。 为了对单图像个性化场景进行全面评估，我们在合成数据集和真实世界数据集中对我们的方法进行了测试。结果显示我们的方法…… 总结而言，我们的贡献包括：1）我们推出了PALM，这是一个大规模数据集，包含不同受试者的高分辨率多视角RGB图像、详细的手部扫描数据以及精确的MANO注册信息；2）我们提出了基准模型PALM-Net，这是一种多受试者隐式手部先验模型，它利用PALM来学习手部的物理属性，如几何结构、反照率、镜面反射度和粗糙度；3）我们通过利用该先验模型在极具挑战性且多样的环境条件下，从单张图像中实现对手部虚拟形象的个性化及重新打光，从而证明了该先验模型的有效性。 ### 2. 相关工作 手部数据集：近年来，手部数据集的数量激增，可将其分为仅手部数据集[^15] [^27] [^29] [^35] [^59]、交互手部数据集[^30] [^31] [^45]以及手-物体交互数据集[^2] [^4] [^12] [^16] [^18] [^19] [^23] [^26] [^39] [^51]。早期针对仅手部捕捉的研究主要集中于利用深度相机采集的数据集[^50]。不久之后，基于RGB的数据集逐渐受到青睐，其中典型的例子包括STB [^53]和FreiHAND [^59]。随后，研究兴趣扩展到了手-物体交互数据集领域。Hampali等人[^18]发布了一个关于单手操控刚性YCB物体的数据集；Fan等人[^12]则采用基于标记的动作捕捉系统来采集人体与关节物体之间的交互数据。最近，Banerjee等人[^1]贡献了一个包含多物体交互的大规模数据集。交互手部数据集也越来越受欢迎：Tzionas等人[^45]率先利用RGB-D设备采集双手交互数据；在此基础上，Moon等人[^30]借助大规模多视角RGB系统，在强自接触条件下还原出三维手部姿态，这一成果显著提升了利用RGB数据建模两只交互手部的研究热度。Moon等人[^31]发布了一个基于[^30]生成的三维标注的合成数据集。Handy [^35]提供了3dMD数据，但该数据集并未公开。尽管各类手部数据集迅速涌现，但大多数手部虚拟形象学习方法仍主要依赖InterHand2.6M [^7] [^34]或定制的视频记录[^22]。这主要是因为缺乏一个能同时提供精确三维手部扫描数据、高分辨率多视角RGB图像以及多样化受试者的高质量数据集。 手部表示：学习关节化手部表示是一个由来已久的研究课题。一些方法仅专注于建模手部关节[^11] [^41] [^57]或几何形状[^10] [^20] [^29] [^37] [^56]。例如，MANO [^37]率先提出了基于参数化网格的手部几何建模方法，通过PCA潜空间对形状进行参数化描述；Moon等人[^29] [^32]提出了一种用于高精度手部网格建模的非线性方法。HALO [^21]是一种利用占用网络并通过可微规范化层实现的隐式关节化手部几何表示方式。此外还有 --- 此外，还有一些方法能够同时建模手的几何形状和外观[7–9, 14, 24, 34–36, 55]。HTML [^36] 在MANO模型基础上扩展了基于PCA的纹理模型。Handy [^35] 是一种基于专有手部扫描数据学习得到的、包含形状和纹理信息的参数化手部模型。Handy和HTML都会对纹理贴图进行预处理，以减少内置的阴影和镜面反射效果。LISA和OHTA [^9] 会建模形状与外观场，并将光照效果嵌入网络，通过潜码来控制。NIMBLE [^24] 会建模包含骨骼、肌肉和皮肤形变的手部模型，利用光线舞台捕捉与姿态无关的反照率和镜面贴图，这些贴图是用PCA基函数建模的。HARP [^22] 会针对MANO手模型优化法线和反照率贴图，利用点光源来模拟阴影效果，并展现出对新光照条件的一定泛化能力。URHand [^8] 会建模与姿态相关的手部材质属性，其训练数据来自大规模光线舞台数据集。要捕捉这种与姿态相关的材质特性和光照效果，需要精确的环境贴图信息，这通常依赖配备数百台同步摄像头的复杂光线舞台设备，比如Nimble和URHand所使用的那种。与这些方法 [^8] [^9] [^55] 不同，我们的基线方法能够联合学习手部外观和几何形状，还能对手部虚拟模型进行重新光照处理，且无需依赖昂贵的光线舞台设备。 ### 3. PALM数据集 概述：为了研究手部先验知识，我们推出了PALM数据集（见图1），该数据集质量优异，包含精准的3D手部标注、高分辨率多视角RGB图像以及3dMD手部扫描数据。它包含了来自263名受试者（131名男性，132名女性）的9万张RGB图像和1.3万份手部扫描数据，这些受试者的肤色和手部形状各异。数据是使用3dMD手部扫描仪 [^43] 采集的，该扫描仪配备了7个RGB摄像头和14个单色机器视觉摄像头，且均已校准；RGB图像的分辨率为 $2448 \times 2048$；3D手部扫描则是利用3dMD基于主动立体摄影测量的软件驱动三角测量技术重建而成的。参与者共完成了约50种预定义的右手手势。更多PALM数据集中的示例详见补充材料。 #### 3.1. 数据特征 数据集对比：表1对公开可用的纯手部数据集进行了比较。早期的数据集 [^33] [^45] [^50] 主要基于深度相机，通常受试者数量和规模有限 [^33] [^45]。近期规模较大的数据集则侧重于RGB图像：InterHand2.6M [^30] 包含50名受试者的多视角校准RGB图像，Re:InterHand [^31] 提供了10名受试者的合成重光照交互手部图像，而MANO [^37] 则提供了31名受试者的手部扫描数据。Handy [^35] 包含3dMD扫描数据，但并未公开提供。虽然MANO、InterHand2.6M和我们数据集都适合用于学习手部先验知识，但大多数其他数据集由于缺少某些模态、受试者多样性不足、数据为合成的，或图像质量较低等原因，并不理想。 ![Image](images/e57597710168de955785d1a8f66e2af3396c755b8c33cadee73f00ea473316a3.jpg)
Figure 2. Capture setup. Our 3dMD setup with 7 RGB cameras.
dataset# real sub.# scansimage sizereal RGBannotationprior learning
ICVL [^42]100320 × 240-track✗
BigHand2.2M [^50]100640 × 480-marker✗
Tzionas et al. [^45]-0640 × 480✓track✗
Simon et al. [^40]-01920 × 1080✓semi-auto✗
EgoDexter [^33]40640 × 480✓manual✗
STB [^53]10640 × 480✓manual✗
FreiHAND [^58]320224 × 224✓semi-auto✗
InterHand2.6M [^30]500512 × 334✓semi-auto✓
Re:InterHand [^31]1004096 × 2668✗-✗
DART [^15]-0512 × 512✗-✗
MANO [^37]311KN/A✓manual✓
PALM (Ours)26313K2448 × 2048✓semi-auto + scan✓
Table 1. Publicly available datasets. Existing public datasets lack subject diversity, accurate hand scans, and high-quality multiview RGB images that are important for training a strong hand appearance and geometry prior model. Our dataset contains a large number of subjects with high-resolution images and scans suitable for learning a universal hand prior.
![Image](images/885ba5d2d46383268d486895228b7ec835fc80c374e1cc2012ec84b08639c727.jpg)
Figure 3. PALM demographics. (a) Age; (b) Height; (c) Skin tone distributions. Our dataset provides a wide distribution of skin tones and age groups representing a large variety of hand textures.
图像质量较差，导致大多数方法 [^7] [^22] [^32] [^34] 即便没有扫描数据，也仍依赖InterHand2.6M。我们的数据集在规模上要大得多，包含263名受试者的真实高分辨率校准RGB图像以及1.3万份高质量扫描数据，因此非常适合用于学习稳健的手部先验知识；我们将公开发布该数据集以促进未来的相关研究。 人口统计信息：图3提供了详细的分类情况。 --- PALM数据集中的人口分布特征如下：参与者年龄在21至70岁之间，其中31–40岁（33%）、41–50岁（26%）和21–30岁（24%）年龄段的人数最多。在身高方面，受试者的身高范围在145到200厘米之间，其中48%的人身高在145–170厘米区间，35%的人身高在171–180厘米区间；仅有4%的人身高超过190厘米。肤色分布也较为多样，包括38%的中等肤色、27%的深色肤色、20%的棕褐色肤色以及15%的浅色肤色。这种多样性为针对不同人口特征的深入分析提供了有力支撑。 #### 3.2. 数据采集 采集设备：我们采用3dMD [^43] 手部扫描仪来采集受试者的高分辨率多视角RGB图像及3D扫描数据。具体而言，该7视点采集系统由21台同步且经过校准的机器视觉相机组成，涵盖RGB和单色传感器，可实现对手部360度全方位覆盖。该系统能以$2448 \times 2048$的高分辨率采集图像。系统中还集成了随机光投影仪，以提升表面细节与几何精度。3D手部扫描结果是通过3dMD基于主动立体摄影测量技术的软件驱动三角测量算法重建而成的。所有相机均已校准，可确保各视角下的对齐一致性。这一设备配置能够采集各种姿势下密集且精准的3D手部网格数据，既适用于静态姿势研究，也适用于动态手部运动分析。 采集流程：要求每位参与者静止站立，将右手置于3dMD采集区域内。参与者需完成约50种预设的右手手势，涵盖张开手、捏合、握拳以及精细的手指运动等多种动作模式。为确保不同受试者间的一致性，我们采用了标准化的手势列表，并在采集过程中引导参与者按顺序完成。每种手势均作为独立的手部扫描样本采集。这一流程确保了整个受试者群体能产生多样化且可重复的运动数据。所有受试者的采集均在相同的光照和相机条件下进行。 3D关键点标注：我们采用半自动流程生成精准的3D手部姿态标签。首先在一部分图像上手动标注2D关键点，用以训练适配本采集系统的2D关键点检测器。该检测器基于U-Net架构[^38]，先在InterHand2.6M数据集上预训练，再针对1万张人工标注的PALM图像进行微调，随后用于估算所有相机视角下的2D关键点，再通过多视角几何原理将其三角测量为3D姿态。具体实现中我们借鉴了InterHand2.6M中的方法，采用基于RANSAC的三角测量算法来稳健地确定3D关键点的位置。这种半自动方式在大幅减轻人工标注负担的同时，保证了3D姿态标注的可靠性。 MANO模型配准：通过将MANO手部模型与手部扫描数据对齐，得到每个姿态及每个受试者的3D MANO姿态。为使MANO模型与每种手部手势匹配，我们利用2D/3D关键点、分割掩码以及3D手部扫描数据进行监督，对MANO手部模型进行优化。具体而言，我们最小化每个MANO顶点到对应手部扫描表面的距离。真实值掩码源自手部扫描数据，我们采用Soft Rasterizer [^25]进行可微渲染，以使MANO模型的轮廓与这些掩码对齐。 注册过程针对每个受试者分两个阶段独立进行。第一阶段在一组简单的手部姿势（如平手）上优化每个受试者的手部形状参数以及每帧的姿态参数；第二阶段则仅优化每帧的姿态参数，同时固定形状参数不变。我们最终得到的3D关键点在10毫米阈值下的召回率达到95%。我们的MANO注册结果与3D关键点之间的平均拟合误差为5.3毫米（与InterHand2.6M [^30]的结果相近）。 ### 4. 方法 如图4所示，PALM-Net利用PALM——我们收集的大规模人手数据集，其中包含详细的手部扫描数据和高分辨率RGB图像——来训练一个可个性化且能重新打光的手部先验模型。在本节中，我们首先介绍关于NeRF [^28]的初步概念，即作为我们方法核心的神经辐射场技术；以及MANO [^37]，这是我们流程中用于在不同受试者和手部姿势下将3D点映射到统一规范表示中的参数化手部模型。接下来，我们将介绍PALM-Net——这一通过基于物理的逆渲染（PBR）学习多受试者手部先验的新颖框架，并说明如何针对多个受试者训练该表示模型。最后，我们会详细说明如何利用PALM-Net从单张图像中恢复出可个性化且能重新打光的手部虚拟形象。这是一个高度欠约束的问题，而我们将证明，像PALM-Net这样的先验模型有助于即使在极端光照条件下也能恢复出逼真的、个性化的手部虚拟形象。 #### 4.1. preliminaries NeRF：给定一条由相机中心$\mathbf{r} = (\mathbf{o}, \mathbf{d})$和观测方向$\mathbf{o}$定义的射线$\mathbf{d}$，NeRF [^28]通过以下方式计算该射线的输出辐射度（即像素颜色）： $$ \begin{aligned}C_{rf}(\mathbf{r})=&\int_{t_{n}}^{t_{f}}T(t_{n},t)\boldsymbol{\sigma}_{t}(\mathbf{r}(t))L(\mathbf{r}(t),\mathbf{d})dt\\\mathbf{s.t}&\ \mathbf{r}(t)=\mathbf{o}+t\mathbf{d}\\&T(t_{n},t)=\exp\left(-\int_{t_{n}}^{t}\boldsymbol{\sigma}_{t}(\mathbf{r}(s))ds\right)\end{aligned} $$ 其中，$t_n, t_f$ 表示光线积分的近/远点；$\sigma_t(\mathbf{x}) : \mathbb{R}^3 \to \mathbb{R}$ 是一个用于建模表面密度的神经网络。 --- 在三维点 $\mathbf{x}$ 处的密度由 $L(\mathbf{x}, \mathbf{d}) : \mathbb{R}^3 \times \mathbb{R}^3 \to \mathbb{R}$ 描述，该网络用于参数化从方向 $\mathbf{x}$ 观测到的三维点 $\mathbf{d}$ 处的辐射颜色。实际应用中，上述积分通过数值积分法进行近似计算，结果如下： $$ \begin{aligned}C_{rf}(\mathbf{r})&\approx\sum_{i=1}^{N}w^{(i)}L(\mathbf{r}(t^{(i)}),\mathbf{d})\\ s.t&\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}\\&w^{(i)}=T^{(i)}\left(1-\exp(-\sigma_{t}(\mathbf{r}(t^{(i)}))\delta^{(i)})\right)\end{aligned} $$ $$ T^{(i)}=\exp\left(-\sum_{j 0$ 为可优化参数。更多细节请参阅 [^48]。 在标准点 $L(\mathbf{x}_c, \mathbf{d})$ 处、沿方向 $x_c$ 观测到的出射辐射 $\mathbf{d} \in \mathbb{R}^3$ 可由下式计算： $$ f_{r f}:\mathbf{x}_{c},z,\mathrm{r e f}(\mathbf{d},\mathbf{n}),\mathbf{n},\theta,\psi\mapsto L(\mathbf{x}_{c},\mathbf{d}), $$ 其中，$\mathbf{n}$ 是从 SDF 场中解析得到的表面法线；$\mathrm{ref}(\mathbf{d}, \mathbf{n})$ 反映了围绕法线 $\mathbf{d}$ 的视线方向 $\mathbf{n}$；$\psi \in \mathbb{R}^{\mathrm{d}_s}$ 则是外观潜码。 最后，空间变化的材质场 $f_m$ 用于建模基于物理的渲染参数，包括反照率 $\alpha \in \mathbb{R}^3$、粗糙度 $r \in \mathbb{R}$ 以及金属度 $m \in \mathbb{R}$，具体表示为： $$ f_{m}:\mathbf{x}_{c},z,\theta,\psi\mapsto\alpha(\mathbf{x}_{c}),r(\mathbf{x}_{c}),m(\mathbf{x}_{c}) $$ 对于这三个网络而言，标准点 $\mathbf{x}_c$ 均采用哈希网格编码方式，以便高效建模高频细节，即 $f_{\{g, rf, m\}}$。 基于物理的渲染：在基于物理的渲染方面，我们严格遵循 [^46] 的方法，利用数值积分近似来计算沿某条相机光线 (o, d) 传播的辐射量，公式如下： $$ \begin{align*}C_{pbr}(\mathbf{r})\approx\sum_{i=1}^{M}w^{(i)}BRDF\Big(\mathbf{d},\bar{\mathbf{d}}^{(i)},\alpha\big(\mathbf{r}(\bar{t}^{(i)})\big),r\big(\mathbf{r}(\bar{t}^{(i)})\big),\\m\big(\mathbf{r}(\bar{t}^{(i)})\big),\mathbf{n}\Big)\cdot L_{i}\big(\mathbf{r}(\bar{t}^{(i)}),\bar{\mathbf{d}}^{(i)}\big)\cdot\frac{1}{pdf(\bar{\mathbf{d}}^{(i)})}\end{align*} $$ $$ s.t\quad\mathbf{r}(t)=\mathbf{o}+t\mathbf{d} $$ $$ w^{(i)}=T^{(i)}\left(1-\exp(-\sigma_{t}(\mathbf{r}(\overline{t}^{(i)})\delta^{(i)})\right) $$ $$ \begin{aligned}&T^{(i)}=\exp\left(-\sum_{jFigure 4. PALM-Net overview. Given (a) PALM, our multi-subject RGB dataset with 263 subjects, PALM-Net explains each subject by optimizing subject-specific shape and appearance codes (b). (c) PALM-Net is an implicit physically-based network that is conditioned on the subject codes and renders to radiance, normal, and physically-based RGB images. 其中 $t_{n}^{\prime}, t_{f}^{\prime}$ 分别表示次级光线的近点和远点。环境贴图由一组称为 $\mathcal{SG}_{1}, \mathcal{SG}_{2}, ..., \mathcal{SG}_{G}$ 的球面高斯函数近似表示。上述方程的推导过程请参阅 [^46]。训练损失：由于从 RGB 图像中重建几何形状和材质属性是一个高度欠约束的问题，我们设计了一个由多项组成的损失函数 $\mathcal{L}$。具体而言，我们首先通过以下方式确保 RGB 值与输入图像保持一致： $$ \mathcal{L}_{\mathrm{r f}}=\sum_{\mathbf{r}}\left\|C_{r f}(\mathbf{r})-\hat{C}(\mathbf{r})\right\|, $$ 其中，$\mathbf{r}$ 是从图像上采样像素发出的光线，而 $C_{rf}(\mathbf{r})$ 和 $\hat{C}(\mathbf{r})$ 分别是渲染后的辐射值以及真实颜色。PBR渲染的像素 $C_{pbr}$ 会直接与RGB值一起通过损失函数 $\mathcal{L}_{pbr}$ 进行监督训练，这一过程与 $\mathcal{L}_{rf}$ 类似。由于我们的扫描数据提供了详细的几何信息，因此我们用渲染后的扫描法线来对模型进行监督训练： $$ \mathcal{L}_{\mathrm{n o r m a l}}=\sum_{\mathbf{r}}\left\|\mathcal{N}(\mathbf{r})-\hat{\mathcal{N}}(\mathbf{r})\right\|. $$ 需要注意的是，几何信息由PBR和辐射场共享。我们鼓励使用满足欧拉损失约束 $\mathcal{L}_{eikonal}$ [^17] 的有效SDF，该约束要求每个点处的梯度具有单位范数。为了促使手部表面更平滑，我们在手部周围的采样点上应用拉普拉斯损失 $\mathcal{L}_{LAP}$（详见补充材料）。为了促使潜码趋近于零，我们对外观码和形状码的均方误差损失 $\mathcal{L}_{latent}$ 进行惩罚。为了避免前景模型解释背景像素，我们还通过分割损失对网络进行监督训练。 $$ \mathcal{L}_{\mathrm{seg}m}=\sum_{\mathbf{r}}\mathrm{BCE}(\mathcal{S}(\mathbf{r}),\hat{\mathcal{S}}(\mathbf{r})) $$ 其中，$\mathcal{S}(\mathbf{r}) \in \mathbb{R}$ 表示像素属于前景的概率，BCE($\cdot, \cdot$) 是针对由手部扫描生成的真实手部分割掩码 $\hat{\mathcal{S}}(\mathbf{r})$ 的二元交叉熵损失。最后，为了捕捉高频细节，我们渲染图像块并将其与真实图像通过感知相似性损失 $\mathcal{L}_{LPIPS}$ [^54] 进行比较。总损失 $\mathcal{L}$ 定义如下： $$ \begin{aligned}\mathcal{L}=\mathcal{L}_{rf}&+\lambda_{pbr}\mathcal{L}_{pbr}+\lambda_{segm}\mathcal{L}_{segm}+\lambda_{normal}\mathcal{L}_{normal}\\&+\lambda_{eikonal}\mathcal{L}_{eikonal}+\lambda_{LPIPS}\mathcal{L}_{LPIPS}\\&+\lambda_{LAP}\mathcal{L}_{LAP}+\lambda_{latent}\mathcal{L}_{latent}\end{aligned} $$ 其中，$\lambda_*$ 是各项损失的权重（详见补充材料）。我们会随时间逐渐减小 $\lambda_{\mathrm{segm}}$。 多受试者PBR先验：在针对多个受试者训练PALM-Net时，我们通过让PALM-Net以形状码 $\phi$ 和外观码 $\psi$ 为条件，来建模每个受试者的详细手部形状和外观。也就是说，我们通过将形状与外观解耦来建模受试者身份。从经验上看，我们发现当针对多个受试者训练时，为几何信息和外观分别设置独立的潜码，比使用共享的潜码能获得更好的重建效果。 给定来自N个受试者的手部图像集合 $\{\mathcal{I}$}，以及随机初始化的潜码 $\{\phi_{1..N}, \psi_{1..N}\}$，PALM-Net通过优化网络权重 $\Phi$、受试者码本 $\{\phi_{1..N}, \psi_{1..N}\}$ 以及环境光的球面高斯参数来解释多个受试者的图像。需要注意的是，由于所有受试者是在相同条件下拍摄的，因此我们针对所有受试者优化单一的环境光。具体的目标函数为： $$ \min_{\boldsymbol{\Phi},\{\phi_{i}\}_{i=1}^{N},\{\psi_{i}\}_{i=1}^{N},\{\mathcal{S}\mathcal{G}_{i}\}_{i=1}^{G}}\mathcal{L} $$ --- ![Image](images/f84ab08cf5b9449a865080eff13460afa25997503c13a49aeee4a5dccaa465c1.jpg)
Figure 5. In-the-wild image personalization. (a) The first column shows the images used for personalization, followed by the renderings of the geometry and materials of the hand avatar obtained using our prior model. The PBR rendering refers to the physically-based rendering with estimated environment map. The last column shows the relighting results of personalized hand avatar in a novel pose. Our method retrieves realistic hand avatars even when the input personalization image has complex lighting effects. (b) Additional relighting results with in-the-wild images.
个性化：基于手部外观和几何的强大先验模型，使我们能够将模型个性化应用于极端环境下拍摄的手部图像。这主要是因为先验模型在个性化过程中会对手部的反照率和材质属性进行约束，且所有环境效应都可以被单独解释。这一过程是通过求解一个优化问题来实现的：在保持PBR先验模型的网络权重 $\phi$ 不变的情况下，优化给定输入图像对应的形状码 $\psi$ 和外观码 $\Phi$，同时优化环境贴图。具体来说，在每次迭代中，我们从输入图像中随机采样一批光线，并针对以下目标进行优化： $$ \begin{aligned}\min_{\phi,\psi,\{\mathcal{S}\mathcal{G}\}_{i=1}^{G}}&\mathcal{L}_{rf}+\lambda_{pbr}\mathcal{L}_{pbr}+\lambda_{segm}\mathcal{L}_{segm}\\&+\lambda_{LPIPS}\mathcal{L}_{LPIPS}\end{aligned} $$ ### 5. 实验 我们使用三个不同的数据集，评估了模型在基于单张RGB图像进行手部虚拟形象个性化及重新打光任务上的表现。相关指标和基线详情详见补充材料。 #### 5.1. 数据集 InterHand2.6M：为了评估模型在真实图像上的性能，我们使用InterHand2.6M数据集中的图像进行个性化训练[^30]。该数据集包含了受试者在特定姿势下的精确3D手部姿态以及高分辨率的RGB图像。我们仅针对右手序列进行评估，使用的是数据集中的测试部分。
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
Handy [^35]7.500.690.24
HARP [^22]9.890.780.16
UHM [^32]10.080.760.19
Ours12.010.840.15
Table 2. InterHand2.6M dataset evaluation. Comparison of methods on single-image personalization task using PSNR, SSIM, and LPIPS metrics. Our method outperforms previous methods in the novel pose setting where the training and evaluation environment maps are the same.
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
Handy [^35]12.480.760.32
HARP [^22]11.930.690.37
UHM [^32]12.300.740.31
Ours13.390.780.35
Table 3. Synthetic dataset evaluation. Comparison of methods based on PSNR, SSIM, and LPIPS. Our method outperforms previous methods in the novel environment, novel pose setting showing that the appearance reconstructions of our model is more accurate.
为了可靠地衡量性能，我们从每个序列中随机选取两个视角，共得到12个序列。我们为每个序列均匀采样20张图像用于评估，并使用每个序列的第一帧来训练个性化模型。 HARP relit：由于不存在可用于评估新环境和姿势下手部虚拟形象的真实数据集，因此参照[^22]的方法，我们使用Blender渲染合成数据集。具体而言，为了创建合成手部模板，对于每个序列，我们采样新的MANO形状参数，并利用DART中的UV纹理设定新的肤色[^15]。手部动画则使用HARP数据发布版中的手部姿态参数[^22]。我们采用每个序列的第一帧训练个性化模型，其余帧用于评估。我们使用不同的环境贴图来渲染训练和评估图像，以检验重新光照效果。 自然场景图像：为了展示我们的方法在现实场景中的泛化能力，我们从互联网上选取了具有多样光照条件和姿势的自然场景图像。对这些图像进行个性化处理后，我们利用来自[^22]的新颖姿势和新的环境贴图对其进行渲染，并展示定性结果。 #### 5.2. 比较与分析 基线比较：表2对比了我们的方法在InterHand2.6M数据集上与各基线方法的性能。我们的方法在所有指标上均优于基线方法，能够在新颖的姿势和视角下实现高质量的渲染。图6展示了InterHand2.6M数据集上训练环境和新环境下的定性图像。PALM-Net生成的图像比基线方法的结果更加逼真。 --- ![Image](images/e13f0148fd76eb0b3809c1748ae5665b5df0c891a6ed2ad46f3884485c67fba0.jpg)
Figure 6. Personalization results on InterHand2.6M. The first column shows the image used for personalization. (a) Personalized hand avatars rendered in novel poses in the training environment. (b) Personalized hand avatars rendered in novel poses in the novel environment. The hand avatars from our method are more realistic than other baselines.
PSNRSSIMLPIPS
w/o normal11.970.840.18
w/ normal12.010.840.15
Table 4. Effects of 3dMD normals.
![Image](images/c41aa0d36118999ea5d402184905b80caa7f7dd6f60d399ad7d4995903082312.jpg)
Figure 7. Effects of 3dMD scans for hand personalization.
表3对比了我们的方法与基线方法在合成数据集上的性能，评估是在新环境下进行的。我们的PALM-Net先验模型在新环境中展现出更逼真的重新光照效果，优于基线方法（更多结果见补充材料）。图5展示了在具有多样光照条件和姿势的自然场景图像上进行个性化处理的定性结果。尽管面临这些挑战，我们的方法仍能生成逼真的虚拟形象和合理的重新光照图像。例如，即使在输入图像为灰度的极端情况下，得益于我们对手部外观的先验认知以及对环境贴图的优化，我们的方法仍能恢复出合理的反照率。 基于3dMD法线的监督：传统的多视角技术需要大量的RGB视图才能实现高保真的3D重建[^28]。在我们的采集系统中，采用了一种混合方案，结合3dMD扫描和稀疏的多视角RGB图像来训练先验模型。图7展示了有无3dMD法线监督时的定性对比结果。具体而言，我们在PALM上训练了两个多受试者PBR先验模型，一个采用3dMD法线监督，另一个则没有。随后，我们将这两个先验模型用于InterHand2.6M图像的个性化处理。
PSNRSSIMLPIPS
w/o env16.140.790.229
w/ env16.740.810.222
Table 5. Effects of modelling environment lightings.
![Image](images/cbf1bd42956e2f0dd6545aa239088ead1979b183846bab2ee82bb2f56692957d.jpg)
Figure 8. The effect of modelling environment.
图7表明，来自手部扫描的3dMD法线对于减少类似椒盐噪点的伪影、降低漂浮物现象至关重要。表4从定量角度对比了这种在新姿势评估中的表现。 环境贴图优化：在个性化过程中，PALM-Net会结合几何信息、材质属性以及环境光照来对图像进行解析。表5显示，对环境光照进行建模能够使模型在拟合输入图像时更具表现力。图8展示了基于物理渲染的RGB图像示例。当允许在PALM-Net中对环境进行优化时，拟合结果会更接近输入图像。 ### 6. 结论 PALM是一个大规模数据集，它整合了精确的3D手部几何结构、高分辨率多视角图像以及多样化的受试者群体，从而弥补了现有数据集的关键不足。通过PALM-Net，我们证明了基于物理的逆渲染技术结合多受试者先验，能够实现逼真的、可重新打光的单图像个性化效果。该数据集的规模、多样性以及配套的基准测试方法，使其成为未来研究的宝贵资源。 --- ## 参考文献 [^1]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. HOT3D: Hand and object tracking in 3d from egocentric multi-view videos. In CVPR, pages 7061–7071, 2025. 2 [^2]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, pages 361–378, 2020. 2 [^3]: Brent Burley. Physically-based shading at disney. In Proc. of SIGGRAPH, 2012. 5 [^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021. 2 [^5]: Xu Chen, Yufeng Zheng, Michael J Black, Otmar Hilliges, and Andreas Geiger. SNARF: Differentiable forward skinning for animating non-rigid neural implicit shapes. In ICCV, 2021. [^6]: Xu Chen, Tianjian Jiang, Jie Song, Jinlong Yang, Michael J Black, Andreas Geiger, and Otmar Hilliges. gDNA: Towards generative detailed neural avatars. In CVPR, pages 20427–20437, 2022. 5 [^7]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In CVPR, 2023. 2, 3 [^8]: Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav Pidhorskyi, Tomas Simon, Rohan Joshi, Yuan Dong, Yichen Xu, Bernardo Pires, He Wen, Lucas Evans, Bo Peng, Julia Buffalo, Autumn Trimble, Kevyn McPhail, Melissa Schoeller, Shoou-I Yu, Javier Romero, Michael Zollhöfer, Yaser Sheikh, Ziwei Liu, and Shunsuke Saito. URhand: Universal relightable hands. In CVPR, 2024. 3 [^9]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. LISA: Learning implicit shape and appearance of hands. In CVPR, pages 20533–20543, 2022. 3 [^10]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J. Black. HMP: Hand motion priors for pose and shape estimation from video. 2024. 2 [^11]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. pages 1–10. IEEE, 2021. 1, 2 [^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2 [^13]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xuanyang Zhang, Xue Zhang, et al. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In ECCV, pages 428–448. Springer, 2024. 1 [^14]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J Black, and Otmar Hilliges. HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In CVPR, pages 494–504, 2024. 1, 3 [^15]: Daiheng Gao, Yuliang Xiu, Kailin Li, Lixin Yang, Feng Wang, Peng Zhang, Bang Zhang, Cewu Lu, and Ping Tan. DART: Articulated Hand Model with Diverse Accessories and Rich Textures. In NeurIPS, 2022. 2, 3, 7 [^16]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, pages 409–419, 2018. 2 [^17]: Amos Gropp, Lior Yariv, Niv Haim, Matan Atzmon, and Yaron Lipman. Implicit geometric regularization for learning shapes. 2020. 6 [^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, pages 3193–3203, 2020. 2 [^19]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019. 1,2 [^20]: Zhisheng Huang, Yujin Chen, Di Kang, Jinlu Zhang, and Zhigang Tu. Phrit: Parametric hand representation with implicit template. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV), pages 14928–14938, 2023. 2 [^21]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. pages 11–21, 2021. 2 [^22]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. HARP: Personalized hand reconstruction from a monocular гб video. In CVPR, 2023. 2, 3, 7 [^23]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: Two hands manipulating objects for first person interaction recognition. In ICCV, pages 10138–10148, 2021. 2 [^24]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: A non-rigid hand model with bones and muscles. ACM Trans. Graph., 41(4), 2022. 3 [^25]: Shichen Liu, Tianye Li, Weikai Chen, and Hao Li. Soft raster-izer: A differentiable renderer for image-based 3d reasoning. In ICCV, pages 7708–7717, 2019. 4 [^26]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In CVPR, pages 21013–21022, 2022. 2 ## [^27]: Julieta Martinez, Emily Kim, Javier Romero, Timur Bagautdinov, Shunsuke Saito, Shoou-I Yu, Stuart Anderson, Michael Zollhöfer, Te-Li Wang, Shaojie Bai, Chenghui Li, Shih-En Wei, Rohan Joshi, Wyatt Borsos, Tomas Simon, Jason Saragih, Paul Theodosis, Alexander Greene, Anjani Josyula, Silvio Mano Maeta, Andrew I. Jewett, Simon Venshtain, Christopher Heilman, Yueh-Tung Chen, Sidi Fu, Mohamed Ezzeldin A. Elshaer, Tingfang Du, Longhua Wu, Shen-Chi Chen, Kai Kang, Michael Wu, Youssef Emad, Steven Longay --- Ashley Brewer、Hitesh Shah、James Booth、Taylor Koska、Kayla Haidle、Matt Andromalos、Joanna Hsu、Thomas Dauer、Peter Selednik、Tim Godisart、Scott Ardisson、Matthew Cipperly、Ben Humberston、Lon Farr、Bob Hansen、Peihong Guo、Dave Braun、Steven Krenn、He Wen、Lucas Evans、Natalia Fadeeva、Matthew Stewart、Gabriel Schwartz、Divam Gupta、Gyeongsik Moon、Kaiwen Guo、Yuan Dong、Yichen Xu、Takaaki Shiratori、Fabian Prada、Bernardo R. Pires、Bo Peng、Julia Buffalo、Autumn Trimble、Kevyn McPhail、Melissa Schoeller和Yaser Sheikh。Codec Avatar Studio：用于创建完整、可驱动且具备泛化能力的虚拟形象的配对人体捕捉数据。NeurIPS，2024年。1, 2 [^28]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1):99–106, 2021. 4, 8 [^29]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In ECCV, pages 440–455, 2020. 2 [^30]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, pages 548–564, 2020. 1, 2, 3, 4, 7 [^31]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalo, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3d interacting hands. arXiv preprint arXiv:2310.17768, 2023. 2, 3 [^32]: Gyeongsik Moon, Weipeng Xu, Rohan Joshi, Chenglei Wu, and Takaaki Shiratori. Authentic hand avatar from a phone scan via universal hand model. In CVPR, pages 2029–2038, 2024. 2, 3, 7 [^33]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In ICCV, pages 1154–1163, 2017. 3 [^34]: Akshay Mundra, Jiayi Wang, Marc Habermann, Christian Theobalt, Mohamed Elgharib, et al. Livehand: Real-time and photorealistic neural hand rendering. In ICCV, pages 18035–18045, 2023. 2, 3 [^35]: Rolandos Alexandros Potamias, Stylianos Ploumpis, Stylianos Moschoglou, Vasileios Triantafyllou, and Stefanos Zafeiriou. Handy: Towards a high fidelity 3d hand shape and appearance model. In CVPR, pages 4670–4680, 2023. 2, 3, 7 [^36]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A parametric hand texture model for 3d hand reconstruction and personalization. In ECCV, pages 54–71. Springer, 2020. 3 [^37]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 36(6):245:1–245:17, 2017. 2, 3, 4, 5 [^38]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015. 4 [^39]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In CVPR, pages 21064–21074, 2022. 2 [^40]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, pages 4645–4653, 2017. 3 [^41]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV, pages 211–228, 2020. 2 [^42]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In CVPR, pages 3786–3793, 2014. 3 [^43]: three dMD Hand. 3dMDhand system series. . 2, 3, 4 [^44]: Tze Ho Elden Tse, Franziska Mueller, Zhengyang Shen, Danhang Tang, Thabo Beeler, Mingsong Dou, Yinda Zhang, Sasa Petrovic, Hyung Jin Chang, Jonathan Taylor, et al. Spectral graphormer: Spectral graph-based transformer for egocentric two-hand reconstruction using multi-view color images. In ICCV, pages 14666–14677, 2023. 1 [^45]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 118(2):172–193, 2016. 2,3 [^46]: Shaofei Wang, Bozidar Antic, Andreas Geiger, and Siyu Tang. IntrinsicAvatar: Physically based inverse rendering of dynamic humans from monocular videos via explicit ray tracing. In CVPR, pages 1877–1888, 2024. 5, 6 [^47]: Shibo Wang, Haonan He, Maria Parelli, Christoph Gebhardt, Zicong Fan, and Jie Song. MagicHOI: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. In ICCV, pages 5957–5968, 2025. 1 [^48]: Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Volume rendering of neural implicit surfaces. In NeurIPS, 2021. 5 [^49]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-HaMR: Recovering 4d interacting hand motion from a dyn-namic camera. In CVPR, 2025. 1 [^50]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In CVPR, pages 4866–4874, 2017. 2, 3 [^51]: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, and Jie Song. GraspXL: Generating grasping motions for diverse objects at scale. In ECCV, pages 386–403. Springer, 2024. 2 [^52]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. ArtiGrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. pages 235–246. IEEE, 2024. 1 ## [^53]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. 3d hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214, 2016. 2, 3 --- [^54]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018. 6 [^55]: Xiaozheng Zheng, Chao Wen, Zhuo Su, Zeran Xu, Zhaohu Li, Yang Zhao, and Zhou Xue. OHTA: One-shot hand avatar via data-driven implicit priors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 799–810, 2024. 3 [^56]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. TempCLR: Reconstructing hands via time-coherent contrastive learning. pages 627–636, 2022. 2 [^57]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, pages 4913–4921, 2017. 2 [^58]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, pages 813–822, 2019. 3 [^59]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 2