# 利用学习到的纹理先验提升单目3D手部重建效果 Giorgos Karvounas $^{1,3}$ Nikolaos Kyriazis $^{1}$ Iason Oikonomidis $^{1}$ Georgios Pavlakos $^{2}$ Antonis A. Argyros $^{1,3}$ ![Image](images/14d2770444f6cba88c91742d89a913f75ef851a172dd5451fb0055eaaff77a12.jpg)

Figure 1. In-the-wild hand images provide the richest, but most incomplete and noisy input for building texture priors (samples outlined red, grid regions indicate missing information in the monocular setting). Our method is able to consolidate such data, enabling robust full texture suggestions (samples outlined blue).

## 摘要我们重新审视了纹理在单目3D手部重建中的作用——它并非为了追求照片级真实感而作为事后补充，而是一种密集且基于空间特征的线索，能够主动辅助姿态和形状估计。我们的发现很简单：即便在性能出色的模型中，预测出的手部几何结构与图像外观之间的匹配也往往不够完美，这表明纹理对齐可能是一种未被充分利用的监督信号。我们提出了一种轻量级的纹理模块，该模块能将每个像素的观察结果映射到UV纹理空间，从而实现预测外观与观测外观之间的新型密集对齐损失函数。我们的方法依赖于可微渲染管线，以及能够将图像映射为具有已知拓扑结构的3D手部网格的模型，借此便可进行反向投影。我们重新审视了纹理在单目3D手部重建中的作用——它并非为了追求照片级真实感而作为事后补充，而是一种密集且基于空间特征的线索，能够主动辅助姿态和形状估计。我们的发现很简单：即便在性能出色的模型中，预测出的手部几何结构与图像外观之间的匹配也往往不够完美，这表明纹理对齐可能是一种未被充分利用的监督信号。我们提出了一种轻量级的纹理模块，该模块能将每个像素的观察结果映射到UV纹理空间，从而实现预测外观与观测外观之间的新型密集对齐损失函数。我们的方法依赖于可微渲染管线，以及能够将图像映射为具有已知拓扑结构的3D手部网格的模型，借此便可进行反向投影，将带纹理的手部图像投影到原图上并执行基于像素的对齐操作。该模块自成一体，可轻松集成到现有的重建流程中。为了凸显纹理引导监督机制的价值，我们以HaMeR [^47]为基础进行改进——这是一种性能出色但缺乏额外设计的Transformer架构，用于3D手部姿态估计。最终系统不仅提升了精度，还增强了真实感，充分证明了外观引导对齐在手部重建中的价值。代码、模型和权重可在获取。 ### 1. 引言从单张图像中重建3D手部姿态和形状是一项由来已久的科学难题。尽管该问题存在约束条件多、不确定性大的特点，但精准的单目估计在多个领域都具有重要价值。在医疗保健领域，它能支持远程理疗和运动功能评估；在机器人领域，它能实现遥操作与人机协作；在教育领域，它能助力技能传授与模拟训练；在消费技术领域，它能推动增强现实、游戏及社交互动的发展。虽然多摄像头方案能提供更高的精度，但难以大规模应用。单目方法具备便携性和易用性，但前提是能达到足够的精度。这使得该问题既具有重要的科学意义，也有切实的应用价值。 --- ![Image](images/f59a9e6662ef1d0d0ab70ab89ea44614da3528f8fd704de79f9ebb2f0cc38b07.jpg)

Figure 2. What is otherwise a 3D estimation of high quality, clearly has room for improvement, as indicated by the imperfect match of the prediction and the observation (middle, estimated by HaMeR [^47]). This can be remedied (right, our method).

我们的出发点是一个简单的观察结果：即便性能出色的模型生成的手部重建结果，也往往无法与观测到的图像外观完美对齐（见图2）。这种差异表明，当前的训练信号虽有效，却未能充分利用现有信息。受此启发，我们探究了添加基于图像外观的、具备空间定位特性的显式监督信号是否能提升精度。我们并未将纹理视为副产品，而是将其作为对齐反馈的来源。通过将像素与预测的曲面相关联，我们为模型提供了修正其估计结果的直接机制。我们的出发点是一个简单的观察结果：即使是性能出色的模型，所生成的手部重建结果也往往无法与图像中的实际外观完美匹配（见图2）。这种差异表明，尽管当前的训练信号效果显著，但并未充分利用现有信息。受此观察启发，我们探究了添加基于图像外观的、具有空间参照性的显式监督信息是否能提升模型的准确性。我们不再将纹理视为副产品，而是将其用作对齐反馈的来源。通过将像素与预测出的表面相关联，我们为模型提供了修正其估计值的直接机制。由于主要的驱动因素在于对齐不良，我们探讨了在训练阶段实现密集对齐的路径。为此，我们采用了观测到的手部外观与预测出的手部表面之间的逐像素对齐损失函数。计算此类损失需要三个组成部分：手部的三维模型（由图像转三维方法提供）、手部纹理模型（本研究的重点），以及渲染机制（可通过可微渲染库轻松获取，例如 [^50]），用于将带纹理的网格重新投影到图像上。这种设置使我们能够将预测与观测之间的差异转化为可用的训练信号，并量化其影响。目前尚不存在现成的高质量手部纹理模型。现有的标注数据集往往仅在多视角或摄影棚条件下才提供完整的纹理监督信息，这类数据难以扩展且通常缺乏外观多样性。相比之下，未标注的单目数据虽然丰富，但只能提供不完整且不完美的观测结果。为填补这一缺口，我们利用预训练的三维手部模型从单目图像中直接构建纹理监督信息。通过将可见像素投影到网格表面并将其收集到UV空间中，我们无需真实UV数据即可生成局部的、特定视角的纹理图。随后，这些局部纹理图被嵌入到可学习的纹理表示中（见图1）。为此，我们采用了一种Transformer架构，该架构可直接对稀疏的UV-RGB观测值进行注意力处理。该模块可接受任意数量的输入像素，并输出完整且嵌入后的纹理。这种设计具有灵活性，能够适应不同的可见性与密度水平，因此非常适合从自然场景图像中学习。该方法无需密集的人工标注，支持利用未经整理的单目数据进行训练，并能从部分信号中实现可扩展学习。我们将该模块集成到现有的单目重建流程中，将其附加到将输入图像映射为三维手部网格的模型上（见图3）。训练期间，网格会被重新投影到图像上，利用可见的表面点来提取UV-RGB配对数据。尽管初始的三维预测可能存在误差，但Transformer能将由此产生的稀疏观测值嵌入到完整的纹理表示中。这使得模型能够从不完整的输入中生成连贯的纹理，应对自然场景中常见的各种可见性与观测密度情况。 ## 我们的主要贡献如下： - 我们将纹理从“可有可无的输出”重新定义为一种密集的对齐信号：通过可微渲染技术，我们将图像像素与UV空间中的预测网格关联起来，并通过优化光度对齐损失来修正姿态与形状。 - 我们设计了一个即插即用的纹理模块，该模块能够处理任意稀疏的UV-RGB样本，借助像素级注意力机制与上采样头，合成出对可见性与稀疏性具有鲁棒性的连贯完整纹理嵌入。 - 我们提出了一种可扩展的自举式流程，利用预训练的重建器从单目图像中提取UV-RGB对应关系，从而实现无需真实纹理或多视角数据的自监督训练。 - 该模块可附加到任何可渲染的图像转网格手部流程中，在训练期间提供纹理引导的监督信息；推理时既可冻结也可移除，且不会带来运行时开销，却能带来显著的精度提升。 ### 2. 相关工作手部姿态与形状估计：目前已提出了多种从视觉数据估计手部姿态与形状的方法，这些方法通常依赖参数化模型或体素表示。诸如HAMBA [^17]、Mesh Graphormer [^35]以及HandOS [^6]等方法，利用Transformer架构和基于网格的表示方法，来还原精细的手部形状与姿态。自监督与弱监督学习策略也已被应用于该领域…… --- 为了减少对手部标注数据的依赖，人们也探索了自监督和弱监督学习策略 [^41] [^54]。早期的方法如 [^1]、[^2]、[^19]，主要致力于回归3D手部参数，或从单张图像中直接估计网格顶点。基于体素的技术，比如HandVoxNet及其改进版HandVoxNet++ [^38] [^39]，利用体积占用网格来描述3D空间中的手部几何形态。Luan等人 [^37] 提出了一种可扩展的频域框架，该框架借助基于图的特征映射和频率分解技术，能够重建出细节丰富的3D手部网格。总的来说，这些方法在兼顾准确性、泛化能力以及数据效率方面取得了持续进展，从而推动了手部姿态与形状估计技术的发展。手部纹理模型：为获得照片级真实的渲染效果并准确重建手部外观，建模逼真的手部纹理至关重要。HTML [^49] 提出了一种生成式框架，能够从单目图像中合成细致的手部纹理，从而实现高保真度的外观建模。Handy [^48] 则提出了一种神经参数化手部模型，能够以连贯的方式同时捕捉几何结构与纹理信息，从而在各种观测条件下提升真实感。NIMBLE [^33] 进一步拓展了这一研究方向，它整合了手部形状、姿态和外观的统一模型，能够实现可控且富有表现力的手部合成。这些研究方法共同推动了综合性模型的发展，这类模型不仅涵盖几何信息，还能在不同场景下精准还原手部的外观特征。手部重建：基于卷积神经网络 [^32] [^62] 的方法以现有的纹理模型为基础，引入了光度损失函数。Chen等人 [^7] 提出通过MLP层来回归手部纹理，该方法以全局特征向量作为输入。不过，这种方法在处理遮挡情况时表现较差。近期，研究人员探索了用于建模3D人体手部的生成与重建技术。基于扩散模型 [^10] [^44] 的方法，通过概率生成流程在合成逼真的手部姿态和外观方面展现出了良好效果。神经辐射场（NeRFs）[^40] 也被应用于手部建模，能够生成视角一致且细节丰富的重建结果 [^12] [^13] [^22] [^61]。这些方法利用体积渲染和神经表征技术来捕捉复杂的手部几何结构与关节运动。然而，尽管它们效果显著，但其中许多方法在计算上开销较大且对资源要求高，限制了其在实时或资源受限环境中的实用性 [^8] [^30] [^31]。这便凸显出开发更高效且精准的手部建模技术的必要性。手部数据集：研究人员使用多种数据集来训练手部姿态估计模型。这些数据集提供了在室内和室外环境下采集的3D标注数据。InterHand2.6M [^43]采用多摄像头设置，专注于手部之间的强交互作用。FreiHAND [^63]、HO-3D [^23]以及DexYCB [^3]同样是在多摄像头工作室环境下采集的数据集，重点研究手部与物体的交互情况。通常还会利用在Panoptic Studio [^29] [^53] [^57]中采集的数据集来增强训练过程。此外，AssemblyHands [^45]在参与者执行各种组装和拆卸任务时提供了3D真实值数据，同样是在多摄像头环境下采集的。尽管3D标注至关重要，但2D标注仍发挥着关键作用。因此，像COCO-WholeBody [^28]和Halpe [^18]这样的大规模数据集被广泛采用 [^6] [^47] [^60]。最近推出的HInt [^47]包含了来自3个第一人称视角数据集的2D标注图像，分别是NEWDAYS [^9]、VISOR [^16]和Ego4D [^20]。 ### 3. 方法我们的目标是通过将基于外观的监督信息整合到现有的几何驱动流程中，来改进单目3D手部重建。为此，我们在从图像预测3D手部网格的基线模型（称为BaseNet）基础上，增加了一个纹理模块，该模块能从稀疏的、特定视角的观测数据中重建UV空间纹理。这使我们能够将带纹理的手部重新渲染到输入图像中，并定义一个密集的光度损失函数来指导几何结构的优化。该方法包含三个组成部分：基础重建模型、纹理模型以及相关的训练流程。我们将依次对其进行介绍。 #### 3.1. 手部纹理模型纹理模型能将稀疏且可能带有噪声的外观观测数据转化为连贯的UV空间表示，从而实现密集的图像空间监督，提升预测手部几何结构的对齐度和精确度。纹理模型以一组UV空间外观观测数据 $\mathcal{S} = \{(u_i, c_i)\}_{i=1}^L$ 为输入，其中每个 $u_i \in [0,1]^2$ 代表一个UV坐标，$c_i \in \mathbb{R}^3$ 则是从输入图像中采样的对应RGB颜色。针对这种长度可变的数据输入，模型会预测出与手部网格的固定UV布局相匹配的密集UV纹理图 $\hat{\mathcal{T}} \in \mathbb{R}^{3 \times H_T \times W_T}$。从架构层面来看，我们面临以下挑战：需要处理稀疏、像素级精确且长度可变的数据输入，同时生成结构化的、基于图像的输出。为此，我们采用了一种能关注像素信息的基于Transformer的编码器，再搭配卷积上采样器，最终生成完整的手部纹理。基于Transformer的编码器：给定稀疏观测数据S，我们通过一个 $1 \times 1$ 卷积层对RGB信息进行嵌入，以生成初始特征图。该特征图会被重塑为长度为L、维度为D的标记序列： --- ![Image](images/764b6ea871e2c59cff07cb64072a2631a7028074aa16d0c878ebaaebd36f3cfb.jpg)

Figure 3. Our texture model consolidates variable-length, sparse, view-specific UV-RGB observations, extracted from a predicted 3D hand mesh and camera (BaseNet), into a complete hand texture. RGB values are embedded via a convolutional layer, and UV coordinates are encoded using Random Fourier Features [^55]. These feature pairs are concatenated and processed by a transformer decoder. A convolutional upscaling decoder synthesizes the final, dense texture map.

通过卷积层生成初始特征图，随后将其重塑为长度为L、维度为D的标记序列： $$ \mathbf{E}_{\mathrm{i m g}}=\mathrm{C o n v1D}(S)\in\mathbb{R}^{L\times D}. $$ 为了注入空间上下文信息，我们对每个像素对应的UV坐标施加随机傅里叶编码 [^55] $\gamma(\cdot)$，输入为 $C \in \mathbb{R}^{2 \times L}$，最终得到位置编码 $\mathbf{E}_{\text{pos}} \in \mathbb{R}^{L \times D'}$： $$ \mathbf{E}_{\mathrm{pos}}=\gamma(C). $$ 我们将这些编码拼接起来： $$ \mathbf{E}=\left[\mathbf{E}_{\mathrm{i m g}}\parallel\mathbf{E}_{\mathrm{p o s}}\right]\in\mathbb{R}^{L\times\left(D+D^{\prime}\right)}. $$ 为了聚合全局特征，我们引入了一组数量为T的学习到的查询词元$Q \in \mathbb{R}^{T \times (D+D')}$，它们通过Transformer机制来关注$\mathbf{E}$。这一功能是通过PyTorch中的TransformerDecoder实现，共包含$\mathbf{K}$层： $$ \mathbf{Z}=\operatorname{T r a n s f o r m e r}(Q,\mathbf{E}^{\top}), $$ 其中，$\mathbf{Z} \in \mathbb{R}^{T \times D''}$包含了编码后的场景信息，而$\mathbf{E}$则充当键和值的作用。卷积上采样解码器：我们采用解码器将潜变量表示Z转换为全分辨率纹理。它利用像素重排操作[^52]逐步对特征进行上采样，这种方式能高效细化图像细节并提升空间分辨率，最终达到$224 \times 224$像素。每个阶段都会对特征表示进行细化，最终的卷积操作会将上采样后的特征投影到RGB空间，从而生成最终的手部纹理$\hat{T} \in \mathbb{R}^{3 \times 224 \times 224}$，整个过程共使用5个上采样层。弱监督纹理学习：如第4节所述，最有益的微调策略是先预训练纹理模型，然后在后续对BaseNet进行微调时将其置于固定的推理模式使用。我们在弱监督环境下训练纹理模型，使用的是从单目图像中提取的部分外观观测数据。对于每张训练图像I，我们获取预测的网格和相机参数$(\hat{M}, \hat{c}) = f_{\text{base}}(I)$，通过将可见的网格顶点投影到图像中并将它们的外观信息与UV坐标关联，从而得到一组UV-RGB样本$\mathcal{S} = \{(u_i, c_i)\}_{i=1}^L$。这些样本仅对UV域中可见的子集提供监督信息。纹理模型被训练以重建完整的纹理$\hat{\mathcal{T}} = T(\mathcal{S})$，使其在与对应UV位置处的观测颜色保持一致。我们在UV空间中定义了一个稀疏的监督图$T^*$，将每个$u_i$与其观测到的颜色$c_i$对应起来，同时用一个二值掩码$\mathcal{M} \in \{0,1\}^{H_T \times W_T}$来标识哪些纹理元素是被观测到的。损失函数由带掩码的$L_1$项以及频域一致性损失组成： $$ \mathcal{L}_{\mathrm{w e a k}}=\left\|\mathcal{M}\cdot(\hat{\mathcal{T}}-\boldsymbol{T}^{*})\right\|_{1}+\lambda_{\mathrm{f r e q}}\cdot\mathcal{L}_{\mathrm{F o u r i e r}}, $$ $$ \mathcal{L}_{\mathrm{F o u r i e r}}=\left\||\mathcal{F}(\hat{\mathcal{T}}\cdot\mathcal{M})|-|\mathcal{F}(T^{*}\cdot\mathcal{M})|\right\|_{1}, $$ 其中，$\mathcal{F}(\cdot)$表示独立应用于每个通道的离散傅里叶变换。这种组合既保证了观测区域内的局部准确性，又维护了频域上的全局一致性，从而帮助模型即使面对稀疏且不完整的输入也能生成连贯的纹理。训练样本是伪标记的。其中一部分随机样本直接取自参数化纹理模型的纹理空间，比如我们案例中使用的HTML模型[^49]。大部分样本则是通过在真实数据上反向投影BaseNet推断出的姿态而得到的部分纹理，其中还包含了各种瑕疵。训练过程中，我们对纹理的整体颜色进行随机化处理，以促使模型不会过度偏离极端情况，比如纹身、手套、遮挡物等。 --- #### 3.2. 扩展单目3D重建我们考虑一种单目手部重建系统，记为$\text{BaseNet}$，该系统将输入图像$I \in \mathbb{R}^{3 \times H \times W}$映射为3D手部网格和相机估计结果，表示为$(\hat{M}, \hat{c}) = f_{\text{base}}(I)$。我们假设预测的网格$\hat{M}$具有固定的拓扑结构以及一致的UV映射。利用该图像、预测的几何信息和相机参数，我们通过将可见表面点反投影到图像中来提取UV-RGB对应关系$\mathcal{S} = \mathcal{P}(I, \hat{M}, \hat{c})$。这些稀疏样本会被送入纹理模块，从而预测出密集的UV空间纹理$\hat{\mathcal{T}} = T(\mathcal{S})$。带有纹理的网格会通过可微渲染器进行渲染，生成合成图像$\hat{I}_{\text{hand}} = \mathcal{R}(\hat{M}, \hat{\mathcal{T}}, \hat{c})$，再将其与输入图像的外观进行比较。为了便于说明，我们以简化且模块化的形式呈现整个监督流程。最终的训练目标如下： $$ \mathcal{L}_{\mathrm{t o t a l}}=\underbrace{\mathcal{L}_{\mathrm{b a s e}}}_{\mathrm{B a s e N e t}}+\lambda_{\mathrm{t e x}}\cdot\underbrace{\mathcal{L}_{\mathrm{t e x}}(I,\hat{I}_{\mathrm{h a n d}})}_{\mathrm{T e x t u r e p a t h}}. $$ 在本研究中，我们使用HaMeR [^47]来实例化BaseNet，HaMeR是一种性能优异的、基于Transformer的无额外修饰模型，专门用于单目3D手部重建。HaMeR能够从单张图像中预测手部姿态、形状和相机参数，进而回归出MANO [^51]模型。对于可微渲染，我们采用了PyTorch3D [^50]，它能够高效地处理带纹理网格的投影和光栅化操作。总体而言，为了获得更优的方法，我们通过融入上述改进来对BaseNet进行微调。 #### 3.3. 整体整合以我们的纹理模型作为BaseNet的辅助模块，我们开展了一项微调任务。我们重新训练预训练的BaseNet，保持其主干网络固定不变，仅调整其头部结构。除非另有说明（详见第4节的消融实验），我们的纹理模型也保持固定。我们只需在原有的BaseNet损失函数基础上加入我们自定义的损失项即可。除此之外，在配置和数据集方面，我们遵循BaseNet原有的训练策略。训练过程中，BaseNet会学习调整其头部结构，以降低训练数据上的对齐误差。最后，该纹理模块包含110万个参数，每次训练耗时约70毫秒。 ### 4. 实验结果我们分两部分评估所提出的方法。首先，我们验证了将基于外观的监督机制融入现有单目3D手部重建流程所产生的积极效果。随后，我们深入探讨了纹理模型本身固有的某些特性。在整个实验中，我们采用了受控的实验设置：保持主干网络冻结，使用轻量级的纹理模块，以便专注于分析纹理引导信号所带来的附加价值。 ![Image](images/93729532fb4cf9e5211e94cd25283e0c584b13ef6a3613fbb1975e179a2f3aa2.jpg)

Figure 4. During training, the current 3D estimate from BaseNet is used to extract a noisy partial hand texture from the observation. This is refined through our texture model and is used to render a textured 3D hypothesis. The difference between the observation and the rendering comprises our additional loss term.

实验结果表明，在不同数据集和评价指标上均取得了稳定的提升，这说明即便在保守的实验条件下，外观监督机制也能为几何驱动的训练提供有意义的补充，从而为后续更复杂的改进奠定基础（详见第5节）。实验在一台双插槽AMD EPYC 7513服务器上进行，该服务器配备64个物理核心、1 TB内存，以及$4 \times$块NVIDIA A100-SXM4-80GB GPU，运行CUDA 12.4。在本研究中，我们仅使用了其中一块GPU。 #### 4.1. 对比评估我们使用HaMeR [^47]来实例化BaseNet，在本研究中，这两个术语可互换使用。在评估时，我们遵循HaMeR的实验设置，采用HInt数据集，该数据集包含来自三个以自我为中心的数据集的带2D标注的图像：NEWDAYS [^9]、VISOR [^14]和Ego4D [^20]。我们采用PCK指标 [^59] 来评估性能，这一做法与HaMeR的方案一致。为了确保公平比较，并将观察到的效果完全归因于我们的纹理模块，我们有意不对包含超过6亿个参数的HaMeR主干网络进行重新训练。鉴于其庞大的参数量，重新训练可能会掩盖我们相对轻量级的模块所产生的影响，从而难以分离出基于纹理的监督机制所起的作用。 ##### 4.1.1. 定量分析为了量化我们的纹理模型（通过密集对齐损失函数体现）所产生的效果，我们按照HaMeR的原始实现方式以及我们在训练阶段所做的改进，对HaMeR验证协议 [^47] 进行了评估。表1中的结果显示，在所有数据集和阈值下，我们的方法在“全部”和“被遮挡”关键点类别上的表现始终优于HaMeR，且提升最为显著。 ---

Category	Method	NEWDAYS			VISOR			Ego4D
Category	Method	@0.05	@0.10	@0.15	@0.05	@0.10	@0.15	@0.05	@0.10	@0.15
All	HaMeR [^47]	49.4	79.3	89.8	44.4	77.5	89.7	40.3	72.4	85.2
All	Ours	49.5	79.5	89.9	46.8	79.1	90.6	42.6	73.5	86.1
Visible	HaMeR [^47]	62.2	89.0	95.1	58.5	88.4	95.0	53.9	84.2	91.8
Visible	Ours	61.9	88.8	95.0	61.2	89.0	95.3	57.2	84.8	92.3
Occluded	HaMeR [^47]	28.4	62.4	80.1	26.9	61.8	81.2	24.3	58.7	77.3
Occluded	Ours	29.3	63.0	80.4	29.4	64.2	82.8	26.2	60.1	78.8

Table 1. Comparison between HaMeR and our method on the Hint dataset at different thresholds. The proposed approach achieves better performance on this dataset. While HaMeR does outperform the proposed approach on the “visible keypoints” of the NEWDAYS subset, the difference is marginal.

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	F@5 $\uparrow$	F@15 $\uparrow$
I2L-MeshNet [^42]	7.4	7.6	0.681	0.973
Pose2Mesh [^11]	7.7	7.8	0.674	0.969
I2UV-HandNet [^4]	6.7	6.9	0.707	0.977
METRO [^34]	6.5	6.3	0.731	0.984
Tang et al. [^56]	6.7	6.7	0.724	0.981
Mesh Graphormer [^35]	5.9	6.0	0.764	0.986
MobRecon [^5]	5.7	5.8	0.784	0.986
AMVUR [^27]	6.2	6.1	0.767	0.987
HaMeR [^47]	6.0	5.7	0.785	0.990
Ours	6.1	5.7	0.785	0.990

Table 2. The proposed method achieves performance comparable to that of the initial method on the FreiHAND [^63] dataset.

尤其是在被遮挡的关键点上观察到了明显的效果。例如，在VISOR数据集上，当阈值为0.10时，我们的方法在被遮挡关键点上的PCK值达到64.2%，而HaMeR仅为61.8%。这种趋势在所有被遮挡的情况中均保持一致，充分体现了我们的纹理引导监督机制在可见性受限场景下的有效性。在“可见”类别中，两种方法的表现相当：HaMeR在NEWDAYS子集上的得分略高（最大差异为0.3），而我们的方法在VISOR和Ego4D数据集上则取得了最佳或同等的结果。总体而言，这些结果验证了引入基于外观的对齐机制的好处，尤其是在存在遮挡的情况下，同时该方法在可见区域仍能保持具有竞争力的性能。此外，我们还在标准化的3D基准测试中进行了对比，例如FreiHAND [^63]基准测试（见表2）以及HO3Dv2 [^23] [^25]基准测试（见表3）。这些结果显示，我们的性能与HaMeR相当，在实验室采集的、标注完整且相对干净的数据集上并未出现性能退化，同时在以自我为中心、自然场景或严重遮挡的场景中则实现了性能提升。类似地，我们的方法也与另一项近期的前沿基线方法HAMBA [^17] 表现相当（见表4），该方法基于改进的Mamba [^15] [^21]架构，并配备了额外的组件和训练策略。

Method	AUC $_J$ $\uparrow$	PA-MPIPE $\downarrow$	AUC $_V$ $\uparrow$	PA-MPVPE $\downarrow$	F@5 $\uparrow$	F@15 $\uparrow$
Liu et al. [^36]	0.803	9.9	0.810	9.5	0.528	0.956
HandOccNet [^46]	0.819	9.1	0.819	8.8	0.564	0.963
I2UV-HandNet [^4]	0.804	9.9	0.799	10.1	0.500	0.943
Hampali et al. [^23]	0.788	10.7	0.790	10.6	0.506	0.942
Hasson et al. [^26]	0.780	11.0	0.777	11.2	0.464	0.939
ArtiBoost [^58]	0.773	11.4	0.782	10.9	0.488	0.944
Pose2Mesh [^11]	0.754	12.5	0.749	12.7	0.441	0.909
I2L-MeshNet [^42]	0.775	11.2	0.722	13.9	0.409	0.932
METRO [^34]	0.792	10.4	0.779	11.1	0.484	0.946
MobRecon[^5]	-	9.2	-	9.4	0.538	0.957
Keypoint Trans [^24]	0.786	10.8	-	-	-	-
AMVUR [^27]	0.835	8.3	0.836	8.2	0.608	0.965
HaMeR	0.846	7.7	0.841	7.9	0.635	0.980
Ours	0.844	7.8	0.840	8.0	0.630	0.980

Table 3. Comparison with the state-of-the-art on the HO3D dataset [^23]. We use the HO3Dv2 protocol and report metrics that evaluate accuracy of the estimated 3D joints and 3D mesh PA-MPVPE and PA-MPJPE numbers are in mm.

有趣的是，我们仅通过在原本未做特殊处理的基于Transformer的架构上添加训练阶段的监督机制，就获得了类似的性能。

Method		New Days			VISOR			Ego4D
Method		@0.05@0.10@0.15			@0.05@0.10@0.15			@0.05@0.10@0.15
All	HAMBA [^17]	48.7	79.2	90.0	47.2	80.2	91.2	41.7	72.9	85.5
All	Ours	49.5	79.5	89.9	46.8	79.1	90.6	42.6	73.5	86.1
Vis.	HAMBA [^17]	61.2	88.4	94.9	61.4	89.6	95.6	56.0	84.3	91.9
Vis.	Ours	61.9	88.8	95.0	61.2	89.0	95.3	57.2	84.8	92.3
Occl.	HAMBA [^17]	28.2	62.8	81.1	29.9	66.6	84.3	25.2	59.2	77.6
Occl.	Ours	29.3	63.0	80.4	29.4	64.2	82.8	26.2	60.1	78.8

Table 4. Performance comparison between our method and HAMBA [^17] on the HInt dataset. Best results are shown in bold.

##### 4.1.2. 定性分析根据定量分析的结果（见4.1.1节），我们选取了一些样本，用以说明定量改进在视觉效果和贴合度方面的具体体现。如图5所示，通过我们的纹理模型实现的训练过程中的密集对齐，能够生成 ---

	Variant	New Days			VISOR			Ego4D
		@0.05@0.10@0.15			@0.05@0.10@0.15			@0.05@0.10@0.15
All	H&M*	45.9	78.1	89.6	39.9	76.8	89.7	37.1	71.4	85.0
	H&M	47.4	79.2	90.0	43.4	77.8	90.1	40.7	72.9	85.6
	H	49.5	79.5	89.9	46.8	79.1	90.6	42.6	73.5	86.1
Visible	H&M*	58.1	87.7	94.9	51.4	87.6	95.2	48.3	82.6	91.7
	H&M	58.7	88.5	95.1	56.5	88.4	95.3	54.0	83.8	92.1
	H	61.9	88.8	95.0	61.2	89.0	95.3	57.2	84.8	92.3
Occluded	H&M*	26.2	61.4	80.2	26.1	61.6	81.3	23.4	58.0	77.4
	H&M	29.0	62.7	81.0	27.6	62.8	81.6	25.7	59.8	78.1
	H	29.3	63.0	80.4	29.4	64.2	82.8	26.2	60.1	78.8

Table 5. Performance comparison on the HInt dataset with the head retrained using the texture module. We denote training the Head by H, training the head with the warmed up texture module by H&M. Finally, H&M $^{*}$ denotes training of the head and the texture module from scratch.

# Visible Pixels	L1 $\downarrow$	SSIM $\uparrow$
200	7.6	0.85
500	6.2	0.89
1000	5.9	0.89
2000	5.4	0.91
ALL	3.3	0.95

Table 6. Quantitative metrics on the effect the number of visible UV pixels has on texture reconstruction quality.

与对应观测结果更“贴合”的假设叠加图像。例如，一个明显的视觉改进体现在手指的定位更加准确。 #### 4.2. 纹理模型的相关见解我们分析了不同配置对我们所提方法或纹理模型本身性能的影响。在评估纹理质量或保真度时，我们采用SSIM和L1指标，并与基于HTML生成的已知真实值进行对比 [^49]。初始化/冻结？针对HaMeR的微调，我们比较了以下变体： - H：仅对HaMeR的头部进行微调（纹理模块已预先训练好）， - H&M：同时对HaMeR的头部以及已预先训练的纹理模块进行微调， - $H \& M$：与$H \& M$类似，但使用的是随机初始化的纹理模型。表5中的结果表明，在此情境下H是最有效的方案，也是我们后续研究采用的方案。可以预见的是，若条件发生变化或处于不同设置下，结果可能会有所不同（详见第5节）。观测密度与“召回率”：由于单次观测只能提供部分的UV坐标信息，因此了解被观测到的UV像素对数量如何影响纹理重建质量至关重要。为探究这一问题，我们改变了输入给纹理模块的可见UV样本数量（见表6）。我们发现，即便仅有1,000个可见UV像素，我们的方法仍能保持较高的重建保真度。在该阈值之上，L1损失和SSIM指标均保持稳定；而低于该阈值时，重建质量会明显下降。这一分析表明，所提出的方法能够很好地应对自然场景中单目数据常见的稀疏且不完整的监督问题，在无法完全观测到物体表面的现实条件下依然适用。超参数调优：我们通过调整Transformer层数K和嵌入维度D来寻找纹理模块的最佳架构配置（见公式(1)）。表7总结了这些选择所产生的影响，评估指标为L1损失和SSIM。我们发现，在多种配置下SSIM值始终较高（最高可达0.95），说明感知质量表现稳健。不过L1损失的变化较大，当层数为8且嵌入维度为6时，其取值最低（3.35）。这表明增加模型深度并选取适度的嵌入尺寸能够逐步提升像素级精度，同时整体视觉质量仍保持稳定。这正是我们后续研究采用的配置。迈向更优质的纹理：通过大量实验，我们很快确定了能持续生成更清晰、更逼真纹理的设计方案。使用像素重排技术进行上采样、引入基于傅里叶的位置编码，以及采用中等深度的Transformer骨干网络，被证明尤为有效。此外，结合L1损失和傅里叶域损失对于生成高保真纹理至关重要。这些设计使得纹理模块即便在监督信息有限的情况下也能可靠运行，从而适用于实际场景中的单视图重建任务。

# of Layers	Emb. Dim	L1 $\downarrow$	SSIM $\uparrow$
6	6	6.25	0.90
8	8	5.45	0.90
4	6	5.12	0.91
4	8	4.36	0.94
6	8	3.77	0.95
8	6	3.35	0.95

Table 7. Performance metrics for different number of layers and embedding dimensions.

### 5. 结论与未来工作我们的研究表明，仅在训练阶段添加轻量级的纹理感知监督模块，就能系统性地提升单目三维手部重建效果，且推理阶段的架构无需更改——测试时的唯一区别就是权重得到了优化。注入 --- ![Image](images/d51345dd0f2b4419e9314f0c1b56e280494fb00f41fced8eb91e30b5fb3610c6.jpg)

Figure 5. Indicative qualitative results on the HInt dataset. The first column shows the input image. The second column presents the estimated hand prediction from HaMeR. The third column displays the predicted result from our method. Evidently the proposed method, using texture priors, can better estimate the hand shape and pose.

将细粒度的外观线索融入优化过程后，在遮挡严重的HInt帧上PCK值最多可提高2.7%；在FreiHAND和HO-3D数据集上也能获得稳定但幅度较小的提升。这种效果在仅依靠几何线索难以判断的场景中尤为明显——比如严重遮挡或以自我为中心的视角下，这凸显了纹理信息的互补价值。所提出的模块具备实用性：它无需额外的手动标注，仅需1000个观测到的纹理像素即可重建密集的UV贴图；每次训练迭代耗时不到70毫秒，且测试阶段不会产生额外开销。采用傅里叶位置编码与像素重排上采样的中等深度Transformer，能在精度与效率之间取得最佳平衡。我们的工作为将学习到的纹理先验整合到单目3D手部重建流程中提供了完整且模块化的解决方案。在多个基准测试中的结果证实，该方法实现了核心目标：在弱监督设置下提升几何与外观精度，且无需依赖多视角数据或密集标注。该框架具备鲁棒性、可扩展性，能够直接应用于实际场景。不过，此处开发的工具与研究成果自然催生出诸多颇具前景的拓展方向： - 将这种纹理先验应用到更多类型的手部重建骨干网络中，以进一步验证其通用性。 - 开发更先进的可微渲染策略以提升训练稳定性与收敛速度，正如[^30]中所倡导的那样。 - 通过针对性的弱监督训练，探索将该纹理模块用作姿态估计误差的去噪器。 - 深入研究纹理先验与基础网络之间的更紧密集成方式，以期在优化动态方面获得更大提升。 --- ## 致谢本研究得到了欧盟（EUHE Magician项目，授予协议编号101120731）以及FORTH-ICS内部项目“大规模、多样化的人手3D建模”——DiveHands的支持。作者们也衷心感谢VMware大学研究基金（VMURF）对本研究的资助。GP还得到了NSF-2504906项目的支持，以及Adobe和Google提供的资助。 ## 参考文献 [^1]: Danilo Avola, Luigi Cinque, Alessio Fagioli, Gian Luca Foresti, Adriano Fragomeni, and Daniele Pannone. 3d hand pose and shape estimation from rgb images for keypoint-based hand gesture recognition. Pattern Recognition, 129:108762, 2022. 3 [^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10843–10852, 2019. 3 [^3]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021. 3 [^4]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12929–12938, 2021. [^5]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20544–20554, 2022. 6 [^6]: Xingyu Chen, Zhuheng Song, Xiaoke Jiang, Yaoqing Hu, Junzhi Yu, and Lei Zhang. Handos: 3d hand reconstruction in one stage. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 17304–17314, 2025. 2, 3 [^7]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10451–10460, 2021. 3 [^8]: Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav Pidhorskyi, Tomas Simon, Rohan Joshi, Yuan Dong, Yichen Xu, Bernardo Pires, et al. Urhand: Universal relightable hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 119–129, 2024. 3 [^9]: Tianyi Cheng, Dandan Shan, Ayda Hassen, Richard Higgins, and David Fouhey. Towards a richer 2d understanding of 大规模人手建模。《神经信息处理系统进展》第36卷：30453–30465页，2023年。3, 5 [^10]: Wencan Cheng, Hao Tang, Luc Van Gool, and Jong Hwan Ko. Handdiff: 3d hand pose estimation with diffusion on image-point cloud. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2274–2284, 2024. 3 [^11]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 769–787. Springer, 2020. 6 [^12]: Hongsuk Choi, Nikhil Chavan-Dafle, Jiacheng Yuan, Volkan Isler, and Hyunsoo Park. Handnerf: Learning to reconstruct hand-object interaction scene from a single rgb image. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 13940–13946. IEEE, 2024. 3 [^13]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20533–20543, 2022. 3 [^14]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018. 5 [^15]: Tri Dao and Albert Gu. Transformers are SSMs: Generalized models and efficient algorithms through structured state space duality. In International Conference on Machine Learning (ICML), 2024. 6 [^16]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. Epic-kitchens visor benchmark: Video segmentations and object relations. Advances in Neural Information Processing Systems, 35:13745–13758, 2022. 3 [^17]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. Advances in Neural Information Processing Systems, 37:2127–2160, 2024. 2, 6 [^18]: Hao-Shu Fang, Jiefeng Li, Hongyang Tang, Chao Xu, Haoyi Zhu, Yuliang Xiu, Yong-Lu Li, and Cewu Lu. Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time. IEEE transactions on pattern analysis and machine intelligence, 45(6):7157–7173, 2022. 3 [^19]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10833–10842, 2019. 3 ## [^20]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d --- 全球范围内的3000小时自我中心视频研究。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第18995–19012页，2022年。3, 5 [^21]: Albert Gu and Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint arXiv:2312.00752, 2023. 6 [^22]: Zhiyang Guo, Wengang Zhou, Min Wang, Li Li, and Houqiang Li. Handnerf: Neural radiance fields for animatable interacting hands. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 21078–21087, 2023. 3 [^23]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 3, 6 [^24]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11090–11100, 2022. 6 [^25]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, 2022. 6 [^26]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 6 [^27]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 758–767, 2023. 6 [^28]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In European Conference on Computer Vision, pages 196–214. Springer, 2020. 3 [^29]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social motion capture. In Proceedings of the IEEE international conference on computer vision, pages 3334–3342, 2015. 3 [^30]: Giorgos Karvounas, Nikolaos Kyriazis, Iason Oikonomidis, Aggeliki Tsoli, and Antonis A Argyros. Multi-view image-based hand geometry refinement using differentiable monte carlo ray tracing. In British Machine Vision Conference (BMVC 2021), Virtual, UK, 2021. BMVA. 3, 8 [^31]: Giorgos Karvounas, Nikolaos Kyriazis, Iason Oikonomidis, and Antonis Argyros. Dynamic multiview refinement of 3d hand datasets using differentiable ray tracing. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3156–3166, 2023. 3 [^32]: Minje Kim and Tae-Kyun Kim. Bitt: Bi-directional texture reconstruction of interacting two hands from a single image. 载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第10726–10735页，2024年。 [^33]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: a non-rigid hand model with bones and muscles. ACM Transactions on Graphics (TOG), 41(4):1–16, 2022. [^34]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021. 6 [^35]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. 2, 6 [^36]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 14687–14697, 2021. 6 [^37]: Tianyu Luan, Yuanhao Zhai, Jingjing Meng, Zhong Li, Zhang Chen, Yi Xu, and Junsong Yuan. Scalable high-fidelity 3d hand shape reconstruction via graph-image frequency mapping and graph frequency decomposition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025. 3 [^38]: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 7113–7122, 2020. 3 [^39]: Jameel Malik, Soshi Shimada, Ahmed Elhayek, Sk Aziz Ali, Christian Theobalt, Vladislav Golyanik, and Didier Stricker. Handvoxnet++: 3d hand shape and pose estimation using voxel-based neural networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(12):8962–8974, 2021. 3 [^40]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1):99–106, 2021. [^41]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 17028–17037, 2023. 3 [^42]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 752–768. Springer, 2020. 6 ## [^43]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb --- 图像。载于《欧洲计算机视觉会议论文集》，第548–564页。施普林格出版社，2020年。3 [^44]: Supreeth Narasimhaswamy, Uttaran Bhattacharya, Xiang Chen, Ishita Dasgupta, Saayan Mitra, and Minh Hoai. Handdiffuser: Text-to-image generation with realistic hand appearances. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2468–2479, 2024. 3 [^45]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12999–13008, 2023. 3 [^46]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusionrobust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1496–1505, 2022. 6 [^47]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 1, 2, 3, 5, 6 [^48]: Rolandos Alexandros Potamias, Stylianos Ploumpis, Stylianos Moschoglou, Vasileios Triantafyllou, and Stefanos Zafeiriou. Handy: Towards a high fidelity 3d hand shape and appearance model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4670–4680, 2023. 3 [^49]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A parametric hand texture model for 3d hand reconstruction and personalization. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XI 16, pages 54–71. Springer, 2020. 3, 4, 7 [^50]: Nikhila Ravi, Jeremy Reizenstein, David Novotny, Taylor Gordon, Wan-Yen Lo, Justin Johnson, and Georgia Gkioxari. Accelerating 3d deep learning with pytorch3d. arXiv preprint arXiv:2007.08501, 2020. 2, 5 [^51]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Trans. Graph., 36(6):245:1–245:17, 2017. 5 [^52]: Wenzhe Shi, Jose Caballero, Ferenc Huszár, Johannes Totz, Andrew P Aitken, Rob Bishop, Daniel Rueckert, and Zehan Wang. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1874–1883, 2016. 4 [^53]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. 3 [^54]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3d hand pose estimation from monocular rgb via contrastive learning. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11230–11239, 2021. 3 [^55]: Matthew Tancik, Pratul Srinivasan, Ben Mildenhall, Sara Fridovich-Keil, Nithin Raghavan, Utkarsh Singhal, Ravi Ramamoorthi, Jonathan Barron, and Ren Ng. Fourier features let networks learn high frequency functions in low dimensional domains. Advances in neural information processing systems, 33:7537–7547, 2020. 4 [^56]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11698–11707, 2021. 6 [^57]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10965–10974, 2019. 3 [^58]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2750–2760, 2022. 6 [^59]: Yi Yang and Deva Ramanan. Articulated human detection with flexible mixtures of parts. IEEE transactions on pattern analysis and machine intelligence, 35(12):2878–2890, 2012. 5 [^60]: Zhendong Yang, Ailing Zeng, Chun Yuan, and Yu Li. Effective whole-body pose estimation with two-stages distillation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 4210–4220, 2023. 3 [^61]: Allan Zhou, Moo Jin Kim, Lirui Wang, Pete Florence, and Chelsea Finn. Nerf in the palm of your hand: Corrective augmentation for robotics via novel-view synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17907–17917, 2023. 3 [^62]: Jiayin Zhu, Zhuoran Zhao, Linlin Yang, and Angela Yao. Hifhr: Enhancing 3d hand reconstruction from a single image via high-fidelity texture. In DAGM German Conference on Pattern Recognition, pages 115–130. Springer, 2023. 3 [^63]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF international conference on computer vision, pages 813–822, 2019. 3, 6