# TokenHand：用于高效手部网格重建的离散标记表示
何欣果$^{1,2}$ 沈怡欣$^{1}$ 拉胡尔·乔杜里$^{1,2}$
$^{1}$慕尼黑工业大学媒体技术系主席
$^{2}$慕尼黑机器人与机器智能研究所，慕尼黑工业大学
{xinguo.he, yixin.shen, rahul.chaudhari}@tum.de
## 摘要
近年来，手部网格重建受到了越来越多的关注。尽管取得了显著进展，但现有方法往往难以兼顾重建质量与推理效率。在这项工作中，我们提出了TokenHand——一种用于单视图3D手部网格重建的新颖框架，它能够同时实现高精度与实时推理。我们的方法使用M个离散标记来表示3D手部模型，每个标记描述手部的特定子结构。这种组合式表示方式能够以极小的重建误差实现高效的建模。此外，我们将手部网格重建重新定义为分类问题，而非回归任务：具体来说，分类器会根据输入图像预测这M个标记的类别，随后由预训练的解码器网络直接从预测的标记中重建3D手部网格，无需任何后处理。大量实验表明，在标准基准测试中，TokenHand的性能可与现有方法相媲美甚至更优，同时在实际场景中仍能保持极高的效率。
### 1. 引言
由于在增强现实[^16] [^40]、行为理解[^22] [^35]、基于模仿的机器人学习[^17] [^26]等领域有广泛的应用，单视图手部网格重建已成为研究热点。这些应用要求重建结果既准确、鲁棒，又能满足实时运算的计算效率要求。尽管近期的相关方法取得了令人瞩目的进展，但要同时满足所有这些要求仍具挑战性，尤其是在存在遮挡的情况下。
现有的基于图像的3D手部重建方法大致可分为两类。第一类方法利用MANO[^38]等参数化手部模型作为强先验[^30] [^36] [^43] [^53] [^54]。这些方法会提取
Figure 1. Our approach represents a hand model using M discrete tokens, each corresponding to an index in the learned codebook (top). Each token encodes a specific sub-structure of the hand. In each row, changing the value of a single token consistently modifies the same sub-structure (bottom).
通过深度神经网络提取图像特征，并回归出MANO模型对应的形状和姿态参数。得益于所融入的先验知识，这类方法能够生成视觉上逼真的3D手部网格。然而，由于MANO模型具有运动链结构，姿态参数的误差往往会沿着链条逐级累积。结果就是，即便腕关节处的微小偏差也会导致指尖位置出现显著偏移，使得整体重建结果对局部误差极为敏感。第二类方法则直接从输入图像回归出3D手部网格或点云 [^8] [^9] [^14] [^25]。通常，这些方法会先根据手部关节或关键点来提取局部图像特征，再通过2D到3D的映射逐步从粗糙表示恢复出完整网格。这种直接回归方法计算效率较高，且能独立预测每个顶点，避免了关节间的依赖关系。不过，由于缺乏参数化先验，往往会导致几何形状不完整，或出现手指融合、表面不连续等伪影。
我们的目标是结合上述两种范式的优势，
---
通过设计一个既包含强先验以保证手部形状合理，又能维持各局部组件间结构独立性的框架，来实现这两种范式的融合。为此，我们提出了TokenHand，其核心思想是在表征阶段学习手部点云分布之间的依赖关系。
一种直接的方法是收集大量逼真的3D手部模型原型，通过匹配最相似的原型来回归手部网格。虽然这种方法能保证重建出的手部具有真实性，但要想覆盖整个姿态空间，就需要数量庞大的原型，这在计算上根本不可行。受VQ-VAE [^42]的启发，我们转而引入离散表征来建模3D手部配置空间。
我们的表征分为两个阶段。在第一阶段，我们采用Point Transformer作为编码器，将3D手部点云映射为M个令牌特征，每个特征对应手部模型的特定子结构。随后利用共享码本对这些令牌进行量化，从而用M个离散索引紧凑地表示每个手部实例。最后，将量化后的特征解码以重建3D手部点云。所学码本所涵盖的空间具有足够的表达能力，可表征多样化的手部几何形状与姿态。在此阶段，编码器、码本和解码器通过最小化重建损失来联合优化，从而使模型能够有效学习到3D手部的紧凑且结构化的潜在表征。
在第二阶段，我们将3D手部重建视为一个分类问题。给定输入图像后，网络会预测M个标记各自的类别，随后通过解码来重建3D手部模型。解码器可以直接沿用第一阶段的结果，无需额外训练，这使得整个重建过程轻量且适合实时应用。通过将手部模型用离散标记来表示，我们的方法为完整的姿态空间引入了强先验，从而有效避免了直接回归方法中常见的不真实或不完整的重建结果。此外，由于每个标记对应手部的特定子结构，重建过程能保持局部独立性，同时不影响全局一致性。另外，这种离散表示还有潜力与其他离散模态相融合，比如基于文本的手部建模，不过这一方向超出了本文的研究范围。相比现有的最佳实时基线方法，我们的方法效率更高、可扩展性更强，更便于实际部署。我们的主要贡献可总结如下：
大量实验验证了该方法在多个基准测试中的有效性。在FreiHAND和DexYCB数据集上，与现有技术相比，我们的方法始终能取得更优的重建精度。此外，所提出的框架能以65 FPS的速率实时运行，且精度提升了14%。
• 我们提出了一种用于3D手部建模的基于标记的表示方法，通过离散标记有效捕捉手部局部组件之间的结构依赖关系。
- 我们提出了一种新的重建流程，将传统的基于回归的3D手部重建任务重新定义为标记分类问题，既能够实现实时推理，又能保持较高的重建保真度。
- 我们的方法在多个公开基准测试中取得了最先进的性能，展现了出色的精度和效率。
### 2. 相关工作
手部网格重建 从单目图像中进行手部重建大致可分为两大类。第一类方法采用参数化手部模型[2–5, 10, 18, 21, 30, 31, 36, 44, 46, 50–54]，通常采用MANO [^38]，利用神经网络回归形状与姿态系数以推断手部网格。[^18]的开创性工作首次将MANO融入深度网络以实现端到端的参数估计。其他研究则探索了另一种路径：先估计2.5D热图来定位关节，随后再回归对应的MANO参数 [^20] [^32] [^33] [^45]。
第二类方法遵循顶点回归范式，直接估计网格顶点的3D坐标[^8] [^9] [^14] [^25]。随着Transformer架构的快速发展，一些研究[^13] [^23] [^28] [^29] [^37] [^48] [^55]采用基于Transformer的设计来提升表征能力和重建精度。METRO[^51]利用CNN提取全局图像特征，通过将该特征与模板网格的3D坐标反复拼接来构建输入标记。随后，多层Transformer编码器通过逐步降维来回归网格顶点位置。图卷积神经网络（GCNNs）[^24]非常适合建模局部顶点间的相互作用，因此在网格重建中表现优异。Pose2Mesh[^12]采用级联式GCNN架构，从2D姿态输入中回归3D顶点。MeshGraphormer[^29]结合了Transformer和GCNN模块，能够同时捕捉全局依赖关系和局部结构关系。PointHMR[^23]认为，由顶点相关点引导的骨干特征采样能够实现特征与空间位置之间更好的对应关系。
我们的方法与以往的研究不同，引入了离散的标记表示方式，能够在量化潜空间中捕捉手的局部子结构。这种表述方式使我们能够将网格重建转化为分类任务，再借助轻量级解码器实现高效且可扩展的解决方案。
---
Figure 2. Two stages of the TokenHand representation (a, b). In Stage I, a compositional encoder maps the hand point cloud to M tokens, which are quantized using a codebook. Thus, each hand model is represented as a set of discrete codebook indices. In Stage II, hand reconstruction is formulated as a classification task by predicting the categories of the M tokens, corresponding to the codebook entries. The predicted tokens are then decoded by a decoder network to produce the final hand model.
这项任务由轻量级解码器支持，从而实现了高效且可扩展的解决方案。
为了实现实时手部网格重建，各类轻量级架构应运而生。FastViT[^1]提出了一种混合视觉Transformer，通过结构重参数化与训练时过参数化技术的结合，在延迟与精度之间取得了出色的平衡。MoBRecon[^9]通过多个专用组件提升了效率，包括堆叠式二维编码流水线、用于二维到三维映射的位置回归模块，以及基于螺旋采样的图运算单元[^27]。FastMETRO[^11]指出，基于编码器的Transformer的主要性能瓶颈源于输入标记的设计；它采用编码器-解码器架构来分离标记间的交互，从而减少了整体参数数量。我们的方法则从独特的角度出发，将手部网格估计重新表述为对离散标记的分类问题，从而实现快速推理和轻量级架构。
我们的方法TokenHand以单视角RGB图像为输入，重建对应的3D手部网格。重建后的网格包含778个顶点，
### 3. 方法
这些顶点位于3D空间中，其拓扑结构遵循MANO模型。如图2所示，所提出的框架分为两个阶段：第一阶段构建3D手部模型的基于标记的表示，作为紧凑且结构化的潜空间先验；第二阶段利用这一学习到的先验，从输入图像中预测标记类别，再将其解码以生成3D手部网格。
#### 3.1. 标记化
我们将原始的3D手部模型表示为点云$\mathbf{H} \in \mathbb{R}^{778 \times 3}$。随后，通过Point Transformer架构训练一个编码器，将$\mathbf{H}$转换为M个令牌特征。
$$ \mathbf{T}=(\mathbf{t}_{1},\mathbf{t}_{2},\cdots,\mathbf{t}_{M})=f_{e}(\mathbf{H}) $$
其中，每个令牌特征$t_{i}$大致对应3D手部模型的特定子结构。图1展示了几种学习到的令牌表示示例。值得注意的是，学习到的令牌存在一定程度的冗余，因为不同的令牌可能对应重叠的子结构。不过这种冗余增强了令牌空间的表征能力，从而能够更全面地覆盖各种手部几何形状。
根据[^42]的定义，我们定义了一个由码本表示的潜在嵌入空间。
$$ \mathbf{C}=\left(\mathbf{c}_{1},\cdots,\mathbf{c}_{K}\right)^{\mathrm{T}}\in\mathbb{R}^{K\times D}, $$
---
其中，K表示离散码本条目的数量（即分类潜在空间的大小），D为每个嵌入向量的维度$c_i$。每个令牌特征$t_i$通过在该嵌入空间内进行最近邻查找来实现量化，具体公式如下：
$$ q(\mathbf{t}_{i}=k|\mathbf{H})=\begin{cases}{1}&{\mathrm{i f}\;k=\operatorname{a r g}\operatorname*{m i n}_{j}\|\mathbf{t}_{i}-\mathbf{c}_{j}\|_{2},}\\ {0}&{\mathrm{o t h e r w i s e}.}\\ \end{cases} $$
需要注意的是，所有令牌共享同一个嵌入空间C，这有助于实现更稳定、高效的训练。
我们稍微借用符号$q(\mathbf{t}_i)$来表示码本中对应条目的索引。解码器以量化后的令牌嵌入$\mathbf{Z} = (\mathbf{c}_{q(t_1)}, \mathbf{c}_{q(t_2)}, \cdots, \mathbf{c}_{q(t_M)})$作为输入，来重建3D手部模型。
$$ \hat{\mathbf{H}}=f_{d}(\mathbf{Z}). $$
以往基于回归的方法采用多阶段近似策略来建模手部关节与顶点之间的拓扑关系[^9] [^25]。受这些方法的启发，我们构建了一个由一系列回归层组成的级联上采样网格解码器$\mathbf{R}_n$。每个回归层包含一个降维层、一个MetaFormer块[^49]以及一个上采样层。上采样层$\mathbf{U}_n$和降维层$\mathbf{P}_n$均实现为单层MLP。上采样层会逐步增加令牌的数量，直至与手部网格顶点的总数相匹配；而降维层则将特征通道大小调整为3D空间维度。MetaFormer块$\mathbf{MF}_n$作为每个阶段中的核心Transformer单元，其中的令牌混合功能是通过多头自注意力机制来实现的。
$$ \boldsymbol{\ell}=\boldsymbol{w}_{r e c}\mathcal{L}_{1}(\hat{\mathbf{H}},\mathbf{H})+\beta\sum_{i=1}^{M}\|\mathbf{t}_{i}-\mathrm{s g}[\mathbf{c}_{q(\mathbf{t}_{i})}]\|_{2}^{2}, $$
编码器、码本和解码器通过最小化训练数据集上的以下目标函数来联合优化：
其中，$s_g$表示停止梯度操作。这里，$w_{rec}$是重建损失的权重，超参数被设置为$w_{rec} = 10$和$\beta = 5$。我们采用了[^42]中提出的优化策略来解决量化过程中出现的梯度中断问题。不过，这种方法仍然存在码本坍塌现象，即只有有限的一部分码本条目被有效利用。为了缓解这一问题，我们采用指数移动平均（EMA）更新和码本重置（Code Reset）机制，以确保训练更加稳定，并能更好地利用码本。
#### 3.2. 3D手部重建
借助学习到的码本和解码器，我们将3D手部重建问题转化为分类任务。如图2所示，对于裁剪后的输入图像$\mathbf{I}$，我们的模型首先利用骨干网络提取图像特征$\mathbf{X}_b$。随后，令牌生成器以$\mathbf{X}_b$为输入，生成令牌化的网格特征$\mathbf{X}_m \in \mathbb{R}^{N \times C}$，其中N表示采样点的数量，C为特征维度。这些令牌化特征随后被送入分类头，用于预测M个令牌的离散类别。最终，预测出的令牌会被解码以重建3D手部网格。
令牌生成器。受MobRecon [^9]的启发，我们采用基于关键点引导的点采样策略，从骨干网络的输出中提取空间对齐的特征。具体而言，骨干网络首先提取图像特征，这些特征会被送入全局池化层以预测2D手部关节位置。在令牌生成阶段，骨干网络的特征图会被上采样4倍，预测的2D关节坐标则用于在上采样后的特征空间中采样对应的空间位置。所采样的特征将作为后续分类和3D手部重建阶段的令牌特征$\mathbf{X}_{m}$。
分类头。我们首先应用两个残差卷积块[^19]来优化令牌特征。随后将得到的特征展平，并通过线性投影调整其维度：
$$ \mathbf{X}_{f}=\mathcal{L}(\operatorname{F l a t t e n}(\mathcal{C}(\mathbf{X}_{m}))), $$
其中$\mathcal{C}$和$\mathcal{L}$分别表示特征优化模块和线性投影层。这一维特征向量随后会被重塑为矩阵$\mathbf{X}_f \in \mathbb{R}^{M \times D}$，再经由四个MLP-Mixer块[^41]处理，以捕捉令牌间的依赖关系并输出分类对数几率：
$$ \hat{\mathbf{L}}=\mathcal{M}(\mathbf{X}_{f}), $$
其中$\hat{\mathbf{L}} \in \mathbb{R}^{M \times K}$代表预测的令牌对数几率。
训练过程。我们采用两项损失函数来优化分类头。第一项是交叉熵损失，其公式如下：
$$ \ell_{c l s}=\mathrm{C E}(\hat{\mathbf{L}},\mathbf{L}), $$
其中L代表真实令牌标签，这些标签是通过使用预训练编码器对真实3D手部模型进行编码得到的。
我们进一步引入手部重建损失，以最小化预测手部模型与真实手部模型之间的差异。为了实现从解码器到分类头的梯度传播，我们用一种软性推理机制替换了硬性令牌选择，该机制定义如下：
$$ \mathbf{S}=\hat{\mathbf{L}}\times\mathbf{C}, $$
---
其中$\mathbf{S} \in \mathbb{R}^{M \times D}$表示线性插值后的令牌特征。这些特征随后会被送入预训练的解码器中，从而得到预测的手部网格$\hat{\mathbf{H}}$。
重建损失$\ell_{rec}$用于监督顶点、3D关节和2D关节的预测。2D关节坐标$\mathbf{J}_{2d}$以及3D顶点$\mathbf{V}_{3d}$均直接来自模型输出。3D关节位置$\mathbf{J}_{3d}$则是通过固定回归矩阵$\mathbf{J}$根据顶点计算得出的：
$$ \mathbf{J}_{3d}=\mathbf{J}\times\mathbf{V}_{3d}. $$
上述每一项均采用L1损失来衡量预测结果与真实值之间的差距。顶点、3D关节和2D关节各自的损失项$L_{vert}$、$L_{J_{3d}}$和$L_{J_{2d}}$定义如下：
$$ \begin{array}{r}{L_{J_{3d}}=\mathcal{L}_{1}(\hat{\mathbf{J}}_{3d},\mathbf{J}_{3d}),}\end{array} $$
$$ \begin{array}{r}{L_{J_{2d}}=\mathcal{L}_{1}(\hat{\mathbf{J}}_{2d},\mathbf{J}_{2d}),}\end{array} $$
$$ \begin{array}{r}{L_{v e r t}=\mathcal{L}_{1}(\hat{\mathbf{V}}_{3d},\mathbf{V}_{3d}).}\end{array} $$
此处，不带帽子的变量表示真实值，而带帽子的变量则表示预测结果。整体重建目标可表述为：
$$ \begin{array}{r}{\ell_{\mathrm{r e c}}=w_{3d}L_{J_{3d}}+w_{2d}L_{J_{2d}}+w_{v e r t}L_{v e r t},}\end{array} $$
其中权重 $w_{3d}$、$w_{2d}$ 和 $w_{vert}$ 经经验设定分别为 10、1 和 10。由于我们的框架主要聚焦于网格重建，二维关键点主要作为点采样的辅助监督信息，因此无需高精度。最终的目标函数定义为：
$$ \ell_{\mathrm{a l l}}=\ell_{\mathrm{c l s}}+\ell_{\mathrm{r e c}}, $$
注意：训练期间解码器网络保持冻结状态。
### 4. 实验
#### 4.1. 实现细节
我们的方法基于 PyTorch 实现，并在单张 NVIDIA RTX A5000 GPU 上训练。对于分词网络，编码器采用 Point Transformer 模块，解码器则由四个回归层组成。每个回归层包含一个带有基于注意力的令牌混合器的 MetaFormer 块。相应的输入令牌数量分别为 [^48]、[^97]、[^194]、[^389]，输出令牌数量为 [^97]、[^194]、[^389]、[^778]。这些层的特征维度被设置为 [^256]、[^128]、[^64]、[^32]，其中最后一层的输出会经过全连接层处理，以将特征映射为三维空间坐标。用于量化的码本大小为 $512 \times 512$。网络训练使用 ${}^{4}$，基础学习率为 ${}^{6}$，批次大小设为 128。
对于三维手部重建网络，我们采用 FastViT-MA36 [^1] 作为骨干网络，并初始化为 ImageNet 预训练权重。该模型使用 AdamW 优化器训练 300 个周期，批次大小为 64。学习率初始设为 $5e^{-4}$，在 50 个周期后降至 $5e^{-5}$。数据增强包括随机噪声、翻转、旋转和缩放，以提升模型的泛化能力。
#### 4.2. 数据集
分词训练阶段我们使用了多个数据集，包括 FreiHAND [^56]、DexYCB [^6]、InterHand2.6M [^33]、OakInk [^47]、HO3D [^15] 以及 ReInterHand [^34]。对于每个数据集，我们利用提供的 MANO 参数生成对应的三维手部点云。由于许多数据集包含同一手部姿态的多视角图像，为避免冗余，训练时仅保留每个姿态的一个视角。
在三维手部重建方面，我们的主要实验与分析均在 FreiHAND 数据集上进行。FreiHAND 数据集采用其官方的训练-测试划分方式，包含 130,240 个训练样本和 3,960 个测试样本。为了进一步评估我们方法的泛化能力，我们还在大规模 DexYCB 数据集上进行了实验，遵循其官方的 S0 划分协议，该数据集包含 406,888 个训练样本和 78,768 个测试样本。
#### 4.3. 评估指标
为了评估三维手部重建的精度，我们采用了五种常用指标：Procrustes 对齐的平均关节位置误差（PA-MPJPE）、Procrustes 对齐的平均顶点位置误差（PA-MPVPE）、平均关节位置误差（MPJPE）、平均顶点位置误差（MPVPE）以及 F-Score。PA-MPJPE 和 PA-MPVPE 是在预测手部网格与真实手部网格之间进行 Procrustes 对齐后得到的数值。
#### 4.4. 实验结果
在FreiHAND数据集上的评估 为了验证我们提出方法的有效性，我们遵循以往研究的实验设置[^11] [^29]。为了保证公平比较，我们在不采用测试时增强（TTA）的情况下报告所有性能指标，并且在不使用TensorRT优化的情况下测量推理速度（FPS）。如表1所示，与那些并非为实时性能设计的方法（如METRO [^51]和MeshGraphormer [^29]）相比，我们的方法在推理速度上取得了显著提升，至少提高了35 FPS，同时还能实现更高的精度，PA-MPJPE指标改善了0.5毫米。对于那些强调实时执行的方法而言，
---
Table 1. Comparison with state-of-the-art methods on the FreiHAND dataset. "-" indicates results not reported. The best performance is highlighted in bold. Second best performance is underlined.
| Method | Backbone | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | F@05 $\uparrow$ | F@15 $\uparrow$ | FPS |
| I2L-MeshNet [^32] | ResNet50 | 7.4 | 7.6 | 0.681 | 0.973 | 72 |
| CMR [^8] | ResNet50 | 6.9 | 7.0 | 0.715 | 0.977 | - |
| I2UV [^7] | ResNet50 | 7.2 | 7.4 | 0.682 | 0.973 | - |
| Tang et al. [^40] | ResNet50 | 6.7 | 6.7 | 0.724 | 0.981 | 47 |
| MobRecon [^9] | DenseStack | 6.9 | 7.2 | 0.694 | 0.979 | 80 |
| METRO [^51] | HRNet | 6.7 | 6.8 | 0.717 | 0.981 | 27 |
| MeshGraphomer [^29] | HRNet | 6.3 | 6.5 | 0.738 | 0.983 | 24 |
| FastMETRO [^11] | HRNet | 6.5 | 7.1 | 0.687 | 0.983 | 28 |
| Deformer [^48] | HRNet | 6.2 | 6.4 | 0.743 | 0.984 | 33 |
| PointHMR [^23] | HRNet | 6.1 | 6.6 | 0.720 | 0.984 | 33 |
| FastViT [^1] | FastViT-MA36 | 6.6 | 6.7 | 0.722 | 0.981 | 84 |
| Zhou et al. [^55] | HRNet | 5.8 | 6.1 | 0.766 | 0.986 | 33 |
| Ours | FastViT-MA36 | 5.7 | 5.9 | 0.768 | 0.986 | 65 |
Table 2. Comparison of transformer-based approaches.
| Method | #Params | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| METRO [^51] | 102M | 6.7 | 6.8 |
| MeshGraphormer [^29] | 98M | 6.3 | 6.5 |
| FastMETRO [^11] | 25M | 6.5 | 7.1 |
| Ours | 3.0M | 5.7 | 5.9 |
Table 3. Comparison with state-of-the-art methods on the DexYCB dataset. "-" indicates results not reported. The best performance is highlighted in bold. Second best performance is underlined.
| Method | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | MPJPE $\downarrow$ | MPVPE $\downarrow$ |
| METRO [^51] | 7.0 | - | - | - |
| Spurr et al. [^39] | 6.8 | - | - | - |
| Liu et al. [^31] | 6.6 | - | - | - |
| HandOccNet [^36] | 5.8 | 5.5 | 14.0 | 13.1 |
| MobRecon [^9] | 6.4 | 5.6 | 14.2 | 13.1 |
| H2ONet [^43] | 5.7 | 5.5 | 14.0 | 13.0 |
| Zhou et al. [^55] | 5.5 | 5.5 | 12.4 | 12.1 |
| Ours | 5.4 | 5.5 | 12.3 | 12.0 |
我们的模型实现了更优的精度与效率平衡。尽管其速度略慢于FastViT [^1]，但Token-Hand的精度明显更高，PA-MPJPE指标比后者高出0.9毫米。此外，图3给出了推理速度的视觉对比结果。为确保公平性，所有方法均在NVIDIA 2080 Ti GPU上以批量大小1进行评估。无论是实时方法还是非实时方法，我们的方法始终能展现出最佳的整体性能。这些结果表明，我们的方法在精度和速度之间提供了理想的折中方案。
我们还将我们方法的参数效率与基于Transformer的方法进行了比较，表2对此进行了总结。为了公平比较，所报告的参数数量排除了骨干网络组件。现有的基于Transformer的
Figure 3. Trade-off between accuracy and inference speed. Our method exceeds non-real-time approaches ( $\leq$ 40 FPS) in both speed and precision. Compared with real-time methods ( $\geq$ 60 FPS), it achieves noticeably higher accuracy while maintaining comparable inference speed.
流程通常依赖大型解码器模块来恢复精细的手部几何结构。相比之下，我们的方法利用学习得到的码本提供强大的结构先验，从而让解码器能够保持轻量化。因此，TokenHand所需的参数仅约为以往基于Transformer的设计的10%，同时还能提升精度和推理效率。定性对比结果如图4所示。与以往的方法相比，我们的方法能生成更精确且视觉上更一致的3D手部模型。
我们在大规模的物体交互数据集DexYCB上对我们的方法进行了评估，以检验其有效性和泛化能力。如表3所示，我们的模型在所有评估指标上始终优于基于单图像的方法。
---
Figure 4. Qualitative comparison between our method and other state-of-the-art approaches on the FreiHAND dataset.
Table 4. Effect of codebook size on reconstruction accuracy.
| Codebook | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| 384 $\times$ 512 | 4.9 | 5.2 |
| 512 $\times$ 512 | 4.9 | 5.1 |
| 640 $\times$ 512 | 5.1 | 5.4 |
具体而言，与H2ONet相比，我们的模型在MPJPE指标上提升了1.7毫米，在MPVPE指标上提升了1.0毫米[^43]，这一结果确立了新的基准，也证明了我们方法的强大泛化能力。
#### 4.5. 消融研究
为了全面评估不同设计选择的影响，我们在此开展消融研究。我们提出的框架中的每个组件都在多种参数配置下被系统性地检验，以评估其对整体性能的贡献。所有消融实验均在FreiHAND测试集上进行，以确保不同设置间的一致性和可比性。
码本大小的消融研究。TokenHand第一阶段中码本大小的影响如表4所示。对于所选的码本大小，所有配置下的重建结果都保持稳定。这表明所选的码本大小具有足够的表达能力，能够涵盖数据集中存在的各种手部形状和姿态。
对网格回归器核心结构的消融实验。为了评估解码器架构的影响，我们测试了多种回归层的变体，包括不同数量的回归块、各块内不同的标记数量以及特征维度的变化。
如表5所示，仅使用单个回归层时建模能力有限——
Table 5. Effect of regressor layers and token counts.
| Layer Nums | Token Nums | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| 1 | [^48] | 6.4 | 6.8 |
| 2 | [^48] [^194] | 6.1 | 6.4 |
| 2 | [^48] [^389] | 6.1 | 6.3 |
| 3 | [^48] [^97] [^389] | 6.0 | 6.3 |
| 3 | [^48] [^194] [^389] | 5.9 | 6.2 |
| 4 | [^48] [^97] [^194] [^389] | 5.7 | 5.9 |
| 4 | [^48] [^128] [^256] [^512] | 5.9 | 6.1 |
Table 6. Ablation on feature dimensions and the number of MetaFormer blocks in the regressor layer.
| Dimensions | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| 256, 128, 64, 32 | 5.7 | 5.9 |
| 256, 128, 64, 16 | 5.9 | 6.2 |
| 256, 128, 32, 16 | 5.9 | 6.3 |
| 256, 64, 32, 16 | 6.0 | 6.4 |
| Block Nums | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| 1, 1, 1, 1 | 5.7 | 5.9 |
| 2, 2, 2, 2 | 5.8 | 6.0 |
| 3, 3, 3, 3 | 5.8 | 6.1 |
即便增加一层也会带来明显的性能提升，可使PA-MPJPE降低约0.3毫米。随着回归层数量的增加，可观察到一致的趋势：回归堆栈越深，性能逐渐提高。最优配置包含四层回归层，且每一层的标记数量都会以两倍的比例递增。我们进一步验证了其他标记数量配置，发现偏离这种渐进式的$\times 2$缩放策略会导致性能略有下降，这表明这种分层扩展策略能为特征聚合与网格细化提供更有效的结构。
---
Table 7. Ablation on backbone selection and its impact on reconstruction performance.
| Backbone | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| ResNet50 | 6.7 | 6.8 |
| DenseStack | 6.7 | 7.0 |
| HRNet | 6.1 | 6.4 |
| FastViT-MA36 | 5.7 | 5.9 |
我们通过固定标记数量、改变各回归层中特征维度的方式，来评估特征维度的影响。如表6所示，将特征维度逐步缩减至32的配置能实现最佳的重建性能，偏离该设置则会导致性能明显退化。至于各回归层中MetaFormer块的数量，增加块数或计算复杂度对性能的影响微乎其微，甚至可能导致性能轻微下降。
骨干网络选择的消融实验。表7总结了采用不同骨干网络所获得的结果。在所有测试选项中，基于码本的标记表示始终表现出色，能生成稳定的重建质量。与采用相同骨干网络的现有方法相比，TokenHand的性能相当甚至更优，其中FastViT-MA36的整体效果最为突出。
对标记生成器核心结构的消融实验。为了探究如何从骨干网络中高效提取标记特征，我们评估了标记生成器内的几种采样策略，如图5所示。方法A直接对骨干特征图进行空间池化，以获取用作标记特征的单一全局描述符。方法B通过网格采样对骨干特征进行划分，并将每个分区作为标记特征。方法C采用MobRecon [^9]的策略，在预测的2D关键点位置处采样特征。方法D在进行关键点引导采样前，先通过四倍上采样步骤提高骨干特征的空间分辨率。方法E在关键点引导采样前，还会用卷积层对上采样后的特征做进一步增强。方法F遵循FastMETRO [^11]中提出的粗网格采样策略，根据粗网格拓扑从上采样的骨干图中采样特征。
相关结果汇总于表8。仅使用全局特征时性能最低。在低分辨率下，网格采样和基于关键点的采样效果相当。通过一次四倍上采样将特征图分辨率提升至$28 \times 28$后，性能会有明显提升。不过，为上采样后的特征添加额外的卷积层并不会带来进一步的增益。同样，替换关键点——
Figure 5. An illustration demonstrates various designs of token generators.
Table 8. Ablation study of sampling strategies and resolution settings used in the token generator.
| Sample Method | Resolution | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| A | $1 \times 1$ | 6.2 | 6.5 |
| B | $7 \times 7$ | 6.0 | 6.3 |
| C | $7 \times 7$ | 6.0 | 6.3 |
| D | $28 \times 28$ | 5.7 | 5.9 |
| E | $28 \times 28$ enhanced | 5.7 | 5.9 |
| F | $28 \times 28$ | 5.8 | 5.9 |
基于粗网格采样的采样方式并未带来任何改进。基于这些观察结果，我们采用了方法D中的配置——即先进行上采样，再进行关键点引导采样，并将其作为默认设计。
### 5. 结论
在这项工作中，我们提出了TokenHand，这是一个将单视图3D手部网格重建重新表述为离散标记表示的新框架。通过将手部网格编码为一组在量化潜空间中学习到的紧凑结构标记，TokenHand能够高效且准确地表达手部几何信息。这种组合式设计使得重建过程可以被视为一个分类任务，借助预训练的解码器即可直接恢复出高质量的网格，无需后续处理。所提出的设计提供了一种将强大的几何先验与高效推理相结合的原则性方法，在大幅降低模型复杂度的同时保留了细致的结构特征。这种基于标记的视角为可扩展的手部建模指明了有前景的方向，能够支持实时AR/VR以及未来的多模态应用。
---
## 致谢
本研究得到了中国国家留学基金委（CSC）的资助，项目编号为。
## 参考文献
[^1]: Pavan Kumar Anasosalu Vasu, James Gabriel, Jeff Zhu, Oncel Tuzel, and Anurag Ranjan. FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. 3, 5, 6
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the Envelope for RGB-Based Dense 3D Hand Pose Estimation via Neural Rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2
[^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-Supervised Domain Adaptation via GAN and Mesh Model for Estimating 3D Hand Poses Interacting Objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3D Hand Shape and Pose From Images in the Wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[^5]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing Hand-Object Interactions in the Wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2
[^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A Benchmark for Capturing Hand Grasping of Objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 5
[^7]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 6
[^8]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-Space Hand Mesh Recovery via Semantic Aggregation and Adaptive 2D-1D Registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1, 2, 6
[^9]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. MobRecon: Mobile-Friendly Hand Mesh Reconstruction from Monocular Image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 1, 2, 3, 4, 6, 7, 8
[^10]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3D Hand Reconstruction via Self-Supervised Learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 2
[^11]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-Attention of Disentangled Modalities for 3D Human Mesh Recovery with Transformers. In European Conference on Computer Vision (ECCV), 2002. 3, 5, 6, 7, 8
[^12]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose. In European Conference on Computer Vision (ECCV), 2020. 2
[^13]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. Advances in Neural Information Processing Systems, 37:2127–2160, 2024. 2
[^14]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D Hand Shape and Pose Estimation From a Single RGB Image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2
[^15]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A Method for 3D Annotation of Hand and Object Poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 5
[^16]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. MEgATrack: Monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (ToG), 39(4):87–1, 2020. 1
[^17]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. DexPilot: Vision-Based Teleoperation of Dexterous Robotic Hand-Arm System. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2020. 1
[^18]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning Joint Reconstruction of Hands and Manipulated Objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2
[^19]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 4
[^20]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand Pose Estimation via Latent 2.5D Heatmap Regression. In European Conference on Computer Vision (ECCV), 2018. 2
[^21]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-Object Contact Consistency Reasoning for Human Grasps Generation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2
## [^22]: Hanbyul Joo, Tomas Simon, Mina Cikara, and Yaser Sheikh. Towards Social Artificial Intelligence: Nonverbal Social Signal Prediction in a Triadic Interaction. In Proceedings of
---
IEEE/CVF计算机视觉与模式识别会议（CVPR），2019年。1
[^23]: Jeonghwan Kim, Mi-Gyeong Gwon, Hyunwoo Park, Hyukmin Kwon, Gi-Mun Um, and Wonjun Kim. Sampling is Matter: Point-Guided 3D Human Mesh Reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2, 6
[^24]: Thomas N Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. arXiv preprint arXiv:1609.02907, 2016. 2
[^25]: Dominik Kulon, Riza Alp Güler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 1, 2, 4
[^26]: Rui Li, Hongyu Wang, and Zhenyu Liu. Survey on Mapping Human Hand Motion to Robotic Hands for Teleoperation. IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 32(5):2647–2665, 2021. 1
[^27]: Isaak Lim, Alexander Dielen, Marcel Campen, and Leif Kobbelt. A Simple Approach to Intrinsic Correspondence Learning on Unstructured 3D Meshes. In European Conference on Computer Vision (ECCV), 2018. 3
[^28]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-End Human Pose and Mesh Reconstruction with Transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 2
[^29]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh Graphormer. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2, 5, 6, 7
[^30]: Zhifeng Lin, Changxing Ding, Huan Yao, Zengsheng Kuang, and Shaoli Huang. Harmonious Feature Learning for Interactive Hand-Object Pose Estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 1, 2
[^31]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-Supervised 3D Hand-Object Poses Estimation with Interactions in Time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 2, 6
[^32]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image. In European Conference on Computer Vision (ECCV), 2020. 2, 6
[^33]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image. In European Conference on Computer Vision (ECCV), 2020. 2, 5
[^34]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, Tomas Simon, Bo Peng, Shubham Garg, Kevyn McPhail, and Takaaki Shiratori. A Dataset of Relighted 3D Interacting Hands. Advances in Neural Information Processing Systems, 36:17689–17701, 2023. 5
[^35]: Evonne Ng, Shiry Ginosar, Trevor Darrell, and Hanbyul Joo. Body2Hands: Learning To Infer 3D Hands From Conversational Gesture Body Dynamics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1
[^36]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 1, 2, 6
[^37]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing Hands in 3D with Transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2
[^38]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics (TOG), 36(6): 1–17, 2017. 1,2
[^39]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), 2020. 6
[^40]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 1, 6
[^41]: Ilya O Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, and Alexey Dosovitskiy. MLP-Mixer: An all-MLP Architecture for Vision. Advances in Neural Information Processing Systems, 34:24261–24272, 2021. 4
[^42]: Aaron van den Oord, Oriol Vinyals, and koray kavukcuoglu. Neural discrete representation learning. Advances in Neural Information Processing Systems, 30:6309–6318, 2017. 2, 3, 4
[^43]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2ONet: Hand-Occlusion-and-Orientation-Aware Network for Real-Time 3D Hand Mesh Reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 1, 6, 7
[^44]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. BiHand: Recovering Hand Mesh with Multi-stage Bi-sected Hourglass Networks. In Proceedings of the British Machine Vision Conference (BMVC), 2020. 2
[^45]: Linlin Yang, Shicheng Chen, and Angela Yao. SemiHand: Semi-supervised Hand Pose Estimation with Consistency. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2
[^46]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a Contact Potential Field to Model the Hand-Object Interaction. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2
## [^47]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A Large-Scale Knowledge
---
理解手物交互的代码库。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，2022年。5
[^48]: Yusuke Yoshiyasu. Deformable Mesh Transformer for 3D Human Mesh Recovery. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2, 6
[^49]: Weihao Yu, Mi Luo, Pan Zhou, Chenyang Si, Yichen Zhou, Xinchao Wang, Jiashi Feng, and Shuicheng Yan. MetaFormer Is Actually What You Need for Vision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 4
[^50]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting Two-Hand 3D Pose and Shape Reconstruction from Single Color Image. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2
[^51]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-End Hand Mesh Recovery From a Monocular RGB Image. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019-10. 2, 5, 6
[^52]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand Image Understanding via Deep Multi-Task Learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021.
[^53]: Zimeng Zhao, Xi Zhao, and Yangang Wang. TravelNet: Self-supervised Physically Plausible Hand Motion Learning from Monocular Color Images. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 1
[^54]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular Real-Time Hand Shape and Motion Capture Using Multi-Modal Data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 1,2
[^55]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A Simple Baseline for Efficient Hand Mesh Reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2, 6
[^56]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max J. Argus, and Thomas Brox. FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape From Single RGB Images. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019.