# 一种用于高效手部网格重建的简单基准模型周志山 $^{*}$、周世豪 $^{*}$、吕智、邹敏强、唐瑶、梁嘉俊 $^{\dagger}$ 极奥科技 { zhishan.zhou, shihao.zhou, zhi.lv, minqiang.zou, yao.tang, jiajun.liang}@jiiov.com ## 摘要近年来，手部网格重建受到了广泛关注，各类相关方法和技术相继被提出。其中一些方法包含了复杂的组件与设计，虽然效果显著，但可能会致使模型结构复杂化并降低效率。在本文中，我们将网格解码器拆分为令牌生成器和网格回归器。通过大量的消融实验，我们发现令牌生成器应当选取具有区分度且具代表性的点，而网格回归器则需要分多个阶段将稀疏的关键点上采样为密集的网格。基于这些功能特性，我们能够以最少的计算资源实现高性能。基于这一发现，我们提出了一种简单却高效的基准模型，该模型不仅在性能上大幅超越现有最先进的方法，还保持了实时性。我们的方法优于现有解决方案，在多个数据集上均取得了当前最优（SOTA）的结果。在FreiHAND数据集上，我们的方法得到的PA-MPJPE值为5.8毫米，PA-MPVPE值为6.1毫米；在DexYCB数据集上，PA-MPJPE值为5.5毫米，PA-MPVPE值同样为5.5毫米。在性能速度方面，使用HRNet时我们的方法可达到每秒33帧（fps），采用FastViT-MA36时更是能达到每秒70帧。相关代码将会公开。 ### 1. 引言手部网格重建领域发展迅猛，各类网格解码器相继被提出。尽管这些方法的性能值得称赞，但它们往往存在系统复杂度高的问题，包含一些不必要的组件，从而可能影响效率。为了便于清晰讨论，我们将网格解码器拆分为两个主要组成部分：令牌生成器和网格回归器。 ![Image](images/8e422d8e101517e53b73c1863c5a54966b249c8cc1b9f5c26dec174d533d85b1.jpg)

Figure 1. Trade-off between Accuracy and Inference Speed. Our technique surpasses non-real-time methods( $\leq$ 40 fps) in both speed and precision. Compared to real-time methods ( $\geq$ 70 fps), it offers a substantial boost in accuracy while preserving comparable speeds. For fair comparison, all speed evaluations were conducted on a 2080ti GPU with a batch size of one.

令牌生成器发挥着至关重要的作用，它通过将先验信息与图像特征相结合来提取任务特定的特征。例如，FastMETRO [^5]采用了预测弱透视相机参数的策略，以此聚合图像特征；MobRecon [^4]构建了堆叠式编码网络来获取逐步精炼的编码特征，并应用一种名为姿态池化的技术来抑制与关节关键点无关的特征；而PointHMR [^7]则提出使用从3D空间投影到2D空间的顶点位置处采样得到的特征作为中间引导。这些方法共同提供了具备信息量且具区分度的特征，从而提升了系统的整体性能。网格回归器作为第二个组成部分，负责将令牌生成器输出的令牌化特征解码为网格预测结果。FastMETRO [^5]以一组可学习的关节令牌和顶点令牌作为输入，并进行掩码处理 --- 在训练过程中，根据三角网格的拓扑结构，对非相邻顶点的自注意力进行计算。MobRecon [^4]采用了2D到3D的提升以及Poset到顶点的提升策略，以逐步逼近网格。Mesh-Graphormer [^11]则利用粗糙的模板网格进行位置编码，随后通过线性多层感知机（MLP）将粗糙网格上采样至原始分辨率。这些方法旨在缓解因异构模态导致的训练难题。通过大量的消融实验，我们发现令牌生成器的重要结构是采样具有区分度且具代表性的点，而网格生成器的重要结构则是将稀疏的关键点上采样为密集网格。在本文中，我们将这两种结构定义为核心结构。在模型设计过程中，只要能实现核心结构的功能，就能用最少的计算资源达到高性能。通过对现有方法的研究，我们发现了一种有趣的现象：尽管某些方法性能相近，但在特定的失败案例上存在差异。具体而言，采用粗糙采样策略的方法缺乏对捏合等细粒度手势的感知能力；上采样层有限的方法则难以生成合理的手部形状。这一观察促使我们思考：不同的结构会对网格解码器产生何种影响？回答这个问题后，我们便能简化流程，去除多余的计算和复杂组件，从而以简单高效的方式完成网格预测。为了设计简洁的实验，我们从上述两个模块的最简单结构出发，逐步添加并优化从最先进方法中提炼出的常用组件。基于这些观察，我们提出了一种简单的基准方法，其性能显著超越最先进方法且计算效率很高。如图1所示，我们提出的技术在多个数据集上均取得了最先进的性能。在FreiHAND [^28]数据集上，其PA-MPJPE达到5.8毫米，PA-MPVPE达到6.1毫米；在DexYCB [^1]数据集上，这些指标进一步优化为PA-MPJPE 5.5毫米、PA-MPVPE 5.5毫米。我们的方法在效率方面也颇具优势，在HRNet[^23]上能达到每秒33帧（fps），在FastViT-MA36 [^21]上更是高达每秒70帧。我们的贡献可总结如下： 1. 我们将现有方法抽象为令牌生成器和网格回归器模块，分别揭示了这两个模块的核心结构。 2. 基于这些核心结构，我们开发出了一种精简的实时手部网格回归模块，其在效率和精度方面均表现优异。 3. 我们的方法在FreiHAND数据集上的PA-MPJPE达到5.7毫米，PA-MPVPE达到6.0毫米，并在多个数据集上取得了最先进的结果，充分体现了其有效性和普适性。 ### 2. 相关工作在本节中，我们简要回顾现有的手部网格重建方法，它们通常包含两个主要组件：令牌生成器和网格回归器。令牌生成器处理骨干网络的图像特征，生成供解码器使用的令牌；网格回归器则将输入的令牌直接解码为3D网格，或解码为参数化手部模型的系数。 #### 2.1. 手部网格重建从单张图像中估计三维手部网格一直是研究热点。[^27]提出了一种端到端的框架，用于从单目RGB图像中恢复手部网格。他们以二维热图作为输入特征，利用全卷积层和全连接层来回归MANO [^17]参数。 Transformer [^22]在语言和视觉任务中展现出强大的性能，能够建模输入特征之间的长距离关系。MetaFormer [^26]认为，transformer的通用架构而非特定的特征混合模块才是关键。他们用简单的空间池化算子替换自注意力模块，在参数更少、计算量更低的情况下仍能达到具有竞争力的性能。METRO [^11]利用卷积神经网络提取单个全局图像特征，并通过反复将图像特征与网格模板的三维坐标拼接来进行位置编码。随后，多层Transformer编码器利用这些输入特征来回归网格顶点的三维坐标。由于内存和计算的限制，Transformer只能处理经过两次采样算法[^16]处理的粗糙网格，之后再利用多层感知机（MLP）将粗糙网格上采样为原始网格。图卷积神经网络（GCNN）[^9]擅长建模相邻顶点间的局部交互，因此非常适合用于网格重建。Pose2Mesh [^6]设计了级联架构，利用GCNN直接从二维姿态回归三维网格顶点。MeshGraphormer [^11]结合了Transformer和GCNN的优势，提出了一种图卷积增强型Transformer，能够同时建模局部和全局交互。 pointHMR [^7]认为，与其从输入图像中提取全局特征，不如采用由顶点相关点引导的特征采样方式，这样能更好地利用编码特征与空间位置之间的对应关系。他们 --- ![Image](images/c7f44335ee38c14586f8a0cc08a3ac4bef9e34f8c2e95d06a3a9d5c6c55d945e.jpg)

Figure 2. An illustration demonstrates various designs of token generators. The grids colored in red represent the sampled points. a) Global feature; b) Grid sampling; c) Keypoint-guided sampling on the original feature map; d) Keypoint-guided sampling with 4x upsampling, resulting in an enhanced feature; e) Keypoint-guided sampling with 4x upsampling, where the feature is further improved by convolution; f) Coarse-mesh-guided point sampling with 4x upsampling.

通过图像特征与二维热图的元素级乘法来进行特征采样，其中二维热图是通过三维网格顶点的投影训练得到的。这些采样后的特征随后被送入Transformer编码器，以顶点特征的形式配合渐进式注意力掩码进行处理。通过约束注意力掩码来逐步缩小局部连接范围，从而促使模型考虑相邻顶点间的局部关系。他们还使用线性投影来降低编码特征的维度，并利用上采样算法$^{[16]}$将稀疏的顶点扩展为原始的密集顶点。 #### 2.2. 轻量级网络为了实现实时手部网格重建，多年来研究人员对多种轻量级网络进行了研究。FastViT [^21]是一种混合视觉Transformer架构，通过结构重参数化和训练时过参数化技术实现了最佳的延迟-精度平衡。MobRecon [^4]设计了多个复杂的模块来提升效率，包括堆叠式二维编码结构、基于映射的位置回归二维到三维模块，以及基于螺旋采样的图算子[^10]。FastMETRO [^5]指出，基于编码器的Transformer的性能瓶颈源于特征设计问题。他们提出了一种编码器-解码器架构来解耦输入特征间的交互，从而减少参数数量。 ### 3. 方法在我们的研究中，我们将现有方法拆解为两个关键组件：令牌生成器和网格回归器。然而，为这两个模块确定最优的核心结构仍是一项具有挑战性的任务。对于每个模块，我们首先从基础且直观的结构入手，然后逐步融入从最先进（SOTA）方法中提炼出的常用组件。鉴于令牌生成器和网格回归器这两个模块需协同工作，在分析其中一个模块时保持另一个模块的参数不变至关重要。实际操作中，我们首先在令牌生成器参数固定的情况下对网格回归器进行实验，如图2-B所示；随后，再将性能表现最佳的网格回归器配置应用到后续实验中的令牌生成器上。 #### 3.1. 令牌生成器给定一张尺寸为$\{H, W\}$的单张图像，我们的模型会利用主干网络提取图像特征$X_b \in \frac{H}{32} \times \frac{W}{32} \times C$。令牌生成器T以$X_b$为输入，输出经过令牌化处理的网格特征$X_m \in \mathbb{N} \times C$，其中N代表采样点的数量。因此，我们可以将其表示为$X_m = T(X_b)$。从最简单的实现方式开始，我们采用了单次空间池化操作（图2-A）。这种方法构建的基准性能出人意料地具有竞争力，可与Fastmetro [^5]相媲美。将空间池化方式改为点采样（图2-B）后，性能得到了提升。为了进一步提升特征质量，我们借鉴MobRecon [^4]模型的思路，采用关键点引导的点采样方式（图2-C）。但这一修改并未带来明显的性能改善。通过视觉观察发现，$7 \times 7$分辨率下的区分度不够理想。因此，我们采用…… --- 我们在$X_{b}$上应用反卷积操作，分别将特征图采样为$14 \times 14$和$28 \times 28$（图2-D）。这种方式能带来逐步的性能提升，但对于$8 \times$反卷积或更大规模的情况则不再适用。 MobRecon [^4]和PointHMR [^7]等模型通过增强特征（例如采用类似FPN的结构或堆叠模块）实现了性能提升。在我们的研究中，测试了不同的$4\times$上采样方案，包括双重$2\times$上采样、直接$4\times$上采样，以及在上下采样过程中增加更多卷积层（图2-E）。尽管这些方案的计算复杂度各不相同，但性能表现却保持一致。我们还测试了FastMETRO [^5]提出的粗网格采样方法。该方法（图2-F）生成的点比关键点引导采样更密集，但并未展现出显著优势。详细结果见表5。这些实验表明，在合适的分辨率下进行关键点引导的点采样是令牌生成器的关键结构；相比之下，特征增强和详尽的点采样并不像最初认为的那般必要。 #### 3.2. 网格回归器网格回归器R以经过令牌化处理的网格特征$X_m^{\in N\times C}$为输入，输出预测的网格，如图3所示。[^5]和[^4]采用了多阶段近似方法，并提出了多种用于描述关节与网格之间拓扑关系的方式。找到它们的交集部分后，我们便用一系列解码器层构建了一个级联上采样网格回归器R。 $$ R=H_{k}H_{k-1}...H_{0} $$ 每个解码器层$H_{k}$以计算出的词元$T_{k}$作为输入，随后通过降维层、MetaFormer层和上采样层对这些词元进行处理： $$ H_{k}(X_{k})=U_{k}(M F_{k}(P_{k}(X_{k}))) $$ 其中$U_{k}$和$P_{k}$分别表示$k_{th}$上采样层和降维层，二者均由单层MLP构成。上采样层会增加词元数量，而降维层则会改变通道形状。$MF_{k}$表示$k_{th}$ MetaFormer模块，$T_{k}$是$k_{th}$的输出词元，对应$X_{k+1} = H_{k}(X_{k})$和$X_{0} = X_{m}$。设$d_k$为$U_k$的输出维度，$MF_k$、$n_k, c_k$和$m_k$分别为$MF_k$的块数、词元混合器和块维度。我们从第一个层$MF_0$开始演示其运作过程。对于形状为$N \times C$的张量$T_0$，$P_0$会将其投影为$N \times c$，随后由$MF_0$处理并输出相同形状的张量。接着，$U_k$会对其进行上采样得到$d \times c$。后续的解码器层会重复此过程以输出$X_k$。 ![Image](images/3f79c6b5b19f4d1c85b000f78ab2b4e8732ff17dbd929d2b06aba22ad84c65cb.jpg)

Figure 3. Architecture of decoder layer in mesh regressor. It is composed of sequentially connected dimension reduce layer, metaformer block and upsample layer.

我们以一个基线模型作为起点，该模型中的$\{k=1,n=\{1\}, d=\{778\}, m=\{identity\}\}$尽管结构简单，却取得了具有竞争力的性能。随后我们增大n以增加浮点运算次数，但并未观察到性能提升。受[^4]的启发，我们依次添加d值逐渐增大的模块。当$k \leq 3$时，性能显著提升；然而，一旦k继续增大超过该数值，便不再有进一步的性能增益。此外，将词元混合器从id替换为attn也颇具益处。不过，在d固定的情况下，单纯增加n并不能提升性能。根据我们的实验结果，每个解码器层的核心功能是将词元数量从初始的21个逐步提升至778个。诸如增加计算量或调整网络细节等额外策略似乎影响甚微。在我们的最佳实践中，参数被设置为$\{k=3, n=\{1,1,1\}, d=\{21,84,336\}, m=\{attn,attn,attn\}\}$。现有的手部关节与网格拓扑调制方法因其能够融入空间信息而脱颖而出。然而，这类方法的启发式设计严重依赖超参数，且耗时费力。认识到这些优势后，我们提出了一种无需人工设计或额外计算资源即可调制空间关系的新方法。我们通过向每个输出张量$emb_{k}$引入可学习的位置嵌入参数$X_{k}$来实现这一点，其中 $$ X_{k}=X_{k}+emb_{k} $$ #### 3.3. 框架设计如上所述，骨干网络提取的图像特征会依次经过词元生成器和网格回归器的处理。整个框架可通过$R(T(X_{b}))$简单计算得出。核心结构构成了整体架构的基础，如图4所示。给定一张大小为 --- ![Image](images/eb21f4a6a9aaf7dad1eadceff888d74ad848a25af6923031c5c2074df827af2f.jpg)

Figure 4. Overview of our architecture. The architecture of our model proceeds as follows: Firstly, the image feature $X_{b}$ is extracted via a backbone network. These features are then passed to our token generator module, responsible for predicting 2D keypoints and performing point sampling on the upsampled feature map, thus generating joint tokens. Next, these joint tokens are input into our mesh regressor module, which carries out the mesh prediction to get the final coordinates.

$\{H, W\}$的输入图像，我们会根据预测的21个关键点，在分辨率为$H/8$、$W/8$的条件下进行点采样。对于Fast-ViT这类图像分类型骨干网络，我们对其最后一层应用4倍上采样反卷积操作；而对于HRNet这类分割型骨干网络，则直接使用相应分辨率下的特征。在网格回归器中，我们在每个MetaFormer模块前应用位置编码。尽管这并不属于核心结构，但却是一项有益的补充。 #### 3.4. 损失函数本文提出的方法在顶点、3D关节和2D关节的监督下训练。在我们的实现中，记为$J_{2d}$的2D关节以及记为$V_{3d}$的顶点均由模型输出直接预测。记为$J'_{3d}$的3D关节通过公式$J_{3d} = J \times V_{3d}$计算，其中J表示回归矩阵。所有这些组件均利用L1损失来计算真实值与预测值之间的差异。顶点、3D关节和2D关节的损失分别记为$L_{vert}$、$L_{J_{3d}}$和$L_{J_{2d}}$，其公式分别如下： $$ L_{J_{3d}}=\frac{1}{M_{J_{3d}}}\|J_{3d}-J_{3d}^{^{\prime}}\|_{1} $$ $$ L_{J_{2d}}=\frac{1}{M_{J_{2d}}}\|J_{2d}-J_{2d}^{^{\prime}}\|_{1} $$ $$ L_{v e r t}=\frac{1}{M_{V_{3d}}}\|V_{3d}-V_{3d}^{^{\prime}}\|_{1} $$ 此处，$J_{3d} \in R^{M \times 3}$代表所有真实值点，带有撇号标注的符号表示预测值。总体损失函数定义为： $$ L=w_{3d}L_{J_{3d}}+w_{2d}L_{J_{2d}}+w_{v e r t}L_{v e r t} $$ 鉴于本研究的主要目标是网格预测，2D关键点仅影响点采样过程，因此无需追求极高的精度，我们据此将系数$w_{3d}$、$w_{2d}$和$w_{vert}$分别调整为10、1和10。 ### 4. 实验 #### 4.1. 实现细节我们的网络基于PyTorch [^15]实现。我们选用HRNet64[^23]和FastViT-MA36 [^21]作为骨干网络，它们的初始权重均在ImageNet上预训练过。我们使用AdamW [^8]优化器来训练网络，共训练100个epoch。学习率最初设为$5e-4$，50个epoch后调整为$5e-5$。我们在八张RTX2080Ti GPU上训练网络，每张GPU的批量大小为32。使用FastViT-MA36骨干网络时训练时间为7小时，使用HRNet时则为11小时。当骨干网络为HRNet64时，中间层的特征会直接输入到Token Generator中，无需额外的上采样层。Mesh Regressor包含三个编码器层，对应的输入token数量分别为[^21]、[^84]、[^336]，输出token数量分别为[^84]、[^336]、[^778]，特征维度则分别为[^256]、[^128]、[^64]。我们采用Attention作为默认的token混合器，因为其性能略好一些。 #### 4.2. 数据集我们的主要实验与分析在FreiHAND [^28]数据集上进行。为了验证我们方法的泛化能力，我们也在大规模3D手-物体数据集DexYCB [^1]上开展了实验。FreiHAND数据集包含130,240个训练样本和3,960个测试样本；DexYCB则包含406,888个训练样本和78,768个测试样本。 #### 4.3. 评估指标为了评估3D手部网格重建方法的准确性，我们采用五个指标：Procrustes对齐后的平均关节位置误差（PA-MPJPE）、Procrustes对齐后的平均顶点位置误差（PA-MPVPE）、平均 ---

Method	Backbone	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	F@05 $\uparrow$	F@15 $\uparrow$	FPS
I2L-MeshNet [^13]	ResNet50	7.4	7.6	0.681	0.973	72
CMR [^3]	ResNet50	6.9	7.0	0.715	0.977	-
I2UV [^2]	ResNet50	7.2	7.4	0.682	0.973	-
Tang et al. [^20]	ResNet50	6.7	6.7	0.724	0.981	47
MobRecon [^4]	DenseStack	6.9	7.2	0.694	0.979	80
METRO [^27]	HRNet	6.7	6.8	0.717	0.981	27
MeshGraphomer [^11]	HRNet	6.3	6.5	0.738	0.983	24
FastMETRO [^5]	HRNet	6.5	7.1	0.687	0.983	28
Deformer [^25]	HRNet	6.2	6.4	0.743	0.984	-
PointHMR [^7]	HRNet	6.1	6.6	0.720	0.984	-
FastViT [^21]	FastViT-MA36	6.6	6.7	0.722	0.981	84
Ours	HRNet	5.8	6.1	0.766	0.986	33
Ours	FastViT-MA36	5.7	6.0	0.772	0.986	70

Table 1. Results on the FreiHAND dataset. Our results are shown in bold. “-” indicates not reported. Our results surpass all existing methods in terms of accuracy metrics.

关节位置误差（MPJPE）、平均顶点位置误差（MPVPE）以及F-Score。PA-MPJPE和PA-MPVPE分别指将预测的手部结果与真实值通过Procrustes对齐后的MPJPE和MPVPE。这两个指标不考虑全局旋转和缩放的影响。 #### 4.4. 实验结果与以往方法的比较：为了验证我们所提出的模块，我们分别采用HRNet和FastViT-MA36作为非实时和实时方法的骨干网络，这与现有模型保持一致[^27][^11][^5][^21]。为了公平比较，我们提供了未使用测试时增强（TTA）的性能指标以及未经TensorRT优化的FPS数值。表1显示，尽管我们的方法比FastViT稍慢，但PA-MPJPE指标却提升了0.9毫米。与基于Transformer的方法相比，我们的方法在速度和性能上均表现更优，且参数量仅需其10%，如表2所示。

The qualitative comparison results are shown in the figure 5. Compared to previous methods, our method produces more accurate hand reconstruction results.

Method	#Params	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
METRO [^27]	102M	6.7	6.8
MeshGraphormer [^11]	98M	6.3	6.5
FastMETRO [^5]	25M	6.5	7.1
Ours	1.9M	5.8	6.1

Table 2. Comparison of transformer-based approaches. #Params refer to the network parameters that are not included within the backbone structure of the model. Our approach not only surpasses existing benchmarks in key metrics but also achieves a parameter reduction of one to two orders of magnitude.

在DexYCB数据集上的评估：我们利用大规模手-物体数据集DexYCB来验证我们方法的有效性和泛化能力。如表3所示，我们的模型在所有指标上均优于现有的单图像输入方法。值得注意的是，在MPJPE和MPVPE指标上，我们分别比以往基准提升了1.5毫米和0.8毫米，从而树立了新标准，也证明了我们方法的广泛适用性。

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	MPJPE $\downarrow$	MPVPE $\downarrow$
METRO [^27]	7.0	-	-	-
Spurr et al. [^19]	6.8	-	-	-
Liu et al. [^12]	6.6	-	-	-
HandOccNet [^14]	5.8	5.5	14.0	13.1
MobRecon [^4]	6.4	5.6	14.2	13.1
H2ONet [^24]	5.7	5.5	14.0	13.0
Ours	5.5	5.5	12.4	12.1

Table 3. Results on DexYCB. Our method shows advantages on Procrustes-Aligned metrics and surpassed the previous methods by a large margin on non-Procrustes-Aligned metrics.

#### 4.5. 消融实验为了全面验证各种参数组合的效果，我们开展了大量的消融实验。出于效率考虑，所有消融实验均在较小的模型（如Hiera-tiny）上实施。确定最优参数组合后，再将其应用到标准模型上，以便与现有方法进行公平比较。本研究采用最先进的骨干网络Hiera-Tiny [^18]作为强基准。我们在FreiHAND数据集上开展一系列消融实验，旨在检验我们所提出结构的有效性。我们的令牌生成器和网格回归器的有效性：为了评估令牌生成器和网格回归器的有效性，我们首先搭建了一个标准基线模型。该模型的令牌生成器基于全局特征构建，而网格回归器则未被采用。 --- ![Image](images/ae66ad594998f6651f826ff30a526a5ad3403e927ca7605de286467ab3d11497.jpg)

Figure 5. Qualitative comparison between our method and other state-of-the-art approaches.

替换组件被设计为多层感知机（MLP）。随后，我们逐一用所提出的结构替换这些组件。表4详细列出了这些实验的结果，证实当这两个模块取代原有结构后，确实有助于提升整体性能；若两者同时使用，效果还会进一步提升。

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
Simple Baseline	6.9	7.2
+ mesh regressor	6.5	6.8
+ token generator	6.6	7.1
+ both	6.2	6.5

Table 4. Ablation study of our proposed modules. Each of these methods brings about enhancements when utilized individually. However, when these strategies are integrated, they yield an even more substantial improvement.

令牌生成器核心结构的分析：如表5所示，仅使用全局特征时性能便已具备竞争力。在$7 \times 7$特征图上进行网格采样和点采样的效果相近。通过将特征图分辨率通过单次四倍反卷积提升至$28 \times 28$，性能会得到改善；然而，将单次四倍反卷积替换为两层两倍反卷积或增加更多卷积层，却无法带来进一步的优化。同样，将点采样改为粗网格采样也未见性能提升。不同点采样策略的定性对比见图6。

Sample Method	Resolution	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
Global	1x1	6.5	6.8
Grid	7x7	6.3	6.6
Point	7x7	6.3	6.6
Point	14x14	6.3	6.6
Point	28x28	6.2	6.5
Point	28 x28 enhanced	6.2	6.5
Coarse mesh	28x28	6.2	6.5

Table 5. Ablation study of Our Token generator A point sample at a resolution of 28x28 achieves optimal efficiency. Contrarily, increasing the number of sampled points or incorporating additional convolutional layers do not lead to any further improvements.

网格回归器核心结构的分析：如表6所示，对于单个编码器层而言，增加一个令牌数量更多的额外编码器层可使性能骤升0.3毫米。最佳设置包含三个编码器层，且各层的令牌数量依次乘以4。若层数进一步增加，带来的边际收益便微乎其微，有时甚至会导致性能下降。此外，如表7所示，在令牌数量固定的情况下，提高计算复杂度对性能的影响微乎其微。 ---

block numbers or block dimensions in the encoder layer. A middle-sized block dimensions setting is optimal. Qualitative comparison of different upsample layers is shown in Figure 7.

Layer Nums	Token Nums	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
1	[^21]	6.6	7.1
2	[^21] [^256]	6.3	6.6
2	[^21] [^384]	6.3	6.6
3	[^21] [^256] [^384]	6.2	6.5
3	[^21] [^84] [^336]	6.2	6.5
4	[^21] [^128] [^256] [^384]	6.2	6.5
4	[^21] [^63] [^126] [^252]	6.3	6.6

Table 6. The Number of Upsampling Layers and Corresponding Token Numbers in Encoding Layers. Three encoding layers yield optimal efficiency.

Dimensions	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
64, 32, 16	6.5	6.9
128, 64, 32	6.3	6.6
256, 128, 64	6.2	6.5
512, 256, 12	6.2	6.5
1024, 512, 256	6.4	6.7
Block Nums	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
1, 1, 1	6.2	6.5
2, 2, 2	6.2	6.6
3, 3, 3	6.3	6.6

Table 7. Dimensions and block nums. Single layer blocks with middle sized dimensions are optimal.

位置编码与注意力混合器。我们在消融实验中使用了位置编码层和注意力混合器，因为它们在直观上是有帮助的。根据我们的最佳结果，我们移除了位置编码层，发现性能略微下降了0.1mm。当我们把注意力混合器替换为恒等混合器时，也出现了类似情况，详见表8。

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$
hiera-tiny sota	6.2	6.5
Identity mixer	6.3	6.6
w/o position emb	6.3	6.6

Table 8. Token mixer and position embedding. When substitute attention mixer to identity mixer, or remove position encoding layer, the performance dropped slightly by 0.1mm.

局限性与失效案例。如前所述，我们的工作致力于对现有成果进行总结与提炼。由于未进行针对性优化，先前研究中存在的一些失效案例仍然具有挑战性。这些案例主要集中在自遮挡和物体遮挡的场景中，见图8。 ![Image](images/e044abd2e40fb59319b20fc0f578ba12785809ac41d8edc8127d9a7479963bf9.jpg)

Input

![Image](images/b73f5de47e9bd23431fc304772b1f1adda30886b35117a921a7d1de1d7450a1c.jpg)

global

![Image](images/7d571a5a2525ed515799812c04eab3b37560359cf8b38531df6544377dc38de0.jpg)

coarse

![Image](images/880492ce8ba6e517f618570374d39ce20ba7e87da9f5e62c2ecfcc5c172ee1ea.jpg)

upsampled

![Image](images/0f1c9cab6ee0a0905304c77045a8378fe06529b796e4189d002e92dffec48b09.jpg)

Figure 6. Qualitative Comparison of Different Point Sampling Strategies. The global/coarse feature fails in scenarios with detailed finger interactions, where upsampled feature works well.

![Image](images/f86584ecd78aa5c038813797d165865a3acbbdc772c11370f8e673a07f48466a.jpg)

Input

![Image](images/a9da2b9ae9194cbf52a2c0b175eb9243edb022bd8d6bf2398582b95233b5beb4.jpg)

one layer

![Image](images/51a538086b993f57a56efa692aeb2744806f8cc36aa2ca4d0df081f3a0eaeb53.jpg)

two layer

![Image](images/afb713b11e72da42168f0023e64ae52b45a48e42a3aaa4905e66f06c6f40b952.jpg)

three layer

![Image](images/f1cbdc0c0ef267b566972f2575dff4a18be13142f0dbc447ae4a625982370ac6.jpg)

Figure 7. Qualitative Comparison of the Number of Layers of Mesh Decoder. When constrained to one, the reconstructed mesh tends to corrupt into unnatural shapes. Performance improves as the number of layers increases.

![Image](images/301b81e6d4362262446f197966d961b8bcb8b8f3a0a55198f755086e32466dbe.jpg)

Input

![Image](images/21c1fe6314595bda6274dd8f5e1bbbacbb672a04700f394195b8779feac88872.jpg)

ours

![Image](images/a9ea10ef096ca9741c5d5059a382df7ed4ff82ff64a7c0a9e1f8c3e4ec74a2a7.jpg) ![Image](images/acc64c4e3e053588a0b4ef6c6a607ebbae367dfe0ce10def2f64cffe6392c207.jpg)

Input

![Image](images/cf5580312a6fb59211cfb2fb26b3323f0f6137cb769c38f00c9dfe5426b5fe9d.jpg)

ours

![Image](images/ea9437fb2ddc753f454dc71798b1611fe8a63c9ee0a27805efa7d7805540d28c.jpg)

Figure 8. Typical Failure Cases. Failure cases are concentrated in scenes with self-occlusion and object occlusion. Some are difficult to discern due to the small area of exposure, while others present ambiguities caused by the occlusion.

### 5. 结论与未来工作我们发现了典型结构的共同优缺点。基于这些观察，我们提出了核心结构的概念。通过实验我们发现，采用核心结构的框架能够在有限的计算负载下实现高性能。我们从定量和定性两方面评估了该方法，以证明其有效性。不过，我们的方法明确旨在重建单手手势。对于极端光照、遮挡、交互或分布外等其他场景，该方法并未比现有方法表现出更好的效果。这类场景需要专门设计的方法来解决。 --- ## 参考文献 [^1]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 5 [^2]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12929–12938, 2021. [^3]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13283, 2021. 6 [^4]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 1, 2, 3, 4, 6, 7 [^5]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. 1, 3, 4, 6 [^6]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose, page 769–787. 2020. 2 [^7]: Jeonghwan Kim, Mi-Gyeong Gwon, Hyunwoo Park, Hyukmin Kwon, Gi-Mun Um, and Wonjun Kim. Sampling is matter: Point-guided 3d human mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12880–12889, 2023. 1, 2, 4, 6 [^8]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 5 [^9]: Thomas Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv: Learning, arXiv: Learning, 2016. 2 [^10]: Isaak Lim, Alexander Dielen, Marcel Campen, and Leif Kobbelt. A Simple Approach to Intrinsic Correspondence Learning on Unstructured 3D Meshes, page 349–362. 2019. 3 [^11]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 2, 6, 7 [^12]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 6 [^13]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 752–768. Springer, 2020. 6 [^14]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. 6 [^15]: Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer. Automatic differentiation in pytorch. 2017. 5 [^16]: Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J. Black. Generating 3D faces using Convolutional Mesh Autoencoders, page 725–741. 2018. 2, 3 [^17]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics, page 1–17, 2017. 2 [^18]: Chaitanya Ryali, Yuan-Ting Hu, Daniel Bolya, Chen Wei, Haoqi Fan, Po-Yao Huang, Vaibhav Aggarwal, Arkabandhu Chowdhury, Omid Poursaeed, Judy Hoffman, et al. Hiera: A hierarchical vision transformer without the bells-and-whistles. arXiv preprint arXiv:2306.00989, 2023. 6 [^19]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. 6 [^20]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11698–11707, 2021. 6 [^21]: PavanKumarAnasosalu Vasu, James Gabriel, Jeff Zhu, Oncel Tuzel, and Anurag Ranjan. Fastvit: A fast hybrid vision transformer using structural reparameterization. 2023. 2, 3, 5, 6 [^22]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, AidanN. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Neural Information Processing Systems, Neural Information Processing Systems, 2017. 2 [^23]: Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, et al. Deep high-resolution representation learning for visual recognition. IEEE transactions on pattern analysis and machine intelligence, 43(10):3349–3364, 2020. 2, 5 [^24]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. 6 ## [^25]: Yusuke Yoshiyasu. Deformable mesh transformer for 3d human mesh recovery. In Proceedings of the IEEE/CVF Con- --- 计算机视觉与模式识别会议论文集，第17006–17015页，2023年。6 [^26]: Weihao Yu, Mi Luo, Pan Zhou, Chenyang Si, Yichen Zhou, Xinchao Wang, Jiashi Feng, and Shuicheng Yan. Metaformer is actually what you need for vision. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 2 [^27]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019. 2, 6, 7 [^28]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 2,5