# Fast-HaMeR：利用知识蒸馏技术提升手部网格重建性能胡奈因·艾哈迈德·吉拉尼 $^{1}$ $^{ID}$ $^{a}$、艾哈迈德·塔维克·阿布卡德拉 $^{1,2}$ $^{ID}$ $^{b}$、艾哈迈德·埃尔哈耶克 $^{3}$ $^{ID}$ $^{c}$、贾米尔·马利克 $^{4}$ $^{ID}$ $^{d}$、纳迪亚·罗伯蒂尼 $^{2}$ $^{ID}$ $^{e}$、迪迪埃·斯特里克 $^{1,2}$ $^{ID}$ $^{f}$ $^{1}$RPTU，德国凯泽斯劳滕；$^{2}$DFKI-AV，德国凯泽斯劳滕；$^{3}$UPM，沙特阿拉伯；$^{4}$NUST-SEECS，巴基斯坦伊斯兰堡；关键词：3D手部重建、姿态估计、知识蒸馏、实时推理。摘要：快速且精准的3D手部重建对于VR/AR、人机交互、机器人技术和医疗保健等实时应用场景至关重要。大多数最先进的方法依赖计算量庞大的模型，这限制了它们在头戴设备、智能手机和嵌入式系统等资源受限设备上的应用。在本文中，我们研究了如何利用轻量级神经网络结合知识蒸馏技术，来加速复杂的3D手部重建模型，使其在保持相近重建精度的同时变得更快速、更轻便。虽然我们的方法适用于多种手部重建框架，但我们主要聚焦于提升HaMeR模型的性能——该模型目前在重建精度方面处于领先地位。我们用MobileNet、MobileViT、ConvNeXt和ResNet等更轻量的模型替换其原有的ViT-H骨干网络，并评估了三种知识蒸馏策略：输出级蒸馏、特征级蒸馏以及两者的混合策略。实验表明，使用仅为原模型35%大小的轻量级骨干网络，就能实现1.5倍的推理速度提升，同时仅产生0.4毫米的微小精度差异，仍能保持相近的性能质量。具体而言，我们发现输出级蒸馏能显著提升学生模型的性能，而特征级蒸馏对容量更大的学生模型更为有效。总体而言，这些研究成果为在低功耗设备上实现高效的实际应用铺平了道路。代码和模型已在上公开提供。 ## 1 引言计算机视觉与图形学领域的一个关键挑战是，如何从图像、视频或深度图等视觉输入中估算出人类手部的3D姿态和形状。精准且实时的3D手部重建对于增强现实与虚拟现实、人机交互、手语识别以及人类行为分析等诸多计算机视觉与图形学应用而言至关重要。这些应用需要精确的手部建模，以便解读手部关节活动并理解手势含义。这一难题之所以棘手，是因为人类手部具有高度灵活性、易产生自遮挡现象，且不同个体的手部形态差异显著。近年来，手部重建技术取得了重大进展（Chatzis等人，2020年），而这些进展得益于现代深度学习技术的助力（Pavlakos等人，2024年；Li等人，2024年；Ge等人，2019年；Lin等人，2021年；Malik等人，2020年；Aboukhadra等人，2023年；Dong等人，2024年；Potamias等人，2025年）。然而，许多最先进的手部网格恢复方法仍具有较高的计算开销（Pavlakos等人，2024年；Potamias等人，2025年），因为它们依赖基于Transformer架构的大规模网络，难以实现实时性能。 ![Image](images/38e17d5920354b3f847f934b6e38eda2a9409e5945af26a1f891bcf2422602c3.jpg)

Figure 1: Real-time monocular 3D hand mesh reconstruction using lightweight student networks. We present a Knowledge Distillation approach for training lightweight networks that accelerate 3D hand reconstruction without compromising quality. Our best-performing network achieves real-time inference with only a modest drop in reconstruction quality. The Figure showcases qualitative results across challenging scenarios, including mutual occlusion, complex hand poses, and interactions with various objects.

--- 借助现代深度学习技术，这一成果才得以实现（Pavlakos等人，2024年；李等人，2024年；葛等人，2019年；林等人，2021年；马利克等人，2020年；阿布卡德拉等人，2023年；董等人，2024年；波塔米亚斯等人，2025年）。然而，许多最先进的手部网格恢复方法在计算上仍然代价高昂（Pavlakos等人，2024年；波塔米亚斯等人，2025年），因为它们依赖基于Transformer架构的大规模神经网络，因此难以实现实时性能。为了加速最先进的3D手部网格重建，我们提出了一种用于手部网格重建的知识蒸馏（KD）框架，该框架能将来自大型、高精度教师模型的知识迁移到轻量级学生网络中。虽然该框架适用于各种模型，但我们重点关注基于Transformer架构且以ViT-H为骨干网络的HaMeR模型。我们的方法用更高效的替代方案——如MobileNet、MobileViT、ConvNeXt和ResNet——来替换这一骨干网络，同时保持重建质量。在训练过程中，学生模型会在多个层面模仿教师模型：最终输出、中间特征或两者兼有。这种蒸馏策略使学生模型能够以极低的计算成本达到接近教师模型的性能，从而适用于资源受限设备上的实时应用。通过实际实验，我们证明应用知识蒸馏并结合使用轻量级骨干网络，能够在保持相近重建精度的同时提升运行时的性能。本文在3D手部重建领域做出了以下关键贡献： - 验证了常见的蒸馏损失函数（输出层面和特征层面）在手部网格重建任务中的有效性。 • 提出了一种轻量级的替代方案来取代最先进的HaMeR模型，其尺寸仅为原模型的35%，运行时速度$1.5 \times$更快，且精度差异仅0.4毫米。 • 分析了不同学生架构对不同蒸馏损失函数的响应情况，结果表明特征层面的监督对容量较大的模型更有利，而输出层面的损失对较小或结构相似的模型更为有效。 ## 2 相关工作近年来，已有多项关于单目3D手部重建的研究，这些研究利用深度扫描数据（Wu等人，2018年；Ge等人，2018年；Aboukhadra等人，2024年）、RGB图像（Rong等人，2021年；Lin等人，2021年；Park等人，2022年；Pavlakos等人，2024年），或混合的RGB-D方法（Makris和Argyros，2015年；Sridhar等人，2016年；Malik等人，2020年）。这些研究大致可分为两类：参数化模型驱动的方法和直接网格恢复方法。可以说，这两类方法的主要区别在于是否使用参数化手部模型（Romero等人，2017年；Loper等人，2015年；Anguelov等人，2023年；Li等人，2022年）。这些手部模型提供了先验的解剖学约束，有助于手部的重建。参数化模型驱动的方法会学习从图像特征到手部模型参数的低维映射，进而生成3D网格；而直接网格恢复方法则选择直接回归网格，无需借助参数化模型。此前的研究，如HAMR（Zhang等人，2019b）提出了一种弱监督方法，利用轮廓一致性损失从单目手部图像中恢复手部网格和姿态。随后FrankMocap（Rong等人，2021年）推出了一个模块化的全身姿态估计系统，包含针对面部、手部和身体的独立模块。为解决遮挡问题，HandOccNet（Park等人，2022年）利用了Transformer，通过注意力机制利用可见区域与遮挡区域之间的相关性来处理遮挡情况。由于数据限制（即缺乏多样化的真实世界数据），监督学习方法往往无法很好地泛化到无约束的真实世界图像。为解决这一问题，Hasson等人（2021年）提出了一种无需学习的基于优化的方法来重建3D手-物体交互，仅需RGB视频帧即可实现。直接网格恢复方法往往通过直接回归3D手部网格顶点来绕过参数化模型。METRO（Lin等人，2020年）是一种完全基于Transformer的人体姿态估计与网格重建方法，采用多层Transformer编码器。其核心机制是自注意力机制（Vaswani等人，2017年），该机制能够联合建模顶点间的相互作用以及顶点与关节间的相互作用，并可学习短距离和长距离的相互作用。Mesh Graphormer（Lin等人，2021年）结合了自注意力机制（Vaswani等人，2017年）与图卷积的优势，用于人体网格重建。THOR-Net（Aboukhadra等人，2023年）首次提出了一种用于估计两只手与物体交互时的3D姿态和形状，以及所得手部网格中顶点的纹理的框架；该框架通过结合图卷积网络（GCN）与Transformer的优势并引入自监督机制来实现这一目标。最近，Hamba --- （Dong等人，2024年）提出了一种基于Mamba的图引导双扫描（GBS）框架（Gu和Dao，2023年），用于单视图3D手部网格重建。我们基于其构建的框架HaMeR（Pavlakos等人，2024年）代表了从单张RGB图像进行手部网格重建的新一代最先进方法。它结合了ViT-H（Dosovitskiy等人，2021年）骨干网络与Transformer解码器，以回归MANO（Romero等人，2017年）参数。该方法的成功得益于架构和训练数据的扩展，从而提升了泛化能力。尽管其性能优于以往所有基于RGB的方法，但扩展HaMeR网络是以运行时开销和资源效率为代价的，这使其不适合实时应用。因此，在我们的研究中，我们旨在以HaMeR为参考来训练更轻量的网络，从而提高运行时效率和资源利用率。 ### 2.1 用于加速的知识蒸馏知识蒸馏（KD）（Hinton等人，2015年）是一种著名的降低网络复杂度的技术，可将大型教师网络的知识迁移到较小的学生网络中。近期，知识蒸馏已被用于压缩和加速大型语言模型（LLM）（Ko等人，2024年；Gu等人，2024年；Hsieh等人，2023年）。另一方面，在3D重建和姿态估计问题中，知识蒸馏的研究还十分有限。诸如（Zhang等人，2019a）和（Hwang等人，2020年）这类研究聚焦于全身姿态任务，仅蒸馏2D或3D关节信息，并未涉及密集几何结构。（Zhang等人，2020年）以及较新的（Capistrano等人，2025年）将知识蒸馏应用于手部姿态估计，将姿态层面的知识迁移到紧凑型模型中。相比之下，我们的方法同时应用特征蒸馏和输出蒸馏来压缩完整的网格重建模型，从而在超越关节估计的基础上保留高质量的几何细节。 ## 3 方法我们的目标是开发一种快速、轻量且高效的参数化3D手部重建方法，其性能可与那些速度较慢、资源消耗较大的模型相媲美。虽然我们的框架旨在适用于不同的重建算法，但我们重点在于加速最先进的HaMeR（Pavlakos等人，2024年）模型，且不失一般性。我们通过训练更小、更轻的学生网络来实现这一目标，这些学生网络利用知识蒸馏技术从原始的高容量教师网络（即HaMeR）中学习。从宏观上看，该框架由权重固定的原始HaMeR教师网络T，以及作为学生网络的更小、更轻的网络S组成。 ### 3.1 教师模型（HaMeR） HaMeR（Pavlakos等人，2024年）采用了完全基于Transformer的设计，具体而言，它以巨型视觉Transformer（ViT-H）（Dosovitskiy等人，2021年）作为骨干网络。输出的标记序列（即图像特征）会被送入Transformer解码器头，用于回归MANO参数（$\theta, \beta$）和相机参数$\pi$，其中涉及$\theta \in \mathbb{R}^{48}$、$\beta \in \mathbb{R}^{10}$。该Transformer解码器头利用自注意力机制，在处理单个标记的同时与骨干网络的输出标记进行交叉注意力计算（Pavlakos等人，2024年）。回归得到的参数会被送入MANO头，从而生成手的3D网格以及21个关键点的3D关节位置$K_T^{3D}$，相关细节为$K_T^{3D} \in \mathbb{R}^{3 \times N}$和$N = 21$。相机参数包含一个3D平移向量（$t \in \mathbb{R}^{3}$），该向量用于将3D网格和3D关节位置投影到图像平面上，进而得到2D关节位置$K_T^{2D} \in \mathbb{R}^{2 \times N}$。为了能够利用没有3D标注的数据集，HaMeR引入了重投影损失$L_{2D}$，该损失用于衡量3D预测关节位置的2D投影与2D真实关节位置之间的差异。关键点3D损失$L_{3D}$则用于衡量预测的3D关节位置与真实关节位置之间的距离，以此促使模型重建出正确的3D手部姿态。对于提供了MANO（Romero等人，2017年）标注的数据集，MANO参数损失$L_{MANO}$会对预测的MANO参数与真实参数之间的差值进行惩罚，确保模型学会预测正确的参数。$L_{2D}$、$L_{3D}$和$L_{MANO}$组合而成的损失将被称作$L_{GT}$。 ### 3.2 学生模型学生网络保留了教师模型的整体架构；不过在我们的研究中，我们用更小的网络替换了较大的ViT-Huge骨干网络（Dosovitskiy等人，2021年），这些小型网络包括MobileNet（Howard等人，2017年）、MobileViT（Mehta和Rastegari，2021年）、ConvNeXt（Liu等人，2022年）以及ResNet（He等人，2015年）。我们将这些网络用作学生网络S的骨干，旨在评估重建精度与推理速度之间的权衡。 --- ![Image](images/1d3bb3e00288c97bf5fb2f5f4a436b53305887ce01dd01d65356a99eb0056669.jpg)

Figure 2: High-level overview of the teacher-student architecture, only relevant distillation losses are used depending on the KD level. $\phi(F_{T})$ refers to a $1\times1$ convolution to project the dimensions of the teacher's features to match those of the student's for feature-level distillation. The teacher network is used only during training; at inference time, only the trained student network is used.

这些选择体现了几种设计理念，比如更少的参数数量、深度卷积（Howard等人，2017年）、轻量级的混合Transformer模型（Mehta和Rastegari，2021年）以及残差连接（He等人，2015年）。此外，挑选这组骨干网络的标准是它们在ImageNet-1K数据集（Deng等人，2009年）上的相对性能。我们还考虑了torchvision库中列出的这些网络的参数数量以及它们的运行效率。 ### 3.3 知识蒸馏在训练过程中，输入图像会同时被传入学生网络S和教师网络T。T和S都会产生中间特征图（即$F_T$和$F_S$）以及最终预测结果（即$\hat{Y}_T$和$\hat{Y}_S$），相关细节为$\hat{Y} = \{K^{3D}, K^{2D}, \theta, \beta, \pi\}$。我们在三个不同层面强制要求预测结果具有相似性：输出层、特征层以及组合蒸馏。随后我们会评估每种方法的效果，以确定哪种表现最佳。在第一种方法中，我们计算 $\hat{Y}_{T}$ 和 $\hat{Y}_{S}$ 之间的蒸馏损失（即输出级蒸馏）。在第二种方法中，我们计算 $F_{T}$ 和 $F_{S}$ 之间的蒸馏损失（即特征级蒸馏）；最后，我们还计算 $F_{T}$ 与 $F_{S}$ 之间，以及 $\hat{Y}_{T}$ 与 $\hat{Y}_{S}$ 之间的蒸馏损失（即组合蒸馏）。图2展示了不同的蒸馏方法。通过强制这些相似性，我们让较小的学生模型能够学习较大的教师模型的学习方式及其内部对输入的表达方式，同时由于S的尺寸更小，还能降低输出延迟。最终我们会评估每种蒸馏方案，以选出最佳方法。输出级蒸馏：在输出级蒸馏的情况下，为了强制 $\hat{Y}_T$ 和 $\hat{Y}_S$ 之间的相似性，我们使用原始网络中的相同损失项（详见3.1节），但将真实值替换为教师的预测值。输出级蒸馏的总损失既包括针对真实值的原始损失 $\mathcal{L}_{GT}$，也包括学生预测值 $\hat{Y}_S$ 与教师预测值 $\hat{Y}_T$ 之间的损失。我们还使用 $\lambda_{KD}$ 来控制蒸馏损失在总损失中所占的比重。 $$ \mathcal{L}_{t o t a l,o u t}=\mathcal{L}_{G T}+\lambda_{K D}\mathcal{L}_{K D,o u t} $$ $$ \mathcal{L}_{K D,o u t}=\|\hat{K}_{S}^{3D}-\hat{K}_{T}^{3D}\|_{2}^{2}+\|\hat{K}_{S}^{2D}-\hat{K}_{T}^{2D}\|_{2}^{2}+\|\hat{\Theta}_{S}-\hat{\Theta}_{T}\|_{2}^{2} $$ 特征级蒸馏：基于特征图的知识蒸馏（即特征级蒸馏）能够让学生模型S学到与教师网络T相似的特征表示。由于输出特征图 $F_S$ 和 $F_T$ 的通道维度可能不同，我们采用可学习的1×1卷积 $\phi$ 来将 $F_T$ 的特征维度投影为 --- 与 $F_S$ 的维度相匹配。此外，当空间维度不同时，我们会利用双线性插值进行对齐。特征级蒸馏的总损失包括针对真实数据的损失 $\mathcal{L}_{GT}$，以及教师特征与学生特征（即分别为 $F_T$ 和 $F_S$）之间的损失：$\mathcal{L}_{KD,feat} = ||F_S - \phi(F_T)||_2^2$。$\gamma_{feat}$ 用于缩放特征蒸馏损失，而 $\lambda_{KD}$ 则用于控制蒸馏损失对总损失的贡献程度。 $$ \mathcal{L}_{t o t a l,f e a t}=\mathcal{L}_{G T}+\lambda_{K D}(\gamma_{f e a t}\times\mathcal{L}_{K D,f e a t}) $$ 组合蒸馏：最后，组合蒸馏的初衷是不仅引导最终表示，还同时引导中间表示，希望通过结合输出蒸馏和特征蒸馏的优势来获得更好的结果。 $$ \mathcal{L}_{t o t a l,c o m b}=\mathcal{L}_{G T}+\lambda_{K D}\big(\mathcal{L}_{K D,o u t}+\gamma_{f e a t}\times\mathcal{L}_{K D,f e a t}\big) $$ ### 3.4 数据集 HaMeR之所以能取得业界领先的性能，原因在于其训练数据的规模以及网络架构的学习能力。用于训练HaMeR的数据集包含约270万个标注样本，这些样本来自多个数据源。FreiHAND（Zimmermann等人，2019年）、HO3D（Hampali等人，2020年）、H2O3D（Hampali等人，2020年）、InterHand2.6M（Moon等人，2020年）、MTC（Xiang等人，2018年）以及DexYCB（Chao等人，2021年）提供了3D标注数据；而合成数据集RHD（Zimmermann和Brox，2017年）也包含相关标注。此外，COCO WholeBody（Jin等人，2020年）、Haple-FullBody（Fang等人，2022年）以及MPII + NZSL（Simon等人，2017年）则提供了2D标注数据。HaMeR团队将各种手部姿态数据集统一为可直接使用的标准化格式，这一贡献至关重要，它使得大规模监督训练无需复杂的预处理即可进行。因此，我们在训练所有网络时，采用了与HaMeR相同的组合数据集和采样分布。我们在HO3D-v2（Hampali等人，2020年）数据集上进行了评估并给出了定量结果，从而能够直接将我们的结果与HaMeR及其他基准模型进行对比。该数据集是理想的评估集，因为它提供了具有挑战性且贴近现实的手部-物体交互场景。 ## 4 实验与结果在本节中，我们针对HO3D-v2数据集（Hampali等人，2020年）对我们的KD方法进行了定量评估。我们采用标准的评估指标，包括PA-MPJPE（$J_{err}$）和PA-MPVPE（$V_{err}$），两者的单位均为毫米，还有$F@5mm$和$F@15mm$。关于评估所用指标的更多细节，可查阅HO3D-v2官方竞赛网站$^{1}$。我们还根据表1和图3，分析了模型性能与其参数数量及FPS之间的关系。所有实验及FPS计算均在消费级RTX-4060 Ti GPU上进行。 ### 4.1 消融研究我们首先使用未经知识蒸馏的轻量级骨干网络来确立性能基线，随后对比不同的蒸馏方法，以评估它们对性能的影响。 #### 4.1.1 未经过蒸馏的基线性能在应用任何蒸馏技术之前，我们通过用一系列轻量级模型替换HaMeR原有的ViT-H骨干网络（Dosovitskiy等人，2021年；Pavlakos等人，2024年）来确立基线，这些轻量级模型包括Howard等人（2017年）、Mehta和Rastegari（2021年）、He等人（2015年）以及Liu等人（2022年）提出的模型。每个模型均使用在ImageNet上预训练的权重进行初始化，且仅利用真实标签进行监督训练，不借助教师模型的指导。 #### 表2所示的基线实验清晰地揭示了模型复杂度与性能之间的权衡关系。原始的HaMeR（参数为671M）在所有指标上的表现最佳，但其运行帧率仅为27 FPS。相比之下，像MobileViT-S（Mehta和Rastegari，2021年）这样的轻量级模型，其参数数量减少了6倍，推理速度提升了1.55倍，但精度却下降了1.6毫米。ResNet50（He等人，2015年）仅用10%的参数数量便取得了不错的结果，速度提升了1.85倍，精度仅相差1毫米。ConvNeXt-L（Liu等人，2022年）可以说是在压缩与精度之间取得了最佳权衡：其FPS提高了1.48倍，复杂度降低了约64%，而性能仅比HaMeR低0.6毫米。这些结果展示了颇具潜力的权衡关系，也表明扩大数据规模可能比单纯增加模型复杂度更为有效。 --- ![Image](images/0cf72c7a829d5cc289e79598505f281139ce9be2cd296586c518ca0aeb69ed97.jpg)

Figure 3: Trade-off between model accuracy (PA-MPJPE), speed (FPS), and parameter size (circle size). The Figure shows that the most accurate model is HaMeR; however, it shows that other alternatives give close performance with fewer resources and better runtime. ConvNeXt-L with feature distillation falls right behind HaMeR in our experiments with 1.48x FPS boost and 64% reduction in size.

#### 4.1.2 输出级知识蒸馏接下来，我们评估输出级知识蒸馏，其目标是让学生网络能够利用教师网络的预测结果以及真实标签进行学习。所有相关损失项的公式化描述详见第3.3节。本研究的所有结果汇总于表3中。在学生对模型的输出上应用教师监督机制后，在不同的$\lambda_{KD}$（KD权重）取值下均产生了有趣的结果。对于MobileNet-L（Howard等人，2017年）配置而言，我们发现任何指标上均无改善；相反，我们观察到PA-MPVPE指标出现了高达0.3mm的下降，其他指标也出现了类似的退化现象。

Table 1: The number of networks' parameters in millions, along with the runtime of different backbone configurations in Frames-per-Second (FPS). All configurations were tested on a consumer-grade RTX 4060 Ti GPU. We also report the number of floating point operations (GFLOPs) as stated in the torchvision library.

Backbone	Total Params (M)	FPS $\uparrow$	GFLOPs
MobileNet-L	42.0	48	0.2
MobileViT-S	42.0	42	0.5
ResNet-50	69.3	50	4.1
ResNet-101	88.3	36	7.8
ConvNeXt-L	240	40	34.4
ViT-H	671	27	167.3

Table 2: Performance evaluation after training different backbones without KD to set baselines. The experiments are sorted in ascending order of the total parameter size of the network.

Backbone	$J_{err} \downarrow$	$V_{err} \downarrow$	F@5.0 / F@15.0 $\uparrow$
MobileNet-L	9.2	9.3	0.532 / 0.967
MobileViT-S	9.5	9.5	0.515 / 0.966
ResNet-50	8.8	8.9	0.563 / 0.971
ResNet-101	8.8	9.0	0.558 / 0.971
ConvNext-L	8.3	8.5	0.599 / 0.976
ViT-H (HaMeR)	7.7	7.9	0.635 / 0.980

Table 3: Output-level Distillation: Evaluating different backbones trained with KD loss applied on the outputs of the student and teacher models. $\lambda_{KD}$ refers to the weight of the KD loss.

Backbone	$\lambda_{{KD}}$	$J_{{err}}\downarrow$	$V_{{err}}\downarrow$	F@5.0/ F@15.0 $\uparrow$
MobileNet-L	0.3	9.5	9.6	0.525 / 0.964
MobileNet-L	0.5	9.3	9.4	0.528 / 0.964
MobileNet-L	0.8	9.3	9.4	0.525 / 0.964
MobileViT-S	0.3	9.1	9.2	0.536 / 0.968
MobileViT-S	0.5	9.0	9.1	0.543 / 0.970
MobileViT-S	0.8	9.5	9.6	0.516 / 0.965
ResNet-50	0.3	9.0	9.2	0.547 / 0.969
ResNet-50	0.5	8.9	9.0	0.562 / 0.968
ResNet-50	0.8	9.0	9.1	0.556 / 0.970
ResNet-101	0.3	8.9	9.1	0.552 / 0.970
ResNet-101	0.5	8.8	8.9	0.569 / 0.970
ResNet-101	0.8	8.5	8.7	0.583 / 0.974
ConvNext-L	0.3	8.3	8.5	0.588 / 0.976
ConvNext-L	0.5	8.2	8.4	0.596 / 0.978
ConvNext-L	0.8	8.4	8.7	0.582 / 0.974

另一方面，MobileViT-S（Mehta和Rastegari，2021年）配置在$\lambda_{KD} = 0.5$取值下展现出明显的改进，其中PA-MPVPE指标提升了0.4mm。这一提升可能表明：作为教师骨干网络的ViT-Huge（Dosovitskiy等人，2021年）与学生骨干网络MobileViT-S（Mehta和Rastegari，2021年）具有相似的架构，二者具备兼容性。不过，当取值达到$\lambda_{KD} = 0.8$时，这种改进效果开始减弱。ResNet-50（He等人，2015年）在采用输出级知识蒸馏后并未取得明显改进；未经过蒸馏的基线配置仍是性能最佳的选择。采用更深层的CNN架构的ResNet-101（He等人，2015年）在$\lambda_{KD} = 0.8$取值下显示出一定改进，其PA-MPVPE指标提升了约0.3mm。而采用ConvNeXt-L（Liu等人，2022年）且$\lambda_{KD} = 0.5$取值的配置，使PA-MPVPE指标仅提升了0.1mm。 --- ![Image](images/de03d76444bc494ab14f405f7440ce6361f973201685111d223e600bc8540d1c.jpg)

Figure 4: Qualitative results on images from the internet, the scenes represent hands interacting with the environment. We compare our results of the best configuration (ConvNext-L with feature-level distillation) with HaMeR both in 2D and 3D.

#### 4.1.3 特征级知识蒸馏在本节中，我们进一步探讨了在特征图层面应用知识蒸馏后模型的性能表现。具体而言，在这些配置中，学生网络的骨干网络会尝试学习与规模更大的教师模型相似的特征表示。评估结果见表4。我们发现，MobileNet-L（Howard等人，2017年）、MobileViT-S（Mehta和Rastegari，2021年）、ResNet-50以及ResNet-100（He等人，2015年）在采用特征级知识蒸馏后均无明显改进，甚至有些模型的性能还不如输出级蒸馏的结果。有趣的是，ConvNeXt-L（Liu等人，2022年）在特征级蒸馏下表现最佳，在$\lambda_{KD}=0.8$和$\gamma_{FD}=12$取值下，它能在所有指标上取得最优结果，其PA-MPVPE指标相比基线水平提升了0.2mm。ConvNeXt的相关结果表明：特征级知识蒸馏或许更适合容量相对较大的学生网络。像ConvNeXt这类具备深层现代架构且拥有丰富层次化特征的网络，可能更擅长学习教师特征图中的空间与语义线索。 ### 4.1.4 组合蒸馏：特征+输出最后，我们评估了采用组合蒸馏损失训练的学生网络的性能，该策略在特征图和输出两个层面都传递知识。这一设置旨在充分利用两类损失所包含的信息，从而更全面地模仿教师模型。该策略的定量结果见表5。我们观察到，对于大多数骨干网络而言，联合蒸馏所达到的性能介于单独的输出级蒸馏和特征级蒸馏之间。这两种蒸馏方法（即输出级和特征级）的组合通常不会超越各自单独使用时的效果。例如，ConvNeXt-L配置并未展现出特征级蒸馏所带来的那种性能提升。在ResNet-101上也能观察到类似现象：联合蒸馏带来的性能提升十分有限。这些实验结果表明，虽然联合蒸馏确实能为未经过蒸馏的模型带来一定改进，尤其是针对规模较大的模型，但这种联合蒸馏方式可能会削弱任一单独方法的强大信号。 ## 4.2 与最先进方法的比较在表6中，我们将性能最优的模型与近期用于3D手部重建的最先进方法进行了对比。采用经过特征级蒸馏训练的ConvNeXt-L（Liu等人，2022年）骨干网络（$\lambda_{KD} = 0.8$，$\gamma_{FD} = 12$），我们的方法在性能上超过了HandOccNet（Park等人，2022年）、METRO（Lin等人，2020年）以及ArtiBoost等强劲基线模型。 ---

Table 4: Feature-level Distillation: Evaluating different backbones trained with KD loss applied on the feature maps produced by the backbones of student and teacher models. $\lambda_{KD}$ refers to the weight of the total KD loss, while $\gamma_{FD}$ refers to a scalar used to scale only the feature-distillation loss.

Backbone	$\lambda_{{KD}}$	$\gamma_{{FD}}$	$J_{{err}}\downarrow$	$V_{{err}}\downarrow$	F@5.0/F@15.0 $\uparrow$
MobileNet-L	0.3	6	9.6	9.7	0.514/0.961
MobileNet-L	0.5	6	10.4	10.5	0.460/0.952
MobileNet-L	0.8	12	10.0	10.2	0.477/0.958
MobileViT-S	0.3	6	9.5	9.4	0.525/0.965
MobileViT-S	0.5	6	9.8	9.9	0.491/0.961
MobileViT-S	0.8	12	9.7	9.7	0.509/0.959
ResNet-50	0.3	6	9.1	9.2	0.541/0.969
ResNet-50	0.5	6	9.2	9.3	0.531/0.968
ResNet-50	0.8	12	9.0	9.0	0.546/0.971
ResNet-101	0.3	6	9.0	9.1	0.547/0.970
ResNet-101	0.5	6	8.9	9.0	0.546/0.970
ResNet-101	0.8	12	9.0	9.0	0.546/0.971
ConvNext-L	0.3	6	8.5	8.6	0.579/0.978
ConvNext-L	0.5	6	8.2	8.4	0.591/0.977
ConvNext-L	0.8	12	8.1	8.3	0.599/0.979

Table 5: Combined Distillation: Evaluating different backbones trained with KD loss applied on the outputs and the feature maps produced by the backbones of student and teacher models. $\lambda_{KD}$ refers to the weight of the total KD loss, while $\gamma_{FD}$ refers to a scalar used to scale only the feature-distillation loss.

Backbone	$\lambda_{KD}$	$\gamma_{FD}$	$J_{err} \downarrow$	$V_{err} \downarrow$	F@5.0/F@15.0 $\uparrow$
MobileNet-L	0.3	6	9.6	9.7	0.509 / 0.960
MobileNet-L	0.5	6	9.8	9.9	0.499 / 0.961
MobileNet-L	0.8	12	10.3	10.4	0.472 / 0.951
MobileViT-S	0.3	6	9.8	9.8	0.498 / 0.960
MobileViT-S	0.5	6	9.7	9.8	0.498 / 0.959
MobileViT-S	0.8	12	9.9	10.0	0.489 / 0.958
ResNet-50	0.3	6	9.1	9.2	0.540 / 0.969
ResNet-50	0.5	6	9.2	9.2	0.538 / 0.969
ResNet-50	0.8	12	9.2	9.3	0.533 / 0.968
ResNet-101	0.3	6	9.0	9.1	0.551 / 0.970
ResNet-101	0.5	6	8.9	9.1	0.553 / 0.970
ResNet-101	0.8	12	9.0	9.2	0.550 / 0.969
ConvNext-L	0.3	6	8.6	8.8	0.573 / 0.975
ConvNext-L	0.5	6	8.5	8.7	0.581 / 0.976
ConvNext-L	0.8	12	8.4	8.5	0.587 / 0.978

（Li等人，2021年）和I2L-MeshNet（Moon和Lee，2020年）。我们的方法在性能上与这些最新方法相当，同时如4.1.1节所述，还改善了推理时间。在图4中，我们展示了性能最优的网络配置（即采用特征级蒸馏的ConvNeXt-L）在互联网上采集的具有挑战性的图像上的定性结果。我们还给出了HaMeR（教师网络）的结果，以展示重建精度的差异。尽管HaMeR的定性结果与图像中的手部更为吻合，但经过知识蒸馏训练的ConvNeXt仍能取得同样出色的性能，仅存在细微误差。

Table 6: Comparison with the state-of-the-art using our best network configuration. The selected model contains a ConvNeXt-L (Liu et al., 2022) as the backbone and was trained using feature-level distillation with $\lambda_{KD} = 0.8$, $\gamma_{FD} = 12$.

Method	$\mathbf{J}_{err} \downarrow \mathbf{V}_{err} \downarrow \mathbf{F}@5.0 / @15.0$
Pose2Mesh (Choi et al., 2020)	12.5	12.7	0.441 / 0.909
THOR-Net (Aboukhadra et al., 2023)	11.3	10.7	- / -
I2L-MeshNet (Moon and Lee, 2020)	11.2	13.9	0.409 / 0.932
ArtiBoost (Li et al., 2021)	11.1	10.9	0.488 / 0.944
METRO (Lin et al., 2020)	10.4	11.1	0.484 / 0.946
I2UV-HandNet (Chen et al., 2021)	9.9	9.5	0.956 / 0.803
HandOccNet (Park et al., 2022)	9.1	8.8	0.564 / 0.968
HaMeR (Pavlakos et al., 2024)	7.7	7.9	0.635 / 0.980
Hamba (Dong et al., 2024)	7.5	7.7	0.648 / 0.982
WiLoR (Potamias et al., 2025)	7.5	7.7	0.646 / 0.983
Ours	8.1	8.3	0.599 / 0.979

经过知识蒸馏训练的ConvNext能够取得同样强劲的性能，仅存在极小的误差。 ## 5 结论在这项工作中，我们系统地研究了将更小、更轻量的网络与知识蒸馏策略相结合以加速3D手部网格重建的问题——具体涉及输出级蒸馏、特征级蒸馏及其组合。我们的实验揭示了模型规模、架构复杂度与师生监督有效性之间的关系。我们用MobileViT和ConvNeXt等更高效的选择替换了HaMeR原有的ViT-H骨干网络，并评估了不同蒸馏策略的影响。结果显示，输出级蒸馏在各种学生模型中均能持续产生强劲的性能，而特征级蒸馏则主要为容量更大的网络带来益处。总体而言，这项工作证明了知识蒸馏在实现快速且精准的手部重建方面的潜力，这种重建技术适用于资源受限设备上的实时应用。我们的方法为大型基于Transformer的模型提供了一种实用的替代方案，且不会显著牺牲精度。未来的研究可以探索更具表现力的特征级蒸馏增强方式，例如基于注意力的蒸馏、空间或通道级蒸馏，或是关系知识蒸馏。这些方法或许能更好地帮助学生网络学习教师网络的复杂特征表示。致谢：本研究部分由欧盟在“Horizon Europe”计划下的SHARESPACE项目（101092889）资助，以及由德国联邦教育与研究部在COPPER项目（16IW24009）下资助。 --- ## 参考文献 Aboukhadra, A. T.、Malik, J.、Elhayek, A.、Robertini, N.和Stricker, D.（2023）。Thor-net：基于Graformer的端到端真实双手与物体重建，并采用自监督机制。载于WACV，第1001–1010页。 Aboukhadra, A. T.、Malik, J.、Robertini, N.、Elhayek, A.和Stricker, D.（2024）。Shapegraformer：基于Graformer的从单张深度图进行手-物体重建的网络。IEEE Access，第12卷：124021–124031页。 Anguelov, D.、Srinivasan, P.、Koller, D.、Thrun, S.、Rodgers, J.和Davis, J.（2023）。SCAPE：人体形状补全与动画制作。美国纽约：计算机协会，第1版。 Capistrano, J.、Orillaza, N.和Naval, P.（2025）。利用手部运动学知识蒸馏技术实现轻量级3D手部姿态估计，第331–344页。 Chao, Y.-W.、Yang, W.、Xiang, Y.、Molchanov, P.、Handa, A.、Tremblay, J.、Narang, Y. S.、Van Wyk, K.、Iqbal, U.、Birchfield, S.、Kautz, J.和Fox, D.（2021）。Dexycb：用于捕捉手部抓取物体的基准测试。载于CVPR，第9044–9053页。 Chatzis, T.、Sergioulas, A.、Konstantinidis, D.、Dimitropoulos, K.和Daras, P.（2020）。基于深度学习的3D手部姿态估计方法综合研究。Applied Sciences，第10卷第19期：6850页。 Chen, P.、Chen, Y.、Yang, D.、Wu, F.、Li, Q.、Xia, Q.和Tan, Y.（2021）。I2uv-handnet：用于精确且高保真3D手部网格建模的图像到UV预测网络。载于CVPR，第12929–12938页。 Choi, H.、Moon, G.和Lee, K. M.（2020）。Pose2mesh：基于图卷积网络的从2D人体姿态恢复3D人体姿态与网格的技术。载于ECCV，第769–787页。Springer出版。 Deng, J.、Dong, W.、Socher, R.、Li, L.-J.、Li, K.和Fei-Fei, L.（2009）。ImageNet：大规模分层图像数据库。载于CVPR，第248–255页。IEEE出版。 Dong, H.、Chharia, A.、Gou, W.、Vicente Carrasco, F.和De la Torre, F. D.（2024）。Hamba：基于图引导双扫描Mamba的单视图3D手部重建技术。NeurIPS，第37卷：2127–2160页。 Dosovitskiy, A.、Beyer, L.、Kolesnikov, A.、Weissenborn, D.、Zhai, X.、Unterthiner, T.、Dehghani, M.、Minderer, M.、Heigold, G.、Gelly, S.、Uszkoreit, J.和Houlsby, N.（2021）。一张图片相当于16×16个词：用于大规模图像识别的Transformer模型。 Fang, H.-S.、Li, J.、Tang, H.、Xu, C.、Zhu, H.、Xiu, Y.、Li, Y.-L.和Lu, C.（2022）。AlphaPose：实时全身区域多人姿态估计与跟踪系统。 Ge, L.、Cai, Y.、Weng, J.和Yuan, J.（2018）。Hand PointNet：基于点集的3D手部姿态估计技术。载于CVPR，第8417–8426页。 Ge, L.、Ren, Z.、Li, Y.、Xue, Z.、Wang, Y.、Cai, J.和Yuan, J.（2019）。从单张RGB图像估计3D手部形状与姿态。 Gu, A.和Dao, T.（2023）。Mamba：具有选择性状态空间的线性时间序列建模方法。ArXiv，abs/2312.00752。 Gu, Y.、Dong, L.、Wei, F.和Huang, M.（2024）。MiniLLM：大型语言模型的知识蒸馏技术。载于ICLR会议。 Hampali, S.、Rad, M.、Oberweger, M.和Lepetit, V.（2020）。HonnoTrace：一种用于手部与物体姿态的3D标注方法。载于CVPR。 Hasson, Y.、Varol, G.、Schmid, C.和Laptev, I.（2021）。面向从RGB视频中进行无约束的手-物体联合重建的研究。载于3DV，第659–668页。IEEE出版。 He, K.、Zhang, X.、Ren, S.和Sun, J.（2015）。用于图像识别的深度残差学习技术。CVPR，第770–778页。辛顿（Hinton, G.）、维尼亚尔斯（Vinyals, O.）和迪恩（Dean, J.）（2015）。《从神经网络中提炼知识》。arXiv预印本，arXiv:1503.02531。霍华德（Howard, A. G.）、朱明（Zhu, M.）、陈斌（Chen, B.）、卡列尼琴科（Kalenichenko, D.）、王伟（Wang, W.）、韦扬德（Weyand, T.）、安德烈托（Andreetto, M.）和亚当（Adam, H.）（2017）。《MobileNet：面向移动视觉应用的高效卷积神经网络》。ArXiv，abs/1704.04861。谢承佑（Hsieh, C.-Y.）、李昌霖（Li, C.-L.）、叶昌凯（YEH, C.-K.）、纳赫斯特（Nakhost, H.）、藤井洋（Fujii, Y.）、拉特纳（Ratner, A. J.）、克里希纳（Krishna, R.）、李昌阳（Lee, C.-Y.）和普菲斯特（Pfister, T.）（2023）。《逐步蒸馏！用更少的训练数据和更小的模型规模超越大型语言模型》。载于第61届计算语言学协会年会论文集。黄大浩（Hwang, D.-H.）、金硕（Kim, S.）、莫内（Monet, N.）、小池宏（Koike, H.）和裴成旭（Bae, S.）（2020）。《利用师生学习训练轻量级3D人体姿态估计网络》。载于WACV会议论文集，第479–488页。金硕（Jin, S.）、徐磊（Xu, L.）、徐杰（Xu, J.）、王超（Wang, C.）、刘伟（Liu, W.）、钱晨（Qian, C.）、欧阳伟（Ouyang, W.）和罗平（Luo, P.）（2020）。《野外全身人体姿态估计》。载于ECCV会议论文集，第196–214页。施普林格出版社。高俊（Ko, J.）、金硕（Kim, S.）、陈涛（Chen, T.）和尹尚烨（Yun, S.-Y.）（2024）。《DistillM：面向大型语言模型的精简蒸馏方法》。载于ICML会议论文集，第24872–24895页。PMLR出版社。李凯（Li, K.）、杨磊（Yang, L.）、詹晓（Zhan, X.）、吕杰（Lv, J.）、徐伟（Xu, W.）、李军（Li, J.）和卢超（Lu, C.）（2021）。《ArtiBoost：通过在线探索与合成提升关节型3D手-物体姿态估计性能》。CVPR会议论文集，第2740–2750页。李敏（Li, M.）、张浩（Zhang, H.）、张宇（Zhang, Y.）、邵睿（Shao, R.）、余涛（Yu, T.）和刘洋（Liu, Y.）（2024）。《HHMR：通过增强图扩散模型的多模态可控性实现手部网格整体恢复》。载于CVPR会议论文集，第645–654页。李勇（Li, Y.）、张磊（Zhang, L.）、邱哲（Qiu, Z.）、蒋勇（Jiang, Y.）、李宁（Li, N.）、马岩（Ma, Y.）、张宇（Zhang, Y.）、徐磊（Xu, L.）和余杰（Yu, J.）（2022）。《Nimble：一种带有骨骼和肌肉的非刚性手部模型》。《ACM图形学交易》（TOG），第41卷第4期：1–16页。林凯（Lin, K.）、王磊（Wang, L.）和刘哲（Liu, Z.）（2020）。《基于Transformer的端到端人体姿态与网格重建》。CVPR会议论文集，第1954–1963页。林凯（Lin, K.）、王磊（Wang, L.）和刘哲（Liu, Z.）（2021）。《Mesh Graphormer》。载于ICCV会议论文集，第12939–12948页。刘哲（Liu, Z.）、毛浩（Mao, H.）、吴晨（Wu, C.）、费希滕霍弗（Feichtenhofer, C.）、达雷尔（Darrell, T.）和谢松（Xie, S.）（2022）。《面向2020年代的卷积神经网络》。CVPR会议论文集，第11966–11976页。 --- 洛珀（Loper, M.）、马哈茂德（Mahmood, N.）、罗梅罗（Romero, J.）、庞斯-莫尔（Pons-Moll, G.）和布莱克（Black, M. J.）（2015）。《SMPL：一种带皮肤的多人线性模型》。《ACM图形学交易》，第34卷第6期。马克里斯（Makris, A.）和阿尔吉罗斯（Argyros, A.）（2015）。《基于模型的3D手部跟踪与在线形状适配》。载于BMVC会议论文集，第77.1–77.12页。BMVA出版社。马利克（Malik, J.）、阿卜杜勒阿齐兹（Abdelaziz, I.）、埃尔哈耶克（Elhayek, A.）、岛田翔（Shimada, S.）、阿里（Ali, S. A.）、戈利亚尼克（Golyanik, V.）、特奥博尔特（Theobalt, C.）和斯特里克（Stricker, D.）（2020）。《HandVoxNet：基于深度体素的3D手部形状与姿态估计网络，仅需单张深度图即可输入》。载于CVPR会议。梅塔（Mehta, S.）和拉斯塔加里（Rastegari, M.）（2021）。《MobileViT：轻量级、通用且适合移动设备的视觉Transformer》。ArXiv，abs/2110.02178。文圭（Moon, G.）和李康民（Lee, K. M.）（2020）。《I2L-MeshNet：用于精确3D人体姿态的图像到...》 lxl预测网络，用于从单张RGB图像实现精确的3D人体姿态及网格估计。ArXiv， abs/2008.03713。文圭（Moon, G.）、余世一（Yu, S.-I.）、温浩（Wen, H.）、白鸟哲也（Shiratori, T.）和李康民（Lee, K. M.）（2020）。《InterHand2.6M：一个用于从单张RGB图像估计3D交互式手部姿态的数据集及基准模型》。载于ECCV会议。 Park, J.、Oh, Y.、Moon, G.、Choi, H.和Lee, K. M.（2022）。Handoccnet：一种抗遮挡的3D手部网格估计网络。载于CVPR，第1496–1505页。 Pavlakos, G.、Shan, D.、Radosavovic, I.、Kanazawa, A.、Fouhey, D.和Malik, J.（2024）。利用Transformer重建3D手部模型。载于CVPR，第9826–9836页。 Potamias, R. A.、Zhang, J.、Deng, J.和Zafeiriou, S.（2025）。Wilor：在复杂场景下端到端的3D手部定位与重建方法。载于CVPR，第12242–12254页。 Romero, J.、Tzionas, D.和Black, M. J.（2017）。拟人化手部：手部与身体联合建模与捕捉技术。ACM图形学交易，36(6)：1–17。 Rong, Y.、Shiratori, T.和Joo, H.（2021）。Frankmocap：一种通过回归与整合实现单目3D全身姿态估计的系统。 Simon, T.、Joo, H.、Matthews, I.和Sheikh, Y.（2017）。基于多视角引导的单图像手部关键点检测。载于CVPR，第1145–1153页。 Sridhar, S.、Mueller, F.、Zollhöfer, M.、Casas, D.、Oulasvirta, A.和Theobalt, C.（2016）。基于RGB-D输入实时追踪操作物体的手部运动。ArXiv，abs/1610.04889。 Vaswani, A.、Shazeer, N.、Parmar, N.、Uszkoreit, J.、Jones, L.、Gomez, A. N.、Kaiser, L.和Polosukhin, I.（2017）。注意力机制就是一切。载于第31届神经信息处理系统国际会议论文集，NIPS'17，第6000–6010页，美国纽约州红钩市。Curran Associates Inc.出版。 Wu, X.、Finnegan, D.、O'Neill, E.和Yang, Y.-L.（2018）。Handmap：通过中间密集引导图监督实现鲁棒的手部姿态估计。载于ECCV。 Xiang, D.、Joo, H.和Sheikh, Y.（2018）。单目全身捕捉：在复杂场景中同时估计面部、身体和手部姿态。CVPR，第10957–10966页。 Zhang, F.、Zhu, X.和Ye, M.（2019a）。快速人体姿态估计。载于CVPR，第3517–3526页。 Zhang, X.、Li, Q.、Mo, H.、Zhang, W.和Zheng, W.（2019b）。从单目RGB图像端到端恢复手部网格。 Zhang, Y.、Chen, L.、Liu, Y.、Zheng, W.和Yong, J.（2020）。基于单目RGB图像的3D手部姿态估计中的显式知识蒸馏技术。 Zimmermann, C.和Brox, T.（2017）。从单张RGB图像学习估计3D手部姿态。载于ICCV。 Zimmermann, C.、Ceylan, D.、Yang, J.、Russell, B.、Argus, M.和Brox, T.（2019）。Freihand：一个用于从单张RGB图像无标记捕捉手部姿态与形状的数据集。载于ICCV。