研究
# CLIP-Hand：基于CLIP的手部姿态估计与网格恢复回归器
周峰 $^{1}$ · 季双 $^{1}$ · 沈培 $^{1}$ · 戴炬 $^{2}$ · 潘俊君 $^{2,3}$ · 赖宇坤 $^{4}$ · Paul L. Rosin $^{4}$
收稿日期：2024年12月19日 / 录用日期：2025年11月16日 / 在线发表日期：2025年12月11日 © 作者们，经Springer-Verlag GmbH Germany（施普林格·自然旗下公司）独家授权使用。
## 摘要
尽管3D手部姿态估计技术已取得显著进展，但受自遮挡和复杂背景的影响，该技术仍面临诸多挑战。为解决这些问题，我们提出了一种基于CLIP的单张RGB图像手部姿态估计与网格恢复回归器——CLIP-Hand。具体而言，我们提出了一种创新方法，将高分辨率特征聚合与对比语言-图像预训练模型（CLIP）相结合，通过语言引导的视觉提示来增强特征表示。我们的方法采用多层Transformer编码器-解码器模块，以提升手部网格和关节点的预测精度。为了进一步提高性能，我们设计了预定义的3D关节模块和文本数据集，用于扩充训练数据，增强模型在不同场景下的泛化能力。我们在FreiHAND、RHD和Dexter+Object等数据集上进行的大量实验证明了该方法的有效性，其准确性和鲁棒性均优于现有方法。论文被录用后，我们将公开相关源代码和数据。
关键词：手部姿态 · 网格恢复 · CLIP · 热图 · 人机交互
## 1 引言
随着计算机视觉和机器学习的快速发展，3D手部姿态估计已成为多个领域的关键技术，包括人机交互（HCI）[1–3]、虚拟现实（VR）[4–6]、增强现实（AR）[7–9]以及机器人技术[10–12]。手部姿态估计的核心目标是精准追踪并解析手部的3D位置与朝向，使系统能够理解和模拟复杂的手部动作。这项技术不仅能提升数字环境下的用户体验，还能在众多领域创造变革性价值。例如，它可改善残疾人的无障碍体验，帮助他们更直观地操作数字设备和辅助技术；同时，3D手部姿态估计也能强化机器人系统的能力，使其能更精准地操控物体并与物理世界互动。因此，该领域具有巨大的发展潜力，其社会和技术影响深远。
传统的2D手部姿态识别方法受视角和光照条件的限制，难以实现精准识别。3D手部姿态识别技术则利用深度相机、结构光扫描等设备从多个角度采集手部深度信息，从而克服了这些局限。手势姿态估计方法通常依赖深度图或RGB图像；其中基于深度图的方法往往……
传统的二维手部姿态识别方法受视角和光照条件的限制，因此难以实现精准识别。三维手部姿态识别技术通过使用深度相机、结构光扫描等设备来克服这些局限，这些设备能够从多个角度捕捉手部的深度信息。手势姿态估计方法通常依赖于深度图或RGB图像。虽然基于深度图的方法往往
---
要实现高精度的手部姿态估计，通常会受到深度相机范围有限以及复杂或动态环境处理难题等因素的制约。相比之下，基于RGB的方法更为灵活，能够实时处理图像，但在遮挡或低光照条件下，其精度可能会受到影响。近年来，深度学习领域的突破[^13]为3D手部姿态识别提供了强大的算法支持，显著提升了其精度和鲁棒性。
尽管取得了进展，3D手部姿态估计仍面临诸多重大挑战。一个关键问题是人类手部的复杂性和多样性，这需要大量标注数据集才能有效训练模型。此外，现实环境的动态特性要求算法具备极高的实时性能，以便快速响应各种变化。光照变化与遮挡现象进一步增加了任务难度，因为在不同光照条件下或手部部分被遮挡时，性能往往会下降。另一个持续的挑战是如何将3D手部姿态估计应用于实际场景，并确保其在各类情境中的泛化能力，从而使其能在多种应用场景和环境中保持稳健的表现。
近期，Transformer架构在自然语言处理领域的演进推动了Vision Transformer（ViT）[^14]在计算机视觉领域的应用。这一突破性进展为计算机视觉研究开辟了新视角和新方法。此后，基于Transformer的模型被广泛应用于物体检测、语义分割和视频理解等计算机视觉任务，并取得了令人瞩目的成果。这一趋势也延伸到了手部姿态估计和网格重建等任务中，取得了显著成效[^15] [^16]。其中，先驱性工作METRO[^15]展示了基于Transformer的架构在人体网格恢复方面的潜力，相比传统方法具有明显优势。不过，METRO对计算资源的需求较高。为解决这一问题，FastMETRO[^16]提出了一种新颖的Transformer编码器-解码器架构，通过解耦各组件间的交互来消除性能瓶颈。尽管基于Transformer的方法已展现出良好前景，但在有效应对手部姿态估计和网格恢复等任务方面仍面临挑战。
在本文中，我们提出了一种创新的3D手势姿态估计方法——CLIP-Hand。该方法结合了高分辨率特征聚合技术与CLIP [^17]，通过语言引导的视觉提示来增强特征表示。所提出的CLIP-Hand包含用于提取高分辨率特征图的高分辨率特征聚合模块（HFA）、用于学习顶点、关节热图及注意力图特征的多尺度热图融合模块（MHF），以及用于回归3D手部顶点和关节的多层Transformer编码器-解码器融合注意力模块（MTED）；此外还有用于获取更合理特征表示的CLIP模块（CM）。尽管许多现有的手部姿态估计方法在不借助CLIP的情况下也能取得具有竞争力的结果，但它们大多严重依赖纹理、颜色和边缘等低层次视觉线索。这些特征对遮挡、光照和背景变化十分敏感，往往会导致实际应用场景中的性能下降。相比之下，CLIP能够提供语义对齐的图像-文本表示，捕捉的是高层次视觉概念而非像素级细节。将CLIP集成到我们的框架中后，模型能够聚焦于有意义的区域（即手部）并抑制无关的背景信息。这种设计不仅增强了模型应对遮挡和背景杂乱情况的鲁棒性，还提升了其在未见过的领域和受试者上的零样本泛化能力。为了应对3D手部姿态估计中姿势多样性以及关节间相关性变化带来的挑战，我们提出了预定义3D关节（PJ）模块的集成方案，该模块用于初始化手势姿态，提供一个结构化的起点以提升模型性能。我们在FreiHAND、RHD和Dexter+Object等常用数据集上对所提出的CLIP-Hand进行了评估。实验结果表明，我们的CLIP-Hand达到了最先进的性能水平。为了进一步验证其有效性和效率，我们构建了如图1所示的简单游戏场景，以展示其实际应用价值。
我们提出的方法的主要贡献如下：
- 我们提出了一种用于3D手部姿态估计的新颖框架CLIP-Hand。该方法能够有效利用高分辨率特征和CLIP的能力来提升性能。
- 在该框架下，我们提出了HFA、MHF、MTED、CM和PJ模块来进一步提升性能。
- 在FreiHAND、RHD和Dexter+Object这三个具有挑战性的数据集上的实验表明，我们的方法取得了令人瞩目的优异结果。
本文的其余部分安排如下：第2节简要介绍相关工作，重点阐述近期的研究成果；随后，第3节和第4节分别详细阐述所提出模型的细节及实验结果；最后，第5节给出结论。
## 2 相关工作
首先，我们回顾了先进的3D手部姿态估计方法；接着，我们介绍了CLIP在3D手部姿态估计中的应用，并强调了它们与本研究的相关性。
---
Fig. 1 A simple game interaction scenario: a A scene where the linear blend skinning model of the hand is driven by the predicted 3D joint positions from the video, interacting with the object at a low frame rate (FPS). b The same scene at a high FPS. At low FPS, inaccurate predic-
tions of 3D joint positions for certain frames can lead to abnormal hand deformations when driving the linear blend skinning model, as demonstrated in the red-circled example, where the finger exhibits abnormal deformation. Best viewed in color
### 2.1 3D手部姿态估计
近年来，基于深度神经网络的方法[18–21]已成为3D手部姿态估计的主流技术。根据输入模态的不同，这些方法大致可分为两类：基于深度图的方法[^22] [^23]和基于RGB图像的方法[^24]。虽然基于深度图的方法能提供有用的几何信息，但其有效范围通常有限，且易受环境因素影响。相比之下，RGB图像具有更高的空间分辨率且易于获取，因此非常适合下游应用。正因如此，基于RGB的方法凭借更快的处理速度和更优的实时性能，在3D手部姿态估计领域受到了最多关注。该领域近期的研究重点在于克服遮挡等难题，同时提升3D姿态估计的精度与效率。例如，[^25]和[^26]通过利用手部关键点或网格顶点间的空间关系来解决遮挡问题，从而增强了从RGB图像中估计3D手部姿态的鲁棒性。此外，研究人员还引入了基于Transformer编码器的方法[^15] [^27]，旨在提高回归得到的3D关节坐标及网格顶点的精确度，同时优化模型训练与推理的效率。Kim等人[^28]提出了一种特征采样策略，用于生成更逼真、自然的人体和手部姿态，进一步提升了所生成3D姿态的真实感。
最近，多项研究试图进一步拓展3D手部姿态估计的能力。针对双手交互场景，Jiang等人[^29]扩展了锚点至关节编码技术，以应对手之间的遮挡和复杂关节运动问题。Cheng等人[^30]利用基于图像-点云表示的扩散模型，增强了对噪声和不确定深度信号的鲁棒性。在 Egocentric 视觉领域，Liu等人[^31]通过将单视图网络适配到双视图场景，优化了深度推理能力。这些进展反映出当前的发展趋势：开发能够整合局部几何信息与全局上下文的统一架构，以实现高保真的3D手部重建。此外，AHRNet[^32]提出了一种新颖的框架，将注意力机制与热图回归相结合，从而高效且准确地预测3D关节位置并重建手部网格。
近期还有几项研究通过创新方法拓展了手部姿态估计的应用范围。例如，Zhao等人[^33]研究了3D手部姿态估计中合成数据到真实数据的域差异问题，并提出了新的数据合成流程，以使合成数据更好地匹配真实场景。Wang等人[^34]推出了UniHOPE，这是一种适用于纯手部及手-物体姿态估计的统一方法，该方法利用动态特征融合模块来提升复杂手-物体交互场景下的估计精度。Potamias等人[^35]则提出了WiLoR，这是一种端到端的3D手部定位与重建方法，能够有效应对遮挡、光照变化等现实环境中的多手重建挑战。
### 2.2 3D手部姿态估计中的CLIP
CLIP模型弥合了计算机视觉与自然语言处理之间的鸿沟，近年来受到了广泛关注。它首次应用于手部……
---
Lee等人[^36]研究了姿态估计问题，他们利用文本描述来提取文本特征，并将其与图像特征相结合以预测三维手部姿态。然而，由于三维空间中手部关节的离散性，定义能够捕捉姿态相关特征的有效文本提示面临巨大挑战。为解决这一问题，Guo等人[^37]提出了一种新颖的文本描述方法，成功地将不规则的关节位置标签与文本提示关联起来，从而确保姿态相关特征与其对应的文本表示之间的一致性。进一步的进展包括Zhang等人[^38]的工作，他们提出了CLAMP动物姿态估计网络。该方法通过调整预训练语言模型以融入空间与特征感知能力，从而增强了文本与动物图像之间的联系，进而提升了动物姿态估计的效果。
不过值得注意的是，将CLIP应用于细粒度三维手部姿态估计时也存在一定局限性。由于其特征空间是基于普通自然图像学习得到的，因此在异常光照、严重遮挡或超出其训练分布范围的非常规手部形状下，CLIP可能会表现不佳。为缓解这些问题，我们的方法将基于CLIP的语义嵌入与三维手部姿态估计网络的结构约束相结合。受[^32]的启发，本文采用强大的CLIP技术来增强特征提取能力，从而在复杂的现实环境下提升三维手部姿态估计的精度与鲁棒性。
## 3 方法论
### 3.1 CLIP-hand概述
本任务的目标是根据输入的RGB图像$P \in \mathbb{R}^{J \times 3}$，估计相机坐标系中人类手部的三维关节位置$I \in \mathbb{R}^{H \times W}$，其中H和W分别表示输入图像的高度和宽度，而$J = 21$则表示手部关节的总数。
由于遮挡、手部姿态变化以及RGB图像中的深度模糊现象，准确估计手部关节的三维位置，尤其是其相对深度，颇具挑战性。手部姿态估计通常可采用两种主要技术：基于回归的方法与基于检测的方法。基于回归的方法通过提取相关特征并将它们映射到三维空间，从而直接从输入图像预测手部关节的三维坐标。然而，这些方法往往难以处理复杂的手部运动及关节间的相互依赖关系。相比之下，基于检测的方法利用卷积神经网络（CNN）生成指示手部关节位置的热图，再通过后处理提取关节位置。虽然基于检测的方法能达到较高精度，但在遮挡或极端手部姿态下，它们可能难以准确估计三维空间中的深度。在本文中，我们提出了一种名为CLIP-Hand的新方法，它结合了基于回归与基于检测技术的优势，以实现更精确且鲁棒的三维手部姿态估计。如图2所示，我们所提方法的架构由四个模块组成：HFA、MHF、MTED和CM；同时，我们采用了PJ模块来进一步提升性能。
### 3.2 高分辨率特征聚合（HFA）模块
尽管像Swin Transformer这样的框架[^39]能够提取有效的特征表示，但随着网络深度的增加，这些特征的分辨率往往会降低。为了保留高分辨率的特征图，有必要聚合来自不同分辨率的多个层的特征。如图3所示，我们采用了Zheng等人[^40]提出的方法，来有效结合不同层的特征并获得高分辨率的特征图。
高分辨率特征聚合的过程始于对第二阶段的图像特征$f_2(D_2 \times \frac{H}{8} \times \frac{H}{8})$进行上采样以获得$f'_2(D_2 \times \frac{H}{4} \times \frac{H}{4})$。随后，将该上采样后的特征与第一阶段的图像特征$f_1(D_1 \times \frac{H}{4} \times \frac{H}{4})$拼接，生成组合特征$f_{12}(D_1 \times \frac{H}{4} \times \frac{H}{4})$。重复相同步骤可生成特征$f_{123}(D_1 \times \frac{H}{4} \times \frac{H}{4})$。接下来，将特征$f_{123}$与$f'_4(D_1 \times \frac{H}{4} \times \frac{H}{4})$拼接，并送入PAT模块[^40]，以实现二维图像特征的降维与压缩。最终得到高分辨率特征$f_{1234}(D \times \frac{H}{4} \times \frac{H}{4})$，其中$D_i$表示图像特征的通道数。
### 3.3 多尺度热图融合（MHF）模块
通过手部特征聚合（HFA）模块，我们获得了高分辨率特征$f_{1234}$，随后将其分别送入顶点热图分支、关节热图分支以及注意力特征分支。这些分支的结构如图4所示。为处理这些高分辨率特征，我们采用了ResBlock模块[^41]。最初，高分辨率特征$f_{1234} \in D \times \frac{H}{4} \times \frac{H}{4}$（对应$D = 64$）被输入到ResBlock模块中。经过ResBlock网络处理后，我们得到顶点热图特征（$B \times N_1 \times \frac{H}{4} \times \frac{H}{4}$，对应$N_1 = 195$）、关节热图特征（$B \times N_2 \times \frac{H}{4} \times \frac{H}{4}$，对应$N_2 = 21$）以及注意力图特征（$B \times N_3 \times \frac{H}{4} \times \frac{H}{4}$，对应$N_3 = 512$）。
随后，顶点热图特征和关节热图特征会经过Softmax层处理，再与转置后的注意力图特征进行矩阵乘法运算。这
---
Fig. 2 Overview of the proposed CLIP-Hand, which mainly consists of (1) High-resolution Feature Aggregation (HFA), responsible for extracting high-resolution feature maps; (2) Multi-scale Heatmap Fusion (MHF), concentrating on learning vertex, joint and attention map features; (3) Multi-layer Transformer Encoder-Decoder Fusing
Attention (MTED), leveraging attention to regress 3D hand vertices and joints; (4) CLIP Module (CM), used to obtain more plausible feature representations; (5) the Predefined 3D Joint (PJ) module, focusing on boosting performance. Best viewed in color
Fig. 3 The structure of HFA module, which is designed to preserve high-resolution feature maps by aggregating features from multiple layers with varying resolutions
---
Fig. 4 The structure of MHF module, which integrates 3D joint point, mesh vertex heatmap and attention features via ResBlocks
一过程会生成网格顶点热图特征（尺寸为195×B×512）以及带注意力的关节特征（尺寸为21×B×512），它们分别作为后续MTED模块中的网格顶点查询向量和关节查询向量。同时，通过对全局特征进行全连接操作，可得到维度为(1×B×512)的特征，该特征被用作初始的弱透视相机参数（Cam Queries）。最后，将这些特征拼接起来形成维度为(217×B×512)的特征向量，作为后续MTED模块的查询输入。
### 3.4 多层Transformer编码器-解码器（MTED）模块
受[^15]中提出的渐进式降维方案以及[^16]中提出的新型Transformer编码器-解码器架构的启发，我们提出了一种用于回归最终3D手部顶点和关节的渐进式降维Transformer编码器-解码器架构。在我们的设计中，全局特征充当解码器中的键（Key）和值（Value），而特征$f_s$则用作查询向量。通过将交叉注意力模块引入解码器，我们能够有效捕捉手部关节与网格顶点之间的非局部关系。最终，我们得到关节特征$X_j \in \mathbb{R}^{N_2 \times 2D}$和顶点特征$X_v \in \mathbb{R}^{N_1 \times 2D}$。
此外，我们采用了[^28]中提出的渐进式注意力掩码机制，该机制在学习过程中会对特定距离阈值内的顶点和关节给予更多重视。如图5所示，我们的方法使用了四种掩码，其距离阈值分别设为7、5、3和1。这些阈值定义了局部连接关系。
Fig. 5 Structure of the MTED module: This module integrates global features and positional encoding to inform the decoding process. It optimizes pose estimation accuracy through cross-attention mechanisms and progressive masking
这些阈值用于界定顶点间的局部连接，通过逐步缩小范围来帮助模型捕捉相邻顶点间的局部关系。
---
### 3.5 CLIP模块（CM）
虽然上述三个模块表现优异，但手部姿态固有的复杂性和自遮挡现象有时会阻碍模型仅从图像中提取足够的信息。为了提升模型性能，我们引入了CLIP模块，利用文本描述来提高姿态估计的精确度。具体而言，RGB图像和对应的文本提示（详见4.1节）分别被输入图像编码器和文本编码器，以提取手部图像特征$f_{img}$和对应的文本特征$f_{text}$。随后将这些特征拼接起来形成融合特征$f_{clip}$。
为了将CLIP模块产生的融合特征$f_{clip}$有效整合到手部姿态估计网络中，我们采用了对比学习方法。具体来说，我们将全局特征复制成两份：$f_1$和$f_2$。将融合特征$f_{clip}$加到全局特征$f_2$上，经过特征相加后，通过共享$f_{11}$和$f_{22}$的权重，即可得到全局特征$f_1$和$f_2$，如图2所示。对于正样本和负样本，我们借助[^42]来生成。随后应用对比学习损失函数来约束网络中的全局特征表示，从而提升模型提取更精确图像特征的能力。
### 3.6 预定义3D关节（PJ）模块
为了进一步提升模型性能，我们引入了预定义3D关节（PJ）模块，该模块整合了19种预定义的手部手势[^43]，如图6所示。这些手势源自Light-HaGRID数据集，该数据集包含约12万张涵盖18种手势类型（如握拳、OK、点赞、和平、手掌、呼叫、停止）的RGB手部图像，另加一个“无手势”类别，代表了常见的日常动作。尽管它们无法完全覆盖连续的手部姿态空间，但可作为具有语义和几何多样性的代表性离散样本，在高维姿态空间中界定出有意义的方向，进而帮助网络在各类姿态间进行插值。
我们基于Light-HaGRID数据集训练了YOLOv5网络，以获得精准的手部检测框和手势类别预测结果。每张图像都以JSON格式标注了手势类别和边界框信息，每个类别约有7000个样本。将手势类别扩充至19类后，训练好的YOLOv5模型在验证集上的最终mAP@0.5达到了96.4%，随后该模型被用于FreiHAND数据集中的手部手势分类，为后续的特征对齐提供可靠的类别线索。
在PJ模块中，预定义的3D手部关节模板（每个模板的尺寸为$21 \times 3$）对应19种手势类别。数据增强过程中应用的相同旋转与缩放变换也会被施加于这些预定义模板上，以确保几何一致性。经过增强的关节模板$X_{de\_j\_3d}$以及预测出的关节点$X_{pred\_j\_3d}$会被送入注意力模块；在该模块中，模板充当键（Key）和值（Value）向量，而预测的关节点则作为查询（Query）。通过这种基于注意力的机制，该模块能够学习预测关节点与参考关节点之间的自适应软权重，从而动态融合多个模板，而非仅依赖单一模板。这种设计实现了高效的空间相关性建模，并稳定了优化过程。此外，对比学习目标有助于区分结构相似但语义不同的手势，防止特征坍塌并提高模型的鲁棒性。
因此，PJ模块兼顾了语义连贯性与几何合理性，在未见过的人物、视角及光照条件下均表现出强大的泛化能力。基于YOLOv5的分类机制确保了语义一致性（例如，握拳与半握拳等相似手势具有相近的特征表示），而那19个模板则提供了标准化的几何框架，即便在遮挡或旋转情况下也能保持结构的合理性。在RHD和Dexter+Object数据集上的实验表明，该模块在遮挡、背景杂乱以及光照变化等挑战性条件下仍能保持较高的准确性和鲁棒性。
### 3.7 损失函数
所提出的基于注意力机制和多尺度热图的3D手部姿态估计方法需通过五种损失函数进行训练，分别是手部3D网格顶点损失$L_{vert}$、手部3D关节点损失$L_{j3d}$、手部2D关节点损失$L_{j2d}$、热图损失$L_{hp}$以及对比学习损失$L_{hp}$。其中，$L_{vert}$采用$L_{1}$损失函数来量化预测顶点与真实顶点之间的差异；$L_{j3d}$利用均方误差（MSE）损失函数来衡量预测关节点与真实关节点之间的差别，以及从预测顶点回归得到的3D关节点与真实关节点之间的偏差；$L_{j2d}$则应用$L_{1}$损失函数来计算投影后的2D关节坐标（通过将相机内参应用于预测顶点得到）与对应的真实2D关节坐标之间的差值；$L_{hp}$用于衡量预测热图与真实热图之间的差异。此外，还采用了对比损失$L_{con}$ NT-XentLoss $^{[44]}$来强化可泛化特征的学习，进而提升手部姿态估计的鲁棒性。
## 基于多尺度热图的所提出3D手部姿态估计网络的最终损失由公式——
---
Fig. 6 Illustration of the predefined hand poses
1给出。
$$ \begin{aligned}L_{total}=&W_{vert}\times L_{vert}+W_{j3d}\times L_{j3d}+W_{j2d}\times L_{j2d}+L_{hp}\\&+W_{con}\times L_{con}\tag{1}\end{aligned} $$
其中，$W_{vert}$、$W_{j3d}$、$W_{j2d}$、$W_{con}$分别为各项损失项的平衡因子，分别被设定为1000、1000、100和10。
这种权重策略是通过经验调优得出的，旨在平衡不同目标之间的梯度。由于对比损失$(10^{1}-10^{2})$比几何损失（低于$10^{-4}$）高出数个数量级，因此会给几何项分配更高的系数，以防止语义信息占据主导并保留空间精度。这种配置能够确保模型在FreiHAND、RHD和Dexter+Object数据集上稳定收敛并取得鲁棒的性能。
### 4 实验
### 4.1 数据集
FreiHAND数据集。FreiHAND数据集[^45]是一个真实场景下的3D手部数据集，其图像具有绿色背景，便于在训练网络时更换背景。该数据集包含来自多视角设置的130,240张训练图像和3,960张测试图像，图像分辨率为$224 \times 224$。数据集提供了21个关节位置标注信息、手部掩码以及相机参数矩阵。RHD数据集。RHD数据集[^13]是一个合成手部图像数据集，包含2020个角色模型和39种动作，共计43,986帧（其中41,258帧用于训练，2,728帧用于评估）。该数据集的图像分辨率为$320 \times 320$，并为21个手部关节提供深度分割掩码，同时给出2D和3D手部关节的位置标注信息。该数据集的训练集和测试集在特征和动作上并不相同，且涵盖了更多罕见姿势。数据集中的每张RGB图像都配有对应的姿态标签和掩码标签。
Dexter+Object数据集。Dexter+Object数据集[^46]旨在方便评估手部姿态估计和手物交互分析效果，它由两名受试者录制的六个序列组成，共计3,014帧，分辨率为$640 \times 320$像素。这些帧捕捉了复杂的手物交互场景，尤其是涉及长方体物体的情况，因此为研究物理交互过程中手部运动的动态特性提供了独特且宝贵的资源。鉴于其对交互场景的重视，该数据集对于评估手部姿态估计算法在现实动态环境中的性能尤为重要。
文本数据集。在本文中，我们引入短语“带有彩色背景的手部图像”来描述与手部RGB图像相关的各种背景，从而形成文本-图像对。该短语作为生成文本提示的模板，用于捕捉数据集中用于训练和测试的各种背景。不同背景对应的文本提示组合见表1，表中展示了不同颜色背景与手部图像的关联方式。这种方法为不同环境下的手部图像提供了结构化的表示，有助于评估模型在各种背景条件下的鲁棒性。
为了进一步丰富语义信息，我们加入了手势类别预测，并将最终的提示格式构建为“一张在{color}背景上的手部图像，其手势含义为{class}”。其中，class对应19个预定义手势标签之一（如“和平手势”、“握拳”、“点赞”、“OK”、“手掌”），color则表示采样的背景类型。这种文本-图像配对策略能够让CLIP编码器同时学习视觉和语义对应关系，从而提高模型对手势类型和背景复杂度的变化所表现出的鲁棒性。为便于理解和复现，表2中给出了所构建提示的代表性示例。
---
| Image generation for hand RGB images of the FreiHAND dataset | Hand | Color | Background |
| a cropped image of an image of a cropped photo of a picture of one a photo of a photo of right | hand with right hand with | mustard bright green white olive orange blue gray pink coral | lime dark purple silver black red yellow beige brown wine | room background |
Table 2 Image-text paired samples constructed from the FreiHAND dataset
| Image | Text |
|  | An image of a hand on a bright room in a gesture that means “peace inv.” |
|  | An image of a hand on a mountain background in a gesture that means “one” |
|  | An image of a hand on a green background in a gesture that means “palm” |
|  | An image of a hand on a mountain background in a gesture that means “two up inv.” |
### 4.2 实现细节
参数设置。我们所有的CLIP-Hand实验均使用AdamW优化器 [^47] 进行训练，批量大小为8，在基于PyTorch的GeForce 4090 GPU上运行。初始学习率被设定为 $10^{-4}$。我们将模型训练120个周期，每经过40个周期便将学习率降低为原来的十分之一。即便设置了随机种子，我们仍发现模型性能波动较大。因此，为了克服这种波动，本文给出了三次试验的平均性能结果。
模型规模与运行时间。我们记录了PyTorch为METRO [^15]、Fast METRO [^16]以及我们的CLIP-Hand保存的模型参数。METRO和Fast METRO的参数规模分别为230.4M和153.0M，而我们的模型为76.3M。由此可见，所提出的模块并未导致参数数量较对比模型有显著增加。在训练时间方面，METRO和Fast METRO每次迭代分别耗时约1.05秒和0.90秒，而我们的CLIP-Hand仅需0.83秒；至于推理—
---
Table 3 Quantitative comparisons with state-of-the-arts on the FreiHand dataset
| Methods | FPS | Params | FLOPs | PA-MPJPE | F@15mm |
| Hasson [^48] | - | - | - | - | 0.908 |
| MANO CNN [^45] | - | - | - | - | 0.935 |
| Pose2Mesh [^49] | 8 | - | - | 7.7 | 0.969 |
| I2LMeshNet [^50] | - | - | - | 7.4 | 0.973 |
| METRO [^15] | 19.55 | 183.80M | 41.47G | 6.8 | 0.981 |
| FastMETRO [^16] | 21.88 | 133.90M | 30.56G | 6.5 | 0.982 |
| FastViT [^51] | 84 | - | - | 6.6 | 0.981 |
| Our CLIP-Hand-cls-S12 | 42.36 | 30.64M | 34.01G | 7.0 | 0.979 |
| Our CLIP-Hand-cls-S24 | 30.20 | 40.20M | 34.89G | 6.3 | 0.984 |
Table 4 Quantitative comparisons with state-of-the-arts on RHD and Dexter+object
| Methods | RHD\nAUC of PCK@0.5 $\uparrow$ | Dextere+object\nAUC of PCK@0.5 $\uparrow$ |
| Baek et al.[^52] | 0.926 | 0.650 |
| Zhang et al. [^53] | 0.901 | 0.825 |
| Rong et al.[^54] | 0.934 | - |
| Cui-GCN [^55] | 0.933 | 0.77 |
| Gu et al.[^56] | 0.936 | - |
| Hao et al. [^57] | 0.92 | - |
| Our CLIP-Hand | 0.941 | 0.938 |
Table 5 Ablation experiments on FreiHand dataset for different modules of CLIP-hand
| Methods | PA-MPJPE | F@15 mm |
| a | Baseline(s24) | 7.24 | 0.978 |
| b | Baseline(s24)+MTED | 7.06 | 0.979 |
| c | Baseline(s24)+HFA | 7.13 | 0.979 |
| d | Baseline(s24)+HFA+MHF | 6.86 | 0.980 |
| e | Baseline(s24)+HFA+MHF+MTED | 6.74 | 0.981 |
| f | Baseline(s24)+HFA+MHF+MTED+CM | 6.58 | 0.982 |
| g | Baseline(s24)+HFA+MHF+MTED+CM+PJ | 6.32 | 0.984 |
时间，在批量大小为1的情况下，METRO和Fast METRO每次迭代分别耗时约51毫秒和46毫秒，而我们的CLIP-Hand约为41毫秒。
### 4.3 与最先进方法的比较
在FreiHAND数据集上的实验。为了验证我们模型的有效性，我们将其与最先进的方法进行比较，并在表3中报告了其在FreiHand数据集上的FPS、Params、FLOPs、PA-MPJPE及F@15指标结果。与 [^40] 类似，我们通过增加模块数量来提升性能。
在对比结果中，最后两行分别对应我们方法中的大型模型和小型模型，其中小型模型中PAT模块的层尺寸为 $(2, 2, 6, 2)$，大型模型则为 $(4, 4, 12, 4)$。作为大型版本的CLIP-Hand-clsS24模型，其PA-MPJPE值达到了6.3。与其他方法相比，CLIP-Hand在性能相当的同时，帧率（FPS）明显更高。此外，与METRO和FastMETRO相比，CLIP-Hand的参数更少、训练迭代时间更短且每次迭代推理速度更快，因此既高效又有效。
图7展示了CLIP-Hand模型在FreiHAND数据集上的预测结果。结果表明，所提出的方法在预测手部3D关节点和3D网格顶点方面具有令人信服的准确性。
在RHD和Dexter+Object数据集上的实验。为了验证所提出的CLIP-Hand的准确性，我们还在RHD和Dexter+Object数据集上评估了该方法，并与以往的方法进行了比较。我们采用阈值在0-0.5厘米范围内的3DPCK评估指标，即PCK@0.5，来进行定量评估，结果如表4所示。从表中可以看出
---
Fig. 7 Visualizations of our predicted 3D pose and mesh results on the FreiHand dataset
表4表明，所提出的CLIP-Hand方法在RHD和Dexter+Object数据集上的表现优于其他方法。
## 4.4 消融研究
我们在FreiHand数据集上对大型模型（CLIP-Hand-cls-s24，简称s24）开展了消融研究，结果如表5所示。消融研究的结果揭示了各模块对CLIP-Hand模型性能的逐步贡献。评估指标包括PA-MPJPE——用于衡量预测的手部关节位置与实际位置之间的平均距离；以及F@15 mm——表示关节误差在指定范围内的正确估计姿态所占的比例。
以基线模型（s24）为起点，我们观察到其PA-MPJPE值为7.24毫米，F@15毫米值为0.978。随着各模块的依次加入，这两项指标均呈现出改善趋势。具体而言，加入MTED模块后，性能略有提升：PA-MPJPE值降至7.06毫米，F@15毫米值则升至0.979。
---
(a)
(b)
(c)
Fig. 8 Visualization of the CLIP-Hand model: From left to right, a presents the result of row b in Table 5, b shows the result of row e in Table 5, c depicts the result of row f in Table 5, and d is the result of our
(d)
CLIP-Hand model. We highlight the contributions of various modules and showcase the model's performance across different configurations.
加入HFA模块后，性能进一步提升，此时PA-MPJPE值为7.13毫米，F@15毫米值达到0.979；将MTED模块与HFA、MHF组合使用后，性能继续优化，PA-MPJPE值降至6.74毫米，F@15毫米值提升至0.981；而所有模块全部组合使用时，性能达到最佳，此时PA-MPJPE值最低，仅为6.32毫米，F@15毫米值也高达0.984。
为了更深入地理解所提出的这三个模块，我们在图8中展示了在FreiHand数据集上包含/不包含这些模块的定性消融实验结果。从左到右，(a)对应表5中第b行的结果，(b)对应表5中第e行的结果，(c)对应表5中第f行的结果，而(d)则是我们的CLIP-Hand模型的结果。
为了进一步验证我们方法的有效性，我们在背景复杂且光照条件多变的场景下开展了额外的实验与分析，以便更好地了解其适用性。详细结果请参见图9。
## 5 结论
在本研究中，我们针对从单张RGB图像进行3D手部姿态估计和网格恢复这一极具挑战性的任务，提出了一种全面的方法。我们提出的方法CLIP-Hand充分利用了高分辨率特征聚合以及对比语言-图像预训练模型（CLIP）的优势来增强特征表示，进而提升手部网格和关节点的预测精度。通过整合多层Transformer编解码模块以及预定义的3D关节模块，我们的方法优化了3D手势姿态估计的准确性和泛化能力。在标准基准测试上开展的大量实验证明了该方法的有效性。结果表明，我们的方法在准确性和鲁棒性方面可与现有技术相媲美，同时效率也更高。这一点在我们方法所实现的更高帧率上体现得尤为明显，而这对于交互式虚拟环境和人机交互中的实时应用而言至关重要。未来的工作将侧重于进一步提升模型的泛化能力，并探索其在增强现实、虚拟现实和机器人领域的更多应用。尽管当前的CLIP-Hand已展现出良好的效果，但仍有进一步改进的空间，尤其是在融入时间信息方面。在未来的工作中，我们计划将时间特征整合到模型中，以充分利用手部运动的序列特性。
---
(a)
(b)
Fig. 9 Visualization of RGB hand images in a lab environment. a shows RGB hand images captured in a lab environment; b presents hand images collected after altering the background and reducing the
(c)
lighting; c depicts hand images collected with enhanced lighting. The results demonstrate that our method maintains strong performance even on hand images that are out of distribution in the training set.
致谢：本研究得到了教育部人文社会科学研究项目（24YJCZH458）、北京市教委科研计划项目（KM202310009002）以及北方工业大学玉琇创新项目的资助（2024NCUTYXCX202）。
作者贡献：周峰提出研究构想并撰写初稿；季双负责设计研究工作并进行实验分析；沈佩负责准备文本数据并编写源代码；戴菊对工作的各个方面负责，撰写并修改手稿，并批准发表版本；潘军军负责网络修订并为本研究准备图表。赖宇坤负责解读数据，并对论文的重要学术内容进行了关键性修订；Rosin Paul L.提出了关键的网络概念，并对其重要学术内容进行了关键性修订。
数据可用性：本研究期间未生成或分析任何数据集。
## 声明
利益冲突：作者声明不存在利益冲突。
## 参考文献
[^1]: Rehg, J.M., Kanade, T.: DigitEyes: Vision-based hand tracking for human-computer interaction. In: IEEE Workshop on MNAO, pp. 16–22 (1994)
[^2]: Farjadi, S.A., Akbarzadeh-T, M.-R., Ghiasi-Shirazi, K.: RGB image-based hand pose estimation: a survey on deep learning perspective. In: International Symposium on Artificial Intelligence and Signal Processing, pp. 1–7 (2024)
[^3]: Kolotouros, N., Pavlakos, G., Daniilidis, K.: Convolutional mesh regression for single-image human shape reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4501–4510 (2019)
[^4]: Han, S., Liu, B., Cabezas, R., Twigg, C.D., Zhang, P., Petkau, J., Yu, T.-H., Tai, C.-J., Akbay, M., Wang, Z., et al.: MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Trans. Gr. 87–1 (2020)
[^5]: Liebers, J., Brockel, S., Gruenefeld, U., Schneegass, S.: Identifying users by their hand tracking data in augmented and virtual reality. Int. J. Human Comput. Interact. 409–424 (2024)
## [^6]: Gupta, S., Bagga, S., Sharma, D.K.: Hand gesture recognition for human computer interaction and its applications in virtual reality. Adv. Comput. Intell. Tech. Virtual Real. Healthc. 85–105 (2020)
---
[^7]: Zenner, A., Krüger, A.: Estimating detection thresholds for desktop-scale hand redirection in virtual reality. In: IEEE VR, pp. 47–55 (2019)
[^8]: Hassan, E.K., Jamila Harbi, S.: 3d hand pose and shape estimation from single RGB image for augmented reality. Journal of Intelligent Systems and Internet of Things, 90–101 (2023)
[^9]: Hassan, E.K., Jamila Harbi, S.: 3d hand pose and shape estimation from single rgb image for augmented reality. Journal of Intelligent Systems and Internet of Things, 90–101 (2023)
[^10]: Handa, A., Van Wyk, K., Yang, W., Liang, J., Chao, Y.-W., Wan, Q., Birchfield, S., Ratliff, N., Fox, D.: DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system. In: International Conference on Robotics and Automation, pp. 9164–9170 (2020)
[^11]: Rho, E., Lee, H., Lee, Y., Lee, K.-D., Mun, J., Kim, M., Kim, D., Park, H.-S., Jo, S.: Multiple hand posture rehabilitation system using vision-based intention detection and soft-robotic glove. IEEE Transactions on Industrial Informatics, 6499–6509 (2024)
[^12]: Gomez-Donoso, F., Orts-Escolano, S., Cazorla, M.: Accurate and efficient 3d hand pose regression for robot hand teleoperation using a monocular RGB camera. Expert Systems with Applications, 327–337 (2019)
[^13]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single RGB images. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4903–4911 (2017)
14. Dosovitskiy, A., Beyer, L., Kolesnikov, e. Alexander：一张图片的价值相当于$16 \times 16$个词：用于大规模图像识别的Transformer模型。载于：国际学习表征会议（2020年）
[^15]: Lin, K., Wang, L., Liu, Z.: End-to-end human pose and mesh reconstruction with transformers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1954–1963 (2021)
[^16]: Cho, J., Youwang, K., Oh, T.-H.: Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. In: Proceedings of the European Conference on Computer Vision, pp. 342–359 (2022)
[^17]: Radford, A., Kim, J.W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., et al.: Learning transferable visual models from natural language supervision. In: International Conference on Machine Learning, pp. 8748–8763 (2021)
[^18]: Yuan, S., Garcia-Hernando, G., Stenger, B., Moon, G., Chang, J.Y., Lee, K.M., Molchanov, P., Kautz, J., Honari, S., Ge, L., et al.: Depth-based 3d hand pose estimation: From current achievements to future goals. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2636–2645 (2018)
[^19]: Ren, P., Sun, H., Hao, J., Wang, J., Qi, Q., Liao, J.: Mining multi-view information: a strong self-supervised framework for depth-based 3d hand pose and mesh estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 20555–20565 (2022)
[^20]: Sheng, B., Li, P., Ali, R., Chen, C.P.: Improving video temporal consistency via broad learning system. IEEE Trans. Cybern. 6662–6675 (2021)
[^21]: Ali, S.G., Wang, X., Li, P., Li, H., Yang, P., Jung, Y., Qin, J., Kim, J., Sheng, B.: Egdnet: an efficient glomerular detection network for multiple anomalous pathological feature in glomerulonephritis. The Visual Computer, 1–18 (2024)
[^22]: Moon, G., Chang, J.Y., Lee, K.M.: V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5079–5088 (2018)
[^23]: Cheng, J., Wan, Y., Zuo, D., Ma, C., Gu, J., Tan, P., Wang, H., Deng, X., Zhang, Y.: Efficient virtual view selection for 3d hand pose estimation. In: Proceedings of the AAAI Conference on Artificial Intelligence, pp. 419–426 (2022)
[^24]: Iqbal, U., Molchanov, P., Gall, T.B.J., Kautz, J.: Hand pose estimation via latent 2.5 d heatmap regression. In: Proceedings of the European Conference on Computer Vision, pp. 118–134 (2018)
[^25]: Ge, L., Ren, Z., Li, Y., Xue, Z., Wang, Y., Cai, J., Yuan, J.: 3d hand shape and pose estimation from a single rgb image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10833–10842 (2019)
[^26]: Guo, S., Rigall, E., Qi, L., Dong, X., Li, H., Dong, J.: Graph-based cnns with self-supervised module for 3d hand pose estimation from monocular RGB. IEEE Transactions on Circuits and Systems for Video Technology, 1514–1525 (2020)
[^27]: Cho, J., Youwang, K., Oh, T.-H.: Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. In: Proceedings of the European Conference on Computer Vision, pp. 342–359 (2022)
[^28]: Kim, J., Gwon, M.-G., Park, H., Kwon, H., Um, G.-M., Kim, W.: Sampling is matter: Point-guided 3d human mesh reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12880–12889 (2023)
[^29]: Jiang, C., Xiao, Y., Wu, C., Zhang, M., Zheng, J., Cao, Z., Zhou, J.T.: A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single RGB image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 8846–8855 (2023)
[^30]: Cheng, W., Tang, H., Van Gool, L., Ko, J.H.: Handdiff: 3d hand pose estimation with diffusion on image-point cloud. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2274–2284 (2024)
[^31]: Liu, R., Ohkawa, T., Zhang, M., Sato, Y.: Single-to-dual-view adaptation for egocentric 3d hand pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 677–686 (2024)
[^32]: Zhou, F., Shen, P., Dai, J., Jiang, N., Hu, Y., Lai, Y.-K., Rosin, P.L.: Ahrnet: Attention and heatmap-based regressor for hand pose estimation and mesh recovery. In: IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 3000–3004 (2024)
[^33]: Zhao, Z., Yang, L., Sun, P., Hui, P., Yao, A.: Analyzing the synthetic-to-real domain gap in 3d hand pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12255–12265 (2025)
[^34]: Wang, Y., Xu, H., Heng, P.-A., Fu, C.-W.: Unihope: A unified approach for hand-only and hand-object pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12231–12241 (2025)
[^35]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12242–12254 (2025)
[^36]: Lee, S., Park, H., Kim, D.U., Kim, J., Boboev, M., Baek, S.: Image-free domain generalization via clip for 3d hand pose estimation. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 2934–2944 (2023)
[^37]: Guo, S., Cai, Q., Qi, L., Dong, J.: Clip-hand3d: Exploiting 3d hand pose estimation via context-aware prompting. In: Proceedings of the ACM International Conference on Multimedia, pp. 4896–4907 (2023)
[^38]: Zhang, X., Wang, W., Chen, Z., Xu, Y., Zhang, J., Tao, D.: Clamp: Prompt-based contrastive learning for connecting language and animal pose. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 23272–23281 (2023)
## [^39]: Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., Guo, B.: Swin transformer: Hierarchical vision transformer using shifted windows. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 10012–10022 (2021)
---
[^40]: Zheng, C., Liu, X., Qi, G.-J., Chen, C.: POTTER: Pooling attention transformer for efficient human mesh recovery. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1611–1620 (2023)
[^41]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 770–778 (2016)
[^42]: Spurr, A., Dahiya, A., Wang, X., Zhang, X., Hilliges, O.: Self-supervised 3d hand pose estimation from monocular RGB via contrastive learning. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11230–11239 (2021)
[^43]: Kapitanov, A., Kvanchiani, K., Nagaev, A., Kraynov, R., Makhliarchuk, A.: Hagrid – hand gesture recognition image dataset. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 4572–4581 (2024)
[^44]: Chen, T., Kornblith, S., Norouzi, M., Hinton, G.: A simple framework for contrastive learning of visual representations. In: International Conference on Machine Learning, pp. 1597–1607 (2020)
[^45]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 813–822 (2019)
[^46]: Sridhar, S., Mueller, F., Zollhöfer, M., Casas, D., Oulasvirta, A., Theobalt, C.: Real-time joint tracking of a hand manipulating an object from RGB-d input. In: Proceedings of the European Conference on Computer Vision, pp. 294–310 (2016)
[^47]: Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. In: International Conference on Learning Representations (2018)
[^48]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11807–11816 (2019)
[^49]: Choi, H., Moon, G., Lee, K.M.: Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In: Proceedings of the European Conference on Computer Vision, pp. 769–787 (2020)
[^50]: Moon, G., Lee, K.M.: I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In: Proceedings of the European Conference on Computer Vision, pp. 752–768 (2020)
[^51]: Vasu, P.K.A., Gabriel, J., Zhu, J., Tuzel, O., Ranjan, A.: Fastvit: A fast hybrid vision transformer using structural reparameterization. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 5785–5795 (2023)
[^52]: Baek, S., Kim, K.I., Kim, T.-K.: Pushing the envelope for RGB-based dense 3d hand pose estimation via neural rendering. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1067–1076 (2019)
[^53]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular RGB image. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2354–2364 (2019)
[^54]: Rong, Y., Shiratori, T., Joo, H.: FrankMocap: A monocular 3d whole-body pose estimation system via regression and integration. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 1749–1759 (2021)
[^55]: Cui, Y., Li, M., Gao, Y., Gao, C., Wu, F., Wen, H., Li, J., Sang, N.: Camera distance helps 3d hand pose estimated from a single RGB image. Gr. Models, 101179 (2023)
[^56]: Gu, K., Yang, L., Mi, M.B., Yao, A.: Bias-compensated integral regression for human pose estimation. IEEE Trans. Pattern Anal. Mach. Intell. 10687–10702 (2023)
[^57]: Hao, Y., Wang, S., Kan, Z.: 2d hand pose estimation from a single RGB image through flow model. In: International Conference on Advanced Robotics and Mechatronics, pp. 675–680 (2024)
出版商声明：Springer Nature对于所发表地图中的管辖权声明及机构归属保持中立。
Springer Nature或其许可方（如学会或其他合作伙伴）根据与作者或其他权利持有者签订的出版协议，拥有本文的独家使用权；本文经接受的手稿版本的作者自存档仅受此类出版协议条款及适用法律的约束。
周峰目前担任中国北京北方工业大学信息科学与技术学院副教授。他于2009年在北京联合大学获得计算机科学学士学位，2014年在云南大学获得计算机科学与应用硕士学位。2020年，他在中国北京航空航天大学虚拟现实技术与系统国家重点实验室获得计算机科学博士学位。他的研究方向包括模式识别、图像处理、虚拟现实、计算机图形学和计算机视觉。
季双目前是北方工业大学的研究生。她于2024年在北方工业大学获得数字媒体技术专业学士学位。她的研究方向包括虚拟现实、3D手部重建、3D手部姿态估计以及手物交互。
沈佩是北方工业大学的学生。她分别于2021年和2024年在北方工业大学获得计算机技术专业的学士和硕士学位。她的研究方向包括虚拟现实、3D手部重建以及3D手部姿态估计。
---
鞠黛目前是深圳鹏城实验室的研究助理。她于2011年和2014年分别在中国地质大学（武汉）获得电子工程专业的学士和硕士学位，并于2020年在大连理工大学获得信号处理专业的博士学位。2020年至2022年，她在鹏城实验室担任博士后研究员。她的研究方向包括虚拟现实、角色动画、运动分析、低级视觉分析以及多模态表征学习。
潘俊俊目前是北京航空航天大学计算机学院的教授。他在中国西北工业大学计算机学院获得了学士和硕士学位。2006年，他作为全额奖学金获得者，在英国伯恩茅斯大学国家计算机动画中心攻读博士学位。2010年他获得博士学位后，在该中心担任博士后研究员。
2012年至2013年，他在美国伦斯勒理工学院医学建模、仿真与成像中心担任研究助理。2013年11月，他被任命为中国北京航空航天大学计算机学院的副教授。他的研究兴趣包括虚拟手术和计算机动画。
赖宇坤目前是英国卡迪夫大学计算机科学与信息学院视觉计算方向的教授及研究主任。他分别于2003年和2008年在中国清华大学获得计算机科学专业的学士和博士学位。他的研究兴趣包括计算机图形学、几何处理、图像处理和计算机视觉。他曾担任2014年欧洲图形学几何处理研讨会（SGP）和2016年计算视觉媒体会议（CVM）的会议联合主席。他还是《Computer Graphics Forum》和《The Visual Computer》的编委会成员，同时也是多个重要国际会议的程序委员会成员。
保罗·L·罗辛是卡迪夫大学计算机科学与信息学院的教授。他此前曾在英国布鲁内尔大学信息系统与计算系担任讲师，在意大利伊斯普拉的联合研究中心遥感应用研究所担任研究科学家，以及在澳大利亚珀斯的科廷科技大学担任讲师。他的研究兴趣包括曲线的表征、分割与分组，基于知识的视觉系统，早期图像表征，低级图像处理，遥感领域的机器视觉方法，近似算法评估方法等，还有医学与生物图像分析、网格处理、非真实感渲染，以及艺术与建筑中的形状分析。