# 基于姿态引导的时序增强方法，用于鲁棒的低分辨率手部重建范凯欣、任鹏飞 $^{*}$、王景宇 $^{\dagger}$、孙海峰、齐琪、庄子睿、廖建新网络与交换技术国家重点实验室北京邮电大学 {fkxbupt, rpf, wangjingyu, hfsun, qiqi8266, zhuangzirui, liaojx}@bupt.edu.cn ## 摘要 3D手部重建在非接触式人机交互应用中至关重要，但现有方法在处理低分辨率图像时表现不佳，这类情况常出现在交互距离稍远的场景中。利用时序信息能够弥补单张低分辨率图像在细节表征上的不足，从而提升手部重建的鲁棒性与精度。现有的时序方法通常利用关节特征来表征时序信息，以避免冗余背景信息的干扰。然而，关节特征过度忽略了视觉特征的空间上下文，限制了手部重建的精度。我们提出将时序关节特征与视觉特征相融合，以构建鲁棒的低分辨率视觉表征。我们采用具有3D空间感知能力的密集表征——三平面特征，来弥合表征形式与语义上存在差异的关节特征和视觉特征之间的鸿沟。三平面特征是通过对关节特征进行正交投影得到的，能够将手部结构信息嵌入到3D空间上下文中。此外，我们通过空间感知融合技术将三个平面的空间信息压缩为2D密集特征，以此增强视觉特征。利用富含时序信息的增强视觉特征进行手部重建，我们的方法在DexYCB、HanCo和H2O数据集上，即便在更低分辨率下也能取得与高分辨率下最先进方法相媲美的性能。代码可在获取。 ### 1. 引言 3D手部重建作为非接触式人机交互应用中的关键组成部分，在该领域做出了重要贡献。 ![Image](images/85bef5d08ff3371102d40f43377cf9d81fd014fcf06870ee8b8fa6b3152083d1.jpg)

Figure 1. Different way to utilizing joint features. a) Directly reconstruct hand from joint features, relying solely on sparse features without spatial context. b) Fusing joint and visual features through cross-attention, which avoids representation discrepancies but neglects the hand's structural priors. c) Using triplane features to bridge joint and visual features by decoding structural joint information into dense representations that enhance visual features.

近年来，随着大规模数据集和深度学习技术的出现，该领域取得了显著进展。许多研究 [^6] [^7] [^30] [^31] [^34] [^40] 聚焦于从单张RGB图像中重建3D手部模型。在典型的交互场景中，这些方法要求受试者靠近采集摄像头，以获取高分辨率（如256×256）的裁剪手部图像。然而，当交互距离增加——比如在教室内的XR教学活动中——可获得的裁剪手部图像分辨率就会较低（如64×64）。当前的方法在这种低分辨率图像上的表现较差，因为这类图像提供的用于解决关节自相似性和深度歧义性的线索较少，大大增加了3D手部重建的难度。 --- 这类低分辨率图像会给解决关节自相似性和深度模糊问题带来更少线索，从而大幅增加三维手部重建的难度，导致模型在这些图像上的表现较差。为了解决低分辨率问题，一种直观的方法是通过超分辨率技术来提升分辨率 [^14]。然而，通用的超分辨率方法可能会导致手部区域出现结构扭曲和伪影，从而在超分辨率图像与真实高分辨率图像之间产生域差异。Low-Res Pose [^45] 采用基于置信度的学习方式来监督关节偏移场，进而减轻量化误差。RSC-Net [^48] 则利用跨分辨率对比学习，使低分辨率图像的估计结果能与高分辨率图像对齐。不过，由于低分辨率带来的信息丢失存在固有歧义性，这些方法的性能仍然受限。单张低分辨率图像缺乏手部的细节特征，因此视觉表征存在歧义。连续帧能够提供完整的手部外观和运动上下文，为推断全局手部结构提供了强有力的消歧线索。为了减少冗余背景信息的干扰以及降低计算成本，现有时序方法通常将单帧信息压缩为关节特征 [^51] [^58]，再通过时序交互来建模关节之间的帧内和帧间相关性。然而，关节特征会过度丢弃视觉特征的空间上下文，从而限制了姿态估计的精度。将视觉特征的空间上下文与关节特征的时序上下文相融合，就能构建具备三维空间感知能力的鲁棒视觉表征。不过，将关节特征融入视觉特征面临两大挑战：其一，稀疏的关节特征在表征形式上与密集的视觉特征并不匹配；其二，关节特征包含三维空间中的先验几何结构信息（如手部尺度、骨骼长度），而视觉特征则代表二维空间中的细节外观信息（如纹理、颜色），二者存在语义上的不匹配。在本文中，我们将历史帧中的时序线索融入当前视觉特征，以实现在低分辨率场景下鲁棒且精准的三维手部姿态估计。具体而言，我们将时序信息压缩为关节表征，并通过时空交互来建模关节的帧内和帧间关系。随后，我们采用三平面特征 $^{[4]}$——一种具备三维空间感知能力的密集视觉表征——来衔接稀疏的三维关节表征与密集的二维视觉表征。我们将关节特征正交投影到三个独立的平面上，每个平面分别将稀疏的关节特征嵌入特定的空间上下文中。这些正交平面能以低冗余的方式全面覆盖三维手部结构信息。不过，它们仍包含冗余的空间信息，若直接将这些特征整合到视觉平面中，会导致不同平面的空间上下文相互重叠。因此，我们将垂直于视觉平面的两个平面上的特征压缩为1D全局特征，引导视觉特征中的每个像素整合来自其他平面的不同空间上下文，从而减少冗余并明确三维空间上下文。最后，我们基于增强后的视觉特征重建手部。在DexYCB [^5]、HanCo [^60]和H2O [^25]这几个大规模手部姿态估计视频数据集上的实验结果表明，与高分辨率下的单帧基和时间基最先进（SOTA）方法相比，所提出的方法在低分辨率下就能取得具有竞争力的性能。总的来说，我们的贡献如下： - 我们提出了一种时间增强框架，该框架将时间关节特征与视觉特征相结合，以构建适用于低分辨率条件的鲁棒视觉表示，从而提升低分辨率视频中的手部重建性能。 - 我们引入了三平面特征编码技术，将关节特征编码为密集的特征图。通过三平面特征，视觉特征能够感知来自时间关节特征的先验手部结构信息。与高分辨率下的SOTA方法相比，我们的方法在低分辨率下就能取得具有竞争力的结果。 ### 2. 相关工作 #### 2.1. 基于单幅图像的手部姿态估计早期的研究[^2] [^17] [^18] [^36] [^43] [^59]仅依据输入图像来估计手部姿态，由于未对手部的固有结构进行建模，因此存在遮挡问题。MANO[^41]提出了一种参数化手部模型，该模型包含了丰富的人手先验知识，如今大多数研究都致力于从图像中重建这种预定义的手部模型。部分研究[1, 23, 32, 37–39, 52, 56]直接预测MANO的参数，随后通过可微分的MANO模型获取三维关节和网格顶点坐标。然而，直接从单张RGB图像预测MANO参数是一项极具挑战性的任务，不仅难以进行网络优化，还容易出现网格与图像对齐不良的问题[^44]，在低分辨率输入条件下尤为明显。为了缓解参数化预测中存在的这些问题，一些研究[^13] [^24] [^27]直接回归网格顶点的三维坐标或占据信息。例如，[^53]采用图卷积神经网络为每个网格顶点回归2.5D热图；[^26]则提出了一种用于恢复网格的端到端框架。这些研究表明，采用基于回归的方法既能保持灵活性，又能取得与参数化方法相当的结果。因此，我们采用了基于回归的方法。 --- 我们采用[^53]中描述的基于回归的方法，从增强的视觉特征中重建手部网格。 #### 2.2. 低分辨率姿态估计近期，一些研究开始探索低分辨率姿态估计问题。一种直观的方法是利用超分辨率技术[^14]来提升图像质量和姿态估计性能。然而，额外的超分辨率网络会带来计算开销，还可能在输入图像中产生不理想的伪影。[^45]发现，基于偏移量的方法在低分辨率下能提供更可靠的结果，进而提出了一种置信度感知学习机制，以选择性地调整热图与偏移量的学习权重。[^48]通过一组超参数来控制CNN架构模型的缩放，借助对比学习和自监督学习，迫使模型在不同分辨率下输出尺度不变的特征。尽管特定的学习方案改善了低分辨率下的糟糕结果，但网络提取的特征仍受限于手部细节的缺失。另一项研究[^33]探讨了低分辨率多视角视频中的3D姿态估计问题，结果表明时间和多视角信息可作为补充来缓解信息丢失问题。不过，他们仅在特定不利条件下修正预测结果，忽略了时间信息能够降低单张低分辨率图像固有的模糊性并提升整体性能这一事实。 #### 2.3. 时序手部姿态估计一些近期的方法[^11] [^15] [^22] [^29] [^50] [^55]开始尝试利用视频中的时序信息来克服单视角图像的局限性。Hasson等人[^15]采用光度监督机制，以确保重新投影的3D手部模型与光流之间的一致性。VIBE[^22]利用时序生成网络来预测每一帧的模型参数，并采用循环神经网络作为判别器来对运动序列进行监督。不过，他们忽略了视频中的空间与特征相关性。更近期的研究[^20]借助基于LSTM的序列到序列模型来传递逐帧特征[^16]，从而利用时序信息，但该方法仅能提供稀疏的关节位置预测。TCMR[^9]则引入了一种时序一致的系统，该系统会综合过去与未来帧的隐式特征，以维持当前帧网格的时序一致性。Deformer[^12]利用预测的运动对邻近帧的手部姿态进行形变处理，从而避免在使用自注意力机制时因局部特征产生不可靠的查询结果。在低分辨率条件下，这些方法受到单帧特征质量较差的限制。此外，它们在处理时序特征时缺乏明确的焦点中心，这可能会导致某些估计结果因时序上下文的影响而偏离实际图像。 ### 3. 方法我们的方法概述如图2所示。对于图像序列中的某一帧$I_T$中的给定帧$V = \{I_t\}_{t=1}^T$，我们提取前$T - 1$帧的时间线索，以增强当前帧的视觉特征，并基于增强后的视觉特征重建手部网格。具体而言，我们首先将各历史帧的信息压缩为关节特征，并通过时空Transformer建立它们之间的帧间与帧内相关性。接着，我们通过三平面特征编码将增强后的关节特征中的结构信息编码为具有三维空间感知能力的密集表示，从而提升当前帧的视觉特征。最后，我们利用增强后的视觉特征来重建手部网格。 #### 3.1. 静态视觉特征如图3所示，我们采用Vision Transformer（ViT）$^{[10]}$来提取视觉特征。在提取过程中，模糊的局部特征会从低层特征传播到后续的高层特征，导致最终视觉特征在语义内容和细节层面都存在歧义。因此，我们将时间信息融入不同层次的中间特征中，逐步消除模糊的局部表征，最终获得能够清晰呈现手部结构的视觉特征。然而，静态视觉特征无法感知关节特征中所包含的动态时间信息。为此，我们引入姿态感知标记作为融合动态时间信息的锚点，用于进一步与视觉特征交互。这些标记通过注意力机制从当前视觉特征中提取手部姿态和外观信息。我们根据手指的语义功能对这些标记进行分类，以确保它们既能包含细粒度的视觉细节（如纹理），又能涵盖高层次的语义内容（如骨骼结构）。 #### 3.2. 动态时间关节特征我们使用紧凑的关节特征来表示来自历史帧的动态时间信息。针对单帧图像，我们通过骨干网络获取其视觉特征图以及姿态感知标记。每个姿态感知标记都携带对应不同手指的语义信息。我们进一步结合局部视觉特征，将每个标记扩展为完整的关节特征，从而实现围绕每个关节的细粒度时间交互。我们采用全连接层从姿态感知标记中预测2D关节坐标$p \in \mathbb{R}^{J \times 2}$，并利用该坐标从视觉特征图中采样以关节为中心的局部特征$J^{sample} \in \mathbb{R}^{J \times C}$。关节坐标被编码为姿态特征$J^{pose}$，再与采样得到的特征$J^{sample}$相加，从而得到初始关节特征$J^{init} = J^{pose} + J^{region}$。我们将上游序列中每一帧的关节特征进行拼接， --- ![Image](images/7fc4f5dcef974758f8c00edb74e696a116c0e9a366c6d96660c7ecf14a6c921f.jpg)

Figure 2. Overview of Our Framework. We first construct joint features from the sampled past frame features and 2D poses using a Spatial-Temporal Transformer (a), capturing the temporal dynamics and spatial relationships between joints. We then use these joint features to enhance the visual features of the current frame (b) by converting them into spatial-aware dense features through Tripalne Feature Encoding (c). In (c), we fuse different joint features (from a) using pose-aware tokens (from b), and project them into three orthogonal planes to obtain the Triplane features. These features are then compressed into a single plane through space-aware fusion.

![Image](images/f9f284183bf6bfe0b4719541f7cb77870f79bdd1d38ec4f2c7e5ff9738a89c21.jpg)

Figure 3. Backbone of our framework.

以此形成时间信息的初始表示$J^{temp} = \text{Concat}(J_t^{init}) \in \mathbb{R}^{T \times J \times C}$。随后，我们采用时空Transformer来建立这些关节之间的帧间与帧内相关性。时空Transformer由交替堆叠的时间注意力模块和空间注意力模块组成。在空间注意力模块中，同一关节特征内的不同关节之间会发生注意力交互： $$ S-M H S A(J^{t e m p})=M H S A(Q_{j},K_{j},V_{j}) $$ $$ Q_{j}=W_{q}J_{j}^{temp},K_{j}=W_{k}J_{j}^{temp},V_{j}=W_{v}J_{j}^{temp} $$ 在时间注意力模块中，不同关节特征中同一关节之间会发生注意力交互： $$ T\text{-}M H S A(J^{{t e m p}})=M H S A(Q_{t},K_{t},V_{t}) $$ $$ Q_{t}=W_{q}J_{t}^{temp},K_{j}=W_{k}J_{t}^{temp},V_{j}=W_{v}J_{t}^{temp} $$ 在这里，$W_q$、$W_k$ 和 $W_v$ 是可学习的权重矩阵，分别用于将输入特征转换为查询、键和值。$J_j^{temp}$ 表示第 j 个关节在所有时间步上的联合特征，而 $J_t^{temp}$ 则表示第 t 个时间步下所有关节的联合特征。 #### 3.3. 三平面特征编码关节特征包含了当前手部姿态的时间上下文信息，这些信息可以融入视觉特征中，以构建低分辨率的鲁棒视觉表征。然而，要将语义内容和表征形式并不对齐的关节特征与视觉特征进行融合十分困难。一种直接的方法是将关节特征视为全局令牌，通过交叉注意力机制使其与视觉特征相互作用。但视觉特征很难通过注意力机制有效感知关节特征的 3D 空间属性。因此，我们提出使用三平面特征作为中间表征来增强视觉特征。与那些从图像中构建密集三平面特征用于空间索引的[^4]、[^42]、[^46]不同，我们利用稀疏的关节特征来生成三平面特征，从而将骨骼的 3D 几何属性嵌入到特定的空间上下文中。具体来说，我们首先将每个姿态令牌复制到对应的手指关节处，形成姿态模板 $J^P \in \mathbb{R}^{J \times C}$，用它来将动态关节特征融合为静态特征。随后将其投影到三个正交平面上，作为与视觉特征交互的中间表征。 --- 此外，我们通过空间感知融合将不同平面的信息整合到一个平面中，从而实现与视觉特征的直接融合。关节特征的三平面投影：视觉特征以密集表征的形式呈现特定的空间信息。通过 3D-2D 姿态投影 [^40] 将关节特征转换到 2D 视觉特征空间，能够为手部姿态提供有效的歧义消除线索。然而，单个投影平面无法捕捉关节特征中所蕴含的完整 3D 手部结构，从而导致关键的结构歧义消除线索丢失。因此，我们提出将关节特征投影到三个正交平面上，以完整保留 3D 手部结构信息。我们首先从融合后的关节特征中解码出 3D 手部姿态，然后利用它生成对应 x-y、y-z 和 z-x 平面的距离感知热图。接着，通过这些热图将融合后的关节特征拆分到三个平面上，并将每个平面的特征收集起来，形成三平面特征图 $F_{triplane} = \{F_{x,y}, F_{x,z}, F_{y,z}\}$。空间感知融合三平面编码将融合后的关节特征转化为密集的2D特征，从而消除了其在表示形式上与视觉特征之间的错位问题。然而，从稀疏关节信息投影得到的初始平面特征主要编码的是几何位置，却忽略了相邻关节间的相对空间关系与相互作用——比如遮挡或深度变化，而这些因素对于消除视觉特征中的结构歧义至关重要。此外，这些平面特征在空间上并不统一：x-y平面与视觉特征共享相同的空间维度，而y-z平面和x-z平面则与视觉特征在空间上正交。为了将三平面特征所代表的完整3D手部结构信息嵌入到2D空间的视觉特征中，必须将y-z平面和x-z平面的特征作为相对于x-y平面的补充深度信息，压缩进像素级的语义内容里。不过，通过交叉注意力机制直接将y-z平面和x-z平面特征整合到x-y平面中效率较低，还会引入冗余信息。因此，我们沿着不同方向将y-z平面和x-z平面特征压缩成1D全局表征。这种压缩方式能够让x-y平面上的每个像素有选择地整合来自另外两平面的空间上下文，在减少不必要的重叠的同时保留关键的空间依赖关系。具体来说，我们首先为每个平面特征添加2D位置编码，并应用卷积层来提取各平面特征的局部空间信息（参见图2(c)中的投影部分）。接下来，我们对$F_{x,z}$和$F_{y,z}$沿不同方向求和，从而得到1D特征$I_{x}, V_{x}$和$I_{y}, V_{y}$（参见图2(c)中的压缩部分），其中I表示沿Z方向的求和，V表示沿X或Y方向的求和。最后，我们通过交叉注意力机制将这些特征整合进$F_{x,y}$的像素级内容中，得到经过空间压缩的特征。 #### 3.4. 优化我们通过重建损失监督手部网格回归过程，通过令牌姿态损失和时间姿态损失监督时间增强过程。 ##### 3.4.1. 重建损失我们采用了与[^53]相同的重建损失，包括顶点/关节损失和网格平滑损失。顶点/关节损失通过L1损失来约束每个网格点和关节点的预测误差，即 $$ L_{V/J}=\sum_{i=1}^{N}\|\nu_{i}-\nu_{i}^{*}\|_{1}+\sum_{i=1}^{K}\|j_{i}-j^{*}\|_{1} $$ 其中$\nu_i$是网格的$i^{th}$顶点，$j_i$是姿态中的$i^{th}$关节，$*$表示真实值。网格平滑损失包含对表面法向量和边长的监督，以获得视觉上合理的结果。法向量和边长的损失函数定义如下： $$ L_{n o r m a l}=\sum_{f}\sum_{\{i,j\}\subset f}|\langle\frac{\nu_{i}-\nu_{j}}{\|\nu_{i}-\nu_{j}\|_{2}},n_{f}^{*}\rangle| $$ $$ L_{e d g e}=\sum_{f}\sum_{\{i,j\}\subset f}|\|\nu_{i}-\nu_{j}\|_{2}-\|\nu_{i}^{*}-\nu_{j}^{*}\|_{2}| $$ 其中f和$n_f$分别表示网格面以及面f的单位法向量。$n_f^*$是根据真实顶点集$V^*$计算得出的，这里$\star$表示真实值。最终的手部重建任务损失由顶点/关节损失和网格平滑损失组合而成，即$L_{hand}$。 ##### 3.4.2. 姿态损失对于具备姿态感知能力的标记，我们通过监督其预测的二维姿态来使它们能够感知姿态变化。在时间融合过程中，我们利用融合后的关节特征来预测用于三平面投影的2.5维手部姿态坐标。我们在每个时间融合阶段对预测的2.5维坐标进行监督，以确保能准确解码手部结构信息。这两个损失函数表示如下： $$ L_{token}=\sum_{i}^{K}\|j_{i}^{2d}-j^{2d*}\|_{1} $$ $$ L_{t e m p o r a l}=\sum_{t=1}^{T}\sum_{i=1}^{K}\|j_{t,i}^{2.5d}-j^{2.5d*}\|_{1} $$ 我们框架的最终训练损失结合了重建损失和姿态损失，可表示如下： $$ L=L_{h a n d}+L_{t o k e n}+L_{t e m p o r a l} $$ ---

Methods	Input	Resolution	PA-MPJPE( $\downarrow$)	PA-MPVPE( $\downarrow$)	AUC( $\uparrow$)	F@5( $\uparrow$)	F@15( $\uparrow$)
METRO[^26]	Monocular	256	6.99	-	-	-	-
Liu et. al.[^28]	Monocular	256	6.60	-	-	-	-
MeshGraphormer[^27]	Monocular	256	6.41	-	-	-	-
HandOccNet[^34]	Monocular	256	5.80	5.50	88.4	78.0	99.0
H2ONet[^47]	Monocular	128	5.70	5.50	89.1	80.1	99.0
SimpleHand[^57]	Monocular	256	5.50	5.50	-	-	-
VIBE[^22]	Sequence	224	6.43	-	87.1	-	-
TCMR[^9]	Sequence	224	6.28	-	87.5	-	-
Deformer[^12]	Sequence	512	5.22	-	89.6	-	-
HMR[^19] + LR-ViT	Monocular	64	6.45	6.24	87.3	73.0	98.5
VIBE[^22] + LR-ViT	Sequence	64	6.22	6.09	87.5	74.1	98.7
Ours	Sequence	64	5.72	5.52	88.5	78.4	98.7
Ours	Sequence	32	6.03	5.82	88.0	76.5	98.6

Table 1. Comparison with the state-of-the-art on the DexYCB dataset.

Methods	Input	MPJPE	PA-MPJPE
Cho et al. $^{[8]}$	Sequence	17.20	-
HandOccNet	Monocular	16.19	6.13
HMR + LR-ViT	Monocular	30.72	7.49
VIBE + LR-ViT	Sequence	27.89	7.05
Ours	Sequence	18.15	6.11

Table 2. Comparison with the state-of-the-art on the H2O dataset.

Methods	Input	J-PA	V-PA	F@5	F@15
HaMuCo[^54]	Monocular	7.00	-	-	-
EpipolarPose[^21]	Monocular	6.10	-	-	-
MobRecon[^7]	Monocular	5.70	5.81	-	-
HaMeR[^35]	Monocular	5.99	5.61	77.8	99.0
HMR + LR-ViT	Monocular	6.88	6.44	73.4	98.7
VIBE + LR-ViT	Sequence	6.79	6.27	75.0	98.8
Ours	Sequence	5.77	5.74	77.6	99.0

Table 3. Comparison results on the HanCo dataset. The evaluation results for HaMuCo and EpipolarPose using monocular input are derived from [^54].

Retrained	HanOccNet	SimpleHand	HaMeR	Ours $^{*}$
✗	6.63	-	8.70	-
✓	5.98	5.92	-	5.72

Table 4. SOTA performance (P-MPJPE) on interpolated low-resolution images (DexYCB). *Using raw low-resolution inputs.

### 4. 实验 #### 4.1. 数据集 DexYCB包含人类抓取20种YCB [^3] 物体的多摄像头视频。它由1000个序列组成，共582K帧，由来自8个不同视角的摄像头拍摄。在数据收集期间，手在物体交互过程中经常被遮挡。我们采用来自[^5]的数据集划分方案s0来设置训练集和测试集。 HanCo包含1,517个具有多视角和相机校准的视频。它总共拥有860,304帧，即每个视角下107,538个时间步。由于HanCo没有官方的训练/测试划分，为了公平比较，我们在所有实验中遵循[^54]的方案，使用前1,200个序列进行训练和验证，最后317个序列进行测试。我们所有的消融研究均在该数据集上进行。 H2O包含了四名参与者执行36种不同动作的数据，这些动作涉及与八种不同物体的交互。它为双手提供了无标记的3D标注。我们遵循[^25]中的设置来划分姿态估计的训练集和测试集。 #### 4.2. 实现细节低分辨率处理：我们的实验在两种原始分辨率设置下进行，即$32 \times 32$和$64 \times 64$。除非另有说明，否则所有实验均采用$64 \times 64$的原始分辨率。为避免过度图像插值引入额外噪声，我们将输入图像的大小设置为$64 \times 64$。我们选用ViTPose-B $^{[49]}$作为骨干网络。为了使其适配低分辨率输入，我们用带有零填充的两层卷积替换了补丁嵌入部分，并将ViT中的标记数量缩减为64。在时间特征融合及手部网格回归过程中，这64个标记被重新排列成$8 \times 8$特征图。我们采用[^53]中的基于回归的方法来从最终特征中重建手部。时间输入处理：我们的方法利用历史帧的时间信息来增强当前的手部重建效果。根据各数据集的特点，我们选择了序列长度T=6且间隔为5帧的设置。在训练时，我们首先通过ViT提取前5帧的视觉特征和姿态感知标记—— --- 此时骨干网络不进行时间融合，随后将这些特征压缩为关节特征。在此阶段，ViT骨干网络的参数不会更新。这些关节特征随后会被送入时空Transformer，以增强对最后一帧的特征提取过程。我们在此阶段训练所有网络参数。我们在配备Nvidia GeForce RTX 4090 GPU的单台服务器上训练并评估我们的方法。所有实验均基于PyTorch实现。对于所有数据集，批量大小均设为64。在针对各数据集开展正式训练前，我们会使用ViTPose-B的预训练权重对骨干网络进行微调。针对DexYCB和HanCo数据集，我们进行了30个周期的微调；对于H2O数据集，微调周期为20个周期。对于DexYCB、H2O和HanCo数据集，模型的训练周期分别为50、30和50个周期。模型采用AdamW优化器进行优化，其参数设置为：$\beta_1$为0.9，$\beta_2$为0.999，权重衰减系数为0.1。初始学习率设为$5e^{-4}$，并采用余弦退火调度策略。我们采用的数据增强方式包括缩放（$\pm10\%$）、旋转（$\pm180^\circ$）、平移（$\pm10pixels$）以及颜色抖动（$\pm20\%$）。 #### 4.3. 评估指标我们采用手部姿态估计的标准指标：平均关节位置误差（MPJPE，即J-PE）和平均顶点位置误差（MPVPE，即V-PE），这些指标均在Procrustes对齐后测量，用于评估估计出的手部网格的姿态与形状精度。此外，我们还报告了PCK曲线下面积（AUC）得分，以及在5毫米（F@5）和15毫米（F@15）阈值下的F分数。所有评估指标均在根对齐空间中计算。 #### 4.4. 与现有最先进方法的比较我们将所提出的低分辨率方法与使用高分辨率输入的最先进的基于视频及单视图方法进行了比较。此外，我们还利用自身的骨干网络（LR-ViT）来建立低分辨率基准以供对比。我们使用该骨干网络在原始低分辨率图像上训练HMR和VIBE模型，以探究常用方法的有效性。比较结果如表1、表2和表3所示。在DexYCB数据集上，除采用$32 \times 32$输入分辨率设置的Deformer方法外，我们的方法在$64 \times 64$和$512 \times 512$分辨率设置下与其他高分辨率方法的表现相当甚至更优。在HanCo和H2O数据集上，我们的方法也展现出了具有竞争力的结果。我们还在表4中报告了最先进方法在升采样后的低分辨率图像上的性能，其中包括用升采样图像重新训练模型的情况以及未重新训练的情况。 #### 4.5. 消融研究 ##### 4.5.1. 骨干网络设置在本节中，我们测试了不同的骨干网络设置，并报告了加入时间增强机制与否时的性能表现。

Token Settings	Monocular		Temporal
Token Settings	J-PA	V-PA	J-PA	V-PA
0	6.71	6.75	-	-
1	6.58	6.64	6.03	6.09
6 (SP)	6.19	6.19	5.77	5.74
21 (JP)	6.07	6.05	5.80	5.82

Table 5. Ablation study on backbone and pose-aware tokens.

在单目输入条件下，骨干网络会跳过时间融合步骤，仅利用Transformer模块来处理输入数据。我们的实验进一步探讨了姿态感知令牌的影响。我们采用了不同的令牌引入设置来测试其效果。在单目输入条件下，我们仍会监督这些令牌以预测2D手部姿态。实验结果如表5所示。引入时间增强机制后，性能普遍得到提升。在单目输入条件下，原始的ViT模型（不含姿态感知令牌）在低分辨率下的表现较差，而其他网络通常能取得性能提升。这表明通过特定令牌对中间特征进行监督，比仅依赖最终回归结果的端到端训练更为有效。同时，由于基于手指的姿态感知令牌（SP）能够同时携带高层语义信息与低层视觉细节，它在时间增强方面的效果优于单一姿态令牌和基于骨架的姿态令牌（JP）。 ##### 4.5.2. 时间融合方案在本节中，我们探讨了不同时间融合方案的效果。我们考虑了三种融合时间特征与视觉特征的方法：交叉注意力、单平面编码和三平面编码。交叉注意力方法将联合特征用作K和V，而将视觉特征用作Q，通过注意力机制进行交互。单平面编码方法利用2D热图将联合特征扩散到单个平面上；该单平面特征还会嵌入2D位置编码，并通过卷积层进行处理。对于三平面编码，我们还测试了直接将完整的$F_{x,z}$和$F_{y,z}$与$F_{x,y}$相融合的效果。对比结果如表6所示。我们提出的三平面编码效果最佳。与其他两种方法相比，三平面编码能够有效提取关键的3D结构信息，为消除视觉特征中的手部结构歧义提供线索。此外，使用压缩后的1D特征进行交互，优于使用完整特征。 ##### 4.5.3. 时间融合的插入位置在本节中，我们进一步研究了时间融合操作在骨干网络中的插入位置所产生的影响。具体而言，我们比较了两种策略：一种是 --- ![Image](images/4ecd1804b8ea2c4bb65dc1787a049398c78e1861638eccf400f5ad9ce9720d28.jpg)

(e) Ours-Single

Figure 4. Qualitative Comparison Results on DexYCB. Regions with significant prediction errors are marked with red circles.

Fusion Scheme	J-PA	V-PA	F@5	F@15
Cross-attention	5.95	5.99	75.8	98.9
Single plane Encoding	5.85	5.90	76.7	99.0
Triplane Encoding (w/o 1D compress)	5.80	5.85	76.9	99.0
Triplane Encoding	5.77	5.74	77.6	99.0

Table 6. Ablation study of different temporal fusion schemes.

Insert Position	J-PA	V-PA	F@5	F@15
Final layer	6.01	6.05	75.1	98.6
Middle layer	5.77	5.74	77.6	99.0

Table 7. Ablation Study on the Position of Temporal Information Fusion in the Backbone Network.

时间特征在网络的多个中间层进行融合，另一种则仅在最后一层进行融合，如表7所示。表7中的实验结果表明，与仅在最后一层进行融合相比，在多个中间层融合时间特征能带来更优的性能。这表明在网络的不同阶段融入时间信息，有助于更好地捕捉模糊的局部特征，从而在低分辨率下实现更准确、更一致的手部姿态重建。 #### 4.6. 定性结果我们在图4中展示了在DexYCB数据集上的定性对比结果。与使用相同的LR-ViT作为骨干网络的低分辨率基准方法（HMR、VIBE）相比，我们的方法能使重建出的手部与低分辨率图像更好地对齐。此外，通过利用历史时间信息来补充视觉特征中缺失的细节，与仅依赖单帧图像相比，我们的方法在处理局部遮挡时的能力更强（参见图4(e)和(f)的第2列与第3列）。 ### 5. 结论在本文中，我们提出了一种用于低分辨率手部重建的时间增强框架。我们通过联合特征来表示时间信息，以捕捉关节之间的时空相关性。此外，我们将联合特征提供的时间上下文与视觉特征提供的空间上下文相结合，构建出具有3D空间感知能力的鲁棒低分辨率表征。具体而言，我们引入了三平面特征表征，以解决关节特征与视觉特征之间在语义和表征形式上的错位问题，并在融合过程中保留3D结构信息。在多个数据集上的定量实验表明，我们的方法在更低分辨率下就能达到与高分辨率SOTA方法相当的性能。我们还通过消融研究验证了各设计对整体性能的贡献。局限性及未来工作：我们的研究并未对视频序列中的长期手部运动线索进行显式建模，这可能导致对运动一致性的约束不足。因此，模型在长序列中保持手部形状一致性时可能会遇到困难。未来的工作应探索利用长序列中的运动线索，以更好地约束重建的手部形状并提高时间一致性。 --- 致谢：本研究得到了国家自然科学基金（项目编号：62406039、62101064、62171057、62201072、U23B2001、62001054、62071067）、教育部与中国移动联合基金（项目编号：MCM20200202、MCM20180101）、北京邮电大学-中国移动研究院联合创新中心、北京邮电大学优秀博士研究生基金（项目编号：CX20241014）的部分资助；同时得到了中国博士后科学基金会资助项目（项目编号：2023TQ0039、2024M750257）以及中国博士后基金会博士后 fellowship 计划（项目编号：GZC20230320）的支持。 ## 参考文献 [^1]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10843–10852, 2019. 2 [^2]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European conference on computer vision (ECCV), pages 666–682, 2018. 2 [^3]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In 2015 international conference on advanced robotics (ICAR), pages 510–517. IEEE, 2015. 6 [^4]: Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstein. Efficient geometry-aware 3D generative adversarial networks. In arXiv, 2021. 2, 4 [^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 6 [^6]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12929–12938, 2021. [^7]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20544–20554, 2022. 1, 6 [^8]: Hoseong Cho, Chanwoo Kim, Jihyeon Kim, Seongyeong Lee, Elkhan Ismayilzada, and Seungryul Baek. Transformer-based unified recognition of two hands manipulating objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4769–4778, 2023. 6 [^9]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consis- 从视频中恢复三维人体姿态和形状。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1964–1973页，2021年。3, 6 [^10]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021. 3 [^11]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 3 [^12]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 23600–23611, 2023. 3, 6 [^13]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10833–10842, 2019. 2 [^14]: Peter Hardy, Srinandan Dasmahapatra, and Hansung Kim. Can super resolution be used to improve human pose estimation in low resolution scenarios? arXiv preprint arXiv:2107.02108, 2021. 2, 3 [^15]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020. 3 [^16]: Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997. 3 [^17]: Weiting Huang, Pengfei Ren, Jingyu Wang, Qi Qi, and Haifeng Sun. Awr: Adaptive weighting regression for 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 11061–11068, 2020. 2 [^18]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European conference on computer vision (ECCV), pages 118–134, 2018. 2 [^19]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7122–7131, 2018. 6 [^20]: Leyla Khaleghi, Alireza Sepas-Moghaddam, Josh Marshall, and Ali Etemad. Multiview video-based 3-d hand pose estimation. IEEE Transactions on Artificial Intelligence, 4:896–909, 2021. 3 ## [^21]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Self-supervised learning of 3d human pose using multi-view geometry. In Proceedings of the IEEE/CVF conference on --- 载于计算机视觉与模式识别会议论文集，第1077–1086页，2019年。6 [^22]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. 3, 6 [^23]: Deying Kong, Linguang Zhang, Liangjian Chen, Haoyu Ma, Xiangyi Yan, Shanlin Sun, Xingwei Liu, Kun Han, and Xiaohui Xie. Identity-aware hand mesh estimation and personalization from rgb images. In European Conference on Computer Vision, pages 536–553. Springer, 2022. 2 [^24]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4990–5000, 2020. 2 [^25]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 2, 6 [^26]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021. 2, 6 [^27]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. 2, 6 [^28]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 6 [^29]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 3 [^30]: Xingyu Liu, Pengfei Ren, Yuanyuan Gao, Jingyu Wang, Haifeng Sun, Qi Qi, Zirui Zhuang, and Jianxin Liao. Keypoint fusion for rgb-d based 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 3756–3764, 2024. 1 [^31]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 752–768. Springer, 2020. 1 [^32]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3d hand pose estimation for whole-body 3d human mesh estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2308–2317, 2022. 2 [^33]: Chihiro Nakatsuka and Satoshi Komorita. Stable 3d human pose estimation in low-resolution videos with a few views. In 2022 International Conference on Robotics and Automation (ICRA), pages 427–433. IEEE, 2022. 3 [^34]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 1, 6 [^35]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 6 [^36]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Qi Qi, Jingyu Wang, and Jianxin Liao. Pose-guided hierarchical graph reasoning for 3-d hand pose estimation from a single depth image. IEEE Transactions on Cybernetics, 53(1):315–328, 2021. 2 [^37]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Qi Qi, Jingyu Wang, and Jianxin Liao. A dual-branch self-boosting framework for self-supervised 3d hand pose estimation. IEEE Transactions on Image Processing, 31:5052–5066, 2022. 2 [^38]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Jingyu Wang, Qi Qi, and Jianxin Liao. Mining multi-view information: a strong self-supervised framework for depth-based 3d hand pose and mesh estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20555–20565, 2022. [^39]: Pengfei Ren, Yuchen Chen, Jiachang Hao, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Two heads are better than one: Image-point cloud network for depth-based 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 2163–2171, 2023. 2 [^40]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8014–8025, 2023. 1, 5 [^41]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2 [^42]: J. Ryan Shue, Eric Ryan Chan, Ryan Po, Zachary Ankner, Jiajun Wu, and Gordon Wetzstein. 3d neural field generation using triplane diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20875–20886, 2023. 4 [^43]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 89–98, 2018. 2 [^44]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11698–11707, 2021. 2 ## [^45]: Chen Wang, Feng Zhang, Xiatian Zhu, and Shuzhi Sam Ge --- 低分辨率人体姿态估计。《模式识别》期刊，第126卷：108579页，2022年。2, 3 [^46]: Yuxi Xiao, Qianqian Wang, Shangzhan Zhang, Nan Xue, Sida Peng, Yujun Shen, and Xiaowei Zhou. Spatialtracker: Tracking any 2d pixels in 3d space. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 4 [^47]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. 6 [^48]: Xiangyu Xu, Hao Chen, Francesc Moreno-Noguer, Laszlo A Jeni, and Fernando De la Torre. 3d human pose, shape and texture from low-resolution images and videos. IEEE transactions on pattern analysis and machine intelligence, 44(9): 4490–4504, 2021. 2, 3 [^49]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35:38571–38584, 2022. 6 [^50]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3d hand pose and shape estimation. In European Conference on Computer Vision, pages 122–139. Springer, 2020. 3 [^51]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 13232–13242, 2022. 2 [^52]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2 [^53]: Xiaozheng Zheng, Pengfei Ren, Haifeng Sun, Jingyu Wang, Qi Qi, and Jianxin Liao. Sar: Spatial-aware regression for 3d hand pose and mesh reconstruction from a monocular гб image. In 2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 99–108. IEEE, 2021. 2, 3, 5, 6 [^54]: Xiaozheng Zheng, Chao Wen, Zhou Xue, Pengfei Ren, and Jingyu Wang. Hamuco: Hand pose estimation via multiview collaborative self-supervised learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20763–20773, 2023. 6 [^55]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Toch: Spatio-temporal object-to-hand correspondence for motion refinement. In European Conference on Computer Vision, pages 1–19. Springer, 2022. 3 [^56]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5346–5355, 2020. 2 [^57]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE/CVF Con- 载于计算机视觉与模式识别会议论文集，第1367–1376页，2024年。6 [^58]: Wentao Zhu, Xiaoxuan Ma, Zhaoyang Liu, Libin Liu, Wayne Wu, and Yizhou Wang. Motionbert: A unified perspective on learning human motion representations. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15085–15099, 2023. 2 [^59]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 2 [^60]: Christian Zimmermann, Max Argus, and Thomas Brox. Contrastive representation learning for hand shape estimation. In Pattern Recognition, pages 250–264, Cham, 2021. Springer International Publishing. 2