# 用于序列式3D手部姿态估计的先验感知动态时序建模框架任鹏飞、王景宇 $^{*}$、孙海峰 $^{*}$、齐琪、刘星宇、张梦浩、张磊、王静、廖建新北京邮电大学网络与交换技术国家重点实验室 {rpf, wangjingyu, hfsun, qiqi8266, liuxingyu, zhangmenghao}@bupt.edu.cn; ; ; ## 摘要 3D手部姿态估计在各类人机交互任务中发挥着关键作用。单帧3D手部姿态估计方法的时间平滑性较差，且易受自遮挡影响，这严重限制了其实际应用价值。传统的基于关节的序列姿态估计方法主要针对人体设计，难以应对手部结构复杂、手部运动自由度高以及手部运动趋势变化快等问题。为应对这些挑战，我们提出了一种用于序列式3D手部姿态估计的先验感知动态时序建模框架。我们引入了灵活的记忆机制来建模手部先验信息，从而缓解单帧手部姿态估计中的尺度与深度歧义问题。此外，我们提出了一种动态时序卷积模块，该模块能够根据每一时刻的运动信息调整感受野大小与特征聚合权重，有效捕捉快速运动趋势。通过将关节级与手部级的动态时序建模解耦，我们的方法既能捕捉细微的短期变化，又能把握长期运动趋势，显著提升了手部姿态估计的平滑性与准确性。在四个公开数据集上的实验表明，该方法在手部姿态估计精度与时间平滑性方面均达到了目前的最优水平。 ### 1. 引言 3D手部姿态估计是计算机视觉领域的一个重要研究方向，在虚拟现实（VR）、增强现实（AR）以及人机交互（HCI）等领域有着广泛的应用。随着人们对沉浸式、自然化交互需求的增加， ![Image](images/a7553d0d610c3885aa3ab824bcea1f2e9874c9a461798f874bb780887520ed34.jpg)

(a) Human Body Motion

![Image](images/f838befe41e1720b155d7b5a76e3b1e1d0d24b6b3170288b32d3bd5c5125dcef.jpg)

(b) Hand Motion

Figure 1. Comparison of human and hand motion patterns. Body motion typically exhibits long-term and stable motion patterns. Hand motion is more flexible, with high frequency and large amplitude changes in motion trends. It often involves the coupling of long-term, large-scale motions with short-term, subtle motions.

3D手部姿态估计受到了广泛关注。然而，由于视角、姿态和光照变化等挑战，基于单帧图像的手部姿态估计很难保持时间上的平滑性 [^2] [^4] [^20] [^40] [^58] [^59] [^67] [^76]。手部姿态和形状会出现时间上的抖动和突变现象，这严重影响了手部姿态估计的实际可用性。因此，利用时间信息来提升3D手部姿态估计的准确性和稳定性具有重要意义。其中，利用时序神经网络直接优化单目方法估算出的3D姿态，因其灵活性、泛化能力和高效性而受到广泛关注。目前基于关节的时序姿态估计方法主要聚焦于3D人体姿态估计[17, 28, 30, 31, 53, 66, 68–70, 74]。这些方法主要侧重于建模关节之间的结构化空间依赖关系以及长距离时间依赖关系，以捕捉人体运动轨迹并优化3D关节位置。然而，如图1所示，由于手部结构的复杂性， --- 由于手部结构的复杂性、手部姿态的高自由度以及手部运动趋势的快速变化，现有方法面临着严峻挑战。具体而言，这些方法无法有效应对局部和全局手部运动的快速且频繁的变化，难以捕捉细微的手部姿态差异，从而导致手部姿态优化过程中出现过度平滑现象，甚至导致优化失败。因此，提升3D手部姿态优化的准确性和时间一致性，关键在于同时建模手部的短期与长期运动。同一序列中的手部姿态本身具有固定的形状先验，例如一致的骨骼长度，这些先验为修正不准确的初始手部姿态提供了强有力的约束，尤其是在单帧图像存在运动模糊或遮挡的情况下 [^19] [^25]。同时，手部运动呈现出强烈的局部短期变化特征以及稳定的全局长期趋势。因此，有必要显式地建模局部短期动态与全局长期趋势，同时在不同时间粒度下动态捕捉运动趋势特征。手部形状先验在不同时间粒度下相对稳定，能够为时间建模提供可靠的锚点。短期与长期的动态时间建模有助于将手部形状与不准确的姿态序列分离开来。由此可见，手部形状先验与动态时间建模二者互补且相互促进。受上述启示，我们提出了一种面向序列3D手部姿态估计的、具备先验感知的动态时间建模框架。具体而言，我们设计了一种灵活的记忆机制来建模手部先验信息，从而缓解单帧手部姿态估计中的尺度歧义与深度歧义问题。同时，我们提出了一种动态时间卷积模块，该模块能够根据手部运动信息动态调整感受野大小及特征聚合权重，进而精准捕捉快速变化的运动趋势。尤其考虑到手部运动的灵活性，我们在关节层面与手掌层面分别进行解耦的动态时间建模。通过将时间动态卷积与多头注意力机制相结合，我们的模型能够捕捉长期运动趋势以及细微的短期变化。该方法有效克服了手部姿态高自由度及复杂运动模式所带来的难题，显著提升了时间维度上手部姿态估计的平滑度与准确性。为了验证我们方法的有效性，我们在四个数据集上开展了实验，包括InterHand2.6M [^41]、Re:InterHand [^42]、HanCo [^77]以及DexYCB [^3]。这些数据集涵盖了多种多样的交互场景与手部姿态变化。在所有数据集上，我们的方法都能有效提升单帧方法的性能，充分证明了手部先验建模与动态时间特征融合的有效性。我们的贡献可总结如下： - 我们提出了一种面向序列手部姿态估计的、具备先验感知的动态时间建模框架，该框架明确解决了手部运动的复杂性问题。 - 我们提出了一种动态时间卷积机制，能够自适应地建模短期与长期时间信息，同时采用记忆机制来捕捉手部先验信息。 - 我们的方法在多个数据集上的表现优于现有方法，且对手部姿态估计器的依赖性更低。 ### 2. 相关工作 #### 2.1. 单帧手部姿态估计单帧手部姿态估计旨在直接从某一时刻的输入数据估计手部姿态。早期的单帧3D手部姿态估计方法依赖深度数据[^20] [^40] [^48] [^56] [^58] [^59]，因为深度数据能提供手部表面的几何结构信息，从而降低网络学习的复杂度。随着大规模数据集的出现和深度学习的发展，从RGB图像中估计精确的3D手部关节位置或手部参数已成为可能[^7] [^8] [^15] [^21] [^26] [^32] [^33] [^54] [^75]。尤其是复杂场景下的3D手部姿态估计，比如手与物体的交互以及双手交互[^13] [^18] [^29] [^38] [^41] [^52] [^65]，近年来已成为热门研究方向。然而，由于自遮挡和相似性问题，现有单帧方法的时序稳定性和平滑性较差，尤其在复杂场景中会出现明显的抖动现象。 #### 2.2. 时序姿态估计在3D人体姿态估计领域，一种具有代表性的方法是从2D序列预测3D姿态。这类方法利用全连接网络[^10] [^37]、图卷积[^17] [^28] [^69] [^74]、时序卷积[^6] [^46]以及Transformer[^30] [^31] [^66] [^68] [^70]来实现关节间的时空交互。其核心目的是通过时序信息还原人体的3D结构。此外，一些研究[^27]试图通过引入时序信息来增强3D手部表面的平滑度和局部细节。最近，部分工作[^60] [^64]开发出了一种即插即用的网络，该网络能以任意单帧模型输出的3D姿态估计结果作为输入，进而预测出更精确且平滑的3D人体姿态。我们的工作属于这一范畴，但有所不同的是，我们专注于时序3D手部姿态估计，这类任务涉及更高的自由度且运动趋势变化更为频繁。 --- ![Image](images/a50641ddd32173b83a33f227bcec9e9fa586cb998e8418f60e0c633337e070e4.jpg)

Figure 2. Overall Architecture. Our method comprises three primary components: the Dynamic Spatio-temporal Block, the Global Temporal Block, and the Hand Prior Memory. The Dynamic Spatio-temporal Block employs a dual-branch structure to model joint-level spatial and temporal relationships, while the Global Temporal Block extracts hand-level temporal information. We leverage hand-level temporal information to update the hand prior memory, injecting this prior knowledge into the Dynamic Spatio-temporal Block to provide robust disambiguation cues for spatio-temporal interactions. Here, N represents the number of stacked blocks.

#### 2.3. 动态卷积动态卷积能够根据输入数据自适应地生成卷积核参数，从而在保持推理效率的同时提升网络的表征能力。一些研究[^5] [^63]将多个可学习的卷积核进行动态组合，而另一些研究[^1] [^22] [^43] [^44] [^55]则通过控制器直接生成卷积核参数。例如，Nie等人[^43]基于人体解析特征生成用于人体姿态估计的卷积核，这些卷积核能够利用身体部位线索来约束关节位置与姿态结构。与上述只能生成固定感受野卷积核的动态卷积方法不同，可变形卷积[^11] [^61] [^73]通过可学习的偏移量来生成具有灵活感受野的卷积核，它结合了卷积机制的局部归纳偏置与注意力机制的强大学习能力，从而能够更好地捕捉复杂的空间依赖关系与动态特征。 ### 3. 方法 MotionBERT[^72]提出了一种双分支时空变换器，该变换器能够高效地进行时空建模，在3D人体姿态估计任务中表现优异。因此，我们采用双分支时空变换器作为基础结构，来实现这种先验感知的动态时序框架。一方面，我们提出了一种时序可变形卷积模块，用于捕捉沿时间维度快速变化的手部运动。该模块根据输入信息动态生成卷积权重与偏移量，使模型能够有效追踪突发的或细微的手部运动变化。另一方面，我们引入了一个可学习的标记池，将其作为手部先验记忆，用于存储输入序列中的关键手部信息。该记忆模块被集成到每个时空块中，逐步学习特定于序列的手部形状，并为后续的时空交互提供形状先验，从而缓解单目手部姿态估计中固有的深度歧义问题。在本节中，我们首先介绍MotionBERT的基本结构，然后分别介绍我们提出的动态时序卷积与手部先验记忆，最后介绍本方法的损失函数。 #### 3.1. 预备知识输入的3D手部姿态序列$\mathbf{X} \in \mathbb{R}^{T \times J \times 3}$首先由投影器处理，以获得关节级特征$\mathbf{F} \in \mathbb{R}^{T \times J \times C}$。具体来说，3D手部关节序列$\mathbf{X}$被投影为高维的初始关节特征$\mathbf{F}^{init} \in \mathbb{R}^{T \times J \times C}$。随后，可学习的空间位置编码$\mathbf{P}_{\text{pos}}^{\text{s}} \in \mathbb{R}^{1 \times J \times C}$与时间位置编码$\mathbf{P}_{\text{pos}}^{\text{t}} \in \mathbb{R}^{T \times 1 \times C}$会被添加到该特征中。此处，T表示序列长度，J表示手部关节数量，C表示特征的通道数。接着，MotionBERT利用一系列堆叠的时空交互块来提取高阶关节特征。时空交互块包含两个核心模块，即空间多头自注意力模块（Spatial MHSA）与时序多头自注意力模块（Temporal MHSA）。空间MHSA用于建模同一时间步下各关节之间的空间关系，而时序MHSA则并行建模每个关节的时间关系。 $$ \mathrm{M H S A}(\mathbf{F})=\mathrm{s o f t m a x}\left(\frac{(\mathbf{F}W_{Q})(\mathbf{F}W_{K})^{T}}{\sqrt{d_{k}}}\right)(\mathbf{F}W_{V}) $$ 其中$W_{Q}, W_{K}, W_{V}$为投影参数矩阵。De- --- 根据自注意力模块类型的不同，单个特征$\mathbf{F}_i$可以被$\mathbb{R}^{J \times C}$或$\mathbb{R}^{T \times C}$。鉴于空间MHSA和时间MHSA分别建模不同方面的信息，即帧内关系和帧间关系，MotionBERT以不同的顺序构建了两个并行分支。MotionBERT通过加权融合机制自适应地结合这两个并行分支的结果。这些结构相同但权重不共享的模块会被堆叠多次，以提取时空特征。 #### 3.2. 动态时间卷积模块 MotionBERT在人体时空建模方面展现出强大的能力，在包括动作识别和3D人体姿态估计在内的多项基于骨骼的人体中心任务中取得了具有竞争力的结果。然而，MHSA缺乏局部归纳偏置，在建模细微的短期运动变化时存在局限性。这一缺陷使得它难以捕捉手部运动的快速且频繁的变化。因此，直接将MotionBERT应用于序列式3D手部姿态估计往往会导致效果欠佳。如图2所示，为了捕捉手部运动的快速变化，我们提出了一种动态时间卷积网络（TCN）模块。手部能够传递人的意图并与复杂的物理世界互动，且手部姿态的自由度很高。由前臂引起的全局手部运动与手指或关节的局部运动可能相互独立。例如，左右挥手时，手指可以自由弯曲；而当人站立或蹲下时，下肢的运动状态相对稳定。因此，分别建模手部的全局和局部运动状态十分重要。我们进一步将动态时间卷积模块拆解为局部关节级动态时间卷积模块和全局手部级动态时间卷积模块。 ##### 3.2.1. 关节级动态时间卷积关节级时间模块旨在捕捉每个手关节的动态变化，因为每个关节的运动可能彼此独立。受2D可变形卷积[^11] [^61] [^73]的启发，我们首先利用每个关节的特征来生成1D卷积的权重和偏移量，从而使每个时刻的每个关节具有不同的感受野和响应模式。动态时间卷积的公式如下： $$ \hat{\mathbf{x}}(p_{0})=\sum_{g=1}^{G}\sum_{k=1}^{K}\mathbf{w}_{g}\mathbf{m}_{gk}\mathbf{x}_{g}(p_{0}+p_{k}+\Delta p_{gk}), $$ 其中 G 表示聚合组的总数，K 表示卷积核的大小。对于第 g 组，$\mathbf{w}_g \in \mathbb{R}^{C \times C'}$ 表示该组与位置无关的投影权重，其中 $C' = C/G$ 表示组维度。$\mathbf{m}_{gk} \in \mathbb{R}$ 表示第 g 组中第 k 个采样点的估计调制标量。$p_k$ 表示与常规卷积中类似的预定义网格采样 $\{..., (-2), (-1), (0), (+1), (+2), ...\}$ 的第 k 个位置，$\Delta p_{gk}$ 是第 g 组中对应于网格采样位置 $p_k$ 的估计偏移。特别地，我们将估计偏移约束在 $[-2, +2]$ 范围内，以避免窗口过大。与 [^62] 类似，我们不使用 softmax 对调制标量进行归一化，从而增强卷积核的表达能力并降低网络优化的难度。借助关节级动态TCN，模型能够精确追踪各手部关节在帧与帧之间的运动，从而捕捉细微且短暂的姿态变化。通过关节信息来预测核偏移量和调制权重，依赖于高质量的自运动上下文。因此，我们在Temporal MHSA之后加入关节级动态时序卷积，以便为偏移量和权重估计提供更可靠、更稳健的关节信息。如图2所示，我们方法中的时空交互模块包含两个并行分支，每个分支具有不同的时空交互顺序。 ##### 3.2.2. 手部级动态时序卷积除了关节级动态TCN外，我们还引入了全局动态TCN来捕捉由前臂和手腕产生的整体手部运动。具体而言，我们对所有关节进行空间平均池化，以在每个时间步生成手部的全局特征表示。基于这些全局手部特征，手部级动态时序卷积会预测1D可变形卷积所需的调制权重和偏移量，从而动态生成增强后的手部运动特征。这一全局特征充当了时间锚点，能够补充关节级信息。该方法提升了手部运动的时间一致性，而这种一致性可能无法直接从关节级时序建模中获得。值得注意的是，全局手部运动既包含快速变化的短期运动，也包含稳定的长期运动。因此，我们将动态TCN与时序注意力机制结合形成两个并行分支，并采用加权融合机制作为时空交互模块来融合这两个分支的特征。此外，我们通过残差连接将全局手部级特征直接添加到关节级特征中。通过融合关节级和手部级特征，模型能够同时兼顾细粒度的关节信息与整体手部动态特性。 #### 3.3. 手部先验记忆同一序列中的手部姿态通常会随时间保持一致的手部形状和骨骼长度，这为修正不准确的估计提供了强大的消歧线索。一方面，基于单目RGB图像的手部姿态估计会受到深度和尺度模糊性的影响；另一方面，复杂场景中的自遮挡和相互遮挡问题会导致对不可见手部区域的预测出现偏差。有了先验手部形状信息，这些问题便能得到缓解。因此，我们采用记忆机制来实现长期稳定的手部先验存储。该记忆机制包含两个重要部分：记忆更新和记忆注入。 --- 这是一种强大的消歧线索，可用于修正不准确的估计结果。一方面，基于单目RGB图像的手部姿态估计会受到深度和尺度模糊性的影响；另一方面，复杂场景中的自遮挡和相互遮挡问题会导致不可见手部区域的预测结果不合理。借助先验手部形状信息，这些问题便能得到缓解。因此，我们采用记忆机制来实现长期稳定的手部先验存储。该记忆机制包含两个重要部分：记忆更新和记忆注入。记忆更新是指利用全局手部信息来更新先前的手部记忆参数。给定一系列可学习的记忆标记$\mathbf{M} \in \mathbb{R}^{M \times C}$，我们利用全局时序模块输出的时序特征，基于多头交叉注意力机制来更新记忆。此处M表示记忆的数量。具体来说，我们将记忆标记作为查询特征，而将全局时序特征作为键和值。记忆注入则是指利用先前的手部记忆来辅助时空信息交互。在时空模块中，先前手部信息在空间和时间自注意力模块中都充当着强大的消歧线索，有助于降低网络优化的复杂度。因此，我们在时间和空间维度上分别将记忆标记作为额外标记引入，记为$\mathbf{F}_i^s \in \mathbb{R}^{(J+M) \times C}$和$\mathbf{F}_i^t \in \mathbb{R}^{(T+M) \times C}$。随后，我们对时间维度上的$\mathbf{F}_i^s$和空间维度上的$\mathbf{F}_i^t$分别执行空间MHSA和时序MHSA操作，从而得到增强后的时序特征和空间特征。最后，我们采用加权融合机制将这两个特征融合。先前手部记忆能够减轻低质量单帧估计带来的影响，从而提升预测结果的平滑度。 #### 3.4. 姿态估计与监督具体来说，给定由骨干网络提取的关节特征$F^{out} \in \mathbb{R}^{T \times J \times C}$，通过关节级平均池化得到全局特征$F^g \in \mathbb{R}^{T \times C}$。随后，利用全连接（FC）层分别回归手部关节位置$P \in \mathbb{R}^{T \times 3J}$和MANO姿态参数$\theta \in \mathbb{R}^{T \times 45}$。同时，给定记忆标记$\mathbf{M} \in \mathbb{R}^{M \times C}$，我们通过FC层预测手部形状参数$\beta \in \mathbb{R}^{10}$。基于逐帧的姿态参数$\theta$和跨帧共享的形状参数$\beta$，即可通过MANO手部模型$V \in \mathbb{R}^{T \times 3V}$得到手部顶点坐标[^51]。与以往的方法类似[^29] [^50]，我们采用平滑L1损失对关节和网格顶点进行监督[^16] [^47]。同时，我们也会用平滑L1损失对姿态参数$\theta$和形状参数$\beta$进行监督。此外，我们采用加速度损失[^64]来提升估计姿态的平滑度。 ### 4. 实验 #### 4.1. 实现细节我们在一台搭载NVIDIA 4090 GPU的服务器上训练和评估我们的方法。该网络基于PyTorch实现。我们使用AdamW优化器[^36]训练网络，初始学习率为$1e^{-4}$，并采用余弦衰减学习率调度策略[^35]。整个训练过程共进行50个epoch，批量大小为64。我们采用了随机旋转、随机缩放、随机平移和随机水平翻转等数据增强手段。与MotionBERT类似，我们采用的骨干网络深度为$N = 5$，注意力头数为$h = 8$，特征尺寸为$C = 512$，卷积核大小为$k = 8$。默认情况下，我们使用的序列长度为$T = 27$。更多细节请参阅补充材料。 #### 4.2. 数据集与评价指标我们在四个公开的时序手部数据集上开展了实验，这些数据集包含丰富的手部姿态数据和多样的交互场景，涵盖单手场景、手-物体交互场景以及双手交互场景。数据集。InterHand2.6M [^41] 提供了多视角RGB图像，并附带双手关节及网格的3D标注。该数据集包含复杂的双手交互姿态，涵盖了大规模视角变化。我们采用了30 FPS版本的数据，同时利用单手数据以及双手交互数据。Re:InterHand [^42] 通过重新打光技术生成了高度逼真且多样的三维手部交互图像，其外观与真实场景极为相似。借助多摄像头设置和先进的三维手部姿态估计网络，该数据集包含了精确的三维手部姿态标注。它包含约73.9万张经过重新打光的图像，涵盖了来自10名受试者的双手交互数据。由于Re:InterHand也没有官方的训练/测试划分，我们选取52万张数据用于训练，剩余的21.9万张数据用于测试。HanCo [^77] 包含1,517个视频，具有多视角和相机校准信息。它总共拥有860,304帧图像，即每个视角下107,538个时间步。所有图像均来自真实世界，并带有3D标注。该数据集中的图像由四种类型的真实背景与绿幕前拍摄的手部图像合成而成。由于HanCo没有官方的训练/测试划分，我们选取前1,200个序列用于训练，最后317个序列用于公平比较 [^71]。DexYCB [^3] 是一个由多个RGB-D摄像头采集的真实人手-物体数据集。它包含58.2万帧图像，涉及10名不同受试者以及来自8个视角的20种YCB物体。我们遵循以往的方法，在s0划分上进行了实验。评估指标。我们针对手部姿态估计报告以下三项指标。MPJPE/MPVPE（平均关节/顶点位置误差）用于衡量预测关节/顶点与真实关节/顶点之间的平均欧几里得距离（单位：毫米）。为了公平比较，参照以往的研究 [^18] [^41] [^50]，我们 --- ![Image](images/dc8f6248561f76229e23579c9fca70653a1b07862ba70da108a63fb9a620b090.jpg)

Figure 3. Different Strategies for Dynamic Temporal Convolution. (a) Inserting dynamic convolution into the head of each branch (b) Inserting dynamic temporal convolution into the tail of each branch (c) Directly replacing the temporal multi-head self-attention module with dynamic temporal convolution (d) Inserting dynamic temporal convolution into the back of the two-branch module (e) Using Tri-branch modules with different orders

Table 1. We report the MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^2$) of different Insertion strategies of Joint-level dynamic temporal convolution on InterHand2.6M dataset.

Method	MPJPE	MPVPE	Accel
Dual-branch (Baseline)	8.13	8.55	5.92
Head Insertion (a)	8.03	8.29	5.58
Tail Insertion (b)	7.70	7.96	5.31
Replacement (c)	8.25	8.83	6.33
Fusion Insertion (d)	7.78	8.04	5.30
Tri-branch (e)	7.59	7.87	5.13
Dynamic Dual-branch	7.64	7.89	5.20

执行根关节对齐操作，并根据真实的骨骼长度对估计结果进行缩放。为了衡量时序平滑度，我们参考相关研究 [^64]，采用了加速度误差（Accel）这一指标。加速度误差计算的是每个关节的预测加速度与真实加速度之间的差值平均值。 #### 4.3. 消融实验在本节中，我们首先探讨了将关节级动态时序卷积与时空MHSA相结合的策略；其次，我们验证了结合关节级与手部级动态模块必要性；最后，我们研究了先验记忆的表示形式与学习策略。我们在InterHand2.6M数据集上进行了消融实验，因为该数据集规模较大且包含丰富的手部运动数据。 ##### 4.3.1. 关节级动态卷积首先，我们研究了双分支架构中时空注意力模块与动态时序卷积模块的顺序。如图3a和3b所示，我们比较了将动态时序卷积模块置于时空注意力模块之前和之后的效果。如表1所示，在时空注意力模块之前加入动态时序卷积模块（头部插入）带来的提升有限，仅使基线性能提高了0.1毫米。然而，在时空注意力模块之后添加动态时序卷积模块（尾部插入）能够显著提升估计精度，其性能与我们提出的架构相近。这表明生成高质量的偏移量和调制权重高度依赖于上下文信息。长距离交互为各关节的感受野和权重预测提供了强大的消歧线索。因此，在后续的结构设计中，我们会尽可能确保在动态时序卷积模块之前设置时序交互模块。接下来，如图3所示，我们探讨了不同全局结构的影响。我们评估了几种配置：直接用动态时序卷积替换双分支模型中的时序注意力模块、先并行应用时空注意力再应用动态时序卷积，以及采用三分支结构以增强特征融合的多样性。如表1所示，直接替换后的效果比基线更差，这体现了长距离时序信息交互的重要性。“融合插入”方案的效果也不如我们的方法，这说明保持不同分支间时空交互的异质性至关重要，这种异质性能产生类似模型集成的效果。三分支方案虽略优于我们的方法，但会增加30%的计算量。综合考虑性能与效率的平衡，我们默认采用双分支方法。 ##### 4.3.2. 全局时序模块首先，如表2所示，采用手部级别的动态TCN或全局时序注意力机制可进一步提升网络性能，这凸显了显式建模手部全局运动的重要性。双分支并行的全局时序模块能取得最佳效果。其次，我们探究了手部级别动态TCN的特性。如图4a所示，我们直接用手部级别的动态TCN替换时空模块中的关节级别动态TCN。如表2所示，直接替换会导致性能下降，这说明关节级别的时序建模模块对于捕捉精细的手部运动至关重要，单纯依赖全局信息可能会丢失部分局部运动细节。最后，如图4b所示，我们并行执行全局时序建模与时空信息交互。这种并行结构的性能不如串行结构，这表明手部级别的时序建模也需要更高的精简性。 --- ![Image](images/dc78f8ce75fcf39d7d624ba5ada6d435210bfdcd7e586cb39fe479ebf5a8cc31.jpg)

Figure 4. Different Strategies for Global Dynamic Convolution. (a) Replace the joint-level dynamic temporal convolution in the dual-branch block with the global temporal dynamic convolution. (b) Perform joint-level spatio-temporal interaction and global temporal interaction in parallel.

Table 2. We report the MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^{2}$) of different strategies of global dynamic temporal convolution on InterHand2.6M dataset. GA represents the global temporal attention mechanism. DC represents the global dynamic temporal convolution mechanism. PS represents the parallel structure. SS represents the serialized structure.

GA	DC	PS	SS	MPJPE	MPVPE	Accel
				7.64	7.89	5.20
✓			✓	7.55	7.71	5.05
	✓		✓	7.52	7.78	5.01
✓	✓		✓	7.42	7.63	4.93
	✓			7.85	8.03	5.68
	✓	✓		7.48	7.72	5.03

需要高质量的关节表征。 ##### 4.3.3. 手部先验记忆模块我们对手部先验记忆构建的不同配置进行了一系列实验。首先，我们研究了记忆标记数量的影响。我们尝试了不同数量的记忆标记，以评估其对网络性能的作用。如表3所示，合适的标记数量能够有效提升模型性能，而标记数量过多或过少都会导致性能下降。接着，我们尝试了一种更新和插入先验记忆的简单方法。与ViT [^12]类似，我们使用一个可学习的标记来存储手部先验信息，使其参与所有的空间注意力交互和时间注意力交互，并基于该标记预测手部形状参数。如表3所示，这种方法对网络性能的改善微乎其微。最后，我们还探索了先验记忆的监督方式，即逐块监督以及仅对最终更新的记忆进行监督。实验结果表明，仅使用

Table 3. We report the MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^{2}$) of different hand prior memory strategies on InterHand2.6M dataset. TN represents the memory token number, VS represents the ViT-style token interaction, and FS stands for applying supervision only on the final updated memory.

TN	VS	FS	MPJPE	MPVPE	Accel
1		✓	7.33	7.48	4.69
4		✓	7.27	7.44	4.62
8		✓	7.21	7.39	4.54
16		✓	7.28	7.49	4.58
1	✓		7.40	7.54	4.81
8			7.35	7.45	4.65

Table 4. Comparison with SOTA methods of MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^2$) on InterHand2.6M.

Methods	MPJPE	MPVPE	Accel
InterWild	10.32	10.54	7.18
w/ Savitzky-Golay	10.10	10.29	6.21
w/ Gaussian1d	10.11	10.32	6.29
w/ SmoothNet	10.02	10.26	5.98
w/ MotionBERT	8.13	8.55	5.92
w/ Ours	7.21	7.39	4.54
DIR	10.45	10.78	8.33
w/ Ours	7.35	7.47	4.70

从最终更新中得到的记忆来预测手部参数，能得到更好的结果。 #### 4.4. 与现有先进方法的比较为了验证我们方法的优越性，我们在四个数据集上将其与当前最先进的时间建模方法和单帧方法进行了对比：InterHand2.6M [^41]、Re:InterHand [^42]、HanCo [^77]和DexYCB [^3]。在InterHand2.6M数据集上，我们将我们的方法与两种SOTA方法DIR [^49]和InterWild [^39]进行了比较。具体而言，由于这两篇论文中报道的相应数据是基于5 FPS版本训练的，我们便使用官方代码在30 FPS版本上重新训练它们的模型。如表4所示，对于这两种双手法重建SOTA方法而言，我们的方法将MPIPE降低了30.1%，将加速误差降低了36.8%。同时，与SOTA人体姿态平滑方法Savitzky-Golay [^64]、Gaussian1d [^64]和SmoothNet [^64]以及细化方法 [^72]相比，我们的方法带来了非常显著的提升。尤其值得注意的是，我们发现用于人体姿态时间平滑的SmoothNet [^64]带来的改进极小，这表明仅靠平滑处理远远不足以实现手部运动的精细化，因为它可能会忽略手指的一些细微动作。同样，我们也在Re:InterHand数据集上重新训练了DIR和InterWild。如表5所示，我们的方法 ---

Table 5. Comparison with SOTA methods of the MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^{2}$) on Re:InterHand.

Methods	MPJPE	MPVPE	Accel
DIR	7.32	7.57	6.88
DIR w/ Ours	5.05	5.38	4.02
InterWild	7.55	7.69	6.14
InterWild w/ Ours	4.86	5.03	3.84

Table 6. The comparison with SOTA methods of the MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^{2}$) on HanCo.

Methods	MPJPE	MPVPE	Accel
EpipolarPose	10.5	-	-
MobRecon	9.9	-	-
HaMuCo	11.1	-	-
HAMER	10.1	10.0	7.4
HAMER w/ Ours	7.3	7.4	5.6

显著提升了估计结果的准确性和平滑度。具体而言，对于InterWild而言，我们的方法分别将MPJPE、MPVPE和Accle降低了35.6%、33.5%和44.2%。与InterHand2.6M数据集相比，时间平滑方面的提升更为明显，这或许归因于Re:InterHand数据集中更精确的标注。在HanCO数据集上，我们将我们的方法与单帧方法进行了比较，包括MobRecon [^4]、Epipolar-Pose [^23]和HaMuCo [^71]。我们使用强大的手部姿态估计模型HAMER [^45]作为单帧姿态估计器，以生成初始的3D手部姿态。如表6所示，通过时空交互，我们的方法提高了手部姿态估计的准确性和时间平滑性。在DexYCB数据集上，我们将我们的方法与时序方法进行了比较，包括VIBE [^24]、TCMR [^9]、S2HAND(V) [^57]、MeshGraphormer [^34]以及Deformer [^14]。如表7所示，我们的方法显著优于现有的时序方法，在处理复杂的手部运动以及与物体的交互方面表现出强大的鲁棒性。值得注意的是，由于HAMER的训练集包含了HanCo和DexYCB的数据，因此我们使用了官方代码，并采用排除了这些数据后的训练集来进行模型训练。总而言之，我们提出的方法在多个数据集和不同输入数据上均表现出优越的性能，尤其是在时空变化剧烈的场景中。这些结果证实了动态时序卷积和手部先验记忆在处理复杂、动态的手部运动方面的有效性。此外，我们在补充材料和补充视频中展示了多个数据集上的定性结果，进一步说明了我们的方法在时间平滑性以及对低质量数据的鲁棒性方面的优势。

Table 7. The comparison with SOTA methods of the MPJPE (mm), MPVPE (mm) and Accel (mm/frame $^{2}$) on DexYCB.

Methods	MPJPE	MPVPE	Accel
VIBE	16.95	-	36.4
TCMR	16.03	-	34.3
S2HAND(V)	19.67	-	41.6
Deformer	13.64	-	31.7
HAMER	10.18	9.90	12.97
HAMER w/ Ours	8.42	8.43	7.51

monocular hand pose estimation.

![Image](images/01d7ab7c1cc521963112a15585002fac51374a5b40b52e9d3731f9055f7e8163.jpg)

Figure 5. For each sequences, the top is the initial pose and the bottom is the refined pose (we do not use the input image).

#### 4.5. 定性分析我们在图5中展示了四个典型案例的可视化结果，包括关节误差、全局手部形状误差、由双手交互引起的全局姿态误差以及图像丢失情况。我们的方法能够有效优化这些低质量的初始姿态。 ### 5. 结论在本文中，我们提出了一种用于序列3D手部姿态估计的先验感知动态时序建模框架。一方面，我们引入了灵活的记忆机制来捕捉手部先验信息。将手部先验信息注入时空交互模块，能够提供强大的消歧线索，从而减少低质量输入姿态的干扰并缓解歧义问题。另一方面，我们提出了动态时序卷积模块，该模块能够有效捕捉细微的短期姿态变化以及稳定的长期运动趋势。在四个公共数据集上的实验结果表明，我们的方法在准确性和时间平滑性方面均优于现有的最先进方法。 --- ### 6. 致谢本研究部分得到了国家自然科学基金（项目编号：62406039、62321001、62471055、U23B2001、62171057、62201072、62071067）、工信部高质量发展项目（2440STCZB2584）、教育部与中国移动联合基金（MCM20200202、MCM20180101）、中央高校基本科研业务费（2024PTB-004）以及博士后奖学金项目和中国博士后科学基金会（项目编号：2023TQ0039、2024M750257、GZC20230320）的支持。 ## 参考文献 [^1]: Luca Bertinetto, João F Henriques, Jack Valmadre, Philip Torr, and Andrea Vedaldi. Learning feed-forward one-shot learners. In Advances in neural information processing systems, pages 523–531, 2016. 3 [^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019. 1 [^3]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021. 2, 5, 7 [^4]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, pages 20544–20554, 2022. 1, 8 [^5]: Yinpeng Chen, Xiyang Dai, Mengchen Liu, Dongdong Chen, Lu Yuan, and Zicheng Liu. Dynamic convolution: Attention over convolution kernels. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 11030–11039, 2020. 3 [^6]: Yu Cheng, Bo Wang, Bo Yang, and Robby T. Tan. Graph and temporal convolutional networks for 3d multi-person pose estimation in monocular videos. Proceedings of the AAAI Conference on Artificial Intelligence, 35(2):1157–1165, 2021. 2 [^7]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. In ECCV, pages 342–359. Springer, 2022. 2 [^8]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In ECCV, pages 769–787. Springer, 2020. 2 [^9]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1964–1973, 2021. 8 [^10]: Hai Ci, Chunyu Wang, Xiaoxuan Ma, and Yizhou Wang. Optimizing network structure for 3d human pose estimation. In IEEE/CVF国际计算机视觉会议论文集，第2262–2271页，2019年。2 [^11]: Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, and Yichen Wei. Deformable convolutional networks. In Proceedings of the IEEE international conference on computer vision, pages 764–773, 2017. 3, 4 [^12]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2020. 7 [^13]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 3DV, pages 1–10. IEEE, 2021. 2 [^14]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 23600–23611, 2023. 8 [^15]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In CVPR, pages 10833–10842, 2019. 2 [^16]: Ross Girshick. Fast r-cnn. In ICCV, pages 1440–1448, 2015. 5 [^17]: Jia Gong, Lin Geng Foo, Zhipeng Fan, Qiuhong Ke, Hossein Rahmani, and Jun Liu. Diffpose: Toward more reliable 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13041–13051, 2023. 1, 2 [^18]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, pages 11090–11100, 2022. 2, 5 [^19]: Shangchen Han, Po-Chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, Randi Cabezas, Luan Tran, Muzaffer Akbay, Tsz-Ho Yu, Cem Keskin, and Robert Wang. Umetrack: Unified multi-view end-to-end hand tracking for VR. In SIGGRAPH Asia 2022 Conference Papers, SA 2022, Daegu, Republic of Korea, December 6-9, 2022, 2022. 2 [^20]: Weiting Huang, Pengfei Ren, Jingyu Wang, Qi Qi, and Haifeng Sun. Awr: Adaptive weighting regression for 3d hand pose estimation. In AAAI, pages 11061–11068, 2020. 1,2 [^21]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In ECCV, pages 118–134, 2018. 2 [^22]: Xu Jia, Bert De Brabandere, Tinne Tuytelears, and Luc V Gool. Dynamic filter networks. In Advances in neural information processing systems, pages 667–675, 2016. 3 ## [^23]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Self-supervised learning of 3d human pose using multi-view --- 几何学。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1077–1086页，2019年。8 [^24]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. 8 [^25]: Deying Kong, Linguang Zhang, Liangjian Chen, Haoyu Ma, Xiangyi Yan, Shanlin Sun, Xingwei Liu, Kun Han, and Xiaohui Xie. Identity-aware hand mesh estimation and personalization from rgb images. arXiv preprint arXiv:2209.10840, 2022. 2 [^26]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, pages 4990–5000, 2020. 2 [^27]: Jihyun Lee, Junbong Jang, Donghwan Kim, Minhyuk Sung, and Tae-Kyun Kim. Fourierhandflow: Neural 4d hand representation using fourier query flow. Advances in Neural Information Processing Systems, 36:29239–29251, 2023. 2 [^28]: Han Li, Bowen Shi, Wenrui Dai, Hongwei Zheng, Botao Wang, Yu Sun, Min Guo, Chenglin Li, Junni Zou, and Hongkai Xiong. Pose-oriented transformer with uncertainty-guided refinement for 2d-to-3d human pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 1296–1304, 2023. 1, 2 [^29]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, pages 2761–2770, 2022. 2, 5 [^30]: Wenhao Li, Hong Liu, Runwei Ding, Mengyuan Liu, Pichao Wang, and Wenming Yang. Exploiting temporal contexts with strided transformer for 3d human pose estimation. IEEE Transactions on Multimedia, 25:1282–1293, 2022. 1, 2 [^31]: Wenhao Li, Hong Liu, Hao Tang, Pichao Wang, and Luc Van Gool. Mhformer: Multi-hypothesis transformer for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13147–13156, 2022. 1, 2 [^32]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, 2021. 2 [^33]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, pages 12939–12948, 2021. 2 [^34]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. 8 [^35]: Ilya Loshchilov and Frank Hutter. Sgdr: Stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983, 2016. 5 [^36]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 5 [^37]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A simple yet effective baseline for 3d human pose estimation. In Proceedings of the IEEE international conference on computer vision, pages 2640–2649, 2017. 2 [^38]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3d interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. 2 [^39]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17028–17037, 2023. 7 [^40]: Gyeongsik Moon, Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern Recognition, pages 5079–5088, 2018. 1, 2 [^41]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In ECCV, pages 548–564. Springer, 2020. 2, 5, 7 [^42]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mize Mallorie, Philippe Bree, Tomas Simon, Bo Peng, Shubham Garg, Kevyn McPhail, and Takaaki Shiratori. A dataset of relighted 3D interacting hands. In NeurIPS Track on Datasets and Benchmarks, 2023. 2, 5, 7 [^43]: Xuecheng Nie, Jiashi Feng, Yiming Zuo, and Shuicheng Yan. Human pose estimation with parsing induced learner. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2100–2108, 2018. 3 [^44]: Xuecheng Nie, Yuncheng Li, Linjie Luo, Ning Zhang, and Jiashi Feng. Dynamic kernel distillation for efficient pose estimation in videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6942–6950, 2019. 3 [^45]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 8 [^46]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 7753–7762, 2019. 2 [^47]: Pengfei Ren, Haifeng Sun, Qi Qi, Jingyu Wang, and Weiting Huang. Srn: Stacked regression network for real-time 3d hand pose estimation. In BMVC, page 112, 2019. 5 [^48]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Jingyu Wang, Qi Qi, and Jianxin Liao. Mining multi-view information: A strong self-supervised framework for depth-based 3d hand pose and mesh estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20555–20565, 2022. 2 [^49]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8014–8025, 2023. 7 ## [^50]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands --- 从单张RGB图像进行重建。载于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》，2023年。5 [^51]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6):245:1–245:17, 2017. 5 [^52]: Yu Rong, Jingbo Wang, Ziwei Liu, and Chen Change Loy. Monocular 3d reconstruction of interacting hands via collision-aware factorized refinements. In 3DV, pages 432–441. IEEE, 2021. 2 [^53]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Shanshe Wang, Siwei Ma, and Wen Gao. P-stmo: Pre-trained spatial temporal many-to-one model for 3d human pose estimation. In European Conference on Computer Vision, pages 461–478. Springer, 2022. 1 [^54]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, pages 89–98, 2018. 2 [^55]: Zhi Tian, Chunhua Shen, and Hao Chen. Conditional convolutions for instance segmentation. In Proceedings of the European Conference on Computer Vision, 2020. 3 [^56]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics, 33(5):169:1–169:10, 2014. 2 [^57]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. Consistent 3d hand reconstruction in video via self-supervised learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. 8 [^58]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dense 3d regression for hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5147–5156, 2018. 1, 2 [^59]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-supervised 3d hand pose estimation through training by fitting. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10853–10862, 2019. 1, 2 [^60]: Tao Wang, Lei Jin, Zheng Wang, Jianshu Li, Liang Li, Fang Zhao, Yu Cheng, Li Yuan, Li Zhou, Junliang Xing, et al. Synsp: Synergy of smoothness and precision in pose sequences refinement. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1824–1833, 2024. 2 [^01]: Wennai Wang, Jieng Dai, Zhe Chen, Zennang Huang, Zhiqi Li, Xizhou Zhu, Xiaowei Hu, Tong Lu, Lewei Lu, Hongsheng Li, et al. Internimage: Exploring large-scale vision foundation models with deformable convolutions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14408–14419, 2023. 3, 4 [^62]: Yuwen Xiong, Zhiqi Li, Yuntao Chen, Feng Wang, Xizhou Zhu, Jiapeng Luo, Wenhai Wang, Tong Lu, Hongsheng Li, Yu Qiao, Lewei Lu, Jie Zhou, and Jifeng Dai. Efficient deformable convnets: Rethinking dynamic and sparse operator 用于视觉应用领域。arXiv预印本arXiv:2401.06197，2024年。4 [^63]: Brandon Yang, Gabriel Bender, Quoc V Le, and Jiquan Ngiam. Condconv: Conditionally parameterized convolutions for efficient inference. In Advances in Neural Information Processing Systems, pages 1307–1318, 2019. 3 [^64]: Ailing Zeng, Lei Yang, Xuan Ju, Jiefeng Li, Jianyi Wang, and Qiang Xu. Smoothnet: A plug-and-play network for refining human poses in videos. In European Conference on Computer Vision. Springer, 2022. 2, 5, 6, 7 [^65]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In CVPR, pages 11354–11363, 2021. 2 [^66]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 13232–13242, 2022. 1, 2 [^67]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, pages 2354–2364, 2019. 1 [^68]: Qitao Zhao, Ce Zheng, Mengyuan Liu, Pichao Wang, and Chen Chen. Poseformerv2: Exploring frequency domain for efficient and robust 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8877–8886, 2023. 1, 2 [^69]: Weixi Zhao, Weiqiang Wang, and Yunjie Tian. Graformer: Graph-oriented transformer for 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20438–20447, 2022. 2 [^70]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3d human pose estimation with spatial and temporal transformers. In ICCV, pages 11656–11665, 2021. 1,2 [^71]: Xiaozheng Zheng, Chao Wen, Zhou Xue, Pengfei Ren, and Jingyu Wang. Hamuco: Hand pose estimation via multiview collaborative self-supervised learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. 5, 8 [^72]: Wentao Zhu, Xiaoxuan Ma, Zhaoyang Liu, Libin Liu, Wayne Wu, and Yizhou Wang. Motionbert: A unified perspective on learning human motion representations. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023. 3, 7 [^73]: Xizhou Zhu, Han Hu, Stephen Lin, and Jifeng Dai. Deformable convnets v2: More deformable, better results. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3, 4 [^74]: Yiran Zhu, Xing Xu, Fumin Shen, Yanli Ji, Lianli Gao, and Heng Tao Shen. Posegtac: Graph transformer encoder-decoder with atrous convolution for 3d human pose estimation. In IJCAI, pages 1359–1365, 2021. 1,2 [^75]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, pages 4903–4911, 2017. 2 ## [^76]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset --- 用于从单张图像中无标记地捕捉手部姿态和形状 RGB图像。载于ICCV论文集，第813–822页，2019年。1 [^77]: Christian Zimmermann, Max Argus, and Thomas Brox. Contrastive representation learning for hand shape estimation. In DAGM German Conference on Pattern Recognition, pages 250–264. Springer, 2021. 2, 5, 7