# Deformer：用于鲁棒手部姿态估计的动态融合Transformer

付启琛 $^{1}$

刘星宇 $^{1}$ 徐然 $^{2}$

 $^{1}$ 卡内基梅隆大学

胡安·卡洛斯·涅夫莱斯 $^{2}$ 克里斯·M·基塔尼 $^{1}$

 $^{2}$ Salesforce研究院

## 摘要

准确估计三维手部姿态对于理解人类与世界的互动至关重要。尽管已取得显著进展，但现有方法在手部被严重遮挡或模糊时，往往难以生成合理的手部姿态。在视频中，手部的运动使我们能够观察到在单帧中可能被遮挡或模糊的手部各个部位。为了自适应地利用遮挡或模糊前后出现的视觉线索来实现鲁棒的手部姿态估计，我们提出了Deformer：一种能够隐式建模同一图像内手部各部分之间关系（空间维度）以及不同时间步之间关系（时间维度）的框架。我们发现，简单地应用Transformer的自注意力机制并不足以解决问题，因为某些帧中的运动模糊或遮挡会导致手部特征严重失真，进而生成不精确的键向量和查询向量。为解决这一挑战，我们在Deformer中引入了动态融合模块，该模块能够预测手部的形变，并将邻近帧中的手部网格预测结果进行扭曲，从而为当前帧的姿态估计提供显式支持。此外，我们观察到误差在不同手部部位间的分布并不均匀，指尖周围的顶点误差明显大于手掌周围的顶点误差。我们通过引入一种名为maxMSE的新损失函数来缓解这一问题，该函数会自动调整每个顶点的权重，从而引导模型重点关注关键手部部位。大量实验表明，我们的方法比现有最先进方法的性能高出10%，且在应对遮挡问题时更具鲁棒性（提升超过14%）。

### 1. 引言

<div style="text-align: center;">Input Frames</div>

在复杂环境中准确估计手部姿态是一项极具挑战性的任务，它会受到物体遮挡、自身遮挡、运动模糊以及相机曝光不足等多种因素的影响。为应对这些挑战，可以利用自注意力机制[^52]来挖掘相邻帧之间的特征相关性，从而生成更精准的手部姿态估计结果。然而，由于键向量和查询向量的生成依赖于每帧的特征，

时间

<div style="text-align: center;">TCMR</div>

![Image](images/5e78ca2e9b97c4bd1e5953fd85c79daba8e554d75c4ecebee204c2766312d58e.jpg)

<div style="text-align: center;">Ours</div>

顶点误差

<div style="text-align: center;">Figure 1: Given a video where in some frames (left) the hand is heavily occluded or blurred, the existing state-of-the-art video-based method TCMR [^10] (middle) fails to predict accurate hand poses. Our method (right) is able to capture the hand dynamics and leverage neighborhood frames to robustly produce plausible hand pose estimations.</div>

严重的遮挡或模糊会显著污染这些特征，进而导致输出结果不准确。手部姿态估计的另一个难点在于，位于手部边缘的指尖部位更容易发生遮挡，且其运动模式更为复杂，因此模型很难对其做出精准估计。

为应对上述挑战，我们提出了Deformer：一种动态融合Transformer，它能够利用邻近帧来学习手部形变，并整合邻近帧中的多个扭曲手部姿态，从而实现当前帧的鲁棒手部姿态估计。Deformer能够隐式建模相邻帧之间的时间相关性，并自动选择需要重点关注的帧。

---

为解决误差不平衡的问题，我们设计了一种名为maxMSE的新型损失函数，该函数突出了难以估计的顶点的重要性，实现了更均衡的优化过程。

给定一系列帧，我们的方法首先利用共享的CNN来提取每帧的手部特征。为了推理单帧内手部各部分之间的非局部关系，我们使用共享的空间变换器，输出增强后的每帧手部表示。接着，我们利用全局时间变换器来关注各帧间的手部特征相关性，并将增强后的特征送入共享的MLP，以回归MANO手部姿态参数。为确保手部形状随时间保持一致，我们通过交叉注意力机制从所有帧的特征中预测全局手部形状表示。尽管引入了时间注意力机制，模型在手部被严重遮挡或模糊的帧中仍可能难以准确预测手部姿态。为解决这一问题，我们提出了动态融合模块，该模块会为每一帧预测前向和后向的手部运动信息，从而将手部姿态变形到前一帧和后一帧的状态。这使得模型能够利用手部可见性良好的邻近帧来帮助估计遮挡或模糊帧中的手部姿态。最后，每个时间戳下变形后的手部姿态集合会结合隐式学习的置信度分数合成最终输出。在优化过程中我们发现，标准的均方误差（MSE）损失会导致不同手部部位间的误差不平衡。具体而言，使用MSE损失训练的模型在手掌周围顶点的误差较小，而在指尖周围顶点的误差较大，而这些部位更容易被遮挡且运动模式更为复杂。受分类任务中Focal Loss [^35]的启发，我们提出了maxMSE这一新型损失函数，它通过自动为每个手部顶点添加权重系数来最大化MSE损失。maxMSE能使模型聚焦于指尖等关键手部部位，从而实现更好的整体性能。

在DexYCB [^8]和HO3D [^17]这两个大规模手部姿态估计视频数据集上的实验结果表明，所提出的方法达到了最先进的性能，且对遮挡情况的鲁棒性更强。概括而言，我们的贡献包括：(1) 一种用于从视频中稳健且合理地估计3D手部姿态的Deformer架构；(2) 一种新颖的动态融合模块，它能显式地利用手部可见性良好的邻近帧，从而在遮挡或模糊帧中实现稳健的手部姿态估计；(3) 一种新的maxMSE损失函数，可使模型聚焦于关键手部部位。

### 2. 相关工作

3D手部姿态估计（HPE）旨在预测21个手部关节的3D坐标，更准确地说，是恢复手部网格。它是理解人类活动的关键计算机视觉任务，在众多应用中发挥着重要作用，包括人机交互 [^43] [^47] [^54]、AR/VR [^44] [^24]、模仿学习 [^53] [^18] [^15]等等。

基于单图像的手部姿态估计：单视图手部姿态估计方法大致可分为两类：无模型和基于模型的方法。

无模型方法 [^62] [^57] [^32] [^31] [^41] [^42] [^30] [^49] 直接回归手部关节和网格顶点的三维坐标或占据信息。例如，[^30] 利用图卷积神经网络来建模三角网格的拓扑结构，并直接预测手部网格顶点的三维坐标。[^42] 将三维空间离散化为体素网格，并采用堆叠式沙漏结构的CNN [^39] 来估计每个关节的占据情况。由于手部网格的自由度很高，无模型方法需要引入生物约束 [^49] 才能获得合理的预测结果。同时，由于缺乏先验知识，这些方法需要大量数据来进行训练。

近期，[^48] 提出了一种名为MANO的预定义手部模型，该模型包含了丰富的人手结构先验知识。它通过将一组低维的姿态和形状参数映射到手部网格上来降低维度。大多数基于模型的方法 [^20] [^36] [^3] [^4] [^58] 转而预测MANO参数，这些参数涵盖了相对于从多人的手部扫描数据中学习到的平均姿态和形状的姿态与形状变形信息。利用可微分的MANO模型，即可从预测出的参数中获取三维关节和网格顶点坐标。例如，[^58] 开发了一个端到端框架，通过可微分的重投影损失函数进行优化以恢复手部网格。[^20] 则利用手部与物体之间的接触损失来确保预测结果在物理上合理。在本研究中，我们借助MANO模型来减少对标注数据的依赖并防止过拟合。

尽管基于图像的方法取得了显著进展，但由于静态图像中存在遮挡和视觉抖动现象，其预测结果并不稳定。

手部时序姿态估计：一些近期的方法 [^36] [^56] [^29] [^19] [^40] [^13] [^59] [^50] 开始探索视频中的时序信息，以对逐帧预测结果进行约束。[^19] 利用了重投影后的三维手部预测结果与邻近帧的光流之间的光度一致性。[^56] 和 [^36] 则强制施加时序一致性以保证运动平滑性。[^29] 引入循环神经网络作为判别器，通过对抗训练来监督运动序列。尽管上述方法将时序信息用作额外监督，但它们并非专门针对此任务设计。

---

![Image](images/90c647c6627742b8180e9499a37f950b7d4d0bb6a90bfd43ae4a7e6791375cc7.jpg)

<div style="text-align: center;">Figure 2: Overview of the Deformer Architecture. Our approach uses transformers to reason spatial and temporal relationships between hand parts in an image sequence, and output frame-wise hand pose and motion. In order to overcome the challenge when the hand is heavily occluded or blurred in some frames, the Dynamic Fusion Module explicitly deforms the hand poses from neighborhood frames and fuses them toward a robust hand pose estimation.</div>

这类方法适用于序列输入，但模型无法充分利用视频中的动态信息。

另外，[^5] 利用图卷积神经网络来探索空间和时间关系以预测 3D 手部姿态。然而，它依赖于 2D 姿态估计器 [^39] 来将预计算的连续 2D 手部姿态作为输入，并且无法进行联合优化。最近，[^27] 通过使用基于 LSTM [^23] 的序列到序列模型来传播逐帧特征，从而利用时间信息，但它仅给出稀疏的关节点位置预测。[^10] 提出了一种时间一致的系统，该系统综合来自过去和未来的隐式特征以恢复中心帧的网格。这些方法主要依赖于循环神经网络，假定对局部关系具有很强的依赖性，但在建模长距离依赖关系方面存在不足。不同的是，我们基于 Transformer 的方法可以显式地关注每一帧作为直接证据，不受空间和时间间隔的限制，从而给出准确的手部姿态估计。

基于Transformer的方法：Transformer [^52]在各类自然语言处理任务中已成为主流模型[^11] [^45] [^46]。与卷积神经网络不同，Transformer核心的自注意力机制没有强烈的归纳偏置，能够自适应地关注特征序列。受其成功应用与通用性的启发，将自注意力层应用于计算机视觉任务的研究日益增多，包括分类[^12] [^37]、检测[^7] [^60]、视频理解[^2] [^38]、人物交互[^14] [^28]等。近期，[^32] [^25]应用Transformer来挖掘非局部交互作用，以实现从单张图像中重建三维人体姿态与网格。[^36]则利用Transformer在手部与物体表征之间进行显式的上下文推理。与这些仅关注静态图像中空间关系的方法不同，我们提出了一种序列化的Transformer结构，能够同时建模手部关节及其运动的时空关系，从而实现基于视频的手部姿态估计。

### 3. 方法

图2展示了我们框架的整体结构。给定长度为T的输入图像序列$V = \{I_t\}_{t=1}^T$，我们的目标是估计三维手部关节$\mathcal{J}_t$与网格顶点$\mathcal{V}_t$。为实现这一目标，我们首先使用预训练的卷积神经网络提取每一帧中的手部特征图。随后，我们利用Transformer来依次推导空间与时间关系，输出一组包含各时间戳下手部网格与运动信息的注意力潜向量。一方面，该潜向量会被用于通过多层感知机回归MANO参数，这些参数会作为输入传入差分MANO[^48]手部层，以还原手部网格。

除了估计MANO参数外，我们还提出了一种动态融合模块，用于从隐藏特征中估计形变参数与置信度分数，从而建模手部运动及帧间关联性。最终，预测得到的手部运动将被用来对

---

所有时间戳下的手部网格预测结果进行变形，使其适配其他帧，再结合隐式学习得到的置信度分数进行整合，最终实现更精准的手部姿态估计，并更好地应对遮挡与模糊问题。

除了MANO参数外，我们还根据隐藏特征进一步估计变形参数和置信度分数，以建模手部运动以及帧的可信度。此外，我们利用预测的手部运动，将各个时间戳下的手部网格预测显式地变形到其他帧中，并将其与隐式学习到的置信度分数相融合。这样一来，就能更精确地估计手部姿态，并更好地处理遮挡和模糊问题。

#### 3.1. 变形器

变形器是由空间变换器、时间变换器和动态融合模块依次组合而成的。空间变换器专注于从图像中提取对遮挡具有鲁棒性的紧凑表示；其网络权重在所有帧中是共享的。时间变换器通过利用每个时间戳下手部的相关性来增强手部特征，进而回归出全局手部形状。动态模块则学习手部运动和帧的可信度，从而以置信度驱动的方式将各帧的预测结果显式融合，得到最终的手部姿态估计结果。

空间变换器：受混合模型[^7] [^28]的启发，我们的方法首先采用基于ResNet50 [^34]的截断FPN [^22]，再通过ROIAlign [^21]为每个时间戳t提取初始手部特征$\mathcal{F}_t \in \mathcal{R}^{H \times W \times C}$。CNN提取的特征本质上依赖一组卷积核，具有对二维邻域结构的归纳偏差，因此在局部结构被遮挡时会出现问题。为克服这一挑战，我们引入Transformer [^52]来处理非局部关系，从而提升方法的鲁棒性。

空间变换器编码器要求输入为序列形式。因此，我们将手部特征的空间维度展平，从而得到长度为C的HW个向量。这些被称为“标记”的特征向量会经过多层多头自注意力机制和前馈网络（FFN）的处理。由于Transformer的每一层都具有排列不变性，我们通过添加二维位置嵌入来为每个标记补充二维位置信息。Transformer编码器的输出特征$\mathcal{F}_t^e \in \mathcal{R}^{HW \times C}$通过捕捉所有标记之间的非局部交互作用，强化了原始特征。增强后的特征应包含丰富的手部上下文信息，包括关节位置。作为中间监督信号，我们从$\hat{\mathcal{H}}_t$中回归出手部关节的热图$\mathcal{F}_t^e$，进而得到$N_j = 21$关节位置的预测结果$\hat{\mathcal{J}}_t^{2D} \in \mathcal{R}^{21 \times 2}$。受跳跃连接[^22]理念的启发，我们通过拼接操作将关节热图直接添加到$\mathcal{F}_t^e$中。

空间变换器解码器以可学习的查询向量$\mathcal{Q} \in \mathcal{R}^C$作为输入，通过多层交叉注意力和FFN，逐步将$\mathcal{F}_t^e$与$\hat{\mathcal{J}}^{2D}$的组合特征中的信息融合到该查询向量中。与从同一组标记生成查询、键和值的自注意力机制不同，交叉注意力使用可学习的查询向量来生成查询，同时利用已学习的标记作为键和值的来源。与[^26]类似，解码器会从特征图中自适应地选取相关信息，输出表示3D手部的紧凑潜变量$\mathcal{F}_t^+ \in \mathcal{R}^C$。这大大降低了后续阶段进行时序推理时的计算成本。

仅凭单张图像来估计手部姿态的时序变换器并不够稳健，原因至少有两个。首先，随着时间推移，手部的视觉外观可能会发生显著变化，导致基于图像的模型生成不稳定的预测结果。其次，在手部与物体交互过程中，手部可能会被自身或其他物体频繁遮挡。在这些情况下，从静态图像中准确估计手部姿态就更具挑战性，因为只能看到手部的一部分。

在视频中，手部的运动使我们能够观察到在单帧中可能被遮挡或模糊的各个部位。受此启发，我们采用变换器编码器来推导沿时间维度的特征交互关系。与采用循环架构的[^27]、[^10]、[^29]（[^23]、[^9]）不同，变换器的自注意力机制允许每一帧直接从其他帧中获取信息，而不受时间距离的限制。与空间变换器编码器类似，时序变换器编码器接收每一帧的特征序列$\{\mathcal{F}_t^+\}_{t=1}^T$，并输出一组新的潜向量$\{\mathcal{F}_t^{++}\}_{t=1}^T$。基于这些特征，我们使用多层感知机作为网格回归网络来估计姿态参数$\hat{\theta}_t$。由于手部形状在所有时间点都保持一致，我们采用标准的变换器解码器，从所有帧级特征中提取单一特征，进而预测全局形状参数$\hat{\beta}^+$。

动态融合模块：尽管时序编码器的输出特征编码了相邻帧之间的关系，但它仍对当前帧有较强依赖性。当当前帧被严重遮挡或模糊时，我们发现模型很难回归出准确的手部网格。然而，其相邻帧的预测结果却相当不错，因为这些帧中手部更清晰可见。基于这一观察，我们认为参考其他帧以帮助稳健估计当前帧至关重要。

为实现这一目标，我们为每个帧从时序注意力潜向量$\hat{c}_t$中预测出一个置信度分数$(\hat{d}\theta_t^{fw}, \hat{d}\theta_t^{bw})$，以及一组前向和反向运动参数$\mathcal{F}_t^{++}$作为额外输出。运动真值即为MANO参数到前后帧的形变。

---

![Image](images/775d7763bcf34f2c1a77a82e91a0b4c29ab58f8ca312b3532935fbe7b07e5e2a.jpg)

![Image](images/ea07611962bde203a2f0c2d86678d023febcea365183f4df9b3a28af66d4f00b.jpg)

即MANO参数到前后帧的形变。

<div style="text-align: center;">Figure 3: We propose a novel maxMSE loss function (top) that automatically assigns larger weights to the hand parts with more significant errors (around fingertips), and lower weights for well-predicted parts (around the wrist). Experiments demonstrate the proposed maxMSE loss mitigates the error imbalance issue (bottom) and leads to better overall performance.</div>

 $$ d\theta_{t}^{f w}=\theta_{t+1}-\theta_{t},\quad d\theta_{t}^{b w}=\theta_{t-1}-\theta_{t} $$

帧级运动预测使我们能够将第i帧的预测手部姿态变形到任意第j帧。

 $$ \begin{aligned}\hat{\theta}_{i\rightarrow j}=\begin{cases}\hat{\theta}_{i}+\sum_{k=j}^{i-1}\hat{d}\theta_{k}^{bw}&if j<i\\\hat{\theta}_{i}+\sum_{k=i}^{j-1}\hat{d}\theta_{k}^{fw}&if j>i\end{cases}\end{aligned} $$

我们将序列中所有帧的手部姿态变形到每个时间戳t并进行合成。正式来说，最终的手部姿态预测$\hat{\theta}_{t}^{+}$是基于置信度的变形后帧级预测的加权和。

 $$ \hat{\theta}_{t}^{+}=\frac{\sum_{t^{\prime}=1}^{T}e^{\hat{c}_{t^{\prime}}}\hat{\theta}_{t^{\prime}\to t}}{\sum_{t^{\prime}=1}^{T}e^{\hat{c}_{t^{\prime}}}} $$

手部关节的3D坐标$\hat{\mathcal{I}}_t \in \mathcal{R}^{21 \times 3}$和网格顶点$\hat{\mathcal{V}}_t \in \mathcal{R}^{778 \times 3}$可以从预测的MANO参数$(\hat{\theta}_t^+, \hat{\beta}^+$中恢复出来，这一过程通过可微分的MANO层[^48]实现。

#### 3.2. 优化

由于Deformer输出的是一系列手部姿态，若无适当的正则化，其训练将难以收敛。为此，我们首先设计了一种名为maxMSE的新颖损失函数，用于监督帧级手部网格输出。为解决复杂的手部动力学问题，我们进一步加入了时序约束和可学习的运动判别器。总损失是它们的线性组合。

 $$ \mathcal{L}_{h a n d}=\mathcal{L}_{m e s h}+\mathcal{L}_{a d v}+\mathcal{L}_{a u x} $$

maxMSE损失。MSE是用于3D关节和网格顶点位置的标准损失函数。然而，我们发现不同手部位置的误差存在较大差异。例如，指尖的预测误差通常比手掌周围的误差更大。这一发现促使我们设计出能够调整不同手部部位权重的损失函数。受focal loss [^35]的启发，我们引入了maxMSE损失，该函数会调整每个位置$w_i = \frac{(\mathcal{P}_i - \mathcal{P}_i')^2}{\sum_{j=1}^{N}(\mathcal{P}_j - \mathcal{P}_j')^2}$的权重以最大化MSE损失。具体而言，两组3D点$\mathcal{P}, \mathcal{P}' \in \mathcal{R}^{N \times 3}$对应的maxMSE损失为

 $$ \max MSE(\mathcal{P},\mathcal{P}^{\prime})=\sum_{i=1}^{N}w_{i}||\mathcal{P}_{i}-\mathcal{P}_{i}^{\prime}||^{2}=\frac{\sum_{i=1}^{N}||\mathcal{P}_{i}-\mathcal{P}_{i}^{\prime}||^{4}}{\sum_{i=1}^{N}||\mathcal{P}_{i}-\mathcal{P}_{i}^{\prime}||^{2}} $$

在训练过程中，maxMSE损失会给误差较大的关节或顶点赋予较大的权重，从而使模型能够专注于手部的难点部位。我们将maxMSE用作预测手部网格的损失，如下所示：

 $$ \mathcal{L}_{m e s h}=\sum_{t=1}^{T}\max\mathrm{M S E}(\hat{\mathcal{V}}_{t},\mathcal{V}_{t})+\max\mathrm{M S E}(\hat{\mathcal{I}}_{t},\mathcal{J}_{t}) $$

需要注意的是，我们没有每帧置信度的真实值$\hat{c}_{t}$。不过，由于它与最终的手部姿态预测结果相关联，端到端损失$\mathcal{L}_{hand}$会间接对置信度进行约束。

运动判别。网格损失会迫使模型生成与视觉信息一致的手部姿态。但由于忽略了手部动态的时间连续性，序列中多个不准确的手部姿态估计仍可能被判定为有效。借鉴[^29]的思路，我们通过训练一个运动判别器D来解决这一问题。该判别器接收一系列手部网格数据，并判断其是否为真实数据。为了捕捉手部运动的复杂性和多样性，我们的运动判别器采用多层GRU [^9]神经网络。模型细节详见补充材料。

我们通过对抗训练[^16]来共同训练Deformer（生成器）和运动判别器。

---

![Image](images/a409eac312989018e977049733ec1a916c7d5dcb5e081d6e76501a55b77a9355.jpg)

顶点误差

<div style="text-align: center;">Figure 4: Qualitative Comparison of the state-of-the-art single-view method [^36] (top), video-based method [^10] (middle), and our method (bottom). For each method, the first row shows the predicted hand mesh, and the second row shows the error map. The proposed Deformer robustly generates more stable and accurate poses over time than previous approaches.</div>

生成器和判别器的损失分别为

 $$ \mathcal{L}_{a d v}=\mathbb{E}_{\Theta\sim p_{G}}(\mathcal{D}(p_{G})-1)^{2} $$

 $$ \mathcal{L}_{\mathcal{D}}=\mathbb{E}_{\Theta\sim p_{G}}(\mathcal{D}(p_{G}))^{2}+\mathbb{E}_{\Theta\sim p_{R}}(\mathcal{D}(p_{R})-1)^{2} $$

其中$p_{G}$为预测的手部网格序列，$p_{R}$为随机采样的真实序列。

辅助约束。辅助损失[^1]已被证明对深度变换器的训练有益。我们的辅助损失包含两个部分：（1）用于稳定训练的中间监督；（2）用于规范序列输出的时间约束。

 $$ \mathcal{L}_{aux}=\mathcal{L}_{2D}+\mathcal{L}_{monocular}+\mathcal{L}_{motion}+\mathcal{L}_{smooth} $$

中间监督应用于每个时间戳的中间特征$\mathcal{F}_t^e$和$\mathcal{F}_t^+$。空间变换器编码器的输出特征$\mathcal{F}_t^e$应编码2D静态手部特征。我们利用它来回归2D手部关节的热图，进而得到2D手部关节预测结果$\hat{\mathcal{J}}^{2D}$。$\hat{\mathcal{J}}^{2D}$的损失为手部关节预测结果与重新投影的真实手部网格之间的差值。

 $$ \mathcal{L}_{2D}=\sum_{j\in N_{j}}||\hat{\mathcal{J}}_{j}^{2D}-\mathcal{J}_{j}^{2D}||_{2}^{2} $$

手部特征$\mathcal{F}_{t}^{e}$由空间变换器解码器聚合为一个单一的潜向量$\mathcal{F}_{t}^{+}$，该向量应能表征3D手部形状和姿态。为了对该特征进行约束，我们利用它在每个时间戳估计MANO参数$(\hat{\theta}_{t}, \hat{\beta}_{t})$，这也是我们方法的单目预测结果。与最终输出类似，我们通过微分MANO层获取3D网格。单目损失$\mathcal{L}_{monocular}$是通过将预测的3D网格与真实值进行比较，并利用所提出的maxMSE损失函数计算得出的。需要注意的是，除了3D关节和顶点外，maxMSE损失也适用于所有预测的MANO参数。

---

此外，maxMSE损失也适用于所有预测的MANO参数。

时间约束用于规范序列输出，使其保持一致且平滑。首先，我们加入运动损失$\mathcal{L}_{motion}$，以强制使基于预测运动$(\hat{\theta}_{t\to t-1}, \hat{\theta}_{t\to t+1})$生成的变形手部网格$(\hat{d}\theta_t^{bw}, \hat{d}\theta_t^{fw})$与前后帧保持一致。其次，为了生成无抖动的平滑手部姿态序列，手部运动应当较为缓慢。我们通过添加平滑损失$\mathcal{L}_{smooth}$来实现这一目标，该损失会促使手部姿态估计的一阶和二阶导数趋近于零。

#### 3.3. 实现细节

运动判别：我们的方法能够处理任意长度的图像序列。在本文中，我们根据经验选取了长度为$T = 7$的序列，相邻采样帧之间的间隔为10帧，以便在大约2-3秒内捕捉到有意义的手部运动，同时兼顾内存开销与性能方面的考量。

模型：我们使用ResNet-50$^{[22]}$配合ROIAlign$^{[21]}$来提取初始手部特征，其分辨率为$32 \times 32$，特征尺寸为256。对于空间变换编码器和解码器，我们采用了3个多头自注意力层；每个自注意力层包含8个头，前馈维度为256。在变换解码器中，查询向量的大小设为256。时间变换结构在空间变换的基础上与之相同。

优化：除了ResNet-50已在ImageNet上预训练外，时空变换器和运动判别器均从零开始以端到的方式训练。对于时空变换器，我们采用学习率为$1 \times 10^{-5}$的Adam优化器；对于运动判别器，学习率则为$1 \times 10^{-3}$。按照标准的对抗训练协议，生成器（时空变换器）与判别器在每一步中交替更新。整个训练过程共进行60个周期，且每经过10个周期，所有学习率都会乘以0.7的缩放因子。

计算成本：我们使用8块RTX 2080Ti GPU来训练模型。在单块RTX 2080Ti上，根据所选步长不同，Deformer模型的推理速度分别为105 FPS或15 FPS。

### 4. 实验

在本节中，我们首先介绍所使用的两个公开数据集：DexYCB [^8]和HO3D [^17]。接着，我们将展示与竞争性基线相比，我们的方法所取得的最先进性能。最后，我们通过消融研究验证了主要设计的有效性。

#### 4.1. 数据集

DexYCB包含人类抓取20种YCB [^6]物体的多摄像头视频。该数据集由1000个序列组成，共有582K帧，由来自8个不同视角的摄像头拍摄。在数据收集过程中，桌上会放置多个随机选择的物体；在手-物交互期间，手持物体的手经常会被遮挡。我们特意利用这些具有挑战性的场景来测试所提出方法的鲁棒性，尤其是在遮挡情况下的表现。

HO3D是一个用于手部姿态估计的大规模视频数据集。它由10名受试者操作10种YCB [^6]物体时拍摄的68个序列组成，共计77,558帧：其中66,034帧用于训练，11,524帧用于测试。由于测试集标注尚未发布，我们将预测结果提交至官方在线系统进行评估。

#### 4.2. 评估指标

我们采用标准的手部姿态估计指标：经过Procrustes对齐后，以毫米为单位计算的关节位置平均误差（MPJPE）。此外，我们还给出了官方评估系统针对各数据集提供的F分数和AUC分数。发布的DexYCB测试集进一步根据手-物体遮挡程度分为三类，该程度由物体在手投影到二维图像平面时遮挡手部的百分比来确定。这些阈值分别设为25%、50%和75%。我们分别报告各类别的结果，以评估不同方法在处理遮挡情况时的鲁棒性。

遵循VIBE [^29]的方法，我们新增了时间一致性指标：即$(mm)/s^{2}$中的加速度误差。该指标用于量化真实值与预测的三维关节位置之间的加速度差异。此外，我们还引入了根对齐的MPJPE指标，该指标仅通过平移操作来对齐预测与真实的三维手部根部，以此评估精度。

#### 4.3. 结果与分析

如表1、表2和表3所示，我们将所提出的方法与最先进的基于视频的方法[^10] [^51] [^61] [^29]，以及单视图方法[^55] [^20] [^36] [^17] [^33] [^40] [^49]进行比较。定量结果表明，我们的方法优于以往的方法，尤其是在遮挡情况下（如图5所示）。需要注意的是，我们的模型仅有3100万个参数，比[^40]的3900万个参数少20%，但在HO3D数据集上仍能取得相近的性能，在规模更大的DexYCB数据集上表现更优。我们还在图3中展示了每个手部关节的误差情况，可以看出所提出的maxMSE损失函数缓解了误差不平衡问题，帮助网络聚焦于指尖等关键手部部位。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>Input</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (25%-50%)</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (50%-75%)</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (75%-100%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J [^55]</td><td style='text-align: center; word-wrap: break-word;'>Depth</td><td style='text-align: center; word-wrap: break-word;'>12.07 (76.0)</td><td style='text-align: center; word-wrap: break-word;'>12.44 (75.3)</td><td style='text-align: center; word-wrap: break-word;'>14.74 (70.7)</td><td style='text-align: center; word-wrap: break-word;'>19.59 (61.5)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^49] + ResNet50</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>7.12 (85.8)</td><td style='text-align: center; word-wrap: break-word;'>7.65 (84.7)</td><td style='text-align: center; word-wrap: break-word;'>8.73 (82.6)</td><td style='text-align: center; word-wrap: break-word;'>11.90 (76.3)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^49] + HRNet32</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>6.83 (86.4)</td><td style='text-align: center; word-wrap: break-word;'>7.22 (85.6)</td><td style='text-align: center; word-wrap: break-word;'>8.00 (84.0)</td><td style='text-align: center; word-wrap: break-word;'>10.65 (78.8)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MeshGraphormer [^33]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>6.41 (87.2)</td><td style='text-align: center; word-wrap: break-word;'>6.85 (86.3)</td><td style='text-align: center; word-wrap: break-word;'>7.22 (85.6)</td><td style='text-align: center; word-wrap: break-word;'>7.76 (84.5)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^36]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>6.33 (87.4)</td><td style='text-align: center; word-wrap: break-word;'>6.70 (86.6)</td><td style='text-align: center; word-wrap: break-word;'>7.17 (85.7)</td><td style='text-align: center; word-wrap: break-word;'>8.96 (82.1)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^40]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>5.80 (88.4)</td><td style='text-align: center; word-wrap: break-word;'>6.22 (87.6)</td><td style='text-align: center; word-wrap: break-word;'>6.43 (87.2)</td><td style='text-align: center; word-wrap: break-word;'>7.37 (85.3)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$S^{2}HAND(V)$ [^51]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>7.27 (85.5)</td><td style='text-align: center; word-wrap: break-word;'>7.74 (84.5)</td><td style='text-align: center; word-wrap: break-word;'>7.71 (84.6)</td><td style='text-align: center; word-wrap: break-word;'>7.87 (84.3)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^29]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>6.43 (87.1)</td><td style='text-align: center; word-wrap: break-word;'>6.72 (86.5)</td><td style='text-align: center; word-wrap: break-word;'>6.84 (86.4)</td><td style='text-align: center; word-wrap: break-word;'>7.06 (85.8)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^10]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>6.28 (87.5)</td><td style='text-align: center; word-wrap: break-word;'>6.56 (86.9)</td><td style='text-align: center; word-wrap: break-word;'>6.58 (86.8)</td><td style='text-align: center; word-wrap: break-word;'>6.95 (86.1)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>5.22 (89.6)</td><td style='text-align: center; word-wrap: break-word;'>5.71 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>5.70 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>6.34 (87.3)</td></tr></table>

<div style="text-align: center;">Table 1: Quantitative MPJPE in mm and (AUC Score) comparison of state-of-the-art hand pose estimation methods on the DexYCB dataset. Our model (last row) greatly reduces the error in all hand-object occlusion levels, especially when the hand is heavily occluded (last column).</div>

![Image](images/b81d9ab2d84c8896a37ad6d3c6df6e64b29eb688b6c6a73acc4161840d2f3755.jpg)

<div style="text-align: center;">Figure 5: The mean  $\pm$ standard deviation of MPJPE on DexYCB test data samples within different hand-object occlusion level ranges. Compared to [^36], our method significantly reduces the hand pose estimation error in all occlusion levels, especially when the hand is heavily occluded.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>root-aligned MPJPE</td><td style='text-align: center; word-wrap: break-word;'>Accel $\left( {\mathrm{{mm}}/{\mathrm{s}}^{2}}\right)$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^29]</td><td style='text-align: center; word-wrap: break-word;'>16.95 (67.5)</td><td style='text-align: center; word-wrap: break-word;'>36.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^10]</td><td style='text-align: center; word-wrap: break-word;'>16.03 (70.1)</td><td style='text-align: center; word-wrap: break-word;'>34.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>${\mathrm{S}}^{2}$HAND(V) [^51]</td><td style='text-align: center; word-wrap: break-word;'>19.67 (62.5)</td><td style='text-align: center; word-wrap: break-word;'>41.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MeshGraphormer [^33]</td><td style='text-align: center; word-wrap: break-word;'>16.21 (69.1)</td><td style='text-align: center; word-wrap: break-word;'>35.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^36]+Temporal Transformer+maxMSE</td><td style='text-align: center; word-wrap: break-word;'>14.81 (72.0)</td><td style='text-align: center; word-wrap: break-word;'>33.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^40]+Temporal Transformer+maxMSE</td><td style='text-align: center; word-wrap: break-word;'>15.15 (70.8)</td><td style='text-align: center; word-wrap: break-word;'>33.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>13.64 (74.0)</td><td style='text-align: center; word-wrap: break-word;'>31.7</td></tr></table>

<div style="text-align: center;">Table 2: Quantitative comparison of root-aligned MPJPE in mm and (AUC Score), and the acceleration error on the DexYCB.</div>

我们还在图4中可视化了与图像对齐的手部网格预测结果，以此对最先进的方法进行定性比较。可以看出，在同时考虑空间和时间关系后，我们的方法能够稳健地生成与视觉证据相符、且更加平滑且

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td rowspan="2">Input</td><td colspan="2">Hand Error ( $\downarrow$)</td><td colspan="2">Hand F-score ( $\uparrow$)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^20]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>11.0</td><td style='text-align: center; word-wrap: break-word;'>46.0</td><td style='text-align: center; word-wrap: break-word;'>93.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^17]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>10.7</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>50.6</td><td style='text-align: center; word-wrap: break-word;'>94.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^36]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>9.7</td><td style='text-align: center; word-wrap: break-word;'>53.2</td><td style='text-align: center; word-wrap: break-word;'>95.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^40]</td><td style='text-align: center; word-wrap: break-word;'>Monocular</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>56.4</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^29]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>52.6</td><td style='text-align: center; word-wrap: break-word;'>95.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^10]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>46.3</td><td style='text-align: center; word-wrap: break-word;'>93.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TempCLR [^61]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>48.1</td><td style='text-align: center; word-wrap: break-word;'>93.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>54.6</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

<div style="text-align: center;">Table 3: Quantitative MPJPE in mm and F-scores comparison of state-of-the-art hand pose estimation methods on the HO3D dataset. Note that our approach has 31M parameters, which is 20% less than [^40] (39M), but still achieves similar performance in the HO3D dataset and better performance in the larger DexYCB dataset.</div>

更合理的手部运动。更多定性结果和可视化内容详见补充材料。

#### 4.4. 消融实验

我们在HO3D和DexYCB数据集上开展消融实验，以阐明各个组件对最终性能的贡献。具体而言，我们研究了动态融合模块、maxMSE损失以及运动判别机制的影响。

动态融合模块的作用 动态融合模块的功能是显式合成相邻帧的手部网格预测结果，从而在当前帧估算出更精确、对遮挡具有鲁棒性的手部网格。它通过预测用于软融合的权重因子，自适应地选择关注特定帧。当当前视觉特征因遮挡或运动模糊而受到严重干扰时，动态融合模块能够消除这种不确定性。为了验证其有效性，我们在表4和表6中与三种变体进行了比较。首先，我们简单地重新-

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Aggregation</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (25%-50%)</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (50%-75%)</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (75%-100%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Center</td><td style='text-align: center; word-wrap: break-word;'>5.72 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>6.11 (87.8)</td><td style='text-align: center; word-wrap: break-word;'>6.14 (87.7)</td><td style='text-align: center; word-wrap: break-word;'>6.75 (86.5)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>5.40 (89.2)</td><td style='text-align: center; word-wrap: break-word;'>5.79 (88.4)</td><td style='text-align: center; word-wrap: break-word;'>5.84 (88.3)</td><td style='text-align: center; word-wrap: break-word;'>6.39 (87.2)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Weighted (Occlusion Level)</td><td style='text-align: center; word-wrap: break-word;'>5.34 (89.3)</td><td style='text-align: center; word-wrap: break-word;'>5.78 (88.4)</td><td style='text-align: center; word-wrap: break-word;'>5.76 (88.5)</td><td style='text-align: center; word-wrap: break-word;'>6.33 (87.3)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dynamic</td><td style='text-align: center; word-wrap: break-word;'>5.22 (89.6)</td><td style='text-align: center; word-wrap: break-word;'>5.71 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>5.70 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>6.34 (87.3)</td></tr></table>

<div style="text-align: center;">Table 4: Ablation studies of Dynamic Fusion Module on the DexYCB dataset. The evaluation metric is MPJPE in mm and (AUC Score).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>maxMSE</td><td style='text-align: center; word-wrap: break-word;'>Motion Discrimination</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (25%-50%)</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (50%-75%)</td><td style='text-align: center; word-wrap: break-word;'>Occlusion (75%-100%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>5.72 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>6.11 (87.8)</td><td style='text-align: center; word-wrap: break-word;'>6.14 (87.7)</td><td style='text-align: center; word-wrap: break-word;'>6.75 (86.5)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>5.63 (88.7)</td><td style='text-align: center; word-wrap: break-word;'>6.00 (88.0)</td><td style='text-align: center; word-wrap: break-word;'>5.92 (88.2)</td><td style='text-align: center; word-wrap: break-word;'>6.62 (86.8)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>5.43 (89.1)</td><td style='text-align: center; word-wrap: break-word;'>6.05 (87.8)</td><td style='text-align: center; word-wrap: break-word;'>6.00 (88.0)</td><td style='text-align: center; word-wrap: break-word;'>6.59 (86.8)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>5.22 (89.6)</td><td style='text-align: center; word-wrap: break-word;'>5.71 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>5.70 (88.6)</td><td style='text-align: center; word-wrap: break-word;'>6.34 (87.3)</td></tr></table>

<div style="text-align: center;">Table 5: Ablation studies of the maxMSE loss and Motion Discrimination on the DexYCB dataset. The evaluation metric is MPJPE in mm and (AUC Score).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Aggregation</td><td colspan="2">Hand Error ( $\downarrow$)</td><td colspan="2">Hand F-score ( $\uparrow$)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint</td><td style='text-align: center; word-wrap: break-word;'>Mesh</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Center</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>9.3</td><td style='text-align: center; word-wrap: break-word;'>52.8</td><td style='text-align: center; word-wrap: break-word;'>96.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>52.6</td><td style='text-align: center; word-wrap: break-word;'>95.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Weighted (Occlusion Level)</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>52.9</td><td style='text-align: center; word-wrap: break-word;'>96.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dynamic</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>54.6</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr></table>

<div style="text-align: center;">Table 6: Ablation studies of Dynamic Fusion Module on the HO3D dataset. The evaluation metric is MPJPE in mm and F-scores.</div>

![Image](images/c02c1e77f8b0ca8218e8c4fb61c9e33fc2e24c55f63a85866f92570ad8a26886.jpg)

<div style="text-align: center;">Low (0.05)</div>

![Image](images/3355b17cd6bf0bb6f333c31c7f35ecf0c9dcb900d59894fb111261bea8755e81.jpg)

<div style="text-align: center;">High (0.36)</div>

![Image](images/46a6b2a23482f3315f7e23dca16136b4e972c7998556e1afcfc9b6a316737f0a.jpg)

<div style="text-align: center;">Med (0.25)</div>

![Image](images/ae2c8c26ff6240f3ffcb7000d0c08c100c906f93bc0be7c436f89ed3442c4aea.jpg)

<div style="text-align: center;">Med (0.22)</div>

![Image](images/2bdd34113db5eb8699e1a80e4027c998003800e004689d2d3bf7a9d103eadb51.jpg)

<div style="text-align: center;">Low (0.12)</div>

<div style="text-align: center;">Figure 6: Visualization of the confidence score predicted by the Dynamic Fusion Module. The proposed module can implicitly learn visual accountability and assign lower confidence to frames where hands are blurred and occluded.</div>

移动该模块并评估逐帧预测结果，在表中记为“Center”。其次，我们对所有帧的变形预测结果取平均值，以验证软融合技术的优势，在表中记为“Average”。第三，我们展示了将物体遮挡程度作为权重因子的结果，该因子可给出可学习的置信度评分，使网络能够综合考虑遮挡之外的更多实际因素。

maxMSE损失的影响：与传统的MSE损失相比，所提出的maxMSE损失通过为误差较大的顶点赋予更高权重，迫使模型重点关注手部的关键部位，如指尖。为了评估maxMSE损失的有效性，我们将其与使用标准MSE损失训练但架构相同的模型进行比较。定量结果见表5，可以看出maxMSE能带来更好的整体性能。此外，我们在图3中可视化了每个手关节的误差情况，发现使用maxMSE损失时指尖处的误差更小，且不同手部部位的误差分布也更均衡。

运动判别器的作用：由神经网络实现的运动判别器用于提供对抗性监督，以确保预测的手部姿态序列符合数据先验。我们通过对比有无运动判别器时模型的性能来检验其有效性。表5显示了引入对抗性训练带来的好处。

### 5. 结论

在本文中，我们提出了一种用于视频中鲁棒且合理的3D手部姿态估计的新型Deformer架构。我们的方法在空间和时间维度上都能推理手部各部位之间的非局部关系。为了解决某一帧中手部严重遮挡或模糊的问题，我们引入了动态融合模块，该模块能够显式且自适应地合成邻近帧的变形手部网格预测，从而实现鲁棒的姿态估计。最后，我们设计了一种名为maxMSE的新损失函数，该函数可调整关节的权重，迫使模型关注手部的关键部位。我们仔细验证了所提出的各项设计，并展示了它们如何在大规模真实数据集上助力我们取得最先进的性能。未来的工作将探索从视频中学习细粒度表征的方法，并减少对标注数据的依赖。

致谢：本研究部分由日本科学技术振兴机构AIP加速计划（项目编号JPMJCR20U1）和Salesforce资助。

---

## 参考文献

[^1]: Rami Al-Rfou, Dokook Choe, Noah Constant, Mandy Guo, and Llion Jones. Character-level language modeling with deeper self-attention. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, AAAI'19/IAAI'19/EAAI'19. AAAI Press, 2019. 6

[^2]: Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, and Cordelia Schmid. Vivit: A video vision transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 6836–6846, 2021. 3

[^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 2

[^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 2

[^5]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2272–2281, 2019. 3

[^6]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In 2015 international conference on advanced robotics (ICAR), pages 510–517. IEEE, 2015. 7

[^7]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In European conference on computer vision, pages 213–229. Springer, 2020. 3, 4

[^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2,7

[^9]: Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder–decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1724–1734, Doha, Qatar, Oct. 2014. Association for Computational Linguistics. 4, 5

[^10]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Proceedings

IEEE/CVF计算机视觉与模式识别会议论文集，第1964–1973页，2021年。1, 3, 4, 6, 7, 8

[^11]: Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pages 4171–4186. Association for Computational Linguistics, 2019. 3

[^12]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021. 3

[^13]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 2

[^14]: Qichen Fu, Xingyu Liu, and Kris Kitani. Sequential voting with relational box fields for active object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2374–2383, 2022. 3

[^15]: Guillermo Garcia-Hernando, Edward Johns, and Tae-Kyun Kim. Physics-based dexterous manipulations with estimated hand poses and residual reinforcement learning. In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 9561–9568. IEEE, 2020. 2

[^16]: Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. Advances in neural information processing systems, 27, 2014. 5

[^17]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 2, 7, 8

[^18]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020. 2

[^19]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020. 2

## [^20]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid

---

手部与操控物体的联合重建学习。IEEE/CVF计算机视觉与模式识别会议论文集，第11807–11816页，2019年。2, 7, 8

[^21]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In Proceedings of the IEEE international conference on computer vision, pages 2961–2969, 2017. 4, 7

[^22]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 4,7

[^23]: Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997. 3, 4

[^24]: Markus Höll, Markus Oberweger, Clemens Arth, and Vincent Lepetit. Efficient physics-based implementation for realistic hand-object interaction in virtual reality. In 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pages 175–182. IEEE, 2018. 2

[^25]: Lin Huang, Jianchao Tan, Jingjing Meng, Ji Liu, and Junsong Yuan. Hot-net: Non-autoregressive transformer for 3d hand-object pose estimation. In Proceedings of the 28th ACM International Conference on Multimedia, pages 3136–3145, 2020. 3

[^26]: Andrew Jaegle, Felix Gimeno, Andy Brock, Oriol Vinyals, Andrew Zisserman, and Joao Carreira. Perceiver: General perception with iterative attention. In International conference on machine learning, pages 4651–4664. PMLR, 2021. 4

[^27]: Leyla Khaleghi, Alireza Sepas-Moghaddam, Josh Marshall, and Ali Etemad. Multiview video-based 3-d hand pose estimation. IEEE Transactions on Artificial Intelligence, 4:896–909, 2021. 3,4

[^28]: Bumsoo Kim, Junhyun Lee, Jaewoo Kang, Eun-Sol Kim, and Hyunwoo J Kim. Hotr: End-to-end human-object interaction detection with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 74–83, 2021. 3, 4

[^29]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. 2, 4, 5, 7, 8

[^30]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4501–4510, 2019. 2

[^31]: Sijin Li and Antoni B Chan. 3d human pose estimation from monocular images with deep convolutional neural network. In Asian Conference on Computer Vision, pages 332–347. Springer, 2014. 2

[^32]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1954–1963, 2021. 2, 3

[^33]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international

计算机视觉会议论文集，第12939–12948页，2021年。7, 8

[^34]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2117–2125, 2017. 4

[^35]: Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988, 2017. 2, 5

[^36]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 2, 3, 6, 7, 8

[^37]: Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10012–10022, 2021. 3

[^38]: Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin, and Han Hu. Video swin transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3202–3211, 2022. 3

[^39]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hourglass networks for human pose estimation. In European conference on computer vision, pages 483–499. Springer, 2016. 2, 3

[^40]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. 2, 7, 8

[^41]: Sungheon Park, Jihye Hwang, and Nojun Kwak. 3d human pose estimation using convolutional neural networks with 2d pose information. In European Conference on Computer Vision, pages 156–169. Springer, 2016. 2

[^42]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-fine volumetric prediction for single-image 3d human pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7025–7034, 2017. 2

[^43]: Vladimir I Pavlovic, Rajeev Sharma, and Thomas S. Huang. Visual interpretation of hand gestures for human-computer interaction: A review. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7):677–695, 1997. 2

[^44]: Thammathip Piumsomboon, Adrian Clark, Mark Billinghurst, and Andy Cockburn. User-defined gestures for augmented reality. In IFIP Conference on Human-Computer Interaction, pages 282–299. Springer, 2013. 2

[^45]: Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018. 3

## [^46]: Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019. 3

---

[^47]: Siddharth S Rautaray and Anupam Agrawal. Vision based hand gesture recognition for human computer interaction: a survey. Artificial intelligence review, 43(1):1–54, 2015. 2

[^48]: Javier Romero, Dimitris Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. 2, 3, 5

[^49]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European Conference on Computer Vision, pages 211–228. Springer, 2020. 2, 7, 8

[^50]: Garvita Tiwari, Dimitrije Antić, Jan Eric Lenssen, Nikolaos Sarafianos, Tony Tung, and Gerard Pons-Moll. Pose-ndf: Modeling human pose manifolds with neural distance fields. In European Conference on Computer Vision, pages 572–589. Springer, 2022. 2

[^51]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. Consistent 3d hand reconstruction in video via self-supervised learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. 7, 8

[^52]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 1, 3, 4

[^53]: Stefan Vogt, Giovanni Buccino, Afra M Wohlschläger, Nicola Canessa, N Jon Shah, Karl Zilles, Simon B Eickhoff, Hans-Joachim Freund, Giacomo Rizzolatti, and Gereon R Fink. Prefrontal involvement in imitation learning of hand actions: effects of practice and expertise. Neuroimage, 37(4):1371–1383, 2007.

[^54]: Christian Von Hardenberg and François Bérard. Bare-hand human-computer interaction. In Proceedings of the 2001 workshop on Perceptive user interfaces, pages 1–8, 2001. 2

[^55]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 793–802, 2019. 7, 8

[^56]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3d hand pose and shape estimation. In European Conference on Computer Vision, pages 122–139. Springer, 2020. 2

[^57]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9877–9886, 2019. 2

[^58]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2

[^59]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Toch: Spatio-temporal object-to-hand correspondence for motion refinement. In European Conference on Computer Vision, pages 1–19. Springer, 2022. 2

[^60]: Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng Dai. Deformable DETR: deformable transformers

用于端到端物体检测。收录于第9届国际学习表征会议（ICLR 2021），虚拟会议，奥地利，2021年5月3日至7日。OpenReview.net，2021年。第3页。

[^61]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. Tempclr: Reconstructing hands via time-coherent contrastive learning. In 2022 International Conference on 3D Vision (3DV), pages 627–636. IEEE, 2022. 7, 8

[^62]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 2