Figure 1: State-of-the-art hand reconstruction methods such as [^7] (middle), fail to keep coherent hand representations through time. We exploit the underlying temporal constraint in unlabelled videos and train a model in a time-contrastive manner. Our method (TempCLR) keeps embeddings of the same sequence closer in the latent space and achieves better generalization on unseen videos, reconstructing more coherent hands through time.
## 摘要
我们提出了TempCLR，这是一种用于3D手部重建这一结构化回归任务的全新时间一致性对比学习方法。与以往用于手部姿态估计的时间对比方法不同，我们的框架在数据增强方案中考虑了时间一致性，同时兼顾了时间维度上手部姿态的差异。我们的方法以数据驱动，利用无标注视频和标准CNN实现，无需依赖合成数据、伪标签或专用架构。在HO-3D和FreiHAND数据集上，我们的方法分别将全监督手部重建方法的PA-V2V性能提升了15.9%和7.6%，从而创造了新的最佳性能记录。最后，我们证明该方法能生成随时间更平滑的手部重建结果，且相比之前的最佳方法，其对严重遮挡情况的鲁棒性更强，这一点我们通过定量和定性分析得到了验证。我们的代码和模型将在上提供下载。
### 1. 引言
手部姿态和形状重建方法在人机交互、增强现实、虚拟现实、机器人技术以及动作生成等领域有诸多应用[^40] [^39] [^8]。近期的研究在基于单目RGB图像的监督式3D手部重建任务上取得了令人瞩目的成果（例如[^30] [^43] [^15]）。然而，要将其推广到真实场景——即环境条件完全不受控且无约束的情况——就需要大量在相同条件下采集的训练数据。目前，对真实场景数据进行准确的3D关键点标注仍是一个待解决的研究难题，因此不存在带有准确3D标注的大规模真实场景数据集。基于这些原因，利用标注稀疏的数据[^14]或弱标注数据[^25] [^4] [^23]的技术受到了广泛关注。不过，这类方法依赖于伪2D或3D标注，而这些标注的获取需要耗费人力，或者可能引入标签噪声，进而限制模型性能[^4] [^23]。因此，完全避免使用伪标签的一个有前景的解决方案就是利用无标注数据，比如通过对比学习来实现[^34] [^45]。在序列数据场景下，我们发现现有方法往往难以应对严重的遮挡问题，比如手部与物体交互时产生的遮挡。以图1中的示例为例：虽然抓取过程中手部姿态几乎保持不变，但各帧图像的变化却十分剧烈，这会导致现有方法输出错误的手部姿态。在本文中，我们探讨了如何学习更好的表征，以捕捉人体运动固有的时间一致性，从而提升
---
在时间维度上的手部重建稳定性。我们通过利用单视角下手部抓取物体的无标注视频，来提升在严重遮挡这一最具挑战性场景下的3D手部重建效果。
与单张图像不同，视频包含时间信息，这些信息能够通过学习相邻帧之间的相关性，帮助预测随时间连贯的手部重建结果。结合这一思路以及对比表征学习方法的最新进展[^31] [^6] [^16]，我们提出了一种时间连贯的对比学习流程，命名为TempCLR。我们的方法分为两个阶段，如图2所示：第一阶段是在无标签视频上执行时间连贯的对比学习；第二阶段则利用标注数据对预训练好的编码器进行微调，以完成3D手部重建任务。具体而言，TempCLR包含两个核心思想：1）时间连贯的数据增强方法，该方法在对视频的每一帧施加强空间增强的同时，能保持时间上的完整性；2）概率采样策略，该策略会考虑时间维度上各帧之间的差异。与传统的时序对比学习方法[^45]（该方法会排斥序列中任何非相邻帧）不同，我们的采样策略考虑到时间上更接近的帧往往代表运动范围内更相似的手部姿态。基于这一认知，TempCLR会更注重吸引时间上相近的帧，仅排斥时间上相距较远的帧。图1显示，我们的方法能够生成随时间更平滑的手部重建结果，而一种最先进的方法[^7]却无法做到这一点。
我们在不同场景和数据集上对TempCLR进行了评估。首先，我们证明预训练过程能使模型在HO-3D和FreiHAND数据集上的3D网格误差分别比全监督基线[^7]降低15.9%和7.6%（参见表1和表2）。接下来，我们展示了在FreiHAND数据集上，我们的单视图时序对比学习方法相较于传统时序对比学习方法[^45]具有更好的性能。通过跨数据集评估和真实场景下的定性结果，我们证明了该方法在泛化能力上的提升。最后，我们证实与其他最先进的方法相比，我们的方法能在时间维度上生成更平滑的手部重建结果。
我们的贡献可总结如下：
1. 一种用于3D手部重建的新型单视图时序对比学习方法。该方法利用时间连贯的数据增强和概率采样策略来捕捉长距离依赖关系。
2. 我们通过实验证明，利用真实场景中的无标签单目视频，TempCLR在不同指标上的表现均优于现有方法。
3. 我们提供了实证依据，证明该方法能生成随时间更平滑的手部姿态估计结果。
### 2. 相关工作
完全监督的3D手部重建：近年来，从图像中重建3D手部模型受到了越来越多的关注 [^38] [^42]。现有方法 [^12] [^19] [^27] [^9] [^33] [^46] [^2] [^43] [^26] [^15] [^35] [^41] [^18] [^11] 通常利用实验室数据集提供的完整监督信息。例如，齐默尔曼等人 [^46] 提出了首个用于检测2D手部关节并将其通过关节先验映射到3D空间的卷积网络。伊克巴尔等人 [^19] 引入了用于3D手部姿态估计的2.5D表示方法。布赫亚马等人 [^2] 和乔塔斯等人 [^7] 利用弱透视相机模型来估计MANO [^30] 和SMPL-X [^28] 参数。林等人 [^24] 提出了一种用于估计MANO网格顶点的Transformer架构。与这些方法不同，我们致力于利用无标签视频提供的额外监督信息来改进3D手部重建。
基于有限监督的手部重建：近期，已有多个用于3D手部姿态和形状估计的数据集被推出[^13] [^5] [^10] [^47] [^26] [^20]。然而，3D手部标注数据的规模化采集存在困难：1）磁跟踪器[^10]能够为手部和物体提供3D标注，但它们具有侵入性，且会在RGB图像中引入噪声。2）多视角设置[^13] [^5] [^26] [^3]无需标记点，但标签要么是通过手动进行2D标注后再通过三角测量获得[^26] [^5]，要么来自噪声较大的多Kinect系统[^13]；此类3D标注数据的数量仍然有限，且背景多样性不足。3）合成数据能提供完美的真实值，但缺乏真实感[^15] [^27]。
为使相关方法能够适应无约束场景，近期学界开始重视减少对3D标注的依赖[^1] [^43] [^4] [^2] [^14] [^25] [^34] [^45] [^37] [^36]。例如，Hasson等人[^14]利用稀疏标注数据，通过引入光度损失函数从部分标注序列中学习。Liu等人[^25]提出了一种专门的基于Transformer的架构，用于从自然场景视频中收集伪标签，随后再利用这些伪标签训练同一架构。Zimmermann等人[^45]探讨了在多视角和单视角下应用时间对比学习对手部重建任务的好处。Spurr等人[^34]提出了一种等变对比学习目标函数，该函数能在潜空间中逆转对图像施加的几何变换。在本文中，我们提出了一种自监督方法，旨在利用野外无标签单目视频中的监督信息。
对我们而言最相关的方法是 [^14] [^25] [^34] [^45]，这些方法利用了无标签或部分有标签的数据。与 [^14] [^25] 相比，我们的方法既不需要人工干预来调整伪标签 [^25]，也不需要稀疏标注的视频 [^14]。与我们类似，[^34] [^45] 中的方法也采用了对比学习的形式。不过，[^34] 依赖的是无标签的自然场景静态图像，而我们则依赖无标签的自然场景视频。此外，[^45] 还利用了多视角信息。
---
而它们采用的是时间对比学习形式，我们的方法则是基于单目视频。此外，为了超越 [^45] 的效果，我们提出了一种简单却有效的时间一致性增强方法和采样策略，该方法能够反映帧与帧之间随时间产生的差异。实验表明，这种新颖的组合对于时间对比学习至关重要。
### 3. 方法
图2展示了我们方法TempCLR的示意图，它包含两个阶段：预训练阶段和微调阶段。在预训练阶段，我们利用时间对比目标函数，在无标签视频上训练图像编码器。这一阶段的目的是从各种自然场景中的手部运动视频中为编码器获取额外的监督信息。在第二阶段，我们通过有监督微调来训练整个手部重建架构。在第3.1节中，我们介绍了时间对比预训练过程，阐述了数据增强和概率采样技术的重要性。接着，在第3.2节中我们介绍了手部重建模型。
#### 3.1. 时间对比学习
如图2A所示，我们构建了自监督的时间对比学习框架。该框架的核心是应用于序列增强帧所提取特征的NT-Xent损失 [^6]（增强模块将在下文介绍）。我们将一个视频记为 $X = \{x_1, x_2, ..., x_n\}$，其中 $x_t$ 是该序列的第t帧。围绕参考帧 $x_i$，我们定义大小为 $T_i = \{x_{i-k}, ..., x_{i-1}, x_{i+1}, ..., x_{i+k}\}$ 的时间窗口 $2k$。该时间范围内的帧构成了帧 $x_i$ 的候选正样本对，而同一视频中的其他所有帧则构成候选负样本对。我们用 $z_i$ 来表示 $x_i$ 的编码表示。
假设我们在每个小批量中采样M个帧，这些帧可能来自不同的视频；对于每个帧 $x_i$，我们采样 $P_i \subseteq T_i$ 个正样本对和 $N_i \subseteq X \setminus T_i$ 个负样本对。$|P_i|$ 和 $|N_i|$ 是固定值。NT-Xent损失的定义如下：
$$ L=\frac{1}{M}\sum_{i=1}^{M}L_{i}, $$
$$ {\cal L}_{i}=-\sum_{x_{j}\in{\cal P}_{i}}\log\frac{\exp\left(sim(z_{i},z_{j})/\tau\right)}{\sum_{x_{k}\in{\cal N}_{i}}\exp\left(sim(z_{i},z_{k})/\tau\right)}. $$
这里，$\tau > 0$ 是一个温度参数，$\text{sim}(u, v) = u^T v / \|u\| \|v\|$ 是 $z_i$ 与 $z_j$ 之间的余弦相似度。因此，该损失函数会促使相似的相邻帧（正样本对）的嵌入向量相互靠近，而同一序列中不相似的帧（负样本对）的嵌入向量则被推得彼此远离。
时间一致的几何变换：数据增强在计算机视觉任务的对比训练中被广泛应用[^6] [^16] [^29]。虽然并不存在通用的最优增强策略，但在时序场景下，一种自然的做法是对视频的每一帧依次应用现有的增强方法。图像增强方法通常包括随机裁剪、旋转、平移等几何变换。然而在序列数据中，这类变换可能会破坏连续帧之间固有的运动线索，从而对沿时间维度的表征学习产生负面影响。受Qian等人的启发[^29]，我们通过对同一序列的所有帧应用相同的随机几何变换（即旋转、缩放和平移）来实现时间上一致的增强，同时针对每一帧独立施加外观变换（见图3）。通过这种方式，编码器能在预训练阶段更好地捕捉时间特征。
概率性配对采样：现有用于手部姿态估计的时间对比学习方法[^45]将相邻的两个相邻帧定义为正样本对，而将任意非相邻帧对定义为负样本对。但在抓取场景中，由于手与物体之间的相互作用，手部姿态的活动范围有限。这意味着连续的多帧可能代表相似的手部姿态，简单的配对选择未必能带来益处。为解决这一问题，我们的核心思路是：来自同一视频的两幅图像，若其时间间隔较大，则所代表的手部姿态差异也更大。为此，我们采用了一种考虑时间变化的采样策略（见图3）。具体而言，从序列中随机均匀选取一帧$x_i$后，我们首先按照前一节的描述定义一个时间窗口$T_i$。接着，从该时间窗口内以随与$P_i$的距离增加而递减的概率分布来采样$x_i$个正样本对；同样，我们从时间窗口外采样$N_i$个负样本对，其采样概率直接与到$x_i$的距离成正比。按照这种采样策略，对比训练会更侧重于拉近时间上相近的帧、推远时间上相距较远的帧，同时减少对那些与$x_i$相似性不确定的帧的关注。
总结我们的预训练方法：首先，对序列中的每一帧施加相同的几何变换；随后，对每一帧独立进行随机（可能各不相同的）外观增强；之后，通过采样策略选出正样本帧和负样本帧。更多细节请参阅补充材料。
#### 3.2. 手部重建
图2B展示了我们的手部重建网络。遵循[^7] [^14] [^2]的思路，我们采用编码器-解码器结构。具体而言，我们的方法包含预训练的编码器……
---
Figure 2: Overview of TempCLR: A) An encoder is trained with a time-contrastive learning approach on unlabelled videos of hands grasping objects. B) The pre-trained encoder is fine-tuned using labelled data.
Figure 3: Overview of the time-coherent augmentations (top) and the probabilistic sampling step (bottom).
为了获取图像特征向量以及用于预测MANO姿态和形状参数、弱透视相机参数（缩放和平移）的手部解码器。具体来说，给定一张图像后，网络会预测MANO姿态向量$\boldsymbol{\theta} = [\theta^{\mathrm{wrist}}, \theta^{\mathrm{fingers}}] \in \mathbb{R}^{16 \times D}$、形状参数$\boldsymbol{\beta} \in \mathbb{R}^{10}$以及弱透视相机参数$(t, s)$。这些MANO参数会被输入到可微分的MANO层中，从而生成3D手部网格；弱透视相机模型则会将该网格与图像对齐。参照[^7]中的方法，我们采用Zhou等人提出的旋转表示方式[^44]来定义MANO姿态参数（$D = 6$）。
我们使用2D重投影损失、3D关节误差以及姿态和形状参数损失$L = \lambda_{2D}L_{2D} + \lambda_{3D}L_{3D} + \lambda_{\Theta}L_{\Theta}$来训练模型，其中$L_{2D} = ||J^{2D} - \hat{J}^{2D}||_1$、$L_{3D} = ||J^{3D} - \hat{J}^{3D}||_1$和$L_{\Theta} = ||\{\theta, \beta\} - \{\hat{\theta}, \hat{\beta}\}||_2^2$。所有带有帽号标记的变量均代表预测值，而$J^{2D} \in \mathbb{R}^{21 \times 2}$和$J^{3D} \in \mathbb{R}^{21 \times 3}$分别表示2D和3D下的21个关键点。
### 4. 实验
在第4.1节中，我们首先介绍了数据集、评估指标以及实现细节等实验相关信息。在第4.2节中，我们在手握物体和仅手部两种场景下，将我们的方法与现有最先进的方法进行了对比。第4.3节中，我们对TempCLR进行了消融实验并给出了定性结果；同时我们也验证了在3D标注数据稀缺时TempCLR的有效性。最后，在第4.4节中，我们开展了跨数据集评估，以证明模型在域偏移情况下的泛化能力。
#### 4.1. 数据集、评估指标及实现细节
HO-3D [^13]：该数据集为无标记RGB图像提供了交互过程中的3D手-物体标注信息。真实标注是通过将手部模型拟合到多视角RGB-D数据上得到的。我们展示了在HO-3D v2上的实验结果。由于评估是在线进行的，我们无法获取测试集的真实标签。
FreiHAND [^47]、HanCo [^45]：FreiHAND（FH）包含13万条训练样本和4千条评估样本，训练集采用绿幕背景拍摄，测试集则使用真实背景。该数据集同时提供3D和2D标注。HanCo不包含3D标注，它仅包含通过经过校准且时间同步的多视角摄像头拍摄的短视频片段；总共由8个摄像头记录了10.7万个时间步，对应86万张RGB图像。由于这些数据集既包含仅手部的序列，也包含手握物体的序列，因此我们将HanCo用于时间对比预训练，将FH用于监督式微调。
100 Days Of Hands [^32]：这是一个大规模的自然场景手-物体交互视频数据集。除了场景中手部的边界框外，该数据集不提供任何手部标注。在我们的一些实验中，从该数据集中选取了10段视频（共8.6万张图像）作为额外的无标注帧，用于时间对比预训练；结果表明这种预训练能够提升手部重建效果。
评估指标：我们报告端点误差（EPE）。
---
| Method | PA-V2V (mm) $\downarrow$ | PA-EPE (mm) $\downarrow$ | F@5 mm $\uparrow$ | F@15 mm $\uparrow$ |
| Baseline [^7] | 12.6 | 12.7 | 0.389 | 0.905 |
| Hasson et al. [^14] | 11.4 | 11.4 | 0.428 | 0.932 |
| Hasson et al. [^15] | 11.2 | 11.1 | 0.464 | 0.939 |
| PeCLR [^34] | 10.8 | 10.8 | 0.47 | 0.936 |
| TempCLR (ours) | 10.6 | 10.6 | 0.481 | 0.937 |
| PeCLR $^{\dagger}$ [^34] | 11.0 | 11.0 | 0.46 | 0.934 |
| TempCLR $^{\dagger}$ (ours) | 10.0 | 10.1 | 0.505 | 0.947 |
| Liu et al. [^25] | 9.5 | 9.9 | 0.526 | 0.955 |
Table 1: Comparison with SotA on HO-3D [^13]. TempCLR outperforms the baselines on all reported metrics. The employment of additional in-the-wild data for contrastive pre-training, denoted by †, further improves the model's accuracy. Results below the dashed line employ weak supervision.
以及顶点间端点误差（V2V）。前者表示真实关键点与预测关键点之间的平均L2距离，后者则表示真实网格顶点与预测网格顶点之间的平均L2距离。我们在这些指标前加上PA、RA和STA前缀，分别表示Procrustes对齐、根部对齐以及缩放和平移对齐。我们还将F分数纳入考量，它定义为给定距离阈值下两个网格的召回率与精确率的调和平均值。根据[^22]的描述，为了衡量重建结果的时间稳定性，我们通过计算3D真实数据与预测数据之间的加速度差异来得到加速度误差。
实现细节：在预训练阶段，我们以ResNet [^17]作为骨干网络，输入尺寸为$224 \times 224$的单目RGB图像。我们采用Adam [^21]作为优化器，批量大小为2048，学习率为$4.5e^{-3}$，训练50个周期。微调过程则根据验证集上的性能表现持续到收敛。微调期间，输入图像尺寸仍为$224 \times 224$。优化器仍选用Adam，学习率为$5e^{-4}$，批量大小为128。更多细节可在补充材料中找到。按照[^31]的建议，我们为每个数据集选择的窗口大小约为帧率的一半（HO-3D和100DOH为15，HanCo为5）。
#### 4.2. 与最先进方法的比较
在此，我们将TempCLR与在HO-3D和FH数据集上表现最优的全监督及自监督方法进行比较。图6展示了定性结果。
HO-3D上的比较：表1对比了TempCLR与HO-3D数据集上的全监督及自监督最先进方法。首先，我们在无标签的HO-3D图像上预训练ResNet18编码器。随后，按照第3.2节的描述，利用完整监督信息对手部重建网络进行微调。为了证明我们的自监督方法能够利用自然场景中的无标签数据……
| Method | PA-V2V (mm) $\downarrow$ | RA-V2V (mm) $\downarrow$ | F@5 (mm) $\uparrow$ | F@15 (mm) $\uparrow$ |
| Hasson et al. [^15] | 13.2 | - | 0.436 | 0.908 |
| Baseline-18 [^7] | 11.8 | 35.96 | 0.484 | 0.918 |
| TempCLR-18 (ours) | 10.9 | 25.05 | 0.513 | 0.930 |
| Baseline-50 [^7] | 10.8 | 31.15 | 0.518 | 0.934 |
| MANO CNN [^47] | 10.7 | - | 0.529 | 0.935 |
| HanCo Augm. [^45] | 10.9 | - | 0.521 | 0.934 |
| HanCo Temporal [^45] | 10.4 | - | 0.538 | 0.939 |
| PeCLR-50 [^34] | 10.6 | 26.73 | 0.533 | 0.940 |
| TempCLR-50 (ours) | 10.2 | 21.68 | 0.541 | 0.941 |
| HanCo Multi-view [^45] | 10.2 | - | 0.548 | 0.943 |
Table 2: Comparison with SotA on FH [^47]. The top-bottom split (solid line) separates results using ResNet18 and ResNet50. The dashed line separates a multi-view temporal approach that is not directly comparable.
为了利用自然场景中的无标签数据，我们重复了该实验，但在对比学习训练阶段加入了来自100DOH的额外无标签帧，以及HO-3D中原有的无标签帧。
表格的上部行显示，即便不使用任何自然场景数据，TempCLR在PA-V2V和PA-EPE指标上也能比我们的全监督基线[^7]（见表中的Baseline一行）提升15.9%。此外，利用额外的自然场景数据进行时间对比预训练（表1中用†标记）后，TempCLR的性能进一步提升，从而确立了自监督训练的新标杆。值得注意的是，TempCLR的表现与[^25]相当，后者是一种使用伪标签的弱监督方法，而生成这些伪标签需要人工干预。TempCLR属于自监督方法，因此在训练无标签视频时无需人工干预。
加入额外的自然场景数据后，PeCLR预训练并未带来进一步改进。这与PeCLR论文中图6的观察结果一致——尽管与全监督训练（FH）相比，PeCLR通过利用额外的自然场景数据（FH+YT3D）改善了手部姿态，但这种改进仅在数据量较少时才显著。当标注数据增多时，利用额外自然场景数据并不会降低误差。相比之下，无论在数据量少还是数据量大的情况下，我们的方法相较于基线均有稳定提升（见表1和图5）。
关于FH数据集的对比：我们仅使用HanCo数据集对ResNet18和ResNet50编码器进行对比预训练。为了验证TempCLR的有效性，我们将该流程产生的结果与全监督方法及最先进的对比学习方法进行对比 [^45] [^34]。在深入分析结果之前，需要说明一点：我们仅报告全监督基线模型（ExPose [^7]）以及我们的时间对比学习方法的RA-V2V分数。这是因为FH测试集此前处于保密状态且作为竞赛内容在线发布，并未计算该指标；此外，我们也无法获取预训练数据。
---
| Method | Accel. $(mm/s^{{2}})\downarrow$ | RA-EPE $(mm)\downarrow$ | PA-EPE $(mm)\downarrow$ |
| Baseline [^7] | 54.11 | 75.42 | 15.30 |
| TempCLR w/o consist. augm. | 45.87 | 61.28 | 14.51 |
| TempCLR w/o prob. sampling | 47.56 | 52.31 | 13.80 |
| TempCLR | 45.37 | 51.72 | 13.69 |
Table 3: Temporal stability evaluation. Our augmentation strategy improves the hand pose estimation performance, while the sampling strategy helps in temporal stability. The combination of the two leads to the best results.
通过已训练的模型来复现缺失的结果。
表2显示，TempCLR在RA-V2V指标上较ResNet18全监督基线提升了30.4%，在PA-V2V指标上提升了7.6%，表明其在全局方向和平移尺度方面取得了显著改进。同样，采用ResNet50作为骨干网络时，TempCLR在RA-V2V指标上较基线提升30.4%，在PA-V2V指标上提升5.5%。最终，我们通过改进单视图自监督方法 [^45]，实现了最先进的性能。需要注意的是，[^45] 无法提供RA-V2V指标结果。我们的单视图时间对比学习方法与Zimmermann等人提出的多视图时间对比学习方法效果相当 [^45]。需要强调的是，互联网上的单目视频更为丰富，且与受控的多视图场景相比，其环境多样性更强。
#### 4.3. 消融研究
在此我们对所提出的方法进行消融分析，并辅以定量和定性结果加以佐证。首先，我们分析通过TempCLR预训练得到的嵌入空间，并将其与在ImageNet上预训练的编码器进行对比。我们探讨了时间一致性增强和时间对比学习中的概率采样的重要性，并证实时间一致性对比学习能够带来更稳定的时序手部重建效果。接下来，我们比较了不同的概率采样策略。最后，我们评估了在微调所需的真实数据稀缺时TempCLR的有效性。
潜在空间表示：图4展示了两个嵌入空间的t-SNE图，分别对比了在ImageNet上预训练的骨干网络和我们经过TempCLR预训练的骨干网络。具体而言，我们随机选取了HanCo数据集中的十个不同序列并进行增强处理。对于这些序列中的每张图像，我们提取其特征向量并进行t-SNE聚类。结果显示，TempCLR能带来更好的聚类分离效果，且在同一聚类内，相似的手部姿态在嵌入空间中距离更近。这证实了我们的方法确实产生了第3节中描述的理想潜在空间。
时间一致性增强和概率采样的影响：我们将在FH数据集上训练的全监督基线模型 [^7] 与我们基于HanCo预训练的方法进行对比。
| Augmentation | RA-EPE (mm) $\downarrow$ | PA-EPE (mm) $\downarrow$ |
| Rotation | 141.34 | 18.02 |
| Translation | 99.04 | 15.93 |
| Scale | 98.21 | 15.50 |
| Channel Noise | 96.76 | 15.70 |
| Color Drop | 98.19 | 15.60 |
| Color Jitter | 97.36 | 15.76 |
| Sobel Filter | 97.35 | 15.71 |
Table 4: Effects of different data augmentations in pretraining. We pre-train on HanCo, fine-tune on FH, evaluate on FH test set.
| Method | RA-EPE (mm) $\downarrow$ | PA-EPE (mm) $\downarrow$ |
| Baseline [^7] | 35.96 | 11.8 |
| TempCLR-Lin | 25.05 | 10.9 |
| TempCLR-Exp | 28.91 | 11.4 |
| TempCLR-Tanh | 28.85 | 11.1 |
Table 5: Effects of different sampling strategies in pretraining. We pre-train on HandCo, fine-tune on FH, and evaluate on FH test set.
我们在FH数据集上进行了微调。此外，我们通过移除时间连贯的几何增强方法和概率采样策略来研究各项改进对最终性能的影响（详见第3节）。由于FreiHAND并非时序数据集，且HO-3D测试集不公开，我们选择在HO-3D训练集上进行评估。表3显示，手部姿态估计（RA-EPE和PA-EPE）方面最大的提升来自增强策略，而概率采样策略对时序稳定性的贡献更大（参见加速度指标）。这些结果印证了我们的观点：在对运动中的手部图像进行时间对比学习时，选取间隔较远的帧对于确保预训练任务的可行性至关重要。加速度指标表明，即便使用单帧模型，我们的预训练方法也能产生更稳定的结果。此外，时间连贯的几何增强与采样策略相辅相成，二者结合能带来最佳的整体效果。更多定性结果和失败案例详见补充材料。
不同的增强策略：表4展示了预训练阶段不同增强方法的影响。具体而言，我们基于HanCo [^45] 进行预训练，并在FreiHAND [^47] 数据集上使用ResNet18 [^17] 骨干网络进行微调。与 [^34] 类似，外观变换比几何变换更具益处。这促使我们选择为序列中的每一帧保留独立的外观变换，同时利用时间上的连贯几何变换来保留视频的运动特性。
不同的采样策略：表5展示了相关效果
---
Figure 4: Comparison of the 2D t-SNE embeddings produced by an encoder pre-trained on ImageNet and by our time-contrastive pre-trained encoder. On the right hand side, we see that hand poses close along the temporal dimension are located in proximity to each other. Contrary, on the left hand side hand poses close in time are more distant in the embedding space.
Figure 5: Self-supervised performance on HO-3D. TempCLR achieves better PA-EPE (top) and STA-EPE (bottom) performances than the fully-supervised baseline ExPose [^7]. Additional in-the-wild unlabelled data improves TempCLR further.
不同采样策略的效果。具体来说，我们比较了线性采样、指数采样以及基于双曲正切函数绝对值的采样方法。结果显示线性采样的性能最优。
不同监督量下的学习效果：我们研究了预训练目标在不同数量的人工标注数据和自然场景无标签数据下的影响。ExPose [^7] 基线模型采用在ImageNet上预训练的编码器。对于我们提出的方法，我们分别仅使用HO-3D数据、或结合HO-3D与100DOH数据进行时间对比预训练，以验证加入自然场景数据对自监督训练的优势。所有手部重建网络均在HO-3D的稀疏标注序列上进行微调，我们会在HO-3D测试集上评估这些网络的性能。图5汇总了将标注帧比例从5%逐步提高到40%时的EPE结果。可以看出，TempCLR通过利用额外的无标签数据，能够持续改善手部重建效果。此外，使用额外的自然场景无标签数据（如100DOH）还能进一步提升性能。有趣的是，仅需20%的有监督帧即可达到密集标注数据所能达到的性能水平。这一现象得到了 [^14] 的证实，其原因在于HO-3D序列中相邻帧之间的相关性较高。
窗口大小：在HanCo上训练并在FreiHAND上微调时，窗口大小为3、5、15时TempCLR的PA-EPE误差分别为11.1毫米、10.9毫米和11.3毫米。未来的工作可以利用光流技术检测序列中的变化，从而实现自适应窗口大小。
#### 4.4. 跨数据集评估
跨数据集泛化在手部重建文献中鲜有报道，这或许是因为人们普遍认为它具有挑战性。然而，对于实际应用而言，它显然至关重要。鉴于我们使用了大量未标注数据进行时间对比预训练，我们预期该方法能生成有助于在未见过的数据集上实现泛化的特征。
---
Figure 6: Qualitative results on HanCo [^45] unlabelled sequences, HO-3D [^13] test set, and in-the-wild [^32] unlabelled sequences. Predictions are produced using models described in Sec. 4.2. Further qualitative results can be found in SupMat.
| Method | HO-3D (train), FH (test) | FH (train), HO-3D (test) |
| RA-EPE/PA-EPE | STA-EPE/PA-EPE |
| Baseline | 104.5/18.5 | 66.1/13.9 |
| PeCLR | 96.0/17.8 | 62.2/13.6 |
| TempCLR | 84.6/17.0 | 53.5/13.6 |
Table 6: Cross-dataset evaluation. Methods are trained on HO-3D and evaluated on FH and vice versa. TempCLR generalizes best in both domain shifts. Metrics are in mm.
我们使用大量未标注数据进行时间对比预训练，因此期望我们的方法能生成对未见过场景的泛化有益的特征。为此，我们在跨数据集场景下验证了第4.2节中模型的有效性。具体而言，我们评估了在FH数据集上训练、在HO-3D数据集上测试的模型性能，反之亦然。这揭示了模型在域偏移情况下的表现。表6显示，FreiHAND数据集上的RA-EPE指标以及HO-3D数据集上的STA-EPE指标相较于基线均有19%的提升。这些结果表明，我们的预训练目标能够实现更好的未见过场景泛化能力。
### 5. 结论
我们提出了TempCLR——一种用于手部姿态和形状估计的时间对比学习方法，它能够生成随时间稳定的3D重建结果。我们引入了时间一致的增强策略以及概率配对采样方法，以便更好地利用未标注视频提供的时间信息。我们对该方法进行了全面研究，结果表明它能更好地捕捉时间特征，并提升随时间变化的重建稳定性。我们证实，我们的TempCLR在HO-3D和FreiHAND数据集上均取得了最先进的结果。最后，通过跨数据集评估，我们展示了该方法所具备的泛化潜力。
致谢：Muhammed Kocabas的研究得到了马克斯·普朗克-苏黎世联邦理工学院学习系统中心的支持。作者们感谢Vassilis Choutas为该项目提供基线模型的代码。
---
## 参考文献
[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In Computer Vision and Pattern Recognition (CVPR), pages 1067–1076, 2019.
[^2]: Adnane Boukhayma, Rodrigo Andrade de Bem, and Philip H. S. Torr. 3D hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), pages 10843–10852, 2019.
[^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision (ECCV), volume 12358, pages 361–378. Springer, 2020.
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In International Conference on Computer Vision (ICCV), pages 12397–12406. IEEE, 2021.
[^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In Computer Vision and Pattern Recognition (CVPR), pages 9044–9053, 2021.
[^6]: Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In International Conference on Machine Learning (ICML), volume 119 of Proceedings of Machine Learning Research, pages 1597–1607. PMLR, 2020.
[^7]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J. Black. Monocular expressive body regression through body-driven attention. In European Conference on Computer Vision (ECCV), volume 12355, pages 20–40. Springer, 2020.
[^8]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-Grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Computer Vision and Pattern Recognition (CVPR), 2022.
[^9]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In International Conference on 3D Vision (3DV), pages 1–10. IEEE, 2021.
[^10]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In Computer Vision and Pattern Recognition (CVPR), pages 409–419. Computer Vision Foundation / IEEE Computer Society, 2018.
[^11]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In Computer Vision and Pattern Recognition (CVPR), pages 10833–10842, 2019.
[^12]: Patrick Grady, Chengcheng Tang, Christopher D. Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C. Kemp. ContactOpt: Optimizing contact to improve grasps. In Computer Vision and Pattern Recognition (CVPR), pages 1471–1481, 2021.
[^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), pages 3193–3203, 2020.
[^14]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), pages 568–577, 2020.
[^15]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Computer Vision and Pattern Recognition (CVPR), pages 11807–11816, 2019.
[^16]: Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In Computer Vision and Pattern Recognition (CVPR), pages 9726–9735, 2020.
[^17]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Computer Vision and Pattern Recognition (CVPR), pages 770–778. IEEE Computer Society, 2016.
[^18]: Yihui He, Rui Yan, Katerina Fragkiadaki, and Shoou-I Yu. Epipolar transformers. In Computer Vision and Pattern Recognition (CVPR), pages 7776–7785, 2020.
[^19]: Umar Iqbal, Pavlo Molchanov, Thomas M. Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In European Conference on Computer Vision (ECCV), volume 11215, pages 125–143. Springer, 2018.
[^20]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In European Conference on Computer Vision (ECCV), volume 12354, pages 196–214. Springer, 2020.
[^21]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015.
[^22]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. VIBE: video inference for human body pose and shape estimation. In Computer Vision and Pattern Recognition (CVPR), pages 5252–5262, 2020.
[^23]: Dominik Kulon, Riza Alp Güler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Computer Vision and Pattern Recognition (CVPR), pages 4989–4999, 2020.
## [^24]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Computer Vision and Pattern Recognition (CVPR), pages 1954–1963, 2021
---
[^25]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In Computer Vision and Pattern Recognition (CVPR), pages 14687–14697, 2021.
[^26]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-pixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In European Conference on Computer Vision (ECCV), volume 12352, pages 752–768. Springer, 2020.
[^27]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In Computer Vision and Pattern Recognition (CVPR), pages 49–59. Computer Vision Foundation / IEEE Computer Society, 2018.
[^28]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In Computer Vision and Pattern Recognition (CVPR), pages 10975–10985, 2019.
[^29]: Rui Qian, Tianjian Meng, Boqing Gong, Ming-Hsuan Yang, Huisheng Wang, Serge J. Belongie, and Yin Cui. Spatiotemporal contrastive video representation learning. In Computer Vision and Pattern Recognition (CVPR), pages 6964–6974, 2021.
[^30]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph., 36(6):245:1–245:17, 2017.
[^31]: Pierre Sermanet, Corey Lynch, Yevgen Chebotar, Jasmine Hsu, Eric Jang, Stefan Schaal, and Sergey Levine. Time-contrastive networks: Self-supervised learning from video. In ICRA, pages 1134–1141. IEEE, 2018.
[^32]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F. Fouhey. Understanding human hands in contact at internet scale. In Computer Vision and Pattern Recognition (CVPR), pages 9866–9875, 2020.
[^33]: Tomas Simon, Hanbyul Joo, Iain A. Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Computer Vision and Pattern Recognition (CVPR), pages 4645–4653. IEEE Computer Society, 2017.
[^34]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In International Conference on Computer Vision (ICCV), pages 11210–11219. IEEE, 2021.
[^35]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), 2020.
[^36]: Adrian Spurr, Pavlo Molchanov, Umar Iqbal, Jan Kautz, and Otmar Hilliges. Adversarial motion modelling helps semi-supervised hand pose estimation. arXiv preprint arXiv:2106.05954, 2021.
[^37]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 89–98, 2018.
[^38]: James Steven Supančič III, Grégory Rogez, Yi Yang, Jamie Shotton, and Deva Ramanan. Depth-based hand pose estimation: Data, methods, and challenges. In International Conference on Computer Vision (ICCV), pages 1868–1876, 2015.
[^39]: Omid Taheri, Vasileios Choutas, Michael J Black, and Dimitrios Tzionas. GOAL: Generating 4D whole-body motion for hand-object grasping. In CVPR, pages 13263–13273, 2022.
[^40]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), pages 581–600, Aug. 2020.
[^41]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: unified egocentric recognition of 3D hand-object poses and interactions. In Computer Vision and Pattern Recognition (CVPR), pages 4511–4520, 2019.
[^42]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong Yuan, Xinghao Chen, Guijin Wang, Fan Yang, Kai Akiyama, Yang Wu, Qingfu Wan, Meysam Madadi, Sergio Escalera, Shile Li, Dongheui Lee, Iason Oikonomidis, Antonis A. Argyros, and Tae-Kyun Kim. Depth-based 3D hand pose estimation: From current achievements to future goals. In Computer Vision and Pattern Recognition (CVPR), pages 2636–2645, 2018.
[^43]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In International Conference on Computer Vision (ICCV), pages 2354–2364. IEEE, 2019.
[^44]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In Computer Vision and Pattern Recognition (CVPR), pages 5745–5753, 2019.
[^45]: Christian Zimmermann, Max Argus, and Thomas Brox. Contrastive representation learning for hand shape estimation. In German Conference on Pattern Recognition (GCPR), volume 13024, pages 250–264. Springer, 2021.
[^46]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In International Conference on Computer Vision (ICCV), pages 4913–4921. IEEE Computer Society, 2017.
[^47]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan C. Russell, Max J. Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In International Conference on Computer Vision (ICCV), pages 813–822. IEEE, 2019.