# 用于手部形状估计的对比表征学习 Christian Zimmermann、Max Argus $^{\boxtimes}$ 和 Thomas Brox 德国弗赖堡大学，弗赖堡 im Breisgau 摘要：本研究基于无监督学习领域的最新进展，提出了单目手部形状估计方法的改进方案。我们拓展了动量对比学习方法，并贡献了一个非常适合视觉表征学习的结构化手部图像集合，我们将其命名为HanCo。我们发现，通过利用先进的背景去除技术和多视角信息，能够显著优化现有对比学习方法所学到的表征。这些方法让我们能够生成比基于样本的方法中常用的数据增强方式所得到的实例对更具多样性的样本对。我们的方法能为手部形状估计任务生成更合适的表征；与基于ImageNet预训练的基础模型相比，该方法可使网格误差降低4.7%，F分数提升3.6%。我们已将基准数据集公开，以鼓励该领域的进一步研究。关键词：手部形状估计 · 自监督学习 · 对比学习 · 数据集 ## 1 引言利用无标签数据训练机器学习模型是研究领域长期以来的目标，随着数据驱动的深度学习方法的进步，这一目标的重要性愈发凸显。使用无标签数据极具吸引力，因为更多的训练数据通常能带来更好的结果。另一方面，为监督式训练获取标签既困难、耗时又成本高昂。虽然无监督学习在概念上颇具吸引力，但研究界长期以来难以企及使用大型图像分类基准数据集的简单迁移学习方法。很长一段时间里，这些方法的表现与基于ImageNet的监督式预训练结果之间存在显著差距。不过，近期的研究[^14]成功在多个下游任务中超越了基于ImageNet的预训练效果。其核心创新在于使用一致、动态且规模庞大的嵌入字典，并结合对比损失函数，我们在本研究中也采用了这一做法。同样，我们也利用 --- ![Image](images/5684d0c8fb11a60bb6d22222e88f0c68e3bc1fe2b6fbf1c92cb3bf82ca84628b.jpg)

Fig. 1. We train a self-supervised feature representation on our proposed large dataset of unlabeled hand images. The resulting encoder weights are then used to initialize supervised training based on a smaller labeled dataset. This pretraining scheme yields useful image embeddings that can be used to query the dataset, as well as increasing the performance of hand shape estimation.

强大的几何与色彩空间增强技术，比如翻转、裁剪以及色相和亮度的调整，来在训练时生成正样本对。此外，我们发现，采用超越“单个图像加大量增强来生成正样本对”这一简单样本策略的方法能带来巨大提升。更确切地说，我们探索了能利用HanCo中无需额外标注成本即可获取的结构信息的采样策略。这些数据是在受控的多视角环境下以视频序列形式采集的，因此我们能够轻松提取前景分割掩码，并通过选取相邻摄像头同时记录的图像来采样相关的手部姿态。这让我们能在自监督学习过程中生成更具表现力的正样本对。手部形状估计是一项难以大规模获取多样化训练数据的任务。这源于其存在频繁的歧义性以及高维度特性，而这些因素进一步凸显了自监督技术的价值。由于该任务对大量训练数据的需求，手部形状估计也成为了开发自监督技术的理想试验场。目前手部形状估计领域的大多数研究采用弱监督策略，即利用其他模态来间接指导手部形状的训练。相比之下，我们探索了一种正交的方法：在源域数据上对网络进行预训练，从而无需手部形状标签及额外模态。在我们的研究中发现，采用动量对比学习能为手部形状估计提供一个宝贵的起点。它能够从纯自监督学习中提取出有意义的视觉表征，进而使性能显著超越基于ImageNet预训练的基准模型。我们对所学得的表征进行了全面分析，并展示了如何利用该方法来识别数据中手部姿态的聚类，或是检索相似的姿态。为了进一步推动自监督预训练的研究，我们发布了一个为此目的而精心构建的数据集，该数据集包含：a) 数量更多的图像，b) 时间结构，以及 c) 多视角相机校准信息。 --- ![Image](images/2783cdcb6990cb8c053c88ff9e60777125510024a8d1e7a725465a6d5a2ef608.jpg)

Fig.2. Shown is a two dimensional t-SNE embedding of the image representation found by unsupervised visual representation learning. On the left hand side, we show that similar hand poses are located in proximity to each other. On the right hand side, we show that similar hand poses are shown which are approximately mapped to the same point. The color of the dots indicates which pre-processing method has been applied to the sample, a good mixing shows that the embedding focuses on the hand pose instead. Blue represents the unaltered camera-recorded images, red are images that follow the simple cut and paste strategy, while pink and bright blue correspond to images processed with the methods by Tsai et al. [^33] and Zhang et al. [^40] respectively.

## 2 相关工作视觉表征学习。旨在从无标签图像集合中学习表征的方法大致可分为生成式与判别式两类。早期研究侧重于生成式方法，而后来研究重点转向了判别式方法，这类方法要么利用对比学习，要么通过伪标签来构建辅助任务。生成式方法旨在在某种扰动或正则化条件下还原输入数据。例如Radford等人提出的DCGAN [^26]、图像着色 [^39]、去噪自编码器 [^34] 或图像修复 [^24]。常见的辅助任务包括解决拼图游戏 [^22]、预测图像旋转角度 [^11]，或在训练过程中对特征进行聚类 [^5]。与辅助任务不同，对比损失函数机制 [^12] 并不定义伪标签，而是使用从数据中采样得到的动态字典作为键，这些键通过编码网络反映了样本当前的表征。训练时会生成一对匹配的键，优化目标就是让这对匹配键彼此相似，同时与字典中的其他条目相异。最流行的下游任务是图像分类，对比学习方法在此任务中取得了令人瞩目的成果 [^4] [^6] [^7]。在这种设定下，预训练特征会通过通用协议进行评估：固定这些特征，仅在此基础上训练一个监督式线性分类器，以对这些特征的全局平均池化结果进行分类。在本研究中，我们遵循对比学习的范式——这也是其近期取得成功的缘由——并基于Chen等人的工作展开进一步研究 [^7]。不过我们发现，对于手部形状估计而言，重新训练整个卷积骨干网络是必要的，这一做法符合微调式的迁移学习理念 [^8] [^37]。此外，我们还拓展了匹配键的采样方式，超越了基于样本和增强的策略。 --- ![Image](images/b33a56689b8cbf24e168c91b3e801ac871465903fa5c72f5b910b693dcc6f32c.jpg)

Fig. 3. Examples showing the cosine-similarity scores for the embeddings produced by pretraining. The first row shows embeddings for the same hand pose with different backgrounds, the embedding learns to focus on the hand and ignore the background. In the second row we show images for similar hand poses, with different background, these also score highly. In the third row different hand poses, with the same background produce low scores.

手部形状估计。目前关于手部形状估计的研究大多依赖深度神经网络来估算手部形状模型的参数。迄今为止，最常用的模型是Romero等人提出的MANO [^28]。虽然也有少数研究采用其他表面拓扑结构，例如Moon等人 [^21] 和Ge等人 [^10]，但大多数研究都采用了MANO模型 [^2] [^13] [^18] [^42]，我们的工作也同样如此。通常，这类方法会结合多种损失函数进行训练，经常还会引入来自形状相关模态的额外监督信息，比如深度数据 [^3] [^21] [^35]、轮廓信息 [^1] [^2] [^20] 或关键点信息 [^2] [^13] [^18] [^21] [^42]，这种监督方式被称为弱监督。这种方式使得不含形状标注的数据集也能被用于训练，从而大幅降低了标注成本。有时，这些方法还会加入对抗性损失 [^17]，这有助于避免在标注信息不完整的数据集上出现退化解。另一些专注于手部姿态估计的研究则通过引入生物力学约束 [^30] 或在多种模态间共享潜在嵌入空间 [^31] [^32] 来实现弱监督。模态间的一种特殊监督方式是利用多摄像头视图的几何约束，这种方法在人体姿态估计领域已有探索： --- Rhodin等人 [^27] 提出为每个视图单独运行3D姿态检测器，并让各视图估计出的姿态相互约束。Simon等人 [^29] 提出了一种以3D一致性为质量标准的迭代自标注流程。Yao等人 [^36] 和He等人 [^16] 则通过显式引入双视图间的极线约束来对2D关键点检测器进行监督。在我们的工作中，重点并非通过在模型训练中加入弱监督来引入约束，而是致力于利用无监督学习方法为有监督的手部形状训练找到良好的初始化参数。 ## 3 方法我们用于改进单目手部形状估计的方法分为两步，如图1所示：首先，我们利用无监督学习中的预训练任务，在大量无标注数据上对CNN编码器主干网络进行预训练；其次，以预训练任务得到的网络权重作为初始化参数，采用有监督的方式训练CNN以实现手部形状估计。动量对比学习。MoCo [^14] 是一种新兴的自监督学习方法，它通过将对比学习视为字典查询来完成训练。MoCo使用两个编码器网络，将同一图像实例的不同增强形式编码为查询对和键对。给定两张图像 $I_i \in \mathbb{R}^{H \times W}$ 和 $I_j \in \mathbb{R}^{H \times W}$，其嵌入向量计算如下： $$ q=f(\theta,I_{i})\quad and $$ $$ k=f(\tilde{\theta},I_{j}). $$ 由此得到查询q和键k。两种情况下使用的函数f相同，但参数化方式不同。查询函数使用 $\theta$，该参数会直接通过优化更新；而键函数 $\bar{\theta}$ 的更新则是间接进行的。在某一优化步骤n中，其计算方式为： $$ \tilde{\theta}_{n}=m\cdot\tilde{\theta}_{n-1}+\left(1-m\right)\cdot\theta_{n} $$ 其中动量因子m的取值接近1.0，以确保键值k的编码能够缓慢适应变化。在训练过程中，会迭代地积累一个较大的字典键k队列，这有助于高效训练；因为研究表明，大量的负样本对于对比学习至关重要 [^14]。采用这种方法，MoCo能够生成在不同下游任务中表现良好的特征表示。作为训练目标，系统使用InfoNCE损失 [^23]，该损失通过softmax交叉熵的形式，将匹配键-查询对的内积与所有负对内积相关联。测试时，可以通过余弦相似度来计算键值对的相似程度。 $$ \mathrm{c o s s i m}(q,\;k)=\frac{q\cdot k}{\|q\|_{2}\cdot\|k\|_{2}} $$ --- 余弦相似度的值在图像相似时为1.0，不相似时为-1.0。 MoCo完全依赖标准的图像空间增强方法来在表征学习期间生成图像的正样本对。函数$g(.)$在随机向量$\zeta$的作用下，对同一图像实例I应用两次以生成不同的增强结果。 $$ \boldsymbol{I}_{i}=g(\boldsymbol{I},\ \boldsymbol{\zeta}_{1}) $$ $$ \boldsymbol{I}_{j}=g(\boldsymbol{I},\ \boldsymbol{\zeta}_{2}) $$ 这些增强结果被视为匹配对。函数$g(\cdot)$会执行随机操作：图像裁剪、颜色抖动、灰度处理、格式转换以及高斯模糊。我们省略了随机图像翻转这一操作，因为这种增强方式会改变手部姿态的语义信息。 HanCo的结构化特性使我们能够超越这些基于增强的策略。我们寻求的是能保留手部姿态但改变图像其他方面的策略。我们研究了三种不同配置：a) 背景随机化，b) 时间采样，c) 多视角采样。 HanCo由多个摄像头同时以5Hz频率录制的短视频片段组成，片段时长最长可达40秒，平均长度为14秒。为简单起见且不影响一般性，我们仅针对单个序列描述采样方法。将其扩展到多个序列很简单：先选取一个序列，再应用上述流程即可。正式来说，我们可以从摄像头c在时间点t拍摄的图像池$I_t^c$中进行采样。在背景随机化过程中，我们以单张图像$I_t^c$及其前景分割结果作为源，将手从源图像中剪切出来并粘贴到随机选取的背景图像上。背景随机化的示例输出如图3的第一行所示。对于时间采样，我们利用这样一个事实：我们的无标签数据集源自视频流，而视频流中的连续手部姿态往往高度相关。通过为指定摄像头c选取两个相邻帧$I_{t}^{c}$和$I_{t+1}^{c}$来生成正样本对。由于手部运动，从t时刻到$t+1$时刻手部姿势可能会有细微变化，这恰好体现了相似的姿态应被编码为相似的嵌入这一特点。由于数据是通过经过校准的多摄像头系统记录的，且帧捕获在时间上是同步的，因此特定时间点不同摄像头拍摄的画面会显示相同的手部姿态。这可作为一种强大的“增强”方法：尽管不同视角会改变图像的诸多特征，但手部姿态却保持不变。因此，我们在多视角场景下通过选取某个时间步t下的相邻摄像头$I_t^{c_1}$和$I_t^{c_2}$来生成正样本对$c_1$和$c_2$。该数据集采用8个摄像头的配置，这些摄像头安装在立方体的各个角上；为了简化实例识别任务，我们选择了相邻摄像头，即那些通过立方体结构的一条边相连的摄像头。手部形状估计。与无监督预训练相比，用于形状估计的网络架构有所调整：最后一层全连接层的神经元数量从128个改为61个，以便估算MANO参数。 --- ![Image](images/86014f86b91a7e3176998f1bd179fd45b557f21f7a86fd164c39d181baf8ca1f.jpg)

Fig.4. Given a query image our learned embedding allows to identify images showing similar poses. This enables identifying clusters in the data, without the need of pose annotations. The nearest neighbors are queried from a random subset of 25,000 samples of HanCo.

向量。因此，该方法与Zimmermann等人提出的方法一致[^42]，唯一区别在于卷积主干网络的权重是通过无监督对比学习初始化的，而非基于ImageNet预训练。该网络被训练用来估算MANO参数向量$\tilde{\boldsymbol{\theta}} \in \mathbb{R}^{61}$，所使用的损失函数如下： $$ \begin{aligned}\mathcal{L}&=w_{3\mathrm{D}}\left\|\boldsymbol{P}-\tilde{\boldsymbol{P}}\right\|+\\&\quad w_{2\mathrm{D}}\left\|\boldsymbol{\varPi}(\boldsymbol{P})-\boldsymbol{\varPi}(\tilde{\boldsymbol{P}})\right\|+\\&\quad w_{\mathrm{p}}\left\|\boldsymbol{\theta}-\tilde{\boldsymbol{\theta}}\right\|.\end{aligned} $$ 我们为所有组件分别采用 $L_2$ 损失函数，并分别用 $w_{\mathrm{3D}} = 1000$、$w_{\mathrm{2D}} = 10$ 和 $w_p = 1$ 进行加权。为了以可微的方式从估计的形状 $\tilde{\boldsymbol{P}}$ 中推导出预测的关键点 $\tilde{\boldsymbol{\theta}}$，我们使用了由 Hasson 等人实现的基于 PyTorch 的 MANO 等模型 [^28] [^13]。$\boldsymbol{P} \in \mathbb{R}^{21}$ 是手部关节的真实 3D 位置，$\boldsymbol{\theta}$ 是 MANO 参数的真实集合，这两者均由训练数据集提供。$\mathcal{H}(.)$ 表示将 3D 空间映射到图像像素坐标的投影算子。 --- ![Image](images/4f6fa90245b900c7d57671abfab905cc162f8575ea83dfabf5f6ec767a746671.jpg)

Fig. 5. Qualitative comparison of MANO predictions between Ours-Multi view and the approach by Zimmermann et al. [^42] showing improvements in hand mesh predictions yielded by our self-supervised pretraining on the evaluation split of FreiHAND [^42]. Generally, our predictions look seem to capture the global pose and grasp of the hand more accurately, which results into a lower mesh error and higher F@5 score.

## 4 实验数据集。我们的实验所用数据由Zimmermann等人记录[^42]，他们慷慨地为我们提供了这些数据。这些图像涵盖了32名受试者的数据，由安装在立方体铝制支架上的8个摄像头同时拍摄。摄像头朝向立方体中心，且均已校准。部分数据是在绿色背景下拍摄的，因此可自动提取前景分割结果，无需额外操作即可进行背景随机化处理；另一部分数据则用于评估，是在无绿色背景的情况下拍摄的。这两部分数据中有一小部分带有手部形状标签，这些标签是通过[^42]标注方法生成的。已标注的帧集此前作为FreiHAND数据集发布[^42]，我们将其用于评估有监督的手部形状估计方法。为了将手部前景与随机背景进行合成，我们从Flickr上收集了2193张背景图片，这些图片涵盖了各种风景、城市景观和室内场景。我们会人工检查这些图片，确保其中不包含针对人类的拍摄内容。对于剪切粘贴后的版本，有三种不同的增强方法：Zhang等人提出的着色方法[^40]既可用于自动模式，也可用于基于采样的模式。此外，我们还采用了Tsai等人提出的深度协调方法[^33]，该方法能够消除前景边界处的颜色溢出现象。背景的后处理方法也反映在t-SNE嵌入图（图2）中的点颜色上。完整的数据集被用于视觉表征学习，我们将其称为HanCo，该数据集包含107,538个记录的时间实例或姿态，均由8台摄像机录制而成。所有可用帧都用于无监督训练，最终得到860,304帧；其中63,864帧包含手部形状标注，且是在绿幕背景下录制的，我们将其用于单目手部形状估计网络的有监督训练。训练细节。神经网络的训练采用PyTorch框架，我们以ResNet-50作为卷积骨干网络[^15] [^25]。 --- 在无监督训练过程中，我们遵循Chen等人[^7]提出的流程，采用以下超参数进行训练：基础学习率为0.015，在100个训练轮次中按照余弦调度进行退火处理。我们采用的批量大小为128，图像尺寸为224×224像素。我们采用了Chen等人[^7]提出的数据增强方式，但跳过了图像翻转操作。对于有监督训练，我们遵循Zimmermann等人[^42]制定的训练计划：网络训练共进行500,000步，批量大小为16；基础学习率为0.0001，分别在训练到第220,000步和第340,000步时衰减为原来的一半。嵌入评估。首先，我们对预训练所生成的学习嵌入进行定性评估。为此，我们从未标注数据集中随机抽取了25,000张图片。利用查询网络为每张图片计算一个128维的特征向量。借助这些特征向量，我们得到了t-SNE[^19]表示，如图2所示。显然，相似的姿态会紧密聚集在一起，而不同的姿态则被明显区分开来。成对的图片及其余弦相似度得分（4）显示在图5中，这些余弦相似度得分体现了嵌入的诸多理想特性：该表示对所选背景具有不变性（第一行），手部姿态的微小变化仅会导致相似度的轻微下降（第二行）。从不同方向观察同一手部姿态会得到较高的相似度得分，不过这种情况可能会受到遮挡的影响（第三行）。手部姿态的巨大变化会导致相似度得分显著下降（最后一行）。这为将学习到的嵌入用于检索任务提供了可能，如图4所示。给定一张查询图片，无需显式的手部姿态标注，就能识别出显示相似或不同手部姿态的图片。手部形状估计。为了进行对比，我们遵循[^42]的方法，采用既定的指标——以厘米为单位的网格误差，以及在5毫米和15毫米阈值下评估的F分数。所有结果均针对经过Procrustes对齐的估计值，由在线Codalab评估服务[^41]计算得出。我们的方法结果与文献中的结果在表1中进行了比较。所报告的结果具有相似的架构，均基于ResNet-50，其差异可归因于训练目标和所用数据。Boukhayma等人提出的方法[^2]先在大型合成数据集上进行预训练，随后在包含带有2D、3D及手部分割标注的真实图像的数据集组合上进行训练。所使用的数据集包括MPII+NZSL [^29]、Panoptic [^29]和Stereo [^38]。Hasson等人[^13]提出了另一种渲染数据集并将其用于训练，该数据集与Garcia等人提供的真实图像[^9]相结合。Zimmermann等人[^42]仅使用FreiHAND数据集中的真实图像进行训练，我们报告结果时所采用的设置与之相同。表 1 总结了在 FreiHAND 数据集上的定量评估结果。结果显示，从随机初始化状态训练网络得到的 Ours-Scratch 结果并不理想，这表明合适的网络初始化至关重要。Ours-Fixed 仅从 MoCo 找到的权重出发训练全连接层，而保持卷积部分固定，其得到的结果远远落后。此外，如 Ours-FixedBN 所示，训练与批量归一化相关的参数能显著提升准确率。名为 Ours-Augmentation 的实验并未采用先进的回- ---

Table 1. Pretraining the convolutional backbone using momentum contrastive learning improves over previous results by -4.7% in terms of mesh error, 3.6% in terms of F@5 mm and 0.9% in terms of F@15 mm (comparing Zimmermann et al. [^42] and Ours-Multi View). This table shows that fixing the MoCo learned convolutional backbone and only training the fully-connected part during hand shape estimation (see Ours-Fixed) can not compete with state-of-the-art approaches. Ours-Fixed-BN shows that additionally training the batch normalization parameters leads to substantial improvements. Consequently, leaving all parameters open for optimization (Ours-Augmentation) leads to further improvements. In Ours-Scratch all parameters are trained from random initialization, which performs much better than fixing the convolutional layers, but is still behind the reported results in literature, which illustrates the importance of a good network initialization. Applying, our proposed sampling strategies Ours-Background, Ours-Temporal or Ours-Multi View does improve over using an augmentation based sampling strategy like Chen et al. [^7], denoted by Ours-Augmentation.

Method	Mesh error in cm $\downarrow$	F@5 mm $\uparrow$	F@15 mm $\uparrow$
Boukhayma et al. [^2]	1.30	0.435	0.898
Hasson et al. [^13]	1.32	0.436	0.908
Zimmermann et al. [^42]	1.07	0.529	0.935
Ours-fixed	2.13	0.299	0.803
Ours-fixed-BN	1.25	0.463	0.914
Ours-scratch	1.24	0.475	0.915
Ours-augmentation	1.09	0.521	0.934
Ours-background	1.04	0.538	0.940
Ours-temporal	1.04	0.538	0.939
Ours-multi view	1.02	0.548	0.943

地面随机化方法，这是所提出的MoCo方法[^7]直接应用于我们的数据的结果。在此情况下，所有网络权重均会被训练。它的表现明显优于固定方法和从头开始训练的方式，但仍不及Zimmermann等人使用的基于ImageNet的初始化方式[^42]。最后，“Ours-Background”、“Ours-Temporal”和“Ours-Multi view”这几行分别报告了在训练所有网络参数时采用所提出的正样本对采样策略所获得的结果。所有方法的表现均能超越Zimmermann等人基于ImageNet训练的基线模型[^42]。我们发现“Ours-Background”与“Ours-Temporal”之间的差异微乎其微，而“Ours-Multi view”相比Zimmermann等人的方法[^42]有显著提升。这体现了所提出采样策略的影响力和重要性。为了量化我们所提出的多视图预训练策略的效果，我们开展了一项消融研究：减少监督训练所用的样本数量，并评估我们所提出的多视图采样策略与基于ImageNet预训练的基线相比的表现。这一结果如图6所示。在该实验中，监督训练期间使用的标注数据量在完整FreiHAND训练集的20%到100%之间变化，相当于12,772到63,864个训练样本。除了训练数据不同外，我们遵循Zimmermann等人[^42]的研究方法。图中展示了每种设置下三次运行所得到的最小、最大及平均F@5得分曲线，这些结果是针对Procrustes对齐后的预测值而言的。 --- ![Image](images/c8c1fc2fbff00110b1dc55c609c9769687e4f9abb723b186052b6f4b023b78cc.jpg)

Fig. 6. Comparison between our proposed pretraining method (blue) and an ImageNet baseline (red) for varying fractions of the training dataset used during supervised learning of hand shape estimation. The lines represent the mean result over 3 runs per setting, while the shaded area indicates the range of obtained results. Our proposed Multi-View sampling approach consistently outperforms the baseline, with the largest differences occurring when using approximately 40% of the full training dataset, indicating a sweet-spot where pretraining is most beneficial. Learning from very large or small datasets reduces the gains from pretraining, for small datasets we hypothesize that there is not sufficient variation in the training dataset to properly learn the task of hand shape estimation anymore. (Color figure online)

我们发现，我们的多视角方法始终优于ImageNet预训练基线模型，而且数据量越大，两种方法的性能提升越明显。当使用完整训练集的40%时，两种方法之间的差异最大；而对于规模极大或极小的有监督数据集而言，两者之间的差异则会变小。我们推测，在足以削弱预训练价值的训练数据量与能够较好地从有监督数据中学习手部形状估计任务所需的最小训练数据量之间，存在一个最佳平衡点。图5展示了我们的方法与[^42]的结果之间的定性对比。可以看出，两种方法之间的差异在视觉上并不明显，但总体而言，我们的方法能更准确地捕捉手部关节活动，进而带来更低的网格误差和更高的F分数。 ## 5 结论我们的研究表明，无监督视觉表征学习对手部形状估计是有益的，而选取有意义的正样本对至关重要。我们仅初步探索了可能的采样策略，发现采样方式必须与当前所处理的下游任务相匹配。通过公开相关数据，我们强烈鼓励学界探索一些开放的研究方向。这些方向包括将采样策略拓展到其他领域…… --- 我们研究中尚未涉及的一致性来源，例如同一录制序列内手部姿态的时间一致性，也为未来的研究提供了机遇。另一个研究方向是将近期提出的弱监督方法与本文介绍的预训练方法相结合，并在训练阶段充分利用已有的校准信息。 ## 参考文献 1. Baek, S., Kim, K.I., Kim, T.：通过神经渲染技术提升基于RGB的密集3D手部姿态估计性能。载于：2019年IEEE计算机视觉与模式识别会议（CVPR 2019），美国加州长滩，2019年6月16–20日，第1067–1076页。计算机视觉基金会/IEEE（2019）。， 2. Boukhayma, A., de Bem, R., Torr, P.H.S.：从野外图像中估计3D手部形状与姿态。载于：2019年IEEE计算机视觉与模式识别会议（CVPR 2019），美国加州长滩，2019年6月16–20日，第10843–10852页。计算机视觉基金会/IEEE（2019）。， 3. Cai, Y., Ge, L., Cai, J., Yuan, J.：基于单目RGB图像的弱监督3D手部姿态估计。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.主编的《ECCV 2018》。LNCS第11210卷，第678–694页。斯普林格出版社，瑞士 Cham（2018）。 [^4]: Caron, M., Misra, I., Mairal, J., Goyal, P., Bojanowski, P., Joulin, A.: Unsupervised learning of visual features by contrasting cluster assignments. ArXiv abs/2006.09882 (2020) 5. Caron, M., Bojanowski, P., Joulin, A., Douze, M.：用于无监督视觉特征学习的深度聚类方法。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.主编的《计算机视觉——ECCV 2018》。LNCS第11218卷，第139–156页。斯普林格出版社，瑞士 Cham（2018）。 [^6]: Chen, T., Kornblith, S., Swersky, K., Norouzi, M., Hinton, G.: Big self-supervised models are strong semi-supervised learners. arXiv preprint arXiv:2006.10029 (2020) 7. Chen, X., Fan, H., Girshick, R.B., He, K.：基于动量对比学习的改进基线模型。CoRR abs/2003.04297（2020）。 [^8]: Donahue, J., et al.: Decaf: a deep convolutional activation feature for generic visual recognition. In: ICML (2014) 9. Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.：包含RGB-D视频和3D手部姿态标注的第一人称手部动作基准数据集。载于：2018年IEEE计算机视觉与模式识别会议（CVPR 2018），美国犹他州盐湖城，2018年6月18–22日，第409–419页。IEEE计算机协会（2018）。， 10. Ge, L.等人：基于单张RGB图像的三维手部形状与姿态估计。载于：IEEE计算机视觉与模式识别会议，CVPR 2019，美国加利福尼亚州长滩，2019年6月16日至20日，第10833–10842页。Computer Vision Foundation/IEEE（2019）。， --- 11. Gidaris, S., Singh, P., Komodakis, N.：通过预测图像旋转实现无监督表示学习。载于：第六届国际学习表征会议，ICLR 2018，加拿大不列颠哥伦比亚省温哥华，2018年4月30日至5月3日，会议论文集。OpenReview.net（2018）。 12. Hadsell, R., Chopra, S., LeCun, Y.：通过学习不变映射实现降维。载于：2006年IEEE计算机协会计算机视觉与模式识别会议（CVPR 2006），2006年6月17日至22日，美国纽约州纽约市，第1735–1742页。IEEE计算机协会（2006）。 13. Hasson, Y.等人：学习手部与被操纵物体的联合重建。载于：IEEE计算机视觉与模式识别会议，CVPR 2019，美国加利福尼亚州长滩，2019年6月16日至20日，第11807–11816页。Computer Vision Foundation/IEEE（2019）。， 14. He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.B.：用于无监督视觉表示学习的动量对比学习。载于：2020年IEEE/CVF计算机视觉与模式识别会议，CVPR 2020，美国华盛顿州西雅图，2020年6月13日至19日，第9726–9735页。IEEE（2020）。 15. He, K., Zhang, X., Ren, S., Sun, J.：用于图像识别的深度残差学习。载于：2016年IEEE计算机视觉与模式识别会议，CVPR 2016，美国内华达州拉斯维加斯，2016年6月27日至30日，第770–778页。IEEE计算机协会（2016）。 16. He, Y., Yan, R., Fragkiadaki, K., Yu, S.：极线变换器。载于：2020年IEEE/CVF计算机视觉与模式识别会议，CVPR 2020，美国华盛顿州西雅图，2020年6月13日至19日，第7776–7785页。IEEE（2020）。 17. Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.：端到端人体形状与姿态恢复。载于：2018年IEEE计算机视觉与模式识别会议，CVPR 2018，美国犹他州盐湖城，2018年6月18日至22日，第7122–7131页。IEEE计算机协会（2018）。， 18. Kulon, D., Güler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.：弱监督下的野外网格卷积手部重建。载于：2020年IEEE/CVF计算机视觉与模式识别会议，CVPR 2020，美国华盛顿州西雅图，2020年6月13日至19日，第4989–4999页。IEEE（2020）。 [^19]: van der Maaten, L., Hinton, G.: Visualizing high-dimensional data using t-SNE. J. Mach. Learn. Res. 9, 2579–2605 (2008) [^20]: Malik, J., Elhayek, A., Stricker, D.: WHSP-Net: a weakly-supervised approach for 3D hand shape and pose recovery from a single depth image. Sensors \textbf{19}(17), 3784 (2019) 21. Moon, G., Shiratori, T., Lee, K.M.：DeepHandMesh：一种用于高精度手部网格建模的弱监督深度编解码框架。载于：Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《ECCV 2020》。LNCS第12347卷，第440–455页。Springer, Cham（2020）。 22. Noroozi, M., Favaro, P.：通过解决拼图游戏实现视觉表示的无监督学习。载于：Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS第9910卷，第69–84页。Springer, Cham（2016）。 23. van den Oord, A., Li, Y., Vinyals, O.：基于对比预测编码的表示学习。CoRR abs/1807.03748（2018）。 24. Pathak, D., Krähenbühl, P., Donahue, J., Darrell, T., Efros, A.A.：上下文编码器：通过图像修复进行特征学习。载于：2016年IEEE计算机视觉与模式识别会议（CVPR 2016），美国内华达州拉斯维加斯，2016年6月27日至30日，第2536–2544页。IEEE计算机协会（2016年）。 --- 25. Qiao, S., Wang, H., Liu, C., Shen, W., Yuille, A.L.：权重标准化。CoRR abs/1903.10520（2019年）。 26. Radford, A., Metz, L., Chintala, S.：利用深度卷积生成对抗网络进行无监督表示学习。载于：Bengio, Y., LeCun, Y.（编）《第四届国际学习表征会议（ICLR 2016）》，波多黎各圣胡安，2016年5月2日至4日，会议论文集（2016年）。 27. Rhodin, H.等：从多视角图像中学习单目3D人体姿态估计。载于：2018年IEEE计算机视觉与模式识别会议（CVPR 2018），美国犹他州盐湖城，2018年6月18日至22日，第8437–8446页。IEEE计算机协会（2018年）。， 28. Romero, J., Tzionas, D., Black, M.J.：具身化手部模型：同时建模并捕捉手部与身体。ACM图形学汇刊，第36卷第6期，245:1–245:17页（2017年）。 29. Simon, T., Joo, H., Matthews, I.A., Sheikh, Y.：利用多视角引导技术在单张图像中检测手部关键点。载于：2017年IEEE计算机视觉与模式识别会议（CVPR 2017），美国夏威夷檀香山，2017年7月21日至26日，第4645–4653页。IEEE计算机协会（2017年）。 30. Spurr, A., Iqbal, U., Molchanov, P., Hilliges, O., Kautz, J.：基于生物力学约束的弱监督3D手部姿态估计。载于：Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《ECCV 2020》，LNCS第12362卷，第211–228页。施普林格出版社，瑞士 Cham（2020年）。 31. Spurr, A., Song, J., Park, S., Hilliges, O.：跨模态深度变分手部姿态估计。载于：2018年IEEE计算机视觉与模式识别会议（CVPR 2018），美国犹他州盐湖城，2018年6月18日至22日，第89–98页。IEEE计算机协会（2018年）。， 32. Theodoridis, T., Chatzis, T., Solachidis, V., Dimitropoulos, K., Daras, P.：潜空间的跨模态变分对齐。载于：2020年IEEE/CVF计算机视觉与模式识别会议（CVPR研讨会2020），美国华盛顿州西雅图，2020年6月14日至19日，第4127–4136页。IEEE（2020年）。 33. Tsai, Y., Shen, X., Lin, Z., Sunkavalli, K., Lu, X., Yang, M.：深度图像协调技术。载于：2017年IEEE计算机视觉与模式识别会议（CVPR 2017），美国夏威夷檀香山，2017年7月21日至26日，第2799–2807页。IEEE计算机协会（2017年）。 34. Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.：利用去噪自编码器提取并组合鲁棒特征。载于：Cohen, W.W., McCallum, A., Roweis, S.T.（编）《机器学习：第二十五届国际会议（ICML 2008）论文集》，芬兰赫尔辛基，2008年6月5日至9日。ACM国际会议论文集系列，第1096–1103页。ACM出版社，纽约（2008年）。 35. Wan, C., Probst, T., Gool, L.V., Yao, A.：通过拟合训练实现自监督3D手部姿态估计。载于：2019年IEEE计算机视觉与模式识别会议（CVPR 2019），美国加利福尼亚州长滩，2019年6月16日至20日，第10853–10862页。计算机视觉基金会/IEEE（2019年）。， 36. 姚Y.、Jafarian Y.、Park H.S.：MONET：基于极线散度的多视角半监督关键点检测。载于：2019年IEEE/CVF国际计算机视觉会议ICCV 2019，韩国首尔，2019年10月27日至11月2日，第753–762页。IEEE出版社（2019年）。 --- [^37]: Yosinski, J., Clune, J., Bengio, Y., Lipson, H.: How transferable are features in deep neural networks? In: NIPS (2014) 38. 张J.、焦J.、陈M.、曲L.、徐X.、杨Q.：利用立体匹配技术进行三维手部姿态跟踪与估计。CoRR abs/1610.07214（2016年）。 39. 张R.、Isola P.、Efros A.A.：彩色图像上色。载于：Leibe B.、Matas J.、Sebe N.、Welling M.（编）《ECCV 2016》。LNCS第9907卷，第649–666页。施普林格出版社，瑞士 Cham（2016年）。 40. 张R.等：基于深度学习先验的实时用户引导图像上色。ACM图形学汇刊第36卷第4期，119:1-119:11页（2017年）。。请提供该参考文献的出版年份：[^41] 41. Zimmermann C.：Freihand竞赛。 42. Zimmermann C.、Ceylan D.、杨J.、Russell B.C.、Argus M.J.、Brox T.：Freihand：一个用于从单张RGB图像中无标记捕捉手部姿态与形状的数据集。载于：2019年IEEE/CVF国际计算机视觉会议ICCV 2019，韩国首尔，2019年10月27日至11月2日，第813–822页。IEEE出版社（2019年）。