# SIMHAND：面向大规模3D手部姿态预训练的手部相似性配对方法聂林$^{1,*}$、大川武彦$^{1,*}$、黄一飞$^{1,\dagger}$、张明芳$^{1}$、蔡敏杰$^{2,\dagger}$、李明$^{1}$、古田亮辅$^{1}$与佐藤洋一$^{1}$ $^{1}$东京大学，$^{2}$湖南大学 {nielin,ohkawa-t,hyf,mfzhang,mingli,furuta,ysato}@iis.u-tokyo.ac.jp,, ## 摘要我们提出了一种基于具有相似手部特征的自然场景手部图像进行3D手部姿态估计预训练的框架，命名为SiM-Hand。利用大规模图像进行预训练在各类任务中均取得了令人瞩目的成果，但以往针对3D手部姿态的预训练方法并未充分利用从自然场景视频中获取的丰富手部图像资源。为了推动可扩展的预训练过程，我们首先从自然场景视频中整理出海量的手部图像库，并设计了基于对比学习的预训练方法。具体而言，我们从100DOH和Ego4D等近期的人体相关视频中收集了超过200万张手部图像。为了从这些图像中提取判别性信息，我们重点关注手部的相似性：即姿态相似的非同一样本对。随后我们提出了一种新颖的对比学习方法，将相似的手部样本对在特征空间中靠得更近。该方法不仅能从相似样本中学习，还会根据样本间的距离自适应地调整对比学习损失函数的权重，从而进一步提升性能。实验表明，与传统仅通过单张图像及数据增强生成正样本的对比学习方法相比，我们的方法表现更优。在多个数据集上，我们的方法相较于最先进的方法（PeCLR）均有显著提升：在FreiHand数据集上提升15%，在DexYCB数据集上提升10%，在AssemblyHands数据集上提升4%。我们的代码可在查看。 ## 1 引言手部是我们与世界互动的重要媒介，这一点在各种人体相关视频中均有体现。精准追踪手部状态（如3D关键点）对于视频理解（Sener等人，2022；Wen等人，2023）、AR/VR交互界面（Han等人，2022；Wu等人，2020）以及机器人学习（Chao等人，2021；Qin等人，2022）至关重要。为此，研究人员通过构建标注数据集（Ohkawa等人，2023a；Zimmermann等人，2019；Chao等人，2021；Ohkawa等人，2023b）以及优化有监督的姿态估计器（Cai等人，2018；Ge等人，2019；Park等人，2022；Liu等人，2024；Fan等人，2024）来开展3D手部姿态估计研究。然而，利用大规模无标注手部视频进行预训练的研究仍相对不足，而像Ego4D（Grauman等人，2022）中的3670小时视频、100DOH（Shan等人，2020）中的131天视频这类人体相关视频资源其实早已可供使用。在预训练阶段，对比学习已被用于从无标签图像中学习，例如SimCLR（Chen等人，2020年），该方法通过最大化正样本对之间的一致性来抑制负样本的影响。Spurr等人（Spurr等人，2021年）针对三维手部姿态估计提出了姿态等变对比学习（PeCLR），该方法将经过数据增强的图像所编码的特征几何结构与仿射变换对齐。然而，SimCLR和PeCLR都是通过应用数据增强从单个样本中生成正样本对，这导致正样本对带来的增益有限，因为手部的外观和背景完全相同。Ziani等人（Ziani等人，2022年）将对比学习框架扩展到视频序列中，将时间上相邻的手部图像块视为正样本对。 --- ![Image](images/b91b505bdda4fe205e6e49a6caf7dcbe81c2408099e548a350717ae1f4962349.jpg)

Figure 1: The pipeline of pre-training and fine-tuning. (Left) Previous pre-training methods (e.g., PeCLR (Spurr et al., 2021)) learn from positive pairs originating from the different augmentations and fine-tune the network on a dataset. (Right) Our method is designed to learn from positive pairs with similar foreground hands, sampled from a pool of hand images in the wild.

不过，自然场景下的视频会给跨帧手部跟踪带来挑战，尤其是在以自我为中心的视角中，由于相机运动，手部往往无法被观测到。同时，这种时序上的正样本挖掘仍然受限于手部及背景的外观变化有限这一问题。在这项工作中，我们提出了SiMHand——一种用于三维手部姿态预训练的新型对比学习框架，该框架利用了自然场景中丰富的手部图像，也构成了迄今为止规模最大的三维手部姿态预训练数据集。我们专门从Ego4D（Grauman等人，2022年）和100DOH（Shan等人，2020年）的人体中心视频中收集了200万张手部图像，这些图像是通过现成的手部检测器（Shan等人，2020年）获取的。我们的预训练数据集规模比以往研究的数据集大两个数量级，例如Spurr等人（2021年）的研究中仅包含3.2万至4.7万张图像，而Ziani等人（2022年）的100DOH数据集则包含8.6万张图像。我们的方法侧重于通过从不同视频域中挖掘特征相似的手部来学习判别性信息。根据我们的观察，对比学习还能从区分不同背景下的手部前景中获益。如图1所示，我们的正样本对来源于不同的图像，能够从不同类型的物体交互、背景以及手部外观中获取额外的信息增益。具体来说，我们使用现成的二维手部姿态估计器（Lugaresi等人，2019年）从预训练数据集中识别出特征相似的手部。我们将识别出的特征相似的手部作为正样本对，进一步提出了自适应加权机制，以便在训练过程中动态筛选出具有信息量的样本对。一种简单的思路是用这些相似的手部替换对比学习中的原始正样本对，但这种方案难以充分利用样本间的相似程度。为解决这一问题，我们根据小批量内样本间的相似度分数为对比学习损失分配权重，且样本对相似度越高，权重值越大。这使得对比学习的优化过程能够明确考虑样本间的相近程度，而不仅仅局限于正负样本间的二元区分。我们通过在多个三维手部姿态估计数据集上对预训练网络进行微调，来验证其有效性，这些数据集包括FreiHand（Zimmermann等人，2019年）、DexYCB（Chao等人，2021年）和AssemblyHands（Ohkawa等人，2023b）。我们提出的方法始终优于传统的对比学习方法——SimCLR和PeCLR。此外，我们开展了大量的消融实验来分析：1）不同预训练和微调数据规模下的性能表现；2）自适应加权机制的效果；3）不同相似度水平所带来的性能提升。总而言之，本文的主要贡献有三点： - 我们提出了SiMHand，这是一种用于3D手部姿态预训练的对比学习方法，该方法利用从200万张自然场景手部图像中挖掘出的具有相似手部的正样本。 - 我们在对比学习损失函数中引入了一种无需参数的自适应加权机制，从而能够根据计算出的相似性提供优化指导。 - 我们的实验表明，该方法优于以往的预训练方法，并且在不同的手部姿态数据集上均取得了稳健的性能。 --- ## 2 相关工作 3D手部姿态估计：3D手部姿态估计任务旨在回归3D手部关节坐标。由于标注3D手部姿态颇具挑战性，因此可用的带标签数据集十分有限（Ohkawa等人，2023a），且其中大多数是在受控实验室环境下构建的（Zimmermann等人，2019；Chao等人，2021；Moon等人，2020；Ohkawa等人，2023b）。鉴于这一挑战，学界提出了两种利用有限标注数据促进学习的方法：伪标签法和自监督预训练。伪标签法利用为无标签图像分配的伪真实标签进行学习（Chen等人，2021c；Zheng等人，2023；Liu等人，2021；Yang等人，2021；Ohkawa等人，2022；Liu等人，2024）。例如，S2Hand（Chen等人，2021c）试图仅根据单视图图像上的噪声2D关键点来学习3D姿态，而HaMuCo（Zheng等人，2023）则将此类自监督学习扩展到多视图场景。另一种预训练方法旨在利用无标签数据获得初始化良好的模型，以用于下游任务。以往的研究提出了对比学习方法，但依赖的预训练数据集规模相对较小（例如Spur等人，2021年使用的32-47K张图像，以及Ziani等人，2022年使用的86K张图像）。我们从Ego4D（Grauman等人，2022）和100DOH（Shan等人，2020）等大型以人为中心的数据集中收集手部图像，将预训练数据集规模扩展至200万张。对比学习：对比学习已成为自监督学习中的一项强大技术，它能够使正样本彼此靠近，同时将负样本推开（Chopra等人，2005；Schroff等人，2015；Song等人，2016；Sohn，2016；He等人，2020；Huang等人，2023）。传统方法通过数据增强从同一图像中生成正样本（即自身正样本）（Grill等人，2020；Caron等人，2020；Chen & He，2021；Radford等人，2021；Caron等人，2021），因此这种正样本监督并未显式建模样本间的关系。为解决这一问题，Zhang等人提出了自身正样本的拓展形式——非自身正样本（Zhang等人，2022），这类样本特征相似但源自不同图像，例如拍摄同一场景的图像（Arandjelovic等人，2016；Ge等人，2020；Berton等人，2022；Hausler等人，2021）、同一人物ID的图像（Chen等人，2021a;b），以及多视图图像（Jie等人，2024）。非自身正样本提供的监督信号能够考虑多样的样本间对齐方式，从而更轻松地学习语义信息。Zhang等人通过从单视图图像中搜索相似的人体骨骼来识别非自身正样本，并将其应用于动作识别任务（Zhang等人，2022）。Jie等人则依靠多视图（即成对）图像来定义非自身正样本，并提出成对权重以自适应地利用有用的多视图配对数据（Jie等人，2024）。我们的工作提出从2D关键点线索中挖掘非自身正样本，并引入额外的成对加权机制，以应对预训练中未配对数据带来的相似性差异。 ## 3 方法我们的方法SiMHand旨在利用大规模的自然场景人体视频来预训练用于3D手部姿态估计的编码器。我们首先从以自我为中心和以外部为中心的手部视频中构建预训练集（第3.1节）。接着，我们寻找相似的手部图像以定义跨视频的正样本对（第3.2节）。最后，我们将这些正样本对纳入对比学习框架，并采用自适应权重来提升预训练的效果（第3.3节）。 ### 3.1 数据预处理我们的预处理过程包括为预训练创建一组有效的手部图像，这些图像是从N个视频中采样得到的：$\{v_1, v_2, \ldots, v_N\}$。我们使用现成可用的手部检测器（Shan等人，2020年）来筛选出包含可见手部的有效帧。对于给定的视频帧$I_{\text{full}} \in v_i$，模型会检测手部的存在及其边界框，从而生成包含右手或左手身份信息的手部裁剪图像$I_{\text{full}}$。为了避免因手部身份导致的偏差，我们会平衡右手和左手裁剪图像的数量，随后将所有裁剪图像转换为右手图像。接着，我们为每个视频创建一组帧$v_i$，记为$\mathcal{F}_i = \{I_{i,1}, I_{i,2}, \ldots, I_{i,T_i}\}$，其中$I_{i,j} \in \mathbb{R}^{H \times W \times 3}$表示经过处理后的裁剪图像，其高度为H、宽度为W，而$T_i$则是$v_i$中的裁剪图像总数。高度H和宽度W是在调整大小后确定的，以保证图像尺寸统一。利用这组帧$\mathcal{F}_i$，视频数据集可被重新表示为$\mathcal{V} = \{\mathcal{F}_1, \mathcal{F}_2, \ldots, \mathcal{F}_N\}$。具体而言，我们处理了Ego4D（Grauman等人，2022年）和100DOH（Shan等人，2020年）两个数据集，分别从8K个和21K个视频中收集了共计100万张图像。关于预处理的更多细节可在补充材料中找到。 --- ![Image](images/c5f2875e809cee7f7bed01b77e3c788dd303d85404064019edfe33e46bc7722a.jpg)

Figure 2: Visualization of similar hand samples in Top-K. Given the query image $(I)$, the mined similar samples are shown ("Top-1" corresponds to $I^+$ in Sec. 3.2).

### 3.2 相似手部图像的挖掘为了在对比学习中纳入更多样化的样本，我们设计了由具有相似前景手部的非同一图像构成的正样本对。在此，我们设计了一种挖掘算法，通过关注手部图像间的姿态相似性来从V中找到相似的手部图像。我们首先从I中提取2D关键点，将其嵌入特征空间，再搜索对应的正样本。姿态嵌入：我们采用估算出的21个关节的2D关键点来寻找相似的手部图像。我们使用现成可用的2D手部姿态估计器$\phi$（Lugaresi等人，2019年），但其在自然场景测试中的输出容易受噪声干扰。为了增强其鲁棒性，我们为每张图像I获取2D手部关键点的D维嵌入$\mathbf{p} \in \mathbb{R}^D$。这样做既能降低噪声的影响，又能保留手部的语义信息。我们将$\phi$的输出作为长度为42的拼接向量以供后续使用。具体而言，我们采用基于PCA的降维方法，将关键点向量投影到维度为D的低维空间中。给定PCA投影矩阵$M \in \mathbb{R}^{42 \times D}$，姿态嵌入$\mathbf{p}$可通过$\mathbf{p} = M^T \phi(I)$计算得出。挖掘：这一步骤旨在找出与查询图像I配对的阳性样本$I^+ \in \mathbb{R}^{H \times W \times 3}$。我们将相似性挖掘逻辑记为$I^+ = \text{SiM}(I)$。如图2所示，使用PCA空间中最近的（邻近）样本会导致一个平凡解$I, I^+ \in v_i$，即两张图像源自同一视频$v_i$。与（Ziani等人，2022年）的研究类似，来自同一视频的邻近样本在背景、手部外观以及物体交互方面的多样性较低。因此，我们致力于寻找源自不同视频的相似手部。具体而言，我们在除$v_i$之外的所有帧集合中搜索最小距离，该集合表示为$\mathcal{F}_i^c = \bigcup_{k \neq i} \mathcal{F}_k$。给定一个查询$I_{i,j}$，它代表第i个视频中的第j张图像，函数$\text{SiM}(\cdot)$可表述为 $$ \mathrm{S i M}(I_{i,j})=\arg\min_{x\in\mathcal{F}_{i}^{c}}D(M^{T}\phi(x),M^{T}\phi(I_{i,j})), $$ 其中$D(\cdot,\cdot)$是欧几里得距离度量。作为概念验证，我们在图2中展示了经过我们的挖掘过程SiM($\cdot$)后的示例。我们将“Top-1”（最相似的）指定为查询图像I的阳性样本$I^+$。作为参考，其余的图像（“Top-K”）代表第K个相似样本。我们的采样结果凸显了所捕捉环境和交互的多样性，同时也表明随着排名（距离）的增加，采样到的图像差异也越大。更多关于相似手部的可视化结果可在补充材料中找到。 ### 3.3 基于自适应加权的相似手部对比学习我们详细介绍了我们的对比学习方法（见图3），该方法利用挖掘出的具有自适应加权的相似手部进行学习。概述：对比学习的目的是在特征空间中对齐阳性样本$(I, I^{+})$（如3.2节所述），同时将其他阴性样本推开。遵循（Chen等人，2020年；Spurr等人，2021年）的方法，我们将小批量中所有除对应阳性样本外的样本视为阴性样本$I^{-}$。特征提取由两个可学习的组件完成： --- ![Image](images/1c6c7011a39d1cd30c16a1dfebf8016d0ec791cb62c24cd2e40ecfb522264a22.jpg)

Figure 3: Overview of our SiMHand. Starting from the left, hand images $(I, I^{+}, I^{-})$ and their corresponding 2D keypoints are input to the model. After applying random augmentations through transformation T, both the images and 2D keypoints are spatially transformed. The altered 2D keypoints are then used to compute adaptive weights $w_{\text{pos}}$ and $w_{\text{neg}}$, which guide contrastive learning by strengthening or weakening the alignment between positive and negative samples.

编码器$E(\cdot)$和投影头$g(\cdot)$，整个模型记为$f = g \circ E$。提取过程结合了图像增强$\mathbf{T}$，其公式化为$\mathbf{z} = f(\mathbf{T}(I))$和$\mathbf{z}^+$ = $f(\mathbf{T}(I^+))$。在$\mathbf{T}$中应用几何变换（如旋转）可能会导致图像与特征空间之间的不对齐；我们采用逆变换$\mathbf{T}^{-1}$来修正此类误差（Spurr等人，2021年）。对特征$\mathbf{z}$应用逆变换后，我们得到特征$\tilde{\mathbf{z}} = \mathbf{T}^{-1}(\mathbf{z})$，此时几何结构与原始图像对齐。如此一来，所有锚点、阳性和阴性样本分别被编码为$\tilde{\mathbf{z}}, \tilde{\mathbf{z}}^+$和$\tilde{\mathbf{z}}^{-}$。自适应加权：在利用相似手部进行学习时，我们提出了针对每对样本的自适应加权机制，以更关注那些能提供更多判别信息的具信息量样本。所分配的权重通过3.2节中预定义的相似性度量来计算。给定小批量内两个样本的预处理关键点$\mathbf{k}_1$、$\mathbf{k}_2$，权重w通过欧几里得度量$D(\cdot, \cdot)$进行线性缩放计算，公式为 $$ w=\frac{d_{\max}-D(\mathbf{k}_{1},\mathbf{k}_{2})}{d_{\max}-d_{\min}}, $$ 其中$d_{min}$、$d_{max}$分别是小批量内的最小和最大距离。所分配的权重w会根据小批量中的样本统计信息动态变化，从而实现每次迭代时的自适应注意力调整。为了解决正样本和负样本加权之间的差异问题，我们为正对和负对引入了独立的加权项。具体而言，$w_{pos}$ 表示分配给正对的权重，而 $w_{neg}$ 则用于正负对。带加权的对比损失：我们最终利用所提出的加权方案来构建对比学习模型。假设一个迷你批次中总共包含 2N 个样本，其中包括 N 个查询样本及其对应的 N 个正样本。我们分别为正样本 $(I, I^{+})$ 和负样本 $(I, I^{-})$ 引入加权项 $w_{pos}$ 和 $w_{neg}$。借助这些权重，基于 NT-Xent 损失（Chen 等人，2020）的对比学习损失可表示为： $$ \mathcal{L}_{i}=-\log\frac{\exp\left(w_{pos}\cdot\mathrm{sim}(\tilde{\mathbf{z}}_{i},\tilde{\mathbf{z}}_{i}^{+})/\tau\right)}{\sum_{k=1}^{2N}\mathbb{1}_{[k\neq i]}\exp\left(w_{neg}\cdot\mathrm{sim}(\tilde{\mathbf{z}}_{i},\tilde{\mathbf{z}}_{k}^{-})/\tau\right)} $$ --- 此处 $\tau$ 为温度参数，$\text{sim}(\mathbf{z}, \bar{\mathbf{z}}) = \frac{\mathbf{z}^T \bar{\mathbf{z}}}{\|\mathbf{z}\| \|\bar{\mathbf{z}}\|}$ 为余弦相似度函数。总体而言，我们的自适应加权机制能够分别考虑正样本和负样本的重要性，距离较近的样本会被赋予更高的权重，而距离较远的样本则获得较低的权重。 ## 4 实验在本节中，我们将我们的方法与现有的 3D 手部姿态估计预训练基线方法进行比较，并开展消融实验以验证我们方法的有效性。我们首先详细阐述数据集和实验设置（第 4.1 节）。接着，我们证明与现有方法相比，我们的模型能够取得具有竞争力的性能（第 4.2 节）。随后，我们展示预训练阶段加权设计的消融实验结果（第 4.3 节）。最后，通过可视化结果来说明我们方法的优越性和高效性（第 4.4 节）。 ### 4.1 实验设置预训练数据集：我们从两个主要的视频数据集中整理了大量的手部图像，分别是 Ego4D（Grauman 等人，2022）和 100DOH（Shan 等人，2020），它们分别包含第一人称视角和第三人称视角的图像。从包含 3,670 小时视频素材的 Ego4D 第一人称视频数据集中，我们从 8K 个视频中提取了 1.0M 张手部图像。同样，从包含 131 天 YouTube 视频素材的第三人称视角数据集 100DOH 中，我们从 20K 个视频中提取了 1.0M 张手部图像。这些庞大的数据集提供了不同视角下的多样化手-物体交互数据。我们还准备了不同规模的预训练数据。“Exo-X”和“Ego-X”分别表示从 100DOH 和 Ego4D 数据集中随机选取 X 张图像的数据集（例如，X = 50K、100K、...、1M、2M）。“Ego&Exo-2M”则表示将这两个数据集合并后的最终数据集，每个数据集均包含完整的图像（即各 1.0M 张）。微调数据集：我们在三个包含 3D 手部姿态真值标注、数据规模和视角各不相同的数据集上进行微调实验：来自 FreiHand（Zimmermann 等人，2019）和 DexYCB（Chao 等人，2021）的第三人称视角数据集，以及来自 AssemblyHands（Ohkawa 等人，2023b）的第一人称视角数据集。FreiHand 包含 130.2K 个训练帧和 3.9K 个测试帧，背景包括绿幕和真实场景。DexYCB 包含 325.3K 个训练图像和 98.2K 个测试图像，侧重于自然的手-物体交互场景。作为三者中规模最大的数据集，AssemblyHands 包含 704.0K 个训练样本和 109.8K 个测试样本，采集于物体组装场景中。遵循 Spurr 等人（2021）的方法，我们准备了标注好的 FreiHand 数据集的 10%，将其标记为“FreiHand*”，专门用于消融研究。这使我们能够在监督信息有限的情况下评估模型性能。实现细节：对于类似手部特征的挖掘，我们将PCA嵌入维度设为$D = 14$。在预训练框架中，我们采用ResNet-50（He等人，2016年）作为编码器。整个预训练阶段，所有模型均使用LARS（You等人，2017年）优化器以及ADAM（Kingma和Ba，2014年）优化器进行训练，学习率设为$3.2 \times 10^{-3}$。参照Spurr等人（2021年）的研究，SimCLR采用尺度抖动和颜色抖动作为图像增强方式，而PeCLR和SiMHand则使用尺度、旋转、平移及颜色抖动。我们使用分辨率为$128 \times 128$的调整后图像作为输入。我们将对比学习中的温度参数$\tau$设为0.5。预训练过程使用了8块NVIDIA V100 GPU，批量大小为8192。在微调阶段，我们以预训练的编码器$E(\cdot)$初始化模型，随后在标注数据集上利用3D姿态回归器进行微调。该3D回归器包含2D热图回归和3D定位头，其设计类似于DetNet（Zhou等人，2020年）。我们采用单块NVIDIA V100 GPU，批量大小为128。更多细节详见补充材料。评估指标：我们采用以下评估指标：以毫米为单位的平均关节位置误差（MPJPE），用于比较模型预测结果与真实数据；以及基于曲线下面积的关键点正确率（PCK-AUC），用于衡量在不同阈值下，预测关键点落在距真实点指定距离（20毫米至50毫米）范围内的比例。 ---

Table 1: Comparison with the state of the art. We show 3D hand pose estimation accuracy (MPJPE↓) on the FreiHand (Exo) (Zimmermann et al., 2019), DexYCB (Exo) (Chao et al., 2021) and AssemblyHands (Ego) (Ohkawa et al., 2023b). The best results are highlighted in bold, and the second-best results are underlined. SiMHand achieves the best results across various datasets.

Method	Pre-training	FreiHand (Exo)		DexYCB (Exo)		AssemblyHands (Ego)
Method	Pre-training	MPJPE $\downarrow$	PCK-AUC $\uparrow$	MPJPE $\downarrow$	PCK-AUC $\uparrow$	MPJPE $\downarrow$	PCK-AUC $\uparrow$
w/o pre-training	-	19.21	85.51	19.36	84.80	19.17	85.61
SimCLR	Exo-1M	19.30	85.36	20.13	83.75	20.01	84.21
	Ego-1M	19.36	85.09	20.22	83.50	20.32	83.85
	Ego&Exo-2M	20.07	84.32	21.09	82.25	21.24	82.29
PeCLR	Exo-1M	19.58	84.71	18.39	86.33	19.12	85.64
	Ego-1M	19.07	85.62	18.99	85.40	19.20	85.57
	Ego&Exo-2M	18.19	86.76	18.06	86.82	18.88	86.03
SiMHand (Ours)	Exo-1M	16.73	88.66	17.34	87.84	18.50	86.56
	Ego-1M	16.15	89.48	16.99	88.34	18.26	86.95
	Ego&Exo-2M	15.79	90.04	16.71	88.86	18.23	86.90

Method	Pre-training size	$FreiHand^{{*}}$
Method	Pre-training size	MPJPE $\downarrow$	PCK-AUC $\uparrow$
w/o pre-training	-	48.19	49.17
SimCLR		53.94	42.54
PeCLR	Ego-50K	47.42	49.85
SiMHand		35.32	63.35
SimCLR		53.49	43.12
PeCLR	Ego-100K	46.00	51.50
SiMHand		31.06	68.66
SimCLR		49.91	47.61
PeCLR	Ego-500K	43.18	54.15
SiMHand		28.27	72.97
SimCLR		46.17	50.62
PeCLR	Ego-1M	34.42	64.93
SiMHand		23.68	79.62

Table 2: Comparison with different pre-training data sizes. *' indicates that we use a small amount of training data for fine-tuning to validate the effectiveness of the pre-trained model. Our method demonstrates a leading advantage across all pre-training data scales.

![Image](images/a097acf5a5089389791c33461784521a03c96f46bcbf8a34ef39023490747239.jpg)

Figure 4: Comparison with different data availability in fine-tuning on FreiHand. Variations in the percentage of labeled data correspond to different subsets of the fine-tuning dataset, following the experimental design in (Spurr et al., 2021).

### 4.2 主要结果我们将所提方法与以往的三维手部姿态估计方法进行了比较（见表1）。为了公平比较，我们对所有相同规模的预训练数据集与以往方法进行了评估。与对比学习方法的比较：我们将所提预训练方法与以往方法（Chen等人，2020年；Spurr等人，2021年）在三维手部姿态估计任务上进行了比较（见表1）。我们发现，在相同的预训练数据设置下，所提方法在多个数据集上的表现均显著优于SimCLR和PeCLR。当将所提方法与随机初始化的模型（未经预训练）相比时，SiMHand的性能较基线提升了17.7%。具体而言，在FreiHand数据集上，与采用Ego-1M预训练的PeCLR方法相比，我们的方法性能提升了15.31%。我们发现，与随机初始化相比，SimCLR的表现有限。这表明没有几何先验的预训练（即缺乏几何增强）并不总能有助于手部姿态估计，此类任务仍需依赖空间关键点回归。相比之下，我们的方法在更大规模的数据集上展现出显著的性能提升：在DexYCB数据集上提升10.53%，在AssemblyHands数据集上提升4.90%，均优于PeCLR。 ---

Table 3: Ablation study of proposed modules. We compare with and without our proposed modules in different methods. The experimental results demonstrate the generality of our method.

Method\n(Pre-training size)	Proposals		FreiHand $^{{*}}$
Method\n(Pre-training size)	Similar hands	Adaptive weighting	MPJPE $\downarrow$	PCK-AUC $\uparrow$
SimCLR	✗	✗	53.49	43.12
(Ego-100K)	✗	✓	52.58 (1.8% $\downarrow$)	44.70 (1.58% $\uparrow$)
PeCLR	✗	✗	46.00	51.50
(Ego-100K)	✗	✓	44.61 (3.0% $\downarrow$)	53.37 (1.87% $\uparrow$)
SiMHand	✓	✗	31.06	68.66
(Ego-100K)	✓	✓	28.84 (7.18% $\downarrow$)	71.07 (2.41% $\uparrow$)

这些结果证实，我们的模型在各种微调数据集上均能持续取得优异性能。此外，我们在联合预训练数据集（Ego&Exo-2M）上对所有方法进行了预训练。我们的方法相较于最先进的方法（PeCLR）进一步提升，在FreiHand、DexYCB和AssemblyHands数据集上的性能分别提高了13.19%、7.4%和3.4%。与仅使用1M样本进行预训练（Ego-1M）相比，将预训练数据量翻倍至Ego&Exo-2M后，FreiHand数据集上的性能提升了2.28%。值得注意的是，我们的方法在处理更大、更多样的数据集时表现出特别强的优势。这种稳健的性能表明，我们的方法在手部姿态预训练方面极为有效且可靠。自我视角与外部视角分析：我们评估了使用以自我为中心的视角（Ego4D）和以外部为中心的视角（100DOH）进行预训练，对相应视角数据集性能的影响，即针对自我视角的AssemblyHands数据集，以及针对外部视角的FreiHand和DexYCB数据集。有趣的是，匹配预训练视角并不总能提升性能，这表明视角差异对性能的影响有限。相反，数据集的多样性以及预训练方法的特点在提升性能方面更为关键。将这两个数据集结合起来（表1的最后一行）能在所有三个数据集中取得最佳性能，这凸显了通过多种相机视角来丰富数据多样性的潜力。 ### 4.3 消融实验本节针对SiMHand开展消融研究，重点从四个方面展开：1）预训练数据集规模；2）微调数据集规模；3）自适应加权机制；4）Top-K相似手部样本。首先，我们通过不同方法考察预训练数据集规模的影响，结果显示无论规模大小，我们的方法都能保持优异的性能（表2）。其次，受Zimmermann等人（2019年）研究的启发，我们探讨了微调数据集规模的影响，结果表明即便数据量有限，也能获得显著的性能提升（图4）。此外，我们还验证了自适应加权设计的有效性，其性能始终优于对比方法（表3）。最后，我们根据分配的阳性手部对的相似度水平进行了消融分析（表4）。预训练数据规模的影响：我们在表2中研究了不同规模的预训练数据（分别为50K、100K、500K和1M）所产生的结果。结果表明，在所有设定下SiMHand的性能都明显优于其他方法，且随着预训练数据规模的增加，性能提升越明显。当预训练数据规模从50K增加到1M时，SiMHand的MPJPE值从35.32降至23.68。从该表中我们可以获得以下重要结论：1）在各种预训练规模下，SiMHand方法均具有显著优势；2）随着预训练数据集规模的增大，对标签数据有限的场景下的微调效果提升也更为显著。微调数据规模的影响：图4展示了在FreiHand数据集上，不同比例的标注微调数据（分别为10%、20%、40%和80%）下的实验结果。需注意，我们用“-1M/2M”标记的方法分别表示在Ego-1M和Ego&Exo-2M数据集上预训练得到的模型。结果显示，SiMHand-1M能显著降低误差，仅使用10%的标注数据就能取得极低的MPJPE分数。与SimCLR-1M和PeCLR-1M相比，SiMHand-1M在不同规模的微调数据下均表现出最佳性能。SiMHand-2M的性能又优于SiMHand-1M，但随着标注数据的增加，性能提升幅度逐渐变小。从 ---

Table 4: Pre-training performance at different similarity ranks (Top-K). It can be seen that as the similarity rank increases, the pre-training performance deteriorates.

Method\n(Pre-training size)	Top-K	FreiHand $^{{*}}$\nMPJPE $\downarrow$	PCK-AUC $\uparrow$
SiMHand\n(Ego-100K)	Top-1	31.06	68.66
	Top-2	31.46	67.89
	Top-5	31.85	67.20
	Top-10	31.87	67.18
	Top-50	31.53	67.59
	Top-100	31.54	67.70
	Top-500	32.61	66.76
	Top-1000	34.05	65.14
	Top-5000	35.34	62.79

这项分析中我们可以得出两个关键结论：1）随着微调数据量的增加，增加预训练数据所带来的性能提升效应会逐渐减弱；2）在标注数据有限的场景下，尤其是使用较大规模的预训练数据时，SiMHand仍具备显著的优势。自适应加权的影响：我们在表3中验证了所提出的自适应加权方法及其应用于其他算法时的普适性。在Ego-100K预训练集上，应用自适应加权后，SimCLR和PeCLR的MPJPE分数分别降低了1.8%和3.0%，而PCK-AUC则分别提升了1.58%和1.87%。这表明所提出的加权方法在各类预训练算法中均具有良好的适用性。在我们的SiMHand方法中，应用自适应加权后，MPJPE从31.06降至28.84，降幅达7.18%；同时PCK-AUC从68.66提升至71.07，增幅为2.41%。我们发现，当该方法与挖掘出的相似手部样本结合使用时，其效果尤为显著。从Top-K个相似手部样本中学习：我们在表4中测试了不同相似度水平的正样本对预训练效果的影响。如图2所示，我们可以根据距离排序来选取相似样本对（例如$K = 1, 2, ..., 5000$），其中Top-1样本用于生成最终结果。性能变化趋势起初较为微妙且略有波动（Top-1~100），但在Top-100之后变得愈发明显。这表明随着正样本间的相似度增加，整体性能反而相应下降。值得注意的是，使用Top-5000个相似手部样本作为正样本时，MPJPE较之Top-1样本降低了13.78%。本研究给出了两点启示：1）相似度轻微有差异的样本（如1~100范围内）对性能的影响极小，说明当正样本高度相似时，模型对细微差异具有鲁棒性；2）结果证实了使用Top-1正样本生成最终结果的有效性，因为它们始终能展现出最佳性能。这凸显了对比学习中选取最相似样本的重要性。 ### 4.4 可视化在本节中，我们通过不同数据集上的详细可视化结果，对比了各类预训练方法的微调效果（图5）。预训练模型在Ego&Exo-2M数据集上训练，随后分别在FreiHands（Zimmermann等人，2019）和DexYCB（Chao等人，2021）数据集上进行微调。补充材料中提供了更多可视化内容。从图5左侧四列的可视化结果来看，在FreiHands（Zimmermann等人，2019）数据集上，SiMHand在姿态估计方面的表现优于其他方法，其结果更接近真实值。尤其是在光照条件多变等复杂环境中，SiMHand更能准确捕捉手部姿态。这些可视化结果凸显了其跨场景的鲁棒性，进一步印证了其应用于实际场景的潜力。如图5右侧四列所示，我们用红色圆圈标出了DexYCB（Chao等人，2021）数据集中原始图像的遮挡区域。结果表明，SiMHand在处理遮挡问题方面更为有效。我们的预训练方法通过利用相似但不完全相同的手部图像，有效解决了部分遮挡问题—— --- ![Image](images/f7f55c9fb1b1feea550f13effe2702027ec20eb4c3e53220d9062c7b83188f15.jpg)

Figure 5: Visualization of FreiHand (Zimmermann et al., 2019) and DexYCB (Chao et al., 2021). The first four columns on the left display the results for FreiHand, while the last four columns on the right show the results for DexYCB (GT: Ground Truth; PT: Pre-training). It can be observed that SiMHand pre-training method achieves better results.

查询图像中的遮挡部分可能在对应的相似手部图像中可见，反之亦然，从而有效处理遮挡图像。 ## 5 结论我们提出了SiMHand，这是一种对比学习框架，旨在通过从大规模自然图像中挖掘相似的手部配对来预训练3D手部姿态估计器。我们的方法利用了来自不同视频的相似手部配对，与现有方法相比，显著增强了预训练期间获取的信息量。实验表明，我们的预训练方法在多个数据集上的3D手部姿态估计任务中取得了具有竞争力的性能，超越了以往的预训练方法，证明了利用大规模自然图像进行预训练的优势。我们希望这项工作能为未来关于3D手部姿态估计预训练的研究奠定基础。 ## 致谢本研究得到了JST ACT-X项目（编号JPMJAX2007）、JST ASPIRE项目（编号JPMJAP2303）、JSPS KAKENHI项目（编号JP24K02956、JP22KF0119）以及NSFC项目（编号62376090）的支持。 --- ## 参考文献 R. Arandjelovic、P. Gronat、A. Torii、T. Pajdla和J. Sivic. Netvlad：一种用于弱监督地点识别的CNN架构。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第5297–5307页，2016年。 G. Berton、C. Masone和B. Caputo. 重新思考面向大规模应用的视觉地理定位问题。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第4878–4888页，2022年。 Y. Cai、L. Ge、J. Cai和J. Yuan. 基于单目RGB图像的弱监督3D手部姿态估计。载于欧洲计算机视觉会议（ECCV）论文集，第678–694页，2018年。 M. Caron、I. Misra、J. Mairal、P. Goyal、P. Bojanowski和A. Joulin. 通过对比聚类分配来无监督地学习视觉特征。载于神经信息处理系统大会（NeurIPS）论文集，第9912–9924页，2020年。 M. Caron、H. Touvron、I. Misra、H. Jégou、J. Mairal、P. Bojanowski和A. Joulin. 自监督视觉Transformer中显现的特性。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第9650–9660页，2021年。 Y.-W. Chao、W. Yang、Y. Xiang、P. Molchanov、A. Handa、J. Tremblay、Y. S. Narang、K. Van Wyk、U. Iqbal、S. Birchfield、J. Kautz和D. Fox. DexYCB：一个用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9044–9053页，2021年。 H. Chen、B. Lagadec和F. Bremond. Ice：用于无监督行人重识别的实例间对比编码方法。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第14960–14969页，2021a年。 H. Chen、Y. Wang、B. Lagadec、A. Dantcheva和F. Bremond. 用于无监督行人重识别的生成式与对比式联合学习方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第2004–2013页，2021b年。 T. Chen、S. Kornblith、M. Norouzi和G. E. Hinton. 一种简单的视觉表征对比学习框架。载于国际机器学习会议（ICML）论文集，第119卷，第1597–1607页，2020年。 X. Chen和K. He. 探索简单的孪生网络表征学习方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第15750–15758页，2021年。陈Y、涂Z、康D、鲍L、张Y、哲X、陈R、袁J。基于模型的3D手部重建：自监督学习方法。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第10451–10460页，2021年。乔普拉S、哈德塞尔R、勒昆Y。判别式学习相似性度量及其在人脸验证中的应用。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第539–546页，2005年。范Z、大川T、杨L、林N、周Z、周S、梁J、高Z、张X、张X、李F、郑L、卢F、泽德K.A.、莱贝B.、翁J.、白S.、普拉卡什A.、古普塔S.、何K.、佐藤Y.、希利格斯O.、张H.J.、姚A.。以自我为中心的手部与物体交互姿态估计的基准测试与挑战。载于《欧洲计算机视觉会议（ECCV）论文集》，2024年。葛L、任Z、李Y、薛Z、王Y、蔡J、袁J。从单张RGB图像进行3D手部形状与姿态估计。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第10833–10842页，2019年。葛Y、王H、朱F、赵R、李H。大规模图像定位中细粒度区域相似性的自监督学习。载于《欧洲计算机视觉会议（ECCV）论文集》，第369–386页，2020年。格劳曼K.、韦斯特伯里A.、伯恩E.、查维斯Z.、弗纳里A.、吉尔达尔R.、汉堡J.、姜H.、刘M.、刘X.、马丁M.、纳加拉詹T.、拉多萨沃维奇I.、拉马克里希南S.K.、瑞安F.、夏尔马J.、雷伊M.、徐M.g、徐钟聪E.、赵C.、班萨尔S.、巴特拉D.、卡蒂利耶V.、克雷恩S.、杜T.、杜拉蒂M.、埃拉帕利A.、费希滕霍费尔C.、弗拉戈梅尼A.、傅Q.、福根C.、格布雷塞拉西E.、冈萨雷斯C.、希利斯J.、黄X.、黄Y.、贾W.、许W.、科拉尔J.、科图尔S.、库马尔A.、兰迪尼F.、李C.、李Y.、李Z.、曼加拉姆K.、莫杜古R.、门罗J.、默雷尔T.、西矢野T.、普莱斯W.、普恩特斯P.R.、拉马扎诺娃M.、萨里L.、索马斯南达姆K.、索瑟兰A.、菅野Y.、陶R.、沃M.、王Y.、吴X.、八木T.、朱Y.、阿尔贝莱兹P.。 --- 克兰德尔D.、达门D.、法里内拉G.M.、加内姆B.、伊塔普V.K.、贾瓦哈尔C.V.、朱H.、北谷K.、李H.、纽科姆R.、奥利瓦A.、朴H.Soo、雷格J.M.、佐藤Y.、施J.、寿M.Z.、托拉尔巴A.、托雷萨尼Lo、严M.i、马利克J.。Ego4D：3000小时自我中心视频中的全球视角。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第18973–18990页，2022年。格里尔J.、斯特鲁布F.、阿尔切F.、塔莱克C.、里谢蒙P.、布恰茨卡娅E.、多尔施C.、皮雷斯B.阿维拉、郭Z.、阿扎尔M.盖什拉吉、皮奥特B.、卡夫库奥卢K.、穆诺斯R.、瓦尔科M.。自主生成隐变量：自监督学习的新方法。载于《神经信息处理系统进展（NeurIPS）论文集》，第21271–21284页，2020年。韩S.、吴P.-C.、张Y.、刘B.、张L.、王Z.、司W.、张P.、蔡Y.、霍丹T.、卡贝萨斯R.、陈L.、阿克拜M.、余T.-H.、凯斯金C.、王R.。UmeTrack：面向VR的统一多视角端到端手部追踪系统。载于《ACM SIGGRAPH Asia会议论文集》，第50:1–50:9页，2022年。豪斯勒S.、加尔格S.、徐M.、米尔福德M.、菲舍尔T.。Patch-NetBLAD：用于地点识别的局部-全局描述符多尺度融合方法。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第14141–14152页，2021年。何K.、张X.、任S.、孙J.。用于图像识别的深度残差学习。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第770–778页，2016年。何凯、范浩、吴洋、谢森和Girshick.R.提出的《无监督视觉表征学习中的动量对比》。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9729–9738页，2020年。黄宇、杨磊和佐藤康之提出的《基于不确定性引导的自训练弱监督时序句子定位方法》。载于IEEE/CVF计算机视觉与模式识别会议论文集，第18908–18918页，2023年。解晓、陈硕、任洋、石欣、沈浩、牛刚和朱晓东提出的《用于缓解表征退化的多视图自加权对比学习方法》。载于神经信息处理系统大会（NeurIPS）论文集，第1119–1131页，2024年。刘睿、大川拓、张明和佐藤康之提出的《用于中心视角3D手部姿态估计的单视图到双视图适配方法》。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第677–686页，2024年。 Kingma D.P.和Ba J.提出的《Adam：一种随机优化方法》。arXiv预印本arXiv:1412.6980，2014年。刘硕、姜浩、徐杰、刘硕和王翔提出的《结合时间交互的半监督3D手物姿态估计方法》。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第14687–14697页，2021年。 Lugaresi C.、唐杰、纳什H.、麦克拉纳汉C.、Uboweja E.、Hays M.以及张峰等人提出的《MediaPipe：构建感知流水线的框架》。arXiv预印本arXiv:1906.08172，2019年。 Moon G.、柳成伊、文浩、白鸟拓和李炅洙提出的《InterHand2.6M：基于单张RGB图像的3D交互手部姿态估计数据集及基线模型》。载于欧洲计算机视觉会议（ECCV）论文集，第548–564页，2020年。大川拓、李英杰、付强、古田亮、北谷健三和佐藤康之提出的《野外环境下的域自适应手部关键点与像素定位方法》。载于欧洲计算机视觉会议（ECCV）论文集，第68–87页，2022年。大川拓、古田亮和佐藤康之提出的《3D手部姿态估计的高效标注与学习方法：综述》。《国际计算机视觉杂志》（IJCV），第131卷：3193–3206页，2023a年。大川拓、何凯、Sener F.、Hodan T.、Tran L.和Keskin C.提出的《AssemblyHands：通过3D手部姿态估计实现中心视角活动理解》。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第12999–13008页，2023b年。朴俊、吴妍、Moon G.、崔浩和李炅洙提出的《HandOccNet：抗遮挡的3D手部网格估计网络》。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第1486–1495页，2022年。秦阳、吴一航、刘硕、姜浩、杨睿、傅瑶和王翔提出的《DexMV：从人类视频中模仿学习灵巧操作的方法》。载于欧洲计算机视觉会议（ECCV）论文集，第13699卷：第570–587页，2022年。 --- Radford A.、Kim J.、Hallacy C.、Ramesh A.、Goh G.、Agarwal S.、Sastry G.、Askell A.、Mishkin P.、Clark J.和Krueger G.提出的《从自然语言监督中学习可迁移的视觉模型》。载于国际机器学习会议（ICML）论文集，第8748–8763页，2021年。 Schroff F.、Kalenichenko D.和Philbin J.提出的《FaceNet：用于人脸识别与聚类的统一嵌入模型》。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第815–823页，2015年。 F. Sener、D. Chatterjee、D. Shelepov、K. He、D. Singhania、R. Wang和A. Yao。Assembly101：一个用于理解程序性活动的大规模多视角视频数据集。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第21096–21106页，2022年。 D. Shan、J. Geng、M. Shu和D. Fouhey。互联网规模下人类手部接触行为的研究。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9866–9875页，2020年。 K. Sohn。采用多类n对损失目标的改进深度度量学习。载于神经信息处理系统进展（NeurIPS）论文集，第1857–1865页，2016年。 H. Song、Y. Xiang、S. Jegelka和S. Savarese。通过提升结构化特征嵌入实现深度度量学习。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第4004–4012页，2016年。 A. Spurr、U. Iqbal、P. Molchanov、O. Hilliges和J. Kautz。基于生物力学约束的弱监督3D手部姿态估计。载于欧洲计算机视觉会议（ECCV）论文集，第211–228页，2020年。 A. Spurr、A. Dahiya、X. Wang、X. Zhang和O. Hilliges。通过对比学习从单目RGB图像中进行自监督3D手部姿态估计。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第11230–11239页，2021年。 K. Tango、T. Ohkawa、R. Furuta和Y. Sato。用于手部与物体接触检测的背景混合数据增强技术。载于欧洲计算机视觉会议研讨会（ECCVW）论文集，2022年。 T. Tse、K. Kim、A. Leonardis和H. Chang。基于注意力引导图卷积的手部与物体重建协同学习方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第1664–1674页，2022年。 Y. Wen、H. Pan、T. Ohkawa、L. Yang、J. Pan、Y. Sato、T. Komura和W. Wang。用于手部动作识别与运动预测的生成式分层时序变换器。arXiv预印本arXiv:2311.17366，2023年。 M.-Y. Wu、P.-W. Ting、Y.-H. Tang、E. T. Chou和L.-C. Fu。面向虚拟现实应用、基于物体交互的手部姿态估计深度学习研究。《视觉通信与图像表示杂志》，第70卷：102802页，2020年4月。 F. Xiong、B. Zhang、Y. Xiao、Z. Cao、T. Yu、J. T. Zhou和J. Yuan。A2J：一种从单张深度图像进行3D关节姿态估计的锚点至关节回归网络。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第793–802页，2019年。 L. Yang、S. Chen和A. Yao。具有一致性的半监督手部姿态估计方法。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第11364–11373页，2021年。 Y. You、I. Gitman和B. Ginsburg。卷积网络的大批量训练。arXiv预印本arXiv:1708.03888，2017年。张H、侯Y、张W和李W. 用于无监督3D动作表征学习的对比性正样本挖掘. 载于《欧洲计算机视觉会议论文集》(ECCV)，第36–51页，2022年. X. Zheng、C. Wen、Z. Xue、P. Ren和J. Wang。Hamuco：基于多视角协同自监督学习的手部姿态估计方法。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第20763–20773页，2023年。周Y.、Habermann M.、徐W.、Habibie I.、Theobalt C.和徐F.。基于单目实时手部形状与运动捕捉的多模态数据方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第5346–5355页，2020年。 --- Ziani A.、范Z.、Kocabas M.、Christen S. J.和Hilliges O.。Tempclr：通过时间连贯的对比学习重建手部模型。载于国际3D视觉会议（3DV）论文集，第627–636页，2022年。 Zimmermann C.、Ceylan D.、杨J.、Russell B.、Argus M. J.和Brox T.。FreiHAND：一个从单张RGB图像中无标记捕捉手部姿态与形状的数据集。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第813–822页，2019年。 --- ![Image](images/c0bde832be9aa253d84b098a5e4ffaeb5e30391e15609dd6ad2a578229c982ce.jpg)

Figure 6: Overview of data preprocessing and similar hands mining. This image illustrates a three-step process for SiMHand pre-training using datasets from Ego4D and 100DOH. Step 1 involves preprocessing the datasets to extract relevant frames. Step 2 employs a hand detector to crop hand regions from these frames, creating a diverse pool of hand images in the wild. Step 3 calculates similarity and ranks the images using a pose estimator and PCA, producing a sorted list of hand poses, from the most similar to the least similar to a given anchor pose.

## 6 附录 ### 6.1 大规模自然场景下手部数据库的构建本节介绍了我们从各类视频数据集中提取并处理手部图像以构建大规模手部图像数据集的方法。我们概述了关键的预处理步骤，包括：1）预处理；2）手部区域检测；3）相似性计算与排序。预处理：我们准备了两个大规模视频数据集：包含8000帧的Ego4D数据集和包含23000帧的100DOH数据集，两者采样频率均为1帧/秒。如图6所示，第一人称视角与第三人称视角的手部图像存在显著差异。手部区域检测：从Ego4D和100DOH中提取帧后，我们使用轻量级的固定权重网络通过边界框检测手部区域。具体而言，我们采用了Shan等人（2020）提出的方法，并将所有检测到的边界框按顺序存储。这一步骤便构建了如Tango等人（2022）所述的大规模手部图像数据集。相似性计算与排序：一旦建成手部图像数据集，我们便使用轻量级的固定权重网络通过MediaPipe（Lugaresi等人，2019）提取每个样本的原始关键点。为减少噪声，我们按照第3.1节的描述应用PCA算法。随后，我们利用公式1计算给定查询图像I的相似性得分，并据此对剩余样本进行排序。这一过程会生成一组具有相似特征的大规模自然场景手部图像。例如，在Ego4D数据集中，给定查询样本I后，我们会检索出所有相似的手部图像并构建排序序列，该序列被称为“Top-K”。序列中的Top-1图像作为对比学习的正样本$I^+$，从而提升SiMHand预训练的效果。如表4所示，我们的实验验证了选择Top-1作为正样本$I^+$是最优策略。 ### 6.2 面向3D手部姿态估计的微调在微调阶段，我们丢弃投影头，仅对编码器进行微调。我们将预训练模型权重加载到基于热图的3D手部姿态估计与预测方法DetNet（Zhou等人，2020）中。为训练DetNet，我们采用了一种综合损失函数，用于优化2D姿态估计与3D空间定位效果。该损失函数定义如下： $$ \mathcal{L}_{\mathrm{h e a t}}+\mathcal{L}_{\mathrm{l o c}}+\mathcal{L}_{\mathrm{d e l t a}}+\mathcal{L}_{\mathrm{r e g}} $$ 其中$\mathcal{L}_{\text{heat}}$用于确保预测的热图H与真实热图$H^{\text{GT}}$尽可能一致；$\mathcal{L}_{\text{loc}}$和$\mathcal{L}_{\text{delta}}$用于衡量预测的位置图L、差值图D与对应的真实值$L^{\text{GT}}$、$D^{\text{GT}}$之间的偏差，$H^{\text{GT}}$会对这些偏差进行加权，以突出热图的最大值部分。此外，$\mathcal{L}_{\text{reg}}$是L2正则化项，用于…… ---

Method	Pre-training size	FreiHand $^{{*}}$
Method	Pre-training size	MPJPE $\downarrow$	PCK-AUC $\uparrow$
PeCLR		47.42	49.85
TempCLR	Ego-50K	45.17	52.40
SiMHand		35.32	63.35
PeCLR		46.00	51.50
TempCLR	Ego-100K	44.54	53.28
SiMHand		31.06	68.66

Table 5: Comparison with the TempCLR method. $^{*}$ indicates that we use a small amount of training data for fine-tuning to validate the effectiveness of the pre-trained model. TempCLR outperforms PeCLR by a modest margin, whereas SiMHand achieves a significant performance improvement over TempCLR.

防止过拟合。需要注意的是，经过编码器处理后，我们对模型进行了简单调整，对特征进行上采样以适应输入数据。这种多任务学习框架使网络能够同时从2D图像中学习姿态特征，并从3D数据中获取空间信息，从而提升现实应用中检测的准确性和鲁棒性。关于微调的更多细节，请参阅（Zhou等人，2020年）的研究。 ### 6.3 与TempCLR方法的比较我们针对TempCLR（Ziani等人，2022年）方法开展了实验对比。TempCLR提出了一种基于时间一致性对比学习的3D手部重建预训练框架，其性能优于PeCLR（Spurr等人，2021年）。尽管TempCLR主要聚焦于重建任务，但它所使用的参数化模型也能输出3D姿态结果，因此进一步将我们的方法与TempCLR进行比较具有重要意义。然而，TempCLR在数据收集和对比学习的有效性方面存在一定局限。首先，TempCLR在训练过程中将相邻帧中的手部视为正样本。在动态的以自我为中心的视频中，手部遮挡或检测失败常常导致相邻帧中无法获取到手部图像。此外，相邻帧的图像通常缺乏背景多样性，这限制了由相邻帧形成的正样本对在对比学习中的作用。与TempCLR不同，我们的方法SiMHand显著提升了性能。SiMHand利用了相似的手部图像，这些图像提供了更丰富的特征多样性，包括各种类型的手-物体交互、多样的背景以及不同的外观。这些特征使SiMHand能够有效增加对比学习中正样本的多样性，进而获得更优的预训练效果。我们进一步在两种不同规模的预训练数据上验证了该方法，这些数据分别包含来自Ego4D数据集（Grauman等人，2022年）的5万张和10万张手部图像。表5显示，与TempCLR和PeCLR相比，SiMHand取得了显著的进步。从实验结果来看，TempCLR的性能优于PeCLR，这与原文结论一致。不过，SiMHand为对比学习提供了更有价值的正样本，从而在3D手部姿态估计任务的微调阶段取得了更好的结果。 ### 6.4 与弱监督学习设置的比较我们将我们的方法与一种弱监督学习设置进行了比较，该设置使用在野外图像上标注的带噪声的2D关键点。在弱监督学习设置中，带噪声的2D关键点直接作为网络训练时的监督信号。模型将这些2D关键点视为目标，计算预测关键点与给定2D关键点之间的损失（例如基于热图的损失）。然而，我们的实验表明，直接在标记数据和未标记数据上进行联合训练会导致性能下降，原因在于这些2D关键点存在噪声且不可靠。 ---

Setting	Unlabeled data	FreiHand $^{{*}}$\nMPJPE $\downarrow$	PCK-AUC $\uparrow$
Weakly-supervised	Ego-100K	61.65	33.92
Pre-training & Fine-tuning	Ego-100K	31.06	68.66

Table 6: Comparison with weakly-supervised learning setting. We observe that directly incorporating noisy labels into the joint training in the weakly-supervised setting leads to a decline in model performance, indicating that applying noisy labels for training presents certain challenges.

Method	Backbone	DexYCB\nMPJPE $\downarrow$
Xiong et al. (2019)	ResNet50	25.57
Spurr et al. (2020)	ResNet50	22.71
Spurr et al. (2020)	HRNet32	22.26
Tse et al. (2022)	ResNet18	21.22
Zhou et al. (2020)	ResNet50	19.36
SiMHand	ResNet50	16.71

Table 7: Comparison of 3D hand pose estimation methods on DexYCB (Chao et al., 2021).

Method	Backbone	AssemblyHands\nMPJPE $\downarrow$
Han et al. (2022)	ResNet50	32.91
Ohkawa et al. (2023b)	ResNet50	21.92
Zhou et al. (2020)	ResNet50	19.17
SiMHand	ResNet50	18.23

Table 8: Comparison of 3D hand pose estimation methods on AssemblyHands (Ohkawa et al., 2023b).

如表6所示，在未进行任何关键点过滤或校正的情况下，弱监督方法的性能明显逊于我们的预训练设置。这些发现表明，在弱监督训练中直接引入带噪声的2D标注会对模型性能产生负面影响，尤其是当标注中包含大量噪声时。在设计我们的预训练方法之前，我们根据以往经验指出了弱监督设定在大规模自然场景手部数据上的若干局限性：(1) 数据规模限制：当含噪手部数据的量显著少于无噪手部训练数据集时，虽然可能带来一定改进，但很难保证在更大规模的数据集（如本研究中的两百万张自然场景手部图像）中这种含噪标签仍然较少；(2) 训练效率问题：引入大规模含噪数据会显著延长训练时间并减缓收敛速度。相比之下，我们的预训练方法能够充分利用这类具有一定噪声的大规模未标注手部图像，这凸显了我们在利用预训练方面相较于弱监督设定的优势。 ### 6.5 与其他3D手部姿态估计方法的对比为了更客观地评估本工作的价值及其在更广泛领域中的位置，本节我们将其与其他3D手部姿态估计领域的相关工作进行了对比。如表7和表8所示，在DexYCB（Chao等人，2021）和AssemblyHands（Ohkawa等人，2023b）数据集上的对比结果进一步验证了我们的方法在多个标准数据集上的优越性，体现了我们预训练策略的有效性及其在现实应用中的广阔前景。 --- ![Image](images/f66b5c2d029307af48df61d00439d041400f89a4183eb675d4b1f937684ca0d1.jpg)

Figure 7: Visualization of Hand Pose Estimation Results on AssemblyHands. AssemblyHands Ohkawa et al. (2023b) is a hand pose dataset captured from a first-person perspective during toy assembly. It can be observed that SiMHand pre-training method achieves better results (GT: Ground Truth; PT: Pre-training).

### 6.6 AssemblyHands数据集上的手部姿态估计结果可视化我们展示了在另一数据集AssemblyHands（Ohkawa等人，2023b）上的手部姿态估计可视化结果。我们用红色圆圈标出了数据中手部与物体相互遮挡的实例。与在DexYCB（Chao等人，2021）数据集上观察到的结果一致，SiMHand预训练模型在微调阶段处理遮挡问题的能力优于其他预训练方法，展现出更强的鲁棒性。 ### 6.7 相似手部图像的可视化我们展示了用于构建正样本的Top-K相似手部图像的可视化结果。如图8所示，我们展示了一组Top-K相似手部图像。图中显示了查询图像及其对应的相似手部序列（Top-K）。图8顶部的时间线表明，这些图像是特意从同一视频的连续帧中采样得到的。从这些可视化结果中，我们得出了三点关键结论：1) 将同一视频中的相邻帧作为预训练的正样本会导致多样性不足，因为样本之间仍可能存在较大差异；2) 排名越靠后，手部图像之间的相似性越低，差异越大，这可能导致预训练过程中特征表示不准确；3) 因此，选择Top-1图像是为查询图像分配多样且相似的合适正样本的设计方案。 --- ![Image](images/1284f53e254e823dc352f0ae8b8816aef57a7468e9601559d96d1eedbf7ed411.jpg)

Figure 8: Visualization of similar hand samples in Top-K. As the ranking increases, the differences between hand samples become more pronounced.