Fig. 1. Overview of our proposed dual-branch self-boosting framework. Through image-to-image translation technology, our framework can make better use of synthetic data for pre-training. The dual-branch design allows our framework to adopt a part-aware model-fitting loss for self-supervised learning on unlabeled real data while achieving high-accuracy pose estimation and flexible and robust hand model estimation simultaneously.
通过姿态重参数化过程将估计出的手部模型信息编码到特征空间中，并采用细化阶段来生成更精确且鲁棒的3D姿态和模型估计结果。我们的双分支自增强框架（DSF）如图1所示。
我们在三个3D手部姿态估计数据集（NYU [^15]、ICVL [^7]和MSRA [^32]）上进行了定量和定性评估。实验表明，DSF在不使用任何配对的多视角真实数据的情况下，性能远超以往的自监督方法，且与强监督方法相比也能取得相当的结果。接着，我们使用Kinect V2在真实场景中对该方法进行了评估。实验结果显示，该方法能够实现良好的实时性能，且具备出色的泛化能力。最后，我们利用DSF为两个手势识别数据集（SHREC [^33]和DHG [^34]）重新生成手部姿态数据。实验表明，使用我们生成的手部姿态数据，能够显著提升最先进（SOTA）的基于骨架的手势识别算法的性能。代码可在获取。
我们的贡献可总结如下：
- 我们提出了从预训练到微调的完整自监督3D手部姿态估计框架。
- 我们提出了一种简单却有效的图像到图像翻译技术，可将合成深度图像转化为逼真的深度图像，从而显著缩小合成数据与真实数据之间的域差距。
- 我们提出了一种双分支自增强网络，能够同时实现精确的3D姿态估计和灵活的三维手部模型估计。在自监督学习过程中，这两个分支可通过分支间损失和部分感知的模型拟合损失来相互促进性能提升。
- 我们的方法无需使用配对的多视角图像，其性能就大幅优于以往的自监督方法；且与强监督方法相比也能取得相当的结果。此外，采用我们方法生成的手部姿态，能显著提升基于骨骼的手势识别算法的准确性。
### 二、相关工作
### A. 基于深度的3D手部姿态估计
基于深度的3D手部姿态估计可分为三类：基于模型的方法、基于学习的方法以及混合方法。
---
基于模型的方法利用预定义的3D手部模型，通过优化算法来适配深度输入数据。其有效性在很大程度上依赖于手部模型的构建以及用于评估3D手部模型与输入深度数据匹配程度的相似度函数的定义。目前已提出了多种手部模型，包括球体模型 [^35]、球面体网格模型 [^36]、线性混合蒙皮技术 [^37] [^38] [^39] 以及高斯混合模型 [^40]、[^41]。常见的优化方法包括粒子群优化算法（PSO）[^37]、[^42]、迭代最近点算法（ICP）[^43]、PSO-ICP算法 [^35] 以及基于梯度的方法 [^44]、[^45]。这类方法不需要标注数据，但对模型初始化的参数较为敏感，且容易出现误差累积问题。
基于学习的方法利用标注数据来建立深度图像与手部姿态之间的映射关系。一些早期研究[^7]、[^46]、[^47]采用随机森林或其变体来估计手部姿态。这类方法受限于手工设计的特征，而基于CNN的方法在性能上远超它们。基于深度神经网络的方法可分为两类：基于回归的方法和基于检测的方法。基于回归的方法直接预测手部姿态的参数，例如3D关节坐标或手部模型参数。为了提升基于回归方法的性能，人们提出了多种策略，包括嵌入先验知识[^12]、反馈校正[^48]、[^49]、嵌入手部骨骼模型[^50]、区域集成[^9]、[^10]、多分支聚合[^51]、堆叠式回归[^52]、采用点云网络[^14]或3D CNN[^53]等3D结构网络，以及采用Transformer[^54]。基于检测的方法会生成密集的像素级估计结果，比如热图或偏移向量场，随后从这些像素级估计中获取关节坐标。Tompson等人[^15]率先应用2D CNN来预测每个关节的热图，再利用基于模型的逆向运动学来恢复3D手部姿态。为提升基于检测方法的性能，也提出了诸多策略，例如多视角热图估计[^16]、[^55]、密集3D回归[^18]、采用3D结构网络[^17]、[^19]、[^56]、[^57]、可微自适应加权回归[^20]、[^21]、[^58]、采用图卷积[^59]等。尽管这些方法取得了优异的性能，但它们都依赖大量带标注的真实数据。
混合方法[^35]、[^37]、[^60]先利用基于学习的方法初始化手部模型，或在跟踪失败时重新初始化，再通过基于模型的方法进行时序手部跟踪。
### B. 利用合成数据进行手部姿态估计
借助三维计算机图形技术，可以生成涵盖多种相机视角、形状和姿态变化的合成手部图像，并附带精确的3D标注。在3D手部姿态估计领域，部分方法[^22]、[^23]、[^29]、[^30]、[^31]、[^61]、[^62]、[^63]、[^64]、[^65]、[^66]、[^67]、[^68]直接利用合成数据来训练网络，从而辅助真实场景下的手部姿态估计。然而，当标注好的真实数据不足时，这种方法容易导致严重的过拟合现象。因此，大多数方法需要3D关节标签[^22]、[^23]、[^61]、[^62]、[^64]、[^66]、2D关节标签[^63]、深度图像信息[^67]，或是自监督训练[^29]、[^30]、[^31]，以便对真实数据进行微调。有些方法会为合成数据与真实数据学习一个共享的潜在空间[^69]、[^70]、[^71]、[^72]。不过，这些方法要么需要大量标注过的真实数据和配对的合成数据[^71]，要么需要少量标注数据并在域判别器的辅助下[^69]、[^70]、[^72]来实现不同模态特征分布的对齐；否则性能会较差。例如，Rad等人[^71]通过最小化配对样本间的特征距离，将真实样本的特征映射到合成样本上。此外，Poier等人[^72]采用域判别器来缩小合成数据与真实数据之间的域差异。一些研究[^73]、[^74]、[^75]、[^76]利用深度神经网络将合成图像转换为类似目标图像，进而用于网络训练。然而，这些方法[^74]、[^75]、[^76]主要应用于基于RGB的3D手部姿态估计任务，且[^73]仅在所有合成深度图像都能在真实数据集中找到对应项的较简单场景下才经过评估。我们的方法能够为合成图像生成具有真实感且深度一致的深度图像。
### C. 无监督域适应
无监督域适应（UDA）能够将知识从已有的有标签域迁移到新的无标签域。UDA的核心是域对齐，这可以在多个层面予以实现，包括输入空间 [^77] [^78] [^79] [^80] [^81]、特征空间 [^82] [^83] [^84] 以及输出空间 [^85]、[^86]。在我们的研究中，我们采用深度感知的图像到图像翻译网络来缩小输入空间的域差距。除了显式的域对齐之外，还有多种技术被提出用于提升网络在目标域上的性能，例如伪标注和自训练 [^87] [^88] [^89] [^90]、课程学习 [^91]、自监督表征学习 [^93]、[^94]、自监督训练 [^30]、[^95] [^96] [^97] 等。在这些方法中，我们的方法与自训练和自监督训练密切相关。自训练利用源域中预训练的模型在无标签的目标域中生成伪标签，并利用最可靠的伪标签迭代地优化该模型。在我们的工作中，PWE分支和MPE分支分别将对方的输出结果作为伪标签。具体而言，我们的方法会根据估计的手部模型与输入深度数据之间的匹配程度，为PWE分支筛选出可靠的伪标签。与其他自训练方法相比，我们的方法能更好地利用输入深度图像的3D结构信息。自监督训练则从输入数据本身以及网络估计的一致性中获取监督信号，该方法广泛应用于人体姿态估计 [^95]、[^98]、人脸重建 [^96]、[^99]、[^100]、6D物体姿态估计 [^97]、[^101] 以及手部姿态估计 [^29] [^30] [^31]、[^102]。接下来，我们将主要探讨手部姿态估计中的自监督训练。
Dibra等人 [^29] 预测手部模型的关节角度，并通过最小化渲染图像与输入图像之间的差异来训练网络。然而，直接回归这些抽象参数是一个高度非线性的过程，且往往会忽略一些空间细节。
---
Fig. 2. Overall framework. The input of the network is the translated synthetic depth image and the unlabeled real image. A Pre-Feature Extraction (PFE) module extracts the primitive feature maps from the input depth image. An encoder generates the feature maps with high-level semantics, which are fed into the PWE branch and the MPE branch as input. The dual-branch structure performs pixel-wise pose regression and hand model estimation in parallel. Finally, a dual-branch refinement stage outputs a refined hand pose and hand model.
特征图。为了解决这个问题，Wan等人[^30]构建了一个基于球体的模型，直接预测每个球体中心的二维热图和深度图。采用逐像素回归能够更好地捕捉特征图的空间细节，并降低网络的学习难度。Wan等人[^31]使用全卷积网络来回归网格顶点，这些顶点可视为三维空间中的二维嵌入。为了获取三维手部网格，他们采用了可微分的姿态重调整机制，以解决从估计的网格表面到预定义的手部模板模型之间的相似变换问题。然而，由于球体的半径固定且模板网格的形状固定，这些方法中的手部模型灵活性有限。尤其是，这些方法必须使用配对的多视角图像才能达到可接受的精度，这极大地限制了自监督三维手部姿态估计的潜在应用场景。Chen等人[^102]提出同时预测三维手部模型和二维关节，这一思路与我们的方法类似。不过，他们没有考虑两个分支的不同特性，盲目地维持两者的一致性。为了保持自监督训练的稳定性，他们采用了现成的二维手部姿态检测器，而该检测器需要大量的二维标注数据进行训练。此外，他们的方法中两个分支使用了不同的编码器。与他们的方法不同，我们方法中的两个分支共享同一个编码器，这有助于在自监督训练中促进两个分支的相互促进。
### III. 方法
### A. 概述
如图2所示，我们提出了一种双分支自增强框架（DSF），以充分利用合成数据和无标签的真实数据，实现准确、鲁棒且灵活的三维手部姿态及模型估计。首先，我们利用标注的合成数据对网络进行预训练。我们将合成图像转换为真实感图像，以缩小合成数据与真实数据之间的域差异。接着，我们利用无标签的真实数据以自监督方式对网络进行微调。同时，我们也将标注的合成数据输入网络，以稳定自监督训练过程。
### B. 合成数据的图像转换
与同时采集深度图像和三维关节坐标相比，通过数据手套[^103]或某些磁传感器[^25]可以轻松快速地收集单独的三维关节坐标，且无需考虑其对深度图像外观的影响。因此，我们根据单独的三维手部姿态生成合成深度图像。具体来说，给定三维手部姿态后，我们采用MANO手部模型[^104]，并利用[^105]中提到的迭代优化方法来获取对应的MANO模型参数P，包括手部姿态$\theta \in \mathbb{R}^{45}$、手部形状$\beta \in \mathbb{R}^{10}$、全局缩放比例$S \in \mathbb{R}^1$、全局旋转角度$R \in \mathbb{R}^3$以及全局平移量$T \in \mathbb{R}^3$。然后，我们采用可微分渲染器[^106]将MANO模型渲染为带有精确关节及三维网格坐标标签的深度图像。特别地，我们从BigHand 2.2M手部数据集中随机抽取了41.3万组手部姿态数据[^25]。我们通过正态分布采样手部形状$N(0; 3)$、均匀分布采样手部缩放比例$U(0.8, 1.2)$以及均匀分布采样手部全局旋转角度$U(0, 2\pi)$来进行在线数据增强。
由于合成数据与真实数据之间存在域差异，用合成数据训练的网络在真实数据上的性能会显著下降。因此，我们采用无配对图像到图像转换技术——CycleGAN [^77]，将合成深度图像I $^{s}$ 转换为逼真的、类似目标的深度图像I $^{st}$。然而，如图3所示，使用原始的CycleGAN可能会在手部区域产生明显的深度偏移，或在背景区域产生伪影，从而破坏深度图像的3D几何结构信息。因此，我们在原始CycleGAN的基础上提出了一种深度一致性损失函数，以保留原始合成深度图像的3D结构信息并防止伪影的产生。具体来说，对于深度图像中的每个像素i，深度一致性损失函数定义如下：
$$ \mathcal{L}_{c o n s i s}=\sum_{i\in\mathbf{I}^{s}}\mathbf{M}_{i}^{i n n e r}\mathbf{S}_{i}\left|\mathbf{I}_{i}^{s t}-\mathbf{I}_{i}^{s}\right|+\sum_{i\in\mathbf{I}^{s}}\mathbf{M}_{i}^{o u t e r}\left|\mathbf{I}_{i}^{s t}-\mathbf{I}_{i}^{s}\right|. $$
$\mathcal{L}_{consis}$中的第一项用于保持手部区域的深度一致性，第二项则用于
---
(a)
(b)
(c)
Fig. 3. (a) Synthetic images. (b) The images generated by the original CycleGAN and the difference map compared with the original synthetic images. (c) The images generated by the CycleGAN with the depth-consistent loss and the difference map compared with the original synthetic images.
(a)
(b)
(c)
(d)
(e)
(f)
Fig. 4. (a) Original synthetic depth image $\mathbf{I}^s$. (b) Translated synthetic depth image $\mathbf{I}^{st}$. (c) Inner mask $\mathbf{M}^{inner}$. (d) Outer Mask $\mathbf{M}^{outer}$. (e) The spheres in 3D hand model for collision loss. (f) Different hand parts to calculate the self-intersection.
Fig. 5. Comparison between the translated image and the real image.
避免背景区域出现伪影。如图4所示，内部掩码$\mathbf{M}_i^{\text{inner}}$在两张深度图像的手部区域交集处设为1，其他区域设为0。$\mathbf{S}$表示仅随机选择部分像素，这样可避免对生成过程施加过多约束；实践中我们随机选择15%的像素。外部掩码$\mathbf{M}_i^{\text{outer}}$在真实图像的膨胀手部区域设为0，其他区域设为1。膨胀后的手部区域是通过对原始手部区域执行卷积核值全为1的$3 \times 3$卷积得到的。$\mathbf{M}_{\text{inner}}$和$\mathbf{M}_{\text{outer}}$允许生成器自由添加边缘噪声，而无需承担深度一致性损失的惩罚。
为了进一步验证我们所提出的图像到图像转换技术的有效性，我们将转换后的合成深度图像与对应的真实图像进行比较。如图5所示，我们的方法能够生成逼真的噪声，尽管其与对应的真实深度图像可能并不完全一致。同时，我们的方法能够保持转换后的合成图像与真实图像之间的深度一致性。
为了模拟真实深度图像中的深度空洞并增加生成的合成图像的多样性，我们提出了一种基于姿态引导的信息丢弃机制。我们随机选取n个关节，并根据3D欧几里得距离丢弃这些关节附近的深度像素。具体来说，对于选定的关节j，我们会丢弃距离中心点$D \in \mathbb{R}^1$在$\mathbf{J}_j^{xyz} + \mathbf{o}^{xyz}$范围内的深度像素，其中D服从正态分布$N(0, 0.3)$，$\mathbf{o}^{xyz} \in \mathbb{R}^3$服从正态分布$N(0, 0.15)$。这种机制还有助于姿态估计网络提取上下文线索，从而实现更精确、更稳健的姿态估计。
### C. 网络结构
1) 双分支结构：如图2所示，我们采用了双分支网络结构，主要包括用于逐像素密集姿态估计的像素级估计（PWE）分支、用于手部模型参数回归的模型参数估计（MPE）分支，以及由PFE模块组成的用于提取基础特征图的骨干网络和用于提取语义特征图的编码器。
MPE分支采用全连接层来预测MANO模型的参数P，由此我们可获得3D手部网格$\mathbf{M} \in \mathbb{R}^{N \times 3}$以及3D关节坐标$\mathbf{J}^m \in \mathbb{R}^{K \times 3}$，其中N和K分别为网格顶点数和关节数。与以往使用固定形状的3D手部模型的自监督方法不同，MPE分支通过预测MANO模型的形状$\beta$和尺度S，对不同受试者具有更强的灵活性和适应性。同时，得益于参数化手部模型的先验形状和姿态信息，MPE分支能够生成更稳健、更合理的手部姿态，尤其是在存在自遮挡、深度空洞和图像噪声的情况下。然而，直接回归MANO参数具有高度非线性特征，难以捕捉细粒度的空间信息，因此估计出的关节坐标精度并不理想，尤其是在缺乏直接监督信息（如关节坐标或网格坐标）的情况下。
PWE分支采用全卷积结构[^107]，其中包含三层反卷积层以生成高分辨率的语义特征图，以及两层卷积层来执行密集姿态回归。与以往的研究[^18]、[^20]类似，3D关节坐标被重新参数化为一组逐像素的估计值，即3D热图$\mathbf{H} \in \mathbb{R}^{K \times H \times W}$和单位3D方向向量场$\mathbf{D} \in \mathbb{R}^{3K \times H \times W}$，其中H和W分别为反卷积后特征图的高度和宽度。这种结构能够更好地保留特征图的局部结构信息，并使估计结果具备平移不变性。此外，我们采用自适应加权回归（AWR）[^20]，以可微分的方式从逐像素估计值中生成3D关节坐标$\mathbf{J}^p \in \mathbb{R}^{K \times 3}$。
2) 细化阶段：得益于MANO模型的先验约束，估计出的手部模型对深度图像中的图像噪声和深度空洞具有较强的鲁棒性，能够为后续的估计提供强有力的消歧线索。因此，我们采用了姿态重新参数化过程[^18]、[^52]。
---
该过程将3D手部模型信息——包括3D关节坐标$\mathbf{J}^m$和渲染出的深度图像$\mathbf{I}^{mr}$——编码为像素级特征，即3D热图$\widetilde{\mathbf{H}} \in \mathbb{R}^{K \times H \times W}$和单位3D方向向量场$\widetilde{\mathbf{D}} \in \mathbb{R}^{3K \times H \times W}$。随后，我们进入细化阶段以生成细化后的结果。细化阶段具有与前一阶段相同的双分支结构和监督机制。唯一的区别在于，除了来自PFE模块的原始特征外，其输入还包括前一阶段PWE分支的语义特征、逐像素估计值，以及前一阶段MPE分支编码得到的手部模型特征。
### D. 网络监督
1) 标注合成数据的监督：对于合成数据而言，由于深度图像是根据3D手部模型通过在线渲染得到的，因此我们拥有精确的关节坐标标注$\hat{\mathbf{J}} \in \mathbb{R}^{K \times 3}$和网格坐标标注$\hat{\mathbf{V}} \in \mathbb{R}^{N \times 3}$。同时，我们也能获得3D热图$\hat{H}$和单位3D方向向量场$\hat{D}$的真实值。
对于PWE分支，我们采用如下的关节损失$\mathcal{L}_{joint}$和逐像素损失$\mathcal{L}_{pixel}$：
$$ \mathcal{L}_{j o i n t}=\sum_{j=1}^{K}S m o o t h_{L1}\left(\mathbf{J}_{j}^{p},\hat{\mathbf{J}}_{j}\right), $$
$$ \mathcal{L}_{p i x e l}=\sum_{j=1}^{K}S m o o t h_{L1}\left(\mathbf{H}_{j},\hat{\mathbf{H}}_{j}\right)+\sum_{j=1}^{K}S m o o t h_{L1}\left(\mathbf{D}_{j},\hat{\mathbf{D}}_{j}\right). $$
对于MPE分支，我们采用如下的MANO损失$\mathcal{L}_{mano}$：
$$ \mathcal{L}_{m a n o}=\sum_{v=1}^{N}S m o o t h_{L1}\left(\mathbf{V}_{v},\hat{\mathbf{V}}_{v}\right)+\sum_{j=1}^{K}S m o o t h_{L1}\left(\mathbf{J}_{j}^{m},\hat{\mathbf{J}}_{j}\right). $$
在此，我们采用 $Smooth_{L1}$ 损失 [^9]、[^10]、[^52]，以使损失项对异常值具有鲁棒性。此外，为避免出现极端的网格变形，我们采用形状损失 $\mathcal{L}_{shape}$，将预测的 3D 网格形状 $\beta$ 约束为尽可能接近平均形状。形状损失项的定义如下：
$$ \mathcal{L}_{s h a p e}=\|\beta\|_{2}^{2}. $$
具体而言，这种损失仅在预训练阶段使用。
2) 无标签真实数据的监督：如图 2 所示，针对双分支架构，我们设计了三种精心设计的自监督损失，包括基于部件感知的模型拟合损失 $\mathcal{L}_{fitting}$、分支间损失 $\mathcal{L}_{inter}$ 以及自适应碰撞损失 $\mathcal{L}_{coll}$。
$$ \mathcal{L}_{M P E}=w_{f i t t i n g}\mathcal{L}_{f i t t i n g}+w_{i n t e r}\mathcal{L}_{i n t e r}+w_{c o l l}\mathcal{L}_{c o l l}. $$
其中 $w_{fitting}$、$w_{inter}$、$w_{coll}$ 分别为损失权重，均设为 1。我们将先介绍以往研究中使用的模型拟合损失，随后再介绍本研究中提出的新损失。
a) 模型拟合损失：对于无标签真实数据 $\mathbf{I}^{r}$，我们通过惩罚估计的手部表面与输入深度图像中的 3D 点之间的距离来更新模型。与先前的方法 [^29] [^30] [^31] 类似，我们采用模型到数据项 $\mathcal{L}_{m2d}$ 和数据到模型项 $\mathcal{L}_{d2m}$ 来衡量模型与深度数据之间的整体适配程度。$\mathcal{L}_{m2d}$ 会惩罚那些位于手部区域之外的模型，并使手部模型尽可能与手部深度图像对齐。我们采用可微渲染器 [^106] 将估计的手部网格渲染为深度图像 $\mathbf{I}^{mr}$。
$$ \mathcal{L}_{m2d}=\sum_{i\in\mathbf{I}^{m r}}\left|\mathbf{I}_{i}^{m r}-\mathbf{I}_{i}^{r}\right|. $$
$\mathcal{L}_{d2m}$ 旨在为像素 i 对应的 3D 点寻找整个手部网格表面上的最佳对应点。具体来说，我们通过查找估计的 3D 手部网格 V 中最邻近的顶点来近似点至手部模型表面的距离。$\mathcal{L}_{d2m}$ 的定义如下：
$$ \mathcal{L}_{d2m}=\sum_{i\in\mathbf{I}^{x y z}}{m i n}_{v\in\mathbf{V}}\left(S m o o t h_{L1}\left(\mathbf{I}_{i}^{x y z},\mathbf{V}_{v}\right)\right), $$
其中 $\mathbf{I}_i^{xyz} \in \mathbb{R}^3$ 是像素 i 对应的 3D 点，可通过像素 i 的图像平面坐标投影得到。
b) 基于部件感知的模型拟合损失：基于部件感知的模型拟合损失改进了以往模型拟合损失中的数据到模型项。具体而言，一个 3D 点及其在手部网格上的最近顶点未必具有相同的语义。因此，盲目地将它们拉近可能会导致错误的拟合结果。为解决这一问题，我们提出了一种基于部件感知的数据到模型项 $\mathcal{L}_{pd2m}$，它仅考虑最小化具有相同语义的 3D 点与网格顶点之间的距离。$\mathcal{L}_{pd2m}$ 的定义如下：
$$ \mathcal{L}_{p d2m}=\sum_{j=1}^{K}\sum_{i\in\mathbf{I}_{j}^{x y z}}\underset{v\in\mathbf{V}_{j}}{min}\left(S m o o t h_{L1}\left(\mathbf{I}_{j,i}^{x y z},\mathbf{V}_{j,v}\right)\right), $$
其中 $I_j$ 和 $V_j$ 分别表示深度图像和网格中属于关节 j 的像素和顶点。我们根据网格顶点与关节之间的皮肤权重来确定每个网格顶点的语义。具体而言，当相应的皮肤权重大于 0.1 时，我们判定该网格顶点属于该关节。我们利用 PWE 分支的估计结果为深度图像生成逐关节语义分割。具体来说，给定估计的手部姿态 $J^p$，像素 i 的分割结果可表示为：
$$ c_{i}=\underset{j\in[1,K]}{a r g m i n}\left|\left\|\mathbf{J}_{j}^{p}-\mathbf{I}_{i}^{x y z}\right\|_{2}-r_{j}\right|, $$
其中，$r_j$ 表示关节 j 的半径。与 $\mathcal{L}_{d2m}$ 相比，$\mathcal{L}_{pd2m}$ 能更好地反映关节级别的偏移，且不易受无关关节的影响。如图 6 所示，当食指发生侧向移动甚至被手掌完全遮挡时，从图 6(c) 到图 6(d)、(e)，$\mathcal{L}_{d2m}$ 的变化相对较小，而 $\mathcal{L}_{pd2m}$ 和 $\mathcal{L}_{pd2m,index}$ 则显著增加。因此，在 $\mathcal{L}_{pd2m}$ 的基础上采用 $\mathcal{L}_{d2m}$，能使网络更好地感知手部模型与深度数据之间的细微差异。
---
c) 分支间损失：由于网络结构和回归任务不同，两个分支各有其独特优势。一方面，PWE 分支具备像素级的定位精度，对图像平移的鲁棒性更强；另一方面，MPE 分支利用参数化手部模型的先验结构信息，对于存在自遮挡、深度空洞或噪声的图像，能给出更合理的估计结果。因此，我们提出了分支间损失，以使两个分支在训练过程中相互促进。具体而言，分支间损失包含两项：一项是来自 PWE 分支对 MPE 分支的监督项 $\mathcal{L}_{P2M}$，另一项是来自 MPE 分支对 PWE 分支的监督项 $\mathcal{L}_{M2P}$。
对于 $\mathcal{L}_{P2M}$，我们直接取 PWE 分支估计出的关节 $\mathbf{J}^{p}$ 作为 MPE 分支的伪标签。给定估计出的关节 $\mathbf{J}^{p}$，$\mathcal{L}_{P2M}$ 的定义如下：
$$ \mathcal{L}_{P2M}=\sum_{j=1}^{K}S m o o t h_{L1}\left(\mathbf{J}_{j}^{m},\mathbf{J}_{j}^{p}\right). $$
$\mathcal{L}_{P2M}$ 使 MPE 分支能够感知像素级的估计误差，从而提高估计精度。更重要的是，通过采用对关节的显式监督，我们可以在不固定模型形状的情况下，利用模型拟合损失来优化网络，这显著提升了手部模型估计的灵活性。
由于 PWE 分支缺乏额外的约束信息（即模型拟合损失），若直接将 MPE 分支的估计结果用作伪标签，很容易导致 PWE 分支过度拟合不准确的伪标签，进而通过 $\mathcal{L}_{P2M}$ 影响 MPE 分支，最终造成整个网络的崩溃。因此，对于 $\mathcal{L}_{M2P}$，我们提出了一种过滤机制，仅将可靠性高的关节作为伪标签传递给 PWE 分支。给定 MPE 分支估计出的关节 $\mathbf{J}^m$，$\mathcal{L}_{M2P}$ 的定义如下：
$$ \mathcal{L}_{M2P}=\sum_{j=1}^{K}\mathbf{M}_{j}^{f i l t e r}S m o o t h_{L1}\left(\mathbf{J}_{j}^{p},\mathbf{J}_{j}^{m}\right). $$
我们根据估计出的手部模型与输入数据之间的全局适配度和局部适配度来确定 $\mathbf{M}_j^{filter}$ 的值。$\mathbf{M}_j^{filter}$ 的定义如下：
$$ \mathbf{M}_{j}^{filter}=\left\{\begin{aligned}1&\quad\mathcal{L}_{m2d}<0.04,\mathcal{L}_{d2m}<0.001,\\ &&\mathcal{L}_{pd2m,j}<0.001,\\ 0&\quad otherwise.\end{aligned}\right. $$
d) 自适应碰撞损失：为了使 MPE 分支预测的 3D 关节和 3D 手部网格更加合理，我们引入了自适应碰撞损失 $\mathcal{L}_{coll}$ 来避免不合理的碰撞。具体而言，我们在手部网格中放置多个球体，然后对这些球体之间的重叠进行惩罚，如图 4 所示。与以往采用固定半径碰撞体的方法 [^29]、[^30] 不同，这些球的半径可根据相应关节与其相关网格顶点之间的距离自动调整，因此具有很强的适应性。
深度图像
(a)
语义分割
(b)
(c)
(d)
(e)
Fig. 6. Comparison of different data-to-model terms. The three columns on the right show three hand models with different pose, each of which contains three loss values between the model and the depth data. $\mathcal{L}_{pd2m,index}$ represents the average part-aware data-to-model loss of the four joints of the index finger.
$\mathcal{L}_{coll}$ 对第 m 个和第 n 个球体之间的碰撞惩罚方式如下：
$$ \mathcal{L}_{c o l l}=\sum_{m,n}\mathbf{M}_{m,n}^{s p h e r e}m a x(r_{m}+r_{n}-\|c_{m}-c_{n}\|_{2},0), $$
其中，r和c分别代表球体的半径以及三维坐标；我们采用$\mathbf{M}^{sphere}$来排除那些无需考虑的碰撞情况，比如手掌球体之间的碰撞，以及同一骨骼中球体之间的碰撞。
### 四、实验部分
### A. 数据集与评估指标
1) 三维手部姿态数据集：NYU数据集[^15]包含三种配对的相机视角，分别是正面视角（视图1）和两个侧面视角（视图2和视图3），由PrimeSense三维相机采集而成。每种视角下包含来自单个受试者的7.2万张训练图像，以及来自两名受试者的8200张测试图像，其中一名受试者与训练集中的受试者相同。遵循以往的研究方法，我们仅使用视图1的图像进行训练，但我们的方法在所有三种视角下都进行了测试。ICVL数据集[^7]包含由Intel RealSense SR300采集的2.2万张训练深度图像和1600张测试深度图像。训练图像来自10名受试者，测试图像来自2名受试者。手部姿态标注包含16个关节。MSRA数据集[^32]包含由Intel RealSense SR300从9名受试者处采集的7.65万张图像。每名受试者包含17种手势，共标注了21个关节。正如[^27]和[^28]中提到的，ICVL和MSRA数据集存在大量标注错误。因此，与[^28]的做法类似，我们仅对ICVL和MSRA数据集进行定性分析。
我们采用两种常用的评估指标来衡量我们的方法：平均关节误差（AJE）和成功率（SR）。AJE是指整个测试集中每个关节的预测坐标与真实坐标之间的平均欧几里得距离。SR定义为所有测试帧中合格帧所占的比例。如果某一帧内关节误差的最大值小于特定阈值，则该帧被判定为合格帧。此外，我们还采用了跨视角平均关节误差（CAJE），它代表所有三个相机视角下所有帧的平均关节误差，能够衡量我们的方法在多个相机视角下的性能。为了更准确、可靠地评估我们的方法，我们重复运行所有实验五次，
---
TABLE I
COMPARISON OF DIFFERENT PRE-TRAINING STRATEGIES. THE CAJE (mm) OF THE PWE BRANCH AND THE MPE BRANCH ON NYU DATASET ARE SHOWN IN THIS TABLE
| Name | Multi-view CycleGAN Consistent Dropping | PWE | MPE |
| Synth | | | | $23.85 \pm 0.88$ | $32.65 \pm 1.12$ |
| Synth-MultiView | ✓ | | | $21.78 \pm 0.83$ | $28.91 \pm 0.97$ |
| Synth-Cycle | ✓ | ✓ | | $17.31 \pm 0.43$ | $28.44 \pm 0.71$ |
| Synth-Consis | ✓ | ✓ | ✓ | $16.92 \pm 0.45$ | $22.06 \pm 0.51$ |
| Synth-Trans | ✓ | ✓ | ✓ | $15.50 \pm 0.51$ | $21.93 \pm 0.55$ |
2) 手势识别数据集：DHG数据集[^34]包含20名受试者提供的14种手势共2800个序列。这些手势有两种执行方式：用单指和用整只手。因此该数据集有两个基准：用于粗分类的14种手势和用于细粒度分类的28种手势。现实世界中22个手部关节的三维坐标由Intel RealSense F200采集而成。我们采用留一受试者外实验协议来进行训练和测试。SHREC数据集[^33]包含28名受试者以与DHG数据集相同的两种方式分别执行1次和10次的2800个手势序列。它包含2800个序列，其中1960个序列用于训练，840个序列用于测试。
每次实验中我们取最后一个训练轮次的结果进行评估。对于自监督训练，我们选择性能最接近平均值的模型作为预训练模型。
TABLE II
### B. 实现细节
我们在配备AMD Ryzen 9 3900X CPU和拥有24GB显存的NVIDIA RTX 3090 GPU的计算机上训练并评估我们的方法。对于整个系统，我们首先单独训练图像到图像的翻译网络，并在后续训练中将其冻结。接着，我们利用带标签的合成图像，对姿态估计网络的所有部分（包括主干网络、PWE分支和MPE分支）进行端到端的预训练。最后，我们在无标签的真实图像上对姿态估计网络的所有部分进行端到端的微调。特别是在微调过程中，我们也会采用带标签的合成数据来稳定训练。图像到图像的翻译网络使用Adam [^108]优化器进行训练，初始学习率为0.0002。从第20个epoch到第40个epoch，学习率会逐渐线性地降至0。双分支网络则使用AdamW [^109]优化器进行训练，初始学习率为0.001。无论是预训练还是微调阶段，学习率都会在10个epoch时除以10，且训练在15个epoch时停止。为了从原始深度图像中裁剪出手部的图像，我们使用由[^17]提供的手部中心坐标。裁剪后的图像会被调整大小为$128 \times 128$，同时深度值会被归一化到[-1, 1]范围内。对于真实数据，我们会进行数据增强处理，包括随机旋转（[-180, 180]）、随机缩放（[0.8, 1.2]）以及随机平移（[-10, 10]）。
### C. 消融实验
由于NYU数据集[^15]在姿态变化上更具多样性，且不同相机视角下的标注更为精确，因此我们在该数据集上进行消融实验。为确保实验的简洁性，默认情况下我们采用不含细化阶段的双分支网络。
1) 图像到图像翻译的影响：本节中我们研究了不同预训练策略对网络的影响。如表I和图7所示，当我们使用
COMPARISON OF DIFFERENT SELF-SUPERVISION LOSS ITEMS. THE CAJE (mm) OF THE PWE BRANCH AND THE MPE BRANCH ON NYU DATASET ARE LISTED IN THIS TABLE
| Name | $\mathcal{L}_{P2M}$ | $\mathcal{L}_{m2d}$ | $\mathcal{L}_{d2m}$ | $\mathcal{L}_{pd2m}$ | $\mathcal{L}_{M2P}$ | $\mathcal{L}_{coll}$ | PWE | MPE |
| Synth-Trans | | | | | | 15.50 \pm 0.51 | 21.93 \pm 0.55 | |
| SelfSup-P2M | ✓ | | | | | 13.98 \pm 0.17 | 17.23 \pm 0.24 | |
| SelfSup-Model | ✓ | ✓ | ✓ | | | 13.58 \pm 0.16 | 16.86 \pm 0.21 | |
| SelfSup-Part | ✓ | ✓ | ✓ | ✓ | | 13.56 \pm 0.16 | 16.65 \pm 0.23 | |
| SelfSup-M2P | ✓ | ✓ | ✓ | ✓ | ✓ | 12.80 \pm 0.07 | 16.10 \pm 0.13 | |
| SelfSup | ✓ | ✓ | ✓ | ✓ | ✓ | 12.79 \pm 0.13 | 16.03 \pm 0.17 | |
带有随机形状和尺度采样的合成数据来预训练网络时，网络在真实数据上的表现并不理想。随后，我们为合成数据添加了随机手部旋转采样（“Synth-MultiView”），这一操作确实提升了三个视角下两个分支的性能。为了缩小域差距，我们采用CycleGAN将合成图像转换为逼真的目标图像（“Synth-Cycle”）。如表I所示，采用CycleGAN后两个分支的性能有所提升，但网络的精度，尤其是MPE分支的精度仍然较差。与原始的CycleGAN相比，引入深度一致性损失后，PWE分支和MPE分支的CAJE分别降低了2.3%（从17.31毫米降至16.92毫米）和22.4%（从28.44毫米降至22.06毫米）。同时，深度一致性损失在所有阈值下都提高了SR数值。这表明深度偏移和伪影会显著削弱图像到图像翻译的效果。通过加入姿态引导的信息丢弃机制（“Synth-Trans”），MPE分支在所有指标上的性能都得到了提升。在后续的实验中，我们默认采用Synth-Trans方案。
2) 自监督的影响：在本节中，我们研究了不同自监督损失函数的影响。如表II所示，仅采用$\mathcal{L}_{P2M}$（“SelfSup-P2M”）就能显著提升MPE分支的准确率。同时，由于网络为真实数据域学习到了更好的表征，PWE分支的准确率也得以提高。接着，我们加入了模型拟合损失$\mathcal{L}_{m2d}$和$\mathcal{L}_{d2m}$，这些在以往的自监督研究中被广泛使用。“SelfSup-Model”这种模型拟合损失在风格迁移和$\mathcal{L}_{P2M}$的基础上进一步提升了两个分支的性能。通过采用关注局部的数据到模型项$\mathcal{L}_{pd2m}$（“SelfSup-Part”），MPE分支的性能得到了进一步提升。此后，我们将$\mathcal{L}_{M2P}$（“SelfSup-M2P”）引入网络，该机制会从MPE分支中选择最可靠的估计结果作为伪标签来监督PWE分支。$\mathcal{L}_{M2P}$显著提升了PWE分支的性能。上述实验体现了双分支结构的自我增强特性：为某一分支专门设计的损失项会反过来改善另一分支的性能。最后，我们加入了碰撞损失$\mathcal{L}_{coll}$（“SelfSup”）。尽管这种损失对网络性能的提升作用有限，但它能有效减少不合理碰撞的发生，尤其是手指间的自相交现象（我们在补充材料中展示了相关示例）。值得注意的是，仅采用模型拟合损失会导致训练过程不稳定；而采用$\mathcal{L}_{P2M}$和$\mathcal{L}_{pd2m}$则能避免这种情况。
---
View1
View2
View3
Fig. 7. Ablation experiments. The proportions of good frames over different thresholds on the NYU dataset for the three views. Top: the results of the PWE branch. Bottom: the results of the MPE branch. The AJE (mm) are presented in parentheses.
此外，如表II所示，采用$\mathcal{L}_{M2P}$能显著提升自监督训练的稳定性。
3) 总体分析：在本节中，我们对图像到图像翻译、自监督训练以及细化阶段的影响进行了总体分析。如图7和表III所示，与基线模型（“Synth-MultiView”）相比，图像到图像翻译（“Synth-Trans”）和自监督训练（“Synth-SelfSup”）单独应用都能大幅提升网络性能。具体而言，Synth-Trans将PWE分支和MPE分支的CAJE分别降低了28.8%（从21.78毫米降至15.50毫米）和24.1%（从28.91毫米降至21.93毫米）；Synth-SelfSup则将PWE分支和MPE分支的CAJE分别降低了35.2%（从21.78毫米降至14.10毫米）和39%（从28.91毫米降至17.63毫米）。这表明图像到图像翻译和自监督训练可以独立发挥作用。总体而言，自监督训练带来的提升幅度大于图像到图像翻译。当我们同时采用图像到图像翻译和自监督训练（“SelfSup”）时，网络性能会得到进一步优化。如图7和表III所示，细化阶段在几乎所有指标上都能稳定提升两个分支的性能。尤其值得注意的是，当我们移除手部模型的重参数化特征（“Refinement w/o MANO”）后，MPE分支的性能会下降，尤其是在相机视角2和3下表现更为明显。这说明手部模型的重参数化能为后续网络提供强大的歧义消除线索，有助于消除不确定性并提高估计精度。
TABLE III
此外，我们分析了估计手部模型自相交时的碰撞损失影响。具体来说，我们根据语义将手部模型分为15个部分（图4(f)），并计算这些部分之间的相交体积。我们将手部网格的每个部分以0.1厘米为分辨率进行体素化，然后计算体素体积之和。
OVERALL COMPARISON. THE CAJE (mm) OF THE PWE BRANCH AND THE MPE BRANCH ON NYU DATASET ARE LISTED IN THIS TABLE
| Name | Translation | Self-Sup | Refinement | PWE | MPE |
| Synth-MultiView | | | | $21.78 \pm 0.83$ | $28.91 \pm 0.97$ |
| Synth-Trans | ✓ | | | $15.50 \pm 0.51$ | $21.93 \pm 0.55$ |
| Synth-SelfSup | | ✓ | | $14.10 \pm 0.33$ | $17.63 \pm 0.64$ |
| SelfSup | ✓ | ✓ | | $12.79 \pm 0.13$ | $16.03 \pm 0.17$ |
| Refinement w/o MANO | ✓ | ✓ | ✓ | $12.41 \pm 0.12$ | $14.80 \pm 0.18$ |
| Refinement | ✓ | ✓ | ✓ | $12.55 \pm 0.13$ | $14.51 \pm 0.19$ |
TABLE IV
THE IMPACT OF COLLISION LOSS FOR THE SV $(\mathrm{cm}^{3})$ OF THE ESTIMATED HAND MODEL
| SelfSup w/o $\mathcal{L}_{coll}$ | SelfSup | Refinement w/o $\mathcal{L}_{coll}$ | Refinement |
| SV | 16.65 $\pm$ 0.64 | 14.86 $\pm$ 0.32 | 16.3 $\pm$ 0.67 | 11.37 $\pm$ 0.28 |
该体积由任意两个不相邻的3D体素共享。如表IV所示，引入碰撞项能够显著减少估计手部模型的自相交体积（SV）。具体而言，若不采用碰撞损失，“SelfSup”和“Refinement”的SV分别会增加$1.79 \, cm^3$和$4.93 \, cm^3$。
4) 训练数据的影响：受先前研究[^30]、[^31]的启发，我们探讨了不同训练数据对网络性能的影响。首先，仅用测试样本进行训练，以检验自监督机制是否会使网络对训练数据产生过拟合现象。为简化实验，我们基于视角1的8252个测试样本进行训练，并报告视角1上的测试结果。随后，我们结合视角1的测试样本和训练样本进行训练。如表V所示，与先前研究[^30]、[^31]的结论相反，仅用测试样本训练（“SelfSup-Test”）的性能与仅用训练样本训练（“SelfSup”）的性能相当。尤其是MPE分支的结果提升了9.4%（从12.24毫米改善为11.09毫米）。我们还发现，通过测试样本训练后，PWE分支与MPE分支之间的性能差距明显缩小。
---
TABLE V
COMPARISON OF USING DIFFERENT TRAINING DATA. THE AJE (mm) OF THE PWE BRANCH AND THE MPE BRANCH ON NYU DATASET FOR VIEW 1 ARE LISTED IN THIS TABLE
| Name | Train Data | Test Data | Refinement | PWE | MPE |
| SelfSup | ✓ | | | $10.92 \pm 0.14$ | $12.24 \pm 0.12$ |
| SelfSup-Test | | ✓ | | $11.07 \pm 0.13$ | $11.09 \pm 0.13$ |
| SelfSup-Train-Test | ✓ | ✓ | | $10.88 \pm 0.06$ | $10.92 \pm 0.10$ |
| Refinement | ✓ | | ✓ | $10.45 \pm 0.09$ | $10.96 \pm 0.11$ |
| Refinement-Train-Test | ✓ | ✓ | ✓ | $10.43 \pm 0.07$ | $10.66 \pm 0.10$ |
TABLE VI
THE COMPARISON OF THE CAJE (mm) WITH UDA METHODS ON NYU DATASET
| CycleGAN | CyCADA | TASK-CYCLE | Synth-Trans | CCSSL | SelfSup |
| PWE | 17.31 \pm 0.43 | 18.37 \pm 0.57 | 16.37 \pm 0.18 | 15.50 \pm 0.51 | 13.86 \pm 0.24 | 12.79 \pm 0.13 |
| MPE | 28.44 \pm 0.71 | 27.30 \pm 0.41 | 23.38 \pm 0.40 | 21.93 \pm 0.55 | 17.59 \pm 0.32 | 16.03 \pm 0.17 |
这两项实验结果表明，即便训练数据有限，我们的自监督学习方法也能很好地拟合训练数据。毫无疑问，当使用合并后的训练集和测试集进行训练时，无论是单阶段还是两阶段网络，其性能都会进一步提升。
### D. 与UDA方法的比较
我们将我们的方法与一些相关的UDA方法进行比较，包括CyCADA [^79]、TASK-CYCLE [^80]和CCSSL [^89]。CyCADA通过任务损失来保持图像在翻译前后的语义一致性，并通过对抗损失实现特征层面的域适应。受CyCADA的启发，TASK-CYCLE在训练图像到图像的翻译网络时也加入了与任务相关的约束。此外，它们会迭代训练任务网络和图像到图像的翻译网络，以逐步提升这两个网络的性能。在实践中，我们选取手部姿态估计和手部模型估计作为目标任务，并进行了三次迭代。CCSSL是一种基于伪标注和自我训练的UDA方法。CCSSL通过一致性检查生成可靠的伪标签，这些一致性包括不变性一致性、等变性一致性和时间一致性。此外，CCSSL引入了课程学习的理念，逐步增加自我训练中伪标签的比例。为了公平比较，我们在这些方法中没有使用时间信息。另外，我们在CCSSL中采用“Synth-Trans”作为初始化模型，这显著提升了CCSSL的性能。如表VI所示，TASK-CYCLE的性能优于CycleGAN和CyCADA，但仍不及“Synth-Trans”。这证明了深度一致性损失和姿态引导的信息丢弃机制的有效性。与“Synth-Trans”相比，我们发现TASK-CYCLE的性能更加稳定，这可能是由于迭代训练机制所致。由于CCSSL在自我训练过程中没有利用深度数据的3D结构信息，尽管它采用了设计精良的一致性检查机制，其性能仍远逊于我们的方法。
### E. 与最先进方法的比较
在NYU数据集上，我们将我们的方法与大多数强监督的先进方法进行比较：基于回归且利用姿态先验的方法（DeepPrior）[^12]、采用反馈机制的基于回归的方法（Feedback）[^48]、应用李群理论的Lie-X方法[^8]、手部模型参数回归方法（DeepModel）[^50]、基于回归的3D卷积网络（3DCNN）[^13]、区域集成网络（REN-9 $\times$ 6 $\times$6）[^9]、基于姿态引导的分层REN（PoseREN）[^10]、基于点的回归方法（HandPointNet）[^14]、逐像素回归方法（DenseReg）[^18]、3D体素到体素估计网络（V2V）[^17]、从合成图像中提取特征映射的方法（FeatureMapping）[^71]、逐点回归网络（P2P）[^19]、改进版Feedback（Generalized-Feedback）[^49]、利用成对多视角图像的基于回归的方法（MURAUER）[^72]、多任务信息共享网络（CrossInfoNet）[^110]、基于自组织网络的基于点的方法（SO-HandNet）[^111]、锚点到关节回归网络（A2J）[^21]、自适应加权回归网络（AWR）[^20]以及采用图卷积的逐像素回归方法（JGR-P2O）[^59]。我们还将在我们所知范围内，将我们的方法与仅有的三种自监督方法进行比较，包括3D模型拟合方法（3D refine）[^29]、基于球面模型且使用单视角数据（SM-SV）及成对多视角数据（SM-MV）[^30]的方法，以及基于网格模型且使用单视角数据（MM-SV）及成对多视角数据（MM-MV）[^31]的方法。考虑到MANO模型与NYU数据集之间不同的关节配置，我们在比较时从14个关节中删除了两个腕关节和一个掌关节。对于自监督方法，由于它们未提供预测结果文件或源代码，我们无法重新计算其结果。因此，我们引用了它们原始论文中的结果。
如图8所示，在所有阈值下，我们的方法都大幅优于以往的自监督方法（SM-SV、MM-SV）。如表VII所示，与最先进的自监督方法相比，我们的方法将AJE降低了38.4%（10.45毫米对比16.96毫米）。与采用成对多视角数据的自监督方法（SM-MV和MM-MV）相比，我们的方法仍取得了最低的AJE（10.45毫米对比12.26毫米）。如图8所示，当误差阈值小于30毫米时，即便SM-MV和MM-MV额外使用了成对多视角数据，我们的方法仍优于这三种自监督方法。在五次实验中，PWE分支的最大AJE和最小AJE分别为10.55毫米和10.33毫米，而MPE分支的最大AJE和最小AJE分别为11.12毫米和10.80毫米。由于MANO模型与NYU数据集之间存在固有的关节位置偏差，我们的方法在第1视角下的表现不如某些监督方法。然而，对于未见过的第2和第3视角，即便存在关节偏差，DSF仍能将以往监督方法的AJE分别降低14.2%（从15.52毫米降至13.31毫米）和19.2%（从17.18毫米降至13.89毫米）。同时，当误差阈值大于20毫米时，DSF的SR显著高于其他监督方法。这证明了我们的方法对未见过的相机视角具有良好的泛化能力。
---
View1
View2
View3
Fig. 8. Comparison of DSF with state-of-the-art methods. The proportions of good frames over different thresholds on the NYU dataset for the three views. $^{*}$ means this method is implemented by ourselves. The AJE are presented in parentheses.
TABLE VII
THE COMPARISON OF THE AJE (mm) WITH STATE-OF-THE-ART METHODS ON NYU DATASET
| Method | Publication | AJE |
| Supervised Method |
| DeepPrior [^12] | ICCVW'15 | 21.67 |
| Feedback [^48] | ICCV'16 | 17.94 |
| Lie-X [^8] | IJCV'17 | 19.21 |
| DeepModel [^50] | IJCAI'16 | 16.39 |
| 3DCNN [^53] | CVPR'17 | 15.10 |
| REN-9 $\times$6 $\times$6 [^9] | ICIP'17 | 13.13 |
| Pose-REN [^10] | Neurocomputing'18 | 12.05 |
| HandPointNet [^14] | CVPR'18 | 11.02 |
| DenseReg [^18] | CVPR'18 | 9.60 |
| V2V [^17] | CVPR'18 | 8.43 |
| FeatureMapping [^71] | CVPR'18 | 7.44 |
| P2P [^19] | ECCV'18 | 9.30 |
| Generalized-Feedback [^49] | TPAMI'19 | 12.10 |
| MURAUER [^72] | WACV'19 | 10.23 |
| CrossInfoNet [^110] | CVPR'19 | 10.43 |
| SRN [^52] | BMVC'19 | 7.95 |
| A2J [^21] | ICCV'19 | 8.61 |
| SO-HandNet [^111] | ICCV'19 | 11.20 |
| AWR [^20] | AAAI'20 | 7.53 |
| JGR-P2O [^59] | ECCV'20 | 8.23 |
| Self-supervised Method |
| SM-SV [^30] | CVPR'19 | 17.79 |
| SM-MV [^30] | CVPR'19 | 12.26 |
| MM-SV [^31] | ECCV'20 | 16.96 |
| MM-MV [^31] | ECCV'20 | 13.09 |
| DSF-MPE | | 10.45 $\pm$ 0.09 |
| DSF-PWE | | 10.96 $\pm$ 0.11 |
### F. 与手势识别领域最先进方法的比较
准确且稳健的3D手部姿态估计在人体意图理解和分析（如手势识别）中发挥着重要作用。在本节中，我们采用DSF对手势识别数据集SHREC和DHG进行自监督学习，并为这两个数据集重新生成3D骨骼坐标。我们以基于骨骼的SOTA手势识别方法DG-STA [^6]作为基线模型，使用由DSF生成的3D骨骼坐标进行训练和测试。如表VIII所示，使用DSF生成的3D骨骼坐标能够显著提高这两个数据集上的手势识别准确率。对于SHREC数据集，DG-STA-DSF在14种手势协议下达到96.8%，在28种手势协议下达到95.0%。
Fig. 9. Qualitative results for NYU, ICVL, and MSRA datasets from top to bottom. The number represents the frame ID in the test set for NYU, ICVL, and MSRA datasets.
对于DHG数据集，DG-STA-DSF在14种手势协议下达到96.3%，在28种手势协议下达到95.9%。尤其是在最具挑战性的场景下，即DHG的28种手势协议下，DG-STA-DSF相比之前的SOTA手势识别方法HPEV [^5]提升了7个百分点。这表明我们的方法能生成比Intel RealSense SDK更精确的骨骼信息。这也证明了准确的3D姿态结果对于基于骨骼的手势识别的重要性。
同时，我们采用一种SOTA的受监督3D手部姿态估计算法（AWR）为SHREC和DHG数据集重新生成3D骨骼坐标。具体而言，我们以ResNet-50作为骨干网络，并在BigHand 2.2M手部数据集 [^25]上进行受监督训练。如表VIII所示，我们的方法始终优于DG-STA-AWR，尤其是在更具挑战性的DHG数据集上。这反映了我们方法的优越性，即它能够快速高效地估计新场景下的手部姿态，例如新的深度相机、视角和受试者。
---
Fig. 10. Qualitative results for testing in real scenarios on different subjects with different hand sizes and hand poses. For each subject, the first line is the depth images captured by the KinectV2; the second line is the cropped hand depth images and the estimated hand pose; the third line is the estimated hand mesh.
TABLE VIII
THE COMPARISON OF THE RECOGNITION ACCURACY (%) WITH THE SOTA APPROACHES ON SHREC AND DHG DATASETS. THE UPWARD ARROWS REPRESENT THE IMPROVEMENT COMPARED TO DG-STA
| Method | Modality | SHREC | DHG |
| 14 | 28 | 14 | 28 |
| PointLSTM [^112] | Point clouds | 95.9 | 94.7 | - | - |
| Res-TCN [^2] | Skeleton | 91.1 | 87.3 | 86.9 | 83.6 |
| ST-GCN [^3] | Skeleton | 92.7 | 87.7 | 91.2 | 87.1 |
| STA-Res-TCN [^2] | Skeleton | 93.6 | 90.7 | 89.2 | 85.0 |
| ST-TS-HGR-NET [^4] | Skeleton | 94.3 | 89.4 | 87.3 | 83.4 |
| HPEV [^5] | Skeleton | 94.9 | 92.3 | 92.5 | 88.9 |
| DG-STA [^6] | Skeleton | 94.4 | 90.7 | 91.9 | 88.0 |
| DG-STA-AWR | Skeleton | 96.3 \uparrow 1.9 | 93.3 \uparrow 2.6 | 94.5 \uparrow 2.6 | 92.1 \uparrow 4.1 |
| DG-STA-DSF | Skeleton | 96.8 \uparrow 2.4 | 95.0 \uparrow 4.3 | 96.3 \uparrow 4.4 | 95.9 \uparrow 7.9 |
### G. 定性结果与运行时间
图9展示了NYU、ICVL和MSRA数据集的一些定性结果。从NYU的估计结果可以看出，当手指紧密接触时（如握拳[^3361]和手指并拢[^3993]），DSF能够保持手部姿态的合理性。同时，DSF对极端视角[^609] [^4606]和深度空洞[^1194] [^4329]具有鲁棒性。尽管缺失区域的预测结果与真实值并不完全一致，但仍是合理的。对于一些复杂的姿态[^5027] [^7122] [^6817]，DSF也能预测出准确的手部姿态。但在部分深度信息缺失的复杂姿态情况下[^6828]，我们的方法会失效。对于ICVL和MSRA数据集，我们发现DSF能够为标记错误的样本产生更准确、更合理的结果。我们还提供了补充视频，以便在整个测试集上完整对比我们的结果与标注结果。我们还在Kinect V2的真实场景中评估了该方法。如图10所示，我们在五名受试者身上进行了实验，包括四名男性和一名女性，他们的手尺寸和手部姿态各不相同。可以看出，我们的方法能够适应不同的手部姿态和手尺寸。该实验进一步证明了我们的方法在新场景下的卓越泛化能力。
在测试过程中，我们的模型可以针对不同计算设备和不同场景自由切换。具体来说，当我们仅需3D手部姿态时，可以仅采用PWE分支。此时，在NVIDIA RTX 3090 GPU上，该方法在批量大小为1的情况下可达到200 FPS。当我们同时需要3D手部姿态和网格时，可同时使用两个分支，此时该方法仍能达到105 FPS。当我们需要更精确的姿态和网格结果（如为其他任务生成标注）时，可采用细化阶段，此时该方法仍能达到27 FPS。
### 五、结论
在本文中，我们提出了一种双分支自增强框架（DSF），无需使用任何标注的真实数据即可实现精确、鲁棒且灵活的3D手部姿态与模型估计。首先，我们提出了一种图像到图像的转换技术，用于缩小合成数据与真实数据之间的域差异，从而显著提升了网络预训练的效果。其次，我们提出了一种双分支自增强网络，能够同时保证3D姿态估计的精度以及3D手部模型估计的鲁棒性与灵活性。通过分支间损失与部件感知的模型拟合损失，我们充分挖掘了双分支结构的优势。在无标注的真实数据上进行自监督训练时，这两个分支能够持续相互促进。最后，我们采用了精细化阶段来更好地利用手部模型的先验结构信息，进一步提升了估计的精度与鲁棒性。我们的方法取得了与最先进的完全监督方法相当的结果，且展现出更好的泛化性能。相较于以往无需配对多视角图像的自监督方法，我们的方法表现更优。此外，我们的方法大幅提升了基于骨骼的手势识别精度，这表明该方法在下游任务中具有强大的应用潜力。
## 参考文献
[^1]: Q. Xiao, M. Qin, and Y. Yin, “Skeleton-based Chinese sign language recognition and generation for bidirectional communication between deaf and hearing people,” Neural Netw., vol. 125, pp. 41–55, May 2020.
[^2]: J. Hou, G. Wang, X. Chen, J.-H. Xue, R. Zhu, and H. Yang, “Spatial-temporal attention Res-TCN for skeleton-based dynamic hand gesture recognition,” in Proc. Eur. Conf. Comput. Workshops, 2018, pp. 1–15.
[^3]: S. Yan, Y. Xiong, and D. Lin, “Spatial temporal graph convolutional networks for skeleton-based action recognition,” in Proc. AAAI Conf. Artif. Intell., 2018, pp. 7444–7452.
## [^4]: X. S. Nguyen, L. Brun, O. Lezoray, and S. Bougleux, “A neural network based on SPD manifold learning for skeleton-based hand gesture recognition,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 12036–12045
---
[^5]: J. Liu, Y. Liu, Y. Wang, V. Prinet, S. Xiang, and C. Pan, "Decoupled representation learning for skeleton-based gesture recognition," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 5751–5760.
[^6]: Y. Chen, L. Zhao, X. Peng, J. Yuan, and D. N. Metaxas, “Construct dynamic graphs for hand gesture recognition via spatial-temporal attention,” in Proc. Brit. Mach. Vis. Conf., 2019, pp. 1–13.
[^7]: D. Tang, H. J. Chang, A. Tejani, and T.-K. Kim, "Latent regression forest: Structured estimation of 3D articulated hand posture," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 3786–3793.
[^8]: C. Xu, L. N. Govindarajan, Y. Zhang, and L. Cheng, “Lie-X: Depth image based articulated object pose estimation, tracking, and action recognition on lie groups,” Int. J. Comput. Vis., vol. 123, no. 3, pp. 454–478, Jul. 2017.
[^9]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang, “Region ensemble network: Improving convolutional network for hand pose estimation,” in Proc. IEEE Int. Conf. Image Process. (ICIP), Sep. 2017, pp. 4512–4516.
[^10]: X. Chen, G. Wang, H. Guo, and C. Zhang, “Pose guided structured region ensemble network for cascaded hand pose estimation,” Neurocomputing, vol. 395, pp. 138–149, Jun. 2020.
[^11]: M. Oberweger and V. Lepetit, "DeepPrior++: Improving fast and accurate 3D hand pose estimation," in Proc. IEEE Int. Conf. Comput. Vis. Workshops (ICCVW), Oct. 2017, pp. 585–594.
[^12]: M. Oberweger, P. Wohlhart, and V. Lepetit, “Hands deep in deep learning for hand pose estimation,” in Proc. Comput. Vis. Winter Workshop, 2015, pp. 21–30.
[^13]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, “Real-time 3D hand pose estimation with 3D convolutional neural networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 4, pp. 956–970, Apr. 2019.
[^14]: L. Ge, Y. Cai, J. Weng, and J. Yuan, "Hand PointNet: 3D hand pose estimation using point sets," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 8417–8426.
[^15]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin, “Real-time continuous pose recovery of human hands using convolutional networks,” ACM Trans. Graph., vol. 33, no. 5, pp. 169:1–169:10, Sep. 2014.
[^16]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "Robust 3D hand pose estimation in single depth images: From single-view CNN to multi-view CNNs," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 3593–3601.
[^17]: J. Y. Chang, G. Moon, and K. M. Lee, "V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5079–5088.
[^18]: C. Wan, T. Probst, L. V. Gool, and A. Yao, “Dense 3D regression for hand pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5147–5156.
[^19]: L. Ge, Z. Ren, and J. Yuan, “Point-to-point regression PointNet for 3D hand pose estimation,” in Proc. Eur. Conf. Comput. Vision (ECCV), Sep. 2018, pp. 475–491.
[^20]: W. Huang, P. Ren, J. Wang, Q. Qi, and H. Sun, “AWR: Adaptive weighting regression for 3D hand pose estimation,” in Proc. AAAI Conf. Artif. Intell., 2020, pp. 11061–11068.
[^21]: F. Xiong et al., “A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 793–802.
[^22]: X. Deng et al., “Weakly supervised learning for single depth-based hand shape recovery,” IEEE Trans. Image Process., vol. 30, pp. 532–545, 2021.
[^23]: J. Malik et al., “DeepHPS: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth,” in Proc. Int. Conf. 3D Vis. (3DV), Sep. 2018, pp. 110–119.
[^24]: J. Malik et al., “HandVoxNet: Deep voxel-based network for 3D hand shape and pose estimation from a single depth map,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 7113–7122.
[^25]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim, "BigHand2.2 M benchmark: Hand pose dataset and state of the art analysis," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jul. 2017, pp. 4866–4874.
[^26]: J. Wang, F. Mueller, F. Bernard, and C. Theobalt, “Generative model-based loss to the rescue: A method to overcome annotation errors for depth-based hand pose estimation,” in Proc. 15th IEEE Int. Conf. Autom. Face Gesture Recognit. (FG), Nov. 2020, pp. 93–100.
[^27]: J. S. Supancic, G. Rogez, Y. Yang, J. Shotton, and D. Ramanan, “Depth-based hand pose estimation: Data, methods, and challenges,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1868–1876.
[^28]: M. Oberweger, G. Riegler, P. Wohlhart, and V. Lepetit, "Efficiently creating 3D training data for fine-hand pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 4957–4965.
[^29]: E. Dibra, T. Wolf, C. Oztireli, and M. Gross, “How to refine 3D hand pose estimation from unlabelled depth data?” in Proc. Int. Conf. 3D Vis. (3DV), Oct. 2017, pp. 135–144.
[^30]: C. Wan, T. Probst, L. Van Gool, and A. Yao, “Self-supervised 3D hand pose estimation through training by fitting,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10853–10862.
[^31]: C. Wan, T. Probst, L. Van Gool, and A. Yao, “Dual grid net: Hand mesh vertex regression from single depth maps,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 442–459.
[^32]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun, "Cascaded hand pose regression," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 824–832.
[^33]: Q. De Smedt, H. Wannous, J.-P. Vandeborre, J. Guerry, B. Le Saux, and D. Filliat, “SHREC'17 track: 3D hand gesture recognition using a depth and skeletal dataset,” in Proc. 10th Eurograph. Workshop 3D Object Retr., 2017, pp. 1–6.
[^34]: Q. De Smedt, H. Wannous, and J.-P. Vandeborre, “Skeleton-based dynamic hand gesture recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2016, pp. 1–9.
[^35]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun, “Realtime and robust hand tracking from depth,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 1106–1113.
[^36]: A. Tkach, M. Pauly, and A. Tagliasacchi, “Sphere-meshes for real-time hand modeling and tracking,” ACM Trans. Graph., vol. 35, no. 6, pp. 222:1–222:11, 2016.
[^37]: T. Sharp et al., “Accurate, robust, and flexible real-time hand tracking,” in Proc. 33rd Annu. ACM Conf. Hum. Factors Comput. Syst., Apr. 2015, pp. 3633–3642.
[^38]: S. Khamis, J. Taylor, J. Shotton, C. Keskin, S. Izadi, and A. Fitzgibbon, “Learning an efficient model of hand shape variation from depth images,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 2540–2548.
[^39]: J. Taylor et al., “Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences,” ACM Trans. Graph., vol. 35, no. 4, pp. 143:1–143:12, 2016.
[^40]: M. Ye and R. Yang, “Real-time simultaneous pose and shape estimation for articulated objects using a single depth camera,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 2345–2352.
[^41]: S. Sridhar, F. Mueller, A. Oulasvirta, and C. Theobalt, "Fast and robust hand tracking using detection-guided optimization," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 3213–3221.
[^42]: I. Oikonomidis, N. Kyriazis, and A. Argyros, “Efficient model-based 3D tracking of hand articulations using Kinect,” in Proc. Brit. Mach. Vis. Conf., 2011, pp. 1–11.
[^43]: A. Tagliasacchi, M. Schröder, A. Tkach, S. Bouaziz, M. Botsch, and M. Pauly, "Robust articulated-ICP for real-time hand tracking," Comput. Graph. Forum, vol. 34, no. 5, pp. 101–114, 2015.
[^44]: L. Ballan, A. Taneja, J. Gall, L. Van Gool, and M. Pollefeys, “Motion capture of hands in action using discriminative salient points,” in Proc. Eur. Conf. Comput. Vis., 2012, pp. 640–653.
[^45]: M. de La Gorce, D. J. Fleet, and N. Paragios, “Model-based 3D hand pose estimation from monocular video,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 33, no. 9, pp. 1793–1805, Sep. 2011.
[^46]: D. Tang, T.-H. Yu, and T.-K. Kim, “Real-time articulated hand pose estimation using semi-supervised transductive regression forests,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2013, pp. 3224–3231.
[^47]: H. Liang, J. Yuan, J. Lee, L. Ge, and D. Thalmann, “Hough forest with optimized leaves for global hand pose estimation with arbitrary postures,” IEEE Trans. Cybern., vol. 49, no. 2, pp. 527–541, Feb. 2019.
[^48]: M. Oberweger, P. Wohlhart, and V. Lepetit, "Training a feedback loop for hand pose estimation," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 3316–3324.
[^49]: M. Oberweger, P. Wohlhart, and V. Lepetit, "Generalized feedback loop for joint hand-object pose estimation," IEEE Trans. Pattern Anal. Mach. Intell., vol. 42, no. 8, pp. 1898–1912, Aug. 2020.
[^50]: X. Zhou, Q. Wan, W. Zhang, X. Xue, and Y. Wei, “Model-based deep hand pose estimation,” in Proc. Int. Joint Conf. Artif. Intell., 2016, pp. 2421–2427.
## [^51]: Y. Zhou, J. Lu, K. Du, X. Lin, Y. Sun, and X. Ma, “HBE: Hand branch ensemble network for real-time 3D hand pose estimation,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2018, pp. 501–516
---
[^52]: P. Ren, H. Sun, Q. Qi, J. Wang, and W. Huang, “SRN: Stacked regression network for real-time 3D hand pose estimation,” in Proc. Brit. Mach. Vis. Conf., 2019, p. 112.
[^53]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "3D convolutional neural networks for efficient and robust hand pose estimation from single depth images," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 1991–2000.
[^54]: L. Huang, J. Tan, J. Liu, and J. Yuan, “Hand-transformer: Non-autoregressive structured modeling for 3D hand pose estimation,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 17–33.
[^55]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, “Robust 3D hand pose estimation from single depth images using multi-view CNNs,” IEEE Trans. Image Process., vol. 27, no. 9, pp. 4422–4436, Sep. 2018.
[^56]: X. Chen, G. Wang, C. Zhang, T.-K. Kim, and X. Ji, "SHPR-NET: Deep semantic hand pose regression from point clouds," IEEE Access, vol. 6, pp. 43425–43439, 2018.
[^57]: S. Li and D. Lee, "Point-to-pose voting based hand pose estimation using residual permutation equivariant layer," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 11927–11936.
[^58]: X. Zhang and F. Zhang, “Differentiable spatial regression: A novel method for 3D hand pose estimation,” IEEE Trans. Multimedia, vol. 24, pp. 166–176, 2022.
[^59]: L. Fang, X. Liu, L. Liu, H. Xu, and W. Kang, "JGR-P2O: Joint graph reasoning based pixel-to-offset prediction network for 3D hand pose estimation from a single depth image," in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 120–137.
[^60]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt, “Real-time joint tracking of a hand manipulating an object from RGB-D input,” in Proc. Eur. Conf. Comput. Vis., 2016, pp. 294–310.
[^61]: L. Ge et al., "3D hand shape and pose estimation from a single RGB image," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10833–10842.
[^62]: A. Boukhayma, R. de Bem, and P. H. S. Torr, "3D hand shape and pose from images in the wild," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10843–10852.
[^63]: Y. Zhou, M. Habermann, W. Xu, I. Habibie, C. Theobalt, and F. Xu, “Monocular real-time hand shape and motion capture using multi-modal data,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 5346–5355.
[^64]: J. Wang et al., “RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video,” ACM Trans. Graph., vol. 39, no. 6, pp. 1–16, Dec. 2020.
[^65]: Y. Chen et al., “Joint hand-object 3D reconstruction from a single image with cross-branch feature fusion,” IEEE Trans. Image Process., vol. 30, pp. 4008–4021, 2021.
[^66]: S. Baek, K. I. Kim, and T.-K. Kim, "Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 1067–1076.
[^67]: Y. Cai, L. Ge, J. Cai, and J. Yuan, “Weakly-supervised 3D hand pose estimation from monocular RGB images,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2018, pp. 666–682.
[^68]: X. Deng et al., “Hand pose understanding with large-scale photo-realistic rendering dataset,” IEEE Trans. Image Process., vol. 30, pp. 4275–4290, 2021.
[^69]: C. Wan, T. Probst, L. Van Gool, and A. Yao, “Crossing nets: Combining GANs and VAEs with a shared latent space for hand pose estimation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 680–689.
[^70]: M. Abdi, E. Abbasnejad, C. P. Lim, and S. Nahavandi, “3D hand pose estimation using simulation and partial-supervision with a shared latent space,” in Proc. Brit. Mach. Vis. Conf., 2018, pp. 1–17.
[^71]: M. Rad, M. Oberweger, and V. Lepetit, "Feature mapping for learning fast and accurate 3D pose inference from synthetic images," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4663–4672.
[^72]: G. Poier, M. Opitz, D. Schinagl, and H. Bischof, “MURAUER: Mapping unlabeled real data for label AUstERity,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2019, pp. 1393–1402.
[^73]: A. Shrivastava, T. Pfister, O. Tuzel, J. Susskind, W. Wang, and R. Webb, “Learning from simulated and unsupervised images through adversarial training,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2107–2116.
[^74]: F. Mueller et al., “Ganerated hands for real-time 3D hand tracking from monocular RGB,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 49–59.
[^75]: L. Chen et al., “TAGAN: Tonality-alignment generative adversarial networks for realistic hand pose synthesis,” in Proc. Brit. Mach. Vis. Conf., 2019, pp. 1–15.
[^76]: Z. Wu et al., “MM-Hand: 3D-aware multi-modal guided hand generation for 3D hand pose synthesis,” in Proc. 28th ACM Int. Conf. Multimedia, Oct. 2020, pp. 2508–2516.
[^77]: J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 2223–2232.
[^78]: K. Bousmalis, N. Silberman, D. Dohan, D. Erhan, and D. Krishnan, “Unsupervised pixel-level domain adaptation with generative adversarial networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 3722–3731.
[^79]: J. Hoffman et al., "CyCADA: Cycle-consistent adversarial domain adaptation," in Proc. Int. Conf. Mach. Learn., 2018, pp. 1989–1998.
[^80]: M. Qi, E. Remelli, M. Salzmann, and P. Fua, “Unsupervised domain adaptation with temporal-consistent self-training for 3D hand-object joint reconstruction,” 2020, arXiv:2012.11260.
[^81]: Y. Li, L. Yuan, and N. Vasconcelos, “Bidirectional learning for domain adaptation of semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 6936–6945.
[^82]: M. Long, Y. Cao, J. Wang, and M. Jordan, “Learning transferable features with deep adaptation networks,” in Proc. Int. Conf. Mach. Learn., 2015, pp. 97–105.
[^83]: E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell, “Adversarial discriminative domain adaptation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 7167–7176.
[^84]: Y. Ganin et al., “Domain-adversarial training of neural networks,” J. Mach. Learn. Res., vol. 17, no. 1, pp. 2030–2096, Jan. 2016.
[^85]: Y.-H. Tsai, W.-C. Hung, S. Schulter, K. Sohn, M.-H. Yang, and M. Chandraker, “Learning to adapt structured output space for semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 7472–7481.
[^86]: Y. Luo, L. Zheng, T. Guan, J. Yu, and Y. Yang, "Taking a closer look at domain shift: Category-level adversaries for semantics consistent domain adaptation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 2507–2516.
[^87]: J. Liang, R. He, Z. Sun, and T. Tan, “Exploring uncertainty in pseudo-label guided unsupervised domain adaptation,” Pattern Recognition., vol. 96, Dec. 2019, Art. no. 106996.
[^88]: Q. Wang and T. Breckon, “Unsupervised domain adaptation via structured prediction based selective pseudo-labeling,” in Proc. AAAI Conf. Artif. Intell., 2020, vol. 34, no. 4, pp. 6243–6250.
[^89]: J. Mu, W. Qiu, G. D. Hager, and A. L. Yuille, “Learning from synthetic animals,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 12386–12395.
[^90]: Z. Zheng and Y. Yang, "Rectifying pseudo label learning via uncertainty estimation for domain adaptive semantic segmentation," Int. J. Comput. Vis., vol. 129, no. 4, pp. 1106–1120, 2021.
[^91]: Y. Zhang, P. David, H. Foroosh, and B. Gong, “A curriculum domain adaptation approach to the semantic segmentation of urban scenes,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 42, no. 8, pp. 1823–1841, Aug. 2020.
[^92]: F. Pan, I. Shin, F. Rameau, S. Lee, and I. S. Kweon, “Unsupervised intra-domain adaptation for semantic segmentation through self-supervision,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 3764–3773.
[^93]: Y. Sun, E. Tzeng, T. Darrell, and A. A. Efros, “Unsupervised domain adaptation through self-supervision,” 2019, arXiv:1909.11825.
[^94]: L. Jing and Y. Tian, “Self-supervised visual feature learning with deep neural networks: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 11, pp. 4037–4058, Nov. 2020.
[^95]: J. N. Kundu, S. Seth, V. Jampani, M. Rakesh, R. V. Babu, and A. Chakraborty, “Self-supervised 3D human pose estimation via part guided novel image synthesis,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 6152–6162.
[^96]: A. Tewari et al., “Self-supervised multi-level face model learning for monocular reconstruction at over 250 Hz,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 2549–2559.
## [^97]: G. Wang, F. Manhardt, J. Shao, X. Ji, N. Navab, and F. Tombari, “Self6D: Self-supervised monocular 6D object pose estimation,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 108–125
---
[^98]: H.-Y. Tung, H.-W. Tung, E. Yumer, and K. Fragkiadaki, “Self-supervised learning of motion capture,” in Proc. Adv. Neural Inf. Process. Syst., vol. 30, 2017, pp. 1–11.
[^99]: Y. Chen, F. Wu, Z. Wang, Y. Song, Y. Ling, and L. Bao, “Self-supervised learning of detailed 3D face reconstruction,” IEEE Trans. Image Process., vol. 29, pp. 8696–8705, 2020.
[^100]: Y. Wen, W. Liu, B. Raj, and R. Singh, “Self-supervised 3D face reconstruction via conditional estimation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 13289–13298.
[^101]: F. Manhardt et al., “CPS++: Improving class-level 6D pose and shape estimation from monocular images with self-supervised learning,” 2020, arXiv:2003.05848.
[^102]: Y. Chen et al., “Model-based 3D hand reconstruction via self-supervised learning,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 10451–10460.
[^103]: C. Xu, A. Nanjappa, X. Zhang, and L. Cheng, “Estimate hand poses efficiently from single depth images,” Int. J. Comput. Vis., vol. 116, no. 1, pp. 21–45, Jan. 2016.
[^104]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graph., vol. 36, no. 6, pp. 245:1–245:17, 2017.
[^105]: A. Armagan et al., “Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3D hand pose estimation under hand-object interaction,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 85–101.
[^106]: N. Ravi et al., “Accelerating 3D deep learning with PyTorch3D,” 2020, arXiv:2007.08501.
[^107]: B. Xiao, H. Wu, and Y. Wei, “Simple baselines for human pose estimation and tracking,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2018, pp. 466–481.
[^108]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2015, arXiv:1412.6980.
[^109]: I. Loshchilov and F. Hutter, "Decoupled weight decay regularization," in Proc. Int. Conf. Learn. Represent., 2019, pp. 1–19.
[^110]: K. Du, X. Lin, Y. Sun, and X. Ma, “CrossInfoNet: Multi-task information sharing based hand pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 9896–9905.
[^111]: Y. Chen, Z. Tu, L. Ge, D. Zhang, R. Chen, and J. Yuan, “SO-HandNet: Self-organizing network for 3D hand pose estimation with semi-supervised learning,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 6961–6970.
[^112]: Y. Min, Y. Zhang, X. Chai, and X. Chen, "An efficient PointLSTM for point clouds based gesture recognition," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 5761–5770.
任鹏飞于2018年从北京邮电大学获得学士学位，目前在该校攻读博士学位。他的研究方向包括深度学习、手部姿态估计和手势识别。
郝家昌于2018年从北京邮电大学获得学士学位，目前在该校攻读硕士学位。他的研究方向包括视频理解、动作识别和物体检测。
齐琪（IEEE高级会员）于2010年从北京邮电大学获得博士学位。她目前是北京邮电大学网络与交换技术国家重点实验室的副教授。她已在国际期刊上发表30余篇论文，并两次获得国家自然科学基金资助。她的研究方向包括泛在服务、深度学习、迁移学习、深度强化学习、边缘计算以及物联网。
王京宇（IEEE高级会员）于2008年在北京邮电大学获得博士学位。他目前是北京邮电大学网络与交换技术国家重点实验室的教授。他曾四次获得国家自然科学基金奖。他在国际期刊和知名会议上发表了50多篇论文，包括《IEEE Communications Magazine》（COMM）、《IEEE Transactions on Services Computing》（TSC）、《IEEE Transactions on MultiMedia》（TMM）、《IEEE Transactions on Cloud Computing》（TCC）、《IEEE Transactions on Audio, Speech, and Language Processing》（TASLP）、《IEEE Transactions on Emerging Topics in Computing》（TETC）、《IEEE Computer Vision and Pattern Recognition》（CVPR）、美国人工智能协会会议（AAAI）、计算语言学协会会议（ACL）以及国际数据工程会议（ICDE）。他的主要研究方向涵盖智能网络、边缘计算、机器学习、知识定义网络、车联网以及基于意图的网络等多个领域。
孙海峰于2017年在北京邮电大学获得博士学位。他目前是北京邮电大学的讲师。他的研究兴趣包括数据挖掘、信息检索以及下一代网络。
廖建新于1996年在中国电子科技大学获得博士学位。他目前担任网络智能研究中心主任，同时也是北京邮电大学网络与交换技术国家重点实验室的全职教授。他发表了100多篇研究论文并出版了多部著作，还获得了数十项发明专利。他曾荣获多项奖项，包括2005年国家自然科学基金委颁发的“杰出青年科学基金”以及2009年中国教育部授予的“长江学者特聘教授”称号。他的主要创新性贡献包括移动智能网络、服务网络智能化、网络体系结构与协议以及多媒体通信。这些成果分别于2004年和2009年两次获得“国家科学技术进步奖”。