文章 # 基于深度学习的3D手部姿态估计方法综合研究 Theocharis Chatzis*，$^{\dagger}$博士，Andreas Stergioulas*，$^{\dagger}$博士，Dimitrios Konstantinidis $^{\textregistered}$，Kosmas Dimitropoulos $^{\textregistered}$博士以及Petros Daras 希腊塞萨洛尼基市57001，希腊研究与技术中心信息技术研究所视觉计算实验室（CERTH/ITI Hellas）；（D.K.）；（K.D.）；（P.D.） - 通讯作者：（T.C.）；（A.S.） † 上述作者对本研究贡献相同。 收稿日期：2020年9月8日；录用日期：2020年9月25日；发表日期：2020年9月30日 ![Image](images/1649335f356daf6fea0c6ee49fd4d3450d47781da1bb35ebc8f982ad65858f17.jpg) 摘要：近年来，3D手部姿态估计领域受到了广泛关注，因为它在诸多需要人机交互（HCI）的应用中具有重要意义。成本较低的深度相机等技术进步，加上深度神经网络（DNNs）的迅猛发展，极大地推动了鲁棒的无标记3D手部姿态估计方法的开发。不过，手指遮挡和快速运动仍然对这类方法的精度构成重大挑战。在本综述中，我们对文献中最具代表性的基于深度学习的方法进行了全面研究，并提出了一种全新的分类方式，该分类主要依据输入数据的类型，即RGB数据、深度数据或多模态信息。最后，我们在最流行的基于RGB和深度的数据集上展示了相关结果，并探讨了这一快速发展领域的潜在研究方向。 关键词：计算机视觉；深度学习；神经网络；3D手部姿态估计 ## 1. 引言 无标记手部姿态估计可以定义为：给定RGB图像和/或来自深度相机的体积数据，预测手部和手指相对于某一坐标系的位置与朝向的任务。它是创建沉浸式虚拟与增强现实（VR/AR）系统、高效基于手势的人机交互（HCI）系统以及3D人形重建系统的重要研究课题，甚至是基础课题[^1] [^2] [^3] [^4]。精准的手部姿态估计能够提升VR系统中的用户体验，实现逼真且合理的虚拟手部动作；同时也有助于更好地理解智能HCI系统中的人类行为[^5] [^6] [^7] [^8]，从而实现用户与智能系统之间更智能的交互。除了上述应用外，手部姿态估计在许多其他任务中也至关重要，例如手势识别[^9] [^10]、动作识别[^11] [^12]、运动障碍患者辅助系统[^13]、手语识别[^14] [^15] [^16] [^17] [^18]以及表征[^19]。尤其是在手语识别领域，精准的手部姿态估计有助于促进社会包容，提升聋人群体的可及性。 尽管手部姿态估计技术取得了快速进展，但由于硬件限制以及手部生理结构带来的约束，它仍是一项具有独特特性和难点的挑战性任务。在实施无标记手部姿态估计方法时，面临的最重要的挑战如下： --- - 关节活动度高：人类手部拥有超过20个自由度（DOF）[^20]，因此为了准确建模手部的复杂性以及手指运动，需要大量参数。 - 遮挡问题：在做出手势的过程中，同一只手的手指可能会相互遮挡，或被其他身体部位或物体遮挡。这可能会导致手部某些部分被隐藏，或者不同手指被错误地推断在同一位置。 - 分辨率低：如果手部并非拍摄焦点，或者摄像头与手之间有一定距离，那么手部乃至手指在RGB图像或深度图中所占的面积都很小。此外，摄像头技术的局限性（如镜头分辨率、深度感知能力）可能导致数据不准确，进一步阻碍手部姿态估计方法的成效。 标注数据：创建带标注的3D数据是一项成本高昂且耗时的工作。为了获取精确的3D数据，需要使用昂贵的基于标记的动作捕捉系统，或是大规模多视角摄像装置[^21]。 - 手部及手指运动速度快：通常，手部运动具有高度非单调性，包含极快的运动、突然停止以及其他身体部位所没有的关节旋转。目前，大多数常规深度摄像头和RGB摄像头虽能支持每秒30到60帧的拍摄速率，但仍不足以捕捉手部运动的速度，从而导致画面模糊或连续帧不相关。 近年来，神经网络在计算机视觉任务中的应用——如图像分类[^22] [^23]、物体检测[^24] [^25]、语义分割[^26] [^27]、人体姿态估计[^28] [^29]、移动机器人相机校准、导航及增强现实[^30]等——在这些任务中均取得了最先进的成果。此外，近期出现的端到端深度神经网络（DNN），例如卷积神经网络（CNN）[^31]、循环神经网络（RNN）[^32]、自编码器[^33]以及生成对抗网络（GAN）[^34]，已被证明能够比以往的手工设计技术从现有数据中提取出更有意义的特征。这类网络的应用进一步提升了处理复杂数据（如RGB图像）的方法的性能。因此，借助神经网络，手部姿态估计技术也取得了快速进步[35–37]。例如，手部姿态估计的一项基本难题——手部定位问题，就因DNN的应用而得到缓解[^38]。此外，DNN还使得从RGB图像和视频中进行3D手部姿态估计成为可能，且近期的方法已更接近于实际应用场景，而以往的方法则局限于深度数据，且针对每个特定数据集都需要进行次优的调整。 与现有仅关注基于深度的方法的综述论文不同[^39] [^40]，本文对近期基于DNN的3D手部姿态估计方法进行了全面研究，涵盖了基于深度、基于RGB以及多模态方法。具体而言，我们的贡献可总结如下： 我们全面概述了现代深度学习在3D手部姿态估计中的应用，同时简要介绍了早期的机器学习方法以供参考。对于所介绍的每项研究工作，我们都描述了其提出的方法和网络架构。 我们提出了一种新的分类法，以便更好地对基于深度学习的3D手部姿态估计方法进行分类和展示。具体而言，本文采用了以下三类方法：基于RGB的方法、基于深度的方法以及多模态方法。 - 我们介绍了研究界使用的重要数据集，以及每个数据集上的最新研究成果。 - 我们总结了相关结论，并针对数据集和模型架构提出了可能的未来研究方向。 --- 为了梳理相关文献，我们使用了以下数字图书馆：IEEEExplore、Springer(link)、arxiv.org以及谷歌学术搜索引擎。本文所选研究工作的筛选标准如下：(a) 涉及3D手部姿态估计的文献（排除2D方法），(b) 基于单视角相机设置的研究（排除多视角相机设置），(c) 2014年至2020年7月期间发表的基于深度学习的最新方法，(d) 使用独立的无标记视觉输入的方法（即无需手套、标记物或专用传感设备等特殊装备），(e) 在Imperial College Vision Lab (ICVL) [^41]、NYU Hand Pose Dataset [^42]、Rendered Handpose Dataset (RHD) [^43]、Stereo Hand Pose Tracking Benchmark (STB) [^44]以及HANDS 2017 [^45]等知名度高且被广泛测试的数据集上取得最新研究成果的工作。 本综述的其余部分安排如下：第2节描述了以往的分类方法和早期机器学习方法；第3节对基于DNN的3D手部姿态估计方法进行了分类和详细评述。由于训练数据在基于DNN的方法中起着重要作用，第4节总结了现有的3D手部姿态估计数据集、所使用的评估指标以及各数据集上的最新研究成果；最后，第5节重点阐述了相关结论和潜在的未来研究方向。 ### 2. 以往的分类方法与早期机器学习方法 #### 2.1. 以往提出的分类方法 为了对3D手部姿态估计方法进行分类，人们提出了多种分类方式。Erol等人[^20]将这类方法分为两大类：基于外观的方法和基于模型的方法。基于外观的方法[46–52]无需预先了解手部姿态信息；它们从输入图像中提取特征，并利用随机森林或深度卷积神经网络来建立直接映射到手部姿态空间的关系。基于外观的方法最显著的特点是需要大量的训练数据，且不使用手部模型。因此，这些算法的性能在很大程度上取决于训练数据的质量和数量。此外，由于编码后的图像表示包含了预测手部姿态所需的所有信息，所以这些方法在计算上并不复杂。另一方面，基于模型的算法[53–59]会先建立一个预定义的3D手部模型，再将图像与该模型进行匹配。在每一帧中，算法都会进行探索，以找到与输入图像中提取的特征最匹配的手部模型姿态和形状。这类方法需要对第一帧进行良好的初始化；对于后续帧，它们可以利用预测模型或上一帧的预测姿态。之后，通过相似度函数来衡量真实姿态与选定姿态之间的差异，最终还需要采用优化策略来实现模型收敛。最常用的优化方法是粒子群优化（PSO）[^60]和迭代最近点算法（ICP）[^61]。基于模型的方法在处理自遮挡以及其他因素（如旋转和缩放）时表现更好，但代价是它们往往较为复杂且计算成本高昂。 此外，根据所采用的算法不同，3D手部姿态估计方法可分为基于回归的方法[^62] [^63]和基于检测的方法[^43] [^64]。属于第一类的方法的核心目标是直接预测关节位置，这些位置是与输入图像相对应的连续数值。一般来说，基于回归的算法会根据从训练数据中提取的输入特征来预测输出值，从而建模目标姿态与输入图像之间的依赖关系。相反，基于检测的方法会预测每个关节的概率密度图，图中各点的概率表示该特定关键点位于该位置的可能性。具体来说，这些方法利用体积热图来形成关节位置预测结果，随后再通过argmax函数从计算出的概率图中获取关键点的位置。 --- 另一种分类方式是依据手指和手掌姿态估计的策略来划分。整体式方法[^65] [^66]以整个手部区域作为输入来估计手部姿态，这种方式虽然更稳健，但在手指估计方面的精度不高。分层式方法[^35] [^63] [^67]则是在估计出手掌姿态的基础上再推算手指姿态。因此，它们的预测结果更精确，但却依赖于对手掌姿态的不准确估计。 Oikonomidis等人[^56]根据手部各个刚性部件的部分证据对最终预测的贡献方式，将方法区分为离散证据方法和联合证据方法。离散证据方法[^68] [^69]在计算上效率较高，因为它们在将各部件与观测结果进行对比评估之前，会先单独考虑这些部件，从而缩小搜索空间。这类方法的缺点在于需要额外的机制来显式处理部件间的相互作用，比如碰撞和遮挡现象。而处于另一极端的联合证据方法[56,70-72]则是在完整物体假设的框架下考虑所有部件。虽然这类方法能够轻松建模部件间的相互作用，但其计算需求相当高。 本文主要聚焦于最新的基于深度神经网络的方法，因为与早期的机器学习方法相比，它们在三维手部姿态估计领域表现更为出色。因此，我们最初依据输入模态将这些方法划分为基于RGB的方法、基于深度的方法以及多模态方法。我们采用这种分类方式的初衷是：这样的分类能够进一步提升本文综述的可读性；此外，对于研究人员而言，它也有助于他们查阅以往的研究成果，并基于现有数据探索新的研究方向。 不过，为了内容完整性起见，加之机器学习技术曾是早期提出的手部姿态估计方法的核心，接下来的小节将介绍那些最具影响力且至关重要的早期机器学习方法。 #### 2.2. 早期机器学习方法 在三维手部姿态估计领域，早期研究往往将传统的机器学习技术与专用设备（如手套[^73]）相结合，以实现更好的优化效果。其中，随机森林[^74]算法及其变体最为有效且应用广泛。随机森林方法是一种用于分类或回归的机器学习集成元算法，属于自助聚合（bagging）范畴。它由众多决策树构成，根据任务需求输出预测次数最多的类别，或是各决策树预测值的平均值。 Keskin等人[^68]受到Reference[^69]巨大成功经验的启发，在手姿态估计领域采用了当时颇具革命性的中间表示法，而非直接在高维空间中推断手部姿态。具体而言，他们首先将单张深度图像分割为密集的概率性手部部件标签；随后利用计算效率较高的深度比较技术，借助在大量合成深度图像上训练得到的随机森林模型，为每个像素分配手部部件标签；最后采用均值漂移算法，通过在每个样本上放置加权高斯核来估算各类别标签的概率。同一研究团队还提出了两种新颖的多层随机森林网络——全局专家网络（GEN）和局部专家网络（LEN）[^75]，作为此前工作的延伸。他们针对训练集的聚类结果训练随机森林模型，以将每个像素分类为手部部件，并引入了一种名为形状分类树（SCT）的随机森林变体，用于为每个像素分配聚类标签。之后，输入图像会被送往相应的“专家”进行处理：要么由GEN输出整幅图像的姿态标签，要么由LEN处理单个像素的局部聚类信息。 不过，由于上述方法需要大量逐像素标注的样本，当在真实数据上应用时，使用合成深度图像会导致性能下降。Tang等人[^76]利用统一的单层半监督传导回归（STR）森林来解决这一缺陷，该森林在真实数据集和合成数据集上训练，旨在学习这两类数据之间的内在关系。然而，考虑到STR并未包含任何关于关节的结构信息，他们引入了数据驱动的伪运动学技术来优化关节预测结果。 --- 由于STR不包含任何关于关节的结构信息，因此引入了数据驱动的伪运动学技术来优化关节预测结果。Liang等人[^77]提出了一种手部解析方案，能够从深度图像中提取出对复杂手部姿态具有鲁棒性的高层描述。他们设计了深度上下文特征，并引入了距离自适应选择方法来进一步提升性能。此外，他们采用了一种新型的超像素马尔可夫随机场（SMRF）框架来建模空间和时间约束，与像素级滤波方法相比，该方法能减少误分类区域。 Tang等人[^41]提出了一种新型的潜在回归森林（LRF），这是一种由反映手部层次结构的潜在树模型引导的分而治之搜索方法。这种结构化的粗到细搜索会递归地划分手部区域，直到定位所有关节，它结合了整体方法和基于像素的方法的优势，同时手部拓扑模型还能强制满足运动学约束。 与人体姿态估计相比，基于像素分类的方法在手部姿态估计领域的效果较差。正如Sun等人[^63]所指出的，主要差异在于手部动作中手指关节活动、遮挡和相机视角的变化更大，且这类方法无法提供结构信息，从而导致像素分类的不确定性。为解决这些问题，作者扩展了此前关于人体姿态估计的研究成果[^78]，利用一系列弱回归器逐步估算手部姿态。他们提出了一种分层级联方法，按照关节的活动复杂程度顺序依次回归不同部位的姿态，因为他们指出，不同物体部位的变化程度和自由度并不相同。 ### 3. 深度学习方法 在本文中，我们提出了一种新的分类方式，根据输入数据的模态对各项研究进行分类。据此可分为三类：(a) 基于深度的方法、(b) 基于RGB的方法以及(c) 多模态方法。 每一类又可进一步划分为更多子类别。基于深度的方法根据是否直接使用二维深度图或对其进行处理以提取三维数据表示（如点云或三维体素表示）来分类。基于RGB的方法则根据是否直接回归三维手部关节位置、关节热图，或是否采用预定义的手部模型来分类。描述多模态方法的最后一类则根据评估时所需的输入模态分为单模态评估方法和多模态评估方法。所提出的分类体系的可视化结果如图1所示。 ![Image](images/fcd8492380062a42609dfe489a89c3571b940fc918f16f11dfdd868bafbe8df5.jpg)
Figure 1. Proposed taxonomy. Each work is grouped by the modality of the input data, i.e., RGB, depth, and multimodal data, and then by the per-category distinct characteristics that best describe them.
--- 为了提升本文的可理解性，有必要对手部模型进行介绍。一般来说，手部模型会为可行的姿态和可能的关节旋转设定几何约束。通常，手部模型用于进一步优化预测出的姿态，从而将神经网络的预测结果限定在人类可实现的手部姿态范围内。这类模型可以由研究者自行开发，也可以直接使用已有的手部模型。 目前已提出多种手部模型，它们采用不同的方式来表征手部，比如由几何基元组装而成[^56]、高斯函数之和[^79]、球体[^80]，或是三角网格[^81]。 近期出现了一种可微分的三角网格手部模型，即MANO手部模型[^82]，它正受到广泛关注。该手部模型由可微分函数$M(\beta, \theta)$生成，其中$\beta$为形状参数，$\theta$为姿态参数。完整的函数定义如下： $$ M(\beta,\theta)=W(T(\beta,\theta),J(\beta),\theta,w), $$ 其中W是线性混合蒙皮函数（LBS），它作用于包含16个关节J的绑定好的模板手部网格T上。参数w表示混合权重。凭借其可微分特性，MANO手部模型在与基于深度神经网络的方法配合使用时极为便捷；因此，近期大多数采用手部模型的深度学习3D手部姿态估计方法都会选用MANO模型。 #### 3.1. 基于深度的研究方法 如前所述，基于深度的研究方法根据其利用深度图的方式分类，这类方法的输入可以是2D深度图，也可以是3D表现形式，比如手部点云或3D体素。在接下来的小节中，我们将按照上述分类方式介绍近期关于基于深度的手部姿态估计的研究工作。 ##### 3.1.1. 2D深度图的应用 从历史上看，3D手部关节位置的估计是通过利用深度图像来实现的。早期的深度学习方法在这方面并无差异，同样采用了2D深度图像形式的深度数据。在最早的研究之一中，Tompson等人[^42]利用线性混合蒙皮（LBS）手部模型对深度图进行自动标注，从而创建了带标签的手势真实数据集，即NYU数据集。该数据集随后被用于训练一个两阶段的CNN网络，该网络会输出每个关节的概率热图。 Oberweger等人[^35]研究了不同的CNN网络结构以找出最高效的结构，并提出了名为DeepPrior的姿态先验模块，它实际上是一个神经元数量远少于关节总数的瓶颈线性层（$\ll3$ J）。该瓶颈层的权重是通过对3D手部姿态数据应用主成分分析来初始化的。同一批研究者在DeepPrior++[^83]中对DeepPrior做了三方面扩展：(a) 他们将ResNet架构引入网络；(b) 他们在训练过程中引入了额外的数据增强手段；(c) 他们通过引入CNN检测优化网络来改进手部检测子任务。 DeepPrior和DeepPrior++都试图通过瓶颈层来对预测的手部姿态施加物理约束。Zhou等人[^84]还进一步考虑了每个手指的功能与重要性。他们设计了一个名为Hand Branch Ensemble（HBE）的深度卷积神经网络，该网络包含三个分支：一个用于拇指，一个用于食指，最后一个用于其余手指。各分支的特征被融合在一起，再通过类似的瓶颈层投影到低维表示中，随后进行处理以直接回归出3D关节位置。 Rad等人[^85]提出了一种在合成图像与真实深度图像之间进行域迁移的方法。具体而言，作者们在真实图像上渲染3D姿态以生成对应的合成图像，再利用神经网络将真实图像中提取的特征映射到合成图像的特征空间。据此，他们训练了一个神经网络来最小化 --- 映射后的特征与合成特征之间的距离，同时训练一个基于合成图像的解码器来推断3D姿态。 另一种约束最终预测手部姿态的方法是使用中间热图来引导3D手部关节的回归。Du等人[^86]将手部姿态估计任务分解为两个子任务：手掌姿态估计和手指姿态估计，并将整合后的热图作为从输入的2D深度图进行特征提取阶段的约束。 与之不同的是，Ren等人[^87]提出了一种重参数化层来估计中间表示，比如从关节位置得到的3D热图和3D单位向量场。他们的网络设计由多个带有重参数化层的堆叠式关节回归模块组成，只有最终的回归模块会直接输出最终的手部姿态预测结果。 一些研究选择采用手部模型来从几何层面约束并确保最终手部姿态预测结果的合理性。Zhou等人[^88]采用了一种类似于参考文献[^35]中的CNN架构的方法来估计手部模型的关节角格式的姿态参数。该手部模型来自libhand[^89]，包含23个关节和26个自由度。研究中采用了可微的正向运动学函数，将姿态参数映射到3D关节位置。Malik等人[^90]扩展了这项研究工作，以实现对不同手形的泛化，即同时估计3D手部姿态和手部骨骼的长度。起初，他们用CNN来预测骨骼比例和姿态参数，随后由正向运动学层处理这些数据以推断出3D关节位置。同一组研究者[^91]还进一步施加了结构约束，考虑了手指的长度、相互距离以及运动学距离，以便更好地捕捉手部形状。他们先用CNN回归出手部的中心位置，再将裁剪出的手部区域输入另一个名为PoseCNN的CNN，在以上约束条件下估计手部姿态。Sinha等人[^62]设计了一种方法，该方法以裁剪后的2D手部深度图作为输入，输出与其他群体数据库中的特征同步的激活特征，过程中采用了矩阵补全方法。基于从矩阵补全方法得到的全局姿态初始化结果，研究人员估算出了他们开发的包含18个关节和21个自由度的手部模型的参数，进而推断出最终的手部姿态。 Malik等人[^92]设计了一种CNN网络，该网络能更好地利用他们开发的带皮肤的手部模型，该模型包含26个自由度以及22个关节。给定一张2D深度图像，所提出的网络能够预测姿态参数$\theta$、骨骼尺度$\alpha$以及形状参数$\beta$。手部姿态与形状层（HPSL）会将估算出的$\theta, \alpha$和$\beta$参数作为输入，借助正运动学函数来预测3D关节位置P以及顶点V。训练该网络时会同时考虑关节损失和顶点损失。后来，同一批作者[^93]又提出了一种结合中间骨骼表示的弱监督框架。具体而言，首先利用CNN网络从单张深度图像中回归出3D骨骼向量B；随后这些B向量会被送入骨骼到关节层以估算3D关节位置，从而保留手部结构，之后再用解码器来预测密集网格向量。此外，作者在训练过程中采用了深度合成器，从3D手部网格预测结果中重构2D深度图像，以此提供弱监督信号。 Wan等人[^94]提出了一种自监督方法：先将球形手部模型拟合到深度图像上，再将估算出的手部姿态渲染成深度图像，以便与原始图像进行对比。该手部模型由N=41个球体构成，其中手掌部分有11个球体，每个手指有6个球体。为了获得额外的监督信息，还添加了额外的损失项，具体包括多视图投影一致性损失、用于惩罚不可行关节位置的运动学约束先验、骨骼长度损失以及碰撞损失。 随着生成式深度学习网络的有效性不断提升，不少研究尝试利用生成网络来建模3D姿态空间与对应输入数据空间之间的统计关系，进而估算手部姿态。GAN和变分自编码器（VAE）在捕捉底层特征空间的统计特性方面已被证明十分有效。不过，也有一些早期研究并未采用这类强大的网络，而是试图…… --- 利用生成式框架来估算3D手部姿态。例如，Oberweger等人[^95]提出了一种非基于分布采样的确定性生成方法。他们设计的CNN网络包含3个子模块：姿态预测网络、深度图合成网络以及姿态更新网络。其目标是直接从初始深度图中预测3D关节位置，利用预测的3D姿态合成深度图，再将其输入更新器CNN以进一步细化预测的姿态。 Wan等人[^65]设计了一种名为Crossing Nets的网络，该网络结合了GAN和VAE，旨在将深度图像的隐空间映射到3D姿态的隐空间，并假设深度图像与姿态之间存在一一对应的关系。Crossing Nets中的VAE部分负责生成手部姿态的隐空间，进而形成分布$Z_y$。GAN部分则从深度图像的隐空间分布$Z_x$中采样，以合成接近原始图像的深度图。网络通过全连接层将两个空间关联起来。通过映射这两个隐空间，该网络结合了GAN部分的泛化能力以及VAE学到的隐含姿态约束，从而提升了判别性姿态估计的性能。 Abdi等人[^51]提出了一种利用大量合成样本数据集来准确估计真实样本手部姿态的方法。为此，他们构建了三个不同域之间的共享隐空间：合成深度图像、真实深度图像以及姿态数据。其中，姿态隐空间由VAE创建，而真实与合成图像域则由VAE-GAN混合网络构建。为了学习真实与合成深度图像的共享隐空间，他们运用了循环一致性约束和权重共享约束[^96]。 与上述生成式方法不同，Baek等人[^52]提出通过在3D姿态域中添加视角和形状变化来扩充训练样本的隐空间。由于新生成的3D姿态没有对应的深度图数据，因此随后训练GAN来为这些姿态合成深度图。手部姿态估计器和手部姿态生成器以统一方式训练，从而满足循环一致性约束。 Wan等人[^97]提出的方法并未采用上述研究中所用的任何约束条件。他们提出了一种密集的逐像素估计方法：由堆叠沙漏网络的2D CNN[^98]从给定的2D深度图像中估计出2D热图、3D热图以及密集的3D单位向量。3D热图与3D单位向量相结合，便能有效构成2D深度图像像素与手关节之间的3D偏移向量。作者认为，使用偏移向量能使估计结果具有平移不变性，进而提升该方法对不同手指姿态组合的泛化能力。 总体而言，逐像素估计过程较为耗时，而且背景像素的估计可能会干扰神经网络对手部区域有效特征的学习[^99]。Xiong等人[^100]提出的方法并不进行密集的逐像素回归预测，而是通过聚合多个锚点的估计结果来预测3D关节位置。其核心思路是在深度图上密集放置锚点，再通过聚合这些锚点的估计值来得到3D关节位置。因此，这些锚点可被视为从不同视角对关节进行回归的局部回归器。该网络包含三个分支：一个用于深度估计，一个用于为关节确定锚点（锚点提议分支），还有一个用于计算从锚点到关节的偏移量的平面偏移分支。之后，该方法利用这些锚点提议来局部回归关节的3D位置。 ##### 3.1.2. 3D表示的应用 2D深度图可以转换为两种3D表示形式：(a) 点云和 (b) 3D体素。大多数利用3D数据的研究都采用了点云，而对3D体素的研究则相对较少。Ge等人[^67]利用相机的内部参数（即主点位置和焦距）将2D深度图像转换为点云，并将其投影到x、y、z轴上，从而获得同一手部姿态的多个视图。他们采用了三个相同的CNN来 --- 从每个投影视图中提取热图，随后将这些热图融合起来以估计3D手部姿态。 尽管Ge等人利用了深度图像生成的点云，但他们并未直接处理3D点，因为所设计的网络仍然需要以2D深度图作为输入。PointNet [^101] 的出现——一种可直接处理点云的网络——推动了那些在点云输入层面进行研究的成果。后来，Ge等人 [^36] 提出了一种分层式PointNet，即Hand PointNet，它以N个点作为输入，通过分层方式提取手部特征，从而实现了更好的泛化能力。此外，指尖精细化网络会对估算出的指尖周围的邻近点进行处理，进一步细化手部姿态。通过对手指包围区域内的点的3D坐标执行PCA操作，便可估算出手部的全局朝向，即定向包围盒（OBB）。最终的3D关节位置则是通过直接回归得出的。在后续研究中，Ge等人 [^99] 采用了堆叠式PointNet架构，直接将点云中采样并归一化后的N个点作为输入，生成一组热图以及单位向量场。这些输出结果随后被用于推断每个采样点与手部关节之间的偏移量，进而估算出关节的3D坐标。 另一方面，Chen等人 [^102] 提出了一种新的网络结构，并利用空间变换器来进一步提升网络性能。他们设计的框架由语义分割网络和姿态回归网络组成，同时还实现了两个变换矩阵预测网络。语义分割网络会为每个点预测其对应的语义标签；姿态回归网络则利用语义分割网络的输出以及原始点云来估算手部关节位置。变换矩阵预测网络负责估算所需的变换矩阵，以便对输入点进行归一化，并将3D关节转换回原始空间。语义分割网络和回归网络均采用PointNet架构。 Zhu等人 [^103] 采用了改进版的PointNet++ [^104] 架构，并结合集成策略：他们为同一手部点云提出了n种可能的姿态，再对这些姿态进行加权，从而得到最终预测的3D关节位置。他们还提出了一种数据增强方法：根据欧拉距离将手部点云划分为16个部分，再根据运动学约束弯曲手指，以此生成新的手势。 为了克服PointNet对输入点云需进行精细预处理的难题，Li等人 [^105] 提出了一种残差排列等变层（PEL） [^106] 深度网络，用于计算逐点特征并将其输入到点对姿态投票模块。点对姿态模块包含两层全连接层：一层用于计算各点对最终姿态估计的重要性，另一层则根据检测或回归的选择，生成一维热向量或直接输出3D位置值。在他们的研究中，基于回归的变体表现略优于基于检测的变体。 陈等人[^107]为了在不使用3D标注的情况下利用深度图像，提出了一种手部姿态编解码网络。在该网络中，编码器从点云中分层提取向量表示，而解码器则根据提取的向量重建点云。编码器架构基于SO-Net[^108]，它构建了自组织映射（SOM）[^109]，并对点云和SOM节点进行分层特征提取。此外，手部姿态回归模块利用编码器的输出，将提取的向量与潜在的点云特征拼接起来，从而直接估计输出的手部姿态。初始输入为从点云中采样的N个点，其中N=1024。 与上述方法不同，Moon等人[^64]将3D手部姿态估计的目标转化为每个关节的体素到体素的概率分布。他们将2D深度图投影为3D体素表示，然后将其输入基于沙漏网络[^98]的3D CNN编解码网络中，直接预测每个关键点的体素级概率。概率最高的体素被视为关节位置，随后将其转换到真实世界坐标中。作者指出，由于处理的是体素而非2D深度图， --- 他们消除了从2D直接回归到3D时可能出现的透视失真问题。类似地，Huang等人[^110]使用3D沙漏模型直接回归3D关节热图。为了增加额外的手部骨骼约束，他们的网络还会估计每根骨骼的热图，作为中间监督信号。骨骼数量会根据数据集的不同而变化；例如，在包含21个关节的MSRA数据集中，骨骼数量被设定为20。 吴等人[^111]提出了一种手部姿态估计网络，该网络通过密集特征图形式的中间监督来约束关节预测的特征空间。这些密集特征图被专门设计用来融入手关节的几何和空间信息。尽管他们也尝试以3D体素作为输入，但最佳结果是通过结合参考文献[^67]中的投影技术以及参考文献[^64]的输出作为监督特征图获得的。 葛等人[^112]提出了一种基于3D CNN的手部姿态估计方法，该方法能够直接从3D体素中回归3D关节位置。具体而言，他们将3D手部表示为投影方向截断有符号距离函数（D-TSDF）[^113]值的3D体积，并将其输入三个3D CNN层和三个全连接层。作者认为，以3D体积作为输入的3D CNN易于端到端训练。在参考文献[^50]中，同一批作者对其先前的工作进行了扩展。他们的3D CNN网络输出的是3D体积中3D手部关节相对位置的低维表示。通过执行PCA重构和坐标变换，他们得到了相机坐标系下的3D手部关节位置。此外，他们还将完整的手部表面作为中间监督信号。他们在输入体素上应用了3D U-Net[^114]，以生成包含完整手部表面点的截断距离函数（TDF）体积，该体积随后会与原始输入体素体积拼接在一起。3D DenseNet进一步处理拼接后的体积，并预测所需的3D手部姿态。3D U-Net和3D DenseNet均分别经过预训练。 最近，Malik等人[^115]提出了一种新颖的3D CNN架构，用于从体素化深度图中估计3D形状和3D手部姿态。他们最初采用体素到体素的姿态回归网络来估计3D关节热图。随后，将预测的3D热图与体素化深度图一起输入两个子网络，以得到体素化形状和手部表面。第一个子网络是体素到体素的形状回归网络，它建立了体素化深度图与体素化形状之间的一一映射关系。第二个子网络则是体素到表面的回归网络，旨在捕捉手部拓扑结构，而这是体素化形状无法保留的。在训练过程中，每个子网络之后都连接了一个深度合成器，用于重建体素化深度图，从而提供弱监督信号。此外，作者还利用形状配准模块，将预测的手部表面与预测的体素化形状进行拟合。最后，他们提出了一种3D数据增强方案，对体素化深度图和预测的3D热图应用3D旋转，进而提升了网络的准确性。 #### 3.2. 基于RGB的方法 基于RGB的方法可分为两类：无模型方法和基于模型的方法。无模型方法包括直接预测3D关节位置或热图的技术；而基于模型的方法则是指预测手部模型参数（如姿态和形状）的技术。 ##### 3.2.1. 无模型方法 Zimmermann等人[^43]的研究是最早直接从RGB图像估计3D手部姿态的深度学习成果之一。他们在论文中设计了一个由三个子网络组成的系统：用于检测手部并根据预测的手部掩码分割图像的手部分割网络；用于生成各关节得分图的2D关键点检测网络；以及接收这些得分图并预测规范3D关节位置和转换矩阵的网络，该转换矩阵可将坐标映射到世界坐标系。此外，作者还构建了一个大型合成数据集，以助力训练过程。 --- 他们还开发了转换矩阵，用于将预测结果映射到世界坐标系，从而得到最终的关节位置。另外，作者还构建了一个大型合成数据集，为训练提供了便利。 Iqbal等人[^116]提出了一种从单张RGB图像中获取2.5D姿态表示、再将其重构为3D的方法。为了获得2.5D姿态表示，需要2D关节位置和深度值，因此作者设计了一种新的热图表示形式，称为2.5D热图，它由2D热图和每个关节对应的深度图组成。不过训练时并不需要额外的深度数据，因为网络能够自主生成深度图。该网络架构采用了一种漏斗式网络，可输出输入RGB图像的潜在2.5D表示，其中包含潜在的2D热图和深度图。 Spurr等人[^117]对上述网络进行了改进，因为他们认为2.5D表示与他们设计的损失项更为匹配。这些损失项即便在仅用2D数据训练的网络中，也能隐式地对3D关节预测施加生物力学约束。这些生物力学约束限定了有效骨骼长度范围、手掌结构范围以及拇指和手指的关节角度范围，最终使得预测结果被限制在解剖学上合理的姿态范围内。 与以往依赖精心设计的损失项来约束预测姿态使其更合理的研究不同，Spurr等人[^49]提出了一种方法，该方法涉及3D姿态空间与输入数据空间之间的潜在空间对齐。作者将2D关键点、RGB图像作为输入数据，为了评估其方法的生成能力，还使用了2D深度图像。不过他们的主要研究重点还是RGB图像。该网络由两个VAE网络组成，一个用于构建姿态潜在空间，另一个用于创建输入数据空间。每个VAE分别对各自模态的数据进行编码和解码，即$RGB \rightarrow RGB$和$3D \rightarrow 3D$。潜在空间对齐是通过使用训练好的$3D \rightarrow 3D$ VAE的解码器以及训练好的$RGB \rightarrow RGB$ VAE的编码器来实现的。 为了实现3D手部姿态与RGB图像的潜在空间对齐，Theodoridis等人[^118]提出了一种新颖的变分框架，该框架分两个阶段进行训练。在第一训练阶段，两个VAE被独立训练，以创建$RGB \rightarrow 3D$的跨模态潜在空间和$3D \rightarrow 3D$的单模态潜在空间。随后，在下一个训练阶段，上述分支保持冻结状态，同时引入一个变分模块（映射器），目的是将跨模态潜在空间映射到结构更合理且信息量更大的单模态潜在空间。尽管该框架具有通用性，并非专门为3D手部姿态估计任务设计——因为他们也在食物图像分析数据集上开展了实验——但在无模型方法中，它在基于RGB的3D手部姿态估计任务上取得了最先进的结果。 Yang等人[^119]提出了一种方法，通过解耦3D手部姿态与手部图像的表征来构建精细的潜在空间，该方法被称为解耦VAE（dVAE）。每个潜在空间都被分解为其有意义的组成部分：3D姿态空间被分解为规范坐标和视角因子空间，而RGB空间则被分解为世界坐标系下的3D手部姿态空间和背景。在训练过程中，他们为$RGB \rightarrow RGB$设计了解码器，为$RGB \rightarrow 3D_{canonical}$设计了解码器，还为$RGB \rightarrow Viewpoint$设计了解码器。 最近，Gu等人[^120]也提出了一种潜在空间解耦方法。不过他们选择将潜在空间分解为3D手部姿态空间和模态特定特征。他们设计了两个VAE来提取每种模态的潜在空间，分别得到3D姿态信息和模态信息，还有一个额外的判别器通过对齐3D手部空间来连接这两个潜在空间。一个额外的全连接网络负责将RGB特定信息转换为3D手部姿态模态信息，同时还部署了一个额外的3D姿态模态对抗判别器来调节这种转换过程。 --- ##### 3.2.2. 基于模型的方法 最早采用手部模型的基于深度学习的RGB方法之一是Panteleris等人[^121]的研究成果。作者们提出了一种方法，该方法利用检测网络YOLO v2 [^122]进行手部检测，利用预训练的OpenPose [^28]网络预测2D关节位置，并使用由26个自由度及21个关节组成的组装式几何图元手部模型。通过最小化该模型关节投影点与OpenPose得到的2D关节预测点之间的距离，利用非线性最小二乘法来拟合手部模型。 在参考文献[^123]中，Mueller等人提出了创建合成数据集的方法，并额外使用GAN将合成手部图像转换为真实手部图像。该翻译GAN通过循环一致性约束以及几何一致性损失进行训练，以在转换过程中保留手部姿态。随后基于合成数据训练了一个回归CNN，用于预测2D关节热图以及与根关节相关的3D位置。在手部运动模型拟合过程中，会利用这些2D/3D预测结果来确保最终生成的手部姿态符合解剖学上的正确性。 在参考文献[^124]中，Zhang等人在其名为Hand Mesh Recovery（HAMR）框架的3D手部网格恢复方法中采用了MANO手部模型。他们通过回归MANO模型的网格和相机参数来提取网格表示。该网络训练时采用了五种损失项：2D热图损失、相机透视损失、2D关键点投影损失、3D关节位置损失以及几何约束损失。3D关节位置是通过对网格顶点进行线性插值来估算的。Boukhayma等人[^125]也采用了MANO模型，从自然场景图像中预测手部姿态和形状。他们以ResNet-50作为编码网络，生成姿态、形状和视角参数，再由包含MANO模型和重投影模块的解码器处理这些参数，从而得出最终的手部姿态和形状估计结果。通过估算视角参数，作者能够将估计出的手部姿态投影到2D图像坐标上，并利用2D弱标注作为监督信号。编码网络是在作者创建的合成数据集上预训练的，该数据集中的手部图像与真实的相机及手部参数一一对应。训练过程由四种损失项共同监督：2D关节投影损失、3D关节损失、手部掩码损失，以及作用于编码网络输出的MANO模型参数上的正则化损失，该损失用于减小参数数值并确保生成的手部重建结果符合物理规律。 Baek等人[^126]提出了一种方法，该方法结合MANO手部模型与3D监督、手部分割掩码以及2D监督来训练手部姿态估计CNN。他们的网络以RGB图像为输入，先估算2D关节位置，再将其与图像特征向量结合来预测相机参数和手部模型参数。测试阶段，初始的3D网格估计结果会通过梯度下降法进一步细化；梯度是通过将预测的3D网格投影到2D并与预测的2D关节位置对比来计算的。与以往方法不同的是，细化步骤中2D关节和分割掩码并非固定不变，而是会递归地优化2D预测结果。 此前的基于模型的方法虽然利用手部模型来约束预测姿态使其符合人体生理特性，但对手部结构的利用并不充分。He等人[^127]提出了一种对抗性方法：首先由生成器利用MANO手部模型预测初始先验姿态，随后采用图卷积网络（GCN）细化模块对该先验姿态做进一步调整。具体而言，GCN细化模块以先验姿态和图像特征为输入，预测出相应的形变，再将这一形变叠加到初始先验姿态的特征上。所设计的判别器会针对三种输入源进行监督：3D手部姿态、由3D姿态计算得出的手部骨骼，以及输入图像。 #### 3.3. 多模态方法 近期，一些研究利用辅助类型的数据来获得更精确的姿态估计结果，从而缓解深度歧义与手指遮挡问题。深度图、热图、点云甚至动作捕捉（MoCap）数据等信息，都更擅长描述手部结构。 --- 相较于RGB图像，这类数据能更好地表征手部姿态。将额外模态信息融入框架的方式有两种：要么仅在训练阶段将其作为补充信息使用，以提升RGB图像的推理能力（单模态推理）；要么在整个流程中均可获取这些信息（多模态推理）。 ##### 3.3.1. 单模态推理 Yuan等人[^128]是最早利用训练阶段深度数据的研究者之一，他们采用两阶段训练策略，借助两个CNN分别从各模态中估计姿态。第一阶段，他们通过基于深度的网络回归3D关节位置；第二阶段则冻结该网络的参数，利用基于RGB的网络来训练配对图像。研究中采用了两种损失函数，一种用于姿态回归任务，另一种用于中层特征表示。此外，他们还将从深度图像中提取的手部掩码嵌入到基于RGB的CNN的中间层，以减少噪声背景特征的干扰。 与绝大多数3D手部姿态估计方法不同，Cai等人[^129]提出了一种弱监督方法，无需依赖3D标注数据。他们采用的框架包含编码器-解码器架构，用于估计热图和2D关节位置，随后通过回归网络根据估计出的热图推断3D姿态，同时利用深度正则化器根据预测的3D手部姿态生成深度图像。这样一来，深度正则化器结合生成的深度图像与对应真实值之间的L1损失，便可视为3D手部姿态回归的弱监督信号。同理，Dibra等人[^130]也提出了一种无监督框架，以解决真实世界训练数据不足的问题，前提是RGB图像旁配有配对的深度图。起初，作者先用一个网络定位手部区域，再将其输入专门在合成数据上训练的CNN——SynthNet，以推断关节旋转角度。为了适配无标签的真实世界RGB图像，他们为SynthNet添加了深度损失组件，利用真实的配对深度图以及预测的角度和从手部模型采样得到的点云来计算损失。 另一方面，并非所有数据集都包含配对的RGB-深度图像。为解决这一问题，Chen等人[^131]提出了一种GAN变体，称为深度图像引导式GAN（DGGAN），它包含两个子网络：深度图重建子网络和手部姿态估计子网络。第一个子网络处理RGB图像并生成深度图，手部姿态估计子网络会结合该深度图与对应的RGB图像，来估计2D手部姿态、热图和3D关节位置，这一流程与参考文献[^129]中的描述一致。该研究的核心贡献在于：由深度正则化器生成的重建深度图，是由合成的深度图引导而成的。 有趣的是，Zhao等人[^132]提出了一种框架，可利用包含多种数据源（如RGB和深度图）的数据集，通过师生模式将知识迁移到仅含单一数据源的目标数据集。作者将跨模态知识建模为学生网络参数上的先验，因此可将其视为可通过元学习来优化的正则化项。 杨等人[^133]提出采用基于VAE的框架来学习联合潜在表示。更具体地说，他们分别对RGB图像、点云和热图进行编码，生成各自的潜在空间；随后，利用KL散度来减小这些空间间的差异，或通过高斯专家乘积的方式创建一个额外的联合空间，从而实现这些流形的对齐。接着，他们将每个潜在空间解码为各种可用的模态。其中，最新方法取得了最佳效果，该方法允许不同模态的编码器独立训练。值得注意的是，共享解码器的使用对潜在空间的对齐起到了重要作用。 葛等人[^134]采用图卷积神经网络，根据估计出的热图推断手部网格，并提取RGB特征。第一阶段训练还包括在热图、网格和3D手部姿态引导下的全监督3D手部姿态推断，该阶段以预测的网格为基础进行。第二阶段则是在弱监督模式下，针对真实数据集进行微调， --- 引入伪真值网格和深度损失。这种方法的主要缺陷在于：为了获取成对的真值网格信息，必须使用特殊的合成数据集，而这类数据集要么难以寻觅，要么很难制作。 周等人[^135]参考文献[^116]，将问题拆分为回归根相关尺度归一化深度和2D坐标，此外还预测根相关归一化3D坐标以解决深度尺度歧义问题。起初，他们提出了一种名为DetNet的关节检测网络，旨在利用2D关节监督从真实数据集中提取特征，同时可借助合成数据集引导3D关节位置的估计。作者还提出了IKNet——一种逆运动学网络，能在单次前馈过程中从预测的3D姿态中回归关节旋转参数。该框架也是首个在训练期间利用手部动作捕捉数据来引导关节旋转的研究。 ##### 3.3.2. 多模态推理 穆勒等人[^136]从每对RGB-深度图像中生成彩色深度图，再将其输入卷积神经网络以产生2D手部位置热图，进而定位手部区域。随后，他们采用另一张卷积神经网络，从裁剪后的彩色深度图中回归3D关节位置以及2D关节热图。接着，他们根据预测的3D关节位置和2D关节热图，估算运动学姿态跟踪框架中的关节角度，以此优化姿态并实现时间上的平滑性。 卡扎科斯等人[^137]提出了一种双流架构，用于将深度信息融入RGB图像，并研究了多种融合策略与规则。具体而言，他们考虑了三种融合层级：(a)输入层融合，即将融合模块置于输入层之后；(b)特征层融合，即在任意卷积、池化或全连接层之后应用融合模块；(c)得分层融合，即融合两个流各自的预测结果。在规则方面，特征层融合可采用最大值、求和、拼接以及卷积融合方式，输入层融合则采用拼接和卷积融合方式。此外，作者为最后一种融合技术引入了一种可学习的函数，称为局部连接融合函数。有趣的是，他们发现无论采用何种策略或规则，网络的识别性能都不会受到显著影响；而且，双流框架的性能仅略优于相应的基于深度的单流框架。 ### 4. 数据集与评估指标 在基于深度神经网络的三维手部姿态估计中，数据集发挥着重要作用，因为深度神经网络方法的性能与训练数据的质量和数量密切相关。现有的手部姿态数据集要么包含合成的手部图像，要么包含真实场景中的样本。合成数据集的制作成本比真实数据集更低，因为计算机生成的手部的精确三维标注可以轻松提取；不过，这类手部图像的真实感不足，会制约其在现实场景中的性能表现。本节将介绍基于深度神经网络的方法所使用的最重要的三维手部姿态估计数据集（如表1所示），以及用于衡量方法性能的评估指标，还有近期最先进的三维手部姿态估计方法的结果。 ---
Table 1. A representative catalogue of 3D hand pose estimation datasets.
DatasetModalityYearViewType# of Subjects# of Joints# of Frames
ICVL [^41]D20143rdReal1016332.5 K
NYU [^42]D20143rdReal23681 K
MSRA15 [^63]D20153rdReal92176.5 K
HandNet [^138]D20153rdReal106212 K
BigHand2.2M [^139]D2017ego/3rdReal10212.2 M
HANDS 2017 [^45]D2017ego/3rdReal20211.2 M
SynHand5M [^92]D20183rdSynthetic-225 M
FreiHAND [^140]RGB20193rdReal3221134 K
Dexter1 [^79]RGB+D20133rdReal162 K
Dexter+Object [^141]RGB+D20163rdReal253 K
RHD [^43]RGB+D20173rdSynthetic202144 K
STB [^44]RGB+D20173rdReal12118 K
EgoDexter [^136]RGB+D2017egoReal453190
SynthHands [^136]RGB+D2017egoSynthetic22163.5 K
#### 4.1. 数据集 近年来，已经出现了一些适用于三维手部姿态估计的数据集。早期的数据集仅包含深度数据；但随着能够利用RGB图像的鲁棒方法的发展，包含RGB图像和深度图像的数据集也相继问世。在接下来的段落中，我们整理并描述了最常用的数据集，略去了研究界很少使用的那些。由于不存在统一的数据集创建规则，因此不同数据集中的数据类型（即合成数据或真实数据）、关节数量以及图像分辨率都存在差异。 帝国理工学院视觉实验室手部姿态数据集（ICVL）[^41]包含了来自10名不同受试者的序列，共计332.5千张深度图像，其中331千张用于训练，1.5千张用于测试，分辨率为$320 \times 240$。这些深度图像质量较高、轮廓清晰且噪声少，但正如参考文献[^35]所指出的，大量样本的标注并不准确。 纽约大学手部姿态数据集[^42]包含来自3台Kinect摄像头的（RGB-D）帧，可提供正面和两个侧面的视图。训练集包含由一名受试者采集的72千个训练样本，测试集则包含来自两名受试者的8.2千个样本，分辨率为$640 \times 480$。尽管该数据集涵盖了多种多样的独特姿态，但其缺陷在于训练集中仅包含一种手部形状。虽然共标注了36个关节，但大多数研究仅针对其中的14个关节评估性能。由于深度图存在结构光传感器常见的伪影：轮廓噪声和深度值缺失，因此该数据集被认为具有挑战性。 BigHand2.2M[^139]是一个大规模的真实场景数据集，它是通过在手上安装六个磁传感器来记录的，因此能提供相当精确的六维测量数据。该数据集包含220万张深度图，由10名受试者采集，分辨率为$640 \times 480$。通过对具有31个自由度且受运动学约束的手部模型应用逆运动学算法，得到了21个关节的位置信息。 MSRA15[^63]包含约76千张RGB图像，标注了21个关节，分辨率为$320 \times 240$，这些图像是用飞行时间相机拍摄的。该数据集包含9名受试者做出的17种手势，覆盖了大量的视角。在评估时最常用的方案是留一受试者外交叉验证：用8名受试者的数据训练，再用剩余1名受试者的数据评估。该数据集的主要缺点是规模有限，且标注错误率较高，例如存在手指标注缺失的情况[^139]。 Handnet [^138]数据集包含202K个训练用深度图像、10K个测试用深度图像，以及超过2.7K个用于验证的样本，其分辨率为$320 \times 240$。这些样本由RealSense RGB-D相机采集，记录了手的6D姿态以及每个指尖的位置和方向。 HANDS 2017 [^45]数据集包含约1.1M张分辨率为$640 \times 480$的深度图像，其中957K张用于训练，295K张用于测试。这些图像取自BigHand2.2M [^139]和First-Person Hand Action [^142]数据集，融合了Reference [^139]中丰富的手部姿态、手型及视角多样性，以及Reference [^142]中的遮挡情况。训练集包含5名受试者的数据，而测试集则 --- 包含另外5名未见过的受试者的数据。每张图像的姿态标注为21个手部关节的位置。 SynHand5M [^92]是一个百万级规模的合成数据集，包含5M张深度图像，其中4.5M张用于训练，500K张用于测试，分辨率为$320 \times 240$。该数据集提供了基于26个自由度的22个3D关节位置标注、1193个3D手部网格顶点标注，以及关节角度和分割掩码。 FreiHand [^140]是一个多视角RGB数据集，包含手与物体的交互场景。总共包含134K个分辨率为$224 \times 224$的样本，其中130K张用于训练，4K张用于评估。该数据集提供了手部21个关键点的真实3D位置、3D手型、手部掩码以及相机内参矩阵。 Rendered Handpose Dataset (RHD) [^43]包含43,986张渲染的手部图像，其中41,258张用于训练，2728张用于评估。总共有20个角色执行的39种动作，分辨率为$320 \times 320$。每张图像都提供了深度图、分割掩码以及3D和2D关键点标注。由于该数据集包含视角和手型的巨大差异、手指遮挡、丰富的视觉多样性以及噪声，因此被认为极具挑战性。 Stereo Hand Pose Tracking Benchmark (STB) [^44]包含一名受试者在不同背景下的12个序列，共计18K帧，其中15K帧用于训练，3K帧用于测试，分辨率为$640 \times 480$。由于提供了3D关键点标注，因此可利用相机内参轻松获取2D关键点位置。 EgoDexter [^136]包含由佩戴在身上的相机从自我中心视角拍摄的RGB-D图像，这些图像记录了在真实杂乱场景中手与物体的交互、复杂的手-物交互以及自然光照条件下的场景。该数据集由4个测试序列组成，共3190帧，分辨率为$640 \times 480$，由4名受试者完成。EgoDexter仅用于评估，因为未提供训练集。 Dexter+Object [^141]提供了由两个受试者（一男一女）完成的六个测试序列。与EgoDexter类似，它也仅用于评估。录制是由固定相机完成的，内容为单手与立方体物体的交互。该数据集包含约3K个样本，分辨率为$640 \times 320$，提供了RGB图像、深度图以及指尖和立方体顶点的标注。 Dexter1 [^79] 包含7组同一受试者右手进行的慢速和快速手部动作序列。每组序列中大约前250帧为慢速动作，其余则为快速动作。该数据集包含约2K帧，分辨率为$320 \times 240$。正如Reference [^143]所指出的，该数据集存在校准参数不准确以及同步问题。 SynthHands [^136] 包含来自两名受试者的63.5K张RGB及深度合成图像，这些图像是从以使用者为中心的视角拍摄的，使用的是分辨率为$640 \times 480$的Intel RealSense SR300摄像头。实验中采用了真实的物体纹理和背景图像，从而能够捕捉到肤色、形状、背景杂乱程度、摄像头视角以及手与物体之间的交互变化。总共涉及与7种不同虚拟物体的交互。因此，受试者能够实时看到渲染场景，进而产生上述与物体的交互行为。就标注数据而言，它提供了21个关节的精确位置信息。 #### 4.2. 评估指标 用于定量评估3D手部姿态估计方法的两种最常见指标是平均端点误差（EPE）以及基于关键点正确率（PCK）的曲线下面积（AUC）。平均EPE是指预测关节与真实关节之间的平均3D欧几里得距离。而PCK则衡量的是预测关节位置落在特定误差阈值内、与正确姿态相符的平均百分比。表2展示了在最常用的数据集上取得最佳结果的方法及其所用指标，还有训练时所采用的输入数据形式。需要注意的是，由于并非所有研究都同时使用这两种指标进行评估，因此表2仅列出了每种方法报告的结果：涉及mEPE时以毫米为单位，AUC则在20–50毫米的误差阈值范围内计算。 ---
Table 2. Results of top 3D hand pose estimation methods in terms of accuracy, categorized by dataset and our proposed taxonomy. Results in mEPE are in mm and for Area Under the Curve (AUC) within 20–50 mm error threshold.
DatasetsInput ModalitySub-CategoryMethodResults
ICVL [^41]Depth-based2D depth mapZhou et al. [^103]6.24 mEPE
Ren et al. [^87]6.26 mEPE
Xiong et al. [^100]6.46 mEPE
3D representationsMoon et al. [^64]6.28 mEPE
Ge et al. [^99]6.30 mEPE
Ge et al. [^50]6.70 mEPE
NYU [^42]Depth-based2D depth mapRad et al. [^85]7.40 mEPE
Ren et al. [^87]7.78 mEPE
Xiong et al. [^100]8.61 mepe
3D representationsMoon et al. [^64]8.42mEPE
Malik et al. [^115]8.72 mEPE
Huang et al. [^110]8.9 mEPE
MSRA15 [^63]Depth-based2D depth mapRen et al. [^87]7.16 mEPE
Du et al. [^86]7.20 mEPE
Wan et al. [^97]7.20 mepe
3D representationsMoon et al. [^64]7.49 mEPE
Huang et al. [^110]7.40 mEPE
Ge et al. [^99]7.70 mEPE
HANDS 2017 [^45]Depth-based2D depth mapZhou et al. [^84]5.26 mEPE
Wu et al. [^111]5.90 mEPE
Ren et al. [^87]8.33 mEPE
3D representationsLi et al. [^105]9.82 mepe
Moon et al. [^64]9.95mEPE
SynHand5M [^92]Depth-based2D depth mapMalik et al. [^93]4.32 mEPE
Malik et al. [^93]6.30 mEPE
3D representationsMalik et al. [^115]3.75 mEPE
Moon et al. [^64]3.81 mEPE
Dexter+Object [^141]RGB-basedModel-basedZhang et al. [^124]0.825 AUC
Boukhayma et al. [^125]25.53 mEPE/0.763 AUC
Baek et al. [^126]0.610 AUC
Model-freeSpurr et al. [^117]0.820 AUC
Iqbal [^116]0.710 AUC
MultimodalUnimodal InferenceZhou et al. [^135]0.948 AUC
RHD [^43]RGB-basedModel-basedHe et al. [^127]12.40 mEPE
Baek et al. [^126]0.926 AUC
Zhang et al. [^124]0.901 AUC
Model-freeIqbal et al. [^116]13.41mEPE/0.940 AUC
Theodoridis et al. [^118]15.61 mEPE/0.907 AUC
Spurr et al. [^49]19.73 mEPE/0.849 AUC
MultimodalUnimodal inferenceYang et al. [^133]13.14 mEPE/0.943 AUC
Ge et al. [^134]0.920 AUC
Cai et al. [^129]0.887 AUC
STB [^44]RGB-basedModel-basedHe et al. [^127]3.96 mEPE
Baek et al. [^126]0.995 AUC
Zhang et al. [^124]0.995 AUC
Model-freeTheodoridis et al. [^118]6.93 mEPE/0.997 AUC
Iqbal et al. [^116]0.994 AUC
Spurr et al. [^49]8.56 mEPE/0.983 AUC
MultimodalUnimodal InferenceGe et al. [^134]6.37 mEPE/0.998 AUC
Yang et al. [^133]7.05 mEPE/0.996 AUC
Cai et al. [^129]0.994 AUC
EgoDexter [^136]RGB-basedModel-basedBoukhayma et al. [^125]45.33mEPE/0.674 AUC
Model-freeIqbal et al. [^116]0.580 AUC
MultimodalUnimodal InferenceZhou et al. [^135]0.811 AUC
### 5. 结论与未来发展方向 三维手部姿态估计是一个备受关注的研究领域，得益于深度学习的发展，近期的相关方法取得了重大突破。早期的方法由于硬件限制以及可用训练数据量较少，需要针对所应用的具体数据集进行极为精细的设计。而近年基于深度神经网络的方法比以往的方法更强大、更高效，且具备更好的泛化能力。 --- 尽管如此，仍有一些未解决的挑战导致了研究与实用的3D手部姿态估计应用之间存在差距。现有大多数研究都做了如下假设：(a) 手部位于干净背景前，便于分割；(b) 场景中仅存在一只手；(c) 手与手之间或手与物体之间的交互未被充分探讨。现实场景中的三维手部姿态检测远不如现有数据集中的结果理想。此外，尽管本综述中介绍的大多数方法能在高端电脑上实现实时性能，但由于移动设备处理能力有限，其在移动设备上的应用仍不尽如人意。 此外，为特定任务选择最佳方法在很大程度上取决于该任务所提出的要求和限制条件（如成本、精度、速度等）。例如，目前实现高精度3D手部建模的方法是使用手套，尽管深度神经网络也展现出了令人期待的成果。另一方面，实时应用或低配置系统则需要可训练参数最少的深度神经网络，这通常要以牺牲精度为代价来换取速度。不过，那些占用大量内存和计算资源的复杂网络架构却能取得非常稳健的结果。此外，手部姿态估计领域的最新技术发展极为迅速，能够取得顶尖成果的新型深度神经网络不断涌现，导致旧的网络逐渐过时。 此外，现有研究已经证实，诸如中间监督或生理约束之类的训练策略，以及残差特征聚合、堆叠式网络架构和基于手部模型的先验知识等网络设计，确实能够提升识别性能。图2a对比了不同DNN架构在性能（精度）、相关研究论文数量（研究成果量）、基于性能提升的改进空间及研究成果潜力（未来潜力）、训练时的计算复杂度以及推理时间复杂度（推理速度）方面的表现。可以看出，过去研究界广泛采用2D CNN架构，如今研究兴趣已转向3D CNN和生成模型等其他架构。由于基于2D CNN的框架与其他方法相比参数数量有限，因此其推理速度较慢，且会付出一定的性能代价。另外，它们在训练过程中通常不会引入判别器等额外组件，因此训练复杂度相对较低。 另一方面，可以推断，采用VAE和GAN等生成网络的研究还有很大的改进空间，因为这些网络已经展现出了令人期待的成果，尽管相关研究尚未充分展开。构建潜空间，使相似的输入姿态彼此靠近，这一事实证明了这些网络能够学习到可行的手部姿态流形，从而进一步提升3D手部姿态估计的效果。此外，为了创建人类可理解且可调的潜空间表示，应当深入探究能够生成解耦潜子空间的方法。不过，这类网络需要更精细的训练策略，尤其是GAN由于涉及对抗性训练，这一特点构成了较小的弊端，导致其训练复杂度较高。因此，我们认为应当投入大量研究精力来充分利用这类方法的表征能力，从而挖掘它们的潜力。 图2b展示了所提出的三大类别各自的某些属性。与图2a类似，该图同样利用研究成果量、精度和未来潜力来对各类方法做简要概述，同时还列出了各模态对应的3D手部姿态数据集（现有数据集）以及每种模态的计算成本（硬件要求）。可以看出，现有的研究和数据集大多围绕深度数据展开，而RGB方法则是近期才兴起的，多模态方法至今仍未得到充分探索。我们认为应当更深入地研究这些方法，因为充分利用所有可用数据并不像看上去那么简单。 最后，更加多样化且标注完善的数据集或许有助于减少对手部位置的假设，从而提升神经网络处理杂乱场景和不规则姿势的能力。针对手语等具有挑战性的场景专门创建数据集是一种选择；不过，高质量的标注三维数据并不容易获取。合成技术能够生成大量的训练数据，但基于合成数据训练的神经网络在应用于真实数据时，往往会因域差异而表现不佳。 --- 合成技术能够生成大量的训练数据，但基于合成数据训练的神经网络在应用于真实数据时，往往会因域差异而表现不佳。 ![Image](images/93c746ea67b06fa7bf89ca35ec426f8e2ea9f897f7320076a193501e19cfb9ff.jpg) ![Image](images/832dffb145d6bfa321fad0069288526a8cdacbb0d47846883867d748d5768b62.jpg)
Figure 2. Radar charts showcasing the findings of this survey for (a) different Deep Neural Network (DNN) architectures and (b) methods based on our proposed taxonomy.
作者贡献：概念化：T.C.、A.S.、D.K.、K.D.、P.D.；正式分析：T.C.、A.S.、D.K.、K.D.、P.D.；初稿撰写：T.C.、A.S.、D.K.；审阅与编辑：K.D.、P.D.；监督：K.D.、P.D.；项目管理：P.D.；经费筹措：P.D.。所有作者均已阅读并同意发表该手稿的版本。 经费支持：本研究工作得到了希腊研究与技术总秘书处根据合同T1E $\Delta K$-02469 EPIKOINONO提供的资助。 ## 参考文献 [^1]: Piumsomboon, T.; Clark, A.; Billinghurst, M.; Cockburn, A. User-defined gestures for augmented reality. In Proceedings of the 14th IFIP TC 13 International Conference on Human-Computer Interaction, Cape Town, South Africa, 2–6 September 2013; Springer: Berlin, Germany, 2013; pp. 282–299. [^2]: Lee, T.; Hollerer, T. Multithreaded hybrid feature tracking for markerless augmented reality. IEEE Trans. Vis. Comput. Graph. 2009, 15, 355–368. [^3]: Jang, Y.; Noh, S.T.; Chang, H.J.; Kim, T.K.; Woo, W. 3d finger cape: Clicking action and position estimation under self-occlusions in egocentric viewpoint. IEEE Trans. Vis. Comput. Graph. 2015, 21, 501–510. [^4]: Kordelas, G.; Agapito, J.P.M.; Hernandez, J.V.; Daras, P. State-of-the-art algorithms for complete 3d model reconstruction. In Proceedings of the Summer School ENGAGE-Immersive and Engaging Interaction with VH on Internet, Zermatt, Switzerland, 13–15 September 2010; Volume 1315, p. 115. [^5]: Alexiadis, D.S.; Daras, P. Quaternionic signal processing techniques for automatic evaluation of dance performances from MoCap data. IEEE Trans. Multimed. 2014, 16, 1391–1406. [^6]: Alivizatou-Barakou, M.; Kitsikidis, A.; Tsalakanidou, F.; Dimitropoulos, K.; Giannis, C.; Nikolopoulos, S.; Al Kork, S.; Denby, B.; Buchman, L.; Adda-Decker, M.; et al. Intangible cultural heritage and new technologies: challenges and opportunities for cultural preservation and development. In Mixed Reality and Gamification for Cultural Heritage; Springer: New York, NY, USA, 2017; pp. 129–158. [^7]: Dimitropoulos, K.; Tsalakanidou, F.; Nikolopoulos, S.; Kompatsiaris, I.; Grammalidis, N.; Manitsaris, S.; Denby, B.; Crevier-Buchman, L.; Dupont, S.; Charisis, V.; et al. A multimodal approach for the safeguarding and transmission of intangible cultural heritage: The case of i-Treasures. IEEE Intell. Syst. 2018, 33, 3–16. [^8]: Caggianese, G.; Capece, N.; Erra, U.; Gallo, L.; Rinaldi, M. Freehand-Steering Locomotion Techniques for Immersive Virtual Environments: A Comparative Evaluation. Int. J. Hum.-Comput. Interact. 2020, 36, 1734–1755. ## [^9]: Kopuklu, O.; Kose, N.; Rigoll, G. Motion fused frames: Data level fusion strategy for hand gesture recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Salt Lake City, UT, USA, 18–22 June 2018; pp. 2103–2111 --- [^10]: Abavisani, M.; Joze, H.R.V.; Patel, V.M. Improving the performance of unimodal dynamic hand-gesture recognition with multimodal training. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 1165–1174. [^11]: Simonyan, K.; Zisserman, A. Two-stream convolutional networks for action recognition in videos. In Advances in Neural Information Processing Systems; MIT Press: Montreal, QC, Canada, 2014; pp. 568–576. [^12]: Shi, L.; Zhang, Y.; Cheng, J.; Lu, H. Two-stream adaptive graph convolutional networks for skeleton-based action recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 12026–12035. [^13]: Baulig, G.; Gulde, T.; Curio, C. Adapting egocentric visual hand pose estimation towards a robot-controlled exoskeleton. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018. [^14]: Papastratis, I.; Dimitropoulos, K.; Konstantinidis, D.; Daras, P. Continuous Sign Language Recognition Through Cross-Modal Alignment of Video and Text Embeddings in a Joint-Latent Space. IEEE Access 2020, 8, 91170–91180. [^15]: Koller, O.; Camgoz, C.; Ney, H.; Bowden, R. Weakly Supervised Learning with Multi-Stream CNN-LSTM-HMMs to Discover Sequential Parallelism in Sign Language Videos. IEEE Trans. Pattern Anal. Mach. Intell. 2019, 42, 2306–2320. [^16]: Adaloglou, N.; Chatzis, T.; Papastratis, I.; Stergioulas, A.; Papadopoulos, G.T.; Zacharopoulou, V.; Xydopoulos, G.J.; Atzakas, K.; Papazachariou, D.; Daras, P. A Comprehensive Study on Sign Language Recognition Methods. arXiv 2020, arXiv:2007.12530. [^17]: Konstantinidis, D.; Dimitropoulos, K.; Daras, P. A deep learning approach for analyzing video and skeletal features in sign language recognition. In Proceedings of the 2018 IEEE International Conference on Imaging Systems and Techniques (IST), Krakow, Poland, 16–18 October 2018; IEEE: New York, NY, USA, 2018; pp. 1–6. [^18]: Konstantinidis, D.; Dimitropoulos, K.; Daras, P. Sign language recognition based on hand and body skeletal data. In Proceedings of the 2018-3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video (3DTV-CON), Helsinki, Finland, 3–5 June 2018; IEEE: New York, NY, USA, 2018; pp. 1–4. [^19]: Stefanidis, K.; Konstantinidis, D.; Kalvourtzis, A.; Dimitropoulos, K.; Daras, P. 3D Technologies and Applications in Sign Language. In Recent Advances in 3D Imaging, Modeling, and Reconstruction; IGI Global: Hersey, PA, USA, 2020; pp. 50–78. [^20]: Erol, A.; Bebis, G.; Nicolescu, M.; Boyle, R.D.; Twombly, X. Vision-based hand pose estimation: A review. Comput. Vis. Image Underst. 2007, 108, 52–73. [^21]: Joo, H.; Simon, T.; Li, X.; Liu, H.; Tan, L.; Gui, L.; Banerjee, S.; Godisart, T.; Nabbe, B.; Matthews, I.; et al. Panoptic studio: A massively multiview system for social interaction capture. IEEE Trans. Pattern Anal. Mach. Intell. 2017, 41, 190–204. [^22]: Krizhevsky, A.; Sutskever, I.; Hinton, G.E. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems; Communications of the ACM: New York, NY, USA, 2012; pp. 1097–1105. [^23]: Szegedy, C.; Liu, W.; Jia, Y.; Sermanet, P.; Reed, S.; Anguelov, D.; Erhan, D.; Vanhoucke, V.; Rabinovich, A. Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, Boston, MA, USA, 7–12 June 2015; pp. 1–9. [^24]: Ren, S.; He, K.; Girshick, R.; Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems; Communications of the ACM: New York, NY, USA, 2015; pp. 91–99. [^25]: Redmon, J.; Divvala, S.; Girshick, R.; Farhadi, A. You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 779–788. [^26]: Long, J.; Shelhamer, E.; Darrell, T. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7–12 June 2015; pp. 3431–3440. ## [^27]: Chen, L.C.; Papandreou, G.; Kokkinos, I.; Murphy, K.; Yuille, A.L. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. IEEE Trans. Pattern Anal. Mach. Intell. 2017, 40, 834–848. [CrossRef] [PubMed] --- [^28]: Cao, Z.; Simon, T.; Wei, S.; Sheikh, Y.A. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. In Proceedings of the IEEE conference on computer vision and pattern recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 7291–7299. [^29]: Xiang, D.; Joo, H.; Sheikh, Y. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 10965–10974. [^30]: Kendall, A.; Grimes, M.; Cipolla, R. Posenet: A convolutional network for real-time 6-dof camera relocalization. In Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 7–13 December 2015; pp. 2938–2946. [^31]: LeCun, Y.; Bengio, Y. Convolutional networks for images, speech, and time series. In The Handbook of Brain Theory and Neural Networks; MIT Press: Cambridge, MA, USA, 1995; Volume 3361, p. 1995. [^32]: Hochreiter, S.; Schmidhuber, J. Long short-term memory. Neural Comput. 1997, 9, 1735–1780. [CrossRef] [PubMed] [^33]: Vincent, P.; Larochelle, H.; Lajoie, I.; Bengio, Y.; Manzagol, P.A. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion. J. Mach. Learn. Res. 2010, 11, 3371–3408. [^34]: Goodfellow, I.; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D.; Ozair, S.; Courville, A.; Bengio, Y. Generative adversarial nets. In Advances in Neural Information Processing Systems, Proceedings of the 2001 Neural Information Processing Systems (NIPS) Conference, Vancouver, BC, Canada, 3–8 December 2001; A Bradford Book: Cambridge, MA, USA, 2014; pp. 2672–2680. [^35]: Oberweger, M.; Wohlhart, P.; Lepetit, V. Hands deep in deep learning for hand pose estimation. arXiv 2015, arXiv:1502.06807. [^36]: Ge, L.; Cai, Y.; Weng, J.; Yuan, J. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 8417–8426. [^37]: Wang, Y.; Peng, C.; Liu, Y. Mask-pose cascaded cnn for 2d hand pose estimation from single color image. IEEE Trans. Circuits Syst. Video Technol. 2018, 29, 3258–3268. [CrossRef] [^38]: Gao, Q.; Liu, J.; Ju, Z. Robust real-time hand detection and localization for space human-robot interaction based on deep learning. Neurocomputing 2019, 390, 198–206. [CrossRef] [^39]: Yuan, S.; Garcia-Hernando, G.; Stenger, B.; Moon, G.; Yong Chang, J.; Mu Lee, K.; Molchanov, P.; Kautz, J.; Honari, S.; Ge, L.; et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 2636–2645. [^40]: Supancic, J.S.; Rogez, G.; Yang, Y.; Shotton, J.; Ramanan, D. Depth-based hand pose estimation: data methods, and challenges. In Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 7–13 December 2015; pp. 1868–1876. [^41]: Tang, D.; Jin Chang, H.; Tejani, A.; Kim, T.K. Latent regression forest: Structured estimation of 3d articulated hand posture. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 23–28 June 2014; pp. 3786–3793. [^42]: Tompson, J.; Stein, M.; Lecun, Y.; Perlin, K. Real-time continuous pose recovery of human hands using convolutional networks. ACM Trans. Graph. (ToG) 2014, 33, 1–10. [CrossRef] [^43]: Zimmermann, C.; Brox, T. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 22–29 October 2017; pp. 4903–4911. [^44]: Zhang, J.; Jiao, J.; Chen, M.; Qu, L.; Xu, X.; Yang, Q. A hand pose tracking benchmark from stereo matching. In Proceedings of the 2017 IEEE International Conference on Image Processing (ICIP), Beijing, China, 17–20 September 2017; IEEE: New York, NY, USA, 2017; pp. 982–986. [^45]: Yuan, S.; Ye, Q.; Garcia-Hernando, G.; Kim, T.K. The 2017 hands in the million challenge on 3d hand pose estimation. arXiv 2017, arXiv:1707.02237. ## [^46]: Otberdout, N.; Ballihi, L.; Aboutajdine, D. Hand pose estimation based on deep learning depth map for hand gesture recognition. In Proceedings of the 2017 Intelligent Systems and Computer Vision (ISCV), Fez, Morocco, 17–19 April 2017; IEEE: New York, NY, USA, 2017; pp. 1–8 --- [^47]: Liang, H.; Wang, J.; Sun, Q.; Liu, Y.J.; Yuan, J.; Luo, J.; He, Y. Barehanded music: real-time hand interaction for virtual piano. In Proceedings of the 20th ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, Redmond, WA, USA, 27 February 2016; pp. 87–94. [^48]: Liang, H.; Yuan, J.; Lee, J.; Ge, L.; Thalmann, D. Hough forest with optimized leaves for global hand pose estimation with arbitrary postures. IEEE Trans. Cybern. 2017, 49, 527–541. [CrossRef] [^49]: Spurr, A.; Song, J.; Park, S.; Hilliges, O. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 89–98. [^50]: Ge, L.; Liang, H.; Yuan, J.; Thalmann, D. Real-time 3D hand pose estimation with 3D convolutional neural networks. IEEE Trans. Pattern Anal. Mach. Intell. 2018, 41, 956–970. [CrossRef] [^51]: Abdi, M.; Abbasnejad, E.; Lim, C.P.; Nahavandi, S. 3d hand pose estimation using simulation and partial-supervision with a shared latent space. arXiv 2018, arXiv:1807.05380. [^52]: Baek, S.; In Kim, K.; Kim, T.K. Augmented skeleton space transfer for depth-based hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 8330–8339. [^53]: Liang, H.; Yuan, J.; Thalmann, D.; Zhang, Z. Model-based hand pose estimation via spatial-temporal hand parsing and 3D fingertip localization. Vis. Comput. 2013, 29, 837–848. [CrossRef] [^54]: Taylor, J.; Stebbing, R.; Ramakrishna, V.; Keskin, C.; Shotton, J.; Izadi, S.; Hertzmann, A.; Fitzgibbon, A. User-specific hand modeling from monocular depth sequences. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 23–28 June 2014; pp. 644–651. [^55]: Melax, S.; Keselman, L.; Orsten, S. Dynamics based 3D skeletal hand tracking. In Proceedings of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, Orlando, FL, USA, 21 March 2013; p. 184. [^56]: Oikonomidis, I.; Kyriazis, N.; Argyros, A.A. Efficient model-based 3D tracking of hand articulations using Kinect. In Proceedings of the British Machine Vision Conference, Dundee, UK, 29 August–2 September 2011; Volume 1, p. 3. [^57]: Oikonomidis, I.; Kyriazis, N.; Argyros, A.A. Tracking the articulated motion of two strongly interacting hands. In Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 16–21 June 2012; IEEE: New York, NY, USA, 2012; pp. 1862–1869. [^58]: Oikonomidis, I.; Lourakis, M.I.; Argyros, A.A. Evolutionary quasi-random search for hand articulations tracking. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 24–27 June 2014; pp. 3422–3429. [^59]: Roditakis, K.; Makris, A.; Argyros, A.A. Generative 3D Hand Tracking with Spatially Constrained Pose Sampling. In Proceedings of the British Machine Vision Conference, London, UK, 7–10 September 2017; Volume 1, p. 2. [^60]: Kennedy, J.; Eberhart, R. Particle swarm optimization. In Proceedings of the ICNN'95-International Conference on Neural Networks, Perth, WA, Australia, 27 November–1 December 1995; IEEE: New York, NY, USA, 1995; Volume 4, pp. 1942–1948. [^61]: Tagliasacchi, A.; Schröder, M.; Tkach, A.; Bouaziz, S.; Botsch, M.; Pauly, M. Robust articulated-ICP for real-time hand tracking. In Computer Graphics Forum; Wiley Online Library: Hoboken, NJ, USA, 2015; Volume 34, pp. 101–114. [^62]: Sinha, A.; Choi, C.; Ramani, K. Deephand: Robust hand pose estimation by completing a matrix imputed with deep features. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 4150–4158. [^63]: Sun, X.; Wei, Y.; Liang, S.; Tang, X.; Sun, J. Cascaded hand pose regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7–12 June 2015; pp. 824–832. [^64]: Moon, G.; Yong Chang, J.; Mu Lee, K. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 5079–5088. ## [^65]: Wan, C.; Probst, T.; Van Gool, L.; Yao, A. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 680–689 --- [^66]: Yang, H.; Zhang, J. Hand pose regression via a classification-guided approach. In Proceedings of the Asian Conference on Computer Vision, Taipei, Taiwan, 20–24 November 2016; Springer: Cham, Switzerland, 2016; pp. 452–466. [^67]: Ge, L.; Liang, H.; Yuan, J.; Thalmann, D. Robust 3d hand pose estimation in single depth images: From single-view cnn to multi-view cnns. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 3593–3601. [^68]: Keskin, C.; Kiraç, F.; Kara, Y.E.; Akarun, L. Real time hand pose estimation using depth sensors. In Consumer Depth Cameras for Computer Vision; Springer: New York, NY, USA, 2013; pp. 119–137. [^69]: Shotton, J.; Fitzgibbon, A.; Cook, M.; Sharp, T.; Finocchio, M.; Moore, R.; Kipman, A.; Blake, A. Real-time human pose recognition in parts from single depth images. In Proceedings of the CVPR 2011, Providence, RI, USA, 20–25 June 2011; IEEE: New York, NY, USA, 2011; pp. 1297–1304. [^70]: Athitsos, V.; Sclaroff, S. Estimating 3D hand pose from a cluttered image. In Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Madison, WI, USA, 18–20 June 2003; IEEE: New York, NY, USA, 2003; Volume 2, pp. II–432. [^71]: Oikonomidis, I.; Kyriazis, N.; Argyros, A.A. Markerless and efficient 26-dof hand pose recovery. In Proceedings of the 10th Asian Conference on Computer Vision, Queenstown, New Zealand, 8–12 November 2010; Springer: Berlin, Germany, 2010; pp. 744–757. [^72]: Oikonomidis, I.; Kyriazis, N.; Argyros, A.A. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In Proceedings of the 2011 International Conference on Computer Vision, Barcelona, Spain, 6–13 November 2011; IEEE: New York, NY, USA, 2011; pp. 2088–2095. [^73]: Wang, R.Y.; Popović, J. Real-time hand-tracking with a color glove. ACM Trans. Graph. (TOG) 2009, 28, 1–8. [^74]: Breiman, L. Random forests. Mach. Learn. 2001, 45, 5–32. [CrossRef] [^75]: Keskin, C.; Kıraç, F.; Kara, Y.E.; Akarun, L. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In Proceedings of the European Conference on Computer Vision, Florence, Italy, 7–13 October 2012; Springer: Berlin, Germany, 2012; pp. 852–863. [^76]: Tang, D.; Yu, T.H.; Kim, T.K. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In Proceedings of the IEEE International Conference on Computer Vision, Sydney, NSW, Australia, 1–8 December 2013; pp. 3224–3231. [^77]: Liang, H.; Yuan, J.; Thalmann, D. Parsing the hand in depth images. IEEE Trans. Multimed. 2014, 16, 1241–1253. [CrossRef] [^78]: Dollár, P.; Welinder, P.; Perona, P. Cascaded pose regression. In Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, CA, USA, 13–18 June 2010; IEEE: New York, NY, USA, 2010; pp. 1078–1085. [^79]: Sridhar, S.; Oulasvirta, A.; Theobalt, C. Interactive markerless articulated hand motion tracking using RGB and depth data. In Proceedings of the IEEE International Conference on Computer Vision, Sydney, NSW, Australia, 1–8 December 2013; pp. 2456–2463. [^80]: Tkach, A.; Pauly, M.; Tagliasacchi, A. Sphere-meshes for real-time hand modeling and tracking. ACM Trans. Graph. (ToG) 2016, 35, 1–11. [CrossRef] [^81]: Tzionas, D.; Ballan, L.; Srikantha, A.; Aponte, P.; Pollefeys, M.; Gall, J. Capturing hands in action using discriminative salient points and physics simulation. Int. J. Comput. Vis. 2016, 118, 172–193. [CrossRef] [^82]: Romero, J.; Tzionas, D.; Black, M.J. Embodied hands: Modeling and capturing hands and bodies together. ACM Trans. Graph. (ToG) 2017, 36, 245. [CrossRef] [^83]: Oberweger, M.; Lepetit, V. Deepprior++: Improving fast and accurate 3d hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision Workshops, Venice, Italy, 22–29 October 2017; pp. 585–594. [^84]: Zhou, Y.; Lu, J.; Du, K.; Lin, X.; Sun, Y.; Ma, X. Hbe: Hand branch ensemble network for real-time 3d hand pose estimation. In Proceedings of the 15th European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 501–516. ## [^85]: Rad, M.; Oberweger, M.; Lepetit, V. Feature mapping for learning fast and accurate 3d pose inference from synthetic images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 4663–4672 --- [^86]: Du, K.; Lin, X.; Sun, Y.; Ma, X. Crossinfonet: Multi-task information sharing based hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 9896–9905. [^87]: Ren, P.; Sun, H.; Qi, Q.; Wang, J.; Huang, W. SRN: Stacked Regression Network for Real-time 3D Hand Pose Estimation. In Proceedings of the 30th British Machine Vision Conference 2019, BMVC 2019, Cardiff, UK, 9–12 September 2019; p. 112. [^88]: Zhou, X.; Wan, Q.; Zhang, W.; Xue, X.; Wei, Y. Model-based Deep Hand Pose Estimation. In Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, New York, NY, USA, 9–15 July 2016. 89. Šarić, M. LibHand：一个用于手部关节建模的库；版本0.9。在线可查：（访问日期：2020年7月31日）。 [^90]: Malik, J.; Elhayek, A.; Stricker, D. Simultaneous hand pose and skeleton bone-lengths estimation from a single depth image. In Proceedings of the 2017 International Conference on 3D Vision (3DV), Qingdao, China, 10–12 October 2017; IEEE: New York, NY, USA, 2017; pp. 557–565. [^91]: Malik, J.; Elhayek, A.; Stricker, D. Structure-aware 3d hand pose regression from a single depth image. In Proceedings of the International Conference on Virtual Reality and Augmented Reality, London, UK, 22–23 October 2018; Springer: Cham, Switzerland, 2018; pp. 3–17. [^92]: Malik, J.; Elhayek, A.; Nunnari, F.; Varanasi, K.; Tamaddon, K.; Heloir, A.; Stricker, D. Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth. In Proceedings of the 2018 International Conference on 3D Vision (3DV), Verona, Italy, 5–8 September 2018; IEEE: New York, NY, USA, 2018; pp. 110–119. [^93]: Malik, J.; Elhayek, A.; Stricker, D. WHSP-Net: A Weakly-Supervised Approach for 3D Hand Shape and Pose Recovery from a Single Depth Image. Sensors 2019, 19, 3784. [CrossRef] [^94]: Wan, C.; Probst, T.; Gool, L.V.; Yao, A. Self-supervised 3d hand pose estimation through training by fitting. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 10853–10862. [^95]: Oberweger, M.; Wohlhart, P.; Lepetit, V. Training a feedback loop for hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 7–13 December 2015; pp. 3316–3324. [^96]: Liu, M.Y.; Breuel, T.; Kautz, J. Unsupervised image-to-image translation networks. In Proceedings of the Advances in Neural Information Processing Systems, Long Beach, CA, USA, 4–9 December 2017; pp. 700–708. [^97]: Wan, C.; Probst, T.; Van Gool, L.; Yao, A. Dense 3d regression for hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 5147–5156. [^98]: Newell, A.; Yang, K.; Deng, J. Stacked hourglass networks for human pose estimation. In Proceedings of the European Conference on Computer Vision, Amsterdam, The Netherlands, 11–14 October 2016; Springer: Cham, Switzerland, 2016; pp. 483–499. [^99]: Ge, L.; Ren, Z.; Yuan, J. Point-to-point regression pointnet for 3d hand pose estimation. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 475–491. [^100]: Xiong, F.; Zhang, B.; Xiao, Y.; Cao, Z.; Yu, T.; Zhou, J.T.; Yuan, J. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In Proceedings of the IEEE International Conference on Computer Vision, Seoul, Korea, 27 October–2 November 2019; pp. 793–802. [^101]: Qi, C.R.; Su, H.; Mo, K.; Guibas, L.J. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 652–660. [^102]: Chen, X.; Wang, G.; Zhang, C.; Kim, T.K.; Ji, X. Shpr-net: Deep semantic hand pose regression from point clouds. IEEE Access 2018, 6, 43425–43439. [CrossRef] [^103]: Zhu, T.; Sun, Y.; Ma, X.; Lin, X. Hand Pose Ensemble Learning Based on Grouping Features of Hand Point Sets. In Proceedings of the IEEE International Conference on Computer Vision Workshops, Seoul, Korea, 27–28 October 2019. ## [^104]: Qi, C.R.; Yi, L.; Su, H.; Guibas, L.J. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Proceedings of the Advances in Neural Information Processing Systems, Long Beach, CA, USA, 4–9 December 2017; pp. 5099–5108 --- [^105]: Li, S.; Lee, D. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 11927–11936. [^106]: Ravanbakhsh, S.; Schneider, J.; Póczos, B. Deep Learning with Sets and Point Clouds. arXiv 2017, arXiv:1611.04500. [^107]: Chen, Y.; Tu, Z.; Ge, L.; Zhang, D.; Chen, R.; Yuan, J. So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning. In Proceedings of the IEEE International Conference on Computer Vision, Long Beach, CA, USA, 16–20 June 2019; pp. 6961–6970. [^108]: Li, J.; Chen, B.M.; Hee Lee, G. So-net: Self-organizing network for point cloud analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 9397–9406. [^109]: Kohonen, T.; Honkela, T. Kohonen network. Scholarpedia 2007, 2, 1568. [^110]: Huang, F.; Zeng, A.; Liu, M.; Qin, J.; Xu, Q. Structure-aware 3d hourglass network for hand pose estimation from single depth image. arXiv 2018, arXiv:1812.10320. [^111]: Wu, X.; Finnegan, D.; O'Neill, E.; Yang, Y.L. Handmap: Robust hand pose estimation via intermediate dense guidance map supervision. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 237–253. [^112]: Ge, L.; Liang, H.; Yuan, J.; Thalmann, D. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 1991–2000. [^113]: Song, S.; Xiao, J. Deep sliding shapes for amodal 3d object detection in rgb-d images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 808–816. [^114]: Ronneberger, O.; Fischer, P.; Brox, T. U-net: Convolutional networks for biomedical image segmentation. In Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 5–9 October 2015; Springer: Cham, Switzerland: 2015; pp. 234–241. [^115]: Malik, J.; Abdelaziz, I.; Elhayek, A.; Shimada, S.; Ali, S.A.; Golyanik, V.; Theobalt, C.; Stricker, D. HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–18 June 2020; pp. 7113–7122. [^116]: Iqbal, U.; Molchanov, P.; Breuel Juergen Gall, T.; Kautz, J. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 118–134. [^117]: Spurr, A.; Iqbal, U.; Molchanov, P.; Hilliges, O.; Kautz, J. Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints. arXiv 2020, arXiv:2003.09282. [^118]: Theodoridis, T.; Chatzis, T.; Solachidis, V.; Dimitropoulos, K.; Daras, P. Cross-Modal Variational Alignment of Latent Spaces. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Seattle, WA, USA, 14–19 June 2020; pp. 960–961. [^119]: Yang, L.; Yao, A. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 9877–9886. [^120]: Gu, J.; Wang, Z.; Ouyang, W.; Zhang, W.; Li, J.; Zhuo, L. 3D Hand Pose Estimation with Disentangled Cross-Modal Latent Space. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision, Snowmass Village, CO, USA, 1–5 March 2020; pp. 391–400. [^121]: Panteleris, P.; Oikonomidis, I.; Argyros, A. Using a single RGB frame for real time 3D hand pose estimation in the wild. In Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), Lake Tahoe, NV, USA, 12–15 March 2018; IEEE: New York, NY, USA, 2018; pp. 436–445. [^122]: Redmon, J.; Farhadi, A. YOLO9000: better, faster, stronger. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 7263–7271. ## [^123]: Mueller, F.; Bernard, F.; Sotnychenko, O.; Mehta, D.; Sridhar, S.; Casas, D.; Theobalt, C. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 49–59 --- [^124]: Zhang, X.; Li, Q.; Mo, H.; Zhang, W.; Zheng, W. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE International Conference on Computer Vision, Seoul, Korea, 27 October-2 November 2019; pp. 2354–2364. [^125]: Boukhayma, A.; Bem, R.D.; Torr, P.H. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 10843–10852. [^126]: Baek, S.; Kim, K.I.; Kim, T.K. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 1067–1076. [^127]: He, Y.; Hu, W.; Yang, S.; Qu, X.; Wan, P.; Guo, Z. 3D Hand Pose Estimation in the Wild via Graph Refinement under Adversarial Learning. arXiv 2019, arXiv:1811.07376. [^128]: Yuan, S.; Stenger, B.; Kim, T. 3D Hand Pose Estimation from RGB Using Privileged Learning with Depth Data. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), Seoul, Korea, 27–28 October 2019; pp. 2866–2873. [^129]: Cai, Y.; Ge, L.; Cai, J.; Yuan, J. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 666–682. [^130]: Dibra, E.; Melchior, S.; Balkis, A.; Wolf, T.; Oztireli, C.; Gross, M. Monocular RGB hand pose inference from unsupervised refinable nets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Salt Lake City, UT, USA, 18–22 June 2018; pp. 1075–1085. [^131]: Chen, L.; Lin, S.Y.; Xie, Y.; Lin, Y.Y.; Fan, W.; Xie, X. DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision, Snowmass Village, CO, USA, 1–5 March 2020; pp. 411–419. [^132]: Zhao, L.; Peng, X.; Chen, Y.; Kapadia, M.; Metaxas, D.N. Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 6528–6537. [^133]: Yang, L.; Li, S.; Lee, D.; Yao, A. Aligning latent spaces for 3d hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, Seoul, Korea, 27 October–2 November 2019; pp. 2335–2343. [^134]: Ge, L.; Ren, Z.; Li, Y.; Xue, Z.; Wang, Y.; Cai, J.; Yuan, J. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 16–20 June 2019; pp. 10833–10842. [^135]: Zhou, Y.; Habermann, M.; Xu, W.; Habibie, I.; Theobalt, C.; Xu, F. Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–18 June 2020; pp. 5346–5355. [^136]: Mueller, F.; Mehta, D.; Sotnychenko, O.; Sridhar, S.; Casas, D.; Theobalt, C. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of the IEEE International Conference on Computer Vision Workshops, Venice, Italy, 22–29 October 2017; pp. 1284–1293. [^137]: Kazakos, E.; Nikou, C.; Kakadiaris, I.A. On the Fusion of RGB and Depth Information for Hand Pose Estimation. In Proceedings of the 2018 25th IEEE International Conference on Image Processing (ICIP), Athens, Greece, 7–10 October 2018; IEEE: New York, NY, USA, 2018; pp. 868–872. [^138]: Wetzler, A.; Slossberg, R.; Kimmel, R. Rule of thumb: Deep derotation for improved fingertip detection. arXiv 2015, arXiv:1507.05726. [^139]: Yuan, S.; Ye, Q.; Stenger, B.; Jain, S.; Kim, T.K. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 4866–4874. [^140]: Zimmermann, C.; Ceylan, D.; Yang, J.; Russell, B.; Argus, M.; Brox, T. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE International Conference on Computer Vision, Seoul, Korea, 27 October–2 November 2019; pp. 813–822. ## [^141]: Sridhar, S.; Mueller, F.; Zollhöfer, M.; Casas, D.; Oulasvirta, A.; Theobalt, C. Real-time joint tracking of a hand manipulating an object from rgb-d input. In Proceedings of the European Conference on Computer Vision, Amsterdam, The Netherlands, 11–14 October 2016; Springer: Cham, Switzerland, 2016; pp. 294–310 --- [^142]: Garcia-Hernando, G.; Yuan, S.; Baek, S.; Kim, T.K. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, Salt Lake City, UT, USA, 18–23 June 2018, pp. 409–419. [^143]: Simon, T.; Joo, H.; Matthews, I.; Sheikh, Y. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 1145–1153. ![Image](images/2146d12941705f5430256366555b20bca71b1524462ac009dcb063132e1a3fa4.jpg) © 2020年作者们。许可方为瑞士巴塞尔的MDPI出版社。本文是一篇开放获取文章，依据知识共享署名（CC BY）许可协议发布()。