# 手部姿态估计与手部数据集综述 胡潇 $^{a}$，王志远 $^{a}$，贾伟 $^{*a}$ $^{a}$合肥工业大学，中国合肥 ## 摘要 手部姿态估计旨在从RGB图像、深度图、点云和体素等信息媒介中检测并重建三维手部骨骼或网格模型。相关技术主要应用于人机交互、动作分析、增强现实和虚拟现实等领域。近年来，随着深度学习技术的快速发展和深度相机的广泛应用，手部姿态估计受到了越来越多的关注。当前最先进的方法已经取得了不错的性能，但在面对手物交互、双手交互以及户外场景中的遮挡问题时，仍存在巨大挑战。本文将根据信息媒介的类型对各种手部姿态估计算法的特点、优缺点进行分类介绍，汇总手部姿态估计中使用的主要数据集和基准测试，最后探讨手部姿态估计领域面临的主要挑战和未来前景。 关键词：手部姿态估计，人机交互，深度学习 ### 1. 引言 不同应用场景对手部姿态估计的要求各不相同：在人机交互领域$^{1}$，面对单个或多个RGB相机或深度相机时，需要准确捕捉场景中的主要手部并推断手势的含义。背景干扰、自身遮挡和维度丢失是主要挑战。在可穿戴式VR/AR设备$^{2,3,4}$中，关节磁传感器会将手部关节的位置映射到虚拟三维空间，需要更精确的指尖定位来确定空间中的手物交互关系。随着谷歌、微软、Facebook等科技巨头对家用可穿戴式VR/AR设备的推广普及，以及人机交互验证技术在各领域的广泛应用，手部姿态估计已成为计算机视觉领域的研究热点。借助深度学习方案的快速迭代，近年来三维手部姿态估计中面临的自身遮挡、环境干扰、深度模糊和手物交互等问题已逐步得到解决。 本文以深度学习模型的引入为分界点：首先介绍基于传统视觉方案的人手姿态估计（第2节），接着按信息传递介质分类，详细介绍基于深度学习方案的人手姿态估计的发展与最新进展（第3节）；随后汇总手部姿态估计中广泛使用的数据集（第4节），最后总结手部姿态估计技术面临的主要挑战与发展前景（第5节），旨在为该领域的研究人员提供思路与启发。具体结构如图1所示。本文的主要贡献如下： 1) 按单视图/多视图、深度估计/深度学习对2017年至2024年的手部姿态估计方法进行分类总结。 2) 梳理手部姿态估计方法的主流数据集与性能评估标准，并按时间线对比分析各类标准的优缺点。 3) 探讨手部姿态估计当前面临的关键挑战，并指出可能的未来研究方向。 --- ![Image](images/ae91e431791fad42668a969401506a5f1452bf2a64efe3d9f13b2e0115c0c8d8.jpg)
Figure 1. Classification of Hand Pose Estimation (HPE) Methods
### 2. 传统视觉方法 二十年前，在人机交互应用中，相较于接触式传感器，计算机视觉方案获取手部姿态的方式更为便捷高效。然而，在处理高维度的手部运动数据时，传统视觉方案存在一定局限：在有限的硬件条件下，难以兼顾实时性与鲁棒性，且对图像条件要求苛刻（如背景干净、运动静止、遮挡较少）。因此，传统视觉方案仅能实现有限的人机交互。本节从性能角度出发，按照主流方法的类型，将基于传统视觉的人手姿态估计方法分为局部姿态估计和基于跟踪的有限完整姿态估计两类。 ### 2.1 局部姿态估计 虚拟现实VR和增强现实AR应用的发展往往伴随着资源分配受限和实时性要求高的特点。在有限的计算能力下，需要实时处理高维度的手部运动问题。但并非所有应用场景都需要获取手部的全部信息：在某些场景中（例如手指指向某一方向时），仅需获取手的粗略模型即可判断指尖位置、手指方向或手掌等信息。如图2所示，仅需检测手部的局部轮廓就能确定手势的含义。这类方法可进一步划分为手部定位与手势分类任务。 ![Image](images/4e0733a8593fb7f865b929ae7b98a9b42c662cd82fa30142bbdbd56590aed8fc.jpg)
Figure 2. Detecting the meaning of hand pose in a static background $^{5}$
--- 在手部定位任务中，人们通常依赖图形学解决方案，例如利用查找表进行肤色分割$^{6,7,8}$、静态背景裁剪$^{9}$以及粒子滤波$^{5}$。这些方法通常对环境要求严格，比如需要纯色背景、光照均匀的图像，且手部单一易于分割；或者利用红外摄像头根据体温裁剪出手影。另一类是基于分类的物体检测方法，但分类器很难快速遍历所有的假设列表，因此学者们的主要工作集中在如何快速减少错误假设的数量$^{10,11}$，从而降低分类器的训练负担。 在手势分类任务中，手的位置、指尖位置以及手指方向是主要特征。通常，手的位置是通过手部轮廓来确定的，而重心或距离手轮廓最远的最近点$^{12}$会被视为手的位置。指尖位置的确定会运用圆形掩膜相关技术$^{12,13}$，而手指与手掌之间的连接则是根据轮廓边界的局部最大曲率来判断的$^{7,8,9}$。在确定手和指尖位置的基础上，通过计算轮廓的主轴就能得出手指的方向$^{14}$。需要注意的是，手部分类任务依赖于高质量的手部轮廓，因此在复杂的图像背景下很难保证手部分类结果的准确性。 ### 2.2 完整姿态估计 针对具有全自由度的手部姿态估计，通常会采用基于模型的跟踪方法：在图像序列的第一帧中，从模板库中找出匹配误差最小的模板，从而得到一组最接近真实值的参数。随后，在图像序列的每一帧中，以上一帧的结果为基础对模型进行校准，以最小化匹配误差。匹配误差被定义为模型特征组之间的相似性度量，而模板库主要是通过3D模型投影生成的。在分析过程中，可以针对特征子集或特定区域来校准模型参数。基于模型的跟踪架构将完整姿态估计分为两个主要方向：其一是采用局部搜索方式，仅跟踪每一帧的最佳估计值。这类方法在长时间序列中难以保持良好性能，因为长时间序列中必然会出现局部最小值和帧间不连续性$^{15,16}$；其二是采用多假设跟踪$^{17}$，为每一帧保留多个姿态估计结果，以便在最佳估计值不理想时能有替代方案进行补偿。 基于模型的跟踪方法的可靠性取决于输入图像序列的时间相关性。当前帧的估计结果是由上一帧的结果决定的。一旦某一帧出现中断（如自身遮挡或快速运动），后续估计的质量便难以保证。在这方面，可以尝试仅对单帧图像进行手部姿态估计，这与2.1节中的手部定位任务类似。 ### 3. 深度学习方法 ### 3.1 RGB图像的手部姿态估计 作为最常见且最容易获取的视觉数据，RGB图像在手部姿态估计领域受到了广泛关注。然而，由于RGB图像中的信息相对稀疏，基于RGB图像的手部姿态估计面临着重大挑战。本节根据应用场景将RGB图像输入分为三类：单视图、多视图和连续帧。单视图方法针对单张RGB图像设计，适用于户外图像、手持相机拍摄的图像等易于获取的数据的姿态估计。多视图方法同时整合同一时刻空间内多个视角的信息，主要用于实验环境中精确的3D姿态捕捉与记录。与前两类相比，基于连续帧的方法则依靠运动视频中帧与帧之间的时间相关性来进行推理和姿态预测。除了传统的3D空间位置估计任务外，部分方法还展现出了模型重建能力（如图3所示）。 #### 3.1.1 单视图方法 基于单张RGB图像的手部姿态估计与重建方法在基于深度学习的手部姿态估计中被广泛应用。与其他方法相比，该方法对硬件的要求更低，对应用场景的限制也更少，在过去得到了广泛研究并迅速发展。不过，尽管近年来取得了巨大成功，但由于严重的自遮挡、深度模糊以及标注数据稀缺等问题，从单视图估计和重建手部姿态仍是一项具有挑战性的任务。 --- 过去，尽管单视图手部姿态估计与重建方法得到了广泛研究并迅速发展，但受严重自遮挡、深度模糊以及标注数据稀缺等因素影响，从单视图估计和重建手部姿态仍然是一项极具挑战性的任务。 Ge等人$^{18}$提出了一种不依赖参数化手部模型的基于图卷积神经网络$^{19}$的方法。该方法能从单目RGB图像中预测1280个手部网格顶点的3D坐标，同时估算手部关节的空间位置并重建手部网格。这一方法弥补了以往方法中手部形状信息重建的不足。通过创建大规模合成数据集进行全监督训练，并在真实数据集上进行弱监督微调，该方法即便没有3D真实数据也能准确估计手部姿态和形状。 为突破3D手部姿态估计对标注数据高度依赖的瓶颈，一些研究开始探索自监督方向。Spurr等人$^{20}$受到对比学习在图像分类任务中成功应用的启发，提出了一种名为PeCLR的新型自监督3D手部姿态估计方法，该方法利用等变对比学习从单目RGB图像中估计手部姿态。PeCLR方法通过对比学习目标函数，促使学习到的特征表示在外观变换下保持不变，在几何变换下保持等变性，从而使模型能够从大量无标注数据中有效学习特征表示。
Projected mask
![Image](images/5512b24aad454219120151c5542798cba2ae57940f32d3609381074e381593ee.jpg)
Figure 3. Hand pose estimation and mesh recovery from single-view RGB image $^{21}$
Zhang等人$^{21}$提出了一种端到端的手部网格恢复框架（HAMR），该框架通过参数化的MANO模型$^{22}$实现更丰富的网格表示。具体而言，手部网格通过线性插值计算3D关节位置，并通过2D关节投影获得2D关节位置。此外，基于定义的表示与真实标签之间的差异定义了可微的重投影损失，从而实现该框架的端到端训练。 尽管上述方法能够提供相对准确的手部估计结果，但在复杂场景中它们的表现较差，尤其是在强交互和遮挡条件下，往往会导致优化失败或陷入局部最优解，从而影响估计的准确性和稳定性。 减少标注信息、降低数据采集难度一直是三维手部姿态估计领域重要且具挑战性的研究方向。Kulon等人$^{23}$提出了一种用于从单目RGB图像中估计三维手部姿态的弱监督网格卷积方法。该方法收集了大规模的手部运动YouTube视频数据集，并将这些数据作为弱监督信号。具体而言，首先利用OpenPose检测二维关键点，然后迭代拟合MANO模型以生成三维手部网格。通过这种方式，该方法不仅提升了模型的泛化能力，在公开基准测试中更是显著优于现有方法。 Potamias等人的工作$^{24}$代表了当前的技术水平（SOTA）。该论文提出了一种名为WiLoR的端到端野外三维手部定位与重建方法。该框架由两部分组成：实时全卷积手部定位模块，以及基于Transformer的高保真三维手部重建模型。通过引入大规模野外手部图像数据集WHIM，训练出了轻量且高精度的手部检测模型，该模型能够在各种遮挡和光照条件下以超过110 FPS的速度稳健地检测手部。WiLoR首先定位并确定所检测到的手部的方向，随后利用基于Transformer的手部姿态估计模块将其提升至三维。为了辅助高保真重建并促进图像对齐，还引入了细化模块来提取局部特征以修正偏移的姿态。WiLoR在不同基准数据集上均取得了最先进的性能，同时提升了基于图像的三维手部姿态估计方法的时间连贯性。 --- 基于Transformer的卷积手部定位与高保真3D手部重建模型。通过引入大规模野外手部图像数据集WHIM，训练出了一种轻量级且高精度的手部检测模型，该模型能够在各种遮挡和光照条件下以超过110 FPS的速度稳健地检测手部。WiLoR首先定位检测到的手部并确定其方向，随后利用基于Transformer的手部姿态估计模块将其提升至3D层面。为了辅助高保真重建并促进图像对齐，系统中引入了细化模块来提取局部特征以修正未对齐的姿态。WiLoR在不同基准数据集上均取得了最先进的性能，同时提升了基于图像的3D手部姿态估计方法的时间连贯性。 #### 3.1.2 多视角方法 多视角方法通过整合来自多个视角的图像来提高姿态估计的准确性，从而克服单视角场景下存在的视角限制和深度模糊等问题。以下章节将介绍几种具有代表性的方法： Zheng等人$^{25}$提出了HaMuCo框架，这是多视角三维手部姿态估计领域的重要进展。该框架采用自监督学习，利用从多视角图像中得到的伪二维标签来训练单目手部姿态估计器。HaMuCo的核心在于引入了跨视角交互网络，该网络利用跨视角相关特征并强制实现多视角一致性以促进协同学习。这种方法解决了自监督学习中存在的标签噪声和“群体思维”效应问题。HaMuCo不仅在多视角自监督手部姿态估计中取得了最先进的性能，在应用于多视角输入的手部姿态估计时，也表现出优于以往方法的卓越性能。 不过，HaMuCo在处理更复杂的场景时仍存在一定的局限性，比如手与物体的交互，或是多视角输入下的宽松同步约束。Liu等人$^{26}$提出了一种名为S2DHand的新方案，该方案无需多视角标注或相机参数，就能将预训练的单目估计器适配到双视角场景中。与HaMuCo不同，S2DHand不需要昂贵的多视角标注数据，能够处理相机参数未知的任意双视角组合，因此该模型可适应多种多样的相机设置。S2DHand基于立体约束，包括视角一致性和变换不变性，通过互补方式生成伪标签以实现可靠的适配。 #### 3.1.3 基于视频的方法 基于视频的3D手部姿态估计是指从连续的视频帧中估算手部的3D关节位置和姿态。与单图像姿态估计相比，视频数据提供了丰富的时空信息，能够有效解决单帧图像中存在的自遮挡和深度不确定性等问题，从而提升姿态估计的准确性和鲁棒性。 Cai等人$^{27}$提出了一种基于图卷积网络$^{19}$的方法，该方法结合了空间依赖关系和时间一致性以提高3D姿态估计的准确性。该方法有效地将空间和时间关系嵌入到学习框架中。论文明确将人手结构的领域知识融入图卷积运算中，并设计了能够从局部到全局学习多尺度特征表示的网络架构。 为了处理大规模无标注数据，Liu等人$^{28}$引入了一种采用Transformer进行显式上下文推理的半监督学习框架。该方法利用大规模手-物视频中的时空一致性作为约束来生成用于半监督学习的伪标签，从而突破了单张图像内有限的3D标注限制。作者首先训练初始模型，然后将其应用于大规模视频数据集以收集伪标签。通过这种方式，该方法不仅提升了在具有挑战性的真实世界数据集上的手部姿态估计性能，还显著提高了物体姿态估计的准确性，尤其是在每个实例的真实值较少的情况下。 Wen等人$^{29}$提出了一种基于Transformer的分层框架，用于从第一人称RGB视频中同时完成3D手部姿态估计和动作识别任务。该框架由两个级联的Transformer编码器组成：第一个编码器利用短期时间线索进行手部姿态估计，第二个编码器则利用长期时间线索进行动作识别。这种设计充分利用了两项任务不同的时间粒度特点，进而提升了模型的性能。 --- ### 3.2 基于深度信息的手部姿态估计 与二维RGB图像相比，深度图、点云和体素包含更高维度的信息，因此在手部姿态估计的3D重建过程中误差更小（例如，没有深度信息就很难判断手是否正在与其他物体交互）。在这三种信息载体中，深度图像的获取成本最低，但它可以是单视图或多视图；点云可以被理解为三维像素，即空间划分的最小单位；点云由3D扫描仪捕获，每个点包含3D坐标、颜色和反射率等数据。 本节将以几篇代表性研究为例，介绍基于深度信息的手部姿态估计方法的概况。此外，由于基于深度信息的手部姿态估计所使用的数据集相对统一，表1对比了各种方法在四个数据集上的性能（NYU $^{30}$、ICVL $^{31}$以及MSRA $^{32}$）。 Ge等人$^{33}$以点云数据为基础来回归手部关节的3D坐标。通过对点云数据进行归一化处理，他们得到了手的全局朝向。在最初估计的指尖坐标基础上，他们利用PointNet网络$^{34}$对坐标进行优化，将指尖坐标的邻近点作为输入以获得更精确的指尖坐标。 Moon等人$^{35}$提出了一种体素到体素的网络，该网络采用基于Transformer的编码器-解码器模型直接预测手部关节的3D位置。他们采用两阶段推理方法来实现平滑的上下文转换，并引入了新的损失项以提高训练和推理的准确性。 Xiong等人$^{36}$针对从深度图像中进行3D手部及身体姿态估计的问题，提出了Anchor-to-Joint回归网络（A2J）。如图3所示，A2J通过在深度图像上设置密集锚点来捕捉全局-局部的空间上下文信息，并以集成方式预测关节位置以增强泛化能力。通过背景分割、手部定位、深度图像的体素化以及数据增强，训练和计算需求显著降低。 ![Image](images/9058285be4d9f2122cde21af10aafaad3b2888bf88a86d65378c76359935d463.jpg)
Figure 4. Xiong et al. $^{36}$ set dense anchors on the hand mesh.
Huang等人$^{37}$结合了基于检测的方法和基于回归的方法的优势，通过自适应权重图引导对所有像素的密集表示进行离散积分来估计手部关节坐标。该方法能够从单张深度图像中实现快速且鲁棒的3D手部姿态估计，在多个数据集上取得了最先进的性能，在实际应用中具有明显优势。 Ren等人$^{38}$提出了一种基于深度图像的强自监督框架，用于3D手部姿态和网格估计。该网络聚合多视图信息，将每个视图中的多样化语义信息编码为多个紧凑节点，并建模不同视图间的依赖关系。此外，他们引入了伪多视图训练策略，仅利用单视图训练数据就能将该框架扩展到更通用的场景。 Cheng等人$^{39}$提出了一种有效的虚拟视图选择与融合框架，以提升从单张深度图像进行3D手部姿态估计的准确性和鲁棒性。通过虚拟多视图渲染以及每个视图的3D姿态融合…… --- 通过多视角观察，精度得以提升。此外，利用多头注意力机制构建的置信度网络，用于在融合和视角选择过程中提高3D重建的精度。为了高效获取每个视角的置信度，Cheng还提出了一种通过知识蒸馏获得的轻量级置信度网络。
1 table 1. Comparison of hand pose estimation algorithms based on depth information across three datasets, using average error as the metric.
MethodsYearNYU $^{{40}}$ICVL $^{{31}}$MSRA $^{{32}}$
HandPointNet $^{{33}}$201810.56.9358.5
V2V $^{{35}}$20188.426.287.49
A2J $^{{36}}$20198.616.46-
AWR $^{{37}}$20207.375.987.2
MMV $^{{38}}$\n(self-supervised)202212.9114.4412.97-
VVS $^{{39}}$20226.44.79-
### 4. 数据集 本节将介绍人体手部姿态估计领域中的17个具有影响力的数据集，涵盖多视角、深度相机、双手交互、手与物体交互以及复杂环境等多种维度的数据。表2列出了每个数据集的发布日期、数据类型、帧数及相关链接信息。 #### 4.1 InterHand2.6M InterHand2.6M $^{41}$是一个大规模数据集，包含来自不同受试者的约260万个标注过的单手及双手交互帧，涵盖多种姿态。由于其采集的图像质量高且3D交互标注准确，InterHand2.6M数据集在手部姿态估计领域被广泛采用。 ### 4.2 ICVL 帝国理工学院视觉实验室（ICVL）$^{31}$数据集是手部姿态估计领域历史最悠久的数据集之一，包含18万帧标注好的手部深度图像，涉及10名受试者完成的26种不同姿态。该数据集采用包含16个关节的手部模型进行标注。 ### 4.3 3D Hand Pose 3D Hand Pose $^{42}$是一组用于手部姿态的多视角RGB图像数据集，每张图像都标注了手部边界框以及2D和3D关节位置。该数据集包含20500帧图像，分布在21个序列中，每帧包含来自四个不同视角的RGB图像以及九种不同的标注信息。 ### 4.4 NYU Hand 纽约大学$^{40}$手部数据集包含8252个测试集，共计72757张RGB-D图像及对应的真实标注。这些标注源自Kinect RGB-D图像的三个不同视角，以及不同视角下的手部姿态合成模型。 ### 4.5 ARCTIC 自由形态手部交互中的关节物体$^{43}$数据集包含210万帧视频，每一帧都对应精确的3D手部及物体网格模型信息。 --- ### 4.6 第一人称手部动作基准测试集 Garcia-Hernando等人$^{44}$提供了一组第一人称RGB-D动态手部动作数据集，包含超过10万帧图像，涵盖了45种常见的手部动作以及26种不同的手部物体。Garcia-Hernando使用六个磁传感器捕捉真实动作，并结合逆运动学算法来推断手部模型中21个关节的3D位置，同时记录了物体的6D姿态。 ### 4.7 MSRA Hands 微软亚洲研究院手部数据集$^{32}$是由英特尔创意互动手部相机采集的手部跟踪数据集，记录了六名受试者的右手动作。每位受试者会在400帧序列中完成各种动作，数据集标注了手部21个关节的3D位置。 ### 4.8 EgoDexter EgoDexter $^{30}$ 数据集包含 3,190 个视频序列，以及来自四个测试序列的相应 2D 和 3D 姿态标注。这些视频是通过搭载在身上的 RGB-D 摄像头从自我中心视角录制的，录制过程中存在背景杂乱、摄像头快速移动以及物体交互等因素。标注内容包含了 21 个关键点的 3D 位置信息。 ### 4.9 ContactArt ContactArt $^{45}$ 手部-物体交互数据集提供了一种更便捷的系统，允许操作人员使用智能手机来记录运动数据。该数据集收录了超过 550,000 张 RGB 图像，标注内容包括手部姿态、手部边界框、多视角图像以及手部-物体交互标签。 #### 4.10 Big Hand 2.2M BigHand2.2M $^{46}$ 数据集包含 220 万张深度图像。Yuan 等人在手上安装了六个磁性传感器（每个手指一个，手背一个），以捕捉精确的 6D 信息，随后利用逆向运动学重建出具有 31 个自由度的人手模型。 ### 4.11 DexYCB 手部抓取数据集 DexYCB $^{47}$ 是由八个 RealSense 摄像头从八个视角录制的，捕捉了十名受试者与 20 个物体交互时的深度图像。该数据集包含超过 1,000 个序列，共计 580,000 帧。 ### 4.12 HOI4D 人体-物体交互 $^{48}$ 数据集包含 240 万帧自我中心视角下的 RGB-D 视频数据，这些数据由四名受试者在 16 个类别、610 个不同的室内房间中与 800 个不同的物体实例交互时录制而成，序列数超过 4,000 个。该数据集还提供了全视图分割、运动分割、3D 手部姿态、类别级物体姿态以及手部动作帧标注，同时还包括重建的物体网格和场景点云。 ### 4.13 HO-3D 手部与物体姿态 $^{49}$ 是一个未标注的 RGB 手部-物体交互图像数据集，包含手部与物体的 3D 标注。它包含 68 个序列，总计 77,558 帧（训练集 66,034 帧，测试集 11,524 帧），涉及 10 名人员和 10 类物体。
Table 2. Statistical information of the thirteen datasets
DatasetRelease DateData TypeFramesLink
InterHand2.6M $^{{41}}$2020RGB2.6Mhttps://mks0601.github.io/InterHand2.6M/
ICVL $^{{31}}$2014Depth18Khttps://labicvl.github.io/Datasets_Code.html
3D Hand Pose $^{{42}}$2019RGB20Khttps://www.rovit.ua.es/dataset/mhpdataset/
NYU $^{{40}}$2014Depth243Khttps://jonathantompson.github.io/NYU_Hand_Pose_Dataset.htm
---
ARCTIC $^{{43}}$2023RGB2.1Mhttps://arctic.is.tue.mpg.de/
First-Person Hand Action $^{{44}}$2018RGB100Khttps://kcvl-kaist.github.io/FPHA/
MSRA $^{{32}}$2015Depth76Khttps://jimmysuen.github.io/
EgoDexter $^{{30}}$2017RGB+Depth3Khttps://handtracker.mpi-inf.mpg.de/projects/OccludedHands/EgoDexter.htm
ContactArt $^{{45}}$2024RGB550Khttps://zehaozhu.github.io/ContactArt/
BigHand2.2M $^{{46}}$2017Depth2.2Mhttps://kcvl-kaist.github.io/bighand2.2M/
DexYCB $^{{47}}$2021Depth580Khttps://dex-ycb.github.io/
HOI4D $^{{48}}$2022RGB+Depth2.4Mhttps://hoi4d.github.io/
HO-3D $^{{49}}$2020RGB76Khttps://www.tugraz.at/index.php?id=40231
### 5. 结论 深度学习的出现彻底改变了手部姿态估计的方法，使得相关算法能够更准确、更稳健地处理遮挡、光照条件变化以及动态背景等复杂场景。大规模数据集的发展进一步推动了这一领域的进步，为复杂模型的训练提供了必要的数据支持。这些数据集结合多视角和基于深度的技术进展，显著提升了手部姿态估计算法的准确性和泛化能力。 尽管取得了这些进展，仍面临诸多挑战。如何处理遮挡问题、确保实时性能，以及增强模型对新环境和未见数据的泛化能力，都是需要进一步研究的领域。此外，多个交互手部的姿态估计以及跨模态数据的整合也为未来的研究工作提供了机遇。 展望未来，研发更高效、更精准的手部姿态估计方法，将在人机交互、虚拟与增强现实以及机器人技术的发展中发挥至关重要的作用。通过应对当前挑战并利用新兴技术的潜力，研究人员能够为更自然、直观且沉浸式的交互体验铺平道路。手部姿态估计领域前景广阔，我们期待后续研究能取得突破，进一步缩小人与机器之间的交互差距。 ## 参考文献 [^1]: Sharma, Adwait, Joan Sol Roo, and Jürgen Steimle. "Grasping Microgestures: Eliciting Single-Hand Microgestures for Handheld Objects." Paper presented at the Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 2019. [^2]: Lee, Taehee, and Tobias Hollerer. "Multithreaded Hybrid Feature Tracking for Markerless Augmented Reality." IEEE transactions on visualization and computer graphics 15, no. 3 (2009): 355-68. [^3]: Piumsomboon, Thammathip, Adrian Clark, Mark Billinghurst, and Andy Cockburn. "User-Defined Gestures for Augmented Reality." In Chi'13 Extended Abstracts on Human Factors in Computing Systems, 955-60, 2013. ## [^4]: Guleryuz, Onur G, and Christine Kaeser-Chen. "Fast Lifting for 3d Hand Pose Estimation in Ar/Vr Applications." Paper presented at the 2018 25th IEEE International Conference on Image Processing (ICIP), 2018 --- [^5]: MacCormick, John, and Michael Isard. "Partitioned Sampling, Articulated Objects, and Interface-Quality Hand Tracking." Paper presented at the Computer Vision—ECCV 2000: 6th European Conference on Computer Vision Dublin, Ireland, June 26–July 1, 2000 Proceedings, Part II 6, 2000. [^6]: Martin, Jérôme, Vincent Devin, and James L Crowley. "Active Hand Tracking." Paper presented at the Proceedings Third IEEE International Conference on Automatic Face and Gesture Recognition, 1998. [^7]: O'Hagan, RG, Alexander Zelinsky, and Sebastien Rougeaux. "Visual Gesture Interfaces for Virtual Environments." Interacting with Computers 14, no. 3 (2002): 231-50. [^8]: Sato, Yoichi, Makiko Saito, and Hideki Koike. "Real-Time Input of 3d Pose and Gestures of a User's Hand and Its Applications for Hci." Paper presented at the Proceedings IEEE Virtual Reality 2001, 2001. [^9]: Segen, Jakub, and Senthil Kumar. "Gesture Vr: Vision-Based 3d Hand Interface for Spatial Interaction." Paper presented at the Proceedings of the sixth ACM international conference on Multimedia, 1998. [^10]: Wu, Ying, Qiong Liu, and Thomas S Huang. "An Adaptive Self-Organizing Color Segmentation Algorithm with Application to Robust Real-Time Human Hand Localization." Paper presented at the Proceedings of Asian Conference on Computer Vision, 2000. [^11]: Ong, Eng-Jon, and Richard Bowden. "A Boosted Classifier Tree for Hand Shape Detection." Paper presented at the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004. Proceedings., 2004. [^12]: Grudin, Jonathan. "Integrating Paper and Digital Information on Enhanceddesk: A Method for Realtime Finger Tracking on an Augmented Desk System." ACM Transactions on Computer-Human Interaction (TOCHI) 8, no. 4 (2001): 307-22. [^13]: Oka, Kenji, Yoichi Sato, and Hideki Koike. "Real-Time Tracking of Multiple Fingertips and Gesture Recognition for Augmented Desk Interface Systems." Paper presented at the Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition, 2002. [^14]: Utsumi, Akira, and Jun Ohya. "Multiple-Hand-Gesture Tracking Using Multiple Cameras." Paper presented at the Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149), 1999. [^15]: Deutscher, Jonathan, Ben North, Benedictes Bascle, and Andrew Blake. "Tracking through Singularities and Discontinuities by Random Sampling." Paper presented at the Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999. [^16]: Heap, Tony, and David Hogg. "Wormholes in Shape Space: Tracking through Discontinuous Changes in Shape." Paper presented at the Sixth International Conference on Computer Vision (IEEE Cat. No. 98CH36271), 1998. [^17]: Arulampalam, M Sanjeev, Simon Maskell, Neil Gordon, and Tim Clapp. "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking." IEEE Transactions on Signal Processing 50, no. 2 (2002): 174-88. [^18]: Ge, Liuhao, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. "3d Hand Shape and Pose Estimation from a Single Rgb Image." Paper presented at the Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019. [^19]: Defferrard, Michaël, Xavier Bresson, and Pierre Vandergheynst. "Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering." Advances in neural information processing systems 29 (2016). [^20]: Spurr, Adrian, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. "Self-Supervised 3d Hand Pose Estimation from Monocular Rgb Via Contrastive Learning." Paper presented at the Proceedings of the IEEE/CVF international conference on computer vision, 2021. [^21]: Zhang, Xiong, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. "End-to-End Hand Mesh Recovery from a Monocular Rgb Image." Paper presented at the Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. ## [^22]: Romero, Javier, Dimitrios Tzionas, and Michael J Black. "Embodied Hands: Modeling and Capturing Hands and Bodies Together." arXiv preprint arXiv:2201.02610 (2022) --- [^23]: Kulon, Dominik, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. "Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild." Paper presented at the Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020. [^24]: Potamias, Rolandos Alexandros, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. "Wilor: End-to-End 3d Hand Localization and Reconstruction in-the-Wild." arXiv preprint arXiv:2409.12259 (2024). [^25]: Zheng, Xiaozheng, Chao Wen, Zhou Xue, Pengfei Ren, and Jingyu Wang. "Hamuco: Hand Pose Estimation Via Multiview Collaborative Self-Supervised Learning." Paper presented at the Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023. [^26]: Liu, Ruicong, Takehiko Ohkawa, Mingfang Zhang, and Yoichi Sato. "Single-to-Dual-View Adaptation for Egocentric 3d Hand Pose Estimation." Paper presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. [^27]: Cai, Yujun, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. "Exploiting Spatial-Temporal Relationships for 3d Pose Estimation Via Graph Convolutional Networks." Paper presented at the Proceedings of the IEEE/CVF international conference on computer vision, 2019. [^28]: Liu, Shaowei, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. "Semi-Supervised 3d Hand-Object Poses Estimation with Interactions in Time." Paper presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. [^29]: Wen, Yilin, Hao Pan, Lei Yang, Jia Pan, Taku Komura, and Wenping Wang. "Hierarchical Temporal Transformer for 3d Hand Pose Estimation and Action Recognition from Egocentric RGB Videos." Paper presented at the Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2023. [^30]: Mueller, Franziska, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. "Real-Time Hand Tracking under Occlusion from an Egocentric Rgb-D Sensor." Paper presented at the Proceedings of the IEEE international conference on computer vision, 2017. [^31]: Tang, Danhang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. "Latent Regression Forest: Structured Estimation of 3d Articulated Hand Posture." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2014. [^32]: Qian, Chen, Xiao Sun, Yichen Wei, Xiaoou Tang, and Jian Sun. "Realtime and Robust Hand Tracking from Depth." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2014. [^33]: Ge, Liuhao, Yujun Cai, Junwu Weng, and Junsong Yuan. "Hand Pointnet: 3d Hand Pose Estimation Using Point Sets." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2018. [^34]: Qi, Charles R, Hao Su, Kaichun Mo, and Leonidas J Guibas. "Pointnet: Deep Learning on Point Sets for 3d Classification and Segmentation." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2017. [^35]: Moon, Gyeongsik, Ju Yong Chang, and Kyoung Mu Lee. "V2v-Posenet: Voxel-to-Voxel Prediction Network for Accurate 3d Hand and Human Pose Estimation from a Single Depth Map." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2018. [^36]: Xiong, Fu, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. "A2j: Anchor-to-Joint Regression Network for 3d Articulated Pose Estimation from a Single Depth Image." Paper presented at the Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. [^37]: Huang, Weiting, Pengfei Ren, Jingyu Wang, Qi Qi, and Haifeng Sun. "Awr: Adaptive Weighting Regression for 3d Hand Pose Estimation." Paper presented at the Proceedings of the AAAI Conference on Artificial Intelligence, 2020. ## [^38]: Ren, Pengfei, Haifeng Sun, Jiachang Hao, Jingyu Wang, Qi Qi, and Jianxin Liao. "Mining Multi-View Information: A Strong Self-Supervised Framework for Depth-Based 3d Hand Pose and Mesh Estimation." Paper presented at the Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022 --- [^39]: Cheng, Jian, Yanguang Wan, Dexin Zuo, Cuixia Ma, Jian Gu, Ping Tan, Hongan Wang, Xiaoming Deng, and Yinda Zhang. "Efficient Virtual View Selection for 3d Hand Pose Estimation." Paper presented at the Proceedings of the AAAI Conference on Artificial Intelligence, 2022. [^40]: Tompson, Jonathan, Murphy Stein, Yann Lecun, and Ken Perlin. "Real-Time Continuous Pose Recovery of Human Hands Using Convolutional Networks." ACM Transactions on Graphics (ToG) 33, no. 5 (2014): 1-10. [^41]: Moon, Gyeongsik, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. "Interhand2.6m: A Dataset and Baseline for 3d Interacting Hand Pose Estimation from a Single Rgb Image." Paper presented at the Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, 2020. [^42]: Gomez-Donoso, Francisco, Sergio Orts-Escolano, and Miguel Cazorla. "Large-Scale Multiview 3d Hand Pose Dataset." Image and Vision Computing 81 (2019): 25-33. [^43]: Fan, Zicong, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. "Arctic: A Dataset for Dexterous Bimanual Hand-Object Manipulation." Paper presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. [^44]: Garcia-Hernando, Guillermo, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. "First-Person Hand Action Benchmark with Rgb-D Videos and 3d Hand Pose Annotations." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2018. [^45]: Zhu, Zehao, Jiashun Wang, Yuzhe Qin, Deqing Sun, Varun Jampani, and Xiaolong Wang. "Contactart: Learning 3d Interaction Priors for Category-Level Articulated Object and Hand Poses Estimation." Paper presented at the 2024 International Conference on 3D Vision (3DV), 2024 [^46]: Yuan, Shanxin, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. "Bighand2.2m Benchmark: Hand Pose Dataset and State of the Art Analysis." Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2017. [^47]: Chao, Yu-Wei, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, et al. "Dexycb: A Benchmark for Capturing Hand Grasping of Objects." Paper presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. [^48]: Liu, Yunze, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, et al. "Ho14d: A 4d Egocentric Dataset for Category-Level Human-Object Interaction." Paper presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. [^49]: Hampali, Shreyas, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. "Honnotate: A Method for 3d Annotation of Hand and Object Poses." Paper presented at the Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020.