{
  "paper_id": "5971b4ae38a64ca2fda7961934178d11",
  "paper_title": "A Comprehensive Study on Deep Learning-Based 3D Hand Pose Estimation Methods",
  "paper_authors": [
    "Theocharis Chatzis",
    "Andreas Stergioulas",
    "Dimitrios Konstantinidis",
    "Kosmas Dimitropoulos",
    "Petros Daras"
  ],
  "publication_date": "2020-09-30",
  "publication_venue": "MDPI",
  "abstract": "The field of 3D hand pose estimation has been gaining a lot of attention recently, due to its significance in several applications that require human-computer interaction (HCI). The utilization of technological advances, such as cost-efficient depth cameras coupled with the explosive progress of Deep Neural Networks (DNNs), has led to a significant boost in the development of robust markerless 3D hand pose estimation methods. Nonetheless, finger occlusions and rapid motions still pose significant challenges to the accuracy of such methods. In this survey, we provide a comprehensive study of the most representative deep learning-based methods in literature and propose a new taxonomy heavily based on the input data modality, being RGB, depth, or multimodal information. Finally, we demonstrate results on the most popular RGB and depth-based datasets and discuss potential research directions in this rapidly growing field.",
  "keywords": [
    "computer vision",
    "deep learning",
    "neural networks",
    "3D hand pose estimation"
  ],
  "paper_institutions": [
    "Visual Computing Lab, Information Technologies Institute, Centre for Research and Technology Hellas (CERTH/ITI), Thessaloniki, Greece"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:26:22.907915Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n3D手部姿态估计因其在人机交互（HCI）、沉浸式VR/AR、手势识别、手语识别与运动障碍患者辅助系统等应用中的关键作用而备受关注，但手指自遮挡、快速运动、超过20个自由度（DOF）的高关节活动性、低分辨率输入以及3D标注数据获取成本高昂等挑战持续制约无标记方法的精度。早期研究依赖随机森林等传统机器学习技术与数据手套等专用设备，而深度神经网络（CNN、RNN、自编码器、GAN）的爆发式进展使鲁棒的无标记3D手部姿态估计成为可能。本综述对2014年至2020年7月间最具代表性的深度学习方法进行全面研究，并提出一种主要基于输入数据模态的新分类体系：深度方法细分为2D深度图利用与3D表示（点云、体素）利用，RGB方法细分为无模型（直接回归关节位置/热图）与基于模型（预测手模型参数）方法，多模态方法细分为单模态推理与多模态推理。文中系统梳理了ICVL、NYU、MSRA15、BigHand2.2M、HANDS 2017、SynHand5M、FreiHAND、RHD、STB、EgoDexter、Dexter+Object等常用数据集——它们涵盖合成与真实数据、第三人称与自我中心视角、不同关节数与分辨率，被选择以验证各方法在不同输入模态、场景与泛化需求下的表现。评估采用平均端点误差（mEPE）与PCK曲线下面积（AUC，20–50mm阈值）：例如ICVL上Zhou等达6.24mm mEPE，HANDS 2017上HBE达5.26mm mEPE，SynHand5M上HandVoxNet达3.75mm mEPE，STB上Theodoridis等达6.93mm mEPE/0.997 AUC，这些结果支持了体素化3D表示、生成式潜空间建模与手模型先验等创新的有效性。未来方向包括充分利用生成网络（VAE/GAN）的表示能力、解耦潜子空间、更深入探索多模态方法以及构建面向手语等挑战场景的多样化高质量标注数据。现实约束方面，现有方法多假设干净背景与单手场景，手-手/手-物交互研究不足，移动设备算力限制实时部署，且合成数据训练存在域差距。综述的核心机制之一是MANO可微分手模型：M(β,θ)=W(T(β,θ),J(β),θ,w)，其中W为线性混合蒙皮（LBS）函数，作用于带16个关节J的绑定模板手网格T，β为形状参数、θ为姿态参数、w为混合权重，其可微特性使其便于与DNN结合，将预测约束为符合人体结构的可行手部姿态。\n\n### 关键要点\n\n- 提出以输入数据模态为核心的新分类体系：RGB、深度与多模态三大类；深度方法再分为2D深度图与3D表示（点云/体素）利用，RGB方法分为无模型与基于模型，多模态方法分为单模态推理与多模态推理。\n- 手部姿态估计的核心挑战包括：超过20个自由度的高关节活动性、手指自遮挡、图像中手部低分辨率、3D标注数据昂贵（需昂贵的动捕或多视角系统）以及快速运动导致的模糊帧。\n- 早期机器学习方法以随机森林及其变体为主，如Keskin等利用中间表示（逐像素手部部件标注结合均值漂移）以及Tang等的潜在回归森林（LRF）分层分而治之搜索。\n- 深度方法中，DeepPrior/DeepPrior++通过PCA初始化的瓶颈层施加姿态先验；V2V-PoseNet等体素方法将任务转化为体素到体素的关节似然预测，消除2D到3D直接回归的透视畸变。\n- MANO可微分手模型 M(β,θ)=W(T(β,θ),J(β),θ,w)（LBS函数W作用于含16关节的模板网格T）被多数近期基于模型的深度方法采用，以几何先验约束预测为人体可行的手部姿态。\n- 生成式方法（如Crossing Nets结合GAN与VAE映射深度图与3D姿态潜空间、合成-真实域间的共享潜空间迁移）证明网络能学习可行手部姿态流形，但对抗训练带来较高的训练复杂度。\n- 多模态方法在训练时利用深度图、热图、点云甚至MoCap等辅助信息提升RGB推理（单模态推理），或在全流程中融合多模态（多模态推理）；Zhou等首次使用手部MoCap数据通过IKNet引导关节旋转。\n- 常用数据集包括ICVL（332.5K深度图）、NYU（81K，3个Kinect视角）、BigHand2.2M（2.2M，六磁传感器标注）、HANDS 2017（1.1M）、SynHand5M（5M合成）、FreiHAND（134K RGB）、RHD（44K合成）、STB（18K）等，涵盖合成/真实与第三人称/自我中心视角。\n- 评估指标为平均端点误差（mEPE，预测与真值关节的平均3D欧氏距离）与PCK的AUC（20–50mm阈值）；代表性结果如ICVL上6.24mm、HANDS 2017上5.26mm、SynHand5M上3.75mm mEPE，STB上0.997 AUC。\n- 现实约束：多数方法假设手部位于干净背景且场景中仅单手，手-手与手-物交互探索不足；移动设备处理能力有限难以实时运行；合成数据训练的模型在真实数据上因域差距而性能下降。\n- 未来方向：深入挖掘生成网络（VAE/GAN）的潜空间表示与解耦能力、更充分探索多模态方法、构建多样化且标注良好的数据集（如面向手语场景）以缓解背景与姿态假设。"
}