{
  "paper_id": "cb1e359ebf715aaa0af48c963944baed",
  "paper_title": "A Survey of Hand Pose Estimation and Hand Datasets",
  "paper_authors": [
    "Xiao Hu",
    "Zhiyuan Wang",
    "Wei Jia"
  ],
  "publication_date": "2024",
  "publication_venue": "Eighth International Conference on Computer Graphics and Virtuality (ICCGV 2025)",
  "abstract": "手部姿态估计旨在从RGB图像、深度图、点云和体素等信息媒介中检测并重建三维手部骨架或网格模型。相关技术主要应用于人机交互、运动分析、增强现实和虚拟现实等领域。近年来，随着深度学习技术的快速发展和深度相机的广泛应用，手部姿态估计受到越来越多的关注。当前最先进的技术已取得良好性能，但在面对手-物交互、双手交互以及户外遮挡情况时仍存在巨大挑战。本文根据信息媒介的类型对各种手部姿态估计算法的特点与优缺点进行分类介绍，收集手部姿态估计中使用的主要数据集和基准，最后讨论该领域的主要挑战与前景。",
  "keywords": [
    "手部姿态估计",
    "人机交互",
    "深度学习"
  ],
  "paper_institutions": [
    "Hefei University of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:12.919083Z",
  "template_tag": "simple",
  "summary": "### 摘要\n手部姿态估计旨在从RGB图像、深度图、点云和体素等信息媒介中检测并重建三维手部骨架或网格模型，其技术在人机交互、运动分析、增强现实与虚拟现实中应用广泛；随着深度学习与深度相机的普及，该领域虽已取得良好性能，但在手-物交互、双手交互与户外遮挡场景下仍面临重大挑战。本综述以深度学习模型的引入为分界，先回顾基于传统视觉的局部姿态估计与模型跟踪式完整姿态估计，再按信息媒介分类梳理2017—2024年的深度学习方法：RGB图像方向涵盖单视角方法（如图CNN网格重建、PeCLR等变对比学习自监督、HAMR参数化MANO端到端网格恢复、弱监督网格卷积以及SOTA的WiLoR全卷积定位加Transformer重建框架）、多视角方法（HaMuCo跨视角协同自监督、S2DHand免标注双视角适配）与视频方法（时空图卷积、Transformer半监督与层级时序Transformer）；深度信息方向涵盖点云回归、体素到体素网络、A2J锚点到关节回归、AWR自适应加权回归、MMV自监督多视角挖掘与VVS虚拟视角选择融合。综述还系统收集了17个主流数据集与基准（如InterHand2.6M、ICVL、NYU、MSRA、BigHand2.2M、DexYCB、HOI4D、ARCTIC等），这些数据集因覆盖多视角、深度、双手与手-物交互及挑战环境而被选用，用以验证各方法的精度与泛化能力。在以平均关节误差（mm）为指标的三套深度基准上，VVS在NYU/ICVL上分别达到6.4/4.79mm，AWR在NYU/ICVL/MSRA上达到7.37/5.98/7.2mm，显著优于HandPointNet的10.5/6.935/8.5mm，支持了虚拟视角融合与自适应加权回归等创新的有效性；RGB方向WiLoR以超过110FPS的速度在多种遮挡与光照条件下实现鲁棒检测。核心机制可以A2J的锚点到关节回归为代表：在深度图上设置密集锚点以捕获全局-局部空间上下文信息，并以集成方式预测关节三维位置，从而增强泛化能力。未来方向包括遮挡处理、实时性保障、跨环境泛化、多交互手姿态估计与跨模态数据融合；实际部署需在VR/AR等资源受限的可穿戴场景中平衡实时性与鲁棒性，并应对背景干扰、自遮挡与深度模糊等约束。\n\n### 关键要点\n- 手部姿态估计从RGB图像、深度图、点云与体素中检测并重建三维手部骨架或网格，应用于人机交互、运动分析、AR/VR等领域，已成为计算机视觉的研究热点。\n- 传统视觉方案依赖肤色查找表分割、静态背景裁剪与粒子滤波等手段，对纯色背景、均匀光照等图像条件要求苛刻，难以在有限硬件下兼顾实时性与鲁棒性。\n- 基于模型的完整姿态跟踪通过最小化模板匹配误差逐帧校准模型参数，但依赖序列时间相关性，长序列中的局部极小值与帧不连续会破坏估计质量，多假设跟踪可部分补偿。\n- RGB单视角方法中，Ge等基于图CNN从单目RGB图像预测1280个手部网格顶点的三维坐标，采用大规模合成数据全监督训练加真实数据弱监督微调，无需三维真值即可同时估计姿态与形状。\n- PeCLR利用等变对比学习实现自监督三维手部姿态估计，使特征表示在外观变换下保持不变、几何变换下保持等变，可从大量无标注数据中有效学习。\n- WiLoR为当前SOTA的端到端野外三维手部定位与重建框架，由实时全卷积手部定位与基于Transformer的高保真重建模块组成，借助WHIM数据集可在多种遮挡与光照条件下以超过110FPS的速度鲁棒检测。\n- 多视角方法HaMuCo通过跨视角交互网络利用跨视角相关特征并强制多视角一致性进行协同自监督学习；S2DHand基于立体约束（视角共识与变换不变性），无需多视角标注或相机参数即可将单目估计器适配至任意双视角设置。\n- 深度信息方法中，A2J通过在深度图上设置密集锚点捕获全局-局部空间上下文并以集成方式预测关节位置；AWR结合检测与回归方法的优势，以自适应权重图引导的像素密集表示离散积分估计关节坐标。\n- 在NYU/ICVL/MSRA基准上以平均误差衡量，VVS达到6.4/4.79mm（NYU/ICVL），AWR达到7.37/5.98/7.2mm，均优于HandPointNet（10.5/6.935/8.5mm）与V2V（8.42/6.28/7.49mm）等早期方法。\n- 综述整理了17个有影响力的数据集，包括InterHand2.6M（约260万帧单手与双手交互标注）、BigHand2.2M（220万深度图像，六磁传感器加逆运动学重建31自由度手模型）、HOI4D（240万帧自我中心RGB-D视频）与ARCTIC（210万帧含手与物体精确网格信息）等。\n- 当前主要挑战与未来方向包括遮挡处理、实时性能保障、模型对新环境与未见数据的泛化能力提升、多交互手姿态估计以及跨模态数据整合。\n- 实际应用约束：VR/AR可穿戴设备资源分配有限且要求实时性与精确指尖定位，户外场景面临背景干扰、自遮挡、深度模糊与手-物交互等难题。"
}