{
  "paper_id": "20e75b6164d462294e12914e861e00d3",
  "paper_title": "Large-scale Multiview 3D Hand Pose Dataset",
  "paper_authors": [
    "Francisco Gomez-Donoso",
    "Sergio Orts-Escolano",
    "Miguel Cazorla"
  ],
  "publication_date": "2017",
  "publication_venue": "Image and Vision Computing",
  "abstract": "Accurate hand pose estimation at joint level has several uses on human-robot interaction, user interfacing and virtual reality applications. However, it is a currently unresolved question. The novel deep learning techniques could make great improvement in this respect but they need an enormous amount of annotated data. The hand pose datasets released so far are impossible to use in deep learning methods as they present issues such as the limited number of samples, high-level abstraction annotations or samples consisting in depth maps. In this work, we introduce a multiview hand pose dataset in which we provide color images of hands and different kind of annotations for each, i.e. the bounding box and the 2D and 3D location on the joints in the hand. Furthermore, we introduce a simple yet accurate deep learning architecture for real-time robust 2D hand pose estimation.",
  "keywords": [
    "hand pose estimation",
    "multiview dataset",
    "deep learning",
    "Leap Motion",
    "2D/3D joint localization",
    "ResNet50",
    "Faster R-CNN",
    "real-time pose estimation"
  ],
  "paper_institutions": [
    "University Institute for Computer Research, University of Alicante"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:25.415489Z",
  "template_tag": "simple",
  "summary": "### 摘要\n关节级手部姿态估计在人机交互、用户界面与虚拟/增强现实等应用中价值重大但至今未获解决，深度学习虽有望显著提升性能却依赖海量标注数据，而既有数据集（早期静态/动态手势数据集、NUS手部姿态数据集、波兰与美国手语数据集、Molina深度图数据集、NYU手部姿态数据集及深度+骨架数据集等）普遍存在样本量不足、仅有类别级抽象标注、仅提供深度图而强制配备3D传感器、背景单一等缺陷，难以直接用于深度学习方法。为此，本文构建了一个大规模多视角手部姿态数据集：自制铝制三臂采集装置搭载4台彩色相机（3台Logitech C920 Pro与1台顶置Microsoft LifeCam Studio，以640×480分辨率采集并禁用自动对焦以保证内参稳定）与Leap Motion控制器（200Hz亚毫米级手部追踪），其核心机制是先标定各相机内参K，再利用10帧手工标注的指尖3D-2D对应点求解Perspective-n-Point问题，以Levenberg-Marquardt算法最小化重投影误差，得到Leap Motion坐标系到相机坐标系的6自由度变换[R|T]，据此将3D关节点自动投影为各相机的2D标注并计算边界框（各方向加30像素偏移），实现大规模自动标注；数据集含21个序列、超过20,500帧、80,000余张彩色图像与184,500余条标注，覆盖9名右利手受试者、不同时段与自发无计划的手部运动，并包含戴手套与戴口罩等特殊条件序列，样本打乱后按80%/20%划分训练/测试集。作者同时提出实时2D手部姿态估计基线：Faster R-CNN（VGG-16骨干、ImageNet预训练、置信度阈值0.85）检测手部边界框，裁剪缩放至224×224后输入修改版ResNet50（输出层40个神经元对应20个关节的X/Y坐标，以线性激活替代softmax），采用Adam优化器（学习率0.001）、MSE损失从头训练200次迭代，训练损失达0.0000607571、测试损失0.00031547；在Intel i5-3570、8GB内存与NVIDIA GTX1080硬件（Caffe 0.14-RC3、Keras 1.2.0/TensorFlow 0.12）上，全流水线以23 FPS实时运行（手部检测每帧15毫秒），测试集验证平均绝对误差为0.06939%（224×224输入下约10像素），验证了该数据集与简单而精确的架构在精度与实时性上的有效性。未来工作将设计鲁棒的3D手部姿态估计架构，输出真实世界坐标下的x、y、z与手掌法向量；该数据集与基线适用于虚拟/增强现实、手语与手势识别、人机交互等需要非侵入式手部姿态检测的现实场景，但两阶段系统依赖手部检测成功、受试者均为右利手等约束需在实际部署中加以注意。\n\n### 关键要点\n- 数据集规模：21个序列、超过20,500帧，每帧含4张彩色图像与9类标注，合计超过80,000张图像与184,500余条标注，样本打乱后按80%训练/20%测试划分。\n- 采集装置：铝制三臂结构固定4台彩色相机（中间相机朝下、两侧相机呈45度、1台顶置Microsoft LifeCam Studio）与朝上的Leap Motion控制器，形成相机与追踪器重叠的采集空间，图像以640×480分辨率采集。\n- 自动标注机制：先以Zhang法估计各相机内参K，再采集10帧并手工标注指尖对应点，通过求解Perspective-n-Point问题（Levenberg-Marquardt最小化重投影误差）获得Leap Motion到相机坐标系的6自由度变换[R|T]，将3D关节点投影为2D标注。\n- 标注内容：每帧提供Leap Motion原始3D关节点（20个关节，覆盖五指各指节与指尖，另含手掌位置与法向量）、4组2D投影点与4个边界框（由3D点投影的X/Y极值加30像素偏移计算）。\n- 变异性设计：9名右利手受试者在不同时段以自发、无计划的手部运动采集，另含两个戴不同手套的序列与一个戴口罩的序列以挑战算法泛化能力；图像经镜头畸变校正，无其他预处理。\n- 基线流水线：Faster R-CNN（VGG-16骨干，ImageNet预训练）检测手部边界框，置信度高于0.85时裁剪手部并缩放至224×224，输入修改版ResNet50以回归模式估计20个关节的X/Y坐标。\n- 回归网络设置：ResNet50输出层调整为40个神经元（20关节×X/Y），softmax改为线性激活，从头训练，Adam优化器学习率0.001，MSE损失，200次迭代，训练损失0.0000607571，测试损失0.00031547（用作早停准则）。\n- 检测器泛化策略：手部检测器在Oxford手部数据集（1000张）基础上，扩展本数据集图像与Google Images下载并手工标注的特写手部图像，以避免过拟合特定环境。\n- 性能结果：测试集验证平均绝对误差0.06939%（224×224输入下约10像素）；全流水线在NVIDIA GTX1080上以23 FPS运行，手部检测每帧15毫秒，经运动估计等优化可达30-35 FPS。\n- 实验环境：Intel i5-3570、8GB Kingston HyperX DDR3内存、NVIDIA GTX1080，Ubuntu 14.04.02，Caffe 0.14-RC3与Keras 1.2.0（TensorFlow 0.12后端），CUDA 8.0与cuDNN v5.0。\n- 局限与失败案例：两阶段系统依赖手部检测成功，若第一阶段未检测到完整手部，第二阶段将在错误数据上回归而失败；受试者均为右利手。\n- 应用与未来方向：适用于人机交互、用户界面、虚拟/增强现实、手语与手势识别等非侵入式场景；未来计划设计输出真实世界x、y、z坐标与手掌法向量的3D手部姿态估计架构。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}