{
  "paper_id": "73bef0c50cf67ab71d4030a0ab083e01",
  "paper_title": "BigHand2.2M Benchmark: Hand Pose Dataset and State of the Art Analysis",
  "paper_authors": [
    "Shanxin Yuan",
    "Qi Ye",
    "Björn Stenger",
    "Siddhart Jain",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文介绍一个采用新型采集方法获取的大规模手部姿态数据集。现有数据集或为合成生成，或由深度传感器采集：合成数据与真实深度图像存在一定外观差异，而真实数据集主要受标注困难限制，数量和覆盖范围有限。作者提出一种包含六个6D磁传感器和逆运动学的跟踪系统，可对运动范围限制极小的深度图自动获取21个关节及姿态标注。采集协议旨在全面覆盖自然手部姿态空间；嵌入图显示，与现有基准相比，新数据集的手部姿态范围显著更宽、更密。论文在该数据集上评估当前先进方法，展示了跨基准性能的显著提升；使用新数据集训练的CNN还在第一视角手部姿态估计上取得显著改进。\n",
  "keywords": [
    "手部姿态估计",
    "深度数据集",
    "磁传感器",
    "逆运动学",
    "卷积神经网络",
    "跨基准评估",
    "第一视角手部姿态估计",
    "手部姿态标注"
  ],
  "paper_institutions": [
    "Imperial College London",
    "Rakuten Institute of Technology",
    "IIT Jodhpur"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:50.934464Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对手部姿态估计中深度神经网络性能可随训练数据规模提升，但现有基准标注图像少、标注精度不足、关节运动与视角及手形覆盖有限，以及合成数据与真实深度图存在外观和运动学差异的问题，论文提出一种低干扰自动标注采集方法。该方法在五根指甲和手背分别固定六个6D磁传感器，以31自由度、21关节手模型和每名受试者的实测骨长为基础，通过逆运动学恢复完整手部姿态；其核心机制可由公式 `T=L(S)+l_1V_1+rV_2` 表示，DIP关节由 `D=L(S)-l_2V_1+rV_2` 计算，PIP则依据固定骨长、共面及相对侧约束唯一确定。采集系统使用trakSTAR以720fps记录传感器位置和方向，并使用Intel RealSense SR300以640×480分辨率、最高60fps采集深度图；最近邻时间戳同步使时差不超过0.7ms，ASPnP算法完成磁坐标与相机坐标标定。这些设置在尽量不改变裸手深度外观和运动范围的同时，验证了高精度、逐帧、自动标注的可行性。BigHand2.2M包含10名受试者、每人两小时共220万张单手深度图，分为153.4万张规划姿态、37.5万张随机姿态和29万张第一视角姿态；视角空间划分为16个区域，并定义32个极端姿态、枚举496对姿态间的自然过渡，t-SNE显示其在视角、25维关节运动及联合空间上比ICVL和NYU更宽更密。实验采用Holi CNN，输入96×96及48×48、24×24多尺度裁剪图，以关节位置均方误差为损失，Adam参数固定；10人数据按9:1划分，并选择ICVL、NYU、MSRC和额外的新受试者3.7万帧序列，分别检验真实跨基准、合成域差和未见手形泛化。评价采用平均关节误差和误差阈值内关节比例；在BigHand上训练的模型在ICVL、NYU、BigHand测试上平均误差分别为14.9、20.6、17.1mm，在真实基准上达到可比或更优的跨基准性能，验证集中90%关节误差在5mm内，训练数据从1/16增至全集时性能持续改善，第一视角子集比此前最大数据集大130倍并训练出与第三视角精度相近的CNN。这些结果支持大规模、高准确度、姿态/视角/手形多样化真实数据可显著提升泛化能力的核心创新。该数据适用于AR/VR、机器人感知、可穿戴设备和第一视角手势交互等场景，但受单手自然无外力动作、磁发射器最大660mm跟踪距离、真实与合成数据域差、不同基准关节定义和标注方案不一致等约束；未来可借此探索新模型、统一标注规范以及更复杂的手物交互场景。\n\n### 关键要点\n\n- 标注硬件由两台硬件同步的trakSTAR电磁跟踪单元、六个Model 180 6D磁传感器、一个中距发射器和一台Intel RealSense SR300深度相机组成，传感器通过弹性细线固定，对深度外观和手部动作影响较小。\n- 五个传感器分别位于拇指到小指的指甲，第六个位于手背；手背传感器确定全局姿态、腕部和五个MCP关节，指尖传感器用于推断TIP、DIP并进一步确定PIP。\n- 逆运动学使用21关节、31自由度手模型，约束包括腕部与MCP相对固定、骨长恒定以及每指MCP、PIP、DIP、TIP共面，从而自动输出完整21关节位置。\n- trakSTAR以720fps采集位置和方向且连续工作无漂移，SR300以640×480分辨率、最高60fps采集深度图，最近邻时间戳同步的最大时差为0.7ms。\n- 坐标系标定通过ASPnP求解PnP问题，利用三维磁传感器位置、深度图中对应二维位置和相机内参估计两个坐标系之间的变换。\n- BigHand2.2M含220万帧自动标注单手深度图，来自10名受试者、每人采集两小时，其中规划姿态153.4万帧、随机姿态37.5万帧、第一视角姿态29万帧。\n- 采集协议将第三视角半球划分为16个区域并加入随机第一视角变化，同时定义32个极端弯曲或伸展姿态并枚举496对姿态间的自然过渡，以系统覆盖自然姿态空间。\n- 手形空间覆盖10名25至35岁受试者，其中7男3女，并额外记录一名新受试者的3.7万帧测试序列；PCA可视化显示其手形数量多于ICVL、NYU和MSRC等基准。\n- 实验采用Holi CNN，输入归一化的96×96手部区域及48×48、24×24两个降采样副本，损失为预测位置与真值位置的均方距离，并使用Theano和Adam训练。\n- 跨基准与数据规模实验显示，BigHand训练模型在ICVL、NYU和BigHand测试集上平均误差分别为14.9、20.6和17.1mm，在合成MSRC上为43.7mm，且训练比例从1/16增加到全集时性能持续改善。\n- 第一视角子集含10人各2.9万帧，总量29万帧，比此前最大的Graz16数据集多约130倍；九人训练、一人测试的十折交叉验证显示其精度接近第三视角手部姿态估计。\n- 数据集面向无需外力即可做出的单手自然姿态，受磁跟踪距离最大660mm、真实与合成数据差异以及不同基准关节数量、手形测量方式和标注精度不一致等约束。"
}