# BigHand2.2M基准测试：手部姿态数据集与最新技术分析
袁善欣 $^{1*}$ 叶琪 $^{1*}$ 比约恩·斯滕格 $^{2}$ 西达尔万特·贾恩 $^{3}$ 金泰均 $^{1}$
$^{1}$帝国理工学院 $^{2}$乐天技术研究所 $^{3}$印度理工学院焦特布尔分校
## 摘要
在本文中，我们介绍了一个大规模手部姿态数据集，该数据集采用一种新颖的采集方法获得。现有的数据集要么是合成生成的，要么是用深度传感器采集的：合成数据集与真实的深度图像存在一定程度的外观差异，而真实数据集在数量和覆盖范围上有限，主要原因是其标注难度较大。我们提出了一种基于六个6D磁传感器的跟踪系统，结合逆运动学算法，能够自动获取21个关节信息以及深度图的姿态标注，且对手部运动范围的限制极小。该采集方案旨在全面覆盖自然手部姿态空间。如嵌入图所示，与现有基准测试相比，新数据集所涵盖的手部姿态范围更广、密度更高。我们在该数据集上对当前最先进的方法进行了评估，结果显示其在跨基准测试中的性能有显著提升。我们还证明，用新数据集训练的CNN在中心视角手部姿态估计任务中也能取得显著进步。
### 1. 引言
近年来，手部姿态估计领域取得了显著进展，已经提出了多种相关系统 [^5] [^8] [^11] [^14] [^15] [^18] [^24] [^30] [^7] [^1] [^4] [^33] [^6]。然而，正如[^12]中所指出的，现有基准测试在标注图像数量、标注精度、关节活动覆盖范围以及手部形状和视角的多样性方面存在局限 [^18] [^26] [^28] [^31] [^34]。
当前手部姿态估计的最新技术采用深度神经网络从输入数据中估计手部姿态 [^31] [^13] [^14] [^40] [^2] [^38]。研究表明，这些方法的性能会随着训练数据集规模的扩大而提升。因此，一个大规模且标注准确的数据集是推动该领域发展的关键因素。人工标注一直是创建大规模基准测试的瓶颈 [^18] [^25]。这种方法不仅耗费人力，还可能导致位置标签不准确。人们已经设计出半自动采集方法，通过手动标注的2D关节位置来推断3D关节位置 [^12]。另一些耗时较长的方法则是先跟踪手部模型，必要时进行手动微调，再重复这些步骤 [^26] [^28] [^31]。额外的传感器可以显著辅助自动采集，但必须注意不能限制手部的运动范围，同时要尽量减小其与裸手在深度图像上的外观差异，比如使用数据手套时便是如此 [^36]。最近，HandNet数据集中采用了侵入性更低的磁传感器来标注指尖位置 [^34]。
在本文中，我们介绍了规模达百万级的BigHand2.2M数据集。该数据集在手部数据变化的完整性与标注质量方面取得了重大进展，具体可参见图1和表1。我们详细阐述了能够实现高精度手部姿态标注的采集设置与方法，借此可捕捉无需外力作用时手部所能做出的各种动作范围。该数据集包含220万张带有精确关节位置标注的深度图。数据采集时会在手上安装六个磁性传感器：五个位于每个指甲上，另一个位于手掌背面，每个传感器都能提供精确的六维测量数据。通过对具有31个自由度且受运动学约束的手部模型应用逆向运动学算法，即可获取所有关节的位置信息。BigHand2.2M数据集还包含29万帧以观察者为中心的手部姿态图像，这一数量是以往同类数据集的130倍（见表2）。利用该数据训练卷积神经网络（CNN）后，取得了显著更好的效果。Supancic等人[^27]近期开展的跨基准测试研究表明，约40%的姿态估计误差超过了50毫米。这一现象源于不同的采集设置、手部形状差异以及标注方案的不同。借助BigHand2.2M数据集训练CNN后，我们在现有基准测试中展现出了最先进的性能，平均误差仅为15-20毫米。
### 2. 现有基准
用于评估与比较的现有基准在规模上存在明显局限，图像数量仅从几百张到几十张不等。
---
Figure 1: Example images from the BigHand2.2M dataset. The dataset covers the range of hand poses that can be assumed without applying external forces to the hand. The accuracy of joint annotations is higher than in previous benchmark datasets.
| Dataset | Annotation | No. frames | No. joints | No. subjects | View point | Depth map resolution |
| Dexter 1 [^25] | manual | 2,137 | 5 | 1 | 3rd | 320 $\times$240 |
| MSRA14 [^18] | manual | 2,400 | 21 | 6 | 3rd | 320 $\times$240 |
| ICVL [^28] | track + refine | 17,604 | 16 | 10 | 3rd | 320 $\times$240 |
| NYU [^31] | track + refine | 81,009 | 36 | 2 | 3rd | 640 $\times$480 |
| MSRA15 [^26] | track + refine | 76,375 | 21 | 9 | 3rd | 320 $\times$240 |
| UCI-EGO [^20] | semi-automatic | 400 | 26 | 2 | ego | 320 $\times$240 |
| Graz16 [^12] | semi-automatic | 2,166 | 21 | 6 | ego | 320 $\times$240 |
| ASTAR [^36] | automatic | 870 | 20 | 30 | 3rd | 320 $\times$240 |
| HandNet [^34] | automatic | 212,928 | 6 | 10 | 3rd | 320 $\times$240 |
| MSRC [^24] | synthetic | 102,000 | 22 | 1 | 3rd | 512 $\times$424 |
| BigHand2.2M | automatic | 2.2M | 21 | 10 | full | 640 $\times$480 |
表1：基准对比。由于标注方式为手动或半自动，现有数据集在图像数量上存在局限。而我们采用的自动标注方法能够按帧率收集标注完整的深度图像。我们的数据集是使用最新的Intel RealSense SR300相机[^3]采集的，该相机可拍摄分辨率为$640 \times 480$像素的深度图像。
涉及数千个样本）、标注准确性、关节活动范围、视角以及手部形状 [^18] [^24] [^26] [^28] [^31] [^34] [^12]。利用采集的数据构建大规模基准测试集的主要瓶颈在于缺乏快速且准确的标注方法。通过人工标注来创建数据集 [^18] [^25] 不仅耗时费力，还可能导致标签不准确。这类基准测试集的规模较小，例如MSRA14[^18]和Dexter 1 [^25]分别仅包含2,400帧和2,137帧数据，因此不适合用于大规模训练。其他标注方法同样费时费力，它们需要追踪手部模型，并在必要时手动优化结果，即反复执行这两个步骤 [^26] [^28] [^31]。ICVL数据集 [^28] 是最早的基准测试集之一，其标注过程采用了3D骨骼追踪技术 [^9]，随后再进行人工优化。不过该数据集规模较小，且文献中已指出其标注准确性存在局限 [^26] [^12]。NYU数据集 [^31] 规模更大，涵盖的视角也更广。其标注是通过对三台摄像头拍摄的深度图像进行基于模型的手部追踪获得的。最终标注结果是借助粒子群优化算法得出的。但该方法常常会导致追踪结果偏离正确姿态，此时就需要人工干预以重新初始化追踪过程。MSRA15数据集 [^26] 目前是该领域最复杂的基准测试集 [^12]。它采用迭代方式标注，即不断优化方法 [^18] 与人工调整交替进行，直至收敛。这种标注方式
---
也存在一些错误，比如偶尔会遗漏手指和拇指的标注。该基准测试集虽然覆盖了广泛的视角，但在关节活动范围上的变化却很小，仅捕捉了17种基础关节姿态，且在500帧序列中每种姿态的变化有限。
有两个小型数据集是采用半自动标注方法采集的 [^12] [^20]。UCI-EGO数据集 [^20] 的标注过程是先迭代查找合成数据集中的最接近样本，随后进行人工优化。Graz16数据集 [^12] 则是通过迭代标注若干关键帧中的可见关节，再利用优化方法自动推断完整序列，该方法会同时利用外观、时间和距离约束条件。然而，为快速移动的手部进行标注仍颇具挑战性；一旦优化失败，仍需人工修正。这种半自动方法最终生成了一个包含2,166帧标注数据的第一人称视角数据集，但这一规模仍不足以满足大规模训练的需求。
额外的传感器能够显著辅助自动捕捉过程[^17] [^32] [^34] [^36]，但必须注意不要限制手部的活动范围。ASTAR数据集[^36]采用了ShapeHand数据手套[^23]，不过佩戴该手套会影响所捕捉的手部图像，甚至在一定程度上阻碍手部的自由活动。在[^17] [^32]的研究中，全身姿态估计被视作基于磁传感器和深度数据的状态估计问题。最近，侵入性更低的磁传感器被用于HandNet数据集中的指尖标注[^34]，该数据集采用的标注方式与我们使用trakSTAR磁传感器的基准测试类似[^10]。不过，该数据集仅提供指尖位置信息，并未给出完整的手部标注。
合成数据已被用于生成训练数据[^19] [^21] [^37]以及评估数据[^24]。尽管可以生成无限量的合成数据，但目前合成数据与真实数据之间仍存在差距。除了手部特征差异和缺乏传感器噪声外，合成生成的图像有时会产生运动学上不合理且不自然的手部姿态，详见图10。MSRC基准测试数据集[^24]属于合成基准数据集，其中的数据在三维视角空间中均匀分布。不过，该数据集在关节活动空间上的数据较为有限，其姿态是通过对六种关节活动方式随机采样生成的。
### 3. 完整手部姿态标注
在本节中，我们将介绍利用配备6D磁传感器的trakSTAR跟踪系统进行精确完整手部姿态标注的方法。
#### 3.1. 通过逆运动学进行标注
我们的手部模型包含21个关节，拥有31个自由度（DOF），如图2所示。我们对其进行捕捉。
Figure 2: Hand model definition. (a) Our hand model has 21 joints and moves with 31 degrees of freedom (dof). (b) Model fitted to hand shape. (c) and (d) show how hand shape is measured.
Figure 3: Hand pose inference using six 6D magnetic sensors. Global hand pose can be inferred from the location and orientation of sensor S6 on the back of the palm. Each sensor on the nail is used to infer the TIP and DIP joints of the corresponding finger. Each PIP joint can be calculated using bone lengths and physical constraints.
共有31个维度，其中6个维度用于描述全局姿态，25个维度用于描述关节角度。每个手指的姿态由五个角度表示，包括扭转角、屈曲角、掌指关节的外展角，以及远侧指间关节和近侧指间关节的屈曲角。对于每位受试者，我们会手动测量骨骼长度，详见图2(c)和(d)。
借助六个磁传感器（每个传感器具备6个自由度：位置和方向）以及手部模型，我们利用逆运动学来推断由21个关节位置定义的完整手部姿态，如图2所示。针对每位受试者的物理约束包括：(1)腕部和5个掌指关节之间的相对位置固定；(2)骨骼长度保持不变；(3)每个手指的掌指关节、近侧指间关节、远侧指间关节和指尖位于同一平面上。
---
Figure 4: Annotation settings. The equipment used in our annotation system are: Two hardware synchronized electromagnetic tracking units, six 6D magnetic sensors, one mid-range transmitter, and an Intel RealSense SR300 camera.
(2) 骨骼长度保持不变；(3) 每个手指的掌指关节、近侧指间关节、远侧指间关节和指尖位于同一平面上。
与[^22]的方法类似，五个磁传感器（从拇指到小指依次为S1、S2、S3、S4、S5）被分别贴在五个手指的指尖处。第六个传感器（S6）则贴在手掌背面，见图3。根据S6的位置和方向以及手部模型的形状，即可推断出腕部（W）和五个掌指关节（M1、M2、M3、M4、M5）的位置。对于每个手指，根据传感器的位置和方向，指尖（T）和远侧指间关节（D）的位置可按以下方式计算（以食指为例，见图3）：利用传感器的方向来确定三个正交轴，$V_{1}$沿手指方向，$V_{2}$从指尖向前延伸。指尖（T）和远侧指间关节（D）的位置计算如下：
$$ T=L(S)+l_{1}V_{1}+r V_{2}, $$
$$ D=L(S)-l_{2}V_{1}+r V_{2}, $$
其中，$L(S)$ 表示传感器的位置，r 是手指厚度的一半，而 $l_1 + l_2 = b$ 中，b 是连接远节指骨和末节指骨的骨骼长度。需要推断的最终关节是图3中位置P处的近节指骨，其计算条件如下：(1) T、M、D已知；(2) $\|P - D\|$ 和 $\|P - M\|$ 固定不变；(3) T、D、P、M位于同一平面上；(4) T和P应位于连接M和D的线段两侧。这些约束足以唯一确定P的位置。
#### 3.2. 同步与校准
为了构建和标注我们的数据集，我们使用了trakSTAR跟踪系统[^10]，并结合了最新一代的Intel RealSense SR300深度传感器[^3]，详见图4。trakSTAR系统由两个硬件同步的电磁跟踪单元组成，每个单元都能够追踪……
| Benchmarks | Rogez [^20] | Oberweger [^12] | BigHand2.2M Egocentric |
| No. Frames | 400 | 2166 | 290K |
Table 2: Egocentric Benchmark size comparison. The egocentric subset of BigHand2.2M dataset is 130 time larger than the next largest available dataset.
该系统最多可跟踪四个6D磁传感器。“6D传感器（型号180）”宽度为2毫米，固定在一条宽1.2毫米、长3.3米的柔性电缆上。当通过紧实的弹性环将电缆固定在手上时，对深度图像和手部运动的影响极小。我们选用最大跟踪距离为660毫米的中程发射器，它非常适合手部跟踪。该跟踪系统能以720帧/秒的速度捕捉六个传感器的位置和方向，在连续运行过程中稳定且无漂移。深度相机可拍摄分辨率为 $640 \times 480$ 的图像，最高运行速度达到60帧/秒。通过查找最接近的时间戳来同步各项测量数据，如此一来，深度图像与磁传感器之间的时间差最多仅为0.7毫秒。
trakStar系统和深度传感器各有自己的坐标系，我们采用求解透视N点问题的方法来校准坐标，具体做法如 [^34] 所述。给定一组3D磁传感器位置及其在深度图中的对应2D位置，再加上相机内参，ASPnP算法 [^39] 就能估算出这两个坐标系之间的变换关系。
#### 4. BigHand2.2M基准测试集
我们收集了BigHand2.2M数据集，其中包含220万张标注了关节信息的单手深度图像（详见第3节）。共有10名受试者（7男3女）参与采集，每人采集时间为两小时。
#### 4.1. 手部视角空间
为了涵盖多样化的视角，我们改变了传感器的高度、受试者的位置以及手臂朝向。视角空间（第三人称视角的半球形区域）被划分为16个区域（沿两个3D旋转轴各均匀划分4个区域），要求受试者在每个区域内随机改变视角。此外，我们的数据集还收录了以自我为中心的视角的随机变化。如图5（左）中的t-SNE可视化结果所示，我们的基准测试数据所覆盖的全局视角空间范围明显大于ICVL和NYU数据集。
#### 4.2. 手部关节活动空间
与 [^35] 类似，我们定义了32种极端姿态作为手部姿态，即每个手指处于最大程度弯曲或伸展的位置。
---
Figure 5: 2D t-SNE embedding of the hand pose space. BigHand2.2M is represented by blue, ICVL by red, and NYU by green dots. The figures show (left) global view point space coverage, (middle) articulation space (25D), and (right) combined of global orientation and articulation coverage. Compared with existing datasets, the BigHand2.2M contains a more complete range of variation.
为了最大限度地覆盖关节活动空间，我们列举了所有 $\binom{32}{2} = 496$ 种可能的极端姿态对，并捕捉每对姿态之间过渡时的自然运动。
BigHand2.2M数据集总共包含三个部分：（1）规划姿势：为了涵盖人手能够自由采取的所有关节姿态，这部分包含153.4万帧数据，采集方式如上所述。（2）随机姿势：采集了37.5万帧数据，鼓励参与者充分探索姿势空间。（3）自中心姿势：采集了29万帧自中心姿势数据，受试者需做出32种极端姿势并结合随机运动。
如图5（中间、右侧）所示，与ICVL和NYU数据集相比，我们的基准测试在关节姿态空间以及关节姿态与视角空间的组合中覆盖了更宽且更密集的区域。
#### 4.3. 手部形状空间
我们选取了十名手部形状各异的参与者（7名男性，3名女性，年龄范围：25-35岁）。现有的基准测试也使用了不同的参与者，但由于标注方法的限制，标注的手部形状种类有限。图6利用手部形状参数的前两个主成分，可视化了不同数据集中的手部形状。ICVL数据集[^28]包含十名手部尺寸相近的参与者，且所有数据均用单一手部形状模型进行标注。NYU数据集[^31]的训练数据使用一种手部形状，而测试数据则使用两种手部形状，其中一种是来自训练集的。MSRA15数据集包含九名参与者，但在标注的基准数据中仅使用了三种手部形状。MSRC [^24]合成基准测试仅包含一种手部形状。
在实验中，我们使用这10名受试者的数据集进行训练，并测试所学模型对现有基准测试中不同形状的泛化能力（跨基准测试），以及对未见过的新型形状（图6中的“新人”）的泛化能力。更多说明详见第5节。
Figure 6: Hand shape variation. Hand variation is visualized by applying PCA to the shape parameters. The BigHand2.2M dataset contains 10 hand shapes and an additional shape for testing. The ICVL dataset contains one hand shape due to its annotation method. The NYU dataset includes two hand shapes, the MSRC dataset includes one synthetic hand shape.
### 5. 现有技术水平分析
在本节中，我们采用Holi CNN架构[^38]作为当前的技术水平代表。其详细结构见补充材料。CNN模型的输入是利用关节真实位置裁剪得到的手部区域。该区域被归一化为$96 \times 96$像素大小，并与两个分别下采样至$48 \times 48$和$24 \times 24$的副本一同输入CNN。损失函数为位置估计值与真实位置之间的均方距离。该CNN基于Theano实现，在配备Nvidia GeForce GTX TITAN显卡的台式机上训练。
---
Figure 7: Cross-benchmark performance. CNN models are trained on the ICVL, NYU, MSRC, and the new BigHand2.2M dataset, respectively, and evaluated on (left) ICVL and (right) NYU test data. A CNN trained on BigHand2.2M achieves state-of-the-art performance on ICVL and NYU, while the CNNs trained on ICVL, NYU, and MSRC do not generalize well to other benchmarks. The networks CNN_MSRC, CNN_ICVL, CNN_NYU, and CNN_BigHand are trained on the training set of MSRC, ICVL, NYU, and BigHand2.2M, respectively.
| train\test | ICVL | NYU | MSRC | BigHand2.2M |
| ICVL | 12.3 | 35.1 | 65.8 | 46.3 |
| NYU | 20.1 | 21.4 | 64.1 | 49.6 |
| MSRC | 25.3 | 30.8 | 21.3 | 49.7 |
| BigHand2.2M | 14.9 | 20.6 | 43.7 | 17.1 |
Table 3: Cross-benchmark comparison. Mean errors of CNNs trained on ICVL, NYU, MSRC and BigHand2.2M when cross-tested. The model trained on BigHand2.2M performs well on ICVL and NYU, less so on the synthetic MSRC data. Training on ICVL, NYU, or MSRC does not generalize well to other datasets.
该台式机还配备了32核英特尔处理器。模型训练采用Adam优化器，参数设置为$\beta_1 = 0.9$、$\beta_2 = 0.999$和$\alpha = 0.0003$。当验证集的损失达到最小值时，我们停止训练过程，每个训练周期大约耗时40分钟。在BigHand2.2M、ICVL、NYU和MSRC数据集上训练CNN模型时，我们保持CNN结构和Adam优化器的$\beta_1$、$\beta_2$、$\alpha$参数不变。
10名受试者的所有帧数据按9:1的比例均匀划分为训练集和验证集，这一比例与ICVL、NYU和HandNet [^34]数据集一致。除了这10名受试者外，我们还记录了一段由新受试者拍摄的、包含3.7万帧的具有挑战性的测试序列，并对其进行自动标注，即图6中的“新人”。为了进行定量比较，我们测量了在特定误差范围内的关节占比$\epsilon$ [^38] [^29] [^24]。
Figure 8: Data size effect on cross benchmark evaluation. When the CNN model is trained on $\frac{1}{16}$, $\frac{1}{8}$, $\frac{1}{4}$, $\frac{1}{2}$, and all of the benchmark data, the test results on ICVL, NYU, MSRC, and BigHand2.2M keep improving.
#### 5.1. 跨基准测试性能
跨基准评估在许多领域都是一个极具挑战性且研究较少的问题，比如人脸识别[^16]和手部姿态估计[^27]。由于训练数据集数量有限，现有的手部姿态估计系统在测试未见过的手部姿态时表现较差。正如[^27]中所指出的，现有数据集中的“测试姿态与训练姿态极为相似”，他们提出了
---
Figure 9: Generalization of the CNN trained on BigHand2.2M. The CNN generalizes to the ICVL dataset with a lower error than the original annotated ground truth. (top) ICVL ground truth annotations, (bottom) our estimation results.
Figure 10: MSRC benchmark examples. Synthetic data lacks real hand shape and sensor noise, and tends to have kinematically implausible hand poses. The top row shows some depth images, the bottom row shows the corresponding ground truth annotation.
“一种简单的近邻基线方法，其性能优于大多数现有系统”。
表3和图7展示了在ICVL、NYU、MSRC以及BigHand2.2M数据集上训练的CNN模型进行交叉测试时的估计误差。当CNN在BigHand2.2M训练集上训练后，在其他数据集上评估时仍表现出较高的性能。在真实的测试数据集（ICVL和NYU）上，其性能甚至可与在对应训练集上训练的模型相媲美或更优。这证实了：只要标注精度高且形状、关节活动及视角参数的变化足够丰富，在大规模数据集上训练的CNN就能泛化到新的手部形状和视角，而近邻方法的跨测试性能则较差$^{[27]}$。
MSRC数据集是一个具有精确标注且视角分布均匀的合成数据集。当在MSRC上训练CNN并在所有真实测试集上测试时，其性能不如在NYU上训练的CNN，更明显差于在BigHand2.2M上训练的模型。其性能仅相当于在ICVL上训练的CNN，而ICVL训练集的规模仅为MSRC训练集的六分之一。另一方面，在BigHand2.2M上训练的模型在所有真实数据集上均表现出持续的高性能，但在MSRC测试集上的性能较差，这是由于真实数据与合成数据之间存在差异。图10展示了MSRC数据集中的示例。合成生成的图像往往会产生运动学上不合理的手部姿态，若不施加外力很难形成这种姿态。此外，手部形状也存在差异，例如拇指相对于手部其他部分显得较大。
增加训练数据量能够提升跨基准评估的性能，详见图8。在本实验中，我们分别从训练和验证数据中均匀抽取$\frac{1}{16}$、$\frac{1}{8}$、$\frac{1}{4}$、$\frac{1}{2}$以及1的比例作为子集。当我们用不同比例的BigHand2.2M数据训练CNN，并在ICVL、NYU、MSRC及BigHand2.2M的测试序列上测试时，性能均有显著提升。这些观察结果证明：更多的训练数据能让CNN更好地泛化到新的未见数据。另外需要注意的是，我们的数据集密度较高，因此即使使用随机选取的小比例训练数据也能获得较好的准确率。
#### 5.2. 与最先进方法的比较
在本节中，我们将在BigHand2.2M上训练的CNN模型与8种最先进的方法进行比较，包括HSO[^29]、Sun等人提出的方法[^26]、潜在回归森林（LRF）[^28]、Keskin等人提出的方法[^5]、Melax等人提出的方法[^9]、DeepPrior[^13]、FeedLoop[^14]以及Hier[^38]。
当在BigHand2.2M上训练的CNN模型用于NYU数据集测试时，其性能优于两种近期方法：DeepPrior [^13]和FeedLoop [^14]，且与Hier [^38]的准确率相当——尽管该模型从未接触过任何来自NYU基准测试的数据，如图7右侧所示。由于NYU的标注方案与我们的不同，我们选择了11个关节位置的公共子集（仍有一定偏差）来进行此项比较。我们期望在标注方案一致时能获得更好的结果。
在BigHand2.2M上训练的CNN模型的ICVL测试误差曲线如图7（左）所示。我们采用最大允许误差 [^29] 作为评估指标。虽然其表现不如在ICVL数据集上直接训练的模型、HSO以及Sun等人提出的方法，但仍优于其他方法。需要注意的是，我们的CNN模型的平均估计误差已经低至14毫米，这意味着训练数据与测试数据之间的微小标注差异就会对结果产生较大影响。正如[^12]中所提到的，ICVL的标注精度不及NYU。我们的许多估计结果在视觉上看似合理，但由于标注不准确而导致较大的估计误差，定性对比可参见图9。另一个原因是手部测量方案与我们不同：在我们的数据集中，每位受试者的手型是通过手动测量关节距离确定的；而在ICVL中，所有受试者使用相同的合成模型，且掌指关节往往会向手指方向滑动，而非停留在实际关节位置。
---
Figure 11: Hand pose estimation performance. (left) baseline performances on the new subject's 37K frames of hand images. The Holi CNN significantly outperforms the tracking-based methods FORTH [^15] and Intel [^3]. (middle) the CNN trained on 90% of the BigHand2.2M data achieves high accuracy on the remaining 10% validation images. (right) 10-fold cross-validation result when using the CNN for egocentric hand pose estimation. We achieved a similar-level accuracy to that of third-view hand pose estimation.
Figure 12: Qualitative results on the egocentric-view dataset. A CNN trained on BigHand2.2M achieves state-of-the-art performance in the egocentric-view pose estimation task.
在ICVL数据集中，所有受试者使用相同的合成模型，掌指关节往往会向手指方向滑动，而非停留在实际关节位置。
##### 5.3. 基于BigHand2.2M的基线模型
我们在包含37,000帧的测试序列上对三种基线模型进行了评估：在BigHand2.2M上训练的CNN模型、粒子群优化方法（FORTH）[^15]以及Intel提出的方法[^3]。后两者属于生成式跟踪方法。CNN模型的性能优于这两种生成式方法，具体可见图11左侧。如前所述，我们设定训练集与验证集的规模比例为9:1。图11（中间）展示了验证集上的结果：90%的关节估计误差可控制在5毫米以内。
#### 5.4. 自中心视角数据集
缺乏大规模标注数据集一直是自中心视角手部姿态估计领域的一个制约因素。现有的自中心视角基准测试[^20] [^12]规模较小，详见表2：Rogez等人[^20]提供了400帧数据，Oberwerger等人[^12]提供了2,166帧标注数据。BigHand2.2M的自中心视角子集包含10位受试者的290,000帧标注数据（每位受试者29,000帧）。利用该数据集，我们训练出的CNN模型性能可与第三视角手部姿态估计相媲美。实验中，我们用九位受试者的数据训练CNN模型，并在剩余一位受试者的数据上进行测试，整个过程采用十折交叉验证。我们报告了十折结果的平均值和标准差，详见图11（右）；定性结果则展示在图12中。
### 6. 讨论与结论
手部姿态估计受到了广泛关注，一些高质量的系统也已被开发出来，但数据集的发展仍滞后于算法进步。为弥补这一差距，我们采集了一个包含百万级真实手部深度图像的基准数据集。为了实现自动标注，我们提出了一种采用六个磁性6D传感器的磁跟踪系统以及逆运动学方法。为了构建全面且简洁的基准测试，我们系统地设计了手部运动协议来捕捉自然的手部姿态。BigHand2.2M数据集包含了约29万帧从第一人称视角拍摄的图像，旨在推动第一人称手部姿态估计领域的发展。利用这一新基准对当前最先进的方法进行了评估，结果显示在跨基准测试中性能有显著提升。我们希望该数据集能进一步推动相关研究的发展，助力探索新的研究方法。
---
## 参考文献
[^1]: C. Choi, A. Sinha, J. Hee Choi, S. Jang, and K. Ramani. A collaborative filtering approach to real-time hand pose estimation. In ICCV, 2015.
[^2]: L. Ge, H. Liang, J. Yuan, and D. Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In CVPR, 2016.
[^3]: Intel SR300.
intelrealsense-developer-kit-featuring-sr300.html.
[^4]: Y. Jang, S.-T. Noh, H. J. Chang, T.-K. Kim, and W. Woo. 3d finger cape: Clicking action and position estimation under self-occlusions in egocentric viewpoint. VR, 2015.
[^5]: C. Keskin, F. Kiraç, Y. E. Kara, and L. Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In ECCV, 2012.
[^6]: S. Khamis, J. Taylor, J. Shotton, C. Keskin, S. Izadi, and A. Fitzgibbon. Learning an efficient model of hand shape variation from depth images. In CVPR, 2015.
[^7]: P. Li, H. Ling, X. Li, and C. Liao. 3d hand pose estimation using randomized decision forest with segmentation index points. In ICCV, 2015.
[^8]: H. Liang, J. Yuan, and D. Thalmann. Parsing the hand in depth images. TMM, 2014.
[^9]: S. Melax, L. Keselman, and S. Orsten. Dynamics based 3D skeletal hand tracking. In i3D, 2013.
[^10]: NDI trakSTAR. .
[^11]: N. Neverova, C. Wolf, G. W. Taylor, and F. Nebout. Hand segmentation with structured convolutional learning. In ACCV, 2014.
[^12]: M. Oberweger, G. Riegler, P. Wohlhart, and V. Lepetit. Efficiently creating 3D training data for fine-hand pose estimation. In CVPR, 2016.
[^13]: M. Oberweger, P. Wohlhart, and V. Lepetit. Hands deep in deep learning for hand pose estimation. In CVWW, 2015.
[^14]: M. Oberweger, P. Wohlhart, and V. Lepetit. Training a feedback loop for hand pose estimation. In ICCV, 2015.
[^15]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Efficient model-based 3D tracking of hand articulations using kinect. In BMVC, 2011.
[^16]: O. M. Parkhi, A. Vedaldi, and A. Zisserman. Deep face recognition. In BMVC, 2015.
[^17]: G. Pons-Moll, A. Baak, J. Gall, L. Leal-Taixe, M. Mueller, H.-P. Seidel, and B. Rosenhahn. Outdoor human motion capture using inverse kinematics and von mises-fisher sampling. In ICCV, 2011.
[^18]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun. Realtime and robust hand tracking from depth. In CVPR, 2014.
[^19]: G. Riegler, D. Ferstl, M. Rüther, and H. Bischof. A framework for articulated hand pose estimation and evaluation. In SCIA, 2015.
[^20]: G. Rogez, J. S. Supancic, and D. Ramanan. First-person pose recognition using egocentric workspaces. In CVPR, 2015.
[^21]: G. Rogez, J. S. Supancic, and D. Ramanan. Understanding everyday hands in action from RGB-D images. In ICCV, 2015.
[^22]: S. Schaffelhofer and H. Scherberger. A new method of accurate hand- and arm-tracking for small primates. Journal of Neural Engineering, 9(2), 2012.
[^23]: ShapeHand. 2009. .
[^24]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, D. Freedman, P. Kohli, E. Krupka, A. Fitzgibbon, and S. Izadi. Accurate, robust, and flexible real-time hand tracking. In CHI, 2015.
[^25]: S. Sridhar, A. Oulasvirta, and C. Theobalt. Interactive markerless articulated hand motion tracking using RGB and depth data. In ICCV, 2013.
[^26]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. In CVPR, 2015.
[^27]: J. S. Supancic, G. Rogez, Y. Yang, J. Shotton, and D. Ramanan. Depth-based hand pose estimation: methods, data, and challenges. ICCV, 2015.
[^28]: D. Tang, H. J. Chang, A. Tejani, and T.-K. Kim. Latent regression forest: Structured estimation of 3D articulated hand posture. In CVPR, 2014.
[^29]: D. Tang, J. Taylor, P. Kohli, C. Keskin, T.-K. Kim, and J. Shotton. Opening the black box: Hierarchical sampling optimization for estimating human hand pose. In ICCV, 2015.
[^30]: D. Tang, T.-H. Yu, and T.-K. Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In ICCV, 2013.
[^31]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. In TOG, 2014.
[^32]: T. von Marcard, G. Pons-Moll, and B. Rosenhahn. Human pose estimation from video and imus. TPAMI, 2016.
[^33]: C. Wan, A. Yao, and L. Van Gool. Hand pose estimation from local surface normals. In ECCV, 2016.
[^34]: A. Wetzler, R. Slossberg, and R. Kimmel. Rule of thumb: Deep derotation for improved fingertip detection. In BMVC, 2015.
[^35]: Y. Wu, J. Y. Lin, and T. S. Huang. Capturing natural hand articulation. In ICCV, 2001.
[^36]: C. Xu, N. Ashwin, X. Zhang, and L. Cheng. Estimate hand poses efficiently from single depth images. IJCV, 2015.
[^37]: C. Xu and L. Cheng. Efficient hand pose estimation from a single depth image. In ICCV, 2013.
[^38]: Q. Ye, S. Yuan, and T.-K. Kim. Spatial attention deep net with partial PSO for hierarchical hybrid hand pose estimation. In ECCV, 2016.
[^39]: Y. Zheng, S. Sugimoto, and M. Okutomi. ASPnP: An accurate and scalable solution to the perspective-n-point problem. IEICE TIS, 2013.
[^40]: X. Zhou, Q. Wan, W. Zhang, X. Xue, and Y. Wei. Model-based deep hand pose estimation. In IJCAI, 2016.