# 基于多层随机决策森林的手部姿态估计与手形分类 Cem Keskin、Furkan Kıraç、Yunus Emre Kara和Lale Akarun 土耳其伊斯坦布尔博阿齐奇大学计算机工程系 ，{kiracmus,yunus.kara,akarun}@boun.edu.tr 摘要：基于视觉的关节化手部姿态估计与手形分类属于极具挑战性的课题。本文提出了利用深度传感器完成这两项任务的新算法。具体而言，我们提出了一种基于随机决策森林（RDF）的新型手形分类器，并将其应用于用于关节化手部姿态估计的新型多层RDF框架中。该分类器会将输入的深度像素归类到相应的手形类别中，再将它们分配给针对该类手形专门训练的手部姿态估计器。我们提出了两种新型的多层RDF结构：全局专家网络（GEN）和局部专家网络（LEN），与单层骨架估计器相比，它们能够给出更精准的手部姿态估计结果，且对未见过的手部姿态的泛化能力更强。实验表明，这种新型手形分类器既准确又高效。这些方法可在CPU上实时运行，也能移植到GPU上以进一步提升运算速度。 ## 1 引言 手势是人类交互的自然组成部分。除了在基于语音的交互中发挥补充作用外，在没有语音的场景中（如基于手语的交互），手势更是扮演着核心角色。过去十年间，为将手势模式应用于人机交互（HCI），学界加大了对手部关节姿态跟踪与手形识别的研究力度。 近期有两项进展加速了基于人体及手势的HCI应用落地：其一是Kinect深度传感器的发布与广泛应用。该传感器能够在极低光照条件下生成深度图像，使得人体与手部的检测及分割变得轻而易举。其二是基于简单深度特征并结合GPU实现的快速判别式方法的出现，从而能够实现实时的人体姿态提取 [^1] [^2]。 利用Kinect相机进行人体姿态检测的方法多种多样：Shotton等人 [^1] 使用大量带标签的合成图像来训练用于身体部位识别的随机决策森林（RDF） [^3]。在后续研究中，Girschick等人 [^2] 采用了相同的方法，但 --- ![Image](images/a3a8fc3c74662286e174d935038a26c126cf986469ec4745d70f3252bdfebdef.jpg)
Fig. 1. The flowchart of the training and pose estimation processes
让每个像素为关节坐标投票，并根据数据学习投票权重。[^4] 依靠预先采集的动作样本来估计人体姿态以及点云的语义标签。[^5] 采用上半身模型，并通过分层粒子滤波器对其进行跟踪。尽管这些思路可拓展应用于提取手部的3D姿态，但由于手部姿态变化性更大且存在自遮挡问题，该任务的难度也相应增加。 手部姿态估计研究最初依赖于二维模型 [^6]。尽管姿态变化和遮挡现象限制了二维方法的成效，但基于局部模型的成功模型已被提出 [^7]。采用三维关节模型的方法主要依赖彩色图像 [^8] [^9] [^10] [^11] [^12]，以及多摄像头或飞行时间传感器 [^13] [^14]。即便存在遮挡和姿态变化的情况，这些方法仍能取得良好的性能，不过其处理速度限制了它们在实时人机交互应用中的使用。在近期的一项研究中，Oikonomidis等人 [^15] 提出了一种同时利用深度图像和彩色图像的解决方案。他们提出了一种基于生成式单假设模型的姿态估计方法，采用粒子群优化算法来解决三维手部姿态恢复问题，并通过基于GPU的实现方式实现了接近实时的精确且稳健的跟踪效果（15帧/秒）。 我们此前在 [^16] 进行的三维手部姿态估计尝试采用了 [^1] 中使用的身体姿态估计方法。在这项工作中，我们利用逼真的手部模型生成了大型合成数据集，并训练了一个随机森林分类器来为每个像素分配手部部位标签。随后，我们应用均值漂移算法来估算手部部位的中心点，从而构建手部骨骼。该方法被证明对噪声具有鲁棒性，且能实时运行。 在这项工作中，我们首先提出了一种新颖的手部形状分类器，它是将 [^16] 中基于随机森林分类器的手部姿态估计方法改进后应用于手部形状的成果。我们将这种新型随机森林分类器称为形状分类森林（SCF）。接着，我们利用SCF来设计多层随机森林分类器网络，以解决关节手部姿态估计问题。其核心思路是先将大型数据集聚类，从而将建模问题拆解为更简单的子问题。每个聚类对应一种可通过SCF识别的手部形状，针对每个聚类分别训练一个手部姿态估计器，这些估计器便构成了“骨骼专家”。[^17] 中也采用了类似的方法：在第一层检测手部，在第二层对手部形状进行分类。我们的方法则是在第一层对手部形状进行分类，随后在第二层估算手部姿态。 图1给出了相关流程图。训练过程分为三个阶段：首先，根据手部骨骼的相似性对训练集进行聚类；接着，训练能够为由输入图像分配聚类标签的SCF；最后，训练各聚类对应的随机森林分类器。 --- 这些随机森林分类器便构成了所谓的“专家”。在手部姿态估计过程中，主要分为四个步骤：首先，SCF为每个像素分配一个聚类标签；接着，要么选择对应多数像素的专家，要么将每个像素分配给相应的专家。所选专家共同组成“森林”，并据此推断出手部部位标签；最后，利用这些部位标签来估算关节位置，进而形成手部骨骼。 这种新型手部形状分类与姿态估计方法的性能分别在真实图像和合成图像上进行了评估。具体而言，SCF在公开可用的ASL数据集[^18]上进行了测试，结果显示其成功率达到97.8%。多用户ASL字母识别是一项极具挑战性的任务，文献中也有在其他数据集上取得与我们相当的良好结果的报道。[^19]对基于深度数据的ASL字母识别研究进行了全面综述。我们将多层RDF的成功率与[^16]中的结果进行对比。虽然[^16]的方法在大型合成数据集上的像素级分类率为68%，但多层方法的分类率却达到了91.2%。 本文的结构如下：第2节介绍了新型手部形状分类方法；第3节展示了如何利用该模型设计多层专家网络，同时详细阐述了GEN和LEN多层网络及其训练过程；第4节讨论了相关实验，包括参数选择、用于评估的数据集以及形状分类与手部姿态估计结果；最后，第5节对全文进行总结并展望未来的研究工作。 ## 2 手部形状分类 手部形状分类是指为表示特定手部形态的输入图像I分配一个类别标签c。我们提出了一种RDF模型，该模型利用从深度图像中提取的尺度不变特征来推断手部形状类别。受[^1]和[^16]所采用的部分分类方法的启发，我们为手部形状分类设计了RDF模型，其中每个像素都为某个手部形状标签而非手部部位标签投票，最终类别标签由多数投票决定。 ### 2.1 决策树 决策树由用于分析数据的内部节点——分裂节点，以及用于根据历史数据统计结果推断类别标签后验概率的终端节点——叶节点组成。每个分裂节点会根据测试结果将传入的输入数据转发给其子节点。分裂节点相关的测试通常形式为： $$ f_{n}(F_{n})Fig. 2. SCT training images: The first four images are real depth images and their labels, and the rest of the images are synthetic depth images and their labels. 该测试用于确定输入数据位于超平面的哪一侧。输入数据从根节点进入，再根据测试结果经分裂节点转发，最终通过到达的叶节点所对应的后验概率来推断类别标签。因此，决策树的训练过程涉及确定测试规则，并以监督方式从训练集中收集统计数据。 对于随机决策树而言，$f_{n}$会在训练期间作用于所选的特征子集。具体做法是从多个候选函数中随机选择最适合用于分割数据的那个函数。当特征空间较大时，这种方法尤为有效。 ### 2.2 形状分类森林 SCF由若干棵树组成，我们称之为形状分类树（SCT）。SCT的输入是一个深度图像I以及一个像素位置$\mathbf{x}$。输出则是每个形状类别标签对应的后验概率集合$C_k$。该模型是在包含深度图像与类别标签对的数据集上训练的。与[^1]和[^16]中的RDF不同，一张图像仅被赋予一个手部形状标签。示例输入图像如图2所示：前四张图像是从Kinect中获取的真实深度图像，其余手部图像为合成图像。每种颜色对应不同的手部形状类别。 SCT所使用的特征与[^1]和[^16]中的特征相同。给定一个深度图像$I(\boldsymbol{x})$，其中$\boldsymbol{x}$表示像素位置，我们定义特征$F_{\boldsymbol{u}, \boldsymbol{v}}(I, \boldsymbol{x})$如下： $$ F_{u,v}(I,x)=I(x+\frac{u}{I(x)})-I(x+\frac{v}{I(x)}) $$ 偏移量$\pmb{u}$和$\pmb{v}$是相对于当前像素的向量，且会根据$\pmb{x}$处的深度值进行归一化处理。这一做法确保了特征具有三维平移不变性。需要注意的是，这些特征既不具备旋转不变性也不具备尺度不变性，因此合成训练图像的生成需与之相匹配。背景像素以及图像边缘的深度值被设定为一个较大的常数。 每个分裂节点都与一对偏移量u、v以及一个深度阈值$\tau$相关联。数据会据此被划分为两组： $$ C_{L}(\boldsymbol{u},\boldsymbol{v},\tau)=\left\{(I,\boldsymbol{x})|F_{u,v}(I,\boldsymbol{x})<\tau\right\} $$ $$ C_{R}(\boldsymbol{u},\boldsymbol{v},\tau)=\left\{(I,\boldsymbol{x})|F_{u,v}(I,\boldsymbol{x})>=\tau\right\} $$ --- 此处，$C_{L}$和$C_{R}$分别是分配给分裂节点左子节点和右子节点的互斥像素集合。 在训练阶段，每个分裂节点会随机选择一组特征，据此划分数据，并选出能够最好地分割数据的特征。每次分裂的评分依据是数据标签分布熵的总减少量： $$ S(\boldsymbol{u},\boldsymbol{v},\tau)=H(C)-\sum_{s\in\{L,R\}}\frac{|C_{s}(\boldsymbol{u},\boldsymbol{v},\tau)|}{|C|}H(C_{s}(\boldsymbol{u},\boldsymbol{v},\tau)) $$ 其中$H(K)$是利用样本集K中标签的归一化直方图估算出的香农熵。当到达叶节点时，这一过程便告一段落。随后，每个叶节点会与从该节点接收像素的标签归一化直方图相关联。 从每个SCT的根节点开始，每个像素$(I, \boldsymbol{x})$会被分配到左子节点或右子节点，直至抵达叶节点。在叶节点处，每个像素会被赋予针对各手部形状类别$P(c_i|I, \boldsymbol{x})$的后验概率集合$c_i$。为了做出最终决策，会对集成中所有树所估算出的后验概率取平均值： $$ P(c_{i}|I,\boldsymbol{x})=\frac{1}{N}\sum_{n=1}^{N}P_{n}(c_{i}|I,\boldsymbol{x}) $$ 其中N表示集成中树的数量，$P_n(c_i|I, \boldsymbol{x})$表示编号为n的树对该像素估算出的后验概率。我们将这种集成称为形状分类森林（SCF）。为了确定最终的手部形状标签，会对输入图像中每个像素的后验概率取平均值，然后选择使该值最大的标签： $$ c^{*}=\arg\max_{c_{i}}\frac{1}{M}\sum_{m=1}^{M}P(c_{i}|I,\boldsymbol{x}_{m}) $$ 其中M表示输入图像中的前景像素数量，$c^{*}$即为确定的手部形状类别标签。 ## 3 手部姿态估计 [^16]中提出用于手部姿态估计的RDF，在结构上与2.2节介绍的形状分类器类似。SCF用于分类手部形状，而用于姿态估计的RDF则将每个像素归类为手部部位。因此，真实标签应指示的是手部部位而非姿态。为了明确区分，我们将该模型称为部位分类森林（PCF）。 ### 3.1 基于PCF的姿势估计 与SCF的情况类似，像素$(I, \boldsymbol{x})$的分类是从根节点开始，将该像素分配给左子节点或右子节点。 --- ![Image](images/3e078bde23a904cdc0a7a575e156e00d616c3fa9704058543705881f8a843ab5.jpg)
Fig. 3. Four examples of synthetic depth images and the corresponding ground truth labels that are used to train the pose estimation RDFs.
直到到达叶节点为止。每个叶节点都与一组后验概率$P(c_i|I, \boldsymbol{x})$相关联，这些概率对应着各个手部部位标签$c_i$；它们是在训练阶段从归一化直方图中估算得出的。图3给出了一些真实标签的示例。手部部位标签的最终判定是通过对集成中所有决策树估算出的后验概率取平均值来确定的： $$ P(c_{i}|I,\boldsymbol{x})=\frac{1}{N}\sum_{n=1}^{N}P_{n}(c_{i}|I,\boldsymbol{x}) $$ 其中N表示集成中决策树的数量。在PCF中，SCF分类的最后阶段——即对所有像素的结果取平均——被替换为联合位置估计步骤。均值漂移局部模式查找算法[^20]用于估算每个类别标签的概率密度模式，该模式是通过在每个像素上放置加权高斯核得到的。每个手部部位的带宽是根据其尺寸手动选定的。核的权重设为该像素对应的类别标签$P(c_i|I,\boldsymbol{x})$的后验概率$c_i$，再乘以该像素深度的平方；深度可视为该像素覆盖的区域大小，反映了其重要性。均值漂移算法从初始点估计出发，采用梯度上升法来定位最近的最大点。由于最大值只是局部的，因此会选用多个不同的起始点，最终选取收敛到最高最大值的那个点。最后，通过对均值漂移阶段得到的最高得分进行阈值判断，来确定关节的可见性。以这种方式估算出的关节位置会根据手部骨骼中的配置关系相连，从而形成最终的姿势估计结果。 在[^16]中，使用单个PCF来估计手部姿势。这意味着每棵决策树都是在庞大的数据集上训练的，因此它们必须足够复杂，这也就意味着需要更大的内存开销。如果我们限制决策树的深度，精度就会下降。 ### 3.2 基于多层RDF网络的姿势估计 在此，我们提出了一种解决复杂性问题的新型多层方法。其核心思路是将训练集划分为更小的簇，然后针对每个紧凑子集训练PCF，从而降低模型的复杂度。这样一来，PCF只需建模少量的变异情况，所需内存也更少。 --- ![Image](images/aab95f52aace54bb54f2756f9b935c972c1a315399d90ea4c4f6563915616678.jpg)
Fig. 4. Multi-layered RDF networks. $\varPhi$ depicts the SCF, and $\varPsi^i$ depicts the expert PCF corresponding to the cluster $C_i$. a) Global Expert Network: The experts are selected according to the pose label. b) Local Expert Network: Each pixel is sent to its own expert.
这些“专家”能够精准建模数据的特定子集，进而推断出更精确的姿势估计结果。主要挑战在于如何将输入数据导向正确的“专家”，而这一点可以通过针对这些簇训练SCF来实现。 SCF会为输入图像中的每个像素分配一个簇标签。这一信息有两种用法：i) 通过投票机制估算整幅图像的姿势标签；ii) 根据像素标签将其发送给对应的专家PCF。我们分别将其称为全局专家网络（GEN）和局部专家网络（LEN）。图4展示了这两种网络的结构。 多层模型的训练分为三个步骤：i) 对训练数据进行聚类；ii) 如2.2节所述，用这些簇作为形状来训练SCF；iii) 针对每个簇分别训练PCF。 聚类训练数据。谱聚类用于在手部骨骼配置空间中形成姿态聚类。谱聚类方法基于最小割算法，该算法通过最小化图中每条边所关联的特定代价来对图节点进行划分 [^21]。这是一种二元聚类方法，可用于将数据分层聚类为多个簇。Meila和Shi提出了一种相关算法 [^22]，能够估计出多个簇。在该方法中，会为待聚类的样本构建一个相似度矩阵，其中矩阵中的每个元素 $S_{ij}$ 都对应着样本i和j的相似程度。作为相似度度量，可以使用距离的倒数。 两个骨骼配置之间的距离被定义为每对角度之差的绝对值之和的加权值。聚类过程如下： $$ D_{i j}=||\mathbf{W}(v_{i}-v_{j})||_{1} $$ $$ \alpha=\max\left(\mathbf{D}\right) $$ --- $$ S_{ij}=1-\frac{1}{\alpha}D_{ij} $$ $$ R_{ii}=\sum_{j}S_{ij} $$ $$ \mathbf{P}=\mathbf{S}\mathbf{R}^{-1} $$ 此处，$\boldsymbol{v}_i$ 和 $\boldsymbol{v}_j$ 是由骨骼的所有角度构成的向量。$\mathbf{W}$ 是一个对角矩阵，其中 $W_{ii}$ 表示角度i的权重。$\alpha$ 是 $\mathbf{D}$ 中记录的最大距离值。$\mathbf{S}$ 是通过将 $\mathbf{D}$ 用 $\alpha$ 归一化后再从1中减去各元素而得到的相似度矩阵。接着，使用第 $c_i$ 行中的元素之和对 $\mathbf{S}$ 的每一列 $r_i$ 进行归一化，从而形成矩阵 $\mathbf{P}$。随后，找出该矩阵中对应于最大的m个特征值的特征向量，它们构成了一个 $N \times m$ 矩阵。该矩阵的每一行都是N个样本中某一个样本的m维表征。为了创建最终的聚类，采用k均值方法对这些行进行聚类。 训练与姿态估计。我们依据第2.2节所述方法，在数据集的聚类 $(\bar{\phi})$、$D^k$ 上训练一个SCF $k = 1, \ldots, K$。接下来，在聚类 $\bar{\psi}^k$ 上训练K个PCF，记为 $D^k$。在GEN模式下，$\bar{\phi}$ 会利用第2.2节中的方法，通过分配标签 $C_i$ 来将图像归类到K个簇之一。它并非为图像估计单一的标签 $c^*$，而是计算最高的三个平均后验概率： $$ \rho_{j}=\frac{1}{M}\sum_{m=1}^{M}P(c_{j}|I,\boldsymbol{x_{m}}) $$ 在不失一般性的前提下，我们将最高的后验概率称为 $\rho_1$、$\rho_2$ 和 $\rho_3$，对应的标签分别为 $C_1$、$C_2$ 和 $C_3$。输入图像会被送往专家 $\Psi^1$、$\Psi^2$ 和 $\Psi^3$，以估计每个像素的部位标签。专家的结果会分别用 $\rho_1$、$\rho_2$ 和 $\rho_3$ 进行加权： $$ P(c_{j}|I,\boldsymbol{x})=\sum_{i=1}^{3}\rho_{i}P(c_{j}|I,\boldsymbol{x},\boldsymbol{\Psi}^{i}) $$ 最后，流程继续按照第3.1节所述的联合估计步骤进行。 在LEN模式下，$\Phi$ 遵循第2.2节中的流程直到公式7，此时会对所有像素的值取平均值。然后，每个像素会被单独送往根据后验概率 $P(c_i|I, \boldsymbol{x})$ 选定的专家处。最终，专家会像之前一样将像素分类为手部部位。 GEN和LEN的区别在于：GEN在将输入导向专家时并未考虑局部上下文，因为它对所有像素的后验概率取了平均值；而LEN则利用了后验概率分布的局部模式。结果是GEN对噪声的鲁棒性更强，而LEN对先前未见数据的泛化能力更好。 --- ![Image](images/25fb2e0c175bf06773d3fdc7e3f7b2d1b5e1c307a44d2928b71194464ec25200.jpg)
(a)
![Image](images/3f6cc2ee80d11e217b2486c27b6a5cc77eb0e085275009780843f6fc689157f7.jpg)
(b)
Fig. 5. Confusion matrix for the ASL letter classification task using SCF on the Pugeault dataset with 24 letters and five subjects [^18]. a) Leave-one-subject-out with a success rate of 84.3%. b) Half training-half validation, with a success rate of 97.8%. The main source of error is the similarity of the poses for the letters M, N and T in ASL.
## 4 实验 本研究提出了三种不同的模型：用于形状分类的SCF，以及用于手部姿态估计的多层RDF网络GEN和LEN。我们开展了多项实验来验证这些模型的有效性。 ### 4.1 形状分类性能 我们在包含6.5万张深度图像的数据集上测试了SCF的准确率，这些图像对应26个ASL字母中的24个（排除了非静态字母j和z），由五名受试者采集数据[^18]。Pugeault等人使用留一受试者交叉验证法以及用一半数据训练、另一半数据验证的方法，在该数据集上报告了他们的结果。对于前一种验证方法，我们使用了四棵深度为20的树，每棵树节点处采样1000个特征。SCF的识别率达到84.3%，而[^18]报道的结果为47%。对于后一种方法，由单棵树构成的SCF识别率达到了97.8%，相比之下，仅使用深度特征时识别率为69%，同时使用深度和颜色特征时识别率为75%[^18]。尽管SCF是GEN和LEN模型的副产品，但它既准确又快速。此外，SCF可以使用真实图像进行训练，而训练GEN和LEN则需要合成图像。我们在图5中提供了混淆矩阵。 ### 4.2 手部姿态估计性能 为了测试 GEN 和 LEN 模型的精度，生成了由 60K 张图像组成的合成数据集。网络参数通过网格搜索进行优化。SCFs 和 PCFs 的重要参数为：i) 树的高度 --- h；ii) 特征向量 $\boldsymbol{u}$ 和 $\boldsymbol{v}$ 的限值；iii) 深度阈值 $\tau$ 的限值；iv) 每个节点的样本数 $\epsilon$ $\boldsymbol{v}$ 以及 K（聚类数）。我们使用 $h = 20$、$\boldsymbol{u}, \boldsymbol{v} \in [-45, 45]$、$\tau \in [0, 60]$、$\epsilon = 1000$，并对 K 的不同取值进行实验。在 quad core CPU 上，每棵树的训练时间约为 4000 sec。 多层框架引入的两个新因素是聚类数K以及用于估算两个骨架间成对距离的对角矩阵$\mathbf{W}$。增大K值对两层的准确性均有积极影响。通过增加K值，我们能确保只有相似的配置才会被归入同一聚类，这实际上简化了聚类过程，降低了SCF层的复杂度。增大K值还会降低第二层中PCF的复杂度，从而使专家模型的预测更精准。例如，第一层中深度为20的五棵树SCF模型，对$K = 5$的分类准确率为81.9%，对$K = 15$的准确率为96.2%，对$K = 25$的准确率则达到98.0%。 另一方面，权重矩阵 $\mathbf{W}$ 中的各个元素决定了聚类所包含的变化类型：如果我们给全局旋转角赋予较大的权重，姿态聚类就会主要包含手指方面的变化。同样，若给全局旋转角较小的权重，聚类就会包含更多的摄像机视角变化。通过多次实验，我们确定全局旋转是PCF较难捕捉的变化类型，这主要是由于训练阶段使用了具有旋转变异性的特征。因此，我们给全局角度赋予较大的权重。我们从手掌到手指逐步减小权重，从而允许指尖相对自由地移动。 表1给出了逐像素分类率。我们之前基于[^16]的模型在该数据集上的成功率为68%，而GEN达到了91.2%，LEN则达到了90.9%。不出所料，专家网络的表现明显更优。不过在这种情况下，GEN与LEN之间的差异微乎其微。然而，LEN的主观实时性能更佳，因为它对未见过的姿势具有更好的泛化能力。
Table 1. Per pixel classification rates of each hand pose estimation method. Single-layered RDF is the PCF as proposed in [^16]. The accuracy of both GEN and LEN are substantially higher than a single PCF.
MethodSingle-layered RDFGENLEN
Per Pixel68.0%91.2%90.9%
## 5 讨论与结论 本研究针对手部形状分类和手部姿态估计问题，提出了两种精确且高效的新颖模型。对于手部形状识别问题，我们提出了SCF这一有效解决方案，该方案在大型ASL数据集上得到了验证。与[^16]中介绍的骨架分类方法不同，SCF可以利用真实的深度图像进行训练，且所需的训练集规模更小。 --- 针对手部姿态估计问题，我们提出了两种新型多层RDF网络：全局专家网络（GEN）和局部专家网络（LEN）。首先，我们利用谱聚类算法对大规模训练集进行聚类，并在每个聚类上训练专家PCF。如此一来，我们将复杂问题拆解为更简单的子问题并分别训练专家模型。接着，我们训练了一个SCF，用于将输入图像分类到相应聚类中；该网络要么为图像确定全局聚类标签（GEN），要么为单个像素确定局部聚类标签（LEN）。结果表明，就准确性、泛化能力和内存需求而言，该框架的性能明显优于[^16]中提出的方法。具体而言，对于同一数据集，GEN的逐像素部件分类率达到91.2%，LEN达到90.9%，而[^16]中报告的同类模型分类率仅为68%。 ## 参考文献 [^1]: Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A.: Real-time human pose recognition in parts from single depth images. In: CVPR (2011) [^2]: Girshick, R., Shotton, J., Kohli, P., Criminisi, A., Fitzgibbon, A.: Efficient Regression of General-Activity Human Poses from Depth Images. In: Proceedings Thirteenth IEEE International Conference on Computer Vision, ICCV 2011, vol. 2011, pp. 415–422. IEEE Comput. Soc. (2011) [^3]: Breiman, L.: Random forests. Machine Learning 45, 5–32 (2001) [^4]: Ye, M., Wang, X., Yang, R., Ren, L., Pollefeys, M.: Accurate 3D pose estimation from a single depth image. In: Proceedings Thirteenth IEEE International Conference on Computer Vision, ICCV 2011, vol. 2011, pp. 731–738. IEEE Comput. Soc. (2011) [^5]: Lopez-Mendez, A., Alcoverro, M., Pardas, M., Casas, J.R.: Real-time upper body tracking with online initialization using a range sensor. In: Proceedings Thirteenth IEEE International Conference on Computer Vision Workshops, ICCV 2011, vol. 2011, pp. 391–398. IEEE Comput. Soc. (2011) [^6]: Erol, A., Bebis, G., Nicolescu, M., Boyle, R.D., Twombly, X.: Vision-based hand pose estimation: A review. Computer Vision and Image Understanding 108, 52–73 (2007) [^7]: Singh, V.K., Nevatia, R.: Action recognition in cluttered dynamic scenes using pose-specific part models. In: Proceedings Thirteenth IEEE International Conference on Computer Vision, ICCV 2011, vol. 2011, pp. 113–120. IEEE Comput. Soc. (2011) [^8]: de Campos, T., Murray, D.: Regression-based Hand Pose Estimation from Multiple Cameras. In: 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2006, vol. 1, pp. 782–789 (2006) [^9]: Athitsos, V., Sclaroff, S.: Estimating 3D hand pose from a cluttered image. In: Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, p. II–432–9 (2003) ## [^10]: Rosales, R., Athitsos, V., Sigal, L., Sclaroff, S.: 3D hand pose reconstruction using specialized mappings. In: Proceedings Eighth IEEE International Conference on Computer Vision, ICCV 2001, vol. 2000, pp. 378–385. IEEE Comput. Soc. (2001) --- [^11]: Stenger, B., Mendonça, P., Cipolla, R.: Model-based 3D tracking of an articulated hand. In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001, pp. II–310–II–315. IEEE Comput. Soc. (2001) [^12]: de La Gorce, M., Fleet, D.J., Paragios, N.: Model-Based 3D Hand Pose Estimation from Monocular Video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1–14 (2011) [^13]: Mo, Z., Neumann, U.: Real-time Hand Pose Recognition Using Low-Resolution Depth Images. In: 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2006, vol. 2, pp. 1499–1505 (2006) [^14]: Malassiotis, S., Strintzis, M.: Real-time hand posture recognition using range data. Image and Vision Computing 26, 1027–1037 (2008) [^15]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Markerless and Efficient 26-DOF Hand Pose Recovery. In: Kimmel, R., Klette, R., Sugimoto, A. (eds.) ACCV 2010, Part III. LNCS, vol. 6494, pp. 744–757. Springer, Heidelberg (2011) [^16]: Keskin, C., Kirac, F., Kara, Y.E., Akarun, L.: Real-time hand pose estimation using depth sensors. In: Proceedings Thirteenth IEEE International Conference on Computer Vision Workshops, ICCV 2011, pp. 1228–1234. IEEE Comput. Soc. (2011) [^17]: Ong, E.J., Bowden, R.: A boosted classifier tree for hand shape detection. In: Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, FGR 2004, pp. 889–894. IEEE Computer Society, Washington, DC (2004) [^18]: Pugeault, N., Bowden, R.: Spelling It Out: Real Time ASL Fingerspelling Recognition. In: Proceedings of the 1st IEEE Workshop on Consumer Depth Cameras for Computer Vision, in Conjunction with ICCV 2011, vol. 2011. IEEE Comput. Soc. (2011) [^19]: Uebersax, D., Gall, J., Van den Bergh, M., Van Gool, L.: Real-time sign language letter and word recognition from depth data. In: Proceedings Thirteenth IEEE International Conference on Computer Vision, ICCV 2011, vol. 2011, pp. 383–390. IEEE Comput. Soc. (2011) [^20]: Comaniciu, D., Meer, P.: Mean shift: a robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence 24, 603–619 (2002) [^21]: Shi, J., Malik, J.: Normalized cuts and image segmentation. In: Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition, CVPR 1997, pp. 731–737. IEEE Computer Society, Washington, DC (1997) [^22]: Meila, M., Shi, J.: A random walks view of spectral segmentation (2001)