# 基于RGB-D输入的物体操作手的实时联合跟踪

Srinath Sridhar $^{1}$、Franziska Mueller $^{1}$、Michael Zollhöfer $^{1}$、Dan Casas $^{1}$、Antti Oulasvirta $^{2}$ 以及 Christian Theobalt $^{1(\boxtimes)}$

$^{1}$ 德国萨尔布吕肯马克斯·普朗克信息学研究所 {ssridhar, frmueller, mzollhoef, dcasas, theobalt}@mpi-inf.mpg.de

$^{2}$ 芬兰埃斯波阿尔托大学

<mailto:antti.oulasvirta@aalto.fi>

摘要：在增强现实、实体计算和可穿戴计算领域，实时同步跟踪手对外部物体的操作与交互具有诸多潜在应用。然而，由于存在复杂的遮挡情况、快速的运动以及手部外观的相似性，同时跟踪手部与物体的姿态比单独跟踪其中任意一种要更具挑战性。以往许多方法采用复杂的多摄像头配置来解决遮挡问题，且通常会运用耗时的分割和优化步骤，这导致无法实现实时跟踪。在本文中，我们提出了一种基于普通RGB-D摄像头的实时解决方案。该方法的核心是一种专为手-物体跟踪设计的3D关节高斯混合对齐策略，能够实现快速的姿态优化。该对齐能量函数采用了新颖的正则化项来处理遮挡和手-物体接触问题。为了进一步提升鲁棒性，我们通过手部的判别性部位分类以及物体的分割来引导优化过程。我们在多个现有数据集上开展了大量实验，并推出了一个新的带标注的手-物体数据集。定量与定性结果均显示出我们方法的关键优势：速度快、精度高且鲁棒性强。

## 1 引言

人类的手具备通过抓握、夹持、触碰、指向、围合和投掷等方式操作外部物体的卓越能力。我们能够轻松完成这些精细且复杂的动作，且速度极快、精度极高。然而，这种灵巧性也增加了在物体紧密交互场景下跟踪手部的难度。尽管已有大量研究探索了手部或物体的单独实时跟踪技术，但实时手-物体跟踪仍面临诸多挑战。

---

![Image](images/4b905099741ad1941220cc6ffbfacd5d233b173c633f2f68f3e9b0241273551a.jpg)

<div style="text-align: center;">Fig. 1. Proposed real-time hand-object tracking approach: we use a single commodity depth camera (left) to classify (top) and track the articulation of a hand and the rigid body motion of a manipulated object (bottom)</div>

该问题仍未解决。由于问题的维度更高、存在额外遮挡现象，且难以区分手与物体，因此本质上更具挑战性。基于最少摄像头配置的快速、精确且稳健的解决方案，是基于视觉的计算机输入领域诸多重要新应用的前提，这些应用包括虚拟现实、增强现实、远程操作、触觉计算和可穿戴计算等。在本文中，我们提出了一种能够同时追踪手部与被操纵物体的实时方法。该方法支持对形状、大小和颜色各异的物体进行追踪。以往的研究采用多摄像头设置[^5] [^17]来减少遮挡带来的影响，但这限制了其仅能在高度可控的环境下使用。目前已有许多利用普通RGB-D相机提供的密集深度和颜色数据的方法[^8] [^13] [^14]。然而，这些方法需要复杂的分割和优化步骤，难以实现交互式性能。另一方面，用于仅追踪手部的一次性判别性方法往往存在时间上的不稳定性[^11] [^33] [^43]。这类方法也曾被应用于在物体遮挡情况下估计手部姿态[^24]，但无法同时追踪物体。相比之下，本文提出的方法是首个仅利用一台普通RGB-D相机就能以实时速率同时追踪手部与物体运动的方法（见图1）。基于近期在单手追踪和三维点集配准领域的研究成果，我们提出了一种专为手-物追踪量身定制的三维关节高斯混合对齐策略。高斯混合对齐用于匹配两个高斯混合模型，已在三维点集配准中取得成功[^10]。它可被视作ICP的推广形式，无需进行易出错且计算成本高昂的对应关系搜索[^7]。以往的方法采用了不连续的二维半关节高斯混合对齐公式[^27]，这会导致追踪不稳定，因为其未考虑三维空间上的邻近性。我们还引入了全新的正则化项，能够解析地考虑遮挡现象并强制手指与物体之间产生接触点。我们所构建的综合能量函数具有封闭形式的梯度，可实现快速精确的追踪。关于我们方法的概述见图2。为了进一步提升鲁棒性并实现生成式追踪器的恢复，我们利用多层随机森林手部部件分类器来引导优化过程。我们采用了一种变分优化策略来进行优化。

---

![Image](images/5b4277ef77e87520a67272ec8d4de2c5d76aa2c28c91449b0e335149eba4a26c.jpg)

<div style="text-align: center;">Fig. 2. We perform classification of the input into object and hand parts. The hand and object are tracked using 3D articulated Gaussian mixture alignment</div>

同时利用两种不同的手-物追踪能量函数（多种候选方案）来选择更优的解。主要贡献如下：

– 一种用于精准联合追踪手部与物体的三维关节高斯混合对齐方法。

– 受抓取物理原理启发而提出的全新接触点与遮挡目标项，能够应对复杂的手-物交互情况。

– 一种用于分割手部与物体、并在RGB-D序列中分类手部部件的多层分类架构。

在公开数据集上进行的广泛评估，以及一个包含多样化手-物交互场景的全新标注数据集。

## 2 相关工作

单手追踪。近年来，单手追踪受到了广泛关注，其中判别性方法和生成性方法是两大类主要方法。用于单目RGB追踪的判别性方法会从一个庞大的姿态数据库中索引数据，或者学习从图像到姿态空间的映射 [^3] [^42]。不过，这些方法的准确性和时间稳定性有限。单目生成性方法通过优化对齐能量来确定更复杂的3D或2.5D手部模型的姿态 [^6] [^9] [^15]。在多摄像头配置下，遮挡和外观歧义问题会有所减轻 [^5]。[^41]采用基于物理的方法，利用轮廓和颜色约束来优化手部姿态，不过帧率较慢且缺乏交互性。[^28]则利用多个RGB摄像头和单个深度摄像头，结合生成性追踪与指尖检测技术，实现近乎实时的单手姿态追踪。对于许多交互式应用而言，配备单个深度摄像头的轻量化方案更受欢迎。在单摄像头方法中，判别性方法的例子包括基于决策树的手部部件标注 [^11]、结合粗到细搜索的潜在回归树 [^33]、快速分层姿态回归 [^31] 或霍夫投票法 [^43]。虽然可以实现实时性能，但时间不稳定性仍是个问题。[^19]通过粒子群优化算法来优化基于深度和外观的对齐度量，从而实现生成性手部追踪。[^16]提出了一种基于物理求解器的实时生成性追踪方法。基于学习到的子空间先验的实时关节ICP稳定技术也被应用于手部姿态追踪。

---

[^32]中采用了上述技术来稳定实时关节ICP。[^45]展示了基于模板的RGB-D实时非刚性形变追踪技术，该技术能够追踪非常简单的无遮挡手部姿态。结合生成性追踪与判别性追踪可以克服某些追踪失败情况 [^25] [^28] [^39]。[^27]利用生成性姿态优化技术在检测约束下实现了实时的深度单手追踪。同样，通过指尖检测来重新初始化生成性估计值 [^23]、多层判别性重新初始化 [^25]，或利用卷积网络检测关节位置，也都是可行的方案 [^36]。[^34]采用从部分姿态分布中进行分层采样的方式，并基于生成性能量进行最终假设选择。不过，上述方法都无法实时同时追踪处于复杂姿态下的交互式手部与物体。

交互中的手部追踪。追踪两只交互的手，或一只手与所操控物体的运动，是一个难度更高的课题。简单地将物体追踪方法（如 [^4]、[^35]）与手部追踪方法相结合，无法得到令人满意的解决方案，因为只有将两者结合建模，才能系统性地利用物体与手之间的相互约束条件。[^40] 通过高效的姿态检索与逆向运动学优化，从立体图像中追踪两只间距较大的手。在 [^18] 中，借助RGB-D相机，通过优化生成式深度与图像对齐度量，以4Hz的频率追踪处于交互状态的两只手。[^5] 展示了基于多视角视频、以较慢的非实时速率追踪交互手部的过程，该方法采用由显著点检测支持的生成式姿态优化技术。[^32] 提出的方法能够追踪遮挡较少的极简单的两手交互场景。而商业解决方案，如Leap Motion [^1] 和NimbleVR [^2]，在两只手紧密交互或与物体互动时便会失效。[^17] 提出了一种基于组合手-物体模型的生成式姿态优化的无标记点方法，该方法虽能显式建模碰撞情况，却需要多台RGB相机。[^8] 利用基于部件的追踪器，通过信念传播找到最可能的姿态；该方法在遮挡情况下鲁棒性较强，但并未显式追踪物体。[^24] 采用时间连贯的最近邻搜索来实时追踪操控物体的手，但无法追踪物体本身，且结果容易出现时间抖动现象。[^13] 利用基于物理的优化技术，从RGB-D数据中进行帧间手与物体追踪，但该方法的运行速度较慢且非实时。[^14] 采用了用于RGB-D多物体及多手追踪的协作追踪器集合（ECT），其精度较高，但运行速度远达不到实时要求。[^21] 能在较慢的非实时速率下，从被追踪的与物体交互的手中推断接触力。[^20] 和 [^38] 提出了用于手持物体RGB-D扫描的方法，这两种方法均利用已知的生成式方法来追踪手指接触点，以支持类ICP的形状扫描。最近，[^37] 提出了一种仅追踪手部、手-手交互以及手-物体交互的方法（我们纳入了与该方法的对比）。上述方法均无法从单个深度相机视角下实时追踪处于复杂姿态下的手及所操控的物体，而这正是我们的方法所能实现的。

基于模型的跟踪方法。模型跟踪的常见表示形式是网格[^5] [^32]。其他方法则使用基本几何形状[^14] [^23]、二次曲面[^29]、2.5D高斯分布[^27]或高斯混合模型[^10]。高斯混合模型对齐技术具有…

---

该技术已成功应用于刚性点集配准 [^10]。相比之下，我们提出了一种3D关节高斯混合对齐策略。[^44] 通过概率建模关联模板与数据，并利用EM算法计算最佳匹配结果；与他们的方法不同，他们仅将模板建模为高斯混合形式。

## 3 判别性手部部件分类

作为预处理步骤，我们将深度像素分类为手部或物体，并进一步划分为手部各个部位。所获得的标签随后被用于指导生成式姿态优化。我们的部位分类策略基于一种能考虑遮挡情况的两层随机森林模型。分类过程遵循三步流程（见图3）。输入数据为由RGB-D传感器采集的彩色图像$C_t$和深度图像$D_t$。我们首先基于颜色线索进行手-物分割，以从深度图中移除物体。之后，我们选择合适的两层随机森林模型来进行分类。每个像素的最终输出是一个部位概率直方图，用于表征各类别的可能性。注意，物体像素对应的直方图会将物体类别的概率设为1。这些随机森林模型是基于一组训练图像训练的，这些图像由真实手部动作映射到虚拟手模型上，从而从多个视角生成合成数据。场景中还会自动插入虚拟物体以模拟遮挡现象。为此，我们会在拇指与其他手指之间随机选取均匀分布的物体位置，并根据相交测试结果剔除不合理的姿态。

视角选择。我们针对不同视角训练了用于手部部位分类的两层随机森林模型。共区分四种情况：从前、后、拇指侧和小指侧观察手部。我们会选择与前一帧计算出的手部朝向最匹配的随机森林模型，进而用它来进行手部部位分类。

基于颜色的物体分割。作为第一步，我们从采集到的深度图$\mathcal{D}_t$中分割出物体。与许多以往的手-物跟踪方法类似[^19]，我们结合使用彩色图像$\mathcal{C}_t$与HSV颜色分割策略。结果证明，该方法能够支持不同颜色的物体。移除物体像素后可得到新的深度图$\hat{\mathcal{D}}_t$，再将其送入下一处理阶段。

![Image](images/bf570f489a64c48cae8a1301f3982d38ec23655840388cd23318e3d1a63b4372.jpg)

<div style="text-align: center;">Fig. 3. Three stage hand part classification: Stage 1: Viewpoint selection, stage 2: color-based object segmentation, and stage 3: two-layer hand part classification (Color figure online)</div>

---

两层手部部位分类。我们采用两层随机森林模型来进行手部部位分类。第一层负责分类手部与手臂像素，第二层则利用手部像素进一步将其划分为若干不同的手部部位。这两层均为逐像素分类的随机森林[^26]。手部-手臂分类随机森林是在包含多种手-物姿态的$N = 100k$幅图像上训练的。针对四种视角，每种视角下的随机森林均在$N = 38k$幅图像上训练。每个随机森林由三棵树组成，每棵树均在随机选取的不同子集上训练。每幅图像中会选取2000个前景像素样本。节点处的分裂决策基于100个随机特征偏移量和40个阈值。候选特征包括一元和二元深度差特征的混合[^26]。只要信息增益足够且树的最大深度未达到19（手部-手臂随机森林为21），节点就会继续分裂。在第一层中，我们使用3个部位标签：1个代表手部，1个代表手臂，1个代表背景。在第二层中，分类基于7个部位标签：6个对应手部各部位，1个对应背景。我们为每个手指和手掌各设一个标签，见图3c。我们通过交叉验证来确定最佳超参数。在独立的测试集上，手部-手臂随机森林的分类准确率为65.2%。针对四种相机视角的随机森林准确率分别为：正面59.8%，背面64.7%，小指侧60.9%，拇指侧53.5%。

## 4 高斯混合模型表示

手部与物体联合跟踪需要一种能够实现精准跟踪、对异常值具有鲁棒性且能支持快速姿态优化的表示方法。高斯混合对齐最初是为刚性点集对齐提出的（例如 [^10]），它满足了上述所有要求。该方法具备类ICP方法的优势，却无需进行成本高昂且易出错的对应关系搜索。我们将这种方法扩展为适用于手部与物体跟踪的3D关节高斯混合对齐技术。与我们的3D公式相比，2.5D [^27] 方法存在不连续性，这会导致稳定性问题，因为其没有充分考虑模型与数据之间的空间邻近性。我们在仅针对手部跟踪的实验中对这一点进行了定量验证（见第8节）。

## 5 统一密度表示

我们使用具有 $|\mathcal{X}_h| = 26$ 个自由度的运动学骨架来参数化人手的运动。非刚性的手部运动通过20个以扭转形式表示的关节角来体现；其余6个自由度则用于指定手部相对于根关节的全局刚性变换。我们假设被操纵的物体是刚性的，其运动通过 $|\mathcal{X}_o| = 6$ 个自由度来参数化。在下文中，我们将以统一的方式处理手部和物体。为此，我们将所有未知量的向量记为 $\mathcal{X}$。在姿态优化过程中，输入的深度数据以及场景（手部和物体）均被表示为3D高斯混合模型（GMM），这种方式能够实现快速且解析式的姿态优化。我们首先定义空间中每个点 $\mathcal{M}(\mathbf{x}) = \sum_{i=1}^K w_i \mathcal{G}_i(\mathbf{x} | \mu_i, \sigma_i)$ 处的通用概率密度分布 $\mathbf{x} \in \mathbb{R}^3$。

---

该混合模型包含K个未归一化的各向同性高斯函数 $g_i$，它们的均值为 $\boldsymbol{\mu}_i \in \mathbb{R}^3$，方差为 $\sigma_i^2 \in \mathbb{R}$。在模型分布的情况下，高斯函数的位置由未知量 $\chi$ 参数化。对于手部而言，这意味着每个高斯函数都与一根手部骨骼刚性绑定。该概率密度在整个定义域 $\mathbb{R}^3$ 内均有定义且不为零。

手部与物体模型。手部和物体的三维形状分别以类似的概率密度分布 $\mathcal{M}_h$ 和 $\mathcal{M}_o$ 来表示。我们手动将 $N_h = 30$ 个高斯函数附加到手部的运动链上，以模拟其体积范围。标准差的设置大致对应于到实际表面的距离。物体则通过自动拟合预定数量 $N_o$ 的高斯函数来描述其空间范围，使得一个标准差球体能够模拟物体的体积范围。$N_o$ 是用户定义的参数，可用于调节跟踪精度与运行效率之间的平衡。我们发现，对于我们实验中使用的物体而言，$N_o \in [12, 64]$ 能在速度与精度之间取得良好的平衡。我们将合并后的手-物分布记为 $\mathcal{M}_s$，其中包含 $N_s = N_h + N_o$ 个高斯函数。每个高斯函数会根据其在场景中的语义位置被分配一个类别标签 $l_i$。需要注意的是，输入的GMM仅仅是手/物体可见表面的模型。因此，我们为每个高斯函数引入了可见度因子 $f_i \in [0, 1]$（0表示完全遮挡，1表示完全可见）。该因子是通过将每个高斯函数渲染为圆形（半径等于其标准差）来生成遮挡图而近似得到的。通过将混合模型中的 $w_i = f_i$ 设为相应值，可限制GMM仅作用于可见表面。这些操作是基于上一帧的解 $\mathcal{X}_{old}$ 来执行的。

输入深度数据。我们首先对具有相似深度的相邻像素执行自底向上的分层四叉树聚类，从而将输入转换为基于密度的表示形式。我们最多聚类 $(2^{(4-1)})^2 = 64$ 个像素，这对应着最大树深度为 4。只要相应子域内的深度方差小于 $c_{cluster} = 30$ 毫米，就会继续进行聚类。每个叶节点用高斯函数 $\mathcal{G}_i$ 来表示，其中 $\mu_i$ 对应四元组的三维重心，而 $\sigma_i^2 = (\frac{a}{2})^2$ 中的 a 则是该四元组反投影后的边长。注意，均值 $\mu_i \in \mathbb{R}^3$ 是通过根据计算出的平均深度反投影四元组的二维重心，并沿相机观测方向位移 a 得到的，这样就能得到与场景模型相匹配的表示形式。此外，每个 $\mathcal{G}_i$ 还存储有概率 $p_i$ 以及最佳关联语义标签的索引 $l_i$。我们通过对分类阶段得到的所有对应像素直方图求和，来获取最佳标签及其概率。基于这些数据，我们定义了手部的输入深度分布 $\mathcal{M}_{d_h}(\mathbf{x})$ 和物体的输入深度分布 $\mathcal{M}_{d_o}(\mathbf{x})$。合并后的输入分布 $\mathcal{M}_d(\mathbf{x})$ 包含 $N_d = N_{d_o} + N_{d_h}$ 个高斯函数。基于各分量贡献相等的假设，我们设定统一的权重 $w_i = 1$。由于 $N_d$ 远小于像素数量，因此能够实现实时的手-物体跟踪。

---

## 6 多候选优化

我们利用两个候选解 $\mathcal{X}^*$、$\mathcal{X}_i^*$ 来优化最佳姿态 $i \in \{0,1\}$，这两个候选解是通过最小化两种不同的手-物体跟踪能量得到的：

 $$ \mathcal{X}_{0}^{*}=\underset{\mathcal{X}}{\operatorname{a r g m i n}}E_{{a l i g n}}(\mathcal{X}),\ \mathcal{X}_{1}^{*}=\underset{\mathcal{X}}{\operatorname{a r g m i n}}E_{{l a b e l}}(\mathcal{X}). $$

$E_{align}$ 利用深度观测信息，而第二种能量 $E_{label}$ 则结合了判别性的手部部件分类结果。与直接优化这两个目标之和不同，这种方法能够避免因分类错误导致的失败，并确保快速恢复。在优化过程中，我们采用解析梯度下降法（每个候选解迭代 10 次，步长自适应）[^30]。初始化时以上一帧的解为基础 $\mathcal{X}_{old}$。最终，$\mathcal{X}^*$ 的选择方式如下：我们略微偏向（$\lambda = 1.003$）标签候选解，以便快速恢复姿态。

 $$ \mathcal{X}^{*}=\begin{cases}{\mathcal{X}_{1}^{*}}&{\mathrm{i f~}\big(E_{{v a l}}(\mathcal{X}_{1}^{*})<\lambda E_{{v a l}}(\mathcal{X}_{0}^{*})\big)}\\ {\mathcal{X}_{0}^{*}}&{\mathrm{o t h e r w i s e}}\\ \end{cases}. $$

能量函数 $E_{val}(\mathcal{X}) = E_a(\mathcal{X}) + w_p E_p(\mathcal{X})$ 旨在选择最能解释输入数据且符合解剖学结构的候选解。因此，它考虑了与输入深度图 $E_a$ 的空间对齐情况，并对解剖学上的关节角度限制进行了建模 $E_p$，详见第 7 节。接下来，我们将详细介绍所使用的能量函数。

## 7 手-物体跟踪目标

根据输入深度分布$\mathcal{M}_d$，我们希望找到能够最好地解释观测结果的3D模型$\mathcal{M}_s$，具体方法是调整相应的参数$\mathcal{X}$。我们借鉴了那些采用相关3D隐式形状模型进行全身姿态跟踪、但运行时长较慢且非交互式的方法[^12] [^22]，不过我们提出了一种专为实时手-物体跟踪设计的高效跟踪目标函数。与以往的方法不同，我们的目标函数在3D空间中运作（是对ICP的推广），采用了更优的方式来整合判别性分类结果，还引入了两项新颖的正则化项。这些因素共同造就了一种更优且紧凑的表示方法，从而能够在CPU上实现快速的解析姿态优化。为此，我们定义了以下两个目标函数。第一个能量项$E_{align}$用于衡量与输入数据的对齐程度：

 $$ E_{{a l i g n}}(\mathcal{X})=E_{a}+w_{p}E_{p}+w_{t}E_{t}+w_{c}E_{c}+w_{o}E_{o}. $$

第二个能量项$E_{label}$则用于整合分类结果：

 $$ E_{{l a b e l}}(\mathcal{X})=E_{a}+w_{s}E_{s}+w_{p}E_{p}. $$

能量项分别考虑了空间对齐$E_{a}$、语义对齐$E_{s}$、解剖学合理性$E_{p}$、时间平滑性$E_{t}$、接触点$E_{c}$以及物体与手之间的遮挡情况$E_{o}$。能量中的先验项被设定为不会妨碍各自的对齐目标。

---

所有参数$w_p = 0.1$、$w_t = 0.1$、$w_s = 3 \cdot 10^{-7}$、$w_c = 5 \cdot 10^{-7}$和$w_o = 1.0$均通过实验确定，且在所有实验中保持不变。我们采用基于多重提议的优化策略来同时优化这两种能量，并运用“胜者通吃”策略（详见第6节）。实验表明，使用两个能量函数比使用一个包含所有项的单一能量函数能获得更精确的姿态估计结果，且更能从失败中恢复。下文将详细介绍各个组成部分。

空间对齐。我们依据以下对齐能量来衡量输入密度函数$\mathcal{M}_{d}$与我们场景模型$\mathcal{M}_{s}$之间的对齐程度：

 $$ E_{a}(\mathcal{X})=\int_{\mathcal{Q}}\Big[\big(\mathcal{M}_{d_{h}}(\mathbf{x})-\mathcal{M}_{h}(\mathbf{x})\big)^{2}+\big(\mathcal{M}_{d_{o}}(\mathbf{x})-\mathcal{M}_{o}(\mathbf{x})\big)^{2}\Big]d\mathbf{x}. $$

该能量用于衡量空间中每一处两个输入密度分布与两个模型密度分布之间的对齐情况$\mathbf{x} \in \Omega$。需要注意的是，这种三维公式相比2.5D的高斯分布[^27]公式能得出更精确的结果（详见第8节）。

语义对齐。除了分布对齐外，我们还在标签能量$E_{label}$中融入了语义信息。与[^27]不同，我们基于最佳类别概率来纳入不确定性因素。我们使用以下最小二乘目标函数来强制实现语义对齐：

 $$ E_{s}(\mathcal{X})=\sum_{i=1}^{N_{s}}\sum_{j=1}^{N_{d}}\alpha_{i,j}\cdot||\boldsymbol{\mu}_{i}-\boldsymbol{\mu}_{j}||_{2}^{2}. $$

此处，$\mu_i$和$\mu_j$分别是$i^{th}$模型的均值以及$j^{th}$图像高斯分布的均值。权重$\alpha_{i,j}$会开启相似部分之间的引力作用，同时关闭不同部分间的引力作用：

 $$ \alpha_{i,j}=\begin{cases}{0}&{\mathrm{i f~}(l_{i}\neq l_{j})~\mathrm{o r}~(d_{i,j}>r_{m a x})}\\ {(1-\frac{d_{i,j}}{r_{m a x}})\cdot p_{i}}&{\mathrm{e l s e}}\\ \end{cases}. $$

此处，$d_{i,j} = ||\boldsymbol{\mu}_i - \boldsymbol{\mu}_j||_2$表示均值之间的距离。$l_i$是最可能类别的部件标签，$p_i$是其对应的概率，而$r_{max}$则是一个截断值。我们将$r_{max}$设为30厘米。$l_i$可以是8个标签之一：其中6个对应手部部件，1个对应物体，1个对应背景。为了能够快速恢复之前被遮挡区域的姿态，我们会考虑所有的模型高斯分布，无论其遮挡权重如何。

解剖学上的合理性。手部的关节运动受到解剖结构的限制。我们通过对手部关节角度 $\chi_{h}$ 施加软约束来考虑这一点：

 $$ E_{p}(\mathcal{X})=\sum_{x_{i}\in\mathcal{X}_{h}}\begin{cases}{0}&{\mathrm{i f~}x_{i}^{l}\leq x_{i}\leq x_{i}^{u}}\\ {||x_{i}-x_{i}^{l}||^{2}}&{\mathrm{i f~}x_{i}<x_{i}^{l}}\\ {||x_{i}^{u}-x_{i}||^{2}}&{\mathrm{i f~}x_{i}>x_{i}^{u}}\\ \end{cases}. $$

---

此处，$\mathcal{X}_h$ 代表与手部相关的自由度，而 $x_i^l$ 和 $x_i^u$ 则分别对应运动链中 $i^{th}$ 自由度的关节下限和上限。

时间平滑性。我们进一步通过将时间先验纳入能量函数来提高跟踪结果的平滑度。为此，我们对参数变化施加软约束，以确保运动速度恒定：

 $$ E_{t}(\mathcal{X})=||\nabla\mathcal{X}-\nabla\mathcal{X}^{(t-1)}||_{2}^{2}. $$

此处，$\nabla\mathcal{X}^{(t-1)}$ 表示上一时间步中参数变化的梯度。

接触点。我们针对手-物体跟踪场景提出了一种新颖的接触点目标函数：

 $$ E_{c}(\mathcal{X})=\sum_{(k,l,t_{d})\in\mathcal{T}}\left(||\boldsymbol{\mu}_{k}-\boldsymbol{\mu}_{l}||^{2}-t_{d}^{2}\right)^{2}. $$

在此，$(k, l, t_d) \in \mathcal{T}$ 表示一个检测到的触碰约束。它规定索引为 k 的指尖高斯分布与索引为 l 的物体高斯分布之间的距离应为 $t_d$。我们根据最后一个姿态 $\mathcal{T}$ 来检测所有的触碰约束集合 $\mathcal{X}_{old}$。如果某个指尖高斯分布与物体高斯分布之间的距离小于它们标准差之和，就会新增一个触碰约束；此时我们将 $t_d$ 设为该数值。这种设定将手部姿态与物体跟踪相互关联，从而获得更稳定的结果。只要两个高斯分布之间的距离未超过释放阈值 $\delta_R$，接触点就会保持激活状态；通常该阈值设为 $\delta_R > t_d$ 以避免画面闪烁。

遮挡处理。在手部被遮挡的区域无法获取测量数据。我们利用一种新颖的遮挡先验来稳定这些区域的手部运动：

 $$ E_{o}(\mathcal{X})=\sum_{i=0}^{N_{h}}\sum_{j\in\mathcal{H}_{i}}~(1-\hat{f}_{i})\cdot||x_{j}-x_{j}^{{o l d}}||_{2}^{2}. $$

此处，$\mathcal{H}_i$ 表示受第 i 个高斯分布影响的所有自由度集合，其中不包括全局旋转和平移。遮挡权重 $\hat{f}_i \in [0,1]$ 的计算方式与 $f_i$ 类似（0 表示被遮挡，1 表示可见）。这一先验基于这样的假设：被占据的区域会与手部的其余部分同步运动。

## 8 实验与结果

我们在涵盖3个公共数据集的15个以上序列上对我们的方法进行了评估与比较，这些序列是用3种不同的RGB-D相机拍摄的（见图7）。额外的实时序列（见图8及补充材料）表明，我们的方法能够应对快速的物体和手指运动以及复杂的遮挡情况；即便场景中存在两只手，该方法的表现也同样出色。我们的方法支持常见的RGB-D传感器，比如Creative Senz3D、Intel RealSense F200等。

---

Primesense Carmine。我们将深度图和彩色图分别缩放至 $320 \times 240$ 和 $640 \times 480$ 分辨率，并以 30 Hz 的频率采集数据。此外，我们还推出了一个新的手-物体跟踪基准数据集，其中包含指尖和物体的真实标注信息。

与最先进方法的比较。我们在两个公开可用的手-物体数据集上进行了定量和定性评估[^37] [^38]（见图8及补充材料）。只有其中一个数据集（IJCV [^37]）包含关节位置的真实标注。我们在IJCV数据集的5个刚性物体序列上进行测试。我们仅追踪右手，但即便存在多只手时我们的方法仍能正常工作。真实标注提供了二维关节位置信息，但未涉及物体姿态。我们的方法指尖像素误差为8.6像素，这一数值与[^37]所报道的较慢方法的结果相当（仅相差2像素）。这种微小差异完全在人工标注和传感器噪声的不确定性范围内。值得注意的是，我们的方法运行速度比后者快60倍以上，同时生成的视觉效果也不相上下（见图8）。我们还对[^38]数据集进行了追踪测试（同样见图8）。虽然该数据集解决的是不同问题（离线手持扫描），但这表明我们的实时方法能够很好地应对各种形状的物体（如保龄球瓶、瓶子等），即便在遮挡情况下也是如此。

新基准数据集。由于上述数据集缺乏物体标注，无法用于评估物体姿态。因此，据我们所知，我们推出了首个包含指尖位置和物体姿态真实标注的数据集$^{1}$。该数据集包含6个序列，记录了手部操控长方体（两种不同尺寸）在不同手-物体配置及抓取方式下的情形。我们手动在深度图像上标注了5个指尖位置和3个长方体顶点。总共提供了3014帧带有真实标注的图像。如同文献中常见的做法[^23] [^25] [^27] [^32] [^33]，我们以估计位置与真实位置之间的平均三维欧几里得距离E作为误差度量指标（详情见补充文档）。对于被遮挡的指尖，会在逐帧基础上将其排除在误差计算之外；若长方体的某个标注顶点被遮挡，该帧中也会将其排除。图4a展示了6个序列所有帧的平均误差。我们的方法在手部及物体上的平均误差均为15.7毫米。在所有序列中，平均误差始终低于20毫米，标准差小于12毫米。平均误差虽能反映整体性能，却无法体现追踪器的一致性表现。图4b显示，我们的方法几乎能在所有帧中将误差控制在30毫米以内。其中Rotate序列的误差最大，而Pinch序列表现最佳，几乎所有帧的误差都低于20毫米。表1分别列出了手部与物体的误差数据，两者数量级相近。

消融分析。首先，我们证明了这种关节化三维高斯混合对齐公式（即便仅用于手部追踪）优于[^27]提出的2.5D公式。在Dexter数据集[^28]上，[^27]报道的平均指尖误差为19.6毫米。相比之下，我们的方法（未采用任何特定于手-物体的

---

![Image](images/d7a168c5e180618a1b14421fbb301a305de83d78905f1f45f22a012d3a31135e.jpg)

<div style="text-align: center;">(a) We achieve low errors on each of the 6 sequences in our new benchmark dataset</div>

![Image](images/fc4cb656c8eedffaa982f79cf1b6d0e7c018165203a7a599b48af176546af385.jpg)

<div style="text-align: center;">(b) Tracking consistency of the best, worst and average case</div>

<div style="text-align: center;">Fig. 4. Quantitative hand-object tracking evaluation on ground truth data. The object contributes a higher error</div>

<div style="text-align: center;">Table 1. Average error (mm) for hand and object tracking in our dataset</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Rigid</td><td style='text-align: center; word-wrap: break-word;'>Rotate</td><td style='text-align: center; word-wrap: break-word;'>Occlusion</td><td style='text-align: center; word-wrap: break-word;'>Grasp1</td><td style='text-align: center; word-wrap: break-word;'>Grasp2</td><td style='text-align: center; word-wrap: break-word;'>Pinch</td><td style='text-align: center; word-wrap: break-word;'>Overall (mm)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Fingertips</td><td style='text-align: center; word-wrap: break-word;'>14.2</td><td style='text-align: center; word-wrap: break-word;'>16.3</td><td style='text-align: center; word-wrap: break-word;'>17.5</td><td style='text-align: center; word-wrap: break-word;'>18.1</td><td style='text-align: center; word-wrap: break-word;'>17.5</td><td style='text-align: center; word-wrap: break-word;'>10.3</td><td style='text-align: center; word-wrap: break-word;'>15.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Object</td><td style='text-align: center; word-wrap: break-word;'>13.5</td><td style='text-align: center; word-wrap: break-word;'>26.8</td><td style='text-align: center; word-wrap: break-word;'>11.9</td><td style='text-align: center; word-wrap: break-word;'>15.3</td><td style='text-align: center; word-wrap: break-word;'>15.7</td><td style='text-align: center; word-wrap: break-word;'>13.9</td><td style='text-align: center; word-wrap: break-word;'>16.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Combined (E)</td><td style='text-align: center; word-wrap: break-word;'>14.1</td><td style='text-align: center; word-wrap: break-word;'>18.0</td><td style='text-align: center; word-wrap: break-word;'>16.4</td><td style='text-align: center; word-wrap: break-word;'>17.6</td><td style='text-align: center; word-wrap: break-word;'>17.2</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>15.7</td></tr></table>

![Image](images/f94c985c93858e3b30bed925fcc9d3a29e7e1df57c5fe439d6c8e1e9f6044805.jpg)

<div style="text-align: center;">Fig. 5. Top row: Input depth, an object occludes the hand. Middle row: Result of our approach (different viewpoint). Our approach successfully tracks the hand under heavy occlusion. Bottom row: Result of [^27] shows catastrophic failure (object pixels were removed for fairness)</div>

---

术语）表现始终更优，平均误差仅为17.2毫米（在两个序列中最大改进幅度达5毫米）。这一成果得益于连续关节化三维高斯混合对齐能量函数——它是ICP的推广形式，能够考虑高斯分布间的三维空间邻近性。

![Image](images/937d51e31a19558229be892fd67b2ab92a72cf920f06ec9115587794202cf8ed.jpg)

<div style="text-align: center;">Fig. 6. Ablative analysis</div>

其次，我们证明了在不使用视角选择、语义对齐、遮挡处理以及接触点项的情况下，我们在手-物体数据集上的平均误差更大。图6展示了禁用能量函数中不同组件后的一致性曲线。仅使用数据项往往会导致较大的误差；若不使用视角选择，误差甚至会更大。语义对齐、遮挡处理和接触点项有助于提升跟踪结果的鲁棒性，并能更好地从失败中恢复。图5显示，当手指被遮挡时，[^27]显然会出现跟踪失败的情况。我们的手-物体专用项在面对这类复杂的遮挡情况时更具鲁棒性，同时还能实现实时性能。

运行性能。所有实验均在配备16GB内存的Intel Xeon E5-1620 CPU以及NVIDIA GTX 980 Ti显卡上开展。我们方法各阶段的平均耗时分别为：预处理4毫秒、部件分类4毫秒、深度聚类2毫秒，而利用两个候选结果进行姿态优化的耗时为20–30毫秒。我们实现了25–30赫兹的实时性能。多层随机森林在GPU上运行，其余算法部分则在CPU上多线程执行。局限性方面，尽管我们证明了该方法对合理程度的遮挡具有鲁棒性，但手部大部分区域长时间被遮挡的情况仍具挑战性，这主要是由于此类遮挡下分类性能下降所致。此外还可能出现对齐偏差。

![Image](images/9b21dffba2fa8e0941c9543cc2802b53916c463178b212318dc4159756f461cf.jpg)

<div style="text-align: center;">Fig. 9. Occlusion error and recovery</div>

一旦违反遮挡启发式的底层假设，即被遮挡部件并未做刚性运动，就会出现上述问题。幸运的是，我们的判别式分类策略使得姿态优化能够在之前被遮挡的区域重新可见时恢复跟踪，如图9所示。后续研究需聚焦于为被遮挡区域制定更好的先验知识，例如从数据中学习到的抓取与交互先验。另外，采用不同的学习方法改进手部部件分类，或是回归密集对应关系，也是未来值得探索的方向。另一类误差来源是极快的运动。虽然当前实现能达到30赫兹的帧率，但更高帧率的传感器结合更快的姿态优化算法，将因时间连贯性的提升而增强系统的鲁棒性。我们展示了多种物体形状的跟踪效果；不过物体复杂程度（形状和颜色）的增加会影响运行性能。我们希望进一步探索如何同时跟踪多个复杂物体和手部。

---

![Image](images/f056fe03613c6f72d5a0ca30c36e77b531aadd171ec0d3a05fac4cc2145538a6.jpg)

<div style="text-align: center;">(a) Rotate sequence from our dataset</div>

![Image](images/65dc7e6eb1bea4843d51010b5cc0f606b6bad5c34d08aa4723dde5883b0fe9d2.jpg)

![Image](images/2e5ff846042d0b447850f98f890b6a43effbb873ad12fa3f107a1386e437a01d.jpg)

![Image](images/fe69526e41f5db43f03b79502f012c50d051b6569bbc29892c4722415f0e03f2.jpg)

<div style="text-align: center;">(b) Grasp2 sequence from our dataset</div>

![Image](images/6db55a9b0a12151d1846801cd41e602569aa559c0c7b7e7eb5252f640fe3f537.jpg)

<div style="text-align: center;">(c) Real-time tracking results with various object shapes and different users</div>

![Image](images/b725550596af22b2d3141ab34fc8e73334a9725d133b6b7dd8ece737d623ed2c.jpg)

![Image](images/831825607fc91f7539b756abe5d9945a73ad731b0b796c359aa50b259c82b6c6.jpg)

![Image](images/be672684f60dabf2c40bc582201faee9b776dd4d30dfb080c0a0f1ad33691b36.jpg)

![Image](images/81c7775d145dc4194d4ce3b70f755666784a2297f436f52fbc7650f23289cec6.jpg)

![Image](images/16b91f6fa65d7acb2890993eadcddae39469223a81c9242edbc6ac5a4d39d4ae.jpg)

<div style="text-align: center;">(d) Results on the IJCV dataset [^37]. Notice how our method tracks the hand even if multiple hands are in view. Tracked skeleton in green and object in light blue</div>

<div style="text-align: center;">Fig. 7. (a, b) show tracking results on our dataset. (c) Shows real-time results with different object shapes and colors. (d) Shows results on a public dataset (Color figure online)</div>

![Image](images/eca22367b026959591b7f99d9a5674254606f93a3bd50ae4fb26b582b7b137fe.jpg)

<div style="text-align: center;">Fig. 8. Subset of tracked frames on the dataset of [^38]. Our method can handle objects with varying sizes, colors, and different hand dimensions. Here we show how even a complex shape like a bowling pin can be approximated using only a few tens of Gaussians (Color figure online)</div>

---

## 9 结论

我们提出了首个基于单台普通深度传感器的实时手-物体同步跟踪方法。该方法结合了判别式分类与生成式姿态优化的优势：分类部分基于带有视角选择的多层随机森林架构；我们采用了专为手-物体跟踪设计的3D关节高斯混合对齐技术，同时引入了新颖的分析型遮挡与接触处理约束，从而能够借助多个候选结果成功跟踪复杂的手-物体交互场景。我们的定性和定量结果证明，该方法既精确又鲁棒。此外，我们还采集了一套新的基准数据集（包含手部与物体标注信息）并公开分享，相信未来的研究将从中受益匪浅。

致谢。本研究得到了ERC启动基金资助项目CapReal（335545）和COMPUTED（637991），以及芬兰科学院的支持。我们要感谢Christian Richard。

## 参考文献

1. Leap Motion. <https://www.leapmotion.com/>

2. NimbleVR. <http://nimblevr.com/>

[^3]: Athitsos, V., Sclaroff, S.: Estimating 3D hand pose from a cluttered image. In: Proceedings of IEEE CVPR, pp. 432–442 (2003)

[^4]: Badami, I., Stckler, J., Behnke, S.: Depth-enhanced hough forests for object-class detection and continuous pose estimation. In: Workshop on Semantic Perception, Mapping and Exploration (SPME) (2013)

[^5]: Ballan, L., Taneja, A., Gall, J., Gool, L., Pollefeys, M.: Motion capture of hands in action using discriminative salient points. In: Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C. (eds.) ECCV 2012. LNCS, vol. 7577, pp. 640–653. Springer, Heidelberg (2012). doi:10.1007/978-3-642-33783-3_46

[^6]: Bray, M., Koller-Meier, E., Van Gool, L.: Smart particle filtering for 3D hand tracking. In: Proceedings of the International Conference on Automatic Face and Gesture Recognition, pp. 675–680 (2004)

[^7]: Campbell, D., Petersson, L.: Gogma: globally-optimal Gaussian mixture alignment (2016). arXiv preprint arXiv:1603.00150

[^8]: Hamer, H., Schindler, K., Koller-Meier, E., Van Gool, L.: Tracking a hand manipulating an object. In: Proceedings of IEEE ICCV, pp. 1475–1482 (2009)

[^9]: Heap, T., Hogg, D.: Towards 3D hand tracking using a deformable model. In: Proceedings of the International Conference on Automatic Face and Gesture Recognition, pp. 140–145, October 1996

[^10]: Jian, B., Vemuri, B.C.: Robust point set registration using Gaussian mixture models. IEEE Trans. Pattern Anal. Mach. Intell. 33(8), 1633–1645 (2011)

11. Keskin, C., Kira, F., Kara, Y.E., Akarun, L.：利用深度传感器进行实时手部姿态估计。载于：ICCV研讨会，第1228–1234页。IEEE（2011年）。<http://dblp.uni-trier.de/db/conf/iccvw/iccvw2011.html#KeskinKKA11>

---

[^12]: Kurmankhojayev, D., Hasler, N., Theobalt, C.: Monocular pose capture with a depth camera using a sums-of-Gaussians body model. In: Weickert, J., Hein, M., Schiele, B. (eds.) GCPR 2013. LNCS, vol. 8142, pp. 415–424. Springer, Heidelberg (2013)

[^13]: Kyriazis, N., Argyros, A.: Physically plausible 3D scene tracking: the single actor hypothesis. In: Proceedings of IEEE CVPR, pp. 9–16 (2013)

[^14]: Kyriazis, N., Argyros, A.: Scalable 3D tracking of multiple interacting objects. In: Proceedings of IEEE CVPR, pp. 3430–3437, June 2014

[^15]: de La Gorce, M., Fleet, D., Paragios, N.: Model-based 3D hand pose estimation from monocular video. IEEE TPAMI 33(9), 1793–1805 (2011)

[^16]: Melax, S., Keselman, L., Orsten, S.: Dynamics based 3D skeletal hand tracking. In: Proceedings of GI, pp. 63–70 (2013)

[^17]: Oikonomidis, I., Kyriazis, N., Argyros, A.: Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In: Proceedings of IEEE ICCV, pp. 2088–2095 (2011)

[^18]: Oikonomidis, I., Kyriazis, N., Argyros, A.: Tracking the articulated motion of two strongly interacting hands. In: Proceedings of IEEE CVPR, pp. 1862–1869 (2012)

[^19]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Efficient model-based 3D tracking of hand articulations using kinect. In: Proceedings of BMVC, pp. 1–11 (2011)

20. Panteleris, P., Kyriazis, N., Argyros, A.A.：在未知物体交互中对人体手部的3D跟踪。载于：BMVC会议论文集（2015年）。<https://dx.doi.org/10.5244/C.29.123>

[^21]: Pham, T.H., Kheddar, A., Qammaz, A., Argyros, A.A.: Towards force sensing from vision: observing hand-object interactions to infer manipulation forces. In: Proceedings of IEEE CVPR (2015)

22. Plankers, R., Fua, P.：用于多视角形状与运动捕捉的铰接式软物体。IEEE TPAMI 25(9)，第1182–1187页（2003年）。<http://dx.doi.org/10.1109/TPAMI.2003.1227995>

[^23]: Qian, C., Sun, X., Wei, Y., Tang, X., Sun, J.: Realtime and robust hand tracking from depth. In: Proceedings of IEEE CVPR (2014)

[^24]: Romero, J., Kjellstrom, H., Kragic, D.: Hands in action: real-time 3D reconstruction of hands in interaction with objects. In: Proceedings of ICRA, pp. 458–463 (2010)

[^25]: Sharp, T., Keskin, C., Robertson, D., Taylor, J., Shotton, J., Kim, D., Rhemann, C., Leichter, I., Vinnikov, A., Wei, Y., Freedman, D., Kohli, P., Krupka, E., Fitzgibbon, A., Izadi, S.: Accurate, robust, and flexible real-time hand tracking. In: Proceedings of ACM CHI (2015)

26. Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A.：从单张深度图像中实时识别人体局部姿态。载于：IEEE CVPR会议论文集，第1297–1304页（2011年）。<http://dx.doi.org/10.1109/CVPR.2011.5995316>

27. Sridhar, S., Mueller, F., Oulasvirta, A., Theobalt, C.：利用检测引导的优化方法实现快速且稳健的手部跟踪。载于：IEEE CVPR会议论文集（2015年）。<http://handtracker.mpi-inf.mpg.de/projects/FastHandTracker/>

[^28]: Sridhar, S., Oulasvirta, A., Theobalt, C.: Interactive markerless articulated hand motion tracking using RGB and depth data. In: Proceedings of IEEE ICCV (2013)

## [^29]: Stenger, B., Mendonça, P.R., Cipolla, R.: Model-based 3D tracking of an articulated hand. In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001, vol. 2, pp. II-310. IEEE (2001)

---

[^30]: Stoll, C., Hasler, N., Gall, J., Seidel, H., Theobalt, C.: Fast articulated motion tracking using a sums of Gaussians body model. In: Proceedings of IEEE ICCV, pp. 951–958 (2011)

[^31]: Sun, X., Wei, Y., Liang, S., Tang, X., Sun, J.: Cascaded hand pose regression. In: Proceedings of IEEE CVPR (2015)

[^32]: Tagliasacchi, A., Schröder, M., Tkach, A., Bouaziz, S., Botsch, M., Pauly, M.: Robust articulated-ICP for real-time hand tracking. In: Computer Graphics Forum (Proceedings of SGP), vol. 34, no. 5 (2015)

33. Tang, D., Chang, H.J., Tejani, A., Kim, T.：潜在回归森林：3D铰接式手部姿态的结构化估计。载于：IEEE CVPR会议论文集，第3786–3793页（2014年）。<http://dx.doi.org/10.1109/CVPR.2014.490>

[^34]: Tang, D., Taylor, J., Kim, T.K.: Opening the black box: hierarchical sampling optimization for estimating human hand pose. In: Proceedings of IEEE ICCV (2015)

[^35]: Tejani, A., Tang, D., Kouskouridas, R., Kim, T.-K.: Latent-class hough forests for 3D object detection and pose estimation. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelears, T. (eds.) ECCV 2014. LNCS, vol. 8694, pp. 462–477. Springer, Heidelberg (2014). doi:10.1007/978-3-319-10599-4_30

[^36]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM TOG 33(5), 169:1–169:10 (2014)

[^37]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. IJCV 118, 172–193 (2016)

[^38]: Tzionas, D., Gall, J.: 3D object reconstruction from hand-object interactions. In: Proceedings of IEEE ICCV (2015)

[^39]: Tzionas, D., Srikantha, A., Aponte, P., Gall, J.: Capturing hand motion with an RGB-D sensor, fusing a generative model with salient points. In: Jiang, X., Hornegger, J., Koch, R. (eds.) GCPR 2014. LNCS, vol. 8753, pp. 277–289. Springer, Heidelberg (2014). doi:10.1007/978-3-319-11752-2_22

[^40]: Wang, R., Paris, S., Popović, J.: 6D hands: markerless hand-tracking for computer aided design. In: Proceedings of ACM UIST, pp. 549–558 (2011)

[^41]: Wang, Y., Min, J., Zhang, J., Liu, Y., Xu, F., Dai, Q., Chai, J.: Video-based hand manipulation capture through composite motion control. ACM TOG 32(4), 43:1–43:14 (2013)

[^42]: Wu, Y., Huang, T.: View-independent recognition of hand postures. In: Proceedings of IEEE CVPR, pp. 88–94 (2000)

[^43]: Xu, C., Cheng, L.: Efficient hand pose estimation from a single depth image. In: Proceedings of IEEE ICCV (2013)

[^44]: Ye, M., Yang, R.: Real-time simultaneous pose and shape estimation for articulated objects using a single depth camera. In: 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2353–2360, June 2014

[^45]: Zollhöfer, M., Nießner, M., Izadi, S., Rehmann, C., Zach, C., Fisher, M., Wu, C., Fitzgibbon, A., Loop, C., Theobalt, C., Stamminger, M.: Real-time non-rigid reconstruction using an RGB-D camera. ACM TOG 33(4), 156 (2014)