# 基于 Egocentric RGB-D 图像的 3D 手部姿态检测
Grégory Rogez $^{1,2}$(✉)、Maryam Khademi $^{1}$、J.S. Supančič III $^{1}$、J.M.M. Montiel $^{2}$ 以及 Deva Ramanan $^{1}$
$^{1}$ 美国加州大学欧文分校计算机科学系，{grogez,mkhademi,supanci,dramanan}@ics.uci.edu
$^{2}$ 西班牙萨拉戈萨大学阿拉贡工程研究所（i3A），西班牙萨拉戈萨
{grogez,josemari}@unizar.es
摘要：我们聚焦于从 Egocentric 视角进行手部姿态估计的任务。针对这一问题，我们证明深度传感器在提取佩戴者与其环境的近距离交互信息方面具有重要作用。尽管利用类 Kinect 传感器进行全身姿态估计的研究已取得进展，但在 RGB-D 图像中实现可靠的单目手部姿态估计仍是一个未解决的问题。当考虑到可穿戴传感器和第一人称相机视角时，问题会进一步恶化：特定相机视角导致的遮挡现象以及视野限制使得该问题更加棘手。我们提出在判别性检测框架中使用针对特定任务和视角的合成训练样本，同时利用深度特征来实现更稀疏且更快的检测。我们在真实标注数据集上评估了该方法，并提出了一种新颖的标注技术，即便在部分遮挡的情况下也能实现精确的 3D 手部标注。
关键词：Egocentric 视觉 · 手部姿态 · 多类分类器 · RGB-D 传感器
## 1 引言
近期大量研究探索了 Egocentric RGB 相机的各类应用，这部分得益于 Google Glass、Microsoft SenseCam 和 GoPro 相机等低成本移动传感器的普及。其中许多应用，比如生活记录 [^1]、医疗康复 [^2] 以及增强现实 [^3]，
---
都需要推断第一人称观察者与其环境的交互情况。为此，我们专门聚焦于从 Egocentric 视角进行手部姿态估计的任务。我们证明，从 Egocentric 深度相机中提取的基于深度的线索，对 Egocentric 手部姿态估计而言是极为有用的依据。
Real-world egocentric RGB-D video (test)
Synthetic egocentric RGB-D video (train)
Fig. 1. Testing (left) and training data (right). We show on the left hand side several examples of annotated training RGBD images captured with a chest-mounted Intel Creative camera. On the right, we present some examples of training images rendered using Poser.
人们或许认为深度数据就能“解决”这一问题，毕竟已有基于 Kinect 传感器的实时人体姿态估计系统 [^4]，以及针对 RGB-D 传感器的关节式手部姿态估计的前期研究 [^5] [^6] [^7]。近期的一些方法也试图利用类 Kinect 设备提供的 2.5D 数据来理解复杂场景，比如物体操控 [^6] 或两只手的交互 [^5]。但我们发现，在 Egocentric 场景下，关于可见性/遮挡以及手动跟踪器初始化的各种假设可能并不成立，这使得该问题依然颇具挑战性。
挑战：以往的大多数研究将手部姿态识别任务视为在RGB或RGBD序列中、经过手动初始化后的跟踪问题。我们希望能有一种全自动的方法来处理日常活动中的第一人称视角视频，但由于以下原因，这更具挑战性。首先，由于第一人称视角的视野有限，手部经常会移出相机视锥体，这使得依赖前一帧精确估计的跟踪模型难以发挥作用。其次，手指常常被手部（以及可能正在操控的其他物体）遮挡。
---
Fig. 2. System. (a) Chest-mounted RGB-D camera. (b) Synthetic egocentric hand exemplars are used to train a multi-class cascade classifier. The depth map is processed to select a sparse set of image locations (c) which are classified obtaining distributions over probable hand poses (d). An estimate is made e.g., by taking the max over these distributions (e).
在第一人称视角下，手部检测和关节姿态估计比典型的三人称视角更具挑战性（见图2）。
我们的方法：我们提出了一种成功用于手部姿态估计的方法，该方法基于以下关键发现。首先，受生物学证据的启发[^8]，我们发现深度线索对于近场、第一人称视角下的姿态估计而言是极其有用的信号。我们发现飞行时间相机能在近场工作区（距相机0-70厘米）提供良好的深度估计结果，且便于移动使用。其次，第一人称场景为手部姿态提供了强大的视角、形状和交互物体先验信息。我们通过构建基于网格的3D手部模型在与常见家用物品交互时的姿态视角参数模型，来实现这一先验的应用。随后我们从该模型中采样（结合关于视角和手部形状的第一人称先验），生成大量用于训练手部分类器的合成深度数据（见图2b）。第三，稀疏的判别性分类器使我们能够高效评估一大类特定姿态的分类器。我们分类的是全局姿态而非局部部位，这样能更好地处理自遮挡问题。我们的分类器可处理单帧图像，采用无需手动初始化的检测式跟踪框架（见图2c-e）。
评估：与人类姿态估计不同，目前尚无针对手部姿态估计的标准基准测试，尤其是在第一人称视频领域。我们认为可量化的性能对于医疗保健康复等诸多广泛应用而言至关重要。因此，为了评估我们的方法，我们收集并标注了包含完整3D手部姿态的专属基准数据集，这些数据来自真实的第一人称物体操控场景；我们计划发布该数据集以推动后续研究。收集标注有真实互动场景的手部数据集难度惊人；事实上，以往许多手部姿态估计研究都是基于合成数据来评估结果的。我们开发了一款半自动标注工具，能够利用真实世界的RGBD数据，精准标注部分遮挡的3D手部及手指信息。
---
我们将自己的方法与商业及学术界的手部姿态估计方法进行对比，结果表明我们的方法在手部检测和姿态估计方面均达到了最先进的水平。
## 2 相关工作
以自我为中心的手部/物体操控：虽然第三人称视角下的活动分析通常依赖于人体的全身姿态，但以自我为中心的活动往往由手部姿态以及佩戴摄像头者所交互的物体来定义。以往的研究探讨了从可穿戴摄像头中识别物体[^9] [^10]以及解读美国手语姿势[^11]的问题。大量研究也聚焦于利用可穿戴摄像头进行手部追踪[12–15]、手指追踪[^16]以及手眼追踪[^17]。通常，手部姿态估计是在物体主动操控过程中进行的[18–22]。这类既往研究的共同点在于均采用RGB传感器输入。部分受生物学证据的启发[^8]，我们发现深度线索能显著辅助此类近距离交互的处理。
基于深度的姿态估计：我们的技术方法深受Kinect系统[^4]的启发，该系统同样利用合成生成的深度图来进行关节姿态估计。我们的方法有所不同之处在于，我们构建的是用于分类整体姿态的分类器，而非局部特征点或部位。我们认为并验证了：从可穿戴设备的视角来看，关节手指存在大量遮挡现象，因此需要采用更全局化的处理方法，因为局部信息会因遮挡而变得模糊不清。正因如此，时间推理也显得尤为重要，因为可以利用动态特性来解决此类歧义问题。以往许多手部姿态估计研究都采用了这一思路[^7] [^23] [^24]。我们的方法与其他方法的不同之处在于，我们专注于单图像手部姿态估计，这样才能避免手动（重新）初始化操作。一个显著的例外是[^25]的最新研究，他们同样处理单图像，但侧重于第三人称视角。
以自我为中心的RGB-D技术：基于深度的可穿戴摄像头颇具吸引力，因为深度线索可用于更好地解析以自我为中心视角下产生的遮挡现象。令人惊讶的是，此前在此领域的研究寥寥无几，仅有少数针对特定应用的研究值得注意，比如为盲人设计的导航系统[^26]。我们认为其中一个限制因素可能是可穿戴技术对小型化器件的需求，而像Kinect这样的结构光传感器往往需要较大的基线距离。我们发现飞行时间深度相机是可穿戴深度传感的一个理想替代方案，因为它们无需较大的基线距离，因此能满足小型化的要求。
特征提取：许多基于RGB图像的方法依赖基于颜色的皮肤检测与分割。关于移动摄像头下的手部追踪示例可在[^27]或近期的研究[^17]中找到。早期基于RGB图像的手部姿态估计算法可见于[^28]。近期的研究则利用了类似Kinect的深度传感器[^25]。RGB相机与飞行时间（ToF）相机也已被
---
结合用于实时3D手势交互[^3]或近乎实时的精细手部姿态估计[^29]。
生成式模型与判别式模型：在手部姿态估计领域，基于生成式模型的方法历来更受欢迎[^30]。通常需采用精细的3D手部姿态模型来实现关节姿态跟踪[^5] [^31]以及精确的3D姿态估计[^32]。用于手部姿态估计的判别式方法[^7] [^24]往往需要大量训练样本，包括合成数据、真实数据或两者的结合[^7]。常见的学习形式包括提升分类器树[^33]、随机决策森林[^24]以及回归森林[^7]。我们描述了一种基于[^34]的判别式方法，该方法利用树结构多类级联模型来进行姿态估计与检测。我们特别扩展了[^34]的工作，使其能同时利用RGB和深度特征。
## 3 我们的方法
### 3.1 设备设置与选择
我们使用一款安装在胸前的飞行时间相机——英特尔Creative型号（见图2a），它特别适合短距离的手部与物体交互场景。
飞行时间技术与结构光技术对比：近期关于深度处理的研究大多以消费级的PrimeSense传感器为基础[^35]，该传感器采用结构光技术。其核心原理是基于双视图立体视觉（通过主动照明简化对应点估算过程）。这种方法可能需要较大的基线距离，而这对我们的以人眼为中心的应用而言并不理想，原因有二：其一，这会导致设备体积更大，从而降低便携性；其二，会造成场景中同时可见于两个视图内的点产生遮挡现象。相比之下，虽不那么普及的飞行时间深度传感技术则是通过脉冲光源实现，该光源可紧贴主摄像头放置，无需依赖基线距离。这不仅能减小设备体积，还能减少摄像头视野中的遮挡情况。具体而言，我们采用了Creative公司出品的消费级飞行时间传感器[^36]。
### 3.2 合成训练样本
我们将手部姿态表示为运动学骨骼的关节角度向量$\theta$。利用特定于手部的正运动学模型，可根据给定的$\theta$生成3D手部网格。除了手部姿态参数$\theta$外，还需指定一个相机向量$\phi$，用以确定观察点与位置。我们尝试了多种先验知识以及各种渲染工具包。
“悬浮”手部模型与全身角色模型：许多手部姿态估计研究都使用孤立的“悬浮”手部网格模型来生成合成训练数据。常用的软件包包括开源的libhand[^37]以及商业软件Poser[^38] [^39]。我们认为，对完整角色身体——尤其是整条手臂进行建模，能为手部姿态估计提供重要的上下文线索。为了生成以人眼为中心的数据，我们将虚拟相机安装在
---
虚拟全身角色的胸部，以此自然模拟我们的实际数据采集过程。为了生成不同身体与手部形状对应的数据，我们利用了Poser的角色库。
视角先验：为了给浮动的手部设定视角先验，我们简单地将方位角 $\phi_{az}$ 限制在 $180 \pm 30$ 之间（对应后方视角），仰角 $\phi_{el}$ 限制在 $-30$ 到 $10$ 之间（因为手部往往位于胸部支架下方），而倾斜角 $\phi_{b}$ 则限制在 $\pm 30$ 之间。我们通过分析各类收集到的数据（未用于测试）来确定这些范围。对于完整的角色模型，我们会生成虚拟胸部摄像头支架的微小扰动，以此模拟佩戴头戴式摄像头的个体之间的摄像头视角与身体差异。我们利用手臂的正向运动学来自然地将手部姿态限制在合理的视角范围内，这也是完整角色头戴式建模带来的另一项优势。
姿态先验：我们的手部模型包含26个关节角度 $\theta \in [0, 2\pi]^{26}$。要为如此高维度的空间指定先验十分困难。我们采用了一种非参数的数据驱动方法。首先，我们从一系列抓取动作捕捉数据 $\{\theta_i\}$ 中获取一组关节角度训练集 [^40]。接着，我们通过合成扰动来扩充这组核心姿态，并利用拒绝采样法剔除无效姿态。具体来说，我们首先通过给每个原始样本添加高斯噪声 $\theta_i + \epsilon$ 来生成候选样本，其中 $\epsilon \sim N(0, \sigma I)$ 满足 $\sigma \in R^{26}$。我们对 $\sigma$ 中的各个分量进行视觉检查。值得注意的是，我们还会对完整角色身体的整个手臂进行扰动，从而生成手部配置的自然（头戴式）视角变化。需要注意的是，为使抓取姿态合理，我们对手指采用较小的扰动。我们会剔除那些导致自相交或超出视野范围的样本。示例姿态如图2b所示。
交互物体：我们希望在自然、功能性的手部运动背景下探索头戴式手部姿态估计。这通常涉及与周围环境的互动以及对附近物体的操控。我们认为，生成此类上下文训练数据对提升测试时的准确率至关重要。然而，建模手部抓取空间以及可操控物体的世界本身便是一项艰巨的挑战。我们利用了EveryDayHands动画库 [^41]，该库包含50种典型的手部抓取方式与物体。这个工具包最初是作为计算机动画工具设计的，但我们发现该库涵盖了适用于头戴式识别的合理抓取与物体分类。物体包括不同尺寸的球体和圆柱体等常规形状，以及餐具、手机、杯子等各类日常用品。我们运用拒绝采样技术来生成更多有效的交互式物体-手部抓取配置，最终得到包含1万个合成头戴式手部-物体示例的数据集（示例见图1）。
### 3.3 分层级联（以往工作）
我们希望拥有一款能同时执行手部检测与姿态估计的手部姿态检测器。我们介绍了一种基于 [^34] 所提出的多类拒绝级联分类器的方法。我们在此回顾其基本框架，但具体细节请参阅……
---
Fig. 3. (left) Hierarchical cascade of parts. (right) Detection rates and processing time varying the number of random cascades in the ensemble vs an exponential number of cascades. The hierarchy shows the coarse to fine detection, showing only one part per branch for clarity. We show on the upper right that our new detector is equivalent to an infinite number of Random Cascades (RC) from [^34]. In the bottom right we show that the RC computational cost increases linearly with the number of cascades and that, when considering a very large number of cascades, our model is more efficient.
读者可参阅[^34]以获取更多细节。从宏观上看，物体检测与姿态估计均被视作K类分类问题，其中类别对应K种离散姿态或背景。这种$K+1$类分类器采用类似提升算法的机制进行训练：弱分类器即为“部件”分类器，它们基于扫描窗口坐标系下提取的局部HOG特征，通过线性SVM训练而成。多类分类策略往往需要大量训练数据，且测试时速度较慢，因为K值可能很大。[^34]提出了一种具备三项关键特性的方法来解决这些局限，下文将详细探讨。随后我们会介绍适用于本问题领域的各类改进措施。
由粗到细的共享机制：所有K个姿态类别共享同一组部件，这些部件通过层次化的由粗到细树结构进行组织。具体而言，采用层次化K均值算法将训练集中的姿态聚类为K个量化后的姿态类别，这些类别自然形成具有K个叶节点的层次化树结构。该树中的$i^{th}$节点代表一个粗略的姿态类别；其可视化效果如图3所示。给定图像
---
窗口x，针对粗略姿态类别i调整的二元分类器定义为：
$$ f_{i}(x)=\prod_{j\in ancestors(i)}h_{j}(x)\quad where\quad h_{j}(x)=\mathbf{1}_{[w_{j}^{T}x>b_{j}]} $$
其中节点i的祖先包含i，1为指示函数（取值为1或0）。每个二元“弱分类器”$h_j(x)$都是经过阈值处理的线性函数（由线性SVM训练得到），它作用于从x的子窗口中提取的局部HOG特征。据此我们可以将$w_j$理解为填充了零值的“部件”模板。树中位置较高的部件往往更具通用性，可被多个姿态类别共用；而靠近叶节点的较低层部件则能捕捉特定姿态的细节。
拒绝级联机制：测试时，上述层次化分类器可自然地以拒绝级联的形式实现，通过广度优先搜索遍历整棵树。这一点可通过将式(1)递归改写为$f_i(x) = f_p(x)h_i(x)$来直观理解，其中p为i的父节点。只有当$h_i(x)$的取值为1时，我们才需要评估节点i的后代。这意味着我们在评估区域x时能快速剔除姿态空间中的大部分内容，从而使测试时的扫描窗口评估过程相当高效。最后值得注意的一点是，给定图像区域中可能会有多个叶节点类别被激活，且各自对应不同的叶节点得分。我们通常将得分最高的姿态作为最终结果，但事实证明其他高得分假设同样有用（因为它们后续可通过追踪器等手段进一步优化）。
级联集成：为提高鲁棒性，我们希望对多个分类器的预测结果取平均值。[^34]描述了一种利用每个粗略姿态类别（节点）i对应的弱部件分类器池的方法：
$$ h_{i}(x)\in H_{i}\quad where\quad|H_{i}|=M,i\in N $$
通过为树中的每个节点i从其候选池$H_i$中选择一个弱分类器，便可构建一棵树。这种方式能够定义指数级数量的识别结果$M^N$，其中N为树中节点（粗略姿态类别）的数量，M为每个候选池的大小。实践中，[^34]发现，对少量随机选取的树的预测结果取平均值，能显著改善识别效果。
### 3.4 指数级集成的联合训练
在本节中，我们针对所研究的问题领域提出了几项对[^34]的改进。由于自遮挡导致的局部歧义性，我们预计单个部件模板的效果会相当有限；这反过来可能导致级联模型的过早拒绝。我们描述了用于联合训练弱分类器，并在规模呈指数级增大的级联集合上平均预测结果的修改方案。
顺序训练：值得注意的是，[^34]通过定义与其他弱分类器无关的正负训练集，独立学习弱分类器$(w_i, b_i)$。也就是说，属于节点（粗略姿态类别）i的所有训练图像被视作正样本，而其他姿态则被视作负样本。
---
相反，我们仅使用能通过到节点i为止的拒绝级联的训练样本。这样能更准确地模拟测试时的场景。这就要求分类器必须以顺序方式训练，采用从根节点到叶节点的类似粗到细（广度优先）的节点搜索策略。这意味着弱学习器是联合训练的，而非独立训练。
规模呈指数级增大的集合：Rogez等人[^34]会对数量较少（约上百个）的显式构建的树进行投票平均。我们现在描述一种简单的方法，用于精确计算对规模呈指数级增大的$M^N$集合的平均结果。通过对大规模集合取平均，我们能降低级联模型过早拒绝的概率。我们的思路是：通过缓存部分求和结果，就能隐式地对该集合进行求和（或取平均）。假设节点按广度优先顺序编号，其中节点1为根节点。与之前一样，我们将以广度优先、粗到细的方式遍历节点。现在我们应用所有$H_i$弱分类器，并记录触发响应的分类器数量$n_i$：
$$ t_{i}=t_{p}n_{i}\quad\mathrm{w h e r e}\quad p=\mathrm{p a r e n t}(i),\quad n_{i}=\sum_{h_{i}(x)\in H_{i}}h_{i}(x) $$
对于任意节点i，从根节点到节点i构成的部分层级结构中为节点i投票的比例由$\frac{t_i}{M^D(t)}$给出，其中$D(i)$是节点i的深度。由于篇幅有限，我们略去较为简单的证明过程。因此，叶节点i对应的比例就给出了最终的（精细尺度）姿态类别投票结果。值得注意的是，一旦到达某个没有弱分类器触发的内部节点$n_i = 0$，那么它的所有子节点必然会产生投票$t_i = 0$，这意味着无需再对它们进行评估。这种方式仍能保证高效的运行时搜索（见图3）。
特征：我们试验了两组额外的特征x。Rogez等人[^34]最初是基于RGB图像的定向梯度直方图来构建模型的（HOG-RGB）。我们也评估了深度图像上的定向梯度直方图（HOG-D）。虽然这类基于梯度的深度描述符并不常见，但可以证明它能捕捉法线方向的直方图（因为法线可由深度梯度的叉积计算得出）[^42]。对于深度数据，我们使用5×5的HOG块和16个有符号方向区间。
### 3.5 稀疏搜索
在RGB-D图像中有效解决以自我为中心的手部检测问题，可以利用两个假设：1）手部必须位于合理的深度范围内，即手部不可能出现在距离胸戴式摄像头比物理上更远的位置；2）手部往往具有固定的尺寸s。相较于传统的扫描窗口，这些假设能大幅缩小搜索范围，因为只需对“有效窗口”进行分类即可。首先会对深度图应用中值滤波$d(x, y)$。接着会剔除那些距离超过臂长（75厘米）的位置。假设使用焦距为f的标准针孔相机，那么在有效位置处手部的预期图像高度$(x, y)$可由$S_{map}(x, y) = \frac{s}{f} d(x, y)$计算得出。我们将模板分类器应用于搜索网格上的有效位置（x-y方向上以16像素为步长），以及由$S_{map}$给出的量化尺度，如图2c中的红点所示。
---
第三人称手部检测、第三人称指尖检测、以自我为中心的手部检测、以自我为中心的指尖检测
(a)
(b)
(c)
(d)
Fig. 4. Numerical results for 3rd-person (a-b) and egocentric (c-d) sequences. We compare our method (tuned for generic priors) to state-of-the-art techniques from industry (NITE2 [^43] and PXC [^36]) and academia (FORTH [^23]) in terms of (a) hand detection and (b) finger tips detection. We shade the 95% confidence interval obtained from the statistical bootstrap. We refer the reader to the main text for additional decription, but emphasize that (1) our method is competitive (or out-performs) prior art for detection and pose estimation and (2) pose estimation is considerably harder in egocentric views.
## 4 实验
数据集：我们收集并标注了包含完整3D手部姿态的原创基准数据集，涵盖真实的以自我为中心的物体操作场景，该数据集将被公开发布以促进后续研究$^{1}$。我们开发了一款半自动标注工具，能够精准标注3D场景下部分被遮挡的手部和手指。首先在图像中手动标注几个2D关节点，以此从训练集中选出最相近的合成样本；随后结合手动标注结果和选定的3D样本生成完整的手部姿态，再对该姿态进行手动微调，从而选出新的样本并生成新姿态。这一迭代过程会持续进行，直到得到可接受的标注结果。我们采集了4个序列，每个序列包含1000帧图像，每10帧会对RGB图像和深度图进行标注。数据集涉及2名受试者（男/女）以及4个不同的室内场景。建议读者查看补充材料中的视频。
评估：我们针对手部检测和姿态估计进行了多项评估。若候选检测结果与真实边界框的重叠程度（以交并比衡量）达到至少50%，则视为正确检测。我们使用关键点的2D-RMS重投影误差来评估姿态估计效果。不过，部分基线系统仅输出置信度较高的手指姿态；在此类情况下，我们以指尖检测准确率作为姿态估计的替代指标。为了进一步分析问题根源，我们将错误分为三类：检测失败、检测正确但视角有误、检测与视角均正确但关节姿态有误。具体而言，视角一致的检测是指
---
VP Detection (PR)
(a)
(b)
(c)
(d)
Fig. 5. Quantitative results for varying our priors evaluated with respect to (a) viewpoint-consistent hand detection (ROC curve), (b) 2D RMS error, (c) viewpoint-consistent detections and (d) 2D RMS error conditioned on viewpoint-consistent detections. Please see text for detailed description of our evaluation criteria and analysis. In general, egocentric-pose priors considerably improve performance, validating our egocentric-synthesis engine from Sec. 3.2. When tuned for N = 10 candidates per image, our system produces pose hypotheses that appear accurate enough to initialize a tracker.
所有2D关节点的RMS误差低于粗略阈值（10像素）的检测结果。条件性2D RMS误差指的是对检测良好（视角一致）的手部而言的重投影误差。最后，我们还会绘制准确率随每张图像中N个候选检测结果数量变化的关系图。当候选结果足够多时，准确率必然能达到100%；但我们证明，即便候选结果数量较少，也能获得较好的准确率（这些候选结果或许还能通过跟踪器重新排序）。
参数设置：我们训练的级联模型包含K=100个类别、6层层级结构，每个分支有M=3个弱分类器。每个类别我们合成100张训练图像。
第三人称视角与自我中心视角：我们首先评估我们的方法（采用通用先验训练）在第三人称和自我中心手部分析任务中的表现（见图4）。我们将其与工业界[^36] [^43]及学术界[^23]的先进技术进行比较。由于通用先验能够覆盖更宽泛的视角和姿态范围，我们在本次实验中用$K = 800$个类别来训练模型。我们仅展示该方法与PXC在自我中心场景下的结果，因为其他基线方法（FORTH和NITE2）属于追踪器，当手部频繁离开视野时，它们会在自我中心序列上出现严重失效。此外，由于部分基线方法仅报告置信度较高的手指位置，我们便以指尖检测作为姿态估计的替代指标。我们得出结论：（1）在自我中心场景下，手部姿态估计的难度显著更高；（2）我们的（基于通用先验的）姿态估计系统为后续分析提供了具备领先水平的基础。
姿态与视角先验：如图5所示，针对自我中心场景专门设计的姿态与视角先验，其性能优于图4中的通用先验。总体而言，视角先验能带来微小的性能提升，而姿态先验则能显著提升所有情况下的准确率。
---
仅需少量候选样本（$N = 10$），我们的最终系统就能在90%的测试帧中生成视角一致的检测结果，平均2D均方根误差仅为5像素。从定性角度来看，这一性能足以用来初始化追踪器。我们的结果表明，第3.2节所述的合成流程确实能准确建模自我中心场景中存在的视角与姿态先验。
(a)
(b)
Fig. 6. We evaluate performance when turning off particular aspects of out system, considering both (a) viewpoint-consistent detections (b) 2D RMS error conditioned on well-detected hands. When turning off our exponentially-large ensemble or synthetic training, we use the default of 100 independently-trained cascades as in [^34]. When turning off the depth feature, we use a classifier trained on aligned RGB images. Please see the text for further discussion of these results.
消融分析：为了进一步分析我们的系统，我们进行了消融实验，分别关闭系统的不同组件：顺序训练、级联集成、深度特征、稀疏搜索以及不同类型的先验（视角、姿态、物体）。手部检测结果与条件2D手部均方根误差如图6所示。就性能而言，视角先验、姿态先验、深度HOG特征以及我们新提出的顺序训练算法是关键因素。关闭这些参数会使检测率大幅下降（降幅在10%到30%之间）。对物体进行建模能得到更好的检测结果，尤其是在候选样本数量较多时。总体而言，我们发现这种额外的先验对于存在物体交互的测试帧帮助更大。
分类器设计：我们新提出的部件顺序训练方式，其性能比[^34]采用的独立训练方式高出10%-15%（见图6）。我们提出的指数级规模的级联集成与稀疏搜索虽然对准确率的提升有限，但效率却高得多：平均而言，指数级规模的级联集成比在100个元素的集成上进行显式搜索（如[^34]中所用）快2.5倍，而稀疏搜索的速度更是比密集网格搜索快3.15倍。
---
Reflective objects
Fig. 7. Good detections. We show a sample of challenging frames where the hand is correctly detected by our system. Reflective objects (top row: wine bottle, pan, phone, knife and plastic bottle) produce incorrect depth maps due to interactions with our sensor's infrared illuminant. Novel objects (middle row: envelope, juice box, book, apple, spray and chocolate powder box) require generalization to objects not synthesized at train-time, while noisy depth data (bottom row) showcases the robustness of our system.
因此，我们最终得到的分类器在准确性和速度方面均显著优于[^34]所采用的设计——后者默认使用100个随机训练的独立级联器，并在RGB特征的密集网格上进行评估。
定性结果：我们邀请读者观看我们的补充视频。图7展示了该方法在复杂场景中的成功应用实例，图8则分析了常见的失败模式。更多讨论请参见相关图表。
---
noisy depth reflective object (phone) novel object (keys) novel object (towel) truncated hand
Fig. 8. Hard cases. We show frames where the hand is not correctly detected by our system, even with 40 candidates. These hard cases include excessively-noisy depth data, hands manipulating reflective material (phone) or unseen/deformable objects that look considerably different from those in our training set (e.g. keys, towels), and truncated hands.
## 5 结论
我们专注于从以自我为中心的视角进行手部姿态估计的任务。针对这一问题，我们发现时间飞行深度传感器在提取佩戴者与其环境之间的近距离交互信息方面尤为有效。我们提出使用针对特定任务生成的合成训练样本，这些样本包含物体交互数据，并将其应用于判别性检测框架中。为了高效实现这一目标，我们利用简单的深度线索来进行快速检测。最后，我们基于一个新的以自我为中心场景的实世界标注数据集，对我们的算法性能进行了深入分析。
## 参考文献
[^1]: Hodges, S., Williams, L., Berry, E., Izadi, S., Srinivasan, J., Butler, A., Smyth, G., Kapur, N., Wood, K.: SenseCam: a retrospective memory aid. In: Dourish, P., Friday, A. (eds.) UbiComp 2006. LNCS, vol. 4206, pp. 177–193. Springer, Heidelberg (2006)
[^2]: Yang, R., Sarkar, S., Loeding, B.L.: Handling movement epenthesis and hand segmentation ambiguities in continuous sign language recognition using nested dynamic programming. PAMI 32(3), 462–477 (2010)
[^3]: den Bergh, M.V., Gool, L.J.V.: Combining rgb and tof cameras for real-time 3d hand gesture interaction. In: WACV, 66–72 (2011)
[^4]: Shotton, J., Fitzgibbon, A.W., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A.: Real-time human pose recognition in parts from single depth images. In: CVPR (2011)
[^5]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Tracking the articulated motion of two strongly interacting hands. In: CVPR (2012)
## [^6]: Romero, J., Kjellstrom, H., Ek, C.H., Kragic, D.: Non-parametric hand pose estimation with object context. Im. and Vision Comp. 31(8), 555–564 (2013)
---
[^7]: Tang, D., Kim, T.H.Y.T.K.: Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In: ICCV (2013)
[^8]: Sakata, H., Taira, M., Kusunoki, M., Murata, A., Tsutsui, K.I., Tanaka, Y., Shein, W.N., Miyashita, Y.: Neural representation of three-dimensional features of manipulation objects with stereopsis. Experimental Brain Research 128(1-2), 160–169 (1999)
[^9]: Fathi, A., Ren, X., Rehg, J.: Learning to recognize objects in egocentric activities. In: CVPR (2011)
[^10]: Pirsiavash, H., Ramanan, D.: Detecting activities of daily living in first-person camera views. In: CVPR (2012)
[^11]: Starner, T., Schiele, B., Pentland, A.: Visual contextual awareness in wearable computing. In: International Symposium on Wearable Computing (1998)
[^12]: Kurata, T., Kato, T., Kourogi, M., Jung, K., Endo, K.: A functionally-distributed hand tracking method for wearable visual interfaces and its applications. In: MVA, 84–89 (2002)
[^13]: Kölsch, M., Turk, M.: Hand tracking with flocks of features. In: CVPR (2), 1187 (2005)
[^14]: Kölsch, M.: An appearance-based prior for hand tracking. In: Blanc-Talon, J., Bone, D., Philips, W., Popescu, D., Scheunders, P. (eds.) ACIVS 2010, Part II. LNCS, vol. 6475, pp. 292–303. Springer, Heidelberg (2010)
[^15]: Morerio, P., Marcenario, L., Regazzoni, C.S.: Hand detection in first person vision. In: FUSION (2013)
[^16]: Dominguez, S., Keaton, T., Sayed, A.: A robust finger tracking method for multimodal wearable computer interfacing. IEEE Transactions on Multimedia 8(5), 956–972 (2006)
[^17]: Ryoo, M.S., Matthies, L.: First-person activity recognition: What are they doing to me?. In: CVPR (2013)
[^18]: Mayol, W., Davison, A., Tordoff, B., Molton, N., Murray, D.: Interaction between hand and wearable camera in 2d and 3d environments. In: BMVC (2004)
[^19]: Ren, X., Philipose, M.: Egocentric recognition of handled objects: Benchmark and analysis. In: IEEE Workshop on Egocentric Vision (2009)
[^20]: Damen, D., Gee, A.P., Mayol-Cuevas, W.W., Calway, A.: Egocentric real-time workspace monitoring using an RGB-D camera. In: IROS (2012)
[^21]: Ren, X., Gu, C.: Figure-ground segmentation improves handled object recognition in egocentric video. In: CVPR, pp. 3137–3144. IEEE (2010)
[^22]: Fathi, A., Farhadi, A., Rehg, J.: Understanding egocentric activities. In: ICCV (2011)
[^23]: Oikonomidis, I., Kyriazis, N., Argyros, A.: Efficient model-based 3d tracking of hand articulations using kinect. In: BMVC (2011)
[^24]: Keskin, C., Kıraç, F., Kara, Y.E., Akarun, L.: Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In: Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C. (eds.) ECCV 2012, Part VI. LNCS, vol. 7577, pp. 852–863. Springer, Heidelberg (2012)
[^25]: Xu, C., Cheng, L.: Efficient hand pose estimation from a single depth image. In: ICCV (2013)
[^26]: Mann, S., Huang, J., Janzen, R., Lo, R., Rampersad, V., Chen, A., Doha, T.: Blind navigation with a wearable range camera and vibrotactile helmet. In: ACM International Conf. on Multimedia. MM 2011 (2011)
## [^27]: Argyros, A.A., Lourakis, M.I.A.: Real-Time Tracking of Multiple Skin-Colored Objects with a Possibly Moving Camera. In: Pajdla, T., Matas, J.G. (eds.) ECCV 2004. LNCS, vol. 3023, pp. 368–379. Springer, Heidelberg (2004)
---
[^28]: Erol, A., Bebis, G., Nicolescu, M., Boyle, R.D., Twombly, X.: Vision-based hand pose estimation: A review. CVIU 108(1-2), 52–73 (2007)
[^29]: Sridhar, S., Oulasvirta, A., Theobalt, C.: Interactive markerless articulated hand motion tracking using RGB and depth data. In: ICCV (2013)
[^30]: Stenger, B., Thayananthan, A., Torr, P., Cipolla, R.: Model-based hand tracking using a hierarchical bayesian filter. PAMI 28(9), 1372–1384 (2006)
[^31]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In: ICCV (2011)
[^32]: de La Gorce, M., Fleet, D.J., Paragios, N.: Model-based 3d hand pose estimation from monocular video. IEEE PAMI 33(9), 1793–1805 (2011)
[^33]: Ong, E.J., Bowden, R.: A boosted classifier tree for hand shape detection. In: FGR (2004)
[^34]: Rogez, G., Rihan, J., Orrite, C., Torr, P.H.S.: Fast human pose detection using randomized hierarchical cascades of rejectors. IJCV 99(1), 25–52 (2012)
[^35]: Sense, P.: The primesensortmreference design 1.08. Prime Sense (2011)
[^36]: Intel: Perceptual computing sdk (2013)
[^37]: Šarić, M.: Libhand: A library for hand articulation Version 0.9 (2011)
38. SmithMicro: Poser10 (2010)
[^39]: Shakhnarovich, G., Viola, P., Darrell, T.: Fast pose estimation with parameter-sensitive hashing. In: 2003 Proceedings of the Ninth IEEE International Conference on Computer Vision, pp. 750–757. IEEE (2003)
[^40]: Romero, J., Feix, T., Kjellstrom, H., Kragic, D.: Spatio-temporal modeling of grasping actions. In: IROS (2010)
41. Daz3D: Every-hands姿态库 (2013)。
[^42]: Spinello, L., Arras, K.O.: People detection in rgb-d data. In: IROS (2011)
[^43]: PrimeSense: Nite2 middleware (2013)