# 利用Kinect实现基于模型的高效手部关节3D跟踪 lason Oikonomidis $^{1,2}$ Nikolaos Kyriazis $^{1,2}$ Antonis A. Argyros $^{1,2}$ $^{1}$计算视觉与机器人实验室，计算机科学研究所，FORTH $^{2}$ 希腊克里特大学计算机科学系 ## 摘要 我们针对从Kinect传感器获取的无标记视觉观测数据中恢复并跟踪人体手部的3D位置、朝向及全部关节这一问题，提出了一种创新解决方案。我们将此问题视为一个优化问题：寻找能使手部模型的假设实例的外观与3D结构同实际手部观测结果之间的差异最小化的模型参数。这一优化问题可通过粒子群优化（PSO）的变体有效求解。所提出的方法无需特殊标记物，也无需复杂的图像采集设备。由于是基于模型的方法，它能为手部关节跟踪问题提供连续的解。通过基于GPU的原型实现所进行的大量实验表明，该方法能够在近实时（15Hz）条件下实现精确且稳健的手部关节3D跟踪。 ## 1 引言 关节物体的3D跟踪是一个理论上颇具趣味且极具挑战性的问题。其中，人体手部的3D跟踪这一分支有着诸多应用场景[^1]、[^2]，包括但不限于人类活动识别、人机交互、理解人类抓握行为、机器人示教学习等。为了开发出高效且有效的解决方案，人们必须应对一系列复杂且相互关联的因素，比如问题的高维度特性、手部在颜色上的均匀性，以及手部活动时产生的严重自遮挡现象。为缓解部分此类问题，一些极为成功的方法会采用专门用于动作捕捉的硬件[^3]，或使用视觉标记物，如[^4]所示。遗憾的是，这类方法要么需要复杂且昂贵的硬件设置，要么会干扰观测场景，或者两者兼而有之。 已有不少尝试仅借助无标记的视觉数据来解决这一问题。现有方法可分为基于模型和基于外观两类。基于模型的方法能提供连续的解，但计算成本较高，且依赖于大量的视觉信息，这些信息通常由多摄像头系统提供。 --- ![Image](images/abbae6c7d013bcadef09dcdaa16662df169b6ee96a870728f265c612b04abdb3.jpg)
(a)
![Image](images/2389ffefeb10322f4a2c152c555437ffa7eaacd387a1423198aa27821754f2ab.jpg)
(b)
![Image](images/72f1c24de842d22ae27989e9eccaf6db8b045e60db67f9eb4fc17c3068d275e5.jpg)
(c)
![Image](images/4f3686d5e71c2ce3eb9643fba3613c97185e002d369663eb48534f065b6fd83b.jpg)
(d)
![Image](images/e91ebe1d069953c6ffdbe8e7653f817b1c890cdc002e9451ab111a4ea0805a29.jpg)
(e)
Figure 1: Graphical illustration of the proposed method. A Kinect RGB image (a) and the corresponding depth map (b). The hand is segmented (c) by jointly considering skin color and depth. The proposed method fits the employed hand model (d) to this observation recovering the hand articulation (e).
基于外观的方法计算成本和硬件复杂度要低得多，但它们能识别的手部姿态数量有限，通常仅对应于该方法的训练集。 在本文中，我们针对手部关节的3D跟踪问题提出了一种新颖的基于模型的方法。该问题被构建为一个优化问题，旨在最小化假设3D手部模型实例的3D结构与外观和实际视觉观测之间的差异。这些观测数据来自市售的Kinect传感器[☐]。优化过程采用了一种现有随机优化方法（粒子群优化算法——PSO）的变体。该过程中计算量最大的部分已被优化以在GPU上高效运行。大量实验结果表明，该方法能够在15Hz的频率下实现精确且稳健的跟踪。据我们所知，所提出的方法是首个同时满足以下条件的方案：(a) 能为手部关节的3D跟踪问题提供精确、连续的解决方案；(b) 无需复杂的硬件配置；(c) 仅依赖无标记视觉数据；(d) 对光照条件不敏感；(e) 能接近实时运行。 ### 1.1 相关工作 Moeslund等人[^12]对视觉人体运动捕捉与分析这一通用问题进行了全面综述。人体和手部姿态恢复问题具有诸多相似之处，比如关节部分的树状连接关系以及尺寸可变性。目前已提出多种用于捕捉手部运动的方法。Erol等人[^1]对这些方法进行了综述。根据输出结果的完整性，他们将这类方法分为部分姿态估计方法和完整姿态估计方法，后者又进一步划分为基于外观的方法和基于模型的方法。 基于外观的方法通常会建立一组图像特征到有限离散的手部模型配置之间的映射[^6] [^7] [^7] [^7]。这类方法的区分能力取决于所用特征的不变性属性、待识别姿态的数量与多样性，以及用于生成映射的方法。由于其自身特性，基于外观的方法非常适合手部姿态识别这类需要识别少量已知目标手部配置的问题。相反，对于需要精确估计自由活动手部姿态的问题，这类方法则不太适用。此外，这类方法只有通过充分训练才能实现泛化。值得肯定的是，训练过程是离线进行的，而在线执行通常具有较高的计算效率。 --- 该操作在离线状态下执行，且在线执行通常具有较高的计算效率。 基于模型的方法[^6] [^7] [^8] [^9] [^10]会生成模型假设，并根据现有的视觉观测结果对其进行评估。本质上，这一过程是通过构建一个优化问题来实现的，该问题的目标函数用于衡量模型假设所预期的视觉线索与实际观测到的视觉线索之间的差异。所采用的优化方法必须能够在多维模型参数空间的任意点评估目标函数；因此，与基于外观的方法不同，这类方法的大部分计算需要在在线状态下完成。由此产生的计算复杂度是这类方法的主要缺点。值得肯定的是，这类方法无需训练，且更易于扩展。 另一种分类方式可以基于关于关节物体各个刚性部件的部分证据对最终解决方案的贡献来界定。我们将这类方法分为两类：一类是离散证据方法，它们在将各个部件与观测结果进行对比评估之前，会单独考虑这些部件 [^0] [^13] [^22] [^24]；另一类是联合证据方法 [^1] [^6] [^13] [^17] [^13] [^21] [^23] [^27]，这类方法会在完整物体假设的框架下考虑所有部件。通常来说，离散证据方法的计算需求低于联合证据方法，但必须专门应对部件间相互作用（如碰撞和遮挡）这一棘手问题。而在联合证据方法中，部件间的相互作用能够轻松得到处理，不过其计算需求相当高。直到最近，现有的联合证据方法还都是基于外观的。例如，Shotton等人在 [^2] 中提出了一种基于外观的离散证据方法，用于人体姿态估计，该方法在计算性能方面表现优异。 本文提出了一种基于模型的方法，将三维手部姿态恢复视为一个最小化问题：其目标函数是假设的三维手部模型实例的三维结构与外观，同人类手部的视觉观测结果之间的差异。观测数据来自市售的Kinect传感器。优化过程通过针对该特定问题定制的PSO变体来完成。过去，其他版本的PSO已被用于人体姿态跟踪 [^8] 以及基于多摄像头的手部姿态估计 [^13]。 根据[☐]的分类体系，本研究是一种采用单一假设的完整的、基于模型的姿态估计方法。此外，按照前文提出的分类方式，它属于联合证据方法。从方法论角度来看，最相关的现有方法是[☐]，该方法将三维手部姿态估计问题视为一个可通过标准PSO求解的优化问题。不过，[☐]中的观测数据是来自多摄像头系统提取的手部二维轮廓。在本研究中，观测数据是由Kinect传感器提供的RGB加深度图像。直接的结果是，目标函数有所不同，计算需求大幅降低，所需的摄像头设置也大大简化，且该系统能够在光照条件变化较大的场景下正常运行。 另一项密切相关的工作是Hamer等人的研究 [^1]。在这两项研究中，输入数据均为距离数据，且都采用了基于模型的方法。Hamer使用的是信念传播算法，该算法特别适用于参数间存在特定依赖关系的情况：依赖图必须是树状结构。由于手指之间通常会相互交互（遮挡或接触），因此需要对这种交互进行特殊且显式的处理。在我们的研究中，由于采用了联合证据方法，自遮挡问题能够自然且轻松地得到解决。 --- ## 2 基于Kinect的手部关节追踪 所提出方法的输入（见图1）是使用Kinect传感器获取的图像及其对应的深度图。通过肤色检测与深度分割，可在二维和三维空间中分离出手部区域。所采用的三维手部模型由一组经过适当组装的几何图元构成。每种手部姿态均用包含27个参数的向量来表示。手部关节跟踪被表述为估计这27个手部模型参数的问题，这些参数需能最小化手部假设与实际观测结果之间的差异。为了量化这种差异，我们运用图形渲染技术，针对某一手部姿态假设生成可比较的肤色图和深度图。据此构建合适的目标函数，并采用一种改进的粒子群优化算法来搜寻最优的手部配置。该优化过程的结果即为该方法针对给定帧的输出。利用时间连续性，可在一系列帧中追踪手部关节的运动。本节其余部分将更详细地描述这些算法步骤。 ### 2.1 手部观测 该方法的输入是一张表示手部的$640 \times 480$ RGB彩色图像以及相应的深度图像，这些数据由Kinect传感器提供[☐]。肤色检测方式如[☐]所述，随后保留其中最大的肤色区域以供后续处理。通过用一个半径为$r = 5$的圆形掩模对该区域进行膨胀，可保守地估算出手部的空间范围。根据上一帧中已追踪到的手部的三维位置，仅保留与该位置距离在预设深度范围（25厘米）内的肤色三维点，其余深度图像素则被置零。用于后续处理的观测模型$O = (o_s, o_d)$由分割出的肤色区域的二维图$o_s$及对应的深度图$o_d$组成。 ### 2.2 手部建模 所采用的手部模型包含手掌和五根手指。手掌被建模为椭圆柱，两端各用一个椭球体作为封盖。每根手指由三个圆锥和四个球体构成，而拇指则由一个椭球体、两个圆锥和三个球体构成。与[^15]类似，我们利用球体和圆柱这两种基本的三维几何图元来构建手部所需的所有几何图元，从而实现高度的计算并行性（详见第2.5节）。图1(d)展示了该手部模型，图中不同颜色的几何图元分别代表：黄色——椭圆柱；红色——椭球体；绿色——球体；蓝色——圆锥。 每根手指的运动学特性通过四个参数来编码，其中两个参数描述手指基部的角度，另外两个描述其余关节的角度。每个参数的取值范围是根据解剖学研究结果设定的[☐]。手部的全局位置由手掌上的一个固定点来表示，而全局方向则采用四元数的冗余表示方法来进行参数化。这种参数化方式最终形成了包含27个参数的26自由度手部模型。 ### 2.3 手部假设的评估 有了参数化的三维手部模型后，目标便是估计出与视觉观测结果（见第2.1节）最匹配 model参数。为此，给定一个手部姿态： --- 根据假设h和相机校准信息C，通过渲染生成深度图$r_d(h,C)$。将该图与相应的观测值$o_d$进行比较，便可得到“匹配深度”的二值图$r_m(h,C)$。具体而言，如果$r_m$和$o_d$中对应的深度差小于预设值$r_d$，或者该处没有观测数据（在$d_m$中用$0$表示），则$o_d$中的对应像素值设为1；否则设为0。该图会与观测值$o_s$进行对比，这样那些颜色为肤色但深度观测值不兼容的像素就不会对总得分产生正面贡献（参见第2.3节，公式(2)）。 我们确定了手部姿态假设h与观测图O之间的距离度量方式。这是通过函数$E(h, O)$来实现的，该函数用于衡量给定帧中观测到的肤色图和深度图O，与针对某一手部姿态假设h所渲染出的肤色图和深度图之间的差异。 $$ E(h,O)=D(O,h,\mathbf{C})+\lambda_{k}\cdot k c(h). $$ 在公式(1)中，$\lambda_{k}$是一个归一化因子。公式(1)中的函数D定义为： $$ D(O,h,C)=\frac{\sum min(|o_{d}-r_{d}|,d_{M})}{\sum(o_{s}\lor r_{m})+\varepsilon}+\lambda\left(1-\frac{2\sum(o_{s}\land r_{m})}{\sum(o_{s}\land r_{m})+\sum(o_{s}\lor r_{m})}\right). $$ 公式(2)的第一项用于描述观测值O与假设h之间经过限幅处理后的深度差的绝对值。如果不将深度差限幅在最大深度$d_{M}$以内，那么少数较大的深度差异就会严重拖累原本合理的拟合效果。这一情况会导致目标函数值在最优解附近出现较大波动，进而妨碍所采用的优化策略的性能。为了避免分母为零的情况，该项分母中会加上一个小数值$\varepsilon$。公式(2)的第二项用于描述模型中肤色像素与观测值之间的差异。$\lambda$是一个恒定的归一化因子。这些求和运算是在整个特征图上进行的。 公式(1)中的函数kc会对运动学上不合理的手部构型施加惩罚。我们曾为kc设计了一套复杂的碰撞检测机制，该机制会考虑所有可能发生相对运动的手部部件组合。实验结果表明，在大多数情况下，只需对相邻手指的相互穿透现象进行惩罚即可。因此，在当前实现中：$kc(h) = \sum_{p \in Q} -\min(\phi(p,h), 0)$，其中Q代表除拇指外的三对相邻手指，$\phi$表示假设h中这些手指的外展-内收角度之差（单位为弧度）。在所有实验中，$\lambda$被设为20，$\lambda_k$被设为10。深度阈值被分别设为$d_m = 1$厘米与$d_M = 4$厘米。 ### 2.4 基于粒子群的随机优化 粒子群优化算法（PSO）由Kennedy和Eberhart于[^1]年提出。PSO是一种随机性的进化算法，它通过种群中粒子的演化来优化目标函数。种群本质上是一组位于待优化目标函数参数空间中的粒子。这些粒子按照模拟“社会互动”的规则，在被称为代次的运行中进行演化。 每个粒子将其当前位置（当前的候选解及保留的历史记录）存储在向量$x_k$中，将其当前速度存储在向量$\nu_k$中。向量$P_k$用于存储到当前第k代为止，每个粒子所达到的目标函数最优值对应的位置。最后，整个粒子群会将粒子群中所有粒子所遇到的最优位置存储在向量$G_k$中。$G_k$会被广播给整个粒子群，这样每个粒子都能知晓这一最优位置。 --- 全局最优解。每一代k中用于重新估计每个粒子速度和位置的更新公式如下： $$ v_{k+1}=w(v_{k}+c_{1}r_{1}(P_{k}-x_{k})+c_{2}r_{2}(G_{k}-x_{k})) $$ 以及 $$ x_{k+1}=x_{k}+\nu_{k+1}, $$ 其中w是一个常数收缩因子[ℒ]。在公式(3)中，$c_1$被称为认知分量，$c_2$被称为社会分量，而$r_1, r_2$则是取值范围为[0..1]的均匀分布的随机样本。最后，必须满足$c_1 + c_2 > 4$[ℒ]。在所有实验中，均采用数值$c_1 = 2.8, c_2 = 1.3$和$w = 2 / \left|2 - \psi - \sqrt{\psi^2 - 4\psi}\right|$，且$\psi = c_1 + c_2$。 通常，粒子被初始化为随机位置且速度为零。多维参数空间的每个维度都限定在某个范围内。如果在位置更新过程中，某个速度分量导致粒子移动到限定搜索空间之外的点，就需要采取相应的处理策略。相关文献中提出了多种替代策略[^8]。我们的实现中选择了“最近点”方法。根据该方法，如果某个粒子的速度使其移动到参数空间边界之外的点$p_o$，那么该粒子就会移动到边界内能使距离$p_b$最小的点$|p_o - p_b|$处。 在本研究中，粒子群优化算法在27维的3D手部姿态参数空间中运行。需要优化的目标函数（即最小化函数）为$E(O,h)$（公式1），种群则是一组针对单帧图像假设的候选3D手部姿态。因此，追踪人手的过程需要依次求解一系列优化问题，每获取一帧图像便求解一个优化问题。利用时间连续性，第$F_t$帧的解会被用来生成第$F_{t+1}$帧优化问题的初始种群。更具体地说，第$h_{ref}$帧种群中的第一个成员$F_{t+1}$就是第$F_t$帧的解；种群的其余部分则由对$h_{ref}$的扰动构成。这些扰动的方差是通过实验确定的，因为它取决于所观测运动的不连贯程度以及图像采集帧率。第$F_{t+1}$帧的优化过程会进行固定代数的迭代。所有代数迭代结束后，最优假设$h_{best}$便被认定为时间步长$t+1$下的解。 上述描述的PSO变体能够成功估计手的6D全局姿态。然而，对于与手指角度相关的其余20个参数的估计效果并不理想。群体会迅速收敛到接近最优解的位置，这种现象在相关文献[☐]中被称为“群体坍塌”。不过，手指参数的估计常常会陷入局部最小值。为了克服这一问题并提高精度，我们采用了一种PSO变体，该变体会对对应手指关节角度的20个维度进行随机化处理，这一做法与[☐]中的建议类似。更具体地说，每$i_r$代，就会对一半的粒子进行扰动，每个粒子被扰动的手指关节维度各不相同，且为随机选取的$d_r$。赋给$x_t[d_r]$的值是在$d_r$允许范围内的均匀分布样本。在所有实验中，$i_r$的值均设为3代。 ### 2.5 GPU加速 所提出方法中最耗费计算资源的部分是假设-观测差异$E(h, O)$的计算，尤其是其中的项D。其计算过程如下： --- ![Image](images/763ab76e7728a51ee697071bf669b6a58ba38d7e956e3a835540af838efe2a44.jpg)
(a)
![Image](images/bda94521180105be5f9e0435a8ddab8ea45f70fcf6b9dda3c2532ad5b433f99e.jpg)
(b)
![Image](images/83b88464f5cd83643ea6a4a8360134154f7d066cd1809931eab89428543f463c.jpg)
(c)
![Image](images/18aced51c3d422736c6a2c599675ba86a5d16e4f1caad7e60763b08dd28a211f.jpg)
(d)
Figure 2: Quantitative evaluation of the performance of the method with respect to (a) the PSO parameters (b) the distance from the sensor (c) noise and (d) viewpoint variation.
D的计算涉及渲染、观测图与假设图之间的逐像素运算以及结果的求和。我们利用这种计算固有的并行性，在GPU上执行这些操作。此外，通过同时针对多个假设$h_{i}$（即PSO一代中的所有粒子）计算函数D，我们减少了CPU与GPU之间的通信开销。为了加速渲染过程，我们采用了硬件实例化技术，利用手模型由同一两种基本几何体（圆柱体和球体）变换而成这一特点。地图间的逐像素运算本身具有并行性，而地图求和则可通过金字塔结构高效完成。关于GPU实现的更多细节详见[L]。 ## 3 实验评估 对所提出方法的实验评估基于带有真实值信息的合成数据，以及通过Kinect传感器获取的真实世界序列。该方法运行在一台配备四核Intel i7 950 CPU、6 GB RAM以及Nvidia GTX 580 GPU（处理能力达1581 GFlops，内存为1.5 GB）的计算机上。在该系统上，平均帧率为15Hz。如[^2]中所讨论的，性能仍有提升空间。 合成数据被用于对所提出方法进行定量评估。这是相关文献中常用的方法[^1] [^5]，因为很难获取真实世界图像序列的真实值数据。所使用的合成序列包含360个连续的手部姿态，涵盖了从简单的挥手动作到复杂的物体抓取动作等日常手部运动。我们通过渲染来合成每个手部姿态所需的输入O。为了量化手部姿态估计的精度，我们采用了[^1]中使用的指标。 --- 更具体地说，我们会测量真实值中对应的指骨端点与估计出的手模型中指骨端点之间的距离。该序列所有帧中这些距离的平均值便构成了最终的误差估计值$\Delta$。 我们开展了多项实验，以评估各种因素对该方法性能的影响。图2(a)展示了该方法在PSO参数（迭代代数和每代粒子数）下的表现。这些参数的乘积决定了所提方法的计算量，因为它反映了目标函数的评估次数。图中的横轴表示PSO迭代代数，图中每条曲线对应不同的每代粒子数。每条曲线上的每个点均代表在给定参数下重复进行20次实验时误差$M_d$的中位数$\Delta$。首先可以观察到，随着迭代代数的增加，$M_d$呈单调递减趋势。此外，每代粒子数越多，最终产生的误差就越小。不过，当迭代代数超过25代且粒子数超过64个时，该方法精度的提升便微乎其微；即便有提升，也最多仅为0.5毫米。因此，在后续所有实验中均采用64个粒子、25代的配置。 另一项研究探讨了手部与假设传感器之间距离变化所产生的影响。这一探索旨在验证该方法在不同应用场景中的实用性——这些场景需要以不同尺度观测特定场景（例如，手部的特写视图与人及其周围环境的远景视图）。为此，我们生成了不同平均深度下的相同合成序列。该实验的结果如图2(b)所示。在半米距离处，误差为5毫米；随着距离增加，误差也会增大；但有趣的是，即便在2.5米的平均距离下，误差也不会超过7.5毫米。 我们还评估了该方法对含噪观测数据的容忍度。研究中考虑了两种类型的噪声：深度估计误差被建模为以实际深度值为中心、方差用于控制噪声程度的高斯分布；肤色分割误差的处理方式与[^13]类似，即随机翻转合成皮肤掩码中一定比例像素的标签（皮肤/非皮肤）。图2(c)绘制了不同深度及皮肤分割误差水平下该方法在手部姿态估计中的误差。可以看出，即便在数据严重受噪声污染的情况下，手部姿态恢复误差也被限制在[5毫米, 25毫米]范围内。 我们还评估了视角变化对手部姿态估计精度的影响。具体做法是将虚拟摄像机放置在围绕假设场景设置的半球表面的8个不同位置上。图2(d)中的数据点表明，视角变化并不会显著影响该方法的性能。 我们使用OpenNI的PrimeSense传感器模块采集了多组较长的真实世界图像序列[☐]。这些序列包含了手部挥动、手掌旋转、复杂的手指动作以及类似抓握的手部运动。论文附带的补充材料$^{1}$中提供了两组此类序列（分别包含1341帧和1494帧）的实验结果视频。图3展示了具有代表性的快照。可以看出，尽管手部动作复杂且存在明显的自遮挡现象，但估计出的手部模型仍与图像数据高度吻合。 最后，除了跟踪功能外，我们还测试了所提方法执行自动手部模型初始化的能力，也就是单帧手部姿态估计。本质上，这取决于粒子群优化算法在参数范围极广的情况下优化既定目标函数的能力。 --- ![Image](images/e76edbca907cce328413a0cd765b42c2b61ad3872cfdce96fb3f822461599b60.jpg)
Figure 3: Indicative results on real-world data.
![Image](images/4cffe6a80c01380d925bd20c050e6f3ab828140b295782f884462de7c73b344f.jpg)
Figure 4: Performance of single-frame hand pose estimation.
为了验证这一点，我们多次运行所提算法，每次都在靠近观测到的手部（最大的肤色区域）的不同位置和方向上初始化。该过程中得分最高的假设结果被保留为恢复后的姿态。为了评估该方法，我们从真实场景序列中按固定间隔选取了45帧图像，每帧图像上的手部姿态识别过程均重复进行20次。为了定量评估手部姿态识别的准确度，我们以整段序列中跟踪手部关节时得到的手部模型参数作为参考。图4展示了所有实验的估计误差直方图$M_d$（共$20 \times 45$次实验）。可以看出，其中74%的实验中，估计出的姿态与跟踪得到的姿态偏差不超过4厘米。约8厘米处的次要直方图峰值对应一些模糊的姿态，这类情况下有时会估计出镜像姿态。 ## 4 讨论 我们提出了一种基于模型的新方法，利用Kinect传感器采集的数据实现高效的全自由度手部模型初始化与跟踪。(a)对问题的精细建模、(b)强大的优化方法、(c)现代GPU的利用以及(d)Kinect传感器提供的优质数据，这些因素共同促成了一种用于跟踪复杂关节运动下手部全姿态的稳健且高效的方法。大量实验结果表明，15Hz频率下即可实现准确且稳健的3D手部跟踪。因此， --- 基于模型的关节证据跟踪在接近实时的场景下是可行的。需要重点指出的是，并无固有限制阻碍所提方法应用于其他类型的深度图像，例如由标准密集立体重建方法生成的深度图像。 ## 致谢 本研究部分得到了IST-FP7-IP-215821项目GRASP的支持。我们衷心感谢CVRL/FORTH成员Konstantinos Tzevanidis和Pashalis Padeleris的贡献。 ## 参考文献 [^1]: Irene Albrecht, Jörg Haber, and Hans-Peter Seidel. Construction and Animation of Anatomically Based Human Hand Models. In Eurographics symposium on Computer animation, page 109. Eurographics Association, 2003. [^2]: Antonis A. Argyros and Manolis Lourakis. Real-time Tracking of Multiple Sk-colored Objects with a Possibly Moving Camera. pages 368–379. Springer, 2004. [^3]: Vassilis Athitsos and Stan Sclaroff. Estimating 3D Hand Pose From a Cluttered Image. CVPR, pages II–432–9, 2003. [^4]: Maurice Clerc and James Kennedy. The Particle Swarm - Explosion, Stability, and Convergence in a Multidimensional Complex Space. Transactions on Evolutionary Computation, 6(1):58–73, 2002. [^5]: Martin De La Gorce, Nikos Paragios, and David J. Fleet. Model-based Hand Tracking With Texture, Shading and Self-occlusions. CVPR, (June):1–8, June 2008. [^6]: Ali Erol, George Bebis, Mircea Nicolescu, Richard D. Boyle, and Xander Twombly. Vision-based Hand Pose Estimation: A review. Computer Vision and Image Understanding, 108(1-2):52–73, 2007. [^7]: Henning Hamer, Konrad Schindler, E. Koller-Meier, and Luc Van Gool. Tracking a Hand Manipulating an Object. In ICCV, 2009. [^8]: Sabine Helwig and Rolf Wanka. Particle Swarm Optimization in High-Dimensional Bounded Search Spaces. In Swarm Intelligence Symposium, pages 198–205. IEEE, 2007. [^9]: Vijay John, Spela Ivekovic, and Emanuele Trucco. Articulated Human Motion Tracking with HPSO. International Conference on Computer Vision Theory and Applications, 2009. [^10]: James Kennedy and Russ Eberhart. Particle Swarm Optimization. In International Conference on Neural Networks, volume 4, pages 1942–1948. IEEE, January 1995. ## [^11]: James Kennedy, Russ Eberhart, and Shi Yuhui. Swarm intelligence. Morgan Kaufmann, 2001 --- [^12]: Nikolaos Kyriazis, Iason Oikonomidis, and Antonis A. Argyros. A GPU-powered Computational Framework for Efficient 3D Model-based Vision. Technical Report TR420, ICS-FORTH, July 2011. [^13]: Microsoft Corp. Redmond WA. Kinect for Xbox 360. [^14]: Thomas B Moeslund, Adrian Hilton, and Volker Kru. A Survey of Advances in Vision-based Human Motion Capture and Analysis. Computer Vision and Image Understanding, 104:90–126, 2006. [^15]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Markerless and Efficient 26-DOF Hand Pose Recovery. ACCV, pages 744–757, 2010. [^16]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Full DOF Tracking of a Hand Interacting with an Object by Modeling Occlusions and Physical Constraints. In ICCV, 2011. To appear. [^17]: OpenNI. PrimeSense Sensor Module, 2011. URL . [^18]: James M. Rehg and Takeo Kanade. Model-based tracking of self-occluding articulated objects. In ICCV, pages 612–617. IEEE, 1995. [^19]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Monocular Real-time 3D Articulated Hand Pose Estimation. International Conference on Humanoid Robots, pages 87–92, December 2009. [^20]: R. Rosales, Vassilis Athitsos, L. Sigal, and Stan Sclaroff. 3D Hand Pose Reconstruction Using Specialized Mappings. ICCV, pages 378–385, 2001. [^21]: Mark Schneider and Charles Stevens. Development and Testing of a New Magnetic-tracking Device for Image Guidance. SPIE Medical Imaging, pages 65090I–65090I–11, 2007. [^22]: Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, and Andrew Blake. Real-Time Human Pose Recognition in Parts from Single Depth Images. CVPR, 2011. [^23]: Björn Stenger, P.R.S. Mendonça, and Roberto Cipolla. Model-based 3D Tracking of an Articulated Hand. CVPR, pages II–310–II–315, 2001. [^24]: Erik B. Sudderth, Michael I. Mandel, William T. Freeman, and Alan S. Willsky. Visual Hand Tracking Using Nonparametric Belief Propagation. In CVPR Workshop, pages 189–189, 2004. [^25]: Robert Y. Wang and Jovan Popović. Real-time Hand-tracking With a Color Glove. ACM Transactions on Graphics, 28(3):1, July 2009. [^26]: Ying Wu and Thomas S. Huang. View-independent Recognition of Hand Postures. In CVPR, volume 2, pages 88–94. IEEE Comput. Soc, 2000. [^27]: Toshiyuki Yasuda, Kazuhiro Ohkura, and Yoshiyuki Matsumura. Extended PSO with Partial Randomization for Large Scale Multimodal Problems. In World Automation Congress, number 1, pages 1–6. IEEE, April 2010.