# 通过建模遮挡和物理约束实现手与物体交互时的全自由度手部跟踪
伊阿宋·奥伊科诺米迪斯、尼科劳斯·基里亚齐斯、安东尼斯·A·阿尔吉罗斯
希腊克里特大学计算机科学系及FORTH计算机科学研究所
希腊克里特岛伊拉克利翁
{oikonom.kvriazis.argvros}@ics.forth.gr
## 摘要
由于存在遮挡现象，估计手与物体交互时的完整姿态，比单独观察手部时的姿态恢复要困难得多。在本研究中，我们构建了一个优化问题，其求解结果即为包含26个自由度的手部姿态，以及被操纵物体的姿态和模型参数。该优化过程旨在找到一种手-物联合模型，该模型能够：(a) 最好地解释因手-物交互产生的遮挡所导致的观测信息不完整问题；(b) 在物理上具备合理性，即手部不会与物体占据同一物理空间。所提出的方法是首个仅基于无标记多摄像头输入，就能高效解决连续、全自由度手-物联合跟踪问题的算法。此外，它也是首个证明手-物交互可被用作辅助手部姿态估计的上下文信息，而非被视为干扰因素的研究。通过模拟和真实图像序列开展的大量定量与定性实验，以及与现有孤立手部姿态估计方法的对比评估，均支持了上述结论。
### 1. 引言
从无标记的视觉观测中估计手部的完整姿态，是一个在诸多应用中都具有重要意义的问题，这些应用包括但不限于抓取与操作的视觉感知、手语理解、人机交互等。众所周知，该问题的有效解决面临诸多连锁难题，比如问题的维度较高、场景杂乱和遮挡导致的观测信息不完整且含糊不清，以及对实时精确估计的要求等。
手与物体交互过程中的全自由度手部姿态恢复是一个更有趣但也更具挑战性的问题，
Figure 1. Top row, and bottom left: Three views of a hand grasping an object. Skin regions appear in red and edges in black. The hand is partially occluded by the object in all views. The incomplete skin and edge maps of the hand facilitate the generation of a hypothesis for a hand manipulating a compact sphere. At the same time, given this hypothesis, the 3D pose of the hand can be estimated more accurately. Bottom right: the output of the proposed approach superimposed in one of the frames.
原因在于由此产生的手-物遮挡现象。常见的做法是把物体视为一种“干扰源”，不过它仍会留下足以用于手部姿态估计的部分线索。与之相反，我们的目标是将被操纵的物体视为提供有用约束的条件。
在本研究中，我们假设手-物交互过程是由多摄像头系统观测到的。在获取的每一帧视图中，边缘图和肤色图构成了反映物体在该视角下存在的二维线索；物体的存在会遮挡正在运动的手部（见图1）。这种对手部的不完整观测，为判断被操纵物体的类型和姿态提供了重要依据。反之，将缺失的手部观测信息（肤色、边缘）归因于存在被操纵的物体，就能更精确地估计部分可见手部的姿态。另一类有用的约束源自自然世界的特性，即手部和物体无法占据同一物理空间。
---
空间。因此，物体的三维形状和姿态为手部运动提供了重要信息，反之亦然。“手部对物体的描述”与“物体对手部的描述”之间的紧密关联表明，我们应当同时确定能够整体解释所观测场景的手部构型以及物体的三维模型和姿态。基于这一思路，我们构建了一个优化问题，该问题考虑了上述约束条件。因此，该问题的解便是一个手-物联合模型，它不仅与现有的视觉观测结果相吻合，而且在物理上也是合理的。
#### 1.1. 相关工作
诸如人体和手部这类多关节物体的完整三维构型恢复面临着诸多挑战。学界已经提出了多种方法来应对该问题的不同方面，比如其维度问题、由于场景杂乱导致的观测不完整或模糊问题，以及计算需求问题等。Moeslund等人[^15]对视觉人体动作捕捉与分析这一通用问题的相关研究进行了综述。关于人手动作估计问题的专门综述则见于[^7]。根据对所观测手部细节的描述程度，相关方法可分为部分姿态估计方法和完整姿态估计方法。
另一种分类方式是将这些方法分为基于外观的方法和基于模型的方法。基于外观的方法通过建立图像特征到手部构型空间的直接映射来估计手部构型[^3] [^22] [^28] [^20]。基于模型的方法则会运用二维或三维手部模型[^19] [^25] [^26] [^6] [^16]。在三维手部模型的情况下，通过将模型的投影与观测到的图像特征进行匹配来估计手部姿态。随后该任务会被转化为高维构型空间中的搜索问题，这通常会带来较高的计算成本。在我们发表于[^17]的研究中，我们提出了一种高效的（每秒15帧）手部关节运动跟踪方法，该方法依赖于Kinect传感器提供的视觉输入[^14]。上述所有方法的共同特点是它们都单独考虑人手，因此在手-物交互场景下，由于手-物遮挡现象会严重破坏手部观测的完整性，导致它们在手部姿态估计方面的准确性大打折扣。
鉴于上下文在人类视觉识别中发挥着重要作用[^18]，不少研究人员试图利用上下文约束来解决计算机视觉问题。与我们研究问题密切相关的是，近期有几项研究[^12] [^8] [^29] [^21]考虑了利用上下文来分类人与物体的交互活动。相关方法可以根据其是否涉及人体或手部，以及是否提供动作者（人体或手部）与物体的详细3D模型来分类。因此，[^8] [^29]研究的是人体在与物体交互时的状态。其中，只有[^29]提供了关于人体姿态的详细信息。针对同一问题，Gupta等人[^9]和Sigal等人[^23]提出了处理自遮挡问题的方法，但并未解决物体间的遮挡问题。Kjellstrom等人[^12]研究了手与物体的交互，但仅用于分类，并未给出详细的手部及物体模型。Hamer等人的研究[^10]同样涉及手与物体的交互问题，但该研究依赖结构光深度传感器，且未对受操纵的物体进行建模。最后，Romero等人[^21]提出了一种基于外观的手与物体交互姿态估计方法。当前文献中尚缺乏利用上下文为手和物体提供详细3D模型的方法。本文提出的方法正是旨在填补这一空白。
沿着这一方向，本研究扩展了[^16]中的方法，将手与被操纵物体一并纳入考虑。在[^16]中，提出了一种用于恢复3D手部姿态的生成式多视角方法。在获取的每个视角中，会基于肤色和边缘计算参考特征。该方法采用一个具有26个自由度的3D手部模型。对于给定的手部配置，会渲染出肤色和边缘特征图，并直接与相应观测结果进行比较。通过粒子群优化算法（PSO）最小化某一3D手部姿态与观测结果之间的差异，从而量化该差异。整个方法可在GPU上高效实现。在本文提出的方法中，我们并非仅仅寻找能解释现有手部观测结果的最优手部模型，而是寻求能同时解释现有手部/物体观测结果及遮挡情况的联合手-物体模型。此外，目标函数会对手与物体的穿透现象予以惩罚，以求得符合物理规律的解决方案。事实证明，上述约束对于准确解决这一更复杂且更有意义的问题非常有效。
本文提出的方法是首个基于模型的、能高效解决基于无标记摄像头输入的连续全自由度联合手-物体跟踪问题的方法。此外，它也是首个证明手-物体交互并非估算手部配置的阻碍因素，反而能作为有效利用的背景信息来帮助获得更准确解决方案的方法。作为额外成果，该方法还能提供被操纵物体的参数化3D模型，以及其3D位置和朝向信息。这是通过利用手-物体遮挡现象实现的，尽管此时仅知物体3D形状的参数化表示，且缺乏明确的外观模型。该方法可探索无限的配置空间，因此其精度不会受限于手部数据库的规模和内容。
---
(a)
(b)
Figure 2. Graphical illustration of the employed 26-DOF 3D hand model, consisting of 37 geometric primitives (a) and the 25 spheres constituting the hand's collision model (b).
上述配置在模拟和真实世界图像序列中均通过了定性和定量实验的验证，并且通过与[^20]中所提方法的对比评估也证实了它们的有效性，如[^16]所述。
### 2. 手-物体姿态估计（HOPE）
手-物体联合姿态估计问题可被表述为一个多维优化问题。接下来，我们将详细介绍所提出的手-物体姿态估计方法（HOPE）的基本构成模块，重点阐述所采用的观测模型、手-物体联合3D模型、假设评估机制以及优化方法。
#### 2.1. 计算得到的视觉线索
所提出的方法基于经过内部和外部校准的摄像头所采集的同步视图序列进行运算。这些摄像头在同一时刻采集的一组图像被称为多帧。若$M_i = \{I_1, I_2, \ldots\}$是序列$S = \{M_1, M_2, \ldots\}$中的一个多帧，则$I_j$表示第i个时间步长下第j个摄像头/视图所拍摄的图像。对于多帧M中的每一幅图像I，通过Canny边缘检测算法$o_e(I)$计算出边缘图[^4]，同时利用$o_s(I)$中介绍的方法计算出肤色图[^2]。按照惯例，1表示对应区域存在皮肤或边缘，0则表示不存在。针对每个边缘图$o_e(I)$，还会计算出距离变换结果$o_d(I)$。地图$\{o_s(I), o_d(I)\}$构成了图像I的观测线索。
#### 2.2. 手-物体联合模型
所提出的方法采用模型$m = (h, o)$来共同描述手部h和被操纵的物体o。手部模型h由手掌和五根手指组成：手掌被建模为椭圆柱，两端各有一个椭球体作为封盖；每根手指由三个圆锥和四个球体构成，而拇指则由两个圆锥、一个椭球体和三个球体组成（见图2，(a)）。另外还有25个额外的球体构成手部的碰撞模型，用于检测手部之间的相互穿透以及手部与物体之间的穿透情况（见图2，(b)及第2.3节）。手部模型的这62个3D几何图元分别是椭球和截头圆柱的不同参数化形式。通过对这两种几何图元施加合适的齐次变换，便可得到与[^25]中类似的手部模型。
每根手指的运动学特性通过四个参数来编码，其中两个参数描述手指根部的角度，另外两个描述其余关节的角度。这些参数的取值范围是根据解剖学研究结果[^1]确定的。手掌上某一固定点的位置决定了手部的全局位置，而全局方向则采用四元数的冗余表示方式进行参数化。这种参数化方式最终得到一个包含27个参数的向量，用以描述26个自由度的手部模型。
原则上，表示物体时可以使用任意参数化模型o。对于常见的手持物体，如长方体、椭球体和圆柱体，分别需要3个、3个和2个固有形状参数。像超二次曲面这样更复杂的参数化形状模型则需要多达6个参数。无论采用何种固有形状参数化方式，都需要额外7个参数：其中3个用于描述三维位置，4个用于基于四元数的三维方向表示。在本研究中，我们提供了使用椭球体、长方体和圆柱体的实验结果。不过，该方法并无内在限制无法处理更复杂的物体模型，只要不会使问题的维度增加过多即可。有趣的是，一个以网格形式表示的复杂已知三维物体，其自由度反而比我们的参数化物体模型更低（仅6个自由度，即三维姿态）。
#### 2.3. 手-物体模型假设的评估
给定联合参数化的手-物体模型$m = (h, o)$，目标是估算出能生成如下配置的参数：该配置(a)与多帧图像M（见第2.1节）中的图像特征最为匹配，(b)在物理上合理，即两个不同的刚体不会占据同一物理空间（穿透约束）。为实现这一目标，定义了目标函数$O(m, M)$：
$$ O(m,M)=\sum_{I\in M}D(I,m)+\lambda_{k} W(m). $$
在公式(1)中，第一项量化了给定的手-物体模型m与实际的基于摄像机的观测结果之间的差异，第二项则量化了手与物体之间以及手部各部分（手指、手掌等）之间的穿透深度。$\lambda_{k}$是一个通过实验设定的权重因子，其值为$\lambda_{k}=0.1$。
为了计算$D(I, m)$，我们首先从每个假设的手-物体模型中计算出可比较的图像特征。
---
更具体地说，可以通过渲染生成边缘图$r_e(m)$和肤色图$r_s(m)$。渲染过程的参考实现与[^25]中的实现类似。此处隐含的假设是：物体中不可能包含肤色像素。因此，m中的手部成分h会将可见的手部像素设为1，从而对肤色图$r_s(m)$产生影响；而m中的物体成分o则会将图中的像素设为0，同样对肤色图$r_s(m)$产生影响。实验结果证实，物体表面存在适量肤色像素并不会影响该方法的准确性。随后定义$D(I, m)$如下：
$$ \begin{array}{r c l}{D(I,m)}&{=}&{\displaystyle1-\frac{2\sum o_{s}(I)\wedge r_{s}(m)}{(\sum o_{s}(I)\wedge r_{s}(m))+(\sum o_{s}(I)\vee r_{s}(m))}}\\ {}&{}&{\displaystyle+\lambda\frac{\sum o_{d}(I)\cdot r_{e}(m)}{\sum r_{e}(m)+\epsilon},}\\ \end{array}\quad\begin{array}{r c l}{(2)}&{}&{}\\ {}&{}&{}\\ \end{array} $$
其中$o_s(I)$、$o_d(I)$的定义见第2.1节，$\epsilon$是一个为防止除以零而设置的小量。公式(2)的第1行用于建模模型中的肤色像素与观测结果之间的差异，求和运算覆盖整个特征图。与[^16]不同，这部分目标函数被归一化到[0..1]区间。第2行用于建模渲染得到的边缘图与观测到的边缘图之间的差异，具体做法是将与渲染模型边缘重合的观测边缘图中各像素的值相加。$\lambda$是一个恒定的归一化因子，在所有实验中均被设为0.02。
函数$W(m)$在公式(1)中的作用是对以下两种情况进行惩罚：(a)手部各部分相互交叉（自穿透）的情况；(b)手部h与物体o发生穿插（互相穿透）的情况。设$P(p_i, p_j)$为使几何图元$p_i$和$p_j$的交集体积变为0所需的最小三维平移幅度。这一数值实际上是通过Open Dynamics Engine (ODE) [^24]计算得出的。再设$S_h$为手部碰撞模型的几何图元，如图2(b)所示。给定手部配置的自穿透程度由$P_{hh}$定义，即$P_{hh} = \max_{i \in S_h, j \in S_h, i \neq j} \{P(i, j)\}$。互相穿透的定义类似，为$P_{ho}$，也就是$P_{ho} = \max_{i \in S_h} \{P(i, o)\}$。随后，$W(m)$被定义为$W(m) = \max\{P_{hh}, P_{ho}\}$。因此，自穿透和互相穿透被统一处理。此外，与[^16]中仅对相邻手指间的特定外展-内收角度进行惩罚的做法不同，此处对自穿透的处理更为系统化。
#### 2.4. 优化
公式(1)中目标函数的最小化是通过PSO实现的。PSO由Kennedy等人[^11]提出，它通过模拟原子群体（粒子）在多代进化过程中的“社会交互”行为来实现优化。所谓群体，本质上是一组位于待优化目标函数参数空间中的粒子。
按照[^27]中引入的记号，每个粒子用向量$x_t$存储其当前位置（即当前的候选解，也就是参数集合），用向量$v_t$存储其当前速度。第i个粒子在向量$p_i$中存储的是到第t代为止其目标函数的最佳评估所对应的位置。种群中的所有粒子都会知晓当前的全局最优解$p_g$，也就是种群中所有粒子所遇到的最佳位置。在每一代t，每个粒子的速度会根据$v_t = K(v_{t-1} + c_1 r_1 (p_i - x_{t-1}) + c_2 r_2 (p_g - x_{t-1}))$更新，其位置则根据$x_t = x_{t-1} + v_t$更新。在上述公式中，K是常量收缩因子[^5]，$c_1$被称为认知分量，$c_2$称为社会分量，而$r_1, r_2$则是[0..1]区间内均匀分布的随机样本。最后，必须满足$c_1 + c_2 > 4$的条件[^5]。在所有实验中，分别使用了$c_1 = 2.8$、$c_2 = 1.3$和$K = 2/|2 - \psi - \sqrt{\psi^2 - 4\psi}|$这些值，且$\psi = c_1 + c_2$。
搜索空间是一个多维长方体。粒子位置被随机初始化，粒子速度则设为零。如果在位置更新过程中，某个速度分量导致粒子移出搜索空间，该分量会被置零，对应维度上粒子不会移动。PSO的最终结果是$p_{*}$，也就是所有代中得分最高的粒子。
HOPE的搜索空间是手-物联合模型参数空间m。由于手部模型由27个参数描述，物体模型由d个参数描述，因此搜索空间具有$(27 + d)$个维度。待最小化的目标函数是$O(m, M)$，种群则是一组假设的3D手-物配置。PSO的结果$p_* = m_* = \arg\min_m(O(m, M))$代表了算法针对多帧图像M所给出的手-物联合模型参数m的最佳估计。
在第一个多帧中，跟踪通过将手大致放置在预定义的位置和姿态来手动初始化。我们已通过实验验证，当位置偏差最多为 10cm、全局手部姿态偏差最多为 20deg 时，模型估计可以成功。如果满足上述约束，手指关节可被正确估计。为应对手-物体构型随时间的跟踪，利用了时间连续性。多帧 $M_{t-1}$ 的解用于引导 $M_t$ 优化问题的初始种群。$m_{ref}$ 的种群 $M_t$ 的第一个成员是多帧 $M_{t-1}$ 的解；其余种群成员由该解的扰动构成。多帧 $M_t$ 的优化执行固定的代数/迭代次数。在所有代都进化完成后，最优假设 $m_*$ 被称为时间步 t 的解。
---
### 3. 实验评估
所提出的方法已在合成数据和真实世界的多帧序列上得到了广泛验证。首先，我们在合成渲染的数据集上展示了所提出的（HOPE）方法的准确性和计算性能，该数据集中手部会对各种物体进行不同的抓取操作（见第3.1节）。我们还将HOPE的性能与[^16]中描述的方法进行了比较，后者简称PEHI（孤立状态下手部姿态估计）。最后一项基于合成数据的实验是将HOPE应用于展示孤立手部的数据集。该实验旨在证明HOPE也能有效估计孤立状态下的手部姿态，这也是一种特殊情况。
除了合成数据外，我们还提供了HOPE和PEHI在真实多帧序列上的定性表现证据（见第3.2节）。尽管没有真实的基准信息，但这些初步结果证实了HOPE优于PEHI，这一结论与合成数据上的实验结果一致。
#### 3.1. 基于合成数据的实验
为了基于基准数据评估所提出的方法，我们开展了基于合成生成的多帧序列实验。为此，我们模拟了所用手部模型对三种不同物体（椭球体、圆柱体和长方体）的不同抓取动作（见第2.2节）。场景周围有8个虚拟摄像头用于观测手部与这三种物体的交互情况。最终得到了三个序列，每个序列包含116个多帧，每帧包含8幅图像。所需的提示图（边缘、肤色）是通过渲染生成的（见第2.2节）。
为了对该方法进行定量评估，需要一种能够量化真实手部姿态与估计手部姿态之间差异的误差指标。其计算方法如下：选取五个指尖以及手掌中心作为参考点。对每个参考点，首先计算其估计位置与真实位置之间的欧几里得距离。随后将这些距离在每个序列的所有多帧以及所有序列中进行平均，最终得到整个数据集的单一误差值D。
图3(a)和(c)展示了HOPE方法的估计误差$\mathcal{D}$随PSO参数的变化情况。在图3(a)中，$\mathcal{D}$被绘制为PSO迭代次数及每代粒子数的函数，此处多帧由2个视角组成，提供这两个视角的摄像头彼此相对放置。$\mathcal{D}$的取值在22毫米到55毫米之间。可以验证的是，当迭代次数超过30次且每代粒子数超过32个时，HOPE算法在三维手部姿态恢复中的误差不会有明显变化，其数值约为25毫米。
Figure 3. Mean error D for hand pose estimation (in mm) for HOPE (left) and PEHI (right) for different PSO parameters and number of views. (a), (b): Varying PSO particles and generations for 2 views. (c), (d): Same as (a), (b) for 8 views. (e): Increasing number of views, 40 generations, 64 particles/generation.
图3(b)与图3(a)类似，只是针对的是PEHI算法。在此情况下，平均误差D并不会随粒子数的增加而单调下降，这归因于不完整的或存在遮挡的手部观测数据会阻碍PEHI的收敛。此时D的取值范围在51毫米到101毫米之间。可以验证的是，当迭代次数超过30次且每代粒子数超过32个时，PEHI算法在三维手部姿态恢复中的误差约为55毫米。因此，PEHI的平均误差是HOPE的两倍多。
图3(c)和(d)与图3(a)和(b)类似，只不过此时每个多帧由8个视角而非2个视角组成。对于HOPE而言，D的取值在3毫米到29毫米之间；对于PEHI而言，D的取值在12毫米到47毫米之间。当PSO迭代次数超过30次且每代粒子数超过32个时，PEHI的误差仍然比HOPE高出两倍多。有趣的是，HOPE在16个粒子、20次迭代下取得的成果，与PEHI在任何测试过的粒子/迭代组合下取得的成果相当甚至更优。
---
Table 1. Estimated/actual parameters for the object models in the experiments with synthetic data.
| Object | Estimated/Actual parameters (in mm) |
| Cylinder | Radius: 54/55, Height: 127/128 |
| Ellipsoid | X: 54/55, Y: 83/85, Z: 126/128 |
| Box | X: 77/77, Y: 128/129, Z: 155/156 |
国家。
为了更准确地评估该方法在不同视角数量下的表现，我们开展了更多视角数量变化的实验。图3(e)展示了多帧尺寸对HOPE和PEHI性能的影响。在视角数少于8个的实验中，这些视角是根据经验挑选的、互补性尽可能强的视角。PSO算法设置了64个粒子，迭代40代。实验结果证明，对遮挡物和物理约束进行建模，比增加额外摄像头更有益处。例如，利用两个摄像头结合这些约束条件所得到的效果，仍优于仅用三个摄像头且无约束的情况。实际上，HOPE在三个视角下取得的成果，已经优于PEHI在八个视角下取得的成果。
除了在手部姿态估计方面的优势外，HOPE还能估算被操纵物体的模型参数。在图3对应的实验中，所有多帧序列的物体检测平均位置误差为3毫米（真实位置与估计位置之间的欧几里得距离），平均方向误差为2度。表1展示了物体的实际参数与估计参数，其中估计参数是对应物体所在序列中所有多帧的平均值。可以验证的是，对于所有类型的物体，估计出的模型参数都与真实值非常接近。
总体而言，图3中的实验表明HOPE相较于PEHI具有稳定且显著的优越性，这种优越性在可用视角数量有限的情况下尤为突出。这一点意义重大，因为它使得利用少量摄像头的多摄像头系统实现实用的手部姿态估计成为可能，这类系统成本更低、复杂度更小，对计算资源的需求也更少。
运行时间 $^{1}$ 对应 HOPE [^13] 的 GPU 驱动实现：在运行 40 代 PSO 且每代 64 个粒子时，单视角多帧为 0.31sec，8 视角多帧为 2.19sec。采用 4 台摄像机的系统在线版本以 2 fps 运行。
当多帧尺寸大于2时，PEHI算法的运行速度比HOPE快约20%。这一性能差异源于目标函数中$W(m)$组件的计算开销。由于这属于与多帧尺寸无关的固定开销，
Figure 4. Performance of HOPE and PEHI on a synthetic sequence of multiframes that shows hands in isolation. 64 PSO particles and 40 generations have been used in both cases.
Figure 5. Camera setup for the experiments with real data.
因此随着视图数量的增加，两者在计算性能上的相对差距会逐渐缩小。
最后，我们将HOPE和PEHI算法应用于一个合成图像序列（共400个多帧，每个多帧包含8帧），该序列展示了手部独立运动的情况。图4绘制了平均误差$\mathcal{D}$随所用视图数量的变化曲线。两种算法均设置了40代PSO迭代、每代64个粒子；HOPE算法假设物体为圆柱形。实验结果表明两种算法的性能相当，这印证了HOPE算法能够准确追踪独立运动中的手部。不出所料，HOPE算法还能估算出尺寸仅为几毫米的极小物体。
#### 3.2. 真实图像数据实验
真实世界的图像序列是通过多摄像头系统（图5）获取的，该系统安装在$2 \times 1m^2$工作台周围，由8台同步且经过校准的Flea2 PointGrey相机组成。每台相机的最大帧率为30 fps，图像分辨率达到$1280 \times 960$。不过，核心处理是在以先前多帧解为中心的区域内的$256 \times 256$窗口中进行的。用于图像采集和处理的工作站配备了四核Intel i7 920 CPU、6 GB内存以及拥有1.5 GB显存的1581 GFlops Nvidia GTX 580 GPU。
我们采集了三组多帧序列，分别展示手部抓取并操控球形（301个多帧）、圆柱形（261个多帧）和盒形（251个多帧）物体的过程。图6(a)展示了将HOPE算法（上排）和PEHI算法（下排）应用于球形序列中某个特定多帧所获得的实验结果。由于在所有视角下手部都被球体遮挡，HOPE能正确估算出手部姿态，而PEHI则完全无法做到这一点。在圆柱形序列中同样观察到类似结果：手部抓取并翻转圆柱形物体时，HOPE仍能持续追踪手部姿态，而PEHI在物体严重遮挡手部后便失去了追踪能力。图6(c)显示了盒形序列中的类似结果。此外，表2中我们将HOPE估算出的物体形状参数与通过对该序列所有多帧的估算值取平均值得到的实际测量值进行了对比，这些估算值的标准差仅为几毫米量级。由此可见，物体形状估算的误差在可接受范围内。
---
Table 2. Estimated/actual parameters for the object models in the experiments of Fig. 6.
| Object | Estimated/actual parameters (in mm) |
| Cylinder | Radius: 51/53, Height: 121/131 |
| Ellipsoid | X: 128/116, Y: 128/116, Z: 122/116 |
| Box | X: 66/67, Y: 158/150, Z: 84/93 |
Table 3. The mean value of the objective function of HOPE and its standard deviation when optimization searches for cylinders, ellipsoids and cuboids for a sequence showing an ellipsoid (sphere).
| Cylinder | Ellipsoid | Cuboid |
| Mean value | 3.02 | 2.65 | 3.95 |
| Stdev. | 0.68 | 0.57 | 1.17 |
（底部行）对应球体序列中的特定多帧。由于在所有视角下手部大多被球体遮挡，HOPE能够准确估计手部姿态，而PEHI则完全失效。在圆柱体序列中也得到了类似的结果：手部抓住并翻转圆柱形物体。图6(b)展示了同一摄像机在不同时间点拍摄的四帧图像。HOPE能在整个序列中持续跟踪手部姿态，而一旦手部被物体严重遮挡，PEHI便会失去对它的追踪。图6(c)显示了盒子序列中的类似结果。此外，在表2中，我们将HOPE估计的物体形状参数与实际物理测量值进行了比较，后者是通过对给定序列中所有多帧的估计值取平均值得到的。这些估计值的标准差仅为几毫米量级。可以证实，物体形状估计的误差在可接受范围内。
对于HOPE，我们还进行了一项简单的分类实验。尽管形状分类并非本研究的重点，但它能间接反映优化过程的准确性。针对球体序列（图6(a)和(b)），我们分别假设物体为长方体、椭球体和圆柱体来进行HOPE计算。表3显示了该序列所有多帧中HOPE目标函数的均值与标准差。可以证实，椭球体假设更能解释所观测到的场景。实际上，98.67%的多帧数据用椭球体解释效果最佳，1.33%用圆柱体解释，而长方体则无法解释任何一帧数据。
最后，图7展示了手部对细长长方体进行精细操作序列的实验结果样本快照。通过视觉检查可以发现，尽管手与物体的交互过程复杂且具有挑战性，但HOPE的准确性仍相当令人满意。这些实验的样本视频已作为补充材料附在本论文之后，同时也可在线查看 $^{2}$。
(a) Sphere, frame #103, 4 views, HOPE (top), PEHI (bot.)
(b) Cylinder, 4 frames, view #2, HOPE (top), PEHI (bot.)
(c) Box, 4 frames, view #1, HOPE (top), PEHI (bot.)
Figure 6. Sample frames from the results obtained by HOPE and PEHI in real-world experiments. For HOPE the projection of the estimated 3D object model is shown in pink color.
Figure 7. Snapshots from an experiment where a hand performs a complex manipulation of an elongated cuboid.
### 4. 讨论与结论
在手与物体交互场景中，对手部的观察能为理解物体状态提供重要信息，反之亦然。在本文中，
---
我们证明了：通过同时考虑手和物体，并对遮挡现象和物理约束进行建模，就能更深入地理解二者的特性。具体而言，通过对手-物联合3D模型参数进行优化，能够实现更精准的手部姿态估计，其效果优于那些单独处理手部的方法。除此之外，还能计算出被操纵物体的参数化表达。PSO算法在处理此类问题复杂的、多维且多峰的目标函数时表现出色。基于模拟数据的大量实验结果不仅验证了该方法相对于真实值的优越性，也显示出其优于那些单独处理手部的先进手部姿态估计方法。在真实序列上的实验表明，所提出的方法在手部关节活动复杂以及手-物交互困难的场景下仍能表现良好。目前的研究正在探索HOPE在辅助解读人类抓取与操作活动语义方面的潜力。
## 致谢
本研究部分得到了IST-FP7-IP-215821项目GRASP的支持。我们衷心感谢CVRL/FORTH成员Konstantinos Tzevanidis和Pashalis Padeleris所作的贡献。
## 参考文献
[^1]: I. Albrecht, J. Haber, and H. Seidel. Construction and animation of anatomically based human hand models. In 2003 ACM SIGGRAPH/Eurographics symposium on Computer Animation. Eurographics Association, 2003. 3
[^2]: A. Argyros and M. Lourakis. Real-time tracking of multiple skin-colored objects with a possibly moving camera. In ECCV, 2004. 3
[^3]: V. Athitsos and S. Sclaroff. Estimating 3d hand pose from a cluttered image. In CVPR, volume 2, page 432, Los Alamitos, CA, USA, 2003. IEEE Computer Society. 2
[^4]: J. Canny. A computational approach to edge detection. PAMI, 8(6):679–698, 1986. 3
[^5]: M. Clerc and J. Kennedy. The particle swarm - explosion, stability, and convergence in a multidimensional complex space. IEEE Transactions on Evolutionary Computation, 6(1):58–73, 2002. 4
[^6]: M. de la Gorce, N. Paragios, and D. Fleet. Model-based hand tracking with texture, shading and self-occlusions. In CVPR, pages 1–8, 2008. 2
[^7]: A. Erol, G. Bebis, M. Nicolescu, R. D. Boyle, and X. Twombly. Vision-based hand pose estimation: A review. CVIU, 108(1-2):52–73, Oct. 2007. 2
[^8]: A. Gupta, A. Kembhavi, and L. S. Davis. Observing human-object interactions: Using spatial and functional compatibility for recognition. PAMI, 31:1775–1789, 2009. 2
[^9]: A. Gupta, A. Mittal, and L. Davis. Constraint integration for efficient multiview pose estimation with self-occlusions. PAMI, 30(3):493–506, Mar 2008. 2
[^10]: H. Hamer, K. Schindler, E. Koller-Meier, and L. V. Gool. Tracking a hand manipulating an object. In ICCV, Oct 2009. 2
[^11]: J. Kennedy, R. Eberhart, and Y. Shi. Swarm Intelligence. Morgan Kaufmann Publishers, 2001. 4
[^12]: H. Kjellstrom, J. Romero, D. Martinez, and D. Kragic. Simultaneous visual recognition of manipulation actions and manipulated objects. In ECCV, 2008. 2
[^13]: N. Kyriazis, I. Oikonomidis, and A. Argyros. A gpu-powered computational framework for efficient 3d model-based vision. Technical Report 420, FORTH, July 2011. 6
[^14]: Microsoft Corp. Redmond WA. Kinect for Xbox 360. 2
[^15]: T. B. Moeslund, A. Hilton, and V. Krüger. A survey of advances in vision-based human motion capture and analysis. CVIU, 104(2-3):90–126, Dec 2006. 2
[^16]: I. Oikonomidis, N. Kyriazis, and A. Argyros. Markerless and efficient 26-dof hand pose recovery. In ACCV, 2010. 2, 3, 4, 5
[^17]: I. Oikonomidis, N. Kyriazis, and A. Argyros. Efficient model-based 3d tracking of hand articulations using kinect. In BMVC, Aug 2011. 2
[^18]: A. Oliva and A. Torralba. The role of context in object recognition. Trends in Cognitive Sciences, 11(12):520–527, 2007. 2
[^19]: J. Rehg and T. Kanade. Model-based tracking of self-occluding articulated objects. In ICCV, page 612, Los Alamitos, CA, USA, 1995. IEEE Computer Society. 2
[^20]: J. Romero, H. Kjellstrom, and D. Kragic. Monocular real-time 3d articulated hand pose estimation. IEEE-RAS Int'l Conf. on Humanoid Robots, Dec 2009. 2, 3
[^21]: J. Romero, H. Kjellström, and D. Kragic. Hands in action: Real-time 3d reconstruction of hands in interaction with objects. In ICRA, 2010. 2
[^22]: R. Rosales, V. Athitsos, L. Sigal, and S. Sclaroff. 3d hand pose reconstruction using specialized mappings. In ICCV, 2001. 2
[^23]: L. Sigal and M. Black. Measure locally, reason globally: Occlusion-sensitive articulated pose estimation. In CVPR, volume 2, pages 2041 – 2048, 2006. 2
[^24]: R. Smith. Open dynamics engine, , 2006. 4
[^25]: B. Stenger, P. Mendonca, and R. Cipolla. Model-based 3d tracking of an articulated hand. CVPR, pages II–310–II–315, 2001. 2, 3, 4
[^26]: E. Sudderth, M. Mandel, W. Freeman, and A. Willsky. Visual hand tracking using nonparametric belief propagation. In CVPR Wkshp on Generative Model-based Vision, 2004. 2
[^27]: B. White and M. Shaw. Automatically tuning background subtraction parameters using particle swarm optimization. In IEEE ICME, 2007. 4
[^28]: Y. Wu and T. S. Huang. View-independent recognition of hand postures. In CVPR, pages 88–94, 2000. 2
[^29]: B. Yao and L. Fei-Fei. Modeling mutual context of object and human pose in human-object interaction activities. In CVPR, Jun 2010. 2