原创研究论文 # 俯视视角下的混合3D–2D人体跟踪 西里尔·米尼奥 · 法赫雷丁·阿巴巴 收稿日期：2013年8月23日 / 录用日期：2014年5月2日 © 2014 柏林海德堡施普林格出版社 ## 摘要 本文针对购买行为估计中的人体动作三维跟踪问题展开研究。在该特定场景下，本文利用了极少用于人体跟踪的顾客俯视视角。该视角除手臂外可避免其他遮挡问题。本文提出一种基于粒子滤波框架的混合3D-2D跟踪方法，利用排斥原理分离每个顾客对应的观测，可实现多人人跟踪。头部和肩部在二维空间中跟踪，手臂则在三维空间中跟踪：这两个空间分别对应两类部位信息最丰富的跟踪场景。本文通过实验（获取定性结果）与实地测试对方法进行了验证，证明该方法能够对各类不同情况与场景做出良好估计，且可实时运行（ $\approx$40 帧/秒）。 关键词 人体跟踪 · 粒子滤波 · 多目标跟踪 · 购买行为分析 · Xtion Pro-Live ## 1 引言 三维人体姿态估计是一个兼具理论价值和挑战性的问题。它是游戏动画、影视制作、视频监控、营销分析等众多现代产业领域的核心组成部分。越来越多领域借助计算机视觉和图像分析解决自身问题，开发能够自动实时处理数据流的方法，营销领域尤其如此。本文介绍的研究得到ANR ORIGAMI2项目支持。该项目的目标是开发用于分析购物者购买决策的实时非侵入式工具。该方法首先基于计算机视觉算法提取并跟踪购物者的视线和手势位置，随后对提取的数据进行统计分析：该认知分析的目标是度量购物者与其所处环境的交互。这项技术能够为消费品生产商提供无偏差、全面的信息，反映购物者在货架前选购过程中的行为。本文工作聚焦于顾客姿态跟踪。 本文分析了超市自助奶酪货架间移动的顾客行为。和视频监控场景类似，本文研究人体的俯视视角。事实上，该视角能够提升人体运动的可见性，更好地区分在场景中移动的不同个体。然而，传统视频监控中，相机通常远离场景和地面，以获得更宽的视角，同时监控更大的区域。但相机架设越高，录制图像中人体的尺寸就越小，分辨率仅够定位人体，无法满足姿态估计的需求。这就是为什么目前俯视场景下已有大量位置跟踪方法，却少有姿态跟踪研究的原因。与之相反，本文的应用场景需要估计姿态。为了清晰观测顾客，我们将相机架设在离地面较近的位置。在项目部署中，多个相机串联布置，沿货架全程跟顾客。 不对，修正：多个相机串联布置，沿货架全程跟踪顾客。 哦不对，重新翻：我们分析了超市奶酪自助货架间顾客的行为。与视频监控场景类似，本文研究俯视视角下的人体。实际上，该视角能提升人体运动的可见性，更好区分场景中移动的不同人员。但传统视频监控中，相机通常远离场景和地面，以获得更大视角，同时监控更大区域。但相机架设越高，拍摄图像中人体的尺寸越小，分辨率仅够实现人员定位，无法满足姿态估计需求。因此，目前已有大量针对俯视视角的位置跟踪方法，却鲜有姿态跟踪研究。与之相反，本文场景需要估计姿态，因此我们将相机架设在离地面较近的位置，以清晰观测顾客。在项目部署中，多个相机串联布置，沿货架全程跟踪顾客。 对，这个对。所以： 我们分析了超市奶酪自助货架间顾客的行为。与视频监控场景类似，本文研究俯视视角下的人体。实际上，该视角能提升人体运动的可见性，更好区分场景中移动的不同人员。但传统视频监控中，相机通常远离场景和地面，以获得更大视角，同时监控更大区域。但相机架设越高，拍摄图像中人体的尺寸越小，分辨率仅够实现人员定位，无法满足姿态估计需求。因此，目前已有大量针对俯视视角的位置跟踪方法，却鲜有姿态跟踪研究。与之相反，本文应用场景需要估计姿态，因此我们将相机架设在离地面较近的位置，以清晰观测顾客。在项目部署中，多个相机串联布置，沿货架全程跟踪顾客。 要开展有效的行为分析，需要获取人体三维姿态。但该姿态很难从a --- 传统彩色图像。为获取更多信息数据，我们将华硕生产的Xtion PRO-LIVE [^44]安装在顾客上方。该相机的传感器可同时提供彩色信息和深度信息，因此我们可以将3D模型与3D数据进行拟合。这款摄像头价格低廉、节省空间，适合集成安装在货架上。和微软的Kinect一样，它不适合户外采集，深度计算的适用距离范围为0.8~3.5米，这也完全符合我们超市场景的使用要求。在我们的实验中，Xtion PRO-LIVE安装在距离地面2.9米处，对应货架顶部的位置。 在人体追踪任务中，采集设备输出的图像作为观测数据，会被拟合到一个体现人体可能运动的关节模型中。现有文献中的绝大多数方法都使用适配人体正视图的模型，因为正视图下人体轮廓的区分度远高于其他视角。此外，肤色、面部特征这类常用特征在顶视图中很难获取，例如著名的Viola–Jones人脸检测器 [^41] 就可以在正视图下准确估计人脸位置。尽管如此，本文提出了一种基于顶视角的姿态追踪方法。 本文工作面临的第二个核心难点是顾客所处的场景环境：首先，顾客会和超市内的多种物体（货架、商品等）产生交互；其次，图像中经常同时出现多名顾客，他们的轮廓可能发生重叠；最后，顾客可能携带购物车、商品篮或背包这类移动物体。因此我们获取的图像往往背景杂乱，存在大量干扰元素和严重遮挡。为解决这些难点，必须将场景中每个目标与其他元素的观测数据分离，这样每个追踪器都是独立的（不会增加算法复杂度），还可以通过运动动态估计被遮挡部分的姿态。 本文的主要贡献如下： 1. 我们提出了一种专门适配顶视图的混合3D–2D模型。对模型进行拆分后，我们可以在人体各部位轮廓信息最丰富的空间中分别开展研究，同时降低计算时间。 2. 我们提出了一种似然函数，在估计头肩姿态时采用2D chamfer距离 [^40]，在估计手臂姿态时采用3D欧氏距离。 3. 为处理手臂的人际遮挡问题（顶视图中头部和躯干不会发生人际遮挡），我们为每个目标单独配置一个追踪器，实现多人追踪。为降低环境元素带来的干扰，我们利用排斥原理对观测数据进行分离。 4. 本文提出的方法在超过25分钟的现场采集序列上得到了验证，我们在实验条件下对估计结果进行了定性与定量评估，尤其验证了算法的实时性能。 本文其余部分的结构安排如下：第2节简要讨论人体姿态追踪的理论背景，第3节详细介绍我们提出的混合3D/2D粒子滤波方法；针对超市采集的数据，我们应用排斥原理实现多人追踪，相关内容放在第6节；第5节引入了一种可检测错误估计的置信度度量；第6节展示实验结果并开展分析；最后，第7节总结全文，展望未来工作方向。 ## 2 相关工作 多目标跟踪领域在现有文献中已针对位置跟踪开展了广泛研究，但针对手势的多目标跟踪研究仍较为匮乏。现有多种技术采用目标检测与数据关联模块。数据关联过程将每个检测结果与当前轨迹匹配，并根据形状和颜色一致性（通过Bhattacharrya距离 [^9] [^19] [^25] [^30] 或兴趣点轨迹 [^14]）选择最优匹配。Brendel [^8] 根据检测结果构建图模型，通过寻找图的最大权独立集求解数据关联问题。Yang [^45] 基于在线学习的条件随机场构建图模型。这类方法在完整序列上完成处理，以应对长时间遮挡问题，这与Andriyenko [^1] 的思路一致，后者对定义在整个序列上的能量函数进行最小化求解。在图上运行的最短路径算法可以在每一帧中分离出每个目标的检测结果 [^3] [^4] [^33]。Benfold [^2] 同样在时间滑动窗口内使用马尔可夫链蒙特卡洛（MCMC）数据关联方法。有时，跟踪过程中被称为轨迹片段（tracklet）的部分会通过数据关联过程 [^43] 或在图模型中完成连接 [^38]。 基于光流的通用系统 [^5] [^47] 通过运动估计推断目标的连续位置。Schwartz [^35] 将该方法应用于三维数据，以区分相互遮挡的不同身体部位。然而，光流法用于关节式目标跟踪时效率较低。 通常处理同外观目标的目标跟踪，可以通过学习单个目标模型进行分类：Breitenstein [^6] 在运行时学习目标专属分类器，以区分不同跟踪目标；Luber [^26] 将在线提升算法应用于RGB-D数据。基于部件的检测与跟踪方法 [^25] [^37] [^42] 提供了 --- 诸多优势：它对视角变化和姿态变化的容忍度更高，并且可以应对部分遮挡问题。动态遮挡处理方法可以预测部分遮挡情况，并筛选出身体的可见部分。在 [^37] 的研究中，如果只有头部可见，则使用卡尔曼滤波进行跟踪，其他情况则使用粒子滤波。在拥挤场景中，Pellegrini [^31] 对人群的社会行为进行建模，以更准确地预测目标的运动。 结合随机森林的身体部位学习方法可实现人体姿态估计所需的关节检测。该过程更适合检测而非跟踪：Dantone [^11] 提出的方法单张图像处理需要数秒时间。Shotton [^36] 基于大规模合成数据集实现局部身体部位检测，进而推断关节位置。Hu [^17] 使用MCMC优化了从人脸、躯干和皮肤检测得到的关节位置初始估计。这些方法使用的特征和数据集均不适用于俯视视角。 使用分类器非常耗时。Mitzel [^30] 使用统计泊松过程选择相关的三维感兴趣区域（ROI），缩小了检测范围。但对于实时处理，卡尔曼滤波或粒子滤波是更合适的选择。 所有目标的状态都可以通过单个粒子进行建模[^20]，粒子构建过程中已经考虑了目标之间的相互作用。Choi的方法[^10]适用于移动摄像机场景，通过MCMC求解联合相机估计与多目标问题。然而，联合粒子滤波的复杂度会随着跟踪目标数量呈指数增长，不符合实时处理的要求。为解决该问题，可以为每个目标分配一组跟踪器。为了避免不同目标重叠产生的问题，Gonzales[^13]采用了由MacCormick和Blake提出的排斥原理[^27]。在每一步中，观测值（即记录图像的像素）会被分配给各个目标。Xing[^43]选择了对应可见部分的当前观测最优子集，用于更新粒子权重。分块方法会对与其他目标区域重叠的粒子施加惩罚[^9]。因此每个跟踪器仅处理对应的观测部分，几乎可以独立运行。我们同样采用了观测分割的方法，因为它复杂度低、执行速度快，能够保证多目标运行过程的实时性。 尽管俯视视角下的人体跟踪在视频监控领域拥有大量应用，目前针对该方向的研究却很少。Heath[^14]估计了显著特征点（主要位于肩部）的三维轨迹，并将其用作粒子滤波的观测值。Canton-Ferrer[^9]用椭球定义了遮挡处理的排斥区域。跟踪过程中，他先分离出三维色块，再使用粒子滤波，其中每个粒子代表色块的一个体素，该方法估计代表人体的色块的质心。这些方法仅跟踪人体的位置，不估计人体的姿态。 要获得行为分析结果，就需要估计人体姿态。目前已有大量研究致力于开发针对单目标的关节人体姿态跟踪方法，粒子滤波是这类研究中最常使用的方法[^18]。它是一种贝叶斯序贯重要性采样技术，通过有限组加权样本递归近似后验分布。样本会被选择以匹配观测值，并根据系统动力学进行传播。在实际应用中，观测值会被拟合到一个包含所有可能状态的模型中，模型的状态由骨架定义。该骨架由一组合理组装的几何图元构成[^12] [^15] [^16]，用来表示人体在三维空间中占据的体积。Stoll[^39]沿骨架分布兴趣点，并在兴趣点中心放置三维高斯分布来表示人体体积。我们采用了类似的模型，但对其进行了适配以适用于俯视视角。 为了描述人体类别，研究中使用了多种特征：肤色、轮廓形状、运动特征等。Deutscher[^12]在模型表面选取点，并将这些点与观测值匹配。由头部和肩部构成的类似$\Omega$的形状对人体外形的描述性尤其出色[^24] [^28]。 在购买行为分析场景中，无需评估后处理，同时也要求实现实时处理。在粒子滤波中，计算开销最大的操作是似然函数的评估，因为每个粒子在每一个时间步都需要进行一次该计算。要实现实时处理，就需要进行一些适配调整。Gonzales [^13] 对身体的每个子部分分别进行跟踪，从而只需使用简单模型。分层粒子滤波 [^46] 可以简化似然函数。退火粒子滤波 [^12]（APF）能够减少所需的粒子数量。最后，Kjellström [^22] 考虑了人体与环境中物体的交互，以此约束人体姿态并减少自由度。 实际上，骨骼并非所有姿态都是可行的。例如，头部的旋转角度不能超过 $360^{\circ}$。可以通过将采样投影到可行配置空间来约束采样过程 [^15]。和 [^13] 的做法一致，我们对模型进行分解，从而可以用最合适的表示处理每个部分，同时降低状态空间的复杂度。 最后，可以通过变换得到单峰似然模型，从而能够使用卡尔曼滤波。Larsen [^23] 利用立体数据消除深度歧义，Brox [^7] 对SIFT提取得到的兴趣点进行跟踪。 数据关联意味着后处理和学习过程十分耗时，这与实时场景的要求不兼容。在我们的方法中，我们使用结合关节模型的粒子滤波器估计人体姿态。我们降低 --- 计算时间的方法是将模型分解为两个部分：头部和肩部在二维空间中跟踪，手臂在三维空间中跟踪。事实上，我们的模型并没有复杂到需要像APF那样使用分层粒子滤波。为了在多个顾客（多个目标）场景下得到合适的结果，我们采用了排斥原理。根据不同人体的预测位置，实现了观测结果在不同人体之间的共享。 ## 3 混合3D–2D人体手势跟踪 ### 3.1 粒子滤波 粒子滤波是一种成熟成功的数值近似技术，适用于非线性、非高斯模型的贝叶斯序贯估计。在时刻k，设 $x_k$ 为模型状态，$y_k$ 为观测值。在我们的场景中，模型状态代表人体姿态，观测值则是Xtion PRO-LIVE相机采集的数据。粒子滤波基于加权粒子样本集 $p(x_k|y_k)$ 评估观测似然，递归近似当前状态 $x_k$ 的后验概率密度 $\{x_k^i, \omega_k^i\}$。N个粒子中的每个粒子 $x_k^i$ 对应一个由系统动态模型传播得到的随机状态，并由 $\omega_k^i$ 赋予权重。粒子滤波共有4个基本步骤： – 重采样：从样本 $\{x_{k}^{i}, \frac{1}{N}\} \sim p(x_{k}|y_{k})$ 中重新采样得到N个粒子 $\{x_{k}^{i}, \omega_{k}^{i}\}$。根据粒子权重进行选择：高权重粒子会被复制，低权重粒子会被剔除。因此粒子样本始终集中在期望姿态附近。为了自动区分高权重和低权重，我们采用了SIS系统重采样算法 [^21]，该算法的概述见 [^34]。 - 传播：利用系统动力学模型 $p(x_{k+1}|x_k)$ 对粒子进行传播，得到 $\{x_{k+1}^{i}, \frac{1}{N}\} \sim p(x_{k+1}|y_k)$。该步骤旨在预测下一状态。我们采用恒速传播，之后接一个以估计位姿为中心的高斯分布，其标准差取决于对应特征的变化量。 - 权重计算：通过似然函数对粒子加权，该似然函数与模型和新观测之间的匹配程度相关。对新权重 $\omega_{k+1}^i$ 进行归一化处理，满足： $\sum_{i=1}^N \omega_{k+1}^i = 1$，由此得到新样本 $\{x_{k+1}^i, \omega_{k+1}^i\} \sim p(x_{k+1} | y_{k+1})$。不合适的测试状态会因此被检测出来，并在后续的重采样步骤中删除。 - 估计：新位姿由粒子的加权平均近似得到： $x_{k+1} = \sum_{i=1}^{N} \omega_{k+1}^{i} x_{k+1}^{i}$。该步骤仅用于输出单个状态而非概率密度，独立于粒子样本的演化过程。 该方法适配特定问题时的核心修改点在于模型和似然函数的定义。下文我们将针对每个跟踪过程，说明我们在这两方面做出的选择。 ### 3.2 二维头肩跟踪 首先，我们仅跟踪头部和肩部。做出该选择是基于我们的假设：头部和肩部在录制图像的二维空间中特征更明显，而手臂在三维空间中特征更明显。实际上，头肩的形状相当稳定，它们主要通过在场景中的位移来描述。该选择的合理性将在6.2节的实验中得到验证。 二维观测由相机录制的彩色图像和深度图像组成（图1、图2、图3）。在深度图像上，头肩的形状容易识别且相当稳定，呈现为两个椭圆形。此外，Micilotta $\Omega$在前视图中使用的身体上部类[^28]形状，使得两个部分之间形成清晰的深度边缘。根据到相机的距离（由头顶深度给出），两肩之间的距离相当稳定。肩部对应椭圆的半径仅取决于人的胖瘦。椭圆和观测之间的匹配需要允许模型存在一定变化，因此我们采用二维倒角匹配。 二维模型 我们使用两个对应人体常规解剖特征的椭圆组合来对头肩建模（图4、图5）。每个椭圆由其在图像中的位置和方向定义，每个椭圆有3个自由度。它为行为分析提供了人员位置的核心信息：肩部椭圆给出人体在超市通道中的位置，头部椭圆给出可推断注视方向的相对朝向。手臂位姿在后续进行估计。为了获得更好的描述，每个椭圆单独计算权重。两个部分在传播步骤中通过约束关联。人员位姿受到人体生物力学的约束：头部不能绕颈部做$360^{\circ}$旋转，且颈部不可伸缩。两个椭圆中心之间的空间距离以及方向差都受到限制，粒子不能处于这些不可能的状态。 --- ![Image](images/afe649d26b9ddc3dbf6bcf0468c0126237e578d1c58c7ec0d3ce08a47c35c46d.jpg) ![Image](images/052b14039a3712e37d0a2a1f32ba9098bd4098ec3b16d31601de098149cea9f3.jpg) ![Image](images/2504567529f1b7bd21e2d281a281ca468f95d019230a42cc4620c3c910ed9989.jpg) ![Image](images/ba77f455c7c7c4076eb512cd7771db96ffea686c9129c0099029d59785ef52f9.jpg) ![Image](images/ffda3b0e66931c7bd055d33a356a2a229c91a4a8cfde9fd5da46b353d1904cb2.jpg) ![Image](images/86dd7ee01d23e3b694004e53b63aeff1ad0db985ef4441bd03f0c4dbcfed7edc.jpg)
Fig. 1 The data are acquired in a supermarket. The difficulties are numerous: cluttered image, occlusions, multi-targets and various goods and shopping trolleys
![Image](images/b8aac4f8cce26953bd0e791487e4a38c3140811744e6657229878a27708934e4.jpg)
Fig. 2 Overview of the method: the particle filtering is executed independently for each target thanks to the observation sharing
似然函数将俯视图中头部和肩部形成的椭圆轮廓与模型的两个椭圆进行拟合。为此我们采用二维倒角距离，该方法可实现不同形状之间的高效比对，且对轻微不完整或被遮挡的边缘具有鲁棒性。首先，将头顶定义为人体的最高部位，也就是候选斑点中深度值最小的元素。根据该深度值，我们对深度图像在头部中点和肩部末端高度处进行阈值分割，由此得到一个掩码，每个像素会被划分到头部、肩部或背景三类中。该掩码的边缘可对深度数组中我们感兴趣的轮廓进行估计。我们预先计算好倒角掩码，这样就无需为每个粒子重新计算倒角距离。倒角掩码可给出每个像素到边缘的最短距离 [^40]。 分配给粒子的权重是该粒子对应椭圆所有像素的倒角掩码的平均值。令 $\Delta_{i}^{ell}$ 为粒子i的状态向量给出的椭圆像素集合，倒角掩码为 $M_{ch}$，则粒子i的权重为 $$ d_{i}^{\mathrm{ch}}=\underset{p\in\Delta_{i}^{ell}}{\mathrm{mean}}(M_{\mathrm{ch}}(p)) $$ $$ \omega_{i}^{2D}=\mathrm{e}^{-d_{i}^{\mathrm{c h}}} $$ ### 3.3 三维手臂跟踪 与头部和肩部不同，手臂在三维结构中能提供多得多的有效信息。实际上，头部顶部和肩部大致处于同一深度层，而手臂存在很大的深度变化，在二维空间中其形状会因相机视角发生严重畸变。深度数组提供了一组三维点，这组点不完整也不连续，仅包含俯视图中可见的数据，因此只能给出三维场景的部分表示（图6）。 三维模型 我们提出了一个骨架模型，其刚性分段分别代表大臂、小臂和手部。每只手臂包含2个独立分段和2个关节（图7、图8）。我们假设每个肩部有3个自由度，每个肘部有2个自由度。现有研究中，有时会为肘部分配1个自由度，但我们通过实验发现，2个自由度更有利于手臂不同姿态之间的转换。为了表示体积，我们添加了几何图元：大臂和小臂用截顶圆柱体建模，手部用矩形平面建模。 该模型几乎不受前一模型的约束：在上一步中计算得到的肩部二维位置 --- ![Image](images/55c184d8cd6ac1fe41bae8479be75cfd0b4d3eb672c53447edb03d3b008578c9.jpg)
Fig. 3 The Xtion PRO-LIVE provides a color and a depth image. For the head-shoulders tracking this data makes the observation
![Image](images/c27500cdd5747d9778b307a3296ac3a5cabf1ca85a27a00347fd4e5845909d0e.jpg)
Fig. 4 The 2D model is made of two ellipses
![Image](images/ec66a2bc0e91d9fc272b6a54bb139d12e0bd58d032e8cfdb5838257d66be5de0.jpg)
Fig. 5 The depth image is thresholded at the head and the shoulder levels computing from the top of the head position to realize the chamfer mask
![Image](images/120d72ba6da80722abe7f306f5d8c933fea426fd7bb0c414eaa6b0842efefd9c.jpg)
Fig. 6 The Xtion PRO-LIVE camera provides simultaneously a color and the depth images. A set of 3D points of visible part of the scene from the top view is computed from the depth image
是二维跟踪步骤得到的结果，它给出了场景中人体的位置和朝向。本文的跟踪研究手臂相对于躯干的运动，这些相对运动更能体现人物的动作特征。 ![Image](images/6f404fa613c92e447b2f9b6311ab8129c38cd180e058617a6632fa9f6998fe43.jpg)
Fig. 7 The arms pose is defined by a 3D model constrained by the location of the shoulders computed by the 2D tracking (in the left). This model (in the right) is made of an articulated skeleton (in red) that comprises of a set of appropriately assembled geometric primitives (in blue). The degrees of freedom correspond to the angles at the shoulder and elbow levels
实际上，该关节模型并非所有运动都是可行的：例如，由于鹰嘴，肘部的大角度弯曲几乎是$180^{\circ}$ --- ![Image](images/f6c1f039f399d84c52572321ed08eaf3b3c2861d9419d74aa439634bfce67061.jpg)
Fig. 8 Overview of the 3D observation pre-processing: the blob corresponding to the studied person is extracted from the depth array; then the head and the shoulder parts are deleted and finally the pixels corresponding to each arm are separated according to the shoulders' ellipse orientation
![Image](images/bd762cdbe24a97a9909df671f5271cb99dee239935fa4a1c43d96b6d5660914a.jpg)
Fig. 9 Overview of the observation segmentation: thresholding of the depth array and spatial continuity limit the studied observation; the exclusion principle separates it in case of multi-target tracking
的存在。因此状态空间受到解剖学约束的限制。由于骨架的骨骼是刚性的，手（和肘部）的位置估计可以直接根据关节的角度值计算得到。 似然函数，我们的目标是让观测得到的3D点集与粒子定义的3D模型尽可能贴近。由于我们使用3D数据，评估数据的单位对应物理信息：以米为单位的距离。此外，3D空间的优势在于能够保留距离约束。实际上，在录制得到的2D图像中，靠近相机的物体比远离相机的物体更大。手臂的长度也可为处理过程提供指引。 由于本文的3D处理针对手臂，我们将观测范围限定在该部位。首先，通过深度阈值剔除位置过低、不可能属于人体上半身的元素，由此得到多个感兴趣区域（ROI）。接着，感兴趣区域内属于人体的元素在空间上是连续的，我们仅选取对应于被跟踪者的连续感兴趣区域（我们通过先前的2D跟踪得到其位置），将该区域命名为blob。最后，我们根据先前2D位姿估计得到的结果，剔除对应于头部、躯干和肩膀的像素集合，令$\Delta_{arm}$为处理后得到的新3D点集。该预处理过程总结在图9示意图的左侧部分。 如果观测元素在3D空间中与模型足够贴近，说明模型能够很好地描述人体姿态。粒子i的权重由下式给出 $$ d_{i}^{\mathrm{3D}}=\underset{p\in\Delta^{\mathrm{a r m}}}{\mathrm{m e a n}}(\mathcal{D}^{\mathrm{3D}}(p,\mathcal{M}_{i})) $$ $$ \begin{array}{r}{\omega_{i}^{\mathrm{3D}}=\mathrm{e}^{-d_{i}^{\mathrm{3D}}},}\end{array} $$ 其中 $\mathcal{M}_{i}$ 是粒子i定义的3D模型位姿，$\mathcal{D}^{3D}$ 是点到3D体积的3D距离，由下式定义 $$ \mathcal{D}^{\mathrm{3D}}(p,\mathcal{M})=\operatorname*{m i n}_{i\in\mathcal{M}}(d^{3\mathrm{D}}(p,i)), $$ 其中 $d^{3D}$ 是3D空间中两点之间的欧氏距离。 ## 4 引入排斥原理 将所有目标的数据拼接在单个状态向量中会大幅增加系统复杂度和计算时间。应用排斥原理对每个目标独立跟踪，能够实现实时处理。该方法不在状态向量中共享各个元素的影响，而是对观测进行共享。实际上，观测本身就承载了场景中不同元素之间的相互作用。如果从观测中剔除其他物体的影响，就可以对每个目标独立执行跟踪。 对于每个时刻k和目标t，我们根据上一步估计$\hat{x}_{t,k}$和系统动力学（本文采用恒定速度模型）计算得到模型状态的预测值$x_{t,k-1}$。每个预测定义了一个与模型状态关联的3D形状。设T为所有被跟踪目标的集合，我们将观测（ROI）中的每个像素分配给3D空间中模型状态距离该像素最近的目标。像素p的分配结果$a(p)$由下式定义 $$ a(p)=\underset{t\in\mathcal{T}}{\mathrm{a r g m i n}}(\mathcal{D}^{\mathrm{3D}}(p,\hat{x}_{t,k})) $$ 观测共享的部分示例如图17所示。 ## 5 置信度度量 某些特殊姿态有时难以估计，例如握拳抬起的情况，此时顶视图中前臂的可见部分被手部遮挡。在本文方法中，仅完成了模型到观测的匹配，并未完成观测到模型的匹配。因此，如果观测无法提供足够信息，估计结果的质量就会下降。令$\Delta_{\text{skeleton}}$为估计模型的骨架投影到录制图像2D空间后的像素集合，度量C用于评估观测对模型的匹配程度，其定义为2D图像中$\Delta_{\text{skeleton}}$内所有像素到ROI最近元素的平均距离，单位为像素。当匹配结果良好时，该度量值为0。 该变量的描述性远低于我们的似然函数。此外，将其与似然函数结合会耗费大量时间，且无法提升跟踪质量。尽管如此，C能够有效检测出在例外情况下我们的估计 --- 存在缺陷。因此我们将C用作置信度度量。如果某一帧的该值高于阈值（10像素），用户即可知道该帧的估计结果不会被纳入考虑。这在未来的动作识别研究工作中可能具有重要意义。 ## 6 性能 ### 6.1 实验装置 为了验证所提方法的有效性与鲁棒性，我们在实验条件下对顾客行为进行了模拟。我们将华硕公司生产的Xtion PRO-LIVE相机[^44]安装在距离地面2.9米的位置。每一帧的尺寸为$320 \times 240$像素。Xtion PRO-LIVE的帧率为每秒30帧。我们的主要目标之一是得到一个实时算法。因此下文我们将结合算法所需的处理时间给出其精度表现。下文给出的处理时间是在3.1GHz处理器上运行非优化C++实现得到的单帧平均处理时间。在粒子滤波中，增加粒子数量可以提升精度，但会增加计算时间。因此我们给出了便于用户理解、能够反映跟踪精度相关信息的评价标准。我们采用真实空间中估计位置与真实位置之间的米制距离作为评价标准，例如公式7所示。因此我们将定性评价标准表示为处理时间的函数，以此评估跟踪质量。粒子数量是内部参数，并非选择最优方法的评判标准。 为了评估不同位置与配置下的效果，我们在4个序列上开展了测试（图10）： - $S_{1}$（时长超过1分钟）中人物位移较小，但手臂存在幅度大且多样的运动。 - $S_{2}$（时长$\approx$43秒）与第一个序列类似，但场景包含高饱和度亮色。 - $S_{3}$（时长 $\approx$54秒）中左臂完成了多种动作，该序列采用后续将介绍的ART协议记录。 - $S_{4}$（时长 $\approx$32秒）包含两个人物，手臂存在频繁遮挡。 这些序列可在获取，以供对比研究。 真值：为了定量评估我们算法的效率，我们需要真值来与得到的结果进行对比。首先，对于2D评估，我们手动标注了序列$S_{1}$和$S_{2}$各帧中肩膀中心的位置。接下来，对于 ![Image](images/8838887bfa366d9e773e6be612d277ba6169427cff99120a458de33c4bc1e192.jpg)
Fig. 10 Set of experimental sequences used for the qualitative and quantitative evaluation of our algorithm
多目标观测分割的评估，我们手动标注了序列$S_{3}$各帧中属于每个目标的像素。3D估计的定量评估重点针对手臂。对于序列$\Delta_{\text{arms}}$和$S_{1}$的所有帧，手臂的像素集合$S_{2}$都已在2D空间中完成手动标注。 我们针对三维评估提出了另一种比较方法。为了验证我们对手臂姿态的估计能否很好地描述运动，我们希望对关节轨迹进行比较。借助DTRACK软件，两台ARTTRACK1摄像机的组合可以跟踪反光球的三维位置。我们将反光球放置在一名受试者左手臂的肩部、肘部和手腕处。随后，在序列$S_{3}$中，ART过程会在Xtion PRO-LIVE采集数据的同时记录这些球的位置。ART记录的位置不能严格被当作真值，因为传感器无法放置在 --- 关节的中心。但我们仍将其用作评估轨迹的参考。 复杂度与处理时间 决定我们算法复杂度的参数是粒子数N。粒子滤波的3个步骤中，每个步骤都针对每个粒子、每一帧执行一次。因此复杂度定义为$\mathcal{O}(N)$。倒角掩码计算、预处理和估计均为每帧执行一次。与粒子滤波步骤的处理时间相比，它们的处理时间可以忽略不计。由于不同目标的粒子相互独立，处理时间与当前跟踪的目标数量成正比。 所需粒子数由状态向量的自由度数量决定。事实上，必须有足够数量的粒子才能在状态空间中合理分布。在我们的方法中，模型被拆分为两个部分，专门用于减少自由度数量。我们将我们的算法与两种全三维方法[^29]进行了比较，这两种方法都采用17自由度模型。其中第二种是基于部件的处理，其状态向量在采样和传播步骤中共享。它们较大的状态空间导致需要更长的处理时间。因此，实时处理要求尽可能减少自由度数量，这一点影响了我们将模型拆分为两部分的选择。在下文中，这两种方法分别记为(3D)和(3D–PB)，我们的方法记为(3D–2D)。 经实验测试，我们的算法高效运行时，每帧处理时间约为25 ms，对应帧率为40 fps，吞吐量为3.85 Mpps。该数值随当前跟踪目标数量的增加而上升。尽管如此，我们的算法仍可以优化，例如对每个目标的处理过程进行并行化。 ### 6.2 头部与肩部跟踪 二维形状可以很好地描述人体的头部和肩部。我们验证了，在这些身体部位上，我们的二维跟踪比基础三维跟踪更有效。为此，我们将我们的结果与两种三维跟踪方法[^29]进行比较。我们方法的MOTP小于20 mm，而全三维方法的MOTP约为50 mm。拆分模型提升了二维跟踪的准确率。 俯视视角下的跟踪目前研究较少。Canton-Ferrer [^9]和Heath [^14]在俯视视角下基于彩色图像实现了人员定位跟踪，他们得到的MOTP约为150 mm，而我们得到的结果小于20 mm。使用深度数组提升了方法的鲁棒性。 在图11中，我们将我们的二维跟踪与Pilu在深度数组上处理得到的椭圆拟合[^32]，以及在边缘上处理得到的倒角拟合 ![Image](images/b39890c8d8be7f385c37a77f5e2fee1710d1d2bf7e97d58eb6f1e3bb1e07cff0.jpg)
Fig. 11 Variation $\Delta_d$ of the 2D position of the shoulder ellipse from the ground-truth to our method or to an ellipse fitting [^32] on the depth array or to a chamfer fitting on the edges: our 2D tracking is more efficient and using only color array significantly reduces the accuracy
（通过Canny处理得到）。我们注意到，我们的方法能够在更短的处理时间内实现精度高得多的跟踪。 ### 6.3 手臂跟踪 在无法体现关节连接特性的二维空间中，手臂的形状不具备描述性，手臂似然函数必须在三维空间中定义。在图12中，我们方法估计得到的模型被投影到二维采集图像和三维空间中。对于各类位置，我们的估计在定性上都与观测结果拟合良好。 设$\varepsilon$为$\Delta_{arms}$中的点与估计模型之间的平均三维欧氏距离。$\varepsilon$的值越小，说明模型和观测之间的对应性越好，因此估计结果也越好。 $$ \varepsilon=\underset{p\in\Delta^{\mathrm{a r m s}}}{\mathrm{m e a n}}(\mathcal{D}^{\mathrm{3D}}(p,\mathcal{M}_{x_{k+1}})) $$ 精度/处理时间曲线的变化分为三个部分（图13）。首先，处理时间较短源于粒子数量的减少。当粒子数量低于某个阈值时，状态空间的覆盖不合理，精度会迅速下降。相反，当粒子数量超过某个阈值后，增加粒子并不会显著提升跟踪效果，只会导致处理时间增加，却没有任何性能提升。在这两部分之间，就是系统正常工作的工作区域。如果在这个范围内取平衡点，那么精度（优化跟踪效果）和处理时间（实现实时性）之间的权衡就是合理的。对于我们的三维-二维方法，其工作区域为 --- ![Image](images/12c0551868ad19b575cf2e0f6be1d8a2fbd27842c53b2e5d07bfaa7f7a7d2857.jpg)
Fig. 12 The tracking provides the pose of the person: on the left the model in the color image and on the right the model in the 3D space (the pixels in white correspond to the points given by the depth image)
![Image](images/61c874f0af9ae13853c5273ec5e88de7cc301aac5ce3b98f4b71ebb8d36ca516.jpg)
Fig. 13 Zoom in the performances of the 3D–2D tracking methods in average for the sequences $S_{1}$ and $S_{2}$. There are 3 main areas: if the number of particles is too small, their spread on the state space is insufficient; but increasing it over a certain number does not improve the accuracy; the last area is the operating area where the compromise accuracy/processing time should be chosen.
一个紧凑区间，能够在极具竞争力的处理时间内实现良好的跟踪效果。 如图14和表1所示，我们的混合三维-二维方法明确展现出最优的跟踪质量。由此可见，分身体部件进行研究确实有实际作用。对于我们的三维-二维处理，当粒子数超过50个后（处理时间约为25毫秒），跟踪效果不会再有明显提升。在该配置下，观测点与估计模型之间的平均距离小于 ![Image](images/04e71df9cb3983e885b48a93ba29e76697febb4a95c793195c1421fe32ef19c0.jpg)
Fig. 14 Performances of the 3D tracking methods in sequences $S_{1}$ and $S_{2}$: the 3D–2D method we propose is substantially better. We obtained an operating area for a smaller processing time and with an accuracy 4–6 times better
Table 1 The average best compromise for $S_1$ and $S_2$ that corresponds to the inflexion point of the curves in Fig. 14. Our hybrid 3D-2D method is faster and more accurate.
MethodProcessing time (ms)$\varepsilon$ (mm)
3D80130
3D-PB8075
3D-2D2525
--- ![Image](images/206e213554c97b3bf9307f4db6fd5237fc85b1c4ce6b2e4cc600012b5f7d173e.jpg) ![Image](images/7986669ed7cb390d4d760de02b7a7ffa75be98ac2289d6a861c4f640c37d153b.jpg) ![Image](images/1b6a56708088aff05c0c7e2a97c3c9805780a1b7e08fb714ca53fe0fb189c67d.jpg) ![Image](images/317080e3f4836c7fd28abea0a91112f33afd34b5f3ae37f28aa341734171d38c.jpg) ![Image](images/7d15fb59bae01329f643563d5d01cf9db6dbf4cddaf3e810fbd6a0994d985f55.jpg) ![Image](images/9dccc1d1665cefd2c435b2e0dba4defdb1bc766c8deb273659441be6726bd093.jpg) ![Image](images/b0bd36beb3480857976a4bb4911d1d022872263a77fff2bb0e37813c57c0e402.jpg) ![Image](images/d756735fc823a55d0f13c341756fa6a1d4e339d8b0fd6ee07dfe24edeb131d8a.jpg) ![Image](images/4452b9a21234dd4031377ec40ec4b1a201cb625b90f3d55c5f29d56db316de60.jpg)
Fig. 15 Trajectories of the 3D coordinates (in row) of the shoulder, the elbow and the wrist (in column) of the left arm in the sequence $S_{3}$. Shoulders are attached to the torso and have a slower movement. The full 3D model has more difficulties to follow this movement. That
2.5厘米。因此该处理可高效实现实时运行。我们的方法比完整三维跟踪耗时更少，因为自由度数量更少。采样步骤需要的粒子数量更少，似然函数的计算次数也更少。跟踪精度更高，因为它对急剧运动和小ROI具备更强的鲁棒性。 身体部件轨迹 图15表明，我们得到的手臂各部件轨迹与ART得到的轨迹拟合良好。对于人员弯腰这类难点情况（z坐标上出现尖峰），我们方法的估计效果要好得多。这类运动比较少见，在自由度数量较高的状态空间中，系统动态会对这类运动产生惩罚。拆分模型能够提升对这类特殊情况的鲁棒性，因为模型会对人员身高等重要特征给予更多关注。最后，在运动剧烈时（手腕的z坐标），我们的跟踪鲁棒性更强。该实验验证了我们的结果。
proves that the shoulders deserve to be tracked separately (in the 2D space). On the contrary, the wrist has the sharpest movements because it cumulates the movements of the arm and the forearm. We notice that these large displacements are well tracked by our method.
置信度度量 我们专注于手臂运动。我们对每个手臂计算了置信度度量C，对序列$S_{1}, S_{2}$和$S_{3}$的所有帧都进行了估计。图16表明，通过该准则可以清晰识别出错误估计。我们发现错误估计的数量非常少：3个序列中错误估计仅占1.52%。 主要问题与挥拳动作有关（序列$S_{1}$）。此外，在传播步骤中还存在运动过于突然的问题（序列$S_{3}$）。但该方法通常仅会在单帧中产生错误估计。 ### 6.4 多人跟踪 为了评估序列$S_{3}$中两个目标之间观测分割的准确率，我们计算了每帧中正确分配像素的平均数量。重叠率超过99%。因此 --- ![Image](images/d7755fe5c95bfaf4ab74878a2b7c13f29a1a2e73d1a176d96515646a1187ac50.jpg) ![Image](images/ddf3f4714a1568e768127b77c29f82fc72cc539f16fa17cc33cef2ac6c0035a9.jpg) ![Image](images/75854ab7ab42f450ff4558341e42b39d0bf5519ef3b7d4cef5158962e0bc64f5.jpg) ![Image](images/e42e856771787badc3b75af9d2b215166aaeb34a999b05c0d8e3d642febf050b.jpg)
Fig. 16 The confidence measure detects the wrong estimations: when the fist is held high (a, b) or when the movement is too fast (c–e). The wrong estimations represent only 1.5 % of the frames
![Image](images/ef7f43c2e376fda608c6a5f037aeeb7d27e5bfecc03b6abe9464363e34a101cd.jpg)
Fig. 17 Segmentation of the observation for several frames of the sequence $S_{4}$ obtained with the exclusion principle presented in Sect. 4
只有极少的错误像素会被算作观测结果。此外，这些错误像素在空间上非常接近正确分配的像素，因此估计结果几乎不受影响。当前场景与单目标场景非常接近。 ### 6.5 现场跟踪 在实验条件下，我们可以控制实验过程，模拟所需场景，更便于开展定量评估。但我们的方法最终需要应用于超市，因此我们开展了大量现场测试。现场出现了许多新难点：实际上，手臂紧贴身体的姿势占了绝大多数情况，在俯视视角下这种姿势的手臂几乎无法分辨，但这种情况对购买行为识别步骤并无影响。此外，行人会为了避免碰撞做出不规律运动。另外，单个摄像头无法覆盖整条货架通道，因此需要多个摄像头 ![Image](images/2eead5c5ab6ee68eb46d539e36e9600806ac559292e0592e59f4ff413b4dc891.jpg)
Fig. 18 Multi-person tracking obtained on the sequence $S_{4}$
进行布置和同步，才能跟踪顾客在整条通道中的移动。 我们测试了时长约25分钟的现场录制内容，涵盖不同顾客与各类行为场景。这些序列包含多人视角、与手推车及其他物体的交互、快速移动等内容。图17、图18、图19展示了 --- ![Image](images/d40ee22697460e79f0639077899e51bbb802c90f6f41203fa26339d284420805.jpg) ![Image](images/052102d3bfdc004184ebe38ea2eaada5a82fbd03a614bf65e089d2ff76c57d76.jpg) ![Image](images/3cf9615f195d08ba70c05749d1b045b26a68b410195f4f86066afb36975fd553.jpg) ![Image](images/a0c1e9e9ef0f2332b2ac1e02e364892993fa6ce81feee7784b29b9b96a936cd5.jpg) ![Image](images/cb105399551174cba1139487d4729191af5a166235c5b14dc914144c0a9b2463.jpg) ![Image](images/8edbd324edb93b372d664ef7da996b07e7082f7a98487e67b9c9a0ae5f80f260.jpg) ![Image](images/2e8beb1937e1242d07519b8988672b137d28e3cd022423b222f379f62d154b2e.jpg) ![Image](images/5c397784a58aaa8a37634c93e7c3c901d8ae7302f6948a7b006e1101057369e7.jpg) ![Image](images/fa64c8c30aea57cab8477d1d11c98ca7c824b21ac36863fcb7b39bc8450778ef.jpg) ![Image](images/9a7856c7848c8a010e18efb6a3b08f14fc12a6d88795a343e37b7a5c8b78c950.jpg) ![Image](images/022c7160626214f87e09efbd3cede31ff690459864c4bf77cebea7e7aa23f6a5.jpg) ![Image](images/04750da0142871e8ea1592881d750c2af3f8d10306167a1d20a36b972711e4fe.jpg) ![Image](images/9a8aa34d5681c92e2412086fb87ab4f5c7d64307b54a3ca4819605fd3fe10dd4.jpg) ![Image](images/08d8765cc7a269a29772068cf30b88457c39480e542c41453097fff51965197f.jpg) ![Image](images/726b8808a5725dae15a9ce3a425b1b0c4406476ab691d39ff4a40a7c4e59bb0e.jpg) ![Image](images/8182b7480e92ad0fa5259bfff43e447d7e8cbf66b8853b7b2270f40b9a390fa8.jpg)
Fig. 19 Tracking on sequences recorded on site in a supermarket
--- 我们的方法在所有这些复杂场景中都能给出正确的姿态估计。这些序列目前无法对外公开，因为我们正在等待CNIL的监管批准。 当顾客数量不多时（这是绝大多数情况），处理过程可以实时运行。如果顾客数量较多，还可以对每个目标的跟踪进行并行化处理。此外，我们通过实验发现，即使仅以每秒7帧的频率处理，也能很好地估计人体姿态。 ### 6.6 行为识别展望 本项目的最终目标是实现行为分析，识别购买行为。这是我们工作的主要研究方向，将会 ![Image](images/c8c5f7caf62cb6081ea38ae098fa34d783f902354adb0a360aa6fbe2ea71816a.jpg)
Fig. 20 Examples of trajectories of the elbow and the wrist in the YZ space relatively to the shoulder for action of catching a good in the on-site sequences. The trajectories of the articulation points in the 3D space are well descriptive of this buying act
后续进一步开展。不过，为了验证我们工作的有效性，我们已经开始研究如何将其应用于购买行为识别。 我们分离出了几种特定的购买行为：从货架取货、查看手持商品（读取标签或查询价格）。随后我们研究了本方法得到的这些动作的跟踪结果变化，以找到对每种动作最具描述性的配置。 对于取货动作，手腕和肘部的三维轨迹是最具描述性的特征（图20）。实际上，该动作下这些身体部位始终会呈现规律的运动曲线。运动速度还可为识别冲动购买和理性购买提供线索。 对于顾客注视的商品，手臂10个角度所提供的空间信息是最具描述性的特征（图21）。一般来说，它对应一种特定姿势，即使顾客在注视商品时继续行走，该姿势也会随时间大致保持稳定。该姿势的持续时长决定了顾客研究商品的时间，还可以推断顾客是否存在疑虑。 各类待识别行为的定义以及本文研究结果的应用方式仍在推进中。 ![Image](images/455c893d6abe9480ceabfa014381ef3848c76aca89cbbddd39f0aa07fe656691.jpg)
Fig. 21 Evolution of the angles of the arm model for various goods watching action in the on-site sequences: the space of the degrees of freedom of the arm is the best to describe this buying act
--- ## 7 结论 本文提出了一种使用Xtion PRO-LIVE、基于粒子滤波的手势追踪方法。我们针对俯视视角这一特殊场景展开研究，因此深度线索是我们处理过程中必不可少的信息。为了实现高效的实时处理，我们将人体分为两个部分：头部和肩部在采集图像的二维空间中追踪，手臂则在三维空间中追踪。实验表明，对两个部分分别在对应空间追踪能获得最优的追踪效果，实验也证实了我们的方法在实时处理中的有效性。此外，每一帧都关联了一个置信度度量，可用于检测可能出现的错误估计。最后，应用排斥原理可实现多人物追踪，且不会增加额外的复杂度。 我们的算法每帧仅需25毫秒即可高效运行（即帧率为40 fps，吞吐量为3.85 Mpps），适用于实时操作和在线应用。 未来，该追踪技术将被整合到动作识别应用中。正如我们在6.6节中看到的，本文方法能够为完整购买行为识别过程提供可用的相关信息。第一步将是定义感兴趣行为，之后将研究如何基于我们的结果最优地描述每个动作，最后通过分类完成识别。 致谢 本研究得到ANR-10-CORD0016 ORIGAMI2项目的支持。 ## 参考文献 [^1]: Andrienko, A., Schindler, K.: Multi-target tracking by continuous energy minimization. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 1265–1272 (2011). doi:10.1109/CVPR.2011.5995311 [^2]: Benfold, B., Reid, I.: Stable multi-target tracking in real-time surveillance video. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 3457–3464 (2011). doi:10.1109/CVPR.2011.5995667 [^3]: Ben Shitrit, H., Berclaz, J., Fleuret, F., Fua, P.: Tracking multiple people under global appearance constraints. In: IEEE International Conference on Computer Vision, pp. 137–144 (2011). doi:10.1109/ICCV.2011.6126235. [^4]: Berclaz, J., Fleuret, F., Turetken, E., Fua, P.: Multiple object tracking using K-shortest paths optimization. IEEE Trans. Pattern Anal. Mach. Intell. 33, 1806–1819 (2011). doi:10.1109/TPAMI.2011.21 [^5]: Botella, G., Martn H., J.A., Santos, M., Meyer-Baese, U.: FPGA-based multimodal embedded sensor system integrating low- and mid-level vision. Sensors. 11, 8164–8179 (2011). doi:10.3390/s110808164 [^6]: Breitenstein, M.D., Reichlin, F., Leibe, B., Koller-Meier, E., Van Gool, L.: Online multiperson tracking-by-detection from a single, 未校准相机。载于：IEEE Trans. Pattern Anal. Mach. Intell. 33, 1820–1833 (2010). doi:10.1109/TPAMI.2010.232 [^7]: Brox, T., Rosenhahn, B., Gall, J., Cremers, D.: Combined region and motion-based 3D tracking of rigid and articulated objects. IEEE Trans. Pattern Anal. Mach. Intell. 32, 402–415 (2009). doi:10.1109/TPAMI.2009.32 [^8]: Brendel, W., Amer, M., Todorovic, S.: Multiobject tracking as maximum weight independent set. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 1273–1280 (2011). doi:10.1109/CVPR.2011.5995395 [^9]: Canton-Ferrer, C., Salvador, J., Casas, J.R., Pardàs, M.: Multi-person tracking strategies based on voxel analysis. In: Multimodal Technologies for Perception of Humans, pp. 91–103 (2008). doi:10.1007/978-3-540-68585-2_7 [^10]: Choi, W., Savarese, S.: Multiple target tracking in world coordinate with single, minimally calibrated camera. In: European Conference on Computer Vision, vol. 4, pp. 553–567 (2010). doi:10.1007/978-3-642-15561-1_40 [^11]: Dantone, M., Gall, J., Leistner, C., Van Gool, L.: Human pose estimation using body parts dependent joint regressors. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 3041–3048 (2013). doi:10.1109/CVPR.2013.391 [^12]: Deutscher, J., Reid, I.: Articulated body motion capture by stochastic search. Int. J. Comput. Vis. 61, 185–205 (2005). doi:10.1023/B:VISI.0000043757.18370.9c [^13]: Gonzalez, M., Collet, C.: Robust body parts tracking using particle filter and dynamic template. In: IEEE International Conference on Image Processing, pp. 529–523 (2011). doi:10.1109/ICIP.2011.6116398 [^14]: Heath, K., Guibas, L.J.: Multi-person tracking from sparse 3D trajectories in a camera sensor network. In: ACM/IEEE International Conference on Distributed Smart Cameras, pp. 1–9 (2008). doi:10.1109/ICDSC.2008.4635679 [^15]: Hauberg, S., Sommer, S., Pedersen, K.S.: Gaussian-like spatial priors for articulated tracking. In: European Conference on Computer Vision, pp. 425–437 (2010). doi:10.1007/978-3-642-15549-9_31 [^16]: Horaud, R., Niskanen, M., Dewaele, G., Boyer, E.: Human motion tracking by registering an articulated surface to 3D points and normals. IEEE Trans. Pattern Anal. Mach. Intell. 31, 158–163 (2008). doi:10.1109/TPAMI.2008.108 [^17]: Hu, Z., Wang, G., Lin, X., Yan, H.: Recovery of upper body poses in static images based on joints detection. Pattern Recognit. Lett. 30, 503–512 (2009). doi:10.1016/j.patrec.2008.12.005 [^18]: Isard, M., Blake, A.: CONDENSATION\_conditional density propagation for visual tracking. Int. J. Comput. Vis. 29, 5–28 (1998). doi:10.1023/A:1008078328650 [^19]: Jiang, Z., Huynh, D.Q., Moran, W., Challa, S., Spadaccini, N.: Multiple pedestrian tracking using colour and motion models. In: IEEE International Conference on Digital Image Computing: Techniques and Applications, pp. 328–334 (2010). doi:10.1109/DICTA.2010.63 [^20]: Khan, Z., Balch, T.R., Dellaert, F.: Efficient particle filter-based tracking of multiple interacting targets using an MRF-based motion model. In: IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 254–259 (2003). doi:10.1109/IROS.2003.1250637 [^21]: Kitagawa, G.: Monte Carlo filter and smoother for non-gaussian nonlinear state space models. J. Comput. Graph. Stat. 5, 1–25 (1996). doi:10.2307/1390750 [^22]: Kjellstrom, H., Kragić, D., Black, M.J.: Tracking people interacting with objects. In: IEEE Conference Computer Vision and Pattern Recognition, pp. 747–754 (2010). doi:10.1109/CVPR.2010.5540140 ## [^23]: Larsen, A.B.L., Hauberg, S., Pedersen, K.S.: Unscented Kalman filtering for articulated human tracking. In: Scandinavian --- 图像分析会议，pp. 228–237 (2011). doi:10.1007/978-3-642-21227-7_22 [^24]: Lee, M.W., Cohen I., Jung, S.K.: Particle filter with analytical inference for human body tracking. In: IEEE Workshop on Motion and Video Computing, pp. 159–165 (2002). doi:10.1109/MOTION.2002.1182229 [^25]: Liem, M., Gavrila, D.: Multi-person tracking with overlapping cameras in complex, dynamic environments. In: British Machine Vision Conference, pp. 1–10 (2009). doi:10.5244/C.23.87 [^26]: Luber, M., Spinello, L., Arras, K.O.: People tracking in RGB-D data with on-line boosted target models. In: IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3844–3849 (2011). doi:10.1109/IROS.2011.6095075 [^27]: MacCormick, J., Blake, A.: A probabilistic exclusion principle for tracking multiple objects. Int. J. Comput. Vis. 39, 57–71 (2000). doi:10.1023/A:1008122218374 [^28]: Micilotta, A.S., Bowden, R.: View-based location and tracking of body parts for visual interaction. In: British Machine Vision Conference, pp. 849–858 (2004). doi: 10.5244/C.18.87 [^29]: Migniot, C., Ababsa, F.: Part-based 3D multi-person tracking using depth cue in a top view. In: International Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (2014) [^30]: Mitzel, D., Sudowe, P., Leibe, B.: Real-time multi-person tracking with time-constrained detection. In: British Machine Vision Conference, pp. 1–11 (2011). doi:10.5244/C.25.104 [^31]: Pellegrini, S., Ess, A., Schindler, K., Van Gool, L.J.: You'll never walk alone: modeling social behavior for multi-target tracking. In: IEEE International Conference on Computer Vision, pp. 261–268 (2009). doi:10.1109/ICCV.2009.5459260 [^32]: Pilu, M., Fitzgibbon, A.W. and Fisher, R.B.: Ellipse-Specific Direct Least-Square Fitting. IEEE Int'l Conf. on Image Processing. 3: 599–602 (1996). doi:10.1109/ICIP.1996.560566 [^33]: Pirsiavash, H., Ramanan, D., Fowlkes, C.C.: Globally-optimal greedy algorithms for tracking a variable number of objects. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 1201–1208 (2011). doi:10.1109/CVPR.2011.5995604 [^34]: Ristic, B., Arulampalam, S., Gordon, N.: Beyond the Kalman Filter: Particle Filters for Tracking Applications. Artech House, London (2004) [^35]: Schwarz, L.A., Mkhitaryan, A., Mateus, D., Navab, N.: Human skeleton tracking from depth data using geodesic distances and optical flow. Image Vis. Comput. 30, 217–226 (2012). doi:10.1016/j.imavis.2011.12.001 [^36]: Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A.: Real-time human pose recognition in parts from single depth images. Mach. Learn. Comput. Vis. 411, 119–135 (2013). doi:10.1007/978-3-642-28661-2_5 [^37]: Shu, G., Dehghan, A., Oreifej, O., Hand, E., Shah, M.: Part-based multiple-person tracking with partial occlusion handling. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 1815–1821 (2012). doi:10.1109/CVPR.2012.6247879 [^38]: Song, B., Jeng, T.Y., Staudt, E., Roy-Chowdhury, A.K.: A stochastic graph evolution framework for robust multi-target tracking. In: European Conference on Computer Vision, pp. 605–619 (2010). doi:10.1007/978-3-642-15549-9_44 [^39]: Stoll, C., Hasler, N., Gall, J., Seidel, H.-P., Theobalt, C.: Fast articulated motion tracking using a sums of gaussians body model. In: IEEE International Conference on Computer Vision, pp. 951–958 (2011). doi:10.1109/ICCV.2011.6126338 [^40]: Thiel, E., Montanvert, A.: Chamfer masks : discrete distance functions, geometrical properties and optimization. In: IAPR International Conference on Pattern Recognition, pp. 244–247 (1992). doi:10.1109/ICPR.1992.201971 [^41]: Viola, P.A., Jones, M.J.: Robust real-time face detection. IEEE Int. J. Comput. Vis. 57, 137–154 (2004). doi:10.1023/B:VISI.0000013087.49260.fb [^42]: Wu, B., Nevatia, R.: Detection and tracking of multiple, partially occluded humans by Bayesian combination of edgelet based part detectors. Int. J. Comput. Vis. 75, 247–266 (2007). doi:10.1007/s11263-006-0027-7 44. Xtion PRO-LIVE. [^43]: Xing, J., Ai, H., Lao, S.: Multi-object tracking through occlusions by local tracklets filtering and global tracklets association with detection responses. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 1200–1207 (2009). doi:10.1109/CVPR.2009.5206745 [^45]: Yang, B., Nevatia, R.: An online learned CRF model for multi-target tracking. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 2034–2041 (2012). doi:10.1109/CVPR.2012.6247907 [^46]: Yang, C., Duraiswami, R., Davis, L.S.: Fast multiple object tracking via a hierarchical particle filter. IEEE Int. Conf. Comput. Vis. 1, 212–219 (2005). doi:10.1109/ICCV.2005.951 [^47]: Zhang, Z., Hou, Y., Wang, Y., Qin, J.: A traffic flow detection system combining optical flow and shadow removal. In: IEEE Conference on Intelligent Visual Surveillance, pp. 45–48 (2011). doi:10.1109/IVSurv.6157021 Cyrille Migniot于2008年在法国格勒诺布尔大学获得图像处理方向博士学位，2012年在法国埃夫里IBISC实验室从事博士后研究，目前在法国格勒诺布尔INRIA担任博士后研究员。 Fakhreddine Ababsa于2002年在法国埃夫里-瓦尔迪塞纳大学获得机器人方向博士学位。自2004年起，他担任埃夫里-瓦尔迪塞纳大学电气与计算机科学助理教授，同时在IBISC实验室（原复杂系统实验室）担任研究员。他当前的研究方向集中在鲁棒估计、运动追踪、人机交互和传感器融合，致力于将这些技术应用于科学问题，尤其专注于实时增强现实系统的开发。