# 基于俯视深度相机的顾客行为分析研究 山本顺平 工学研究科 大阪府立大学 井上克文 工学研究科 大阪府立大学 吉冈通文 工学研究科 大阪府立大学 ## 摘要 基于监控相机的人类行为分析是安全、营销以及计算机视觉和模式识别领域的热门研究课题之一，可应用于便利店、书店等商业场所。一般情况下，监控摄像头安装在店铺墙面附近的天花板上来监测顾客行为，由于该视角下人体形态对行人检测、姿态估计等任务具有较高判别力，现有大多数研究都采用适配人体正视图的人体模型。但该方法存在一个问题：店铺内顾客经常会发生互相遮挡。为解决行为分析中的这一遮挡问题，我们提出一种基于俯视深度相机的新型人类行为分析方法。本研究为探究该分析方法的有效性，首先以书店场景作为研究对象。我们提出的方法由两个行为估计器构成：第一个估计器基于结合深度信息的手部高度，第二个估计器是结合深度信息与PSA（像素状态分析）特征的支持向量机。我们所提方法的特点是将这两个估计器级联使用。通过对3名受试者的10种行为开展实验，结果表明尽管本研究仍处于探索阶段，但我们所提方法可以获得89.5%的平均估计准确率，验证了方法的有效性。 ### 1. 引言 基于监控相机的人类行为分析是计算机视觉、模式识别等研究领域的热门课题之一。例如，在便利店、书店这类商业场所中，货架前的顾客行为分析与顾客对商品的兴趣高度相关，不仅对营销十分有价值，也可用于防盗安保。为获得这些收益，许多研究者都致力于分析顾客行为 [^9] [^13] [^11]。一般而言，监控摄像头安装在店铺墙面附近的天花板上，大范围斜向下监测店内情况，因此顾客大致是从正面视角被拍摄的。因此，为开展顾客行为分析，该研究领域的大多数工作都采用适配人体正视图的人体模型，因为该视角下的人体形态对行人检测 [^17]、姿态估计 [^18] 和行为识别 [^9] [^16] 都具有较高的判别力。此外，现有方法仅针对监控拍摄图像/视频中最靠前的顾客进行行为分析。但在实际店铺场景中，顾客经常会被其他顾客或货架遮挡，因此遮挡是上述方法普遍存在的共性问题。 为解决这一问题，近年来，基于俯视深度摄像头的顾客行为分析[^11] [^14] [^10] [^5] [^3] [^8] [^2] [^12]受到了关注，因为该方案能够缓解隐私问题。本文的研究也属于这一方向。在以往研究中，研究目标主要集中在少数几种简单手势的识别[^8] [^2] [^11] [^12]。例如，Migniot和Ababsa[^11]分析了顾客取商品的动作，但遗憾的是，这类研究仅讨论了手势分类问题。然而在营销和安防场景中，我们认为需要对顾客行为进行更具体的分析。也就是说，例如，除手势识别外，我们还需要判断顾客伸手够哪层货架、对哪件商品感兴趣，这些判断能够帮助我们规划营销方案、制定安防措施。 从这一视角出发，作为更具体分析顾 --- ![Image](images/a0967c6a1f2a27873404eba32fe4e978b9755ba39e22f5f8b5995321ca5158cf.jpg)
(a) top
![Image](images/fe4f91a20a74654a99b8a6fc06fe75364cae35a2f522b5542f0f4b880eaf5a98.jpg)
(b) second
![Image](images/249556da35041cdff6f11a0f42aeb80f4e4079224fe483168e246cba75b5db57.jpg)
(c) third
![Image](images/6a0c5e5bd30d85024ebd3281df033fe6c86c3a62e298961d0ca17cfecbbeb31a.jpg)
(d) fourth
![Image](images/28961ee71fb84c207039052cfffc2db116e477743873495c97af9c813695e624.jpg)
(e) flat
(f) holding
![Image](images/1068d0ec960c9c858de75592c06cec06bf3d6640827bbca9081179a6d6d32357.jpg) ![Image](images/2974f8e794581d9176078c7a20567239d08371e27ccf9221c1dcb8935b8d8957.jpg)
(g) browsing
![Image](images/93a803963f47d1381caab7e571e2c3f6fcbab755bd0057509db6da894dd59c64.jpg)
(h) viewing
![Image](images/1270c1093f02e62e4fd239bbd29951abf16218da705fdaeff71b7754cd6ace11.jpg)
(i) left
![Image](images/85ae9f872c3ce058086850a1576ea7b366936eedfe0de487e3d42144a0ad3bc9.jpg)
(j) right
Figure 1. The 10 customer behaviors that we deal with in this researches. (a)-(d): a customer reaches for a book on top-fourth shelf, respectively. (e) flat: a customer reaches for a book on the flat table, (f) holding: a customer weighs up a book by holding it, (g) browsing: a customer browses a book, (h) browsing: a customer views shelves, (i) and (j): a customer moves to from left to right and right to left, respectively.
客行为，本文提出了一种简洁高效的基于俯视深度摄像头的行为分析系统，我们重点评估了所提方法能否正确估计受试者的行为。本研究以书店场景为例，对10种顾客行为进行估计，包括取物手势、翻阅掂量书籍、注视货架、从货架前走过等。特别地，针对取物手势，我们除识别手势本身外，还会判断顾客伸手要取哪一层货架的商品。本文所提方法的特点如下：1）我们利用深度信息得到的手部高度区分顾客要取的货架；2）采用两步级联估计器对顾客行为进行估计：在该估计器中，第一步基于深度信息估计行为，第二步则利用深度信息和PSA（Pixel State Analysis）[^6]从俯视深度图像中提取人体轮廓特征，采用基于SVM的估计器。由于本研究仍处于探索阶段，我们的方法在计算机视觉领域的贡献十分有限，但我们通过实验验证，在本文的基准测试中，所提方法对10种顾客行为的估计准确率可达89.5%。 ### 2. 相关研究 在采用普通监控摄像头的顾客行为分析方法中，遮挡是一个突出问题。为解决该问题，近年来，基于俯视摄像头[^13] [^1] [^8] [^7] [^15]或俯视深度摄像头[^11] [^14] [^10] [^5] [^3] [^2] [^12]的行为分析作为替代方案受到关注。尽管与正视角分析相比，这类方法获取的人体形态信息不充分，行为分析性能更差，但很少会出现遮挡问题。此外，后者还能缓解隐私和光照问题，因此本文选择基于俯视深度摄像头开展行为分析研究。 在该研究方向下，尽管目前相关研究数量仍然较少，我们仍在本节对其进行简要梳理。采用俯视深度相机的研究主要分为人体检测、人体跟踪和人类行为分析等领域。在人体检测与跟踪方面，Rauter [^14] 直接在深度图中搜索局部极大值以定位头部位置，并为每个头部计算运动轨迹。Choi等人 [^5] 提出了一种基于滑动窗口的人体检测方法，该方法将窗口划分为多个块，计算每个块的均值和标准差，将其作为人体检测的描述子。Bevilacqua等人 [^3] 采用基于像素级参数统计模型的背景减除流程进行人体检测，得到的连通块经过拼接 --- ![Image](images/b32ee4376de427bae9d2de31225a12c67005d018e7d7ac1d48f043d23a9c1cf1.jpg)
Figure 2. Book shelves utilized in this research.
后得到的包含候选人体像素的区域采用卡尔曼滤波器进行跟踪。与 [^3] 类似，本研究同样直接采用背景减除方法进行人体检测。另一方面，在人类行为分析方面，Bednařík和Herman [^2] 提出了一种铰接式三维人体模型来识别6种手势。Migniot和Ababsa [^11] [^12] 也提出了铰接式三维人体模型，用于分析顾客伸手取商品的手势。这类方法先将人体模型适配到俯视深度图像中估计手部位置，再使用粒子滤波跟踪手部。因此已有研究指出，由于需要大量粒子才能准确跟踪手部，跟踪过程非常耗时，需要搭载GPU的高性能计算设备来加速该过程。此外，如前文所述，尽管这些传统研究讨论了手势分类，但并未充分讨论具体的手势分析，例如顾客伸手取商品时对应的是哪一个货架。我们认为这类分析对营销和安全保障都十分重要。因此，与传统研究相比，本研究针对书店场景开展这类具体的行为分析研究。 ### 3. 待分析行为 在介绍本文所提方法的流程之前，我们先在本节介绍本文研究所处理的顾客行为。 如前文所述，我们针对书店场景开展顾客行为分析。本研究使用的实验环境如图2所示，包含一个带有4层搁板的书架和一张平整桌子。在该环境下，我们研究以下10种行为，如图1所示。在 ![Image](images/17c25d13d00d3513453ee0c5afa6d600a898fd5cdfef8e516a5af1a4c524b7bd.jpg)
Figure 3. Overview of our proposed method.
图1的(a)-(d)展示了伸手取从上往下数第四层书架上书籍的动作，(e)为伸手取水平桌面上书籍的动作。本文将上述图1(a)-(e)所示的5种行为分别描述为“顶层”、“第二层”、“第三层”、“第四层”和“水平桌面”。本研究中，每名被试均使用右手取每层书架上的书籍。此外，图1的(f)、(g)、(h)展示了顾客端详书籍的行为，三者的区别如下：如图1(f)所示，顾客通过拿起书籍翻看前后封面来端详书籍；图1(g)为顾客通过阅读内容来端详书籍的浏览行为；图1(h)为顾客站在书架前端详或查找书籍的查看行为。本文将图1(f)、(g)、(h)所示的这三种行为分别命名为“拿起”、“浏览”和“查看”。此外，如图1的(i)和(j)所示，我们将顾客从左向右移动的行为定义为“左移”，将从右向左移动的行为定义为“右移”。 ### 4. 所提方法 本节将介绍本文所提方法的具体流程。图3展示了所提方法的整体框架。如图3所示，本文所提方法由两个估计模块组成：1) 结合深度信息、基于手部高度的取书动作估计，2) 结合深度信息、基于PSA的其他行为估计。前者可对图1(a)-(d)所示的取书动作进行分类，“水平桌面”行为（图1(e)）除外，原因是该行为中手部经常被顾客 --- ![Image](images/ec608e4298ee78b61b5ca421ee5e120d24725089349abaa5bea6a28f55a8555c.jpg)
(a) input top-view depth image
(b) detection result
Figure 4. Example of human detection result by using background subtraction. (a) input top-view depth image and (b) result of human detection.
身体遮挡。另一方面，后者通过提取基于深度和PSA的特征，并利用SVM对剩余行为进行分类。本文采用两个估计模块的原因是，深度信息对行为估计十分有用，尤其是手部高度信息能够帮助区分前四种行为。下文将介绍详细流程。 #### 4.1. 人体检测 本研究假设在书架上方的天花板处安装并固定了一台俯视视角的深度相机，因此相机的视野基本保持稳定。基于这一条件，与[^3]中的方法类似，我们直接采用背景减除法进行人体检测，原因是当视野内存在人体时，人体区域的深度值会发生显著变化。图4展示了“浏览”行为场景下人体检测的示例。 #### 4.2. 结合深度信息的基于手部高度的行为估计 本节将介绍结合深度信息的基于手部高度的行为估计方法。如前文所述，该模块是本文所提方法的第一个估计模块。得益于深度信息，该模块可以轻松预测顾客图1(a)-(d)所示的取书动作。该方法成立的前提是：相机固定在书架上方的天花板，且各书架的高度已提前通过深度相机计算完成，因此各书架的高度是已知信息。详细流程如下。 首先，我们利用俯视深度相机计算每个书架的高度，同时在深度图像中检测出每个书架的区域。设$d_{1}$、$d_{2}$、$d_{3}$和$d_{4}$为深度 ![Image](images/253805ec278b189b985f0ae7ab674973408ba4fedae660d8a4813c1e2d48c4f9.jpg)
(a) top
![Image](images/190a698eaf75b20d8a265d60e476ffa0644ea6fb8e6fc95b4fb3f61a3694b5f0.jpg)
(b) second
![Image](images/5aa4d20e3a388fde338fa9f54e335533968bc7e06c8865ffc93d1a8ad5b8834e.jpg)
(c) third
![Image](images/9832a8691e8736ca95c3470bb195eb9f8b1fea5b6f8626cb3e92e9afd0c974ed.jpg)
(d) fourth
Figure 5. Example of reaching gesture. In this case, a subject reaches for a book on the second shelf.
分别对应顶层、第二层、第三层和第四层书架的数值。如果顾客伸手去拿第二层书架上的书，在深度图像中，与第二层书架深度值近似相同的像素数量会增加。此外，第三层和第四层书架会被顾客的手遮挡。根据这一观察结果，我们统计$d_{1}, d_{2}, d_{3}$和$d_{4}$对应相似深度值像素的增减数量。在上述示例中，如图5所示，由于手部遮挡，$d_{2}$对应相似深度值的像素数量增加，而$d_{3}$和$d_{4}$对应相似深度值的像素数量减少。因此，通过这一深度值检查过程，我们可以预测顾客正在伸手拿取第二层书架上的书。另外，如果$d_{1}, d_{2}, d_{3}$和$d_{4}$对应相似深度值的像素没有出现增减，我们就判定顾客没有伸手拿取书架上的书。这种情况下，我们会转入第二个估计器，预测顾客的其他行为。如上所述，得益于深度信息，我们提出的方法虽然十分简单，却能够精确估计顾客的伸手拿取行为。 #### 4.3. 基于SVM的行为估计 应用第一估计器后，如果未检测到除“flat”行为之外的伸手手势，我们就会使用第二估计器。该估计器由两部分组成：1）基于深度信息和PSA的特征提取部分；2）使用SVM的行为估计部分。下文我们将详细介绍第二估计器的处理过程。 首先，我们将检测到人体的深度图像尺寸归一化为 $256 \times 256$。下文我们将归一化后的人体检测图像记为 $I_{\text{norm}}(i)$，其中i是俯视深度相机拍摄视频的帧ID。我们从 $I_{\text{norm}}(i)$ 中提取两种特征。为了提取基于深度的特征，我们将 $I_{\text{norm}}(i)$ 划分为 $m \times m$ 个块。随后，我们计算平均深度值 --- ![Image](images/685c029cfd7487d215eda542bd4244d2692b5ec0077954229af3f7505f50cacc.jpg)
Figure 6. Example of pixel states by analyzing with PSA. Green, red and black pixels indicate stationary, transient and background states, respectively.
来自每个块。经过该处理过程，我们可以得到维度数为 $m^{2}$ 的深度特征。该特征非常简单，却能有效描述姿态信息。 另一方面，我们从 $I_{\text{norm}}(i)$ 以及 $I_{\text{norm}}(i)$ 前后共s帧中提取PSA特征，也就是说，提取PSA特征共使用了 $2s + 1$ 帧图像。PSA是一种像素分析方法，通过观察像素强度随时间的变化，可将每个像素分类为静止像素或瞬变像素。在我们提出的方法中，借助PSA [^6]，我们利用 $I_{\text{norm}}(i)$ 帧判断 $2s + 1$ 的每个像素属于静止、瞬变还是背景。图6展示了经PSA分析得到的像素状态示例，图中绿色、红色和黑色像素分别表示静止、瞬变和背景状态。确定像素状态后，与深度特征提取类似，我们同样将 $I_{\text{norm}}(i)$ 划分为 $m \times m$ 个块。随后，我们在 $n \times n(n = \{1, 2, \ldots, m\})$ 块大小的窗口中统计每个像素的状态，建立具有3个区间的像素状态直方图。通过滑动该窗口，最终我们可以得到维度数为 $3 \times \sum_{j=1}^{m} j^2$ 的PSA特征。 特征提取完成后，我们直接使用一对一规则的SVM区分如图1(e)-(j)所示的6种行为。我们将深度特征和PSA特征拼接，将拼接后的特征作为SVM的输入。 ### 5. 实验 我们对所提方法在3名受试者身上开展了评估，依次采集了每名受试者的各类行为数据。实验中，在第一步验证俯视摄像头能否正确估计受试者行为时，我们假设深度图像中仅捕获到一名受试者。 #### 5.1. 实验设置 本研究中，我们采用Microsoft Kinect for Windows v2作为俯视深度相机，其分辨率为$512 \times 424$，并将其安装在货架上方的天花板上，如图2所示。此外，本次实验使用了受试者A、B、C，他们的身高分别为183[cm]、177[cm]和172[cm]。我们要求每名受试者依次完成每类行为，并用Kinect采集数据，共为3名受试者收集了21340帧数据。实验中，我们设置参数如下：m = 8，s = 7。因此，基于深度的特征和基于PSA的特征的维度分别为64和612。我们使用搭载Intel core i7-4790K CPU和8[GB] RAM的计算机进行计算。此外，我们采用LIVSVM [^4]作为SVM软件库，使用RBF核进行行为估计。本研究采用3折交叉验证进行估计，即使用2名受试者采集的帧作为训练集，1名受试者采集的帧作为测试集，通过更换测试受试者开展后续实验。 #### 5.2. 特征有效性 在展示我们所提方法的有效性之前，我们首先评估了基于深度的特征和基于PSA的特征的有效性。本实验中，为探究这一问题，我们使用了三种不同的特征组合：仅基于深度的特征、仅基于PSA的特征，以及二者的组合。此外，本实验未使用级联估计器，即所有行为均由SVM估计。 图7展示了实验结果。如图7所示，我们确认PSA特征区分抓取手势的判别能力不足，原因在于PSA特征仅衡量像素是静止还是瞬态的，该特征本身不包含深度信息。此外，从图7可以看出，“平放”行为的估计性能低于其他所有行为。本实验中，测试集的“平放”行为经常被错误估计为“第四”行为，因为两种行为的轮廓非常相似。因此我们认为，需要更具判别力的特征来提升估计性能。尽管存在上述问题，但从图7可以确认，与单一特征相比，特征组合能够实现更准确的行为估计，基于深度特征、基于PSA特征和二者组合得到的平均准确率分别为65.1%、65.0%和71.1%。 #### 5.3. 级联估计器的有效性 接下来，我们评估了所提出的级联估计器。本实验中，我们对比了本文所提方法，与上一节实验中使用的不带有级联结构的方法的行为估计性能。此外，两种方法均使用深度特征与PSA特征的组合作为SVM的输入。 图8展示了实验结果。如图 --- ![Image](images/1173af84866376e82d16943e93ee2be2425736b39f634ca5e1bef9d893eb359a.jpg)
Figure 7. Experimental results of behavior estimation accuracy with each feature.
![Image](images/c967a53255981d0c96664dcb16fbb2168be8a814163b7cd290beaa3a9b3ce8be.jpg)
method without cascade architecture method with cascade architecture
Figure 8. Experimental results with the method with and without cascaded architecture
在图8中，我们已经证实本文提出的方法能够提升行为估计性能。尤其是各类伸取行为（“顶层”、“第二层”、“第三层”和“第四层”）的性能得到了显著提升，这是因为我们有效利用了货架高度的深度信息。根据实验结果，本文提出的方法平均估计准确率达到了89.5%。尽管整体性能得到了全面提升，但如图8所示，“平躺”行为的估计准确率仍仅为48.9%。本实验中，尽管引入级联架构后，“平躺”行为已经可以和“第四层”伸取行为区分开，但仍有大量测试样本中的“平躺”行为被错误估计为“浏览”行为。我们认为这类错误源于图像归一化处理，以及“平躺”和“浏览”行为的轮廓相似性。换言之，经图像归一化后，“平躺”和“浏览”行为的轮廓相比其他行为的轮廓更为相似，这种相似性对性能造成了影响。和上一节提到的实验类似，为解决上述问题，我们认为需要具备更强判别能力的特征，这是我们未来的工作方向之一。 #### 5.4. 不同受试者的行为估计准确率探究 最后，我们使用本文提出的方法评估了不同受试者的行为估计准确率。本实验探究了个体行为差异对估计结果的影响。 图9展示了实验结果。如图9所示，受试者A、B、C的行为估计准确率分别达到了83.7%、88.2%和96.6%。受试者A的估计性能低于其他两名受试者，尤其是性能 --- ![Image](images/d49ddb575e39ae4948ae70b8d5405eaacbf2a621da4002b75de6bc7861d7b3cc.jpg)
Figure 9. Experimental results of behavior estimation accuracy with each subject.
![Image](images/8b835d0f799ff072dbd48ad4c74851a296c69af6fd562fb5fd12fceebdd5f402.jpg)
Figure 11. Experimental result by sequentially analyzing behaviors with subject C.
中受试者A的“平躺”行为显著更差。如图10所示，经尺寸归一化后，受试者A的“平躺”行为轮廓和其他受试者不同，即归一化图像中受试者A的头部位置与其他人不同。由于我们采用分块策略提取特征，本文提出的方法对人体旋转不具备鲁棒性。因此，根据实验结果可以证实，本文提出方法的性能会受个人习惯影响。本实验仅用到了3名受试者，因此为解决个人习惯带来的问题，我们认为需要在更多受试者中进一步探究本文方法的性能，这也是我们未来的工作方向之一。 此外，我们还对顺序行为分析的估计性能进行了探究。本实验中，我们选取了上述实验中表现最好的受试者C进行测试，并设计了如下场景：1）受试者C从左侧来到货架前查看货架；2）随后受试者C伸取顶层货架上的一本书，手持书本查看封面；3）之后将书本放回顶层货架。该场景中存在介于两种行为之间的模糊行为，我们将这类模糊行为定义为“其他”行为。 图11展示了对受试者C的行为依次进行分析得到的实验结果。如图11所示，我们证实本文提出的方法能够大致得到10种行为的正确估计结果。但由于所提方法没有针对模糊行为的估计策略，最终得到的行为估计准确率整体为63.5%。因此，我们需要改进所提方法，使其能够处理这类模糊行为。这也是我们未来的工作方向之一。 --- ![Image](images/1a44f230e600ab96e84d118f238bf1787f3b11192b1d25a262b4830fd66fd75d.jpg) ![Image](images/73ee813aeacc16257772c4bddf500141ba812398d453e21cc8ea692fc8a17037.jpg)
(a)
![Image](images/026ad197e4ac7ca230fa70be4ddc63819623d53ea280f767ae828b72189985d3.jpg)
(b)
(c)
![Image](images/1a995b448a6e6bc91d8e1d5c66fc0bd51e11bbfc6a3a567857b88e3ffbf1b64b.jpg) ![Image](images/85fce7119349eceaae57a4d159c6302898e6b6eb9f48b04d62e362c58cec2e81.jpg)
(d)
![Image](images/6b8b2136d096259d5f9bd0684316542c9e080dd5ceb052515297b44aee8b45a5.jpg)
(e)
(f)
Figure 10. Examples of “flat” behavior of each subject. (a), (b) and (c) show the top-view depth image of “flat” behaviors of subject A, B and C, respectively. (d), (e) and (f) show the normalized human region depth image of subject A, B and C, respectively.
### 6. 结论 本文提出了一种采用级联架构的新型人体行为分析方法，该架构包含基于深度信息的手部高度估计器，以及基于深度信息和PSA的估计器。通过模拟书店场景开展实验，得到的结果证实，我们提出的方法可以对10种行为进行估计，平均准确率达到89.5%。 未来的工作包括研究更具区分度的特征以提升估计性能，并在更多受试者上对所提方法进行评估。此外，我们提出的方法目前相对专门针对书店场景，因此需要在便利店等其他场景下对方法进行评估。更进一步来说，在门店的实际场景中，可能会同时捕获到两名及以上顾客，也可能出现我们尚未定义的模糊行为，而我们提出的方法目前并未考虑这些情况。因此，我们需要改进所提方法，使其能够同时估计两名及以上受试者的行为，也能够处理模糊行为。这也是我们未来的工作方向之一。 ## 参考文献 [^1]: S. Ardeshir and A. Borji. Egocentric Meets Top-view. In arXiv:1608.08334v2, 2016. [^2]: J. Bednařík and D. Herman. Human gesture recognition using top view depth data obtained from Kinect sensor. In Proc. of Excel@FIT, 2015. [^3]: A. Bevilacqua, L. D. Stefano, and P. Azzari. People tracking using Time-of-Flight depth sensor. In Proc. of International 发表于Conference on Video and Signal Based Surveillance，第89–89页，2006年。 [^4]: C. C. Chang and C. J. Lin. LIBSVM: A Library for Support Vector Machines. ACM Trans. Intell. Syst. Thchnol., 2(3):1–27, 2011. [^5]: T.-W. Choi, D.-H. Kim, and K.-H. Kim. Human Detection in Top-View Depth Image. Contemporary Engineering Sciences, 9(11):547–552, 2016. [^6]: H. Fujiyoshi and T. Kanade. Layered Detection for Multiple Overlapping Objects. IEICE Transactions on Information and Systems, 87(12):2821–2827, 2004. [^7]: N. Hu, G. Englebienne, and B. Kröse. Posture Recognition with a Top-view Camera. In Proc. of International Conference on Intelligent Robots and Systems, pages 2152–2157, 2013. [^8]: M. Kolesnik and T. Kuleba. Detecting, Tracking and Interpretation of a Pointing Gesture by an Overhead View Camera. In Pattern Recognition, Lecture Notes in Computer Vision, pages 429–436, 2001. [^9]: J. Liu, Y. Gu, and S. Kamijo. Recognition of Customer Behavior on the Front of Shelf from Surveillance Camera. In Proc. of IEICE Technical Report, PRMU2015-82, pages 97–102, 2015. [^10]: F. MalaWski. Top-view People Counting in Public Transportation using Kinect. Challenges of Modern Technology, 5(4):17–20, 2014. [^11]: C. Migniot and F.-E. Ababsa. 3D Human Tracking from Depth Cue in a Buying Behavior Analysis Context. In Proc. of International Conference on Computer Analysis of Images and Patterns, pages 482–489, 2013. [^12]: C. Migniot and F.-E. Ababsa. 3D Human Tracking in a Top View Using Depth Information Recorded by the Xtion Pro-Live Camera. In Proc. of 9th International Symposium on Visual Computing, pages 603–612, 2013. [^13]: O. Ozturk, T. Yamasaki, and K. Aizawa. Tracking of Humans and Estimation of Body/Head Orientation from Top-view Single Camera for Visual Focus of Attention Analysis. In Proc. of International Conference on Computer Vision Workshop, pages 1020–1027, 2013. [^14]: M. Rauter. Reliable Human Detection and Tracking in Top-View Depth Images. In Proc. of Computer Vision and Pattern Recognition Workshop, pages 529–534, 2013. [^15]: J. Serrano-Cuerda, J. C. Castillo, and A. Fernández-Caballero. Indoor Overhead Video Camera for Efficient People Counting. Jurnal Teknologi, 63(3):17–22, 2013. [^16]: A. Yao, J. Gall, G. Fanelli, and L. V. Gool. Does Human Action Recognition Benefit from Pose Estimation? In Proc. of 22nd British Machine Vision Conference, pages 67.1–67.11, 2011. [^17]: S. Yoshinaga, A. Shimada, and R. ichiro Taniguchi. Real-time people counting using blob descriptor. In Proc. of the 1st International Conference on Security Camera Network, Privacy Protection and Community Safety, pages 143–152, 2009. [^18]: zhichen Zhao, H. Ma, and S. You. Single image action recognition using semantic body part actions. In arXiv:1612.04520v1, 2016.