
# 用于日常活动识别的俯视深度序列代表性人体点

林淑君、刘安胜、许唐伟、傅立成，IEEE会士

电机工程系

台湾大学

{r02921013, d00921006, r03921002, lichen} @ntu.edu.tw

台北，台湾

摘要——本文首先提出了一种适用于垂直俯视深度图像序列活动识别的全新特征。以往多数工作主要聚焦于侧视深度或彩色图像序列，这类方案往往会遇到遮挡问题。因此，本文研究采用俯视相机设置。基于医学成像中计算机断层扫描（CT）的思路，我们将深度图像沿横断面分割为多个不同层级。代表性人体点从每个切片的区域质心提取得到，这些点可成为描述活动姿态的有效描述符。本文还采用动态时间规整算法解决序列长度不一致的问题。最终训练了一个SVM分类器来对活动进行分类。为验证本文方法的性能，我们构建了一个全新的俯视3D日常活动数据集。在实验中，我们开展了具有挑战性的跨受试者测试，验证了本文提出的代表性人体点方法的性能。结果显示，本文方法的准确率最高可达97%，与现有文献中的前沿方法相比表现优异，前景可观。

关键词；动作识别；俯视；深度；动态时间规整

## I. 引言

近年来，活动识别在计算机视觉领域获得了大量关注。该研究帮助我们理解人类活动，可应用于诸多领域，例如监控系统、人机交互和医疗健康监测。本文考虑的应用场景主要面向监测需求。对于该应用，研究目标是通过底层系统非侵入式地识别活动。换言之，识别过程不应干扰用户的日常活动，也不应要求用户在识别过程中保持特定朝向。

过去几年中，活动识别研究主要聚焦于从RGB相机拍摄的图像序列中识别人类活动。然而，该问题目前仍然充满挑战，因为RGB图像存在诸多缺陷。例如，前景很难从杂乱的背景中分割出来，且RGB图像对光照变化十分敏感。部分活动识别研究采用精度更高的传感器，例如多层激光测距仪或动作捕捉系统。

![Image](images/0fb343de9dcc142080c9bc88c3900e69ba848f7cccdaf0ccc006610b18cb8309.jpg)

<div style="text-align: center;">(a)</div>

![Image](images/4ee45de486ab46011e523afa75023f90e0ed85713e5ab7a6efe8e54aec8abdf4.jpg)

<div style="text-align: center;">(b)</div>

![Image](images/5087a9651c37dc6bcba91565725eac87c7adc013556469b1176daaa08f697b0f.jpg)

<div style="text-align: center;">(c)</div>

<div style="text-align: center;">Figure 1. An illustration of (a) top-view and side-view camera settings, (b) top-view depth images, and (c) side-view depth images.</div>

尽管这类传感器能够生成精准的人体图像，但其价格和成本过高，实现复杂度也太高，难以在实际场景中落地应用。随着Kinect和Xtion Pro这类低成本深度相机的出现，近年来利用深度相机进行活动识别的研究越来越受关注。深度图像序列具备诸多优势：它能够提供纯粹的几何和形状线索，且相较于RGB序列对光照变化的敏感度更低。此外，隐私问题方面，RGB相机通常会引发隐私顾虑：因为RGB相机采集人类活动时，得到的图像中可以清晰观察到人体外观，这会让用户在监控环境中感到不适。与之相反，深度图像仅呈现形状或轮廓，不仅能让用户更安心，也不会影响监控区域内用户的正常活动。

目前已有大量研究围绕基于深度图像序列的行为识别展开 [^1] [^2] [^3] [^4] [^5] [^6] [^7]，业界也已经涌现出MSR Action 3D、MSR Daily Activity 3D这类公开行为数据集。现有研究大多聚焦于侧视相机设置，应用场景通常为人机交互。利用侧视深度图像进行人类活动识别

---

仍是一个极具挑战性的问题，因为同一动作类别下，人体的外观、姿态和体型都存在很大差异。该方向还受多种问题困扰，比如深度图像本身存在不连续点和难以控制的噪声数据。然而，对于监控系统这类应用场景，侧视相机设置并不合适，原因如下：首先，人物很容易被其他人员或物体遮挡，如图1的(a)、(c)所示；其次，采用侧视相机设置识别人类活动时，用户必须始终面向相机，这一要求必然会干扰用户的日常活动，既不符合使用直觉，也违背了监控系统的设计理念。

为了满足用户无需面向相机、且图像对光照变化不敏感的要求，本文研究的监控系统采用了俯视深度相机设置。俯视相机设置与侧视设置的对比可参见图1。俯视相机采集的图像被其他物体遮挡的概率更低，也就是[^8]中定义的交互遮挡（inter-occlusion），并且这类图像通常能更清晰地呈现整体环境的全貌。但俯视深度图像序列也存在一些需要解决的新挑战：首先，深度图像中的自遮挡（自身遮挡，intra-occlusion）问题更严重，能获取到的有效数据点也更少；其次，和侧视深度图像一样，俯视深度图像也存在不连续点和噪声点问题，这类缺陷导致局部特征的可靠性非常差。

本文针对严重自遮挡场景下的俯视深度图像序列，提出了一种提取身体部位代表性点的新方法。该方法将图像分割为不同层级，再根据每个切片上的区域选取身体部位的代表性点。此外，本文采用动态时间规整（Dynamic Time Warping, DTW）算法对不同长度的视频序列进行对齐。为验证所提方法，本文构建了一个全新的俯视3D日常活动数据集，实验结果显示本文方法的识别准确率高达97%，性能优于现有最先进方法时空占用模式（Space-Time Occupancy Patterns, STOP） [^4]。

本文剩余部分结构安排如下：第二节简要回顾现有研究方法，第三节介绍特征提取方法与DTW算法，第四节展示了我们针对俯视深度相机设置构建的新数据集以及实验结果，最后第五节给出结论。

### 二、相关研究

目前已有大量与使用深度图像序列的侧视行为识别相关研究。就本文的研究目标而言，现有文献中的相关技术研究可分为两类：第一类围绕基于俯视相机设置的应用研究，第二类针对使用深度图像序列的行为识别研究。

如上所述，第一类研究的结果表明，俯视相机设置可以解决遮挡问题。在[^8] [^9] [^10]中，研究者开展了从俯视RGB相机拍摄的静态图像中识别人体姿态的研究。在[^8]中，研究者为每个姿态类别学习了姿态描述子，利用姿态描述子返回的匹配分数来识别姿态。需要指出的是，[^8]的研究表明，由于严重的自遮挡，从垂直俯视图像中识别姿态比侧视图像更难，这也是本文面临的主要挑战。[^11]和[^12]都在俯视设置下通过深度相机检测并跟踪人体。[^11]提出了基于图分割和头部半椭球模型的检测方案。该设置还被应用于人体身份识别[^13]。然而，受该设置自身局限性的影响，目前基于垂直俯视深度相机的行为识别还没有其他相关应用。

第二类研究围绕使用深度图像序列的侧视行为识别展开。该领域已经探索了多种特征，范围从局部兴趣点[^1]、骨骼关节[^2] [^3]、占用模式[^4]、深度运动图[^5] [^6]，再到表面法向量[^7]。

一般而言，基于深度图像序列的局部兴趣点方法（例如DSTIP [^1]）由于深度图像本身存在噪声且不连续，可靠性较差。与之相反，骨架的人体关节点是更可靠的兴趣点。因此，基于人体骨架关节点的方法被提出于[^2]。但在垂直俯视视角场景下，身体大部分部位都不可见，因此无法获取人体骨架。另一方面，与局部兴趣点和骨架关节点相比，基于占据模式的方法对噪声的敏感度更低。例如，[^4]引入了时空占据模式来表示深度图像序列，该方法将4D子体划分为多个单元，对落入每个单元的点进行计数，研究者还声称该方法相比其他方法能更好地容忍类内差异。此外，深度运动图方法将三维点云转换到二维空间[^5]，[^6]，所谓深度运动图就是每两张相邻深度图之间的累积差。在[^5]中，HOG特征从深度运动图中提取，被用作行为序列的表示。HON4D [^7]利用多胞体对四维空间进行量化，提取四维表面法向量来表示深度图像序列。

如前所述，俯视深度图像中存在严重的自遮挡和不连续点，这是我们面临的主要挑战。基于骨架和人体关节的方法无法直接应用于垂直俯视场景。因此，本文提出一种从俯视图像中提取代表性人体点的方法，用于行为识别。

### 三、行为特征提取

### A. 特征提取

对于俯视深度图像序列而言，自遮挡时常会发生。但仍然存在可用于识别底层行为的模式。对于不同行为，俯视摄像头能观测到的身体部位也不同。以行走行为为例，俯视深度图像中只能看到头部和肩膀；而坐下行为不仅能看到头部和肩部，还能露出背部和上

---

腿部，可在俯视深度图像中被观测到。基于这一观测结果，下文将提出一种提取这些身体部位代表性点的算法

序列中的每一幅深度图像被分割为K个层，类似计算机断层扫描（CT）切片，相邻两层之间的深度间隔被设为固定值，K是我们实验中预先选定的参数$(K=3$ in our experiment). 在此之后，可基于经典轮廓查找算法得到每一切片的区域。本文算法将第k层中每个区域的质心看作身体部位兴趣点的候选。

给定包含L幅深度图像的序列($S_1,...,S_L$)，每一幅图像$S_t$从最小深度值开始被分割为K个层，这K幅分割后的图像记为$f_k(x,y), k\in[1,K]$。对于第k层图像$f_k(x,y)$，第i个区域的质心$C_k^i$表示为$P_k^i(X_k^i,Y_k^i,Z_k^i)$，其计算公式如下：

 $$ X_{k}^{i}=(m_{10})_{k}^{i}/(m_{00})_{k}^{i}. $$

 $$ Y_{k}^{i}=(m_{01})_{k}^{i}/(m_{00})_{k}^{i}. $$

 $$ Z_{k}^{i}=\frac{\displaystyle\sum_{(x,y)\in C_{k}^{i}}f_{k}(x,y)}{|C_{k}^{i}|}. $$

其中$(m_{00})_{k}^{i}=area_{k}^{i},(m_{10})_{k}^{i}$和$(m_{0k})_{k}^{i}$是区域$C_{k}^{i}$的矩，二者可通过以下公式计算：

 $$ area_{k}^{i}=(m_{00})_{k}^{i}=\sum_{(x,y)\in C_{k}^{i}}B_{k}(x,y). $$

其中$B_{k}(x,y)$是$f_{k}(x,y)$的二值图像。

 $$ (m_{10})_{k}^{i}=\sum_{(x,y)\in C_{k}^{i}}x B_{k}(x,y). $$

 $$ (m_{01})_{k}^{i}=\sum_{(x,y)\in C_{k}^{i}}y B_{k}(x,y). $$

需要注意的是，仅会考虑满足$C_k^i$条件的区域$area_k^i > threshold$。这种基于面积的准则是为了确保我们的算法不会将噪声点产生的区域纳入考虑范围。

为了找到人体部位的代表点，我们需要根据以下约束条件来确定质心：

- 头部层是从最小深度值$Z_{min}$开始分割得到的层，该最小深度值是俯视人体检测器[^11]边界框内所有深度值的最低点。头部层的区间定义为从$Z_{min}$到$Z_{min} + distance$，间隔为两个相邻层之间的深度距离。但受传感器噪声影响，最小深度值有时会不准确。为了解决这个问题，最小深度值$Z_{min}$需要选取为拥有足够点云数量的最小深度值。

头部层中仅有一个代表点。该代表点的物理含义实际上就是头部中心点。

 $$ N_{H}=1. $$

设$N_{k}$表示第k层中纳入考虑的质心点数量，在本文方法中头部层的索引记为H。

通常情况下，仅会考虑比头部层低1~2层的层，它们分别记为第$(H+1)$层和第$(H+2)$层。对于这两层中的每一层，仅考虑两个代表点，即：

 $$ N_{H+1}=N_{H+2}=2. $$

该设计的原因在于，活动执行过程中，部分人体部位并不总会出现在深度图像中。例如，行走活动中，人腿的面积较小，有时部分腿部会因自遮挡消失。因此，我们将要考虑的人体点数量设为固定值，以此剔除噪声部分。

由于$N_{H}=1$和$N_{H+1}=N_{H+2}=2$，部分无用的质心需要被剔除。对于第k层，质心$C_{k}^{i}$会按照对应区域$area_{k}^{i}$的面积从大到小排序。随后，选取前$N_{k}$个质心作为第k层的代表点。需要注意的是，如果第k层中找到的质心数量少于$N_{k}$，则会补零以保持特征向量的维度不变。特别地，这些$N_{H}+N_{H+1}+N_{H+2}$个点会被作为深度图像$F_{t}$的特征向量$S_{t}$。

不同姿态下得到的代表点示例如图2所示。对于不同的姿态，质心位置差异很大。需要注意的是，尽管深度值很难在二维图像中展示，但代表点$Z_{k}^{i}$对应的实际深度值$P_{k}^{i}(X_{k}^{i}, Y_{k}^{i}, Z_{k}^{i})$对于俯视视角的行为识别来说信息含量很高。

从每张深度图像$F_{t}$中提取得到的特征向量$S_{t}$（t=1:L）被拼接为该活动序列的一个特征向量，随后使用SVM分类器进行行为识别。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>(a) stand</td><td style='text-align: center; word-wrap: break-word;'>(b) sit</td><td style='text-align: center; word-wrap: break-word;'>(c) bending</td><td style='text-align: center; word-wrap: break-word;'>(d) squating</td><td style='text-align: center; word-wrap: break-word;'>(e) mahjong</td><td style='text-align: center; word-wrap: break-word;'>(f) fall down</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Original image</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Head Layer</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Head Layer+1</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Head Layer+2</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr></table>

<div style="text-align: center;">Figure 2. The examples of the representative points, which are the red points, found in different layers. (a) ~ (f) are the different postures consisting of each activity sequence. The number K is equal to 3 in this experiment.</div>

### B. 动态时间规整（Dynamic Time Warping）

由于不同受试者完成动作的风格和速度存在差异，活动序列长度随序列不同而变化，因此特征的表示也各不相同。但对于同一活动而言，即便受试者、动作风格不同，特征向量也应当保持一致存在。为了对齐序列长度，动态时间规整（Dynamic Time Warping, DTW）算法提供了良好的解决方案。DTW [^14] 是一种用于模板匹配的动态规划技术，最初被应用于语音处理领域。DTW的目标是通过反复扭曲时间轴找到最优匹配，从而实现两个特征向量序列的对齐。DTW应用广泛，因为它可以高效计算两个模板之间的相似度，还能最小化偏移和失真带来的影响。借助匹配结果，特征向量的长度可以被规整为固定长度，从而让SVM分类器的使用更加便捷。

例如，给定长度分别为N和M的两个时间序列A和B，DTW算法会计算这两个序列$A=(A_{1},...A_{N})$和$B=(B_{1},...B_{M})$之间的相似度，目标是找到能让距离最小化的匹配规整路径$W=\{(p_{1},q_{1}),(p_{2},q_{2}),...,(p_{K},q_{K})\}$。

 $$ D(A,B)=\arg\min_{W}(\sum_{k=1}^{K}d(a(p_{k}),b(q_{k})) $$

其中$D(i,j)$是$A(1:i)$和$B(1:j)$之间的DTW距离，对应从$(1,1)$到$(i,j)$的映射路径。本文此处的度量$d(\circ)$采用欧氏距离。为了得到最优规整路径W，需要满足以下额外约束：

- 边界条件：序列的起始索引和结束索引应当相互对齐，也就是说，起始点和终点分别对应规整路径元素的第一对和最后一对。

  $$ \begin{aligned}(p_{1},q_{1})&=(1,1).\ $ p_{K},q_{K})&=(N,M)\end{aligned} $$

- 单调性条件：对于路径中任意给定节点$(i,j)$，可能的入节点被限制为$(i-1,j),(i,j-1),(i-1,j-1)$，如图3所示。该约束可以保证路径是非递减的，i和j索引都只能保持不变或者增大，绝不会减小。

- 连续性条件：索引每次的增量被限制为一步。

为了找到规整路径和最终距离，我们结合初始条件$D(1,1) = d(a(1),b(1))$应用递归法，即可得到最终距离$D(n,m)$和最优规整路径W。

 $$ D\big(i,j\big)=D\big(i,j\big)+\min\Big\{D\big(i-1,j\big),D\big(i-1,j-1\big),D\big(i,j-1\big)\Big\}. $$

---

![Image](images/3b123796e30168382de5ba14e2586ae66dce9e7e571ad33cb116f3eb4c2b3d1b.jpg)

<div style="text-align: center;">Figure 4. An illustration of the sensor setup. Xtion Pro camera is mounted on the ceiling with 3 meters height and for a person around 1.75 meters high, the sensing range is  $3.5 \, m \times 2.5 \, m$</div>

### 四、实验结果

下文将详细介绍我们针对俯视视角日常活动识别构建的全新3D数据集，随后展示本文方法的评估结果，并与现有最优研究工作——时空占用模式（Space-Time Occupancy Pattern, STOP）[^4]进行对比。实验结果表明，在我们的新数据集上，本文方法的性能优于现有最优方法。

### A. 俯视视角3D日常活动数据集

为了测试我们提出的方法，我们构建了这个新数据集，原因在于现有研究大多聚焦于侧视深度图像，目前尚无由俯视深度相机采集的数据集。为了录制我们的俯视数据集，所有序列均由安装在3米高天花板上的Xtion Pro相机采集得到。对于身高约1.75米的人来说，感应区域为3.5米 $\times$ 2.5米。我们的系统设置示意图可参见图4。在该数据集中，我们通过背景减除法[^15]去除了背景，提取出包含受试者的前景，之后会将其转换到世界坐标系中。尽管如此，由于数据集中存在大量不连续点，该数据集仍然具有很高挑战性。

该新数据集包含6种日常活动，分别为行走、起立、坐下、下蹲、打麻将和摔倒。这6种活动在监控系统（尤其是老年健康护理系统）中十分常见。每种活动由9名不同的受试者完成：7名男性，2名女性。受试者的身高范围为1.6米至1.9米，这使得同一类别活动的特征向量差异较大，因此该数据集的挑战性很强。每名受试者完成每种活动三次，因此我们的俯视日常3D活动数据集总共有162个活动序列。该数据集中六种活动的示例帧可参见图5。

### B. 行为识别结果

在使用本文提出的代表性身体点进行活动识别之前，我们通过DTW解决了序列长度不一致的问题。直方图被用于

<div style="text-align: center;">TABLE I. THE EXPERIMENTAL RESULT</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Accuracy</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Representative Body Points</td><td style='text-align: center; word-wrap: break-word;'>97.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>STOP [^4]</td><td style='text-align: center; word-wrap: break-word;'>92.6</td></tr></table>

![Image](images/d3efc267bc0c9a999da80599b1db943c5d6bbb157879614f23a62bf932ef7b79.jpg)

<div style="text-align: center;">Figure 5. Example frames of six activities from the Top-View 3D Daily Activity Dataset. Each row shows four example frames in each activity. Note that, in the "sit down" and "stand up" activities, they have similar motion and shape; however, they occur in different spatiotemporal orders.</div>

DTW算法处理后可得到规整后的活动序列。俯视图像的深度值范围为500mm至3700mm，在我们的实验中，每张图像从最小深度值开始被分割为3层，即头部层，相邻两层之间的深度间隔为220mm。

我们的实验采用具有挑战性的跨受试者测试，即测试集中的受试者从未在训练集中出现过。跨受试者测试可以评估方法能否耐受类内差异，也就是不同受试者以不同风格完成同一活动的差异。此外，这种测试更贴近真实世界中的实际活动识别场景，因为我们无法提前获取每个人的数据进行预训练。在我们的实验中，随机选择5名受试者的15个活动序列作为训练集，剩余4名受试者的12个活动序列作为测试集。整个跨受试者测试重复进行3次，最终得到平均结果。

为了与现有其他方法进行比较，我们实现了STOP方法[^4]。该方法声称深度图像的所有特征都会被表示到4D体中，整体空间占据投影不会受到视点变化的影响，因此适合我们的数据集。我们调整了4D体的参数以获得最佳性能，沿x轴、y轴各分为10段，z轴分为16段，t轴分为4段。需要注意的是，MSR Action 3D数据集这类侧视序列中的深度值z约为500mm，而我们的俯视序列中的深度值z要大得多，范围为500~3700mm。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="7">Representative Body Parts</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>walk</td><td style='text-align: center; word-wrap: break-word;'>100</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>stand up</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>100</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>sit down</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>91.7</td><td style='text-align: center; word-wrap: break-word;'>8.3</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>equat</td><td style='text-align: center; word-wrap: break-word;'>2.8</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>97.2</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>play mahjong</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>2.8</td><td style='text-align: center; word-wrap: break-word;'>97.2</td><td style='text-align: center; word-wrap: break-word;'>0.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>fail down</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>walk</td><td style='text-align: center; word-wrap: break-word;'>stand up</td><td style='text-align: center; word-wrap: break-word;'>sit down</td><td style='text-align: center; word-wrap: break-word;'>equat</td><td style='text-align: center; word-wrap: break-word;'>play mahjong</td><td style='text-align: center; word-wrap: break-word;'>fail down</td><td style='text-align: center; word-wrap: break-word;'></td></tr></table>

<div style="text-align: center;">(a)</div>

<div style="text-align: center;">STOP: Space-Time Occupancy Pattern</div>

![Image](images/4d6cd58f661e76bac6cf933ee659f66be76546338b5045c9ee3c64d8b72b8a36.jpg)

<div style="text-align: center;">(b)</div>

<div style="text-align: center;">Figure 6. The Confusion matrix of our experimental result. (a) Representative Body Parts approach and (b) STOP [^4] approach.</div>

<div style="text-align: center;">This is the reason why we partition z axis in 16 segments rather than 10 segments in z axis as in [^4].</div>

结果的量化展示如下文所述。我们的方法和STOP方法的混淆矩阵展示在图6中，x轴标签为真实类别，y轴标签为预测结果，平均准确率展示在表I中。

我们注意到，本文方法的准确率可达97%，优于STOP方法，且我们的方法在大多数动作上都表现优异。混淆矩阵可以展示错误分类的结果。尤其在坐下和下蹲这两类动作上，STOP方法无法对其正确分类。相反，应用代表性身体点后，每个类别仅出现1到2个混淆序列。由于这两类动作的STOP特征在四维空间中的分布相近，因此二者的特征十分相似。如图5所示，这两类动作仅在整个序列的结束姿态上存在细微差异。因此，STOP方法提取的特征对这两类动作而言存在歧义。与之相比，我们提出的代表性身体点对这两类动作的刻画更准确。因此，无论是从混淆矩阵还是平均准确率来看，我们方法的分类结果都更出色。

### 五、结论

本文针对动作识别提出了一种全新的特征，定义为代表性身体点。代表性身体点集合从俯视视角深度图像序列的横切面分层图像中提取得到。为了对齐不同长度的序列，本文还采用了动态时间规整算法。在评估阶段，我们构建了一个全新的俯视视角3D日常动作数据集，该数据集包含6种不同动作，每个动作由9名不同受试者各完成三次。我们的实验开展了更具挑战性的跨受试者测试，结果表明，本文方法的准确率可达97%，性能优于现有最优方法STOP [^4]。此外，本文方法不存在STOP方法中出现的严重序列混淆问题，这说明我们提出的特征能够缓解动作歧义现象。总体而言，在俯视深度图像场景下，代表性身体点不仅能够解决遮挡、自遮挡以及歧义序列问题，还能为动作识别及其应用提供效果优异的特征。

## 参考文献

[^1]: X. Lu and J. K. Aggarwal, "Spatio-temporal Depth Cuboid Similarity Feature for Activity Recognition Using Depth Camera," in Computer Vision and Pattern Recognition (CVPR), IEEE Conference on 2013, pp. 2834-2841.

[^2]: W. Jiang, L. Zicheng, W. Ying, and Y. Junsong, "Mining actionlet ensemble for action recognition with depth cameras," in Computer Vision and Pattern Recognition (CVPR), IEEE Conference on 2012, pp. 1290-1297.

[^3]: X. Lu, C. Chia-Chih, and J. K. Aggarwal, "View invariant human action recognition using histograms of 3D joints," in Computer Vision and Pattern Recognition Workshops (CVPRW), IEEE Computer Society Conference on, 2012, pp. 20-27.

[^4]: A. Vieira, E. Nascimento, G. Oliveira, Z. Liu, and M. M. Campos, "STOP: Space-Time Occupancy Patterns for 3D Action Recognition from Depth Map Sequences," in Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications. vol. 7441, ed: Springer Berlin Heidelberg, 2012, pp. 252-259.

[^5]: X. Yang, C. Zhang, and Y. Tian, "Recognizing actions using depth motion maps-based histograms of oriented gradients," presented at the Proceedings of the 20th ACM international conference on Multimedia, Nara, Japan, 2012.

[^6]: C. Chen, R. Jafari, and N. Kehtarnavaz, "Action Recognition from Depth Sequences Using Depth Motion Maps-Based Local Binary Patterns," in Applications of Computer Vision (WACV), IEEE Winter Conference on 2015, pp. 1092-1099.

[^7]: O. Oreifej and L. Zicheng, "HON4D: Histogram of Oriented 4D Normals for Activity Recognition from Depth Sequences," in Computer Vision and Pattern Recognition (CVPR), IEEE Conference on, 2013, pp. 716-723.

[^8]: H. Ninghang, G. Englebienne, and B. Krose, "Posture recognition with a top-view camera," in Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on, 2013, pp. 2152-2157.

[^9]: S. Weerachai and M. Mizukawa, "Human behavior recognition via top-view vision for intelligent space," in Control Automation and Systems (ICCAS), 2010 International Conference on, 2010, pp. 1687-1690.

[^10]: Q. Lin, C. Zhou, S. Wang, and X. Xu, "Human Behavior Understanding via Top-View Vision," AASRI Procedia, vol. 3, pp. 184-190, 2012.

[^11]: T. Ting-En, L. An-Sheng, H. Po-Hao, H. Cheng-Ming, and F. Li-Chen, "Real-time people detection and tracking for indoor surveillance using multiple top-view depth cameras," in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2014, pp. 4077-4082.

[^12]: M. Rauter, "Reliable Human Detection and Tracking in Top-View Depth Images," in Computer Vision and Pattern Recognition Workshops (CVPRW), 2013 IEEE Conference on, 2013, pp. 529-534.

[^13]: D. Kouno, K. Shimada, and T. Endo, "Person Identification Using Top-View Image with Depth Information," in Software Engineering, Artificial Intelligence, Networking and Parallel & Distributed Computing (SNPD), 13th ACIS International Conference on 2012, pp. 140-145.

[^14]: Q. K. L. Chinh Huu Pham, Thanh Ha Le, "Human Action Recognition Using Dynamic Time Warping and Voting Algorithm," VNU Journal of Science, vol. 30, pp. 22-30, 2014.

[^15]: A. B. Klaus Greff, Stephan Krauß, Didier Stricker, Esteban Clua, "A Comparison between Background Subtraction Algorithms using a Consumer Depth Camera," International Conference on Computer Vision Theory and Applications, 2012.
