# 基于深度图与姿态的深度卷积神经网络人体动作识别 Aouaidjia Kamel、Bin Sheng $^{ID}$、Po Yang、Ping Li $^{ID}$、Ruimin Shen、David Dagan Feng $^{ID}$，IEEE会士 摘要——本文提出了一种基于卷积神经网络（CNN）、利用深度图和姿态数据进行人体动作识别的方法（Action-Fusion）。我们采用两种输入描述符对动作进行表征：第一种输入是深度运动图，它累积了某个人体动作的连续深度图；第二种输入是本文提出的运动关节描述符，用于表征身体关节随时间的运动变化。为了最大化特征提取能力，实现精准的动作分类，我们使用不同输入训练了三个CNN通道：第一个通道仅使用深度运动图（DMI）训练，第二个通道同时使用深度运动图和运动关节描述符训练，第三个通道仅使用运动关节描述符训练。三个CNN通道输出的动作预测结果将被融合，得到最终的动作分类，我们还提出了多种融合分数运算方法，以最大化正确动作的得分。实验结果表明，融合三个通道输出的结果优于仅使用单通道或仅融合两个通道的结果。本文提出的方法在三个公开数据集上完成了评估：1）微软三维动作数据集（MSRAction3D）；2）德克萨斯大学达拉斯分校多模态人体动作数据集；3）多模态动作数据集（MAD）。测试结果表明，本文提出的方法在MSRAction3D数据集上的表现优于绝大多数现有先进方法，例如四维定向法线直方图法和ActionNet。尽管与现有动作RGB-D数据集相比，MAD数据集包含更多动作（共35类），本文方法在该数据集上的性能仍比现有最先进方法高出6.84%。 索引术语——动作识别、卷积神经网络（CNNs）、深度运动图（DMI）、运动关节描述符（MJD）。 稿件收到日期：2018年1月30日；接受日期：2018年6月8日。出版日期：2018年7月11日；当前版本日期：2019年8月16日。本工作部分得到中国国家自然科学基金（项目编号61572316、61671290）、香港研究资助局（项目编号28200215）、中国国家高技术研究发展计划（863计划，项目编号2015AA015904）、中国国家国际科技合作重点项目（项目编号2016YFE0129500）、上海市科学技术委员会（项目编号16DZ0501100、）以及上海交通大学交叉学科项目（项目编号14JCY10）资助。本文由副主编K. Panetta推荐。（通讯作者：Bin Sheng） ## 一、引言 人体动作识别对于各类需要获取人类行为信息的计算机视觉应用而言必不可少，应用场景包括公共安全监控、人机交互应用与机器人领域 [^1] [^2] [^3] [^4] [^5] [^6]。目前已发展出多种人体动作识别系统，例如基于视频的人体动作识别 [^7] [^8] [^9] [^10]、基于可穿戴传感器的人体动作识别 [^11] [^12] [^13] [^14] [^15]、基于无线传感器网络的人体动作识别 [^16] 等。在这类研究中，基于视频的人体动作识别技术因识别精度高、部署便捷，获得了更多研究关注，已被广泛应用于大量工业场景中。 传统上，基于视频的人体动作识别方法大多通过处理二维（2-D）RGB彩色图像序列，借助HMM [^18]、KNN [^19]、模板匹配 [^20]、动态贝叶斯网络 [^21]、SVM [^7] 等分类器，生成团块特征、运动能量图、光流等全局或局部特征表示。尽管这类方法在背景简单的数据集（例如KTH数据集 [^22]）上识别跑步、弯腰、挥手这类简单人体动作时，准确率可达97%，但它们对影响RGB图像质量的干扰因素十分敏感，例如复杂背景、光照变化和衣物颜色，这导致很难在所有场景中分割出人体。此外，语义等价的动作也可能因个体差异呈现出不同的肢体运动方式；另一方面，两个不同动作若拥有相似的运动轨迹，会进一步提升正确区分的难度。彩色图像缺少深度线索，会大幅降低动作识别的区分能力，对识别效果产生负面影响，尤其是当动作沿相机方向完成时。为了克服上述局限，近年来的人体动作识别技术 [^23] [^24] [^25] [^26] [^27] 开始引入深度相机，提供三维（3-D）深度数据，其输出形式为RGB-D图像，具备光照不变性、色彩一致性和深度信息，能够缓解人体运动的歧义性。为了准确估计人体骨骼关节的姿态，进而完成人体动作识别，研究人员结合深度相机、RGB相机或可穿戴设备的多源传感数据，构建了多套人体动作捕捉系统。 在这些动作捕捉系统中，得益于Kinect [^28]这类高性价比设备的普及，以及具有表现力的 --- ![Image](images/973fb43a3cf9af7302c341892858fec515c6f4003e20a9ae9f6a3e6bebe4a0f0.jpg)
Fig. 1. Our proposed three channels CNN model for action recognition. Gray layers represent the feature maps outputs after applying convolutional and max-pooling operations. The size of the output feature maps is shown on the top of layers. STD: stride, PAD: padding.
依托深度图和身体姿态可提供的特征，使用深度图或身体姿态表示人体运动以开展行为识别的方法已经变得十分流行。但这类方法在现有技术条件下仍存在诸多局限。首先，传统基于深度图数据的人体行为识别通常需要构建多视图深度图数据集，提取大量特征，才能为每个人体动作提供独特表征以用于分类。例如，两个动作从正面视角看可能十分相似，但从侧面视角看则存在明显差异。如果对多视图数据做特征提取[^29]，则有可能区分出这两个动作，而搭建多视角采集系统并收集足够特征的过程十分耗时。其次，使用人体姿态数据表征人体动作对关节运动非常敏感，几乎不存在两个动作在运动过程中拥有完全一致的关节坐标，这会导致两个语义相同的动作仅因执行方式存在细微差异，就被识别为不同动作。最后，现有使用深度图或身体姿态数据的方法通常采用SVM这类传统分类器，需要人工提取特征。近年来，受人类视觉皮层分层处理机制启发的深度学习，尤其是卷积神经网络（CNN），在图像分类任务中取得了巨大成功[^30]，[^31]。因此，基于上述考量，本文致力于研究一种融合单深度图与身体姿态的新方法，以实现性价比更高、更准确的人体行为识别。 本文针对基于深度图和姿态数据的人体行为识别任务，提出了一种基于深度CNN模型三通道结构的新方法（Action-Fusion）。CNN是一种强大的特征提取与分类技术，能够自动从训练数据中学习判别性特征，使用CNN从动作表征中提取特征对行为识别而言具备显著优势。事实上，深度图特征更适合对执行方式存在细微差异的语义等价动作进行分类。前述分析启发我们：更优的行为识别方法应当融合两类数据，用一类数据的优势弥补另一类数据的不足，平衡特征利用效果，最终得到可用于准确分类动作的鲁棒动作表征。 本文采用两种描述子表征人体动作：深度运动图像（DMI）描述子用于表征深度图序列，运动关节描述子（MJD）用于表征身体姿态序列。本文使用DMI描述子的方式与[^29]中的方法不同。前人研究中，研究者从正视图和侧视图分别计算描述子，再用得到的结果计算另外两个描述子。但本文证明，仅使用正视图得到的描述子结合MJD，就足以得到当前最优的结果，因此计算复杂度更低。DMI整合了一个动作的所有深度图，用于捕捉人体运动的深度变化。本文的计算方法基于一次性计算所有动作帧的深度变化，而非在相邻两帧之间依次计算。MJD的设计灵感来自[^32]。前人工作中使用笛卡尔坐标表示方法，而本文提出一种鲁棒的人体关节随时间运动的表示方法，改用球坐标而非直接使用笛卡尔坐标。选择球坐标对运动建模的动机在于，人体关节通常以身体髋部中心这个固定点为圆心做圆周运动。角度变化能够提供更多关于关节运动方向的信息，这与 --- ![Image](images/635b982183f61b916c0645fad119cf37340546ffe6197e81f041a6858075fe7d.jpg)
Fig. 2. MJD. An example of draw circle action from the MSRAction3D dataset. Left-Top: skeleton sequence. Left-Bottom: the creation of RGB MJD image, where N is the total number of frames, s is the joint number, and n is the frame number. Right: skeleton model shows the three spherical coordinates of joint $j_{9}$.
![Image](images/4c1fd9e727e196d6185f9b917a8c07ba473a2c4ec883833ea8d22ab8c1cef0ad.jpg)
Fig. 3. DMI. An example of draw circle action from MSRAction3D dataset. Left: depth maps sequence. Middle: DMI. Right: cropped ROI and resized to $112 \times 112$.
仅能提供关节位置变化的笛卡尔坐标表示不同。 本文提出的动作识别流程包含三个CNN通道，使用DMI和MJD描述子训练，用于特征提取和分类。第一个通道使用DMI训练，第二个通道由两个子通道连接而成：一个子通道用DMI训练，另一个子通道用MJD训练。第三个通道仅使用MJD训练。每个通道都会输出对应动作的得分。实验发现，取三个CNN通道的最大得分会导致测试集预测精度较低。为了最大化正确动作的得分，本文提出并分析了五种得分操作，以选出能够准确预测正确动作的最优操作。总体而言，所提方法从CNN通道得到三个输出，再通过三个通道间的融合操作得到另外五个输出。取所有输出中的最大动作得分作为最终的动作预测结果。三个CNN通道共同得到的结果优于仅使用单通道或两个融合通道得到的结果。事实上，每个通道学到的特征是其他通道无法获取的，因此将所有通道结合能够得到更好的结果。本文将所提方法的实验结果与三个公开数据集上的现有最优方法进行了对比，三个数据集分别为：1）微软3D动作数据集（MSRAction3D）；2）德克萨斯大学达拉斯分校多模态人体动作数据集（UTD-MHAD）；3）多模态动作数据集（MAD）。对比结果表明，本文方法的动作识别准确率优于大多数现有方法，同时即使在MAD这类动作数量较多的数据集上，识别准确率依然保持稳定。本文所提工作的贡献可总结如下。 1）本文利用深度图和姿态数据，提出了一种有效的三通道深度CNNs方法。该方法有助于改善单一类型数据用于动作识别的缺陷。本文已使用三个通用数据集对所提方法进行了全面的性能评估。结果表明，与[^23]、[^24]和[^33]等现有最优方法相比，所提方法能够高效准确地识别人类行为，准确率更高。 2）本文提出了一种新的MJD描述子，以球坐标形式表示关节运动。除关节姿态变化外，该描述子还可通过角度大小提供关节运动方向的关键信息。本文还采用DMI描述子仅从正面视角（而非两个视角）表示动作深度的变化，例如[^29]。MJD表示方法信息丰富，对提升整体准确率有很大作用，能够有效替代缺失的侧视角信息。图1展示了这两个描述子如何由三通道CNN模型处理。图2和图3分别展示了原始数据到MJD和DMI的转换过程。 3）本文提出分数融合操作，用于从训练模型的三个CNN通道预测正确动作。三个通道中的每一个都会为每个动作生成一个分数。通常，分数最高的动作即为正确动作。但可能出现两个或三个通道对不同动作都给出最高分的情况，此时我们无法确定应当参考哪个通道的结果。另一方面，正确动作的分数也可能低于CNN通道生成的其他动作分数。融合操作的作用是，无论三个通道的预测结果如何，都能将正确动作的分数最大化。 4）大规模训练数据是CNN模型获得准确预测结果的关键成功因素之一。由于缺乏大规模RGB-D动作识别数据集，上述两种动作表示方法有助于在小规模数据上增强学习过程，这意味着训练计算时间更短，同时学习准确率更高。 ### 二、相关工作 近年来，机器人领域的动作识别因人机交互的需求变得愈发热门。由于真实场景中人类动作种类多样，动作识别需要使用不同类型的特征来进行动作表示。[^34]中的研究针对第一人称交互动作识别问题开展研究，使用了机器人在与人类交互过程中采集的数据集。他们的方法拼接了不同类型的描述子来识别人类活动。Ryoo等人[^35]扩展了[^34]中提出的数据集，将其用于早期动作识别，以避免机器人在交互过程中发生有害动作。Gori等人[^36] --- 将最先进的动作识别方法应用于复杂人类动作的分类任务，该动作数据集由移动机器人在真实环境中采集，包含不同尺度下自发完成的、存在遮挡的以及多人参与的动作。Duckworth等人[^37]也使用移动机器人进行长期观测下的动作识别，他们将骨骼关节序列编码为定性空间表示。 近年来已有多种基于深度的方法被报道可提升人类行为识别的准确率。[^25] 中提出了一种基于从深度图采样得到的三维表示构建的动作图，用于对人体运动建模。已有多种四维（4-D）描述子被用于表示人体行为。在 [^23] 中，方向四维法向量直方图（HON4D）被用于描述包含空间坐标、深度和时间的四维空间中的行为。Vieira 等人 [^38] 也通过将空间轴和时间轴划分为多个分段，将深度序列表示在四维网格中。[^39] 提出了另一种名为随机占用模式的四维描述子，该描述子可处理噪声和遮挡问题，提升方法的鲁棒性。利用不同视角进行行为识别可获得更具判别性的特征。Kim 等人 [^29] 从深度图的正视图生成了侧视图，两个视角都被转换为深度运动外观和深度运动历史（DMH）描述子，之后使用这两个描述子训练支持向量机（SVM）对行为进行分类。近期 [^40] 通过旋转正视图中的三维点生成了顶视图和侧视图，三个视角分别作为三个CNN模型的输入，用于特征提取和分类。 与基于深度的方法并行发展，基于骨架的方法也为行为识别研究做出了巨大贡献。在 [^24] 中，每个关节对应一个局部占用模式描述子，该描述子具有平移不变性，可提供高判别性特征。作者还提出了名为傅里叶时间金字塔的时间运动表示方法，用于对关节运动建模。[^41] 中提出的特征关节（EigenJoints）是一种新型特征，可整合包含静态姿态、运动和偏移特征在内的多种行为信息。[^42] 提出了一种基于稀疏编码和时间金字塔匹配的框架，用于更好地表示三维关节特征。[^26] 中提出了名为三维关节位置直方图（HOJ3D）的方法表示人体关节位置，之后从HOJ3D向量构建姿态词，使用隐马尔可夫模型训练后对行为进行分类。在 [^27] 中，提出了一种用于在线人体行为识别的框架，该框架使用新型结构化流骨架特征，可处理包括视角、人体测量特征、执行速度和个人风格在内的类内变化。Zanfir 等人 [^43] 提出了用于低延迟人体行为和活动识别的非参数移动姿态（MP）方法，该框架考虑了时间窗口内当前帧中关节的姿态信息、速度和加速度。[^44] 报道了一种分层动态框架，该框架使用深度信念网络进行特征提取，并将动态结构编码到基于HMM的模型中。Wang 等人 [^45] 通过对人体姿态的时空结构建模，解决了视频中的行为识别问题。该方法首先优化姿态估计，之后将关节分组为五个身体部位，应用数据挖掘技术获取用于行为表示的时空姿态结构。Du 等人 [^32] 和 Ke 等人 [^46] 将关节坐标转换为二维图像描述子，使用CNN对行为进行分类。最新的研究工作（SOS）[^33] 和关节轨迹图方法 [^40] 提出了一种新方案，将三维空间中的骨架关节轨迹形状转换为三张图像，分别表示关节轨迹形状的正视图、顶视图和侧视图，之后使用三个CNN从这三张图像中提取特征，对行为进行分类。 CNN [^47] 是一种用于特征提取和分类的强大技术。近年的动作识别方法开始更多地聚焦于使用CNN而非SVM进行动作分类。深度学习领域的研究者始终致力于提出新技术来优化CNN架构，提升特征提取、分类的性能以及计算速度。Gu等人[^48]从正则化、优化、激活函数、损失函数、权重初始化等方面总结了CNN的最新研究进展。近年基于CNN的动作识别方法多采用多动作表示方案，使用多个CNN通道进行处理。在[^49]中，研究者提出了多种特征拼接架构，通过融合多源知识提升分类准确率。 尽管现有方法已经取得了不错的效果，但动作识别问题仍未得到完全解决，需要更鲁棒的动作表示和特征提取技术来提升准确率，克服现有方法的缺陷。为此，本文提出的研究工作探索了同时使用深度图和姿态两类数据的方案，通过发挥二者在特征提取与分类中的价值提升动作识别效果。 ### III. 动作识别方法 本文的动作识别框架如图4所示。我们使用两类数据序列进行动作表示：1）深度图，2）身体姿态。两类输入分别被转换为将整个输入序列整合到单张图像中的描述子，即深度图对应DMI，身体姿态对应MJD。我们训练了一个结构相同的三通道CNN模型，使用上述两个描述子完成训练与测试。我们提出了多种分数融合操作，结合三个CNN通道的预测分数，获得更高的正确动作识别得分。 ### A. 数据预处理 1) 深度运动图像：DMI通过累加动作在时间维度上的所有深度图，生成统一表示来描述动作的整体外观，该表示可以从正面视角为每个动作定义其独有的特定外观，能够捕捉运动身体部位的深度变化。DMI表示为每个动作提供了区分性特征，能够简化CNN模型的特征提取任务。下式说明了 --- ![Image](images/6352d1eee1ccee8384fe83d2397134f801738f713ea4c776fd56e2646ab479b9.jpg)
Fig. 4. Framework of our proposed action recognition method. Depth maps sequence is transformed into a DMI descriptor and postures sequence is transformed into an MJD. A model of three CNN channels (Ch1, Ch2, and Ch3) extracts features from the descriptors. Score fusion operations are used to maximize the score of the right action from the three CNN prediction outputs.
DMI的计算过程： $$ \begin{aligned}DMI(i,j)=255-\min(I(i,j,t))\\\forall t\in[k...(k+N-1)]\end{aligned} $$ 其中 $I(i, j, t)$ 是时刻t帧I的像素位置 $(i, j)$，DMI是一张8位灰度图像，表示从帧k到 $k + N - 1$ 的深度差，N表示总帧数。DMI图像的像素值为深度图序列同一位置像素的最小值。生成图像通过将每个像素值除以图像中所有像素的最大值完成归一化，随后裁剪得到感兴趣区域（ROI），去除无信息的黑色像素。图3展示了画圈动作序列及其对应的DMI，图5（上方）展示了从MSRAction3D数据集生成的7个DMI动作样本。 2) 运动关节描述符：在数据集提供的骨架模型的20个关节中，仅选取了12个信息最丰富的关节。图2（右侧）展示了本次处理所选的关节。为了将髋中心关节O设为坐标系原点，我们将12个关节中每个关节的坐标都减去髋中心关节O的坐标。数据集提供的姿态数据以笛卡尔坐标形式呈现 $(x, y, z)$。然而，采用笛卡尔坐标的动作表示对关节运动敏感，这可能会导致两个语义等价的动作被表示为不同的动作。人体关节在运动过程中的移动受到若干限制：它们无法远离髋中心关节超过限定距离。此外，每个关节的可活动角度范围也是有限的。这些限制可以用球坐标建模，正如图6所示，图6展示了跑步动作过程中关节运动的示例及其球坐标表示。距离r表示关节距离髋中心O的远近。角度$\theta$和$\phi$可用于指示关节的运动方向。 为了从球坐标构建MJD，我们将关节的笛卡尔坐标转换为球坐标，转换过程以髋中心关节O作为坐标系原点。转换过程由式(2)和式(3)描述。在球坐标系中，关节运动由三个参数描述：角度$\theta$表示关节相对于z轴的竖直角，角度$\phi$表示相对于x轴的水平角，半径r表示原点与关节之间的距离。为了捕捉球坐标随时间的变化，我们构建了R、G、B三张灰度图，分别表示$\theta$、$\phi$和r的运动变化。每张图像的行数对应关节数量，列数对应动作的帧数，像素值为第n帧中关节$J_{k}$的坐标，如式(4)所示。最终，将三张灰度图组合得到一张RGB图像，作为最终的描述符图像。图2（左侧）展示了MJD的构建过程，图5（底部）展示了从MSRAction3D数据集中生成的七个MJD样本。 $$ \operatorname{J o i n t s}=\{J_{1},\ldots,J_{k},\ldots,J_{12}\},\quad J_{k}=(\theta,\phi,r) $$ $$ r=\sqrt{x^{2}+y^{2}+z^{2}},\quad\theta=\arccos\frac{z}{r},\quad\phi=\arctan\frac{y}{x} $$ $$ R(J_{k},n)=\{\theta:\theta{\mathrm{~o f~t h e~j o i n t~}}J_{k}{\mathrm{~i n~f r a m e~}}n\} $$ $$ G(J_{k},n)=\{\phi:\phi{\mathrm{~o f~t h e~j o i n t~}}J_{k}{\mathrm{~i n~f r a m e~}}n\} $$ $$ B(J_{k},n)=\{r:r{\mathrm{~o f~t h e~j o i n t~}}J_{k}{\mathrm{~i n~f r a m e~}}n\} $$ $$ MJD=R+G+B $$ 其中x、y、z为笛卡尔坐标，$\theta$、$\phi$和r为球坐标，$k=\{1,2,\ldots,12\}$为关节编号。R、G、B为灰度图像，MJD为RGB运动关节描述符图像。 ### B. 卷积神经网络模型 1) 模型描述：完成数据预处理任务后，两个描述子DMI和MJD被调整为$112 \times 112$尺寸，作为CNN模型的输入。该模型由用于特征提取的卷积层和用于降维的池化层组成。第一卷积层使用32个尺寸为$7 \times 7$的卷积滤波器，第二、三、四卷积层分别使用三个$5 \times 5$卷积滤波器，滤波器数量依次为64、128和256。最后一层卷积层使用512个尺寸为$3 \times 3$的滤波器。上述每一个卷积层后都接有[^50]提出的“网络中的网络”结构，该结构使用数量多于前一层滤波器的$1 \times 1$卷积滤波器。这种结构无需彻底改变网络结构，就能让模型深度更深、参数更多，且计算成本低廉。但在我们的CNN模型中，我们使用与前一层数量相同的$1 \times 1$卷积滤波器。在训练实验过程中，我们 --- ![Image](images/91c83b27176db429618b5ca6fb2f491c115ef2bce9d879aaf95822e7c505cd70.jpg)
Fig. 5. Preprocessing results of seven actions samples from the MSRAction3D dataset. Top: DMI descriptors. Bottom: MJD descriptors.
![Image](images/9aaa8e3848228b2c6bf4277314aae425360d6a1a24c14b2967a313f084fde8dc.jpg)
Fig. 6. Human body joints motion direction during a running action. The joints motion is more subject to a rotation, which makes the spherical coordinate system suitable to represent the joints movement.
![Image](images/149332fff72b4d928c90d06826c3057813b8ec40f88038880ea5360bef735a8b.jpg)
Fig. 7. Network block structure used to improve the CNN model performance accuracy with less computation cost. H, W, and D refer to height, width, and depth of the feature maps.
发现不增加$1 \times 1$卷积滤波器的数量，能够提升准确率，且不会对计算时间产生明显影响。图7展示了两个$1 \times 1$卷积层的使用方式。使用两个$1 \times 1$卷积层后，输出特征图的尺寸与输入尺寸保持一致。 我们使用三个滤波器尺寸为$3 \times 3$的最大池化层进行降维。模型中的每个卷积层后都接整流线性单元激活函数。我们使用一个尺寸等于动作数量的全连接层作为特征提取的输出结果。图1描述了该网络架构，包括各层输出尺寸和滤波器配置。训练过程中，我们采用多项逻辑损失函数结合随机梯度下降算法更新权重。当使用小尺寸滤波器进行卷积操作时，两个输入描述子的纹理特征使得模型难以捕捉到区分性特征。例如，在网络最开始就对输入图像使用$3 \times 3$滤波器效率很低，因为两张代表不同动作的图像在$3 \times 3$大小的区域中可能具有相似特征，这就是我们在前几层卷积中使用$7 \times 7$滤波器和$5 \times 5$滤波器的原因。通常，CNN架构在最终分类层之前都会设置一到两个全连接层。但在我们的模型中，根据训练实验结果，我们发现在池化层后仅使用一个全连接层作为分类器能得到更优的结果。测试阶段，我们使用softmax回归层基于训练得到的权重生成每个类别的得分。 2）模型训练：前文所述的CNN模型被应用于三个不同的训练通道。我们将通道1记为Ch1，通道2记为Ch2，通道3记为Ch3。通道Ch1使用DMI描述符训练，通道Ch2同时使用DMI和MJD描述符训练，通道Ch3仅使用MJD描述符训练。通道Ch2由两个子通道Sub1和Sub2组成，两个子通道各自使用一种描述符训练：Sub1使用DMI描述符训练，Sub2使用MJD描述符训练。两个子通道在最后一个池化层之后进行拼接，得到的新层深度等于两个子通道池化层输出深度之和。本文的拼接操作灵感来源于[^49]，该文献提出了多种基于融合最后一个全连接层的拼接方法。但我们发现，拼接池化层输出在准确率方面效率更高。上述三个通道使用相同参数同时进行训练。 我们将学习率初始化为0.01，权重衰减初始化为0.0005，动量初始化为0.9，这些参数与AlexNet [^30]中使用的参数一致。但这种初始化方式导致损失函数出现不稳定的波动。由于学习率对训练过程影响很大，因此我们固定权重衰减和动量，随后多次降低学习率，最终降至0.0008，该值可以让损失函数稳定下降。更低的学习率仍能保持损失稳定，但下降速度更慢。我们按照[^51]中的方法初始化权重，在所有数据集上训练模型时，两种描述符对应的批量大小均为50张图像。每个通道达到损失函数最小值所需的迭代次数因通道而异，取决于输入数据特征和数据集大小。图1中的网络已完成设计、训练， --- ![Image](images/49a15c27cd5016f22700b33414f49bca684b5dd5cdbd33f815912a8d0dc18f1d.jpg)
Fig. 8. Top: samples of feature maps generated from the layers of the channel Ch2 of the CNN model (DMI features from subchannel Sub1 and MJD features from subchannel Sub2). Bottom: samples of trained $7 \times 7$ filters.
TABLE I
SCORE FUSION OPERATIONS ON THE THREE CNN CHANNELS
FusionOperation
Fus1$Prod(Sfm1, Sfm3)$
Fus2$Prod(Sfm1, Sfm2)$
Fus3$Max(Sfm2, Sfm3)$
Fus4$Prod(Sfm1, Sfm2, Sfm3)$
Fus5$Prod(Prod(Sfm1, Sfm2, Sfm3), Max(Sfm1, Sfm3))$
并使用caffe深度学习框架完成测试 [^52]。图8（上）展示了通道CH2各层生成的一组DMI和MJD描述符输入的特征图样本，图8（下）展示了第一个卷积层中$7 \times 7$训练得到的滤波器样本。 ### C. 分数融合 softmax层的输出是一个长度等于动作数量（共5个）的向量，每个元素代表输入图像属于对应特定动作的概率。我们单独使用每个CNN通道的softmax输出测试训练好的模型后发现，大多数情况下概率最大值对应正确动作。但对于部分测试样本，最大值并不对应正确动作，概率低于最大值的位置反而可能对应正确预测。为了提高错误分类样本的预测准确率，我们对三个CNN通道的softmax输出进行融合。在测试实验中，我们尝试了多种融合方案，例如逐元素平均、取最大值、相加、相乘，其中我们记为Max和Prod的最大值操作和乘积操作取得了比其他操作更好的效果。 正如我们将在实验结果部分看到的，分类准确率不仅取决于Max或Prod运算，还取决于计算涉及的通道。例如，通道Ch1的softmax输出Sfm1与通道Ch2的Sfm2之间的Prod运算结果，不同于通道Ch1的Sfm1与通道Ch3的Sfm3之间的运算结果，也不同于三个通道输出Sfm1、Sfm2、Sfm3之间的运算结果。由于准确率会随运算类型和通道类型发生变化，我们提出了多种不同的融合运算并总结在表I中。我们提出的方法总共得到8种可能的预测：3种来自CNN通道（Sfm1、Sfm2、Sfm3），5种来自融合通道（Fus1、Fus2、…、Fus5）。最终分类结果为八个输出中的最大值，如式(6)所示。 图1所示模型融合架构的设计思路如下：通道Ch1提供与动作整体外观相关的特征，即使动作的执行方式存在轻微差异，该特征也能帮助完成动作识别。通道Ch3的特征对关节运动敏感，因此很少出现两个动作特征相似的情况，哪怕两个动作在语义上等价。通道Ch2提供的特征实现了这两种表示之间的平衡。此外，当部分关节未被系统捕获而发生缺失时，会体现为MJD中的特征缺失，此时融合MJD和DMI特征可以帮助网络识别动作，即便部分MJD特征存在缺失。实际上，DMI特征可以弥补MJD缺失的特征。 $$ \begin{aligned}\mathrm{Sfm1}&=\left\{p_{11},\ldots,p_{c_{1}a},\ldots,p_{1A}\right\}\\\mathrm{Sfm2}&=\left\{p_{21},\ldots,p_{c_{2}a},\ldots,p_{2A}\right\}\\\mathrm{Sfm3}&=\left\{p_{31},\ldots,p_{c_{3}a},\ldots,p_{3A}\right\}\end{aligned} $$ 其中Sfm1、Sfm2、Sfm3分别是通道Ch1、Ch2、Ch3的softmax层输出。$p_{c1a}$、$p_{c2a}$、$p_{c3a}$分别表示动作a在通道Ch1、Ch2、Ch3中为正确类别的概率。A是动作的总数量 $$ Action=Max(S f m1,S f m2,S f m3,F u s1,\ldots,F u s5) $$ 其中Action代表得分最高的动作，也就是最终的分类结果。 ### IV. 实验结果 作为最常用的RGB-D人体行为识别数据集[^53]，我们选取了三个数据集来评估本文所提方法的性能，分别是MSRAction3D [^25]、UTD-MHAD [^54]和MAD [^55]。这些数据集提供的深度图和姿态数据适用于构建DMI和MJD描述子。我们采用与现有顶尖方法相同的测试设置，将我们提出的方法与前人方法进行对比。我们在三个CNN通道上开展了一系列测试实验，包括单独评估每个通道，以及基于融合操作将多个通道组合进行评估。尽管融合通道的结果在不同数据集上存在差异，但总体来看，在三个数据集上，通道Ch3使用MJD得到的分类结果优于通道Ch1使用DMI的结果，这表明姿态表示的性能优于深度表示。而同时使用DMI和MJD两种表示的通道Ch2，性能优于Ch1或Ch3。 表II汇总了三个数据集上每个CNN通道和各类融合运算的分类准确率。大多数情况下，Prod运算的性能优于Max运算，因为Prod运算会将多个分数相乘得到结果。 ---
TABLE II
TESTING RESULTS OF THE THREE CNN OUTPUTS AND THE FUSION OPERATIONS ON THE THREE DATASETS
ChannelsMSRAction3D\n(Cross-subject)UTD-MHAD\n(Cross-subject)MAD (Cross-validation : 5-fold)
fold-1fold-2fold-3fold-4fold-5Average
Sfm182.42%50,00%70.36%65.71%70,00%68.21%64.29%67.71%
Sfm287.91%82.79%86.10%86.79%87.50%86.10%91.79%87.66%
Sfm384.99%82.09%86.79%85.00%82.50%87.14%83.93%85.07%
Fus192.31%85.17%90.71%87.14%85.71%88.57%90.36%88.50%
Fus287.91%85.12%83.21%85.71%87.14%88.50%91.07%87.13%
Fus391.21%85.34%90.36%90,00%91.07%88.93%95,00%91.07%
Fus493.41%88.14%89.64%88.57%92.14%89.64%95.35%91.07%
Fus594.51%87.67%91.10%90,00%92.14%90.71%95.36%91.86%
Max94.51%88.14%91.10%90,00%92.14%90.71%95.36%91.86%
![Image](images/f5bf7884b380e179221e69ace30fee2857dcc5e535be64585177f23bbdb6fa8c.jpg)
Fig. 9. Performance comparison of the fusion operations on the three datasets.
TABLE III
它不仅能最大化正确类别的得分，还能提升本身分类正确但得分低于最大值的类别的得分。此外，由于特征多样性，三个通道间的Prod操作（Fus4）比两个通道间的Prod操作（Fus1和Fus2）产生了更优的结果。虽然Max操作无法得到最佳结果，但正确动作对应的通道得分通常仍为最大值。融合操作Fus5在大多数情况下都能得到最佳结果，这是因为它基于Max和Prod两种操作计算，并且在计算过程中纳入了全部三个通道的得分。与现有方法的比较基于选取融合操作和三个通道输出中的最高准确率。图9展示了各融合操作识别性能的稳定性：某一融合操作如果在一个数据集上准确率更高，那么它在另外两个数据集上的准确率也同样更高。 ### A. MSRAction3D MSRAction3D数据集由微软Kinect v1深度相机采集，该数据集共包含20类动作：“大臂挥手、小臂挥手、锤击、抓物、前冲拳、上抛、画叉、画勾、画圆、拍手、双手挥、侧拳击、弯腰、前踢、侧踢、慢跑、网球挥拍、网球发球、高尔夫挥杆、捡投”，由10名受试者完成，每名受试者重复
COMPARISON OF OUR PROPOSED METHOD WITH EXISTING DEPTH-BASED METHODS ON MSRACTION3D DATASET
MethodAccuracy
HON4D [^23]88.89%
SNV [^57]93.45%
Range-Sample Feature [^56]95.62%
Random Occupacy Pattern [^39]86.50%
Bag-of-3D-Points [^25]74.70%
STOP [^38]84.80%
DSTIP [^58]89.30%
Proposed (Action-Fusion)94.51%
该动作2到3次。为了进行公平比较，本文在MSRAction3D数据集上评估我们的方法时遵循了[^24]采用的测试设置。具体而言，采用跨受试者测试方案：奇数编号受试者（1、3、5、7、9）用于训练，偶数编号受试者（2、4、6、8、10）用于测试。表II（第2行：MSRAction3D）展示了每个CNN通道和各融合操作的分类准确率结果。融合方案Fus5在该数据集上取得了最佳分类准确率，其次是Fus4。第二个通道Ch2的分类结果优于Ch1和Ch3。但融合操作的结果仍优于三个单独CNN通道的结果。我们选取融合操作和三个CNN通道中的最高结果用于与现有方法比较，其中最高结果为Fus5的94,51%。 表III展示了本文方法与仅使用深度图数据的现有最优方法的比较结果。除[^56]外，本文所提方法的准确率优于大多数现有基于深度的方法。尽管[^56]未提及他们在MSRAction3D数据集上的实验设置，本文仍将我们的结果与他们的结果进行了比较。表IV展示了本文方法与仅使用姿态数据的现有最优方法的比较结果。除基于稀疏编码和时间金字塔匹配的[^42]外，本文所提方法的准确率也优于现有基于骨架的方法。总体而言， ---
TABLE IV
COMPARISON OF OUR PROPOSED METHOD WITH EXISTING SKELETON-BASED METHODS ON MSRACTION3D DATASET
MethodAccuracy
EigenJoints [^41]81.40%
Actionlet Ensemble [^24]88.20%
DL-GSGC [^42]96.70%
HOJ3D [^26]78.97%
SSS Feature [^27]81.70%
MP Descriptor [^43]91.70%
High-level Skeleton Feature [^44]82.00%
Pose Set [^45]90.00%
Proposed (Action-Fusion)94.51%
![Image](images/bb992f417d1f3c55150c1cf0a17a0237631a0992bb00bcffde165246daac8337.jpg)
Fig. 10. Confusion matrix of our approach for the MSRAction3D dataset.
![Image](images/3c98266bb632a6ce83e1d3d247a9bf78cf58d4432d32f4e38a02f1f74ffb056a.jpg)
Fig. 11. Fusion operations accuracies of the MSRAction3D dataset.
本文方法性能优于基于骨架和基于深度的方法，原因在于本文方法同时结合了深度特征和姿态特征。图10展示了本文所提方法在MSRAction3D数据集上的混淆矩阵，图11展示了MSRAction3D数据集上各融合操作准确率的差异。在图12中，我们给出了对应混淆矩阵（图10）中分类结果的三类动作的DMI和MJD：1) 大臂挥手；2) 小臂挥手；3) 锤击。尽管不同动作的DMI外观几乎相同，但MJD具有差异化特征，这有助于在动作执行方式几乎相似的情况下仍正确识别动作。 ![Image](images/1c80943fecd92f453f02c673b38beb1b84c9c284362d289246947fc9136f8722.jpg) ![Image](images/8426367675561c521fda5b73066844f1207037ba686bef881f3f6e89b6e3fcb6.jpg)
Fig. 12. Classification accuracy of three different actions presented in the confusion matrix of MSRAction3D dataset (Fig. 10), which look semantically equivalent in appearance.
TABLE V
COMPARISON OF OUR PROPOSED METHOD WITH EXISTING METHODS ON UTD-MHAD DATASET
MethodAccuracy
Kinect and Inertial [^54]79.10%
SOS [^33]86.97%
Joint Trajectory Maps [^40]87.90%
Proposed (Action-Fusion)88.14%
### B. UTD-MHAD UTD-MHAD数据集通过融合深度传感器与惯性传感器的数据采集得到，包含8名受试者完成的27种动作，每名受试者重复每个动作四次，具体动作包括：“右臂向左挥摆、右臂向右挥摆、右手挥动、双手前击掌、右臂投掷、胸前交叉抱臂、篮球投篮、右手画X、右手画圆（顺时针）、右手画圆（逆时针）、画三角形、保龄球（右手）、前拳击、右侧棒球挥摆、网球右手正手挥拍、双臂弯举、网球发球、双手前推、右手敲门、右手接物、右手捡投、原地慢跑、原地行走、坐姿起身、站起落座、左前弓步（左脚在前）和深蹲（双臂伸出）。该数据集的评估遵循跨受试者方案：奇数编号受试者的数据用于训练，偶数编号用于测试，与[^54]中的设置一致。 表II（第3行：UTD-MHAD）展示了三个CNN通道和各融合操作的分类结果。在该数据集中，Fus4取得了最高的分类准确率，为88.14%。与MSRAction3D数据集的情况类似，第二个通道Ch2的分类结果优于Ch1或Ch3的分类结果。由于最高准确率由融合操作Fus4获得，因此使用该结果与已在UTD-MHAD数据集上测试过的现有方法进行对比。表V展示了与当前最优方法的对比结果，图13展示了每个的混淆矩阵评估 --- ![Image](images/eb1ddea564ebb3fdee1db07dd4da3194ef9e6b2795b0a0fe70dca27134cb550e.jpg)
Fig. 13. Confusion matrix of our method for the UTD-MHAD dataset.
![Image](images/45116feddb7b59fc41bf388f66c9debbc615add372a4ce11ec9e504af0983dcb.jpg)
Fig. 14. Fusion operations accuracies of the UTD-MHAD dataset.
动作。尽管在该数据集上开展的研究不像MSRAction3D那样多，本文提出的方法仍取得了优于近年某方法[^40]的结果。图14展示了UTD-MHAD数据集上各融合操作的准确率差异，图15展示了三个语义外观相似的不同动作：击掌、抱臂和拳击。正如混淆矩阵（图13）所示，由于击掌动作和另外两个动作外观相似，13%的击掌被识别为抱臂，6%被识别为拳击。但即使如此，击掌的识别准确率仍达到81%，证明本文提出的方法即使在动作运动差异极小的情况下也能正确分类动作。而抱臂动作由于和击掌、拳击的差异相对较大，能够被完全正确识别。 ### C. MAD MAD数据集是按动作数量统计规模最大的RGB-D动作识别数据集之一，它包含20名受试者完成的35种动作，每名受试者重复每个动作两次。具体动作包括：“跑步、蹲伏、跳跃、行走、跳跃侧踢、左臂向左挥摆、左臂向右挥摆、左臂挥动、左臂出拳、左手运球、左臂指向天花板、左臂投掷、左侧挥棒（棒球挥摆）、左臂接物、左臂后接、左腿向前踢、左腿向左踢、右臂向左挥摆、右臂向右挥摆、右臂挥动、右臂出拳、右手运球、右臂、指向 ![Image](images/e14380bc12554ecad7f8b2450a0c4195c02f8bced728c0ef6c3cf8e2561b20c1.jpg)
Fig. 15. Classification accuracy of three different actions presented in the confusion matrix of UTD-MHAD dataset (Fig. 13), which look semantically equivalent in appearance.
TABLE VI
COMPARISON OF OUR PROPOSED METHOD WITH EXISTING METHODS ON MAD DATASET
MethodAccuracy
Event Transition [^59]85.02%
Proposed (Action-Fusion)91.86%
![Image](images/e17b35127a9336a8b925487007281690a1d1bf7be503a0411bf12047e45aec2f.jpg)
Fig. 16. Fusion operations accuracies of the MAD dataset.
天花板、右臂投掷、右侧挥棒（棒球挥摆）、右臂接物、右臂后接、右腿向前踢、右腿向右踢、胸前交叉抱臂、篮球投篮、双臂指向屏幕、双臂指向身体两侧、双臂指向右侧、双臂指向左侧。” 与前述两个数据集不同，MAD数据集需要移除背景来构建DMI描述符。由于受试者距离背景较远，我们基于深度阈值完成了背景移除。该数据集采用的评估方案是五折交叉验证，与[^59]中描述的方案一致。该方案将4/5的受试者用于训练，1/5用于测试，之后重新选择另一组4/5的受试者进行训练（包含之前用于测试的那1/5受试者），剩余1/5用于测试。该过程需要重复五次，让所有数据都参与到训练和测试流程中，最终识别准确率为五次结果的平均值。 --- ![Image](images/89e98b949cdd87bdbd2d9a6692c360008dcdce651583f345042c2141cd5a5d95.jpg)
Fig. 17. Confusion matrix of our proposed method for the MAD dataset.
![Image](images/d82364166284c9643bd3188e7389857d9ba5886680eb8a5075cdf8b146b87354.jpg)
Fig. 18. Classification accuracy of four different actions presented in the confusion matrix of MAD dataset (Fig. 17), which look semantically equivalent in appearance.
表II（第4–9行：MAD）展示了三个CNN通道输出以及融合操作在每一折和五折平均下的详细分类结果。结果中的最高准确率由融合操作Fus5得到，为91.86%。据我们所知，目前仅有一项研究在MAD数据集上进行过测试[^59]。表VI给出了与[^59]的对比结果，图16展示了MAD数据集上不同融合操作的准确率差异。本文所提方法在该数据集上的混淆矩阵如图17所示。图18展示了四种语义上几乎相近的不同动作：左臂挥手、左臂指向天花板、左拳击出和左臂投掷。这四种动作都是左手向身体上方完成，因此DMI描述符看起来相对相似，但MJD描述符携带了不同的特征。从混淆矩阵（图17）可以看到，这四种动作的分类准确率在85%到95%之间，这体现了结合深度和姿态数据进行动作识别的有效性。 ### D. 计算复杂度 1) 预处理时间：预处理时间包含DMI描述符和MJD描述符的计算。DMI描述符的计算需要组装一系列尺寸为$320 \times 240$的原始深度图到一个$112 \times 112$ ![Image](images/25f50a730f62695ae0c11f80e8bcdb9821d1dc848400dee57b48d1576d1aab5d.jpg)
Fig. 19. Computation time of the DMI and MJD descriptors according to the action frames number.
图像。然而，MJD计算需要将关节坐标的$12 \times 3$序列（二维数组）转换为尺寸等于$112 \times 112$的RGB图像。输入数据尺寸的差异和预处理步骤的复杂度对计算时间影响很大，这一点在图19中得到了清晰体现。例如，一个包含65帧的动作，计算DMI描述子需要0.835秒，计算MJD描述子需要0.029秒。动作包含的帧数越多，所需计算时间就越长。73帧动作下，DMI和MJD的计算时间分别为0.985秒和0.032秒；80帧动作下，二者的计算时长分别为1.084秒和0.041秒。我们还注意到，DMI描述子计算时间的变化率大于MJD描述子。如果一个动作包含超过15帧（范围从65帧到80帧），DMI的计算量增加0.249，MJD增加0.012。图19的所有结果均在配置为英特尔酷睿i7-6700 @ 3.40 GHz、8 GB内存、64位操作系统的CPU上计算得到。作为预处理比较的一个例子，我们讨论了[^29]中描述子的计算工作。他们计算了一个与我们方法相似的深度描述子，但引入了额外参数v来表示动作视角。他们同时使用正面和侧面视角的描述子，所需计算时间是我们方法的两倍。另一方面，在他们的方法中，还需要用该描述子从两个视角进一步计算另外两个描述子，计算需求非常高。我们的方法仅使用正面视角的描述子结合MJD描述子，二者的总计算耗时仍然少于[^29]。 2）训练与测试时间：不同数据集的训练时间各不相同，具体取决于训练所用描述子的数量。MSRAction3D数据集的训练数据量最少，因此与另外两个训练数据量更大的数据集相比，它的训练时间也更短。从表VII中我们可以发现，模型收敛所需的训练时间和迭代次数都受训练数据量的影响。MAD数据集的情况与另外两个数据集略有不同。由于该数据集的评估方案要求开展五次训练步骤来计算五折结果的平均值，因此该数据集的总训练计算时间是五次训练时长的总和。尽管五折交叉验证中每一折的训练数据量相同，但获得最小损失所需的迭代次数在各折之间并不相同，因为每个数据 ---
TABLE VII TRAINING AND TESTING TIME OF THE THREE DATASETS
DatasetsNumber of Training DataNumber of Testing DataNumber of IterationsTrain (min)Test (sec): One input
MSRAction3D2842734417.350.07
UTD-MHAD431430720120.07
- fold-1226037.67
- fold-2175029.17
MAD - fold-31120280195032.50.35
- fold-4437072.83
- fold-5147024.5
折都具有不同的动作组合，因此需要学习不同类型的特征。 尽管三个数据集所用训练模型的结构以及训练数据类型均一致，任意数据集上输入对的动作预测处理时间也相同（0.07秒），但对于MAD数据集，单次输入测试需要对五折交叉验证得到的五个训练模型的预测准确率取平均，最终计算时间为$0.07 \times 5$秒。测试和训练所用硬件与预处理阶段所用硬件不同。训练过程在搭载Intel Xeon CPU E5-2630 v4 @ 2.20 GHz（10核）、64 GB内存、64位操作系统的服务器的12.2 GB显存GPU上完成。一般来说，CNN模型需要大量训练样本，例如数千张图像，经过数小时训练才能达到较高的预测准确率。现有如本文所用的RGB-D动作数据集的训练数据量十分有限。从大量数据中完成学习的核心成功要素是提取足够的特征来识别每个动作。在我们提出的方案中，两类描述子和三个CNN通道提供了多种特征提取方式，能够弥补训练数据的不足，并且正如表VII所示，计算复杂度更低。 3) 讨论：尽管本文提出方法的识别准确率优于大多数现有最优结果，但从原始输入数据到最终动作预测的计算时间取决于所用计算硬件。如果要将本文方法的计算时间与现有方法对比，我们需要考虑两个方面：描述子计算时间和分类算法复杂度。部分现有方法，例如[^23]和[^60]，仅使用一种输入数据创建描述子，即深度图或姿态数据。而另一些方法，例如[^40]，则使用三个描述子从不同视角覆盖人类动作。我们的方法计算两个输入描述子，其中一个的计算量远低于另一个。根据上述分析，在描述子计算方面，我们提出的方法在现有方法中可归为中等水平。 相关工作部分提及的大多数方法都采用SVM作为分类器，例如[^23]。一般来说，SVM的计算时间少于神经网络，但这也取决于神经网络模型的深度。和本文方法一样基于CNN的方案，由于需要进行二维处理，计算量高于简单的前馈神经网络。即使同为CNN方法，处理所需的层数不同，计算量也存在差异。此外，单CNN通道的计算需求低于三个通道。因此，在分类阶段的处理时间方面，我们提出的方法属于计算需求较高的一类。正如引言和分数融合部分所强调的，本文提出的方法为数据和模型的使用提供了多种可能性。例如，仅将MJD描述子与Ch3通道结合使用虽然不是获得高准确率分类结果的最优选择，但该组合的表现仍优于部分现有方法，且计算时间更短。动作识别过程中参与的描述子和通道越多，准确率越高，但计算速度越慢。 ### 五、结论 本文提出了一种利用深度卷积神经网络（CNN）从深度图和姿态数据中进行人类动作识别的方法。该方法使用两种动作表示和三个CNN通道，以最大化特征提取效果。姿态数据描述子通过提供特征支撑深度图表示的前视角信息，对整个识别过程影响极大。本文提出对CNN通道的输出预测进行融合操作，以最大化正确动作的得分。由于RGB-D数据集的训练样本数量较少，两种动作表示有助于模型学习多样特征，弥补数据不足的问题。本文所提方法的实验结果在三个公开数据集上优于大多数现有主流方法。尽管所提方法在动作识别任务中表现出较高准确率，优于多数现有主流方法，但它仅在固定摄像头于预设距离拍摄的人类动作测试样本上完成了评估。未来工作将围绕收集由可穿戴移动摄像头或机器人记录的深度图与动作姿态数据集展开，以采集人类在不同视角、不同距离下自发完成的动作[^61]，随后我们将在该数据集样本上训练CNN模型，测试所提方法在真实环境中的有效性。 --- ## 参考文献 [^1]: C. Chen, R. Jafari, and N. Kehtarnavaz, “Action recognition from depth sequences using depth motion maps-based local binary patterns,” in Proc. IEEE Win. Conf. Appl. Comput. Vis., 2015, pp. 1092–1099. [^2]: J. Yu and J. Sun, "Multiactivity 3-D human pose tracking in incorporated motion model with transition bridges," IEEE Trans. Syst., Man, Cybern., Syst., to be published. [^3]: W. Chi, J. Wang, and M. Q.-H. Meng, “A gait recognition method for human following in service robots,” IEEE Trans. Syst., Man, Cybern., Syst., to be published. [^4]: G. Liang, X. Lan, J. Wang, J. Wang, and N. Zheng, "A limb-based graphical model for human pose estimation," IEEE Trans. Syst., Man, Cybern., Syst., vol. 48, no. 7, pp. 1080–1092, Jul. 2018. [^5]: Y. Guo, D. Tao, W. Liu, and J. Cheng, “Multiview Cauchy estimator feature embedding for depth and inertial sensor-based human action recognition,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 47, no. 4, pp. 617–627, Apr. 2017. [^6]: S. Zhang, C. Gao, F. Chen, S. Luo, and N. Sang, "Group sparse-based mid-level representation for action recognition," IEEE Trans. Syst., Man, Cybern., Syst., vol. 47, no. 4, pp. 660–672, Apr. 2017. [^7]: H. Wang, A. Kläser, C. Schmid, and C.-L. Liu, "Action recognition by dense trajectories," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2011, pp. 3169–3176. [^8]: H. Wang and C. Schmid, “Action recognition with improved trajectories,” in Proc. IEEE Int. Conf. Comput. Vis., 2013, pp. 3551–3558. [^9]: X. Peng, C. Zou, Y. Qiao, and Q. Peng, "Action recognition with stacked Fisher vectors," in Proc. Eur. Conf. Comput. Vis., 2014, pp. 581–595. [^10]: X. Peng, L. Wang, X. Wang, and Y. Qiao, “Bag of visual words and fusion methods for action recognition,” Comput. Vis. Image Understand., vol. 150, pp. 109–125, Sep. 2016. [^11]: H. Xu, J. Liu, H. Hu, and Y. Zhang, "Wearable sensor-based human activity recognition method with multi-features extracted from Hilbert-Huang transform," Sensors, vol. 16, no. 12, pp. 1–26, 2016. [^12]: H. Ponce, M. D. L. Martínez-Villaseñor, and L. Miralles-Pechuán, “A novel wearable sensor-based human activity recognition approach using artificial hydrocarbon networks,” Sensors, vol. 16, no. 7, pp. 1–28, 2016. [^13]: J. Qi, P. Yang, M. Hanneghan, S. Tang, and B. Zhou, “A hybrid hierarchical framework for gym physical activity recognition and measurement using wearable sensors,” IEEE Internet Things J., to be published. [^14]: J. Qi, P. Yang, M. Hanneghan, and S. Tang, “Multiple density maps information fusion for effectively assessing intensity pattern of lifelongging physical activity,” Neurocomputing, vol. 220, pp. 199–209, Jan. 2017. [^15]: P. Yang et al., "Lifelogging data validation model for Internet of Things enabled personalized healthcare," IEEE Trans. Syst., Man, Cybern., Syst., vol. 48, no. 1, pp. 50–64, Jan. 2018. [^16]: J. Sriwan and W. Suntiamortut, “Human activity monitoring system based on WSNs,” in Proc. Int. Joint Conf. Comput. Sci. Softw. Eng., 2015, pp. 247–250. [^17]: G. Chetty and M. White, “Body sensor networks for human activity recognition,” in Proc. Int. Conf. Signal Process. Integr. Netw., 2016, pp. 660–665. [^18]: M. H. Kolekar and D. P. Dash, "Hidden Markov model based human activity recognition using shape and optical flow based features," in Proc. IEEE Region 10 Conf., 2016, pp. 393–397. [^19]: S. Al-Ali, M. Milanova, A. Manolova, and V. Fox, “Human action recognition using combined contour-based and Silhouette-based features and employing KNN or SVM classifier,” Int. J. Comput., vol. 9, p. 37, 2015. [^20]: A. K. S. Kushwaha, O. Prakash, A. Khare, and M. H. Kolekar, "Rule based human activity recognition for surveillance system," in Proc. Int. Conf. Intell. Human Comput. Interact., 2012, pp. 1–6. [^21]: V. K. Singh and R. Nevatia, “Human action recognition using a dynamic Bayesian action network with 2D part models,” in Proc. Indian Conf. Comput. Vis. Graph. Image Process., 2010, pp. 17–24. [^22]: S. Zhu and D. Song, “Human action recognition based on multiple instance learning,” J. Appl. Sci., vol. 14, no. 19, pp. 2276–2284, 2014. [^23]: O. Oreifej and Z. Liu, “HON4D: Histogram of oriented 4D normals for activity recognition from depth sequences,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2013, pp. 716–723. [^24]: J. Wang, Z. Liu, Y. Wu, and J. Yuan, “Mining actionlet ensemble for action recognition with depth cameras,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2012, pp. 1290–1297. [^25]: W. Li, Z. Zhang, and Z. Liu, “Action recognition based on a bag of 3D points,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, 2010, pp. 9–14. [^26]: L. Xia, C.-C. Chen, and J. K. Aggarwal, “View invariant human action recognition using histograms of 3D joints,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, 2012, pp. 20–27. [^27]: X. Zhao, X. Li, C. Pang, X. Zhu, and Q. Z. Sheng, “Online human gesture recognition from motion data streams,” in Proc. ACM Multimedia, 2013, pp. 23–32. [^28]: J. Han, L. Shao, D. Xu, and J. Shotton, “Enhanced computer vision with microsoft kinect sensor: A review,” IEEE Trans. Cybern., vol. 43, no. 5, pp. 1318–1334, Oct. 2013. [^29]: D. Kim, W.-H. Yun, H.-S. Yoon, and J. Kim, “Action recognition with depth maps using HOG descriptors of multi-view motion appearance and history,” in Proc. Int. Conf. Mobile Ubiquitous Comput. Syst. Services Technol., 2014, pp. 126–130. [^30]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep convolutional neural networks," in Proc. Adv. Neural Inf. Process. Syst., 2012, pp. 1097–1105. [^31]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep convolutional neural networks," Commun. ACM, vol. 60, no. 6, pp. 84–90, 2017. [^32]: Y. Du, Y. Fu, and L. Wang, “Skeleton based action recognition with convolutional neural network,” in Proc. IAPR Asian Conf. Pattern Recognit., 2015, pp. 579–583. [^33]: Y. Hou, Z. Li, P. Wang, and W. Li, “Skeleton optical spectra-based action recognition using convolutional neural networks,” IEEE Trans. Circuits Syst. Video Technol., vol. 28, no. 3, pp. 807–811, Mar. 2018. [^34]: M. S. Ryoo and L. Matthies, “First-person activity recognition: What are they doing to me?” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2013, pp. 2730–2737. [^35]: M. S. Ryoo, T. J. Fuchs, L. Xia, J. K. Aggarwal, and L. Matthies, “Robot-centric activity prediction from first-person videos: What will they do to me?” in Proc. ACM/IEEE Int. Conf. Human-Robot Interact., 2015, pp. 295–302. [^36]: I. Gori, J. Sinapov, P. Khante, P. Stone, and J. K. Aggarwal, “Robot-centric activity recognition ‘in the wild,’” in Social Robotics. Cham, Switzerland: Springer, 2015, pp. 224–234. [^37]: P. Duckworth, M. Alomari, Y. Gatsoulis, D. C. Hogg, and A. G. Cohn, "Unsupervised activity recognition using latent semantic analysis on a mobile robot," in Proc. Eur. Conf. Artif. Intell., 2016, pp. 1062–1070. [^38]: A. W. Vieira, E. R. Nascimento, G. L. Oliveira, Z. Liu, and M. F. M. Campos, “STOP: Space-time occupancy patterns for 3D action recognition from depth map sequences,” in Proc. Progr. Pattern Recognit. Image Anal. Comput. Vis. Appl., 2012, pp. 252–259. [^39]: J. Wang, Z. Liu, J. Chorowski, Z. Chen, and Y. Wu, “Robust 3D action recognition with random occupancy patterns,” in Proc. Eur. Conf. Comput. Vis., 2012, pp. 872–885. [^40]: P. Wang, W. Li, C. Li, and Y. Hou, “Action recognition based on joint trajectory maps with convolutional neural networks,” CoRR, vol. abs/1612.09401, pp. 1–11, Dec. 2016. [^41]: X. Yang and Y. L. Tian, “EigenJoints-based action recognition using Naïve–Bayes-Nearest-Neighbor,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, 2012, pp. 14–19. [^42]: J. Luo, W. Wang, and H. Qi, “Group sparsity and geometry constrained dictionary learning for action recognition from depth maps,” in Proc. IEEE Int. Conf. Comput. Vis., 2013, pp. 1809–1816. [^43]: M. Zanfir, M. Leordeanu, and C. Sminchisescu, “The moving pose: An efficient 3D kinematics descriptor for low-latency action recognition and detection,” in Proc. IEEE Int. Conf. Comput. Vis., 2013, pp. 2752–2759. [^44]: D. Wu and L. Shao, “Leveraging hierarchical parametric networks for skeletal joints based action segmentation and recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014, pp. 724–731. [^45]: C. Wang, Y. Wang, and A. L. Yuille, “An approach to pose-based action recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2013, pp. 915–922. [^46]: Q. Ke, M. Bennamoun, S. An, F. Sohel, and F. Boussaid, “A new representation of skeleton sequences for 3D action recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 4570–4579. $\kappa R$, [^48]: J. Gu et al., “Recent advances in convolutional neural networks,” Pattern Recognit., vol. 77, pp. 354–377, May 2018. [^49]: E. Park, X. Han, T. L. Berg, and A. C. Berg, “Combining multiple sources of knowledge in deep CNNs for action recognition,” in Proc. IEEE Win. Conf. Appl. Comput. Vis., 2016, pp. 1–8. ## [^50]: M. Lin, Q. Chen, and S. Yan, "Network in network," CoRR, vol. abs/1312.4400, pp. 1–10, Dec. 2013. --- [^51]: X. Glorot and Y. Bengio, “Understanding the difficulty of training deep feedforward neural networks,” in Proc. Int. Conf. Artif. Intell. Stat., vol. 9, 2010, pp. 249–256. [^52]: Y. Jia et al., “Caffe: Convolutional architecture for fast feature embedding,” in Proc. ACM Multimedia, 2014, pp. 675–678. [^53]: J. Zhang, W. Li, P. O. Ogunbona, P. Wang, and C. Tang, "RGB-D-based action recognition datasets: A survey," Pattern Recognit., vol. 60, pp. 86–105, 2016. [^54]: C. Chen, R. Jafari, and N. Kehtarnavaz, "UTD-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor," in Proc. IEEE Int. Conf. Image Process., 2015, pp. 168–172. [^55]: D. Huang, S. Yao, Y. Wang, and F. De La Torre, “Sequential max-margin event detectors,” in Proc. Eur. Conf. Comput. Vis., 2014, pp. 410–424. [^56]: C. Lu, J. Jia, and C.-K. Tang, “Range-sample depth feature for action recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014, pp. 772–779. [^57]: X. Yang and Y. Tian, “Super normal vector for human activity recognition with depth cameras,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 5, pp. 1028–1039, May 2017. [^58]: L. Xia and J. K. Aggarwal, “Spatio-temporal depth cuboid similarity feature for activity recognition using depth camera,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2013, pp. 2834–2841. [^59]: Y. Kim et al., “Modeling transition patterns between events for temporal human action segmentation and classification,” in Proc. IEEE Int. Conf. Workshops Autom. Face Gesture Recognit., 2015, pp. 1–8. [^60]: F. Ofli, R. Chaudhry, G. Kurillo, R. Vidal, and R. Bajcsy, “Sequence of the most informative joints (SMIJ): A new representation for human skeletal action recognition,” J. Vis. Commun. Image Represent., vol. 25, no. 1, pp. 24–38, 2014. [^61]: Y. Nie, C. Xiao, H. Sun, and P. Li, “Compact video synopsis via global spatiotemporal optimization,” IEEE Trans. Vis. Comput. Graphics, vol. 19, no. 10, pp. 1664–1676, Oct. 2013. ![Image](images/645a0fa2da3b5f641af20bb9fd1bdb4e25bd951433a212a7fb926179e8d00ead.jpg) Aouaidjia Kamel 于2009年在阿尔及利亚肯谢拉阿贝斯·拉格鲁大学获得计算机科学工程硕士学位，目前正在中国上海交通大学计算机科学与工程系攻读计算机科学博士学位。 他目前的研究方向包括人类行为理解、人机交互、机器学习和深度神经网络。 ![Image](images/864a5eca96a9708adc1ce9c3750cc0c8ac36edf2d80f05337dd36a37cc910e61.jpg) 盛斌在中国华中科技大学分别获得英语学士学位和计算机工程学士学位，在中国澳门大学获得软件工程硕士学位，在中国香港中文大学获得计算机科学博士学位。 他目前是中国上海交通大学计算机科学与工程系副教授，研究方向包括虚拟现实和计算机图形学。 ![Image](images/cc2d952ea364b24e4f2eca5cbdafecd86cf05cf8c39e785acf56b022ef56bcd8.jpg) Po Yang 于2004年在中国武汉大学获得计算机科学学士学位，2006年在英国布里斯托尔布里斯托尔大学获得计算机科学硕士学位，2010年在英国特伦特河畔斯托克斯塔福德郡大学获得电子工程博士学位。 他目前是英国利物浦利物浦约翰摩尔大学计算科学系高级讲师，拥有丰富的高质量研究成果与研究经验，已发表论文40余篇。他目前的研究方向包括物联网、RFID与室内定位、普适健康、图像处理、GPU和并行计算。 ![Image](images/5d39827db287147e02495eb88cff03b0b10f1b06521b0b375ef179205fca4695.jpg) 李平在中国香港中文大学获得计算机科学与工程博士学位。 他目前是澳门科技大学助理教授，拥有1项图像/视频处理国家发明专利，研究成果曾被ACM TechNews向全球报道。他目前的研究方向包括图像/视频风格化、大数据可视化、GPU加速和创意媒体。 ![Image](images/bba05531953f7f41b8715a7cba57eb0edfd93e5b35683804d3d8ec554535ea6f.jpg) 沈瑞敏在中国北京清华大学获得计算机科学专业的B.Sc.学位和M.Sc.学位，并在德国哈根的哈根大学获得计算机科学专业的Ph.D.学位。 他目前是中国上海交通大学计算机科学与工程系的正教授，主要研究方向包括虚拟现实、计算机图形学、电子学习技术、知识发现和数据挖掘。 ![Image](images/920e9df01277ad2a07c15d90beeb1bac053b56a6584abf0d4bf625ea644fd7f2.jpg) 冯大淦（David Dagan Feng，F'03）于1988年在美国加利福尼亚州洛杉矶的加利福尼亚大学洛杉矶分校获得计算机科学专业的Ph.D.学位。 他目前在澳大利亚新南威尔士州悉尼的悉尼大学担任信息技术学院院长、生物医学与多媒体信息技术研究组主任，以及生物医学工程技术研究所研究主任。他已发表超过700篇研究论文，开创了多个新的研究方向，并在自身研究领域做出了多项具有里程碑意义的贡献。 冯博士曾荣获加利福尼亚大学洛杉矶分校颁发的克拉普医学工程卓越奖。他曾担任国际自动控制联合会生物与医学系统技术委员会主席。他已经组织/主持了100余场大型国际会议/研讨会/讲习班，并受邀在23个国家/地区做了超过100场主旨演讲。他是澳大利亚技术科学与工程院院士。