
# 基于传感器的活动识别中的挑战以及基准数据集的比较分析：综述

阿南迪亚·达斯·安塔尔、马苏德·艾哈迈德、Md 阿提库尔·拉赫曼·阿哈德 $^{*}$

电子与电子工程系，达卡大学。

电子邮件：$*<atiqahad@du.ac.bd>$

摘要：利用嵌入式传感器进行人体活动识别近年来取得了显著进展，并在机器学习、模式识别、情境感知和以人为本的传感等众多应用领域引起了广泛关注。由于缺乏对该主题的深入分析，该分析可以使相关的研究社区了解最新的进展，因此，仍然存在一些重要的观点，如果得到重视，将从根本上改变人与移动设备之间的交互方式。在本文中，我们对基于可穿戴、环境和智能手机传感器的各种人体活动识别挑战进行了全面的调查，并总结了现有技术。首先，我们展示了在数据预处理部分需要考虑的各种因素，包括噪声过滤和分割方法。此外，我们列出了可用于收集活动数据的传感器、设备和应用程序，并讨论了传感器位置和要求。此外，我们对一些基准数据集进行了全面分析，其中包含有关传感器、属性、活动类别等的信息。最后，我们分析了基于现有工作的、在某些基准数据集上的一些活动识别方法。

关键词：基准数据集、数据预处理、人体活动识别、智能手机传感器、综述、可穿戴传感器。

## 引言

在过去的几年中，人类活动识别（HAR）是机器学习、移动计算、情境感知计算、基于监控的安全性以及辅助生活等众多领域中最突出的主题之一$^{[1]}$。HAR 的目标是通过分析从人及其生活环境获得的观察结果来了解人们的日常行为。这些信息是从嵌入在智能手机、可穿戴设备和家庭环境中的不同传感器收集的。相机和基于视频的系统也用于计算机视觉，以捕获人们的日常活动，并根据图像序列进行自动识别$^{[2]}$。如今，随着微电子和计算机系统的发展，低功耗、高容量、低成本和微型传感器的综合发展以及有线和无线通信网络取得了显著进展$^{[3]}$。这是人们与设备和技术互动并将其作为日常生活的一部分的主要原因。

我们可以在日常的体育锻炼监测中使用活动识别过程。此外，识别静态活动以及伴有姿势变化的动态活动，有助于监测工作场所的员工健康和工作效率。此外，这些系统可以通过推荐细微的行为调整，对人们维持健康的生活方式至关重要。为了保障士兵在战略环境中的安全，需要收集他们活动的精确信息，包括健康状况和位置。这些信息在战场和训练情况下的决策制定中具有重要价值。智能家居[^4]，用于日常活动监测，是外部感知的例子，用于监测较为复杂的活动（例如，使用计算机、刷牙、吃午饭等）。最后，基于摄像机的系统非常适合用于监控（例如，事件披露）和交互目的。这些系统也用于通过运动历史图像和计算机视觉进行动作识别[^6]。

### A. 人体活动识别方法

为了实现人体活动识别的目标，我们需要具有感应能力的活动识别系统。用于此目的的两种最常用的方法是基于视频和基于传感器的活动识别。我们还可以将基于传感器的活动识别归类，如Figure 1所示。

虽然基于视频的方法通常在室内效果良好，但在室外或现实生活中很难获得相同的精度[^7]、[^8]、[^5]。基于环境传感器的系统被动地监控其 occupants。但是，这些传感器依赖于基础设施。可穿戴传感器能够调节生理参数，这很难使用环境传感器或相机传感器来测量，因为可穿戴传感器附加在被监测对象上，并且与基础设施无关[^9]、[^10]。不幸的是，身体传感器的主要限制在于患者在佩戴时的不适[^11]。一些在恶劣环境中对传感器进行自校准的技术

---

这些方法已经描述在 [^12] 中，用于解决这个问题。 在研究从用户直接获取数据的创新替代方案时，智能手机可以发挥关键作用。 目前智能手机技术的优点之一是，它们整合了惯性传感器，这些传感器可以用于人体活动识别。 使用智能手机进行人体活动识别的一个问题是智能手机电池的快速耗电。

### II. 人体活动识别系统的基本结构

![Image](images/573e524b6511daf88f000747bf4491047e09a6979d8db09b5b80bd0c70ad1a43.jpg)

<div style="text-align: center;">Fig. 1. Approaches employed for human activity recognition.</div>

### II. 人体活动识别系统的基本结构

有许多成熟的方法可以从原始传感器数据中提取有关人类日常活动的信息。 我们可以将基本步骤总结为原始传感器数据的预处理、分割、特征提取和分类。

原始传感器数据的预处理：数据预处理的第一步是降噪。 通常，使用四种滤波器，即中值滤波器、巴特沃斯低通滤波器、离散小波包收缩和卡尔曼滤波器，用于过滤加速度和陀螺仪噪声 [^13]。 但是，在选择一种或多种滤波器时，我们需要注意信噪比 (SNR)、滤波信号与参考信号之间的相关系数 (R)、截止频率、波形延迟、滤波器阶数、窗口长度等。 卡尔曼滤波器具有更大的 SNR 和 R 值。 上述四种滤波器的性能参数已在表 I 中总结。

<div style="text-align: center;">TABLE I</div>

<div style="text-align: center;">PERFORMANCE COMPARISON OF FOUR FILTERS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Filter</td><td style='text-align: center; word-wrap: break-word;'>Real-time performance</td><td style='text-align: center; word-wrap: break-word;'>Waveform delay</td><td style='text-align: center; word-wrap: break-word;'>SNR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Median</td><td style='text-align: center; word-wrap: break-word;'>Related to window length  N. It has to wait $\frac{N}{2}$ future data points for filtering.</td><td style='text-align: center; word-wrap: break-word;'>Little</td><td style='text-align: center; word-wrap: break-word;'>Moderate</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Butterworth (low-pass)</td><td style='text-align: center; word-wrap: break-word;'>Best real-time performance.</td><td style='text-align: center; word-wrap: break-word;'>Large (depends on filter order and cut-off frequency)</td><td style='text-align: center; word-wrap: break-word;'>Lowest (with waveform delay) Highest (without waveform delay)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Kalman</td><td style='text-align: center; word-wrap: break-word;'>Moderate.</td><td style='text-align: center; word-wrap: break-word;'>Short delay</td><td style='text-align: center; word-wrap: break-word;'>Better than Median and Wavelet filter.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Wavelet</td><td style='text-align: center; word-wrap: break-word;'>Depends on decomposition level  J. It needs to wait $2 \cdot J$ future data points to filter noise.</td><td style='text-align: center; word-wrap: break-word;'>Little</td><td style='text-align: center; word-wrap: break-word;'>Moderate</td></tr></table>

分割：在分割过程中，需要考虑一些因素来选择窗口长度。一项之前的研究[^15]表明，从较小的窗口中提取的特征质量更好，但会延迟最终用户的识别结果。相反，如果活动持续时间很短，则使用较长的窗口可能会导致识别失败。应根据正在执行的活动选择最佳窗口长度。在早期的研究中，窗口大小的范围从0.25秒到6.7秒，而一些研究建议相邻窗口之间存在恒定的重叠百分比[^16]，[^17]。从[^18]，我们发现，平均而言，从一秒和两秒的窗口长度提取的特征，其精度值比其他窗口长度略高，这适用于人体活动识别。

特征提取和分类：在分割阶段之后，我们需要关注从分割的数据中提取更多相关的特征，这些特征可以用于区分更相似的活动。 我们可以提取时域和频域特征。 此外，从活动图提取的特征以及基于能量的特征在活动分类中也起着重要的作用。 均值、标准差、中位数绝对偏差、帧中样本的最小值和最大值、信号幅度、四分位距、信号熵、自回归系数是常用的时域特征。 快速傅里叶变换 (FFT) 用于推导频域特征。 不同的特征在正确分类活动方面发挥着不同的重要作用。 我们可以根据重要性因素选择特征，该因素可以使用随机森林属性找到。 还可以使用其他特征选择步骤，例如单变量特征选择、删除方差较低且相关性较高的特征、递归特征消除和基于 L1 的特征选择。

最后，我们可以根据数据类型、数据量、活动相似性、活动数量、类别数量等因素应用多种分类方法。大多数常见分类器，例如线性判别分析（LDA）、逻辑回归（LR）、K近邻（KNN）、随机森林（RnF）、支持向量机（SVM）等，都可用于动态活动和静态活动的分类。但对于SVM需要选择核函数，对于KNN需要选择K值（邻居数量）和距离计算方法，为

---

RnF，用于LDA等因素的容差值在这些分类器的精度和准确性方面起着至关重要的作用，需要仔细考虑。我们也可以使用深度学习网络来对人类活动进行分类。在这种情况下，实时处理时间和深度神经网络的性能之间存在权衡，因为深度神经网络在处理时间方面成本很高。

### III. 活动识别中的挑战

人类活动识别算法可以根据识别复杂性和基于传感器的活动识别领域的挑战进行评估。活动的复杂性可能不同，这取决于各种情况，包括活动数量、活动类型、传感器选择、能耗、侵入性以及这些活动的收集协议。步态活动可以分为三种基本类型：静态活动、动态活动以及具有姿势转换的活动，如图2所示。与周期性活动（跑步、行走等）相比，静态活动以及姿势转换（躺、坐等）更容易被识别。但是，高度相似的姿势（坐和站立）由于特征空间中的显著重叠，在分离时会产生很大的复杂性。此外，动态活动（上楼和下楼），在特征空间中具有很高的相似性，也难以区分，因为它们具有相关的动作模式。

![Image](images/1e2fd0638b4462899f944b6c880be5ec2e69d3a7fbc64e2b4be46091fd33cb59.jpg)

<div style="text-align: center;">Fig. 2. Different types of daily human activities.</div>

在大多数情况下，在整个活动期间，执行的活动之间的对应关系并不相似，这使得识别更加困难。例如，坐和站是密切相关的（难以分离），但与行走相比非常不同（容易分离）。过渡性活动可以进一步分为四种类型：静态到静态姿势转换（站立到坐下、躺下到坐下等）、静态到动态（静止到行走）、动态到静态（行走到静止）以及动态到动态（行走到慢跑、慢跑到跑步等）。

传感器要求：所使用的智能手机传感器的数量会显著增加识别算法的复杂性。

传感器选择的数量：智能手机包含许多传感器：例如Wi-Fi、压力、蓝牙、加速度计、磁力计、气压计、陀螺仪、接近传感器、温度和湿度传感器、环境光传感器、摄像头和麦克风。但是，需要仔细选择传感器的数量，因为使用少量传感器的识别系统可以使实时应用更容易和更方便。在可穿戴传感器的情况下，传感器的数量起着重要作用，因为用户舒适度。携带多个传感器对用户来说很困难。这需要在传感器数量和性能之间进行权衡，需要谨慎处理。

智能手机和可穿戴传感器的位置：通常，用户将智能手机放在衬衫口袋、裤子口袋或手持。由于加速度计用于处理基于轴的运动传感，陀螺仪用于确定方向，因此在收集数据时需要考虑智能手机的位置，因为即使是针对同一活动，智能手机在人体不同位置上的位置也会导致数据发生变化。否则，由于智能手机和可穿戴传感器的位置，可能会错误识别某种活动，从而降低识别精度。另一个问题是，有些用户可能在家里不携带手机，这使得无法跟踪他们的活动。在这种情况下，可穿戴传感器是一个不错的选择，但它也存在许多用户在进行活动时难以长时间佩戴的问题。

### IV. 可用的传感设备和工具

用于收集人类活动数据时，可穿戴设备和传感器，以及集成在家用电器中的设备，被广泛使用。但如今，智能手机也包含必要的传感器，可用于随时随地监控活动。在本节中，我们描述了可穿戴设备和传感器模块，以及一些可用于人类活动识别的应用程序和工具。

Motion Node：Motion Node (<http://www.motionnode.com>) 是一款小巧轻便的设备，具有 6 轴惯性测量单元，专为运动传感而设计。它集成了加速度计、陀螺仪和磁力计。

LoRaWAN：LoRaWAN [^22] 是一种传感器设备，可以与各种传感器进行连接。这是一款高性能的设备，具有最高的测量精度。LoRaWAN 传感器具有长达 10 年的系统寿命。

ECO 传感器：ECO 传感器 [^19] 尺寸小巧，无需电池。每个 ECO 都包含一个加速度计传感器，用于专门的任务，即婴儿运动监测。

μParts：μParts [^20] 是一种低成本的小型传感器节点，需要大量的相对低采样率传感器。该系统包括一个光传感器、温度传感器和一个球开关传感器，用于运动检测。

TMote Sky：这是一款超低功耗的 IEEE 802.15.4 兼容无线传感器模块 (<http://www.moteiv.com>)。它包含湿度、光线和温度传感器，并具有 USB 接口，可用于各种网状网络应用。

---

Smart-Its：这是一个用于智能对象的安全平台。它反映了“消失的计算机”的理论，该理论将计算置于人们与其周围环境的互动之中 [^21]。

Luna Nurse：Luna Nurse (<http://www.g-mark.org>) 是一种床边感应器，可以检测到护理对象在床上的三种状态：站立、坐在床边和离开床，通过感知该人的动作来实现。设备分析器：这是一个在 Android 设备上运行的应用程序，可以在手机使用时在后台收集使用统计信息 (<http://deviceanalyzer.cl.cam.ac.uk>)。它具有分析选项，可以提取数据，监控我们的日常工作。

HASC 工具和 HASC 日志记录器：HASC 工具 (<http://hasc.jp/tools/hasctool-en.html>) 是一种用于动作信息处理的工具，使用 Eclipse 插件开发。Bellabeat (<http://gadgetsandwearables.com/bellabeat>) 是一家专注于健康的公司，致力于为女性创造有吸引力的连接式可穿戴设备。这款智能珠宝旨在跟踪健康状况，可以佩戴为项链或手链，并配有各种配件。

加州大学尔湾分校机器学习存储库：加州大学尔湾分校机器学习存储库托管来自不同领域的的数据集，通常以 CSV 格式提供。该存储库中的数据集包含有关属性类型、缺失值、目标域等的信息。主要优点是数据捐赠的灵活性以及数据的多样性。在表 II 中，我们总结了从该存储库中可公开获取的基于智能手机和可穿戴传感器的活动识别数据集。

<div style="text-align: center;">TABLE II</div>

### V. 基准数据集

研究人员在数据收集过程中面临许多困难，包括技术挑战、受试者隐私问题、组织权威等。由于这些困难，目前可公开获取的基于传感器的活动识别数据集很少。在本节中，我们从知名存储库收集了基准数据集，并提供了相关信息，例如数据集特征、属性特征、属性和类别的数量等。

<div style="text-align: center;">LIST OF UCI ML REPOSITORY DATASETS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Subjects (Activities)</td><td style='text-align: center; word-wrap: break-word;'>Year</td><td style='text-align: center; word-wrap: break-word;'>Devices</td><td style='text-align: center; word-wrap: break-word;'>Sensors/Modules</td><td style='text-align: center; word-wrap: break-word;'>Missing values</td><td style='text-align: center; word-wrap: break-word;'>Dataset characteristics</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HAR [^23]</td><td style='text-align: center; word-wrap: break-word;'>30 (6)</td><td style='text-align: center; word-wrap: break-word;'>2012</td><td style='text-align: center; word-wrap: break-word;'>Smartphone</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer and gyroscope</td><td style='text-align: center; word-wrap: break-word;'>No</td><td style='text-align: center; word-wrap: break-word;'>Continuous</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HAPT [^24]</td><td style='text-align: center; word-wrap: break-word;'>30 (12)</td><td style='text-align: center; word-wrap: break-word;'>2015</td><td style='text-align: center; word-wrap: break-word;'>Smartphone</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer and gyroscope</td><td style='text-align: center; word-wrap: break-word;'>No</td><td style='text-align: center; word-wrap: break-word;'>Continuous</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Single Chest [^25]</td><td style='text-align: center; word-wrap: break-word;'>15 (7)</td><td style='text-align: center; word-wrap: break-word;'>2014</td><td style='text-align: center; word-wrap: break-word;'>Device on chest</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer at 52 Hz</td><td style='text-align: center; word-wrap: break-word;'>No</td><td style='text-align: center; word-wrap: break-word;'>Continuous</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OPPOR-TUNITY [^26]</td><td style='text-align: center; word-wrap: break-word;'>4 (35)</td><td style='text-align: center; word-wrap: break-word;'>2012</td><td style='text-align: center; word-wrap: break-word;'>Wearable object</td><td style='text-align: center; word-wrap: break-word;'>Accelerometers, motion, and ambient sensors</td><td style='text-align: center; word-wrap: break-word;'>Yes</td><td style='text-align: center; word-wrap: break-word;'>Isolated</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>REAL-DISP [^27]</td><td style='text-align: center; word-wrap: break-word;'>17 (33)</td><td style='text-align: center; word-wrap: break-word;'>2014</td><td style='text-align: center; word-wrap: break-word;'>Wearable device</td><td style='text-align: center; word-wrap: break-word;'>Accelerometers, gyroscopes, and magnetic sensor.</td><td style='text-align: center; word-wrap: break-word;'>No</td><td style='text-align: center; word-wrap: break-word;'>Continuous</td></tr></table>

N.A: 不可用。

可穿戴传感器数据集：可穿戴设备的设计需要考虑用户的灵活性。轻便、时尚、舒适的可穿戴设备，内置传感器用于活动监测，已用于多个数据集。在表 III 中，我们讨论了一些可公开获取的此类数据集，并提供了相关信息。

<div style="text-align: center;">TABLE III</div>

<div style="text-align: center;">LIST OF WEARABLE SENSOR-BASED DATASETS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Subjects (Activities)</td><td style='text-align: center; word-wrap: break-word;'>Applications</td><td style='text-align: center; word-wrap: break-word;'>Year</td><td style='text-align: center; word-wrap: break-word;'>Devices</td><td style='text-align: center; word-wrap: break-word;'>Sensors/ Module</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>USC-HAD [^28]</td><td style='text-align: center; word-wrap: break-word;'>14 (12)</td><td style='text-align: center; word-wrap: break-word;'>Healthcare</td><td style='text-align: center; word-wrap: break-word;'>2012</td><td style='text-align: center; word-wrap: break-word;'>Motion Node</td><td style='text-align: center; word-wrap: break-word;'>accelerometer and gyroscope.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WARD [^29]</td><td style='text-align: center; word-wrap: break-word;'>20 (13)</td><td style='text-align: center; word-wrap: break-word;'>Human action recognition</td><td style='text-align: center; word-wrap: break-word;'>2009</td><td style='text-align: center; word-wrap: break-word;'>DexterNet</td><td style='text-align: center; word-wrap: break-word;'>accelerometer and gyroscope.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SKODA [^30]</td><td style='text-align: center; word-wrap: break-word;'>1 (10)</td><td style='text-align: center; word-wrap: break-word;'>car maintenance</td><td style='text-align: center; word-wrap: break-word;'>2007</td><td style='text-align: center; word-wrap: break-word;'>Wearable system</td><td style='text-align: center; word-wrap: break-word;'>accelerometer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HCI [^31]</td><td style='text-align: center; word-wrap: break-word;'>1 (5)</td><td style='text-align: center; word-wrap: break-word;'>Human-computer interaction</td><td style='text-align: center; word-wrap: break-word;'>2009</td><td style='text-align: center; word-wrap: break-word;'>Wearable system</td><td style='text-align: center; word-wrap: break-word;'>accelerometer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PPS Grouping [^32]</td><td style='text-align: center; word-wrap: break-word;'>10 (2)</td><td style='text-align: center; word-wrap: break-word;'>Detecting walking group</td><td style='text-align: center; word-wrap: break-word;'>2009</td><td style='text-align: center; word-wrap: break-word;'>Wearable System.</td><td style='text-align: center; word-wrap: break-word;'>accelerometer</td></tr></table>

与医疗活动相关的数据集：医疗活动识别对于远程监测患者、孕妇和患有心脏病的患者具有许多应用。在表 IV 中，我们列出了一些与医疗活动相关的数据集，其中 Dophnet FoG 和 Predicting Parkinson's Disease 数据集是公开可用的。

<div style="text-align: center;">TABLE IV</div>

<div style="text-align: center;">LIST OF MEDICAL ACTIVITIES RELATED DATASETS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Subjects (Activities)</td><td style='text-align: center; word-wrap: break-word;'>Applications</td><td style='text-align: center; word-wrap: break-word;'>Year</td><td style='text-align: center; word-wrap: break-word;'>Devices</td><td style='text-align: center; word-wrap: break-word;'>Sensors/ Module</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Daphnet FoG [^33]</td><td style='text-align: center; word-wrap: break-word;'>10 (3)</td><td style='text-align: center; word-wrap: break-word;'>Monitoring PD patients&#x27; walk and detecting sporadic freezing of gait</td><td style='text-align: center; word-wrap: break-word;'>2010</td><td style='text-align: center; word-wrap: break-word;'>Wearable device</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Nursing Activity [^34]</td><td style='text-align: center; word-wrap: break-word;'>82 (25)</td><td style='text-align: center; word-wrap: break-word;'>Monitoring nursing activities in the hospital</td><td style='text-align: center; word-wrap: break-word;'>2016</td><td style='text-align: center; word-wrap: break-word;'>iPod</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Predicting Parkinson&#x27;s Disease [^35]</td><td style='text-align: center; word-wrap: break-word;'>9 (2)</td><td style='text-align: center; word-wrap: break-word;'>Monitoring and measure symptoms of PD disease</td><td style='text-align: center; word-wrap: break-word;'>2011</td><td style='text-align: center; word-wrap: break-word;'>Smartphone</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer, compass ambient light, proximity, battery level, GPS, and audio sensors</td></tr></table>

基于智能手机传感器的数据集：如今，智能手机已成为大多数人的日常伴侣。因此，使用智能手机内置传感器的活动数据来监控用户活动非常容易。由于传感器可用性和成本效益，基于智能手机传感器的活动识别已引起许多研究人员的兴趣。在表 V 中，我们列出了一些可公开获取的此类数据集，但 HASC-IPSC 未公开。

<div style="text-align: center;">TABLE V</div>

<div style="text-align: center;">LIST OF SMARTPHONE SENSOR-BASED AMBULATION ACTIVITY DATASETS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Subjects (Activities)</td><td style='text-align: center; word-wrap: break-word;'>Applications</td><td style='text-align: center; word-wrap: break-word;'>Year</td><td style='text-align: center; word-wrap: break-word;'>Devices</td><td style='text-align: center; word-wrap: break-word;'>Sensors/ Module</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WISDM [^36]</td><td style='text-align: center; word-wrap: break-word;'>29</td><td style='text-align: center; word-wrap: break-word;'>Activity monitoring</td><td style='text-align: center; word-wrap: break-word;'>2012</td><td style='text-align: center; word-wrap: break-word;'>Android phones</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Smart Devices [^37]</td><td style='text-align: center; word-wrap: break-word;'>N.A (11)</td><td style='text-align: center; word-wrap: break-word;'>Human behaviour recognition</td><td style='text-align: center; word-wrap: break-word;'>2017</td><td style='text-align: center; word-wrap: break-word;'>Smartphone, smartwatch</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer, gyroscope, EOG, and pressure sensor.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HASC 2010 Corpus [^38]</td><td style='text-align: center; word-wrap: break-word;'>540 (6)</td><td style='text-align: center; word-wrap: break-word;'>Activity recognition</td><td style='text-align: center; word-wrap: break-word;'>2010</td><td style='text-align: center; word-wrap: break-word;'>Smartphone, smartwatch, and smartglass</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer. Sampling rate: (10-100 Hz)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HASC IPSC [^39]</td><td style='text-align: center; word-wrap: break-word;'>107</td><td style='text-align: center; word-wrap: break-word;'>Indoor position and building structure estimation</td><td style='text-align: center; word-wrap: break-word;'>2014</td><td style='text-align: center; word-wrap: break-word;'>Smartphone</td><td style='text-align: center; word-wrap: break-word;'>Accelerometer, wifi, pressure sensor, angular velocity, and geomagnetism sensor.</td></tr></table>

---

### VI. 讨论

### A. 之前研究工作的分类方法

在本节中，我们对先前工作中用于某些基准数据集的分类方法的进行了比较分析。在 [^40] 中，他们通过收集来自 6 名受试者的 12 种日常活动的数据，并使用腰部安装的加速度计开发了一个系统。这项工作提出了一种方法，可以在可穿戴设备的板载上进行尽可能多的信号处理。他们的方案还包括使用嵌入式智能和实时分类系统。他们获得了 90.8% 的总体准确率，姿势方向识别准确率为 94.1%，跌倒检测准确率为 95.6%。另一方面，在论文 [^41] 中，提出了 1D Haar-like 滤波技术，因为这些技术不仅是特征提取的新方法，而且计算量也较小。他们提出的方法实现了 93.91% 的识别准确率，同时将计算成本降低了 21.22%，低于先前的方法。在 [^42] 中，特征通过核主成分分析和线性判别分析进行进一步处理，以使其更具鲁棒性。最后，他们使用深度置信网络来训练特征。他们发现准确率为 89.61%，优于典型的多类支持向量机（82.02% 准确率）和人工神经网络（65.31%）。

近年来，在基于传感器的活动识别领域，出现了各种利用深度学习和通用分类方法的的研究工作。[^43] 实施了一种基于半监督机器学习的活动识别技术，该技术采用自训练过程，以克服生成带有错误标签的训练数据集的问题，即使只有少量已标记的训练数据。在 [^44] 中，使用基于 K-均值聚类算法的无监督机器学习方法来识别人类活动。但是，当数据集包含静态和动态活动混合时，这些方法的性能受到限制。[^45] 的研究工作开始了一项关于通过传感器数据估计用户路线的新研究。他们指出，成功开发基于传感器数据的路线估计技术可以改善生活记录、上下文感知服务或基于位置的服务。为了改进移动活动识别，[^46] 对 HASC 和 UCI HAR 数据集使用了 EM+Sparse（EM 算法和稀疏分割）和 EM+Dense（EM 算法和密集分割）方法，以解决活动起始和结束时间戳在均匀和连续活动中存在不准确边界的问题。

另一方面，Inoue 等人 [^47] 提出了一种方法，该方法使用深度循环神经网络从原始加速度计数据中实现高吞吐量，从而比其他简单方法缩短了识别时间。[^48] 的研究使用多类硬件友好型支持向量机（k=8 位），使用 17 个时域和频域特征，可以释放系统资源，并减少智能手机的能耗，因为多类硬件友好型支持向量机方法使用定点算术进行活动识别，而不是传统使用的浮点算术算法。参考 [^49] 提出了一种名为 Mod 的后处理技术，以及随机森林分类器，用于对运动和交通活动进行分类。在另一项工作中 [^50]，使用 Adaboost 集合分类器通过对多个分类器的加权组合来识别来自身体传感器的活动数据。

### B. 未来方向

在未来的研究工作中，应该进行资源消耗的分析，包括内存、CPU、传感器数量，以及最重要的是电池使用情况。应该更深入地研究识别准确率、精度和资源利用之间的权衡取舍，以获得最佳结果。此外，对于类似活动（如坐和站立，或行走、上楼和下楼）的正确识别，可以使用基于分类器的分组方法。大多数现有工作都无法使用单个分类器精确地区分类似的活动。未来计划中还应包括使用手动标记的训练数据，例如将行走活动错误地标记为慢跑活动的情况。结合视频数据和传感器数据可以是一个重要的研究领域。

## VII. 结论

随着传感器领域不断发展和技术进步，活动识别已成为众多新兴计算领域中的一种新型情境感知个性化应用。但是，作为一个新兴的研究领域，目前缺乏关于基于传感器的活动识别的综述。大多数研究人员难以找到基准数据集，这使得他们的工作变得困难。本文对当前的人类活动识别技术进行了综述，我们收集了一些关于日常活动的基准数据集，这些数据集使用可穿戴设备和智能手机传感器。提供了与这些数据集相关的详细信息，包括属性、活动类别、使用的传感器类型和设备。此外，我们列出了可用于生成新数据集的各种传感设备和应用程序工具。详细描述了多种噪声过滤方法、滤波器选择、分割方法，以及选择窗口长度时需要考虑的因素。此外，还对以前的活动识别技术进行了总结和综合分析。最后，提出了许多未来研究计划，以将该领域扩展到更实用和普及的场景。

## 参考文献

[^1]: M. Philipose, K. P. Fishkin, M. Perkowitz, D. J. Patterson, D. Fox, H. Kautz, and D. Hahnel, “Inferring activities from interactions with objects,” in IEEE pervasive computing, pp. 50–57, 2004.


## [^2]: P. Turaga, R. Chellappa, V. S. Subrahmanian, and O. Udrea, “Machine recognition of human activities: A survey,” in IEEE Trans. on Circuits and Systems for Video technology, pp. 1473–1488, 2008.


---

[^3]: D. Ding, R. A. Cooper, P. F. Pasquina, and L. Fici-Pasquina, “Sensor technology for smart homes,” in Maturitas, pp. 131–136, 2011.

[^4]: A. Tolstikov, X. Hong, J. Biswas, C. Nugent, L. Chen, and G. Parente, “Comparison of fusion methods based on dst and dbn in human activity recognition,” in Journal of Control Theory and Applications, pp. 18–27, 2011.

[^5]: M. A. R. Ahad, in Computer vision and action recognition, Springer, 2011.

[^6]: M. A. R. Ahad, in Motion History Images for Action Recognition and Understanding, Springer, 2012.

[^7]: T. Tan, M. Gochoo, S. Huang, Y. Liu, S. Liu, and Y. Huang, "Multi-resident activity recognition in a smart home using rgb activity image and dcnn," in IEEE Sensors Journal, 2018.

[^8]: J. Liu, A. Shahroudy, D. Xu, A. C. Kot, and G. Wang, “Skeleton-based action recognition using spatio-temporal lstm network with trust gates,” in IEEE Trans. on PAMI, pp. 3007–3021, 2018.

[^9]: S. C. Mukhopadhyay, “Wearable sensors for human activity monitoring: A review,” in IEEE sensors journal, pp. 1321–1330, 2015.

[^10]: M. Z. Uddin and M. M. Hassan, “Activity recognition for cognitive assistance using body sensors data and deep convolutional neural network,” in IEEE Sensors Journal, pp. 1–1, 2018.

[^11]: O. D. Lara, M. A. Labrador in et al., "A survey on human activity recognition using wearable sensors." in IEEE Communications Surveys and Tutorials, pp. 1192–1209, 2013.

[^12]: L. Gou, D. Peng, X. Chen, L. Wu, and Q. Tang, “A self-calibration method for angular displacement sensor working in harsh environments,” in IEEE Sensors Journal, pp. 1–1, 2018.

[^13]: M. Huang, G. Zhao, L. Wang, and F. Yang, “A pervasive simplified method for human movement pattern assessing,” ICPADS, IEEE, pp. 625–628, 2010.

[^14]: E. K. Antonsson and R. W. Mann, “The frequency content of gait,” in Journal of biomechanics, pp. 39–47, 1985.

[^15]: A. M. Khan, “Human activity recognition using a single tri-axial accelerometer,” in Department of Computer Engineering, Graduate School, Kyung Hee University, Seoul, Korea, 2011.

[^16]: S. J. Preece, J. Y. Goulermas, L. P. Kenney, D. Howard, K. Meijer, and R. Crompton, "Activity identification using body-mounted sensors: a review of classification techniques," in Physiological measurement, 2009.

[^17]: L. Bao and S. S. Intille, “Activity recognition from user-annotated acceleration data,” in in Int. Conf. on Pervasive Computing, Springer, pp. 1–17, 2004.

[^18]: T. Huynh and B. Schiele, “Analyzing features for activity recognition,” in Proc. of the 2005 joint conf. on Smart objects and ambient intelligence: innovative context-aware services: usages and technologies, ACM, pp. 159–163, 2005.

[^19]: C. Park, J. Liu, and P. H. Chou, “Eco: an ultra-compact low-power wireless sensor node for real-time motion monitoring,” in Proc. of the 4th int. symp. on Info. processing in sensor networks, IEEE, 2005.

[^20]: M. Beigl, C. Decker, A. Krohn, T. Riedel, and T. Zimmer, “ $\mu$parts: Low cost sensor networks at scale,” in UbiComp 2005, 2005.

[^21]: M. Beigl and H. Gellersen, “Smart-its: An embedded platform for smart objects,” in Smart Objects Conf. (sOc), 2003.

[^22]: T. Hossain, M. A. R. Ahad, T. Tazin, and S. Inoue, “Activity recognition by using lorawan sensor,” UbiComp Adjunct, pp. 58–61, 2018.

[^23]: D. Anguita, A. Ghio, L. Oneto, X. Parra, and J. L. Reyes-Ortiz, “A public domain dataset for human activity recognition using smartphones.” in ESANN, 2013.

[^24]: J.-L. Reyes-Ortiz, L. Oneto, A. Samà, X. Parra, and D. Anguita, “Transition-aware human activity recognition using smartphones,” in Neurocomputing, pp. 754–767, 2016.

[^25]: P. Casale, O. Pujol, and P. Radeva, “Personalization and user verification in wearable systems using biometric walking patterns,” in Personal and Ubiquitous Computing, pp. 563–580, 2012.

[^26]: R. Chavarriaga, H. Sagha, A. Calatroni, S. T. Digumarti, G. Tröster, J. d. R. Millán, and D. Roggen, “The opportunity challenge: A benchmark database for on-body sensor-based activity recognition,” in Pattern Recognition Letters, pp. 2033–2042, 2013.

[^27]: O. Baños, M. Damas, H. Pomares, I. Rojas, M. A. Tóth, and O. Amft, "A benchmark dataset to evaluate sensor displacement in activity recognition," UbiComp, pp. 1026–1035, 2012.

[^28]: M. Zhang and A. A. Sawchuk, “Usc-had: a daily activity dataset for ubiquitous activity recognition using wearable sensors,” UbiComp, pp. 1036–1043, 2012.

[^29]: A. Y. Yang, R. Jafari, S. S. Sastry, and R. Bajcsy, “Distributed recognition of human actions using wearable motion sensor networks,” in Journal of Ambient Intelligence and Smart Environments, pp. 103–115, 2009.

[^30]: T. Stiefmeier, D. Roggen, and G. Troster, “Fusion of string-matched templates for continuous activity recognition,” in Wearable Computers, 2007 11th IEEE International Symposium on. IEEE, 2007, pp. 41–44.

sinner self-

它们的鲁棒性

agains.

urable Computers, 2009.

ISWC'09. Inte.

... IEEE, 2009, pp. 77–84.

[^32]: M. Wirz, D. Roggen, and G. Troster, “Decentralized detection of group formations from wearable acceleration sensors,” Int. Conf. on Computational Science and Engineering, pp. 952–959, 2009.

[^33]: M. Bachlin, M. Plotnik, D. Roggen, I. Maidan, J. M. Hausdorff, N. Giladi, and G. Troster, “Wearable assistant for parkinson's disease patients with the freezing of gait symptom,” in IEEE Transactions on Information Technology in Biomedicine, pp. 436–446, 2010.

[^34]: S. Inoue, N. Ueda, Y. Nohara, and N. Nakashima, “Recognizing and understanding nursing activities for a whole day with a big dataset,” in Journal of Info. Processing, pp. 853–866, 2016.

[^35]: “Predicting parkinson's disease progression with smartphone data,” <https://www.kaggle.com/c/3300/download/Participant%20Description.xls>, accessed on 2019-01-27.

[^36]: J. R. Kwapisz, G. M. Weiss, and S. A. Moore, “Activity recognition using cell phone accelerometers,” in ACM SigKDD Explorations Newsletter, pp. 74–82, 2011.

[^37]: S. Faye, N. Louveton, S. Jafarnejad, R. Kryvchenko, and T. Engel, “An open dataset for human activity analysis using smart devices,” 2017.

[^38]: “Hasc2010 corpus.” <http://hasc.jp>, accessed on 2019-02-12.

[^39]: K. Kaji, H. Watanabe, R. Ban, and N. Kawaguchi, “Hasc-ipsc: indoor pedestrian sensing corpus with a balance of gender and age for indoor positioning and floor-plan generation researches,” UbiComp, pp. 605–610, 2013.

[^40]: D. M. Karantonis, M. R. Narayanan, M. Mathie, N. H. Lovell, and B. G. Celler, “Implementation of a real-time human movement classifier using a triaxial accelerometer for ambulatory monitoring,” in IEEE trans. on information technology in biomedicine, pp. 156–167, 2006.

[^41]: Y. Hanai, J. Nishimura, and T. Kuroda, “Haar-like filtering for human activity recognition using 3d accelerometer,” DSP/SPE, pp. 675–678, 2009.

[^42]: M. M. Hassan, M. Z. Uddin, A. Mohamed, and A. Almogren, “A robust human activity recognition system using smartphone sensors and deep learning,” in Future Generation Computer Systems, pp. 307–313, 2018.

[^43]: M. Stikic, K. Van Laerhoven, and B. Schiele, “Exploring semi-supervised and active learning for activity recognition,” 2008.

[^44]: I. P. Machado, A. L. Gomes, H. Gamboa, V. Paixão, and R. M. Costa, “Human activity data discovery from triaxial accelerometer sensor: Non-supervised learning sensitivity to feature extraction parametrization,” in Information Processing & Management, pp. 204–214, 2015.

[^45]: N. Kawaguchi, H. Watanabe, T. Yang, N. Ogawa, Y. Iwasaki, K. Kaji, T. Terada, K. Murao, H. Hada, and S. Inoue, “Hasc2012corpus: Large scale human activity corpus and its application,” in Proc. of the IPSN, 2012.

[^46]: T. Toda, S. Inoue, and N. Ueda, “Mobile activity recognition through training labels with inaccurate activity segments,” in Proc. of the 13th Int. Conf. on Mobile and Ubiquitous Systems: Computing, Networking and Services. ACM, pp. 57–64, 2016.

[^47]: M. Inoue, S. Inoue, and T. Nishida, “Deep recurrent neural network for mobile human activity recognition with high throughput,” in Artificial Life and Robotics, pp. 173–185, 2018.

[^48]: D. Anguita, A. Ghio, L. Oneto, X. Parra, and J. L. Reyes-Ortiz, “A public domain dataset for human activity recognition using smartphones.” in ESANN, 2013.

[^49]: A. D. Antar, M. Ahmed, M. S. Ishrak, and M. A. R. Ahad, “A comparative approach to classification of locomotion and transportation modes using smartphone sensor data,” UbiComp Adjunct, pp. 1497–1502, 2018.

[^50]: A. Subasi, D. H. Dammas, R. D. Alghamdi, R. A. Makawi, E. A. Albiety, T. Brahimi, and A. Sarirete, “Sensor based human activity recognition using adaboost ensemble classifier,” in Procedia Computer Science, pp. 104–111, 2018.
