# 基于二维激光雷达的多人活动识别时间卷积网络
罗非 $^{ID}$，斯特凡·波斯拉德 $^{ID}$，埃利亚娜·博达内斯 $^{ID}$
摘要——运动轨迹蕴含丰富的人类活动信息。本文提出利用二维激光雷达对多人轨迹进行分类，从而同时实现多人活动识别。我们对原始激光雷达数据进行聚类，并将聚类簇划分为人类和非人类两类，以识别场景中的人员。针对人类对应的聚类簇，我们采用卡尔曼滤波跟踪其轨迹，再对轨迹进行分割并标注对应的活动。为解决类别不平衡问题、提升人类行为识别（HAR）的性能，我们引入空间变换和高斯噪声进行轨迹增广。最终，我们构建了两种神经网络，包括长短期记忆（LSTM）网络和时间卷积网络（TCN），将轨迹样本分类至在厨房采集得到的15个活动类别中。所提出的TCN取得了最优结果，总体准确率达到99.49%。对比显示，TCN略优于LSTM网络。TCN和LSTM网络的性能均大幅优于隐马尔可夫模型（HMM）、动态时间规整（DTW）和支持向量机（SVM）。本文方法取得了比现有相关工作更高的活动识别准确率。
索引词——人类行为识别（HAR）、定位、长短期记忆（LSTM）、人员跟踪、时间卷积网络（TCN）、轨迹分类。
## 一、引言
人类行为识别（HAR）在监控、医疗保健、智能家居、智能控制等领域具有广泛应用。例如，医生和营养师可以根据患者和客户的日常饮食活动，为其远程提供建议[^1]。人们可以利用手势识别[^2]，[^3]与电视、电脑、智能眼镜等电子设备实现无接触交互。活动识别可用于在诸多监控任务中检测异常行为模式[^4]，例如，人体跌倒检测能够为老年人及时获得医疗救助提供极大帮助[^5]。
目前人体活动识别（HAR）领域已应用了多种传感器。基于视频的活动识别技术已经发展得较为成熟。Nunez等人[^6]从视频中提取人体骨骼轮廓，开展活动识别与手势识别研究。Ibrahim等人[^7]从体育视频中提取个人级动作的时序表征，并融合不同个体的表征来识别群体活动。但基于视频的系统会受光照不足和隐私问题的影响。可穿戴惯性传感器包括加速度计、陀螺仪和磁力计，由于已普遍嵌入智能手机、智能手表和运动手环，如今越来越多地被应用于HAR领域。Jung等人[^8]利用气压传感器测量肌肉活动引发的气压变化，以此识别手势。为了更精准地识别复杂人体活动，研究人员融合了多种异构可穿戴传感器。Qi等人[^9]提出了一个双层识别框架，通过融合加速度计和心电图信号对健身房体育活动进行分类。但用户可能会忘记佩戴可穿戴传感器[^10]，或是佩戴时感到不适[^11]。因此，无线传感技术越来越多地被用作替代方案。例如，Wi-Fi[^12]和雷达（Radar）[^13]也已应用于HAR领域。Wang等人[^14]利用Wi-Fi信道状态信息（CSI）开展跌倒检测。Ren等人[^15]利用多普勒雷达获取的距离-时间-频率信息完成目标定位和心跳检测。与摄像头和可穿戴传感器相比，基于Wi-Fi和雷达的技术更适用于室内HAR场景，该场景的干扰比室外更少。
位置获取系统已在日常生活中得到广泛应用，目前已有GPS、雷达、激光雷达（LIDAR）等多种技术方案。这类系统会产生大量位置数据，多年来已被应用于导航、路径规划和地图绘制领域。近年来，越来越多的研究尝试从人员位置构成的轨迹中推断语义信息，以此提供更高层次的服务，例如个性化推荐、智能家居以及更智能的类人机器人交互。尽管现有多种定位技术，但没有一种技术能够普适地满足所有应用场景的需求。GPS几乎无法在室内工作，因为其信号无法穿透墙体。雷达容易受到地面环境和多径效应的干扰。蓝牙和射频识别（RFID）可实现室内定位，但由于传感距离较短，通常需要大规模部署，维护难度较高。作为一种测绘技术，LIDAR凭借定位精度高、实时性好、部署便捷的优势，越来越多地被应用于自动驾驶汽车和机器人领域，同时可适配室内和室外场景。由于二维LIDAR的价格比三维LIDAR更低，
---
本文提出使用二维LIDAR开展室内多人活动识别研究。
利用激光雷达（LIDAR）采集得到的轨迹是由一系列坐标构成的序列，轨迹属于同时包含空间信息和时间信息的时间序列。循环神经网络（RNN）能够通过其确定性隐藏状态传播信息，对时间序列中的长期依赖关系进行建模。作为RNN的变体，长短期记忆网络（LSTM）额外使用三个门控单元调控信息进出每个节点的流量，解决了传统RNN存在的梯度爆炸和梯度消失问题。时间卷积网络（TCN）通过堆叠多个空洞卷积获得更大感受野，使其能够对更长时间尺度建模，最长可覆盖整个序列长度 $^{[16]}$。LSTM和TCN目前都已在序列图像分类、音频分类、语言建模等多个领域取得出色成果。本文中，我们搭建了LSTM网络和TCN，将人体轨迹分类到预定义的活动类别中，并对二者进行对比。
采用无线传感技术实现HAR的难度高于使用可穿戴传感器。基于可穿戴传感器的HAR方案中，每个人都佩戴传感设备，传感器数据直接从特定个体采集得到。而包括激光雷达、雷达和Wi-Fi监测在内的无线传感技术，监测场景中同时存在人类和非人类物体，例如墙壁、桌子、动物等，因此在开展HAR之前必须先将人类与非人类物体区分开。另一项挑战是无线传感器的检测区域内可能同时出现多个人体，若要识别不同个体的活动，必须分别对每个人进行跟踪。激光雷达可以达到厘米级的定位精度，利用这一特性，我们能够在空间维度区分多个人体。激光雷达还拥有极快的响应速度，适合用于实时跟踪。这些因素促使我们选择二维激光雷达开展HAR。
本文中，我们使用二维激光雷达同时跟踪多个人体，采集其轨迹用于活动识别。通过采用长度仅2.5秒的极短滑动窗口进行轨迹分割，我们的方法能够实现近似实时的HAR。为了解决类别不平衡问题，我们采用空间变换和高斯噪声进行轨迹增广。最终我们搭建了两个神经网络：LSTM网络和TCN，并对比了二者的性能。我们提出的方法能够以近似实时的速度对室内活动实现很高的分类准确率，这对于开发可行的实时监测应用至关重要。
本文剩余部分的结构安排如下：第二节从三个方面介绍HAR的相关工作：1）传感器；2）机器学习；3）基于轨迹的HAR。第三节阐述详细的研究方法，包括数据处理、点聚类、多用户跟踪、轨迹分割与增广，以及我们提出的LSTM和TCN网络。第四节我们在室内场景中实现了本文方法。第五节对提出的方法进行评估并展示实验结果。最后，第六节给出本文结论。
### 二、相关工作
目前学界已使用多种传感设备和方法对HAR开展了广泛研究，本节我们将从传感器类型、机器学习算法和基于轨迹的HAR三个维度回顾相关研究工作。
### A. 传感器
多种传感器已应用于HAR领域，例如摄像头、RFID、Wi-Fi等。基于这类传感器衍生出两类技术：1）绑定设备型技术和2）无设备型技术。绑定设备型技术要求用户携带可穿戴传感器，例如心电图传感器、加速度计、蓝牙或Wi-Fi接收器。由于许多可穿戴传感器附着在人体上，它们在获取生理特征方面具备显著优势[^17]，可获取体温、心率、血压等数据，对医疗健康监测十分有帮助。无设备型技术不要求用户佩戴任何传感器，活动感知通过摄像头、雷达、激光雷达等设备远程完成。无设备技术更加便捷，不需要用户做出额外操作或佩戴附加设备，因此吸引了更多关注。然而，每种传感器都有其优势与局限性。摄像头被广泛部署用于HAR，因为视频和图像是可被人眼轻松感知的视觉形式。但大多数摄像头受光照不足问题困扰，且可视范围狭窄，不适合应用在较大区域。同时摄像头也存在隐私侵犯问题，因为人们的面部可能会被暴露。RFID标签[^18]和蓝牙信标[^19]通常需要大规模部署与维护，因为它们的通信距离非常短。这类方案通常要求用户携带RFID读取器或蓝牙接收器，读取嵌入在物理环境特定区域的标签或信标。雷达可以获取人类活动产生的微多普勒特征[^13]。雷达不会引发隐私问题，因为雷达探测无法获取个人可识别特征，且雷达信号可以穿透墙壁、布料、树木等障碍物。Wi-Fi设备可以测量CSI或接收信号强度指示（RSSI）来完成活动识别，具备和雷达设备相似的优点。但Wi-Fi和雷达设备都存在抗干扰能力弱、易受多径效应影响的缺陷。GPS和激光雷达LIDAR已通过分析人类位置序列模式应用于HAR领域。由于GPS信号几乎无法在室内接收，因此它通常用于开阔的大型室外空间。LIDAR是一种通过向目标发射脉冲激光、测量反射脉冲来计算目标距离的测量方法，已被广泛应用于目标定位、跟踪和建图。目前，由于成本高昂，很少有研究人员将LIDAR应用于HAR领域。
### B. 机器学习算法
机器学习已被广泛应用于HAR中，对不同活动进行分类。动态时间规整（DTW）就是其中一种
---
它是HAR领域最常用的算法之一 [^20], [^21]。该算法用于衡量两个时间序列之间的相似度，以找到时间序列间的最优距离 [^22]。由于HAR中传感器采集的几乎所有数据都是时间序列，因此DTW在处理这类数据时具有天然优势。隐马尔可夫模型（HMM）在HAR中也得到广泛应用 [^23], [^24]。它是一种同时包含隐随机过程和可观测随机过程的马尔可夫链。在HAR中，可观测分量是传感器信号，隐分量则是用户的活动 [^25]。其他算法如支持向量机（SVM）[^26]、k近邻（kNN）[^27]和随机森林（RF）[^28]也已应用于HAR领域。由于深度学习在诸多领域都取得了极高的性能，它也越来越多地被应用于HAR研究中。Kamel等人 [^29]构建了卷积神经网络（CNN）对RGB-D数据集进行分类，以实现人类行为识别。Tang等人 [^30]提出了一种相干约束图LSTM，通过对个体的相关运动建模同时抑制无关运动，实现群体活动识别。Guo等人 [^31]提出了一种名为多视角柯西估计器特征嵌入的特征融合方法，用于融合Kinect和惯性传感器的数据，实现人类行为识别。Lea等人 [^32]利用TCN构建了编码器-解码器模型，用于视频中的人类行为分割与识别。Luo等人 [^1]使用CNN对雷达频率谱图进行分类，用于包含15种不同活动的室内HAR任务。正如第II-C节所述，上述部分算法也已应用于基于轨迹的HAR研究中。
### C. 基于轨迹的HAR
大多数基于轨迹的人类活动检测都借助摄像头实现。Siang和Khor [^33]构建了DTW模型，对视频监控系统中的相似轨迹进行聚类，以检测可疑行为。Liang等人 [^34]提出了一种LSTM模型，用于从视频中进行轨迹和活动预测。Wang等人 [^35]提出在摄像头传感器网络的基础上，通过轨迹分析和异常建模检测异常行为。Gao和Sun [^36]提出了层次狄利克雷过程隐马尔可夫模型（HDP-HMM），对视频序列中不同运动的转移过程进行建模。然而，除了可视范围小、侵犯隐私这些缺点外，从视频中提取的轨迹高度依赖摄像头的方位角和倾角，且轨迹坐标很难整合到全局坐标系中 [^4]。GPS作为目前应用最广泛的户外定位技术，也被用于基于轨迹的活动识别。Fuse和Kamiya [^37]基于GPS轨迹构建了层次狄利克雷过程HMM，用于在动态交通管控中检测人类运动异常。Huang等人 [^38]提出了一种自动活动检测方法，利用兴趣点（PoI）的时空吸引力从原始GPS轨迹中识别活动位置和活动持续时间。Huang等人 [^39]提出了一种代价敏感的GPS日志活动识别方法，从空间和时间两个维度衡量每个活动的重要性。Martin等人 [^40]利用GPS轨迹对人类移动行为建模，以预测用户访问某一特定位置的目的。
Fig. 1. Workflow of LIDAR-based HAR.
然而，GPS要求用户携带GPS接收器，且在室内很难接收到GPS信号。目前，基于轨迹的HAR研究中，使用LIDAR的相关工作较少。Panangadan等人[^41]使用二维激光研究人员之间的交互，并在三种不同环境中检测异常：1）开放式布局实验室；2）走廊；3）室外庭院。Ma等人[^42]构建了seq2seq模型对用户的位置驱动序列建模，以识别厨房中的人类活动，他们同样使用了二维LIDAR。但该研究没有区分人类目标和障碍物，且系统仅能识别单个人的活动，这对于单人居住场景适用，并不适用于家庭住宅。在本研究中，我们进一步对人类目标和非人类目标进行分类，并执行连续跟踪以获取多个人的轨迹。
### III. 研究方法
基于LIDAR的HAR的主要步骤如图1所示。首先，我们使用二维LIDAR采集一组由墙壁、桌子、人类等物体反射得到的点，这些点被分组为不同簇，分别对应场景中的不同物体。我们进一步对这些点簇进行人体识别：使用RF对每个簇提取的几何特征进行分类。我们使用卡尔曼滤波对多个人进行连续跟踪，跟踪得到的轨迹会被进一步分割，并标注上我们预定义的活动标签。我们采用轨迹增广来丰富样本，解决类别不平衡问题。最后，我们构建LSTM网络和TCN来进行轨迹分类。训练完成后，两个网络都可以在线执行HAR。各步骤的详细内容在后续章节介绍。
### A. 点聚类
LIDAR的原始数据是极坐标序列，每个坐标记为$(r, \theta)$，其中r是到LIDAR的距离，$\theta$是角度。为方便后续处理，我们将这些坐标从极坐标系转换为平面坐标系。此时，每个时间步的数据可以表示为序列$S = \{p_1, p_2, \ldots, p_n\}$，其中n是点的总数。
为了区分不同物体，需要对S中的点进行聚类分组，划分为不同簇。我们采用基于密度的空间聚类算法（DBSCAN）进行聚类。DBSCAN基于半径$\varepsilon$内邻居数量的阈值minPts实现聚类：若一个点在$\varepsilon$范围内的邻居数量大于等于minPts，则该点被识别为
---
Fig. 2. Human recognition.
核心点。边界点的邻居数量小于minPts，但属于其他点的$\varepsilon$邻域。如果一个点既不是核心点也不是边界点，则称为噪声点。为理解DBSCAN的工作原理，我们定义以下三个术语。
1）直接密度可达：若点A位于点B的$\varepsilon$邻域内，且B是核心点，则点A从B直接密度可达。
2）密度可达：若存在一系列从B连接到A的核心点，则点A从B密度可达。
3）密度连通：若存在核心点C，使得A和B都可从C密度可达，则点A和点B密度连通。
DBSCAN算法可以抽象为以下步骤。
1）找出每个点的$\varepsilon$范围内的所有相邻点，将在$\varepsilon$范围内拥有超过minPts个相邻点的点标记为核心点。
2）对于每个尚未分配到任意簇的核心点，创建一个新簇。递归查找所有与它密度相连的点，并将这些点分配到该核心点所在的同一簇中。
3）遍历数据集中剩余的所有未访问点。所有不属于任何簇的点被标记为噪声。
与其他聚类算法相比，DBSCAN无需指定聚类数量，能够发现任意形状的簇，并且对噪声具有鲁棒性 [^43]。
### B. 人体识别
点聚类后得到的簇代表多个不同的目标。为了跟踪人体的轨迹，需要识别出哪个簇代表人体。代表人体的簇与非人体目标的簇具有不同的几何特征。几何特征可以从线性度、圆度、角度特征等方面进行定义。正如Leigh等人在[^44]中所做的，我们从每个簇中提取了15个几何特征（如Fig. 2所示）。基于这些特征，我们使用RF对人体和非人体目标进行分类。RF是一种基于树的集成分类器，属于元估计器，它在不同的数据子集上训练多棵决策树。该算法可同时用于回归和分类任务。通常来说，树的数量决定了随机森林的鲁棒性。我们在开阔空旷空间采集正样本（人体），在多个无人的室内空间采集负样本（非人体）。总样本量为12000，包含6000个正样本和6000个负样本。RF的一个优点是，它可以通过聚合每棵单独树的分类输出，得到分类的置信度。因此，我们不只是使用预测标签，而是利用RF分类器生成的置信度来消除噪声，提升可靠性。
### C. 多人跟踪
为了得到人体簇的轨迹，需要进行连续目标跟踪。Kalman filter由于其高效性和准确性，是最受欢迎的跟踪算法之一 [^45]。它是一种最优递归数据处理方法，利用随时间观测得到的一系列测量值，对目标变量进行估计，并得到方差误差最小的最优状态。它包含两个步骤：1）预测和2）校正。在预测步骤中，通过动力学模型对状态进行预测；而在校正步骤中，通过观测模型对状态进行校正。
卡尔曼滤波的过程方程和测量方程如下：
$$ \begin{aligned}x_{k}&=A x_{k-1}+B u_{k}+w_{k-1}\\z_{k}&=H x_{k}+\nu_{k}\end{aligned} $$
其中k为离散时间，$x_k$为状态向量，$z_k$为观测向量，A和H分别为转移矩阵和观测矩阵。$B_k$为作用于控制向量$u_k$的控制输入模型。$w_{k-1}$和$\nu_k$为零均值高斯随机变量，因此它们的概率分布为$p(w) \sim N(0, Q)$和$p(\nu) \sim N(0, R)$，其中协方差矩阵Q和R分别被称为转移噪声协方差矩阵和观测噪声协方差矩阵。
卡尔曼滤波的预测阶段如下：
$$ \begin{aligned}\hat{\boldsymbol{x}}_{k}^{-}&=\boldsymbol{A}\hat{\boldsymbol{x}}_{k-1}+\boldsymbol{B}\boldsymbol{u}_{k}\\\boldsymbol{P}_{k}^{-}&=\boldsymbol{A}\boldsymbol{P}_{k-1}\boldsymbol{A}^{T}+\boldsymbol{Q}\end{aligned} $$
得到下一时间步k的状态$\hat{x}_{k}^{-}$和协方差误差$P_{k}^{-}$的先验估计。
卡尔曼滤波的校正阶段如下：
$$ \begin{align*}K_{k}&=P_{k}^{-}H^{T}\big(H P_{k}^{-}H^{T}+R\big)^{-1}\\ \hat{x}_{k}&=\hat{x}_{k}^{-}+K_{k}\big(z_{k}-H\hat{x}_{k}^{-}\big)\\ P_{k}&=(1-K_{k}H)P_{k}^{-}.\end{align*} $$
$K_{k}$ 是卡尔曼增益，由上述方程计算得到。在此之后，通过测量值$x_{k}^{-}$计算得到后验状态估计$P_{k}$和后验误差估计$z_{k}$。预测方程和校正方程利用上一步的后验估计进行递归计算，以得到新的先验估计。
在跟踪系统中，状态向量为$X = [x, y, v_x, v_y, a_x, a_y]^T$，其中$(x, y)$、$(\nu_x, \nu_y)$和$(a_x, a_y)$分别代表位置、速度和加速度。观测向量为$Z = (x', y')$。
### D. 轨迹分割与增广
轨迹可以是执行一项或一系列活动时位置位移产生的结果。
---
Fig. 3. Trajectory segmentation.
为了区分不同活动，我们将一条轨迹分割为多个片段，每个片段对应一项活动。目前已有多种轨迹分割方法，例如基于距离的分割、基于时间的分割和基于点数的分割。这些方法分别将轨迹分割为距离相同、时间相同和点数相同的片段。在本研究中，我们实现了基于点数的分割方法。我们使用长度为d的滑动窗口，以v为间隔进行分割。例如，图3展示了一个长度为6（位置点）、滑动间隔为3（位置点）的滑动窗口。
在日常生活中，不同活动的发生频率和持续时长各不相同。例如，“吃饭”活动通常一天进行三次，而“洗手”这类活动一天可以发生很多次，同时吃饭耗费的时间也远比洗手更长。这就导致了数据稀疏问题：部分活动的样本量很多，而另一些活动的样本量很少。为了解决这个问题，我们采用空间变换方法进行轨迹增广。在机器学习中，数据增广是指通过对原始样本进行多种不同处理或多种处理组合来生成更多训练样本。数据增广可以增加样本数量，提升深度学习的性能。由于轨迹属于空间数据，本文对原始轨迹应用空间变换来实现轨迹增广，具体方法如下所述。
1) 平移：通过分别给x坐标和y坐标加上偏移量$T_{x}$和$T_{y}$，将所有点变换到新位置。
$$ \left[x^{\prime}\ y^{\prime}\ 1\right]=\left[x\ y\ 1\right]\cdot\begin{bmatrix}1&0&0\\ 0&1&0\\ T_{x}&T_{y}&1\end{bmatrix}. $$
2) 旋转：二维平面中的所有点绕原点逆时针旋转角度$\theta$
$$ \left[x^{\prime}\ y^{\prime}\ 1\right]=\left[x\ y\ 1\right]\cdot\left[\begin{matrix}\cos\theta&\sin\theta&0\\ -\sin\theta&\cos\theta&0\\ 0&0&1\end{matrix}\right]. $$
3) 缩放：通过分别给x坐标和y坐标应用缩放因子$S_{x}$和$S_{y}$，对所有点进行缩放
$$ \left[x^{\prime}\ y^{\prime}\ 1\right]=\left[x\ y\ 1\right]\cdot\begin{bmatrix}S_{x}&\mathrm{0}&\mathrm{0}\\ \mathrm{0}&S_{\nu}&\mathrm{0}\\ \mathrm{0}&\mathrm{0}&1\end{bmatrix}. $$
Fig. 4. Trajectory augmentation.
除空间变换外，我们还向原始轨迹中添加高斯噪声。轨迹增广的流程如图4所示。需要注意的是，必须控制空间变换的范围，避免改变轨迹的语义信息。
### E. 轨迹分类
1) 长短期记忆网络（Long Short-Term Memory）：LSTM是循环神经网络RNN的一种变体，已成功应用于序列学习任务中。在RNN中，梯度会随时间快速增长或呈指数衰减。为了解决这种「梯度爆炸和梯度消失」问题，LSTM使用多个门控单元控制信息沿序列的传递，因此能够学习长距离依赖关系。一个典型的LSTM单元包含输入门$i_t$、遗忘门$f_t$、细胞单元$c_t$、输出门$o_t$和输出响应$h_t$。输入门控制新值流入细胞的程度，遗忘门控制值保留在细胞中的程度，输出门控制细胞中的值用于计算LSTM单元输出激活值的程度。LSTM单元的递归计算过程为
$$ \begin{aligned}i_{t}&=\delta\big(W_{xi}x_{x_{t}}+W_{hi}h_{t-1}+W_{ci}c_{t-1}+b_{i}\big)\\f_{t}&=\delta\big(W_{xf}x_{x_{t}}+W_{hf}h_{t-1}+W_{cf}c_{t-1}+b_{f}\big)\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot\tanh(W_{xc}x_{t}+W_{hc}h_{t-1}+b_{c})\\o_{t}&=\delta\big(W_{xo}x_{x_{t}}+W_{ho}h_{t-1}+W_{co}c_{t-1}+b_{o}\big)\\h_{t}&=\delta\odot\tanh(c_{t})\end{aligned} $$
式中$\odot$表示逐元素乘积，$\delta(x)$是定义为$\delta(x) = 1/(1 + e^{-x})$的sigmoid函数，$W_{\alpha\beta}$是$\alpha$与$\beta$之间的权重矩阵（例如，$W_{xi}$是输入$x_t$到输入门$i_t$的权重矩阵），$b_\beta$表示$\beta$对应$\beta \in i, f, c, o$的偏置项。
如图5所示，我们构建了一个由两个LSTM层和一个全连接层组成的LSTM网络。分割后的轨迹被输入到该网络中。由于轨迹中的每个点包含两个值$(x, y)$，因此LSTM网络的输入形状为$(t, 2)$，其中t是轨迹的长度。两个LSTM层均包含120个单元，全连接层包含200个隐藏单元。输出层的尺寸由我们需要识别的行为数量决定。
2) 时间卷积网络（Temporal Convolutional Network）：TCN是一类时间序列神经网络模型，它通过层级化的时间卷积滤波器捕捉长距离模式[^32]。TCN结合了空洞因果卷积和残差块结构，以此扩大感受野并提升
---
Fig. 5. Structure of our proposed LSTM network.
网络深度。在空洞因果卷积中，t时刻的输出仅与前一层中t时刻及更早时刻的元素进行卷积，通过空洞卷积实现指数级增大的感受野[^46]。对于一维序列输入$x \in \mathbb{R}^n$和滤波器$f : 0, f : \{0, \ldots, k-1\} \to \mathbb{R}$，序列元素s上的空洞卷积运算F定义为[^46]
$$ F(s)=(x*_{d}f)(s)=\sum_{i=0}^{k-1}f(i)\cdot x_{s-d\cdot i} $$
式中d是空洞因子，k是滤波器尺寸，$s-d\cdot i$表示过去时间的方向。借助空洞因果卷积，TCN的感受野可以通过使用更大的滤波器尺寸k和增大空洞因子d来扩大。图6(a)展示了空洞因子为$d=1,2,4$、滤波器尺寸为$k=2$的空洞因果卷积。
TCN由多个残差块组成。每个残差块包含一系列变换$\tau$。如图6(b)所示，一个残差块包含两组层结构，每组依次包含空洞因果卷积层、权重归一化层、ReLU激活层和dropout层。每个残差块的输出是这些变换的输出与输入x的和
$$ o=\operatorname{A c t i v a t i o n}(x+\tau(x)). $$
这也被称为跳跃连接。残差块通过让梯度在整个极深网络中传递，避免了梯度消失问题。
在本文中，我们构建了一个由三个残差块（“Block 1”、“Block 2”和“Block 3”）组成的TCN，如图6(c)所示。经过超参数调优后，这三个块的卷积核大小均设置为5，膨胀率分别为1、2和4。Block 1有75个过滤器，Block 2有150个过滤器，Block 3有300个过滤器。
在训练过程中，LSTM网络和TCN网络都以最小化网络参数对应的目标函数为目标进行训练。对于活动识别，设C为活动类别数量，通常使用如下交叉熵损失函数：
$$ E_{y}(y^{\prime})=-\sum_{i=1}^{N}y_{i}\cdot\log(y^{\prime}_{i}) $$
式中，E是在N个样本上计算得到的损失函数，$y_{i}$是第i个样本的原始标签，$y_{i}^{\prime}$是通过softmax激活函数计算得到的样本i的类别得分图
$$ y_{j}=\exp(x_{j})/\left(\sum_{c=1}^{C}\exp(x_{c})\right) $$
式中，y是softmax得分，x是包含未归一化类别得分的输出层。
在训练过程中，我们应用dropout进行正则化以防止过拟合。术语“dropout”指的是丢弃神经网络中部分单元的操作。通过避免让所有节点在全部训练数据上训练，dropout可以减少过拟合。我们将LSTM网络的dropout率初始化为0.1，TCN的dropout率初始化为0.25。在LSTM网络中，每个LSTM层之后都应用了批量归一化。批量归一化通过减去批次均值并除以批次标准差，对前一个激活层的输出进行归一化处理。除了防止过拟合，批量归一化还可以加快训练速度。两个网络使用的优化器均为Adam，初始学习率设置为0.0003。
### IV. 实验设置
本节我们介绍所使用的LIDAR以及本次实验。我们使用的LIDAR为UST-10LX，如图7(a)所示。其定位精度误差在40 mm以内，最大检测距离为30 m，扫描角度为$270^{\circ}$，角分辨率为$0.25^{\circ}$。关于UST-10LX的更多信息可参见[^47]。我们在位于大学校园内的厨房场景中开展实验，厨房中的活动与饮食健康直接相关。基于厨房场景上下文的活动识别是饮食控制和饮食治疗的有效方法，也有助于开发作为智能家居组成部分的智能厨房。图7(b)给出了该厨房三维模型的俯视图。
在我们的实验中，LIDAR被放置在1 m高度处，靠近厨房的左上角。我们采用10 Hz（每秒10次扫描）的采样频率采集数据，并使用第三节描述的方法对采集到的数据进行进一步处理，如图8所示。原始LIDAR数据[图8(a)]包含从障碍物、墙体和人体反射得到的点。经过DBSCAN聚类后，点被聚类为不同的组，在图8(b)中以不同颜色显示。我们使用包含25棵树的RF对从这些聚类中提取的15个几何特征进行分类，完成人体识别。最后，我们为每个人体目标构建卡尔曼滤波器，以获取他们的轨迹。
我们使用UST-10LX对厨房进行了一整天的监测，并绘制了人体轨迹密度图来展示
---
(c)
Fig. 6. Architecture of our proposed TCN. (a) Dilated causal convolution. (b) Structure of residual blocks in TCN. (3) Structure of our TCN.
Fig. 7. (a) UST-10LX LIDAR. (b) Kitchen scenario.
Fig. 8. LIDAR data processing.
其日常活动的空间分布。如图9所示，人体轨迹主要集中在厨房内的水槽、烤箱、椅子和门附近。这四个区域可视为人们通常会停留一段时间的四个停留区域。例如，人们通常会在水槽附近停留清洗炊具，在烤箱旁停留烹饪，坐在椅子上用餐。基于此，我们预先定义了15种活动，包括：“进入”、“离开”和“返回”。
Fig. 9. Density map of human trajectory in the kitchen.
Fig. 10. Process of trajectory collection.
离开”、“从水槽到门”、“从椅子到水槽”、“从烤箱到椅子”、“从水槽到椅子”、“清洗”、“从门到水槽”、“烹饪”、“从烤箱到门”、“就坐”、“从烤箱到水槽”、“从椅子到烤箱”、“从门到烤箱”以及“从水槽到烤箱”。
这些活动（进入和离开除外）的轨迹起点或终点都位于停留区域内。基于此，我们为检测范围内的每个人定义了一个追踪器。如图10所示，追踪器的属性包括“id”、“当前停留区”、“上一停留区”、“停留时间”和“当前轨迹”。每个人的轨迹采集流程如下。
1）为检测区域内的每个人初始化一个追踪器，将追踪器的当前停留区和上一停留区设为空。
2）在LIDAR的每个扫描帧更新追踪器，判断追踪器的当前位置是否位于某个停留区域内。如果位于某一特定停留区域内，则将其当前停留区设置为该停留区域的名称。
---
并将其当前轨迹初始化为一个点列表，用于存储追踪器的轨迹。
3）当追踪器到达一个新的停留区域时，将其上一停留区设置为当前停留区的值，将其当前停留区设置为这个新停留区域的名称。将其当前轨迹保存为标注为“从上一停留区到当前停留区”的轨迹，然后清空当前轨迹，以便存储追踪器的下一段轨迹。
4）如果追踪器未到达新的停留区域，而是在同一停留区域停留了一段时间，且停留时间超过阈值（本文使用80帧），则保存其当前轨迹：若停留区域为“OvenPoly”，则标注为烹饪；若停留区域为“ChairPoly”，则标注为就坐；若停留区域为“SinkPoly”，则标注为清洗，如图10所示。完成上述操作后，将当前轨迹清空，以便存储追踪器的下一段轨迹。
5）重复步骤3和4，直到追踪器离开LIDAR的检测范围。
进入和离开活动的轨迹起点和终点都不在任何停留区域内，因此我们手动采集这些轨迹。我们在参与者进入之前就开始记录其轨迹，在其进入后停止记录，然后保存轨迹并将其标注为进入。离开活动的采集流程与此类似。
起点或终点位于停留区域内的轨迹会被自动记录和标注。轨迹与停留区域之间的几何关系保证了这些轨迹标注的正确性。进入和离开轨迹由人工记录。部分轨迹可能存在标注错误，但可以通过判断方向将其过滤掉，因为进入和离开的方向是相反的。此外，采集到的轨迹还可以进行视觉检查。
我们收集了这些活动的轨迹，并使用长度为25个位置点、间隔为10个位置点的滑动窗口对轨迹进行分割，因此每条轨迹包含25个点。由于采样频率为10 Hz，因此滑动窗口的长度也可以用时间度量，在本研究中滑动窗口时长为2.5秒。我们选择该长度的原因是：更长的轨迹可能包含多个活动，还会带来更高的延迟；而更短的轨迹则无法获得足够与人类活动相关的信息。实验过程中，厨房内的人数是变化的，最多为4人。总监测时长约为40小时。在图11中，我们用不同颜色展示了数据集中每种活动的一条轨迹样本。可以看到，清洗、烹饪和坐着这几项活动的轨迹点往往聚集在一起，因为人们在进行这些活动时移动较少。
如图12所示，增广前各类活动的样本数量分别为：水槽到门口357个、椅子到水槽367个、水槽到椅子279个、清洗1000个、坐着1000个、门口到烤箱350个、烤箱到椅子353个、烤箱到门口372个、烹饪1000个、门口到水槽267个、椅子到烤箱270个、水槽到烤箱536个、烤箱到水槽656个、进入300个、离开300个。部分活动（如烹饪、清洗、坐着等）拥有大量样本，而其他活动（如水槽到椅子、椅子到烤箱等）样本量较少。我们采用轨迹
Fig. 11. Trajectory samples of human activity.
Fig. 12. Sample amount before and after trajectory augmentation.
增广来解决类别不平衡问题。经过轨迹增广后，我们总共获得了15000个样本，每种活动的样本量均为1000个。
### 五、评估与结果
在本节中，我们从三个方面对所提出的神经网络进行评估，包括测试数据集评估、与基线方法的对比，以及与相关研究工作的对比。
### A. 测试数据集评估
我们将轨迹样本分为两组，80%的样本用于训练，20%用于测试。训练过程中，我们采用留出法验证 [^48]，随机将15%的样本数据排除在训练之外。测试数据集在训练阶段不会被网络接触。LSTM网络和TCN在测试中获得的整体准确率分别为99.39%和99.49%。TCN的表现略优于LSTM。更重要的是，TCN的收敛速度明显快于LSTM。如图13所示，TCN的验证损失和准确率曲线比LSTM网络更加平滑。这可能是因为TCN的反向传播路径与序列的时间方向不同，有利于避免梯度爆炸/梯度消失问题 [^46]。
如图14的归一化混淆矩阵所示，大多数活动都能以100%或99%的准确率被正确分类。对于椅子到水槽这一活动，1%的样本被错分为椅子到烤箱，另有1%的样本被错分为坐着。这是因为这些类别的部分轨迹样本都起始于厨房中的椅子位置。
---
(a)
(b)
Fig. 13. Validation loss and accuracy of the proposed LSTM and TCN. (a) Validation loss. (b) Validation accuracy.
Fig. 14. Normalized confusion matrix of the TCN in testing.
TABLE I
| OA | Recall | F1 |
| TCN with trajectory augmentation | 99.49% | 99.53% | 99.51% |
| TCN without trajectory augmentation | 97.96% | 97.93% | 97.96% |
| LSTM with trajectory augmentation | 99.39% | 99.41% | 99.39% |
| LSTM without trajectory augmentation | 97.68% | 97.79% | 97.65% |
EFFECT OF TRAJECTORY AUGMENTATION
因此存在部分重叠。门口到烤箱和门口到水槽之间也出现了相同的情况：门口到烤箱活动中有1%的样本被错分为门口到水槽。此外，水槽到门口活动中也有1%的样本被错分为水槽到椅子。
为了验证轨迹增强的效果，我们对比了在增强后样本上训练的网络和在原始样本上训练的网络。如表I所示，应用本文提出的轨迹增强方法后，LSTM网络的OA、Recall和F1指标性能提升了约1.7%；TCN在这三项指标上的性能均提升了约1.5%。
### B. 与基线方法的对比
如第二节所述，在现有相关研究中，HMM和DTW都已被频繁应用于基于轨迹的行为识别任务中。SVM是一种被广泛使用的方法，用于
TABLE II COMPARISON OF THE CLASSIFICATION MODELS
| OA | Recall | F1 |
| TCN | 99.49% | 99.53% | 99.51% |
| LSTM | 99.39% | 99.41% | 99.39% |
| SVM | 95.88% | 95.76% | 96.69% |
| HMM | 85% | 86.7% | 85.5% |
| DTW | 90.9% | 91.56% | 91.71% |
分类问题。我们将这三种算法作为基线，与本文提出的网络进行对比。
本文实现的SVM是径向基函数（RBF）SVM，它包含两个超参数$( C, $\gamma$)$。我们使用交叉验证对超参数进行调优。给定超参数空间$C: [1, 30]$和$\gamma: [0.1, 1.0 \times 10^{-5}]$，在每一轮训练和验证迭代中，都会通过交叉验证从超参数空间中选出一组参数。本文中为SVM选取的最优参数为$C: 4.8$和$\gamma: 10 \times 10^{-4}$。
HMM的超参数是隐藏分量的数量，我们在0到20的范围内搜索最优隐藏分量数，最终发现5是最优的隐藏分量数量。
DTW通常与kNN结合完成分类任务。本文的实现方式是用DTW距离度量替换欧氏距离度量，将kNN与DTW结合。kNN的超参数是邻居数量k，DTW的超参数是最大扭曲窗口。经过交叉验证调优后，得到的最优超参数为：k：1，最大扭曲窗口：18。
如表II所示，LSTM网络和TCN在三项指标上均优于这三种算法。其中TCN取得了最优结果：OA为99.49%，Recall为99.53%，F1为99.51%。
### C. 与相关研究的对比
Ma等人[^42]同样使用二维LIDAR开展HAR研究。他们开发了一种seq2seq模型，对17种活动进行分类，整体准确率达到88%。我们无法将[^42]中的研究与我们的工作进行完全直接的比较。[^42]所采用的厨房布局和LIDAR均与我们的不同。[^42]中实现的seq2seq模型结构并不清晰，其轨迹采集方式和轨迹样本数量也未明确说明。不过我们依然可以表明，我们的方法能够实现多人跟踪，并且在接近实时的HAR中取得了非常优异的准确率。[^42]的工作未考虑非人体物体的干扰，且仅能用于识别单个人的活动。一条轨迹可以由多种活动生成。在[^42]中，作者并未明确说明如何确定seq2seq模型输出的活动数量。使用小段轨迹来表示每个活动是更合适的做法，这也能够提升活动识别的实时性能。
### D. 分析
从上述评估结果可以看出，深度学习在基于轨迹的行为识别任务中表现优异。
---
与传统算法相比，分类性能更优。当轨迹数量较少且类别不平衡时，轨迹增广是提高分类准确率的有效方法。在轨迹分类任务中，TCN的表现优于LSTM。由于轨迹样本的长度仅为25个（点），TCN学习长程时间模式的能力并未得到充分发挥。本文取得的高精度结果表明，基于室内轨迹的HAR是可行的。当然，这也与室内场景的布局有关。对于布局更复杂的室内场景，行为识别的性能可能会有所下降。
### 六、结论
本文提出采用二维激光雷达（2-D LIDAR）实现HAR。我们使用DBSCAN对激光雷达点进行聚类，并基于聚类簇的15个几何特征完成人类与非人类目标分类。我们进一步应用卡尔曼滤波实现多人跟踪，获取目标轨迹。我们采用滑动窗口完成轨迹分割。为了解决类别不平衡问题，我们提出利用空间变换和添加高斯噪声实现轨迹增广。最终，我们构建了两个网络（LSTM和TCN），基于轨迹样本完成HAR。本文提出的TCN取得了极佳结果，总体准确率达99.49%，略优于LSTM，远高于SVM、HMM和DTW得到的结果。我们将本文工作与现有基于激光雷达的HAR最优方法进行了对比，本文提出的网络性能优于现有最优方法。
随着物联网时代的到来，各类电子传感器正实现无线互联。未来的一个研究方向是融合从不同传感器获取的数据，以实现效率更高、准确率更高的HAR [^49]。在现代生活中，人们会在家庭、办公室、商场等不同场景间切换。因此，要实现普适HAR，需要在这些场景中进行传感器融合，融合对象包括可穿戴传感器（加速度计、GPS接收器、陀螺仪等）和环境传感器（RFID、WiFi、摄像头等）。另一个研究方向是探索基于少量训练数据的无监督和半监督学习方法，使HAR能更广泛地应用于真实场景。最后，在进行HAR的同时保护用户隐私至关重要。现有HAR系统需要将传感器数据上传至服务器或云端，传感器数据可能被非法利用，侵犯用户隐私。一种解决方案是将HAR系统部署在客户端，无需上传传感器数据；另一种方案是在上传前对传感器数据加密，同时不影响系统性能。
在未来工作中，我们将尝试解决通视（无遮挡视线，Line of Sight, LOS）问题。对于目标检测与跟踪而言，必须保证激光雷达（LIDAR）与目标之间不存在遮挡。仅使用单个激光雷达时，运动目标很容易被障碍物或其他运动目标遮挡，导致视线受阻。例如在我们的研究中，一个人经常会遮挡另一个人的视线，这会造成轨迹中断不连续。为解决该问题，我们将使用多台激光雷达从多视角开展行人检测与跟踪工作。基于轨迹的HAR依赖轨迹模式分析，但诸如进食、饮水、打电话这类微活动仅通过人体轨迹无法识别，而可穿戴传感器或雷达能够识别这类活动。因此我们将尝试结合激光雷达与可穿戴传感器或雷达，同时实现微活动与宏活动的识别。
## 致谢
作者感谢克里斯图·迈雷兹博士以及北阳自动公司为本研究提供激光雷达。
## 参考文献
[^1]: F. Luo, E. Bodanese, and S. Poslad, Kitchen Activity Detection for Healthcare Using a Low-Power Radar-Enabled Sensor Network, Inst. Elect. Electron. Eng., Piscataway, NJ, USA, 2019.
[^2]: A. Rafii, S. B. Gokturk, C. Tomasi, and F. Sürücü, "Gesture recognition system using depth perceptive sensors," U.S. Patent Appl. 10242255, Mar. 26, 2019.
[^3]: S. Wang, J. Song, J. Lien, I. Poupyrev, and O. Hilliges, “Interacting with soli: Exploring fine-grained dynamic gesture recognition in the radiofrequency spectrum,” in Proc. ACM 29th Annu. Symp. User Interface Softw. Technol., 2016, pp. 851–860.
[^4]: X. Song, X. Shao, R. Shibasaki, H. Zhao, J. Cui, and H. Zha, "A novel laser-based system: Fully online detection of abnormal activity via an unsupervised method," in Proc. IEEE Int. Conf. Robot. Autom., 2011, pp. 1317–1322.
[^5]: P. Vallabh and R. Malekian, “Fall detection monitoring systems: A comprehensive review,” J. Ambient Intell. Humanized Comput., vol. 9, no. 6, pp. 1809–1833, 2018.
[^6]: J. C. Nunez, R. Cabido, J. J. Pantrigo, A. S. Montemayor, and J. F. Velez, “Convolutional neural networks and long short-term memory for skeleton-based human activity and hand gesture recognition,” Pattern Recognit., vol. 76, pp. 80–94, Apr. 2018.
[^7]: M. S. Ibrahim, S. Muralidharan, Z. Deng, A. Vahdat, and G. Mori, "A hierarchical deep temporal model for group activity recognition," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2016, pp. 1971–1980.
[^8]: P.-G. Jung, G. Lim, S. Kim, and K. Kong, "A wearable gesture recognition device for detecting muscular activities based on air-pressure sensors," IEEE Trans. Ind. Informat., vol. 11, no. 2, pp. 485–494, Apr. 2015.
[^9]: J. Qi, P. Yang, M. Hanneghan, S. Tang, and B. Zhou, "A hybrid hierarchical framework for gym physical activity recognition and measurement using wearable sensors," IEEE Internet Things J., vol. 6, no. 2, pp. 1384–1393, Apr. 2019.
[^10]: P. C. Shih, K. Han, E. S. Poole, M. B. Rosson, and J. M. Carroll, “Use and adoption challenges of wearable activity trackers,” in Proc. IConf., 2015, pp. 6–8.
[^11]: J. Huberty, D. K. Ehlers, J. Kurka, B. Ainsworth, and M. Buman, "Feasibility of three wearable sensors for 24 hour monitoring in middle-aged women," BMC Women's Health, vol. 15, no. 1, p. 55, 2015.
[^12]: Z. Ma, B. Wu, and S. Poslad, "A WiFi RSSI ranking fingerprint positioning system and its application to indoor activities of daily living recognition," Int. J. Distrib. Sensor Netw., vol. 15, no. 4, p. 14, 2019.
[^13]: F. Luo, S. Poslad, and E. Bodanese, “Human activity detection and coarse localization outdoors using micro-doppler signatures,” IEEE Sens. J., vol. 19, no. 18, pp. 8079–8094, Sep. 2019.
[^14]: H. Wang, D. Zhang, Y. Wang, J. Ma, Y. Wang, and S. Li, "RT-Fall: A real-time and contactless fall detection system with commodity WiFi devices," IEEE Trans. Mobile Comput., vol. 16, no. 2, pp. 511–526, Feb. 2017.
## [^15]: L. Ren, Y. S. Koo, H. Wang, Y. Wang, Q. Liu, and A. E. Fathy, “Noncontact multiple heartbeats detection and subject localization using UWB impulse doppler radar,” IEEE Microw. Wireless Compon. Lett., vol. 25, no. 10, pp. 690–692, Oct. 2015.
---
[^16]: E. Aksan and O. Hilliges, "STCN: Stochastic temporal convolutional networks," 2019. [Online]. Available: arXiv:1902.06568.
[^17]: S. C. Mukhopadhyay, “Wearable sensors for human activity monitoring: A review,” IEEE Sens. J., vol. 15, no. 3, pp. 1321–1330, Mar. 2015.
[^18]: M. Buettner, R. Prasad, M. Philipose, and D. Wetherall, “Recognizing daily activities with RFID-based sensors,” in Proc. ACM 11th Int. Conf. Ubiquitous Comput., 2009, pp. 51–60.
[^19]: M. Sridharan, J. Bigham, P. M. Campbell, C. Phillips, and E. Bodanese, “Inferring micro-activities through wearable sensing for ADL recognition of home-care patients,” IEEE J. Biomed. Health Informat., vol. 24, no. 3, pp. 747–759, Mar. 2020.
[^20]: W. Xi et al., “Device-free human activity recognition using CSI,” in Proc. ACM 1st Workshop Context Sens. Activity Recognit., 2015, pp. 31–36.
[^21]: S. Sempena, N. U. Maulidevi, and P. R. Aryan, “Human action recognition using dynamic time warping,” in Proc. IEEE Int. Conf. Elect. Eng. Informat., 2011, pp. 1–5.
[^22]: E. J. Keogh and C. A. Ratanamahatana, “Exact indexing of dynamic time warping,” Knowl. Inf. Syst., vol. 7, no. 3, pp. 358–386, 2005.
[^23]: S. Kamal, A. Jalal, and D. Kim, “Depth images-based human detection, tracking and activity recognition using spatiotemporal features and modified HMM,” J. Elect. Eng. Technol, vol. 11, no. 3, pp. 1921–1926, 2016.
[^24]: W. Wang, A. X. Liu, M. Shahzad, K. Ling, and S. Lu, “Understanding and modeling of WiFi signal based human activity recognition,” in Proc. 21st Annu. Int. Conf. Mobile Comput. Netw., 2015, pp. 65–76.
[^25]: C. A. Ronao and S.-B. Cho, “Recognizing human activities from smartphone sensors using hierarchical continuous hidden Markov models,” Int. J. Distrib. Sensor Netw., vol. 13, no. 1, pp. 1–16, 2017.
[^26]: Z. Chen, Q. Zhu, Y. C. Soh, and L. Zhang, “Robust human activity recognition using smartphone sensors via CT-PCA and online SVM,” IEEE Trans. Ind. Informat., vol. 13, no. 6, pp. 3070–3080, Dec. 2017.
[^27]: P. Paul and T. George, “An effective approach for human activity recognition on smartphone,” in Proc. IEEE Int. Conf. Eng. Technol. (ICETECH), 2015, pp. 1–3.
[^28]: S. Balli, E. A. Sağbaş, and M. Peker, “Human activity recognition from smart watch sensor data using a hybrid of principal component analysis and random forest algorithm,” Meas. Control, vol. 52, nos. 1–2, pp. 37–45, 2019.
[^29]: A. Kamel, B. Sheng, P. Yang, P. Li, R. Shen, and D. D. Feng, “Deep convolutional neural networks for human action recognition using depth maps and postures,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 49, no. 9, pp. 1806–1819, Sep. 2019.
[^30]: J. Tang, X. Shu, R. Yan, and L. Zhang, "Coherence constrained graph LSTM for group activity recognition," IEEE Trans. Pattern Anal. Mach. Intell., early access, Jul. 15, 2019, doi: 10.1109/TPAMI.2019.2928540.
[^31]: Y. Guo, D. Tao, W. Liu, and J. Cheng, “Multiview cauchy estimator feature embedding for depth and inertial sensor-based human action recognition,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 47, no. 4, pp. 617–627, Apr. 2017.
[^32]: C. Lea, M. D. Flynn, R. Vidal, A. Reiter, and G. D. Hager, “Temporal convolutional networks for action segmentation and detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 156–165.
[^33]: K. L. Y. Siang and S. W. Khor, “Path clustering using dynamic time warping technique,” in Proc. IEEE 8th Int. Conf. Comput. Technol. Inf. Manag. (NCM ICNIT), vol. 1, 2012, pp. 449–452.
[^34]: J. Liang, L. Jiang, J. C. Niebles, A. Hauptmann, and L. Fei-Fei, “Peeking into the future: Predicting future person activities and locations in videos,” 2019. [Online]. Available: arXiv:1902.03748.
[^35]: Y. Wang, D. Wang, and F. Chen, “Abnormal behavior detection using trajectory analysis in camera sensor networks,” Int. J. Distrib. Sensor Netw., vol. 10, no. 1, 2013, Art. no. 839045.
[^36]: Q. Gao and S. Sun, "Trajectory-based human activity recognition with hierarchical Dirichlet process hidden Markov models," in Proc. IEEE China Summit Int. Conf. Signal Inf. Process., 2013, pp. 456–460.
[^37]: T. Fuse and K. Kamiya, “Statistical anomaly detection in human dynamics monitoring using a hierarchical Dirichlet process hidden Markov model,” IEEE Trans. Intell. Transp. Syst., vol. 18, no. 11, pp. 3083–3092, Nov. 2017.
[^38]: L. Huang, Q. Li, and Y. Yue, “Activity identification from GPS trajectories using spatial temporal POIs’ attractiveness,” in Proc. 2nd ACM SIGSPATIAL Int. Workshop Location Soc. Netw., 2010, pp. 27–30.
[^39]: W. Huang, M. Li, W. Hu, G. Song, X. Xing, and K. Xie, “Cost sensitive GPS-based activity recognition,” in Proc. 10th Int. Conf. Fuzzy Syst. Knowl. Disc. (FSKD), 2013, pp. 962–966.
[^40]: H. Martin, D. Bucher, E. Suel, P. Zhao, F. Perez-Cruz, and M. Raubal, “Graph convolutional neural networks for human activity purpose imputation from GPS-based trajectory data,” in Proc. 32nd Conf. Neural Inf. Process. Syst. (NIPS), 2018, pp. 1–6.
[^41]: A. Panangadan, M. J. Matarić, and G. S. Sukhatme, “Tracking and modeling of human activity using laser rangefinders,” Int. J. Soc. Robot., vol. 2, no. 1, pp. 95–107, 2010.
[^42]: Z. Ma, J. Bigham, S. Poslad, B. Wu, X. Zhang, and E. Bodanese, "Device-free, activity during daily life, recognition using a low-cost LIDAR," in Proc. IEEE Global Commun. Conf. (GLOBECOM), 2018, pp. 1–6.
[^43]: P. H. Ahmad and S. Dang, "Performance evaluation of clustering algorithm using different datasets," Int. J. Adv. Res. Comput. Sci. Manag. Stud., vol. 3, no. 1, pp. 167–173, 2015.
[^44]: A. Leigh, J. Pineau, N. A. Olmedo, and H. Zhang, “Person tracking and following with 2D laser scanners,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), 2015, pp. 726–733.
[^45]: R. J. Meinhold and N. D. Singpurwalla, “Understanding the Kalman filter,” Amer. Stat., vol. 37, no. 2, pp. 123–127, 1983.
[^46]: S. Bai, J. Z. Kolter, and V. Koltun, “An empirical evaluation of generic convolutional and recurrent networks for sequence modeling,” 2018. [Online]. Available: arXiv:1803.01271.
[^47]: Scanning Laser Range Finder Smart-URG Mini UST-10lx (UUST003) Specification, Hokuyo, Osaka, Japan, 2015.
[^48]: S. Yadav and S. Shukla, “Analysis of k-fold cross-validation over holdout validation on colossal datasets for quality classification,” in Proc. IEEE 6th Int. Conf. Adv. Comput. (IACC), 2016, pp. 78–83.
[^49]: J. Qi, P. Yang, L. Newcombe, X. Peng, Y. Yang, and Z. Zhao, "An overview of data fusion techniques for Internet of Things enabled physical activity recognition and measure," Inf. Fusion, vol. 55, pp. 269–280, Mar. 2020.
罗飞获得了中国赣州江西理工大学地理信息系统学士学位、中国武汉武汉大学测绘硕士学位，并于2020年获得英国伦敦玛丽女王大学电子工程博士学位。
他目前是伦敦玛丽女王大学地理空间工程与科学学院的博士后研究员，研究兴趣包括地理信息系统、
人体活动检测、遥感与机器学习。
斯特凡·波斯拉德获得了英国南安普顿南安普顿大学物理学学士学位、英国阿伯丁阿伯丁大学医学物理学硕士学位，以及英国泰恩河畔纽卡斯尔纽卡斯尔大学博士学位。
自2000年起，他担任12项受资助合作研究项目的首席研究员，获得了来自英国研究理事会、欧洲、挪威、美国以及工业界的研究资助。
Eliane Bodanese于巴西弗洛里亚诺波利斯的圣卡塔琳娜联邦大学获得电气工程M.Sc.学位，于英国伦敦的伦敦玛丽女王大学获得电子工程Ph.D.学位。
她是英国伦敦玛丽女王大学电子工程与计算机科学学院的高级讲师，研究兴趣包括基于低成本非侵入式传感的人体活动检测与识别、室内外定位，以及应急场景通信支持。
博达内斯博士是通信系统研究组成员。