传感系统
# 基于二维激光雷达与深度学习技术的人体行为识别
姚乔元 $^{ID}$, 陈柏霖, 陈宗贤 $^{*}$ $^{ID}$
台南大学计算机科学与信息工程系，台湾台南 70005
$^{*}$IEEE 会员
稿件收到日期：2023年7月25日；录用日期：2023年9月13日。出版日期：2023年9月19日；当前版本日期：2023年9月27日。
摘要——本文提出了一种结合二维激光雷达与深度学习技术的老年人体行为识别居家护理辅助系统。首先，采用二维激光雷达扫描房间内部数据，利用聚类算法识别出可能对应物体的高密度区域，随后将得到的数据分类为人体聚类与非人体聚类。依次记录人体聚类的坐标生成同时具备空间和时间属性的轨迹图，再通过时空图卷积网络处理，实现人体行为的准确分类。此外，该系统可检测可能代表跌倒的异常轨迹，并能发送警告信号通知护理人员进行紧急救助。凭借这些先进特性，该居家护理辅助系统可提升独居或获得援助有限的老年人的安全与福祉。
索引词——传感系统、二维激光雷达、深度学习、居家护理、人体行为识别（HAR）、机器学习。
## I. 引言
人口老龄化是正在影响世界各国的重要人口趋势。随着生育率下降和预期寿命延长，人口中老年人的占比正在不断增长。根据联合国《2022年世界人口展望》[^8]，到本世纪中叶，65岁及以上人口占比预计将从2022年的10%增长至16%。到2050年，全球65岁及以上人口数量预计将是5岁以下儿童数量的两倍以上。这种年龄分布的转变给各国带来了挑战，尤其在公共规划和老年人长期护理体系供给领域。发展中国家在适应人口老龄化方面面临更大挑战，因为这些国家往往难以给老年人提供充足的护理。而居家护理辅助系统恰好能在这一领域发挥关键作用，为有需要的老年人提供支持与帮助。通过部署居家护理辅助系统，发展中国家可以帮助确保老年人获得维持独立生活和生活质量所需的护理与支持[^12]。
近年来，帮助护理人员监测受护理者日常活动、减轻护理负担的居家护理辅助系统开发量不断增长。人类活动识别（HAR）是这类系统中的核心技术，它支持根据环境选择合适的传感器，辅助对不同位置的一名或多名人员进行监测 [^1], [^7]。不同传感器都存在局限性，例如受光照、探测距离、角度、天气等条件制约。摄像头虽然精度高，但需要充足光照才能有效工作，还可能引发隐私泄露担忧 [^6], [^9]。相比之下，激光雷达（LiDAR）传感器兼具避免隐私泄露、在多变光照条件下仍能保持精度的优势，且具备良好的实时性能。因此，本文选择激光雷达作为居家护理系统的传感设备。
本文采用二维激光雷达采集点云形式的数据。我们首先使用基于密度的噪声应用空间聚类（DBSCAN）[^4]完成目标分割，随后使用随机森林（RF）[^2]进行分类，完成初步数据预处理。最后，我们应用Yan等人提出的时空图卷积网络（ST-GCN）模型[^11]，充分利用空间和时间特征实现人类活动识别。本文贡献如下。
1) 我们结合激光雷达点云数据的特征，选用ST-GCN作为分类模型，获得了良好的识别精度。
2) 本文提出的系统可预测跌倒引发的人类行为异常轨迹，辅助发出预警，同时在居家护理场景下保障受护理者的隐私安全。
本文后续内容结构安排如下：第二节介绍本文研究基础，第三节阐述提出的方法与实验结果，第四节说明系统的设计与实现，最后第五节对全文进行总结。
近年来，深度学习凭借出色的复杂数据处理能力得到广泛普及，成为众多领域的热门研究方向。对于激光雷达应用而言，激光雷达用于采集时序数据。传统上循环神经网络（RNN）是时序分析的首选模型，而RNN的变体长短期记忆网络（LSTM）的出现缓解了梯度爆炸或梯度消失问题，此后成为主流选择 [^3], [^9].
### 二、研究基础
为了区分不同目标，激光雷达采集的数据必须先进行聚类，才能开展进一步分析 [^5]。DBSCAN是一种基于密度对特征空间中的点云进行分组的算法 [^4], [^13]。实现DBSCAN需要定义两个参数，具体如下。
1) $\varepsilon$ (eps): 以该参数为半径划定的圆形区域称为 $\varepsilon$-邻域。
---
Table 1. Eight Features Extracted for RF Clustering
| No. | Geometric features | No. | Geometric features |
| 1 | Length | 2 | Width |
| 3 | Standard deviation of the X coordinate | 4 | Standard deviation of the Y coordinate |
| 5 | Variation of the X coordinate | 6 | Variation of the Y coordinate |
| 7 | The average distance from each point to the center | 8 | Number of points |
(a)
(b)
(c)
Fig. 1. Human moving trajectories. (a) Human identified using RF. (b) Normal trajectory. (c) Abnormal trajectory.
2) minPts: 将一个区域定义为高密度区域所需的最少点数。
对数据点应用DBSCAN后，数据点被分组为多个聚类簇，分别代表房间内不同的物体，例如墙体、柜子和人体。为了追踪人体轨迹，需要识别出代表人体的聚类簇[^5]，[^10]。为实现这一目标，我们提取了如表1所示的8个特征，并利用RF通过比较每个聚类簇的几何特征，将物体分类为人体或非人体。
RF是由多棵决策树组成的分类器，采用套袋法和随机特征采样。为了将物体分类为人体或非人体，RF输出由多数决策树选定的类别[^5]。该分类器能够有效剔除离群值并完成预测。在本文中，我们将已标注为人体或非人体的聚类簇作为训练集，训练RF分类器输出我们所需的二分类结果，如图1(a)所示。本次训练共使用6000个样本，其中3000个为人体样本，3000个为非人体样本。
为了降低误报概率，RF分类器可能会将房间内的其他物体误识别为人体，导致同一时间识别出多个个体。我们使用追踪器计算所有被分类为人体的物体与其上一位置之间的距离，选择距离最近的个体作为当前人体。若上一周期未检测到人体，则选择第一个识别出的人体对象进行追踪。图1展示了人体从左下角移动到右上角的运动轨迹，包含8个连续点云（时间帧），2-D LiDAR放置在实验区域右侧。图1(b)展示了正常运动轨迹，图1(c)展示了人体随时间摔倒过程的轨迹。
Yan等人[^11]提出了基于连续时间序列中骨骼点的ST-GCN，用于人体行为识别。本文将ST-GCN用于识别LiDAR点云中的人体行为。在时间t处，每个识别得到的人体点云是一个无向
Fig. 2. ST-GCN model structure we used.
图$G_{H}^{t} = (V_{H}^{t}, E_{H}^{t})$，其中$V_{H}^{t} = \{v_{1}^{t}, v_{2}^{t}, \ldots, v_{ht}^{t}\}$包含经二维2-D LiDAR顺时针扫描得到的连续点$v_{1}, v_{2}, \ldots, v_{ht}$，对于$1 \leq t \leq T$，T为运动过程中的总时间步数。$E_{H}^{t} = \{e_{i}^{t} = (v_{i}^{t}, v_{i+1}^{t}) | 1 \leq i < h_{t}\}$。针对人体运动的时空图，由从t到$N_{f}$的$(t + N_{f} - 1)$个时间帧内的点云构成，被定义为无向图$G_{HT}^{t} = (V_{HT}^{t}, E_{HT}^{t})$，其中$V_{HT}^{t} = \bigcup_{i=t}^{t + N_{f} - 1} V_{H}^{i}$，且$E_{HT}^{t} = \bigcup_{i=t}^{t + N_{f} - 1} E_{H}^{i} \cup$
$$ \bigcup_{i=t}^{t+N_{f}-2}\left(\begin{array}{c}\left\{e_{j}^{i}=\left(v_{\left\lceil j\times\frac{h_{i}}{h_{i+1}}\right\rceil}^{i},v_{j}^{i+1}\right)\middle|1\leq j\leq h_{i+1},\text{if}h_{i}\leq h_{i+1}\right\}\\ \text{or}\\ \left\{e_{j}^{i}=\left(v_{j}^{i},v_{\left\lceil j\times\frac{h_{i}}{h_{i+1}}\right\rceil}^{i+1}\right)\middle|1\leq j\leq h_{i},\text{if}h_{i}>h_{i+1}\right\}\end{array}\right). $$
该模型首先基于$G'_{HT}$构建表示边重要性的权重矩阵A，并用其对邻接矩阵加权。之后将加权矩阵与轨迹图输入图卷积网络（GCN）进行计算，再利用残差结构得到残差结果Res，将其与时间卷积网络（TCN）的输出相结合，聚合时间维度特征。所用模型如图2所示。二维卷积层（又称Conv2D）和二维批量归一化层（又称BN2D）是ST-GCN模型的内部组成组件。
### 三、方法与实验
所提方法分为三个步骤实施，如算法1所示。为构建更准确的数据集，我们采集了五种不同路径、五种不同停止位置以及跌倒场景的数据。异常活动为参与者因不清楚该选择哪个目的地而在行走途中跌倒的情况。总共有11种活动类型，每种活动从头到尾持续7秒。按下执行按钮后，行走行为在2秒后开始，持续5秒 [^3]。
本研究的第一步使用DBSCAN进行聚类，将点分组为不同目标，不同分组对应不同家具。第二步，使用RF算法将分组得到的目标分类为人体或非人体，我们采用跟踪器对识别出的人体目标进行持续跟踪；如果房间内存在超过两人，跟踪器会选择与上一帧人体距离最短的目标进行跟踪。最后，使用ST-GCN对轨迹对应的活动进行分类。我们评估了模型的有效性，并将它的执行时间和准确率与TCN和LSTM进行了对比。
在算法1中，我们采集了极坐标系下的二维激光雷达点云 $(r, \theta)$。数据首先从极坐标转换为直角坐标，并存入数组中。激光雷达会持续采集数据，直到收集到maxPoints个点（该值设置为720），
---
```pseudo
// Algorithm 1: HAR for Home Care.
Input: 2D LiDAR point cloud in polar coordinates $(r, \theta)$ at each time t.
Output: The class of human activity corresponding to the trajectory.
```
1 While True do
2 scanningMap←[]; groupedPoints←[];
3 numPointsCollected=0
4 对于 i 从 l 到 numframe
5 当 numPointsCollected < maxPoints 时
6 polar��Counts ← collectLiDARData()
7 cartCounts ← polarToCartesian(polarCounts)
8 scanningMap.append(cartCounts)
9 numPointsCollected ← numPointsCollected + 1
10 结束当
11 clusteringResults ← DBSCAN(scanningMap)
12 groups ← grouping(scanningMap, clusteringResults)
13 对于所有 group ∈ groups
14 | features.append(calculateFeatures(group))
15 结束对于
16 trajectories.append(RF(features))
17 结束对于
18 predict ← ST-GCN_MODEL(trajectories)
19 结束当
Fig. 3. Layout of the test site.
我们认为该点数量足以在保证系统实时性的同时，捕捉人体的形状和运动轨迹。采集到maxPoints个点后，使用DBSCAN算法对扫描轮廓图进行聚类，得到一个大小为720的数组，记录扫描轮廓图中每个点的聚类标签。随后通过分组函数对点进行分组，得到不同分组，这些分组可对应家具或人体目标。接下来，我们对每个分组计算特征，使用RF分类器判断哪个分组是人体目标。该过程重复numframe次（该值设置为15），将得到的“人体”数据组合形成轨迹。随后将轨迹输入包含六个类别的ST-GCN模型，对人类活动进行分类。整体而言，该算法提供了一种利用激光雷达数据识别和跟踪人类活动的方法：使用DBSCAN进行聚类、RF进行分类，可以高效准确地在扫描轮廓图中识别出人体目标，ST-GCN模型则进一步实现了基于轨迹的人类活动分类。
测试场地的布局如图3所示，由一间配备床、书桌、书架和衣柜的卧室组成。一台二维激光雷达（2-D LiDAR）被放置在高度约120厘米的柜子上，用于扫描房间内的动态情况。由于家具布置和通道会影响扫描效果，因此需要避免家具相互重叠。本研究使用的激光雷达为Slamtec RPLiDAR A1，该产品成本较低，扫描半径约为12米。它内嵌于逻辑IO驱动（3.3 V）电机控制器中，可通过调整电机转速设置扫描频率。开始扫描前，需要使用MicroUSB线将RPLiDAR A1连接到计算机。
本测试场地中共设置了7种不同的人类活动轨迹，如表2所示。对人类活动的准确识别
Table 2. Seven Different Trajectories for Human Activity
| Trajectory | Source | Destination | Human activity |
| Abnormal | Anywhere | In room | Fall-Out |
| Route 1 | In front of the bed | Wardrobe | Change clothes |
| Route 2 | The left side of the bed | Desk | Reading |
| Route 3 | Desk | Bookcase | Take book |
| Route 4 | In front of the bed | Door | Get up |
| Route 5 | Desk | Wardrobe | Ready to take a shower |
(a)
(b)
Fig. 4. Model comparison and confusion matrix for classification. (a) Model comparison for accuracy and execution time. (b) Confusion matrix for classification in ST-GCN.
对诸多系统而言都至关重要，而数据增强可通过生成现有数据经轻微修改后的副本来增加可用数据量，因此发挥着关键作用。本研究采用三种不同模型进行测试和对比，将80%的机器学习数据（共10800条记录）划分为训练集，10%划分为验证集，剩余10%划分为测试集。表2展示了不同模型的运行时间和准确率。
根据实验结果，如图4所示，ST-GCN在准确率和运行时间方面的表现均优于TCN和LSTM。这是因为TCN提取时间特征，而GCN提取空间特征。模型对比如图4(a)所示。
根据模型对比结果，ST-GCN是适用于人类活动识别（HAR）的最优模型。该模型的分类结果由混淆矩阵呈现，如图4(b)所示。混淆矩阵的行代表真实标签，列代表预测标签，框内数字代表ST-GCN模型的分类结果。路线1仅有一个数据点被误分类为异常，说明该模型准确率很高。在图4(b)中，异常活动共有46次被错误分类为路线3行为，主要原因是：当人员远离2-D LiDAR的位置时，该行为与摔倒相似，因此这种远离行为被误分类为路线3的概率更高。
为评估ST-GCN在多分类任务中的性能，我们采用了多项性能指标。实验结果显示，该模型的准确率达到96%，说明其整体样本分类正确率很高。此外，计算得到所有类别的加权平均精度为
---
(a)
Fig. 5. Snapshots of the proposed home care assistance system. (a) Person in safety. (b) Alarm occurred while a person fall-out.
97%，加权平均召回率为96%，最终加权平均F1分数为96%。这些指标体现了该模型在考虑类别分布的情况下对样本进行准确分类的能力。实验结果表明，本文模型在多分类任务中表现出色。
### IV. 系统实现
在本文中，我们设计并实现了一套辅助系统，该系统配备了用户友好的UI界面，更便于新用户和老年人使用。界面以图形格式展示所有可操作功能，如图5(a)所示，该设计旨在保障被护理者的安全。
用户可点击“Start”按钮启动扫描流程，界面左侧会实时更新LiDAR扫描轮廓图。系统采用DBSCAN和RF算法处理采集到的数据，并将数据分为两类：1）人体；2）非人体。老人的当前位置会显示在“Current Coordinates”区域，同时标记在LiDAR扫描轮廓图上。系统每15个时间帧计算一次护理对象的当前路径与对应行为，并将信息记录在“Activity Recognition”区域。界面底部的状态栏会显示当前状态为“safe”还是“warning”。若状态为“warning”，系统会发出警报声，通知护理人员提供协助。用户可点击“Stop”按钮终止扫描流程和数据更新。
当护理对象摔倒时，系统会立即显示警报通知，如图5(b)所示。护理人员可在自身设备上或通过中央监控系统查看该通知。通知内容包含护理对象的当前位置、情况描述以及应采取的适当措施。若情况需要，系统还可自动联系紧急服务机构或指定联系人。界面可显示额外信息，例如护理对象的病史或紧急联系人信息，帮助护理人员做出恰当响应。
本文提出的系统不仅可部署在家庭环境中，还可安装在Internet-of-Things环境的嵌入式设备上。该系统可广泛部署于多个房间，甚至可用于湿滑区域或游泳池。通过系统集成与开发，可实现全面的隐私保护型护理服务。
### 五、结论
本文介绍了一种辅助护理系统，旨在提升使用便利性、为护理人员提供更高灵活性，同时保障居家护理对象的隐私与安全。本系统采用ST-GCN模型，与其他模型相比，该模型执行时间最短，准确率也显著更高。系统在扫描轮廓图上显示老人的当前位置，实时记录其运动轨迹和对应行为。最后，只要检测到预警状态，系统就会向护理人员发出警报提醒。
## 致谢
本研究得到中国台湾地区国家科学及技术委员会资助，项目编号分别为NSTC-111-2813-C-024-012-E和NSTC-110-2221-E-024-003-MY3。
## 参考文献
[^1]: M. Bouazizi, C. Ye, and T. Ohtsuk, “2-D LIDAR-based approach for activity identification and fall detection,” IEEE Internet Things J., vol. 9, no. 13, pp. 10872–10890, Jul. 2022.
[^2]: L. Breiman, "Random forests," Mach. Learn., vol. 45, pp. 5–32, 2001.
[^3]: T.-C. Chiu, T.-S. Chen, and J.-M. Lin, “Human gait recognition using LiDAR and deep learning technologies,” in Proc. IEEE Int. Conf. Consum. Electron. - Taiwan, 2022, pp. 43–44.
[^4]: D. Deng, “DBSCAN clustering algorithm based on density,” in Proc. 7th Int. Forum Elect. Eng. Automat., 2020, pp. 949–953.
[^5]: F. Luo, S. Poslad, and E. Bodanese, “Temporal convolutional networks for multiperson activity recognition using a 2-D LiDAR,” IEEE Internet Things J., vol. 7, no. 8, pp. 7432–7442, Aug. 2020.
[^6]: B. Parsa and A. G. Banerjee, “A multi-task learning approach for human activity segmentation and ergonomics risk assessment,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis., 2021, pp. 2352–2362.
[^7]: J. Roche, V. De-Silva, J. Hook, M. Moencks, and A. Kondoz, "A multimodal data processing system for LiDAR-based human activity recognition," IEEE Trans. Cybern., vol. 52, no. 10, pp. 10027–10040, Oct. 2022.
[^8]: “World Population Prospects 2022: Summary of results,” Tech. Rep. UN DESA/POP/2022/TR/NO. 3, Population Division, United Nations Dept. Econ. Social Affairs, New York, NY, USA, 2022.
[^9]: Q. Wang, K. Zhang, and M. A. Asghar, “Skeleton-based ST-GCN for human action recognition with extended skeleton graph and partitioning strategy,” IEEE Access, vol. 10, pp. 41403–41410, 2022.
[^10]: W. Wang et al., “PointLoc: Deep pose regressor for LiDAR point cloud localization,” IEEE Sensors J., vol. 22, no. 1, pp. 959–968, Jan. 2022.
[^11]: S. Yan, Y. Xiong, and D. Lin, “Spatial temporal graph convolutional networks for skeleton-based action recognition,” in Proc. Assoc. Advance. Artif. Intell. Conf. Artif. Intell., 2018, vol. 32.
[^12]: Y. Yang, H. Wang, R. Jiang, X. Guo, J. Cheng, and Y. Chen, "A review of IoT-enabled mobile healthcare: Technologies, challenges, and future trends," IEEE Internet Things J., vol. 9, no. 12, pp. 9478–9502, Jun. 2022.
[^13]: Z. Yu et al., “A radar-based human activity recognition using a novel 3-D point cloud classifier,” IEEE Sensors J., vol. 22, no. 19, pp. 18218–18227, Oct. 2022.