Fig. 1. Approaches employed for HAR.
多输出（MIMO）雷达可提供更易获取、更直观的点云数据，用于捕获人体运动信息。点云数据是空间坐标系中一组带有几何位置的向量，是扫描物体后将物体记录为点数据得到的采样点，每个点都包含三维坐标，点的数量大、密度高，这类数据即为点云数据。
本文的主要贡献如下。
1) 我们构建了一个用于HAR的大规模点云基准数据集。该数据集公开可用、分辨率高，与现有HAR数据集相比，包含更多类别和更多受试者。
2) 与以往研究不同，我们探索了HAR领域的前沿方法，讨论了从传统手工特征到近年发展起来的深度学习相关技术。
3) 我们在一致的实验条件下评估了处理该基准点云数据集的先进检测算法，为后续HAR任务的相关研究提供了丰富的基线结果。
本文结构安排如下：第一节简要介绍HAR系统；第二节描述人类活动以及原始传感器设备的数据采集方法；第三节开展案例研究并评估结果，指出活动识别基准面临的挑战；最后，第四节讨论HAR基准数据集并对比相关研究以证明我们的贡献；第五节给出结论并指明未来研究方向。
### 二、材料与方法
对于人类日常活动而言，动作的复杂程度各不相同，人体运动可根据不同维度进行分类，包括活动数量[^13]、活动类型[^14]、数据采集能耗[^15]以及重要性[^16]。
图2表明，人类活动可分为三种基本类型：1) 静态活动[^17]；2) 动态活动[^18]；3) 姿态转换活动[^4]。静态活动一般指坐下、站立等基本不涉及人体移动的活动。与静态活动相比，动态活动存在运动趋势，代表更强烈的环境交互，例如行走、跌倒以及其他短时行为。
---
Fig. 2. Different types of human activities.
即人体姿态与行为之间的交互[^1]，这类活动通常是人类日常生活中的高频行为。姿态转换活动是由多个基础活动聚合而成的组合行为，行为过程中可能有多名用户参与[^19]。
静态活动（如坐、站立等）比日常活动（行走、拾取物品等）更容易识别。然而，坐姿和站姿这类相似度极高的姿态转换会给分类带来极大复杂性，原因是二者的活动特征空间存在明显重叠。坐姿和站姿属于静态活动，代表动作已经完成、不再移动，而坐下、站起属于动态活动或姿态转换，代表动作正在进行，整个过程是连续运动。此外，站起和坐下这类动态活动的活动特征空间相似度很高，且活动模式相互关联，因此也难以区分。
大多数情况下，不同活动的对应特征在整个活动周期内并不始终相似，这进一步提升了HAR任务的难度。例如，坐姿和站姿特征非常相似，很难从帧数据中将二者区分开，但它们与行走的特征差异十分显著，因此很容易在这一维度上将它们从活动数据中分离出来。因此，过渡活动可进一步分为四类：1）静态到静态的姿态转换（站转坐）；2）静态转动态（站转走）；3）动态转静态（走转站）；4）动态转动态（走转跌倒）。
基于选定的活动对象，我们构建了多个不同版本的数据集，分别对应人体活动数据集的不同难度等级。这使得研究人员能够在更贴近极端真实场景的条件下，探究现有分类方法在基准数据集上的鲁棒性。
### A. 所提基准数据集概述
图3展示了数据采集的实验设置。图3(a)展示了人体运动数据的采集方式：NodeNs传感器放置在距离受试者2米的固定桌面上采集数据。图3(b)展示了数据采集环境中四名受试者的设置方式。所有人体活动的持续时间都固定为5秒，这一统一的时间轴设置方便对数据长度进行归一化处理。该数据集共分为4个类别，总计1011个数据文件，每个文件是一个样本，对应特定的受试者数量（从1名受试者到4名受试者，共4类）和活动。即每个文件是一个独立样本，用于算法的训练和测试。数据集主文件夹进一步划分为15个子文件夹，分别对应15个类别。该基准数据集的详细信息如表I所示。
### III. 案例研究
为了更清晰地说明本文设计的基于点云的HAR任务基准数据集的成熟度，本研究采用代表性方法开展了基准测试，目标是明确当前研究在HAR任务上的贡献与局限性。在本案例研究中，首先通过基于密度的带噪声应用空间聚类（DBSCAN）[^20]对点云数据进行预处理和聚类计算，随后在长短期记忆（LSTM）神经网络上对HAR任务进行训练和分类测试，以验证该基准数据集的功能。同时，该实验也证明了在属性准确的数据集上训练有助于提升分类性能。LSTM的评估基于标注数据集开展，我们将标注数据集随机划分为两个子集：1）训练集（80%）；2）测试集（20%），并保证训练集和测试集包含来自不同场景的对象。工作流程如图4所示。
### A. 点云数据预处理
点云数据分析通常需要对点云数据进行分割，并提取感兴趣区域。点云分割方法包括模型拟合、基于图的计算、深度学习，其中聚类是目前应用广泛的方法。对于三维点云数据，聚类通常会利用其特征属性，对每个点空间或局部空间进行特征提取或变换，由此得到法向量、密度、距离、高程、强度等多种属性，进而依据不同属性分割点云。例如，密度聚类将簇定义为最大范围的密度连通点集合，把高密度区域划分为簇，能够在带噪声的空间数据库中识别出任意形状的簇。
DBSCAN就是一种典型的基于密度的聚类算法，该算法的核心假设是可以通过样本分布的紧密程度划分点云类别。同一类别的样本，点与点之间紧密相连，因此该类别的样本点周围一定存在同类别的点。所以它是一种基于密度的空间聚类算法，具备抗噪声、无需指定聚类类别数量、可对空间数据中任意形状的簇进行聚类等优势，非常适合点云数据聚类。
DBSCAN算法的核心是找到最大范围的密集连通点集合。它通过两个参数描述样本的紧密程度：1) epsilon 和 2) minPoints。Epsilon是每个数据点检查点密度时扫描邻域的半径，也就是邻域半径，用于表示邻域
---
| Number of Subjects | Activity | Number of Subjects and Corresponding Activity | Description | Number of samples |
| 1 | Sit down, Stand up, Walking, Fall, Pick up. | • P1 (All activities) | • One subject performing each Action single | 101 / Activity class * 5 = 505 |
| 2 | • Sit down + Stand up, • Sit down + Pick up, • Stand up + Pick up | • P2(Sit) + P1(Stand), • P1(Sit) + P2(Stand), • P2(Sit) + P1 (Pick), • P1(Sit) + P2 (Pick) | • One subject performing the action of "Sitting" and one subject performing the action of "Standing", at the same time. • One subject performing the action of "Sitting" and one subject performing the action of "Pick up a box", at the same time. • One subject performing the action of "Standing" and one subject performing the action of "Pick up a box", at the same time | 40 + 40 + 39 = 119 |
| 3 | • Sit down + Stand up + Pick up, • Stand up + Pick up + Sit down, • Pick up + Sit down + Stand up. | • P3(Sit) + P2(Stand) + P1(Pick), • P1(Sit) + P3(Stand) + P2(Pick), • P2(Sit) + P1(Stand) + P3(Pick), • P1(Sit) + P3(Stand) + P2(Pick), • P3(Sit) + P2(Stand) + P1(Pick), • P2(Sit) + P1(Stand) + P3(Pick), • P3(Sit) + P2(Stand) + P1(Pick) | • One subject performing the action of "Sitting", one subject performing the action of "Standing" and one subject performing the action of "Pick up a box", at the same time. • One subject performing the action of "Standing", at the same time. • One subject performing the action of "Sitting" and one subject performing the action of "Pick up a box", at the same time | 62 + 93 + 62 = 217 |
| 4 | • Sit down + Stand up + Pick up + Sit down, • Sit down + Sit down + Stand up + Pick up, • Pick up + Sit down + Sit down + Stand up, • Stand up + Pick up + Sit down + Sit down. | • P3(Sit) + P2(Stand) + P4(Pick) + P1(Sit), • P1(Sit) + P3(Stand) + P2(Pick) + P4(Sit), • P4(Sit) + P1(Stand) + P2(Sit) + P3(Sit), • P3(Sit) + P2(Stand) + P4(Sit) + P1(Pick), • P3(Pick) + P2(Sit) + P4(Sit) + P2(Stand) + P2(Pick) + P4(Sit) + P1(Stand) + P2(Stand) + P2(Pick) + P3(Sit) + P4(Sit) | • One subject performing the action of "Standing", one subject performing the action of "Standing", one subject performing the action of "Standing", one subject performing the action of "Standing", one subject performing the action of "Standing", one subject performing the action of "Standing" and one subject performing the action of "Standing" and one subject performing the action of "Pick up a box", at the same time. • One subject performing the action of "Standing", one subject performing the action of "Standing", one subject performing the action of "Standing", one subject performing the action of "Standing" and one subject performing the action of "Sitting" and one subject performing the action of "Standing" and one subject performing the action of "Standing" and one subject performing the action of "Sitting" and one subject performing the action of "Standing" and one subject performing the action of "Standing" and one subject performing the action of "Sitting" and | |
---
当前点距离阈值。minPoints是扫描圆内判定该数据点为核心点所需的最少数据点数量，用于表示邻域内数据点的最小数量。该算法可以通过循环计算迭代这两个参数变量，筛选出最合适的参数。DBSCAN算法1的流程和参数设置如伪代码[^20]所示。
```pseudo
// Algorithm 1: DBSCAN Algorithm
1: Input: D is a dataset containing n objects, $\varepsilon$ is a radius parameter, M is a Neighborhood density threshold.
2: Output: A set of density-based clusters
Require: :
3: Initial Dataframe to Zero, and then load data D as Dataframe in the algorithm
4: Setting $\varepsilon$: epsilon radius parameter to 0.4
5: Setting minPoints M: Neighborhood density threshold to 1
6: Mark all objects as unvisited
7: while Objects marked unvisited do
8: Randomly select an unvisited object p:
9: Mark p as visited
10: if There are at least M objects in the $\varepsilon$-neighborhood of p then
11: Create a new cluster C, and then add p to C
12: Let N as p's $\varepsilon$-neighborhood for the set of objects.
13: for Each point p' in N do
14: if p' is unvisited then
15: Mark p' as unvisited;
16: if The $\varepsilon$-neighborhood of p' has at least M points then
17: Add these points to N
18: end if
19: if p' is still not a member of any cluster then
20: add p' to C:
21: end if
22: end if
23: end for
24: Output C:
25: else Mark p' as noise
26: end if
27: end while
```
该算法首先逐点遍历点云数据：如果该点不是核心点，则会被视为噪声点跳过，该噪声点后续可能会被核心点归类到对应簇中；如果该点是核心点，则创建一个新簇，并将所有邻域点添加到该簇，再对邻域点中的核心点递归执行添加操作，直到没有点可以加入当前簇，之后开始处理新的点，建立新的簇。
一般来说，如果数据集是密集的非凸集，那么使用DBSCAN算法的效果会优于K-means等其他聚类算法。K-means聚类算法只能处理球状的紧凑簇，这是该算法基于到簇的平均距离计算的固有局限性。如果数据集不够密集，则不建议使用DBSCAN进行聚类。与传统K-means算法相比，DBSCAN最显著的区别是无需输入类别数量K，同时DBSCAN最大的优势是可以发现任意形状的簇，而K-means通常仅适用于凸样本集的聚类。最后，DBSCAN算法还可以在聚类的同时识别出离群点，这一点和层次平衡迭代规约聚类（balanced iterative reducing and clustering using hierarchies (BIRCH)）算法类似。
### B. 人类活动识别
由于循环神经网络（RNN）在处理非线性时间问题时存在梯度爆炸和梯度消失问题，时间递归神经网络LSTM被广泛应用于时序数据领域。凭借其网络结构的优势，它能够处理和预测具有高时间依赖性和强耦合性的事件。
传统神经网络受短期记忆的限制，如果时序数据过长，早期时间步的信息就很难传递到后期时间步。对于时序数据而言，RNN从一开始就可能遗漏重要信息，这是因为在反向传播过程中，RNN会遭遇梯度消失问题。梯度用于更新神经网络的权重值，梯度消失问题指梯度会随着时间的传播不断衰减，如果梯度变得极小，网络就无法继续学习。
与传统方法相比，采用LSTM单元的LSTM网络可以直接接入经DBSCAN预处理得到的特征数据，将其输入神经网络进行处理，完成对数据的合理建模。与原始RNN仅有的隐藏状态不同，LSTM新增了细胞状态结构。经DBSCAN聚类得到的人体点云数据本身为时序结构，将数据划分为t个部分输入LSTM后，LSTM最终输出关于HAR的分类结果。
### C. 评估与结果
本文对基于DBSCAN特征提取的点云数据上LSTM算法的训练和测试性能进行了评估。图5展示了从单被试到多被试实验的混淆矩阵。图5(a)是单被试5种活动的分类结果，活动类别为跌倒、捡起、坐下、站起和行走，准确率为95.75%。图5(b)是两名被试的三种组合活动，包括坐下+站起、坐下+捡起、站起+捡起，准确率为97.59%。图5(c)是三名被试的三种组合活动，包括坐下+站起+捡起、站起+捡起+坐下、捡起+坐下+站起，准确率为98.01%。图5(d)是四名被试的四种组合活动，由坐下、站起、捡起三种动作排列组合得到，活动序列分别为坐下+站起+捡起+坐下、坐下+坐下+站起+捡起、捡起+坐下+坐下+站起、站起+捡起+坐下+坐下，准确率为96.90%。该结果反映
---
Fig. 3. Experimental setup data collection. (a) Human movement data acquired by the NodeNs sensor on the fixed table that is 2 m from the volunteer. (b) How to set up four subjects in the data collection environment.
Fig. 4. Experimental workflow for the HAR task.
了主流LSTM算法在活动识别任务中的性能表现。
### IV. 讨论
本文聚焦于人体动作分类任务中的点云数据处理研究，这一研究方向很大程度上是受HAR数据集的发展推动的，近年来此类数据集的规模与质量都得到了极大的拓展与提升。本文讨论了该领域近年的最新研究成果以及对应的基准数据集。针对HAR领域的点云数据处理，早期研究思路是通过深度学习拓展图像处理方法来实现，例如利用多视图图像[^25]或是在三维体素网格上开展卷积计算[^26]来处理点云数据。随着处理技术的进步，神经网络中的卷积运算从二维卷积核发展为三维卷积核。但在点云数据上开展卷积计算是一项复杂的工作，核心难点在于点云数据并未明确定义执行卷积计算所需的点序[^27]。Qi等人[^28]通过使用不随点序改变的对称函数解决了这一问题，并利用该函数学习点云数据的全局特征。此外，还有其他研究提出了通过卷积学习局部特征的方法[^29]，并采用自编码器等算法弥补原有方法的缺陷[^30]。进一步的研究采用数据融合方法，基于点云数据和多视图投影数据联合学习特征[^31]。与此同时，Han等人[^32]提出了将点云处理与视图序列化结合来分析数据的方案。最后，部分研究直接使用无监督学习方法[^33]完成HAR任务。
本文在此对表II中所示的部分HAR基准数据集进行了对比分析。例如，Taylor等人[^21]设计了一个包含两类人体活动的基准数据集，数据由通用软件无线电外设（USRP）采集。该研究使用搭载随机森林算法的机器学习模型，分析无线电中的信道状态信息（CSI）。在他们设计的基准数据集上，HAR任务的识别准确率达到了92.47%。另一方面，Khan等人[^22]提出了一个基于Kinect V2传感器的基准数据集，该数据集采集了12类人体骨架关节数据。该研究基于混合框架结合卷积神经网络（CNN）与LSTM算法进行人体活动识别，识别准确率为 August 16, 2026 at 13:55:09 UTC from IEEE Xplore. Restrictions apply.
---
Fig. 5. Confusion matrices for a single subject to multiple subjects. (a) Single subject of five activities classification results. (b) Two subjects of three activities. (c) Three subjects of three activities. (d) Four subjects of four activities.