# RADHAR：基于毫米波雷达生成点云的人体行为识别 Akash Deep Singh $^{*}$ 加利福尼亚大学洛杉矶分校 Luis Garcia 加利福尼亚大学洛杉矶分校 ## 摘要 准确的人体行为识别（HAR）是支撑新兴情境感知应用的核心，这类应用需要对人类行为进行理解与识别，例如监测独居的残障人士或老年人。传统上，HAR的实现方式分为两类：一类依托环境传感器（如摄像头），另一类依托搭载惯性测量单元（IMU）的可穿戴设备（如智能手表）。环境传感方案通常对不同环境的泛化性更好，因为它不要求每位用户都配备可穿戴设备。然而，在家庭这类隐私敏感区域使用摄像头，可能会捕获用户不愿共享的多余环境信息。雷达已被提出作为粗粒度行为识别的替代模态，它可通过微多普勒频谱图仅捕获最少的环境信息子集。但低成本毫米波（mmWave）雷达系统生成的点云稀疏且不均匀，因此训练细粒度、准确的行为分类器是一项挑战。本文提出RADHAR框架，该框架可利用稀疏不均匀点云实现高精度HAR。RADHAR采用滑动时间窗口积累毫米波雷达的点云，生成体素化表示作为分类器的输入。我们使用一款低成本商用现成雷达评估RADHAR，获取稀疏点 Sandeep Singh Sandha $^{*}$ 加利福尼亚大学洛杉矶分校 Mani Srivastava 加利福尼亚大学洛杉矶分校 云，这类点云对视觉隐私的侵犯程度更低。我们在包含5类不同活动的采集人体行为数据集上评估并验证了我们的系统。我们对比了不同分类器在该数据集上的准确率，发现性能最优的深度学习分类器准确率可达90.47%。我们的评估证明了利用毫米波雷达实现高精度HAR检测的有效性，本文还列举了该领域未来的研究方向。 ## CCS 概念 • 计算方法学 → 分类监督学习；• 硬件 → 传感器与执行器；传感器设备与平台。 ## 关键词 毫米波、mmWave、雷达、人体行为识别、机器学习、神经网络、点云、体素化、RF ## ACM 引用格式 Akash Deep Singh, Sandeep Singh Sandha, Luis Garcia, and Mani Srivastava. 2019. R&D HARD: 基于毫米波雷达生成点云的人体行为识别。载于第3届ACM毫米波网络与传感系统研讨会（mm-Nets'19），2019年10月25日，墨西哥洛斯卡沃斯。ACM，美国纽约州纽约市，6页。 ## 1 引言 尽管人类活动的识别与监测可支撑诸多安全关键应用——例如，监测可能需要医疗救助的独居残障人士和/或老年人 [^1] [^10]——低成本传感能力的出现为日常应用中的人类活动识别带来了无处不在的可能。近年来已经涌现出多种情境感知应用，例如运动追踪与效果评估 [^12] 以及工厂车间监测 [^6]。传统上，人类活动通常通过环境传感器（例如摄像头）和/或可穿戴传感器（例如配备IMU的智能手表）来推断。尽管可穿戴设备 --- 已被证明是人类活动识别的有效方法，但假设空间内所有受试者都会使用与推理模型兼容的可穿戴设备并不现实。环境传感器方法对异质环境具备鲁棒性，因为它们不依赖用户持有特定设备。然而，摄像头采集的传感器数据包含大量环境信息，可能会给隐私敏感应用带来隐私顾虑。例如，已有案例显示医院产科病房的摄像头被用来偷窥女性患者 [^2]。在这种场景下，摄像头可以被其他传感器替代：这类传感器的数据足以提供实现相同效用所需的环境信息，例如当我们只需要关心房间内有多少患者，或者病房内是否有对应数量的护士时。 已有研究表明，信息密度更低的环境传感器结合射频信号，可以在不将受试者暴露于隐私风险的前提下有效推断人类活动。例如，WiFall [^14] 展示了如何利用WiFi路由器检测人员是否摔倒。但该研究仅在差异显著的两类样本二分类任务中具备鲁棒性，超出该范围则表现不佳。一般而言，WiFi的频带较窄（与毫米波雷达的高带宽相比），不具备实现鲁棒分类所需的足够距离分辨率。雷达已逐渐成为活动识别领域的热门模态[^3]，因为它具备可在任意光照条件下工作、能应对多种复杂环境（例如雾天和雨天）的优势。此外，毫米波技术的出现也推动了高性价比分布式传感应用的发展。 毫米波（mmWave）技术的工作频段范围为30GHz到300GHz。由于天线尺寸与频率成反比，频谱频率越高，天线的尺寸就越小，因此毫米波雷达的体积十分紧凑。此外，我们可以在极小的空间内容纳大量天线，从而实现高方向性波束成形（ $\approx 1^{\circ}$ 角精度）。这类雷达拥有更大带宽，因此具备更优异的距离分辨率。此外，新型低成本商用现成雷达推动了基于毫米波的传感解决方案日益普及。但这类设备存在资源限制，其输出不是原始数据，而是点云形式 $^{1}$。毫米波雷达每一帧采集到的点数量并不固定，这增加了构建可直接处理这类数据的神经网络架构的复杂度。因此，前人研究已经提出了多种特征提取和数据预处理技术，将这类数据转换为尺寸固定的格式，再输入神经网络 [^17] [^18]。 本文提出了RADHAR，一个用于人类活动识别的框架，该框架利用毫米波雷达生成的点云开展工作。针对毫米波雷达点云的稀疏性，RADHAR利用了人类活动通常会持续数秒这一特性，在滑动时间窗口内累积点云。每个点云会被体素化以克服数据的非均匀性，之后输入一组分类器。我们使用毫米波雷达采集了一个包含5种不同活动类别的全新人类活动识别点云数据集。我们在该采集数据集上对RADHAR进行了评估，并对比了各类分类器的准确率。在我们的评估中，由一组卷积层和长短时记忆层构成的性能最优深度学习分类器，可达到90.47%的平均测试准确率。 贡献。本文的贡献总结如下。 - 我们提出了RadHAR，该框架针对毫米波雷达生成的点云采用预处理流水线，实现人类活动识别。 我们评估了多种基于点云的人类活动检测机器学习方法。 - 我们构建了一个用于人类活动检测的全新点云数据集，并将其与数据处理、分类器训练与评估代码以及预训练分类器一同开源发布。 本文其余部分结构安排如下：第2节介绍理解RADHAR框架所需的预备知识。第3节给出RADHAR框架及其实现的概述，第4节对多种分类方法进行评估。第5节介绍相关工作，第6节进行讨论，第7节给出结论。 RADHAR的源代码和数据集可在线获取，地址为 。 ## 2 研究背景 我们提供理解RADHAR框架所需的预备知识，讨论毫米波雷达的物理基础。 ### 2.1 毫米波雷达 近年来，工作在毫米波频段的低成本单芯片雷达得到了越来越广泛的应用。德州仪器的毫米波雷达是这类设备中广受欢迎的一个产品线。这些传感器输出的点云中包含每个点的x、y、z坐标等各类信息。 --- ![Image](images/8680f42f52bf3010771310356d9e158c10777fbebddf816bb4df09daa71b7f1e.jpg)
Figure 1: RADHAR framework overview.
带宽与距离分辨率。雷达的距离分辨率指的是它区分两个距离非常接近的目标的能力。距离分辨率和带宽之间的关系如下： $$ d_{res}=\frac{c}{2B} $$ 其中 $d_{res}$ 是单位为米的距离分辨率，c是单位为m/s的光速，B是雷达线性调频脉冲扫过的带宽，单位为Hz。因此，如果想要获得更好的距离分辨率，就需要更高的带宽。我们所用雷达的最大连续带宽为4 GHz，对应约4厘米的距离分辨率。 ## 3 RADHAR框架概述 RADHAR框架的完整流水线如图1所示。该框架首先从监测人体的毫米波雷达采集数据，点云数据经过预处理后输入人类活动识别分类器。我们将详细介绍每个组件的概况。 ### 3.1 数据采集与预处理 我们使用TI的IWR1443BOOST [^8]雷达采集了全新点云数据集，命名为MMActivity（毫米波行为）数据集。该雷达为调频连续波（Frequency Modulated Continuous Wave，FMCW）雷达，采用线性调频脉冲信号工作，工作频率范围为76GHz至81GHz。雷达配备4根接收天线和3根发射天线，可同时跟踪多个目标并获取目标的距离与角度信息。这种天线设计可同时估计方位角和仰角，因此能够在三维平面中实现目标检测[^7]。 ### 3.2 MMActivity数据集 ![Image](images/2fa75e8a9e18f1787664be293786082123222aecd30d5b507d8738ad00a752c7.jpg) 数据采集过程中，雷达被固定在三脚架上，架设高度为1.3米。雷达采集的数据通过USB以ROS（机器人操作系统，Robot Operating System）消息的形式传输至笔记本电脑。运行在笔记本电脑上的ROS节点的开发与说明详见[^17]。我们使用ROS的另一个功能包rosbag记录和存储数据，最终我们将这些
Figure 2: Data collection setup.
rosbag文件转换为.txt文件，再基于这些文件生成点云的体素化表示。数据采集与预处理流程如图3所示。 我们由两名受试者完成了数据采集$^{2}$。受试者在雷达前完成5种不同的行为，如图2所示，分别为：行走、跳跃、开合跳、深蹲和拳击。同一行为的单次采集为连续约20秒的数据，部分数据文件时长超过20秒。我们总共采集了93分钟的数据，数据集的详细说明见表1。 采集得到的点云包含空间坐标（x、y、z，单位为米）、速度（单位为米/秒）、距离（点到雷达的距离，单位为米）、强度（单位为dB）以及方位角（单位为度）信息。雷达的采样率为每秒30帧。 ### 3.3 数据预处理 我们将采集得到的数据文件划分为独立的训练集与测试集，其中训练集数据时长71.6分钟，测试集数据时长21.4分钟。为了解决每帧点云点数不统一的问题，我们将点云转换为尺寸为$10 \times 32 \times 32$（深度=10）的体素，无论帧内包含多少个点，输入尺寸都保持固定。我们通过测试不同尺寸的模型性能，凭借经验确定了当前的体素尺寸。在我们的体素表示中，每个体素的取值为其边界范围内包含的数据点数量。虽然更多数量的体素可以更好地表示原始信息，但会使数据量增大约数个数量级。 由于行为是在一段时间内完成的，我们通过生成时间窗口来捕获行为的时间依赖关系。我们设置时间窗口长度为2秒（60帧），滑动步长为0.33秒（10帧）。选择2秒窗口是基于多模态时间序列数据集人体行为识别[^15]以及点云人体识别[^18]领域的已有研究。最终我们得到12097个训练样本和3538个测试样本，我们将 ---
Activity# of data filesTotal duration (seconds)
Boxing391115
Jumping Jacks381062
Jumping371045
Squats391090
Walking471269
Table 1: Details of the MMActivity dataset.
20%的训练样本用作验证集。在时间窗口体素化表示下，每个样本的形状为$60 \times 10 \times 32 \times 32$。 ### 3.4 分类器 我们在MMActivity数据集上对不同分类器进行了评估。我们训练了支持向量机（SVM）、多层感知机（MLP）、长短期记忆网络（LSTM），以及卷积神经网络（CNN）结合LSTM的模型，并在MMActivity数据集相同的训练测试划分上对比了这些分类器的推理能力。这些深度学习分类器目前已广泛应用于各类场景，LSTM和CNN结合LSTM的架构灵感来源于[^18]。接下来，我们将介绍各分类器的详细信息，包括数据输入、网络架构和训练细节。 3.4.1 SVM分类器。支持向量机（SVM）分类器的输入生成方式为：先将时间窗口体素化表示( $60 \times 10 \times 32 \times 32$)展平，再通过主成分分析（PCA）进行降维。我们使用PCA将数据维度从614400( $60 \times 10 \times 32 \times 32$)降至6000，降维后的数据可以解释原数据中80%的方差，本研究使用带RBF核的SVM。 3.4.2 MLP分类器。该分类器由全连接层和一个输出层组成。我们将样本的时间窗口体素表示( $60 \times 10 \times 32 \times 32$)展平，得到维度为614400的输入供MLP分类器使用。MLP分类器包含4个全连接层，之后连接输出层；我们使用dropout层避免过拟合，该模型共有3935万个可训练参数。 3.4.3 双向LSTM分类器。一个双向LSTM层由两个并行运行的LSTM层组成：第一层输入为原始数据，第二层输入为原始数据的逆序拷贝，因此双向LSTM层可以同时保留过去和未来的时序信息。该网络由双向LSTM层、其后连接的2个全连接层以及输出层构成。网络的输入( $60 \times 10240$)通过保留样本的时间维度（60）、展平空间维度( $10 \times 32 \times 32$)得到。我们使用的双向LSTM每个方向各有64个隐藏单元，该双向LSTM分类器共有529万个可训练参数。 3.4.4 时间分布CNN + 双向LSTM分类器。时间分布CNN会对输入数据的每个时间切片应用CNN层。时间分布CNN+双向LSTM分类器的架构为：3个时间分布卷积模块（卷积层+卷积层+最大池化层），之后连接双向LSTM层和输出层。该网络总共有29.1万个可训练参数，可直接在保留时间和空间维度的输入样本上训练。训练与实现：所有分类器均通过Sklearn和Keras实现，我们使用sklearn中的GridSearchCV函数优化SVM的超参数（C和gamma），使用学习率为0.001的Adam优化器训练深度学习分类器，训练运行30个epoch后，保存验证集损失最低的模型。
S.NoClassifierAccuracy
1SVM63.74
2MLP80.34
3Bi-directional LSTM88.42
4Time-distributed CNN+ Bi-directional LSTM90.47
Table 2: Test accuracy of different activity recognition classifiers trained on the MMActivity Dataset.
我们接下来对上述方法进行评估。 ## 4 评估 如表2所示，针对人体行为识别训练得到的分类器性能各有不同。该表记录了5次不同训练过程的平均结果。SVM分类器性能较差，测试准确率为63.74%。原因之一可能是SVM的输入没有采用Kim等人所用的领域特定特征提取方法[^9]，他们使用了多普勒雷达（2.4 GHz），之后将输出转换为微多普勒特征。三个深度学习分类器都直接对时间窗口体素数据进行处理。MLP分类器由全连接层构成，不对输入数据做任何假设，测试准确率为80.34%。双向LSTM分类器用于学习输入数据的序列特征，输入LSTM的数据保留了时间分量。由于人类活动是在一段时间内完成的，且输入LSTM的数据保留了时间序列，因此LSTM的性能显著优于MLP，测试准确率达到88.42%。性能最好的分类器是时间分布CNN + 双向LSTM，测试准确率为90.47%。时间分布CNN层从数据中学习空间特征，因为点云是空间分布的，而双向LSTM层学习活动窗口的时间依赖性。 --- ![Image](images/aa145f9614cc3e25816cb1b76ad6f74a0021fdee064532b307c53d2fedf3ee30.jpg)
Figure 3: Workflow of data preprocessing. The voxel size if $10 \times 32 \times 32$. The time windows are generated by grouping 60 frames (2 second) together.
![Image](images/3c518ccce91fd99358d1b5a5f309d0a5e886eb75a45077d70ada1fa977d01e88.jpg)
Figure 4: Confusion matrix of time-distributed CNN + bi-directional LSTM classifier.
![Image](images/2a436cfacd0abedd85cb0e3bed8df1a1d8664cf9b6ea6a446426977106f23474.jpg)
Figure 5: Variation of training and validation loss of Time-distributed CNN + Bi-Directional LSTM
我们的评估表明，深度学习架构中专门设计的空间层和时间层能够提升准确率。其中一个训练完成的时间分布CNN+双向LSTM分类器的混淆矩阵如图4所示。从图中可以看出，跳跃和拳击活动容易被误分类为行走。原因可能是这些活动的数据存在相似性。时间分布CNN+双向LSTM分类器的训练损失和验证损失随训练轮次的变化如图5所示。 带速度信息的体素化表示。上述所有评估使用的都是体素表示，其中每个体素的值是其边界内包含的数据点数量。我们也对另一种体素化表示进行了评估，该表示中每个体素的值是其边界内所有点的速度之和。在速度体素表示上训练得到的时间分布CNN + 双向LSTM分类器也获得了与表2所示相近的性能。接下来我们讨论与RADHAR框架直接相关的研究工作。 ## 5 相关工作 人体行为识别领域已经通过多种传感模态得到了广泛研究。研究人员已经使用了相机、惯性测量单元[^4] [^13] [^15]、声音[^15] [^16]和WiFi[^14]这类传感器开展研究。然而，相机这类光学传感器会捕获数量极大的信息，而惯性测量单元这类传感器需要佩戴在用户身上。 在过去十年中，利用雷达获取微多普勒谱图开展人体行为识别已经得到了详细研究[^3] [^5] [^9]。在[^9]中，作者使用多普勒雷达采集了12名受试者完成7种不同活动的数据。他们从这些数据生成微多普勒谱图，并从中提取6个特征来训练SVM分类器。与我们的工作不同，此处使用的雷达属于S波段（2-4 GHz）。 近年来，研究人员已将低成本单芯片毫米波雷达系统用于人员识别与跟踪[^18]以及人类活动识别[^17]。在[^17]中，作者将点云数据转换为微多普勒谱图，再使用CNN对其进行分类。在[^18]中，作者采用点云的体素化表示，结合LSTM以及CNN + LSTM分类器实现人员识别。我们的深度学习分类器架构灵感来源于[^18]，但我们针对的是不同的问题：人类活动识别。 本文研究表明，稀疏点云的时间窗口体素表示可用于人类活动识别。我们对多种分类器进行了评估，其中基于卷积层和长短期记忆层的深度学习分类器测试准确率最高可达90%。我们的评估结果显示，深度学习方法能够取得与以往特定领域特征提取方法相当的性能，例如Kim等人所采用的方法[^9]。 ## 6 讨论与未来研究 我们接下来讨论本文方法的局限性，并列举未来的研究方向。 点云中的空间与时间相关性。如表2所示，MLP分类器性能较差。这 --- 原因可能在于，MLP分类器中的全连接层未对数据的空间和时间相关性做出任何假设。相比之下，时间分布CNN + 双向LSTM分类器对数据中的空间和时间相关性进行了假设，因此性能更优。 体素化表示的局限性。体素化会导致所需内存和计算量大幅增加。这一点从每个输入样本的维度（60*10*32*32 = 614400）即可看出，该维度的数据需要由深度学习分类器处理。这就催生了对可直接在点云上训练的神经网络的需求。PointNet就是这类网络之一[^11]，它可用于目标分类、部件分割和场景语义解析等应用。 ## 7 结论 本文提出了用于HAR的RADHAR框架，该框架采用稀疏毫米波雷达点云的时间窗口体素表示。我们对分类器的评估表明，深度学习分类器可直接在时间窗口体素表示上训练，且测试准确率可达90%以上。传统机器学习方法需要特定领域的特征提取，在体素数据上性能不佳。深度学习分类器可通过直接在体素上训练来学习特征提取变换。设计用于处理数据中空间和时间相关性的分类器，性能优于全连接深度学习分类器。 本文还发布了一个新的点云数据集MMActivity，同时配套提供了源代码和预训练模型，所有资源均已开源。 ## 致谢 本文报道的研究部分得到了美国国家科学基金会（NSF）项目#CNS-1329755的资助，得到了CONIX研究中心的资助——该中心是JUMP的六个研究中心之一，而JUMP是由DARPA资助的半导体研究公司（SRC）项目，同时本研究也得到了陆军研究实验室（ARL）通过合作协议W911NF-17-2-0196提供的资助。本文中的观点和结论均为作者个人观点，不应当被解读为代表ARL、DARPA、NSF、SRC或美国政府的明文或隐含官方政策。无论本文此处的任何版权标注，美国政府均有权为政府用途复制和分发重印本。 ## 参考文献 [^1]: Ferhat Attal, Samer Mohammed, Mariam Dedabrishvili, Faicel Chamroukhi, Latifa Oukhellou, and Yacine Amirat. 2015. Physical human activity recognition using wearable sensors. Sensors 15, 12 (2015), 31314–31338. [^2]: John Bonifield. 2019. Cameras secretly recorded women in California hospital delivery rooms. [^3]: Bahri Çağliyan and Sevgi Zübeyde Gürbüz. 2015. Micro-Doppler-based human activity classification using the mote-scale BumbleBee radar. IEEE Geoscience and Remote Sensing Letters 12, 10 (2015), 2135–2139. [^4]: Chen Chen, Roozbeh Jafari, and Nasser Kehtarnavaz. 2015. UTDMHD: A multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor. In 2015 IEEE International conference on image processing (ICIP). IEEE, 168–172. [^5]: Dustin P Fairchild and Ram M Narayanan. 2016. Multistatic micro-Doppler radar for determining target orientation and activity classification. IEEE Trans. Aerospace Electron. Systems 52, 1 (2016), 512–521. [^6]: Jinwen Hu, Frank L Lewis, Oon Peen Gan, Geok Hong Phua, and Leck Leng Aw. 2014. Discrete-event shop-floor monitoring system in RFID-enabled manufacturing. IEEE Transactions on Industrial Electronics 61, 12 (2014), 7083–7091. [^7]: Texas Instruments. 2018. IWR1443BOOST Evaluation Module User's Guide. (2018). Accessed: 2019-07-05. [^8]: Texas Instruments. 2019. IWR1443 single-chip 76-GHz to 81-GHz mmWave sensor evaluation module IWR1443BOOST (ACTIVE). Accessed: 2019-07-05. [^9]: Youngwook Kim and Hao Ling. 2009. Human activity classification based on micro-Doppler signatures using a support vector machine. IEEE Transactions on Geoscience and Remote Sensing 47, 5 (2009), 1328–1337. [^10]: Bingbing Ni, Gang Wang, and Pierre Moulin. 2011. Rgbd-hudaact: A color-depth video database for human daily activity recognition. In 2011 IEEE international conference on computer vision workshops (ICCV workshops). IEEE, 1147–1153. [^11]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. 2017. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 652–660. [^12]: Chenguang Shen, Bo-Jhang Ho, and Mani Srivastava. 2017. Milift: Efficient smartwatch-based workout tracking using automatic segmentation. IEEE Transactions on Mobile Computing 17, 7 (2017), 1609–1622. [^13]: Xiao Sun, Li Qiu, Yibo Wu, and Guohong Cao. 2017. ActDetector: Detecting Daily Activities Using Smartwatches. In 2017 IEEE 14th International Conference on Mobile Ad Hoc and Sensor Systems (MASS). IEEE, 1–9. [^14]: Yuxi Wang, Kaishun Wu, and Lionel M Ni. 2016. Wifall: Device-free fall detection by wireless networks. IEEE Transactions on Mobile Computing 16, 2 (2016), 581–594. [^15]: Tianwei Xing, Sandeep Singh Sandha, Bharathan Balaji, Supriyo Chakraborty, and Mani Srivastava. 2018. Enabling Edge Devices that Learn from Each Other: Cross Modal Training for Activity Recognition. In Proceedings of the 1st International Workshop on Edge Systems, Analytics and Networking. ACM, 37–42. [^16]: Yi Zhan and Tadahiro Kuroda. 2014. Wearable sensor-based human activity recognition from environmental background sounds. Journal of Ambient Intelligence and Humanized Computing 5, 1 (2014), 77–89. [^17]: Renyuan Zhang and Siyang Cao. 2018. Real-Time Human Motion Behavior Detection via CNN Using mmWave Radar. IEEE Sensors Letters 3, 2 (2018), 1–4. [^18]: Peijun Zhao, Chris Xiaoxuan Lu, Jianan Wang, Changhao Chen, Wei Wang, Niki Trigoni, and Andrew Markham. 2019. mID: Tracking and Identifying People with Millimeter Wave Radar. In International Conference on Distributed Computing in Sensor Systems (DCOSS).