文章 # 基于毫米波雷达三维点云时空信息的基于人体运动识别 Xiaochao Dang *, Peng Jin, Zhanjun Hao ${}^{ID}$, Wenze Ke, Han Deng 和 Li Wang 西北师范大学计算机科学与工程学院，兰州 730070，中国； (P.J.); (Z.H.); (W.K.); (H.D.); (L.W.) $^{*}$ 对应作者： ![Image](images/2df64e3747e2bec41118fd4d2747a6078eee4768b3b663d52469b2626b03c2c7.jpg) 摘要：人体运动识别是利用感知技术收集一些肢体或身体运动。这种方法涉及使用无线信号、处理和分类来识别人体的一些规律性运动。它具有广泛的应用前景，包括在智能养老、远程健康监测和儿童监护等方面。在传统的基于人体运动识别方法中，常用的方法是基于视频图像的识别技术和基于 Wi-Fi 的识别技术。然而，在某些昏暗和不理想的环境中，对于人体运动识别，使用视频图像难以保持高精度和识别率。在复杂环境中，Wi-Fi 识别人体运动的识别程度较低。大多数以往的人体运动识别研究基于 LiDAR 感知技术。LiDAR 扫描使用三维静态点云只能呈现静态物体的点云特征；它难以反映移动物体的所有特征。此外，由于其考虑隐私和安全问题，在先前的研究中，动态毫米波雷达点云在人体运动识别方面具有更好的性能，能够识别非视线情况中的人体运动特征，并更好地保护人们的隐私。本文提出了一种基于毫米波雷达三维点云时空信息的基于人体运动特征识别系统（PNHM），设计了一种基于网络 PointNet++ 的神经网络，以有效地识别人体运动特征，并研究了四种人体运动，基于阈值方法。构建了在两个实验环境中，两个角度下四种人体运动的数据集。本文将该系统与四个主流的 3D 点云人体动作识别模型进行了比较。实验结果表明，当人体直立行走时的识别准确率可以达到 94%，从蹲姿到站立的运动的识别准确率可以达到 84%，从站立到坐下的运动的识别准确率可以达到 87%，跌倒的识别准确率可以达到 93%。 引用：Dang, X.; Jin, P.; Hao, Z.; Ke, W.; Deng, H.; Wang, L. 基于毫米波雷达三维点云时空信息的基于人体运动识别。Sensors 2023, 23, 9430. 收到：2023 年 10 月 9 日 修订：2023 年 11 月 12 日 接受：2023 年 11 月 21 日 发表：2023 年 11 月 27 日 学术编辑：Antonio Lázaro 版权所有：2023 年，作者。 许可：MDPI，瑞士巴塞尔。 本文是一篇开放获取的文章 在条款下发布 Creative Commons 协议的条件 署名 (CC BY) 许可协议 (https:// creativecommons.org/licenses/by/ 4.0/). 关键词：3D点云；毫米波雷达；人体运动；神经网络 ![Image](images/359fbcbd122d8e0300ecda865f4dafe7815018deef3fba368aa9779ce72a9dd7.jpg) ## 1. 引言 如今，在人工智能、物联网和5G技术快速发展的背景下，存在着各种人机交互方式，它们在不同领域发挥着重要作用[^1]，使人们的生活方式从非智能化转变为智能化。接触式和非接触式传感技术已应用于智能家居、健康检测、智能交通、自动驾驶、智能医疗保健等领域。这两种传感方法主要通过可穿戴设备[^2]和基于无线传感的无线传感技术来实现智能传感。在这些方法中，佩戴智能手环检测心率、睡眠质量等指标是一种典型的可穿戴技术应用。此外，基于无线传感的非接触式传感技术或设备也得到了广泛应用。 --- 包括计算机视觉、蓝牙、超声波、Wi-Fi、LoRa等。例如，在智能物联网和智能家居的应用中，存在基于语音识别和心率检测的智能家电控制。这些使用可穿戴识别技术以手环的形式 [^2] [^3]；然而，可穿戴设备技术给人们带来了很多不便，并存在安全风险。随着人们越来越关注个人信息和隐私的安全性，出现了更方便、更安全的交互方式，例如虹膜识别、人脸识别和掌纹识别 [^4] [^5] [^6]。基于人类生理特征的人机交互不需要用户携带额外的工具，例如可穿戴设备、智能手机和身份令牌。在身份验证、健康监测和智能家居等领域，可以更方便、更安全地进行智能感应，从而保护人们的数据信息和个人隐私。 然而，正如先前的研究所示，基于生理特征的人机交互也存在许多缺点；例如，虹膜识别、人脸识别、掌纹识别技术以及传统的计算机视觉技术都存在信息泄露的风险。例如，这些技术可能被恶意入侵，导致人们的隐私泄露和重要数据的丢失，进而导致人们的生理和身份信息数据的被盗。掌纹识别是一种接触式识别技术，也存在疾病传播的风险 [^7] [^8] [^9]。因此，基于非接触式技术的、以及更安全的、能够保护用户隐私的人机交互方式应运而生。 因此，研究人员尝试使用Wi-Fi进行无线感知，并对人机交互进行了大量研究。一些研究人员提出了在人体运动感知领域使用Wi-Fi感知技术的方案，与计算机视觉和其他感知技术相比，这种新的交互模式可以更好地保护人们的身份信息和敏感数据。最重要的是，在低光照和昏暗条件下，Wi-Fi感知技术在识别人体运动方面会表现出更高的效率，因为每个人的独特行为、体型和其他身体特征数据，在Wi-Fi信号下会呈现出不同的和特殊的信道状态信息（CSI）。这些信息可用于识别不同人的行为 [^10]，从而识别其身份或某些人体运动。在 [^11] 中，研究人员提出使用Wi-Fi感知人们的步态，并将LSTM神经网络与Wi-Fi感知技术相结合，设计了一种非常高效的六层步态识别方法。另一位研究人员设计了一种基于卷积层与LSTM网络的深度学习模型，然后使用Wi-Fi实现了不同人的识别。然而，Wi-Fi信号容易受到其他无线信号的干扰，并且Wi-Fi感知的部署条件是需要一个发射机来传输Wi-Fi信号，以及一个接收机来接收Wi-Fi信号，以确保发射机和接收机之间的信号区域能够被有效感知。Wi-Fi信号也会随着距离的增加而衰减 [^12]。这会限制感知范围，这意味着许多广泛的应用场景无法利用感知。与Wi-Fi相比，计算机视觉的感知范围更广，一些好的摄像头甚至可以达到几公里的半径。由于感知距离和范围的限制，Wi-Fi不是最佳的智能感知模式。此外，Wi-Fi感知模式会受到带宽的限制，并且在存在多个人的复杂人机交互场景中，无法识别人体。 由于毫米波雷达传感技术没有上述问题，近年来受到了广泛的关注。如今，随着5G高速率和智能物联网的发展，毫米波雷达在自动驾驶和室内人体运动行为感知等领域得到更广泛的应用。近年来，一些研究人员开始研究毫米波雷达信号在人体运动识别中的应用。毫米波 --- 雷达信号具有非常高的带宽，最高可达 4 GHz。 这种特性主要用于调频信号，通过对目标进行精细特性的采集，可以缩小脉冲宽度。 因此，毫米波雷达信号具有很高的空间分辨率，可以实现精确的目标成像，并且可以检测和识别多个目标。 无论应用于墙壁还是雾、灰尘等，该技术都具有很强的穿透能力，并且可以全天候工作，这意味着干扰较少。 此外，与计算机视觉不同，毫米波雷达没有严重的人员隐私和重要信息泄露问题，并且不会受到不利天气条件和浑浊空气的影响，从而影响点云数据的采集灵敏度 [^13]。 因此，研究人员热衷于在人体运动识别领域使用毫米波雷达。 毫米波雷达设备与其它传感设备相比，在人体运动识别方面具有综合优势，原因在于其尺寸更小、成本更低、穿透能力更强，且空间分辨率更高。一些研究人员已经对基于神经网络的人体运动分类方法进行了概述 [^14]。 另一项研究验证了卷积神经网络在基于时间和距离图像对人体动作进行分类的可行性 [^15]。特征向量的组合也被用于分类九组动作 [^16]。 一些学者还应用无监督机器学习方法来识别人体行走和站立动作 [^16]。 总之，为了解决上述问题，本文提出使用毫米波雷达收集人体运动的动态点云数据，用于人体运动的分类和识别。 与一些先前的研究相比，本文的主要贡献在于： (1) 本文提出了一种基于PointNet++的神经网络模型PNHM，用于实现动态点云处理。 该模型将去噪的动态点云切片，并将每个帧的点云数据的属性信息输入到神经网络中进行训练和分类。 该模型可以提取三维点云的时序、空间、速度和其他信息特征，从而将局部特征与全局特征相结合。 (2) 本文提出将动态点云应用于几种基本的人体运动识别：直立行走、站立到坐下、站立到下蹲以及跌倒。 此外，在五个实验场景中进行人体运动点云数据的采集和识别，具有高准确性和多场景下的鲁棒性。 (3) 在模型中，我们添加了雷达放置在距离地面2.5米的位置。 使用阈值方法来识别坐下和下蹲等相似动作的识别难度。 使用点云的速度和高度阈值进行再次识别，克服了高度差的影响，并提高了鲁棒性。 ### 2. 相关工作 人体动作识别在智慧养老、儿童安全监控、健康检测以及人机交互等领域具有重要的应用，研究人员尝试将不同的感知模态应用于这些领域。 此外，先前的研究已经将视觉图像和各种无线感知模态应用于人体动作识别。 例如，一些研究人员使用监督学习方法，基于视频流的组织行为数据样本，训练人体行为识别模型 $^{[17,18]}$。 该技术在人体动作识别的准确性方面表现出色，但由于对隐私和信息安全的严格要求，视频图像存在许多局限性。 例如，如果摄像头受到恶意攻击和劫持，包含的实际图像信息可能会泄露个人隐私和重要信息，并且还会导致鲁棒性下降。 在许多不利的环境条件下，例如雨、雪、雾和尘埃环境，视频图像在识别模式下表现不佳，尤其是在 --- 自动驾驶场景中的交通警察动作识别中。 因此，计算机视觉感知对环境要求非常高。 因此，研究人员已经将各种基于电磁波设备的感知技术应用于人体运动感知。 在基于电磁方法的人体运动识别方面，有大量的研究工作。 常见的有 Wi-Fi 感知、声波感知等。 由于 Wi-Fi 设备在生活中随处可见，因此基于 Wi-Fi 设备的__人体运动识别研究是最受关注的__主题。 基于 Wi-Fi 设备的识别原理是基于每个人的行为不同，导致信道状态信息 (CSI) 发生显着变化，从而生成不同的特征。 这些特征通过机器学习进行训练，用于对人类行为进行分类和识别 [^18]。 然而，Wi-Fi 感知技术在人类动作识别场景中，对于区分多个目标的信号不够好，无法进行分类和识别。 因此，在多人共存的场景中，人类动作识别将面临很大的困难。 Wi-Fi 对不同环境中的人体行为识别的鲁棒性较差，在不同环境中表现不佳。 在近期一项研究中，研究人员利用毫米波雷达对人类行走过程中步态产生的微多普勒信号特征进行步态识别[^19]，并构建了一个基于CNN的神经网络模型，用于提取和分类步态微多普勒特征。针对5个目标的步态数据开展分类识别实验后，得到该方法的性能结果：错误率为21.5%。mHomeGes项目设计了轻量级神经网络mGesNet，将点云特征与微多普勒特征融合来提取手势特征，以消除多径效应；作者还设计了基于隐马尔可夫模型的HMM-VM机制，用于在复杂多径效应环境下实现连续手势识别。即使在复杂多变的环境中，mHomeGes的手势识别率也可达到95.3%[^20]。北京邮电大学周安福团队设计了神经网络mmGaitNet，该网络利用多人场景和单人场景下不同个体步态形成的点云数据，通过融合多特征实现不同个体的步态识别[^21]。 此外，这些研究能够识别单个或相对简单的__人类动作__，但关于__复杂人类动作__以及__复杂场景__的不同方面的研究较少。因此，在本文中，我们利用毫米波雷达3D点云，在两种实验环境中进行五种场景的实验，以识别四种基本__人类动作__[22–24]。在实验中，无法避免环境和动态物体的干扰，只有通过获得排除环境干扰的点云数据，才能提高__人体动作__的识别率。因此，在本文中，对3D点云数据进行降噪处理。通过基于距离度量的聚类，将点云数据划分为__人体动作__的点云。PNHM方法基于PointNet++设计，并对从实验对象开始到结束的点云数据进行处理，因此无需对点云数据进行分割。为了获得更好的准确性并减少对带宽资源和时间的占用，对动态点云进行分块。在五个场景中进行实验对比，并对未知的动作进行预测，即识别未知的实验对象__动作__。本文将PNHM方法与近期研究中的主流点云识别算法进行比较。 ### 3. 毫米波雷达的3D点云生成 在本文中，使用IWR6843ISK毫米波雷达，并配合DCA1000EVM进行点云数据采集，如图1a和1b所示。毫米波雷达由三个发射天线、四个接收天线、一个内置锁相环（PLL）和一个模数转换器（ADC）组成。该雷达集成了数字信号处理器，其最大带宽为4 GHz，距离分辨率为3.75 cm。这两个设备通过串口连接到计算机，并将毫米波雷达的实际频率设置为60 GHz。每次采集1000个帧的原始点云数据，并在Matlab和PyTorch环境中，使用Linux对数据进行处理和训练。 --- 连接到计算机并通过串行端口，并将雷达的实际频率设置为60 GHz。每次，ADC1000EVM采样1000帧。原始点云数据在Linux环境下，使用Matlab和PyTorch环境进行处理、训练。 ![Image](images/569b9c87bff7ada1068574c5e39eae1945f50ccecdf9ace80a9953884b4f7192.jpg)
(a) IWR6843ISK
![Image](images/91174265aaa268187519d723085927cac65da3273a9fca0bbeb4d3cba8aea7df.jpg)
(b) DCA1000EVM
Figure 1. IWR6843ISK and DCA1000EVM.
毫米波雷达设备通过向目标移动物体发送雷达信号，从而发射连续的调频信号波。从目标人体反射回来的中频信号被接收。经过系统处理后，本文将其以三维点云的形式呈现。该三维点云信号包含移动人体体的三维坐标、时间信息以及信噪比等信息。本文使用IWR6843设备，该设备是三发射机、四接收机的毫米波雷达设备。其发射频率随时间线性增加，呈现正弦信号的形式。毫米波雷达IWR6843发射的雷达信号如[^25]所示： $$ s_{T}(t)=A_{\mathrm{T}}\cos2\pi[f_{c}t+\int_{0}^{t}f_{T}(\tau)d\tau] $$ 它接收的雷达信号表示为： $$ s_{R}(t)=A_{R}\cos2\pi[f_{c}(t-\Delta t_{d})+\int_{0}^{t}f_{R}(\tau)d\tau] $$ 在公式(1)中，$s_T(t)$表示雷达发射信号，$A_T$表示雷达发射信号的强度，$f_c$表示载波波的中心频率，$f_T$表示信号的传输频率。在公式(2)中，$s_R(t)$表示雷达接收信号，$A_R$表示雷达接收信号的强度。 本文的核心数据是通过获取三维点云的多个维度信息获得的，其中实验对象的空间坐标信息$(x, y, z)$以及速度和高度属性至关重要。毫米波雷达向实验对象发送信号，并返回$\omega = \frac{2\pi\Delta d}{\lambda}$到雷达接收天线。天线之间的距离为d，用于目标方位角$\theta$，这意味着路径差为$\Delta d = d \sin \theta$，记为[^26]: $$ \omega=\frac{2\pi\Delta d}{\lambda} $$ $$ \theta=\sin^{-1}(\frac{\lambda\omega}{2\pi d}) $$ --- 在方程(3)中，$\lambda$是雷达信号的波长。可以从相邻接收信号的天线之间的相位差中找到$\omega$，方程(4)计算了实验对象的方位角$\theta$。 本文涉及x、y和z三个方向上的三维点云的速度、加速度和角度信息。可以通过发射天线的高度差计算实验对象的俯仰角，并通过雷达的方位角、俯仰角以及传输距离计算出测试对象的空间三维坐标信息，如以下公式所示$^{[26]}$: $$ \left\{\begin{aligned}x&=r\cos(\varphi)\sin(\theta)\\ y&=r\cos(\varphi)\cos(\theta)\\ z&=r\sin(\varphi)\end{aligned}\right. $$ 还需要计算实验对象的子午线速度；两个连续chirp之间的时间间隔为$T_{c}$。实验对象的位移为$\Delta d$，可以从方程(3)中获得相位差$\omega$，然后，实验对象的径向速度表示为[^26]: $$ \nu=\frac{\lambda\omega}{4\pi T_{c}} $$ IWR6843毫米波雷达对接收信号进行处理，并将信号混合后传输，以获得IF信号。如果实验对象与雷达之间的距离为R，电磁波速度为c，则IF信号表示为[^27]: $$ S_{I F}=e^{i2\pi(K\frac{2R}{c}t)}=e^{i2\pi(f_{I F}t)} $$ 对于单个实验对象，IF信号是单频信号；经过快速傅里叶变换（FFT）后，可以通过找到单个IF信号中出现的峰值位置来获得IF信号。根据$f_{IF} = K\frac{2R}{c}$，距离可以表示为[^27]: $$ R=\frac{f_{IF}c}{2K} $$ 室内环境测试的点云生成如图2所示。以下图片记录了实验对象在运动过程中通过视频录制生成的动态点云，当点云数据达到1000帧时停止。每个帧包含0-64个人体运动散射点的点云。不同的运动具有不同的操作规律。因此，人体各种散射点的运动特征也会具有变化的规律，获取的3D点云在时间和空间上保持连续。通过处理动态点云，我们可以推导出不同运动的特征，并使用神经网络提取数据的特征，从而实现对不同运动的识别。可以观察到，以绿色显示的原始点云数据，在实验对象在三维空间中进行运动时，会实时呈现。 --- ![Image](images/82ada5efd15617668d37b9f0d3f9ba028759da6f3b79992ca93d7f66cb90d941.jpg)
Figure 2. Raw data for 3D point cloud formation.
### 4. PNHM方法设计 毫米波雷达利用人体运动的物理特征进行运动识别。 人体在毫米波雷达IWR6843的FMCW连续波信号中的不同运动，由于不同的雷达反射信号，会呈现出不同的3D点云特征，这在3D点云信息中存在显著差异。 因此，本文设计了PNHM（PointNet++ Human Motion）方法，该方法可用于提取和分类这些运动的点云数据的特征，从而实现人体运动的识别，如图3所示。 ![Image](images/30336704df36f299a34a31741e8d29e3a97c57584e72b32633fb30db263033b7.jpg)
Figure 3. Flowchart of the PNHM method.
该系统分为五个步骤。(1) 3D点云数据采集：毫米波雷达IWR6843发射FM信号，移动的人体将雷达信号反射回雷达，并在实时生成3D点云数据流。由于实验环境和数据采集方式，采集过程中会产生不可避免的噪声。(2) 点云降噪：该模块使用基于聚类的降噪算法DBSCAN。该方法的核心思想是，利用3D点云的空间坐标和属性特征将其划分为不同的类别。 --- 因为噪声是孤立的，或者具有最小的点密度，不会与其他点聚类为一类，这意味着该类中点数最少的聚类将被反转，以达到降噪的目的。(3) 点云聚类：该模块主要将实验中稀疏的3D点云聚集在一起，以便计算某些动作形成的点云的空间属性。(4) 数据处理：在模块(3)的处理后，点云数据是动态的3D点云数据，并且每个动作产生的数据帧数量不同。为了便于模块(5)中的统一输入数据，在两个实验环境中，将每种人体动作的点云数据分别切割为15、30、45、60、75和90帧进行训练。结果表明，当3D点云被切割成30帧时，可以获得最佳的分类效果，因此该模块将所有数据统一切割为3D帧，作为模块(5)的输入数据。(5) 特征提取：模块(4)中切割的点云数据按照3:1的比例进行训练和测试；将点云的五个属性输入到点云特征中，并融合点云的局部和全局特征。为了提高实验结果的准确性和实验对比效果，本文将雷达放置在人体前方或侧面，并且高度为2.5米。实验还设置了各种角度，以预测未知的人体运动，其中红色框表示预测的动作分类类型，并比较未知实验对象的点云数据与本文获得的已知实验对象点云数据的识别准确率。结合最近的研究，本文使用了主流的3D点云识别算法来识别本文中的人体动作，并进行了大量的对比实验，以获得在不同算法下的五种场景中的人体动作识别率。 在本文中，我们设计了在两种实验环境中收集实验数据的​​方法，分别是数据采集实验室和走廊，实验环境和设备如图 4a、4b 所示。由于考虑到如果人体运动遵循随机路线，则呈现的 3D 点云将在空间中变得更加复杂，这不利于获得人体运动的点云规则特征。为了更好地利用点云呈现人体运动的特征，我们设计了两种实验环境，使人体运动路线和雷达发射信号的中心呈现 0° 和 30° 角度，用于收集人体运动点云数据，如图 5 所示。此外，为了呈现实验中 3D 点云数据的多样性，我们考虑了实验对象在实际场景中的距离、角度、不同重量、不同高度、不同性别、不同年龄等因素，并在这两种角度下收集了相关数据。与实验对象、雷达高度以及实验对象与雷达之间的距离相关的因素呈现出多样性，因此我们还收集了这些数据。在本文中，我们选择了四名男孩和四名女孩作为实验对象，这八名实验对象具有不同的身高和体重。毫米波雷达 IWR6843 BOOST 由三个发射天线和四个接收天线组成，理论上，每帧获取的数据都是 64 个点云。室内数据采集容易受到某些动态物体和静态物体的干扰。例如，人体运动可能是由于窗帘的晃动和风扇叶片的晃动引起的。此外，墙壁、桌子和椅子会影响雷达对人体运动的测量，并产生错误的测量结果。所有这些因素都会产生一些人体动作点云之外的噪声，导致生成分散和稀疏的 3D 点云数据。因此，在本文中，我们首先需要对点云数据进行降噪，使用 DBSCAN 算法可以提高点云数据的准确性和质量，从而实现更好的特征分类。 --- ![Image](images/9960f3d7314e347534d981b133d5ef97fd4ba21823b1e9e25596c2196eda3cf7.jpg)
(a)
![Image](images/acf748efac50d2d43c4824e7e707e3b093a340afb0e68a616a188993fa308a85.jpg)
(b)
Figure 4. Data collection in laboratory and corridor scenarios. (a) Laboratory data collection; (b) corridor data collection.
![Image](images/3cd9a46b22ee30229d839b6f41a5a365a19026b6d12d20069742377f552bf7da.jpg)
Figure 5. Laboratory scene and equipment.
本文采用基于聚类的点云降噪方法，因为周围环境通常会被噪声隔离，或者密度小于人体运动形成的点云的密度。这种干扰噪声不形成与人体运动点云的聚类类别，因此 --- 本文根据点云的空间属性，并设置速度阈值，对原始点云数据进行静态点云的判别，如图 6a 所示。将点云聚类在矩形框内形成一个云，将位于云外的点云识别为噪声并将其去除，将云内的点云保留为人体运动形成的点云，如图 6b 所示。 ![Image](images/9f74dd1340c215eb548765851cf50df75036c1133ef350e14bfc2bb376edcab9.jpg)
(a)
![Image](images/bbb72e3b76c3b2e1ae536a554c3ef1ef9da44f1e38d92611f070a8dc77ebc8bd.jpg)
(b)
Figure 6. Clustering and denoising of single person action point cloud in 3D space. (a) Original 3D spatial point cloud; (b) point cloud clustering denoising.
在本文的五个实验场景中，由于大多数由干扰产生的动态噪声与实验对象形成的点云相距一定距离，因此本文采用了一种基于DBSCAN空间聚类的密度算法，利用DBSCAN算法的核心思想：通过点云的密度、可达距离的关系，将连接的最大密度样本集合视为一个簇。该技术的工作原理如下。首先，需要从点云数据集选择任意点云数据和边缘点。然后，需要进行重新选择，以a为中心，找到密度可达的数据对象点，并通过调整领域半径Eps和领域数据对象的阈值最小点数MinPts参数值，形成一个簇，其中两个点云之间的距离降低到Eps值。三维点云$(x, y, z)$是实验对象运动的局部位置，聚类算法采用标准评估方法，通过轮廓系数进行评估。在公式(9)中，$a(i)$表示样本点i与其他样本点之间的平均距离，当其值小于样本点时，该样本点将被聚类到该簇中，其中$b(i)$表示样本点i与簇之间的差异，以及样本点i与所有样本点之前的平均距离$bi = \min(bi1, bi2, bi3, \ldots, bik)$。 $$ s(i)=\frac{b(i)-a(i)}{\max\{a(i),b(i)\}}=\left\{\begin{array}{l}1-\frac{a(i)}{b(i)},a(i)b(i)\end{array}\right. $$ 当$s(i)$ [28–32]接近0时，表示样本点i位于聚类的边界；当$s(i)$接近1时，表明样本点i合理地属于该聚类；当接近-1时，表明样本点i不应被聚类到该聚类中。 --- 本文介绍了，为了获得高质量的点云数据，在进行多组跨不同时期的动作时，会先对点云进行降噪和聚类，例如从站立到坐下，以及进行直立行走。这两种动作，在同一时间段内表现出关键差异，直立行走是一种手臂摆动和重复的腿部运动，其持续时间相对于站立时间较短。在采集不同的动作时，为IWR6843 BOOST设置了不同的帧率，行走时为每秒5帧，站立到坐下或坐下到站立时为每秒10帧，站立到蹲下或蹲下到站立时为每秒15帧，跌倒时为每秒20帧，这有助于统一点云数据输入到神经网络中。 我们收集了人体基本运动的多种数据集的点云数据。在对点云数据进行降噪，以有效提取多维时空中的 3D 点云数据的特征信息后，我们设计了一种基于 PointNet++ 的神经网络 PNHM，并在本文中展示了。在之前的点云处理研究中，第一步是分割点云，然后才能对获得的靶点云进行分类。在本文中，我们收集了来自单个受试者的运动的 3D 点云数据，并在对人体运动产生的点云数据以及周围环境进行降噪后，识别并对受试者的全身运动进行分类。我们获得了人体运动的点云，其中不包含实验环境中其他点云，并且不需要进行分割。PNHM 方法采用多级特征提取结构，其中，选择一些 3D 点云作为输入点云的中心，然后使用这些点周围的一些点形成一个区域。每个区域被用作 PNHM 的一次输入，以获得这些区域内点云的时空信息特征，然后围绕中心点扩大区域，并将扩展的区域选择为输入，以获得更大区域内点云的时空信息特征。随后，围绕多个中心点再次扩展区域，并将扩展的区域再次选择为输入，以获得该更大区域的点云时空信息特征。上述过程不断迭代，通过将更大的区域作为输入，推导出 3D 点云的所有区域，从而获得更大区域的点云时空信息特征。然后，获得许多局部和全局特征，最后根据全局特征进行分类。 本文设计的 PNHM 方法的神经网络结构如图 7 所示。PNHM 方法可以概括为编码器-解码器结构，其中，编码器的下采样过程是一个分层点集抽象层。该层次结构由多个集合抽象结构组成，每个集合抽象模块的采样点数量 K 和采样半径 R 不同。此外，K 和 R 会随着每个额外的层而增加，以便每个集合抽象可以推导出不同比例的局部点云特征，并且在经过多次集合抽象输出后，获得点云的全局特征。绿色点代表 3D 点云，红色圆框代表采样过程，蓝色虚线代表采样后的结果。最终的连接层中的各种颜色的点代表输入和输出。 --- ![Image](images/38dd945d1aa823b9442413f6ec642f236575c6eda624c71b47b624490c9a8452.jpg)
Figure 7. PNHM neural network structure.
采样层使用最远点采样法对点云进行下采样，如图 8a 所示。经过集合抽象后，点集大小 N 可以更改为较小的尺寸 $N'$，这可以使采样点云之间的距离尽可能大，并且下采样的结果更加均匀。最远点采样法通过随机选择一个点云作为初始点，然后计算未采样点云中的点与已采样点云之间的距离，将距离最大的点添加到已采样点云中，然后在循环中重新计算，直到获得目标数量的已采样点云，这可以提供对所有已采样点云的出色覆盖。分组层的输入是 $N \times (d + C)$ 的点集，输出是 $N' \times K \times (d + C)$。N 表示输入中的点云数量，d 表示点云的坐标维度，C 是点云的特征维度，每个 $N'$ 对应一个局部区域，K 表示中心点附近的邻居点数量，如图 8b 所示。 在 CNN 中，卷积是主要的特征提取器，其对应的区域是 $(n,n)$ 像素区域。在 3D 点云集中，也需要找到具有相同结构的子区域，并且使用 PointNet 作为其对应的区域特征提取器，该方法用于 PNHM 方法。PointNet 层主要通过对许多区域中的点云进行分组，以获得特征向量。需要输入 $N'$ 个局部点云区域，每个区域的大小为 $N' * K * (d + C)$；每个局部区域在输出中都会提取特征，通过对中心点和中心场进行编码的过程，输出数据大小为 $N' * (d + C')$。所有局部区域中的点首先使用中心点作为参考，将其转换为局部坐标，$x_i^{(j)} = x_i^{(j)} - \hat{x}_i^{(j)}$，其中 $i = 1,2,\ldots,K$ 和 $j = 1,2,\ldots,d$，$\hat{x}$ 表示中心点的坐标。 由于四种人体运动形成的点云分布不规则且稀疏，如果使用相同的半径区域，则在某些区域中的采样点云数量非常少。为了使每个区域中的点云数据分布尽可能均匀，本文采用多尺度分组 MSG (Muti-scale grouping) 处理方法，如图 9 所示。蓝色、绿色和橙色分别表示 3D 点云的不同半径。对于同一个中心点，选择三个不同的半径。在不同半径区域中的点云数量不一致。对不同半径区域中的点云使用 PointNet 提取特征。然后，将不同尺度的特征连接起来，以形成多尺度特征，从而获得中心点的特征。 --- ![Image](images/d66de0807b506ecb23606692c5fa3aba20944a1aef5a4382308faa60e4427e8d.jpg) ![Image](images/a20cdc1c3ef0d3cdfc84c7d775ee3477e7c29049453f8a53db1af602aea2878c.jpg)
(a)
![Image](images/b70c119b9cf399b5a41695fb20f875eeeb6a4398af6e27befde12cf8fa36c6c4.jpg) ![Image](images/6f5c43bb69d6301d9beea4df3a994ec51c60f5ce98331134f95e2ae360349d37.jpg)
(b)
Figure 8. Point cloud sampling and grouping process. (a) Furthest point sampling process; (b) sample grouping process.
![Image](images/95475b4019b0ad783034c4700e693d707f748e9d8058fb9da8a4d16c972fea53.jpg)
Figure 9. MSG processing of point clouds with inconsistent distribution.
由于点云数据的数量很大，且点云数据无序，因此需要使用 PoineNet 神经网络来处理点云数据，以便使不同数据排列的结果保持不变。由于这些数据是 3D 点云文本中收集的实验数据，因此存在与点云的空间关系。PointNet 的输入是一帧中 3D 点云数据的集合，表示为数据 $N \times 3$，其中 N 表示点云的数量，3 表示点云的 3D 空间坐标 $(x, y, z)$。通过使用 $T - \text{Net}$ 变换矩阵对输入点云数据进行对齐。$T - \text{Net}$ 主要由... --- of MLP。这确保了模型对点云空间变换的不变性，使其能够在不同的点云顺序下提取相同的空间特征。然后，它通过MLP进行处理，MLP使用一维卷积。在通过多次MLP过程从点云数据中提取特征后，使用$T - \text{Net}$对特征进行对齐。对点云特征的每个维度进行最大池化，以获得最终的全局特征。由于点云数据不需要进行分割，因此通过MLP对获得的全局特征进行预测，以获得最终的分类结果。该过程如图10所示。 ![Image](images/c0733818406c6e602ab0f87a4a8f01e734499627ad258ec5422b8e5c0ee6b1e7.jpg)
Figure 10. PointNet processing point cloud process.
为了使实验场景多样化，本文为跌倒、行走、站立到坐、站立到蹲这四种动作建立了比较场景域。在一些先前的研究中，雷达放置在人体的前面或侧面以收集数据。在本文中，雷达也与x-y平面平行，并且距离地面一定高度。基于IWR6843的发射信号角度和覆盖范围，并考虑到成年人的身高，雷达距离地面的高度设置为2.5米。在本文中，获取跌倒动作的3D点云实验设置在雷达信号中心区域的2米半径范围内，如图11所示。 ![Image](images/7313e72288d6a9b4a6984689202099e19ba91dfbc21260b6ab6d14edfb191f48.jpg)
Figure 11. 3D point cloud data acquisition scene when the radar is placed at a high altitude.
由于本文中人体运动形成的3D点云包含多个维度的时空信息，最基本的信息包括空间坐标信息$(x, y, z)$，原始点云数据还包含实验人体局部的速度和加速度信息。这些信息为检测跌倒和蹲下等运动提供了更多维度的检测方法。由于跌倒和蹲下等基本动作中，高度和速度变化很快，本文根据高度和速度的两个阈值维度来识别跌倒、行走、站立和坐下。 ### 5. 实验分析 实验中使用的设备是TI的毫米波雷达IWR6843 BOOST，它主要工作在60 GHz到64 GHz的频段，具有4 GHz的连续带宽。 --- 其三个并行传输构成传输子系统。四个并行通道构成接收子系统，天线发射周期为 78/μs，帧周期设置根据上述不同的质量标准。距离分辨率为 5.49 厘米，最大测量距离为 6.87 米，最大测量速度为 5.34 米，水平和仰角在 60° 至 120° 之间。图 12a 显示了在实验室场景中从两个角度获取实验数据的过程。本文设计的实验室实验对象的运动轨迹区域为 3 米 × 4 米的矩形，走廊场景实验对象的运动轨迹区域为 2.5 米 × 4 米的矩形。为了确保实验数据的多样性和可靠性，每个实验对象的身高、体重、年龄和其他因素都进行了选择，使得身高在 155 厘米至 181 厘米之间，体重在 45 公斤至 70 公斤之间，年龄在 22 岁至 28 岁之间。这尽可能地保证了点云数据的质量和多样性。在完成一个月 900 组点云数据采集后，75% 的点云数据集用于训练数据集，25% 的点云数据用于测试数据集，训练数据集和测试数据集的比例为 3:1。我们考虑毫米波雷达 IWR6843 发出的雷达信号具有特定的仰角和水平角。结合智慧老化、健康检测以及普通公众的身高，本文也考虑了背景实际因素，以及普通人的身高高度这一关键点。除了最重要的因素之外，背景实际因素还包括需要获取尽可能完整的 3D 点云数据，以便将每个实验对象移动通过雷达信号区域，从而产生完整的 64 个点云。雷达高度设置为离地面 1.5 米；每次移动的持续时间为 50 秒，总共 1000 帧。我们在实验室和走廊场景中设置了该实验，并在数据采集中增加了雷达信号中心区域的 0° 和 30° 场景。在本文中，每个帧的点云数量仅为 64 个，以确保点云数据的质量。这还确定了实验对象的轨迹以及雷达发射信号的中心，它们之间的最大差异为 30°，如图 12a 和 12b 所示。 ![Image](images/f2a35309d08ff41e9a94413618affd3d091d31a1fe87f5504545be433264e3a0.jpg) ![Image](images/f5939fc7cd8a0be0ff67d0e31f74ff604ff72fd78b5bf897c53ea9555b7c985c.jpg)
Figure 12. Experimental acquisition at two angles. (a) The subject is at an angle of $0^{\circ}$ to the center of the radar. (b) The subject is at an angle of $30^{\circ}$ to the center of the radar.
本文前面介绍了，每秒传输的帧数根据每个动作的不同持续时间而设置。对于PNHM神经网络，点云的数据帧代表了对人体动作点云的评估次数。点云数据包含人体动作的空间和时间信息、身体运动的频率和速度、局部部分的加速度、信息的幅度等。如果输入到PNHM方法的的数据帧太小，则在训练后无法充分呈现各种人体动作的特征。如果输入到PNHM方法的数据帧较小，则无法充分呈现其特征。 --- of various human actions, and the accuracy obtained after training cannot be optimized. 当输入到 PNHM 方法的数据帧过长时，不仅会导致训练时间非常长，还会减少用于测试的样本数据。 ```text 连续的点云帧包含更多的人类行走的空间和时间模式。为了获得更好的训练效果，本文在整个实验中始终使用单个雷达设备来采集点云数据。然后，根据之前设置的动作循环频率，将所有动作点云数据帧以每叠加 15 帧的速率输入，以获得不同帧速率下的准确率。结果表明，在实验室场景和走廊场景中，当数据以 30 帧为一组输入时，性能最佳，准确率最高。因此，本文将所有动作点云数据作为子输入，以每组 30 帧的点云数据输入到 PNHM 方法中。从坐标信息、信噪比、3D 空间中的高度和速度阈值等多个维度输入点云数据，并在走廊和实验室环境中，以两个角度下的不同点云帧输入，获得的准确率如图 13a,b 所示。 ![Image](images/665d6ae706579a2fe44130aabcabcca7eb81ec44596cd9462042185ca6d281cd.jpg)
(a)
![Image](images/bb9ec9c503d46596dd5f74d890a6e86e18a45f7900204dd3a5c9de14887ddc36.jpg)
(b)
Figure 13. Accuracy of different data frames in two experimental scenarios. (a) Accuracy under different data frames in the lab; (b) accuracy at different data frames in the corridor.
考虑到现实场景，人体运动轨迹与雷达设备的信号中心之间的角度可能取随机值。因此，在本文的实验室环境中，将雷达放置在实验对象的正前方或侧面进行测量，并建立了各种人体运动在两种角度下的识别率，如图 14a,b 所示。我们发现，在 0.5 米以内，无论角度如何，识别率都令人不满意。在 2.5 米以内，当实验对象的轨迹与雷达信号中心成 $0^{\circ}$ 角时，识别率略高于与雷达信号中心成 $30^{\circ}$ 角时。当人体距离雷达超过 2.5 米时，所有三种动作的识别率都呈快速下降趋势。在这种情况下，识别率仍然低于行走动作，因为站立到坐下和站立到蹲下的动作呈现非常相似的点云，并且没有高度和速度阈值作为属性输入。 --- ![Image](images/7ec3b6a3a3cdb53db3f1961c3a60b6886887ec419d705e8e71917489d2e7c25b.jpg)
(a)
![Image](images/f85a6826d93a25797615a7c21a98287b2c1540f42cba090edc66bf891ef26aba.jpg)
(b)
Figure 14. The accuracy rates of walking, standing to sitting, and standing to squat at two angles in the laboratory scene. (a) Accuracy at different distances and movements at $0^{\circ}$ angle in the lab; (b) accuracy of different distances and movements at $30^{\circ}$ angle in the lab.
在走廊场景中，不同角度下四种动作的准确率如图 15a,b 所示。在走廊场景中，实验区域更狭窄，因此产生更多的噪声。在去除噪声后，获得的点云数据更稀疏，因此与在相同距离下，在实验室场景中进行人体动作识别的准确率相比，在走廊场景中的人体动作识别准确率更低。 ![Image](images/3c9e93539a0e2323148e811dd97e8c751b9b1cb857fc6677938394885872766f.jpg)
(a)
![Image](images/18a6eff0ee55f771b98d6e03b599d878e2de37bd74c73d439b2ffa3e1fb33d9e.jpg)
(b)
Figure 15. The accuracy rate of walking, standing to sitting, and standing to squat at two angles in the corridor scenario. (a) Accuracy of different distances and movements at $0^{\circ}$ angle in a corridor; (b) accuracy of different distances and movements at $0^{\circ}$ angle in the corridor.
在本文中，由于人体形成的 3D 点云数据，非常稀疏的动作和点云映射，产生了大量的冗余数据，并且显著消耗了网络带宽，或者使用图像视觉进行识别。但是，在图像中呈现的四种动作中，过稀的点云数据使得难以进行高精度的识别。 在分析本文的点云数据特性后，速度、高度和其他属性的点云数据能够很好地反映人体各个部分的特征，从而产生各种动作。连续的点云帧更能反映每个动作的规律性，因此借助 --- 在识别过程中，可以对点云的速度和高度阈值进行调整。在文献 [^22] 中，对蹲、跌倒、坐和行走进行了速度和高度的测试，结果表明，蹲和坐有一些相似之处。每个动作的测试数据包含 20 帧，结果表明，蹲的运动速度值分布在 0 m/s 和 1.3 m/s 之间，而坐下的运动速度值分布在 0 m/s 和 1 m/s 之间。跌倒动作的动态数据包含 30 帧。进行此测试是因为一些人员会抬起脚，导致数据中出现一些负速度值的点。跌倒动作的速度值分布在 -0.5 到 1.8 m/s 之间，而行走动作的速度值分布在 -1.3 m/s 和 1.2 m/s 之间。这四种动作通常非常不同，但相同动作的不同个体表现出显著的相似性。本文将雷达放置在离地面 2.5 米处，图 16 显示了在两个角度场景域下，实验室中跌倒、行走和坐立的识别率。在这种场景下，高度和速度阈值是识别各种人类行为的核心属性。由于行走和跌倒等动作的差异很大，因此在识别跌倒、坐立和蹲立这三个动作时，识别率较低。对于这三种类型的动作，存在速度和高度阈值的近似值。 ![Image](images/e0683b38f275d5e006687bd4a714cce9575391902fa8b05712c4a3c28e616e48.jpg)
Figure 16. Recognition rate of various behavioral actions when the radar is placed at 2.5 m from the floor.
本文再次利用 PNHM 神经网络模型和基于阈值的识别方法来识别和预测点云的动作，图 17a 和 17b 显示了这两种方法的比较。图 17a 显示了 PNHM 方法在识别方法中的样本数据，其中行走、坐、蹲和跌倒的预测准确率分别为 94%、87%、84% 和 93%，平均识别正确率为 89.5%。在图 17b 中，所有样本数据都基于速度和高度阈值进行识别，其中行走、坐下、蹲和跌倒的预测准确率分别为 98%、74%、79% 和 97%。由于样本数据中每个实验对象的身高和体重存在差异，平均识别正确率为 87%，而由于蹲和坐下在速度和高度阈值方面存在一些相似性，因此与另外两种动作相比，识别率较低。 --- ![Image](images/2c79533df42c6ba9307864ec3608046ca3bff7407295af6d15c9c62e86d58df2.jpg)
(a)
![Image](images/ecb0756e46541b39ca02e2dcbe4fcc22b39070e77b521739ce73377de5f9d767.jpg)
(b)
Figure 17. Comparison of test results under the two methods. (a) Method based on PNHM neural network; (b) method based on speed and height thresholds.
为了说明本文提出的 PNHM 方法在点云识别方面的优势，本文使用不同的训练数据集和测试数据集对点云数据进行了测试。测试方案是使用已知实验对象的点云数据预测未知实验对象，并根据不同的训练数据集和测试数据集的比例，对实验室和走廊两种实验环境下的数据进行了测试。图 18 显示了在不同训练集下，已知和未知实验对象的识别准确率。黑色和红色线条分别表示已知实验对象的点云数据的识别准确率，这些点云数据是在实验对象与雷达中心分别以 $0^{\circ}$ 和 $30^{\circ}$ 角度时采集的。在本文中，将训练样本占总样本的比例设置为 3:1，以提高约 75% 的训练样本的准确率。蓝色和绿色线条表示在不同训练和测试数据集比例下的识别准确率。蓝色和绿色线条表示未知实验对象的点云数据的识别准确率，代表在未知实验对象与雷达中心分别以 $0^{\circ}$ 和 $30^{\circ}$ 角度时采集的点云数据。从图 18 可以得出结论，未知实验对象的点云数据准确率受训练数据集比例的很大影响；当训练测试集比例为 75% 时，其识别准确率与已知实验对象的识别准确率没有太大差异。相比于相同的训练集测试，已知实验对象的预测识别准确率高于未知实验对象的预测准确率。然而，在训练测试集比例为 40% 的情况下，未知实验对象的识别准确率也能达到约 87%；此外，随着训练测试集比例的增加，其识别准确率持续逐渐提高。这验证了 PNHM 方法在识别点云方面的鲁棒性。 --- ![Image](images/1f81b8fefb67f1802fc296f5620d6ce1c7cf933d8af0ad553ef06d6562b4d6ae.jpg)
Figure 18. Recognition accuracy of known and unknown individuals under different training sets.
为了比较 PNHM 方法的有效性，本文比较了三种主流点云识别算法：CNN、LSTM 和 PointNet+LSTM，并与最近的研究进行比较。以识别准确率作为指标，如表 1 所示。本文将分割成一系列帧的点云数据输入到以下算法进行识别。PointNet 在 PNHM 方法的集合抽象部分和分类模块中多次出现。这里，Laboratory-0° 和 Corridor-0° 代表实验对象和雷达中心在实验室和走廊向下方向呈 0° 夹角时的点云数据。Laboratory-30° 和 Corridor-30° 代表实验对象和雷达中心在实验室和走廊向下方向呈 30° 夹角时的点云数据。表中的结果表明，仅使用 CNN 或 LSTM 神经网络方法的识别准确率低于使用 PointNet+LSTM 神经网络的方法，并且通过网络 PointNet+LSTM 结合使用时空特征提取可以提高人体运动点云数据的特征识别准确率。本文设计的 PNHM 方法正是基于 PointNet++ 神经网络，融合了局部和全局点云数据特征，其识别准确率在各种场景下均优于其他三种主流点云识别算法。 ```
Table 1. Comparison of recognition accuracy between other point cloud recognition algorithms and PNHM methods for human actions in this paper.
MethodCNNLSTMPointNet+LSTMOurs
Laboratory- $0^{\circ}$81.3%84.4%86.8%90.4%
Corridor- $0^{\circ}$82.2%84.7%86.9%88.6%
Laboratory- $30^{\circ}$81.6%78.6%80.6%85.7%
Corridor- $30^{\circ}$76.2%80.6%83.8%86.2%
### 6. 结论 ```text 本文使用了一种基于PointNet++神经网络的人体动作识别系统（PNHM），通过毫米波雷达3D目标点云，对人体基本动作进行分类。首先，通过让FMCW毫米波雷达IWR6843设备面向实验者，并使发射信号的中心... --- 关于IWR6843雷达设备的实验，雷达角度为$0^{\circ}$和$30^{\circ}$，与实验者的运动轨迹形成夹角。实验在两种场景下进行，即在实验室和走廊，分别。然后，设计了一个用于识别人体运动动态点云的神经网络识别系统。在对获得的动态点云数据进行降噪和聚类后，使用与将动态点云数据转换为静态点云数据类似的处理方法，将动态点云数据切分为静态点云数据帧，并输入到系统中，然后进行3D动态点云的人体运动的时空属性特征提取。最后，PNHM方法对获得的点云属性信息进行训练和分类，以识别与3D点云数据对应的人体动作，该神经网络识别系统在人体动作识别的准确性方面表现良好。在相同的角度下，该系统在两个实验环境中的基本人体动作识别准确率没有太大差异。然而，在雷达设备的信号中心面向实验者的运动轨迹$0^{\circ}$角度的实验场景中，人体动作的识别率高于雷达设备的信号中心区域与实验者的运动轨迹$30^{\circ}$角度的实验场景中。与几种主流点云识别方法相比，该方法在所有五个场景下对人体动作点云的识别率更高。 未来的工作应着重于以下问题：(1) 在本文中，由于实验设计仅针对单个实验对象的动作识别，因此未针对场景中存在多个人的情况进行动作识别的相关研究。(2) 实验数据的采集仅从雷达设备信号中心与实验者运动轨迹之间的$0^{\circ}$和$30^{\circ}$角度进行，未进行更多角度的实验。因此，该实验的鲁棒性需要提高。 资金：本研究由中国国家自然科学基金会资助（项目编号：62162056）和甘肃省工业支持基金资助（项目编号：2021CYZC-06）。 伦理委员会声明：不适用。 知情同意声明：已从所有参与研究的受试者处获得知情同意书。 知情同意声明：本研究已获得所有参与研究受试者的知情同意。 数据可用性声明：本研究中呈现的数据可从通讯作者处获得。由于项目团队尚未完全完成项目，因此数据暂时不公开。 利益冲突声明：作者声明无利益冲突。 ## 参考文献 [^1]: Nickel, C.; Busch, C.; Rangarajan, S.; Mobius, M. Using Hidden Markov Models for Accelerometer-Based Biometric Gait Recognition. In Proceedings of the 2011 IEEE 7th International Colloquium on Signal Processing and its Applications, Penang, Malaysia, 4–6 March 2011. [^2]: Wang, H.; Zhao, J.; Li, J. Wearable Sensor-Based Human Activity Recognition Using Hybrid Deep Learning Techniques. Secur. Commun. Netw. 2020, 2020, 2132138. [CrossRef] [^3]: Ngo, T.T.; Makihara, Y.; Nagahara, H.; Mukaigawa, Y.; Yagi, Y. The largest inertial sensor-based gait database and performance evaluation of gait-based personal authentication. Pattern Recognit. 2014, 47, 228–237. [CrossRef] [^4]: Airey, P.; Verran, J. A method for monitoring substratum hygiene using a complex soil: The human fingerprint. Food Bioprod. Process. 2006, 84, 359–365. [CrossRef] [^5]: Zhou, Z.; Du, E.; Thomas, N.L.; Delp, E. A New Human Identification Method: Sclera Recognition. IEEE Trans. Syst. Man Cybern. Part A Syst. Hum. 2012, 42, 571–583. [CrossRef] --- [^6]: Huang, J.-T.; Lu, C.-L.; Chang, P.-K.; Huang, C.-I.; Hsu, C.-C.; Ewe, Z.L.; Huang, P.-J.; Wang, H.-C. Cross-Modal Contrastive Learning of Representations for Navigation using Lightweight, Low-Cost Millimeter Wave Radar for Adverse Environmental Conditions. IEEE Robot. Autom. Lett. 2021, 6, 3333–3340. [CrossRef] [^7]: Atul, N.D. Palm Print Recognition using Steerable Filter for Better Authentication System. Int. J. Comput. Appl. 2018, 182, 14–18. [^8]: Li, S.; Liu, W.; Ma, H.; Zhu, S. Beyond View Transformation: Cycle-Consistent Global and Partial Perception Gain for View-Invariant Gait Recognition. In Proceedings of the 1018 IEEE International Conference on Multimedia and Expo (ICME), San Diego, CA, USA, 23–27 July 2018. [CrossRef] [^9]: Molenberghs, G.; Eliza Du, Y. Review of iris recognition: Cameras, systems, and their applications. Sens. Rev. 2006, 26, 66–69. [CrossRef] [^10]: Wang, D.; Zhou, Z.; Yu, X.; Cao, Y. CSIID: WiFi-based Human Identification via Deep Learning. In Proceedings of the 2019 14th International Conference on Computer Science & Education (ICCSE), Toronto, ON, Canada, 19–21 August 2019. [CrossRef] [^11]: Liu, H.; Wang, Y.; Zhou, A.; He, H.; Wang, W.; Wang, K.; Pan, P.; Lu, Y.; Liu, L.; Ma, H. Real-time Arm Gesture Recognition in Smart Home Scenarios via Millimeter Wave Sensing. In Proceedings of the ACM on Interactive Mobile Wearable and Ubiquitous Technologies; Association for Computing Machinery: New York, NY, USA, 2020; Volume 4, pp. 1–28. [^12]: Ming, X.; Feng, H.; Bu, Q.; Zhang, J.; Yang, G.; Zhang, T. HumanFi: WiFi-Based Human Identification Using Recurrent Neural Network. In Proceedings of the 2019 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation (SmartWorld/SCALCOM/UIC/ATC/CBDCom/IOP/SCI), Leicester, UK, 19–23 August 2019. [CrossRef] [^13]: Khanal, S.; Wang, Z. Evaluation of the Lidar-Radar Cloud Ice Water Content Retrievals Using Collocated in Situ Measurements. J. Appl. Meteorol. Climatol. 2015, 54, 2087–2097. [CrossRef] [^14]: Tang, G.; Wu, T.; Li, C. Dynamic Gesture Recognition Based on FMCW Millimeter Wave Radar: Review of Methodologies and Results. Sensors 2023, 23, 7478. [CrossRef] [^15]: Yao, Y.; Zhang, H.; Xia, P.; Liu, C.; Geng, F.; Bai, Z.; Du, L.; Chen, X.; Wang, P.; Han, B.; et al. mmSignature: Semi-supervised human identification system based on millimeter wave radar. Eng. Appl. Artif. Intell. 2023, 126, 106939. [CrossRef] [^16]: Zhan, J.; Yang, K.; Dong, X.; Wang, Z.; Zhu, H.; Duan, C. New modeling method of millimeter-wave radar considering target radar echo intensity. Proc. Inst. Mech. Eng. Part D J. Automob. Eng. 2021, 235, 2857–2870. [CrossRef] [^17]: Jia, C.; Shi, F.; Zhao, M.; Chen, S. Light field imaging for computer vision: a survey. Front. Inf. Electron. Eng. 2022, 23, 1077–1097. [CrossRef] [^18]: Zhao, C.; Ding, D.; Du, Z.; Shi, Y.; Su, G.; Yu, S. Analysis of Perception Accuracy of Roadside Millimeter-Wave Radar for Traffic Risk Assessment and Early Warning Systems. Int. J. Environ. Res. Public Health 2023, 20, 879. [CrossRef] [^19]: Tian, F.; Liu, W.; Fu, W.; Huang, X. Motion Parameter Estimation Based on Overlapping Elements for TDM-MIMO FMCW Radar. IEICE Trans. Commun. 2023, 106, 705–713. [CrossRef] [^20]: Wang, Y.; Han, C.; Zhang, L.; Liu, J.; An, Q.; Yang, F. Millimeter-wave radar object classification using knowledge-assisted neural network. Front. Neurosci. 2022, 16, 1075538. [CrossRef] [PubMed] [^21]: Hossain, M.M.S.; Saqueb, S.A.N.; Arage, A.; Cabigao, J.; Velasquez, C.; Sertel, K.; Nahar, N.K. Wideband Radomes for Millimeter-Wave Automotive Radars. IEEE Trans. Antennas Propag. 2022, 70, 1178–1186. [CrossRef] [^22]: Heunisch, S.; Fhager, L.O.; Wernersson, L.-E. Millimeter-Wave Pulse Radar Scattering Measurements on the Human Hand. IEEE Antennas Wirel. Propag. Lett. 2019, 18, 1377–1380. [CrossRef] [^23]: Bai, W.; Li, P.; Zou, X.; Zhou, Z.; Pan, W.; Yan, L.; Luo, B.; Fang, X.; Jiang, L.; Chen, L. Millimeter-wave joint radar and communication system based on photonic frequency-multiplying constant envelope LFM-OFDM. Opt. Express 2022, 30, 26407–26425. [CrossRef] [^24]: OTSL. Announces State-of-Art Millimeter-Wave Radar Simulator Product. Telecomworldwire. 2022. [^25]: Zong, M.; Zhu, Z.; Wang, H. A Simulation Method for Millimeter-Wave Radar Sensing in Traffic Intersection Based on Bidirectional Analytical Ray-Tracing Algorithm. IEEE Sens. J. 2023, 23, 14276–14284. [CrossRef] [^26]: Wu, J.; Dahnoun, N. A health monitoring system with posture estimation and heart rate detection based on millimeter-wave radar. Microprocess. Microsyst. 2022, 94, 104670. [CrossRef] [^27]: Yu, C.; Xu, Z.; Yan, K.; Chien, Y.-R.; Fang, S.-H.; Wu, H.-C. Noninvasive Human Activity Recognition Using Millimeter-Wave Radar. IEEE Syst. J. 2022, 16, 3036–3047. [CrossRef] [^28]: Jiang, X.; Zhang, Y.; Yang, Q.; Deng, B.; Wang, H. Millimeter-Wave Array Radar-Based Human Gait Recognition Using Multi-Channel Three-Dimensional Convolutional Neural Network. Sensors 2020, 20, 5466. [CrossRef] [PubMed] [^29]: Shu, Y.; Wang, Y.; Yang, X.; Tian, Z. An improved denoising method for eye blink detection using automotive millimeter wave radar. EURASIP J. Adv. Signal Process. 2022, 2022, 9. [CrossRef] [^30]: Wei, Z.; Zhang, F.; Chang, S.; Liu, Y.; Wu, H.; Feng, Z. MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review. Sensors 2022, 22, 2542. [CrossRef] [PubMed] --- [^31]: Schöffmann, C.; Ubezio, B.; Böhm, C.; Mühlbacher-Karrer, S.; Zangl, H. Virtual Radar: Real-Time Millimeter-Wave Radar Sensor Simulation for Perception-Driven Robotics. IEEE Robot. Autom. Lett. 2021, 6, 4704–4711. [CrossRef] [^32]: Jin, B.; Peng, Y.; Kuang, X.; Zhang, Z.; Lian, Z.; Wang, B. Robust Dynamic Hand Gesture Recognition Based on Millimeter Wave Radar Using Atten-TsNN. IEEE Sens. J. 2022, 2, 10861–10869. [CrossRef] 免责声明/出版商须知：所有出版物中包含的声明、观点和数据仅代表作者和贡献者的个人意见，不代表MDPI及其/或编辑的意见。MDPI及其/或编辑对因内容中提及的任何想法、方法、说明或产品而造成的任何人身伤害或财产损失不承担责任。 ```