# 用于人类活动识别的激光雷达技术：展望与挑战
Omar Rinchi、Hakim Ghazzai、Ahmad Alsharoa 和 Yehia Massoud
## 摘要
人类活动的智能化自主学习与识别必将为公共医疗、教育、娱乐、安全保障等多个领域的应用与服务带来惊人的发展。随着人工智能、信号处理和计算能力的最新进步，激光探测与测距（LiDAR）技术可在升级现有人类活动识别（HAR）系统方面发挥关键作用。在本文中，我们研究了将激光雷达传感器作为新技术支撑复杂实时HAR应用的潜力。我们首先概述了HAR的分类和现有主流技术：基于视频的摄像机、深度传感器、可穿戴设备和WiFi。随后，我们深入探讨了激光雷达技术在HAR应用中的融合方案。接着，我们讨论了激光雷达技术用于HAR的优缺点，并将其与现有技术进行对比。最后，我们探讨了实现先进的基于激光雷达的HAR应用需要解决的挑战。
## 引言
近年来，对人类行为与活动的深度监测和理解吸引了越来越多的关注。这一被称为人类活动识别（HAR）的问题得到了研究界和工程界的广泛关注，各方都致力于开发创新解决方案，以提供更快速、更高效的预防机制。
我们将HAR定义为：通过对人类手势、动作、行为、交互以及周边环境的一系列观测和测量，识别单个或多个人类活动的技术。HAR涵盖了大量应用场景，包括医疗保健、心理健康与行为障碍研究、幼儿教育、养老院、校园、体育分析、危险环境安全以及人群管理[^1]。这类依托各类物联网（IoT）传感器的技术，旨在预防和减轻不同环境中的事故，例如预防老年人或患者跌倒、预判在校学生的健康问题、避免人群碰撞受伤、提升危险区域作业人员的安全水平等。
近年来，激光探测与测距（LiDAR）技术作为一项新兴技术被引入，它具备大幅提升传感系统性能的潜力。该技术利用人眼安全的激光技术计算传感器孔径与激光击中目标之间的距离。通过发射多束高强度、高聚焦的激光束，LiDAR传感器可以生成三维（3D）数字地图，测量发射脉冲与反射脉冲之间的角度和时间差，从而提供周围环境的详细表征 [^2]。回顾历史，LiDAR技术于1971年阿波罗15号任务期间首次公开亮相，当时一套简易的LiDAR系统被用于绘制月球表面图。在那之后，LiDAR传感器的应用仅局限于气象学和天文学的少数领域。就在过去十年间，LiDAR技术才在诸多前沿技术领域得到广泛应用。其中最广为人知的应用场景是汽车工业：自动驾驶汽车搭载LiDAR传感器，用于探测周边障碍物，实现无碰撞导航。在物理和天文学领域，目前许多天文台都配备了LiDAR传感器，可实现毫米精度的精准测量。此外，若干军事和民用领域（例如农业和交通）如今也在使用LiDAR传感器或搭载LiDAR的机器人完成复杂的传感任务。
凭借在上述关键应用中已被验证的有效性、在大范围内以超高分辨率绘制离散变化的能力，以及可通过数据分析工具处理其生成数据的优势，LiDAR技术能够在实时人类与人群行为监测和识别领域发挥重要作用。本期刊中，我们研究了利用LiDAR传感器实时监测人体运动，以此在私人和公共环境中推断异常或意外运动行为的方案。据我们所知，本刊是首个讨论独立基于LiDAR的HAR解决方案的潜力与挑战的刊物。本刊的贡献可总结如下：
1. 将LiDAR技术作为评估人类活动的有效手段进行介绍，并详细聚焦各类可能的运行模式和输出结果。
2. 研究相较于其他IoT传感器，使用LiDAR传感器开展实时、远程和私密HAR的优势与局限性。
3. 调研可用于开展基于LiDAR的HAR的前沿方法与架构，重点关注可用于该方向的深度学习技术。
4. 讨论与在HAR应用中部署LiDAR技术相关的开放性挑战。
## HAR 前沿技术现状
当前，已有多种IoT技术方案用于识别和推断人类行为与活动的相关信息，这类方案包括基于视频的摄像头、深度传感器、无线信号和可穿戴传感设备。这些方法在监测人类
---
FIGURE 1. LiDAR-based HAR spans over a wide range of applications and use cases including healthcare, public safety & security, and crowd management.
和人群行为方面已经展现出应用前景，但它们均存在诸多缺陷。下文我们将列出当前HAR领域最主要的前沿技术。
基于视频的HAR：基于视频的监测是获取人类行为与活动深度信息最常用的方法，例如可用于监测公共区域人员，提升家庭和商业安全。目前已有大量研究投入到推动摄像头在HAR应用中的使用，这一趋势在机器学习和计算机视觉兴起后尤为明显。研究人员已经开发出多种创新深度学习算法，能够通过分析图像快照或图像时间序列，有效识别人体动作、判断人群行为。目标检测、实时目标跟踪、人群计数都是卷积神经网络（CNN，如YoloV6）、循环神经网络（RNN，如长短期记忆网络（LSTM））及其变体这类创新方法的核心目标 [^1]。然而，由于隐私和自主权受到侵犯，即便监测原本可以提升自身的健康水平与安全，也并非所有人都愿意接受传统视频或对接患者的视频监控。此外，出于隐私顾虑，许多国家对私人场所甚至学校、医院、商场等公共场所的摄像头使用都作出了法律限制。摄像头技术容易受到阴影、阳光和昏暗光线的负面影响，这会给住院护理和养老院的夜间视频监测带来问题。红-绿-蓝（RGB）图像可能出现光学错觉，同时对基于RGB的摄像头而言，实现稳健的背景分割也颇具挑战。
深度传感器：用于HAR的深度传感器是可生成3D深度图像的测距传感器。它们能够同时捕获色彩、纹理和深度信息，生成RGB深度（RGB-D）图像。现有的深度传感器采用以下两种方案之一实现该功能：
- 飞行时间（ToF）传感器：这类传感器从传感器向物体发射光脉冲，利用接收到的脉冲测量距离
- 红外传感器：这类传感器投射出红外点阵图案，利用红外相机捕获这些图案、测量红外光的强度，进而计算出物体相对于传感器的深度 [^3]。
两种方案都克服了传统RBG摄像头的部分局限。一方面，它们不依赖色彩和光照条件，能够解决潜在的光学错觉问题。另一方面，从二维（2D）转向三维（3D）可以简化处理流程，因为只需指定感兴趣区域（ROI）并分析3D图像即可完成背景分割。尽管如此，基于红外光的深度传感器只能在室内工作，因为阳光照射会降低其检测性能。作为替代方案的ToF传感器则存在无线电通信的典型缺点：多径传播会显著降低性能，因为光脉冲可能从不同表面反射，导致计算出的距离失真。
可穿戴设备：移动和可穿戴设备内置加速度计、陀螺仪、GPS以及医疗传感器等多种传感器，可提供佩戴者相关的非视觉信息，被广泛用于监测个人状态，主要应用于定位和医疗健康领域。过去数十年间，随着无线体域网和智能电子设备的出现，该领域取得了显著的技术发展[^4]。尽管这类设备具备视频摄像头所没有的隐私保护优势，但它们要求用户记得佩戴/摘下设备。对于部分人群，比如存在认知或记忆障碍的患者而言，动作监测能够提供帮助，支持更高程度的生活自主，但对记忆力的要求是这类设备一个关键的失效点。此外，这类设备通常仅聚焦于心率或血糖等特定指标，无法提供佩戴者所进行的动作和互动相关信息，因此无法对连续偶发运动行为给出全面可靠的监测概览。
WiFi：WiFi即IEEE 802.11协议，对于部分可利用多径传播检测人类活动与行为的HAR应用而言，是一种颇具潜力的解决方案。人体不同的动作和手势会形成独特的多径传播模式，可被接收器检测识别。分析接收信号信道状态信息（CSI）的幅度和相位，就能正确理解人类的手势和动作[^5]。近年来随着无线技术的发展，尤其是可重构智能表面（RIS）技术出现后，如今我们可以利用定向非视距信号实现目标环境的大面积覆盖。不过，基于WiFi的HAR技术存在一些缺陷，比如易受不同衰落和阴影效应的影响，其性能也受天气（高频场景下）、噪声和干扰制约，长距离高频通信还会产生较高的衰减损耗。
## 面向HAR的激光雷达技术
本节我们介绍激光雷达传感器，将其作为未来HAR系统的解决方案，同时讨论当前常用的激光雷达数据处理方法。如图1所示，基于激光雷达的HAR可覆盖不同领域的多种应用场景。
## 面向HAR应用的激光雷达
为了说明激光雷达如何适配HAR的研究范畴，我们首先按照第III.C节所述，根据激光雷达扫描的人数和HAR应用类型，对基于激光雷达的HAR应用进行分类。这些分类及其处理方式如图2所示。
个人动作识别：该类别对应单个人类位于摆放家具的房间内的场景，人类可在房间内自由移动，与周边不同物体互动。该场景适用于多种实际用例，包括住院护理、过渡性护理、居家护理、养老院护理和夜间监测。为此，我们需要定义一组能够反映患者潜在风险行为（例如跌倒、姿势摇晃、异常震颤、步态停滞、扭曲姿势等）的稳健身体动作集合。因此，个人动作识别可基于手势、动作、行为和互动完成。手势是可用于非言语交-
---
交流。动作是一系列身体运动，例如行走和跳跃。行为是针对不同背景或位置对特定动作的分析，例如研究放松状态、压力与生产力。最后，交互指的是人类与所处环境进行互动，例如烹饪（与厨房物件互动）或阅读书籍（与书本互动）。
群体活动识别：该类别涵盖小群人共享同一地理区域（通常为封闭区域）的场景，在这类区域中人们可以互相之间以及与周围物体进行互动。该类别可对应托儿所和学校的场景：这类场所需要远程监控儿童以预防事故，也可对应警察局或拘留中心的场景，用于观察被拘留者和罪犯的行为。尽管群体活动识别已经包含了适用于个体的所有不同分类（手势、动作、行为和交互），但它还需要额外增加一个识别层，聚焦于同处一地的人类之间的互动。其目的是检测个体或群体部分成员的异常行为，例如两名儿童互相打闹。用于群体活动识别的LiDAR具备过滤更简便的优势，它还可以融合群体中每个个体的HAR结果，得出关于群体活动的高层结论。
人群活动识别：该类别涵盖对大规模活动的监控，这类活动有大量人群聚集在同一区域。因此，该场景下的HAR聚焦于将人群本身作为单一实体研究其行为，而非像前两个类别那样聚焦于个体。这类场景可应用于诸多实际场景，包括公共交通站点、体育赛事和朝圣活动中的人群监控。通过描绘人群的运动，可以在该分类下观测到不同的人群行为模式。人群的模式、流动和密度可以指示是否正在发生异常事件，这尤其有助于检测任何危险行为，例如恐慌或暴力爆发。
## 基于LiDAR与非LiDAR的HAR传感器对比
LiDAR传感器通过扫描周围环境生成点云，点云即被激光击中的一组数据点的集合。可以使用数据分析工具处理点云，自动提取有用信息，从而推断个体、群体或人群的异常或意外行为。使用LiDAR技术对HAR应用而言极具优势。事实上，LiDAR技术可以提供更多深度信息（例如物体尺寸和物体间距离），且不会产生任何几何失真，这是传统相机、夜视相机、无线通信解决方案和可穿戴传感器都做不到的。尽管部分相机（例如立体相机）可以提供细节度极高的深度图，但这类相机探测范围有限（即仅数米），且图像质量会受昏暗光照条件的影响。此外，LiDAR传感器不受黑暗光照条件的影响，因为它自带光源，因此非常适合夜间监控。
在图3中，我们对比了自研Livox Tele 15传感器生成的激光雷达分割图像与普通相机在不同场景下记录的图像。从图3a到3d可以看出，激光雷达传感器不受光照变化影响，能够在明亮和昏暗环境中有效工作，这得益于传感器内部集成的主动照明单元。此外，激光雷达技术能够提供传统视频录制技术无法提供的额外宝贵信息，例如，如图3e和3f所示，通过测量被测物体的反射率即可实现火灾烟雾检测。
此外，与传统采集技术不同，激光雷达
FIGURE 2. Smart LiDAR-based HAR mechanisms can be employed to draw conclusions regarding human behavior: (a) for individuals, (b) for groups of people, and (c) for the crowd.
技术不会采集传统视频，这极大减少了个人可识别信息（PII）的收集，例如面部特征识别或文本数据读取。这能够显著帮助保护用户及其财物的隐私，因此提升了在不侵犯隐私的前提下将其用于私人场所人员监测的可能性，比如学校、医院和工作场所。
基于视频的HAR技术方法存在遮挡问题，而激光雷达技术能够更高效地解决这些问题，因为它使用3D点云数据，而非摄像机所用的2D RGB图像/视频。基于ROI滤波、基于密度聚类等不同滤波技术可以充分利用3D点云数据的特性，实现更高效简便的处理，减少遮挡带来的挑战。另一方面，由于激光雷达采用点云数据，它处理人群相关数据更加简便，出现遮挡问题的可能性更低。通过分析点云整体的趋势就可以识别群体活动。更具体地说，点云中的所有点被视为一个大型目标，不需要对大点云中的任意点子集进行聚类或目标识别。点云数据的这一特性可以实现无遮挡挑战的群体活动识别，这是摄像机的2D RGB图像无法实现的。在表1中，我们对激光雷达技术用于HAR应用与现有技术进行了定性对比分析。
## 基于激光雷达的HAR实现的深度学习架构
利用激光雷达技术开展HAR研究仍处于早期阶段，目前针对该问题的研究十分有限。例如，在[^6]中，作者采集了2D激光雷达数据，开展人类与非人类分类研究，随后采用卡尔曼滤波跟踪人类轨迹。类似地，在[^7]中，作者提出使用2D激光雷达传感器检测人体跌倒，该方法可以定位测试房间内的个体位置，并检测四类人类活动：行走、站立、坐姿和跌倒。与3D激光雷达不同，2D激光雷达数据的处理流程与传统图像处理非常相似，作者采用CNN、ResNet34结合RNN、LSTM对2D激光雷达帧进行分类。在[^8]中，作者结合RGB相机图像和3D激光雷达数据检测人类活动，将2D图像作为真值识别环境中的2D ROI。
---
(a) LiDAR light case
(b) LiDAR night case
(c) Camera light case
(d) Camera night case
(e) Camera smoke detection
(f) LiDAR smoke detection
FIGURE 3. Testing using Livox Mid 40 LiDAR sensors.
环境（原文开头截断为ronment）中，研究人员使用CNN结合三维LiDAR数据的二维Fisher向量表示来检测活动。该方法可检测多达9种动作，准确率超过90%。作者研究的动作都相当简单，例如搬箱子、推板子、跑步、走路和发消息。LiDAR技术已被应用于人群管理领域，尤其是交通监控方向。通常，目标对象为车辆或行人。大多数情况下，LiDAR数据会与其他类型数据（主要是视频帧）融合，用于检测和跟踪目标。近期一项研究提出了支持物联网的自主人群管理三维可视化系统架构，建议部署LiDAR传感器以及气体传感器、普通相机和红外相机等其他传感器来收集多模态数据，并提出使用人工智能算法计算移动物体位置，检测斗殴、踩踏、火灾和其他异常事件[^9]。
基于LiDAR的HAR主要包含三个核心步骤：原始数据预处理、应用学习模型、对学习模型输出做后处理以得到最终的HAR结果。这三个步骤总结在图4中。原始数据主要是LiDAR在三个坐标轴上的距离测量值。在部分场景中，还会将反射率测量值作为额外原始数据加入，这有助于识别被激光击中物体的材料属性。预处理是将原始数据转换为适合学习模型输入格式的第一步，可采用多种不同的预处理技术：例如数据滤波可以去除点云中不需要的点，这主要通过指定ROI，或应用DBSCAN这类聚类技术实现。数据旋转是通过乘以旋转矩阵（RM）调整数据方向。数据标注是为每个数据实例分配标签，以便使用监督学习技术训练模型。还可进行数据增强，增加对应特定标签的数据量，或降低数据稀疏性带来的负面影响。下一步是应用学习模型，模型通常为浅层神经网络或深度学习模型。由于LiDAR点云数据具有独特特性，例如
• 稀疏性
• 变密度分布
- 无序性等其他特性，传统模型如CNNs无法直接完成该学习任务。
因此，文献中已经提出了专门应对点云相关挑战的新方法，这些方法可分为三类：
- 基于点的方法：模型使用原始测量点云训练。该类别中经典模型PointNet的灵感来自空间变换网络（STN），该网络会对数据做预处理，使数据对特定几何变换（即旋转和平移）具有不变性[^10]。此外，PointNet使用最大池化生成全局特征向量，解决输入点云无序性带来的挑战。最后，PointNet使用多层感知机（MLP）完成分类和分割任务。
- 基于体素的方法：该模型使用新构建的四维（4D）张量而非原始点云进行训练。VoxelNet是这类方法中广受欢迎的典型例子[^11]。在VoxelNet中，环境被划分为多个尺寸固定的三维单元（即体素），输入点云被分组存入这些体素，再经过随机下采样降低复杂度，之后通过堆叠体素特征层编码，为每个三维体素添加特征（也就是第四维度）。可以使用CNN训练模型，同时用区域候选网络完成目标检测。
- 混合方法：结合基于点的方法与基于体素的方法使用。PointVoxel CNN（PV-RCNN）就是这类方法的一个例子，该方法结合了基于体素的CNN和基于点的PointNet集抽象。该框架首先使用三维体素CNN将点云编码为三维特征体积，生成三维候选区域；随后使用体素到关键点的场景编码，将特征体积中的体素转换为特征关键点；最后执行点到网格的ROI特征抽象，将关键点特征转换为ROI网格，用于置信度预测和候选区域优化。
- 无法归入上述前三类的其他方法包括：各类RNN及其变体构成的预测网络、用于分类的SVM，以及针对点云修改YOLO得到的complex-YOLO。
后处理是可选步骤，需根据具体场景调整。
---
| Video Based Camera | Depth Sensors | Wearables | WiFi | LiDAR |
| Applications | Most HAR applications except for medical and fitness applications | Most HAR applications except for medical and fitness applications | Mostly for navigation, tracking, medical, and fitness applications | Mostly for gestures detection, sensing, tracking, and localization | Most HAR applications except for medical and fitness applications |
| Data Output | RGB Images/Videos | RGB-D images/videos | Numerical data | Numerical data | 2D/3D point cloud |
| Data Processing and Complexity Level | High | High | Low | Medium | High |
| Illumination Requirement | Required unless for thermal cameras | Required | Not required | Not required | Not required |
| LoS dependency | LOS dependent | LOS dependent | N/A | LOS independent | LOS dependent |
| Optical Illusions | Subject to | Impregnable | Impregnable | Impregnable | Impregnable |
| 2D vs 3D | 2D | 3D | N/A | N/A | 3D |
| Weather Condition Effect | Medium effect | Medium to high effect | No effect | Medium to high effect | Medium to high effect |
| Privacy | Reveals PII (including low resolution cameras) | Most depth sensors reveals PII | Save PII | Save PII | Save PII |
| Cost | Low to high | Low to high | Low to high | Medium to high | Low to high |
| Technology Maturity | High | Medium | High | High | Low |
| Other Remarks | N/A | • Usually indoor environments\n• Short distances | • Require to be wearable all the time\n• Limited to HAR for individuals | • Usually indoor environments\n• Require special equipment | • Can detect gases\n• Provide information about the object reflectivity |
表1 面向人类活动识别的物联网技术方案对比。
dent。该步骤可使用卡尔曼滤波等跟踪算法或传感器融合技术，还可包含用于提升数据分析质量、判断结果和可视化的流程。基于LiDAR的HAR最终输出可呈现为多种形式，例如分割、活动识别、轨迹识别和跟踪。
## 基于LiDAR的HAR研究挑战
当前研究趋势是设计可处理LiDAR三维点云数据的深度学习架构与算法，为不同HAR应用提取有关人类活动的有效信息。需要开发全新策略来实现肢体动作、人与人以及人与环境交互、人群运动模式的检测、分类与跟踪。开展这些工作时，必须考虑LiDAR采集的大规模数据带来的相关挑战。下文将深入探讨在HAR应用中使用LiDAR传感器面临的主要研究挑战。
## LiDAR数据评估与采集
将人工智能应用于面向HAR应用的LiDAR数据时，相关的主要挑战之一是缺少LiDAR数据集，尤其是可用于有效训练机器学习和深度学习模型的标注数据集。实际上，即使是前文讨论过的现有研究，也主要围绕二维LiDAR数据展开。创建描绘不同HAR场景的带标注三维点云数据集是一项极具挑战性的工作。其目标是针对与身体手势、动作、交互和人群模式相关的不同场景，划分正常活动集合与异常活动集合。少数过往研究仅聚焦于行走、跑步、坐着、躺下这类简单类别，与之不同，我们需要识别出能详细刻画个体和人群行为的更复杂类别，这些工作通常需要以单独的
FIGURE 4. Block diagram summarizing the different processes that can be involved in the general steps of LiDAR-based HAR.
方式针对每个HAR用例和应用开展。此外，数据集采集过程应当考虑当前市场上不同类型的LiDAR传感器，因为这类传感器具有不同的规格参数，比如分辨率、量程、反射率水平和视场角。
所有这些规格参数都会直接影响采集数据的体量，以及所用学习模型的效率。因此，明确会影响HAR任务的LiDAR传感器关键参数至关重要。由于HAR任务的最终目标是在深度学习模型效率、计算速度和LiDAR数据最小体量之间取得平衡，我们应当针对这类应用对短程和远程等多种LiDAR传感器进行实验测试。
生成并分析LiDAR数据的一种方法是利用计算机编程软件生成虚拟LiDAR三维点云数据。例如，在图5中，我们使用Webot软-
---
场景生成
目标HAR场景可在软件中进行建模与仿真（例如Webots或Unreal Engine）
数据预处理
三维点云数据由软件中的虚拟LiDAR生成。原始数据会经过预处理（例如去除背景）
HAR识别
深度学习模型用于执行目标HAR任务（例如身体部位分割）
FIGURE 5. Example of 3D LiDAR point cloud data generation and analysis. The human behavior is simulated on Webot, a computer-programmed software, to generate a 3D point cloud. After data pre-processing and filtering, the human gesture is identified using deep learning algorithms. The virtual LiDAR utilizes 53 scanning layers, and the virtual human is placed around 15 m away from the virtual LiDAR.
件生成虚拟三维点云数据，以模拟真实场景。这些虚拟数据可用于训练MLP，识别虚拟人类的手势。这种方法可以大幅节省时间、精力和成本，能在极短时间内生成数百万条LiDAR测量数据。另一方面，它还可以生成常规采集方式难以获得的、属于复杂危险场景的数据。采用这类方法时，虚拟软件环境可辅助完成数据标注和复杂模型的训练。最终得到的神经网络模型既可以直接使用，也可以经过微调与迁移学习后应用到真实场景中。除此之外，利用数字孪生和生成对抗网络（GANs）也可以解决LiDAR数据不足的局限。数字孪生可以构建目标环境的数字复刻体，让实验在数字模型而非物理模型上开展。而GANs则可以生成全新的伪数据集，包括人体形状的点云数据，为LiDAR数据分析工作提供支持 [^12].
## 用于行为识别的自主学习模型
对LiDAR数据序列进行预处理和分析，以便借助机器学习与深度学习算法实现个体和人群行为的检测、分类与跟踪，这是基于LiDAR的HAR应用中需要考虑的第二项挑战。与视频摄像机相比，LiDAR传感器会产生规模极大的待处理数据。因此，推荐采用多阶段滤波技术对数据进行预处理、消除冗余。该技术需要确定单个行人、行人群体或整个人群的ROI，剔除无关数据（例如对应地面、天花板、背景的数据），从而加快后续数据处理步骤和学习模型的训练速度。随后，可根据需要采用新型非均匀体素网格实现更优采样，即在需要时相比低密度物体，从密度更高的物体中删除更多点。最后，可采用基于密度的聚类算法对物体进行聚类。
目前已有多种处理LiDAR三维点云数据的学习模型被应用于不同领域，这些技术都可以适配HAR场景。例如，PointNet++近年来在智能出行领域受到广泛关注，因为它能够直接处理三维点云数据，且精度很高。举例来说，该模型已应用于自动驾驶汽车的行人监测服务中。另一方面，基于体素的检测可实现可控的计算复杂度。支持向量机、传感器融合技术和神经网络也都可用于处理LiDAR数据。因此，可通过迁移学习和调优对现有学习方法进行升级改造，使其适配HAR场景，提升模型检测真实人类和人群行为的准确率。尽管如此，HAR应用仍需要全新方法来实现目标的检测、分类与跟踪，当前面临的核心挑战是如何在有限数据量的条件下完成实时行为识别，同时将延迟降至最低。潜在挑战包括：理解人类与周边物体的交互、追踪人体各部位（手臂、腿部和头部）的运动、对人群行为进行分类、追踪人群流动，以及统计人群场景中的人数。
## 多LiDAR集成
在HAR应用中部署多LiDAR系统在诸多场景下都十分实用，尤其适用于群体和人群管理应用。可在不同位置部署多个LiDAR传感器，执行自动连续传感任务，采集ROI区域内的数据。这种方案可以覆盖更大范围，提供不同观测角度，还能解决单个LiDAR传感器与目标之间不存在直接LoS链路的问题。此类任务可采用不同类型的LiDAR传感器，因此会采集得到异构三维点云数据。如何对采集到的数据进行联合融合、利用融合结果估计目标（即个体、群体或人群）的当前状态，同时设计出适配HAR场景的高精度数据融合技术，是多LiDAR系统面临的主要挑战。
采集到的数据必须实现同步并行处理。因此，为了克服上述挑战、实现快速决策，需要用于三维点云数据融合的人工智能技术。根据LiDAR信息融合的表示层级，融合可分为三个层级：
1. 点云级融合：直接融合多个LiDAR采集得到的原始数据，
2. 特征级融合：先进行特征提取（例如提取形状特征或运动特征），随后在融合中心对这些特征进行融合，得到融合后的综合特征
3. 决策级融合：为每个LiDAR独立提取特征生成特征向量，通过特征向量做出决策，之后再根据一定算法综合不同传感器之间的决策，得到最终决策。
最后，与多台LiDAR传感器应用相关的另一项挑战是LiDAR基础设施规划问题。该问题可被看作一个优化问题
---
，能够进行最优求解。其目标是确定感兴趣区域内LiDAR传感器的优化放置位置与朝向，以及能够保证系统有效运行的传感器规格，同时不会造成严重的网络拥塞和复杂的数据处理。可以研究贪心算法和元启发式算法来得到该问题的低复杂度解决方案。
## LiDAR数据的计算与数据管理
LiDAR传感器在扫描周边区域时会产生海量数据，且数据量随其精度和分辨率的提升而增长。考虑到这一点，用于HAR的LiDAR系统的目标是减轻本地服务器的计算负担，因此在LiDAR基础设施设计中集成移动边缘计算（MEC）技术十分合适，既可以实现本地决策，也能减轻云端的负担。这种方案不仅适用于数据处理场景，还可以缓解网络拥塞 $^{[13]}$。事实上，纯云端方案的主要瓶颈是网络上的数据传输与路由，在传输超大容量数据时，网络通常会出现严重拥塞。
MEC任务卸载是一个活跃的研究领域，目标是通过在回传网络中融入边缘计算来克服云端的网络瓶颈。位于网络"边缘"的计算机是低功耗设备，部署在数据中心远郊，且距离LiDAR通信所经过的网络网关近得多。虽然MEC设备的算力不如云端服务器，但它们更靠近数据源，因此网络传输延迟低得多。网络延迟的降低抵消了处理速度较慢的劣势，尤其是MEC处理器每一代都有大幅的性能提升。因此，可以在处理速度和网络负载之间找到权衡，使LiDAR能够在实时HAR应用中有效运行。
MEC架构为通信流量提供了多个新的可选择目的地和路由。这就需要新型回传路由和任务分配方案，在兼顾LiDAR数据规格和HAR应用服务质量要求的同时，确保计算资源得到高效利用。
应对海量LiDAR数据生成的另一种方案是开发降维技术这类数据管理方法。这类技术可分为两类：第一类旨在剔除冗余数据，仅保留影响力最高的特征，例如后向消除、前向消除和随机森林。第二类旨在对原有大量特征计算得到新的低维组合，例如主成分分析（PCA）、因子分析（FA）、核PCA和多维缩放（MDS）。此外，稀疏恢复算法可以利用点云的稀疏特性，将数据压缩到更低维度，同时可在需要时恢复出完整尺寸。
## 多模态HAR系统中的LiDAR
对于部分需要生物特征信息的HAR应用（例如医疗相关HAR），仅LiDAR可能无法提供全部必要信息。传感器融合技术可将LiDAR与WiFi、可穿戴设备等其他传感器结合，提升系统的可靠性与鲁棒性。
与多LiDAR融合类似，LiDAR和其他传感器的融合可分为三个层级：决策层、特征层和原始数据层。在决策层，结果会在高抽象层面完成融合：每个传感器的数据输入独立算法，分别完成检测、分割或分类任务，之后再通过贝叶斯融合、投票融合等不同策略合并各算法的输出。这类融合的主要优势是支持融合来自不同传感器的异质数据，还可消除数据配准与对齐误差。而特征层是在特征提取完成后对提取到的特征进行融合，原始数据层则是在更低层级将其他传感器的原始数据与点云结合。这两种方法的准确率都高于决策层融合，但二者都面临如何整合LiDAR与其他传感器原始数据的挑战。现有文献中的大多数研究，例如TransFusion和DeepFusion，都针对目标检测任务的LiDAR/相机融合 [^14]。针对更复杂HAR应用涉及的各类LiDAR/物联网传感器融合的其他研究方向，值得进一步探索。
## 环境影响抑制
LiDAR在户外会面临雨、雪、雾等环境挑战，这类天气会反射、散射或吸收LiDAR发射的光束，从而降低其性能，导致检测出现假阳性和假阴性，还会缩短最大探测距离。[^15]的作者研究了降雨环境下LiDAR的性能，他们利用虚幻引擎（Unreal Engine）模拟了LiDAR在不同降雨强度下的工作状态。研究结果还表明，在降雨环境中，随着探测距离增加，LiDAR会丢失更多点（即出现更多假阴性检测）。
可采用多种方法应对环境影响，一种方式是通过软件处理该问题：在此方案中，环境影响被视为噪声，可通过算法设计降低噪声的干扰。改进硬件也能提升性能，例如不同波长的LiDAR对环境噪声的响应存在差异。此外，相较于基于飞行时间（ToF）的LiDAR，采用调频连续波（FMCW）的LiDAR在恶劣天气条件下性能更优。传感器融合是另一种提升性能的替代方案，可将LiDAR与其他传感器结合来缓解环境影响。
## 结论
在本期刊中，我们研究了LiDAR技术，它是一种很有前景的、可面向个人、群体和人群场景的HAR支撑技术。我们分析了基于LiDAR的HAR可实现的能力，并将其与当前现有的HAR方法进行了对比。
随后，我们讨论了该技术的部分局限性，阐明了它可能面临的各项挑战。我们指出，该技术在HAR应用领域仍处于早期发展阶段，要实现基于LiDAR的HAR实时运行仍需要投入大量研究工作。
[^1]: P. Pareek and A. Thakkar, "A Survey on Video-Based Human Action Recognition: recent Updates, Datasets, Challenges, and Applications," Artif. Intell. Rev., vol. 54, no. 3, Mar. 2021, pp. 2259–2322.
[^2]: S. Chen et al., "3D Point Cloud Processing and Learning for Autonomous Driving: Impacting Map Creation, Localization, and Perception," IEEE Signal Proc. Mag., vol. 38, no. 1, Jan. 2021, pp. 68–86.
[^3]: H. Raeis, M. Kazemi, and S. Shimohammadi, “Human Activity Recognition with Device-Free Sensors for Well-Being Assessment in Smart Homes,” IEEE Instrum. Meas. Mag., vol. 24, no. 6, pp. 46–57, Aug. 2021.
[^4]: E. Ramanujam, T. Perumal, and S. Padmavathi, “Human Activity Recognition With Smartphone and Wearable Sensors Using Deep Learning Techniques: A Review,” IEEE Sens. J., vol. 21, no. 12, June 2021, pp. 13,029-40.
[^5]: H. Yan et al., "WiAct: A Passive WiFi-Based Human Activity Recognition System," IEEE Sens. J., vol. 20, no. 1, Jan. 2020, pp. 296-305.
[^6]: F. Luo, S. Poslad, and E. Bodanese, "Temporal Convolutional Networks for Multiperson Activity Recognition Using a 2-D LIDAR," IEEE Internet Things J., vol. 7, no. 8, Aug. 2020, pp. 7432-42.
[^7]: M. Bouazizi, C. Ye, and T. Ohtsuki, "2D LIDAR-Based Approach for Activity Identification and Fall Detection," IEEE Internet Things J., pp. 1-1, Nov. 2021.
[^8]: J. Roche et al., “A Multimodal Data Processing System for LiDAR-Based Human Activity Recognition,” IEEE Trans. Cybern., June 2021, pp. 1–14.
[^9]: Q. Yu et al., “Intelligent Visual-IoT-Enabled Real-Time 3D Visualization for Autonomous Crowd Management,” IEEE Wireless Commun., vol. 28, no. 4, Aug. 2021, pp. 34-41.
## [^10]: C. R. Qi et al., "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," Proc. 16-th IEEE Conf. Computer Vision and Pattern Rec
---
ognition（CVPR'17），美国明尼苏达州明尼阿波利斯，2017年7月。9
[^11]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection," Proc. 17th IEEE Conf. Computer Vision and Pattern Recognition (CVPR'18), Salt Lake City, UT, USA, Dec. 2018, pp. 4490-99.
[^12]: R. Li et al., "PU-GAN: A Point Cloud Upsampling Adversarial Network," in Proc. 17th IEEE/CVF Int'l. Conf. Computer Vision (ICCV'19), Seoul, Korea (South), Oct. 2019.
[^13]: M. C. Lucic et al., “A Latency-Aware Task Offloading in Mobile Edge Computing Network for Distributed Elevated LiDAR,” Proc. 47th IEEE Int'l. Symp. Circuits and Systems (ISCAS'20), Seville, Spain, Sept. 2020, pp. 1–5.
[^14]: X. Bai et al., “Transfusion: Robust LiDAR-camera fusion for 3D object detection with transformers,” Proc. 21th IEEE/CVF Conf. Computer Vision and Pattern Recognition (CVPR'22), New Orleans, LA, USA, Sept. 2022, pp. 1090–99.
[^15]: J. P. Espineira et al., “Realistic LiDAR with Noise Model for Real-Time Testing of Automated Vehicles in A Virtual Environment,” IEEE Sensors J., vol. 21, no. 8, Feb. 2021, pp. 9919–26.
## 作者简介
奥马尔·林奇（OMAR RINCHI）[StM] () 于2020年在约旦安曼的约旦大学获得机电工程B.Sc.学位，目前是美国密苏里州罗拉市密苏里科技大学电气与计算机工程系的Ph.D.研究生。
哈基姆·加扎伊（HAKIM GHAZZAI）[SM] () 于2015年在沙特阿拉伯图沃的阿卜杜拉国王科技大学（KAUST）获得电气工程Ph.D.学位，目前是KAUST的研究科学家。他的主要研究方向包括无线网络、无人机（UAV）、物联网和智能交通系统。自2019年起，他担任《IEEE Communications Letters》和《IEEE Open Journal of the Communications Society》的编委会成员。
艾哈迈德·阿尔沙罗阿（AHMAD ALSHAROA）[SM] () 出生于约旦伊尔比德，于2017年5月获得美国爱荷华州立大学Ph.D.学位，目前是密苏里科技大学（Missouri S&T）电气与计算机工程系助理教授。他当前的研究方向包括LiDAR检测与跟踪、人体活动识别、智能系统、无线网络、光通信、高低空平台通信、物联网（IoT）、能量收集、绿色无线网络和可重构智能表面。自2021年起，他担任《IEEE Wireless Communications Letters》和《Frontiers in Communications and Networks》期刊的编委会成员。
叶海亚·马苏德（YEHIA MASSOUD）[F] () 获得美国剑桥麻省理工学院Ph.D.学位，目前担任沙特阿拉伯阿卜杜拉国王科技大学（KAUST）创新技术实验室（ITL）主任兼教授。他的研究聚焦于前沿创新技术方案的设计，研究领域广泛，涵盖智慧城市、自主系统、智能医疗、嵌入式系统、纳米光子学和自旋电子学。他已在同行评审期刊和会议上发表了超过350篇论文，曾获得得克萨斯新星奖章、美国国家科学基金会CAREER奖、DAC奖学金、新思科技工程特殊贡献奖以及两项最佳论文奖。