Article # 在室内环境中利用多个 2D 激光雷达进行活动检测 Mondher Bouazizi $^{1}$ $^{ID}$，Alejandro Lorite Mora $^{2}$ $^{ID}$，Kevin Feghoul $^{3}$ 和 Tomoaki Ohtsuki $^{1,*}$ $^{ID}$ $^{1}$ 日本横滨庆应义塾大学理学与技术学部； $^{2}$ 日本横滨庆应义塾大学理学与技术研究生院； 法国里尔大学、法国里尔中心医院、Inserm 的 UMR-S1172—Lille 神经科学与认知研究中心，F-59000 里尔； 联系方式： ![Image](images/406db880ffffd75a6d0e18d67304d6a01580cb3d351298ebb42336c3029cf14f.jpg) 学术编辑：Natividad Duro Carralero 收到日期：2023 年 11 月 19 日 修改日期：2024 年 1 月 15 日 接受日期：2024 年 1 月 15 日 发表日期：2024 年 1 月 18 日 引用：Bouazizi, M.; Mora, A.L.; Feghoul, K.; Ohtsuki, T. 在室内环境中利用多个 2D 激光雷达进行活动检测。Sensors 2024, 24, 626. ![Image](images/085f34c694f84157929386533944b01bab32944851ec0abeaedad004c86b02ae.jpg) 摘要：在老年人健康监测系统中，一个关键方面是无创且持续地监测他们的活动，以便在发生潜在危险事件（如突然跌倒）时尽早发现。然而，目前基于非接触传感器的活动检测系统的有效性受到环境中障碍物的影响。为了克服这一局限性，一种简单但高效的方法是利用多个传感器协同工作。本文提出了一种利用二维激光雷达（Lidar）技术进行活动检测的方法。在室内环境中，放置多个二维激光雷达，这些激光雷达可以绕过家具等各种障碍物，协同工作以创建对正在进行的活动的全面表示。这些激光雷达的数据被连接起来，并转换为更易于解释的格式，类似于图像。然后，使用卷积长短期记忆（LSTM）神经网络来处理这些生成的图像，以对活动进行分类。该方法在三个任务中实现了高精度：活动检测、跌倒检测和步态不稳检测。具体而言，它在这些任务中分别达到了 96.10%、99.13% 和 93.13% 的准确率。这表明该方法在利用非侵入式传感技术（二维激光雷达）有效监测和识别老年人的潜在危险事件方面具有有效性和前景。 版权：© 2024 归作者所有。 许可方MDPI，瑞士巴塞尔。 本文是一篇开放获取文章 按照下述条款和 条件分发，知识共享 署名（CC BY）许可协议（https:// creativecommons.org/licenses/by/ 4.0/). 关键词：活动检测；人体活动识别；跌倒检测；医疗保健；2D 激光雷达；深度学习；机器学习 ## 1. 引言 全球范围内，人口老龄化带来了对医疗保健系统的重要挑战。 随着预期寿命的增加，与跌倒和行动能力受限相关的年龄相关健康问题也日益普遍。 根据世界卫生组织（WHO）[^1]，跌倒是不小心受伤的第二大原因，每年导致超过 65 万人死亡。 此外，非致命跌倒通常会导致严重的伤害和生活质量下降，进一步加剧了医疗保健系统面临的巨大经济负担。 考虑到这一点，人类活动识别（HAR）和跌倒检测领域见证了显著的进步，这主要得益于传感器技术的快速发展和整合。 这些进步有可能改善医疗保健领域，帮助老年人和行动不便的人，并提高他们生活的整体质量。 尽管像使用摄像头[^2]和音频数据收集[^3]等经济高效的解决方案具有实用性，但它们同时也引发了潜在的隐私问题。 因此，传感器已成为一项关键工具，它提供了监测、理解和响应室内环境中人类运动和行为的方式。 这些传感器是研究和技术创新的前沿，旨在解决改善医疗保健、患者安全以及为老龄化全球人口提供辅助生活的重要需求。 --- 在过去几十年里，一直有一系列旨在密切监测老年人和行动不便的人的身体活动的研究，这些研究利用传感器。 许多方法已经出现，作为潜在的解决方案来应对这一挑战，同时考虑到各种因素和约束，包括速度；性能；易于部署；可扩展性；最重要的是，所有这些，都必须保护接受观察的个人的隐私。 用于HAR的传感器可以分为两个主要类别。 用于 HAR 的传感器通常可以分为两个主要类别。 1. 第一类传感器需要物理附着在被监测对象身上，可直接贴附于人体或集成在衣物中。这类传感器通常利用加速度计、陀螺仪以及压力传感器检测不同维度的运动，进而识别各类活动。这类附着式传感器常集成在智能手表 [^4] 和智能衣物产品 [^5] 这类可穿戴设备中，能够提供极具价值的数据。但需要明确的是，这类传感器会带来一定的不便，可能影响被监测老年个体的舒适度和活动自主性。 第二类是无需被监测人员佩戴或连接到其身体/衣服的传感器。 而是，它们被战略性地放置在被监测人员居住的环境中，例如他们的房间或护理设施。 这些传感器旨在捕获各种类型的数据，包括热分布[6–9]以及WiFi信号传播中的波动和扰动[10–12]。 它们提供了一种不太具侵入性的监测身体活动的方法，并且对老年人的日常作息和舒适度造成最小的影响。 因此，这类传感器在研究人员中受到了广泛关注，这符合保护老年人自主权和福祉的总体目标。 本质上，对老年人和行动不便的人进行有效身体活动监测是一项多方面的努力，它需要在技术、隐私、成本和舒适性之间取得平衡。该领域的研究仍在不断发展，致力于解决这些核心问题，同时努力提高被监测人员的生活质量和整体健康水平。 在相关背景下，激光雷达技术（以下简称激光雷达），尽管其历史上与气象学、农业等专业应用相关，并且最近也与自动驾驶相关[^13] [^14]，但传统上受到成本的限制。然而，近年来出现了一个显著的变化，即该技术的成本大幅降低。这种降低促进了激光雷达在更广泛领域的应用。在这种不断发展的环境中，激光雷达系统越来越受到关注，尤其是在室内环境中。其一个突出的应用是检测室内动态物体。这包括识别、识别和跟踪移动实体，无论是人类、宠物还是机器人。虽然目标检测和跟踪（DATMO）领域并不新鲜，并且已经进行了广泛的研究，但利用激光雷达技术来实现这一目的是一个相对较新的发展[^15]。在这种背景下，正在探索几种物体定位和跟踪技术。更重要的是，一些研究工作已经出现，利用与2D激光雷达相关的技术，在医学领域发挥作用，例如，增强步态跟踪[^16]，并进行活动识别（HAR）[^17] [^18] [^19]。这些发展代表了该技术在增强医疗保健相关活动检测方面的重大进步。 与先前的研究工作不同，我们当前研究的主要目标是检测活动，即使在存在障碍物的情况下。与一些研究[^18] [^20]，其中仅考虑了少量障碍物，我们的研究深入研究了更真实的场景，这些场景具有各种家具，类似于典型房间的布局。此外，我们与将激光雷达传感器放置在房间中心的做法不同，在该做法中，被监测的人可能会在其中行走。相反，我们将激光雷达放置在房间的周边，类似于它们在现实世界中的放置方式，以避免与老年人接触，从而提高我们方法的鲁棒性。最后，随着可解释人工智能（XAI）的日益普及，我们的方法旨在引入一种人类易于理解的激光雷达数据表示，从而提高我们人工智能（AI）模型的可信度，并更广泛地提高所提出的整体方法。 --- 本研究的主要贡献可以总结如下： - 我们提出了一种新颖的方法，该方法采用多个2D激光雷达传感器，整合其数据以执行三个不同的分类任务：活动检测、跌倒检测和识别不稳定步态。 - 我们在数据处理阶段执行早期融合，将收集的数据作为一系列图像输入到我们的神经网络分类器中。 - 我们在数据处理阶段执行早期融合，将收集的数据作为一系列图像输入到我们的神经网络分类器中。 我们提出了一种创新的 2D 激光雷达数据的表示方法，经过彻底的实验，以揭示其巨大的潜力。 这种表示方法易于人类理解，这使得我们的方法更具可信度，即使对于非机器学习专家也是如此。 - 利用这种表示方法，我们训练了一个卷积长短期记忆 (ConvLSTM) 神经网络，用于实时活动检测。 - 我们在不同的设置下评估我们的方法，并确定最佳设置以获得更好的性能。 通过我们的综合实验，我们证明了这种新颖的方法和表示可以超越该领域的传统技术的性能。 本文的结构如下：在第 2 节，我们概述了与我们的研究相关的相关工作。 第 3 节是本文提出的方法的基石，我们在此处建立了关键概念、思想和命名约定。 在第 4 节，我们提供了我们提出的方法的全面描述，深入探讨了其细节。 第 5 节概述了我们模拟的规范，并详细介绍了我们的实现。 第 6 节展示了我们的实验结果，提供了我们研究结果的见解。 最后，在第 7 节，我们总结了本文，并提出了未来工作的潜在方向。 ### 2. 相关工作和动机 2.1. 相关工作 #### 2.1.1. 激光雷达技术 随着多年来成本的降低，激光雷达技术变得经济实惠，其应用已扩展到各个领域。 然而，这种技术的掌握伴随着传输功率的降低，这使得它对人类和生物安全。 在这种不断发展的环境中，激光雷达在室内环境中受到了越来越多的关注。 激光雷达的一个很有前途的应用领域是在室内环境中检测动态物体。 该术语涵盖识别、识别和跟踪移动实体，无论是人类、宠物还是机器人。 已经开发了几种定位技术来实现此目的。 一些方法使用概率方法，旨在对数据点进行聚类，并确定这些聚类随时间的变化位置，如 [^21] 中所述。 类似地，对于动态环境映射，[^22] 提出了一种概率技术，用于识别和隔离动态物体，以便在 3D 空间中表示它们。 然而，最广泛采用的技术是帧到帧的扫描匹配，最初由 Besl 等人开创 [^23]，并在后续工作中进一步完善，如 [^24] 和 [^25]。 帧到帧的扫描匹配涉及确定两个连续帧之间的相对差异，具有重叠的映射，从而提供了一种跟踪动态物体的方法。 这些方法通常应用于机器人领域，以使自主机器人能够导航特定环境。 然而，这些定位和识别技术在其他领域（如医学领域）也有应用，例如 --- 作为人类监测和人类活动识别（也称为活动检测）。 ##### 2.1.2. 活动检测 监测老年人和残疾人以及行动不便人士的活动已成为一项重要的研究课题，吸引了学术界和工业界研究人员的关注。 各种旨在执行此任务（即活动监控）的技术和方法已在文献中被介绍，这些方法考虑了成本效益、性能、易于实施、可扩展性和隐私保护等因素。 然而，使用摄像头 [^2] 或音频数据 [^3] 等技术的低成本方法引起了隐私方面的担忧。 因此，人们越来越强调使用不太具有侵入性的替代方法，以保护隐私。 这些替代方法主要围绕使用传感器展开。 如前所述，传感器可以分为两类：附加传感器，这些传感器集成到佩戴者身上的设备中（例如，带有加速度计和陀螺仪的设备，如 Zhuang 等人的研究所示 [^4]），以及非附加传感器，这些传感器从周围环境收集数据（例如，监测热分布和 Wi-Fi 信号，如 [6–12] 所示）。 在第一类中，提出了 Ha 和 Choi [^26] 以及 Mishkhal [^27] 等方法，这些方法通过将加速度计附在身体上，实现活动识别。 Webber 和 Rojas [^28] 提出使用附加在身体不同部位的智能手机。 类似地，Barna 等人 [^29] 除了陀螺仪数据外，还包括湿度和温度等其他传感器数据，以识别人类活动。 然而，非附加传感器的偏好源于其减少被监测人员负担并更有效地解决隐私问题的能力。 尽管每种类型的传感器都有其自身的优点和局限性，但最重要的考虑因素是保护隐私和用户友好性。 因此，研究界将重点放在非附加传感器上。 红外 (IR) 阵列传感器，例如，是可以捕获人体散发的热量，并将其映射为低分辨率的图像格式以进行处理的传感器。使用红外阵列传感器进行人体识别和活动检测的方法包括 Yang 等人 [^6]、Burns 等人 [^30] 以及 Bouazizi 等人 [^9] [^31] 的方法。虽然红外传感器可以获得令人印象深刻的结果（例如，在 [^6] 的情况下，F1 分数超过 92%），并且在隐私和成本方面没有妥协，但它们也存在一些自身的局限性。一方面，它们对噪声和任何发热源（例如电子设备（计算机、炉灶等））非常敏感。另一方面，障碍物的存在会限制其潜力，因为它们会阻挡红外光线到达传感器。最后，为了获得良好的检测效果，这些传感器需要放置在战略位置，以最大限度地降低其部署成本，因为它们的覆盖范围非常有限，并且需要在单个房间中放置多个传感器才能保证完全覆盖。 频率调制连续波（FMCW）雷达也受到了类似的关注，因为它们能够识别活动，特别是跌倒活动，同时可以提取重要的信号，例如心跳和呼吸频率。Shahzad 等人 [^32] 使用这种雷达来识别在不受约束的环境中进行的 7 种不同的活动，准确率达到 91%。Saeed 等人 [^33] 提出了一种类似的方法，他们提取了 FMCW 雷达的短时段录音的频谱图（即 5 到 10 秒），然后使用残差神经网络（ResNet）对这些频谱图进行处理，以 85% 的准确率对 6 种活动进行分类，在未见过的环境中准确率达到 96%。Shah 等人 [^34] 使用 2 种机器学习算法，包括支持向量机 (SVM) 和 k 近邻 (kNN) 进行分类，以及 AlexNet [^35] 用于特征提取。他们在 4 种不同的场景中实现了 81% 的活动识别准确率。 --- 激光雷达技术是这项工作的重点，也被认为是用于检测活动的相关任务的非侵入性、鲁棒性方法。多项研究探讨了 2D 激光雷达技术在诸如步态跟踪和人体活动识别等方面的应用 [^16] [^17] [^18] [^19]。 在 Piezzo 等人 [^36] 和 Li 等人 [^37] 的研究基础上，Duong 等人，在他们的工作中 [^16]，使用 2D 激光雷达技术来跟踪使用助行器的个人的步态。最近，研究人员如 Luo 等人 [^17] 和 Bouazizi 等人 [^18] [^19] 利用深度学习 (DL) 算法来实现使用 2D 激光雷达技术进行活动检测。 除了 2D 激光雷达之外，3D 激光雷达也被越来越多的研究人员所关注。Roche 等人 [^38] 和 Benedek 等人 [^39] 的研究表明，在人体活动识别 (HAR) 和步态分析任务中取得了显著的成果，前者准确率超过 90%，后者准确率超过 80%。 #### 2.2. 动机 与之前的研究相比，我们目前的研究解决了 3 个主要挑战： - 检测活动，即使在存在障碍物的情况下：与 Bouazizi 等人 [^18] 的研究不同，该研究使用了少量障碍物，我们目前的这项工作深入研究了更真实的场景，模拟了具有更多家具的室内环境。 - 现实世界的适用性：与之前的研究不同 [^17] [^18] [^20]，我们假设激光雷达的放置位置应该在房间的周边，而不是在中心，因为人们更有可能在房间周围行走。 - 模型可解释性：随着人工智能技术的快速发展，人们越来越关注人工智能模型的可靠性。可解释人工智能 (XAI) 是一种提高人们对人工智能模型信任度的方法，通过使模型对非专家来说易于理解。在这种背景下，与将模糊的输入输入到我们的 AI 模型并进行各种融合，从而使模型成为黑盒，我们的目标是简化输入，以便用户可以了解期望的结果以及模型如何做出决策。 在我们的早期工作中[^40]，我们进行了初步实验，以研究我们提出的方法在检测室内环境中的活动方面的潜力，以及它们在多大程度上可以识别跌倒和其他活动。在当前的研究中，我们进行了更深入的实验和分析，以评估所提出的方法。我们将其与现有方法进行比较，并突出其优势。我们在更多样化的场景和不同的设置下进行实验。我们进行了一系列实验，以确定产生最高准确度的最佳设置和参数。我们评估了我们提出的方法在存在家具等障碍物时的鲁棒性，以更好地估计其在实际应用中的实用性。 我们的结果表明，这种新颖的方法和表示方式在性能和鲁棒性方面具有超越传统方法的潜力。 ### 3. 总体系统描述 #### 3.1. 使用的设备 激光雷达是一种用于测量物体距离的设备，它通过发射红外 (IR) 光束并精确测量光束返回的时间来实现。虽然存在不同类型的激光雷达，但在我们的研究中，我们专注于 2D 激光雷达。这种特殊的设备配备了一个单向激光雷达单元，该单元安装在旋转电机顶部，允许发射和接收光束，旋转角度为 $360^{\circ}$。我们使用这种类型的激光雷达进行研究，解决三个相互关联的任务：活动检测、跌倒检测和不稳步态检测。 在我们的研究框架中，部署了多个激光雷达传感器，持续收集大量测量值。这些单独的数据流在处理阶段进行融合，并连接起来构建对环境及其动态变化的全面表示。这个过程本质上创建了粗略但有效的环境快照及其不断变化的状态。 --- 这种综合视图使我们的 AI 模型能够识别、隔离和分析与人类活动相关的变化。通过审查这些变化，我们的模型可以学习识别有价值的信息，并将其用于执行我们设定的三个任务。 #### 3.2. 命名约定 在本文中，我们使用与 [18–20] 类似的术语。但是，为了适应我们的模拟设置，进行了一些修改。这些修改如下： ##### 3.2.1. 测量点 ##### 3.2.1. 测量点 测量点p是Lidar在给定时间t针对角度$\theta$测得的一个距离值，对应Lidar $L^{l}$。因此，每个测量点都标注了采集该点的Lidar的标识符索引。据此，测量点可表示为$p^{l}(t) = (r(t), \theta(t))$，其中$r(t)$是测得的距离，$\theta(t)$是时刻t的测量角度。为简化表述，如下文所述，当提及单个测量点时我们会省略索引l，而在提及Lidar l采集的扫描数据时保留该索引。 ##### 3.2.2. 扫描 扫描是指激光雷达在单次旋转过程中收集的测量点集合。由于激光雷达的旋转速度通常非常高（例如，10~100 Hz），因此可以合理地假设单次扫描的所有测量点都在同一时间 t 处采集。考虑到这一点，一次扫描 $S^{l}(t)$ 可以表示为： $$ S^{l}(t)=\{p_{i}(t)=\big(r_{i}(t),\theta_{i}(t)\big),\quad i=[1,\cdots,N]\}, $$ 其中，$p_i$ 是第 i 个测量点，N 是激光雷达在单次旋转过程中收集的归一化测量点数（即，扫描）。虽然由于技术原因，激光雷达在每次旋转中收集不同数量的测量点，但我们通过插值对扫描进行归一化，使其具有确定的 $N = 360$ 个测量点，以便对于每个 $1^\circ$，都记录一个测量点（即，$\theta_i \in \{0^\circ, 1^\circ, \cdots, 359^\circ\}\)）。 ##### 3.2.3. 全扫描 一次全扫描 $F(t)$ 是指在同一时间 t 收集的所有激光雷达的扫描结果的连接。换句话说，给定放置在一个感兴趣区域（例如，房间）中的一组 $N_{L}$ 个激光雷达，这些激光雷达在时间 t 上的全扫描结果可以表示为： $$ F(t)=\left\{\begin{aligned}&S^{1}(t)=\{p_{i}(t)=(r_{i}(t),\theta_{i}(t)),i=[1,\cdots,N]\},\\ &S^{2}(t)=\{p_{i}(t)=(r_{i}(t),\theta_{i}(t)),i=[1,\cdots,N]\},\\ &\vdots\\ &S^{N_{L}}(t)=\{p_{i}(t)=(r_{i}(t),\theta_{i}(t)),i=[1,\cdots,N]\},\end{aligned}\right. $$ #### 3.2.4. 地图 如前所述，一旦所有激光雷达收集到数据（即，扫描），这些数据将被连接在一起，并转换为更易于理解的数据格式（即，2D 网格），然后再进行分类。在给定的时间 t，将一组全扫描 $F(t)$ 从 $N_L$ 个激光雷达，这些激光雷达在同一时间 t 采集，转换为 2D 网格的过程被称为 $\mathcal{T}(F(t))$，生成的地图被称为 $M(t)$。换句话说， $$ M(t)=\mathcal{T}\big(F(t)\big). $$ --- 稍后，我们将详细阐述将扫描数据转换为 2D 网格的过程。重要的是要指出，当 $N_L$ 等于 1 时，只使用一个激光雷达，从而产生与单个激光雷达可以产生的结果相似的地图。这部分类似于我们之前工作的场景 [^18]。然而，与之前的作品相比，我们当前工作中的转换方法在实际场景中显示出显着的性能提升。这种区别至关重要，因为我们将比较使用多个激光雷达和使用单个激光雷达获得的成果，并同时使用我们新提出的方法和我们之前在 [^18] 中介绍的方法。 ### 3.3. 系统描述 在 [^18] 中提出的方法依赖于单个激光雷达，用于双重任务：确定个人的位置和监控他们的活动。但是，这种方法需要仔细的放置策略，以最大限度地减少人员可能被遮挡的区域。此外，由于激光雷达使用的特定数据采集方法，定位人员的精度会受到影响，如在 [^18] 中所述。更具体地说，激光雷达只能收集到与被监控对象的最近接触点的数据：在收集人员的数据时，只有面向激光雷达的人体侧面可以被检测和识别。无法识别人体中心（或任何其他物体的中心），通常将位置设置为检测到的点的质心或使用一些插值进行估计。为了克服这些固有的局限性，我们当前的研究利用多个激光雷达，这些激光雷达位于不同的位置，以协作方式更准确地识别人员的位置和他们在给定房间内的活动。 在我们的研究中，我们使用模拟环境，该环境具有各种房间布局，包括家具，以及参与各种活动的个体，包括正常和非正常行走、坐立、跌倒、躺卧等。一个简单场景的可视化效果见补充材料中的视频 S1 和 S2。 我们使用的激光雷达设备是任意索引的，标记为“索引 1”的激光雷达设备位于北方，后续的激光雷达设备按顺时针方向以升序索引。为了便于理解，我们提供了一个房间布局的示意图，其中显示了激光雷达传感器的位置，如图 1 所示。 ![Image](images/65d0e40c665d087e677b389c52baab9263d6e296a7a00f96f309ef451a365e96.jpg)
Figure 1. A caption of one of the environments in which the simulations are run. In red, the positions of Lidars used are marked.
考虑到这一点，与 [^18] 中的方法不同，我们不将激光雷达数据点视为一维向量或扫描的时序数据。我们进行数据 --- 转换，将其转换为二维图像序列，我们将这些图像归类为“图像”。图 2 说明了我们提出的方法，采用流程图的形式。 对于每个房间，我们假设在没有主体存在的情况下，收集激光雷达测量是可行的。在没有主体存在的情况下收集的测量值被称为“空扫描”。从这些来自各种激光雷达设备的空扫描数据中，可以创建我们称之为“空地图”的数据。一旦构建了空扫描数据和空地图，它们就为后续步骤提供参考。 我们会在各种房间环境中进行多次场景模拟，稍后将详细阐述。每个场景模拟一系列连续、不间断的活动，就像一个人进行日常任务的方式一样。对于每个激光雷达数据集（单独），我们采用一种聚类算法，该算法参考空扫描数据和空地图。然后，从所有激光雷达设备收集的数据组合在一起并进行插值，以提供更稳健的表示。此过程为每个时间步长 t 生成一个二维图像。然后，对一段时间内的二维图像集合进行分类，使用深度学习模型。根据执行的特定任务，会调用适当的预训练模型进行分类。这些步骤在以下第 4 节中进行了全面说明。 ![Image](images/8b0125dcb30c4750f6bbd300b2bf618e21921da400f75e3356a275d2c4aece69.jpg)
Figure 2. A flowchart of the proposed approach for activity detection.
--- #### 4. 提出的方法：详细描述 #### 4.1. 用户数据点的识别 我们提出的方法的第一步是识别用户相关的数据点。此过程是针对每个激光雷达设备进行的，我们将其表示为 $L^{(l)}$，并且它借鉴了我们在先前工作中介绍的技术 [^18]。为了执行用户数据点识别，我们参考空扫描数据，以及我们打算进行分类的实际扫描数据。当一个人进入房间并进行指定的活动时，与在空扫描数据中观察到的数据点不同的数据点通常被归因于人的存在。具体来说，对于给定的角度 $\theta$，我们将空扫描数据中记录的距离表示为 $r_0(\theta)$，并将实际扫描数据中记录的距离表示为 $r(\theta)$。如果绝对差值 $|r(\theta) - r_0(\theta)|$ 大于或等于预定义的阈值，我们将其表示为 $\delta_{Th}$，则检测到的新点被认为是可能表明主体存在。为了消除潜在的噪声，我们应用先前在 [^18] 中介绍的算法的修改版本。该修改后的算法由四个主要步骤组成： 1. 候选点识别：给定在特定时间点 t 捕获的扫描数据 $S(t)$ 以及一个空扫描 $S_0$，所有满足条件 $\theta$ 的，在各种角度 $d(\theta) - d_0(\theta) \geq \delta_{Th}$ 上的点都被认为是候选的有效点。这些点被汇总到一个集合中，记为 $S^*(t)$。 2. 使用 DBSCAN 的聚类：我们对集合 [^41] 应用基于密度的空间聚类算法（DBSCAN）$S^{*}(t)$。此步骤允许我们识别可能归因于主体存在的的数据点集群。 3. 集群合并和主体位置：随后，在前面的步骤中找到的集群被合并，合并集群的中心被认为是主体的所在地。 4. 细化：一旦确定了主体的所在地中心，就会进行细化，通过选择一定范围 $\Delta_R$ 内的数据点，这些点被认为是与主体相关的数据，并保留下来，而其他的数据点则被舍弃。 本质上，这个过程允许我们通过比较实时的扫描数据和空扫描数据来识别与用户相关的数据点，从而有效地确定可能存在人员的区域，即使在存在噪声和变化的情况下。 #### 4.2. 数据转换 在从每个激光雷达获取数据后，我们将它们的坐标转换为绝对笛卡尔坐标。 简单来说，这些点不再与捕获它们的特定激光雷达相关联。 例如，考虑一个位于坐标 $L^{l}$ 的激光雷达 $(x^{l}, y^{l})$，以及由该激光雷达 $p_{j}(t) = (r_{j}(t), \theta_{j}(t))$ 收集的测量点 $L^{l}$，则该点 $(x_{j}, y_{j})$ 的笛卡尔坐标 $p_{j}(t)$ 可以表示如下： $$ \begin{array}{r c l}{x_{j}(t)}&{=}&{x^{l}+r_{j}(t)\cos\big(\theta_{j}(t)\big),}\\ {y_{j}(t)}&{=}&{y^{l}+r_{j}(t)\sin\big(\theta_{j}(t)\big).}\\ \end{array} $$ 现在，这些与原始 LiDAR 源分离的数据点列表被组合起来，并集体用于生成 2D 图像。 在图 3 中，我们简要概述了从 LiDAR 扫描生成 2D 图像的过程。 在此过程中，在对数据点进行聚类后，只有与主体相关的数据点被筛选出来（如图 3a 所示），然后将这些检测到的点的坐标转换为绝对笛卡尔坐标系统，同时考虑到其 LiDAR 设备的已知位置。 一旦所有点都转换为这种新的坐标系统，就在房间中叠加一个 2D 网格（如图 3b 所示）。 网格单元格中至少包含一个数据点的像素被分配一个值为 1 的值（如图 3c 所示，用蓝色表示），而其余像素被分配一个值为 0 的值。 这样就创建了每个时间步长的 2D 图像。 通过监测随时间变化而变化的检测到的数据点，我们的目标是识别正在执行的具体活动。 --- 在识别的数据点中，我们的目标是识别正在执行的具体活动。 ![Image](images/136bdc9d330df7d59d23572195b02a6d856e9d73a326f713f8a8be77203ebad1.jpg)
Figure 3. The steps for the creation of the 2D images from the concatenation of the different Lidar data. (a) shows the concatenation of the data points, (b) shows the placement of the grid, and (c) shows the process of fitting the data points to the grid.
在我们的模拟实验中，我们使用各种网格大小评估了这种图像生成技术。 较大的网格会生成更大、更详细的图像，而较小的网格会生成更小、不太详细的图像。 在我们的模拟中，我们使用了三种网格大小：$60 \times 40$、$90 \times 60$ 和 $120 \times 80$，从而生成了一系列具有相同尺寸的图像。 ### 4.3. 行为检测 如前文第 1 节所述，活动检测的过程涉及对主体执行的操作进行分类，无论其位置如何。 为了保持一致性并便于与既定方法进行公平比较，例如 [^17] 和 [^18] 中所述的方法，我们执行以下子任务： (T1) 活动检测：该子任务旨在确定个体正在执行的具体活动。 它包括识别五种不同的活动，包括行走、站立、坐在地上、跌倒和躺下。 (T2) 跌倒检测：由于跌倒是最危险的活动，因此主要目标是区分跌倒事件与其他所有活动。 该任务涉及二元分类，其中所有活动（除“跌倒”之外）被归为一类。 (T3) 不稳步态检测：识别不稳的步态至关重要，因为它可能表明潜在的危险，例如心脏病发作或跌倒风险增加。 该任务评估检测稳态步态与不稳步态的能力。 这些子任务共同构成了我们活动检测方法的主要子任务，并为我们与现有方法的评估和比较奠定了基础。 为了解决这些子任务，采用一致的方法。 这些子任务被定义为分类问题，并通过使用深度学习方法来解决。 具体来说，分类器的输入被构建为图像序列，非常适合卷积长短期记忆 (ConvLSTM) 神经网络架构。 我们研究中使用的架构图如图 4 所示，由以下组件组成： 1. 两个时序卷积层，分别具有 32 和 64 个过滤器，尺寸为 $3 \times 3$，之后是 2D $2 \times 2$ 最大池化层。 2. 随后，数据被展平并输入到具有 200 个单元的 LSTM 层。 3. LSTM 层的输出经过批归一化，然后输入到两个连续的密集层：第一个层包含 128 个神经元，而第二个层包含 $N_{C}$ 个神经元，其中 $N_{C}$ 表示类的数量。 如前所述，分类任务要么执行为五类分类（活动检测），要么执行为二元分类（跌倒检测或不稳步态检测）。 网络的卷积部分负责从输入图像中提取特征，而与时间之间的关系无关。 另一方面，网络的 LSTM 部分捕获了这些特征随时间的变化。 --- 他们。 重要的是要注意，尽管输入图像的大小不同，但卷积层具有相同的内核数量和大小。 主要区别在于输入层的尺寸，这只是一个技术细节，以及输入到 LSTM 层的输入的维度，该维度是自动计算的。 输入 ![Image](images/dac9bb65472dc4164bf4d742b7b595bad8b40990c20f045e202acbff071c3955.jpg)
Figure 4. Architecture of the ConvLSTM neural network used for classification.
--- #### 5. 仿真规范和实现 #### 5.1. 仿真规范 我们的模拟器是使用 Unity 开发的，Unity 是 Haas 于 2014 年推出的一个多功能游戏引擎 [^42]。Unity 提供了一个平台，使创作者能够设计 2D 和 3D 游戏；使用 C# 编写代码功能；以及集成各种资源，例如纹理、3D 模型和光照对象，这些资源通常使用各种外部工具生成。 随着时间的推移，Unity 的应用已经扩展到游戏之外，因为它支持多个物理引擎，这些引擎能够复制真实世界的对象行为，重点关注三个关键方面：确定性、可重复性和性能。 例如，Unity 已被应用于游戏之外的各种领域，包括机器人和自动驾驶汽车的模拟器开发，如 [^43] [^44] 中所述。 在我们的模拟器中，我们利用 PhysX 的射线投射和光线追踪功能，PhysX 是 Unity 内部的基础物理库，以复制 2D 激光雷达的工作和操作。 我们模拟器的详细构建信息在另一篇作品中介绍和解释 [^20]。 但是，在这篇作品中，我们提供了一个关于实现的简介。 我们从多个来源采购了各种 3D 模型和动画，这些模型和动画描绘了各种活动，这些工作由 Naureen 等人完成 [^45]。 他们的广泛数据库包含超过 11,000 个动画，涵盖 300 多个主题，并按类别进行分类，这有助于为我们的目的选择相关的动画。 此外，我们使用 SweetHome3D 创建了 3D 室内环境，其中包括各种类型的家具。 通过将这些创建的资产导入 Unity，我们能够生成 3D 动画，模拟人类在室内环境中的真实运动。 为了模拟 2D 激光雷达的行为，该激光雷达在不同方向投射光线并在旋转，我们集成了机器人操作系统 (ROS)。 Unity ROS 模拟器实现了 Unity 和 ROS 之间的通信，从而促进了 2D 激光雷达收集和传输的数据和测量结果。 值得注意的是，真实的 2D 激光雷达存在一些局限性，包括不准确性和连续测量之间的时间步长变化。 因此，在我们的模拟中，我们故意引入了一些这些真实的模式，这些模式符合表 1 中详细的模拟规范。
Table 1. The parameters of the 2D Lidar set in the simulator.
ParameterValue
Scan rate10-20 Hz
Measurements per rotation720
Loss rate per rotation0-5%
Distance range25 m
Distance error0.5-2.0%
Angular resolution0.3375°
##### 5.2. 实验设计 在我们的模拟中，我们旨在展示我们提出的方法的性能，以及哪些参数最适合我们的方法。 因此，收集的数据旨在实现四个主要目标： 1. 确定最佳的融合策略， 2. 确定最佳的网格大小， 3. 确定最佳的激光雷达高度， 4. 展示我们提出的方法与现有方法的性能对比。 5. 强调我们方法的抗障碍能力。 因此，我们的实验设计如下。 --- ##### 5.2.1. 融合策略 该实验的主要目标是比较不同的融合策略，以将来自多个激光雷达传感器的数据组合在一起，以证明早期数据融合的有用性，该融合优于后期融合、投票或使用单个激光雷达传感器。融合策略的选择会显着影响人体活动识别和不稳定步态/跌倒检测系统的准确性和可靠性。早期融合将来自多个激光雷达的原始数据合并到一个表示中，然后再进行处理；后期融合分别处理数据，然后融合结果；投票则汇总来自多个激光雷达的决策。这些策略对性能和计算效率有不同的影响。 ##### 5.2.2. 最佳网格尺寸 本实验旨在确定最佳网格尺寸，以最大限度地提高检测精度。如前所述，较大的网格会产生更大、更详细的图像，而较小的网格会生成较小、较不详细的图像。但是，较大的尺寸会使检测到的点更加稀疏，从而导致我们神经网络的卷积部分错失与像素邻接相关的关键特征。因此，确定最佳网格尺寸至关重要，该尺寸需要在细节级别和神经网络的正常运行之间取得平衡。 ##### 5.2.3. 最佳激光雷达高度 本实验旨在确定激光雷达传感器的最佳高度，以最大限度地提高人体活动识别和跌倒检测的准确性。激光雷达传感器的安装高度会影响其视场、覆盖范围以及捕捉相关信息的的能力。找到理想的高度对于实现高检测率至关重要。 ##### 5.2.4. 比较研究 在比较融合策略、网格尺寸和最佳激光雷达高度之后，我们下一组实验的目标是展示我们提出的方法在活动识别和跌倒检测中的优越性，该方法使用多个激光雷达传感器，与该领域的现有方法相比。证明所提出的方法的优越性对于确立其在人体活动识别和跌倒检测领域的相关性和竞争力至关重要。 #### 5.2.5. 障碍物鲁棒性 本实验的目标是评估所提出的方法对环境中障碍物的鲁棒性，并证明它能够有效处理激光雷达传感器视线部分被障碍物阻挡的情况。这是因为现实世界的环境通常布满了障碍物，因此，确保该方法即使在激光雷达传感器的视线被部分阻挡时仍然有效至关重要。 ### 5.3. 数据集 尽管不同实验组及其目标如上文所述，但所创建的数据集在很大程度上是在相同的模拟条件下和相同的环境中创建的。例如，在进行不同激光雷达高度的活动检测时，使用与从 AMASS 数据集 [^45] 收集的相同活动，并使用相同的模拟房间。这些相同的活动和环境也用于将我们的方法与现有方法进行比较。 总共，我们在九个不同的室内环境中运行了模拟。每个房间都有其自身的家具，放置在典型的位置（例如，沙发和衣柜放置在墙壁附近，桌子靠近中心等）。还使用了九个不同的人体模型，其身高、体型和性别未在特定范围内选择，而是从库中随机选择。选择了五名男性和四名女性模型。用于训练和测试我们方法的房间以及人体模型都仅限于各自的数据集。换句话说，给定的房间和给定的受试者的收集数据 --- 用于训练或测试。这使得我们能够在未见的环境和对象中更好地评估我们的模型。需要注意的是，许多家具的 3D 模型在不同的房间中都会被重复使用，尽管放置的位置不同。受试者会持续进行各种活动，持续几分钟。其中一些活动，主要是“行走”和“坐下”活动，尽管受试者会重复使用这些活动，但由于以下两个原因，它们在不同受试者之间有所不同：执行的速度不同，以及相对于 LiDAR 位置的角度不同。此外，由于受试者的身高不同，这导致步长和腿部张开程度也不同。换句话说，即使这些活动资产被重复使用，我们认为它们对分类结果没有太大影响。记录的数据会被裁剪到相同的长度，以消除活动之间的过渡，从而创建不同的样本。 考虑到这一点，表 2–4 显示了使用模拟器生成的数据集的结构。特别是，为任务 (T2) 生成的数据集是 (T1) 中使用的数据集的子集。大致来说，对于每种活动，生成 500 个样本作为训练集，并生成 400 个样本作为测试集。这导致用于 (T1) 的数据集总共有 2500 个训练样本和 2000 个测试样本，而用于 (T2) 和 (T3) 的数据集则有 1000 个训练样本和 800 个测试样本。
Table 2. The structure of the data set used for (T1).
ActivityWalkStandSitFallLay
Training set500500500500500
Test set400400400400400
Table 3. The structure of the data set used for (T2).
ActivityFallNon-Fall
Training set500500
Test set400400
Table 4. The structure of the data set used for (T3).
ActivitySteady GaitUnsteady Gait
Training set500500
Test set400400
数据集按照之前描述的格式进行，包含以下信息，对于每个扫描 S 在给定的时刻 t： - 扫描所属的场景。 • 每个扫描的时间 t， • 四个 LiDAR 的位置， - 由不同激光雷达收集的完整扫描数据，按其各自的索引进行索引，并包含相对于其各自激光雷达位置的极坐标。 #### 6. 模拟结果 6.1. 模拟可视化 在本节中，我们可视化模拟的输出，即激光雷达生成的数据、融合过程的输出以及人员点识别的输出。在图 5 中，我们显示了在没有主体的情况下，由四个激光雷达单独收集的数据（子图 (a)、(b)、(c) 和 (d)）。在子图 (e) 中，我们显示了它们的连接，这为房间的形状提供了良好的可视化效果，该形状在图 1 中之前已经显示。连接后获得的此地图，如我们之前提到的，被称为“空地图”。通过将此地图与在主体存在时生成的地图进行比较， --- 我们可以轻松识别由于该存在而生成的数据点。这可以在子图 (f)、(g)、(h)、(i) 和 (j) 中清楚地看到。前四个子图显示了单个激光雷达收集的数据，而最后一个子图显示了它们的输出的连接。 ![Image](images/1ccffaf9786b83f6d3a1384ff7d00336600bd9d5abe5f8238f3fe62c87fe8a9d.jpg)
(b)
(d)
(e)
Figure 5. Visualization of the data collection and concatenation in presence and absence of the subject. Panels (a)–(d) show the data collected by the individual Lidars when the subject is absent; (e) shows their concatenation; Panels (f)–(i) show the data collected by the individual Lidars when the subject is present; and (j) shows their concatenation.
--- 在图 5j 中，我们可以看到收集到的新数据点，形成一个躺在地上的人的形状。对于这个特定的帧来说，情况确实如此。在图 6 中，我们使用聚类过程来隔离由于主体存在而创建的数据点。主体的整体身体以黄色突出显示（此突出显示仅用于可视化，不属于该方法）。 ![Image](images/d8dff38dbb25181413412e86a4990ee41937db3ccfa83f7ffccfbb4c616b805d.jpg)
Figure 6. Visualization of the results of the process of isolation of data points generated due to the presence the subject.
通过应用我们在第 4.2 节中描述的转换技术，我们获得了图 7 中显示的图像。 类似的图像在每个帧中都会生成，并作为输入到我们的 LSTM 网络中进行分类。 ![Image](images/4af30953e01c2372f92a4a142e7ff7ecabe3d85faad181c548ec73143a739d71.jpg)
Figure 7. Visualization of the image generated after transformation of the data points into an image.
在本文的其余部分，我们将使用四个关键性能指标 (KPI)：准确率、精确率、召回率和 F1 分数。 这些指标共同提供了对我们方法的性能和有效性的全面评估。 ##### 6.2. 设置优化 如前所述，我们的第一个目标是确定分类准确率最佳的设置。 考虑到这一点，我们在第一个实验中仅使用 (T1) 数据集，并报告了此特定任务的结果。 这种选择背后有几个原因。 首先，为 (T1) 训练的网络稍后用于迁移学习。 --- 用于微调（除了最后一层）其他两个任务。 此外，此任务具有更多的类别。 因此，对于此任务的良好分类性能保证了其他两个任务的类似性能，反之则不一定如此。 最后，区分正常步态和不稳步态，并不能揭示识别高度敏感类别的性能，例如当一个人躺在地板上时。 在本文的本节的其余部分，我们旨在识别最佳设置，这些设置将在后续部分中使用。 ##### 6.2.1. 融合策略 该实验组的目标是比较我们早期数据融合方法与可解释的后期融合或投票系统的表示方法。 在这种方法中，从不同 LiDAR 收集的数据通过不同的神经网络分支进行处理。 为此，我们比较了我们的神经网络架构与图 8 中显示的架构，用于任务 (T1)。 在此架构中，在清理并识别与主体相关的数据点后，每个 LiDAR 数据被转换为 2D 图像，并分别输入到由五个卷积层组成的卷积子网络，这些卷积层具有 [64、128、128、64 和 32] 个滤波器。 这些数据会进行类似的处理，然后再连接并通过三个具有 100、50 和 $N_C$ 个神经元的密集层。 注意，输入到此网络中的图像不是由来自不同角度的数据连接而成的图像，而是以类似于 [^18] 的方式创建的图像，其中来自不同角度的数据在每个时间步长中被展平并堆叠以创建单个图像。 ![Image](images/ac31999d222ec52a81d3da13e822778584e23302ce01f20c593756edcc6a617d.jpg)
Figure 8. Architecture of the neural network used for classification in the late fusion approach.
--- 为了与后续内容保持一致，LiDAR 的高度和网格大小设置为其最佳值，即 35 毫米，以及 $90 \times 60$。 表 5 提供了早期数据融合与后期融合的分类结果。 如表所示，进行早期融合并将数据以我们描述的方式转换，比单独处理 LiDAR 数据的图像，然后再将它们连接以进行分类，可以获得更高的准确性。
Table 5. The classification results of task (T1) for the early fusion vs. late fusion.
ActivityAccuracyPrec.Rec.F1-Score
Early fusion96.10%96.10%96.10%96.10%
Late fusion74.12%74.12%74.12%74.12%
##### 6.2.2. 最佳 LiDAR 高度 在本节中，与我们之前的实验类似，我们评估了在不同高度放置激光雷达时的分类结果。为此，我们再次使用最佳网格大小（即 $90 \times 60$）；采用我们的早期融合技术；并每次调整激光雷达的高度，使其值为 5 毫米、35 毫米、100 毫米、200 毫米和 250 毫米中的一个。 我们使用与第 4 节中提出的相同技术，并使用图 4 中介绍的相同神经网络。对于不同的高度值，我们获得了表 6 中显示的总体准确率、精确率、召回率和 F1 分数。
Table 6. The classification results of task (T1) for different heights of the Lidar.
ActivityAccuracyPrec.Rec.F1-Score
height = 5 mm96.32%96.32%96.32%96.32%
height = 35 mm96.10%96.10%96.10%96.10%
height = 100 mm93.88%93.88%93.88%93.88%
height = 200 mm88.14%88.14%88.14%88.14%
height = 250 mm81.67%81.67%81.67%81.67%
如所见，对于较低的高度值（即 5 毫米和 35 毫米），结果非常接近，对于高度为 5 毫米时，准确率达到 96.32%，对于高度为 35 毫米时，准确率达到 96.10%。随着高度的增加，我们注意到分类性能明显下降。这主要是因为随着高度的增加，大量信息会丢失。在图 9 中，我们展示了激光雷达光束击中的点在不同高度下可能出现的差异可视化。在较低的高度，可以检测到脚的形状，而对于较高的位置则无法检测到。然而，当一个人行走并抬起脚离开地面时，可以在较低的高度检测到这种动作，而较高的位置则无法做到。这使得检测不稳定的步态变得困难。更重要的是，当被测者跌倒并躺在地上时，为了更好地检测躺在地上的人的形状，激光雷达需要放置在较低的高度。这解释了为什么对于较低的高度值（即 5 毫米和 35 毫米），结果更好且非常接近。 然而，在现实生活中使用的激光雷达系统通常不提供 5 毫米的高度。尽管如此，由于它们非常靠近地面，因此很容易受到噪声和来自地面附近物体的反射的影响。在文献中，Slamtec 公司生产的 2D 激光雷达 RPLidar A3M1 ( (访问日期：2024 年 1 月 18 日)) 已被广泛使用。当将其放置在地面上时，发射器和接收器的高度为 35 毫米，这就是我们评估该特定高度的原因。因此，我们认为，对于此高度获得的性能更具现实意义，并且更适用于实际应用。因此，此后我们将使用 35 毫米的高度，尽管它没有提供最高的准确率。 --- 我们相信，此高度的性能更具现实意义，并且更适用于实际应用。因此，此后我们将使用 35 毫米的高度，尽管它没有提供最高的准确率。 ![Image](images/b209fb4d4c1721804e950708dfca1a54898eaeabf45a0b7aae81b0a7292446eb.jpg)
Figure 9. A visualization of how the point hit by the Lidar ray may differ at different heights.
#### 6.2.3. 最佳网格大小 在本部分中，我们对使用各种网格尺寸对任务 (T1) 的分类结果进行比较。 简而言之，我们使用三种不同的网格尺寸：$60 \times 40$、$90 \times 60$ 和 $120 \times 80$。 表 7 呈现了所提出的方法在每种网格尺寸下的整体准确率、精度、召回率和 F1 分数。 如所见，当使用网格尺寸等于 $90 \times 60$ 时，可以获得最高的准确率，达到 96.10%。 显而易见的是，使用更高的 2D 图像分辨率并不一定能提高检测的准确率。 此外，它会显著延长从激光雷达极坐标转换为图像格式的数据转换过程。 Conversely, 降低 2D 图像分辨率会导致大量信息丢失。 例如，考虑一个房间，其尺寸为 $6.00 \times 4.00 \, m^2$。 使用网格尺寸 $60 \times 40$ 时，每个 $0.10 \times 0.10 \, m^2$ 区域由单个像素表示。 但是，当使用网格尺寸 $120 \times 80$ 时，每个 $0.05 \times 0.05 \, m^2$ 区域也由单个像素表示。 细节程度存在显着差异，而且考虑到平均脚长约为 0.25 厘米，当激光雷达直接从脚的左侧或右侧指向时，只有两个到三个像素可以代表较小的网格尺寸。
Table 7. The classification results of task (T1) for different grid sizes.
ActivityAccuracyPrec.Rec.F1-Score
$60 \times 40$89.15%89.19%89.15%89.17%
$90 \times 60$96.10%96.10%96.10%96.10%
$120 \times 90$92.85%92.86%92.85%92.86%
##### 6.3. 分类结果——更深入的了解 在本部分中，我们的目标是使用选定的设置，对所提出的方法进行更详细的评估，以适用于不同的任务，并将其与现有方法进行比较。 如前所述，“Net-1”神经网络是从零开始，使用为任务 (T1) 准备的数据集进行训练的。 该神经网络被称为“Net-1”。 随后，对于剩余的任务，神经网络的权重（不包括最终的全连接层）被转移并用于两个用于任务 (T2) 和 (T3) 的其他网络，并在微调后使用。 因此，分配给任务 (T2) 和 (T3) 的神经网络分别称为“Net-2”和“Net-3”。 “Net-2”和“Net-3”使用从 Net-1 继承的权重进行初始化，并使用各自的数据集进行进一步的微调。 --- 以下，我们将介绍使用这些网络对不同任务的分类结果，并采用先前找到的最优设置。 ##### 6.3.1. 活动检测 如前所述，“Net-1”神经网络使用为 (T1) 准备的数据集进行从头开始的训练。 该神经网络经过 500 个 epoch 的训练，使用 Adam 优化器，批量大小为 16，学习率为 0.001。 表 8 呈现了任务 (T1) 的分类准确率、精度、召回率和 F1 分数。 此外，在表 9 中，我们显示了分类的混淆矩阵。 显而易见的是，最难区分的类别是“跌倒”和“躺下”，其召回率分别为 95.00% 和 94.50%。 这也从混淆矩阵中可以看出，这两个类别的实例是最容易相互误分类的。 总体检测准确率达到 96.10%。
Table 8. The classification results of task (T1).
ActivityAccuracyPrec.Rec.F1-Score
Walk97.75%96.78%97.75%97.26%
Stand97.00%95.80%97.00%96.40%
Sit down96.25%97.22%96.25%96.73%
Fall95.00%95.00%95.00%95.00%
Lay Down94.50%95.70%94.50%95.09%
Overall96.10%96.10%96.10%96.10%
Table 9. The classification confusion matrix of task (T1).
ClassClassified as
WalkStandSit DownFallLay Down
Walk3915013
Stand5388601
Sit down4638550
Fall32238013
Lay Down14314378
##### 6.3.2. 跌倒检测 对于这项任务，除了“跌倒”类别之外的所有类别都被聚合到一个单独的类别中，该类别被指定为“非跌倒”。随后，网络在先前概述的数据集上进行微调。我们不是从头开始训练它，而是使用为 (T1) 训练的神经网络的权重开始。除了最后一层密集连接层之外，该层被替换为由两个神经元组成的全新层（用于两个类别），其余层使用这些训练过的权重。任务 (T2) 的分类结果显示在表 10 中。此外，分类的混淆矩阵在表 11 中给出。值得注意的是，“跌倒”和“非跌倒”类别的准确率分别为 99.25% 和 99.00%，从而实现了总检测准确率为 99.13%。因此，在目标是从“非跌倒”活动中识别“跌倒”时，可以实现高检测准确率。这是很直观的，因为类别的数量越多，神经网络区分它们就越困难。但是，根据系统的要求（即是否需要精细的 HAR 或粗略的 HAR），可以使用不同的神经网络。 ---
Table 10. The classification results of task (T2).
ActivityAccuracyPrec.Rec.F1-Score
Fall99.25%99.00%99.25%99.13%
Non-Fall99.00%99.25%99.00%99.12%
Overall99.13%99.13%99.13%99.13%
Table 11. The classification confusion matrix of task (T2).
ClassClassified as
FallNon-Fall
Fall3973
Non-fall4396
#### 6.3.3. 不稳定的步态检测 与前两个任务不同，识别此任务中的不稳定步态的目的是预测潜在的危险事件，而不是简单地识别它们。在这种情况下，我们的目标是识别个体在行走时出现异常的情况。神经网络使用在表 4 中描述的数据集进行微调。任务 (T3) 的分类结果显示在表 12 中。此外，此分类任务的混淆矩阵在表 13 中给出。“稳态步态”和“不稳定步态”类别的准确率分别为 95.25% 和 91.13%，从而实现了总检测准确率为 93.13%。 很明显，检测不稳定步态比检测跌倒或一般的 HAR 更困难。这是因为在这种情况下，模式之间的差异要大得多。当检查高于 35 毫米的激光雷达高度时，这可以更清楚地看到。例如，当高度设置为 200 毫米和 250 毫米时，准确率分别为 65.7% 和 63.9%。
Table 12. The classification results of the task (T3).
ActivityAccuracyPrec.Rec.F1-Score
Steady95.25%91.37%95.25%93.27%
Unsteady91.13%93.20%93.13%93.12%
Overall93.19%92.28%94.19%93.20%
Table 13. The classification confusion matrix of task (T3).
ClassClassified as
Steady GaitUnsteady Gait
Steady gait38119
Unsteady gait36364
#### 6.4. 与传统方法的比较 在本节中，我们对我们提出的分类方法的结果与 [^17] 和 [^18] 中介绍的传统方法的比较。值得注意的是，这些工作中的方法主要依赖于单个激光雷达，并且主要是在家具稀少的房间中进行评估。在 [^18] 中，尽管在各种房间环境中进行了测试，但活动主要在无障碍区域进行。同样，在 [^17] 中，重点是一个单独的房间环境，即厨房。虽然这些方法仅依赖于单个激光雷达，但我们的方法不仅利用 --- 使用多个激光雷达，并制定更易于理解的数据表示方法，从而提高神经网络的分类精度。为了忠实地再现[^17]和[^18]中提出的方法，我们使用单个激光雷达数据实现了这些方法。在与传统方法进行比较时，我们调整了输入格式以与新的数据结构对齐。作为参考，在所有房间中，我们指定北侧的激光雷达为索引 1，然后按顺时针方向递增到其他激光雷达的索引。使用各种激光雷达，并将我们的新方法与[^18]中的方法结合使用，获得的分类结果见表 14。显然，我们提出的方法在所有使用的激光雷达上始终优于传统方法的性能。这是预期的，因为我们的方法利用来自所有激光雷达的完整信息来构建房间内物体的 2D 地图，类似于同时定位与地图构建 (SLAM)。 如前所述，表 14 中显示的比较可能看起来不公平，因为我们的方法是在使用来自四个不同激光雷达的信息的情况下进行评估的，而传统方法一次只使用一个激光雷达。因此，我们对所提出的方法进行了最终评估，与传统方法进行比较，同时考虑来自所有激光雷达的组合数据。数据经过转换，以适应这些方法，以便进行公平的比较。此外，还测试了[^38]中使用的网络的一个修改版本，该网络使用一个 inception 模块，以及[^20]中提出的方法，该方法依赖于移动激光雷达；其结果已包含在比较中。任务 (T1) 的分类结果见表 15。如表所示，即使包括来自所有激光雷达的数据，我们的方法也比传统方法优越了很大幅度（即超过 10%），这表明它在 2D 激光雷达用于活动检测方面的应用是目前最先进的方法。
Table 14. The classification results of the proposed method against the conventional ones [^17] [^18] for task (T1).
ActivityAccuracyPrec.Rec.F1-Score
Lidar 1 [^18]77.30%77.39%77.30%77.34%
Lidar 2 [^18]78.85%78.90%78.85%78.88%
Lidar 3 [^18]78.10%78.10%78.10%78.10%
Lidar 4 [^18]80.30%80.33%80.30%80.31%
Lidar 1 [^17]63.55%63.50%63.55%63.53%
Lidar 2 [^17]65.11%64.96%65.11%65.03%
Lidar 3 [^17]66.86%66.80%66.86%66.83%
Lidar 4 [^17]68.21%68.20%68.21%68.21%
Proposed96.10%96.10%96.10%96.10%
Table 15. The classification results of the proposed method against the conventional ones [^17] [^18] [^20] [^38] for task (T1) using all the Lidars.
ActivityAccuracyPrec.Rec.F1-Score
Luo et al. [^17]76.39%76.39%76.39%76.39%
Bouazizi et al. [^18]84.88%84.86%84.88%84.87%
Bouazizi et al. [^20]91.31%91.31%91.31%91.31%
Roche et al. [^38]69.74%69.74%69.74%69.74%
Proposed96.10%96.10%96.10%96.10%
--- ##### 6.5. 讨论 ##### 6.5.1. 分类错误 我们的方法虽然优于传统方法，但并非完美。由于分类准确率达到 96.1%，因此出现了一些分类错误的实例。如表 9 所示，分类错误的实例分布在不同的类别中。但是，可以注意到，“摔倒”和“躺下”这两个类别是最容易混淆的类别。特别是，14 个“躺下”类别的实例被错误分类为“摔倒”活动，而 13 个“摔倒”类别的实例被错误分类为“摔倒”活动，并且 13 个“摔倒”类别的实例被错误分类为“躺下”活动，因为被试者的姿势从“站立”变为“躺在地上”。虽然在 3D 空间中可以观察到差异（例如，手势、头部方向等），但这些差异并不总是可以通过 2D 激光雷达检测到的。一个有用的信息是人体各个部分接触地面的顺序，因为这对于 LSTM 捕捉“摔倒”活动至关重要。在“躺下”活动中，通常是手先接触地面，这在“摔倒”活动中并不一定如此。另一个可以观察到的差异在于时间域，因为“摔倒”活动往往发生得更快，并且变化是突然的。同样，这并不总是可以由激光雷达捕捉到的，特别是当激光雷达安装在非常低的位置时，因为这些变化发生在 3D 空间中，而激光雷达只能观察到发生在激光雷达平面上的事件。 接下来，我们将讨论两个容易混淆的动作：坐下和站立，这两个动作都涉及到代表脚的点停止移动。 这两个动作之间的区别在于发生这种现象的位置。 当人们靠近椅子或沙发等家具时，这可能被解释为坐下，但如果这些动作发生在远离此类家具的地方，则不太可能被解释为坐下。 总的来说，我们的基于LSTM的神经网络在大多数情况下都能有效地识别活动。 那些被错误分类的实例，可以通过提供更多训练数据来正确检测，以解释它们的细微之处，并学习更具体的模式。 ##### 6.5.2. 优点和优势 与传统方法不同，我们提出的方法是第一个采用传感器融合来提高HAR（人类活动识别）和跌倒检测的准确性。 一方面，在[^17] [^18]等工作中使用的单个激光雷达，尚未在具有足够障碍物以验证其在这些任务（即HAR和跌倒检测）中的表现的复杂环境中进行测试。 在我们的工作中，作为我们的模拟的一部分，我们在引入更多障碍物的条件下评估了这些方法。 如前所述，在表14和15中，在这些条件下，这些传统方法的性能下降明显。 即使使用多个激光雷达的数据也是如此。 将数据转换为图像序列的想法，是我们在本工作中的一项贡献，这使我们能够利用卷积子网络和LSTM网络，以一种能够识别不同活动的方式来利用空间和时间信息。 然而，通过在早期实验中确定最佳网格大小（第6.2.3节），我们确保空间信息尽可能重要。 较大的网格大小会使图像中的点变得稀疏，从而妨碍卷积子网络识别相邻像素之间的相关性。 类似地，较小的网格大小会导致很少的像素包含有用的信息，从而将物体的形状（即人体）减少到一点，从而遗漏重要的特征。 虽然在[^18] [^20] [^38]等工作中，由于使用了LSTM和时间Inception模块，因此考虑了时间信息，但我们的方法受益于检测平面的2D表示，从而实现了更好的性能。 ### 6.5.3. 局限性和未来改进 在整个工作中，我们展示了2D激光雷达是人类活动识别和跌倒检测的有用工具。 结果表明，与现有方法相比，取得了显著 --- 改进。 尽管如此，这些设备并非完美。 它们存在技术和实际的局限性，需要加以解决。 在表1中，我们引入了两个参数，旨在模拟真实世界的行为。 这些参数是每旋转的丢失率和距离误差。 这些参数分别设置为[0–5%]和[0.5–2.0%]。 选定的值意味着，对于每个激光雷达，随机丢失0.5%到5%的测量值，并且每个测量值都有0.5%到2.0%的误差。 为了进行更真实的模拟，需要使用真实的激光雷达捕获数据，并根据数据丢失和测量不确定性的统计数据进行计算，并将报告的值用于模拟。 此外，还需要解决其他挑战。例如，市售的激光雷达在工作光频率/波长范围内缺乏多样性。在实际部署中，这会导致不同激光雷达之间产生高干扰，从而导致测量不准确、产生大量噪声数据点，以及整体不可靠的检测。覆盖激光雷达工作频率范围的光源，如阳光，也会产生类似的噪声和干扰。为了解决这个问题，需要访问能够配置光带宽的激光雷达，以便不同的传感器在没有干扰风险的情况下工作。但是，在不同的频率下工作也可能意味着不同的噪声敏感度，这增加了系统的整体复杂性。这种技术限制高度依赖于制造商，并且在我们的模拟中没有得到解决。 尽管如此，在实际应用中，机械设备（如激光雷达）容易发生故障。在我们的当前工作中，我们假设激光雷达在任何给定时刻都正常工作，并且没有设备存在任何操作问题。它们收集和汇总的数据能够较好地反映环境的状况。但是，如果一个或多个激光雷达出现故障，收集到的测量数据将缺失重要部分，从而导致性能大幅下降。在出现多重故障的情况下，这种性能下降可能会达到低于表 14 中传统方法的报告结果。这种精度是不可接受的，需要提供替代解决方案。这些解决方案包括针对不同的故障场景训练不同的模型，并根据故障性质选择正确的分类模型。 ## 7. 结论 在本文的研究论文中，我们介绍了一种使用 2D LiDAR 进行活动检测的新方法。这项工作的贡献和创新之处在于，在单个房间内部署了多个 LiDAR 设备。通过连接它们感测的数据，我们证明可以创建更全面的活动表示。这反过来可以显着提高检测的准确性，并实现精确的跌倒检测。与我们在 [^18] 中描述的先前工作不同，我们采用了新的方法。我们通过连接不同 LiDAR 扫描感测的数据来生成 2D 图像，并使用 ConvLSTM 神经网络进行分类任务。我们的方法在三个不同的任务中进行了评估：活动检测、跌倒检测和不稳步态检测，实现的准确率分别为 96.10%、99.13% 和 93.13%。在未来的工作中，我们计划进行更广泛的实验，以对我们的方法进行更全面的评估。此外，我们还旨在解决各种 LiDAR 之间的干扰问题，以及在实际环境中距离估计的误差以及数据丢失问题，以进一步提高我们方法的鲁棒性和可靠性。 补充材料：以下支持信息可在此下载：，视频S1：含简单障碍物、移动机器人以及角落处固定Lidar的简单模拟环境可视化；视频S2：移动Lidar视角下的探测结果。三个红色层表示发射射线并测量反射的不同高度。 --- 作者贡献：M.B.、A.L.M.、K.F.和T.O.参与了概念化；M.B.和A.L.M.参与了方法；M.B.和A.L.M.参与了软件开发；M.B.、A.L.M.、K.F.和T.O.参与了验证；M.B.、A.L.M.和K.F.参与了正式分析；M.B.、A.L.M.和K.F.参与了研究；M.B.和A.L.M.参与了资源调配；M.B.和A.L.M.参与了数据整理；M.B.和A.L.M.参与了原始草稿撰写；M.B.、A.L.M.、K.F.和T.O.参与了审阅和编辑；M.B.和A.L.M.参与了可视化；T.O.参与了监督；T.O.参与了项目管理。所有作者均已阅读并同意发表本手稿。 资金：本研究由科学研究资助项目（KAKENHI）（项目编号：YYH3Y07）资助。 机构审查委员会声明：不适用。 知情同意声明：不适用。 数据可用性声明：本研究使用模拟数据，该数据由参考文献 [^20] 中介绍的模拟软件创建。 利益冲突声明：资助方对本研究的设计、数据收集、分析或解释、论文撰写或发表结果的决定均未参与。 ## 缩写 本手稿中使用的以下缩写：
AIArtificial Intelligence
AMASSArchive of Motion capture As Surface Shapes
ConvLSTMConvolutional Long Short-Term Memory
CNNConvolutional Neural Network
DALYDisability-Adjusted Life Year
DBSCANDensity-Based Spatial Clustering of Applications with Noise
DLDeep Learning
EKFExtended Kalman Filter
FNFalse Negative
FPFalse Positive
HARHuman Activity Recognition
HOGHistogram of Oriented Gradients
IRInfrared
kNNk Nearest Neighbors
LidarLight Detection And Ranging
LOSLine Of Sight
LRFLaser Range Finder
LSTMLong Short-Term Memory
RGBRed Green Blue (color channels)
RGB-DRed Green Blue Depth (color + Depth channels)
ROSRobot Operating System
RNNRecurrent Neural Network
SLAMSimultaneous Localization and Mapping
SSDSingle Shot MultiBox Detector
SVMSupport Vector Machine
TCNTemporal Convolutional Network
TNTrue Negative
TPTrue Positive
URDFUnified Robot Description Format
XAIeXplainable Artificial Intelligence
## 参考文献 [^1]: Andersen, M.; Bhaumik, S.; Brown, J.; Elkington, J.; Ivers, R.; Keay, L.; Lim, M.L.; Lukaszyk, C.; Ma, T.; Meddings, D.; et al. Step Safely: Strategies for Preventing and Managing Falls Across the Life-Course; World Health Organization: Geneva, Switzerland, 2021. ## [^2]: Berger, J.; Lu, S. A Multi-camera System for Human Detection and Activity Recognition. Procedia CIRP 2022, 112, 191–196. --- [^3]: Stork, J.A.; Spinello, L.; Silva, J.; Arras, K.O. Audio-based Human Activity Recognition Using Non-Markovian Ensemble Voting. In Proceedings of the 21st IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), Paris, France, 9–13 September 2012; pp. 509–514. [^4]: Zhuang, Z.; Xue, Y. Sport-related human activity detection and recognition using a smartwatch. Sensors 2019, 19, 5001. [CrossRef] [^5]: Zhang, Z.; He, T.; Zhu, M.; Sun, Z.; Shi, Q.; Zhu, J.; Dong, B.; Yuce, M.R.; Lee, C. Deep learning-enabled triboelectric smart socks for IoT-based gait analysis and VR applications. NPJ Flex. Electron. 2020, 4, 29. [^6]: Yang, Y.; Yang, H.; Liu, Z.; Yuan, Y.; Guan, X. Fall detection system based on infrared array sensor and multi-dimensional feature fusion. Measurement 2022, 192, 110870. [^7]: Ben-Sadoun, G.; Michel, E.; Annweiler, C.; Sacco, G. Human fall detection using passive infrared sensors with low resolution: A systematic review. Clin. Interv. Aging 2022, 17, 35–53. [^8]: Ogawa, Y.; Naito, K. Fall detection scheme based on temperature distribution with IR array sensor. In Proceedings of the 2020 IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, NV, USA, 4–6 January 2020; pp. 1–5. [^9]: Bouazizi, M.; Ye, C.; Ohtsuki, T. Low-Resolution Infrared Array Sensor for Counting and Localizing People Indoors: When Low-End Technology Meets Cutting Edge Deep Learning Techniques. Information 2022, 13, 132. [CrossRef] ). Mattela, G.; Tripathi, M.; Pal, C. 一种基于WiFi信道状态信息(CSI)的跌倒检测新方法. SN Comput. Sci. 2022, 3, 214. [CrossRef] [^11]: Chen, S.; Yang, W.; Xu, Y.; Geng, Y.; Xin, B.; Huang, L. AFall: Wi-Fi-based device-free fall detection system using spatial angle of arrival. IEEE Trans. Mob. Comput. 2022, 22, 4471–4484. [CrossRef] [^12]: Hu, Y.; Zhang, F.; Wu, C.; Wang, B.; Liu, K.R. DeFall: Environment-independent passive fall detection using WiFi. IEEE Internet Things J. 2021, 9, 8515–8530. [CrossRef] [^13]: Banta, R.M.; Pichugina, Y.L.; Kelley, N.D.; Hardesty, R.M.; Brewer, W.A. Wind energy meteorology: Insight into wind properties in the turbine-rotor layer of the atmosphere from high-resolution Doppler Lidar. Bull. Am. Meteorol. Soc. 2013, 94, 883–902. [CrossRef] [^14]: Gao, H.; Cheng, B.; Wang, J.; Li, K.; Zhao, J.; Li, D. Object classification using CNN-based fusion of vision and Lidar in autonomous vehicle environment. IEEE Trans. Ind. Inform. 2018, 14, 4224–4231. [CrossRef] [^15]: Llamazares, Á.; Molinos, E.J.; Ocaña, M. Detection and tracking of moving obstacles (DATMO): A review. Robotica 2020, 38, 761–774. [CrossRef] [^16]: Duong, H.T.; Suh, Y.S. Human gait tracking for normal people and walker users using a 2D Lidar. IEEE Sensors J. 2020, 20, 6191–6199. [CrossRef] [^17]: Luo, F.; Poslad, S.; Bodanese, E. Temporal convolutional networks for multiperson activity recognition using a 2-d Lidar. IEEE Internet Things J. 2020, 7, 7432–7442. [CrossRef] [^18]: Bouazizi, M.; Ye, C.; Ohtsuki, T. 2D Lidar-Based Approach for Activity Identification and Fall Detection. IEEE Internet Things J. 2021, 9, 10872–10890. [CrossRef] [^19]: Bouazizi, M.; Ye, C.; Ohtsuki, T. Activity Detection using 2D Lidar for Healthcare and Monitoring. In Proceedings of the IEEE Global Communications Conference (GLOBECOM), Madrid, Spain, 7–11 December 2021; pp. 1–6. [^20]: Bouazizi, M.; Lorite Mora, A.; Ohtsuki, T. A 2D-Lidar-Equipped Unmanned Robot-Based Approach for Indoor Human Activity Detection. Sensors 2023, 23, 2534. [CrossRef] [^21]: Tipaldi, G.D.; Ramos, F. Motion clustering and estimation with conditional random fields. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, St Louis, MO, USA, 11–15 October 2009; pp. 872–877. [^22]: Hahnel, D.; Triebel, R.; Burgard, W.; Thrun, S. Map building with mobile robots in dynamic environments. In Proceedings of the IEEE International Conference on Robotics and Automation, Taipei, Taiwan, 14–19 September 2003; Volume 2, pp. 1557–1563. [^23]: Besl, P.J.; McKay, N.D. Method for registration of 3-D shapes. In Proceedings of the Sensor Fusion IV: Control Paradigms Data Structures, Boston, MA, USA, 14–15 November 1992; Volume 1611, pp. 586–606. [^24]: Dubé, R.; Dugas, D.; Stumm, E.; Nieto, J.; Siegwart, R.; Cadena, C. Segmatch: Segment based place recognition in 3d point clouds. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Singapore, 29 May–3 June 2017; pp. 5266–5272. [^25]: Konolige, K.; Agrawal, M. Frame-Frame Matching for Realtime Consistent Visual Mapping. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Rome, Italy, 10–14 April 2007; pp. 2803–2810. [^26]: Ha, S.; Choi, S. Convolutional neural networks for human activity recognition using multiple accelerometer and gyroscope sensors. In Proceedings of the International Joint Conference on Neural Networks (IJCNN), Vancouver, BC, Canada, 24–29 July 2016; pp. 381–388. [^27]: Mishkhal, I.A. Human Activity Recognition Based on Accelerometer and Gyroscope Sensors. Master's Thesis, Ball State University, Muncie, IN, USA, 2017. [^28]: Webber, M.; Rojas, R.F. Human Activity Recognition With Accelerometer and Gyroscope: A Data Fusion Approach. IEEE Sensors J. 2021, 21, 16979–16989. [CrossRef] [^29]: Barna, A.; Masum, A.K.M.; Hossain, M.E.; Bahadur, E.H.; Alam, M.S. A study on human activity recognition using gyroscope, accelerometer, temperature and humidity data. In Proceedings of the International Conference on Electrical, Computer and Communication Engineering (ECCE), Cox's Bazar, Bangladesh, 7–9 February 2019; pp. 1–6. ## [^30]: Burns, M.; Cruciani, F.; Morrow, P.; Nugent, C.; McClean, S. Using convolutional neural networks with multiple thermal sensors for unobtrusive pose recognition. Sensors 2020, 20, 6932. --- [^31]: Bouazizi, M.; Ohtsuki, T. An Infrared Array Sensor-Based Method for Localizing and Counting People for Health Care and Monitoring. In Proceedings of the 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), Montreal, QC, Canada, 20–24 July 2020; pp. 4151–4155. [CrossRef] [^32]: Ahmed, S.; Park, J.; Cho, S.H. FMCW Radar Sensor Based Human Activity Recognition using Deep Learning. In Proceedings of the International Conference on Electronics, Information, and Communication (ICEIC), Jeju, Republic of Korea, 6–9 February 2022; pp. 1–5. [CrossRef] [^33]: Saeed, U.; Shah, S.Y.; Shah, S.A.; Ahmad, J.; Alotaibi, A.A.; Althobaiti, T.; Ramzan, N.; Alomainy, A.; Abbasi, Q.H. Discrete human activity recognition and fall detection by combining FMCW RADAR data of heterogeneous environments for independent assistive living. Electronics 2021, 10, 2237. [^34]: Shah, S.A.; Fioranelli, F. Human Activity Recognition: Preliminary Results for Dataset Portability using FMCW Radar. In Proceedings of the International Radar Conference (RADAR), Toulon, France, 23–27 September 2019; pp. 1–4. [CrossRef] [^35]: Krizhevsky, A.; Sutskever, I.; Hinton, G.E. Imagenet classification with deep convolutional neural networks. In Proceedings of the 25th International Conference on Neural Information Processing Systems (NIPS 2012), Lake Tahoe, NV, USA, 3–6 December 2012; Volume 25. [^36]: Piezzo, C.; Leme, B.; Hirokawa, M.; Suzuki, K. Gait measurement by a mobile humanoid robot as a walking trainer. In Proceedings of the 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), Lisbon, Portugal, 28 August–1 September 2017; pp. 1084–1089. [^37]: Li, D.; Li, L.; Li, Y.; Yang, F.; Zuo, X. A multi-type features method for leg detection in 2-D laser range data. IEEE Sens. J. 2017, 18, 1675–1684. [^38]: Roche, J.; De-Silva, V.; Hook, J.; Moencks, M.; Kondoz, A. A multimodal data processing system for Lidar-based human activity recognition. IEEE Trans. Cybern. 2021, 52, 10027–10040. [^39]: Benedek, C.; Gálai, B.; Nagy, B.; Jankó, Z. Lidar-based gait analysis and activity recognition in a 4d surveillance system. IEEE Trans. Circuits Syst. Video Technol. 2016, 28, 101–113. [CrossRef] [^40]: Bouazizi, M.; Feghoul, K.; Lorite, A.; Ohtsuki, T. A Novel Approach for Activity, Fall and Gait Detection Using Multiple 2D Lidars. In Proceedings of the IEEE Global Communications Conference (GLOBECOM), Kuala Lampur, Malaysia, 4 December–8 December 2023; pp. 1–6. [^41]: Ester, M.; Kriegel, H.P.; Sander, J.; Xu, X. Density-based spatial clustering of applications with noise. In Proceedings of the International Conference on Knowledge Discovery and Data Mining (KDD-96), Portland, OR, USA, 2–4 August 1996; pp. 226–231. [^42]: Haas, J.K. A history of the unity game engine. Diss. Worcest. Polytech. Inst. 2014, 483, 484. [^43]: Hautamäki, J. ROS2-Unity-XR interface demonstration. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Philadelphia, PA, USA, 23–27 May 2022. [^44]: Wang, Z.; Han, K.; Tiwari, P. Digital twin simulation of connected and automated vehicles with the unity game engine. In Proceedings of the IEEE International Conference on Digital Twins and Parallel Intelligence (DTPI), Beijing, China, 15 July–15 August 2021; pp. 1–4. [^45]: Mahmood, N.; Ghorbani, N.; Troje, N.F.; Pons-Moll, G.; Black, M.J. AMASS: Archive of Motion Capture as Surface Shapes. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 5442–5451. 免责声明/出版商须知：所有出版物中包含的声明、观点和数据仅代表作者和贡献者的个人观点，不代表MDPI和/或编辑的观点。MDPI和/或编辑对因内容中提及的任何想法、方法、说明或产品而可能造成的任何人身或财产损害概不负责。