# 隐私保护的基于 3D 激光雷达的多模态活动识别在人机交互中的应用 Adel Baselizadeh $^{1,2}$, Md Zia Uddin $^{3}$, Weria Khaksar $^{4}$, Diana Saplacan Lindblom $^{1}$, Jim Torresen $^{1,2}$ $^{2}$RITMO 节奏、时间与运动跨学科研究中心，奥斯陆大学，奥斯陆，挪威 $^{3}$可持续通信技术系，SINTEF Digital，奥斯陆，挪威 $^{4}$科学与技术学院，挪威生命科学大学，奥斯，挪威 {adelb, dianasa, jimtoer}@ifi.uio.no, , 摘要：人体活动识别 (HAR) 涉及使用传感器收集人体数据，然后分析这些数据以识别其活动。HAR 在各个领域具有许多应用。一个重要的领域是人机交互 (HRI)。识别用户活动为机器人提供了有关用户状态的宝贵信息，从而提高了 HRI 的效率。但是，开发 HAR 模型会带来隐私挑战，因为会收集用户数据，尤其是在机器人中，机器人通常配备各种传感器。本文提出了在 HRI 领域的隐私保护 HAR 方法。 本文研究了使用隐私保护传感器，特别是 3D 激光雷达，来开发 HAR 模型。它探讨了将 3D 激光雷达与其他传感器（包括可穿戴用户传感器和基于机器人的传感器，包括力/扭矩传感器）集成，并通过多模态深度学习 (DL) 方法来实现。对各种基于 DL 的传感器融合方法进行了深入研究，包括数据级和特征级融合方法，并比较了这些方法在 HAR 方面的准确性。 为了训练多模态深度学习模型，收集了一个新的数据集，该数据集记录了人机交互 (HRI) 期间的各种用户活动。该数据集利用了 10 种不同的传感器，包括 9 种具有隐私保护功能的传感器，以及一个 RGB 摄像头作为参考。该论文考虑了九种不同的用户活动，包括与机器人进行的物理交互以及指示机器人执行特定任务。结果表明，在特征级别集成传感器的数据，在识别 HRI 期间的各种用户活动方面，准确率达到了 80.73%。 关键词：人体活动识别，HAR，人机交互，HRI，3D 激光雷达，多模态感知，隐私，数据集。 ## 引言 人体活动识别 (HAR) 由于其能够提供有关用户状态和活动的详细信息，因此在各个领域引起了广泛的兴趣 [^1]。HAR 可用于各种应用，包括识别日常生活活动、检测紧急情况、增强自动驾驶系统以及支持辅助生活 [^2]。 随着机器人越来越多地融入我们生活的方方面面，提高人机交互 (HRI) 的重要性日益凸显。提高 HRI 的一种方法是为机器人配备 HAR 算法，使它们能够识别用户活动 [^3]。这种能力使机器人能够更好地理解用户的状态和活动，从而使它们能够在不同的 HRI 场景中做出更明智的决策。 机器人可以作为多功能的平台，集成各种类型的传感器，为收集各种用户数据提供了极好的机会。这些数据对于开发稳健的活动识别模型至关重要。此外，由于机器人可以配备多种传感器，因此非常适合开发多模态活动识别模型，这些模型在高级活动识别应用中已显示出卓越的性能 [^4]。 一些研究重点是开发在人机交互 (HRI) 环境中使用的活动识别算法。一些论文提出了专门针对在与工业机器人交互时识别人类活动的活动识别方法 [^5]。这些工作旨在提高工业环境中机器人的使用效率，因为它们通常与人类操作员协同工作。 同样，也有一些研究关注农业机器人在活动识别方面的应用 [^6]。 最近，人们越来越关注开发一种名为护理机器人和个人机器人助手的机器人。这些机器人旨在深入参与用户的日常生活，与个人紧密接触，并提供支持和帮助 [^7]。这些机器人的一个关键应用是活动识别，用于检测紧急情况，从而在家庭环境中或医疗机构（如老年护理中心）提供全天候监控 [^8]。因此，在这些机器人上实施实用的活动识别算法非常重要。然而，尽管在各种机器人环境中都研究了人机交互中的活动识别，但在护理和个人机器人领域仍然存在明显的差距。 开发活动识别模型，尤其是基于人工智能 (AI) 和深度学习 (DL) 的模型，需要访问合适的训练数据集 [^9]。虽然有各种适用于不同环境的活动识别数据集，涵盖各种传感器和人类活动，但缺乏针对护理和个人助理机器人领域中人机交互的活动识别的特定数据集。这些机器人与用户进行交互，以实现不同的目的，涵盖比工业或农业机器人更广泛的活动范围，后者通常执行特定任务。因此，需要为护理/个人机器人在人机交互背景下的活动识别设计的专门数据集包含这些活动的多样性。 此外，鉴于这些机器人通常配备各种传感器，这些数据集可以收集广泛的用户数据。 这种数据集为开发基于各种传感器数据的活动识别模型以及促进开发多模态活动识别模型提供了机会，后者已在活动识别中显示出显着的性能改进 [^4]。 此外，用户隐私是关于机器人中活动识别的一个关键方面 [^10] [^11] [^12] [^13]。 --- 由于这些机器人在用户的家中和护理设施中与用户近距离部署，因此它们有可能收集敏感的用户数据。 因此，在与这些机器人的交互中尊重用户隐私至关重要。 因此，在这些机器人的人机交互中开发活动识别模型时，应考虑到隐私问题 [^14]。 这可能涉及探索使用隐私保护传感器，以避免收集敏感的用户数据。 3D 激光雷达传感器已在各个领域得到广泛应用，包括自动驾驶汽车 [^15]、无人机 [^16] 和机器人 [^17]。 激光雷达传感器在机器人应用中的使用正在增加，许多机器人现在都配备了这种传感器，因为它在诸如机器人导航 [^18] 等任务中的能力。 然而，探索该传感器在家庭活动识别 (HAR) 中的应用范围有限，只有少数研究尝试调查其在该领域的潜力 [^19]。 值得注意的是，在机器人文献中，3D 激光雷达被认为是保护隐私的传感器 [^20]。 鉴于它收集的数据类型，3D 激光雷达可以提供足够的信息用于 HAR，同时收集较少详细或敏感的用户数据，从而尊重用户隐私。 此外，它可以在各种环境条件下独立运行，使其成为 HAR 的合适选择。 因此，该传感器似乎非常适合 HAR 目的，同时确保保护用户隐私。 此外，由于它们在机器人中的广泛使用，它们可以与其他机器人传感器集成，从而实现多模态传感方法。 1) 开发基于深度学习 (DL) 的 HAR 模型，利用卷积神经网络 (CNN) [^21]、长短期记忆网络 (LSTM) [^22]、序列到序列 (Seq2Seq) [^23] 和 PointNet++ [^24] 架构的组合。 本文致力于开发用于护理和个人助理机器人的隐私保护活动识别算法。它特别关注利用多模态传感算法，特别强调利用 3D 激光雷达传感器。本文的贡献可以概括如下： 2) 将 3D 激光雷达传感器与其他传感器集成，包括佩戴在用户手腕上的传感器以及机器人的力/扭矩传感器，这是用于活动识别的此类集成的首次应用。 3) 开发各种多模态活动识别算法，用于集成来自上述传感器的数据，包括数据级和特征级融合技术。 ### II. 相关工作 ### A. 基于 3D 激光雷达的活动识别 3D 激光雷达已成为机器人中一种重要的传感器，具有各种应用，例如环境的三维地图和导航。然而，它收集的详细数据，包括人体姿势，使其也可能用于活动识别。尽管具有潜力，但与用于其他应用相比，3D 激光雷达在活动识别中的应用研究还不够广泛。 关于使用 3D LiDAR 技术进行人体活动识别（HAR）的研究包括 Roche 等人的工作，他们结合了 3D LiDAR 和 RGB 摄像头进行活动识别，特别是人类日常生活活动 [^19]。RGB 摄像头用于检测用户位置，然后将 3D LiDAR 数据应用到 CNN 架构中以识别用户活动。在另一项研究中 [^22]，Yu 等人仅使用 3D LiDAR 数据进行 HAR，他们采用基于噪声的密度空间聚类框架，并将其与基于 LSTM 单元的深度学习网络相结合，以识别人类日常生活活动。Dang 等人的一项研究提出了一种深度学习框架，用于使用 3D LiDAR 识别四种常见的人类运动类型 [^25]。 如前所述，3D 激光雷达在人体活动识别 (HAR) 领域的应用仍然有限，只有少数研究探索该领域。现有研究的一个主要局限性是，它们主要关注人类日常活动。此外，与其他传感器的集成也受到限制，只有在 Roche 等人的工作中才与 RGB 相机集成 [^19]。因此，仍然存在解决这些局限性的巨大潜力，本文尝试解决这些问题。首先，研究重点已扩展到一类新的活动，即人机交互 (HRI) 过程中的人体活动识别。这拓宽了基于 3D 激光雷达的 HAR 的范围和应用，不仅限于日常活动。其次，探索了 3D 激光雷达与其他注重隐私保护的传感器的集成，例如可穿戴传感器和机器人传感器。这为使用 3D 激光雷达的多模态传感开辟了新的可能性，可以实现更全面和准确的 HAR 算法。最后，将常用的 HAR 深度学习架构，如 CNN 和 LSTM，以及成熟的深度学习架构，包括 Seq2Seq 机制和 Pointnet++ 框架，集成并应用于开发 HAR 模型。本文旨在克服先前研究中确定的局限性，并为推进基于 3D 激光雷达的 HAR 做出贡献。 ### B. 用于 HAR 的多模态深度学习方法 在 HAR 中，多模态传感因其通过结合来自多个传感器的​​数据来提高活动识别潜力的优势而受到关注 [^26]。与使用单个传感器相比，这种方法提供了更大的鲁棒性和准确性。如果一个传感器无法捕获数据，其他传感器可以进行补偿，从而降低数据丢失的风险。此外，不同的传感器捕获不同的活动特征，从而可以更全面地了解情况。总的来说，多模态传感增强了现实场景中 HAR 系统的可靠性和有效性。 在多模态深度学习用于 HAR 时，有各种方法可以集成来自不同传感器的​​数据。三种常用的多模态 HAR 中传感器数据集成方法包括： - 数据级融合：在将数据馈送到深度学习模型以进行活动识别之前，将来自多个传感器的原始数据组合在一起 [^27]。 - 特征级融合：使用单独的深度学习模型从每个传感器提取特征，然后将它们合并以进行进一步处理 [^28]。 - 决策级融合：对每个传感器的​​数据独立进行分类，然后通过高级分类器组合决策 [^29]。 本文探索了三种不同传感器的集成，包括 3D 激光雷达、用户腕部可穿戴传感器以及 --- 机器人的力/力矩传感器，使用数据级和特征级融合方法。比较每种融合方法实现的 HAR 准确性，以确定传感器集成在活动识别中的有效性。 ### III. PRI-CARE 数据集 PriMA-Care (用于护理机器人中人体活动识别的注重隐私保护的多模态数据集) 是为了支持 HRI 环境中 HAR 算法的开发而收集的 [^30]。该数据集完全通过基于机器人的系统收集，所有传感器（除了一个可穿戴传感器）都集成到 TIAGo 机器人中 [^31]，该机器人专为在护理环境中使用而设计。由于技术限制，可穿戴传感器的​​数据是单独收集的。 该数据集包含 27 种活动，反映了典型的护理场景，分为四大类：1) 日常活动，2) 物理人机交互，3) 通过手势控制机器人，以及 4) 机器人附近的用户移动。 这些涵盖了用户与机器人的交互以及仅监测用户的情况，旨在实现更强大的活动识别模型。 活动的列表见 [^30]。 ### A. 选择的活动 如前所述，PriMA-Care 数据集包含二十七种不同的活动，这些活动涉及在用户家中或护理设施环境中，机器人与用户之间的交互，或机器人对用户的监测。 这些活动分为四组。 在这些组中，两个组——物理人机交互和用户控制的机器人活动——直接与人机交互相关。 由于本文重点研究人机交互背景下的活动识别，因此，我们从 PriMA-Care 数据集的这两组中选择了特定的活动，以开发活动识别模型。 相应地，从这两组中选择了九种活动： "将物体交给机器人"，"在行走时握住机器人的手"，"与机器人危险互动"，"向我走来"，"远离我"，"旋转"，"停止"，"给我物体 1"，以及 "给我物体 2"。 图 3 显示了本文中研究的来自 PriMA-Care 的九种活动，这些活动由 3D 激光雷达传感器捕获。 ### B. 选择的传感器 在本文中，我们重点研究了三种特定的传感器，作为开发使用 PriMA-Care 数据集的多元活动识别模型的第一步。 目标之一是研究 3D 激光雷达在活动识别中的潜在应用，使其成为我们研究的核心组成部分。 此外，由于某些活动涉及物理人机交互，因此，力/扭矩传感器对于识别这些交互至关重要，因此，它们被纳入了研究。 此外，涉及用户向机器人发送指令的活动需要用户以特定的模式移动手，因此，佩戴在手腕上的可穿戴传感器对于识别这些活动非常有用。 因此，除了 3D 激光雷达之外，还选择了可穿戴传感器和力/扭矩传感器，以识别活动。 所有这些传感器都具有隐私保护的优点。 它们的集成被认为是开发多元活动识别模型。 每个传感器的规格见 [^30]。 ![Image](images/0169636a852e6bdf2b0243397c17407cbd52f8661a80da0258c4ea38542b2ee4.jpg)
Fig. 1. The activities chosen from the PriMA-Care dataset for developing HAR models. From left to right: Top row: giving an object to the robot, holding the robot's hand while walking, interacting with the robot dangerously. Middle row: come towards me, rotate, bring me object 1. Bottom row: bring me object 2, get away from me, stop.
![Image](images/78e82fb82117855af11dd180d9ed9e53a986e5e1370e1e98643ef9e10563c21c.jpg)
Fig. 2. ConVLSTM: the DL architecture used for processing wearable and force/torque sensor data.
### IV. 基于深度学习的传感器数据处理 基于深度学习的传感器数据处理涉及两个主要步骤。 第一步是单独处理来自每个传感器的（用于数据级融合）或一起处理的（用于特征级融合）数据，以提取相关特征。 第二步是使用深度学习框架集成这些特征以识别活动。 本节将详细介绍用于处理来自每个传感器的数据的深度学习架构。 可穿戴传感器以 54 Hz 的采样率从三轴加速度计、陀螺仪和磁力计收集数据，从而产生 9 个数据流。 力/扭矩传感器以 50 Hz 的速率测量施加在末端执行器上的力矩，产生 6 个数据流。 3D 激光雷达传感器以不同的采样率和数据流数量运行。 在 PriMA-Care 数据集的收集过程中，我们使用了 20 Hz 的采样率，128 个数据收集通道和 1024 的分辨率。 这会产生 $128 \times 1024$ 个数据点，每个时间戳生成一个具有 $131072 (128 \times 1024)$ 个点的点云。 为了同步来自所有传感器的​​数据，可穿戴传感器和力/扭矩传感器的​​数据被降采样到 20 赫兹。 这确保了每个由 3D 激光雷达在每个时间戳收集的点云，都有来自可穿戴传感器和力/扭矩传感器的相应值。 这种同步对于通过整合来自不同传感器的​​数据来开发多模态活动识别模型至关重要。 --- ![Image](images/2ddb799ca1d1221e820eaf6e33c33a371dbf90b1f2277f503cd603dcc3b1c4f1.jpg)
Fig. 3. A schematic of the PointNet++ architecture used for processing 3D Lidar point clouds. PointNet++ has a multi-layered structure that samples and groups the point cloud, applying the PointNet framework to each group iteratively, ultimately mapping the entire point cloud to a feature vector.
### A. 可穿戴传感器和力/扭矩传感器数据处理 由于这些传感器收集的数据结构相似，即在降采样后为 20 赫兹的数据流，因此使用了相似的深度学习架构来处理它们的数据。 这些结构结合了 CNN、LSTM 和 FC 层。 图 4 说明了用于处理传感器数据的深度学习架构（ConvLSTM）。 根据现有文献，基于深度学习的活动识别模型在可穿戴传感器数据或其他类似来源上，当以顺序方式处理其数据时，而不是在单个时间戳处处理数据时，会产生更高的准确度。 因此，在处理可穿戴传感器和力/扭矩传感器时，我们采用了一种窗口方法，考虑了 20 个时间戳的序列，相当于 1 秒的数据，并将这些窗口之间的重叠设置为 10 个时间戳，即 0.5 秒。 如图 4 所示，用于处理可穿戴传感器和力/扭矩传感器数据的深度学习架构由 12 层组成。 这些层按以下颜色进行编码：蓝色表示 CNN，黄色表示最大池化，绿色表示 Dropout，红色表示 LSTM，紫色表示全连接层。 第一两层，以蓝色表示，是具有尺寸 (A, 200, 5) 的 1 维卷积神经网络层。 在这里，A 等于 6、9 或 15，具体取决于该层是否应用于力/扭矩传感器、可穿戴传感器或两者。 这些 CNN 层的卷积核大小为 5。 第 3 层是最大池化层，大小为 3。 第 4 层是 Dropout 层，Dropout 速率为 0.25。 第 5 层和第 6 层也是具有尺寸 (200, 200, 2) 的 1 维卷积神经网络层，其中 2 是卷积核大小。 第 7 层是另一个最大池化层，大小也为 3。 第 8 层和第 10 层是 LSTM 层，尺寸分别为 (200, 128) 和 (128, 128)。 第 9 层和第 11 层是 Dropout 层，Dropout 速率为 0.25。 最后一层是全连接层，它将 128 个特征映射到类别的数量，假设活动识别任务应用于传感器数据，而未使用 3D 激光雷达数据进行整合。 ### B. 3D 激光雷达数据处理 3D 激光雷达传感器以 3D 点云的形式收集数据，需要专门的深度学习架构才能有效处理数据。 标准的深度学习模型通常不适合这项任务。 为了解决这个问题，通常使用特定的深度学习模型来处理 3D 激光雷达数据。 在这些模型中，PointNet++ 架构经常被用于处理 3D 激光雷达点云数据。 PointNet++ 在从这些数据中提取有意义的特征以进行进一步分析方面表现出色。 PointNet++ [^24] 适用于点云上的分类和分割任务。 图 5 说明了 PointNet++ 架构。 PointNet++ 在原始 PointNet 架构 [^32] 的基础上，采用一种多层方法来识别不同尺度的局部特征。 它通过一种系统的采样和分组过程将输入点云分割成重叠区域。 在每个区域中，PointNet++ 应用 PointNet 层来分析和学习局部特征。 然后，这些局部特征被逐步整合以形成整个点云的综合全局表示。 正如前面提到的，由 3D LiDAR 生成的点云包含 131072 个点，这些点来自 128 个通道，每个通道有 1024 个点。但是，在训练深度学习模型时，我们遇到了一个重大的计算挑战，因为将所有这些数据点输入到模型中。计算成本过高，导致 GPU 无法处理所有这些点。在 GPU 能够处理的情况下，单个训练步骤的时间超过了几个小时，有时甚至超过了一整天。 为了解决这个问题，并使训练成为可能，我们必须显著减少点云的数量。为此，我们仅提取了点云中捕获受试者主要运动的部分，而忽略了其他部分。因此，我们选择了 7300 个点来训练模型。尽管这种方法仍然耗时，每个训练步骤大约需要 1 小时，但我们能够在可管理的范围内基于点云进行模型训练。 ### C. 数据级别的传感器融合 在本研究中，我们仅在数据级别融合了可穿戴传感器和力/扭矩传感器的数据，而不将 3D LiDAR 传感器的数据集成在一起。之所以做出这个决定，是因为与其它传感器相比，3D LiDAR 传感器的结构非常复杂且不同。不将 3D LiDAR 数据与其他传感器在数据级别融合的另一个原因是数据量的差异。虽然可穿戴和力/扭矩传感器收集了相似量的数据（分别为 9 和 6 个数据流），但 3D LiDAR 传感器收集了大量的数据。将 3D LiDAR 传感器的原始数据与其他传感器结合可能会导致输入数据的不平衡，从而可能使结果偏向 3D LiDAR 数据。因此，对于数据级别的融合，我们排除了 3D LiDAR 传感器。 ### D. 特征级别的传感器融合 在集成传感器数据的第二种方法中，我们进行特征级别的融合。在这种方法中，每个传感器都基于图 4 和图 5 中所示的深度学习网络进行单独处理。从每个传感器提取的特征被连接在一起。这些连接的特征张量随后被输入到另一个深度学习架构中，通常包括一组全连接层。最后，这些连接的特征被映射到活动类别。 --- 将这些传感器在窗口处理后与 3D LiDAR 传感器集成存在一个挑战，即 20 个样本窗口和 3D LiDAR 的数据点之间的数据点数量不相等。由于可穿戴和力/扭矩传感器的传感器数据被分组到 20 个样本序列中，因此与 3D LiDAR 的点云数量相比，这些组的数量较少。 解决此挑战的一种潜在方法是应用类似的策略来处理 3D LiDAR 数据。这涉及考虑由 20 个 3D LiDAR 点云组成的窗口，并处理此窗口，从而在每个训练步骤中包含所有这些数据点。但是，实施这种方法几乎是不可能的。 我们使用序列到序列 (Seq2Seq) 模型来集成 3D LiDAR 特征。将 20 个特征向量输入到编码器中，解码器产生单个输出向量。然后将其与来自可穿戴和力/扭矩传感器的特征融合。 首先，用于处理 3D LiDAR 数据的 PointNet++ 框架无法应用于一系列 3D LiDAR 数据。其次，修改 PointNet++ 以适应此过程，即在每个训练步骤中处理 20 个点云，会带来重大的计算挑战。由于 3D LiDAR 生成的点云数据量很大，即使是强大的处理器也难以处理一组点云。 图 7 说明了这种基于 Seq2Seq 的多模态特征级融合方法。 ### V. 结果与讨论 最初的基于窗口的方法无法处理来自 3D LiDAR、可穿戴设备以及力和扭矩传感器的不同数据大小。为了解决这个问题，我们分别通过 PointNet++ 处理每个 3D 点云，提取特征，并将其保存。然后创建 20 个特征的窗口，并将其与来自其他传感器的 20 个样本的窗口组合，以确保训练的输入大小相等。 在本节中，我们展示了用于训练 HAR 模型的实验结果。大约 80% 的数据用于训练，而 20% 的数据用于测试训练的模型。每个传感器的详细数据以及 HAR 模型，以及相应的图表，都提供了在第四节中。基于单个传感器和多传感器集成，开发了五个不同的模型。这些模型如下： 1) 仅使用可穿戴传感器 2) 可穿戴 + 力和扭矩数据级融合 3) 可穿戴 + 力和扭矩特征级融合 4) 仅使用 3D LiDAR 传感器 5) 3D LiDAR + 可穿戴 + 力和扭矩特征级融合 我们没有单独训练基于力和扭矩传感器的模型，因为该传感器仅在两个涉及通过其末端执行器与机器人进行物理交互的特定活动中收集有意义的数据。在所有其他情况下，传感器数据大多是无意义的，主要由噪声组成。 所有这些模型都使用相同的训练集进行训练，并在相同的测试集上进行测试，以确保对模型准确性的公平比较。为每个 HAR 模型评估的性能指标包括准确率、精确度、召回率和 F1 分数。 这些模型使用 AMD Threadripper 1950X CPU 和 Nvidia GTX1080ti GPU，以及 Python 和 PyTorch 进行训练。训练第一个三个模型（可穿戴和力和扭矩传感器）的速度很快，仅需几分钟。第四个模型（仅使用 3D LiDAR）每个步骤需要 14 分钟，总共 2 天，进行 200 个 epoch。第五个多模态模型（使用 LiDAR 的 Seq2Seq）每个步骤需要 1 小时，结果是 8 天的训练时间。 表 I 呈现了每个训练模型在 200 个 epoch 中，对精确度、召回率、准确率和 F1 分数的最大值和平均值，这些数据适用于测试集。图 9 提供了所有五个训练模型的混淆矩阵。 根据表 I 中展示的结果，我们关注准确率，发现仅使用可穿戴传感器的模型，其平均准确率为 0.5515，最高准确率为 0.5900。这表明，仅依赖可穿戴传感器数据会限制模型捕捉人类活动复杂性的能力。相比之下，在数据层将力/扭矩传感器数据与可穿戴传感器集成，可以获得适度的改进，平均准确率为 0.5631，最高为 0.6050。额外的这些数据提供了更多的上下文信息，但数据层上的融合方法可能无法充分利用组合传感器信息的潜力。 当采用特征层融合，结合可穿戴和力/扭矩传感器时，性能得到显著提升，平均准确率为 0.5791，最高为 0.6403。特征层融合允许模型更有效地利用两种传感器类型的优势，从而提高分类准确率。当使用仅有 3D 激光雷达数据时，观察到显着的改进，平均准确率为 0.6508，最高准确率为 0.7550。3D 激光雷达传感器提供丰富的空间信息，极大地提高了模型区分不同活动的准确度和召回率的能力。 集成所有传感器可以获得最高的性能，平均准确率为 0.6945，最高准确率为 0.8073。这种全面的传感器集成结合了所有单个传感器类型的优点，从而提高了卓越的准确率，并提高了精度（平均值：0.7012，最大值：0.8169）、召回率（平均值：0.6660，最大值：0.7722）和 F1 分数（平均值：0.6817，最大值：0.7675）。多个数据源使 HAR 模型能够在所有指标上实现最高的性能水平，这表明在复杂活动识别任务中，多传感器集成具有重要价值。 总的来说，结果强调了传感器融合在提高 HAR 模型性能中的重要性。虽然仅使用可穿戴传感器提供的准确率有限，但集成其他传感器，特别是通过特征层融合，可以显着提高模型准确分类人类活动的 способность。这种全面的方法可以提高精度、召回率和 F1 分数，最终提供更强大、更可靠的 HAR 系统。 根据图 9 中描绘的混淆矩阵，表 I 和图 8 中阐述的发现得到了进一步的澄清。从这些矩阵中，可以清楚地看到，仅使用 --- ![Image](images/1806ebe4b594e6fc6f96a37850364acdb56c8dc91c7bdb5621a944dfca1c17dc.jpg)
Fig. 4. The integration of wearable, force/torque, and 3D Lidar sensors at the feature-level. The data from wearable and force/torque sensors undergo separate processing using the ConvLSTM DL model illustrated in Fig. 4. Each model receives a sequence of 20 data points at every training step, producing a 128-feature vector as output. Meanwhile, the 3D Lidar data is processed using the PointNet++ architecture from Fig. 5. Each of the 20 point clouds is individually processed, containing 7300 points each, resulting in a 128-feature vector output for each cloud. For each set of 20 point clouds processed (with a 10-point overlap), the resulting $20 \times 128$ features are inputted into a Seq2Seq mechanism. Each 128-feature vector serves as an input to the Seq2Seq mechanism, organized in chronological order. Subsequently, the output of this mechanism, processing the $20 \times 128$ features, yields a single 128-feature vector. Finally, this output is concatenated with the 128-feature vectors obtained from the wearable and force/torque sensors. The resulting 384-feature vectors are then fed into a multilayer perceptron for the final classification. This MLP maps these features to a vector of 9 outputs, ultimately recognizing the activity.
TABLE I
AVERAGE AND MAXIMUM VALUES FOR PRECISION, RECALL, F1-SCORE, AND ACCURACY FOR DIFFERENT HAR MODELS.
HAR modelPrecisionRecallF1-ScoreAccuracy
AvgMaxAvgMaxAvgMaxAvgMax
Only wearable sensor0.60510.63960.56580.59700.55110.58570.55150.5900
Wearable & force/torque sensors data-level fusion0.62170.67180.57870.60920.56690.61260.56310.6050
Wearable & force/torque sensors feature-level fusion0.63730.71150.59440.65330.59390.64900.57910.6403
Only 3D Lidar0.72300.78610.66750.77090.63170.74380.65080.7550
All sensors integrated0.70120.81690.66600.77220.68170.76750.69450.8073
可穿戴传感器的模型在对不同活动进行分类时，准确性不高。具体来说，该模型在大多数活动中都显示出中等准确性，但 A5 具有一定的准确性。这可能是因为 A5 涉及握持和移动机器人的手臂，而力/扭矩传感器在此任务中至关重要，仅使用可穿戴传感器无法准确识别它。值得注意的是，该模型经常将 A5 错误分类为 A6，A6 涉及观察机器人危险地移动。这两个活动都是独特的，因为它们都涉及站立和大量的运动，而其他活动大多涉及坐姿。 对于可穿戴和力/扭矩传感器的数据层融合，其混淆矩阵与仅使用可穿戴传感器的模型的准确性相似，如表 I 所示。然而，一个关键的区别是，在对 A5 的分类方面，获得了显着的改进，这突出了结合力/扭矩数据的优势。 可穿戴传感器和力/扭矩传感器的特征级融合在A1和A5活动中显示出显着的准确性提升，与仅使用可穿戴传感器和数据级融合模型相比。这些活动涉及与机器人进行物理交互，从联合传感器数据中可以获得巨大益处，从而显著提高准确性。 3D激光雷达传感器的混淆矩阵表明，仅使用此传感器比仅使用可穿戴传感器及其与力/扭矩传感器的集成在数据和特征级别上表现更好，但对于A5和A6活动而言，情况并非如此。这两个活动涉及站立和大量运动，这可能会挑战3D激光雷达传感器，因为用户的相对于机器人的位置会发生变化。尽管3D激光雷达传感器能够捕捉到用户运动的全面信息，但在这些活动中，用户位置的变化可能会导致分类准确性降低。 最终的混淆矩阵，即集成所有传感器的模型的混淆矩阵，显示出最高的总体准确性，这与表I中的数据一致。该模型利用了3D激光雷达传感器在大多数活动中的优势，同时还结合了可穿戴传感器和力/扭矩传感器的准确性，用于A5和A6活动。对于3D激光雷达传感器表现出色的活动，该集成模型显示出卓越的性能，这可能是由于3D激光雷达传感器与其他传感器相结合的结果。对于A5和A6活动，它优于可穿戴传感器和力/扭矩传感器的特征级融合，并受益于3D激光雷达传感器的添加。 总而言之，尽管所开发的HAR模型的最高总体准确性并非非常高（80.37%），但传感器集成显着提高了 --- ![Image](images/9c443026a56666004ecbae2d067f2f9342ee7b9f6514e2fff1f80384e34c476d.jpg) ![Image](images/e10febcdc5e1b2d3efe32d87e93ec17d142c5a1bdebb5bb928ea8351df944e88.jpg) ![Image](images/fad85ab55427086b0e8516e28148bbe83b6b9a10f0ee5cc9a9b2f8cec5d8e930.jpg) ![Image](images/fd5463ce05b155e3ccb135ca6b33040486632517f12d1f8afa8827cfaaab8cac.jpg) ![Image](images/28fd47a45bc456984e8badf8ef963572762d119b370564f3c2b1166f3a5438d2.jpg) "A1: Giving_an_object_to_robot", "A2: Come\_towards\_me", "A3: Get_away_from_me", "A4: Bring_me_object_1", "A5: Holding\_robot's\_arm", "A6: Observing\_robot\_dangerously", "A7: Stop", "A8: Bring_me_object_2", "A9: Rotate"
Fig. 5. Confusion matrices for all five trained HAR models, illustrating the classification performance across nine different activities and the accuracy of each HAR model in recognizing these activities.
分类准确性。这种改进是显而易见的，即通过将力/扭矩传感器数据添加到可穿戴传感器中，并通过结合3D激光雷达传感器进一步提高。 ### VI. 结论 本文提出了一种用于HRI背景下的HAR的多模态深度学习模型。主要重点是使用集成在一起的隐私保护传感器，以3D激光雷达传感器为中心。还使用了佩戴在用户右手腕上的可穿戴传感器和机器人的力/扭矩传感器，并将这些传感器与3D激光雷达传感器集成在一起。目的是涵盖用户与机器人交互时可能进行的各种活动。在此方面，研究了九项不同的活动，包括物理HRI和用户对机器人的指令。这些活动是从最近收集的数据集PriMA-Care中选择的，该数据集包括使用10种不同的传感器记录的约27项用户活动。 研究了使用多模态深度学习技术进行传感器数据融合的不同方法。这些方法包括可穿戴传感器和力/扭矩传感器的特征级融合，以及所有传感器的特征级融合。结果表明，通过这些方法集成传感器数据可以提高用于评估HAR的指标。所有传感器特征级集成显示出最佳性能，实现了最高的准确率80.37%。 虽然传感器融合有效地提高了HAR的准确性，但获得的最佳准确率并不高，这是这项工作的重大局限性。然而，本文的主要目标是比较不同传感器的集成以及各种传感器数据集成方式对性能的影响。因此，获得最佳性能不太可能，因为我们运行了许多不同的配置，而不是只针对最有希望的配置。另一个限制是，文献表明，与特征级或数据级融合相比，决策级传感器融合可以实现更高的HAR准确性，但本研究中没有探索决策级传感器融合。此外，对于3D激光雷达数据处理，只使用了PointNet++架构，可以使用更高级的深度学习框架。另一个 --- 限制是，为了降低计算成本，裁剪了3D激光雷达点云的一部分，该点云包含用户移动的部分，以便进行处理。这种方法可能不准确或不够自动化。应该考虑更精确的方法来提取点云中的相关部分。 未来的工作将重点关注各个方面。这些包括使用决策级传感器融合，并在研究中增加更多活动。此外，还将集成来自PriMA-Care的其他传感器，特别是热像仪。该相机保护隐私，并且符合本研究的目标。该工作还将使用其他基准深度学习模型来处理点云数据。此外，将使用独立成分分析（ICA）、主成分分析（PCA）和线性判别分析（LDA）等降维方法，以从3D激光雷达数据中提取相关部分以进行进一步处理。 ## 致谢 本工作部分由挪威研究委员会资助，是“机器人社会中的漏洞”（VIROS）项目的一部分，项目编号为288285，以及“预测和直观的机器人伴侣”（PIRC）项目，项目编号为312333，以及通过其卓越中心计划RITMO，项目编号为262762。 ## 参考文献 [^1]: M. Vrigkas, C. Nikou, and I. A. Kakadiaris, “A review of human activity recognition methods,” Frontiers in Robotics and AI, vol. 2, p. 28, 2015. [^2]: A. Taha, H. H. Zayed, M. E. Khalifa, and E.-S. M. El-Horbaty, “Human activity recognition for surveillance applications,” in Proceedings of the 7th International Conference on Information Technology, 2015, pp. 577–586. [^3]: A. Roitberg, A. Perzylo, N. Somani, M. Giuliani, M. Rickert, and A. Knoll, “Human activity recognition in the context of industrial human-robot interaction,” in Signal and Information Processing Association Annual Summit and Conference (APSIPA), 2014 Asia-Pacific. IEEE, 2014, pp. 1–10. [^4]: S. Qiu, H. Zhao, N. Jiang, Z. Wang, L. Liu, Y. An, H. Zhao, X. Miao, R. Liu, and G. Fortino, “Multi-sensor information fusion based on machine learning for real applications in human activity recognition: State-of-the-art and research challenges,” Information Fusion, vol. 80, pp. 241–265, 2022. [^5]: A. Roitberg, A. Perzylo, N. Somani, M. Giuliani, M. Rickert, and A. Knoll, “Human activity recognition in the context of industrial human-robot interaction,” in Signal and Information Processing Association Annual Summit and Conference (APSIPA), 2014 Asia-Pacific. IEEE, 2014, pp. 1–10. [^6]: A. Anagnostis, L. Benos, D. Tsaopoulos, A. Tagarakis, N. Tsolakis, and D. Bochtis, “Human activity recognition through recurrent neural networks for human-robot interaction in agriculture,” Applied Sciences, vol. 11, no. 5, p. 2188, 2021. [^7]: E. Martinez-Martin and A. P. del Pobil, “Personal robot assistants for elderly care: an overview,” Personal assistants: Emerging computational technologies, pp. 77–91, 2018. [^8]: K. T. Kadhim, A. M. Alsahlany, S. M. Wadi, and H. T. Kadhum, “An overview of patient’s health status monitoring system based on internet of things (iot),” Wireless Personal Communications, vol. 114, no. 3, pp. 2235–2262, 2020. [^9]: A. D. Antar, M. Ahmed, and M. A. R. Ahad, “Challenges in sensor-based human activity recognition and a comparative analysis of benchmark datasets: A review,” in 2019 Joint 8th International Conference on Informatics, Electronics & Vision (ICIEV) and 2019 3rd International Conference on Imaging, Vision & Pattern Recognition (icIVPR). IEEE, 2019, pp. 134–139. [^10]: A. Baselizadeh, D. S. Lindblom, W. Khaksar, M. Z. Uddin, and J. Torresen, “Comparative analysis of vision-based sensors for human monitoring in care robots: Exploring the utility-privacy trade-off,” in 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN), 2024, pp. 1794–1801. [^11]: A. Baselizadeh, “Advancing safety and privacy in human-robot interaction: Exploring learning-based control and multi-modal sensing approaches,” 2024. [^12]: A. Baselizadeh, W. Khaksar, M. Z. Uddin, D. Saplacan, and J. Torresen, "Privacy-preserving user pose prediction for safe and efficient human-robot interaction," in 2023 IEEE 19th International Conference on Automation Science and Engineering (CASE), 2023, pp. 1–8. [^13]: J. Torresen, D. Saplacan, A. Baselizadeh, and T. Mahler, “Machine excellence tradeoffs to ethical and legal perspectives,” in 2023 IEEE Conference on Artificial Intelligence (CAI), 2023, pp. 237–240. [^14]: M. Ryoo, B. Rothrock, C. Fleming, and H. J. Yang, “Privacy-preserving human activity recognition from extreme low resolution,” in Proceedings of the AAAI conference on artificial intelligence, vol. 31, no. 1, 2017. [^15]: J. Choi, S. Ulbrich, B. Lichte, and M. Maurer, “Multi-target tracking using a 3d-lidar sensor for autonomous vehicles,” in 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). IEEE, 2013, pp. 881–886. [^16]: O. Risbøl and L. Gustavsen, “Lidar from drones employed for mapping archaeology-potential, benefits and challenges,” Archaeological Prospection, vol. 25, no. 4, pp. 329–338, 2018. [^17]: T. Yang, Y. Li, C. Zhao, D. Yao, G. Chen, L. Sun, T. Krajnik, and Z. Yan, "3d tof lidar in mobile robotics: A review," arXiv preprint arXiv:2202.11025, 2022. [^18]: A. Pfrunder, P. V. Borges, A. R. Romero, G. Catt, and A. Elfes, “Real-time autonomous ground vehicle navigation in heterogeneous environments using a 3d lidar,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017, pp. 2601–2608. [^19]: J. Roche, V. De-Silva, J. Hook, M. Moencks, and A. Kondoz, "A multimodal data processing system for lidar-based human activity recognition," IEEE Transactions on Cybernetics, vol. 52, no. 10, pp. 10027–10040, 2021. [^20]: M. Ohno, R. Ukyo, T. Amano, H. Rizk, and H. Yamaguchi, “Privacy-preserving pedestrian tracking using distributed 3d lidars,” in 2023 IEEE International Conference on Pervasive Computing and Communications (PerCom), 2023, pp. 43–52. [^21]: Z. Li, F. Liu, W. Yang, S. Peng, and J. Zhou, “A survey of convolutional neural networks: analysis, applications, and prospects,” IEEE transactions on neural networks and learning systems, vol. 33, no. 12, pp. 6999–7019, 2021. [^22]: Z. Yu, A. Taha, W. Taylor, A. Zahid, K. Rajab, H. Heidari, M. A. Imran, and Q. H. Abbasi, “A radar-based human activity recognition using a novel 3-d point cloud classifier,” IEEE Sensors Journal, vol. 22, no. 19, pp. 18218–18227, 2022. [^23]: J. Gu, Z. Lu, H. Li, and V. O. Li, “Incorporating copying mechanism in sequence-to-sequence learning,” arXiv preprint arXiv:1603.06393, 2016. [^24]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” CoRR, vol. abs/1706.02413, 2017. [Online]. Available: [^25]: X. Dang, P. Jin, Z. Hao, W. Ke, H. Deng, and L. Wang, “Human movement recognition based on 3d point cloud spatiotemporal information from millimeter-wave radar,” Sensors, vol. 23, no. 23, p. 9430, 2023. [^26]: M. A. Hanif, T. Akram, A. Shahzad, M. A. Khan, U. Tariq, J.-I. Choi, Y. Nam, and Z. Zulfiqar, “Smart devices based multisensory approach for complex human activity recognition,” Comput. Mater. Contin, vol. 70, pp. 3221–3234, 2022. [^27]: K. Liu, N. Z. Gebraeel, and J. Shi, “A data-level fusion model for developing composite health indices for degradation modeling and prognostic analysis,” IEEE Transactions on Automation Science and Engineering, vol. 10, no. 3, pp. 652–664, 2013. [^28]: M. Ehatisham-Ul-Haq, A. Javed, M. A. Azam, H. M. A. Malik, A. Irtaza, I. H. Lee, and M. T. Mahmood, “Robust human activity recognition using multimodal feature-level fusion,” IEEE Access, vol. 7, pp. 60736–60751, 2019. [^29]: N. Dawar, S. Ostadabbas, and N. Kehtarnavaz, “Data augmentation in deep learning-based fusion of depth and inertial sensing for action recognition,” IEEE Sensors Letters, vol. 3, no. 1, pp. 1–4, 2019. [^30]: A. Baselizadeh, M. Z. Uddin, W. Khaksar, D. S. Lindblom, and J. Torresen, “Prima-care: Privacy-preserving multi-modal dataset for human activity recognition in care robots,” pp. 233–237, 2024. [^31]: J. Pages, L. Marchionni, and F. Ferro, “Tiago: the modular robot that adapts to different research needs,” in International workshop on robot modularity, IROS, vol. 290, 2016. [^32] C. R. Qi、H. Su、K. Mo 和 L. J. Guibas，《Pointnet：面向三维点集分类与分割的深度学习》，CoRR，卷 abs/1612.00593，2016。[在线]。可访问：