{
  "paper_id": "81b21b2cddef8d61943642b108a037f7",
  "paper_title": "Privacy-Preserving 3D Lidar-Based Multi-Modal Activity Recognition in Human-Robot Interaction",
  "paper_authors": [
    "Adel Baselizadeh",
    "Md Zia Uddin",
    "Weria Khaksar",
    "Diana Saplacan Lindblom",
    "Jim Torresen"
  ],
  "publication_date": "",
  "publication_venue": "2025 13th International Conference on Control, Mechatronics and Automation (ICCMA)",
  "abstract": "Human activity recognition (HAR) involves using sensors to collect human data, which is then analyzed to identify their activities. HAR has numerous applications across various fields. One significant area is human-robot interaction (HRI). Recognizing user activities provides robots with valuable insights into the user's status, enhancing the efficiency of HRI. However, developing HAR models presents privacy challenges due to the collection of user data, especially in robots, which are often equipped with diverse sensors. This paper proposes privacy-preserving HAR methods within the context of HRI. The paper investigates using privacy-preserving sensors, with a particular focus on 3D Lidar, to develop HAR models. It explores the integration of 3D Lidar with other sensors, including user-wearable sensors and robot-based sensors, including force/torque sensors, through multimodal deep learning (DL) approaches. Various DL-based sensor fusion methods, including data-level and feature-level fusion approaches, are thoroughly examined, and their accuracies for HAR are compared. A novel dataset was collected to train the multimodal DL models, capturing various user activities during HRI. This dataset leverages 10 different sensors, including 9 privacy-preserving sensors, along with an RGB camera for reference. The paper considers nine distinct user activities, including physical interactions with a robot and commanding a robot to perform specific tasks. The results indicate that integrating the sensors' data at the feature-level achieves an 80.73% accuracy in recognizing various user activities during HRI.",
  "keywords": [
    "Human activity recognition",
    "HAR",
    "human-robot interaction",
    "HRI",
    "3D Lidar",
    "multi-modal sensing",
    "privacy",
    "dataset"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:14.195143Z",
  "template_tag": "deep_read",
  "summary": "# Privacy-Preserving 3D Lidar-Based Multi-Modal Activity Recognition in Human-Robot Interaction\n\n\n**作者 / Authors:** Adel Baselizadeh, Md Zia Uddin, Weria Khaksar, Diana Saplacan Lindblom, Jim Torresen\n\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n### 1. Paper metadata\n\n- **Title**: Privacy-Preserving 3D Lidar-Based Multi-Modal Activity Recognition in Human-Robot Interaction\n- **Authors**:\n  - Adel Baselizadeh（RITMO，University of Oslo，挪威）\n  - Md Zia Uddin（SINTEF Digital，挪威）\n  - Weria Khaksar（Norwegian University of Life Sciences，挪威）\n  - Diana Saplacan Lindblom（RITMO，University of Oslo，挪威）\n  - Jim Torresen（RITMO，University of Oslo，挪威）\n- **Publication venue**: 未明确标注（会议或期刊，年份未给出，据参考文献推测为2024年）\n\n### 2. Research positioning\n\n- **Research area**: 人类活动识别（HAR）、人机交互（HRI）、隐私保护传感、多模态深度学习\n- **Concrete task**: 利用3D Lidar、可穿戴传感器（手腕）和机器人力/扭矩传感器，通过多模态深度学习模型实现HRI中的用户活动识别（九种活动）。\n- **Target users or application scenario**: 护理机器人/个人助理机器人，用于家庭或护理机构中监控用户活动，同时保护用户隐私。\n\n### 3. Input material checklist\n\n- **PDF**: 是（本文档）\n- **Appendix / supplement**: 未提及\n- **Code link**: 未提供\n- **Dataset link**: 未直接提供（提及PriMA-Care数据集，但未给出链接）\n\n### 4. Missing materials and risks\n\n- **Missing items**: 数据集链接、代码实现、详细附录（如传感器规格、完整活动列表）、所有实验配置细节（如超参数、训练细节）\n- **Likely impact**: 难以复现实验；无法验证模型性能；限制对方法细节的深入理解。\n\n### 5. Reading route (3-6 steps)\n\n- **Step 1**: 快速浏览摘要、引言、结论，把握论文总体贡献和核心结果（准确率80.73%）。\n- **Step 2**: 仔细阅读第三节（PriMA-Care数据集）和第四节（DL处理及融合方法），理解传感器规格、数据预处理、网络架构和两种融合方式。\n- **Step 3**: 深入分析第五节（结果与讨论），对比五种模型的性能，重点关注混淆矩阵和Table I。\n- **Step 4**: 阅读相关工作（第二节），了解3D Lidar HAR和现有融合方法的不足，明确本工作的定位。\n- **Step 5**: 批判性评估创新性、局限性和未来方向，并考虑可复现性和扩展性。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n### 1. 论文类型与类别\n\n- **类型**：方法类论文（提出新方法并验证），同时包含数据集构建（PriMA-Care）和多模态融合策略的比较研究。\n- **子类别**：人类活动识别（HAR）、人机交互（HRI）、隐私保护传感、3D Lidar、多模态深度学习。\n- **对应阅读理解阶段**：第一遍快速浏览，把握整体贡献和结构。\n\n### 2. 背景与研究背景\n\n- **研究背景**：HAR在多个领域（如医疗、安防、自动驾驶）有广泛应用。在护理/个人助理机器人场景中，HAR有助于机器理解用户状态，提升交互效率。然而，HAR依赖传感器采集用户数据，涉及隐私问题。现有HAR研究多用于工业或农业机器人，护理/个人助理机器人场景的HAR研究不足，且缺乏专用数据集。3D Lidar被视为隐私保护型传感器，但将其用于HAR的研究有限，且与其它传感器的融合尚未充分探索。\n- **本文定位**：填补护理/个人助理机器人场景下基于3D Lidar的隐私保护多模态HAR研究空白，提出基于3D Lidar、手腕可穿戴传感器和机器人力/扭矩传感器的多模态融合方法。\n- **关键假设**：3D Lidar能提供足够信息进行活动识别，同时保护用户隐私；多模态融合（尤其是特征级融合）能提升识别准确率；数据级融合对3D Lidar不适用（因数据结构和体量差异）。\n\n### 3. 直观正确性检查（关键假设是否合理）\n\n- **假设1：3D Lidar可用于HAR并保护隐私**：合理。3D Lidar获取点云，不采集面部、颜色等精细视觉信息，通常被视为隐私保护型传感器，且已有少量研究将其用于日常活动识别。\n- **假设2：多模态融合提升准确率**：合理。现有文献普遍表明多传感器融合能提升鲁棒性和准确性，本文实验也验证了特征级融合优于单传感器。\n- **假设3：数据级融合不适用于3D Lidar**：合理。3D Lidar点云数据量大（131072点/帧），与时间序列数据（如9个流）结构差异大，直接拼接会导致数据不平衡和计算困难。文中解释合理。\n- **假设4：对3D Lidar点云进行裁剪（只保留用户运动区域）不影响分类**：需谨慎。裁剪可能丢失背景信息，但作者说明裁剪后仍能提取主要运动特征。实际结果（最高准确率80.73%）表明该假设可接受，但可能引入偏差。\n- **整体合理性**：总体合理，但训练成本极高（总时长达8天），且准确率并非特别高，但作者比较了多种配置，侧重于方法论而非最优性能。\n\n### 4. 核心贡献（3-5条）\n\n1) 提出了首个基于3D Lidar与其它隐私保护传感器（手腕可穿戴、力/扭矩）融合的HAR方法，用于护理/个人助理机器人场景。\n2) 构建了全新数据集PriMA-Care（共27种活动，10种传感器，本文选取其中9种活动），支持多模态HAR研究。\n3) 系统比较了数据级融合与特征级融合两种多模态集成策略，并设计了基于ConvLSTM（处理时序传感器）和PointNet++（处理3D点云）结合Seq2Seq的融合架构。\n4) 实验验证了特征级全传感器融合达到最高准确率80.73%，优于仅使用3D Lidar（75.50%）或仅使用可穿戴（59.00%）等单传感器模型。\n5) 深入分析了各传感器在九类活动上的混淆模式，揭示了不同融合策略的优缺点，为后续隐私保护HAR研究提供了参考。\n\n### 5. 清晰度评估\n\n- **结构**：清晰，遵循标准论文结构（摘要、引言、相关工作、方法论、实验、结论）。\n- **图表**：有图（图1-5）和表（表I）辅助说明，但图表编号似乎有重叠（正文中图1-5，但图5在第五节重复），且部分图像未在文本中直接显示（如原始文档中的图片链接），可能影响阅读。表中包含五个模型的性能指标，直观。\n- **公式**：无复杂公式，主要依赖架构图和文字描述。\n- **可读性**：英文写作流畅，专有术语解释清楚，但对没有多模态HAR背景的读者可能需要查阅相关概念（如PointNet++、Seq2Seq）。\n- **优点**：实验设置、数据预处理、模型结构描述详细，便于复现（除数据集未公开外）。\n- **缺点**：图表编号混乱（图1-5重复出现），且部分图（如混淆矩阵图）在文中仅以图片链接形式出现，可能影响在纯文本环境中阅读。\n\n### 6. 继续还是停止建议\n\n- **建议**：继续阅读（即进行第二遍和第三遍精读）。\n- **理由**：本文提出了一种新颖的隐私保护多模态HAR方法，并构建了数据集，对研究HRI中的活动识别有重要参考价值。但实验结果（最高准确率80.37%）并非顶尖，作者也指出了多个局限性，因此需要深入阅读以评估方法的潜在改进空间和可复现性。此外，该领域相对小众，深入理解有助于跟进后续工作。\n\n### 7. 结构大纲图（Markmap）\n\n```markmap\n# Privacy-Preserving 3D Lidar-Based Multi-Modal HAR\n## 引言\n- 背景：HAR在HRI中的重要性\n- 问题：隐私挑战、数据集缺失\n- 贡献1：DL模型（CNN/LSTM/Seq2Seq/PointNet++）\n- 贡献2：3D Lidar与其它传感器融合\n- 贡献3：数据级与特征级融合算法\n## 相关工作\n- 3D Lidar HAR（Roche、Yu、Dang）\n- 多模态DL融合（数据级、特征级、决策级）\n## 数据集（PriMA-Care）\n- 27种活动、10种传感器\n- 选定的9种活动（两类：物理交互、命令控制）\n- 传感器规格：Lidar（20Hz，128通道，1024分辨率）、穿戴（54Hz→20Hz）、力/扭矩（50Hz→20Hz）\n## 方法\n- 数据处理：ConvLSTM（穿戴+力/扭）\n- 点云处理：PointNet++（7300点）\n- 数据级融合（仅穿戴+力/扭）\n- 特征级融合（所有传感器，Seq2Seq处理LiDAR特征）\n## 实验\n- 五种模型：单穿戴、穿戴+力/扭（数据/特征融合）、单3D Lidar、全传感器特征融合\n- 训练/测试：80/20，200 epochs，GTX1080ti\n- 结果：表I（准确率、精确率等），混淆矩阵\n- 性能：全传感器融合最高（80.73%）\n## 结论与展望\n- 总结：多模态融合提升性能\n- 局限：准确率不高、未用决策级融合、计算成本高、裁剪不精确\n- 未来：决策级融合、更多活动、热成像、降维方法\n```\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n### 1. 单句问题定义\n\n该论文旨在解决人机交互（HRI）中，如何在保护用户隐私的前提下，利用3D Lidar并结合其他隐私保护传感器，通过多模态深度学习实现高精度的用户活动识别。\n\n### 2. 痛点或不足\n\n- **用户隐私风险**：护理/个人助理机器人在家庭或护理机构中靠近用户部署，其配备的传感器（如RGB相机）可能采集敏感用户数据，带来隐私泄露问题（论文引言第I节，参考文献[^10] [^11] [^12] [^13]）。\n- **现有HAR数据集不适用**：当前普遍存在的HAR数据集多针对工业或农业机器人场景，活动范围有限，缺乏针对护理/个人助理机器人中多样化HRI活动的专门数据集（第I节）。\n- **3D Lidar用于HAR研究不足**：3D Lidar作为隐私保护传感器（参考文献[^20]），其在HAR中的应用研究有限，且现有研究多聚焦日常生活活动，未涵盖HRI场景（第II-A节）。\n- **传感器融合方式简单**：现有3D Lidar HAR工作仅尝试与RGB相机融合，尚未探索与其他隐私保护传感器（如可穿戴、力/力矩传感器）在多模态深度学习框架下的集成（第II-A节）。\n\n### 3. 形式化目标或优化目标\n\n论文未给出显式的数学优化目标，但其核心目标是构建多模态深度学习模型，将3D Lidar点云数据、用户手腕可穿戴传感器数据以及机器人力/力矩传感器数据通过数据级或特征级融合（特征级融合使用Seq2Seq模型），实现对九种HRI活动的分类，以最大化识别准确率（论文第IV节及图7所示架构）。\n\n### 4. 成功标准（指标或期望属性）\n\n- **主要指标**：分类准确率（Accuracy），同时报告精确率（Precision）、召回率（Recall）和F1分数（F1-score），并通过平均值和最大值衡量性能（第V节及表I）。\n- **期望属性**：\n  - 与单一传感器模型相比，多传感器融合应带来性能提升；\n  - 特征级融合应优于数据级融合；\n  - 3D Lidar单独使用应显著优于仅用可穿戴传感器；\n  - 最终集成所有传感器的模型应达到最高准确率（论文报告最高准确率80.73%，平均69.45%）。\n  - 同时模型需具备隐私保护特性，即所用传感器均不采集敏感细节信息。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n### Module C2: 相关工作定位\n\n## 1. 最强基线（baseline）与比较轴\n\n- **最强基线**：本文在实验中对比了以下模型：仅可穿戴传感器、可穿戴+力/力矩传感器数据级融合、可穿戴+力/力矩传感器特征级融合、仅3D Lidar，以及三者特征级融合。其中性能最强的是“三者特征级融合”模型（平均精度0.6945，最大精度0.8073），而“仅3D Lidar”模型（平均精度0.6508，最大精度0.7550）是单传感器中最强的基线。\n- **比较轴**：融合策略（数据级 vs 特征级）和传感器组合（单传感器 vs 多传感器），以及精度、召回率、F1-score等指标（见Table I）。本文以识别准确率为主要比较维度，同时关注隐私保护特性。\n\n## 2. 最接近的方法与关键差异\n\n- **最接近的方法**：Roche等人（参考文献[^19]）的工作，该方法结合3D Lidar和RGB相机进行日常活动识别，使用CNN处理Lidar点云。\n- **关键差异**：\n  - 任务场景不同：本文聚焦于HRI（人机交互），特别是护理/个人助理机器人场景，而Roche等针对日常活动。\n  - 传感器集成不同：本文首次将3D Lidar与可穿戴（手腕）传感器和机器人力/力矩传感器集成，而Roche等仅用RGB相机辅助。\n  - 方法不同：本文采用PointNet++处理点云，并使用ConvLSTM处理时序传感器数据，通过特征级融合（含Seq2Seq机制）集成多模态，而Roche等采用CNN。\n  - 隐私考虑：本文强调所有传感器均为隐私保护型，而Roche等使用RGB相机可能涉及隐私问题（见Section II.A）。\n\n## 3. 正交方向\n\n- **基于雷达或毫米波雷达的HAR**：如Yu等人（[^22]）使用3D点云分类器（基于LSTM），Dang等人（[^25]）基于毫米波雷达，这些方法不使用Lidar，属于不同的传感器模态。\n- **基于视觉（RGB/RGB-D）的HAR**：如[^10]比较视觉传感器，但通常涉及隐私泄露，与本文的隐私保护目标正交。\n- **决策级融合方法**：本文未探索决策级融合，文献[^29]等指出其可能优于数据级和特征级融合，是本文未覆盖的方向。\n\n**4. 一句话定位**\n本文首次将3D Lidar与可穿戴和力/力矩传感器通过特征级融合（结合PointNet++、ConvLSTM和Seq2Seq）应用于人机交互中的隐私保护活动识别，填补了护理/个人机器人场景下多模态HAR数据与方法的空白，但最优精度仍有限，且未探索决策级融合。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n### 1. 核心机制概述\n\n本文针对人机交互（HRI）中的隐私保护活动识别（HAR）问题，提出了一种基于3D Lidar的多模态深度学习融合方法。核心机制是：\n\n- **多传感器数据采集**：使用3D Lidar、用户手腕穿戴传感器（9通道惯性数据）和机器人力/力矩传感器（6通道数据）同时采集数据，所有传感器均为隐私保护型。\n- **双阶段处理**：先对每个传感器进行单独的特征提取（或数据级融合），再在特征层面进行融合，最终通过全连接网络输出9种活动类别。\n- **数据与特征级融合**：对于穿戴和力/力矩传感器，同时尝试了数据级和特征级融合；对于3D Lidar，由于数据结构复杂且数据量巨大，仅参与特征级融合。\n- **难点解决**：为解决3D Lidar点云数据量过大导致的计算瓶颈，通过裁剪点云至7300个关键点；同时为解决各传感器采样率不一致和窗口不匹配问题，将穿戴和力/力矩数据下采样至20Hz，并采用Seq2Seq机制将3D Lidar的20个时间步特征序列压缩为单向量，实现特征对齐。\n\n### 2. 逐步分解\n\n#### 步骤1：数据采集与预处理\n\n- 采集设备：TIAGo机器人集成3D Lidar、力/力矩传感器，用户佩戴腕部穿戴传感器（单独采集）。\n- 采样率：穿戴54Hz、力/力矩50Hz、3D Lidar 20Hz（128通道×1024分辨率，每帧131072点）。\n- 同步与下采样：将穿戴和力/力矩数据下采样至20Hz，与3D Lidar时间戳对齐。\n\n#### 步骤2：窗口化处理（穿戴和力/力矩）\n\n- 采用滑动窗口，窗口长度20个时间步（1秒），步长10（重叠0.5秒）。\n- 每个窗口输入至ConvLSTM网络，输出128维特征向量。\n\n#### 步骤3：3D Lidar点云处理\n\n- 点云裁剪：从每帧131072点中提取用户运动相关的7300点（减少计算）。\n- 使用PointNet++逐帧处理，每帧输出128维特征向量。\n- 由于每个点云独立处理，对于20个连续点云形成的窗口，得到20×128特征序列。\n\n#### 步骤4：特征对齐与融合（特征级）\n\n- 将20×128的Lidar特征序列输入Seq2Seq网络（编码器-解码器），生成单个128维特征向量。\n- 将穿戴、力/力矩的128维特征向量（各一个）与Lidar的128维向量拼接，得到384维特征。\n- 将384维特征输入多层感知机（MLP）进行分类，输出9个活动类别的概率。\n\n#### 步骤5：模型训练与评估\n\n- 80%数据训练，20%测试。\n- 训练5种模型：仅穿戴、穿戴+力/力矩（数据级）、穿戴+力/力矩（特征级）、仅3D Lidar、三传感器特征级融合。\n- 评估指标：精确率、召回率、F1分数、准确率。\n\n### 3. 关键公式或模块角色\n\n- **ConvLSTM（图4）**：处理时间序列传感器数据（穿戴和力/力矩），结构包含1D CNN（kernel size=5），最大池化、Dropout（0.25）、LSTM（128单元）、全连接层。输入维度A（6、9或15），输出128维特征。\n- **PointNet++（图5）**：处理3D点云，通过多层采样、分组和PointNet提取局部特征，最终输出全局特征向量（128维）。\n- **Seq2Seq模型**：用于将Lidar序列特征压缩为单向量。编码器接收20×128输入，解码器输出128维向量，实现跨模态特征对齐。\n- **MLP分类器**：将拼接的384维特征映射到9类，如式(1)所示：\n  \\[ \\hat{y} = \\text{softmax}(W_2 \\cdot \\text{ReLU}(W_1 \\cdot F + b_1) + b_2) \\]\n  其中\\(F \\in \\mathbb{R}^{384}\\)为拼接特征。\n\n### 4. 流程图（mermaid flowchart TD）\n\n```mermaid\nflowchart TD\n  A[数据采集] --> B[预处理与同步]\n  B --> C1[穿戴传感器窗口化]\n  B --> C2[力/力矩传感器窗口化]\n  B --> C3[3D Lidar点云裁剪]\n  C1 --> D1[ConvLSTM]\n  C2 --> D2[ConvLSTM]\n  C3 --> D3[PointNet++逐帧处理]\n  D1 --> E1[128特征]\n  D2 --> E2[128特征]\n  D3 --> E3[20×128特征序列]\n  E3 --> F[Seq2Seq压缩]\n  F --> G[128特征]\n  E1 --> H[拼接]\n  E2 --> H\n  G --> H\n  H --> I[MLP分类器]\n  I --> J[活动类别]\n```\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n### 模块C4：数据集、基准与实现/评估设置\n\n#### 1. 数据集/基准列表（名称、规模、场景）\n\n- **数据集名称**：PriMA-Care（Privacy-preserving Multimodal dataset for Human Activity Recognition in Care Robots）[^30]（引用自第三节）。\n- **规模**：数据集包含27种活动，涵盖四类：日常活动、物理人机交互（HRI）、通过手势控制机器人、用户靠近机器人时的移动（第三节）。本研究从中选取了9种活动用于HAR模型开发，具体为：\"Giving an object to the robot\"、\"Holding the robot's hand while walking\"、\"Interacting with the robot dangerously\"、\"Come towards me\"、\"Get away from me\"、\"Rotate\"、\"Stop\"、\"Bring me object 1\"、\"Bring me object 2\"（见Fig. 1及第三节A部分）。\n- **场景**：护理/个人助理机器人（TIAGo机器人）在家庭或护理设施中的用户-机器人交互场景（第三节，Introduction部分）。\n- **传感器**：数据集包含10种传感器（9种隐私保护传感器 + 1个RGB摄像头作参考）（摘要），本研究选取其中3种：3D Lidar、手腕可穿戴传感器（加速度计、陀螺仪、磁力计，9个数据流）、机器人力/扭矩传感器（6个数据流）（第四节开头）。\n- **其他基准**：文中未与其他公开HAR数据集进行基准对比，仅使用PriMA-Care子集进行内部模型对比。\n\n#### 2. 预处理与划分/覆盖设置\n\n- **数据同步**：将可穿戴和力/扭矩传感器数据降采样至20Hz，与3D Lidar的20Hz采样率对齐（第四节开头）。\n- **窗口化处理**：对于可穿戴和力/扭矩传感器，采用窗口长度为20个时间戳（对应1秒），窗口重叠10个时间戳（0.5秒）（第四节A部分）。\n- **3D Lidar数据处理**：原始点云包含每时间戳128×1024=131072个点，但由于计算资源限制，仅提取包含用户主要动作的点云部分，最终每帧使用7300个点（第四节B部分）。\n- **特征级融合对齐**：对于特征级融合，因3D Lidar点云逐帧处理，使用Seq2Seq机制将20个Lidar特征向量编码为单个特征向量，以与可穿戴/力扭矩传感器的20样本窗口对齐（第四节D部分及Fig. 4）。\n- **数据划分**：约80%数据用于训练，20%用于测试（第五节）。所有模型使用相同的训练集和测试集以确保公平比较（第五节）。\n- **覆盖范围**：9种活动涵盖物理交互（如存物、握手行走、危险交互）和手势命令（如靠近、远离、旋转、停止、取物等），覆盖HRI中的典型用户-机器人交互场景（第三节A部分）。\n\n#### 3. 训练/推理/评估环境\n\n- **硬件**：AMD Threadripper 1950X CPU + Nvidia GTX1080ti GPU（第五节）。\n- **软件**：Python和PyTorch（第五节）。\n- **训练模型**：共训练5种模型：\n  1. 仅可穿戴传感器；\n  2. 可穿戴+力/扭矩传感器的数据级融合；\n  3. 可穿戴+力/扭矩传感器的特征级融合；\n  4. 仅3D Lidar；\n  5. 所有传感器（3D Lidar + 可穿戴 + 力/扭矩）的特征级融合（含Seq2Seq）（第五节列表）。\n- **网络架构**：可穿戴/力扭矩数据使用ConvLSTM（CNN+LSTM+FC，12层，Fig. 4）；3D Lidar使用PointNet++（Fig. 5）；特征级融合使用Seq2Seq机制和MLP分类器（Fig. 6/7）。\n- **训练细节**：训练200个epoch（由Table I注释推断）；前三个模型训练仅需几分钟；仅Lidar模型每步14分钟，200 epochs共2天；多模态模型每步1小时，共8天（第五节）。\n- **评估指标**：准确率、精确率、召回率、F1-score（Table I，Fig. 9混淆矩阵）。\n\n#### 4. 这些选择的重要性及验证内容\n\n- **数据集选择**：PriMA-Care是专门为护理机器人中HRI的HAR设计的多模态隐私保护数据集，填补了现有文献缺乏护理/个人机器人场景专项HAR数据的空白（Introduction）。选择其中两类（物理HRI和用户命令机器人）的9种活动，聚焦HRI核心场景，使模型训练和评估具有针对性。\n- **传感器选择**：3D Lidar作为隐私保护核心传感器，与可穿戴和力/扭矩传感器结合，验证了多模态融合在隐私保护下的互补性（第三节B部分）。力/扭矩传感器对物理交互活动（如A5）至关重要，而可穿戴传感器对手势命令类活动有优势；这种组合覆盖了不同活动类型。\n- **数据同步与预处理**：统一采样率20Hz和窗口化处理保证了时序数据对齐，使多模态融合可行；点云裁剪（7300点）是计算可行性与精度权衡的必要折中，揭示了实际部署中的计算资源瓶颈（第四节B部分）。\n- **融合方法对比**：通过数据级、特征级融合的对比，验证了特征级融合优于数据级融合，且多传感器集成显著提升准确率（最高80.73%），突出融合策略对HAR性能的重要性（Table I和Fig. 9）。\n- **局限性验证**：仅用单一传感器（可穿戴或Lidar）的准确率较低，融合后显著提升，证明多模态信息互补的有效性；同时，文章坦承准确率不高（80.37%）和计算成本高昂，为后续研究提供基准和挑战（结论部分）。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n### 模块C5：指标与结果\n\n#### 1. 指标（含定义或简要说明）\n\n本文评估了五个HAR（人类活动识别）模型，使用的指标包括：\n\n- **准确率（Accuracy）**：正确分类的样本数占总样本数的比例。\n- **精确率（Precision）**：在所有被预测为正类的样本中，实际为正类的比例（宏平均或加权平均，文中未明确，但按类别计算后取平均）。\n- **召回率（Recall）**：在所有实际为正类的样本中，被正确预测为正类的比例。\n- **F1分数（F1-Score）**：精确率与召回率的调和平均数。\n\n这些指标以平均（Avg）和最大（Max）值形式报告，其中平均值为200个epoch内各epoch在测试集上的指标的平均，最大值为200个epoch内所达到的最高值。\n\n#### 2. 主要结果\n\n训练集与测试集按80%：20%划分，测试集用于评估。五个模型及其关键结果（来自Table I）：\n\n- **仅可穿戴传感器**：平均准确率0.5515，最大准确率0.5900；平均精确率0.6051，最大精确率0.6396；平均召回率0.5658，最大召回率0.5970；平均F1 0.5511，最大F1 0.5857。\n- **可穿戴+力/力矩传感器（数据级融合）**：平均准确率0.5631，最大准确率0.6050；平均精确率0.6217，最大精确率0.6718；平均召回率0.5787，最大召回率0.6092；平均F1 0.5669，最大F1 0.6126。\n- **可穿戴+力/力矩传感器（特征级融合）**：平均准确率0.5791，最大准确率0.6403；平均精确率0.6373，最大精确率0.7115；平均召回率0.5944，最大召回率0.6533；平均F1 0.5939，最大F1 0.6490。\n- **仅3D Lidar**：平均准确率0.6508，最大准确率0.7550；平均精确率0.7230，最大精确率0.7861；平均召回率0.6675，最大召回率0.7709；平均F1 0.6317，最大F1 0.7438。\n- **全传感器集成（3D Lidar + 可穿戴 + 力/力矩，特征级融合）**：平均准确率0.6945，最大准确率**0.8073**（即80.73%）；平均精确率0.7012，最大精确率0.8169；平均召回率0.6660，最大召回率0.7722；平均F1 0.6817，最大F1 0.7675。\n\n摘要和结论中报告的80.73%为最大准确率（0.8073）。结论部分也提及“最高准确率80.37%”，但表I中最大准确率为80.73%，两者不一致，可能为笔误或四舍五入差异。\n\n#### 3. 与基线或代表性先前工作的比较\n\n本文未与外部基线方法进行直接数值比较，主要对比内部五种模型配置。但在相关工作（Section II）中讨论了三项3D Lidar HAR研究：Roche等人（使用3D Lidar+RGB相机识别日常活动）、Yu等人（单独使用3D Lidar+LSTM）、Dang等人（识别人体四种日常动作）。本文指出这些工作仅关注日常活动，且只有Roche集成了RGB相机，而本文首次将3D Lidar与其他隐私保护传感器（可穿戴、力/力矩）集成，并将应用拓展到HRI。因此，本文的对比更多是方法论上的差异和贡献，而非数值上的直接对标。\n\n#### 4. 消融、敏感性或跨论文差异的综合\n\n本文的模型配置相当于一种消融研究，通过逐步增加传感器和改变融合方式评估贡献：\n\n- **消融1（传感器影响）**：仅可穿戴→添加力/力矩（数据级和特征级）→仅3D Lidar→全传感器集成。结果显示，3D Lidar单独性能（0.6508）远高于可穿戴单独（0.5515），说明3D Lidar贡献最大；全传感器集成进一步带来提升（0.6945平均，0.8073最大）。\n- **消融2（融合方式影响）**：数据级融合（可穿戴+力/力矩）平均准确率0.5631；特征级融合同传感器组合平均准确率0.5791，表明特征级融合优于数据级融合。\n- **敏感性/配置说明**：\n  - 训练硬件：AMD Threadripper 1950X CPU + Nvidia GTX1080ti GPU，Python + PyTorch。\n  - 训练时间：前三个模型（可穿戴、力/力矩相关）仅需几分钟；仅3D Lidar模型每步14分钟，200个epoch共2天；全传感器模型每步1小时，共8天。\n  - 数据预处理：可穿戴和力/力矩传感器下采样至20Hz，窗口长度20（1秒），重叠10（0.5秒）；3D Lidar点云从131072点裁剪至7300点，以降低计算负担。\n  - 3D Lidar特征通过Seq2Seq机制将20个特征向量（每点云128维）编码融合为单个128维向量，再与其他传感器特征拼接。\n\n**混淆矩阵分析（Fig. 9）**：\n\n- 仅可穿戴模型对A5（握住机器人手臂）识别差，常误分类为A6（危险观察机器人），因两者都涉及站立和大量移动。\n- 数据级融合改善A5识别，体现力/力矩数据价值。\n- 特征级融合显著提升A1（递物给机器人）和A5。\n- 仅3D Lidar对A5和A6表现较弱，但其他活动表现良好。\n- 全传感器集成结合了3D Lidar总体优势和可穿戴/力/力矩对A5、A6的补充，实现最佳整体性能。\n\n**局限性与跨论文差异**：\n\n- 最佳准确率80.73%不算高，但论文目标是比较不同融合方案，而非追求最优配置。\n- 未探索决策级融合，而文献通常认为其精度更高。\n- 仅使用PointNet++处理3D点云，未采用更先进框架。\n- 点云裁剪方法手动且不精确。\n\n以上均基于论文Section V和Table I，以及Fig. 8、Fig. 9。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n### 模块C6：未来可探索方向\n\n#### 理论方向\n\n- **探索决策级融合的理论优势**：本文仅实现了数据级和特征级融合，未尝试决策级融合。文献表明决策级融合可能带来更高准确率（见第VI节结论）。未来可研究在HRI场景下，对3D Lidar、可穿戴传感器和力/扭矩传感器分别训练分类器，再通过投票、加权或学习型决策融合，从理论上分析不同融合策略的信息互补性与误差相关性。\n- **开发针对3D Lidar时序数据的深度架构**：当前PointNet++仅能处理单帧点云，对20帧窗口需借助Seq2Seq进行时间特征压缩，且计算代价极高（每步训练约1小时，见第V节）。未来可设计可直接处理点云序列的时空网络（如基于4D卷积或Transformer的点云时序建模），从根本上解决多帧点云联合建模的理论缺陷。\n\n#### 工程方向\n\n- **优化点云预处理与降维**：本文因计算资源限制，从131072点中仅裁剪7300点用于训练，且裁剪过程依赖人工划分区域，不够自动化（见第IV-B节和结论）。未来可引入自动化的兴趣点提取方法，如结合语义分割或显著性检测，只保留与人体活动相关的点云区域，同时降低计算负担。\n- **提升计算效率与可扩展性**：多模态融合模型训练耗时严重（第V节指出全部传感器融合模型需8天训练）。可探索模型剪枝、知识蒸馏、混合精度训练或使用更高效的PointNet变体，使训练在普通硬件上可行，并缩短开发周期。\n\n#### 数据/评估方向\n\n- **扩充活动类别与场景多样性**：本文仅使用了PriMA-Care中9个与HRI直接相关的活动，未来可纳入全部27个活动（涵盖日常例程、用户运动等类别），以检验模型在更广泛HRI场景中的泛化能力（见第III-A节）。\n- **引入更多隐私保护传感器**：PriMA-Care数据集包含10种传感器，本文仅使用了3D Lidar、手腕可穿戴和力/扭矩传感器。未来可集成热成像相机等其他隐私保护传感器，并与本文结果进行对比，评估多传感器融合对识别性能的增量效益（见结论部分）。\n- **进行更细粒度的评价与不确定性分析**：当前仅报告了全局准确率、精确率等指标，未提供各活动的置信区间或统计显著性检验。未来可采用交叉验证、混淆矩阵细粒度分析，并评估模型在噪声传感器数据或部分传感器失效时的鲁棒性。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n### 模块C7：现实应用中的部署情况\n\n#### 1. 部署约束\n\n- **硬件依赖**：系统依赖3D Lidar（128通道、1024分辨率）、腕部可穿戴传感器（9轴）和机器人力/扭矩传感器（6轴），需部署在具备上述传感器的护理机器人（如TIAGo）上，硬件成本较高（3D Lidar价格昂贵）。\n- **计算资源**：训练阶段需要高性能GPU（论文使用Nvidia GTX1080ti），且3D Lidar数据处理需大量算力；由于点云规模大（131072点），训练时需裁剪至7300点，且单步训练耗时约1小时，整体训练周期长达8天（第五节）。\n- **数据同步**：各传感器采样率不同（可穿戴54Hz、力/扭矩50Hz、Lidar20Hz），需降采样至20Hz实现同步，增加系统集成复杂度（第四节）。\n- **数据采集环境**：部署环境需固定机器人位置并保证用户活动范围，可穿戴传感器需由用户佩戴，且采集时需保持视线范围（如3D Lidar需捕捉用户位置）。\n\n#### 2. 计算/延迟影响\n\n- **推理延迟**：论文未明确提及实时推理延迟，但3D Lidar点云处理（每点云7300点）需经过PointNet++，且多传感器特征需经Seq2Seq融合，推理计算量较大；在嵌入式或机器人端部署可能延迟较高，需进一步优化或使用边缘计算。\n- **训练开销**：训练模型（第五个全集成模型）需8天，阻碍快速迭代；实际部署后模型更新（如新活动类别）面临高时间成本。\n- **预处理负载**：点云裁剪（仅保留用户活动区域）需人工或半自动方法，当前不自动化，增加部署前处理负担。\n\n#### 3. 鲁棒性/安全性问题\n\n- **准确性受限**：最高准确率仅80.73%（Table I），对特定活动（如A5“握住机器人手臂”和A6“危险交互”）误分类仍高（第五节的混淆矩阵分析），可能造成机器人误响应，存在安全隐患。\n- **传感器故障容错**：多模态融合提供冗余，但论文未测试单传感器故障场景；若Lidar失效，系统仅靠可穿戴和力/扭矩数据准确率较低（平均精度0.5791），鲁棒性不足。\n- **隐私保护**：使用3D Lidar等隐私保护传感器，避免采集面部等敏感数据，但3D点云可能泄露体型、步态等特征；可穿戴传感器仍收集运动数据，存在隐私泄露风险（第一节）。\n- **环境适应性**：3D Lidar不受光照影响，但遮挡、复杂场景可能降低性能；力/扭矩传感器在非交互活动时产生噪声（第五节），对模型鲁棒性构成挑战。\n- **安全合规**：在护理场景中，错误活动识别可能导致机器人操作危险（如误判“危险交互”为“停止”），需设计安全联锁机制，但论文未提供此类方案。\n\n#### 4. 可维护性\n\n- **模型更新**：由于训练成本高，频繁更新困难；需要高效的数据收集和标注流程（依赖PriMA-Care数据集），但新场景下数据稀缺。\n- **传感器校准**：可穿戴传感器需定期校准，力/扭矩传感器需零点校准，3D Lidar需维护清洁，增加运维工作量。\n- **系统集成**：多模态数据同步和融合代码依赖特定版本（PyTorch），软硬件升级可能破坏兼容性；论文未提供开源代码或详细部署文档，可维护性有限。\n- **长期监控**：需周期性评估模型性能（如当用户体型、环境变化时），但论文未提出在线学习或漂移检测机制。\n\n**总体评估**：该系统适用于受控的护理机器人场景，但受限于计算资源、部署成本和准确率，距大规模实际应用仍有差距。未来需优化推理效率、提升鲁棒性并开发自动化维护流程。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n### 总结\n\n本文提出了一种面向人机交互（HRI）场景的隐私保护多模态人类活动识别（HAR）方法，重点利用3D Lidar传感器，并集成用户可穿戴（手腕）传感器和机器人力/扭矩传感器。作者从PriMA-Care数据集中选取了9种典型交互活动（如物理交互和机器人指令），训练并比较了五种深度学习模型：仅可穿戴、可穿戴+力/扭矩数据级融合、可穿戴+力/扭矩特征级融合、仅3D Lidar、以及全部传感器特征级融合（含Seq2Seq机制）。结果显示，全部传感器特征级融合取得了最高准确率（最大80.73%，平均69.45%），明显优于仅使用单一传感器或数据级融合。3D Lidar单独使用表现了较强能力（最大75.50%），为隐私保护HAR提供了可行方案。该工作的主要局限在于整体准确率不高、未探索决策级融合、以及点云处理的计算开销大。未来工作将扩展更多活动、集成热成像相机，并采用更先进点云模型和降维方法。\n\n### 五个关键要点\n\n1. **3D Lidar是隐私保护的HAR传感器**：相比RGB相机，3D Lidar收集的几何信息足以识别活动，同时减少敏感细节，适合家庭/护理机器人场景（见Section II.A）。\n2. **特征级融合优于数据级融合**：可穿戴+力/扭矩传感器的特征级融合（最大准确率64.03%）显著优于数据级融合（60.50%）和仅可穿戴（59.00%）（见表I）。\n3. **3D Lidar是性能提升的主要驱动**：仅用3D Lidar的模型最大准确率为75.50%，大幅超越所有仅用非Lidar传感器的模型，说明点云数据对复杂活动判别力强（见表I）。\n4. **全传感器特征级融合效果最佳**：结合3D Lidar、可穿戴和力/扭矩传感器，通过PointNet++提取特征、Seq2Seq压缩20个点云特征，再与其余传感器特征拼接，达到最大80.73%准确率，证明多模态融合的价值（见图4及表I）。\n5. **计算资源是主要瓶颈**：处理3D Lidar点云（131072点/帧）代价高昂，作者仅保留7300个运动相关点，训练仍需1小时/步（全模型8天），制约了模型规模和实验范围（见Section IV.B）。\n\n### 核心机制\n\n本文采用“特征级融合+Seq2Seq”机制处理非对称数据。对于每个3D Lidar点云，PointNet++输出128维特征；滑动窗口包含20个连续点云特征（重叠10个），输入Seq2Seq编码器-解码器，压缩为单一128维特征。同时，可穿戴传感器（9流）和力/扭矩（6流）经过ConvLSTM（CNN+LSTM+FC）分别提取128维特征。三者拼接得到384维特征，经多层感知机（MLP）映射为9类活动。整体可形式化为：\n\\[ \\mathbf{f}_{all} = [ \\text{Seq2Seq}(\\text{PointNet++}(\\mathcal{P}_{1:20})),\\; \\text{ConvLSTM}(\\mathbf{X}_{wear}),\\; \\text{ConvLSTM}(\\mathbf{X}_{ft}) ] \\in \\mathbb{R}^{384} \\]\n\\[ \\hat{y} = \\text{softmax}(\\text{MLP}(\\mathbf{f}_{all})) \\]\n其中\\(\\mathcal{P}_{1:20}\\)为20帧点云序列，\\(\\mathbf{X}_{wear}\\)、\\(\\mathbf{X}_{ft}\\)为对应传感器窗口数据。该机制通过Seq2Seq将不同时间粒度的特征对齐，实现异构传感器的有效整合。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n### 1. 结构树\n\n- **一级结构**：摘要 → 引言（I） → 相关工作（II） → PriMA-Care数据集（III） → 基于DL的传感器数据处理（IV） → 结果与讨论（V） → 结论（VI） → 致谢 → 参考文献\n\n- **各章节要点**：\n  - **摘要**：提出基于3D Lidar的隐私保护HAR方法，集成可穿戴与力/力矩传感器，实现多模态深度学习融合，最高准确率80.73%。\n  - **引言（I）**：阐明HAR在护理/个人机器人中的重要性、隐私挑战、3D Lidar作为隐私保护传感器的潜力，以及本文贡献（1）开发基于CNN、LSTM、Seq2Seq、PointNet++的HAR模型；（2）首次将3D Lidar与腕戴式和力/力矩传感器集成；（3）实现数据级和特征级融合。\n  - **相关工作（II）**：\n    - A节：3D Lidar HAR的现有工作（Roche、Yu、Dang），指出局限（仅限日常生活活动、集成有限）。\n    - B节：多模态DL融合方法（数据级、特征级、决策级），本文重点研究数据级和特征级。\n  - **PriMA-Care数据集（III）**：描述数据集（27个活动、4类、10种传感器），本文选取其中的9个HRI相关活动，选定3种传感器（3D Lidar、腕戴式、力/力矩）。\n  - **DL数据处理（IV）**：\n    - A节：腕戴式和力/力矩数据利用ConvLSTM架构处理（窗口20个时间戳，重叠10个）。\n    - B节：3D Lidar数据用PointNet++处理，点云裁剪至7300点以避免计算瓶颈。\n    - C节：数据级融合（仅腕戴式+力/力矩，不包含3D Lidar）。\n    - D节：特征级融合（每个传感器独立提取特征，通过Seq2Seq处理3D Lidar时间序列，再与其它特征拼接，最终经MLP分类）。\n  - **结果与讨论（V）**：训练/测试划分（80/20），五类模型，性能指标（准确率、精确率、召回率、F1），表I展示结果，混淆矩阵图分析。\n  - **结论（VI）**：总结贡献、局限（准确率不高、决策级融合未探索）、未来工作。\n\n### 2. 方法/系统分解\n\n- **输入**：三种传感器数据：\n  - 腕戴式传感器：9个数据流（加速度计、陀螺仪、磁力计三轴），采样率54Hz，下采样至20Hz。\n  - 力/力矩传感器：6个数据流（力、力矩各三轴），采样率50Hz，下采样至20Hz。\n  - 3D Lidar：128通道×1024点/通道，点云共131072点，采样率20Hz，经提取后仅保留7300点。\n\n- **输出**：9个用户活动类别（A1-A9）。\n\n- **模块分解**：\n  1. **预处理与同步**：所有传感器数据下采样至20Hz，以保证时间对齐；腕戴式和力/力矩数据采用滑动窗口（窗口20个时间戳，重叠10个）；3D Lidar逐点云处理。\n  2. **单传感器特征提取**：\n     - 腕戴式和力/力矩：使用ConvLSTM架构（12层），包括1D CNN、MaxPooling、Dropout、LSTM、全连接层，输出128维特征向量。\n     - 3D Lidar：使用PointNet++（多层采样、分组、PointNet处理），输出128维特征向量（针对每个点云）。\n  3. **融合策略**：\n     - **数据级融合**：仅将腕戴式和力/力矩的原始数据拼接（15个通道），输入相同ConvLSTM（输入维度A=15）。\n     - **特征级融合**：\n       - 腕戴式和力/力矩各自独立提取128维特征。\n       - 3D Lidar：每个点云处理得到128维特征，每20个特征向量（对应20个点云窗口）输入Seq2Seq模型（编码器-解码器）得到一个128维特征向量。\n       - 将三个128维特征拼接为384维特征向量。\n       - 通过多层感知机（MLP）进行最终分类，输出9个类别。\n  4. **训练与推理**：\n     - 训练：优化器未明确，使用PyTorch，CPU+GPU（AMD Threadripper 1950X + Nvidia GTX1080ti）。训练200个epoch。\n     - 推理：测试集上评估。\n\n### 3. 重要图表解释\n\n- **图4（原文为ConvLSTM架构）**：图4展示了用于处理腕戴式和力/力矩数据的深度学习架构ConvLSTM。该架构由12层组成，颜色编码：蓝色为CNN层（第一、二层为1D CNN，维度分别为(A,200,5)和(200,200,5)，其中A根据输入源为6、9或15），然后是MaxPooling（尺寸3）、Dropout（0.25），再两个1D CNN（(200,200,2)），再MaxPooling，两个LSTM层（(200,128)和(128,128)），中间穿插Dropout，最后是全连接层输出类别数。该架构学习时间序列特征，输出通常为128维特征（若用于特征级融合）。通过该图，可以理解如何将时序传感器数据转换为高层次特征。\n\n- **图4（实际编号为Fig. 4）**：显示特征级融合整体流程。腕戴式和力/力矩数据分别通过ConvLSTM（图4）处理得到128维特征；3D Lidar点云（7300点/云）通过PointNet++逐个处理，得到20个128维特征向量，再经Seq2Seq合并为一个128维特征。三者拼接成384维，经MLP输出9类。此图清晰展示了多模态融合的完整数据流，是理解方法核心的关键。\n\n- **表I**（性能比较表）：列出了五种模型的平均和最大精确率、召回率、F1值和准确率。关键结果：仅穿戴传感器，平均准确率0.5515，最大0.5900；数据级融合（穿戴+力/力矩）平均0.5631，最大0.6050；特征级融合（穿戴+力/力矩）平均0.5791，最大0.6403；仅3D Lidar平均0.6508，最大0.7550；全传感器集成平均0.6945，最大0.8073。该表直接支持“特征级融合优于数据级融合、全传感器集成最佳”的结论，并显示3D Lidar单独性能优于其它单传感器组合。\n\n- **图5（混淆矩阵图）**：展示了五个模型的混淆矩阵，通过对比可分析每类活动的识别混淆情况。例如，仅穿戴传感器时A5（holding robot's arm）经常被误分类为A6（observing robot dangerously），因为两者都涉及站立和大幅度动作；集成力/力矩后A5分类改善；全传感器集成显著提升A5和A6的分类性能。该图与表I相互补充，提供细粒度的错误分析。\n\n### 4. 实验/评估细节\n\n- **数据集**：从PriMA-Care中选取的9个活动（A1: 给物体给机器人；A2: 过来；A3: 离开我；A4: 给我物体1；A5: 握住机器人手臂（行走）；A6: 危险地观察机器人；A7: 停止；A8: 给我物体2；A9: 旋转）。\n- **数据划分**：80%训练，20%测试，且所有模型使用相同训练/测试划分以确保公平比较。\n- **评估指标**：准确率、精确率、召回率、F1分数。\n- **训练配置**：PyTorch，AMD Threadripper 1950X CPU，Nvidia GTX1080ti GPU。训练epoch数200。\n- **模型对比**：五种模型（仅穿戴；穿戴+力/力矩数据级融合；穿戴+力/力矩特征级融合；仅3D Lidar；全传感器特征级融合）。未训练仅力/力矩模型，因为该传感器仅对两个物理交互活动有意义。\n- **计算成本**：仅3D Lidar模型每步14分钟，总训练2天；全集成模型每步1小时，总训练8天。\n- **消融分析**：通过比较不同传感器组合，验证了每个传感器的贡献。结果分析：3D Lidar贡献最大（准确率显著高于仅穿戴），力/力矩传感器对物理交互活动（A5、A6）有补充作用，特征级融合优于数据级融合。\n- **公平性**：所有模型在相同数据划分和超参数条件下训练，未提及专门处理类别不平衡，但混淆矩阵显示了各活动表现差异。\n\n### 5. 适合论文类型的图表（方法论文）\n\n本论文属于**方法+新数据集**类型。适合绘制一个**系统流程图**（组件和流程），建议如下：\n\n- **系统流程图**：从左到右展示三个传感器分支（3D Lidar、腕戴式、力/力矩）的数据流：3D Lidar点云→PointNet++→128维特征序列→Seq2Seq→128维特征；腕戴式9通道→ConvLSTM→128维特征；力/力矩6通道→ConvLSTM→128维特征；三个分支输出拼接→MLP→9类活动。此图概括整个处理流程，突出融合方式，可直接用于方法部分示意。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n### 1. 可重建性（Reconstructability）\n\n本文提出的多模态HAR系统原则上可重建，但存在若干关键细节缺失。以下为重建笔记：\n\n- **传感器规格**：可穿戴传感器（手腕）以54Hz采样，包含加速度计、陀螺仪、磁力计三轴数据（共9流）；力/扭矩传感器以50Hz采样，测量末端执行器三方向力与扭矩（共6流）；3D Lidar以20Hz采样，128通道，1024分辨率，每个时间戳产生128×1024点云（131072点）。\n- **数据同步**：所有传感器下采样至20Hz，保证点云与可穿戴/力扭矩数据时间对齐。\n- **窗口处理**：可穿戴和力/扭矩传感器采用20个时间戳（1秒）的窗口，重叠10个时间戳（0.5秒）。\n- **DL架构**：\n  - **可穿戴/力扭矩数据处理**：12层ConvLSTM（图2），包括1D CNN层（核大小5），MaxPooling大小3，Dropout率0.25，LSTM层尺寸(200,128)与(128,128)，最终全连接层输出9类。输入通道数A根据传感器组合为6（力扭矩）、9（可穿戴）或15（两者）。\n  - **3D Lidar数据处理**：采用PointNet++架构（图3），处理单个点云。由于计算限制，仅提取每个点云中关于用户主要运动的7300点进行训练。每个点云经过PointNet++输出128维特征向量。\n- **融合方式**：\n  - **数据级融合**：仅融合可穿戴与力/扭矩传感器原始数据（15流），输入ConvLSTM。\n  - **特征级融合（两传感器）**：用ConvLSTM分别提取可穿戴和力/扭矩的特征，各得128维向量，拼接为256维后经全连接层分类。\n  - **特征级融合（三传感器）**：可穿戴和力/扭矩各用ConvLSTM提取128维特征，3D Lidar每个点云用PointNet++提取128维，每20个点云特征序列输入Seq2Seq模型（编码器-解码器），解码器输出单个128维向量，然后与可穿戴、力/扭矩的128维向量拼接成384维，输入多层感知机（MLP）映射到9类。图4给出了详细流程。\n- **训练设置**：约80%训练、20%测试。硬件为AMD Threadripper 1950X CPU与Nvidia GTX1080ti GPU，Python与PyTorch。前三模型训练数分钟；第4模型（仅3D Lidar）每步14分钟，共200 epochs约2天；第5模型（三传感器融合）每步1小时，约8天。\n- **评估指标**：精确率、召回率、F1分数、准确率，取所有epoch的最大值与平均值。结果见表I。\n\n**缺失关键参数**：未提供学习率、优化器、批大小、训练 epoch 总数（仅提200）、损失函数、数据增强、点云裁剪的具体算法（仅说提取主要运动部分）。未见代码或数据集链接，使得精确复现难度较大。\n\n### 2. 假设（Assumptions）\n\n- 3D Lidar被视为隐私保护传感器，其采集的点云数据不包含足够敏感的识别信息（参考[^20]），但文中未量化隐私保护程度。\n- 手腕佩戴单侧传感器（右腕）可充分捕捉手势命令活动的特征，忽略左右手差异的影响。\n- 力/扭矩传感器仅在物理交互活动（如A5、A6）中有意义，其他活动数据视为噪声，因此未单独训练模型。\n- 点云裁剪（提取7300个点）不会丢失关键运动信息，且手动提取区域可代表用户活动。\n- Seq2Seq机制能够有效压缩20个时序点云特征为单向量，且不损失重要时空信息。\n- 所有传感器数据同步后，窗口对齐可正确反映同一时刻的活动状态。\n\n### 3. 失败模式或盲点（Failure Modes / Blind Spots）\n\n- **点云裁剪的主观性**：手动提取用户运动相关区域可能导致不一致性，且未自动化，对结果有潜在偏差（论文中也承认）。\n- **传感器失效场景**：若3D Lidar在用户遮挡或复杂姿态下失效，模型可能退化；文中未讨论传感器故障或鲁棒性测试。\n- **活动类别不平衡**：九种活动分布可能不均，未报告每个类别的样本数量，可能影响Accuracy等指标的可信度。\n- **时间泛化性**：模型在特定机器人（TIAGo）和固定传感器配置下训练，未验证跨平台或跨用户泛化能力，可能过拟合于特定环境和姿势。\n\n### 4. 优势与劣势（Strengths and Weaknesses）\n\n### 优势\n\n- **隐私保护视角**：利用3D Lidar等非视觉传感器，避免了RGB摄像头带来的隐私风险，符合护理机器人应用场景。\n- **多模态融合探索**：首次将3D Lidar与可穿戴、力/扭矩传感器结合，并系统比较了数据级与特征级融合，提供了实证对比。\n- **数据集贡献**：基于PriMA-Care数据集，选择与HRI相关的9种活动，填补了该领域数据集空缺。\n- **性能提升明确**：特征级全传感器融合相比单传感器显著提升准确率（从55%到80.37%），验证了多传感器集成的价值。\n- **计算处理策略**：针对点云计算负担，提出了裁剪和Seq2Seq压缩的实用方案，尽管有局限但提供思路。\n\n## 劣势\n\n- **准确率不高**：最高80.37%的准确率对于实际部署可能不足，尤其是安全关键场景（如“危险交互”）。\n- **未探索决策级融合**：文献表明决策级融合可能更优，但本文未涉及（论文也承认）。\n- **计算成本高**：训练时间过长（最长8天），难以扩展或实时应用。\n- **实验设置不完整**：缺少超参数细节、数据划分随机性、误差棒等，难以评估统计显著性。\n- **仅用PointNet++**：未尝试更先进的点云模型（如PointTransformer），可能限制性能。\n- **传感器融合局限**：数据级融合未包含3D Lidar，且特征级融合中Seq2Seq的编码能力未充分验证。\n\n### 5. 下一步研究方向（Next-Step Research Directions）\n\n- **决策级融合**：分别训练各传感器模型，利用高元分类器或投票机制融合决策，可能提升准确率，并与现有方法对比。\n- **优化点云处理**：采用更先进的点云深度学习架构（如PointTransformer、PointConv），并探索自动兴趣区域提取方法（如基于运动检测或自注意力机制），减少人工裁剪偏差。\n- **扩展活动与传感器**：利用PriMA-Care中更多活动（27种）以及热成像等隐私传感器，验证模型泛化性，并涵盖更多HRI场景。\n- **实时性与资源优化**：通过模型剪枝、量化或知识蒸馏降低计算开销，使模型可部署到实际机器人上，并评估实时性能。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n### 术语表\n\n1. **Human Activity Recognition (HAR)** / 人类活动识别：通过传感器数据自动识别用户活动的技术。直觉：让机器“看”懂人在做什么，类似于人的视觉理解。在本文中，HAR是核心任务，用于人机交互中识别用户活动，如物理交互和手势命令。前置知识：传感器、机器学习。\n\n2. **Human-Robot Interaction (HRI)** / 人机交互：研究人与机器人之间交互的领域。直觉：机器人需要理解用户意图以更好地协作。在本文中，HRI是应用场景，HAR模型嵌入到护理机器人中。前置知识：机器人学。\n\n3. **3D Lidar** / 三维激光雷达：一种通过激光束扫描环境生成三维点云的传感器。直觉：用激光“触摸”环境，得到距离信息，不包含颜色纹理，保护隐私。在本文中，3D Lidar是主要传感器，用于收集用户活动的点云数据，实现隐私保护式HAR。前置知识：光学、点云。\n\n4. **Point Cloud** / 点云：由三维坐标点组成的数据集，表示物体表面或环境形状。直觉：许多点拼在一起形成轮廓。在本文中，点云由3D Lidar生成，每个点云有131072个点，经裁剪后使用7300点。前置知识：3D几何。\n\n5. **Privacy-Preserving Sensor** / 隐私保护传感器：不采集敏感信息（如面部、肤色）的传感器。直觉：像“盲人摸象”，只获取形状而不泄露具体细节。在本文中，3D Lidar、可穿戴传感器（加速度计等）和力/扭矩传感器都被视为隐私保护传感器。前置知识：隐私观念。\n\n6. **Multimodal Deep Learning** / 多模态深度学习：融合多种传感器数据（如视觉、惯性、触觉）进行深度学习的方法。直觉：多个感官互补，使理解更全面。在本文中，通过融合3D Lidar、可穿戴和力/扭矩数据提高HAR准确率。前置知识：深度学习、多传感器融合。\n\n7. **Convolutional Neural Network (CNN)** / 卷积神经网络：一种擅长提取局部特征的深度学习架构，常用于图像和时间序列。直觉：通过滤波器扫描数据，捕捉局部模式。在本文中，CNN用于处理可穿戴和力/扭矩传感器的时间序列数据。前置知识：深度学习、卷积。\n\n8. **Long Short-Term Memory (LSTM)** / 长短期记忆网络：一种循环神经网络，能处理序列数据并记住长期依赖。直觉：像“记忆”机制，记住过去的信息以影响当前判断。在本文中，LSTM与CNN结合构成ConvLSTM，用于处理时序传感器数据。前置知识：循环神经网络、序列建模。\n\n9. **Seq2Seq (Sequence-to-Sequence)** / 序列到序列模型：一种编码-解码架构，将一个序列映射到另一个序列。直觉：像翻译器，输入一个序列输出另一个序列。在本文中，用于将20个3D Lidar特征向量压缩为一个向量，实现与其他传感器特征的对齐。前置知识：编码器-解码器、注意力机制。\n\n10. **PointNet++** / 一种处理点云的深度学习架构，能捕获局部和全局特征。直觉：分层处理点云，先看小区域再综合全局。在本文中，用于提取3D Lidar点云的特征，输出128维特征向量。前置知识：PointNet、点云处理。\n\n11. **PointNet** / 点云深度学习基础网络，直接处理无序点集。直觉：用对称函数聚合点信息。在本文中，PointNet++基于PointNet构建。前置知识：深度学习。\n\n12. **Data-Level Fusion** / 数据级融合：将多个传感器的原始数据直接拼接后输入模型。直觉：把“原料”混在一起再烹饪。在本文中，仅对可穿戴和力/扭矩传感器进行数据级融合，不包括3D Lidar。前置知识：数据处理。\n\n13. **Feature-Level Fusion** / 特征级融合：分别提取每个传感器的特征，再拼接特征向量。直觉：各自“消化”后汇总信息。在本文中，对所有传感器进行特征级融合，通过Seq2Seq处理Lidar特征后与其他特征拼接。前置知识：特征提取。\n\n14. **Force/Torque Sensor** / 力/扭矩传感器：测量力和力矩的传感器，常用于机器人末端执行器。直觉：感知“推拉”的力度和方向。在本文中，用于识别物理交互活动，如握住机器人手臂。前置知识：力学。\n\n15. **Wearable Sensor** / 可穿戴传感器：佩戴在身体上的传感器，如手腕上的加速度计、陀螺仪等。直觉：像“手表”记录运动。在本文中，用户右腕佩戴传感器，采集9个数据流（加速度、角速度、磁场各三轴）。前置知识：惯性测量单元。\n\n16. **Sampling Rate** / 采样率：单位时间内采集数据的次数。直觉：每秒“拍”多少张快照。在本文中，可穿戴和力/扭矩传感器采样率分别为54Hz和50Hz，统一降采样到20Hz以与Lidar同步。前置知识：信号处理。\n\n17. **Downsampling** / 降采样：降低采样率，减少数据量。直觉：抽稀视频帧但保留关键信息。在本文中，为了同步不同传感器，将可穿戴和力/扭矩数据降到20Hz。前置知识：信号处理。\n\n18. **Windowed Approach** / 窗口化方法：将时间序列数据分成固定长度的窗口作为模型输入。直觉：滑动窗口看一段时间内的数据。在本文中，使用20个时间戳（1秒）为一个窗口，重叠10个时间戳（0.5秒）。前置知识：时间序列分析。\n\n19. **Multilayer Perceptron (MLP)** / 多层感知机：简单的前馈神经网络，用于分类。直觉：多层神经元连接。在本文中，最终分类器将384维特征映射到9个活动类别。前置知识：神经网络。\n\n20. **Accuracy** / 准确率：分类正确的样本占总样本的比例。直觉：猜对的概率。在本文中，用于评估模型性能，最高准确率80.73%。前置知识：机器学习评估。\n\n21. **Precision** / 精确率：预测为正类中实际为正类的比例。直觉：查准率。在本文中，用于评价模型分类质量。前置知识：混淆矩阵。\n\n22. **Recall** / 召回率：实际为正类中被正确预测的比例。直觉：查全率。在本文中，同样用于评价。前置知识：混淆矩阵。\n\n23. **F1-Score** / 综合评价指标：精确率和召回率的调和平均。直觉：平衡两者。在本文中，用于综合衡量模型。前置知识：混淆矩阵。\n\n24. **Confusion Matrix** / 混淆矩阵：展示分类结果的矩阵，行表示真实类，列表示预测类。直觉：看清哪里分错了。在本文中，用于分析各活动识别错误情况。前置知识：分类评估。\n\n25. **PriMA-Care Dataset** / 隐私保护多模态护理机器人HAR数据集：由本文作者收集，包含27个活动、10种传感器。直觉：一个“标准题库”用于训练测试。在本文中，从中选择9个活动用于实验。前置知识：数据集构建。\n\n26. **TIAGo Robot** / 一种服务机器人平台，用于护理环境。直觉：移动机器人“助手”。在本文中，数据集收集基于TIAGo，除可穿戴传感器外，其他传感器都集成在机器人上。前置知识：机器人平台。\n\n27. **RGB Camera** / 彩色相机：捕捉红绿蓝颜色信息，非隐私保护。直觉：人眼看世界的类似物。在本文中，作为参考传感器，但与隐私保护目标相悖，实际使用中不采用。前置知识：图像处理。\n\n28. **Thermal Camera** / 热像仪：捕捉热辐射，可形成温度图像，保护隐私。直觉：能看到热轮廓但不识别人脸。在本文中，作为未来工作提及。前置知识：热成像。\n\n29. **Dimensionality Reduction** / 降维：减少数据维度，如PCA、LDA等。直觉：压缩数据但保留主要信息。在本文中，未来计划用于从点云中提取相关部分。前置知识：线性代数。\n\n30. **Principal Component Analysis (PCA)** / 主成分分析：常用降维方法，通过正交变换将数据投影到主成分上。直觉：找到主要变化方向。在本文中，未来工作提及。前置知识：线性代数、统计学。\n\n31. **Independent Component Analysis (ICA)** / 独立成分分析：一种盲源分离方法，将混合信号分离为独立成分。直觉：解混。在本文中，未来工作提及。前置知识：统计学、信号处理。\n\n32. **Linear Discriminant Analysis (LDA)** / 线性判别分析：有监督降维，最大化类间距离、最小化类内距离。直觉：找分类最有效的方向。在本文中，未来工作提及。前置知识：统计学、分类。\n\n33. **GPU (Graphics Processing Unit)** / 图形处理器：用于深度学习并行计算。直觉：大量简单运算同时进行。在本文中，训练使用Nvidia GTX1080ti。前置知识：硬件。\n\n34. **ConvLSTM** / 卷积长短期记忆网络：结合CNN和LSTM的架构，专门处理时间序列。直觉：先用卷积提取局部特征，再用LSTM捕捉时序依赖。在本文中，用于处理可穿戴和力/扭矩传感器数据，结构如图4所示。前置知识：CNN、LSTM。\n\n35. **End-Effector** / 末端执行器：机器人手臂末端用于操作的工具或抓手。直觉：机器人的“手”。在本文中，力/扭矩传感器安装在末端执行器上。前置知识：机器人学。\n\n36. **Overlap** / 重叠：滑窗中的窗口重叠部分，增加样本量。直觉：窗口滑动时重复使用数据。在本文中，窗口重叠10个时间戳。前置知识：滑窗。\n\n37. **Feature Vector** / 特征向量：从数据中提取的特征组成的向量，用于后续分类。直觉：压缩后的信息。在本文中，每个传感器提取128维特征向量。前置知识：特征工程。\n\n38. **Encoder-Decoder** / 编码器-解码器：Seq2Seq的核心结构。直觉：编码器压缩信息，解码器展开。在本文中，用于将20个Lidar特征编码为一个向量。前置知识：Seq2Seq。\n\n39. **Classification** / 分类：将输入分配到离散类别。直觉：打标签。在本文中，将传感器数据映射到9个活动类别。前置知识：机器学习。\n\n40. **Hyperparameter** / 超参数：模型训练前设置的参数，如学习率、网络层数。直觉：调整模型的“旋钮”。在本文中，未详细列出全部超参数。前置知识：机器学习。\n\n### 概念依赖图\n\n```text\nHAR (目标任务)\n  ├─ 传感器数据：3D Lidar, 可穿戴, 力/扭矩\n  │    ├─ 3D Lidar → 点云 → PointNet++ → 特征向量\n  │    ├─ 可穿戴 → 时间序列 → ConvLSTM → 特征向量\n  │    └─ 力/扭矩 → 时间序列 → ConvLSTM → 特征向量\n  ├─ 融合方法：数据级、特征级\n  │    ├─ 数据级：可穿戴+力/扭矩 → ConvLSTM\n  │    └─ 特征级：各传感器特征拼接（Lidar经Seq2Seq压缩）→ MLP → 分类\n  ├─ 模型训练：窗口化、降采样、采集率同步\n  └─ 评估：准确率、精确率、召回率、F1\n\n隐私保护：传感器选择（3D Lidar等）→ 减少敏感信息\n数据集：PriMA-Care → 提供活动样本\n架构依赖：CNN↔LSTM (ConvLSTM)，PointNet++↔PointNet，Seq2Seq↔Encoder-Decoder\n```\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n### 1. 关键事实声明（验证）\n\n- **声明1：3D Lidar被视为隐私保护传感器。**\n  - 来源1：正文引言部分（I. INTRODUCTION）明确指出“3D Lidar is considered a privacy-preserving sensor [^20]”，引用文献[^20]（Ohno等人，2023）。\n  - 来源2：相关工作部分（II.A）提到“3D Lidar has emerged as an important sensor in robotics ... its ability to collect detailed data ... makes it also potentially useful for HAR purposes”，且未涉及敏感个人信息，结合引言中的隐私讨论，支持该观点。\n\n- **声明2：数据级融合和特征级融合的结果对比。**\n  - 来源1：正文V. RESULTS AND DISCUSSION部分，Table I显示了各个模型的平均与最大准确率，其中数据级融合（可穿戴+力/扭矩）平均0.5631，特征级融合（可穿戴+力/扭矩）平均0.5791，特征级融合优于数据级。\n  - 来源2：摘要中提到“integrating the sensors' data at the feature-level achieves an 80.73% accuracy”，且正文V部分明确说明“integrating all sensors ... at the feature-level”达到最高性能。\n\n- **声明3：最佳准确率数值存在不一致。**\n  - 来源1：摘要中写“80.73%”。\n  - 来源2：结论（VI. CONCLUSION）中写“80.37%”，且正文V部分表格中显示最大准确率为0.8073，即80.73%，但结论中写80.37%。存在明显冲突。\n\n- **声明4：模型训练时间与硬件配置。**\n  - 来源1：正文V部分描述“Models were trained using an AMD Threadripper 1950X CPU and Nvidia GTX1080ti GPU”，以及训练时长（3D LiDAR模型每步14分钟，总共2天；多模态模型每步1小时，总共8天）。\n  - 来源2：该部分同时给出了训练数据分割（80%训练，20%测试），支持训练细节的存在。\n\n- **声明5：PriMA-Care数据集包含27个活动和10个传感器。**\n  - 来源1：正文III.A部分“The dataset includes 27 activities ... grouped into four categories”，且III.B提到“10 different sensors”（引言和结论中提及）。\n  - 来源2：结论中再次提及“approximately 27 user activities recorded using 10 different sensors”。\n\n### 2. 冲突或不确定性说明\n\n- **准确率数值冲突：** 摘要和正文表格中最大准确率为80.73%，但结论中写为80.37%。可能为笔误或不同计算方式。需以表格数据为准（0.8073）。\n- **出版信息缺失：** 文档未明确标注发表会议或期刊名称，也未给出具体年份。根据参考文献[^30]（2024年）和[^10]（2024年），推测本文发表于2024年，但venue未知。\n- **数据集链接缺失：** 文中提及PriMA-Care数据集，但未提供公开链接或下载方式，影响复现性。\n- **3D Lidar点云裁剪方法非自动化：** 正文IV.B提到为降低计算量，手动提取了点云中包含主体运动的部分（7300个点），该方法可能不精确或不可自动化，构成不确定性。\n\n### 3. 参考文献列表\n\n[^1]: M. Vrigkas, C. Nikou, and I. A. Kakadiaris, “A review of human activity recognition methods,” Frontiers in Robotics and AI, vol. 2, p. 28, 2015.\n\n[^2]: A. Taha, H. H. Zayed, M. E. Khalifa, and E.-S. M. El-Horbaty, “Human activity recognition for surveillance applications,” in Proceedings of the 7th International Conference on Information Technology, 2015, pp. 577–586.\n\n[^3]: A. Roitberg, A. Perzylo, N. Somani, M. Giuliani, M. Rickert, and A. Knoll, “Human activity recognition in the context of industrial human-robot interaction,” in Signal and Information Processing Association Annual Summit and Conference (APSIPA), 2014 Asia-Pacific. IEEE, 2014, pp. 1–10.\n\n[^4]: S. Qiu, H. Zhao, N. Jiang, Z. Wang, L. Liu, Y. An, H. Zhao, X. Miao, R. Liu, and G. Fortino, “Multi-sensor information fusion based on machine learning for real applications in human activity recognition: State-of-the-art and research challenges,” Information Fusion, vol. 80, pp. 241–265, 2022.\n\n[^5]: A. Roitberg, A. Perzylo, N. Somani, M. Giuliani, M. Rickert, and A. Knoll, “Human activity recognition in the context of industrial human-robot interaction,” in Signal and Information Processing Association Annual Summit and Conference (APSIPA), 2014 Asia-Pacific. IEEE, 2014, pp. 1–10.\n\n[^6]: A. Anagnostis, L. Benos, D. Tsaopoulos, A. Tagarakis, N. Tsolakis, and D. Bochtis, “Human activity recognition through recurrent neural networks for human-robot interaction in agriculture,” Applied Sciences, vol. 11, no. 5, p. 2188, 2021.\n\n[^7]: E. Martinez-Martin and A. P. del Pobil, “Personal robot assistants for elderly care: an overview,” Personal assistants: Emerging computational technologies, pp. 77–91, 2018.\n\n[^8]: K. T. Kadhim, A. M. Alsahlany, S. M. Wadi, and H. T. Kadhum, “An overview of patient’s health status monitoring system based on internet of things (iot),” Wireless Personal Communications, vol. 114, no. 3, pp. 2235–2262, 2020.\n\n[^9]: A. D. Antar, M. Ahmed, and M. A. R. Ahad, “Challenges in sensor-based human activity recognition and a comparative analysis of benchmark datasets: A review,” in 2019 Joint 8th International Conference on Informatics, Electronics & Vision (ICIEV) and 2019 3rd International Conference on Imaging, Vision & Pattern Recognition (icIVPR). IEEE, 2019, pp. 134–139.\n\n[^10]: A. Baselizadeh, D. S. Lindblom, W. Khaksar, M. Z. Uddin, and J. Torresen, “Comparative analysis of vision-based sensors for human monitoring in care robots: Exploring the utility-privacy trade-off,” in 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN), 2024, pp. 1794–1801.\n\n[^11]: A. Baselizadeh, “Advancing safety and privacy in human-robot interaction: Exploring learning-based control and multi-modal sensing approaches,” 2024.\n\n[^12]: A. Baselizadeh, W. Khaksar, M. Z. Uddin, D. Saplacan, and J. Torresen, \"Privacy-preserving user pose prediction for safe and efficient human-robot interaction,\" in 2023 IEEE 19th International Conference on Automation Science and Engineering (CASE), 2023, pp. 1–8.\n\n[^13]: J. Torresen, D. Saplacan, A. Baselizadeh, and T. Mahler, “Machine excellence tradeoffs to ethical and legal perspectives,” in 2023 IEEE Conference on Artificial Intelligence (CAI), 2023, pp. 237–240.\n\n[^14]: M. Ryoo, B. Rothrock, C. Fleming, and H. J. Yang, “Privacy-preserving human activity recognition from extreme low resolution,” in Proceedings of the AAAI conference on artificial intelligence, vol. 31, no. 1, 2017.\n\n[^15]: J. Choi, S. Ulbrich, B. Lichte, and M. Maurer, “Multi-target tracking using a 3d-lidar sensor for autonomous vehicles,” in 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). IEEE, 2013, pp. 881–886.\n\n[^16]: O. Risbøl and L. Gustavsen, “Lidar from drones employed for mapping archaeology-potential, benefits and challenges,” Archaeological Prospection, vol. 25, no. 4, pp. 329–338, 2018.\n\n[^17]: T. Yang, Y. Li, C. Zhao, D. Yao, G. Chen, L. Sun, T. Krajnik, and Z. Yan, \"3d tof lidar in mobile robotics: A review,\" arXiv preprint arXiv:2202.11025, 2022.\n\n[^18]: A. Pfrunder, P. V. Borges, A. R. Romero, G. Catt, and A. Elfes, “Real-time autonomous ground vehicle navigation in heterogeneous environments using a 3d lidar,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017, pp. 2601–2608.\n\n[^19]: J. Roche, V. De-Silva, J. Hook, M. Moencks, and A. Kondoz, \"A multimodal data processing system for lidar-based human activity recognition,\" IEEE Transactions on Cybernetics, vol. 52, no. 10, pp. 10027–10040, 2021.\n\n[^20]: M. Ohno, R. Ukyo, T. Amano, H. Rizk, and H. Yamaguchi, “Privacy-preserving pedestrian tracking using distributed 3d lidars,” in 2023 IEEE International Conference on Pervasive Computing and Communications (PerCom), 2023, pp. 43–52.\n\n[^21]: Z. Li, F. Liu, W. Yang, S. Peng, and J. Zhou, “A survey of convolutional neural networks: analysis, applications, and prospects,” IEEE transactions on neural networks and learning systems, vol. 33, no. 12, pp. 6999–7019, 2021.\n\n[^22]: Z. Yu, A. Taha, W. Taylor, A. Zahid, K. Rajab, H. Heidari, M. A. Imran, and Q. H. Abbasi, “A radar-based human activity recognition using a novel 3-d point cloud classifier,” IEEE Sensors Journal, vol. 22, no. 19, pp. 18218–18227, 2022.\n\n[^23]: J. Gu, Z. Lu, H. Li, and V. O. Li, “Incorporating copying mechanism in sequence-to-sequence learning,” arXiv preprint arXiv:1603.06393, 2016.\n\n[^24]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” CoRR, vol. abs/1706.02413, 2017. [Online]. Available: <http://arxiv.org/abs/1706.02413>\n\n[^25]: X. Dang, P. Jin, Z. Hao, W. Ke, H. Deng, and L. Wang, “Human movement recognition based on 3d point cloud spatiotemporal information from millimeter-wave radar,” Sensors, vol. 23, no. 23, p. 9430, 2023.\n\n[^26]: M. A. Hanif, T. Akram, A. Shahzad, M. A. Khan, U. Tariq, J.-I. Choi, Y. Nam, and Z. Zulfiqar, “Smart devices based multisensory approach for complex human activity recognition,” Comput. Mater. Contin, vol. 70, pp. 3221–3234, 2022.\n\n[^27]: K. Liu, N. Z. Gebraeel, and J. Shi, “A data-level fusion model for developing composite health indices for degradation modeling and prognostic analysis,” IEEE Transactions on Automation Science and Engineering, vol. 10, no. 3, pp. 652–664, 2013.\n\n[^28]: M. Ehatisham-Ul-Haq, A. Javed, M. A. Azam, H. M. A. Malik, A. Irtaza, I. H. Lee, and M. T. Mahmood, “Robust human activity recognition using multimodal feature-level fusion,” IEEE Access, vol. 7, pp. 60736–60751, 2019.\n\n[^29]: N. Dawar, S. Ostadabbas, and N. Kehtarnavaz, “Data augmentation in deep learning-based fusion of depth and inertial sensing for action recognition,” IEEE Sensors Letters, vol. 3, no. 1, pp. 1–4, 2019.\n\n[^30]: A. Baselizadeh, M. Z. Uddin, W. Khaksar, D. S. Lindblom, and J. Torresen, “Prima-care: Privacy-preserving multi-modal dataset for human activity recognition in care robots,” pp. 233–237, 2024.\n\n[^31]: J. Pages, L. Marchionni, and F. Ferro, “Tiago: the modular robot that adapts to different research needs,” in International workshop on robot modularity, IROS, vol. 290, 2016.\n\n[^32] C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” CoRR, vol. abs/1612.00593, 2016. [Online]. Available: <http://arxiv.org/abs/1612.00593>\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n### 图形与表格索引\n\n下表列出了论文中出现的所有图形和表格，包括其编号、标题（说明文字）、类型、在文档中的位置、所支持的核心论点以及重要性评分（高/中/低）。\n\n| 编号 | 标题（说明文字） | 类型 | 位置（章节） | 支持的主张 | 评分 |\n|------|------------------|------|---------------|-------------|------|\n| Fig. 1 | 从PriMA-Care数据集中选取的用于开发HAR模型的活动（九种活动，分别对应A1-A9） | 图像（活动示意图） | 第三节（数据集） | 展示九个评估的活动类别，明确HRI场景中的活动范围。 | 中 |\n| Fig. 2 | ConVLSTM：用于处理可穿戴和力/扭矩传感器数据的DL架构（由CNN、LSTM、池化、Dropout和全连接层组成，共12层） | 架构图 | 第四节-A（传感数据处理） | 详细说明可穿戴和力/扭矩传感器数据处理所采用的深度学习架构，支撑方法描述。 | 高 |\n| Fig. 3 | PointNet++架构示意图（用于处理3D Lidar点云，采用分层采样、分组和PointNet迭代处理） | 架构图 | 第四节-B（3D Lidar处理） | 描述3D Lidar点云的特征提取方式，解释输入尺寸（7300点）和计算瓶颈。 | 高 |\n| Fig. 4 | 可穿戴、力/扭矩与3D Lidar传感器在特征级融合的整体架构（包括ConvLSTM、PointNet++和Seq2Seq机制） | 架构图 | 第四节-D（特征级融合） | 展示多模态特征级融合的具体实现，说明如何解决不同传感器数据量不匹配的问题，是论文核心方法。 | 高 |\n| Fig. 5 | 五个HAR模型的混淆矩阵，展示九种活动上的分类表现（A1-A9） | 混淆矩阵 | 第五节（结果与讨论） | 直观比较各模型的分类细节，揭示特定活动（如A5，A6）的误分类模式，支撑表I的数据。 | 高 |\n| Table I | 不同HAR模型的平均和最大精确率、召回率、F1分数和准确率 | 表格 | 第五节（结果与讨论） | 量化各模型的性能，证明多传感器特征级融合达到最佳准确率（80.73%），是主要实验结果。 | 高 |\n\n### 高优先级深度阅读（3-5项）\n\n1. **Table I - 性能对比表**：这是论文最关键的实验结果，直接决定了核心结论（特征级融合优于数据级和单一传感器）。需要仔细核对各模型的平均/最大指标，理解性能提升的来源。\n2. **Fig. 5 - 混淆矩阵**：混淆矩阵揭示了每个模型的误分类模式，特别是A5（握住机器人手臂）和A6（危险观察）的混淆行为，解释了为什么某些传感器组合能够改善这些类别。\n3. **Fig. 4 - 特征级融合架构**：这是论文创新点的具体实现，展示了如何通过Seq2Seq将3D Lidar的时间序列特征与其他传感器特征融合，是理解方法门槛的关键。\n4. **Fig. 2 - ConvLSTM架构**：该架构用于处理可穿戴和力/扭矩传感器，其超参数（窗口大小、重叠、层数）直接影响特征提取效果，需要与结果关联。\n5. **Fig. 3 - PointNet++架构**：理解PointNet++如何从点云提取特征，以及为何只能处理单帧（无法直接处理序列），是理解Seq2Seq引入必要性的基础。\n\n### 图表关系或实验设置图\n\n实验流程概览：\n\n1. **数据采集**：使用TIAGo机器人上的3D Lidar、力/扭矩传感器以及用户右腕的穿戴式传感器，从PriMA-Care数据集选取9种活动（见Fig. 1）。\n2. **数据预处理**：所有传感器同步至20Hz，可穿戴及力/扭矩数据被切分为20个时间步（1秒）的窗口，重叠50%；3D Lidar点云降采样至7300点。\n3. **特征提取**：可穿戴和力/扭矩数据经ConvLSTM（见Fig. 2）提取128维特征；3D Lidar点云逐帧经PointNet++（见Fig. 3）提取128维特征。\n4. **特征级融合**：将20帧3D Lidar特征输入Seq2Seq编码解码器，输出单一128维特征，与另两个传感器的128维特征拼接，得到384维特征，送入MLP分类（见Fig. 4）。\n5. **模型评估**：比较五种模型（可穿戴单独、可穿戴+力/扭矩数据级融合、可穿戴+力/扭矩特征级融合、3D Lidar单独、所有传感器特征级融合），在测试集上计算精确率、召回率、F1和准确率（见Table I），并使用混淆矩阵分析分类细节（见Fig. 5）。\n\n### 图表到结论的映射\n\n- **Table I** 支撑结论：所有传感器特征级融合达到最高准确率（平均0.6945，最大0.8073），优于单一传感器或数据级融合；3D Lidar单独性能显著高于可穿戴系列；特征级融合优于数据级融合。\n- **Fig. 5** 支撑结论：可穿戴单独模型在A5（握住机器人手臂）上表现差，易与A6混淆；加入力/扭矩后A5识别改善；3D Lidar在A5、A6上不佳，但全融合模型有效结合两者优势，提升整体准确率。\n- **Fig. 4** 支撑结论：通过Seq2Seq将3D Lidar时间序列特征压缩为单一向量，实现与其他传感器特征的对齐，是特征级融合的具体实现，证明多模态融合的可行性。\n- **Fig. 2** 和 **Fig. 3** 支撑方法描述：明确各传感器数据处理的架构细节，为可复现性提供依据。\n- **Fig. 1** 支撑数据集定义：展示选用的九种活动，界定研究范围（HRI场景）。"
}