{
  "paper_id": "ef4ae11082d89f991f7f3cfbe51d69b5",
  "paper_title": "Privacy-Preserving User Pose Prediction for Safe and Efficient Human-Robot Interaction",
  "paper_authors": [
    "Adel Baselizadeh",
    "Weria Khaksar",
    "Md Zia Uddin",
    "Diana Saplacan",
    "Jim Torresen"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE 19th International Conference on Automation Science and Engineering (CASE)",
  "abstract": "Enhancing user privacy is crucial in improving the safety and efficiency of Human-Robot Interaction (HRI), as it is a key factor for establishing user trust in the robot. Using privacy-preserving sensors and local processing of the user's data are ways to enhance privacy in HRI. This paper presents a privacy-preserving sensing system for real-time tracking and predicting the user's movements in HRI. As privacy-preserving sensors, a thermal and a depth camera are used to monitor the user's movements and determine their current pose. In order to improve the robot's perception of the user's situation and enhance the quality of real-time user monitoring, a Deep Learning (DL) model has been developed to estimate the future poses of the user. The developed model is based on the Sequence to Sequence mechanism (Seq2Seq). Modifications have been made to Seq2Seq so it can be run locally on the robot. As a result of these modifications, the computational cost of the model has been reduced by 34%. Experimental studies have been conducted to evaluate the performance of the sensing system in tracking and predicting the user's movements in HRI. According to the test results, the proposed sensing system is able to track the movements of the user appropriately. Additionally, it is shown that the estimation of the user's movement through the proposed system with the prediction model can improve the safety and efficiency aspects of the HRI experiments by up to 24% and 17%, respectively.",
  "keywords": [
    "Privacy-preserving sensing",
    "User pose prediction",
    "Human-Robot Interaction",
    "Thermal camera",
    "Depth sensor",
    "Seq2Seq",
    "Deep learning"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:13.282655Z",
  "template_tag": "deep_read",
  "summary": "# Privacy-Preserving User Pose Prediction for Safe and Efficient Human-Robot Interaction\n\n\n**作者 / Authors:** Adel Baselizadeh, Weria Khaksar, Md Zia Uddin, Diana Saplacan, Jim Torresen\n\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n### 模块A：阅读对齐与输入校验\n\n#### 1. 论文元数据\n\n- **标题**：Privacy-Preserving User Pose Prediction for Safe and Efficient Human-Robot Interaction\n- **作者**（姓名/单位/简要背景，若明确）：\\  \n  - Adel Baselizadeh （单位未明确标注，可能来自挪威奥斯陆大学等，但文中未给出具体机构，仅以编号1标注）\\  \n  - Weria Khaksar （编号2）\\  \n  - Md Zia Uddin （编号3）\\  \n  - Diana Saplacan （编号4）\\  \n  - Jim Torresen （编号5）\\  \n  *注：作者单位未在正文中明确列出，仅在首页以数字标注，但具体单位未出现在截取内容中，故无法提供。作者背景未提及。*\n- **出版渠道/场所**：期刊/会议/年份/级别未明确给出。从格式和参考文献看可能为IEEE会议或期刊论文，但无明确信息。\n\n#### 2. 研究定位\n\n- **研究领域**：人机交互（HRI）、隐私保护感知、深度学习姿态预测\n- **具体任务**：利用热成像和深度相机实现隐私保护的用户姿态实时跟踪与预测，以提升HRI的安全性和效率\n- **目标用户/应用场景**：人机协作环境中的机器人系统，特别是需要实时监控用户动作并做出快速响应的工业或服务机器人场景\n\n#### 3. 输入材料清单\n\n- **PDF**：是（本输入文档）\n- **附录/补充材料**：无明确提及\n- **代码链接**：未提供\n- **数据集链接**：引用了INHARD数据集，但未给出链接\n\n#### 4. 缺失材料与风险\n\n- **缺失项**：\\  \n  - 作者单位和完整作者列表（仅有编号，无机构）\\  \n  - 明确的出版日期和会议/期刊名称及级别\n  - 代码和数据集的具体链接\n  - 实验的原始数据和详细超参数设置（部分信息在文中）\n- **可能影响**：无法核实作者背景和论文权威性；复现实验困难；无法评估方法在其他条件下的泛化性。\n\n#### 5. 阅读路线（3-6步）\n\n- **步骤1**：通读摘要和引言，把握核心贡献：隐私保护传感系统、Seq2Seq预测模型、实验效果（效率提升24%，安全提升17%）。\n- **步骤2**：细读第二章（传感系统融合方法）和第三章（预测模型架构与修改），理解单应性变换、Seq2Seq改进（残差、注意力、Bi-RNN、Time2Vec）及计算开销对比。\n- **步骤3**：阅读第四、五章实验设置和结果，重点理解手跟随测试和碰撞测试的指标（RMSE、反应时间），以及预测带来的改进幅度。\n- **步骤4**：结合图表（图1-5，表1-4）重新审视方法，分析实验设计的合理性和局限性。\n- **步骤5**：阅读结论和未来工作，思考该系统的可扩展性和实际部署约束。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n### 模块B：第一遍概览\n\n#### 1. 论文类型与类别\n\n- **论文类型**：系统论文（system paper），提出了一套完整的隐私保护人体姿态感知与预测系统，包括硬件集成、算法设计、实验验证。\n- **研究类别**：人机交互（HRI）、隐私保护感知、深度学习姿态预测、轻量化模型设计。\n\n#### 2. 背景与研究背景\n\n- **研究背景**：人机交互中，机器人感知用户姿态对安全与效率至关重要，但传统RGB相机监控会侵犯用户隐私。现有隐私保护方法（如热成像、LIDAR）可能导致数据精度下降，形成隐私-效用权衡。\n- **本文立足点**：提出使用热成像相机+深度传感器替代RGB相机，结合本地处理（本地运行算法）增强隐私，并通过深度学习预测用户未来姿态来补偿精度损失和传感延迟，从而在保障隐私的同时提升交互安全性与效率。\n\n#### 3. 直观正确性检查（关键假设与合理性）\n\n- **假设1**：热成像相机+OpenPose能有效提取人体2D关节，且热成像对隐私侵犯较RGB小。合理性：热成像不提供肤色纹理等敏感信息，但文献中也有争议，作者承认（见引言citation [^7]），但整体方向合理。\n- **假设2**：通过单应性变换和针孔模型融合热成像与深度图像，可获得3D关节位置。合理性：基于标准几何标定方法，数学上可行，但依赖标定精度，文中给出了大量数据点（483250）进行伪逆求解，增强了可信性。\n- **假设3**：修改后的Seq2Seq模型（加入残差、注意力、双向RNN、Time2Vec）能在保持精度的同时降低计算成本，适合本地运行。合理性：这些技术均为成熟加速/改善方法，文中有对比实验（表1），显示运行时间减少34%，直观合理。\n- **假设4**：预测未来0.3秒姿态可提升机器人反应速度和跟踪精度。合理性：预知未来可补偿延迟，但需注意预测误差风险，文中也发现了快速运动时Y方向性能下降（见结果部分），符合直觉。\n\n#### 4. 核心贡献（3-5条）\n\n1) 提出一套新颖的隐私保护感知系统，结合热成像相机（Optris P1450）与深度传感器（Orbbec Astra S），通过OpenPose处理热成像图像实时获取用户2D姿态，再经单应性变换与针孔模型融合深度信息得到3D上体关节位置，以保护用户隐私。[见第II节，图1]\n2) 开发了一个轻量化的Seq2Seq姿态预测模型，通过同时引入残差连接、Bahdanau注意力、双向RNN和Time2Vec嵌入，在保持预测精度（85%准确率）的前提下，将计算成本降低了34%，使其可本地运行于机器人处理器，避免云端传输，增强隐私。[见第III节，表1]\n3) 通过实际操作实验验证了系统性能：手跟随测试中，预测用户手部位置使跟踪误差在中等速度下降低约25%，快速下降低约10%；碰撞避免测试中，预测使用户手进入危险区时机器人反应时间平均缩短约15%（最高达15%），离开危险区时反应时间缩短最高达17%。[见第V节，表2-表4]\n\n#### 5. 清晰度评估（结构、图表、公式、可读性）\n\n- **结构**：逻辑清晰，按照摘要、引言、系统设计（II）、预测模型（III）、实验（IV）、结果（V）、结论（VI）展开，层次分明。\n- **图表**：图1展示了感知系统组成，图2展示了修改后的Seq2Seq架构，图3-4展示了实验装置，图5展示了轨迹与误差分布；表1对比了不同修改的运行时间，表2-4给出了实验结果，图表与正文对应良好，有助于理解。\n- **公式**：核心公式（单应性变换、针孔投影、注意力计算、Time2Vec、RMSE等）均有编号且解释清晰，但表1中部分内容被截断（如模型参数列未完全显示），但整体不影响理解。\n- **可读性**：语言流畅，技术术语使用恰当，但部分细节（如具体数据集划分、训练细节）可能需读者查阅引用。整体对于机器人或深度学习背景的读者友好。\n\n#### 6. 继续或停止建议（明确建议及理由）\n\n- **建议**：继续阅读（进入第二遍、第三遍）。\n- **理由**：该论文提出了一个完整的隐私保护感知与预测框架，具有实际应用价值，且实验设计细致（如利用UR5机器人控制手部移动以保证可重复性），结果有定量改进。继续深读可以理解其技术细节、评估局限，并为后续研究提供借鉴。对于从事HRI、隐私保护或轻量化深度学习的研究者，这是一篇值得仔细分析的论文。\n\n#### 7. 结构大纲图（Markmap）\n\n```markmap\n# 论文概览\n## 引言（I）\n  - 隐私保护重要性\n  - 现有方法及问题\n  - 贡献概述\n## 感知系统（II）\n  - 热成像+深度传感器\n  - OpenPose提取2D关节\n  - 单应性变换与针孔模型得到3D姿态\n## 预测模型（III）\n  - Seq2Seq机制\n  - 修改：残差、注意力、双向RNN、Time2Vec\n  - 计算成本与精度权衡\n## 实验评估（IV）\n  - 手跟随测试\n  - 碰撞避免测试\n  - 实验设置（TIAGo机器人）\n## 结果（V）\n  - 轨迹跟踪误差（RMSE）\n  - 反应时间改善\n## 结论（VI）\n  - 总结\n  - 未来工作\n```\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n### 模块C1：论文试图解决什么问题？\n\n#### 1. 一句话问题定义\n\n本文旨在解决在人机交互（HRI）中，如何在保护用户隐私的前提下，实现对用户姿态的实时跟踪与预测，从而提升HRI的安全性与效率。\n\n#### 2. 痛点或不足（2-4条）\n\n- **隐私风险**：传统RGB相机监控用户会泄露敏感视觉信息，导致用户隐私担忧，降低信任度（引言，第一节）。\n- **隐私与效用权衡**：使用隐私保护传感器（如热成像）或本地处理可能降低监控精度，如何权衡隐私与监测性能尚未充分解决（引言，第一节）。\n- **本地处理限制**：深度学习模型通常计算代价高，难以在机器人本地处理器上实时运行，若依赖云端则增加隐私泄露风险（引言及第三节）。\n- **传感系统延迟**：热成像图像经Openpose处理存在滞后（约比RGB慢20%），影响实时跟踪的及时性（第二节，第三节）。\n\n#### 3. 形式化目标或优化目标（若存在）\n\n- **系统目标**：融合热成像相机与深度传感器，通过单应性变换和针孔投影，实时估计用户上肢8个关节的3D位置，构建隐私保护的用户监测系统（第二节，公式1-6）。\n- **预测模型目标**：基于修改后的Seq2Seq模型（引入残差连接、注意力机制、双向RNN、Time2Vec嵌入），以过去2秒的关节3D序列为输入，预测未来1秒的关节位置，同时最小化计算成本（第三节）。\n- **优化方向**：在保持预测精度（85%准确率）下，通过减少GRU单元数并增加辅助模块，降低模型运行时间，使模型能在机器人本地处理器上运行（第三节，表格1）。\n\n#### 4. 成功标准（指标或期望属性）\n\n- **感知精度**：手跟随测试中，使用预测位置时整体RMSE降低，中速下改进约24.97%，快速下改进约9.83%（第五节，表格2）。\n- **安全效率**：碰撞测试中，预测用户手位置使机器人反应时间缩短最多约15%（进入危险区）和17%（离开危险区）（第五节，表格3和表格4）。\n- **计算开销**：与原始Seq2Seq相比，修改后模型将测试阶段运行时间降低34%（第三节，表格1）。\n- **隐私属性**：仅使用热成像和深度数据，不采集RGB图像，数据本地处理，符合GDPR原则（引言，第一节）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n### 模块C2：哪些相关工作重要？\n\n#### 1. 最强基线（及比较轴）\n\n- **方法**：原始Seq2Seq模型（无任何修改），在表1中作为基线，其运行时间与修改后的模型对比。\n- **核心思想**：使用标准Seq2Seq（编码器-解码器，GRU）直接预测未来姿态，但计算成本高，运行时间最长（1s预测时0.008644ms，见Table 1，第II节）。\n- **比较轴**：在达到相同预测精度（85%）的前提下，比较模型在测试阶段的运行时间（计算成本），以及模型参数数量/GRU数量。论文通过逐步添加修改（残差、Bi-RNN、注意力、Time2Vec）来对比相对计算开销（见第III节，表1）。\n\n#### 2. 最接近的方法（及关键差异）\n\n- **方法**：使用RNN/Seq2Seq进行人体姿态预测，例如文献[^22]的RNN用于运动轨迹预测，以及文献[^29]的残差连接改进Seq2Seq用于人体运动预测（Martinez等）。\n- **核心思想**：这些方法都利用深度学习模型（RNN、LSTM/GRU）预测未来人体姿态，通常需要在较大计算资源上运行。\n- **关键差异**：本文不仅提出了预测模型，更关键的是通过同时加入残差连接、注意力、Bi-RNN、Time2Vec四种技术，在不降低精度的前提下显著降低模型计算成本（降低34%，见摘要和结论），使其能够本地运行于机器人处理器上，从而增强隐私保护（不依赖云）。另一点不同：本文使用热成像+深度传感器代替RGB相机进行隐私保护感知，并利用预测模型补偿热成像处理带来的延迟（见第II、III节）。\n\n#### 3. 正交方向\n\n- **传统方法**：Kalman滤波、双线性时空基模型（文献[^20] [^21]），这些是经典信号处理或数学方法，不依赖深度学习，计算简单但预测精度有限。\n- **基于CNN的方法**：使用卷积神经网络进行姿态估计（文献[^23]），但本文侧重于时序预测而非单帧估计；CNN通常用于空间特征提取，与RNN的时序建模正交。\n- **其他隐私增强传感技术**：非视觉传感器如LIDAR（文献[^6]），以及完全本地处理而不使用任何相机的方式，属于不同感知模态的隐私保护方案。\n- **模型轻量化通用技术**：知识蒸馏、剪枝、量化等，这些方法独立于模型架构，可与本文的Seq2Seq修改结合使用。\n\n#### 4. 一句话定位\n\n本文通过热成像与深度相机融合实现隐私保护的用户姿态跟踪，并利用轻量化Seq2Seq模型（同时加入残差、注意力、Bi-RNN、Time2Vec）进行未来姿态预测，以在保证隐私的同时提升HRI效率和安全（效率提升24%，安全提升17%，见摘要和实验部分）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n### 模块C3：论文如何解决问题？\n\n#### 1. 核心机制概述\n\n本文提出一种隐私保护的人机交互（HRI）用户姿态预测系统，其核心机制分为两部分：\n\n- **传感系统**：融合热成像相机和深度传感器，利用OpenPose从热图像中提取2D人体关节，通过单应性变换和针孔相机投影将2D像素坐标转换为3D世界坐标，实现实时用户上身姿态跟踪，同时避免使用RGB相机以增强隐私。\n- **姿态预测模型**：基于Seq2Seq架构，通过改进（残差连接、注意力机制、双向RNN、Time2Vec嵌入）降低计算成本，使模型能在机器人上本地运行，预测未来1秒内的用户关节3D位置，以补偿传感系统的延迟并提升HRI的安全性和效率。\n\n#### 2. 逐步分解\n\n**传感系统流程**（第II节）：\n\n1. 热像仪和深度传感器以30 FPS采集数据。\n2. OpenPose对热图像进行处理，获取用户2D关节位置（约13-15 FPS）。\n3. 通过标定得到单应性矩阵 \\(H_{th}^{d}\\)，将热图像像素坐标映射到深度图像像素坐标（Eq.1-5）。\n4. 利用深度信息，通过针孔相机投影（Eq.6）将像素坐标转换为世界坐标系中的3D关节位置。\n5. 仅关注上半身8个关节（头、颈、双肩、双肘、双腕）。\n\n**预测模型流程**（第III节）：\n\n1. 输入：过去2秒内连续时间步的用户3D关节位置序列（采样率15 FPS）。\n2. 应用Time2Vec嵌入（Eq.11）捕捉时间周期模式。\n3. 送入编码器（Bi-RNN）生成隐藏状态序列。\n4. 解码器结合注意力机制（Eq.7-10）生成未来关节位置预测。\n5. 输出预测的未来1秒（预测0.3秒用于机器人控制）。\n6. 训练采用INHARD数据集，使用Adam优化器（学习率0.005）、3000次迭代、批量大小8，损失函数为均方误差（MSE）。\n\n#### 3. 关键公式或模块作用\n\n- **单应性变换**（Eq.1）：\\( \\begin{bmatrix}u_{d}\\\\ v_{d}\\\\ 1\\end{bmatrix}=H_{th}^{d}\\begin{bmatrix}u_{th}\\\\ v_{th}\\\\ 1\\end{bmatrix} \\)，将热图像像素坐标映射到深度图像坐标。\n- **伪逆计算单应矩阵**（Eq.2-5）：利用483250对关节像素位置求解最优 \\(H_{th}^{d}\\)。\n- **针孔相机投影**（Eq.6）：\\( X=(u^{t h}-c_{x})\\frac{Z}{f_{x}}, Y=(v^{t h}-c_{y})\\frac{Z}{f_{y}}, Z=Z \\)，将像素坐标与深度值转换为世界坐标。\n- **注意力机制**（Eq.7-10）：计算解码器各时间步的注意力权重，加权求和编码器状态，提升预测精度。\n- **Time2Vec**（Eq.11）：\\( \\mathbf{t2v}[i](\\tau)\\begin{cases}\\omega_{i}\\tau+\\phi_{i}&if i=0\\\\ \\mathrm{F}(\\omega_{i}\\tau+\\phi_{i})&if1\\le i\\le k\\end{cases} \\)，捕捉时间周期性。\n\n#### 4. 流程示意图\n\n```mermaid\nflowchart TD\n  A[\"热像仪 + 深度传感器 (30 FPS)\"] --> B[\"OpenPose处理热图像 (13-15 FPS)\"]\n  B --> C[\"单应性变换 (Eq.1)\"]\n  C --> D[\"针孔投影获得3D坐标 (Eq.6)\"]\n  D --> E[\"当前及历史3D关节序列\"]\n  E --> F[\"Time2Vec嵌入\"]\n  F --> G[\"编码器 (Bi-RNN)\"]\n  G --> H[\"注意力机制 + 解码器 (GRU)\"]\n  H --> I[\"预测未来1秒3D关节位置\"]\n  I --> J[\"机器人控制 (预测0.3秒)\"]\n```\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n### 模块C4：数据集、基准与实现/评估设置\n\n#### 1. 数据集/基准列表\n\n- **INHARD（工业人机协作场景下的人体动作识别数据集）**：\n  - 规模：包含16名受试者，执行13种工业HRI任务，采集频率为120 FPS，记录17个人体关节的3D位置。\n  - 场景：人机协作的工业场景，涉及与机器人操纵器配合的任务。\n  - 用途：用于训练和测试Seq2Seq姿态预测模型。由于该数据集包含与机器人交互时的人体运动，适合作为HRI姿态预测的训练数据。\n- **自建实验数据集（用于传感系统标定）**：\n  - 为计算热像仪与深度传感器之间的单应矩阵，采集了单个个体的RGB和热像视频，使用OpenPose提取25个人体关节的像素位置，共获得483250个关节像素位置。\n  - 场景：室内标定场景。\n- **实际HRI评估测试（手跟随测试和碰撞测试）**：\n  - 采用TIAGo和UR5机器人进行实验，测试环境为实验室设置，未提供公开数据集。\n\n#### 2. 预处理与划分/覆盖设置\n\n- **热像与深度数据融合预处理**：\n  - 使用伪逆法计算热像仪到深度传感器的单应矩阵（式1-6），将热像中的关节像素坐标映射到深度图像，再通过针孔相机投影（式6）计算3D世界坐标。\n  - OpenPose以13-15 FPS的速率从热像中提取2D关节位置（25个关节），随后仅使用8个上肢关节（肩、肘、腕、头、颈）。\n- **预测模型的数据采样与划分**：\n  - 由于传感系统实际提供约15 FPS的关节数据，预测模型训练时从INHARD数据集中按15 FPS重采样，以匹配实时部署的帧率。\n  - 输入序列：过去2秒内的关节3D位置（即2秒×15 FPS=30个时间步）；预测目标：未来1秒内的关节位置（即15个时间步）。\n  - 未明确说明训练/验证/测试集的划分比例，但提及所有模型均在INHARD数据上训练和测试（可能使用相同或独立子集，文中未详述）。\n- **评估测试设置**：\n  - 手跟随测试：以UR5带动用户手沿固定轨迹运动，速度分为中速（UR5最大速度的30%）和快速（60%），每种条件重复10次。\n  - 碰撞测试：机器人危险区域为距离操纵器30cm以内，手沿不同平面（XY、XZ、YZ、XYZ）移动，每种情况至少重复6次。\n  - 预测模型输入为过去2秒数据，输出未来1秒，但实际发送给机器人的是未来0.3秒的预测位置。\n\n#### 3. 训练/推理/评估环境\n\n- **硬件**：\n  - 计算GPU：NVIDIA Quadro RTX 3000（6 GB RAM），用于运行OpenPose和训练/测试预测模型。\n  - 传感器：Optris P1450热像仪，Orbbec Astra S深度传感器，两者最高30 FPS。\n  - 机器人：TIAGo（评估用），UR5（用于生成重复运动以控制手部轨迹）。\n- **软件与库**：\n  - 使用OpenPose库进行关节检测。\n  - 预测模型基于Seq2Seq架构，使用GRU单元，并融合残差连接、注意力机制（Bahdanau）、双向RNN、Time2Vec嵌入。\n- **训练超参数**：\n  - 优化器：Adam，学习率0.005。\n  - 迭代次数：3000次。\n  - 批量大小：8。\n  - 解码器全连接层使用dropout=0.1。\n  - 损失函数：均方误差（MSE）。\n  - 模型层数：除原始Seq2Seq为2层外，修改后的模型均为单层编码器和解码器。\n- **性能指标**：\n  - 计算效率：以测试阶段模型运行时间（ms）衡量，针对不同预测时长（330ms、720ms、1000ms）比较。\n  - 预测精度：目标达到85%的预测精度时的运行时间（表1）。\n  - 评估指标：手跟随测试采用RMSE（式12），碰撞测试采用机器人反应时间（秒）。\n\n#### 4. 这些选择的重要性与验证目标\n\n- **使用INHARD数据集**：该数据集采集自工业HRI场景，包含机器人与人的交互动作，使模型学习到与HRI相关的运动模式，更适用于实际部署。重采样至15 FPS保证了与传感系统实际输出频率一致，避免训练/推理分布失配。\n- **多传感器融合与标定**：通过热像仪和深度传感器的融合实现隐私保护，同时提供3D关节位置。伪逆法单应矩阵和针孔投影确保了空间对齐的准确性，但标定数据仅来自单一个体，可能带来泛化性限制。\n- **模型轻量化设计**：为了在机器人本地运行，减少GRU数量并引入多种改进，在保持85%精度的前提下降低计算成本34%，验证了本地部署的可行性。表1展示了不同模型配置的运行时间对比，支持选择最快模型的实际应用。\n- **实际测试场景**：手跟随测试评估了预测对跟踪精度（效率）的影响，碰撞测试评估了预测对机器人反应时间（安全）的影响。通过控制手部运动轨迹的可重复性（使用UR5），提高了测试的可靠性和可比性。这些测试验证了预测模型在真实HRI中的有效性，并量化了提升幅度（效率提升最高约24%，安全提升最高约17%）。\n- **局限性**：测试仅涉及单一受试者，且手部运动轨迹由机器人驱动，与自然人体运动有差异；快速运动时预测精度下降（Y方向出现负改进），表明模型对快速运动的泛化能力有限。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n### 模块C5：指标与结果\n\n#### 1. 评估指标定义\n\n- **RMSE（均方根误差）**：用于手跟随测试中衡量机器人末端执行器与用户手部位置之间的跟踪误差（式12），计算三维空间上的整体误差以及X、Y、Z各方向上的分量。\n- **反应时间（Reaction time）**：在人机碰撞测试中，机器人从检测到用户手部进入或离开危险区到作出相应动作（避障或恢复任务）的时间间隔（单位：秒）。\n- **改进百分比（Improvement %）**：对比使用预测位置与不使用预测位置（即当前真实位置）时的性能提高幅度。\n- **计算开销**：在测试阶段模型运行时间（毫秒），用于评估各变体的实时性。\n\n#### 2. 主要结果\n\n- **模型计算开销降低**：经过修改的Seq2Seq模型（结合残差连接、注意力、Bi-RNN、Time2Vec，嵌入维度64）相比原始无修改Seq2Seq，达到85%预测精度时运行时间减少34%（测试阶段，见表1及相关文字）。\n- **手跟随测试（表2）**：\n  - 中等速度：使用预测位置后整体RMSE从0.2991降至0.2244，改进24.97%；X方向改进18.31%，Y方向24.05%，Z方向6.51%。\n  - 快速速度：整体RMSE从0.3692降至0.3329，改进9.83%；但Y方向出现负改进（-7.76%），即预测反而导致误差增大，原因为Y方向深度传感器误差大且高速下预测不够准确。\n- **人机碰撞测试（表3、表4）**：\n  - 手部进入危险区（表3）：预测使机器人反应时间平均改善约8%–15%，四个平面（XY、XZ、YZ、XYZ）中改善最大为XY平面15.03%。\n  - 手部离开危险区（表4）：预测使机器人反应时间改善8.76%–17.58%，最大为YZ平面17.58%；整体上预测使机器人平均提前约15%开始任务。\n\n#### 3. 与基线或先前工作的比较\n\n- **基线**：文中未提供与现有HRI隐私保护系统或姿态预测方法的定量对比，仅将“无预测”（使用当前实时位置）作为内部基线。实验结果表明预测位置优于当前位置，证实了预测模型的功效。\n- **模型架构对比（表1）**：逐步添加修改的Seq2Seq变体与原始Seq2Seq（7200 GRU参数，2层）比较运行时间，验证了修改的有效性。所有变体在预测1秒内的运行时间均小于0.009秒，满足实时性要求；修改后的模型在参数更少、结构更轻量的情况下运行时间更短。\n\n#### 4. 消融、敏感性及相关差异分析\n\n- **消融研究（表1）**：在原始Seq2Seq基础上依次添加残差连接（RC）、双向RNN（Bi-RNN）、注意力（AM）、Time2Vec（不同嵌入大小32/64/128），并减少GRU层数/数目。结果显示：组合RC+Bi-RNN+AM+Time2Vec（嵌入64）达到最快运行时间（0.005624秒 @1000ms预测），比原始模型快34%；嵌入大小64优于32和128（同样结构下64维最快）。\n- **敏感性分析（图5、表2）**：\n  - 速度敏感性：预测对中速手部运动改善更明显（24.97% vs 9.83%），因训练数据更接近中速运动模式。\n  - 方向敏感性：Y方向（深度传感器）误差较大，且中等速度下预测改善最大（24.05%），但快速下反而恶化；X、Z方向（热成像）相对稳定。\n  - 重复性：每个测试至少重复6–10次以确保可靠性（表2说明、表3/4说明）。\n- **跨论文差异综合**：文中未与外部论文进行量化对比，但引用了INHARD数据集（[^35]）训练模型，该数据集包含工业协作任务，与测试场景相关；训练采样率（15 FPS）与系统实际输出一致，体现了实验设置的针对性。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n### 模块C6：未来可探索方向\n\n基于论文的现有工作，以下从理论、工程和数据/评估三个维度提出后续研究建议。\n\n#### 理论方向\n\n1. **更优的隐私-效用权衡建模**：论文（引言部分，第I节）提到隐私与监测精度之间的权衡（privacy-utility trade-off），但未给出定量模型。未来可构建形式化的隐私-效用权衡框架，例如将隐私泄漏度量（如热成像特征可识别性）与预测精度（如RMSE或碰撞反应时间提升）纳入联合优化目标，从而指导传感器组合、模型压缩或数据脱敏策略的选择。\n2. **预测模型可解释性分析**：论文采用的Seq2Seq改进模型（第III节）包含注意力、残差连接、Bi-RNN和Time2Vec，但未解释各组件对预测的贡献机制。可从理论上分析注意力权重的物理含义，或研究Time2Vec的周期项如何对应人体运动节律，以提升模型的可解释性并辅助调参。\n3. **不确定性量化与鲁棒预测**：当前模型输出确定性点预测，未提供预测置信区间。未来可引入贝叶斯深度学习或集成方法，对预测不确定性进行建模，使机器人能够根据置信度调整交互策略（如降低速度或请求确认），从而提升安全性和可靠性。\n\n#### 工程方向\n\n1. **轻量化与实时部署优化**：论文强调本地处理（第I节），但Openpose在嵌入式GPU上仅达到13-15 FPS（第II节），仍有提升空间。可探索模型量化、剪枝、知识蒸馏或使用更轻量的姿态估计网络（如AlphaPose的轻量版）以降低延迟，提高帧率。\n2. **多传感器融合的鲁棒性工程**：当前系统依赖热成像和深度传感器的标定（Homography矩阵），但环境温度变化、传感器漂移或遮挡可能影响标定精度。未来可设计自适应在线标定算法，或引入非视觉传感器（如LiDAR、毫米波雷达）以增强系统在复杂场景下的稳定性和容错性。\n3. **与机器人控制器的深度集成**：论文仅将预测位置直接发送给控制器，未来可设计专门利用预测信息的控制策略，例如模型预测控制（MPC）或基于预测的避障规划，以在全状态空间内优化机器人的反应，并处理预测误差带来的风险。\n\n#### 数据/评估方向\n\n1. **扩展真实场景与多样本评估**：论文的实验仅使用单一人（第V节），且由UR5驱动，缺乏真实用户的随机运动和多变环境。未来应在多个受试者、不同体型、年龄、运动习惯以及真实HRI协作任务（如装配、搬运）中验证，并统计模型的泛化性能。\n2. **构建公开基准与数据集**：论文使用INHARD数据集训练预测模型（第III节），但评估测试数据未公开。建议发布包含热成像、深度图像和同步3D关节标注的隐私-感知HRI数据集，并建立统一评估协议（如预测精度、反应时间提升、隐私度量），以促进社区对比。\n3. **长时预测与多尺度时间建模**：当前模型仅预测1秒内的未来姿态（第III节），且实验仅使用0.3秒的预测结果。未来可研究更长预测时域（如2-5秒）下的精度衰减规律，并引入多尺度时间嵌入或扩散模型，以应对复杂动态交互需求。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n### 模块C7：真实世界应用中的表现\n\n#### 1. 部署约束\n\n- **硬件依赖**：该系统依赖特定传感器（Optris P1450热像仪、Orbbec Astra S深度传感器）和GPU（NVIDIA Quadro RTX 3000，6GB）。部署时必须配备这些设备，且热像仪与深度传感器需要进行标定（单应性矩阵计算），标定过程需要大量数据（483250个像素点），部署时需重新标定或预标定。\n- **环境约束**：热像仪对温度敏感，环境温度变化可能影响关节检测精度；深度传感器对光照和表面材质敏感，室外或强光环境下性能可能下降。\n- **计算资源**：模型在机器人本地运行，但Openpose处理热像图像达13-15 FPS，模型预测需在实时性要求下运行。推理延迟需低于1000ms（表1显示最快模型约5.6ms），但整体系统延迟受Openpose限制。\n- **模型训练**：预测模型使用INHARD数据集训练，该数据集包含特定工业HRI任务，若部署场景不同（如家庭服务机器人），模型泛化能力可能不足，需重新采集数据训练。\n\n#### 2. 计算与延迟影响\n\n- **传感器采样率 vs 处理速率**：传感器以30 FPS采集，但Openpose仅能处理13-15 FPS，导致数据流速率下降（约50%）。预测模型需处理该低速率输入，且预测时长为1秒（见III节），实验中使用预测后0.3秒数据（见V节）。\n- **模型计算开销**：修改后的Seq2Seq模型通过减少GRU数量（从7200降至800）和引入注意力、残差、双向RNN、Time2Vec等，使得计算成本降低34%（见III节表1）。表1中最快模型运行时间约5.6-5.7ms，满足实时性。\n- **延迟补偿**：系统利用预测补偿热像处理延迟，实验显示手跟随效率提升约25%（中速）和10%（快速），碰撞反应时间提升约15%（进入危险区）和17%（离开危险区）（表2、3、4）。\n- **端到端延迟**：整体延迟包括传感器采集（33ms）、Openpose处理（约67-77ms）、预测（约6ms）和机器人控制回路，实验未明确说明总延迟，但预测输出用于未来0.3秒，需保证控制系统能及时响应。\n\n#### 3. 鲁棒性与安全问题\n\n- **速度敏感性**：预测模型在快速运动时效果下降，Y方向误差甚至增加7.76%（表2），说明模型对快速运动鲁棒性不足。\n- **单用户限制**：实验仅针对单用户，且由UR5引导运动，未涉及多用户或真实用户自然运动。实际交互中用户可能有多变姿势，模型可能失效。\n- **安全性依赖**：碰撞避免实验依赖预测准确性，若预测错误可能导致误判（误入或误出危险区），引发安全风险。系统未提供失效保护机制，如预测置信度评估。\n- **隐私与效用权衡**：热像虽降低隐私风险，但仍可通过Openpose提取骨架，论文引用了对热像隐私的质疑（文献[^7]），需考虑热像数据本身可能泄露生物特征。\n- **传感器故障**：热像仪或深度传感器任一失效，系统无法工作，缺少冗余设计。\n\n#### 4. 可维护性\n\n- **标定维护**：热像与深度相机需要定期重新标定，单应性矩阵可能因安装位置改变或机械振动而失准，无自动自校准机制。\n- **模型更新**：模型基于特定数据集训练，若部署环境变化需重新训练。论文未提供在线学习或迁移学习机制。\n- **软件依赖**：依赖Openpose库，该库维护活跃但可能更新导致API变化；需适配不同GPU平台。\n- **数据存储**：本地处理避免云端传输，但需考虑本地存储隐私安全，论文未说明数据加密等保护措施。\n- **可解释性**：模型为黑盒，缺乏解释能力，难以诊断预测错误原因，不利于安全审计。\n\n#### 5. 实际部署建议\n\n- 需在部署前评估目标场景与INHARD数据集的相似度，必要时采集新数据微调。\n- 增加传感器冗余，如添加毫米波雷达或LIDAR作为辅助。\n- 设计安全机制：当预测置信度低时，禁用预测，回退到当前实际位置。\n- 建立周期性标定和模型再训练流程，确保长期运行稳定性。\n- 为系统增加失败检测和紧急停机功能。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n### 模块C8：简明总结\n\n#### 1. 总结段落（6-8句）\n\n本文提出了一种面向人机交互（HRI）的隐私保护用户姿态预测系统，该系统融合热成像相机与深度传感器，利用OpenPose库从热图像中提取用户的2D关节位置，并通过单应性变换和针孔相机投影获得3D姿态（第II节）。为提升机器人对用户未来运动的感知并补偿热成像处理带来的延迟，作者开发了一个基于Seq2Seq架构的轻量级预测模型，通过引入残差连接、注意力机制（Bahdanau）、双向RNN、Time2Vec嵌入和束搜索（最后排除）等五类改进，在保持预测精度的前提下将计算成本降低了34%（第III节，表1）。实验评估包括手部跟随测试和机器人碰撞测试：手部跟随测试表明预测用户位置可将轨迹跟踪精度在中速下提升约25%、快速下提升约10%；碰撞测试表明预测使用户手部进入危险区的反应时间平均缩短约15%，手部离开危险区时机器人恢复任务的时间最多缩短约17%（第V节，表2-4）。系统整体利用隐私保护传感器和本地处理，在隐私与效用之间取得了良好平衡，为HRI中的安全与效率提供了有效解决方案。未来工作将探索更复杂协作场景、替代姿态检测库以及非视觉传感器等方向（第VI节）。\n\n#### 2. 五个关键要点\n\n- **隐私保护传感器融合**：采用热成像相机与深度相机替代RGB-D相机，通过单应性变换（伪逆法）将热图像坐标映射到深度图像，再投影到世界坐标系，实现了无RGB图像的上半身3D姿态估计（第II节）。\n- **轻量化Seq2Seq预测模型**：在原始Seq2Seq上同时叠加残差连接、Bahdanau注意力、双向GRU、Time2Vec嵌入四项改进，使模型参数从7200个GRU单元降至800个，推理时间显著缩短，计算开销降低34%（第III节，表1）。\n- **效率提升量化**：在手部跟随实验中，预测使用户腕部轨迹的RMSE在中速下降低约25%（0.2991→0.2244），快速下降低约10%（0.3692→0.3329），但快速下Y方向误差增加7.76%，表明模型在快速运动下仍有局限（第V节，表2）。\n- **安全提升量化**：在碰撞规避实验中，预测使机器人对用户手部进入危险区的反应时间平均缩短约15%（最高15.03%），对手部离开危险区的反应时间缩短最多达17.58%（YZ平面），明显提升机器人安全响应能力（第V节，表3-4）。\n- **隐私与效用权衡**：本地处理和隐私传感器虽导致帧率降低（热像OpenPose处理约13-15 FPS，比RGB慢约20%），但预测模型可补偿由此产生的延迟，实现安全性与效率的双重提升（第II、V节）。\n\n#### 3. 核心公式或机制\n\n系统核心机制是热图像到深度图像的单应性变换以及位置预测的注意力机制。其中，单应性变换公式为：\n\n$$\n\\begin{bmatrix} u_d \\\\ v_d \\\\ 1 \\end{bmatrix} = H_{th}^{d} \\begin{bmatrix} u_{th} \\\\ v_{th} \\\\ 1 \\end{bmatrix}\n$$\n\n预测模型中的Bahdanau注意力权重计算为：\n\n$$\ne_{t,i} = V^T \\tanh(W [h_i; s_{t-1}]), \\quad \\alpha_{t,i} = \\text{Softmax}(e_{t,i})\n$$\n\n这些机制共同决定了系统从传感数据到未来姿态预测的完整链路，是实现隐私保护、高效预测的核心。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n### 模块D：第二遍深入阅读\n\n#### 1. 结构树\n\n- 论文结构（按原文章节）\n  - 摘要（Abstract）\n  - I. 引言（Introduction）\n    - 研究背景：机器人感知、HRI中的隐私问题\n    - 隐私保护传感器与本地处理\n    - 主要贡献：1) 热成像+深度相机的隐私保护感知系统；2) 改进的Seq2Seq预测模型（降低计算成本）\n    - 论文组织说明\n  - II. 用户监控与姿态检测（User Monitoring and Pose Detection）\n    - 传感系统组成：热成像相机（Optris P1450）+ 深度传感器（Orbbec Astra S）\n    - 多传感器标定：Homography变换（热成像→深度图像素映射），Pseudo-inverse求解\n    - 世界坐标转换：Pinhole相机投影模型\n    - 仅关注上半身8个关节（肩、肘、腕、头、颈）\n    - 处理帧率：传感器30 FPS，OpenPose+热成像13-15 FPS（较RGB慢约20%）\n  - III. 用户身体姿态预测（User Body Pose Estimation）\n    - 预测模型：Seq2Seq（编码器-解码器）\n    - 五处修改：残差连接（Residual）、注意力机制（Bahdanau attention）、双向RNN（Bi-RNN）、Time2Vec嵌入、Beam search（因运行时间过长被排除）\n    - 模型对比：不同修改组合的GRU数量、参数量、测试阶段运行时间（表1）\n    - 最佳模型：Time2Vec（嵌入大小64）+ AM + RC + Bi-RNN + Seq2Seq，运行时间最低\n    - 训练数据：INHARD数据集（17个关节，16名受试者，120 FPS，13个工业HRI任务），采样至15 FPS\n    - 训练细节：Adam优化器，学习率0.005，3000迭代，批大小8，dropout=0.1，损失函数MSE\n  - IV. 实验评估测试（Experimental Evaluation Tests）\n    - 测试目标：感知系统跟踪/预测性能，预测对效率和安全的影响\n    - 测试平台：TIAGo机器人（含UR5用于创建可重复运动）\n    - 测试1：手跟随轨迹跟踪实验（medium/fast速度，比较当前/预测位置）\n    - 测试2：人-机器人碰撞测试（进入危险区/离开危险区，比较反应时间）\n    - 测试变量：不同速度、重复次数（至少6次）、不同运动平面（XY、XZ、YZ、XYZ）\n    - 单受试者测试（因UR5控制手运动，重复性高）\n  - V. 结果（Results）\n    - 手跟随测试：表2给出RMSE及改进百分比（中速整体提升24.97%，快速提升9.83%）；图5展示轨迹和误差分布\n    - 碰撞测试：表3（进入危险区）机器人反应时间改进最高15.03%；表4（离开危险区）改进最高17.58%\n    - 结果解读：预测模型补偿热成像OpenPose处理延迟，提升效率和安全\n  - VI. 结论与未来工作（Conclusions）\n    - 总结贡献：隐私保护感知系统+轻量预测模型\n    - 未来工作：更复杂HRI场景、其他隐私传感器、改进模型\n\n#### 2. 方法/系统分解\n\n- **系统输入**：\n  - 热成像相机图像（RGB替代品，保护隐私）\n  - 深度传感器数据（与RGB-D相机深度相同坐标系）\n  - 用户历史3D关节位置序列（过去2秒，采样率15 Hz）\n- **系统输出**：\n  - 用户当前3D姿态（8个上半身关节：头、颈、左右肩、肘、腕）\n  - 未来1秒内的预测3D姿态（实际用于机器人控制的是0.3秒后的预测位置）\n- **模块分解**：\n  1. **热成像姿态检测模块**：OpenPose处理热成像图像，提取2D关节位置（约13-15 FPS）\n  2. **深度融合模块**：利用Homography矩阵将热成像像素映射到深度图像素，获取深度值，再通过Pinhole模型转换为世界坐标（X,Y,Z）\n  3. **姿态预测模块**：Seq2Seq模型（编码器-解码器架构，GRU单元）\n     - 输入：过去2秒的关节3D位置序列（每帧15个时间步？）\n     - 编码器处理输入序列，生成隐状态；解码器输出未来1秒的关节位置\n     - 修改技术：\n       - 残差连接：解码器每个RNN单元输入与输出相加，改善梯度流动\n       - 注意力机制（Bahdanau）：计算解码隐状态与编码隐状态的关联权重，加权求和得到上下文向量\n       - 双向RNN：编码器使用Bi-RNN，获取过去与未来信息\n       - Time2Vec：对输入序列进行时间嵌入，捕捉周期和非周期模式\n       - Beam search：用于解码选择最优输出（因计算成本高被排除，实际未用）\n  4. **本地处理流程**：所有传感器数据处理均在机器人本地完成，不传输至云端，符合GDPR隐私要求\n- **损失函数**：均方误差（MSE）\n- **训练流程**：使用INHARD子集（15 FPS采样）训练，优化器Adam，学习率0.005，迭代3000次，batch size=8，对FC层dropout=0.1\n- **推理流程**：实时接收关节数据序列，预测未来0.3秒位置（用于机器人控制），模型运行时间低于6 ms（表1）\n\n#### 3. 重要图表解释\n\n- **图1（Fig. 1）**：展示所提出的感知系统架构。热成像相机和深度传感器指向用户，两者数据传入处理单元，经过OpenPose和融合处理后输出3D姿态。该图直观呈现了硬件配置和数据处理流程，强调使用隐私保护传感器（热成像+深度）而非RGB相机。由于热成像图像不包含颜色等可识别信息，保护了用户隐私。\n- **图2（Fig. 2）**：显示改进的Seq2Seq模型架构。输入为关节位置向量序列（$X_i$），经过Time2Vec嵌入后进入双向RNN编码器（Bi-RNN），编码器隐状态$h_i$与解码器交互，通过注意力机制产生上下文向量，解码器（残差连接的GRU）输出预测位置。该图清晰展示了五种修改（除Beam search外）的集成方式，是理解模型设计的关键。\n- **表1（Table 1）**：比较不同修改组合的Seq2Seq模型在测试阶段运行时间（预测1秒以内的3个时间点：330ms、720ms、1000ms）。结果显示，加入更多修改后，GRU数减少，运行时间下降。最优模型（Time2Vec（嵌入64）+AM+RC+Bi-RNN+Seq2Seq）在1000ms预测中运行时间仅0.005624±0.00095ms（原文单位可能为秒，但数值太小，应为毫秒级），相比原始Seq2Seq（0.008644ms）降低约34%。该表体现了模型轻量化的效果。\n- **表2（Table 2）**：手跟随测试的RMSE对比（X、Y、Z三个方向及整体）。在中速下，预测开启时整体RMSE为0.2244m，关闭时为0.2991m，改进24.97%；快速下，预测开启时RMSE=0.3329m，关闭时=0.3692m，改进9.83%。注意Y方向快速时预测反而恶化（-7.76%），作者解释可能因预测模型对快速运动的估计不准确。该表量化了预测对跟踪精度的提升，也暴露了局限性。\n\n#### 4. 实验或评估细节\n\n- **数据集**：训练使用INHARD数据集（17个关节，16名受试者，120 FPS，工业HRI任务），测试采用自建实验场景（使用TIAGo机器人）。\n- **指标**：\n  - 手跟随测试：RMSE（公式12），计算3D误差，并分别报告X、Y、Z方向误差。\n  - 碰撞测试：机器人反应时间（秒）。\n- **对比目标**：预测开启（使用未来0.3秒的位置）与预测关闭（使用当前位置）的对比。\n- **实验设置**：\n  - 手跟随：用户手按中速（UR5最大速度的30%）和快速（60%）运动，每个条件重复10次；机器人接收预测的0.3秒后位置作为参考。\n  - 碰撞测试：分为进入危险区（测试1）和离开危险区（测试2），每个空间（XY、XZ、YZ、XYZ）至少重复6次；危险区范围30cm；手运动由UR5控制以保证速度一致。\n- **公平性**：未提到与其他方法对比，仅自对比。测试仅包含单名受试者，但作者说明因为UR5控制手部运动，排除了受试者差异，且通过不同速度、方向、重复次数增强可靠性。\n- **消融实验**：通过逐步加入修改（RC、Bi-RNN、AM、Time2Vec）对比运行时间，展示了各模块的作用，但未报告各模型的准确率（仅提到“达到85%预测精度”时的时间，未给出具体精度数值）。\n- **结果汇总**：中速手跟随效率提升24.97%，快速提升9.83%；碰撞测试进入危险区反应时间改进最高15.03%（XY平面），离开危险区改进最高17.58%（YZ平面）。\n\n#### 5. 系统类论文图示（基于架构描述）\n\n```mermaid\ngraph TD\n    A[热成像相机] --> B[OpenPose处理]\n    C[深度传感器] --> D[深度图像]\n    B --> E[2D关节位置]\n    D --> F[Homography映射+深度提取]\n    E --> F\n    F --> G[世界坐标3D关节位置]\n    G --> H[历史序列构建（过去2秒）]\n    H --> I[Time2Vec嵌入]\n    I --> J[编码器：Bi-RNN (GRU)]\n    J --> K[注意力机制]\n    K --> L[解码器：GRU+残差连接]\n    L --> M[未来1秒预测（实际0.3秒）]\n    M --> N[机器人控制器]\n    A --> O[隐私保护：无RGB图像]\n    C --> O\n```\n\n此流程图概括了系统工作流：传感器→姿态提取→预测→机器人控制，并突出隐私保护特性。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n### 模块E：第三遍深度评述\n\n#### 1. 可重建性（重建笔记/伪代码）\n\n论文所提出的系统包含两个主要部分：隐私保护感知系统（热成像+深度相机）与基于修改版Seq2Seq的人体姿态预测模型。其可重建性较高，因为文中提供了关键公式（单应性变换、针孔投影、注意力、Time2Vec）、训练细节（优化器、学习率、迭代次数、批大小等）和实验设置。以下为重建要点：\n\n**感知系统流程**（对应第II节）：\n\n- 硬件：Optris P1450热像仪与Orbbec Astra S深度相机，均以30 FPS采集。\n- 用Openpose处理热像图像，实时提取2D关节（25个，但本文只使用8个上半身关节）。\n- 通过单应性矩阵 $H_{th}^{d}$ 将热像像素坐标转换为深度图像像素坐标（式1，用伪逆法从483250对对应点求取）。\n- 利用针孔相机投影（式5、6）将深度像素坐标转换为世界坐标（X, Y, Z）。\n- 最终以13-15 FPS输出3D关节位置（受限于Openpose处理速度）。\n\n**姿态预测模型**（对应第III节）：\n\n- 输入：过去2秒内（15 FPS采样）的8个关节的3D位置序列，输出未来1秒内的关节位置序列（预测步长0.3秒发送给机器人）。\n- 基础模型：Seq2Seq（编码器-解码器，使用GRU单元，原始版本2层，修改后1层）。\n- 五处修改：残差连接、Bahdanau注意力、双向RNN（Bi-RNN）、Time2Vec嵌入、光束搜索（因计算开销过大被剔除）。最终选用修改组合：残差+注意力+Time2Vec（嵌入维度64）+Bi-RNN，其运行时间最低。\n- 训练：INHARD数据集（17个关节，16受试者，120 FPS，13种工业协作任务），采样至15 FPS用于训练。优化器：Adam，学习率0.005，3000次迭代，批大小8，dropout 0.1（仅解码器全连接层），损失函数MSE。\n- 硬件：NVIDIA Quadro RTX 3000 GPU（6 GB RAM）。\n\n**实验流程**（对应第IV-V节）：\n\n- 手跟随测试：用户握住UR5末端，UR5产生重复轨迹，机器人（TIAGo）尝试跟随手腕。比较使用当前或预测位置（提前0.3秒）时的RMSE（式12）。\n- 碰撞测试：用户手进入/离开危险区（30cm范围），测量机器人反应时间，比较有无预测。\n- 把握测试可靠性：每种情况重复至少6-10次，多种平面和3D方向。\n\n**伪代码（概要）**：\n\n```text\n# 感知伪代码\nwhile true:\n    thermal_frame = thermal_camera.read()\n    depth_frame = depth_camera.read()\n    joints_2d = Openpose(thermal_frame)  # 8 upper-body joints\n    for each joint:\n        depth_pixel = H_thermal_to_depth * joints_2d[joint]\n        depth_value = depth_frame[depth_pixel]  # 获取深度Z\n        world_coord = pinhole_projection(joints_2d[joint], depth_value)\n    joints_3d = world_coord\n    send to robot and prediction model at ~15 FPS\n\n# 预测模型（训练时已固定参数）\n# 输入：过去2秒的序列 (sequence_length=30, since 15FPS*2s)\n# 输出：未来1秒的序列（15个时间步）\n# 实际使用时，将预测序列中的前0.3秒（约5个时间步）输出给控制器\n```\n\n#### 2. 假设（3-6条）\n\n- **热像隐私性假设**：热像仪被假定为隐私保护传感器，但论文也引用了[^7]质疑热像的隐私性，因此该假设并非绝对，仍可能泄露个人生物特征或行为模式。\n- **传感器固定校准假设**：单应性矩阵和相机内参在测试期间固定不变，且假设两相机（热像与RGB-D深度）坐标系统不变，未考虑温度漂移或机械振动导致的校准偏移。\n- **模型泛化假设**：预测模型在INHARD数据集上训练，该数据集包含工业HRI任务，但实验仅涉及简单的重复轨迹（手部），假设模型能推广至更复杂、更自然的人体运动。\n- **运动速度假设**：模型训练数据中的运动速度可能仅覆盖中等速度，实验证实快速运动（60%最大速度）时预测效果下降，尤其Y方向出现负改善（-7.76%），说明模型对高速运动的假设不成立。\n- **数据率匹配假设**：模型输入输出均假设以15 FPS采样，若传感器或Openpose处理速率发生波动（实际13-15 FPS），可能影响预测准确性。\n- **单用户假设**：所有实验仅单个用户（由UR5驱动），且仅监测上半身，未涉及多用户或复杂交互场景。\n\n#### 3. 失败模式或盲点（2-4条）\n\n- **深度传感器精度限制**：Y方向的误差显著高于X和Z方向（表2中Y方向误差在快速时甚至增大），因为Y坐标直接来自深度传感器，而深度传感器在距离或角度变化时易产生噪声，导致轨迹跟随精度下降。\n- **预测模型对运动速度敏感**：快速运动时整体RMSE改善仅9.83%，且Y方向出现负改善，表明模型对高速运动的预测能力不足，可能导致安全隐患（例如提前预测不准引起错误反应）。\n- **未考虑多用户遮挡**：系统假设场景中只有单个用户，热像和深度相机在用户被遮挡或多用户并存时可能失效，但论文未讨论。\n- **隐私-效用权衡量化不足**：论文声称使用热像和深度传感器来增强隐私，但未定量评估隐私程度（如是否泄露人脸、行为模式等），仅以“减少RGB使用”作为定性依据，缺乏客观指标。\n\n#### 4. 优点与缺点\n\n**优点**：\n\n- 提出了一个新颖的隐私保护感知方案（热像+深度+Openpose），实现了实时（13-15 FPS）的上半身姿态估计，且通过本地处理（无需云）增强隐私。\n- 修改Seq2Seq模型降低了34%的计算开销（运行时间），同时保持预测精度在85%以上，适合机器人本地实时运行。\n- 提供了详细的实验设计与结果，包含误差分布、反应时间改善等数据，验证了预测对HRI效率和安全的提升（分别最高24%和17%）。\n- 讨论了预测模型对系统延迟的补偿作用，并分析了特定方向误差大的原因（深度传感器）。\n\n**缺点**：\n\n- 实验仅基于单一受试者（由UR5驱动），缺乏多样性和真实人体运动随机性，结论泛化性有限。\n- 预测模型在快速运动下的表现欠佳，且未对速度进行分类处理或自适应调整。\n- 缺少与现有方法（如Kalman滤波、其他深度学习预测模型）的定量对比实验，仅对比了自身修改前后的Seq2Seq版本。\n- 隐私保护的实际效果未经验证，未评估热像数据的可识别性或与RGB数据的隐私差异。\n- 表1中部分数据标注不清（如模型参数列中的“2”、“32”、“64”、“128”含义），且光束搜索模型因运行时间长被排除，但未给出其具体时间数据。\n- 实验场景较为简化（手跟随、简单碰撞），与论文标题中“安全高效HRI”的广泛场景不完全匹配。\n\n#### 5. 下一步研究方向（2-4条）\n\n- **增强模型鲁棒性**：针对不同运动速度（特别是快速）和复杂人体运动模式，引入速度自适应机制或更换更先进的序列预测架构（如Transformer），以提高预测精度和稳定性。\n- **扩展多用户与遮挡场景**：研究多用户同时存在时的跟踪与预测，结合目标关联和遮挡处理技术，使系统更接近真实HRI环境。\n- **定量隐私评估**：设计隐私度量指标（如身份混淆率、行为重构难度），对比热像+深度方案与RGB方案的隐私差异，从隐私-效用权衡角度进行更正式的分析。\n- **集成到复杂协作任务**：将当前感知与预测系统应用于协作装配、协同搬运等需要更长时间预测和复杂动作的任务，并验证在实际控制器下的效果。\n- **优化传感器校准**：考虑动态校准方法，应对热像仪温度漂移或深度传感器噪声，提高长期运行的可靠性。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## 模块F：词汇表与概念依赖图\n\n### 词汇表（15-40条）\n\n1. **Privacy-preserving sensing（隐私保护感知）**\n   - 定义：在采集用户数据时尽量减少敏感信息暴露的传感方式，如使用热成像或深度相机代替RGB相机。\n   - 直觉：保护用户隐私，但可能牺牲部分精度。\n   - 作用：本文核心目标，通过选择隐私友好传感器实现安全高效的人机交互。\n   - 先决知识：人机交互基础、传感器原理。\n\n2. **Thermal camera（热成像相机）**\n   - 定义：通过红外辐射感知温度分布的相机，不采集颜色纹理信息。\n   - 直觉：只能看到“热轮廓”，难以识别身份，但可检测人体姿态。\n   - 作用：本文用作主要用户监测传感器，配合Openpose提取2D姿态。\n   - 先决知识：红外成像、温度测量。\n\n3. **Depth camera（深度相机）**\n   - 定义：能够获取场景中物体距离信息的相机，如结构光或ToF。\n   - 直觉：提供三维空间位置，但与RGB结合时可能泄露外观。\n   - 作用：与热成像融合，提供关节的深度信息，用于计算3D坐标。\n   - 先决知识：三维视觉、距离传感。\n\n4. **RGB-D camera（RGB-D相机）**\n   - 定义：同时提供彩色图像和深度图像的相机。\n   - 直觉：常见于姿态估计，但彩色图像有隐私风险。\n   - 作用：本文用热成像+深度替代RGB-D，平衡隐私和效用。\n   - 先决知识：相机标定、图像处理。\n\n5. **Openpose（开源姿态估计库）**\n   - 定义：基于深度学习的多人2D姿态估计库，输出人体关键点。\n   - 直觉：输入图像，输出骨骼关节像素位置。\n   - 作用：从热图像中提取用户2D关节位置，用于后续深度融合。\n   - 先决知识：卷积神经网络、姿态估计。\n\n6. **Homography matrix（单应性矩阵）**\n   - 定义：描述两幅图像平面之间投影变换的3×3矩阵。\n   - 直觉：将一个图像中的点映射到另一个图像。\n   - 作用：将热成像中的像素坐标转换为深度图中的对应像素坐标（式1）。\n   - 先决知识：针孔相机模型、投影几何。\n\n7. **Pseudo-inverse method（伪逆法）**\n   - 定义：最小二乘意义上求解超定线性方程组的方法，常用于求最优变换。\n   - 直觉：在数据点较多时，通过求解伪逆得到近似最优的单应性矩阵。\n   - 作用：用于计算热成像到深度传感器的单应性矩阵（式2-5）。\n   - 先决知识：线性代数、最小二乘法。\n\n8. **Pinhole camera projection（针孔相机投影）**\n   - 定义：描述三维世界点到二维图像平面的理想投影模型。\n   - 直觉：通过焦距和光心坐标将像素反投影回三维。\n   - 作用：将深度信息与热成像像素坐标结合，计算3D世界坐标（式6）。\n   - 先决知识：相机内参、坐标变换。\n\n9. **World coordinate system（世界坐标系）**\n   - 定义：描述物体在物理空间中的全局三维坐标系。\n   - 直觉：机器人需要的是实际空间位置，而非图像像素。\n   - 作用：本文输出的用户关节位置是3D世界坐标，便于机器人控制。\n   - 先决知识：空间几何、坐标变换。\n\n10. **Seq2Seq（序列到序列模型）**\n    - 定义：一种编码器-解码器架构，将输入序列映射到输出序列。\n    - 直觉：先压缩信息再生成结果。\n    - 作用：本文用于预测未来关节位置，输入过去2秒，输出未来1秒。\n    - 先决知识：循环神经网络、自然语言处理。\n\n11. **GRU（门控循环单元）**\n    - 定义：一种RNN变体，通过更新门和重置门控制信息流，参数少于LSTM。\n    - 直觉：更轻量，计算效率高。\n    - 作用：本文使用GRU作为Seq2Seq的循环单元，以降低计算成本。\n    - 先决知识：RNN、LSTM基础。\n\n12. **LSTM（长短期记忆网络）**\n    - 定义：一种经典RNN，通过记忆门解决长程依赖，但参数更多。\n    - 直觉：能记住长期信息，但计算开销大。\n    - 作用：与GRU对比，本文选择GRU以提升效率。\n    - 先决知识：RNN、梯度消失。\n\n13. **Residual connections（残差连接）**\n    - 定义：将输入直接加到输出上，允许梯度直通。\n    - 直觉：缓解深层网络退化，便于训练。\n    - 作用：在解码器各RNN单元中加入残差，提高预测精度（[^29]）。\n    - 先决知识：深度残差网络。\n\n14. **Attention mechanism（注意力机制）**\n    - 定义：让解码器动态关注输入序列中相关部分，而非固定长度编码。\n    - 直觉：翻译/预测时“关注”关键词。\n    - 作用：本文采用Bahdanau注意力（式7-10），提升Seq2Seq精度。\n    - 先决知识：神经机器翻译、Seq2Seq。\n\n15. **Bahdanau attention（Bahdanau注意力）**\n    - 定义：一种加性注意力，计算解码器隐藏状态与编码器隐藏状态的匹配度。\n    - 直觉：软对齐，加权求和。\n    - 作用：在预测每个时刻时确定输入影响权重（式7-9）。\n    - 先决知识：注意力机制。\n\n16. **Bi-directional RNN（双向RNN）**\n    - 定义：同时从正向和反向处理序列，结合过去和未来上下文。\n    - 直觉：每个时间步都看到整个序列的信息。\n    - 作用：用于编码器，增强对序列模式的理解（[^31]）。\n    - 先决知识：RNN、序列建模。\n\n17. **Time2Vec**\n    - 定义：一种时间嵌入方法，将时间编码为向量，用线性项和周期函数捕获模式。\n    - 直觉：把时间信息变成特征，便于深度学习使用。\n    - 作用：应用于输入关节数据，帮助识别周期性运动（式11）。\n    - 先决知识：嵌入、周期性特征。\n\n18. **Beam search（束搜索）**\n    - 定义：在解码时保留多个候选序列，按概率选择最佳输出。\n    - 直觉：类似贪心但保存K个可能，提高质量但增加计算。\n    - 作用：本文考虑过，但因运行时间过长被排除（表1）。\n    - 先决知识：最大似然估计、序列生成。\n\n19. **INHARD dataset（INHARD数据集）**\n    - 定义：工业人机协作场景下的动作识别数据集，包含16人在13种任务中的3D关节数据。\n    - 直觉：专为工业协作机器人设计，适合预测模型训练。\n    - 作用：用于训练Seq2Seq模型，采样至15FPS。\n    - 先决知识：数据集理解、动作识别。\n\n20. **TIAGo robot（TIAGo机器人）**\n    - 定义：一种移动操作机器人，常用于研究。\n    - 直觉：本文的测试平台之一。\n    - 作用：用于手跟随测试中的机器人主体。\n    - 先决知识：机器人学。\n\n21. **UR5 robot（UR5机器人）**\n    - 定义：一种协作机械臂，可编程运动。\n    - 直觉：用于生成重复路径，确保实验可重复。\n    - 作用：在实验中控制用户的手臂移动，保证轨迹一致。\n    - 先决知识：工业机械臂。\n\n22. **Collision avoidance controller（碰撞避免控制器）**\n    - 定义：实时检测风险区域并控制机器人避开障碍的控制系统。\n    - 直觉：当用户进入危险区时，机器人停止或避让。\n    - 作用：用于安全测试，评估预测对反应时间的影响。\n    - 先决知识：机器人控制、安全算法。\n\n23. **RMSE（均方根误差）**\n    - 定义：衡量预测值与实际值差异的常用回归指标，公式见式12。\n    - 直觉：误差的平方根，对大误差敏感。\n    - 作用：评估手跟随轨迹误差，表2。\n    - 先决知识：统计学、误差度量。\n\n24. **Maximum likelihood estimation（最大似然估计）**\n    - 定义：通过最大化观测数据概率估计模型参数的方法。\n    - 直觉：选择最可能产生数据的参数。\n    - 作用：Seq2Seq解码器基于此生成预测（[^25]）。\n    - 先决知识：概率论、统计推断。\n\n25. **Privacy-utility trade-off（隐私-效用权衡）**\n    - 定义：保护隐私的同时维持系统效用的平衡。\n    - 直觉：隐私越强，信息越少，精度可能下降。\n    - 作用：本文研究的核心问题，通过特定传感器和模型来优化。\n    - 先决知识：隐私保护、系统设计。\n\n26. **Local processing（本地处理）**\n    - 定义：在设备本身处理数据，不传输到云端。\n    - 直觉：减少泄露风险，但受计算资源限制。\n    - 作用：设计轻量模型以实现在机器人上实时运行。\n    - 先决知识：边缘计算、隐私法规。\n\n27. **FPS（帧率）**\n    - 定义：每秒处理的图像或数据帧数。\n    - 直觉：高帧率更实时。\n    - 作用：传感器为30FPS，Openpose处理后降至13-15FPS。\n    - 先决知识：视频处理。\n\n### 概念依赖图（文本）\n\n```text\nHRI安全与效率\n  ↑ 依赖\n用户姿势预测 (Seq2Seq models)\n  ↑ 依赖\nRNN变体 (GRU/LSTM) + Attention + Time2Vec + Bi-RNN + Residual\n  ↑ 依赖\nRNN基础、序列建模、深度学习优化\n\n用户3D姿势获取\n  ↑ 依赖\n热成像相机 + 深度相机融合 → Homography + Pseudo-inverse + Pinhole投影\n  ↑ 依赖\nOpenpose (2D关节检测) + 深度数据\n  ↑ 依赖\n像素坐标、相机标定、深度映射\n\n隐私保护\n  ↑ 依赖\n热成像代替RGB + 本地处理\n  ↑ 依赖\nGDPR、隐私权衡概念\n\n实验评估\n  ↑ 依赖\nTIAGo/UR5机器人、碰撞控制器、RMSE指标\n  ↑ 依赖\nINHARD数据集训练、测试设置\n```\n\n依赖关系简述：\n\n- 概念依赖图从底层传感器和基础理论逐步构建到高层应用。\n- 关键依赖路径：深度学习和RNN → Seq2Seq → 姿态预测 → HRI安全效率。\n- 传感路径：热成像/深度 → 单应性变换 → 3D坐标 → 预测输入。\n- 隐私理念支撑整个系统设计。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n### 模块G：验证与文献核查\n\n#### 1. 关键事实声明核查\n\n**声明1：** 提出的隐私保护传感系统（热成像相机与深度传感器融合）能实现用户姿态跟踪，且结合预测模型可将HRI效率提升24%、安全提升17%。\n\n- **来源1：** 论文摘要（Abstract）明确表述：“the proposed sensing system with the prediction model can improve the safety and efficiency aspects of the HRI experiments by up to 24% and 17%, respectively.”\n- **来源2：** 论文第五节（V. RESULTS）中，表2（手跟随测试）显示整体轨迹跟踪误差在中等速度下改善24.97%（0.2991→0.2244），表4（碰撞测试第二部分）显示机器人反应时间改善最高17.58%（YZ平面）。\n- **验证说明：** 摘要中的24%与表2中Overall-Medium速度下的24.97%基本吻合，17%与表4中YZ平面的17.58%接近，但摘要称“safety and efficiency”分别提升24%和17%，而实际表2对应效率，表4对应安全，数字基本一致但需注意是“最高”值，并非所有场景均达此数值。\n\n**声明2：** 修改后的Seq2Seq模型相比未修改版本计算成本降低34%。\n\n- **来源1：** 论文第二章末尾（Section II）及第三章（Section III）：“the computational cost of the model has been reduced by 34%。”\n- **来源2：** 表1（TABLE 1）中，原Seq2Seq模型在1000ms预测时的运行时间（约0.008644ms）与最佳模型（Time2Vec+AM+RC+Bi-RNN+Seq2Seq，嵌入64）的运行时间（约0.005624ms）比较，计算得降低约34.9%【(0.008644-0.005624)/0.008644≈34.94%】，与声明一致。\n\n**声明3：** 热成像Openpose处理速度比RGB慢约20%。\n\n- **来源1：** 论文第II节：“processing the thermal images using Openpose ... resulting in extraction ... at a rate of 13-15 FPS”，而RGB为“15-18 FPS”。\n- **来源2：** 论文第II节末句：“It is about 20% slower than the rate at which joints' data is obtained by applying Openpose to RGB images.” 计算：中位数14 vs 16.5，差异约15-20%，与声称的20%接近。\n\n**声明4：** 使用INHARD数据集训练预测模型。\n\n- **来源1：** 第III节：“The INHARD dataset [^35] is used to train the models.”\n- **来源2：** 参考文献[^35]：Mejdi Dallel等，“Inhard-industrial human action recognition dataset in the context of industrial collaborative robotics”，IEEE ICHMS, 2020。\n- **验证说明：** 数据集名称、来源一致，但论文未提供数据集链接或访问方式，需自行查询。\n\n**声明5：** 使用Optris P1450热像仪和Orbbec Astra S深度传感器。\n\n- **来源1：** 第II节：“In the sensing system, an Optris P1450 thermal camera and Orbbec Astra S depth sensor are used.”\n- **来源2：** 图1（Fig. 1）中硬件示意图（但图中无文字标注，主要依赖文字描述）。\n- **验证说明：** 该信息仅来自本文，未在其他独立来源验证，但属于常规传感器型号，可通过厂商资料核实。\n\n#### 2. 冲突或不确定性说明\n\n- **作者单位缺失：** 论文首页仅标注作者编号（1-5），但未提供具体单位名称。文中未提及任何机构归属，因此无法核实作者所属单位。这影响了作者背景的可考性。\n- **出版渠道不明确：** 论文未标明期刊/会议名称、年份、卷期，无法直接定位到正式出版物。从格式和参考文献风格推测可能是IEEE会议论文，但没有足够证据。\n- **数据与代码不可获取：** 未提供代码链接或数据集下载链接（INHARD数据集虽有引用，但无公开URL）。这增加了复现实验的难度。\n- **单被试测试：** 实验仅用一名测试者（论文第V节：“all tests have been conducted only on a single person”），虽然有重复测试和变化速度方向，但缺乏多受试者泛化性评价，结论的普遍性受限。\n- **性能指标口径：** 摘要中的“效率提升24%”与表2中中等速度下的改进24.97%吻合，但“安全提升17%”与表4中最高改善17.58%吻合，但并非所有测试方向都达到该值，例如表4中XYZ方向仅改善8.76%。因此摘要可能选取了最佳场景。\n- **预测模型训练数据与测试速度不匹配：** 预测模型在中等速度下改进明显（24%），在快速时仅9.83%，甚至Y方向出现负改进（-7.76%），论文解释为训练数据以中等速度为主，但这说明模型泛化能力有限。\n\n#### 3. 参考文献列表\n\n论文中提供的全部参考文献（按文中出现顺序，编号保持原文）：\n\n1. J. M. Beer, A. D. Fisk, and W. A. Rogers, “Toward a framework for levels of robot autonomy in human-robot interaction,” Journal of Human-Robot Interaction, 3(2):74, 2014.\n2. F. Semeraro, A. Griffiths, and A. Cangelosi, “Human-robot collaboration and machine learning: A systematic review of recent research,” Robotics and Computer-Integrated Manufacturing, 79:102432, 2023.\n3. Y. Cheng, P. Yi, R. Liu, J. Dong, and D. Zhou, “Human-robot interaction method combining human pose estimation and motion intention recognition,” in 24th International Conference on Computer Supported Cooperative Work in Design, 2021.\n4. M. Rueben and W. D. Smart, “Privacy in human-robot interaction: Survey and future work,” We robot, 2016.\n5. L. Boccanfuso et al., “A thermal emotion classifier for improved human-robot interaction,” in 2016 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pp. 718–723, IEEE, 2016.\n6. D. Bršić, R. W. Evans, M. Rehm, and T. Kanda, “Using a rotating 3D LiDAR on a mobile robot for estimation of person's body angle and gender,” Sensors, 20(14), 2020.\n7. N. Lintvedt, “Thermal imaging in robotics as a privacy enhancing or privacy invasive measure? The necessity of a holistic approach to privacy in human-robot interaction,” Zagreb, Croatia, 2022.\n8. P. Voigt and A. Von dem Bussche, “The EU General Data Protection Regulation (GDPR),” A Practical Guide, Springer, 2017.\n9. C. Lutz, M. Schöttler, and C. P. Hoffmann, “The privacy implications of social robots: Scoping review and expert interviews,” Mobile Media & Communication, 7(3):412–434, 2019.\n10. Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and Y. A. Sheikh, “OpenPose: Realtime multi-person 2D pose estimation using part affinity fields,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.\n11. I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learning with neural networks,” Advances in Neural Information Processing Systems, 27, 2014.\n12. P. A. Lasota, T. Fong, J. A. Shah, et al., “A survey of methods for safe human-robot interaction,” Foundations and Trends® in Robotics, 5(4):261–349, 2017.\n13. M. Garcia-Salguero, J. Gonzalez-Jimenez, and F. A. Moreno, “Human 3D pose estimation with a tilting camera for social mobile robot interaction,” Sensors, 19(22), 2019.\n14. H.-S. Fang et al., “AlphaPose: Whole-body regional multi-person pose estimation and tracking in real-time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.\n15. M. Z. Uddin, W. Khaksar, and J. Torresen, “A thermal camera-based activity recognition using discriminant skeleton features and RNN,” in 2019 IEEE 17th International Conference on Industrial Informatics (INDIN), vol. 1, pp. 777–782, 2019.\n16. E. Malis and M. Vargas, “Deeper understanding of the homography decomposition for vision-based control,” PhD thesis, 2007.\n17. R. Bouldin, “The pseudo-inverse of a product,” SIAM Journal on Applied Mathematics, 24(4):489–495, 1973.\n18. K. M. Dawson and D. V. “Simple pinhole camera calibration,” International Journal of Imaging Systems and Technology, 1994.\n19. K. Lyu, H. Chen, Z. Liu, B. Zhang, and R. Wang, “3D human motion prediction: A survey,” Neurocomputing, 489:345–365, 2022.\n20. T. L. Baldi, F. Farina, A. Garulli, A. Giannitrapani, and D. Prattichizzo, “Upper body pose estimation using wearable inertial sensors and multiplicative Kalman filter,” IEEE Sensors Journal, 20(1):492–500, 2019.\n21. I. Akhter, T. Simon, S. Khan, I. Matthews, and Y. Sheikh, “Bilinear spatiotemporal basis models,” ACM Transactions on Graphics (TOG), 31(2):1–12, 2012.\n22. J. Zhang, H. Liu, Q. Chang, L. Wang, and R. X. Gao, “Recurrent neural network for motion trajectory prediction in human-robot collaborative assembly,” CIRP Annals, 69(1):9–12, 2020.\n23. S. Li and A. B. Chan, “3D human pose estimation from monocular images with deep convolutional neural network,” in Computer Vision – ACCV 2014, Springer, 2015, pp. 332–347.\n24. G. Tiwari, A. Sharma, A. Sahotra, and R. Kapoor, “English-Hindi neural machine translation-LSTM seq2seq and conv2s,” in 2020 International Conference on Communication and Signal Processing (ICCSP), pp. 871–875, IEEE, 2020.\n25. I. J. Myung, “Tutorial on maximum likelihood estimation,” Journal of Mathematical Psychology, 47(1):90–100, 2003.\n26. Y. Yu, X. Si, C. Hu, and J. Zhang, “A review of recurrent neural networks: LSTM cells and network architectures,” Neural Computation, 31(7):1235–1270, 2019.\n27. R. Dey and F. M. Salem, “Gate-variants of gated recurrent unit (GRU) neural networks,” in 2017 IEEE 60th International Midwest Symposium on Circuits and Systems, pp. 1597–1600, IEEE, 2017.\n28. S. Yang, X. Yu, and Y. Zhou, “LSTM and GRU neural network performance comparison study: Taking Yelp review dataset as an example,” in 2020 International Workshop on Electronic Communication and Artificial Intelligence, pp. 98–101, 2020.\n29. J. Martinez, M. J. Black, and J. Romero, “On human motion prediction using recurrent neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2891–2900, 2017.\n30. D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” arXiv preprint arXiv:1409.0473, 2014.\n31. M. Schuster and K. K. Paliwal, “Bidirectional recurrent neural networks,” IEEE Transactions on Signal Processing, 1997.\n32. S. M. Kazemi et al., “Time2Vec: Learning a vector representation of time,” arXiv preprint arXiv:1907.05321, 2019.\n33. V. Peñaloza, “Time2Vec embedding on a Seq2Seq bi-directional LSTM network for pedestrian trajectory prediction,” Res. Comput. Sci., 149:249–260, 2020.\n34. S. Wiseman and A. M. Rush, “Sequence-to-sequence learning as beam-search optimization,” arXiv preprint arXiv:1606.02960, 2016.\n35. M. Dallel, V. Havard, D. Baudry, and X. Savatier, “INHARD - Industrial human action recognition dataset in the context of industrial collaborative robotics,” in 2020 IEEE International Conference on Human-Machine Systems, pp. 1–6, IEEE, 2020.\n36. D. M. Chickering, “Optimal structure identification with greedy search,” Journal of Machine Learning Research, 3(Nov), 2002.\n\n注：参考文献格式遵循原文，部分条目作者列表不完整（如第1条未列全作者），但此处按原文保留。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n### 模块H：图表提取\n\n#### 1. 图表完整索引（编号 / 标题 / 类型 / 位置 / 支持的论点 / 评分）\n\n| 编号 | 标题 | 类型 | 位置 | 支持的论点 | 评分（0-5） |\n|------|------|------|------|------------|------------|\n| 图1 | 使用热像仪和深度传感器的用户姿态检测系统 | 系统架构示意图 | 第二章，正文描述后 | 展示所提出的传感系统的硬件配置和数据流 | 4 |\n| 图2 | 人体姿态预测模型架构（Seq2Seq + 五项改进） | 模型架构图 | 第三章，修改描述后 | 展示Seq2Seq模型的整体结构，包括残差连接、注意力、Bi-RNN、Time2Vec和光束搜索 | 5 |\n| 图3 | 手跟随实验装置 | 实验设置示意图 | 第四章，第一个实验描述中 | 说明通过UR5机器人创造重复运动，确保手轨迹一致 | 3 |\n| 图4 | 人-机器人碰撞测试设置 | 实验设置示意图 | 第四章，第二个实验描述中 | 显示碰撞测试中用户手部朝向和远离机器人的运动 | 3 |\n| 图5（上） | 手跟随测试中用户手和机器人末端执行器的轨迹 | 结果曲线图 | 第五章，手跟随测试结果 | 可视化有无预测时的轨迹对比，预测时机器人更接近手 | 5 |\n| 图5（下） | 轨迹跟踪误差分布 | 误差分布图 | 第五章，手跟随测试结果 | 展示使用预测时的误差分布更集中，整体误差更小 | 5 |\n| 表1 | 不同修改Seq2Seq架构在测试阶段的运行时间比较 | 数据表 | 第三章末 | 显示所提模型（Time2Vec+AM+RC+Bi-RNN+Seq2Seq，embedding size=64）计算成本最低，比原始Seq2Seq降低34% | 5 |\n| 表2 | 手跟随测试中X、Y、Z方向及整体的轨迹跟踪误差（RMSE） | 数据表 | 第五章，手跟随测试结果 | 展示预测在中等速度下提高整体精度约24.97%，快速下约9.83%；Y方向快速时下降7.76% | 5 |\n| 表3 | 机器人对可能碰撞的反应时间及预测的改进 | 数据表 | 第五章，碰撞测试（手靠近机器人） | 预测使机器人反应时间平均提高约15%（最大15.03%） | 4 |\n| 表4 | 机器人对手离开危险区的反应时间及预测的改进 | 数据表 | 第五章，碰撞测试（手离开机器人） | 预测使机器人反应时间最多提高17.58%，平均约12.9% | 4 |\n\n#### 2. 优先深度阅读（3-5项）\n\n1. **图2 + 表1**：理解模型架构的五项修改如何协同工作，以及它们如何降低计算成本（表1中“Time2Vec + AM + RC + Bi-RNN + Seq2Seq”的embedding size=64模型运行时间最低）。这是论文核心贡献之一。\n2. **图5 + 表2**：手跟随实验结果，特别是中等速度下的整体改进（24.97%）和快速速度下的Y方向退化（-7.76%）。需结合误差分布理解预测的利弊。\n3. **表3和表4**：碰撞测试中预测对反应时间的改进，重点观察XY空间中的异常（表3中反应时间增加）和YZ空间的最佳改进，并关联传感器误差来源。\n4. **图1**：传感系统的标定和融合流程（homography矩阵计算），理解深度和热像数据如何结合，为后续错误分析提供基础。\n5. **图3和图4**：实验设置中UR5机器人的作用，确保轨迹和速度的重复性，评估实验设计的合理性。\n\n#### 3. 图表关系或实验设置图\n\n**图表关系说明**：\n\n- 图1展示硬件层：热像仪 + 深度传感器 → 通过标定（homography）融合 → 获得3D关节位置 → 送入预测模型（图2）。\n- 图2展示模型层：输入历史3D关节序列 → Encoder（Bi-RNN） → 注意力 → Decoder（带残差） → 输出未来关节位置，中间嵌入Time2Vec。\n- 图3、图4展示实验场景：图3用于手跟随测试，图4用于碰撞测试，两者都依赖UR5机器人创建重复动作。\n- 图5展示手跟随测试的轨迹和误差分布，直接支持表2的定量结果。\n- 表1与模型架构图2直接相关，表2/3/4与图5/图3/图4的实验对应。\n\n**实验设置图（简化描述）**：\n\n- 传感系统：Optris P1450热像仪 + Orbbec Astra S深度传感器，两者对齐，通过homography矩阵映射像素坐标，再通过针孔模型转换为世界坐标。\n- 预测模型：输入过去2秒的8个上肢关节3D位置（采样率15Hz），预测未来1秒的位置，实际使用0.3秒预测用于控制。\n- 手跟随测试：用户握住UR5末端，UR5以30%（中速）或60%（快速）最大速度移动，机器人（TIAGo）根据当前或预测的手腕位置跟踪。\n- 碰撞测试：用户手部由UR5带动，靠近或离开TIAGo机器人的危险区（30cm内），测量机器人反应时间。\n\n#### 4. 图表到结论的映射\n\n- **结论1**：隐私保护传感系统能够实时跟踪用户姿势。→ 由图1和实验描述（图3、4）支持，表2中RMSE数值合理，表明跟踪有效。\n- **结论2**：修改后的Seq2Seq模型比原始模型降低34%计算成本。→ 由表1直接支持（对比“Seq2Seq”与“Time2Vec+AM+RC+Bi-RNN+Seq2Seq”的运行时间）。\n- **结论3**：预测模型提高HRI效率（手跟随）24%（中速）和10%（快速）。→ 由表2整体RMSE改进和误差分布（图5）支持。\n- **结论4**：预测模型提高HRI安全性（碰撞反应时间）最多17%（手离开危险区）。→ 由表3和表4支持，具体各方向改进。\n- **结论5**：预测模型补偿了热像处理带来的延迟。→ 由手跟随和碰撞测试中的整体改进间接支持，尤其在中等速度下效果明显。\n\n**关键局限**：表2中快速速度下Y方向误差增加（-7.76%），可能源于深度传感器精度问题（Y方向由深度获得），这为后续研究提供了提示。"
}