# 隐私保护的用户姿态预测，以实现安全高效的人机交互
Adel Baselizadeh $^{1}$，Weria Khaksar $^{2}$，Md Zia Uddin $^{3}$，Diana Saplacan $^{4}$，以及 Jim Torresen $^{5}$
摘要：在提高人机交互 (HRI) 的安全性和效率方面，增强用户隐私至关重要，因为它是在建立用户对机器人的信任的关键因素。 使用隐私保护传感器和本地处理用户的数据是提高 HRI 中隐私的两种方法。 本文提出了一种隐私保护的传感系统，用于实时跟踪和预测 HRI 中用户的运动。 为了实现隐私保护，使用红外热像仪和深度摄像头来监控用户的运动并确定其当前姿态。 为了提高机器人对用户情况的感知能力并提高实时用户监控的质量，开发了一种深度学习 (DL) 模型来估计用户的未来姿态。 开发的模型基于序列到序列 (Seq2Seq) 机制。 对 Seq2Seq 进行了修改，使其可以在机器人上本地运行。 由于这些修改，该模型的计算成本降低了 34%。 进行了实验研究，以评估传感系统在 HRI 中跟踪和预测用户运动的性能。 根据测试结果，所提出的传感系统能够适当地跟踪用户的运动。 此外，结果表明，通过所提出的系统使用预测模型来估计用户的运动，可以分别将 HRI 实验的安全性和效率提高高达 24% 和 17%。
## 1. 引言
机器人传感是机器人自主性的常见特征之一，除了传感、规划和执行之外 [^1]。 它在 HRI 中起着重要作用，因为它使机器人能够了解用户的状况和运动，从而在用户的身边更安全、更高效地执行操作。 因此，始终需要为机器人配备能够收集有关环境和用户详细而准确数据的传感器。 此外，对传感器收集的数据进行适当的处理，可以更好地了解用户的状况，并提高 HRI 的质量 [^2]。 基于传感器收集的数据进行的用户姿态估计 [^3] 可以提高机器人做出适当决策的能力，从而与用户互动。 因此，它可以提高机器人的自主性。 然而，当机器人传感器监控用户并处理其数据时，用户的隐私可能会受到侵犯 [^4]。 尽管从用户那里收集详细的数据可以帮助提高 HRI 的质量，但可能会引起严重的隐私问题。 因此，在开发机器人传感系统时，应考虑用户隐私。
使用隐私保护传感器，例如红外热像仪 [^5] 或非视觉传感器，如激光雷达 [^6]，而不是常用的机器人传感器（如 RGB 摄像头）来监控人类，可以帮助提高用户隐私。 然而，使用红外热像仪作为一种隐私保护的用户数据方式仍然存在争议 [^7]。
通过本地处理传感器数据，可以解决与《通用数据保护条例》[^8]相关的用户隐私问题。通过本地处理和存储，用户的个人数据不会传输到远离机器人的云服务器。因此，未经授权的人员访问用户数据的风险较低，从而提高了用户的隐私。为了实现这一目标，必须开发可以在机器人典型处理器上运行的算法。例如，为了在机器人上开发用于传感器/数据融合的深度学习算法，轻量级模型比需要高计算成本的模型更可取。然而，增加隐私的缺点是用户监控可能会变得不准确。因此，应从隐私-效用权衡的角度来研究这个问题[^9]。
本文提出了一种新的保护隐私的传感系统，以解决在人机交互中的实时用户监控的隐私-效用权衡问题。在该系统中，热像仪和深度传感器作为保护隐私的传感器，被集成在一起，用于跟踪用户与机器人交互时的动作。首先，使用Openpose库处理热像仪图像，以获得用户的2D姿势$^{[10]}$。然后，通过融合热像仪和深度传感器的数据，确定用户的3D姿势。
在本文中，还开发了一种深度学习模型，用于估计用户的未来姿势，以通过提高机器人对用户情况的感知来增强人机交互的性能。该预测模型还可以补偿由于使用热像仪和使用Openpose处理其图像而导致的传感系统在监控用户时的延迟。所提出的模型是Seq2Seq机制[^11]，它通过将当前和先前关节的3D位置作为输入，来预测用户身体关节在后续时间步长的3D位置。在开发该模型时，已经考虑了机器人处理器的本地处理问题。
---
因此，本文的贡献如下：
因此，本文的贡献如下：
1) 介绍了一种用于人机交互中实时用户监控的保护隐私的传感系统，该系统通过结合热像仪和深度传感器并使用Openpose。
2) 开发了一种改进的Seq2Seq模型，用于用户姿势预测，该模型通过减少模型的处理时间，考虑了模型在机器人上的本地实现。
此外，通过实际测试，包括人机交互场景，对所提出的传感系统在确定和预测用户姿势方面的性能进行了实验评估。本文的后续部分组织如下：
第II节详细介绍了传感系统，包括硬件以及用于融合热像仪和深度传感器数据的用户当前姿势提取的方法。第III节提供了预测模型的详细描述。第IV节解释了用于实验评估传感系统和预测模型的测试设置。在第V节中，将详细讨论评估测试的结果。最后，第VI节总结了本文，并提出了未来工作的建议。
### II. 用户监控和姿势检测
本节描述了用于用户姿势检测的所提出的传感系统。该传感系统在监控用户与机器人交互的同时，保护用户的隐私。
确定用户的姿势和肢体位置在人机交互中至关重要。为了正确实现人机交互任务，并确保用户/机器人在执行这些任务时的安全，需要准确跟踪用户肢体的姿势 [^12]。RGB-D 相机是确定人机交互中用户姿势或用于其他目的（例如，人类活动监测）的最常见方法。用户的身体关节的 3D 位置从图像中获得，并使用这些数据重建用户的身体骨架 [^13]。每个关节的深度信息由深度相机确定。其他两个维度的关节位置通常通过使用诸如 OpenPose [^10] 和 AlphaPose [^14] 之类的库处理 RGB 图像来提取。
如前所述，使用 RGB 相机可能会危及用户隐私。在本工作中，我们没有使用 RGB-D 相机来监测用户的运动，而是结合了热像仪和深度相机，以增强人机交互中的用户隐私。为此，Openpose 库用于实时从热像仪拍摄的图像中检测用户的身体关节位置。到目前为止，Openpose 库仅用于离线处理热图像以进行人类活动识别，而不是用于实时的人类监测 [^15]。通过将 Openpose 应用于热图像，可以确定用户的 2D 身体关节位置。每个关节的深度信息从深度传感器中获取。为此，需要进行热像仪和深度传感器的多传感器校准。校准过程包括两个步骤，
1) 将热图像中关节的像素位置转换为深度图像中的相应像素位置。
2) 根据它们在热图像中的像素位置，计算关节在世界坐标系中的位置。
为了在第一步中在热像仪和深度传感器图像之间进行转换，使用了基于伪逆算法的同源矩阵方法 [^16] [^17]。可以使用方程 1 将热图像中的像素位置转换为深度图像中的像素位置。
$$ \begin{bmatrix}u_{d}\\ v_{d}\\ 1\end{bmatrix}=H_{th}^{d}\begin{bmatrix}u_{th}\\ v_{th}\\ 1\end{bmatrix} $$
其中 $H_{th}^{d}$ 是从热像仪到深度传感器的变换同源矩阵。
应注意，深度信息是从 RGB-D 相机中使用的深度传感器获取的。可用 RGB-D 相机中深度传感器和 RGB 相机的坐标系相同。
使用伪逆方法计算方程 1 中的最佳同源矩阵 $H_{th}^{d}$。为此，记录了使用 RGB 和热像仪的个人的运动。然后，将 Openpose 应用于摄像机的录像，从而确定了 25 个人体关节的像素位置。总共获得了来自每个摄像机录像的 483250 个身体关节像素位置。然后，这些身体关节像素位置应用于方程 1，使用伪逆方法计算同源矩阵，如下所示：
$$ U_{N}^{d}=H_{t h}^{d}U_{N}^{t h} $$
$$ U_{N}^{d}=\begin{bmatrix}u_{d}^{1}&u_{d}^{2}&\ldots&u_{d}^{N}\\ v_{d}^{1}&v_{d}^{2}&\ldots&v_{d}^{N}\\ 1&1&\ldots&1\end{bmatrix},U_{N}^{th}=\begin{bmatrix}u_{th}^{1}&u_{th}^{2}&\ldots&u_{th}^{N}\\ v_{th}^{1}&v_{th}^{2}&\ldots&v_{th}^{N}\\ 1&1&\ldots&1\end{bmatrix} $$
$$ U_{N}^{d}=H_{t h}^{d}U_{N}^{t h}\longrightarrow U_{N}^{d}(U_{N}^{t h})^{T}=H_{t h}^{d}U_{N}^{t h}(U_{N}^{t h})^{T} $$
$$ H_{t h}^{d}=(U_{N}^{d}(U_{N}^{t h})^{T})(U_{N}^{t h}(U_{N}^{t h})^{T})^{-1} $$
其中，N 等于 483250。由于 RGB 摄像头和深度摄像头具有相似的坐标系统，因此热成像摄像头和深度传感器之间的同源矩阵相同。因此，通过获得热成像图像中每个像素的位置，可以确定相应的深度图像中的像素位置，并找到该像素的深度信息。第二步是将像素位置转换为世界坐标系（X、Y 和 Z），这使用针孔相机投影方法 [^18] 完成，具体公式如下。
$$ X=(u^{t h}-c_{x})\frac{Z}{f_{x}}\quad,\quad Y=(v^{t h}-c_{y})\frac{Z}{f_{y}}\quad,\quad Z=Z $$
其中，$c_{x}$ 和 $c_{y}$ 是相机偏移量，$f_{x}$ 和 $f_{y}$ 是相机焦距参数，Z 是深度图像给定的距离。因此，每个关节的 3D 位置是实时通过集成热成像摄像头和深度传感器计算得到的。本研究仅关注用户的上半身
---
Fig. 1. The proposed sensing system for human pose detection using thermal camera and depth sensor.
肢体。因此，可以确定用户八个上半身关节的位置，包括每个肩部、肘部和手腕关节，以及头部和颈部。图 1 显示了用于人体姿态检测的 proposed 传感系统。
在传感系统中，使用了 Optris P1450 热成像摄像头和 Orbbec Astra S 深度传感器。这两个传感器以高达 30 FPS 的速率监测用户。Openpose 在配备 6 GB RAM 的 NVIDIA Quadro RTX 3000 GPU 上运行，从而提取用户的身体关节位置，速率为 13-15 FPS。因此，关节位置数据的确定速率最高为 15 FPS，尽管传感器以 30 FPS 的速率监测用户。这比将 Openpose 应用于 RGB 图像以获得关节数据的速率（15-18 FPS）慢约 20%。
### III. 用户身体姿态估计
准确估计用户的姿态和动作对于提高机器对人类行为的理解至关重要。在人机交互中，它可以有助于用户和机器人之间执行协作任务的安全性和效率。
为了提高用户监测的质量，并增加机器人对用户状况的感知能力，本研究开发了一个模型，用于预测用户的姿势和运动。该预测模型的另一个优点是，可以弥补由于使用热成像摄像头而不是 RGB 摄像头，以及在热成像图像上应用 Openpose 而造成的延迟时间，如 II 节所述。该模型应用于从传感系统获得的用户身体关节的 3D 位置。对用户数据的本地处理对开发该模型至关重要。
人体姿态预测采用多种方法 [^19]。卡尔曼滤波器 [^20] 和双线性时空基模型 [^21] 是用于此目的的传统技术。现代人体姿态估计算法主要依赖于机器学习和深度学习模型。循环神经网络 (RNN) [^22] 和卷积神经网络 (CNN) [^23] 是解决此问题的最常用的深度学习方法。
在本研究中，Seq2Seq 模型被应用于用户姿态预测。Seq2Seq 是一种基于编码器-解码器的框架，广泛应用于机器翻译 [^24]。在 Seq2Seq 中，编码器接收输入数据并生成该数据的内部表示。此内部状态馈送到解码器，解码器根据最大似然估计进行预测 [^25]。在本研究中，为了使用 Seq2Seq 预测用户的姿态，将用户身体关节在当前和前一个时间步长的 3D 位置序列作为输入发送到编码器，解码器预测未来时间步长的关节 3D 位置。然后，使用预测的身体关节位置重建用户的身体姿态。Seq2Seq 框架的主要元素是编码器和解码器中的 RNN 单元，它们是 LSTM [^26] 或 GRU [^27] 单元。使用更多的 RNN 单元可以帮助 Seq2Seq 获得更好的性能。但是，由于其递归结构，RNN 单元的计算成本很高。因此，使用太多的 RNN 单元会增加模型的运行时间，我们需要强大的处理器或云计算解决方案来执行该模型。降低模型的计算成本可以通过减少对云计算的依赖来增强用户隐私。
本文提出的 Seq2Seq 预测模型，在开发时重点是降低计算成本以增强用户隐私。为了实现这一目标，Seq2Seq 模型的 RNN 单元数量（在 Seq2Seq 模型中使用 GRU，因为它们通常比 LSTM [^28] 具有更低的计算成本）已减少。需要注意的是，减少 RNN 的数量可能会导致模型准确性显着降低。
为了在计算成本和准确性之间实现最佳平衡，对 Seq2Seq 架构进行了修改，并结合了深度学习中成熟且广泛使用的技术。特别是，已将五种修改应用于 Seq2Seq 模型，如下所述。这些技术中的每一种单独已经在 Seq2Seq 模型中使用过，但在本研究中，它们已同时应用于此结构。
1. 残差连接。研究表明，在解码器中每个 RNN 单元的输入和输出之间添加残差连接可以帮助提高 Seq2Seq 模型中预测的准确性。
---
Seq2Seq模型中的预测 [^29].
2. 注意力机制。使用注意力层可以显着提高诸如 Seq2Seq 框架之类的深度学习网络的准确性 [^30]。注意力机制在 seq2seq 模型中的主要思想是，对于每个预测，模型仅使用包含最相关信息的输入部分，而不是整个输入序列。在本研究中，使用了 Bahdanau 注意力机制 [^30]。在注意力层中，首先，使用方程 7 计算解码器在时间步长 t 处的相关度。
$$ \boldsymbol{e}_{t,j}=\boldsymbol{a}(s_{t-1},h_{i})=\boldsymbol{V}^{T}t a n h(\boldsymbol{W}[h_{i};s_{t-1}]) $$
其中 $h_{i}$ 是编码器的 $i^{th}$ 隐藏状态向量，$S_{t-1}$ 是解码器在时间 t-1 处的隐藏状态，V 是一个权重向量。在下一步中，对 $e_{ti}$ 进行 softmax 归一化操作，从而获得输出向量的权重 $\alpha_{ti}$，
$$ \alpha_{t,j}=Softmax(e_{t,i}) $$
然后，使用公式9计算注意力分布：
$$ C_{t}=\sum_{i=1}^{T}\alpha_{t,j}h_{i} $$
$$ s_{t}=f(y_{t-1},s_{t-1},C_{t})\quad,\quad y=g(y_{t-1},s_{t},C_{t}) $$
最后，使用方程 10 计算解码器在时间 T 处的状态和输出。
3. 双向循环神经网络 (Bi-RNN) 是一种序列处理模型，它使用两个循环神经网络，一个从前向方向处理输入，另一个从后向方向处理输入。它具有关于序列中每个点的过去和未来的信息 [^31]。
4. Time2Vec Time2Vec 是一种时间的嵌入（向量表示）。 它是时间数据的向量化表示，可以与不同的基于深度学习的架构集成，例如 Seq2Seq 机制，从而提高其性能 [^32]。 Time2Vec 嵌入能够检测时间数据中的周期性和非周期性模式，而与时间尺度无关。 假设有一个标量时间 $\tau$，Time2Vec 的 $\tau$ 是一个大小为 $k+1$ 的向量，记为 $\mathbf{t2v}(\tau)$，如下所示：
$$ \mathbf{t2v}(\tau)[i]=\begin{cases}\omega_{i}\tau+\phi_{i}&if i=0\\ \mathrm{F}(\omega_{i}\tau+\phi_{i})&if1\leq\mathrm{i}\leq k\end{cases} $$
其中 $\mathbf{t2v}(\tau)[i]$ 表示 $i^{th}$ 的第 $t2V(t)$ 个元素，F 表示周期性激活函数（通常是 $\sin$ 和 $\cos$ 函数），并且 $\omega_i$ 和 $\phi_i$ 是可学习的参数。 线性项对于 k = 0 捕捉时间数据中的非周期性模式。 尽管 Time2Vec 最初被提出作为时间数据的嵌入，但它也可以用于检测与时间无关的周期性模式。 例如，[^33] 已经表明，Time2Vec 可以帮助提高使用 Seq2Seq 模型的行人轨迹预测准确性。 为了捕捉行人轨迹中的周期性模式，Time2Vec 被应用于输入序列数据，即行人位置数据，然后再将其发送到 Seq2Seq 模型的编码器。 类似地，在这项工作中，Time2Vec 被应用于用户的身体关节数据，然后再将其发送到 Seq2Seq 机制。
5. 束搜索 束搜索算法可以应用于许多深度学习模型，例如 Seq2Seq，用作最终的决策层，用于根据最大似然概率选择最佳输出 [^34]。 图 2 显示了用于人体姿态预测的修改后的 Seq2Seq 架构。
上述修改已逐步应用于原始的 Seq2Seq 框架。 对比了修改后的模型，以评估其准确性和计算成本（模型在测试阶段的运行时间）。 该模型以用户过去两秒的 3D 身体关节位置序列作为输入，并预测一秒后的关节 3D 位置。 使用 INHARD 数据集 [^35] 来训练模型。 该数据集包含来自 16 名受试者在执行 13 个与机器人操作臂协作的工业人机交互任务时，以 120 FPS 采集的 17 个人体关节的 3D 位置。
Fig. 2. The architecture of the human pose prediction model. It is a Seq2Seq model with five modifications as mentioned in the text. $X_{i}$ represents the human body joint position vector at time step i. $h_{i}$ is the hidden state vector i. FC shows the fully connected layer.
---
tor。由于开发的模型可以预测用户在人机交互 (HRI) 中的姿势，因此，包含人类与机器人交互动作的 INHARD 数据集是训练模型的合适选择。所有模型均在具有 6 GB RAM 的 NVIDIA Quadro RTX 3000 GPU 上进行训练和测试。如前所述，关节的 3D 位置信息以约 15 FPS 的速率发送到预测模型。为了提高实时预测的准确性，所有模型都使用从 INHARD 数据集中提取的子集进行训练，该子集以 15 FPS 的速率采样。所有模型均使用 Adam 优化器，学习率为 0.005 进行训练。在训练阶段，执行总共 3000 次迭代。所有模型的训练批次大小为 8。对于所有模型解码器中的全连接层，应用了 0.1 的 dropout。除了原始的具有两层的 Seq2Seq 模型之外，所有修改后的模型在编码器和解码器中都只有一个层。所有模型都使用均方误差损失函数进行训练。表 1 显示了每个模型的运行时间，以实现 85% 的预测准确率，即在测试训练后的模型时。与其它模型相比，包含 beam search 算法的模型运行时间明显更长。因此，该模型已从比较表中排除。结果表明，具有残差连接、注意力机制以及具有嵌入尺寸为 64 的 Time2Vec 嵌入的 Seq2Seq 模型，在测试阶段具有最低的计算成本和最快的运行时间。为了在实时运行模型时实现 85% 的特定准确率，该模型比没有进行任何修改的 Seq2Seq 架构的计算成本低 34%。需要注意的是，所有模型的处理时间都很短，可能适用于实时人体姿势预测。但是，当在 HRI 场景中使用该模型时，包括实时控制机器人，更短的处理时间可以显着提高机器人的控制质量和 HRI 的质量。因此，在实际评估测试中，使用了处理时间最快的模型。
### IV. 实验评估测试
已进行实验测试，以评估开发的传感系统和预测模型在 HRI 中跟踪和预测用户姿势的准确性。这些测试的目标是确定，
1) 提出的隐私保护传感系统是否能够适当地跟踪和预测用户在与机器人交互时的身体姿势。
2) 使用开发的预测模型预测用户姿势是否可以提高 HRI 的效率和安全性。
为此，进行了两种类型的评估测试。在图 1 中所示的 TIAGo 机器人上执行评估测试。
第一个测试是一个轨迹跟踪场景，其中机器人机械臂跟随用户的腕部，当用户以中速和高速移动手时。用户的腕部位置发送到机器人，作为机器人末端执行器需要达到的期望位置，要么是腕部的当前位置，要么是预测模型估计的腕部的未来位置。比较了当机器人的期望位置是用户的腕部当前位置或未来位置时，人类跟随手部的准确性。这种比较可以显示用户运动预测在提高人机交互效率方面的有效性。该测试采用快速和中速的手部运动。为了提高测试的可靠性，测试设计为重复性，并且用户的每次手部都遵循相同的轨迹。UR5 机器人被用于在评估测试中创建重复的运动。用户被要求握住 UR5 机器人的末端执行器。通过为 UR5 机器人的末端执行器创建重复的运动，可以确保用户的每次手部在不同的测试步骤中遵循相同的轨迹（图 3）。
Fig. 3. The hand-following experimental setup. The user is monitored using the thermal camera and the depth sensor when taking the end-effector of the UR5 robot. By creating repetitive motions for the UR5, the trajectory of the user's hand would be the same for all tests.
第二个测试调查了在简单的人机碰撞场景中，预测
TABLE 1
COMPARISON OF RUN TIME IN THE TESTING PHASE AMONG DIFFERENT MODIFIED SEQ2SEQ ARCHITECTURES.
| Model | Number of GRUs | Model parameters | Model's run time at testing phase for up to 1s prediction (ms) |
| 330 ms | 720 ms | 1000 ms |
| Seq2Seq | 7200 | $2^{1}$ | 0.006272 \pm 0.00094 | 0.007623 \pm 0.00099 | 0.008644 \pm 0.00144 |
| $RC^{2} + Seq2Seq$ | 2600 | — | 0.005643 \pm 0.00213 | 0.0069342 \pm 0.00154 | 0.0076896 \pm 0.00099 |
| RC + Bi-RNN + Seq2Seq | 1920 | — | 0.005461 \pm 0.00074 | 0.006581 \pm 0.00091 | 0.006924 \pm 0.00207 |
| $AM^{3} + RC + Bi-RNN + Seq2Seq$ | 1050 | — | 0.005250 \pm 0.00090 | 0.006188 \pm 0.00185 | 0.0063041 \pm 0.00701 |
| 800 | $32^{4}$ | 0.004688 \pm 0.00109 | 0.005381 \pm 0.00163 | 0.005731 \pm 0.00099 |
| Tim2Vec + AM + RC + Bi-RNN + Seq2Seq | 800 | $64^{4}$ | 0.004702 \pm 0.00115 | 0.005234 \pm 0.00111 | 0.005624 \pm 0.000950 |
| 1000 | $128^{4}$ | 0.004810 \pm 0.00107 | 0.005401 \pm 0.00094 | 0.005840 \pm 0.00082 |
$^{1}$层数
$^{4}$Time2Vec 嵌入尺寸
---
用户运动在提高人机交互安全方面的有效性。该测试分为两个部分。在第一部分中，当激活碰撞避免控制器时，用户将手移向机器人的末端执行器。控制器从感知系统接收用户的身体姿势数据。该测试包括两个步骤，即在两个步骤中，将用户的手部当前位置及其预测位置发送到控制器。一旦控制器检测到用户的手部进入机器人的危险区域，机器人将采取措施避免与手部发生碰撞。比较机器人接收到用户手部当前位置或预测位置时，机器人的反应时间。
在第二部分中，假设用户已经进入机器人的危险区域，并且现在正在将手移离机器人。一旦用户的手部离开危险区域，碰撞避免控制器将被停用，并且机器人将继续执行任务。测量机器人从用户的手部离开危险区域到继续执行任务的反应时间。比较当向控制器发送手部的当前位置和预测位置时，机器人的反应时间。预计预测用户的运动将导致机器人更快地做出反应，从而提高机器人的安全性。为了使机器人的反应时间可比，用户的手部运动速度应在每个测试步骤中保持相同。为了使用户的手部以恒定速度移动，就像手部跟随测试一样，UR5 机器人被应用于人机碰撞测试（图 4）。
Fig. 4. Human-Robot collision test setup. The user takes the UR5's end-effector. UR5 moves the hand towards and away from the robot in the first and second tests, respectively. The output of the depth sensor is not shown in the figure.
由于所有测试中用户的手部都由 UR5 机器人移动，因此其运动与测试对象无关。因此，所有测试仅对单一个人进行。但是，为了研究测试的可靠性和鲁棒性，考虑了诸如以不同的速度移动手、多次重复测试以及在机器人的工作空间中以不同的方向移动手等方法。这些方法的详细信息以及测试结果在第 V 节中进行介绍。
### V. 结果
本节报告了实验测试的结果。
## - 用户手部跟随测试
如前所述，跟手测试在用户手部运动的中速和快速两种速度下开展。手部的中速和快速运动通过移动
Fig. 5. Top - The trajectories of the user's hand (green) and the robot's end-effector when the prediction model is activated (blue) and deactivated (red). Below - Distribution of the trajectory tracking error when using (blue) and not using (brown) the prediction model. Dimensions are in meters.
UR5的末端执行器分别以其最大速度的30%和60%运动。用户手部的运动轨迹包含三维笛卡尔空间内的运动。本次跟手实验共包含四项测试：分别在两种速度下移动手部，且分别采用当前手部位置或预测手部位置作为反馈。用户手部位置最多可提前一秒进行预估，后续0.3秒的预测结果会发送给机器人。为了保证结果的可靠性，每项测试重复进行了十次。图5上半部分展示了用户手部和机器人末端执行器的运动轨迹，图5下半部分分别展示了以手部当前位置和预测位置作为机器人参考轨迹时的跟踪误差分布。为简洁起见，图5仅展示了中速下的测试结果。表2给出了利用式12计算得到的所有跟手测试的均方根误差（RMSE）。表2中报告了整体误差以及各方向的误差。计算单个方向的误差时，会将另外两个方向从式12中剔除。
$$ \mathrm{RMSE}=\sqrt{\frac{\sum_{i=1}^{N}[(X_{i}^{h}-X_{i}^{r})^{2}+(Y_{i}^{h}-Y_{i}^{r})^{2}+(Z_{i}^{h}-Z_{i}^{r})^{2}]}{N}} $$
其中 $X_i^r$、$Y_i^r$ 和 $Z_i^r$ 是机器人的3D笛卡尔末端执行器位置，而 $X_i^h$、$Y_i^h$ 和 $Z_i^h$ 是手的位置。N是测试中的时间步数。
表2中报告的手部跟踪测试结果表明，预测模型可以通过将低速和高速分别提高约25%和10%的总体轨迹跟踪精度。在高速下的精度较低是由于预测模型是使用人类的
---
TABLE 2
RMS OF THE TRAJECTORY TRACKING ERRORS IN THE HAND FOLLOWING TEST IN X, Y, AND Z DIRECTION AND OVERALL.
| Direction | Speed | Pose prediction? | RMSE | Improvement(%) |
| X | Medium | Yes | 0.0727 | 18.31 |
| No | 0.089 |
| Fast | Yes | 0.0647 | 7.17 |
| No | 0.0697 |
| Y | Medium | Yes | 0.048 | 24.05 |
| No | 0.0632 |
| Fast | Yes | 0.0625 | -7.76 |
| No | 0.058 |
| Z | Medium | Yes | 0.0488 | 6.51 |
| No | 0.0522 |
| Fast | Yes | 0.0521 | 23.83 |
| No | 0.0684 |
| Overall | Medium | Yes | 0.2244 | 24.97 |
| No | 0.2991 |
| Fast | Yes | 0.3329 | 9.83 |
| No | 0.3692 |
常用动作进行训练的，而这些动作更接近用户的手部运动，尤其是在低速下。根据高速测试中Y方向的结果，预测用户的手部运动会降低轨迹跟踪精度，为7.7%。这可能是因为预测模型在估计用户在高速下的运动时不够准确。此外，在实验过程中，我们发现与X和Z方向相比，Y方向的轨迹跟踪效率较低。这可能是因为用户的手部在Y方向上的位置由深度传感器确定，而X和Z方向上的位置由热成像仪确定。预测用户姿势还可以补偿由于使用Openpose处理热成像图像而产生的延迟。与RGB摄像头相比，热成像摄像头的这种处理延迟更加明显。
## • 机器人-用户碰撞测试
在人机碰撞测试中，机器人的危险区域是机器人机械臂30厘米范围内的区域。人机碰撞测试的两个部分都由四个步骤组成，每个步骤至少重复六次，以提高测试的可靠性。这四个部分包括在XZ平面、XY平面、YZ平面以及3D空间中移动手部。如前所述，在第一部分和第二部分中，手部分别向机器人机械臂移动和远离机器人机械臂。当手部向机器人机械臂移动时，机器人避免可能的与用户手部碰撞的反应时间，如表3所示。
TABLE 3
THE REACTION TIMES OF THE ROBOT TO POSSIBLE COLLISIONS AND THEIR IMPROVEMENTS DUE TO PREDICTING USER POSE.
| Space | Pose prediction? | Reaction time(s) | Improvement(%) |
| XY | Yes | 6.03 | 15.03 |
| No | 5.23 |
| XZ | Yes | 2.30 | 12.20 |
| No | 2.05 |
| YZ | Yes | 2.23 | 8.03 |
| No | 2.07 |
| XYZ | Yes | 3.70 | 13.84 |
| No | 3.25 |
表3显示了由于预测用户手部位置而导致的机器人反应时间的改进。人机碰撞测试的两个部分的测试结果表明，平均而言，预测用户的手部位置可以将反应时间缩短约15%。
表 4 呈现了机器人对用户的手从危险区域移出的反应时间，以及由于用户姿势预测而导致的反应时间改进。 与手部跟踪测试类似，在相关测试中，将预测的手部位置数据发送到机器人，时间为 0.3 秒后。
TABLE 4
THE REACTION TIMES OF THE ROBOT TO THE EXIT OF THE USER'S HAND FROM THE DANGER ZONE.
| Space | Pose prediction? | Reaction time(s) | Improvement(%) |
| XY | Yes | 4.80 | 11.10 |
| No | 5.40 |
| XZ | Yes | 3.57 | 14.06 |
| No | 4.15 |
| YZ | Yes | 2.11 | 17.58 |
| No | 2.56 |
| XYZ | Yes | 2.95 | 8.76 |
| No | 3.23 |
当用户将手从机器人移开时，在人机交互碰撞测试的第二部分中，可以看到机器人的反应时间有所提高。 根据表 4 中报告的结果，当机器人检测到用户的的手正在离开危险区域时，它可以比以前更快地做出反应，最多可提高 17%。 因此，通过向机器人提供用户的预测手部位置数据，机器人可以提前 17% 开始执行任务。
### VI. 结论
本文开发了一种基于机器人的、具有隐私保护功能的传感系统，用于在人机交互中通过集成热成像仪和深度传感器以及使用 Openpose 来监控用户的上半身运动。 此外，还训练了一个轻量级的深度学习模型，以预测用户与机器人交互时的情况，并使用所提出的传感系统进行监控。
该预测模型基于 Seq2Seq 架构。 为了优化模型的计算效率，通过添加四个基于深度学习的单元，即注意力层、残差连接、双向循环神经网络 (Bi-RNN) 和 Time2Vec 嵌入，对该架构进行了修改。 研究表明，同时将这些附加组件应用于 Seq2Seq 机制，可以显著降低模型的计算成本，同时保持其准确性不变。
通过实验测试，评估了所提出的传感系统和预测模型的性能。 在这些测试中，研究了在可用传感系统监控用户时，预测用户姿势在人机交互环境中的有效性。 结果表明，通过使用可用的隐私保护监控平台和预测模型，可以提高人机交互的效率和安全性。 预测用户的身体姿势为机器人提供了有关用户未来姿势的信息，从而提高了人机交互在安全性和效率方面的性能。 此外，它弥补了由 Openpose 处理热成像仪图像数据引起的传感系统延迟。
---
由于使用Openpose处理热成像相机图像数据，因此会引入感官系统中的噪声。
通过在其他公共数据集或专门收集的数据集上进行训练，可以提高预测模型的准确性。 使用其他深度学习库进行热成像图像中人体关节检测，例如 AlphaPose [^14]，也可以提高传感系统的性能。 此外，可以通过结合其他深度学习技术来改进 Seq2Seq 机制，例如贪婪搜索 [^36]。
在未来的工作中，将评估所提出的传感系统和预测模型在复杂的机器人交互场景中的应用，包括需要人类和机器人协作的任务，以及具有高级碰撞避免控制器的任务。 另一个可以考虑的主题是，在传感系统中，使用其他隐私保护传感器，例如非视觉传感器，可以帮助提高机器人对用户情况的感知能力。
## 鸣谢
本工作部分由挪威研究委员会资助，作为“机器人社会中的脆弱性 (VIROS)”项目的组成部分，项目编号为 288285，以及“预测和直观的机器人伴侣 (PIRC)”项目，项目编号为 312333，以及通过其卓越中心计划，RITMO 项目编号为 262762。
## 参考文献
[^1]: Jenay M Beer, Arthur D Fisk, and Wendy A Rogers. Toward a framework for levels of robot autonomy in human-robot interaction. Journal of human-robot interaction, 3(2):74, 2014.
[^2]: Francesco Semeraro, Alexander Griffiths, and Angelo Cangelosi. Human-robot collaboration and machine learning: A systematic review of recent research. Robotics and Computer-Integrated Manufacturing, 79:102432, 2023.
[^3]: Yalin Cheng, Pengfei Yi, Rui Liu, Jing Dong, and Dongsheng Zhou. Human-robot interaction method combining human pose estimation and motion intention recognition. In 24th International Conference on Computer Supported Cooperative Work in Design, 2021.
[^4]: Matthew Rueben and William D Smart. Privacy in human-robot interaction: Survey and future work. We robot, 2016:5th, 2016.
[^5]: Laura Boccanfuso, Quan Wang, Iolanda Leite, Beibin Li, Colette Torres, Lisa Chen, Nicole Salomons, Claire Foster, Barney, et al. A thermal emotion classifier for improved human-robot interaction. In 2016 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pages 718–723. IEEE, 2016.
[^6]: Dražen Bršić, Rhys Wyn Evans, Matthias Rehm, and Takayuki Kanda. Using a rotating 3d lidar on a mobile robot for estimation of person's body angle and gender. Sensors, 20(14), 2020.
[^7]: Naomi Lintvedt. Thermal imaging in robotics as a privacy enhancing or privacy invasive measure? the necessity of a holistic approach to privacy in human-robot interaction. Zagreb, Croatia, page 12, 2022.
[^8]: Paul Voigt and Axel Von dem Bussche. The eu general data protection regulation (gdpr). A Practical Guide, 1st Ed., Cham: Springer International Publishing, 10(3152676):10–5555, 2017.
[^9]: Christoph Lutz, Maren Schöttler, and Christian Pieter Hoffmann. The privacy implications of social robots: Scoping review and expert interviews. Mobile Media & Communication, 7(3):412–434, 2019.
[^10]: Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and Y. A. Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.
[^11]: Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems, 27, 2014.
[^12]: Przemysław A Lasota, Terrence Fong, Julie A Shah, et al. A survey of methods for safe human-robot interaction. Foundations and Trends® in Robotics, 5(4):261–349, 2017.
[^13]: Mercedes Garcia-Salguero, Javier Gonzalez-Jimenez, and Francisco Angel Moreno. Human 3d pose estimation with a tilting camera for social mobile robot interaction. Sensors, 19(22), 2019.
[^14]: Hao-Shu Fang, Jiefeng Li, Hongyang Tang, Chao Xu, Haoyi Zhu, Yuliang Xiu, Yong-Lu Li, and Cewu Lu. Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.
[^15]: Md. Zia Uddin, Weria Khaksar, and Jim Torresen. A thermal camera-based activity recognition using discriminant skeleton features and rnn. In 2019 IEEE 17th International Conference on Industrial Informatics (INDIN), volume 1, pages 777–782, 2019.
[^16]: Ezio Malis and Manuel Vargas. Deeper understanding of the homography decomposition for vision-based control. PhD thesis, 2007.
[^17]: Richard Bouldin. The pseudo-inverse of a product. SIAM Journal on Applied Mathematics, 24(4):489–495, 1973.
[^18]: Kenneth M Dawson and David V. Simple pinhole camera calibration. International Journal of Imaging Systems and Technology, 1994.
[^19]: Kedi Lyu, Haipeng Chen, Zhenguang Liu, Beiqi Zhang, and Ruili Wang. 3d human motion prediction: A survey. Neurocomputing, 489:345–365, 2022.
[^20]: Tommaso Lisini Baldi, Francesco Farina, Andrea Garulli, Antonio Giannitrapani, and Domenico Prattichizzo. Upper body pose estimation using wearable inertial sensors and multiplicative kalman filter. IEEE Sensors Journal, 20(1):492–500, 2019.
[^21]: Ijaz Akhter, Tomas Simon, Sohaib Khan, Iain Matthews, and Yaser Sheikh. Bilinear spatiotemporal basis models. ACM Transactions on Graphics (TOG), 31(2):1–12, 2012.
[^22]: Jianjing Zhang, Hongyi Liu, Qing Chang, Lihui Wang, and Robert X Gao. Recurrent neural network for motion trajectory prediction in human-robot collaborative assembly. CIRP annals, 69(1):9–12, 2020.
[^23]: Sijin Li and Antoni B Chan. 3d human pose estimation from monocular images with deep convolutional neural network. In Computer Vision–ACCV 2014: 12th Asian Conference on Computer Vision, Singapore, Singapore, November 1-5, 2014, Revised Selected Papers, Part II 12, pages 332–347. Springer, 2015.
[^24]: Gaurav Tiwari, Arushi Sharma, Aman Sahotra, and Rajiv Kapoor. English-hindi neural machine translation-lstm seq2seq and conv2s. In 2020 International Conference on Communication and Signal Processing (ICCSP), pages 871–875. IEEE, 2020.
[^25]: In Jae Myung. Tutorial on maximum likelihood estimation. Journal of Mathematical Psychology, 47(1):90–100, 2003.
[^26]: Yong Yu, Xiaosheng Si, Changhua Hu, and Jianxun Zhang. A review of recurrent neural networks: Lstm cells and network architectures. Neural computation, 31(7):1235–1270, 2019.
[^27]: Rahul Dey and Fathi M Salem. Gate-variants of gated recurrent unit (gru) neural networks. In 2017 IEEE 60th international midwest symposium on circuits and systems, pages 1597–1600. IEEE, 2017.
[^28]: Shudong Yang, Xueying Yu, and Ying Zhou. Lstm and gru neural network performance comparison study: Taking yelp review dataset as an example. In 2020 International Workshop on Electronic Communication and Artificial Intelligence, pages 98–101, 2020.
[^29]: Julieta Martinez, Michael J Black, and Javier Romero. On human motion prediction using recurrent neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2891–2900, 2017.
[^30]: Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.
[^31]: Mike Schuster and Kuldip K Paliwal. Bidirectional recurrent neural networks. IEEE transactions on Signal Processing, 1997.
[^32]: Seyed Mehran Kazemi, Rishab Goel, Sepehr Eghbali, Janahan Ramanan, Jaspreet Sahota, Sanjay Thakur, Stella Wu, Cathal Smyth, Pascal Poupart, and Marcus Brubaker. Time2vec: Learning a vector representation of time. arXiv preprint arXiv:1907.05321, 2019.
[^33]: Victor Peñaloza. Time2vec embedding on a seq2seq bi-directional lstm network for pedestrian trajectory prediction. Res. Comput. Sci., 149:249–260, 2020.
[^34]: Sam Wiseman and Alexander M Rush. Sequence-to-sequence learning as beam-search optimization. arXiv preprint arXiv:1606.02960, 2016.
[^35]: Mejdi Dallel, Vincent Havard, David Baudry, and Xavier Savatier. Inhard-industrial human action recognition dataset in the context of industrial collaborative robotics. In 2020 IEEE International Conference on Human-Machine Systems, pages 1–6. IEEE, 2020.
[^36]: David Maxwell Chickering. Optimal structure identification with greedy search. Journal of machine learning research, 3(Nov), 2002.