评论
# 评估虚拟现实手部追踪系统精度的方法论框架：以Meta Quest 2为例
迪亚尔·阿卜迪卡里姆 $^{1}$ Ⓤ · 马西米利亚诺·迪卢卡 $^{1}$ · 波比·艾夫斯 $^{1}$ · 穆罕默德·马尔乌菲 $^{1}$ · 杨相勋 $^{1}$ · R·克里斯·迈尔 $^{1}$ · 彼得·霍兰德 $^{1,2}$ · 约瑟夫·M·加莱亚 $^{1}$
接收日期：2022年12月9日
© 作者们 2023
## 摘要
集成在虚拟现实（VR）头戴设备中的光学无标记手部追踪系统，正在革新在虚拟环境中评估精细运动技能的能力。这有望极大地拓展VR在科学、工业和临床领域的应用范围。然而，迄今为止，关于这类手部追踪系统的精度、延迟及整体性能的数据仍十分有限。在此，我们提出了一种基于固定目标网格的新颖方法论框架，该框架可轻松用于测量这些系统的绝对位置误差和延迟。我们还展示了一种评估手指关节角度精度的方法。我们利用该框架对Meta Quest 2的手部追踪系统进行了评估。结果显示，指尖位置的平均误差为1.1厘米，手指关节角度的平均误差为9.6°，时间延迟的平均值为45.0毫秒。这一方法论框架为确保源自基于VR的无标记手部追踪系统的数据的可靠性和有效性提供了有力工具。
关键词 手部追踪 · 虚拟现实 · 元宇宙 · 追踪精度 · VR延迟
## 引言
随着机器学习、移动计算以及增强现实、混合现实和虚拟现实（通常称为扩展现实或XR）领域的最新进展，光学无标记动作追踪技术已成为记录手部和手指运动最经济且易于实施的选择之一，可应用于广泛场景（Scheggi, Meli, Pacchierotti, & Prattichizzo, 2015; Voigt-Antons, Kojic, Ali, & Möller, 2020; Khademi et al., 2014）。这与基于标记的手部追踪形成鲜明对比——后者被称为基准追踪，需要在每个被追踪的手指/手上放置单独的标记，并依赖由专门且经过精密校准的光学或磁性传感器构成的复杂网络（Han et al., 2020; Kim et al., 2020; Boian et al., 2002; Schröder, Maycock, Ritter, & Botsch, 2014）。
这种XR无标记动作追踪软件的一个典型例子就是Meta Quest 2（以下简称Quest）。Quest 2的手部追踪系统完全在设备端运行，无需连接电脑，通过多阶段流程实时估算手部姿态和手指角度，详见图1；更多细节可参考Han等人2020年的研究。第一阶段是准确识别手部是否存在及其位置，从而将手部与周围物体及背景区分开来（手部检测）。接下来，识别并标记手部和手指上的若干关键点（手部关键点），这些关键点作为下一阶段手部逆向运动学模型的输入（基于模型的追踪）。随后计算出手部姿态和手指关节角度的估算值。在最后阶段，该模型的输出会作为位置和关节角度数据被传输给用户应用程序（用户应用程序），例如用于在虚拟环境中显示对应的虚拟手。
由于涉及的硬件组件数量相对较少、技术成熟且成本较低，无标记运动追踪技术在各个科学领域的研究人员中正迅速普及。例如，在机器人领域，精确的人手和手指追踪数据被用于指导机器人安全地抓取各种物体并执行复杂的交互操作。
---
Fig. 1 Meta Quest 2 has a multi-stage process for hand-tracking, which includes separate stages for hand detection, key-point identification, and tracking
在部署到现实世界之前，这些技术会先在模拟环境中进行测试（Abdlkarim等人，2021年）。在人机交互领域，无标记手部追踪技术为研究在沉浸式环境中与虚拟物体进行更自然的交互方式提供了可能（Ortenzi等人，2022年）。在心理学和神经科学领域，光学无标记追踪技术有望助力开展诸多领域的研究，比如工具使用、社交互动以及虚拟现实中的康复应用（Rinderknecht、Kim、Santos-Carreras、Bleuler和Gassert，2013年）。
然而，尽管这类手部追踪系统目前有广泛的应用且未来潜力巨大，但关于其实际性能的信息却很少，比如位置和角度精度以及延迟方面（Elliott等人，2017年）。为解决这一问题，我们提出了一种方法论框架，用于对比基于标记的传统追踪技术与无标记追踪技术的性能。该方法论与Niehorster、Li和Lappe（2017年）提出的方法类似，不过此处专门应用于手部追踪。我们利用这一框架来评估Quest 2手部追踪系统的性能，该系统是此类技术最普及的应用实例之一。在本文剩余部分，我们首先介绍该方法论框架及其应用，随后呈现评估结果。最后，我们提供了一种基于镜头畸变的误差校正技术，用以修正Quest 2的定位误差（Park、Byun和Lee，2009年）。
## 研究方法
## 参与者
我们从伯明翰大学招募了8名健康的志愿者（其中3名为女性，年龄范围为25至48岁）。所有参与者均能进行完整的手臂和手部运动，且视力正常或经过矫正后达到正常水平。这组参与者的手部尺寸各异，测量得出的手围范围在17.7厘米到22.2厘米之间。本研究按照伯明翰大学STEM伦理委员会批准的方案开展。
## 硬件设备
一台Meta Quest 2（该公司此前名为Facebook，现更名为Meta）版本号为33.0的头戴式显示器被固定在参与者头顶正上方的固定位置，但不会遮挡视线；其向下倾斜$35^{\circ}$的角度，正对着一张放置有18个等间距分布的红外反射标记目标的桌子，这些标记目标的半径为2厘米。这18个标记目标被粘贴在一块由$120cm \times 55cm \times 1.5cm$片亚克力板制成的板上，排列成三行（A、B、C）和六列编号（1–6），如图2所示。标记网格在三行内的间距均为20厘米；各行之间相距10厘米且呈交错排列，以便对$110cm \times 20cm$矩形区域内的空间进行均匀采样。该目标面板由一张可调节高度的桌子支撑，放置在动作捕捉空间的中心，且与头戴式显示器分别处于三个高度：低（80厘米）、中（66厘米）和高（52厘米），这样所采样的体积便覆盖了$0.528m^{3}$，如图2所示。一台配备独立Nvidia GTX-1060显卡、支持虚拟现实功能的Windows笔记本电脑连接着动作捕捉摄像头和Quest设备。动作捕捉空间从四周接受均匀照明。
我们安装了12台Oqus-350摄像机（Qualisys，2021年生产），将其固定在天花板上的框架上，以确保能够覆盖实验所需的整个追踪区域。这些摄像机被用作基于标记的真实值测量设备。根据实验前的校准程序，该设备在240Hz的采样率下可实现亚毫米级的位置精度（0.033厘米）。图3A展示了我们的安装方式。
---
Fig. 2 Experimental setup with the target panel, display, ground-truth cameras, and user standing under the Meta Quest 2 HMD. The targets (yellow circles) are separated into rows A, B, and C, and columns 1 to 6 with a total of 18 targets per each height. The green cross is the starting position
我们在参与者的手部和手指上放置了四个直径为0.2厘米的红外反射标记，以便通过Qualisys软件提供的计算机手部模型，识别出位于已知解剖学位置的各个标记，如图3B所示。这被用作指尖位置和时间的真实值测量标准。
## 软件
我们在Unity游戏引擎（Unity Technologies，v2021.1.9.f1版本）中搭建了一个定制环境，用于记录数据并控制实验进程，从而能够…
A
B
Fig. 3 Hand model. A Infrared reflective markers (M1-M4) on the hand and fingers. B Corresponding computer model of the hand and fingers from Qualisys ground-truth tracking software (perspective view)
---
手部及手指追踪数据能够以120Hz的采样率从真实值测量系统和Quest手部追踪系统同步记录。为确保采样率保持恒定，我们参考相关变量在C#中编写了自定义线程。Unity-Oculus集成包和Unity-Qualisys插件使得这两个系统能够在同一个定制的Unity环境中运行。为了在笔记本电脑上使用Quest的原生手部追踪功能，我们采用了Meta Link线缆，它能提供对Quest全部功能的完全访问权限。实验开始时，我们采集并存储了18×3个目标位置的数据；随后利用Qualisys提供的软件（Qualisys Track Manager v2021.1）将真实值坐标系与Quest头戴设备的坐标系对齐——这一对齐过程是利用五个真实值标记完成的，见图2。我们通过让参与者在每个测试条件开始时用食指指尖触碰中心目标以及两个最外侧的目标来验证这种对齐效果。
## 目标触碰任务
## 实验
为了测量位置精度和角度表现，我们开展了两项任务：目标触碰任务和手部开合任务。这两项任务涵盖了两种最常见的运动控制场景，它们都需要手部位置和朝向数据以及手指关节角度信息。
在这项任务中，参与者需站在目标面板前，按照随机顺序触碰当前高度下的18个目标之一（共3种高度）。每次试验包括以下步骤：1. 将右侧食指放在起始位置上，该位置由目标面板上离参与者最近的一个球体标示，见图2A中的绿色十字；2. 根据屏幕上的视觉提示和听觉提示，触碰高亮显示的目标；3. 将指尖保持在目标位置上1秒；4. 返回起始位置。每个目标在三种不同高度（低、中、高）和三种节奏（80、120、160拍/分钟）下各重复四次，因此每种测试条件下总共包含648次试验。
对于三种节奏而言，节拍器会根据节拍之间的时间间隔，指示参与者在目标到达任务中从起始位置移动到目标的速度，或在手开合任务中张开和闭合手部的速度。在目标到达任务中，从最慢到最快的节奏所对应的速度范围大约为 $1.5 ms^{-1}$ 到 $2.5 ms^{-1}$。速度上限是根据预实验确定的，该实验发现当Quest设备的手部运动速度超过约 $3.2 ms^{-1}$ 时，会导致难以预测的追踪行为。在每组试验开始前，参与者有机会先聆听几个节拍，然后以三种不同的速度练习相关动作，期间还能收到实验员的反馈。
## 手开合任务
参与者需按照80、120和160 bpm这三种节奏之一，连续进行2分钟的手部开合运动。运动过程中他们需站在Quest设备正下方，右手抬至下巴高度，手掌以 $45^{\circ}$ 的角度朝向面部，以便Quest设备能最佳地追踪手部和手指的动作。每种节奏下各记录一次持续60秒的连续开合运动试验。
## 数据处理
本次分析记录了试验中食指和手部的标记点位置，数据分别来自真实参考系统和Quest设备。图4A展示了目标到达任务中的指尖轨迹示例及其对应的速度，图4B同样如此。两幅图中的蓝色虚线标示了在起始提示后，指尖离开起始区域的位置和时间点。
针对目标到达任务中的试验，我们提取了以下指标：指尖最大速度、位置精度（即误差）以及真实指尖与虚拟指尖之间的路径偏移量。我们还计算了目标到达任务和手开合任务中虚拟指尖与真实指尖之间的时间延迟（滞后）。接下来我们将详细介绍各指标的具体计算方法。
## 延迟
时间延迟是通过广义互相关工具，利用Quest设备和真实参考传感器的位置及角度数据计算得出的（Droettboom & et al. 2003; Yamaoka, Scheibler, Ono, & Wakabayashi, 2019）。我们通过随机选取多次试验的数据来验证延迟结果，具体方法是利用峰值检测工具（Jones, Oliphant, Peterson, & et al. 2001）确定两个传感器所测得的指尖速度与角速度峰值之间的时间间隔，以此作为采样点数，如图5B中的两个红色叉号所示。要将采样点数转换为时间延迟（以毫秒为单位），需将采样点数乘以采样时间，而采样时间就是采样率的倒数：
$$ {\cal L}=\Delta f\ast\Delta\nu_{0}, $$
---
A
B
Fig. 4 A: Example fingertip trajectory from the ground-truth marker and the Quest fingertip; B: The corresponding marker and virtual fingertip velocities. Data in these figures are for illustration only
其中 $\Delta f$ 表示采样时间，$\Delta v_{0}$ 表示真实参考系统与Meta Quest设备测得的指尖速度峰值之间的采样点数差。
此外，我们还将7.0毫秒的真实参考延迟值加到计算出的延迟值上，从而得到最终的绝对延迟。这一真实参考延迟值是利用运动捕捉标记点和可变电位计将标记点运动与模拟电压信号相关联测量得出的，详见（苏黎世联邦理工学院感觉运动系统实验室对Qualisys系统的实时延迟测试，2019年）$^{1}$。
## 静态位置精度
该指标旨在估算Quest设备的静态位置精度随手部距离变化的情况，且不考虑运动速度或延迟因素。为此，我们选取了Quest指尖与真实标记位置的最后30个样本点，计算其欧几里得距离；计算前让设备在该目标上静止一秒，以消除时间相关效应。
## 路径偏移量
为了研究运动速度（即三种节奏条件）的影响，我们定义了路径偏移量这一指标，它基于曼哈顿距离（D），如公式2所示。每个样本点之间的距离被定义为两个向量绝对差之和，此处指真实轨迹与Quest指尖轨迹之间的差值：
$$ D(m,q)=\sum_{i=1}^{n}|m_{i}-q_{i}|, $$
其中$(m,q)$分别为真实数据和Quest指尖数据的轨迹向量。
为了消除两套追踪系统之间延迟对该偏移量指标的影响，分析时将Quest指尖轨迹的时间向前推移了平均延迟时长34.0毫秒，具体说明见“延迟”一节。
## 角度误差
在手部开合任务中，Quest设备可直接提供关节角度，我们将其与根据真实标记计算出的关节角度进行对比。因此，我们需将标记排列为沿食指的一条直线。图5A展示了开合周期中的手部状态，图中基于四个标记（M1-M4）呈现了食指四节指骨之间的三个关节旋转角度。通过反余弦函数可计算出相邻标记对M1-M2、M2-M3和M3-M4之间的角度，从而得到食指远端指间关节（DIP）、近端指间关节（PIP）和掌指关节（MCP）这三个关节的角度值。
关节旋转的时间导数可给出另一个指标——角速度误差，它是通过各关节实际关节角速度与虚拟关节角速度之间绝对差的平均值计算得出的。
---
Fig. 5 Hand opening-and-closing. A: Joint rotations showing the Distal (DIP), Proximal (PIP) and Metacarpophalangeal (MCP) joints of the index finger. B: Computing temporal delay between the virtual and real MCP joint angles using the peak angle (red crosses) as a metric for temporal alignment
图5B。该指标经过了延迟校正，也就是说误差计算时考虑了Quest指尖与真实标记之间角速度的延迟，具体做法是将Quest数据的时间向前推移计算出的延迟时长。
## 统计分析
针对每一项结果指标，我们使用R-Studio编程环境（R-Studio v1.1456，R v3.61）及“lme4”统计包来拟合广义线性混合效应模型（GLMM），模型中设定了三种固定效应（节奏、高度和目标位置），并将受试者设为随机因子。在应用GLMM函数时，所有情况均使用默认的高斯回归函数，并采用随机截距。为了输出最终的GLMM模型结果，我们使用了“car”统计包中的“Anova”函数，该函数可给出F值、自由度和p值。对于事后分析，我们采用了“multcomp”和“lsmeans”这两个R统计包中的成对最小二乘均值比较方法，并进行了序列邦费罗尼校正。我们选择GLMM模型是因为数据不符合正态分布，这一点在试点数据集中已经得到证实；大多数指标均呈贝塔分布。
## 研究结果
## 延迟
在抓取任务中，Quest手部与手指追踪数据与真实值相比，平均延迟分别为$M = 38.0 ms$和$SD = 31.9 ms$。我们将先前提到的7毫秒真实延迟加到这一数值上，得出Quest系统的绝对延迟为45.0毫秒。广义线性混合模型显示，该延迟与高度($F(2, 2478.9) = 1.1$，p = 0.16)、节奏($F(2, 22477.8) = 1.3$，p = 0.08)以及目标位置($F(17, 2477.1) = 11.5$，p = 0.43)无关。
## 静态位置精度
这一误差指标呈现出特定规律：在Quest视野的边缘区域，即指尖距离头戴式显示器最远且处于边缘位置时，静态位置误差较大，见图6。相比之下，高度对位置精度并无显著影响($F(2,2477.5) = 1.3$，p = 0.27)。对于这一指标，我们并未将节奏视为影响因素，因为我们仅关注静态位置精度。因此，位置误差是跨三个高度和节奏取平均值后得到的。
---
Fig. 6 Positional error $\pm$ standard error of the mean, across the three heights and 18 targets, averaged across the three tempos
用于后续分析。广义线性混合模型显示，平面目标位置对位置精度有主要影响($F(17, 2477.1) = 17.4$，p < 0.001)。
具体而言，事后分析表明，边缘目标（即A1、A6、B1、B6以及C1、C6）的位置误差显著更大（$M = 1.3$厘米，$SD = 0.46$厘米），而中心目标（A-C行的目标2–5）的位置误差则较小（$M = 0.79$厘米，$SD = 0.39$厘米，$t = 7.2$，$p < 0.01$，$\eta_p^2 = 0.62$）。高度与目标之间存在显著的交互作用($F(34, 2477.1) = 2.3$，$p < 0.001$)。针对这种交互作用的事后分析显示，中高度层中心目标的位置误差($M = 0.75$厘米，$SD = 0.1$厘米)明显更小（$t = 8.2$，$p < 0.001$，$\eta_p^2 = 0.54$），而低高度和高高度层的边缘目标位置误差则较大（$M = 1.3$厘米，$SD = 0.1$厘米）。
## 路径偏移：轨迹误差
这一误差指标以逐样本的方式，对比了Quest与真实值在下述过程中的指尖轨迹：从起始位置移动到目标位置（即整个移动过程的误差）。据此，通过将Quest数据样本向前移动34.0毫秒，修正了两个传感器之间的基线延迟，使其与真实值数据保持一致。这一步确保了测量是在时间同步的样本间进行的，从而能更好地反映路径偏移情况。如
B
Fig. 7 A: Path offset across the three tempos and 18 targets, averaged across the three heights; B: Path offset with standard error across the three tempos and heights, averaged across the targets. Error bars represent standard error of the mean
---
图7A所示，路径偏移受移动速度和与头戴式显示器的相对距离的影响极大。具体而言，广义线性混合模型揭示了节奏($F(2,2478.0) = 60.9$，p < 0.001)、高度($F(2,2479.2) = 11.8$，p < 0.001)以及目标($F(17,2477.1) = 7.8$，p < 0.001)的显著主效应。此外，节奏与高度之间存在显著交互作用($F(4,2477.6) = 6.2$，p < 0.001)，节奏与目标之间、高度与目标之间也存在边缘性交互作用（分别为$F(34,2477.0) = 1.4$，p = 0.054；$F(34,2477.1) = 1.5$，p = 0.057）。事后检验表明，在120bpm($t = 2.2$厘米，标准差=1.2厘米)和160bpm($\eta_{p}^{2} = 0.3$厘米，标准差=1.2厘米)的节奏条件下，中层高度的路径偏移量（误差）显著更小($M = 4.1$，p < 0.05，$M = 4.3$)，而其他高度则不然；但在80bpm条件下则不存在这种情况，见图7B。
## 角度误差
在手部开合任务中，通过真实标记提供了右手食指每对相邻关节的关节角旋转数据，如图5A所示。我们将这些角度估计值与Quest手部追踪系统直接提供的关节角度测量结果进行了比较，包括角速度误差。图8A显示了随着旋转速度的增加，Quest系统产生的角度误差在所有三个关节上的变化情况：MCP关节的误差从80bpm时的$11.5^{\circ}$增大到160bpm时的$16.7^{\circ}$。相比之下，其他两个关节的误差随节奏加快而减小。GLMM分析证实了这些观察结果，节奏的主效应显著（$F(1,893.0) = 47.8$、$p < 0.001$），关节的主效应同样显著（$F(2,893.0) = 15.5$、$p < 0.001$）。节奏与关节之间也存在显著的交互作用（$F(2,893.0) = 49.8$、$p < 0.001$）。事后检验进一步揭示了这两个因素之间的交互关系。在80bpm节奏下，三个关节间的角度误差并无显著差异（$t = 1.1$、$p = 0.95$、$\eta_{p}^{2} = 0.1$）。然而，在120bpm和160bpm节奏下，三个关节间的角度误差存在显著差异（$t = 10.4$、$p < 0.001$、$\eta_{p}^{2} = 0.73$），这证实了Quest系统对MCP关节的角度估计误差会随着旋转速度的加快而增大。在三种节奏和关节中，整体平均角度误差为$M = 9.6^{\circ}$、$SD = 6.2^{\circ}$。
角速度误差在三种节奏下均呈现上升趋势，且关节旋转速度越快，误差差异越明显，如图8B所示。GLMM分析证实了节奏对此趋势的影响，其主效应显著（$F(2, 890.0) = 43.0$、$p < 0.001$）。三个关节在速度误差方面并无显著差异（$F(2, 890.0) = 0.32$、$p = 0.73$）。不过，节奏与关节之间存在显著的交互作用（$F(4, 890.0) = 20.5$、$p < 0.001$）。事后分析显示，在160bpm节奏下，PIP关节与DIP关节间的速度误差差异显著（$t = 5.3$、$p < 0.001$、$\eta_p^2 = 0.31$）。这种显著的交互作用在160bpm节奏下的其他两对关节间也同样存在（$t = 12.5$、$p < 0.001$、$\eta_p^2 = 0.74$）。
## 误差校正
本节旨在展示针对先前识别出的误差所进行的位置校正结果。图9展示了Quest在整个追踪区域内的静态位置误差情况，可见视觉边缘区域的精度较差。这种情况在最低高度时尤为明显，即目标面板与Quest头戴式显示器之间的距离最远时（见图9底部行）。
B
Fig. 8 A: Angular error $\pm$ standard error of the mean, between ground-truth marker and Meta Quest averaged across the three joints (DIP, PIP and MCP). B: Corresponding angular velocity error with standard error between the groundtruth marker and Meta Quest sensors
---
Fig. 9 Heat-maps of the average positional error for a particular tempo and height across all participants. Each row of plots is for a particular target-panel height starting with the highest to lowest heights (top to bottom) and each column represents one of the three tempos (80, 120 and 160 bpm) from left to right
结合真实数据，这些误差矩阵被用于构建镜头畸变模型。打个比方，相机拍摄的图像中的畸变是由镜头缺陷引起的，要校正这些畸变，就需要确定并逆转图像上各位置的偏移量。对于80%的位置误差数据而言，我们定义了一个五阶多项式镜头畸变模型（公式3），并将其应用于三种节奏和高度条件下；模型中输入的分别是四次试验得出的Quest位置和真实位置（即畸变位置和未畸变位置）：
$$ f(r)=r\cdot\left(1+\sum_{n=1}^{N}p_{n}\cdot r^{n}\right) $$
其中r表示原始位置数据，$p_{n}$为$n^{th}$参数。
基于该输入，最小二乘优化工具（Jones等人，2001年）通过迭代优化程序，最小化Quest的原始输入数据与真实位置之间的误差，从而计算出一组五个镜头校正参数，详见表1。配对t检验表明，这五个参数足以改善剩余20%未见过的原始位置数据的位置误差；因为经过校正后的位置数据明显更接近真实值（t(3.1)，p < 0.001），而相比之下原始Quest位置数据的误差较大，见图10。
Table 1 Lens distortion correction parameters for reconstructing the Meta Quest 2 positional tracking errors
| Param 1 | Param 2 | Param 3 | Param 4 | Param 5 |
| 19.58 | -237.14 | 1058.94 | -2072.77 | 1502.66 |
---
Fig. 10 Correcting Meta Quest 2 tracking error $\pm$ standard error of the mean, using five lens correction parameters and a polynomial lens distortion model for target reaching across a large (120cm $\times$ 55cm $\times$ 80cm) tracking space. This set of data was not used when the parameters for the lens-correction model were computed
## 讨论
本文提出了一种用于评估VR光学手部及手指追踪系统精度的新颖方法论框架，以广受欢迎的Meta Quest 2 VR头戴设备为例。此外，我们还提出了一种基于镜头畸变模型来修正追踪误差的新方法。研究结果给出了一系列实用指标，包括精度（位置误差的静态度量）、路径偏移（运动过程中的轨迹误差）、角度误差以及时间延迟。我们认为，在需要高空间和时间精度的应用场景中（如运动控制/学习研究），这些指标能为是否选用此类手部追踪系统提供重要参考。
此处介绍的方法提供了明确的定量证据，表明静态位置误差主要受手部及手指与头戴设备中央视野区域距离的影响：距离中心越远，位置误差越大。我们推测这很可能是头戴设备摄像头镜头畸变校正模型与摄像头分辨率共同作用的结果。相较于视野中心，周边区域的手指图像畸变更严重，导致Quest的手部追踪模型会低估手指的真实位置。未来的研究可以着重分析位置误差的方向性，以证实周边位置估计值确实比中心位置估计值被模型高估了。
对于路径偏移这一指标而言，高度、节奏和目标位置均对其有显著影响：因为在每次试验中，手部运动可能覆盖较大的追踪范围（即距离头戴设备更近或更远），且运动速度有三种可选。运动速度越快，偏移量越大。在这种情况下，Quest预训练的机器学习模型接收到的快速运动手部的帧数较少，比如在160bpm条件下。与80bpm条件相比，这些较少的手部帧数会导致算法可用于精准估算手部和手指关键点的数据点更少（Han等人，2020年）。
不过，由于Quest采用了专有的手部追踪算法，很难确定快速手部动作会对哪个计算阶段产生最大影响。谷歌开源的基于摄像头的MediaPipe手部追踪算法为我们揭示了Quest手部追踪算法的内部工作原理；该算法表明，其机器学习算法是基于一系列关于肤色、纹理、手的大小、摄像头型号以及手部运动参数的假设（Zhang等人，2020年）。基于此，可以合理推测Quest的预训练算法也基于类似的一系列假设。关于快速运动期间追踪性能下降的原因，同样可以从算法的其他阶段来解释，比如手部检测或逆向运动学应用阶段。在我们的研究中，另一个可能产生显著影响的因素是肤色。尽管我们的实验设计涵盖了相对多样化的手尺寸，但我们招募的参与者仅属于浅色肤色范畴。若计划将Quest手部追踪技术用于研究目的，这一点值得重点考虑。
整体平均角度误差为$9.6^{\circ}$，且随着节奏加快，各关节受此影响程度存在差异。我们确实发现，MCP关节的旋转运动会导致显著更大的角度误差。这可能是由于自遮挡现象造成的：当手掌朝向内收拢时，其他指骨会挡住MCP关节的直接视线。MCP关节被遮挡后，算法不得不依赖之前的关节估计值——而这些估计值可能并不准确；或者算法需根据其他可见关节及整体手部姿态等参数来估算被遮挡关节的角度，这类估算结果往往无法准确反映实际的关节角度。不过这种推测还需要通过新的实验设计进一步验证，比如让受试者以不同视角相对于Quest摄像头进行手的开合动作。
## 与120bpm节奏条件相比，低速条件（80bpm）下的角速度误差明显更低，但160bpm节奏条件下则不存在这种差异。一种解释是近端关节因手部背面遮挡而产生自遮挡现象……
---
在进行手开合任务时握拳会导致手部背面遮挡近端关节，从而中断算法获取的手部图像流。这使得算法只能依靠更稀疏的数据集来估算关节角度，进而导致更大的误差。为了验证这一假设，需要收集更多在不同视角下相对于头显的手开合任务数据，以此避免自遮挡现象。
延迟是游戏、研究和机器人领域最重要的指标之一，因为它决定了技术的应用边界。结果显示，Quest手部追踪数据的平均绝对延迟为45.0毫秒，且该数值不受运动速度或手部相对于头显位置的影响。因此，造成这种延迟的主要原因很可能是头显的光学传感器、处理器及无线通信能力。相比之下，其他研究发现，用于增强现实应用的Quest v1视频透传功能的延迟高达81毫秒（Gruen等人，2020年）。尽管该研究并未探讨手部及手指追踪的延迟情况，但为何其延迟数值是我们所测结果的两倍这一问题仍然值得探究。考虑到这些较大的延迟值，我们指出(Gruen等人，2020年)的研究与我们的延迟测量结果存在两点重要差异：1）视频透传功能没有延迟补偿机制；2）我们使用的是性能更强劲的Quest v2头显，其处理器更快且软件版本也更先进。
此外，由于延迟是一个硬性限制，在任何需要使用追踪数据来评估运动表现的环境中，使用Quest时都必须将时间延迟考虑在内。
为了扩大Quest手部追踪在静态位置估计中的可用范围，我们在整个追踪空间内应用了镜头畸变模型来修正误差。仅需五个参数，就能修正Quest追踪区域内的位置误差。虽然这看似是一种修正手部追踪数据中空间误差的有效技术，但仍需进一步分析以测试该方法的极限。例如，当追踪误差达到何种程度时，重建结果会比光学机器视觉系统生成的原始追踪数据更差，从而导致重建失效？
尽管存在位置误差和延迟现象，但在使用无标记手部追踪技术的VR应用中，关于实际手部动作与虚拟手部动作之间明显差异的报告却很少。这表明在沉浸式环境中，这些差异可能并不易被察觉。不过，研究人员在决定是否将这类手部追踪系统用于实验范式时，应了解这些误差并评估其对研究目标的影响。例如在运动控制领域，动态任务（误差会被放大）中的时间和空间测量误差可能极为不利，比如运动适应（Krakauer, 2009）、在线追踪（Foulkes & Chris Miall, 2000）以及抓握动作（Castiello, 2005）；而静态任务（误差被最小化）中此类误差的影响则较小，比如本体感觉重新对齐（Block & Bastian, 2011）。此外，由于对精度的要求较低，聚焦社交互动的研究受此类误差的影响可能小于涉及物体操控的任务。同样，如果研究的重点是康复以及鼓励手部使用，那么与任务沉浸感相比，精确测量的意义可能就没那么重要。此处呈现的结果能帮助研究人员做出明智的选择，也能参照我们的方法来修正部分误差。我们的结果还能为实验或任务规划提供某些建议，比如将手保持在头戴式显示器正前方、追踪区域中心附近，以及采用不会遮挡手指的姿势。此处详述的框架也可作为衡量其他设备及未来一代XR头戴式显示器手部追踪精度的可重复方法。
总之，本文提供了一种评估基于VR的无标记手部追踪系统时间和空间精度的可靠方法论。对Meta Quest 2的分析表明，该设备在追踪手部动作方面存在明显的时间和空间局限，在根据数据得出结论时，要么需要对这些局限进行调整，要么必须将其纳入考量。
## 开放实践声明
所有实验的数据和材料均可从该仓库获取：$^{2}$，且所有实验均未预先注册。
致谢：本研究得到了欧洲研究理事会启动基金（MotMotLearn 637488）和欧洲研究理事会概念验证基金（ImpHandRehab 872082）的支持。我们感谢Alan Wing教授对本项目的支持。
开放获取：本文依据知识共享署名4.0国际许可协议发布，允许在任何媒介或格式下使用、分享、改编、分发和复制，前提是您需适当注明原作者及来源，提供知识共享许可协议的链接，并说明是否进行了修改。除非在相关材料的署名行中另有说明，本文中的图片或其他第三方材料均包含在文章的知识共享许可范围内。若某材料未被纳入文章的知识共享许可范围，且您的预期用途不符合法律法规规定或超出了许可范围，则需直接获得版权所有者的许可。如需查看该许可副本，请访问 。
---
## 参考文献
Abdlkarim, D., Ortenzi, V., Pardi, T., Filipovica, M., Wing, A., Kuchenbecker, K. J., & Di Luca, M. (2021). Prendosim：基于代理手模型的机器人抓取生成器。收录于第18届控制、自动化与机器人领域信息学国际会议论文集。SciTePress数字图书馆。
Block, H. J., & Bastian, A. J. (2011). 感觉权重调整与重新校准：两种独立的补偿过程。《神经生理学杂志》，106(1)，59–70。
Boian, R., Sharma, A., Han, C., Merians, A., Burdea, G., Adamovich, S., ..., Poizner, H. (2002). 基于虚拟现实的脑卒中后手部康复。收录于《医学与虚拟现实》会议论文集，第64–70页。IOS出版社。
Castiello, U. (2005). 抓握行为的神经科学基础。《自然神经科学评论》，6(9)，726–736。
Droettboom, M., 等 (2003). Matplotlib：开源的类似MATLAB的Python工具。
Elliott, M. T., Karim, D., Clark, T., Masood, A., Kearney, R., & Metcalfe, A. (2017). 利用Leap Motion手势传感器追踪腕部骨折理疗过程的可行性研究。收录于WIN年度会议论文集。
Foulkes, A. J., & Chris Miall, R. (2000). 人类手动追踪任务中对视觉反馈延迟的适应性研究。《实验脑研究》，131(1)，101–110。
Gruen, R., Ofek, E., Steed, A., Gal, R., Sinclair, M., & Gonzalez-Franco, M. (2020). 通过视频透视式AR设备上的认知延迟测量系统视觉延迟。收录于2020年IEEE虚拟现实与3D用户界面会议论文集，第791–799页。IEEE出版社。
Han, S., Liu, B., Cabezas, R., Twigg, C. D., Zhang, P., Petkau, J., ..., 等 (2020). Megatrack：用于虚拟现实的单色 Egocentric 关节手部追踪技术。《ACM图形学交易》，39(4)，87–1。
Jones, E., Oliphant, T., Peterson, P., 等 (2001). SciPy：开源的Python科学工具。
Khademi, M., Hondori, H. M., McKenzie, A., Dodakian, L., Lopes, C. V., & Cramer, S. C. (2014). 利用Leap Motion控制器进行脑卒中康复的自由手交互研究。第1663–1668页。
Kim, W.-S., Cho, S., Jeonghun, K., Kim, Y., Lee, K., Hwang, H.-J., & Paik, N.-J. (2020). 虚拟现实在脑卒中上肢运动康复中的临床应用：技术与临床证据综述。《临床医学杂志》，9(10)，3369。
Krakauer, J. W. (2009). 运动学习与巩固：以视运动旋转为例。《运动控制进展》，第405–421页。
Niehorster, D. C., Li, L., & Lappe, M. (2017). HTC VIVE虚拟现实系统中用于科学研究的位置与方向追踪精度研究。《i-Perception》，8(3)，2041669517708205。
Ortenzi, V., Filipovica, M., Abdlkarim, D., Pardi, T., Takahashi, C., Wing, A., … Kuchenbecker, K. J.（2022）。机器人，把工具递给我：手柄可见性有助于以任务为导向的物品传递。载于《ACM/IEEE人机交互国际会议论文集》（HRI），第1–9页。
Park, J., Byun, S.-C.和Lee, B.-U.（2009）。利用理想图像坐标校正镜头畸变。《IEEE消费电子汇刊》，55(3)，987–991页。
Rinderknecht, M. D., Kim, Y., Santos-Carreras, L., Bleuler, H.和Gassert, R.（2013）。结合肌腱振动与虚拟现实技术用于中风后手部康复。载于2013年世界触觉会议（WHC），第277–282页。IEEE出版。
Scheggi, S., Meli, L., Pacchierotti, C.和Prattichizzo, D.（2015）。触摸虚拟现实：利用Leap Motion控制器进行手部追踪，并借助可穿戴触觉设备实现沉浸式触觉渲染。第1–1页。
Schröder, M., Maycock, J., Ritter, H.和Botsch, M.（2014）。利用协同逆运动学实现实时手部追踪。载于2014年IEEE机器人及自动化国际会议（ICRA），第5447–5454页。IEEE出版。
瑞士苏黎世联邦理工学院感觉运动系统实验室对Qualisys系统进行的实时延迟测试（2019年）。
Voigt-Antons, J.-N., Kojic, T., Ali, D.和Möller, S.（2020）。虚拟现实中的手部追踪作为一种交互方式对用户体验的影响。载于2020年第十二届多媒体体验质量国际会议（QoMEX），第1–4页。ISSN：2472-7814。
Yamaoka, K., Scheibler, R., Ono, N.和Wakabayashi, Y.（2019）。基于辅助函数迭代更新的子采样时延估计。载于2019年IEEE音频与声学信号处理应用研讨会（WASPAA），第130–134页。IEEE出版。
Zhang, F., Bazarevsky, V., Vakunov, A., Tkachenka, A., Sung, G., Chang, C.-L.和Grundmann, M.（2020）。MediaPipe Hands：设备端的实时手部追踪。arXiv:2006.10214。
出版方声明：Springer Nature对于所发表地图中的管辖权声明及机构归属保持中立。