# Meta Quest Pro和Quest 3虚拟现实头戴设备上无标记手部追踪的机器人表征分析 Eric Godden ID、William Steedman ID和Matthew K.X.J. Pan ID ![Image](images/a77b9191d795c5bd573520ef0df82290a81e70753ca1ed11c4acaa2e53c41748.jpg)
Fig. 1: Fully integrated markerless hand-tracking characterization system which combines the VR HMD (Meta Quest Pro shown), KUKA LBR iiwa 7 R800 robotic manipulator, and custom hand model end effector.
摘要—无标记手部追踪在市售虚拟现实和混合现实头戴设备上越来越普及，旨在提升交互的自然度以及虚拟环境的沉浸感。然而，针对商用头戴式显示器上无标记手部追踪性能的研究十分有限。在此，我们提出了一种评估方法，利用机器人操控装置来测量此类系统的位置精度、抖动和延迟，从而为无标记手部追踪提供标准化的表征框架。我们运用该方法评估了Meta公司两款新型混合现实设备——Quest Pro和Quest 3的手部追踪性能。研究结果揭示了与头戴设备的距离、手部旋转角度以及作为追踪特征的关节类型对手部追踪性能的影响。我们发现，与指尖相比，当以指关节作为追踪点时，两款设备的手部追踪误差和抖动均最小。就位置精度而言，在性能最佳的条件下，Quest Pro的平均误差为1.22厘米，优于Quest 3的1.73厘米。但在抖动方面结果恰恰相反：Quest Pro的抖动值为1.77厘米，而Quest 3仅为1.11厘米。我们还发现Quest Pro的延迟变化范围较大（15.8–229.2毫秒），Quest 3的延迟范围为14.4–220.5毫秒。本研究为头戴设备中嵌入式无标记手部追踪系统提供了高度系统化且可重复的性能测试框架。 索引词—手部追踪、机器人技术、追踪性能、表征分析、虚拟现实、头戴式显示器。 ## 1 引言 无标记手部追踪正逐渐成为虚拟现实（VR）头戴式显示器（HMD）的常见功能，当前一代的Meta Quest和HTC Vive产品均已配备该功能。与控制器追踪不同，手部追踪允许用户无需手持控制器即可与虚拟环境交互。这种能力能够带来更真实、更有意义的交互体验，也能让用户在虚拟场景中扮演更主动的角色。基于手部追踪的VR交互在物理治疗[^23]和机器人远程操控[^25]等VR应用中愈发普遍。 在这些及其他应用中，了解手部追踪性能对于用户、从业者和开发者而言至关重要，这有助于他们掌握该技术的局限性；手部追踪在虚拟现实领域仍属于新兴技术，因为其在定位追踪和性能方面仍存在局限 [^4]。与传统上要求用户手持专用控制器的方式相比，无标记手部追踪的技术难度更高，它需要借助计算机视觉方法来处理输入数据，这往往会导致延迟和额外噪声，进而可能损害系统的整体性能 [^32]。若不了解手部追踪性能，手部位置数据的预期精度与实际精度之间便可能出现偏差，从而对用户体验造成负面影响。例如，手部追踪的精确度对于融合现实世界与虚拟世界的虚拟现实及混合现实体验而言至关重要：在 [^28] 中，需要借助动作捕捉技术实现精准的手部追踪，才能让用户在虚拟现实环境中接住球。同样，在 [^19] 中，无标记手部追踪技术被应用于虚拟体验中，用以评估并分类帕金森病患者手部的震颤情况。要评估震颤现象，必须具备足够的手部追踪精度，才能采集到高细节度的数据。 在此，我们聚焦于明确描述无标记手部追踪性能的需求—— --- 并介绍相应的评估流程。在本研究中，我们提出了一种机器人测试方法（我们的测试装置如图1所示），用于对无标记手部追踪性能进行标准化测试。通过这一流程，我们获取了两款市售虚拟现实头戴式显示器——Meta Quest Pro和Quest 3的位置精度、抖动情况及延迟数据。我们认为，对这类头戴式显示器的性能分析将是理解、解决并改进虚拟现实及其他系统中无标记手部追踪技术的基础步骤，有助于提升未来头戴式显示器的沉浸感。 ## 2 背景 ### 2.1 无标记追踪 尽管手部追踪对虚拟现实中的用户体验大有裨益，但无标记追踪是一项极具挑战性的任务，与传统控制器追踪相比存在诸多额外难点。虚拟现实系统中的控制器集成了惯性测量单元、红外灯等附加技术，能够实现传感器融合与光学追踪，从而提升性能 [^12]。而无标记追踪本质上不依赖被追踪物体上的任何附加标记，必须从外部视角进行追踪。该技术往往需要计算复杂度较高的计算机视觉算法，且对图像输入的细节程度要求极高 [^31]。除了所使用的追踪技术本身存在局限外，手部本身也是难以追踪的对象：手部拥有超过20个自由度，运动速度可高达5米/秒、300度/秒，还容易出现自遮挡现象 [^8]。这些因素往往会导致其性能低于传统控制器追踪，具体表现为用户体验中的延迟问题；这也凸显出在追踪失效时采取应对措施的迫切必要性 [^9]。 无标记手部追踪的常见技术利用RGB-D [^26]和红外摄像头 [^29]来获取追踪所需的手部信息。近年来，学习技术借助神经网络来训练算法，从而提升了手部追踪的性能。其中一例便是Han等人 [^11]的研究成果，该成果被用作Meta Quest头显上的默认手部追踪方案。该方法使用四台单色摄像头，在每个追踪帧中提供多组图像输入。一个高效的卷积神经网络会同时定位并分类图像中的手部。该算法中还包含运动预测步骤，旨在降低系统延迟。最后一步会预测手部的21个关键点，以提供关于手部解剖结构的详细信息。 ### 2.2 追踪性能 以往的研究已经评估了人机界面中延迟所产生的影响，这些知识是虚拟现实领域性能分析的基础。Lee等人 [^17]探讨了网络人机系统中延迟的影响；结果显示视觉延迟的平均辨别阈值为50毫秒，而当涉及触觉信息时，对同步性的要求更高。Jay等人 [^15]也研究了双向敲击任务中视觉滞后产生的影响，确定视觉滞后的可察觉阈值为94毫秒。这一结果表明，在简单的视觉任务中延迟增加就会导致性能下降，而在虚拟现实应用中的复杂交互场景下，这种影响可能会更加严重或敏感。虚拟现实领域还显示出延迟与其他因素之间的显著相关性，比如带宽降低 [^20]、运动表现下降 [^32]、身体归属感丧失以及视觉延迟增加时引发的晕动症 [^5]。这些效应涵盖了虚拟环境中用户体验的诸多方面，因此在开发虚拟体验以达成预期效果时，必须考虑商用头戴式显示器的延迟问题。 以往针对虚拟现实系统性能分析的研究涵盖房间级追踪、控制器追踪以及手部追踪等方面。房间级追踪的特性通常是借助采用灯塔追踪系统的设备 [^13] [^27]来评估的，因为性能会因与基站的距离不同而有所差异。由于机器人操控器能够生成可重复的运动，且有望提供真实基准参考，因此也被用于虚拟现实设备的特性评估 [^7] [^16]。动作捕捉技术同样能提供真实基准参考，在房间级分析中应用效率较高 [^3]。Mizera等人 [^24]评估了两种可穿戴式手部追踪设备和一种基于视觉的系统，这些设备可用于远程操作和虚拟操控；不过该研究中所考察的设备存在一个缺点，即需要用户在使用虚拟现实头戴式显示器时额外配备其他硬件。 由于无标记手部追踪技术在商用VR设备中相对较新，目前该领域的相关研究十分有限。据我们所知，Abdlikarim等人[^1]的研究是唯一一项针对商用头戴式显示器的无标记手部追踪特性分析。在他们的研究中，参与者食指上被贴有反光标记，以便将动作捕捉数据与Meta Quest 2的手部追踪结果进行对比。该研究通过目标触碰以及手指开合任务来测定延迟（我们在文中将其称为时延）、静态位置误差、路径偏移以及食指的角度误差等指标。他们通过对比两套测量系统数据中的速度峰值时间差，得出平均延迟为45毫秒的结果。此外，他们还发现平均静态位置误差为1.1厘米，且靠近头戴式显示器的情况会影响追踪误差。 我们的研究以AbdIkarim等人提出的方法为基础，开发了一套更为严谨的测试方案，利用机器人操控器对更新一代头戴式显示器上的无标记手部追踪性能进行表征。 ## 3 研究目标 本研究的目标主要有三项： - 设计一套可重复且具备扩展性的测试流程，从而能够可靠地表征无标记手部追踪在时延、姿态精度和姿态抖动方面的性能。 - 运用该测试流程，对两款搭载内置无标记手部追踪功能的当代头戴式显示器——Meta Quest Pro和Meta Quest 3的性能进行表征。 - 从上述指标出发，明确这些设备上无标记手部追踪技术的局限性，并探讨其对依赖手部追踪功能的应用程序开发所产生的影响。 ## 4 无标记手部追踪特性表征框架概述 我们提出了一种综合性框架，用于系统评估VR头戴式显示器中无标记手部追踪系统的性能。该框架融合了机器人技术、动作捕捉以及虚拟环境渲染技术，能够对位置精度、抖动和时延等关键指标进行精确且可重复的评估。它满足了制定标准化评估方法的需求，从而确保不同设备和条件下的结果具有可比性。 如图2所示，该框架集成了多个关键组件：一台机器人操控器（我们选用的是KUKA LBR iiwa 7 R800）可执行可重复且精准的动作来模拟手部运动；一个带有逆反射标记的3D打印手模则提供了标准化且精确的基准参考点；Vicon动作捕捉系统能够以亚毫米级精度追踪手模的运动，从而便于与Meta Quest Pro和Quest 3等头戴式显示器的手部追踪数据进行比较。包括基于Unity 3D渲染的虚拟环境在内的所有子系统，均通过实时通信协议实现同步，以确保一致性。 该框架通过三项测试来评估性能。静态性能测试通过在追踪区域内将手模置于不同位置，测量静止状态下的精度与抖动情况。动态性能测试则在运动过程中评估时延，通过沿预设轨迹移动手模来计算冷启动时延和恒定速度时延等指标。运动到光子时延测试则测量从手部运动到在头戴式显示器上呈现视觉图像之间的端到端延迟，从而揭示用户感知到的时延情况。 该框架引入了多项创新，包括利用机器人技术实现高精度重复操作，以及采用多种指标进行全面的性能分析。其模块化设计便于未来进行适应性调整，例如扩大测试规模或纳入更多指标——比如通过关节式手部模型来模拟复杂手势。通过标准化无标记手部追踪系统的表征方式，该框架为开发更可靠、更具沉浸感的虚拟现实技术奠定了基础。 --- ![Image](images/0ee112fcb2c248ead842ab8854bd964bd1a965d7b84d0741e1d50b35d881ae73.jpg)
Fig. 2: Diagram of the markerless hand-tracking characterization framework developed in this work. The framework integrates robotic manipulator and virtual reality subsystems to assess tracking performance through three tests, with the corresponding results outlined for each.
这种适应性调整包括扩展测试规模，或是引入更多评估指标，比如借助关节式手部模型来模拟复杂手势。通过统一无标记手部追踪系统的表征标准，该框架为研发更可靠、更沉浸式的VR技术提供了重要基础。 ## 5 实验设置 本研究开发的用于测试手部追踪性能的实验系统整合了多个子系统：VR头戴式显示器、动作捕捉系统、机器人机械臂，以及用于在上述子系统之间传输数据的底层通信系统。 ### 5.1 虚拟现实头戴式显示器 本研究评估的两款头戴式显示器分别为Meta Quest Pro $^{1}$和Meta Quest 3 $^{2}$。选择这两款Meta Quest设备是因为它们受众广泛、对VR领域影响力大，且具备内置的无标记手部追踪功能。Meta Quest Pro搭载高通骁龙XR2+ Gen 1处理器，配备12GB内存和五个用于追踪的集成摄像头；Meta Quest 3则搭载高通骁龙XR2 Gen 2处理器，配备8GB内存以及四个带深度传感器的集成摄像头以实现追踪功能。 用于测试的虚拟环境是基于Unity 3D游戏引擎（2022.3.17f1）在Windows 11 x64笔记本电脑上开发并渲染的，该电脑配置为AMD Ryzen 7 6800H 3.2GHz处理器、16GB内存、NVIDIA GeForce RTX 3050 Ti显卡。虚拟环境中设有一个颜色中性的极简平面，用以构建低复杂度场景，从而减轻渲染负担。所有测试均通过USB 3.0有线连接将头戴式显示器与笔记本电脑相连进行，而非采用独立模式，目的是降低数据传输与采集过程中的延迟。手部追踪姿态数据是通过Unity的XR Interaction Toolkit $^{3}$获取的，传输速率约为90 Hz（数据传输发生在Unity的MonoBehaviour.Update()函数中，具体速率会因系统性能而异）。选择90 Hz作为刷新率，是因为这是这两款头戴式显示器所能支持的最高共同刷新率。 ### 5.2 机器人机械臂 为使不同试验及硬件之间的对比具有可重复性，本研究采用了机器人机械臂来生成精准的动作。在实验系统中，我们选用了一台安装在基座上的KUKA LBR iiwa 7 R800机器人机械臂 $^{4}$，用于模拟人类手臂的运动学特性，精准完成本次测试所需的静态与动态定位任务。该机器人采用位置控制模式，通过KUKA专有的Fast Robot Interface (FRI) [^30]以1000 Hz的循环速率实时接收姿态数据。 该机器人由一台搭载Ubuntu 22.04实时内核的台式机（Intel Core i7-14700 4.2GHz处理器、32GB内存）进行控制。用于驱动机器人测试行为的软件是基于Robot Operating System 2（ROS 2）Humble Hawksbill版本开发的，其中lbr_fri_ros2_stack用于提供与机器人进行FRI通信的ROS 2软件包 [^14]。我们还专门设计了定制化的机械支撑结构来固定头戴式显示器的位置，并经过加固以尽量减少结构产生的振动。 ### 5.3 仿人手模型 由于本研究侧重于手部追踪性能，因此制作了一个标准化手部模型以确保所有测试试验的一致性。我们采用了通过Eva光学扫描生成的开源手部模型$^{5}$，该模型具有高精度且解剖结构清晰，能够满足虚拟手上关键点匹配的需求。该模型经过进一步修改后，可在手背和手掌侧的每个解剖关节处以及每个指尖处放置直径为6.4毫米的球形反光标记物。每个关节的追踪位置为对应手背和手掌侧标记物之间的中点。如图3所示，模型$^{6}$是使用PLA材料在FDM打印机上3D打印而成的。这种技术能够可靠地确定与VR手部追踪相应关键点相关的真实位置。每次试验中，手部都会被固定在机械臂末端执行器上并保持一致。初步测试表明，新增的标记物和耗材颜色并不会导致地标识别或手部追踪能力的下降。图1展示了整个组合系统。 ### 5.4 动作捕捉系统 我们采用了基于逆反射标记的运动捕捉系统——Vicon Vero（v2.2）$^{7}$，为我们的虚拟现实实验提供高效的真实参考基准。 $^{3}$ $^{4}$ $^{5}$ $^{6}$ $^{7}$ --- ![Image](images/6d6b77e784f3be5537e60a30753fbd00a79cae2be0003d6ff4571109c724cd2c.jpg)
(a) Dorsal Side
![Image](images/71bab4a14899db7a86e59ff0a0dd12c6992abe6a7846a47c36afaf1a045546bb.jpg)
(b) Palmar Side
Fig. 3: Hand model with reflective markers at key anatomical features to define ground truth within the motion-capture system.
该系统用于采集待分析的手部追踪数据。该系统与运行在Windows 11 x64系统（英特尔至强W-2123处理器，3.6GHz，16GB内存）上的Vicon Tracker软件（3.9.0.128020h）$^8$协同工作，以实现对逆反射标记阵列的精准追踪。该系统的误差小于毫米级，相机延迟仅为3.6毫秒。 ### 5.5 通信 所有子系统的同步工作由机器人控制器计算机协调完成，从而实现机械臂的控制。为了实现高效同步，VR系统和动作捕捉系统通过以太网利用高速UDP协议，以Google的Protocol Buffer框架$^{9}$传输序列化数据。这最大限度地降低了系统延迟和网络流量带来的影响。 ### 5.6 测量坐标系之间的配准 为确保动作捕捉坐标系与VR坐标系之间的数据能够合理对比，我们完成了配准过程。该过程涉及在两个坐标系中对手部同一解剖特征在30个独特点上进行测量。我们采用最小二乘法来生成齐次变换矩阵，以两个数据集各自的平均值为中心进行调整，随后进行奇异值分解。 ## 6 研究方法 我们的测试方法通过三项测试来评估Meta Quest Pro和Quest 3的无标记手部追踪精度、抖动和延迟：静态性能测试，即在手部静止时评估手部追踪性能；动态性能测试，即在手部运动过程中评估手部追踪性能；以及运动到光子延迟测试，用于测量手部运动与该运动在头戴式显示器上显示之间的延迟。 虽然其他研究可能仅针对性能因素报告单一数值结果（例如[^1]），但本研究旨在提供包含位置和延迟性能多项评估的详细结果。这将有助于我们更全面地了解目前尚未被充分揭示的手部追踪性能。 ### 6.1 测试1：静态性能 本次测试旨在评估静态条件下的手部追踪性能，从而排除延迟对测量精度的影响。这种场景代表了最佳的追踪条件：由于时间因素被消除，且各帧之间手部姿态保持一致。这种稳定性为头戴式显示器摄像头提供了稳定的视角，简化了追踪算法中的识别步骤。静态测试条件对于了解追踪性能的上限至关重要，尤其适用于虚拟环境中的精确交互操作 [^22]。Abdlikarim等人 [^1] 指出了手部与设备距离对追踪误差的影响。因此，静态测试需在以头戴式显示器为中心的三维测试空间内进行。对于每个固定的垂直距离而言，共有七个基准位置，如图4所示。表1详细列出了各位置相对于头戴式显示器的横向与前后距离，以及以指尖朝前为基准的偏航旋转角度。位置1、4和6通过偏航旋转进行了调整，以模拟使用解剖学上更精准的操控器时所形成的自然手部姿势。这些位置经过精心挑选，能够均匀覆盖半径为0.4米、以第一个位置为中心的圆形测试区域的四分之一。
PositionLat. Offset (m)Vert. Offset (m)Yaw Rotation (°)
10.10.1545
20.30.150
30.2410.2910
40.10.3522.5
50.50.150
60.3830.433-15
70.10.550
Table 1: Static test positions for each consistent vertical level of three-dimensional testing volume defined by the lateral and anterior proximity to the HMD and yaw rotation.
为了将测试空间拓展至三维，我们定义了三个垂直层级。最靠近头戴式显示器的第一层位于眼睛高度下方约0.1米处；接下来的两层则分别位于第一层下方0.2米和0.4米处。由此形成的测试空间相当于一个半径为0.4米、高度为0.4米的圆柱体的四分之一部分。与七个位置上的手部偏航旋转调整类似，第一层的所有位置均向上倾斜。其中前三个位置的倾斜角度为45度，其余位置则为22.5度。这样的设计既能确保手部在较高位置时能处于符合解剖学的自然姿态，又能提升头戴式显示器与被追踪的食指特征之间的可视性。由于操控器及手部模型均采用左手配置，因此仅测试了头戴式显示器左侧的区域。选择这一区域作为测试范围是因为虚拟现实中的大多数左手交互行为都发生于此，其重要性远高于那些极少涉及左手交互的扩展工作区。我们假设头戴式显示器的内外侧平面上的性能表现具有对称性，因此本研究的结果也可推广至右手模型及其对应的相关区域。 为了进一步提升测试的鲁棒性，在切换到下一个基准位置之前，会对每个位置施加七种旋转。由于在虚拟环境中的交互过程中手部很少保持平整状态，因此所施加的旋转能确保测试结果能够反映旋转对手部追踪性能的影响。这些旋转依次为（编号为1至7）：恒等旋转（使手部保持在基准位置）、尺侧和桡侧偏移15度、屈曲和伸展45度，以及旋后和旋前15度。其中屈曲/伸展角度被设定得更大，目的是确保从头戴式显示器的视角来看手部轮廓能产生明显变化。每个层级有七个位置，每个位置对应七种旋转，总计形成了147个独特的测试点。 在首次测试中，我们还比较了手部两个解剖结构的追踪性能，以了解手部最佳的追踪位置。所选的解剖结构是指尖（远节指骨）和指关节（掌指关节）。之所以选择食指，是因为在虚拟现实交互中它通常是最靠内侧的手指，能提供最清晰的视线，因此具备最佳的HMD摄像头追踪潜力。在本研究中，食指上的指尖和指关节被选为两个解剖结构，因为它们能提供清晰的标记点。 --- ![Image](images/d7eeb8faf3e4251f4bfce35a9e98afec2825d3d392035bf5cc202eadbc5d962b.jpg)
Fig. 4: Static performance testing region for each level used in Test 1.
手部其他部位如手掌和手腕则未被纳入研究，因为很难将实体模型手上的这些部位与虚拟手对齐。我们尚未发现有其他研究针对商用HMD对比手部不同解剖结构的追踪性能。 在每个特定测试点上，测量过程会延迟1.5秒，以消除手部追踪延迟带来的影响。延迟结束后，会以90 Hz的采样率从真实数据和VR数据中各采集50个样本（这一速率是综合考量后的最慢更新频率，以确保每个样本点都能获得独特的测量值）。对于每个测试点，会计算出两个结果：平均欧几里得误差和样本间抖动。 平均欧几里得误差是通过取每个测试点上运动捕捉系统与头显无标记手部追踪系统所得到的50个测量值的平均值来计算的。随后会应用配准得到的齐次变换矩阵，将这些位置转换到同一坐标系中。再计算两点间的欧几里得距离，即可得到平均误差。欧几里得误差是衡量追踪性能的重要指标，因为它与真实值的偏差直接反映了实际性能与预期性能的差距。 抖动反映了后续静止测量中帧与帧之间的跳跃幅度[^27]。因此，样本间抖动能够体现测量系统所受到的噪声影响程度。较大的抖动还会产生负面影响，导致手部动作不够自然，进而降低社交临场感，让用户在社交虚拟互动中感到不适[^2]。该指标是通过计算每个独特测试点上50个测量值均方根（RMS）得出的。公式1给出了RMS的计算方法，其中n为测量次数（本研究中为50），$\Delta m_{i}$表示样本i与$i+1$之间的差异。 $$ RMS=\sqrt{\frac{1}{n}\sum_{i=1}^{n-1}\Delta m_{i}^{2}} $$ 此项测试旨在评估动态条件下的手部追踪性能，从而确定各HMD上无标记手部追踪技术的延迟情况。延迟指的是真实运动与测量系统检测到该运动之间的时间差。 ### 6.2 测试2：动态性能 由于我们的基准测试是在240 Hz的刷新率下进行的，且相机延迟为3.6毫秒，因此必须在结果中考虑这些潜在的延迟。基准测试的最大延迟（相机延迟加上一个完整的240 Hz周期）将达到7.77毫秒，这一数值会在测试2的各项结果中被纳入考量。从用户在VR应用中的体验来看，延迟涵盖了动态交互过程中的时间误差与位置误差，因此它能反映出手部追踪能力的局限性。延迟对于虚拟化身的真实感呈现也至关重要，它会影响到非语言交流等动态情境交互的执行能力 $^{[21]}$。 在头戴式显示器的视线水平下方0.3米、0.4米和0.5米这三个垂直高度上，共定义了12条手部匀速运动轨迹。为了能让所有轨迹上的关节运动更加平滑，测试空间相较于测试1做了调整。初步测试发现，视线水平下方0.3米以上的垂直高度上，某些机械臂关节的运动速度会过快，难以精准遵循预设的直线轨迹；而且在高垂直高度下，机械臂还会遮挡手部，不利于稳定追踪。因此，本次测试并未纳入0.3米以上的垂直高度轨迹。在每个垂直高度上，我们定义了四条轨迹：其中两条距离头盔0.3米，另外两条在前方0.45米处。在同一垂直和高度位置的两对轨迹中，一条使手部从左向右移动，另一条则相反。每条轨迹长度为0.3米，稳态速度为0.2米/秒，加速和减速阶段各占总轨迹时长的百分之十。设置加速和减速阶段是为了模拟自然的手部运动，同时降低系统产生的振动。在每条轨迹执行期间，基准系统和VR系统会以最高可用更新率记录数据（基准系统：240 Hz），从而获取整条轨迹上每个测量帧的位置信息。数据记录从每条轨迹开始前0.25秒开始，到结束后1.0秒结束，这样就能确保由于手部追踪存在的延迟，两套测量系统都能捕捉到完整轨迹。本次测试选择指关节作为追踪特征（因为其在测试1中的追踪表现优于指尖），这有助于在单独分析追踪延迟时，尽量减小位置误差的影响。 虽然其他研究（即[^1] [^27]）仅报告了VR系统延迟的单一数值，但实际上在不同运动阶段延迟差异显著 [^33]。运动过程中的性能差异源于现代手部追踪算法中常见的运动预测步骤 [^11]。我们的预实验已初步证实这一现象：运动起始阶段的延迟最大，稳态时延迟最小，不过还需要更深入的分析 [^10]。因此，本次测试将生成三项指标，以全面评估整个运动过程中手部追踪的性能：冷启动延迟、运动预测“预热”时长以及匀速运动延迟。 冷启动延迟指的是运动开始时的时延。这一指标排除了运动预测的影响，因为手部在轨迹起始时处于静止状态，它代表了我们测试中最为糟糕的跟踪情况。由于我们的两套测量系统都存在噪声，因此采用简单的运动起始检测技术并不可行。Warburton等人[^33]证明了基于中位数绝对偏差（MAD）的异常值检测技术在VR系统中检测运动起始的可行性。该技术将被用于基准数据和VR手部跟踪数据，以确定每条轨迹的运动起始时间。基准数据与VR手部跟踪运动起始之间的相应延迟即为我们的冷启动延迟。MAD检测技术如公式2所示[^18]。 $$ \frac{x_{i}-M}{b\cdot M_{i}(|x_{i}-M_{j}(x_{j})|)}>|\pm c| $$ 该技术依赖于中位数函数（M）、常数b和c，以及一个样本窗口（x）。Leys等人指出，c=3是一种较为保守的选择，而b=1.4826通常被采用，因为它与数据呈正态分布的假设相关[^18]。这些常数值将用于我们的分析。 --- 在初步测试中，窗口大小为60个样本时表现优异。如果VR检测点出现在基准检测点之前（表明这是假阳性，因为VR手部跟踪通常滞后于基准运动），则将窗口大小增加10，直至不再出现这种情况。延长窗口能够降低静止测量中高噪声特征的影响，从而在某些情况下改善检测效果。 由于起始阶段的静止状态消除了运动预测的影响，一旦算法有充足时间评估运动，运动预测便会开始影响性能。正如Warburton等人所指出的，运动预测发挥作用需要一段“预热”时间，这会导致从运动起始到达到稳态期间所经历的延迟减小[^33]。为了确定这一运动预测预热时间，首先需测定整个运动过程中的延迟；利用冷启动延迟分析中检测到的运动起始点，对基准数据和VR轨迹进行对齐。从运动起始点开始，将每个基准测量值沿VR轨迹向前投影，直至找到匹配位置。相应的基准测量值与VR测量值之间的时间差，即为该特定基准时间点上的延迟。这一过程会重复进行，直到评估完80%的基准轨迹，从而排除运动的减速阶段。确定了轨迹大部分区域的延迟后，预热时间便定义为从运动起始到延迟值达到轨迹最终延迟值5%以内的时间段。 确定预热时间后，便可通过对预热期后的延迟值取平均值来得出恒定速度延迟。用于确定恒定速度延迟的时间段代表了本次测试中分析的最佳跟踪条件，此时运动预测已充分发挥作用，且轨迹已脱离加速阶段。 ### 6.3 测试3：运动至光子延迟 虽然前两项测试对静态和动态条件下的手部追踪性能进行了深入评估，但虚拟现实系统中另一个需要重点考虑的延迟因素是运动到光子延迟。运动到光子延迟指的是用户动作与该动作在头戴式显示器上显示之间的时间差，用于衡量头戴式显示器的可视化能力。评估这一指标至关重要，因为它将头戴式显示器的硬件和软件性能整合为一个统一的度量标准。它扩展了第二项测试的结果，能够量化追踪系统的端到端延迟，也就是用户实际感受到的延迟。 为了测量这种延迟，我们让机器人沿着测试2中设定的相同轨迹移动。为了尽量减少定位误差对追踪延迟测量的干扰，我们再次选择指关节作为被追踪的解剖学特征。不过，我们还在每条轨迹的中点定义了一个“触发点”，在该点上，机器人的笛卡尔末端执行器姿态以及虚拟现实头戴式显示器所报告的手部姿态都是已知且已标注的——也就是说，我们在机器人和虚拟现实坐标系下都获得了触发点的坐标。一旦根据机器人自身报告的姿态判断出手已经越过触发点，机械臂腕部的LED环就会亮起；而当虚拟现实头戴式显示器检测到手越过触发点时，整个显示屏就会变为紫色。 与Warburton等人在[^33]中采用的流程类似，我们使用智能手机上的高速摄像头来记录整个实验装置，包括机器人的LED环和头戴式显示器的屏幕，以此确定运动到光子延迟。在本研究中，我们选用安装在三脚架上的iPhone 14 Plus（iOS 17.6.1），以$1080 \times 1920$像素的分辨率和240 fps的帧率录制测试视频。我们通过微控制器和LED手动验证了帧率，最终确定实际帧率为239.69 fps；计算时采用了这一数值。测试结束后，我们逐帧回放视频，从机器人的LED亮起时刻一直播放到头戴式显示器屏幕变紫的时刻。通过计算这两个事件之间的帧数并除以帧率，就能得出运动到光子延迟的估计值。 需要注意的是，本次测试并未使用运动捕捉系统；相反，我们依据机器人基于关节编码器反馈所报告的运动状态来判断手是否越过触发点。之所以选择这种方法，是因为机器人的反馈速率几乎不存在延迟（在1毫秒以内），这得益于其控制回路的实时性。这一特点提升了我们对运动到光子延迟估算的准确性。 ## 7 实验结果 ### 7.1 测试1：静态性能 测试1的数据收集共得到1176个测量值。遗憾的是，其中19个测量值因头戴式显示器无法成功追踪手部而被舍弃。如果手部在虚拟环境中不再被识别，或者手部在静止状态下出现异常剧烈的抖动，就视为追踪失败。 Quest Pro和Quest 3在解剖特征条件下的静态位置误差分别如图5所示。双因素方差分析用于检验头戴式显示器（HMD）和解剖特征选择对位置误差的影响。结果显示，HMD与解剖特征选择对位置误差的影响存在统计学意义上的显著交互作用，$F(1,1741)=8.686$，p=0.003。简单主效应分析表明，在相应解剖特征条件下，Quest Pro的静态位置误差显著小于Quest 3（p<0.001）。结果还显示，Quest 3在指关节追踪条件下的误差显著小于指尖追踪条件（p<0.001），但Quest Pro的不同追踪条件间并未呈现此类差异（p=0.150）。测试1条件下静态位置误差的平均值见表2。
Static Error (cm)Jitter (cm)
Quest Pro - Fingertip$1.30 \pm 0.79$$2.16 \pm 0.56$
Quest Pro - Knuckle$1.22 \pm 0.90$$1.70 \pm 0.41$
Quest 3 - Fingertip$2.05 \pm 0.90$$1.42 \pm 0.72$
Quest 3 - Knuckle$1.73 \pm 0.72$$1.11 \pm 0.20$
Table 2: Static positional error and jitter for each HMD and anatomical feature condition evaluated in the static test presented as an average across the testing volume.
不同HMD和解剖特征条件下的抖动情况如图6所示。双因素方差分析用于检验HMD和解剖特征选择对抖动的影响。结果显示，HMD与解剖特征选择对抖动的影响不存在统计学意义上的显著交互作用，$F(1, 1741) = 2.542$，p=0.111。这表明HMD对抖动的影响独立于解剖特征追踪条件。简单主效应分析显示，在相应解剖特征条件下，Quest 3的抖动表现显著优于Quest Pro（p<0.001）。对于两种HMD而言，指关节追踪条件下的抖动也显著低于指尖追踪条件（p<0.001）。测试1条件下抖动的平均值见表2。 最后，在测试1中，我们研究了手部旋转对静态位置误差和抖动的影响。单因素方差分析结果显示，七种测试手部旋转方式之间的抖动差异并无统计学意义。不过我们确实发现了静态误差方面的显著差异（$F(6,434)=2.902$，p=0.009）。针对误差进行的Tukey事后检验并未发现各组间的显著差异，这说明该效应的影响程度可能过小，尚无法据此得出确定性结论。每种手部旋转方式在测试区域内所有位置上的平均结果见表3。 ### 7.2 测试2：动态性能 第二次测试中，头戴式显示器、垂直高度以及线性轨迹的前向接近度之间均未发现显著的三维交互作用。因此，本文报告测试区域内的平均值，以便了解用户手部在正常工作空间内的平均性能表现。 --- ![Image](images/233ab242a885fca7f288a0cb3b308610a551e53a4e63da25cd77ee7fc3a7cfba.jpg)
(a) Quest 3 Index Tip Error
![Image](images/e094207841171ebd4752f7965859223e1af66a19b9fa57f347737a37786f2f1f.jpg) ![Image](images/2d2196d1c6293f5a512ed0820c14824079c82c8c6fce9b3a3aa3b1420d6e2395.jpg)
(b) Quest 3 Index Knuckle Error
(c) Quest Pro Tip Error
![Image](images/e07a951214d34548921a72c4bed2df296e0d254d3974a95ddd12ad9e0938c806.jpg)
(d) Quest Pro Knuckle Error
Fig. 5: Euclidean error across testing volume for each VR HMD and hand feature tracking condition from Test 1. Note that these plots linearly interpolate between positions where measurements were taken to produce the displayed spatial performance profile.
Static Error (cm)Jitter (cm)
Rotation 1$1.09 \pm 0.98$$1.66 \pm 0.28$
Rotation 2$1.05 \pm 0.62$$1.71 \pm 0.32$
Rotation 3$1.07 \pm 0.58$$1.81 \pm 0.38$
Rotation 4$1.18 \pm 0.81$$1.80 \pm 0.72$
Rotation 5$1.17 \pm 1.00$$1.77 \pm 0.33$
Rotation 6$1.50 \pm 0.94$$1.78 \pm 0.31$
Rotation 7$1.49 \pm 1.16$$1.84 \pm 0.32$
Table 3: Static positional error and jitter for each hand rotation evaluated in the static test presented as an average across the testing volume.
## 8 讨论 针对Meta Quest Pro和Quest 3的运动到光子延迟进行的双侧t检验并未发现显著差异。运动到光子延迟的测试结果见表4。 据作者所知，AbdIkarim等人的研究[^1]是对商用HMD上无标记手部位点追踪技术的唯一其他相关表征。虽然他们的研究为手部追踪技术提供了基础性框架…… ### 7.3 测试3：运动到光子延迟
Quest ProQuest 3
CS Latency (ms)$229.2 \pm 146.3$$220.5 \pm 101.4$
CV Latency (ms)$15.84 \pm 9.69$$14.44 \pm 9.50$
“Warm-Up” Duration (ms)$660.9 \pm 150.5$$662.0 \pm 109.5$
M-t-P Latency (ms)$33.20 \pm 18.01$$38.33 \pm 31.29$
图7展示了Quest Pro的无标记手部追踪系统与动作捕捉系统（基准真值）所记录的轨迹示例。这些图表还可视化了在追踪算法中的运动预测完成预热期后，整个轨迹上的延迟变化情况。双侧T检验未能发现Meta Quest Pro与Quest 3在平均冷启动延迟、预热时长以及恒速延迟方面存在显著差异。相关结果详见表4。
Table 4: Cold-start (CS) latency, constant-velocity (CV) latency, and motion prediction warm-up duration in the dynamic test (test 2) are shown for both HMDs tested. Additionally, the motion-to-photon (M-t-P) latency from test 3 is presented. All results are presented as averages across the testing volume for the two HMDs.
为了更全面地描述追踪特性，我们旨在提供更为完备的数据集。[^1]中所采用的指标仅考虑了延迟的单一平均值。正如前文所述且本研究结果也予以佐证，仅凭单一的延迟值不足以理解追踪性能在轨迹上的变化规律。正因如此，我们在后续的第二、第三项测试中纳入了对延迟的多维度评估，以便充分揭示无标记手部追踪的延迟特性。先前研究框架的一大优势在于采用目标触碰任务来评估静态位置精度；该测试在指定区域内评估手部追踪性能，结果显示其表现与距离头戴式显示器的远近密切相关。这一发现直接推动了本研究中对测试区域的设定，从而确保我们的框架能充分考虑空间性能因素。 如图5和图6所示，测试1的结果清晰表明：在所有测试条件下，追踪性能均取决于与头戴式显示器的距离。由于所有头戴式显示器所配备的摄像头视场角均为固定值，识别出能够确保稳定追踪的区域将有助于虚拟现实设计师在虚拟环境中设计出更合理的交互方式。 --- ![Image](images/749ff11bf96c4c2218f47c08fce00f909d8cb9b77dd35a9987e301f5b132fc39.jpg)
(a) Quest 3 Index Tip Jitter
![Image](images/eb13c4bf31af8d1a1e263cafd8efb40de448a28c0faed59a0338a2358d801be9.jpg) ![Image](images/bde98ec46f92fe9ba0a4fe02612849217b567b4298d7a66f9eef8753acbe346d.jpg)
(b) Quest 3 Index Knuckle Jitter
(c) Quest Pro Tip Jitter
![Image](images/8e9e07a5caf20035b83893637319aa94e99f76ca363c7e7eae806a9b27a5ad4c.jpg)
(d) Quest Pro Knuckle Jitter
Fig. 6: Jitter across testing volume for each VR HMD and hand feature tracking condition from Test 1. Note that these plots linearly interpolate between positions where measurements were taken to produce the displayed spatial performance profile.
位置5（参见图4）的整体表现最差，它是第一层前部区域中最靠外的横向点。这一位置使得手部相对于头戴式显示器的姿态较为别扭，形成了偶尔会导致追踪中断的盲区。追踪效果最佳的位置是那些与头戴式显示器仅有较小横向偏差及一定垂直偏差的区域，比如第二垂直层的位置。这一结果在意料之中：一方面是因为摄像头均采用前向视场角设计，另一方面是因为手部追踪算法的大部分训练数据均来源于类似位置——这些正是用户手部最常处于的姿态。测试1还显示出，指关节追踪模式下的性能优于对应的指尖追踪模式。由于指尖更容易被手部自身遮挡，导致追踪算法在此类情况下可利用的信息较少，进而造成性能下降。上述结果与这一推论相符，也印证了在两种解剖结构中指关节才是更优的追踪部位。尽管精准的指尖追踪对于虚拟现实中的指尖交互等任务至关重要[^6]，但这一发现凸显了指关节作为追踪特征更高的可靠性，使其更适合用于手部姿态识别等通用场景。 将本研究的结果与Abdlikarim等人在[^1]中的研究相结合，便可对比Meta Quest系列头戴式显示器过去三代产品的手部追踪性能。研究显示，Meta Quest 2的平均静态指尖位置误差为1.1厘米[^1]。而针对Meta Quest 3和Meta Quest Pro，我们测得的平均指尖位置误差分别为2.05厘米和1.30厘米。虽然从表面数值上看我们的结果更大，但测试1是在测试区域内不同位置下，手部旋转7种角度时测得的数值。由于Meta Quest 2的评估采用标准掌心向下姿势，当手部偏离这种姿势时，因可能出现自遮挡现象，且从头戴式显示器摄像头视角看手部表面积减小，会导致追踪难度上升。本研究的结果能更全面地评估追踪性能，因为同时考虑了空间与旋转条件。就旋转条件而言，手部呈掌心向下姿势时（旋转1-3）性能最佳；而旋转6和旋转7所对应的旋前与旋后动作则导致性能最差。这很可能是因为手部沿其前后轴旋转时，从头戴式显示器视角看手部表面积大幅减少。由于自然手部交互很少以掌心向下姿势进行，因此在设计不同于这种理想状态的交互方式时，必须考虑到追踪性能的下降。 Warburton等人最初在[^33]中提出这一观点，我们的研究结果证实了：要全面评估追踪延迟，需要多个延迟测量值。冷启动延迟与恒定速度延迟数值间的巨大差异便证明了这一点。冷启动延迟测试是在最坏条件下评估追踪性能，此时追踪算法的运动预测效应会被削弱。Meta Quest Pro和Quest 3的平均冷启动延迟分别达到229.2毫秒和220.5毫秒，这一数值超过了[^15]和[^17]中所提及的视觉延迟可察觉阈值。这表明轨迹起始阶段或加速度骤增的手部动作可能会产生用户可察觉的延迟，进而影响用户体验；因此，在虚拟环境中设计手部交互时，应优先考虑加速度较低的手部动作。恒定速度下的延迟数值则低于上述视觉可察觉阈值，这凸显了运动预测功能在Meta Quest头戴式显示器手部追踪算法中的重要性。至于运动预测的预热时长 --- ![Image](images/408c780d173ff9aaeb55b6b27b6f05e07c83cae0baec9f7d01fe71955c49af1d.jpg)
(a)
![Image](images/895d8c4da8c81bd1cab4a03c727d8a260938ef93106e3b4b4836d7cfdb8dbd59.jpg)
(b)
Fig. 7: Example output plots for Test 2 - Dynamic Testing showing: (a) VR hand-tracking vs. ground-truth across linear trajectory with marked motion onset points used for cold-start latency analysis; and (b) development of tracking performance across linear trajectory.
是理解追踪性能达到峰值速度的关键指标，尤其是在恒定速度运动期间。这一预热期代表了追踪性能的过渡状态，在依赖无标记手部追踪数据以实现精准追踪的应用中，同样必须将其纳入考量。由于两款头戴式显示器的预热时长结果并无显著差异，很可能Meta在各类产品上采用了相同的预测算法。 最终测试中的运动到光子延迟结果代表了本研究中最能反映系统整体性能的指标，因为它涵盖了手部追踪以及头戴式显示器上的可视化性能。Meta Quest Pro和Meta Quest 3的相应结果分别为33.20毫秒和38.33毫秒，均低于此前提到的50毫秒[^17]和90毫秒[^15]的可察觉阈值。需要注意的是，若考虑一个标准差的话，两款头戴式显示器的结果都突破了视觉感知的50毫秒阈值。这表明，尽管Meta头戴式显示器上无标记手部追踪的平均性能足以带来良好的用户体验，但由系统延迟产生的可察觉影响仍较为普遍，可能会带来负面后果。 虽然本研究旨在为无标记手部追踪的性能评估提供一套完善的框架，但其中的局限性也为后续研究提供了契机。在三次测试中，测试范围仅涵盖位于头戴式显示器下方的位置和轨迹。由于大多数手部交互发生在视线以下区域，因此测试范围的设定是为了最大程度匹配这些位置。随着虚拟体验愈发复杂，对虚拟现实系统中无标记手部追踪的要求也会更高，届时可能需要更大范围内的性能评估来支持新的交互方式。此外，本研究中的测试条件仅涉及单个关节的追踪，并未评估手指角度或手宽等更宏观特征的追踪情况。本次评估也仅基于单一的静态手部模型，这一局限性可能会影响结果的普适性，未来的研究可以通过探索不同的手部形状来解决这一问题。还有诸多其他追踪条件能够进一步拓展本研究结果的分析深度。 ## 9 结论 无标记手部追踪是改善未来虚拟体验的关键发展方向。这项目前已在多款商用头戴式显示器上成为标配的技术，推动了利用自然手部动作进行虚拟交互的发展。虽然在虚拟体验中应用手部追踪是重要的一步，但为了准确描述和记录这项技术在需要精确手部姿态数据的应用场景中的进展，持续且系统的评估必不可少。正因如此，我们在本研究中开发了一套可重复、可扩展的无标记手部追踪性能评估流程，既便于评估当前的商用头戴式显示器，也为未来的测试和对比奠定了基础。 据我们所知，本研究是首次运用机器人技术来评估无标记手部追踪性能。这种方式能够对虚拟现实系统中的无标记手部追踪进行系统化、精准且具可比性的评估。本研究提出的方法可输出位置精度、抖动和延迟方面的结果。该方法被应用于两款市售虚拟现实头戴式显示器：Meta Quest Pro和Quest 3。在最佳表现条件下（追踪指关节部位），Quest Pro在位置误差方面优于Quest 3（分别为1.22厘米和1.73厘米）；而在抖动方面则恰恰相反（分别为1.77厘米和1.11厘米）。研究还评估了手部与头戴式显示器的距离对位置精度和抖动的影响，结果显示当手部移至边缘区域时，两项指标的表现都会变差。Quest Pro的延迟结果变化幅度较大（15.8毫秒至229.2毫秒），Quest 3的延迟结果同样波动明显（14.4毫秒至220.5毫秒）。 虽然本研究构建的特征描述框架较为全面，但分析所涵盖的范围有限。研究仅测试了头戴式显示器视线以下区域，且机械臂的限制也缩小了整体测试空间。未来的研究可以通过扩大测试范围来评估本研究所得结论的普适性，同时也可检验其他商用虚拟现实头戴式显示器的无标记手势追踪性能。 ## 致谢 本研究得到了加拿大自然科学与工程研究理事会以及Connected Minds CFREF项目的资助（）。 ## 参考文献 [^1]: D. Abdłkarim, M. Di Luca, P. Aves, M. Maaroufi, S.-H. Yeo, R. C. Miall, P. Holland, and J. M. Galea. A methodological framework to assess the accuracy of virtual reality hand-tracking systems: A case study with the meta quest 2. Behavior research methods, 56(2):1052–1063, 2024. 2, 4, 5, 7.8 [^2]: A. Adkins, A. Normoyle, L. Lin, Y. Sun, Y. Ye, M. Di Luca, and S. Joerg. How important are detailed hand motions for communication for a virtual character through the lens of charades? ACM Transactions on Graphics, 42(3):1–16, 2023. 5 ## [^3]: T. Ameler, K. Blohme, L. Brandt, R. Brüngel, A. Hensel, L. Huber, F. Kuper, J. Swoboda, M. Warnecke, M. Warzecha, et al. A comparative --- 对SteamVR追踪系统与OptiTrack系统在医疗器械追踪方面的性能评估。载于2019年第41届IEEE医学与生物工程学会年会（EMBC），第1465–1470页。IEEE出版社，2019年。2 [^4]: G. Buckingham. Hand tracking for immersive virtual reality: opportunities and challenges. Frontiers in Virtual Reality, 2, 2021. 1 [^5]: P. Caserman, M. Martinussen, and S. Göbel. Effects of end-to-end latency on user experience and performance in immersive virtual reality applications. In Entertainment Computing and Serious Games: First IFIP TC 14 Joint International Conference, ICEC-JCSG 2019, Arequipa, Peru, November 11–15, 2019, Proceedings 1, pp. 57–69. Springer, 2019. 2 [^6]: M. Dani, G. Garg, R. Perla, and R. Hebbalaguppe. Mid-air fingertip-based user interaction in mixed reality. In 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), pp. 174–178, 2018. doi: 10.1109/ISMAR-Adjunct.2018.00061 8 [^7]: D. Eger Passos and B. Jung. Measuring the accuracy of inside-out tracking in xr devices using a high-precision robotic arm. In International Conference on Human-Computer Interaction, pp. 19–26. Springer, 2020. 2 [^8]: A. Erol, G. Bebis, M. Nicolescu, R. D. Boyle, and X. Twombly. Vision-based hand pose estimation: A review. Computer Vision and Image Understanding, 108(1-2):52–73, 2007. 2 [^9]: Y. Ferstl, R. McDonnell, and M. Neff. Evaluating study design and strategies for mitigating the impact of hand tracking loss. In ACM Symposium on Applied Perception 2021, pp. 1–12, 2021. 2 [^10]: E. Godden and M. Pan. Towards robotic haptic proxies in virtual reality. In 2024 IEEE Canadian Conference on Electrical and Computer Engineering (CCECE), pp. 178–179, 2024. doi: 10.1109/CCECE59415.2024.10667136 5 [^11]: S. Han, B. Liu, R. Cabezas, C. D. Twigg, P. Zhang, J. Petkau, T.-H. Yu, C.-J. Tai, M. Akbay, Z. Wang, et al. Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (ToG), 39(4):87–1, 2020. 2, 5 [^12]: J. Hesch, A. Kozminski, and O. Linde. Powered by ai: Oculus insight, Aug 2019. 2 [^13]: V. Holzwarth, J. Gisler, C. Hirt, and A. Kunz. Comparing the accuracy and precision of steamvr tracking 2.0 and oculus quest 2 in a room scale setup. In Proceedings of the 2021 5th International Conference on Virtual and Augmented Reality Simulations, pp. 42–46, 2021. 2 [^14]: M. Huber, C. E. Mower, S. Ourselin, T. Vercauteren, and C. Bergeles. Lbr-stack: Ros 2 and python integration of kuka fri for med and iiwa robots, 2023. 3 [^15]: C. Jay and R. Hubbold. Delayed visual and haptic feedback in a reciprocal tapping task. In First joint eurohaptics conference and symposium on haptic interfaces for virtual environment and teleoperator systems. World Haptics Conference, pp. 655–656. IEEE, 2005. 2, 8, 9 [^16]: T. A. Jost, G. Drewelow, S. Koziol, and J. Rylander. A quantitative method for evaluation of 6 degree of freedom virtual reality systems. Journal of biomechanics, 97:109379, 2019. 2 [^17]: I. Lee and S. Choi. Discrimination of visual and haptic rendering delays in networked environments. International Journal of Control, Automation and Systems, 7(1):25–31, 2009. 2, 8, 9 [^18]: C. Leys, C. Ley, O. Klein, P. Bernard, and L. Licata. Detecting outliers: Do not use standard deviation around the mean, use absolute deviation around the median. Journal of experimental social psychology, 49(4):764–766, 2013. 5 [^19]: G. Lugo, M. Ibarra-Manzano, F. Ba, and I. Cheng. Virtual reality and hand tracking system as a medical tool to evaluate patients with parkinson's. In Proceedings of the 11th EAI International Conference on Pervasive Computing Technologies for Healthcare, pp. 405–408, 2017. 1 [^20]: I. S. MacKenzie and C. Ware. Lag as a determinant of human performance in interactive systems. In Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems, pp. 488–493, 1993. 2 [^21]: D. Maloney, G. Freeman, and D. Y. Wohn. "talking without a voice" understanding non-verbal communication in social virtual reality. Proceedings of the ACM on Human-Computer Interaction, 4(CSCW2):1–25, 2020. 5 [^22]: M. Mangalam, S. Oruganti, G. Buckingham, and C. W. Borst. Enhancing hand-object interactions in virtual reality for precision manual tasks. Virtual Reality, 28(4):166, 2024. 4 [^23]: A. Mc Kittrick, M. R. Desselle, A. Padilha Lanari Bo, B. Zhang, S. Laracy, and G. Tornatore. Patient Experience in Adjunct Controller-Free Hand Tracking Virtual Reality Tasks for Upper-Limb Occupational Therapy 《康复》杂志，患者体验版，第10卷：23743735231211983页，2023年。doi: 10.1177/23743735231211983 1 [^24]: C. Mizera, T. Delrieu, V. Weistroffer, C. Andriot, A. Decatoire, and J.-P. Gazeau. Evaluation of hand-tracking systems in teleoperation and virtual dexterous manipulation. IEEE Sensors Journal, 20(3):1642–1655, 2019. [^25]: C. Mizera, T. Delrieu, V. Weistroffer, C. Andriot, A. Decatoire, and J.-P. Gazeau. Evaluation of Hand-Tracking Systems in Teleoperation and Virtual Dexterous Manipulation. IEEE Sensors Journal, 20(3):1642–1655, Feb. 2020. Conference Name: IEEE Sensors Journal. doi: 10.1109/JSEN.2019.2947612 1 [^26]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of the IEEE international conference on computer vision, pp. 1154–1163, 2017. 2 [^27]: D. C. Niehorster, L. Li, and M. Lappe. The accuracy and precision of position and orientation tracking in the htc vive virtual reality system for scientific research. i-Perception, 8(3):2041669517708205, 2017. 2, 5 [^28]: M. K. Pan and G. Niemeyer. Catching a real ball in virtual reality. In Proceedings - IEEE Virtual Reality, pp. 269–270. IEEE Computer Society Apr. 2017. doi: 10.1109/VR.2017.7892280 1 [^29]: Y. Sato, Y. Kobayashi, and H. Koike. Fast tracking of hands and fingertips in infrared images for augmented desk interface. In Proceedings fourth IEEE International Conference on Automatic Face and Gesture Recognition (Cat. No. 000580), pp. 462–467. IEEE, 2000. [^30]: G. Schreiber, A. Stemmer, and R. Bischoff. The fast research interface for the kuka lightweight robot. In Proc. IEEE Int. Conf. Robotics and Auto., pp. 15–21, 2010. 3 [^31]: E. Theodoridou, L. Cinque, F. Mignosi, G. Placidi, M. Polsinelli, J. M. R. Tavares, and M. Spezialetti. Hand tracking and gesture recognition by multiple contactless sensors: A survey. IEEE Transactions on Human-Machine Systems, 53(1):35–43, 2022. 2 [^32]: T. Waltemate, I. Senna, F. Hülsmann, M. Rohde, S. Kopp, M. Ernst, and M. Botsch. The impact of latency on perceptual judgments and motor performance in closed-loop interaction in virtual reality. In Proceedings of the 22nd ACM conference on virtual reality software and technology, pp. 27–35, 2016. 1, 2 [^33]: M. Warburton, M. Mon-Williams, F. Mushtaq, and J. R. Morehead. Measuring motion-to-photon latency for sensorimotor experiments with virtual reality systems. Behavior research methods, 55(7):3658–3678, 2023. 5, 6, 8