{
  "paper_id": "9cd48073b13f0675433426afc33199ea",
  "paper_title": "Robotic Characterization of Markerless Hand-Tracking on Meta Quest Pro and Quest 3 Virtual Reality Headsets",
  "paper_authors": [
    "Eric Godden",
    "William Steedman",
    "Matthew K.X.J. Pan"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Visualization and Computer Graphics",
  "abstract": "无标记手部追踪在商用虚拟现实和混合现实头显上日益普及，可提升交互自然性与虚拟环境沉浸感，但现有商用头显的追踪性能仍缺乏系统检验。本文提出一种利用机械臂测量位置精度、抖动和延迟的评估方法，为无标记手部追踪提供标准化表征框架，并将其用于评测Meta Quest Pro和Quest 3两款近期混合现实设备。结果表明，手部与头显的距离、手部旋转以及所选追踪关节都会影响追踪性能；两款头显在以指关节为追踪点时，误差和抖动均低于以指尖为追踪点的条件。位置精度方面，Quest Pro在最佳条件下平均误差为1.22 cm，优于Quest 3的1.73 cm；抖动方面结果相反，Quest Pro为1.77 cm，Quest 3为1.11 cm。两款设备的延迟均高度可变，Quest Pro为15.8–229.2 ms，Quest 3为14.4–220.5 ms。该工作为内嵌于头显的无标记手部追踪系统提供了高度系统化、可重复的测试框架。\n",
  "keywords": [
    "手部追踪",
    "机器人学",
    "追踪性能",
    "表征",
    "虚拟现实",
    "头戴式显示器"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:29.223329Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对商用虚拟现实和混合现实头显的无标记手部追踪已用于康复、远程操作、帕金森震颤评估等场景，但性能受计算机视觉处理、手部自遮挡、运动预测和延迟影响，而现有评测多依赖真人、空间与姿态条件有限且常只报告单一延迟，本文提出机器人驱动的标准化表征框架。该框架以水平安装的KUKA LBR iiwa 7 R800机械臂握持3D打印PLA标准手模，通过1000 Hz FRI进行位置控制；手模在解剖关节背侧、掌侧及指尖布置6.4 mm反光标记，由具有亚毫米误差和3.6 ms相机延迟的Vicon Vero系统提供真值，并通过Protocol Buffers over UDP与Unity 3D虚拟场景同步。选择机械臂是为了获得可重复轨迹和精确真值，选择Quest Pro与Quest 3是因为二者具有市场代表性并具备机载无标记追踪能力，90 Hz刷新率、USB 3.0有线连接和低复杂度场景则用于控制传输与渲染干扰。框架包含静态、动态和运动到光子三项测试：静态测试在3个垂直层、7个位置和7种手部旋转共147个唯一点比较食指尖与指关节，到位1.5 s后采集50个样本，用平均欧氏误差和样本间RMS抖动评估，核心公式为RMS = sqrt[(1/n) Σ_{i=1}^{n-1}(Δm_i)^2]；动态测试在12条0.3 m长、0.2 m/s恒速轨迹上用中位数绝对偏差方法检测运动起始并对齐轨迹，给出冷启动延迟、运动预测预热时长和恒速延迟；运动到光子测试利用机器人编码器触发LED、头显识别同一中点时使画面变紫，并以239.69 fps高速摄像测量端到端延迟。结果显示追踪性能随距头显远近、手部旋转和所选关节变化，外围位置最差，指关节因较少发生自遮挡而比指尖更可靠；最佳指关节条件下Quest Pro位置误差1.22 cm优于Quest 3的1.73 cm，Quest 3抖动1.11 cm低于Quest Pro表2中的1.70 cm（摘要和结论概括为1.77 cm）；冷启动延迟分别为229.2 ms和220.5 ms，恒速延迟为15.84 ms和14.44 ms，预热时长约661 ms，运动到光子延迟为33.20 ms和38.33 ms，多数动态指标在两设备间无显著差异。这些结果支持机器人可重复性、多指标延迟分析和模块化扩展三项创新，并说明突然启动可能被用户察觉，而稳态运动预测可显著改善表现。在高精度抓取、医疗评估、社交非语言交流和机器人远程操作等真实场景中，需要考虑视野、自遮挡、加速度和延迟波动；研究约束包括仅测试头显左侧和视线以下有限空间、使用单一静态手模、只比较单关节点、USB有线与低复杂度场景，以及机械臂关节速度和遮挡限制。未来可扩大测试体积、采用可关节活动手模和多种手型、增加手指角度等宏观特征与复杂手势，并扩展到其他商用头显，以提升结果泛化能力。\n\n### 关键要点\n\n- 方法核心是用水平安装在支架上的KUKA LBR iiwa 7 R800机械臂代替真人，以1000 Hz FRI位置控制重复执行静止定位和预定轨迹，保证跨设备、跨试验条件一致。\n- 真值由Vicon Vero光学动捕提供，3D打印PLA手模在解剖关节背侧、掌侧及指尖布置6.4 mm反光球，关节位置取两侧标记中点；系统标称亚毫米误差和3.6 ms相机延迟。\n- 动捕与VR坐标系通过30个同名解剖点配准，用最小二乘和奇异值分解求齐次变换矩阵；子系统通过Protocol Buffers over UDP和以太网传输序列化数据。\n- 被测设备为Meta Quest Pro和Meta Quest 3，前者采用Snapdragon XR2+ Gen 1、12 GB RAM和5颗摄像头，后者采用Snapdragon XR2 Gen 2、8 GB RAM、4颗摄像头加深度传感器。\n- Unity 2022.3渲染低复杂度中性场景，头显通过USB 3.0有线连接笔记本，手部姿态经XR Interaction Toolkit以约90 Hz传输，90 Hz是两款设备共同支持的最高刷新率。\n- 静态测试覆盖3个垂直层、每层7个位置和7种手部旋转，共147个唯一点，比较食指尖与食指掌指关节；每点等待1.5 s后采集50个同步样本，计算平均欧氏误差和样本间RMS抖动。\n- 静态结果表明Quest Pro位置精度更高，指关节条件平均误差为1.22±0.90 cm，Quest 3为1.73±0.72 cm；Quest 3抖动更低，指关节为1.11±0.20 cm，Quest Pro为1.70±0.41 cm。\n- 指关节在两款头显上均比指尖抖动更低且通常更可靠，原因是指尖更容易发生手部自遮挡；横向最远的5号位置常处于视野盲区，性能最差，较小横向偏移并带一定垂直偏移的区域跟踪较好。\n- 动态测试在眼下0.3、0.4、0.5 m三个高度和0.3、0.45 m两个前向距离定义12条长0.3 m、稳态0.2 m/s的左右向轨迹，并用中位数绝对偏差方法检测运动起始。\n- Quest Pro与Quest 3的冷启动延迟分别为229.2±146.3 ms和220.5±101.4 ms，恒速延迟为15.84±9.69 ms和14.44±9.50 ms，运动预测预热时长为660.9±150.5 ms和662.0±109.5 ms，且均无显著设备差异。\n- 运动到光子测试以机器人关节编码器经过中点触发腕部LED，头显识别同一中点时全屏变紫，并用239.69 fps的iPhone视频逐帧计时；Quest Pro和Quest 3平均延迟分别为33.20±18.01 ms和38.33±31.29 ms，考虑一个标准差时可能超过50 ms辨别阈值。\n- 适用边界包括仅测试头显左侧和视线以下区域、单一刚性手模、单关节点、有线低复杂度场景以及机械臂工作空间和遮挡限制；未来可扩展测试空间、手型、可动手模、复杂手势和其他品牌头显。"
}