{
  "paper_id": "95310f26b492dea30838bf6768729f86",
  "paper_title": "MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality",
  "paper_authors": [
    "Shangchen Han",
    "Beibei Liu",
    "Randi Cabezas",
    "Christopher D. Twigg",
    "Peizhao Zhang",
    "Jeff Petkau",
    "Tsz-Ho Yu",
    "Chun-Jung Tai",
    "Muzaffer Akbay",
    "Zheng Wang",
    "Asaf Nitzan",
    "Gang Dong",
    "Yuting Ye",
    "Lingling Tao",
    "Chengde Wan",
    "Robert Wang"
  ],
  "publication_date": "2020-07",
  "publication_venue": "ACM Transactions on Graphics, Vol. 39, No. 4, Article 87",
  "abstract": "我们提出一套用于驱动虚拟与增强现实体验的实时手部追踪系统。该系统使用四个鱼眼单色相机，能够在较大工作空间内为多样化用户生成精确且低抖动的三维手部运动。系统通过用于手部检测和手部关键点位置估计的神经网络实现：手部检测网络可鲁棒处理多种真实环境，关键点估计网络利用追踪历史生成空间与时间一致的姿态。我们还设计了可扩展的半自动机制，结合人工标注与自动跟踪采集大规模、多样化真值数据，并引入检测-by-tracking方法，在提升平滑度的同时降低计算成本。优化后的系统在PC上以60Hz运行，在移动处理器上以30Hz运行。这些贡献形成了实用的用户手部捕捉系统，并作为Oculus Quest VR头显的默认功能，为输入和社交在场感提供支持。\n",
  "keywords": [
    "动作捕捉",
    "手部追踪",
    "虚拟现实"
  ],
  "paper_institutions": [
    "Facebook Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:30.152296Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向VR/AR中无需手持控制器、低摩擦手部输入的实际需求。已有RGB方法多逐帧回归关键点或重建姿态形状，单目存在尺度模糊，多视角与跨帧一致性不足；深度方案则带来功耗、体积和宽视场主动照明困难，同时手部自遮挡使三维人工标注昂贵且不一致。为此，作者构建了一套从相机配置到骨架网格输出的完整实时系统：四个VGA同步全局快门单色鱼眼相机安装于头显，宽、高、对角视场分别为150°、120°、175°，中央重叠立体区保证符合人体工学的交互精度，侧边单目区扩大工作空间但精度降低。DetNet直接回归左右手中心、半径和置信度；当手已被跟踪时，系统以检测-by-tracking为核心机制，用 θ̂(t)=2θ(t−1)−θ(t−2) 从两帧历史外推姿态并投影生成各视角检测框，DetNet只需轮流在一个视角运行，从而降低计算并减少框抖动。KeyNet把96×96裁剪图与63维外推关键点特征融合，输出21个关键点的2D热力图和1D相对距离热力图；相对距离针对鱼眼等距投影设计，可避免边缘裁剪图中正交深度的歧义。关键点随后通过Levenberg-Marquardt优化拟合26自由度骨架和线性蒙皮网格，目标包含2D重投影、相对距离和时序平滑项，并在立体区用多帧多视角约束联合标定全局手尺度。为解决真值瓶颈，训练数据采用可移动的六单色相机加一深度相机装置：深度跟踪提供准确三维标签并投影到时间、空间同步的单色视角，同时保留单色视角中的遮挡挑战；检测数据则直接来自目标头显，由人工标注少量起始框后用KeyNet和跟踪管线传播，兼顾环境多样性与标注效率。DetNet使用约260万张图像、KeyNet使用约200万个样本，两者分开训练并使用强度、几何、边界擦除、关键点噪声和置零等增强。内部评估采用亚毫米标记系统而非训练用深度跟踪器以避免标注偏差，包含手指、手手、慢速、快速运动四类序列；指标使用MKPE、MKA以及检测精确率和召回率。结果表明完整KeyNet在立体、单目区的MKPE为11.0、15.7 mm，MKA为2.96、3.72，在精度与KeyNet-S相近的同时显著降低抖动；关键点噪声增强将KeyNet-N的17.6、29.7 mm改善到11.0、15.7 mm，自动尺度标定的11.4、15.6 mm接近扫描手模；单视角轮询加跟踪的检测精确率、召回率约为0.98至1.00，系统在PC端达到60Hz、移动端达到30Hz，并已用于Oculus Quest的输入与社交在场。在STB、Dexter+Object和EgoDexter上，RGB转单色后的测试还显示其对常见姿态和自由手部运动具有泛化能力，D+O和ED在不使用深度的方法中达到先进水平，但严重手物遮挡、稀疏标签和非自我中心少见姿态会造成失败。未来工作应增加少见视角采样、联合推理双手与手持物体，并改进仅依赖单一尺度参数的手形个性化；现实约束包括单目侧边精度下降、严重自遮挡或手手、手物遮挡、约5秒标定时间和移动端算力预算。\n\n### 关键要点\n\n- 系统硬件为四个VGA分辨率、同步、全局快门的单色鱼眼相机；单相机视场角为宽150°、高120°、对角175°，中央多相机重叠区用于高精度立体跟踪，侧边单相机区以精度下降为代价扩大工作范围。\n- DetNet是受轻量单次检测器启发的CNN，因每帧最多出现两只手而直接回归左右手的二维中心、半径和置信度，并以置信度0.5作为生成检测框的阈值。\n- 当已有跟踪结果时，系统采用检测-by-tracking：由前两帧姿态按 θ̂(t)=2θ(t−1)−θ(t−2) 外推当前姿态，投影21个关键点生成包围圆；DetNet只需在四个视角间轮流检测一个视角，并可在两个时间步内重新捕获手。\n- KeyNet输入96×96单色裁剪图和63维外推关键点特征，输出21个关键点的2D位置热力图及1D相对距离热力图；右手通过对输入和输出沿x轴镜像处理。\n- 对鱼眼等距投影而言，预测与图像平面正交的深度会在边缘裁剪图中产生歧义，因此网络预测关键点到相机中心的相对距离，使相同裁剪外观对应相同监督值。\n- 三维姿态用Levenberg-Marquardt求解，目标综合2D重投影误差、相对距离误差和与上一帧的时序误差；手模型含26个自由度、21个关键点，并通过线性混合蒙皮输出网格。\n- 手尺度在立体可见区通过多帧、多视角约束联合优化姿态与全局尺度，过程约5秒；使用通用手模会显著降低精度，单目区对尺度误差尤其敏感。\n- 训练数据通过可移动的六台单色相机加一台深度相机采集：深度跟踪结果投影到已标定并同步的单色视角生成关键点标签，检测框则在真实头显图像上由人工初始化后经跟踪管线半自动传播。\n- DetNet训练使用约260万张图像，KeyNet使用约200万个样本；训练中加入强度缩放、几何变换、边界擦除、关键点高斯噪声和关键点分支置零等增强，以防网络只复制历史特征。\n- 内部评估使用不同于训练标注机制的亚毫米精度标记系统，包含手指运动、手手交互、慢速和快速运动序列；指标为三维平均关键点位置误差MKPE和平均关键点加速度MKA。\n- 完整KeyNet在立体、单目区的MKPE约为11.0、15.7 mm，MKA约为2.96、3.72，相较无历史特征的KeyNet-S明显降低抖动；检测-by-tracking在单视角轮询下仍达到约0.98至1.00的精确率和召回率。\n- 系统在搭载NVIDIA GTX 1080的PC上以60Hz运行，含VR渲染的总延迟约60ms；快速模型在骁龙835与Hexagon v62 DSP上以30Hz运行，严重手手或手物遮挡、少见自我中心视角以及单目侧边区域是主要失败或精度下降场景。"
}