{
  "paper_id": "c5b3072bf2ec996428269021884b9d83",
  "paper_title": "UmeTrack: Unified multi-view end-to-end hand tracking for VR",
  "paper_authors": [
    "Shangchen Han",
    "Po-Chen Wu",
    "Yubo Zhang",
    "Beibei Liu",
    "Linguang Zhang",
    "Zheng Wang",
    "Weiguang Si",
    "Peizhao Zhang",
    "Yujun Cai",
    "Tomas Hodan",
    "Randi Cabezas",
    "Luan Tran",
    "Muzaffer Akbay",
    "Tsz-Ho Yu",
    "Cem Keskin",
    "Robert Wang"
  ],
  "publication_date": "2022年12月6日–9日",
  "publication_venue": "SIGGRAPH Asia 2022 Conference Papers (SA '22 Conference Papers), Daegu, Republic of Korea",
  "abstract": "世界空间中三维手部姿态的实时追踪是一项具有挑战性的问题，并在VR交互中发挥重要作用。现有工作要么只能生成根节点相对的三维姿态，要么依赖热图生成、运动学优化等多个阶段来获得三维姿态，且通常未能处理VR场景中广角FOV相机的多视角追踪问题。本文提出一个统一的端到端可微框架，用于多视角、多帧手部追踪，可直接预测世界空间中的三维手部姿态。作者通过将框架扩展到抖动抑制和捏合预测等下游任务，展示了端到端可微性的优势。为验证模型有效性，论文还提出了一个新的大规模第一视角手部姿态数据集，包含真实数据和合成数据。实验表明，在该数据集上训练的系统能够处理多种具有挑战性的交互动作，并已成功应用于实时VR应用。\n",
  "keywords": [
    "动作捕捉",
    "手部追踪",
    "虚拟现实"
  ],
  "paper_institutions": [
    "Meta Reality Labs, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:14.833730Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向VR中世界空间绝对三维手部姿态的实时追踪问题，现有方法通常依赖热图或对应点预测加运动学优化的多阶段流水线，或只能输出根节点相对姿态，并且缺少统一整合广角鱼眼相机、多视角融合与时序融合的架构。本文提出UmeTrack这一端到端可微框架：先通过透视裁剪为每只手生成保留相机内外参的虚拟透视相机，以校正鱼眼畸变并提供三维几何；核心三维特征机制为 $z_i^{3d}=\\mathrm{FTL}(z_i^I\\mid T_{i,1}K_i^{-1})$，即将图像特征用虚拟相机内参反投影到三维空间并变换到参考相机坐标，再由多视角融合模块MVF合并任意数量视角，随后用循环时序模块TEM融合历史上下文、骨架编码器SE编码20个关节的位置与旋转轴信息，最后由Regressor-K直接预测20个关节角和6自由度根变换，未知骨架时则由需要多视角输入的Regressor-U额外预测手尺度。为支撑训练与评估，论文构建了大规模第一视角数据集，包含53名用户的1397条真实序列和1397条同动作合成序列，每条15秒、30fps，每帧来自头显上4台VGA广角单色相机，真实与合成数据各约839k帧；真实数据用36相机动捕系统和3mm标记手部追踪器获得高质量真值，合成数据用Unity渲染并为每序列和每帧改变背景与光照，从而兼顾真值可靠性与环境多样性，数据还覆盖单手、手手交互以及192条捏合序列中的38003个捏合标签。实现上采用PyTorch、96×96单色输入、与基线相同的图像编码器骨干、9块GPU、批大小144，先仅用姿态损失训练200轮，再启用全部损失训练200轮；4张图像推理在NVIDIA GTX 2080 Super上约10ms，相同分辨率和骨干确保了与Han等多阶段方法的公平比较，真实测试集用于报告指标，真实加合成联合训练则同时利用合成数据的环境鲁棒性和真实数据的测试精度。评估采用MPJPE衡量三维关键点误差、MPJPA衡量追踪抖动，并用精确率和召回率评估捏合检测；消融显示移除FTL后MPJPE恶化至49.8mm，完整模型加入时序损失后MPJPE仅由9.3mm变为9.4mm，但MPJPA从3.52降至2.61，且优于调到相近抖动水平的One-Euro后处理；与多阶段基线相比，已知骨架时单手MPJPE为9.4mm对9.9mm、手手交互为10.5mm对10.8mm，MPJPA分别为2.61对3.48和2.73对3.33，未知骨架时单手和手手MPJPE分别为11.2mm对12.9mm、12.0mm对13.6mm，加入捏合损失后捏合精确率和召回率均达97.3%，高于基线的96.5%和95.0%，这些结果支持统一可微架构、时序约束和下游任务联合优化的有效性。该系统已部署于多种实时VR应用，适用于头显广角相机下的单视角或多视角序列；主要约束是手手交互仍具挑战、直接回归在亚厘米精确定位上弱于多阶段方法，未来可通过双手联合回归、防穿透等交互损失，以及将热图回归和数值优化作为可微组件纳入训练来改进。\n\n### 关键要点\n\n- UmeTrack是一个端到端可微的多视角、多帧手部追踪框架，可直接输出世界空间中的绝对三维手部姿态，而不是仅输出根节点相对姿态。\n- 透视裁剪会在原始相机位置生成虚拟透视相机，使其z轴指向手部ROI中心，从而保留相机几何、校正鱼眼畸变，并支持尺度和绝对姿态预测。\n- FTL将二维图像特征按虚拟相机内参反投影到三维空间，再变换到统一参考相机空间；MVF随后融合不同视角，使后续模块无需区分输入视角数量。\n- 时序模块是带隐藏状态的循环网络，用于学习时间一致性；在纸张遮挡或手手严重遮挡案例中，它能利用历史上下文维持合理姿态。\n- 已知骨架时，骨架编码器将20个关节的三维位置和旋转轴编码为120维特征，Regressor-K输出关节角和根变换；未知骨架时，Regressor-U从多视角数据预测额外手尺度。\n- 训练损失包括姿态损失、惩罚关节角与根变换加速度的时序损失，以及基于拇指和食指指尖距离的捏合损失，阈值分别设为0.01米和0.02米。\n- 新数据集包含1397条真实序列和1397条合成序列，来自53名用户；真实数据由36相机动捕系统和标记追踪器生成真值，合成数据提供更丰富的背景和光照变化。\n- 真实数据每序列15秒、30fps，每帧含4台广角单色VGA相机图像；协议分为单手运动和手手交互，并包含38003个人工捏合标签。\n- 消融实验中，移除FTL后MPJPE为49.8mm，移除骨架编码器后为13.4mm；完整模型使用时序损失后MPJPA从3.51附近降至2.61，且精度代价很小。\n- 与Han等多阶段VR手部追踪系统相比，UmeTrack在已知和未知骨架设置下的MPJPE与MPJPA整体更优，其中未知骨架单手MPJPE为11.2mm对12.9mm。\n- 加入捏合损失后，捏合检测精确率和召回率均达到97.3%，超过多阶段基线的96.5%精确率和95.0%召回率，但姿态MPJPE会有轻微下降。\n- 论文指出手手交互和精确定位仍是限制，未来可考虑双手联合回归、防穿透损失，以及融合热图回归和可微数值优化。"
}