{
  "paper_id": "8c7d17fcc1f46aa01f71f916277705bd",
  "paper_title": "MediaPipe Hands: On-device Real-time Hand Tracking",
  "paper_authors": [
    "Fan Zhang",
    "Valentin Bazarevsky",
    "Andrey Vakunov",
    "Andrei Tkachenka",
    "George Sung",
    "Chuo-Ling Chang",
    "Matthias Grundmann"
  ],
  "publication_date": "",
  "publication_venue": "CVPR Workshops 2020",
  "abstract": "本文提出一种面向AR/VR应用的实时端侧手部跟踪方案，仅使用单个RGB相机即可预测人体手部骨架。流水线包含两个模型：手掌检测器提供手部边界框，手部关键点模型据此预测手部骨架。该方案基于MediaPipe实现，MediaPipe是用于构建跨平台机器学习解决方案的框架。所提模型与流水线架构在移动GPU上展现出实时推理速度和较高预测质量，MediaPipe Hands已在 <https://mediapipe.dev> 开源。\n",
  "keywords": [
    "手部跟踪",
    "手掌检测",
    "手部关键点",
    "2.5D姿态估计",
    "MediaPipe",
    "移动GPU",
    "实时推理",
    "AR/VR",
    "RGB相机"
  ],
  "paper_institutions": [
    "Google Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:25.400210Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向AR/VR中自然交互与手势通信需求，针对以往视觉手部姿态估计常依赖深度传感器等专用硬件、或模型过重难以在普通移动设备实时运行的问题，本文提出MediaPipe Hands端侧RGB手部跟踪方案。相关研究涵盖深度图三维姿态、单RGB手部形状与姿态估计以及移动检测器，本文在此基础上以“手掌检测+裁剪区域关键点回归”两阶段流水线实现2.5D骨架预测；其核心机制为：当手部存在置信度 c_t≥阈值τ时，由上一帧21个关键点 L_{t-1} 经几何变换生成当前帧裁剪框 B_t=Crop(L_{t-1}) 并交给关键点模型，否则在整帧 I_t 上运行BlazePalm检测器 D(I_t) 重置跟踪，从而避免逐帧检测。手掌检测器采用类似BlazeFace的单发架构、类FPN编码器-解码器和focal loss，并以方形锚框检测刚性手掌；关键点模型共享特征提取器，输出21个(x,y,相对腕部深度)点、手部存在概率和左右手标签。数据上，6千张野外图像提供光照、地理和外观多样性，1万张室内手势图像覆盖各种物理姿态但仅来自30人，10万张由24骨骼、36混合变形和5种肤色纹理的商业三维手模在随机HDR光照与三个相机下渲染的合成图像提供姿态与深度监督；检测器只用野外数据，关键点模型使用全部数据，这种选择验证了真实多样性与合成深度、姿态覆盖具有互补性。实验以平均精度和按手掌尺寸归一化的MSE为指标：检测器消融中无解码器加交叉熵为86.22%，加入解码器为94.07%，解码器加focal loss为95.7%；仅真实、仅合成、混合数据的关键点MSE分别为16.1%、25.7%和13.4%，混合训练还减少帧间抖动。Light、Full、Heavy模型参数量分别为1、1.98、4.02M，Pixel 3耗时分别为6.6、16.1、36.9ms，Full在质量与速度间取得最佳平衡，Heavy提升很小却显著降速；系统通过TensorFlow Lite GPU和MediaPipe图计算在Android、iOS、Web和桌面部署。未来可扩大真实数据以增强泛化并扩展动态手势，适用于手势识别、AR特效和非接触交互，主要约束是单RGB输入下的遮挡与自遮挡、深度仅为相对腕部的2.5D、移动GPU算力以及置信度阈值触发的跟踪恢复。\n\n### 关键要点\n\n- 流水线由BlazePalm手掌检测器和手部关键点模型组成，检测器在完整RGB图像中给出手部裁剪框，关键点模型在裁剪图上回归21个2.5D关键点。\n- 选择检测手掌而非整只手，因为手掌或拳头近似刚体且区域更小，可降低铰接手指造成的检测难度，并改善握手等双手自遮挡场景下的非极大值抑制。\n- 检测器使用类FPN编码器-解码器增强小物体感知和场景上下文，并采用focal loss适应约20倍的手部尺度变化和大量锚框。\n- 手掌使用方形边界框建模，忽略其他宽高比，可将锚框数量减少3到5倍，从而降低移动检测计算量。\n- 实时视频中不逐帧运行检测器：当前帧裁剪框由上一帧关键点推导，只有首帧或手部存在、对齐置信度低于阈值时才重新检测。\n- 关键点模型有三个共享特征的输出：21个含x、y和相对腕部深度的关键点，手部存在概率，以及左、右手二分类结果。\n- 真实数据包括6千张野外图像和1万张室内手势图像；前者强调地理、光照和外观多样性，后者覆盖各种物理可能手势但仅采集30人且背景有限。\n- 合成数据包含10万张渲染图，来自具有24根骨骼、36个控制手指与掌厚的混合变形、5种肤色纹理的商业三维手模，并使用随机HDR光照和3个相机。\n- 手掌检测器仅用野外数据训练；关键点模型使用真实与合成全部数据，真实图标注21点，合成图使用投影三维关节作为真值，相对腕部深度只由合成图像监督。\n- 检测器消融平均精度从无解码器加交叉熵的86.22%提升到解码器加交叉熵的94.07%，再到解码器加focal loss的95.7%，证明上下文结构与损失设计有效。\n- 关键点模型在真实测试集上，仅真实、仅合成、真实合成混合训练的归一化MSE分别为16.1%、25.7%、13.4%，混合数据效果最好且视觉帧间抖动更少。\n- 方案基于MediaPipe的Calculator有向图和TensorFlow Lite GPU后端，可跨Android、iOS、Web与桌面部署，适用于手势识别和手部AR特效，但受单RGB遮挡、相对深度和移动算力约束。"
}