{
  "paper_id": "b249b3cc6830979b230f1d2ce354e027",
  "paper_title": "FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration",
  "paper_authors": [
    "Yu Rong",
    "Takaaki Shiratori",
    "Hanbyul Joo"
  ],
  "publication_date": "",
  "publication_venue": "ICCV Workshops 2021",
  "abstract": "尽管人体动作的细微差别通常由身体运动和手势共同表达，现有单目动作捕捉方法大多只关注身体而忽略手部，或只捕捉手部而不考虑身体。本文提出 FrankMocap，一个能够从野外单目输入估计三维手部和身体运动的系统，速度达到 9.5 fps，且准确性优于先前工作。系统利用全身参数模型 SMPL-X 的手部部分构建先进的单目三维手部动作捕捉方法，并将手部输出高效集成到单目身体动作捕捉输出中，在统一参数模型结构内生成全身动作结果。作者在公开基准上展示了手部系统的先进性能，并在包括实时演示在内的多种挑战性真实场景中展示了高质量的全身动作捕捉结果。\n",
  "keywords": [
    "单目动作捕捉",
    "三维手部姿态估计",
    "三维人体姿态估计",
    "SMPL-X",
    "FrankMocap",
    "参数化人体模型",
    "回归与集成"
  ],
  "paper_institutions": [
    "The Chinese University of Hong Kong",
    "Facebook Reality Labs",
    "Facebook AI Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:43.763678Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有单目动作捕捉往往割裂身体与手部、而少数全身方法又依赖耗时优化的问题，论文提出 FrankMocap，其核心是在统一 SMPL-X 表示下分别训练身体与手部回归专家，再用兼容参数合成全身结果；SMPL-X 的生成机制可写为 V_w=W(φ_w,θ_w,β_w)，其中姿态参数由 21 个身体关节和左右手各 15 个关节组成。手部模块把 SMPL-X 手部裁剪为含 778 个顶点、21 个关节的独立模型，以 ResNet-50 和全连接层从裁剪手部图像回归全局朝向、45 维手势、10 维形状和弱透视相机参数；身体模块将 SPIN 中的 SMPL 替换为 SMPL-X 并微调，输出躯干和四肢参数。训练整合 FreiHAND、HO-3D、MTC、STB、RHD 等多类公开数据，并通过关节尺度统一、顺序重排、随机变换与合成运动模糊增强，解决受控三维数据过拟合和野外视频低分辨率、模糊问题；MPII+NZSL 仅用于测试以验证泛化能力。评估采用 STB/RHD 阈值 20–50mm 的 3D AUC 和 MPII+NZSL 阈值 0–30px 的 2D AUC，完整模型取得 STB 0.992、RHD 0.934、MPII+NZSL 0.655，支持了兼容参数化、多数据混合、形状估计和模糊增强的有效性；复制粘贴集成在单张 RTX 2080 上达到约 9.5 fps，离线复制粘贴为 4.7 fps，20 次迭代的优化集成虽降至 0.95 fps 但可改善腕部对齐，而 SMPLify-X 和 MTC 仅约 0.01 和 0.1 fps。该系统适用于普通 RGB 摄像头实时演示、互联网视频数字化、人机交互、社会智能与机器人等场景，当前约束是双手过于接近时手部估计易出错且必须依赖身体或手部边界框，未来可扩展到多人互动场景并减轻检测依赖。\n\n### 关键要点\n\n- FrankMocap 以单人单目 RGB 图像或视频为输入，输出 SMPL-X 的全局朝向、身体与左右手姿态、形状和相机参数，从而在同一网格骨架中表示全身动作。\n- 手部模型直接取自 SMPL-X 手部，包含 778 个顶点和由腕关节、15 个手指关节及 5 个指尖构成的 21 个三维关节，形状参数与全身模型共享同一参数空间。\n- 手部网络采用 ResNet-50 编码器和全连接解码器，输入 224×224 手部裁剪图，输出 61 维向量，其中相机 3 维、全局旋转 3 维、手势 45 维、形状 10 维。\n- 左手在训练和测试时通过垂直翻转按右手方式处理，预测结果再翻转回左手空间，从而只需主要训练右手模型。\n- 手部训练损失包括姿态角、3D 关键点、2D 关键点和形状正则项，权重分别为 10、100、10 和 0.1，其中 2D 损失用于学习弱透视相机参数。\n- 为提升野外泛化，训练时统一缩放三维关键点、重排关节顺序，并使用随机缩放、平移、旋转、颜色抖动及合成运动模糊增强。\n- 身体模块从 SPIN 预训练模型出发，将 SMPL 替换为中性 SMPL-X 后在 Human3.6M 和 COCO 等数据上微调，训练时忽略不兼容的 SMPL 形状真值，只复用姿态和 2D 关键点标注。\n- 复制粘贴集成保留身体模块的全局朝向、形状和相机参数，拷入左右手姿态，并通过 Γ 函数将手部全局腕部朝向转换为 SMPL-X 骨架中的局部腕关节旋转。\n- 优化集成以复制粘贴结果初始化，联合最小化 OpenPose 二维关键点重投影误差与姿态形状先验，实验中仅迭代 20 次；视频序列再用 5 帧核 [0.1,0.2,0.5,0.2,0.1] 平滑。\n- 手部训练使用 FreiHAND、HO-3D、MTC、STB、RHD 等数据集，FreiHAND 和 HO-3D 分别按 80% 样本或序列训练、20% 验证，MPII+NZSL 不参与训练只用于野外测试。\n- 在 STB、RHD 上以 20–50mm 阈值计算 3D AUC，在 MPII+NZSL 上以 0–30px 阈值计算 2D AUC，完整模型分别取得 0.992、0.934 和 0.655，在 RHD 和 MPII+NZSL 上优于先前方法。\n- 系统在双手距离过近时手部姿态容易出错，并且需要身体和手部边界框；作者建议未来向多人互动，如握手等场景扩展。"
}