{
  "paper_id": "8e3fb018416c486009e1abac489cd94f",
  "paper_title": "Look Ma, no markers: holistic performance capture without the hassle",
  "paper_authors": [
    "Charlie Hewitt",
    "Fatemeh Saleh",
    "Sadegh Aliakbarian",
    "Lohit Petikam",
    "Shideh Rezaeifar",
    "Louis Florentin",
    "Zafiirah Hosenie",
    "Thomas J. Cashman",
    "Julien Valentin",
    "Darren Cosker",
    "Tadas Baltrušaitis"
  ],
  "publication_date": "",
  "publication_venue": "ACM Transactions on Graphics",
  "abstract": "本文解决同时对面部、身体和手部进行高精度整体动作捕捉的问题。影视和游戏制作中的动作捕捉技术通常分别只捕捉面部、身体或手部，涉及复杂昂贵的硬件并需要熟练操作员进行大量人工干预；基于机器学习的方法虽试图克服这些问题，但往往只支持单相机、只处理单一身体部位、不能给出精确的世界空间结果，也很少能泛化到特定情境之外。作者提出首个无需标记、无需标定、人工干预或定制硬件即可高质量重建包括眼睛和舌头在内的完整人体的技术。该方法利用仅用合成数据训练的机器学习模型与强大的人体形状和运动参数模型，通过神经密集地标、姿态和形状预测加优化拟合，从任意相机装置获得稳定的世界空间结果，并支持多样捕捉环境和服装。作者在多个身体、面部和手部重建基准上评估，展示了在多样化数据集上泛化的先进结果。\n",
  "keywords": [
    "计算机视觉",
    "动作捕捉",
    "形状建模",
    "渲染",
    "三维重建",
    "身体姿态"
  ],
  "paper_institutions": [
    "Microsoft"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:00.000385Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对影视、游戏生产中高精度整体动作捕捉成本高、身体/面部/手部割裂、依赖标记、标定、专用硬件和人工清理，而现有纯机器学习方法又常局限于单相机、单部位、世界空间不精确且难适配任意相机装置的问题，本文提出首个无标记、无需标定或人工干预、覆盖眼睛注视与舌头运动的完整人体高质量重建方法。其核心是统一参数化人体模型SOMA与混合推断：SOMA基于SMPL-H和Wood等人的面部模型，包含身体/面部/手部形状、表情、54个关节姿态和12个舌头混合变形；DNN仅在合成数据集SynthBody、SynthFace、SynthHand上训练，各约10万张图像，合成数据可避免隐私问题和人工标注噪声、显式控制人口与外观多样性，并使2D地标直接对应同一模型的三维网格顶点，从而验证跨场景泛化能力。推理时身体、面部、手部三个专用HRNet分别预测密集概率地标及姿态/形状初始化，再用L-BFGS拟合SOMA；核心数据项为 E_ldmks = Σ_{i,j,k} ||x_ijk−μ_ijk||²/(2σ_ijk²)，其中预测不确定性σ让可见地标或最佳视角主导、遮挡区域更依赖先验，多视角下还用头部三维模板与面部地标通过PnP估计相机外参，并结合形状、表情、时序、碰撞、相机和Real-NVP神经姿态先验。实验完全不使用各基准训练集，在FreiHAND、NoW、EHF、SSP-3D和Human3.6M上以PA-MPVPE、PA-MPJPE、F-score、面部扫描误差、MPVPE、PVE-T-SC和MPJPE评估；手部达到可比结果且为唯一未用FreiHAND训练者，NoW单视图测试中位/平均误差为0.89/1.11mm、多视图为0.70/0.88mm，EHF全身MPVPE为51.0mm、PA-MPVPE为34.2mm，加入身高测量消除尺度模糊后未骨盆对齐全身误差可降至43.1mm，SSP-3D为11.8mm，Human3.6M多视图MPJPE为27.9mm，支持了密集地标、直接回归初始化与模型拟合相结合在精度、鲁棒性和任意相机适配性上的作用。该方法适用于普通相机、单/多视角、不同服装和环境的生产级捕捉，可降低成本并减少艺术家工作；主要约束包括单目尺度模糊、低置信度帧仅邻帧插值、互锁手或错误子ROI导致失败、舌头混合变形难以覆盖极端形状、宽松衣物和头发模拟缺失以及先验调参成本，未来可探索机器学习迭代优化、补充罕见姿态和资产、联合优化随时间移动的相机。\n\n### 关键要点\n\n- 系统从单目图像输出身体形状与姿态、面部形状与表情、手部姿态、舌头关节运动和眼睛注视，并可扩展到多视角世界空间重建。\n- SOMA网格有12943个顶点、12726个多边形和54个关节，参数包括β∈R300、γ∈R256、ζ∈R9、ψ∈R224和θ∈R54×3，舌头由12个混合变形控制。\n- 训练只使用三个合成数据集：SynthBody、SynthFace、SynthHand各约10万图；前两者为512×512，SynthHand为256×256，并带地标、分割、关节、模型参数或相机参数标注。\n- 身体、面部、手部使用三个独立DNN，因为全身ROI分辨率不足以保留面部和手部细节；三者分别预测1428、744和每只手141个密集地标。\n- 每个地标被建模为圆形高斯 L_i={μ_i,σ_i}，训练用高斯负对数似然，优化时用σ对重投影误差加权，以处理自遮挡并利用多视角中的可见视角。\n- 模型拟合从DNN姿态/形状初始化开始，经PnP全局初始化、姿态表情形状优化、相机外参或焦距细化三阶段，使用L-BFGS最小化数据项与多种正则项。\n- 身体和手部姿态先验采用Real-NVP归一化流，可进行精确似然评估；E_pose=-α_b log p_qb(q_b)-α_h log p_qh(q_h)。\n- 所有实验使用同一组仅在合成数据上训练的DNN，不使用FreiHAND、NoW、Human3.6M等基准的训练集，因此结果主要衡量跨数据集泛化。\n- FreiHAND上本文PA-MPVPE为8.1、PA-MPJPE为8.6、5/10mm F-score为0.653/0.967，是表中唯一未在FreiHAND训练集上训练的方法。\n- NoW测试集单视图面部中位/平均误差为0.89/1.11mm，多视图为0.70/0.88mm；EHF全身MPVPE为51.0mm、PA-MPVPE为34.2mm，SSP-3D PVE-T-SC为11.8mm。\n- Human3.6M多视图MPJPE为27.9mm，显著优于其他未在该数据集训练的多视图方法；相机越多结果越好但收益递减，第二视角对尺度提示尤其明显。\n- 局限包括低置信度帧依赖相邻帧插值、互锁手和差ROI会失败、舌头地标可能漏检或与厚唇混淆、极端舌形超出12个混合变形，且当前不能联合优化随时间移动的无标定相机。"
}