{
  "paper_id": "c29f3335772278a93e24ab966ccdd43e",
  "paper_title": "Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies",
  "paper_authors": [
    "Hanbyul Joo",
    "Tomas Simon",
    "Yaser Sheikh"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition",
  "abstract": "本文提出一种统一形变模型，用于在多个尺度上无标记地捕捉人体运动，包括面部表情、身体运动和手势。初始模型通过将人体各部位的局部模型拼接而成，称为“Frank”，它能够用一个无缝模型同时表达面部和手部等部位的全部运动。作者采集了一个人们穿着日常服装的数据集，并通过优化Frank模型创建“Adam”：这是一个与初始模型共享相同骨骼层次、但参数化更简单的校准模型。最后，论文展示了这些模型在多视角设置中进行整体运动跟踪的用途，可同时捕捉一组社交对象的大幅度身体运动以及细微的面部和手部运动。\n",
  "keywords": [
    "全身动作捕捉",
    "无标记动作捕捉",
    "三维形变模型",
    "Frank模型",
    "Adam模型",
    "面部表情",
    "手势",
    "多视角重建",
    "关键点检测",
    "社会交互"
  ],
  "paper_institutions": [
    "Carnegie Mellon University",
    "Facebook Reality Labs, Pittsburgh"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:37.801590Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决现有无标记捕捉系统通常只能针对身体、面部或手部单一尺度、难以同时理解完整社交信号的问题；相关研究中身体捕捉需要大工作空间，面部和手指捕捉则依赖近距离、小范围配置，且标记式系统存在穿戴繁琐、遮挡清理和妨碍自然交互等限制。作者提出统一生成式身体形变模型：首先构建Frank，将SMPL身体模型、FaceWarehouse面部模型和艺术家定义的手部刚性绑定模型合并到同一骨骼层次，同时保留各部位原生身份与运动参数，并用稀疏混合矩阵生成无缝网格，核心机制为 $V^U=C[V^B,V^F,V^{LH},V^{RH}]^T$，其中最终网格含18540个顶点。跟踪时利用多视角OpenPose身体、面部和手部二维检测三角化得到三维关键点，并额外训练包含大脚趾尖、小脚趾尖和脚掌的足部关键点检测器；同时使用RealityCapture生成多视角立体点云，通过关键点对应、点到平面ICP、接缝约束和形状姿态先验，最小化 $E=E_{keypoints}+E_{icp}+E_{seam}+E_{prior}$，并采用Ceres中的Levenberg-Marquardt分阶段优化。为刻画日常服装和头发，作者在Panoptic Studio采集70名受试者、每人5个不同姿态共350个网格，先沿顶点法向进行带Laplace-Beltrami正则的位移，再回归与检测标注一致的目标位置，最后在标准姿态下执行PCA建立Adam；Adam保持同一骨骼和18540个顶点，使用40个统一身份系数覆盖面部、手和身体，并保留FaceWarehouse的200维表情基，跟踪目标函数不再需要接缝项。选择Panoptic多视角系统是因为其大量VGA与HD相机能在同一社交场景中兼顾大范围身体运动和细小面部、手指运动，实验用140个VGA相机重建身体关键点、480个VGA相机服务足部、31个HD相机服务面部和手部及点云；在10秒序列、5个视角上以预测前景与真实剪影的交集占并集百分比作为指标，SMPL、Frank、Frank ICP和Adam ICP的平均准确率分别为84.79%、85.91%、87.68%和87.74%，支持了关节化手脸模型、ICP形状约束以及Adam简化统一参数化的有效性。定性实验覆盖多人社交互动、家具组装、大提琴和吉他演奏、打字以及人物交互，显示模型能自然恢复肢体、手指和表情的协同运动。主要约束包括依赖已标定多视角相机、遮挡或运动模糊会使关键点缺失、MVS点云噪声会造成错误对应、训练仅70人限制Adam表面细节、非正面面部精度下降，且Adam有时因训练点云腿部重建较差而生成过细腿部；未来可通过更大规模和更优化的采集系统提升服装、头发与表面细节表达，并服务于社交行为理解、人机交互和数字人动画等真实场景。\n\n### 关键要点\n\n- Frank将SMPL身体、FaceWarehouse面部和两个艺术家手部模型整合到单一骨骼层次中，所有参数可联合优化。\n- Frank的身体、面部和每只手网格分别有6890、11510和2068个顶点，经稀疏矩阵混合后形成18540个顶点的无缝网格。\n- 面部模型包含150个身份基和200个表情基，手部模型含16个关节，并通过骨骼缩放适应不同手指尺寸。\n- 三维关键点由多视角二维检测三角化得到，身体、面部和手部检测主要来自OpenPose及相应多视角方法。\n- 作者在约5000个COCO人物实例上标注每只脚3个关键点，并结合Panoptic多视角自举训练足部检测器。\n- Frank拟合同时使用三维关键点、MVS点云的点到平面ICP、接缝连续性约束和零均值形状姿态先验。\n- Adam由70名穿日常服装受试者的350个Frank重建网格构建，通过法向位移粗略补偿服装和头发几何。\n- Adam使用PCA形成覆盖全身的40维统一身份空间，保留面部表情基，并省去Frank所需的接缝约束。\n- 检测目标回归用L1正则、非负且权重和为1的稀疏顶点组合，使模型表面位置更符合关键点检测的关节定义。\n- 剪影重叠实验中Frank ICP和Adam ICP分别达到87.68%和87.74%，均高于仅用关键点的SMPL和Frank。\n- 方法适用于多视角社交互动、乐器演奏、打字和家具组装等场景，但在遮挡、模糊、点云噪声及训练数据不足时存在精度和形变伪影限制。"
}