{
  "paper_id": "f2d51ab0920b7427b950742104504cae",
  "paper_title": "Monocular Total Capture: Posing Face, Body, and Hands in the Wild",
  "paper_authors": [
    "Donglai Xiang",
    "Hanbyul Joo",
    "Yaser Sheikh"
  ],
  "publication_date": "",
  "publication_venue": "2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出首个从单目视角输入同时捕获目标人物3D总运动（身体、面部与手指）的方法。给定一张图像或单目视频，该方法利用3D可变形网格模型重建身体、面部和手指的运动。我们采用一种称为3D部件方向场（POFs）的高效表示，在公共2D图像空间中编码所有身体部件的3D方向。POFs由全卷积网络与关节置信图一起预测。为训练网络，我们收集了一个新的3D人体运动数据集，在多视角系统中捕获40名受试者的多样化总身体运动。我们利用3D可变形人体模型，借助模型中的姿态和形状先验，从CNN输出重建总身体姿态。我们还提出一种基于纹理的跟踪方法，以获得时间连贯的运动捕获输出。我们进行了全面的定量评估，包括与现有的身体专用和手部专用方法的比较，以及相机视角和人体姿态变化的性能分析。最后，我们在各种具有挑战性的野外视频中展示了总身体运动捕获结果。",
  "keywords": [
    "单目总运动捕获",
    "3D人体姿态估计",
    "部件方向场 (POF)",
    "可变形人体模型",
    "手部姿态估计",
    "面部表情",
    "光度一致性跟踪",
    "野外场景"
  ],
  "paper_institutions": [
    "Carnegie Mellon University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:36.134112Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单目图像或视频重建人体3D运动面临根本性的深度歧义，而传统运动捕捉依赖多相机标记系统或多视角/深度相机，成本高昂且数据稀缺；此前基于学习的方法大多将身体与手部姿态估计视为独立领域，且因缺乏野外配对的图像与3D姿态数据而多局限于受控实验室环境。本文提出首个在野外场景（如YouTube视频）下从单目输入同时重建身体、面部、手指和脚部3D总运动的方法：核心机制是3D部件方向场（POF），即为每个连接相邻关节的刚性部件定义单位方向向量 P̂(m,n)=(Jn−Jm)/||Jn−Jm||，并以3通道热图 L(m,n)(x)=P̂(m,n)（当像素x属于该部件时，否则为0）的形式在2D图像空间编码3D方向，由全卷积网络与2D关节置信图联合预测；随后在统一优化框架中将Adam可变形人体模型拟合到CNN测量值，总目标函数 F=F^B+F^LH+F^RH+F^T+F^F+R^φ+R^σ 综合了身体、左右手、脚趾、面部的2D关键点约束、POF约束以及从CMU Mocap和MANO数据集学习的姿态先验，并采用分阶段优化（先躯干、再四肢、最后全目标）避免局部极小；最后通过在网格纹理域上强制光度一致性（利用合成图像与输入图像间的光流）并对z方向施加平滑约束来减少时间抖动。为训练网络，作者在Panoptic Studio多视角系统中采集了40名受试者、约834K身体图像和111K手部图像的新3D总运动数据集，以提供多样化的身体、手部和面部运动监督，并在Human3.6M、STB、Dexter+Object及COCO等公开基准上评估。实验采用MPJPE、PCK曲线下面积（AUC）等指标：在Human3.6M上取得58.3mm的MPJPE，在所有展示野外结果的方法中最低；消融实验表明新数据集和仅有2D标注的COCO均能进一步降低误差；在STB上与专用手部SOTA相当，在D+O上以根深度对齐设置取得AUC=0.84，超过此前SOTA（0.70）甚至RGB-D方法（0.81）；在自采数据集上平均MPJPE为6.30cm，并发现高仰角、背面视角以及自遮挡/透视缩短严重的姿态误差更大，验证了POF表示与模型先验的有效性。未来方向包括处理严重遮挡与出界、提升低分辨率和运动模糊下的手部检测、融合更先进的脚部与面部技术、以及支持无需边界框的多人体同时捕获；实际应用涵盖视觉特效、机器人、运动分析、医疗和社交行为理解，可将互联网视频转化为大规模3D人体运动语料，但方法目前依赖OpenPose提供的边界框、无法同时处理多人，且在目标人物大部分不可见时会失败。\n\n### 关键要点\n\n- 提出首个从单目图像或视频在野外场景下同时捕获身体、面部、手指和脚部3D总运动的方法，输出为Adam可变形人体模型参数（身体运动θ、面部表情σ、全局平移t及序列共享的形状系数φ）。\n- 核心表示3D部件方向场（POF）以3通道热图在2D图像空间编码每个刚性部件的3D单位方向向量，由全卷积网络与2D关节置信图联合预测，身体与手部分别训练两个网络，输入裁剪至368×368并施加L2损失。\n- 模型拟合阶段在统一优化框架中最小化总目标 F=F^B+F^LH+F^RH+F^T+F^F+R^φ+R^σ，包含2D关键点重投影约束、POF方向约束、CMU Mocap姿态先验与MANO手部先验，采用Levenberg-Marquardt算法并分阶段（躯干→四肢→全部约束）优化以避免局部极小。\n- 为训练网络，在Panoptic Studio多视角系统中无标记采集40名受试者各2.5分钟的多样身体与手部运动，过滤后得到约834K身体图像和111K手部图像及对应3D姿态，训练/测试集无受试者重叠且数据已公开。\n- 在Human3.6M基准上，方法（以COCO、新数据集与Human3.6M联合训练165k次迭代）取得MPJPE 58.3mm，在所有展示野外视频结果的方法中误差最低；消融实验显示仅用Human3.6M训练为65.6mm，加入新数据集降至60.9mm，再加COCO降至58.3mm，证明新数据集的价值及框架可利用仅2D标注的数据。\n- 手部评估：在STB数据集上PCK曲线AUC与专为手部设计的SOTA方法相当（该基准已近饱和）；在Dexter+Object上以根深度对齐设置取得AUC=0.84，超过此前SOTA的0.70及RGB-D方法的0.81。\n- 在自采多视角数据上以MPJPE（厘米）评估视角与姿态影响：平均误差6.30cm；高仰角视角因严重自遮挡与透视缩短误差更大，背面视角因躯干遮挡四肢误差高于正面，自遮挡或透视缩短严重的姿态聚类误差更高。\n- 提出基于纹理光度一致性的时间细化：从拟合网格提取纹理，计算合成图像与输入帧间的光流，定义纹理一致性项 F_tex 使顶点投影向光流目的地移动，并对z方向施加平滑约束 F_Δz，递归优化以显著减少运动抖动。\n- 方法可直接应用于各种野外视频（如YouTube），对仅上半身可见的视频假设躯干与腿部方向竖直向下；应用场景包括视觉特效、机器人、运动分析、医疗和社交行为理解，可将互联网视频转化为大规模3D人体运动语料。\n- 局限与约束：目标人物显著部分不可见（出界或被其他物体遮挡）时因网络预测错误而失败；手部检测在分辨率不足、严重运动模糊或被操纵物体遮挡时失效；脚部与面部仅采用简单的2D关键点方法；CNN需要身体和手部边界框作为输入，无法同时处理多人体或多只手。"
}