{
  "paper_id": "00b5ffb50f251a49a4f80053e305c5df",
  "paper_title": "MoSh: Motion and Shape Capture from Sparse Markers",
  "paper_authors": [
    "Matthew Loper",
    "Naureen Mahmood",
    "Michael J. Black"
  ],
  "publication_date": "2014年11月",
  "publication_venue": "ACM Transactions on Graphics, Vol. 33, No. 6, Article 220",
  "abstract": "基于标记点的动作捕捉常被批评只能生成呆板的动画。论文认为，标准标记点集合中其实包含重要的人体表面运动信息，但这些信息在提取骨架的过程中丢失了。为此提出名为 MoSh（Motion and Shape capture）的方法，可自动从动作捕捉数据中提取此类细节。MoSh 利用参数化人体模型，通过稀疏标记点数据同时估计人体形状和姿态。与以往工作不同，MoSh 求解标记点相对于身体的位置，并且无需三维扫描即可直接从标记点估计准确的身体形状，从而使动作捕捉系统近似成为人体扫描仪。通过允许身体形状随时间变化，MoSh 还能直接从标记点捕捉软组织运动。论文评估了不同标记点集合对姿态和形状精度的影响，提出一种用于捕捉软组织运动的新型稀疏标记点集合，并从档案动作捕捉数据中恢复身体形状、姿态和软组织运动，生成细腻真实的动画；此外还展示了将软组织运动重定向到新角色，以及放大三维软组织变形以制作具有吸引力的夸张动画。\n",
  "keywords": [
    "人类动画",
    "动作捕捉",
    "形状捕捉",
    "软组织运动"
  ],
  "paper_institutions": [
    "马克斯·普朗克智能系统研究所（德国图宾根）"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:19.113307Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对基于标记点的动作捕捉因经由刚性骨架间接驱动而丢失非刚性体表信息、导致动画呆板的问题，论文在稀疏标记点拟合、密集标记点和表面捕捉等研究基础上提出 MoSh。与需要三维扫描和已知标记位置的传统 SCAPE 驱动方法不同，MoSh 在中性模板中将标记表示为身体表面顶点沿法向的偏移，即 v_i(β)=S_{h(i)}(β,θ0,γ0)+d_iN_{h(i)}(β,θ0,γ0)，并利用最近三角形的法向、一条归一化边及其叉积建立局部正交基，把潜在标记随身体姿态变换到观测帧；其核心机制是最小化 E=λ_D E_D+λ_S E_S+λ_I E_I+λ_β E_β+λ_θ E_θ+λ_u E_u，其中 E_D 度量模拟标记与观测标记的平方距离，其余项分别约束标记离皮距离、标记初始位置、形状与姿态高斯先验以及速度连续性。模型采用类 SCAPE 三角网格，含 10,777 个顶点、19 个轴角姿态向量和 100 个 PCA 形状系数，使用 3,803 个 CAESAR 直立扫描训练形状、1,832 个多姿态扫描训练姿态相关变形，从而为病态的稀疏标记重建提供人群统计约束；实现上采用 Powell dogleg、Gauss-Newton 近似和 Chumpy 自动微分，形状与标记阶段随机选取 12 帧，因为超过 12 帧后收益很小，并通过六阶段渐弱正则化降低局部最优风险。标记点选择在 FAUST 的 165 个注册网格和 114 个候选标记上进行贪心 RMSE 评估，最终保留标准 47 个 Vicon 标记并增加 20 个软组织标记，形成兼容 CMU 且更适合软组织捕捉的 67 标记集。定量验证使用 20 名体型差异显著受试者的高分辨率扫描、Vicon 89 标记和 73 个序列，其中 67 个标记用于拟合、22 个用于留出评估；67 标记的留出标记误差约为 3.4 cm，约 25 个标记后形状精度改善趋缓，允许时变形状后观测标记平均误差由 0.79 cm 降至 0.62 cm，留出误差仅由 3.41 cm 变为 3.39 cm，支持该方法在不产生明显不自然变形的情况下捕捉非刚性运动。在 CMU 档案数据中，MoSh 对 39 名受试者、722 个序列仅用 47 个标记即自动恢复形状和姿态，并用线性 SVM 从形状参数判断性别，准确率为 89.7%。该方法适用于档案动作捕捉挖掘、直接动画制作、软组织运动重定向和变形放大；重定向要求目标角色与模型具有相同拓扑并完成注册匹配，且宜选择体型相近的演员，1.5 至 2 倍放大通常仍较自然，4 倍可能产生异常体型。其主要约束是需要大致知道标记集并依赖基本已标注的对应关系，输出质量受人体模型表达能力限制，稀疏标记无法捕捉细微波纹，而软组织变形也只是利用静态人群形状空间对标记可见效应作近似，并非物理动力学建模；未来可探索缺失或移位标记自动检测、逐标记噪声建模、更丰富的姿态与动力学模型、标记集与姿态联合优化、手脚脸和衣物捕捉、视频或深度数据融合以及多分辨率加速。\n\n### 关键要点\n\n- MoSh 用类 SCAPE 参数化人体模型替代骨架，在单一优化框架中联合估计潜在标记位置、固有体型、各帧姿态和全局平移。\n- 新标记集只需用户粗略指定模板顶点和标记离皮距离，算法随后针对每名受试者优化真实标记位置。\n- 标记位置通过最近三角形的法向、归一化边和二者叉积构成的局部正交基表示，从而在不同姿态之间保持可传递性。\n- 形状与标记阶段的权重为 λ_D=0.75、λ_S=100、λ_I=0.25、λ_β=1.0、λ_θ=0.25、λ_u=0；姿态阶段则使用 λ_θ=1.0 和 λ_u=6.25。\n- 形状和标记估计约需 7 分钟；无软组织估计的姿态求解约为每秒 1 帧，加入软组织估计后约为每秒 2 秒。\n- 软组织建模将时刻 t 的形状写为 β+β_t，并以 E_Δ=Σ_t||β_t||² 和 λ_Δ=0.25 约束其不偏离固有体型过多。\n- 人体形状模型由 3,803 个 CAESAR 扫描训练，姿态相关变形由 78 人的 1,832 个多姿态扫描学习，同时提供男性、女性和性别中性模型。\n- 标记选择基于 FAUST 中 5 名女性的 165 个注册网格，对 114 个候选标记进行贪心 RMSE 评估，得到 47 个标准标记加 20 个新增标记的 67 标记集。\n- 对 20 名扫描受试者和 73 个序列的实验显示，67 个拟合标记对 22 个留出标记的预测误差约为 3.4 cm，且标记数超过约 25 后形状误差下降趋缓。\n- 在 CMU 数据上，39 人、722 个序列仅用 47 个标记即可自动生成形状和姿态；性别中性模型配合线性 SVM 的性别识别准确率为 89.7%。\n- 加入时变形状后，观测标记平均误差从 0.79 cm 降至 0.62 cm，留出标记误差从 3.41 cm 变为 3.39 cm，说明软组织拟合改善了贴合度且未显著损害自然性。\n- MoSh 支持向同拓扑的风格化角色重定向软组织运动，并可通过缩放 β_t 放大变形；但标记对应缺失、模型姿态覆盖不足和稀疏标记无法恢复高频细节仍是主要限制。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}