{
  "paper_id": "7a06108347d7e5d916d617fc975f730e",
  "paper_title": "Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video",
  "paper_authors": [
    "Erik Gärtner",
    "Mykhaylo Andriluka",
    "Hongyi Xu",
    "Cristian Sminchisescu"
  ],
  "publication_date": "2022",
  "publication_venue": "CVPR 2022",
  "abstract": "We focus on the task of estimating a physically plausible articulated human motion from monocular video. Existing approaches that do not consider physics often produce temporally inconsistent output with motion artifacts, while state-of-the-art physics-based approaches have either been shown to work only in controlled laboratory conditions or consider simplified body-ground contact limited to feet. This paper explores how these shortcomings can be addressed by directly incorporating a fully-featured physics engine into the pose estimation process. Given an uncontrolled, real-world scene as input, our approach estimates the ground-plane location and the dimensions of the physical body model. It then recovers the physical motion by performing trajectory optimization. The advantage of our formulation is that it readily generalizes to a variety of scenes that might have diverse ground properties and supports any form of self-contact and contact between the articulated body and scene geometry. We show that our approach achieves competitive results with respect to existing physics-based methods on the Human3.6M benchmark, while being directly applicable without re-training to more complex dynamic motions from the AIST benchmark and to uncontrolled internet videos.",
  "keywords": [
    "3D人体姿态估计",
    "物理仿真",
    "轨迹优化",
    "单目视频",
    "Bullet物理引擎",
    "接触建模",
    "CMA-ES",
    "运动捕捉"
  ],
  "paper_institutions": [
    "Google Research",
    "Lund University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:28.576248Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单目视频重建物理上合理的铰接式人体运动的问题：现有不考虑物理的方法虽在关节精度指标上持续提升，但常产生时间不一致的漂浮、滑步等伪影，而现有物理方法要么仅在受控实验室条件下有效，要么将身体与地面的接触简化为仅足部接触。作者提出将功能完整的物理引擎直接嵌入姿态估计流程：给定非受控的真实场景视频，先基于HUND运动学方法估计初始3D姿态、时间一致的人体形状与地面平面位置，再实例化与形状匹配（尺寸与质量）的物理人体模型（26个胶囊体、16个3D关节、48个自由度），通过轨迹优化求解使物理模拟运动与图像观测对齐的关节力矩控制轨迹，控制目标以三次B样条系数表示，采用CMA-ES进化策略在重叠时间窗口上最小化复合目标函数L，其核心包含2D重投影损失 L_2d = Σ_t Σ_n s_tn·||C·l_tn − l_tn^d||_2、质心与关节角的3D姿态损失、归一化流姿态先验、加速度总变差正则及关节限位惩罚。实验在Human3.6M（用于与现有物理方法公平基准对比）、HumanEva-I、AIST（验证复杂动态舞蹈的泛化能力）及互联网视频（验证真实非受控场景适用性）上开展：在Human3.6M上MPJPE-G从VIBE的208mm降至143mm、滑步帧比例从27%降至4%，动力学模型将速度误差从0.58降至0.27 m/s，验证了完整物理模型加轨迹优化可在保持竞争力的关节精度同时大幅消除运动伪影，且无需重训练即可泛化到空翻、舞蹈等复杂动态运动；消融实验表明2D重投影与质心损失最为关键，并证明物理上不真实的残根力控制在复杂动态运动中也非必需。未来方向包括随物理仿真技术进步进一步提升质量、对场景物体的自动推理以及对不同体型包容性的研究；实际应用需注意推理耗时20-30分钟、非实时性、软地面参数需手动设定等约束。\n\n### 关键要点\n\n- 方法核心是将功能完整的Bullet物理引擎嵌入姿态估计流程，物理人体模型由26个胶囊体和16个3D关节组成共48个自由度，尺寸来自统计形状模型（GHUM），质量依据CAESAR数据集的解剖学重量分布由身体部位体积推算。\n- 控制机制上不显式建模肌肉而是直接在关节施加力矩，采用铰接岛算法（AIA）将电机控制目标与接触约束一并纳入线性互补问题求解，使模拟在100Hz即可稳定运行，而PD控制通常需要1000-2000Hz。\n- 优化在重叠时间窗口上进行，控制目标以三次B样条系数表示以降低搜索空间维度，使用CMA-ES进化策略最小化目标函数（每窗口约2000次迭代、每次迭代100样本），推理耗时约20-30分钟。\n- 运动学初始化将单图方法HUND扩展到视频：先在5个按关键点置信度选取的种子帧上联合估计时间一致的形状，再逐帧优化姿态（HUND+SO），并加入地面平面约束与时间平滑约束（HUND+SO+GT），在Human3.6M验证集上MPJPE-G从239mm降至135mm。\n- 地面平面通过最小化身体网格最小符号距离的目标函数恢复，对人在空中的情形以0.2m距离截断保持鲁棒，并对左右脚与全身网格加权以偏向足部接触但不排斥其他接触形式。\n- 复合目标函数由3D质心损失、关节角损失、基于28个关键点（含手指、眼耳鼻）的2D重投影损失、归一化流姿态先验、加速度总变差正则与关节限位指数惩罚加权组成。\n- 消融实验表明2D重投影与质心位置差异是最重要组件，去掉后MPJPE-G分别从132mm升至154mm和151mm，而去掉3D关节损失仅小幅变化至134mm。\n- 动力学模型大幅消除运动伪影：HUND+SO+GT的滑步帧比例从64%降至8%、速度误差从0.58降至0.27 m/s，HUND+SO的漂浮帧比例从40%降至0%。\n- 在Human3.6M基准上MPJPE-G为143mm优于VIBE的208mm，MPJPE-2d从16px改善到13px；MPJPE-PA在物理方法中最优（除预训练的SimPoE），但MPJPE略高于Xie et al.（84mm对68mm），后者拥有更强的运动学基线（74mm）。\n- 方法无需重训练即可直接应用于AIST数据集的复杂动态舞蹈（MPJPE-G 154mm、滑步4%）以及互联网视频中的空翻、体育运动等场景，支持身体任意部位与地面的接触。\n- 实验证明曾被假设为弥合仿真与现实差距所必需的残根力控制在复杂动态运动中也可能不需要，本文未使用该物理上不真实的机制即取得竞争性结果。\n- 局限与约束包括：方法非实时；场景物体（如椅子）需手动添加且不做场景物体自动推理；软地面（蹦床）的刚度与阻尼参数需手动修改；Human3.6M实验假设已知相机外参参数。"
}