{
  "paper_id": "a8d71c46b6b5af419bfaa10ec084c61b",
  "paper_title": "Human Dynamics from Monocular Video with Dynamic Camera Movements",
  "paper_authors": [
    "Ri Yu",
    "Hwangpil Park",
    "Jehee Lee"
  ],
  "publication_date": "2021-12",
  "publication_venue": "ACM Transactions on Graphics (ACM Trans. Graph. 40, 6, Article 208)",
  "abstract": "We propose a new method that reconstructs 3D human motion from in-the-wild video by making full use of prior knowledge on the laws of physics. Previous studies focus on reconstructing joint angles and positions in the body local coordinate frame. Body translations and rotations in the global reference frame are partially reconstructed only when the video has a static camera view. We are interested in overcoming this static view limitation to deal with dynamic view videos. The camera may pan, tilt, and zoom to track the moving subject. Since we do not assume any limitations on camera movements, body translations and rotations from the video do not correspond to absolute positions in the reference frame. The key technical challenge is inferring body translations and rotations from a sequence of 3D full-body poses, assuming the absence of root motion. This inference is possible because human motion obeys the law of physics. Our reconstruction algorithm produces a control policy that simulates 3D human motion imitating the one in the video. Our algorithm is particularly useful for reconstructing highly dynamic movements, such as sports, dance, gymnastics, and parkour actions.",
  "keywords": [
    "physics-based simulation",
    "video processing",
    "motion reconstruction",
    "reinforcement learning",
    "physical simulation",
    "motion processing"
  ],
  "paper_institutions": [
    "Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:23.527639Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从动态视角（相机平移、倾斜、变焦以跟踪运动主体）单目视频中重建全局参考系下3D人体运动的问题。以往研究（如基于CNN的2D/3D姿态估计、DeepMimic模仿学习、SFV视频技能学习等）大多假设静态相机视角、已知相机参数或空旷环境，导致身体全局平移与旋转无法恢复。作者提出基于深度强化学习（DRL）的物理先验框架，整合2D姿态估计器、3D姿态估计器、深度接触估计器与策略学习器，学习控制策略 π(a_t|s_t,e) 通过物理前向模拟生成与视频匹配的人体运动，并同时估计场景几何布置；核心机制为奖励函数 r = r_track + r_scene，其中 r_track = w_q·r_q + w_v·r_v + w_ori·r_ori + w_contact·r_contact + w_reg·r_reg（姿态、速度、身体朝向、接触与正则化子项），r_scene = w_dist·r_dist + w_align·r_align + w_com·r_com（距离、对齐与质心子项），动作以 q̄_t = q̂_t + a_t 偏移参考姿态供PD伺服驱动。接触估计器使用Mixamo数据集（72个运动片段、11个绑定角色、3种相机设置、31种背景纹理、4种光照强度）渲染训练图像；系统采用OpenPose与VIBE预训练模型、DART物理引擎、PPO算法与PyTorch实现，在12个视频片段（4个静态视角、8个动态视角，涵盖侧空翻、后空翻、跳跃、舞蹈、跨栏、跳高与跑酷）上验证。定量评估采用MPJPE与接触准确率：估计的场景布置相比人工猜测在Parkour1/3上MPJPE从137.21/181.98mm降至134.24/142.34mm、接触准确率从81.8%/50.8%升至85.2%/93.9%，动态视角下接触估计平均比Rempe et al.高8.84%，消融研究证实身体朝向提示、接触奖励、物体相关奖励及自适应采样均不可或缺。未来方向包括多人交互运动重建与非地球环境（水下、月球表面）运动重建。该方法适用于体育、舞蹈、体操、跑酷等高动态动作的重建与仿真，但受限于姿态估计器性能（大间隙需手动关键帧，如跳高示例中30余帧估计失败）、仅支持踩踏/抓取/踢等少数交互类型、手部接触需人工标注，且单机训练耗时24-96小时。\n\n### 关键要点\n\n- 系统架构整合2D姿态估计器、3D姿态估计器、接触估计器、策略学习器与场景几何构建器，可从动态视角视频同时重建3D人体运动与场景布置，全局根位置与朝向在学习运动技能时自动恢复。\n- 针对3D姿态估计在倾斜或倒立等偏离常见姿态分布时失败的问题，对每帧执行0°、90°、180°、270°旋转后运行2D姿态估计器，依据时间连贯性与置信度选取最佳结果，缺失姿态用线性插值填补。\n- 深度接触估计器基于Rempe et al.的工作改进以支持动态视角，使用Mixamo的72个运动片段与11个角色在3种相机设置（固定视角、固定位置平移、跟踪相机）、31种背景纹理、4种光照强度下渲染训练数据，观察9个连续帧输出足部接触二值标签。\n- 接触估计器在动态视角视频上的足部接触准确率平均比Rempe et al.的方法高8.84%（如Lateral jump为91.1%对75.0%，Hurdle为87.0%对82.6%），静态视角下两者性能相当。\n- 控制策略 π(a_t|s_t,e) 通过PPO算法训练，状态包含归一化时间、身体链接位置、四元数朝向及线/角速度，动作 a_t 对3D姿态估计得到的参考姿态 q̂_t 进行偏移形成PD控制目标 q̄_t = q̂_t + a_t。\n- 奖励函数 r = r_track + r_scene 共含8个子项：姿态与速度匹配（r_q、r_v）、身体朝向（r_ori）、接触（r_contact）、力矩正则化（r_reg）、末端与目标区距离（r_dist）、角色-物体对齐（r_align）与质心弹道（r_com），全部示例使用单一权重集合。\n- 身体朝向提示利用电影摄影中相机保持稳定向上方向的惯例，从图像平面内身体上向量（骨盆至颈部）与视图上向量的夹角推断3D身体朝向，消融实验显示缺失该提示时模拟角色经常摔倒。\n- 滑动窗口算法将长视频分解为重叠时间窗口，每个窗口学习一个策略网络处理至多3个物体的交互，中间物体配置相对前一物体参数化，最终通过SLSQP最大化各窗口累积价值求得全局一致的场景布置。\n- 自适应采样按与各时刻已收集经验元组数量成反比的概率选择追加元组的起始时间（每次追加32个连续元组），缓解早期终止导致的样本不平衡，对长序列与复杂场景至关重要。\n- 实验在12个视频片段（4个静态、8个动态视角，17-130帧，18-30fps）上测试，涵盖侧空翻、后空翻、前跳、舞蹈、侧跳、跨栏、跳高与跑酷；人形角色高175cm、重61.4kg，PD增益 k_p=600、k_d≈49，仿真频率为控制频率的5-10倍。\n- 定量比较显示估计的场景布置优于人工猜测：Parkour1的MPJPE为134.24mm（人工137.21mm）、接触准确率85.2%（人工81.8%）；Parkour3的MPJPE为142.34mm（人工181.98mm）、接触准确率93.9%（人工50.8%）。\n- 局限包括依赖2D/3D姿态估计器性能（跳高示例中30余帧连续失败需两个手动关键帧填补，权重降至 w_q=0.1）、仅支持踩踏/抓取/踢等交互类型、手部接触需人工标注、单机训练耗时24-96小时（Intel i9-9900K），未来可扩展至多人交互与水下/月球表面等环境。"
}