{
  "paper_id": "4dbf46614e2c68e1d5fd91039d130141",
  "paper_title": "DanceHMR: Hand-Aware Whole-Body Human Mesh Recovery from Monocular Videos",
  "paper_authors": [
    "Wenhao Shen",
    "Ming Zhou",
    "Hengyuan Zhang",
    "Siyuan Bian",
    "Youjiang Xu",
    "Yuan Zhang"
  ],
  "publication_date": "2026-06-04",
  "publication_venue": "unknown",
  "abstract": "单目视频人体网格恢复对数字人、化身动画和具身仿真至关重要，这些应用同时要求时间稳定性和富有表现力的全身运动。现有视频HMR方法通常能生成连贯的身体运动，却忽视细致的手部关节；基于图像的全身方法逐帧恢复SMPL-X网格，则容易产生抖动且不准确的手部运动。本文提出一个面向挑战性野外单目视频的时间连贯全身HMR框架。该框架通过残差式身体-手部融合统一身体上下文与部位专属手部观测，在单一时间架构内同时实现稳定的身体运动和细致的手部恢复，并进一步引入近景感知增强以提升上半身构图下的鲁棒性。在全身和仅身体基准上的实验表明，该方法改善了手部重建质量并保持具有竞争力的身体精度，同时能够在挑战性真实视频中生成时间稳定且与二维图像一致的SMPL-X运动。\n",
  "keywords": [
    "单目视频人体网格恢复",
    "全身人体网格恢复",
    "SMPL-X",
    "手部姿态估计",
    "时间一致性",
    "残差身体-手部融合",
    "近景感知增强",
    "野外视频"
  ],
  "paper_institutions": [
    "ByteDance Intelligent Creation"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:19.462842Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决野外单目视频中全身人体网格恢复难以同时保证身体稳定、手腕一致和细致手指运动的问题：相关研究中，视频HMR方法多以身体为中心而忽略手部，基于图像的SMPL-X方法逐帧独立预测会造成抖动，将视频身体估计器与独立手部模型事后拼接又常出现手腕朝向割裂，同时直播、vlog、舞蹈和人机交互视频普遍存在上半身取景、手部出画、运动模糊与自遮挡，导致主要使用全身裁剪数据训练的模型存在明显分布差距。为此，作者提出DanceHMR这一统一时序架构，将身体二维关键点、身体裁剪特征、相机感知框标记和相机角速度编码为身体锚定标记，并以独立左右手分支编码手部关键点、手部裁剪特征和手部框标记，再通过核心残差融合机制 z_t = z_t^b + φ_h([z_t^lh, z_t^rh]) 将手部证据作为软性局部细化注入身体表示，随后由采用相对时序注意力和局部窗口的时序运动编码器联合恢复身体、手腕、手指、相机空间轨迹、重力视角全局运动和接触状态；训练上结合姿态条件化的近景/上半身裁剪增强、手部可见性掩码、指尖与远端关节加权监督以及“通用先验—手部细化”两阶段课程。实验选用ARCTIC、UBody、3DPW和EMDB：ARCTIC具有精确SMPL-X标注和双手操作物体场景，适合验证手部关节与身体-手部协调，UBody包含野外上半身、截断和丰富手势视频，适合验证近景鲁棒性，3DPW与EMDB则用于检验方法在标准视频HMR中是否保持身体精度；实现中冻结HMR2.0、HaMeR、ViTPose和RTMW等外部特征与检测器，只优化时序重建网络，手部关键点置信度阈值为0.55，增强后少于5个可靠关键点或手部框小于20像素即掩码，时序窗口为120，两阶段分别训练207k和88k步，从而隔离验证所提出的融合与训练策略。评价指标包括PA-PVE、PVE、PA-MPJPE以及MPJVE、Accel、Jitter，分别衡量几何重建误差和速度、加速度、高频抖动等时序质量；在ARCTIC上，方法将手部PA-PVE从SMPLest-X的11.9 mm降至8.5 mm，降幅28.6%，手部PVE从28.8 mm降至24.8 mm，降幅13.9%，在UBody上取得最低手部PVE 22.2 mm，相比GVHMR+HaMeR将手部Jitter和手部MPJVE分别降低43.2%和32.8%，同时在3DPW与EMDB上保持具有竞争力甚至先进的身体精度，且模型仅约46M可训练参数，显著小于SMPLer-X-B/L和SMPLest-X。这些结果支持残差身体-手部融合、联合时序推理、近景增强和可见性感知监督的有效性。该方法适用于数字人、 avatar动画、舞蹈/直播动作采集、具身智能和手物交互数据获取，但仍受单目深度模糊、手部严重遮挡、手指出画、运动模糊以及外部二维检测可靠性限制；后续可探索纳入物体接触约束、多人交互、面部表情统一建模以及减少对手部检测器依赖的端到端学习。\n\n### 关键要点\n\n- DanceHMR输出耦合相机空间与重力视角的SMPL-X序列，单帧表示包含重力视角朝向、根节点速度、55×3全身姿态旋转、体形、相机朝向与平移以及脚和手腕接触状态。\n- 身体标记由身体二维关键点、身体裁剪图像特征、相机感知身体框标记和相机角速度相加编码而成，为手腕位置和整体姿态提供全局解剖约束。\n- 左手和右手使用相互独立的关键点、裁剪特征和框标记编码分支，避免精细手指信息被更强的身体信号淹没。\n- 手部证据不是独立预测后再拼接，而是经手部融合MLP生成残差向量并加入身体标记，使时序模型能联合细化身体、手腕和手指。\n- 时序运动编码器使用相对时序注意力以支持变长序列，并对长视频片段采用局部注意力窗口。\n- 近景增强依据头-髋距离与可见身体高度的比例自适应生成上半身裁剪，并在片段级共享缩放和平移扰动，保证取景在时间上一致。\n- 对手部可见性设置可靠关键点数和最小手部框尺度阈值，增强后重新计算手部观测，不可靠或过小的手部区域会被掩码。\n- 训练采用两阶段课程：第一阶段从混合数据学习身体、全局运动和粗略手部先验，第二阶段提高高质量手部数据采样比例并强化远端与指尖监督。\n- 全身评估使用ARCTIC和UBody，仅身体评估使用3DPW和EMDB；重建指标包括PA-PVE、PVE和PA-MPJPE，时序指标包括MPJVE、Accel和Jitter。\n- 实现中冻结HMR2.0、HaMeR、ViTPose和RTMW，仅训练时序重建网络；手部关键点置信度低于0.55会被掩码，训练窗口为120帧。\n- 在ARCTIC上，DanceHMR取得8.5 mm手部PA-PVE、24.8 mm手部PVE和8.1 mm手部PA-MPJPE，相对SMPLest-X显著提升手部精度。\n- 消融显示移除残差融合、手部观测、近景增强、两阶段训练或可见性监督都会降低手部精度或增加抖动，说明各设计共同支撑了身体一致性、近景鲁棒性和时间稳定性。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}