{
  "paper_id": "7ce1d1e6515c4a23018f73d56f21c9e9",
  "paper_title": "HMP: Hand Motion Priors for Pose and Shape Estimation from Video",
  "paper_authors": [
    "Enes Duran",
    "Muhammad Kocabas",
    "Vasileios Choutas",
    "Zicong Fan",
    "Michael J. Black"
  ],
  "publication_date": "2023",
  "publication_venue": "ICCV 2023",
  "abstract": "理解人类如何与世界交互需要精确的3D手部姿态估计，而手部的高自由度关节、频繁遮挡、自遮挡和快速运动使该任务极为复杂。现有方法大多依赖单帧图像输入，而视频蕴含可解决上述问题的有用线索；然而现有基于视频的3D手部数据集不足以训练能泛化到野外场景的前馈模型。另一方面，我们可以利用包含手部运动的大型人体动作捕捉数据集（如AMASS）。因此，本文开发了一个专门针对手部的生成式运动先验，在具有多样化高质量手部运动的AMASS数据集上训练，并通过潜在优化方法将该运动先验用于基于视频的3D手部运动估计。鲁棒运动先验的引入显著提升了性能，尤其在遮挡场景中；方法产生稳定、时间一致的结果，超越传统单帧方法。作者通过在HO3D和DexYCB数据集上的定性与定量评估（并特别关注HO3D的遮挡子集）验证了方法的有效性。代码可在 https://hmp.is.tue.mpg.de 获取。",
  "keywords": [
    "3D手部姿态估计",
    "运动先验",
    "潜在优化",
    "AMASS",
    "MANO",
    "视频手部重建",
    "遮挡处理",
    "变分自编码器",
    "NeMF"
  ],
  "paper_institutions": [
    "MPI for Intelligent Systems, Tübingen, Germany",
    "University of Tübingen, Germany",
    "ETH Zurich, Switzerland"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:51.811333Z",
  "template_tag": "simple",
  "summary": "### 摘要\n从单目视频恢复精确的3D手部姿态与形状是一项长期挑战：手部高度关节化、手-物交互遮挡、自遮挡与快速运动，使主流单帧方法（如基于MANO参数模型的PyMAF-X或直接回归关节/热图的无模型方法）产生抖动、缺失和时间不一致的结果，而现有基于视频的3D手部数据集（HO3D、DexYCB）受限于受试者与背景多样性，难以训练可泛化到野外场景的前馈模型（如Deformer）。受人体运动先验研究（HuMoR、NeMF）启发，本文提出HMP：在大规模动作捕捉数据集AMASS（含GRAB、TCDHands、SAMP等含手部关节运动的子集）上训练一个手部专属的生成式运动先验——采用VAE框架，其解码器基于NeMF构建为非自回归的NeRF风格MLP，核心机制为 D:(t, z_θ)→θ̂_t，即以潜在码z_θ和时间步t为输入并行输出局部手部姿态，从而支持长序列的快速批量潜在优化（区别于自回归且计算昂贵的HuMoR）；训练时省略全局朝向，因为手在空中自由运动、不像人体全局朝向受重力约束。测试时HMP通过两阶段流程工作：初始化阶段用现成检测器获取手部边界框、混合MediaPipe与PyMAF-X的2D关键点，并用PyMAF-X回归初始MANO参数（低置信度帧用SLERP球面插值补全）；多阶段优化阶段最小化目标函数 L = λ_o·L_o + λ_tr·L_tr + λ_β·L_β + λ_os·L_os + λ_ts·L_ts + λ_MP·L_MP + λ_2D·L_2D（含测地距离朝向项、平移项、形状正则项、朝向/平移平滑项、基于German-McClure鲁棒函数的2D重投影误差项，以及运动先验负对数似然项），Stage-1仅优化全局朝向Φ、平移τ与形状β，Stage-2加入潜在码z_θ优化局部姿态，以由粗到细的策略规避病态问题的局部极小。选择HO3D-v3与DexYCB（S0划分）作为评测基准，因为它们是标准的手-物交互视频基准，并额外构建含1736帧的遮挡子集HO3D-OCC以专门验证遮挡鲁棒性；评测指标为PA-MPJPE、RA-MPJPE（毫米）与衡量运动平滑度的RA-ACC（mm/s²）。结果表明，PyMAF-X+HMP在HO3D-v3上达到PA-MPJPE 10.1mm、RA-MPJPE 26.7mm、RA-ACC 2.2 mm/s²（基线PyMAF-X为10.8/29.6/9.3），在DexYCB上为8.9/34.1/3.6（基线11.6/38.1/17.1），在HO3D-OCC上Stage-2为12.6/38.1/3.0（基线15.3/48.9/26.0），证明运动先验显著改善精度与时间稳定性，且消融实验显示NeMF先验优于无先验、PCA先验与GMM先验，遮挡帧通过掩蔽目标项由先验完成运动补全。方法可即插即用地与任意单帧回归器结合并适用于野外视频，服务于人机交互、AR/VR、机器人、生物力学与动画等实际场景，但受限于静态相机假设与2D关键点检测器在重度遮挡或运动模糊下的失效，未来可探索更鲁棒的关键点估计。\n\n### 关键要点\n- HMP在大规模动作捕捉数据集AMASS（含GRAB、TCDHands、SAMP子集）上训练手部专属生成式运动先验，以解决现有基于视频的3D手部数据集受试者与背景多样性不足、前馈模型难以泛化到野外场景的数据稀缺问题。\n- 运动先验采用VAE架构，解码器基于NeMF构建为非自回归的NeRF风格MLP：D:(t, z_θ)→θ̂_t，给定潜在码z_θ后可并行采样整个序列，适合长序列的批量潜在优化，而自回归的HuMoR在长序列上计算代价过高。\n- 与NeMF原始方法不同，先验训练时省略全局朝向信息，因为手在空中自由运动、不像人体全局朝向受重力约束，纳入全局朝向会降低先验的约束质量。\n- 初始化阶段使用现成手部跟踪模型检测边界框，用PyMAF-X回归MANO姿态与形状参数，对边界框置信度低于阈值的帧采用球面插值（SLERP）补全；2D关键点混合MediaPipe与PyMAF-X的输出以结合两者优势。\n- 多阶段优化采用由粗到细策略：Stage-1仅优化全局朝向Φ、平移τ与形状β，Stage-2加入运动先验潜在码z_θ优化局部手部姿态，以缓解同时优化所有参数导致的局部极小问题；优化器使用Adam。\n- 目标函数包含七项损失：测地距离朝向项L_o、平移项L_tr、形状正则项L_β、朝向平滑项L_os、平移平滑项L_ts、基于German-McClure鲁棒函数的2D关键点重投影项L_2D，以及运动先验负对数似然项L_MP。\n- 遮挡处理方式：对无检测的帧掩蔽相应目标项，仅用可见帧优化潜在码z_θ，使运动先验充当运动补全角色、从可见帧线索推断被遮挡帧，这是方法对遮挡鲁棒的关键机制。\n- 在HO3D-v3数据集上，PyMAF-X+HMP达到PA-MPJPE 10.1mm、RA-MPJPE 26.7mm、RA-ACC 2.2 mm/s²，优于基线PyMAF-X（10.8/29.6/9.3）及其他对比方法（TempCLR、HandOccNet、METRO）。\n- 在DexYCB数据集（S0划分）上，PyMAF-X+HMP达到PA-MPJPE 8.9mm、RA-MPJPE 34.1mm、RA-ACC 3.6 mm/s²，相比PyMAF-X（11.6/38.1/17.1）在精度与平滑度上均有大幅提升。\n- 在自建的遮挡子集HO3D-OCC（1736帧）上，Stage-2达到PA-MPJPE 12.6mm、RA-MPJPE 38.1mm、RA-ACC 3.0 mm/s²，显著优于PyMAF-X（15.3/48.9/26.0），验证了重度遮挡场景下的鲁棒性。\n- 消融实验表明：NeMF运动先验优于无先验、PCA先验与GMM先验；混合MediaPipe与PyMAF-X关键点优于单独使用任一检测器或MMPose；Stage-2优于Stage-1，证明潜在优化局部姿态带来额外增益。\n- 局限性与适用约束：方法依赖2D关键点估计质量，现有预测器在重度遮挡或运动模糊下可能失效；同时假设静态相机（R_cam=I、T_cam=0）。方法以即插即用方式兼容任意单帧姿态回归器，可应用于人机交互、AR/VR、机器人、生物力学与动画等实际场景。"
}