{
  "paper_id": "c7beb1e14f79528cce86dfa54f449eb3",
  "paper_title": "Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera",
  "paper_authors": [
    "Zhengdi Yu",
    "Stefanos Zafeiriou",
    "Tolga Birdal"
  ],
  "publication_date": "2025",
  "publication_venue": "CVPR 2025",
  "abstract": "我们提出Dyn-HaMR，据我们所知，这是首个从动态相机在野外拍摄的单目视频中重建4D全局手部运动的方法。从单目视频重建精确的3D手部网格是理解人类行为的关键任务，在增强现实和虚拟现实（AR/VR）中有重要应用。然而，现有的单目手部重建方法通常依赖弱透视相机模型，该模型在有限的相机视锥内模拟手部运动。因此，这些方法难以恢复完整的3D全局轨迹，并且经常产生有噪声或错误的深度估计，特别是在视频由动态或移动相机拍摄时，而这在自我中心场景中很常见。我们的Dyn-HaMR由多阶段、多目标优化管线组成，考虑了用于鲁棒估计相对相机运动的同步定位与建图（SLAM）、用于生成式补全和细化交互动力学以确保在（自）遮挡下合理恢复的交互手先验，以及通过结合最先进手部跟踪方法的层次化初始化。通过对野外和室内数据集的广泛评估，我们表明我们的方法在4D全局网格恢复方面显著优于最先进的方法。这为使用移动相机的单目视频手部运动重建建立了新的基准。",
  "keywords": [
    "4D手部运动重建",
    "交互手重建",
    "动态相机",
    "SLAM",
    "手部运动先验",
    "单目视频",
    "MANO",
    "全局运动估计",
    "自我中心视觉",
    "AR/VR"
  ],
  "paper_institutions": [
    "Imperial College London"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:40.191568Z",
  "template_tag": "simple",
  "summary": "### 摘要\nDyn-HaMR解决的核心问题是：从动态（移动）相机拍摄的单目野外视频中恢复两只交互手的4D全局运动轨迹。现有单目手部重建方法（HaMeR、IntagHand、ACR等）依赖弱透视相机模型，仅在相机坐标系或根相对坐标系中建模手部运动，无法解耦相机运动与手部运动，导致深度歧义、噪声轨迹与全局轨迹恢复失败，而动态相机在自我中心AR/VR场景中十分常见；相关工作中，双手重建方法聚焦交互建模但忽略全局轨迹，4D运动先验（HuMoR、HMP、FourierHandFlow）提供了生成式运动合理性建模基础。Dyn-HaMR提出三阶段多目标优化管线：第一阶段利用MediaPipe、ViTPose、ACR与HaMeR进行层次化初始化，并用HMP手部运动先验做生成式运动补全以处理遮挡与漏检；第二阶段借助DPVO SLAM估计相对相机运动，通过核心机制——世界坐标系下的运动组合与尺度解耦，即以初始化公式 w τ_t^h = R_t^{-1}·c τ_t^h − ω R_t^{-1}·c τ_t^c 将相机坐标系轨迹提升至世界坐标系并联合优化可学习世界尺度因子ω，损失涵盖2D重投影、平滑正则、相机运动正则、姿态与形状先验；第三阶段再次利用学习到的手部运动先验，结合生物力学约束（关节角度、骨长、掌部）与双手穿透损失细化复杂交互。实验选用InterHand2.6M（静态多视角基准）与H2O、HOI4D、FPHA、EgoDexter、Ego-Exo4D、HOT3D（动态自我中心数据集），以验证方法在运动纠缠、遮挡与深度歧义下的鲁棒性；评价指标包括局部MPJPE、MPVPE、Acc Err与全局G-MPJPE、GA-MPJPE、Jerk、PA-MPJPE。结果显示：InterHand2.6M上MPJPE 7.94mm、Acc Err 2.76达到SOTA；H2O上G-MPJPE 45.6mm（HaMeR为96.9mm）；HOI4D上G-MPJPE 58.5mm（HaMeR为201.6mm）；Ego-Exo4D与HOT3D上G-MPJPE分别为53.89与42.36，大幅优于HaMeR+DPVO的213.75与129.45，这些结果支持了SLAM运动解耦、尺度因子优化与交互先验约束的有效性。未来方向包括长序列生成式外推、回归式方法与物体交互建模。实际应用面向AR/VR与人机交互等依赖身体佩戴相机的自我中心场景，约束在于需要单目RGB视频输入且当前仅适用于有限时间范围。\n\n### 关键要点\n- Dyn-HaMR是首个从动态相机拍摄的单目野外视频中恢复两只交互手4D全局姿态、形状与相机轨迹的优化方法，解决了手部与相机运动纠缠问题。\n- 方法采用三阶段优化管线：层次化初始化（融合MediaPipe、ViTPose、ACR、HaMeR）、基于SLAM的4D全局运动优化、交互手运动先验优化。\n- 利用基于神经运动场（NeMF）的HMP手部运动先验进行生成式运动补全，解决交互遮挡导致的漏检与轨迹不完整问题。\n- 采用DPVO SLAM估计相对相机运动，并优化可学习的世界尺度因子ω，显式建模相机位移与手部位移间的相对尺度以消歧全局运动来源。\n- 第三阶段引入生物力学约束（关节角度、骨长、掌部曲率与角度范围）与双手网格穿透损失，确保交互重建的合理性与真实性。\n- 在InterHand2.6M静态相机基准上达到SOTA：MPJPE 7.94mm、MPVPE 8.15mm、Acc Err 2.76，优于ACR（8.75/9.01/3.99）与HaMeR（9.84/10.13/5.13）。\n- 在H2O数据集上G-MPJPE为45.6mm、GA-MPJPE为34.2mm，相比HaMeR（96.9/75.7mm）提升近一半，Acc Err从9.21降至4.2。\n- 在HOI4D数据集上G-MPJPE为58.5mm，显著优于HaMeR的201.6mm与IntagHand的291.3mm。\n- 在Ego-Exo4D与HOT3D挑战性基准上，G-MPJPE分别为53.89与42.36，大幅超越HaMeR+DPVO组合基线（213.75与129.45），Jerk从约200降至5左右。\n- 消融实验表明第三阶段贡献显著：Stage I+II相比Stage I将H2O上G-MPJPE从84.5降至51.9，移除生物力学约束、穿透约束或生成式补全均导致性能下降。\n- 评估覆盖H2O、HOI4D、FPHA、EgoDexter、InterHand2.6M、Ego-Exo4D、HOT3D等静态与动态自我中心数据集，其中HOT3D与Ego-Exo4D因测试集标注未公开而使用验证集。\n- 局限与未来工作：当前仅适用于有限时间范围，长序列生成式外推、回归式方法及物体交互建模是待探索方向；应用面向AR/VR与人机交互等自我中心场景。"
}