{
  "paper_id": "1e45792eb1a431279f89d1f8fe5877dc",
  "paper_title": "HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos",
  "paper_authors": [
    "Jinglei Zhang",
    "Jiankang Deng",
    "Chao Ma",
    "Rolandos Alexandros Potamias"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "尽管3D手部姿态估计取得了进展，当前方法主要聚焦于相机坐标系下的单图像3D手部重建，忽略了手部在世界空间中的运动。这一局限使其无法直接应用于手部与相机持续运动的自我中心视频场景。本工作提出HaWoR，一种从自我中心视频进行世界坐标系手部运动重建的高保真方法。我们通过在相机空间重建手部运动并在世界坐标系中估计相机轨迹来解耦该任务。为实现精确的相机轨迹估计，我们提出了一种自适应自我中心SLAM框架，克服了传统SLAM方法的不足，在具有挑战性的相机动态下提供鲁棒性能。为确保手部运动轨迹的鲁棒性（即使手部移出视野），我们设计了一种新颖的运动补全网络，有效补全序列中缺失的帧。通过大量定量与定性评估，我们证明HaWoR在不同的自我中心基准数据集上均可在手部运动重建与世界坐标系相机轨迹估计方面达到最先进性能。代码与模型可在 https://hawor-project.github.io/ 获取。",
  "keywords": [
    "3D手部姿态估计",
    "自我中心视频",
    "世界空间运动重建",
    "自适应SLAM",
    "运动补全",
    "MANO模型",
    "相机轨迹估计",
    "度量尺度估计"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University",
    "Imperial College London"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:41:14.003484Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现有3D手部姿态估计方法主要聚焦于相机坐标系下的单图像手部重建，忽略了手部在世界空间中的运动轨迹，这使其难以直接应用于手部与相机持续运动的自我中心视频场景；早期世界空间人体恢复方法依赖多相机设置与视觉里程计而难以泛化，SLAM方法虽能处理动态相机但在包含大幅手部运动的场景中精度受损，后续工作或采用重量级优化对齐人体运动与SLAM轨迹，或直接回归相机到世界的变换，且均针对第三人称全身运动而非自我中心手部运动。本文提出HaWoR，将世界空间手部运动估计解耦为相机空间手部运动重建与世界空间相机轨迹估计两个子任务：手部运动估计网络基于WiLoR预训练ViT骨干提取图像对齐特征，通过图像注意力模块（IAM）融合相邻帧特征缓解视野边界截断，并通过姿态注意力模块（PAM）对MANO姿态参数施加时序自注意力以学习运动先验；相机轨迹估计提出自适应自我中心SLAM，将重建的3D手部投影生成掩码M_t，同时屏蔽DROID-SLAM的输入图像与置信图（Î_t=(1-M_t)·I_t，ŵ_t=(1-M_t)·w_t），使稠密束调整仅依赖背景像素，并结合Metric3D度量基础模型与动态采样策略（AdaSM，屏蔽手部区域及过近/过远深度点）通过优化E(α)=Σ L_GM(D_t(p)-α·d_t(p))估计真实世界尺度；针对手部频繁移出视野的问题，进一步设计基于Transformer编码器与规范空间变换的运动补全网络以补全缺失与遮挡帧。实验选用DexYCB数据集（提供遮挡帧显式标注，用于验证相机帧手部运动在严重遮挡下的鲁棒性）与HOT3D数据集（提供动态相机自我中心视频及世界坐标MANO标注与相机轨迹真值，用于验证世界空间重建与补全性能），评估指标包括PA-MPJPE、AUC、W-MPJPE、WA-MPJPE、RTE、Accel、FID与ATE/ATE-S；结果显示HaWoR在DexYCB全部遮挡水平下PA-MPJPE为4.76、AUC为90.5，高遮挡（75%-100%）时为5.07优于WiLoR的5.68，在HOT3D世界空间评估中W-MPJPE为33.20、WA-MPJPE为11.27、RTE为0.78，大幅超越HMP-SLAM（W-MPJPE 119.41）等基线，相机轨迹ATE为3.36、ATE-S为14.61mm优于直接组合DROID-SLAM与度量网络的方案，且单帧前向传播仅需40ms（较HMP-SLAM的160ms降低75%），这些结果验证了解耦策略、自适应SLAM掩码机制、度量尺度动态采样与运动补全网络等创新的有效性。未来可探索利用基础模型直接估计世界空间相机轨迹以迈向实时世界坐标系手部运动估计。该方法可应用于AR/VR与人机交互等真实场景，但受限于自我中心视野有限、频繁遮挡与快速手部运动，且当前运行时性能仍远未达到实时要求。\n\n### 关键要点\n\n- HaWoR是首个（据作者所知）在世界坐标系中进行3D手部运动估计的方法，通过将任务解耦为相机空间手部运动重建与世界空间相机轨迹估计来简化原本极具挑战的问题。\n- 手部运动估计网络扩展单图像方法WiLoR，利用其预训练ViT骨干提取图像对齐特征，并通过图像注意力模块（IAM）以时序自注意力融合相邻帧外观特征，缓解视野边界截断并增强特征鲁棒性。\n- 姿态注意力模块（PAM）直接对MANO姿态参数施加时序自注意力，学习手部运动先验以约束3D重建并提升运动的时序一致性。\n- 自适应自我中心SLAM将重建的3D手部投影到图像空间生成手部掩码，同时屏蔽DROID-SLAM的输入图像与置信图，使稠密束调整的重投影误差仅由背景像素贡献，从而对大幅手部运动保持鲁棒。\n- 度量尺度估计结合Metric3D基础模型与自适应采样模块（AdaSM），屏蔽手部区域及过近/过远深度点，仅在可靠中间深度范围内以German-McClure损失优化尺度因子，缓解运动手部与极端深度等离群值的影响。\n- 运动补全网络先将输入序列从相机空间变换到规范空间（首帧对齐到零旋转零平移），再基于带位置嵌入的Transformer编码器预测缺失姿态，训练时用线性插值与SLERP初始化缺失帧以降低学习负担并增强鲁棒性。\n- 训练与评估采用DexYCB（含遮挡帧显式标注的静态相机手-物交互视频）与HOT3D（含世界坐标MANO标注与相机轨迹真值的动态相机自我中心视频）两个数据集；运动补全网络选用HOT3D训练，因其同时提供自我中心与第三人称视角，便于标注视野外的帧。\n- 在DexYCB测试集上，HaWoR在全部遮挡水平下PA-MPJPE为4.76、AUC为90.5，高遮挡（75%-100%）时PA-MPJPE为5.07，优于单图像最优方法WiLoR的5.68，验证了其在恶劣可见性条件下的鲁棒性。\n- 在HOT3D世界空间评估中，HaWoR的W-MPJPE为33.20、WA-MPJPE为11.27、RTE为0.78、Accel为5.41，大幅超越HaMeR-SLAM、WiLoR-SLAM与HMP-SLAM等回归与优化基线，且运动平滑性更优。\n- 相机轨迹估计的ATE为3.36、ATE-S为14.61mm，优于直接组合DROID-SLAM与ZoeDepth、DepthAnyV2、Metric3DV2等度量深度网络的基线方案，尤其在长位移（>5m）场景下优势明显。\n- 消融实验表明IAM与PAM模块均提升重建鲁棒性（同时移除后W-MPJPE从33.20升至44.60），运动补全网络（FID 0.57）显著优于线性插值LERP（1.42）与复制最后可见姿态（1.52）等朴素补全方法。\n- HaWoR单帧前向传播仅需40ms，相比优化方法HMP-SLAM的160ms降低75%推理时间，但距离实时应用仍有差距，未来可探索利用基础模型直接估计世界空间相机轨迹。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}