{
  "paper_id": "a350e2b085ec4d577baff15b5b501561",
  "paper_title": "EgoGrasp: World-Space Hand-Object Interaction Estimation from Egocentric Videos",
  "paper_authors": [
    "Hongming Fu",
    "Wenjia Wang",
    "Xiaozhen Qiao",
    "Rolandos Alexandros Potamias",
    "Taku Komura",
    "Shuo Yang",
    "Zheng Liu",
    "Bo Zhao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "我们提出EgoGrasp，首个从动态自我中心视频重建世界空间手-物交互（W-HOI）的方法，支持开放词汇物体。精确的W-HOI重建对具身智能至关重要，但仍然充满挑战。现有HOI方法大多局限于局部相机坐标系或单帧，无法捕捉全局时序动态。虽然一些近期方法尝试世界空间手部估计，但它们忽略了物体位姿和HOI约束。此外，以往的HOI估计方法要么因依赖物体模板而无法处理开放集类别，要么采用需要逐实例优化的可微渲染，导致计算成本过高。最后，自我中心视频中频繁的遮挡严重降低性能。为克服这些挑战，我们提出多阶段框架：利用视觉基础模型进行初始3D场景、手部和物体重建的鲁棒预处理管线；引入显式自我中心身体先验进行手部位姿估计的身体引导扩散模型；以及用于手部感知6DoF位姿填充的HOI先验扩散模型，确保物理合理且时间一致的W-HOI估计。实验证明EgoGrasp在W-HOI重建中达到最先进性能，能鲁棒处理多物体和开放词汇物体。",
  "keywords": [
    "Egocentric Video",
    "Hand-Object Interaction",
    "World Space"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University",
    "The University of Hong Kong",
    "University of Science and Technology of China",
    "Imperial College London",
    "Harbin Institute of Technology (Shenzhen)",
    "Beijing Academy of Artificial Intelligence"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:18.380633Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从动态相机的自我中心视频中重建世界空间手-物交互（W-HOI）是具身智能、机器人与VR/AR领域的关键任务，但现有HOI方法大多局限于局部相机坐标系或单帧，无法捕捉全局时序动态；近期世界空间手部估计方法（如Dyn-HaMR、HaWoR）忽略物体位姿与交互约束，而基于模板或可微渲染的HOI方法（如DiffHOI、G-HOP）分别受限于封闭类别与高昂的逐实例计算成本，加之自我中心视频中频繁的手部遮挡，使该问题极具挑战。为此，本文提出EgoGrasp——首个从动态自我中心单目视频重建W-HOI并支持开放词汇物体的多阶段「感知-生成-填充」框架：(1) 预处理阶段利用视觉基础模型完成初始重建，包括以Depth-Anything3恢复相机内外参与深度图、以WiLoR重建双手MANO参数、以SAM3D多视图实现生成高保真规范物体网格，并通过MEMFOF光流与PnP传播6DoF、以掩码IoU过滤不可靠帧；(2) 身体扩散模型以中央瞳孔帧（CPF）帧间变换为条件生成符合SMPL-X上半身约束的连贯身体-手部运动，其核心机制为 ΔT_cpf^{t→t+1} = (E^t)^{-1}·E^{t+1} ∈ SE(3)，条件特征 c^t = φ(ΔT_cpf^{t-1→t})，并以DDPM去噪目标 L_W = E[||W(z_{t_d}^{1:T}, c^{1:T}, t_d) − z_0^{1:T}||²] 训练；(3) HOI扩散模型以腕部坐标系下的可靠6DoF、粗略平移、抓取标签及身体扩散生成的手部信息为条件，将离散6DoF序列填充为物理合理且时间一致的连续轨迹，最后经测试时优化（手部：姿态锚定、手部位姿、2D关键点、腕部损失；物体：锚定、接触、穿透、时序损失）精化。实验在H2O与HOI4D两个自我中心HOI数据集上验证（训练于AMASS、100STYLE、GRAB、PA-HOI、HIMO，2块NVIDIA H20 GPU，AdamW，学习率2.5e-4，DDIM 200步推理），这些数据涵盖双手操作与类别级长程交互，可检验方法在动态相机、严重遮挡与开放词汇物体下的鲁棒性；评估采用W-MPJPE/WA-MPJPE/PA-MPJPE（手部）与局部/全局/腕部坐标系下的RRE/RTE及CD/PD（物体与交互）指标，结果显示EgoGrasp在手部估计上达到与SOTA相当或更优的水平（HOI4D上PA-MPJPE 47.29mm，显著优于Dyn-HaMR的63.12mm与HaWoR的69.20mm），并在W-HOI重建上全面领先（H2O全局RRE 18.71°对比基线28.53°–35.31°，PD 0.74mm对比3.18–10.46mm），验证了身体先验、HOI先验扩散与测试时优化各项创新的有效性。未来工作计划探索更精简的前馈架构以减少对预处理的依赖并保持精度与鲁棒性；实际部署中需应对动态相机抖动、频繁手-物遮挡、开放词汇物体以及物体不得悬浮或穿透桌面等场景几何约束，而世界空间锚定正是过滤相机噪声、消除语义歧义并施加几何约束的关键。\n\n### 关键要点\n\n- EgoGrasp是首个从动态相机自我中心单目视频重建世界空间手-物交互（W-HOI）的方法，支持开放词汇物体、无需CAD模板，并可扩展至多物体交互。\n- 方法采用三阶段「感知-生成-填充」框架：基于视觉基础模型的鲁棒预处理、引入显式自我中心身体先验的身体引导扩散模型、以及确保物理合理与时间一致的HOI先验扩散模型。\n- 预处理管线利用Depth-Anything3推断相机内外参与深度图、WiLoR重建双手MANO参数、SAM3D多视图实现生成高保真规范物体网格，并通过MEMFOF光流与PnP求解传播初始6DoF轨迹。\n- 通过SAM2掩码与投影网格掩码的IoU过滤不可靠帧（如手部遮挡期间），将稀疏可信序列交由HOI扩散模型填充，得到物理合理且连续的6DoF运动。\n- 身体扩散模型以中央瞳孔帧（CPF）帧间变换 ΔT_cpf^{t→t+1} = (E^t)^{-1}·E^{t+1} ∈ SE(3) 为条件，利用SMPL-X上半身的有限可达范围约束双手运动区域，缓解自我视角不稳定与频繁自遮挡问题。\n- HOI扩散模型以腕部坐标系下的可靠6DoF、掩码深度投影得到的粗略平移、由手-物距离判定的一热抓取标签、以及身体扩散生成的手部位姿与关节位置为条件，采用随机掩码重建目标训练。\n- 测试时优化对手部施加姿态锚定、手部位姿、2D关键点与腕部一致性四项损失，对物体施加锚定、接触（表面近距+无滑移）、穿透惩罚与时序平滑四项损失，共同保证物理合理性与时序一致性。\n- 实验在H2O与HOI4D两个自我中心HOI数据集上评估，手部指标为W-MPJPE、WA-MPJPE、PA-MPJPE，物体与交互指标为局部/全局/腕部坐标系下的RRE、RTE以及CD、PD。\n- 手部估计结果：HOI4D上PA-MPJPE为47.29mm，优于Dyn-HaMR（63.12mm）与HaWoR（69.20mm）；H2O上WA-MPJPE为40.93mm居首，体现身体先验对长程轨迹的稳定作用。\n- W-HOI重建结果：H2O上全局RRE为18.71°（基线为28.53°–35.31°）、PD为0.74mm（基线为3.18–10.46mm）；HOI4D上全局RRE为14.17°，显著优于GenPose2、Any6D与HORT。\n- 消融实验表明：去除腕部损失使H2O上WA-MPJPE从40.93mm恶化至238.20mm；去除接触损失导致RTE与CD严重下降；去除时序损失使RRE上升；无测试时优化的原始HOI扩散结果在所有指标上均逊于完整方法。\n- 训练与推理设置：2块NVIDIA H20 GPU、AdamW优化器、学习率2.5e-4；身体扩散训练于AMASS、100STYLE、GRAB、PA-HOI、HIMO，HOI扩散训练于GRAB、PA-HOI、HIMO；训练序列以30 FPS采样、长度64–256帧，推理采用DDIM 200步采样。"
}