{
  "paper_id": "6565453fa2f87c001b758ef1ae4bbe0a",
  "paper_title": "WHOLE: World-Grounded Hand-Object Lifted from Egocentric Videos",
  "paper_authors": [
    "Yufei Ye",
    "Jiaman Li",
    "Ryan Rong",
    "C. Karen Liu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "自我中心操作视频因交互期间的严重遮挡以及物体随人体移动频繁进出相机视野而极具挑战。现有方法通常孤立地恢复手部或物体姿态，二者在交互期间均表现不佳且无法处理视野外情形，其独立预测还常导致不一致的手-物体关系。我们提出WHOLE，一种在给定物体模板条件下从自我中心视频整体重建世界坐标系中手部与物体运动的方法。我们的关键洞察是学习手-物体运动的生成先验，以联合推理它们的交互；测试时，预训练先验被引导生成符合视频观测的轨迹。这种联合生成式重建大幅优于分别处理手与物体再进行后处理的方法。WHOLE在手部运动估计、6D物体姿态估计及其相对交互重建上均取得最先进性能。",
  "keywords": [
    "自我中心视频",
    "手-物体交互重建",
    "扩散模型",
    "生成运动先验",
    "世界坐标系4D重建",
    "6D物体姿态估计",
    "MANO",
    "HOT3D",
    "视觉语言模型接触检测",
    "分类器引导生成"
  ],
  "paper_institutions": [
    "Stanford University",
    "Amazon FAR (Frontier AI & Robotics)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:06.855712Z",
  "template_tag": "simple",
  "summary": "### 摘要\n自我中心(egocentric)操作视频因交互过程中的严重遮挡、物体随人体移动而频繁进出视野而极具挑战，现有方法通常孤立地恢复手部或物体姿态，在交互期间表现不佳、无法处理视野外情形，且独立预测常导致手-物体关系不一致。相关研究包括世界坐标系下的人体/物体重建与相机运动估计，以及局限于局部参考系、短时窗的手-物体交互(HOI)重建，但简单组合这些分离方案不足以完成自我中心交互重建。为此，本文提出WHOLE，在给定物体模板与度量SLAM自我中心视频的条件下，将重建形式化为基于生成运动先验的引导生成过程：训练一个以粗略手部轨迹和物体模板为条件的扩散模型，建模手-物体间的相互动力学与接触关系，其核心训练目标为条件DDPM损失 L_DDPM = E[w_n·‖x̃₀ − D_φ(x_n | n, H̄, O)‖²]，辅以交互损失、一致性损失与时间平滑损失；测试时通过分类器引导，利用2D分割掩码和经空间接地视觉提示增强的VLM所标注的二值接触线索，引导预训练先验生成与视频观测一致的全局3D轨迹。实验在HOT3D数据集的HOT3D-CLIP子集上进行(由Aria眼镜采集、含经验证的手-物体姿态、模板及重力感知度量SLAM相机轨迹标注，每序列150帧)，用2443个序列训练扩散模型，保留50个位移大于5cm的动态物体轨迹评估；选择该数据集是因为其提供真实世界自我中心手-物体交互及世界坐标系真值，可验证方法在遮挡、截断和视野外等困难条件下的有效性。评估采用手部指标(WA/W-MPJPE、PA-MPJPE、ACC-NORM)、6D物体姿态指标(ADD/ADD-S的AUC)及交互对齐误差：WHOLE取得WA-MPJPE 3.26cm、W-MPJPE 10.41cm、ACC-NORM 0.58、PA-MPJPE 6.67mm的手部结果，物体全测试集ADD 51.1、ADD-S 69.9，并在接触、截断、视野外子集上全面领先HaMeR、HaWoR、FoundationPose及其组合基线，验证了联合生成式重建优于分离处理加后处理的范式；消融亦表明VLM接触标注接近真值上限、扩散与引导交替进行至关重要。未来方向包括扩展到场景级多物体重建、借助LLM检索或无模板生成放松已知模板假设、以及利用大规模手-物体数据集提升泛化。该能力可支撑机器人从人类演示学习与沉浸式AR/VR等现实应用，但当前方法假设已知物体模板、每个手-物体对独立重建且先验仅基于单一数据集训练，单块RTX 6000 GPU上处理150帧片段约需59秒(其中引导步骤占59.06s)。\n\n### 关键要点\n- **任务定义**：WHOLE在给定度量SLAM自我中心视频与3D物体模板的条件下，在世界坐标系中整体重建双手的MANO关节运动、物体SE(3) 6D轨迹及双手二值接触标签，输出全局一致的4D手-物体轨迹。\n- **核心机制**：训练以粗略手部轨迹和物体模板(BPS编码)为条件的扩散先验建模手-物体相互动力学与接触；测试时通过分类器引导修改扩散分数 ∇log p(x_n|ŷ)=∇log p(x_n)−w∇g(ŷ,x_n)，使生成既符合先验又忠实于视频观测，且比SDS更快、不易模型崩溃。\n- **表示设计**：手部用MANO参数(全局朝向、平移、姿态PCA、形状)表示，物体姿态用9D SE(3)表示，并在重力对齐的局部相机坐标系中规范化序列，使模型聚焦相对手-物体运动而非任意全局旋转，规范段可变换回世界坐标并拼接成长序列。\n- **鲁棒化训练**：为避免过拟合特定现成手部估计器，训练时对真值MANO参数注入轨迹级与逐帧噪声并随机丢帧模拟遮挡截断，与真实估计条件联合训练。\n- **VLM接触检测**：通过分割并索引手与候选物体、叠加彩色掩码、提供5个标注示例做上下文校准，并以「每手至多接触一个物体」等验证规则约束JSON输出，将接触检测F1从57%提升至81%，接近30fps真值标注的性能。\n- **数据与设置**：在HOT3D-CLIP(Aria眼镜采集、含验证标注与重力感知度量SLAM)上训练2443个150帧序列，保留50个位移>5cm的动态物体轨迹测试；网络为4层transformer解码器、12.35M参数，训练100万步，训练接触标签由邻近(<5mm)定义。\n- **手部结果**：WHOLE取得WA-MPJPE 3.26cm、W-MPJPE 10.41cm、ACC-NORM 0.58、PA-MPJPE 6.67mm，在全局对齐、时间平滑与局部姿态精度上整体最优，局部手部姿态较HaWoR明显提升，凸显统一生成框架联合重建的优势。\n- **物体与交互结果**：全测试集ADD 51.1、ADD-S 69.9，在接触(55.8/77.3)、截断(42.5/60.2)、视野外(28.8/43.8)子集上大幅超越FoundationPose(36.1/51.9)及FP+HaWoR组合基线，交互对齐误差同样领先，证明统一方法比现成方法加后优化更可靠。\n- **消融发现**：VLM标注接触(3fps)接近真值(30fps)上限；扩散与引导交替进行显著优于「先生成后优化」变体(物体ADD 51.1对44.3)；移除交互损失使物体ADD从51.1降至28.5，证明建模手-物体耦合的重要性。\n- **零样本泛化**：在未见过的H2O数据集上零样本测试时性能适度下降(ADD 44.7)，而RGB条件基线H2OTR在HOT3D上灾难性崩溃(ADD 3.2)，表明运动空间先验的域差距小于外观表示，但扩展训练数据仍是重要方向。\n- **长视频处理与效率**：通过重叠滑动窗口并行去噪并混合重叠区域处理超过120帧的序列；单块RTX 6000 GPU上150帧片段平均59.34秒(引导占59.06s、扩散仅0.28s)，峰值内存14GB，远快于需30小时的HOLD等方法。\n- **局限与应用**：当前每个手-物体对独立重建、假设已知物体模板、先验仅单数据集训练；框架可扩展为手引导HOI规划器，给定粗略手轨迹与抓放时刻即可无视频输入合成多样交互运动，支撑机器人模仿学习与AR/VR等场景。"
}