{
  "paper_id": "9fedfff04335190a40428a6309c89745",
  "paper_title": "EGOFOUND3R: END-TO-END EGOCENTRIC HAND RECONSTRUCTION IN WORLD SPACE WITH POINT-WISE INTERACTION ATTRIBUTES",
  "paper_authors": [
    "Hongming Fu",
    "Jingcheng Shi",
    "Wenjia Wang",
    "Binhua Zuo",
    "Bo Zhao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "自我中心视频已成为具身模型的重要监督来源，其价值取决于能否在世界坐标中恢复手部运动，但相机运动和手部遮挡使该任务十分困难。现有重建流程通常将手部估计与场景估计分离，把交互属性留给独立的任务专用模型，并对每个视频调用多个模型；此前没有重建模型能够同时估计这些属性，吞吐量也因此成为大规模标注的实际约束。本文提出 EgoFound3R，这是一个统一的端到端模型，可在与场景共享的度量尺度下估计世界空间手部几何，并预测逐点可见性、接触和距离等交互属性。模型整合三项设计：结构化手部提示将预训练几何先验迁移至世界空间手部重建；显式手部表示同时解码手部几何与交互属性；共享参数多速率设计降低推理成本。这些设计使其能够在一次前向传播中完成手部几何和逐点属性预测。在 OakInk-v2、TACO 和 HOI4D 上，EgoFound3R 较以往方法将 MPJPE 分别降低 43.2%、22.4% 和 11.6%，在同一遍推理中预测逐点接触和距离，并实现约 6 倍的吞吐量提升。\n",
  "keywords": [
    "自我中心视频",
    "世界空间手部重建",
    "端到端模型",
    "逐点交互属性",
    "可见性",
    "接触预测",
    "点到面距离",
    "结构化手部提示",
    "多速率推理",
    "具身智能"
  ],
  "paper_institutions": [
    "School of AI, Shanghai Jiao Tong University",
    "QuicRobot",
    "Rutgers University",
    "The University of Hong Kong"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:59.404069Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n该研究针对自我中心视频世界空间手部重建中的相机自运动、手物遮挡、单目尺度缺失以及大规模标注吞吐量受限问题。已有方法通常串联相机空间手部估计、相机跟踪、运动补全和接触预测等多个模型，导致几何先验无法共享、误差跨阶段累积并重复编码视觉信息；而接触、可见性和距离等属性又由独立模型处理，手部定位误差会继续传播。论文基于大规模 3D 几何预训练模型可编码场景上下文这一背景，提出统一端到端模型 EgoFound3R：它冻结 VGGT-Ω 骨干及其内置 DINOv3 特征，仅训练结构化根节点、关节、表面提示、适配器和预测头，通过双向时序 Transformer 关联双手，并以手部高密度观测、场景低密度锚点聚合的共享参数多速率机制减少冗余计算。模型采用显式点表示，从同一点特征回归根相对关节与顶点并解码可见性、接触和距离；其度量放置机制可由核心关系 $J_j=t+\\Delta J_j,\\ V_v=t+\\Delta V_v$ 概括，即由根节点平移 t 与预测的关节、顶点偏移组合出三维点，再结合预测相机、度量头和推理时原始深度对齐将手放入统一世界坐标。训练混合 H2O、HOT3D Aria、OakInk-v2、TACO、HOI4D、ARCTIC 和 STERA-10M；主评测使用 OakInk-v2、TACO 和 HOI4D，因为三者具备完整度量套件且采集设备与物体词汇不同，可检验跨数据集泛化，默认步长为 5。实验以 MPJPE、MPVPE、Raw/RR/PA/Sim(3)/W/WA 等对齐方式评估几何，以精确率、召回率、F1 评估接触和可见性，以 MAE 评估点到面距离。结果显示 MPJPE 分别降低 43.2%、22.4% 和 11.6%，接触 F1 达到 0.493、0.697、0.675，21 关节可见性 F1 达到 0.802、0.880、0.885，并在 512×512 分辨率下达到 28.69 H FPS，约为 WiLoR 的 6 倍。该方法适用于灵巧操作、世界模型和视觉—语言—动作策略所需的大规模第一视角手部标注，主要约束是依赖单目视频、尺度需借助手部与深度证据约束，并且任意时刻插值和长片段拼接使用未来帧，因而属于离线方法；后续可探索在线流式处理以支持实时场景。\n\n### 关键要点\n\n- EgoFound3R 用单一端到端模型替代检测器、手部重建器、相机跟踪器和接触预测器的串联流程，一次前向同时输出世界空间手部几何与交互属性。\n- 结构化手部提示分为根节点、关节和表面查询，从冻结的 VGGT-Ω/DINOv3 全图特征中读取信息，无需外部检测器、裁剪阶段、深度传感器或标定输入。\n- 显式点表示从同一特征解码关节、顶点、可见性、接触和距离，使手部放置、关节姿态和接触状态在点级别保持对齐。\n- 接触标签将物体接触与对侧手接触合并为统一的逐点状态且不识别接触对象，因此推理时不需要物体网格、物体位姿或对象模板。\n- 多速率设计让手部观测以高密度运行，而场景锚点以步长 $s\\in\\{1,\\ldots,5\\}$ 稀疏聚合；默认 S5 复用同一套参数，通过门控残差池化降低计算量。\n- 根节点位置由二维观测射线、预测的相对关节、腕部约束和学习到的深度先验恢复，度量头结合场景摘要与手部特征确定尺度，并在推理时用投影手部顶点与原始深度的一致性进行细化。\n- 训练使用七个自我中心数据集，骨干保持冻结，训练设置包括 256×256 分辨率、AdamW 优化器、3200 个训练步和有效批量大小 64。\n- 通用评测包含 2378 个互不重叠的 2 秒窗口，其中 OakInk-v2、TACO 和 HOI4D 分别使用 400、400 和 461 个评测片段，并提供完整几何与属性指标。\n- 在三个主数据集上，EgoFound3R 较最强基线将 MPJPE 分别降低 43.2%、22.4% 和 11.6%，同时在接触和可见性 F1 上均优于所比较方法。\n- 效率实验显示其在单张 NVIDIA H20、512×512 输入下达到 28.69 H FPS，而 WiLoR 为 4.81 FPS，单遍推理避免了多阶段成本累加。\n- 消融表明减小模型容量、移除 VGGT-Ω、限制为单向手—场景交换或改用 MANO 参数回归都会降低几何、接触、可见性或距离性能。\n- 该方法因请求时刻插值和重叠片段尺度拼接需要未来帧而属于离线方法；Dyn-HaMR 和 InteractVLM 等高成本基线仅在匹配的 100 窗口子集上进行对照评测。"
}