{
  "paper_id": "9fedfff04335190a40428a6309c89745",
  "paper_title": "EGOFOUND3R: END-TO-END EGOCENTRIC HAND RECONSTRUCTION IN WORLD SPACE WITH POINT-WISE INTERACTION ATTRIBUTES",
  "paper_authors": [
    "Hongming Fu",
    "Jingcheng Shi",
    "Wenjia Wang",
    "Binhua Zuo",
    "Bo Zhao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "自我中心视频已成为具身模型的重要监督来源，其价值取决于能否在世界坐标中恢复手部运动，但相机运动和手部遮挡使该任务十分困难。现有重建流程通常将手部估计与场景估计分离，把交互属性留给独立的任务专用模型，并对每个视频调用多个模型；此前没有重建模型能够同时估计这些属性，吞吐量也因此成为大规模标注的实际约束。本文提出 EgoFound3R，这是一个统一的端到端模型，可在与场景共享的度量尺度下估计世界空间手部几何，并预测逐点可见性、接触和距离等交互属性。模型整合三项设计：结构化手部提示将预训练几何先验迁移至世界空间手部重建；显式手部表示同时解码手部几何与交互属性；共享参数多速率设计降低推理成本。这些设计使其能够在一次前向传播中完成手部几何和逐点属性预测。在 OakInk-v2、TACO 和 HOI4D 上，EgoFound3R 较以往方法将 MPJPE 分别降低 43.2%、22.4% 和 11.6%，在同一遍推理中预测逐点接触和距离，并实现约 6 倍的吞吐量提升。\n",
  "keywords": [
    "自我中心视频",
    "世界空间手部重建",
    "端到端模型",
    "逐点交互属性",
    "可见性",
    "接触预测",
    "点到面距离",
    "结构化手部提示",
    "多速率推理",
    "具身智能"
  ],
  "paper_institutions": [
    "School of AI, Shanghai Jiao Tong University",
    "QuicRobot",
    "Rutgers University",
    "The University of Hong Kong"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:59.404069Z",
  "template_tag": "deep_read",
  "summary": "# EGOFOUND3R: END-TO-END EGOCENTRIC HAND RECONSTRUCTION IN WORLD SPACE WITH POINT-WISE INTERACTION ATTRIBUTES\n\n\n**作者 / Authors:** Hongming Fu, Jingcheng Shi, Wenjia Wang, Binhua Zuo, Bo Zhao\n\n\n**单位 / Institutions:** School of AI, Shanghai Jiao Tong University, QuicRobot, Rutgers University, The University of Hong Kong\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档含完整正文与附录 A–L，覆盖方法、训练目标（附录 B）、效率（附录 C）、指标与排名（附录 D）、几何/时序/接触/可见性/场景消融（附录 E–J）及定性结果（附录 K–L）。未提供代码仓库、数据卡、许可或发表信息；项目页 mint-sjtu.github.io/EgoFound3R.io 未在本材料内核验。表 1 等表格在 OCR/排版中有列错位风险，精确值需对照原文。Archetype：method。理由是核心贡献为一个端到端重建模型及其训练/推理设计；虽强调吞吐与系统集成，但不是系统架构论文，也不是综述。影响解释的缺口：外部 SOTA、代码可复现性、数据许可待核验；baseline 的接触定义、GT 几何/外参使用和 100 窗口子集使跨方法比较需谨慎。\n\n\n\n\n\n### 问题\n\n问题：从单目第一视角 RGB 视频恢复世界坐标系中的双手几何（根平移、关节点、表面点），同时预测逐点交互属性（可见性、接触、到接触面距离），并输出足以把手放入场景的相机/深度/尺度。重要性：第一视角视频是具身模型与视觉—语言—动作策略的重要监督来源；世界空间手部位置与交互状态不随相机移动，是操作监督的核心；当前数据规模达 10^5–10^6 小时量级，标注吞吐直接决定可用监督量。现有方法的主要不足：相机空间手估计器只给局部手形，世界空间方法如 HaWoR、Dyn-HaMR 需串接相机跟踪或运动补全，接触交给 ContactOpt、S²Contact、InteractVLM 等额外模型或后处理；各阶段重复视觉编码、表示不共享，误差跨阶段和长序列累积；没有重建模型同时估计可见性、接触和距离，属性预测以手为给定输入，手或放置误差会传播到属性。形式化目标可写为：给定单目视频帧 I_{1:T} 与请求输出时刻 R，输出每时刻每只手的根平移 t、关节 J_j、表面点 V_v（世界系）及逐点属性 v̂_p、ĉ_p、d̂_p，同时输出相机位姿、场景深度与尺度；通过几何、可见性、接触、距离、2D 与场景/相机损失联合训练（附录 B）。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概述：EgoFound3R 用冻结几何骨干、结构化手提示、显式点表示和共享参数多速率手—场景交互，在单次前向中重建世界坐标系手几何并预测逐点可见性、接触与距离。\n\n核心思路与贡献：以冻结的 VGGT-Ω（内置 DINOv3 特征）为共享视觉骨干，通过 root/joint/surface 三类手提示读取全图场景上下文，并用双向时序 Transformer 连接双手（Sec 3.2，Fig 3）。手提示在密集手率 H 上运行，场景锚点 G⊆H 以步长 s∈{1,…,5} 稀疏更新；相邻手提示经门控残差池化注入锚点（式 1），聚合后的场景上下文再回灌手率（Sec 3.3，Fig 4）。显式点表示从同一组点特征解码关节/表面点及逐点可见性、接触、距离，表面分支继承关节特征并沿 MANO 面片混合；接触合并物体接触与对侧手接触但不指定对象（Sec 3.4）。根平移由 2D 射线、相对关节和深度先验求解（式 2），度量尺度由场景摘要与手特征预测并在推理时用投影手顶点与原始深度校准（Sec 3.5，Fig 5）。贡献相对已有流水线在于：用一个模型替代手估计、相机跟踪和接触预测的串接；将交互属性放入重建模型同点解码；用多速率设计降低推理成本且不复制参数；推理不需要深度、标定、物体模板或检测裁剪阶段。\n\n最重要结果与条件：作者报告在 OakInk-v2、TACO、HOI4D 上 MPJPE 相对最强基线降低 43.2%、22.4%、11.6%；21 关节接触 F1 为 0.493/0.697/0.675，可见性 F1 为 0.802/0.880/0.885（Tab 1–3）。效率上，512×512 下 28.69 H FPS，WiLoR 为 4.81 FPS，约 5.97×，正文概括为约 6×（Fig 8，Tab 6）。这些数字有表格直接支持，但条件包括：主表只覆盖三个数据集；Dyn-HaMR 与 InteractVLM 使用 100 窗口匹配子集；部分相机空间基线以 GT 外参放置（†）；两个几何接触基线还接收 GT 手/物体几何；吞吐在单张 NVIDIA H20、各自发布配置下测量。作者关于“世界空间”的优势在 Raw/RR 及自预测相机的 W/WA 组内成立；HOI4D 的 WA 上 EgoFound3R 为 49.84，而使用 GT 外参的 WiLoR 为 24.57，不能解读为所有对齐口径全面领先。\n\n优先章节/图表与下一轮问题：优先 Sec 3.2–3.6、Fig 3–5、Tab 1–4、Fig 8/Tab 6，以及附录 A（token layout 与 H↔G bridge）、B（损失与监督掩码）、D（W/WA 与 †/‡ 排名规则）、I（多速率与结构消融）、J（场景/相机）。下一轮需问：提示如何组织与回灌、式(1)池化残差和式(2)根求解的具体数值流程、度量尺度校准时手与场景谁被重算、接触/距离标签的容差与跨数据集一致性、效率比较是否同等输入与后处理、遮挡/快速运动/长序列漂移下的失败模式。过渡：下一轮将按方法数据流拆解提示、跨速率交互与逐点解码，并核对证据链。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入→关键步骤→输出：输入为单目第一视角 RGB 视频帧 I_{1:T} 与请求输出时刻 R；网络在手观测时刻集合 H 上运行，场景锚点 G⊆H 以步长 s∈{1,…,5} 稀疏更新，最终在 R 返回手与相机输出。\n\n步骤 1：共享视觉特征与结构化手提示（Sec. 3.2，Fig. 3）。冻结的 VGGT-Ω（内置 DINOv3 特征）编码整帧，场景聚合器在锚点上生成跨帧场景 token；适配器把上下文写入 root/joint/surface 三类手查询。root 查询定位手，joint 查询描述关节，surface 查询描述接触表面；同一特征上还用热图、偏移和 in-view 分数做手检测，因此不需要外部检测-裁剪阶段。双向时序 Transformer 在 H 上连接左右手。只有提示、适配器、预测头训练，骨干冻结。\n\n步骤 2：跨速率 H↔G 交互（Sec. 3.3，式(1)，Fig. 4a,b）。对每个锚点 g，把其步长块内有效手提示池化为 p̄_g，再以门控残差更新锚点：\n p_g = p_{a_g} + γ · f( LN(p̄_g − p_{a_g}), LN(p_{a_g}) )。\n其中 p_{a_g} 为池化前锚点提示，p_g 为更新后锚点，f 为残差投影，γ 为标量门，LN 为层归一化。动机：手需要密集观测，场景不需要按手率重复聚合；残差零初始化使训练从稠密行为开始，s=1 可精确退化为稠密配置，s 越大只降低聚合密度而不复制参数。锚点再进入冻结聚合器（只训练适配器），随后以槽位匹配的交叉注意力把全局 token 回灌到手率；同一接口也承载手→锚点信息，因此是双向桥。\n\n步骤 3：显式点表示与逐点属性（Sec. 3.4，Fig. 4c,d）。root、joint、surface 查询读取同一组点特征；joint/surface 回归相对 root 的偏移 ΔJ_j、ΔV_v，surface 分支继承关联关节特征并沿 MANO 入射面混合，使点云尊重手部连通性。三个轻量头从同一点特征解码可见性、接触、到接触面距离：前两者用 sigmoid，距离用非负解码；接触合并“物体接触”和“对侧手接触”为一个逐点状态且不指定对象，因此推理不需要物体模板或物体位姿。手仍受 MANO 拓扑监督，但几何以点坐标而非姿态/形状参数输出。\n\n步骤 4：根平移与度量尺度（Sec. 3.5，式(2)，Fig. 5）。式(2) 本身是组合式：\n J_j = t + ΔJ_j， V_v = t + ΔV_v，\n其中 t 为根平移，ΔJ_j/ΔV_v 为预测的关节/顶点相对偏移，J_j/V_v 为得到的点坐标，最后由预测相机表达在世界系。真正求 t 的是 wrist-anchored、confidence-weighted robust fit：联合观测到的 2D 射线 u、预测相对关节、学习到的深度先验 z_p 和手内参 K_H（Appendix A）。原文未给闭式解；若写成优化式（推断），可表示为 t* = argmin_t Σ_j w_j ρ(||Π_{K_H}(t+ΔJ_j) − u_j||) + λ_z ρ_z(z(t) − z_p)，其中 ρ/ρ_z 为鲁棒损失、w_j 为置信权重。该式只用于解释，不是论文给出的公式。\n\n度量尺度：metric head 从场景摘要、detached 手特征、in-view 概率和 scale prompt 预测场景尺度及 raw-to-meter 先验 λ0=ρ̂/ρ_raw；推理时把可见手顶点投影到原始深度图，用一致性因子进一步校准。校准只重标场景深度与相机平移，旋转、内参和相机空间手保持不变，手分支不重算。\n\n步骤 5：训练与输出（Sec. 3.6，Appendix B）。损失包括：置信加权鲁棒几何损失 L_geom（对归一化偏移做 L1，并用 log-confidence 项）；可见性 BCE；接触 BCE 加学习置信；距离 SmoothL1：L_dist = SmoothL1(ℓ̂_p, log(1+1000 d_p))，d_p 为米，1000 转为毫米；2D 热图/偏移/投影损失；场景与相机 L_3R。总损失为各项加权和。推理时网络只在手率运行，R 时刻由确定性插值给出，195 顶点用固定 Mesh Graphormer level-1 上采样到 778 顶点；重叠片段按共享帧重标尺度后拼接。插值使用未来帧、拼接比较整段，因此是离线方法。\n\n输出：每时刻双手根平移、21 关节、195/778 表面点、逐点可见性/接触/距离，以及场景深度、相机位姿、内参与度量尺度；无需深度输入、标定、物体模板或检测裁剪阶段。\n\n\n\n\n\n### 评测设置\n\n数据集与划分：训练用 7 个第一视角数据集：H2O、HOT3D Aria、OakInk-v2、TACO、HOI4D、ARCTIC、STERA-10M；STERA-10M 只训练、不评测。评测共 2,378 个 2 s 窗口，按各数据集固定比例从测试划分采样，与训练不重叠；主表只报告 OakInk-v2、TACO、HOI4D，其余用于定性。Tab. 7 的训练序列/评测窗口数：OakInk-v2 565/400，TACO 839/400，HOI4D 1,431/461，H2O 138/283，HOT3D Aria 136/400，ARCTIC 226/434。\n\n指标与协议：几何为 mm 的 MPJPE/MPVPE，六种对齐：Raw（不对齐）、RR（减根/腕）、PA（逐帧 Procrustes）、Sim(3)（每窗口一个相似变换）、W（世界系，窗口前两帧拟合 Sim(3)）、WA（世界系，全窗口有效点拟合 Sim(3)）。W/WA 中自预测相机与 †GT 外参分组排名；‡ 表示 EgoFound3R 用 GT 内参但预测外参。接触/可见性用 P/R/F1；距离用 MAE(All/Pred/GT) mm。场景用 ATE（m，窗口 Sim(3) 后）、旋转误差（°）、AbsRel、RMSE（m）、δ1、尺度规约 s^d；ReViV 这类非度量深度需逐窗口拟合尺度。\n\n基线：几何 WiLoR、PAD-Hand、EgoForce、HaWoR、Dyn-HaMR、ReViV；接触 InteractVLM、S²Contact、ContactOpt；可见性 HVD；场景 HaWoR、Dyn-HaMR、ReViV。Dyn-HaMR 与 InteractVLM 因成本各在 100 窗口子集上评测，并配同窗口 EgoFound3R 对照，子集内排名、不与全量混排。\n\n训练与推理环境：AdamW（β=0.9/0.999，ε=1e-8，weight decay 0.01），lr 2.5e-4，100 步 warmup 后 cosine 到 1e-5，8×NVIDIA H20 每卡 batch 8（有效 64），训练分辨率 256×256，3,200 步，梯度裁剪 1.0，bfloat16 + DeepSpeed ZeRO-2；仅提示、适配器、预测头训练，VGGT-Ω 冻结。吞吐在单张 H20、512×512、2 s 窗口、500 帧测量，报告 H FPS（手观测帧/秒）、R FPS（3× 时间上采样后的输出帧/秒）、VRAM 与总参数；默认 stride s=5。\n\n缺失与可能不公平：论文未给各数据集混合权重、增强、随机种子、完整损失权重、代码/许可与数据卡；训练 256²、推理 512² 的差异需核对是否影响比较。† 基线用 GT 外参、‡ 本模型用 GT 内参，说明世界指标并非完全同等输入。接触基线中 ContactOpt/S²Contact 额外获得 GT 手/物体几何和物体 6DoF，且其 2 mm 覆盖定义与本模型 18 mm/14 mm 接触带不同；InteractVLM 使用其原标注与 100 窗口子集。吞吐比较使用各系统发布配置，H FPS 是单次前向而非包含检测、跟踪、接触后处理、插值和拼接的完整流水线；PAD-Hand 含 WiLoR 前置。主表仅三数据集，跨数据集结论需谨慎。\n\n\n\n\n\n### 结果与证据\n\n主要结果与证据强度：\n\n几何（Tab. 1，主表三数据集，Raw MPJPE）：EgoFound3R 为 51.81/54.64/47.28 mm，对最强基线 WiLoR 91.24、WiLoR 70.40、HaWoR 53.46 分别降低 43.2%、22.4%、11.6%；RR 为 17.77/18.54/16.63。自预测相机组内 W 为 30.88/40.03/159.70，WA 为 18.77/25.16/49.84，低于 HaWoR、Dyn-HaMR、ReViV 的对应组内值。但 HOI4D 的 WA 上，EgoFound3R 49.84 仍差于 †WiLoR 24.57 和 †PAD-Hand 25.04；因此“世界空间全面领先”不成立于所有外参口径。匹配 100 窗口下（Tab. 15），HOI4D 的 W 为 EgoFound3R 205.48 vs Dyn-HaMR 173.62，说明该子集上 Raw 大幅领先并不保证世界指标领先。\n\n接触（Tab. 2，21 关节）：F1 0.493/0.697/0.675，P 0.510/0.654/0.612，R 0.665/0.777/0.835；高于 S²Contact 0.079/0.146/0.284、ContactOpt 0.154/0.259/0.435，也高于 100 窗口 InteractVLM 0.202/0.472/0.281，但后者标注约定不同且不参与排名。195 顶点上 F1 0.479/0.661/0.656，仍高于几何基线；778 顶点上降至 0.320/0.320/0.445，显示插值/稀疏点上的接触仍弱。\n\n可见性（Tab. 3，21 关节）：F1 0.802/0.880/0.885，高于 HVD 的 0.792/0.853/0.831；P 在两个子集更高、R 在两个子集更高，并非每列全胜。195 顶点 F1 0.595/0.567/0.660，778 顶点 0.588/0.565/0.663，无基线可比。\n\n效率（Fig. 8/Tab. 6）：默认 EgoFound3R-C 在 512² 为 28.69 H FPS、85.95 R FPS、22.57 GiB、1.356B 参数；WiLoR 4.81 H FPS，比值 5.97×（正文概括约 6×）。同表 EgoFound3R-A/B 分别 48.63/43.65 H FPS；ReViV 14.77，HaWoR 2.93，Dyn-HaMR 1.20；VGGT-Ω 21.05，DA3-Large-1.1 50.15。该证据支持“单次前向吞吐高”，但条件是单张 H20、各自发布配置、H FPS 不含离线插值/拼接与后处理。\n\n消融（Tab. 4，TACO）：S5 的 Raw 54.64、Contact F1 0.697、Vis F1 0.880、MAE(All) 26.26。去掉冻结 VGGT-Ω 后 Raw 82.59，接触 F1 0.661；限制为单向交换后 Raw 78.82、接触 F1 0.628；改用 MANO 参数回归 Raw 86.66、接触 0.643、可见性 0.854；0.05B 与 0.1B 容量分别 Raw 109.71/96.90、接触 F1 0.542/0.579。这些支持“预训练几何先验、双向交换、显式点表示、容量”均有贡献，但主文只在 TACO 展示，Appendix I 才扩展到三数据集；且部分变体同时改变参数/训练条件，不能视为完全受控的因果分解。\n\n多速率：Tab. 17 显示 TACO 上 S1 Raw 67.42 差于 S5 54.64（OakInk 53.15 vs 51.81 略差；HOI4D 52.05 vs 47.28 差），说明“越密越准”不成立，默认 S5 是精度/成本折中；Tab. 21 中 S5 的 ATE 0.0055 略差于 S1 0.0043，进一步表明多速率不是全面占优。\n\n结论：证据总体支持“一个模型同时给世界空间手几何与逐点属性、吞吐显著更高”的核心主张，但强因果结论受三数据集主表、100 窗口子集、GT 外参/内参分组、接触定义差异、基线获得 GT 几何及离线后处理未计入吞吐等条件限制；HOI4D 的 WA/W 与匹配子集结果尤其不能解读为所有口径全面领先。\n\n\n\n\n\n### 相关工作\n\n最近相关工作的差异与代价（除特别说明外均据论文描述，代码与第三方复现未核验）：\n\n1) 与 WiLoR、PAD-Hand、EgoForce 等相机空间手估计器相比：它们输出相机空间手形/姿态，不估计世界坐标相机轨迹，也不在同一点上输出可见性、接触、距离。论文在 W/WA 指标中给这类方法使用 GT 外参（表中 †），因此它们的“世界空间”数字不是端到端预测；EgoFound3R 用自预测相机，优势主要在 Raw/RR 与自预测相机组内成立。代价是 EgoFound3R 依赖冻结 VGGT-Ω 骨干，默认配置总参数约 1.356B、峰值显存约 22.57 GiB（512²、EgoFound3R-C，Tab. 6），并非轻量模型。\n\n2) 与 HaWoR、Dyn-HaMR 等世界空间流水线相比：论文把 HaWoR 描述为“手估计 + 相机跟踪/运动补全”的串接方案，Dyn-HaMR 进一步做动态相机下的 4D 手运动恢复；二者不输出逐点交互属性，长序列会漂移，且需要多个模型/阶段。EgoFound3R 的差异是一次前向同时给手几何、场景/相机与属性；代价是离线插值、195→778 密化与跨片拼接仍在网络外，且必须按片段处理。\n\n3) 与 ReViV 最接近的联合重建系统相比：ReViV 联合预测手关节、相机与场景深度，但不提供手表面、接触、距离；Tab. 1 中其 PA/世界误差显著更高，深度还需逐窗口拟合尺度。EgoFound3R 增加显式表面点与逐点属性，并把尺度校准限制为只重标场景深度与相机平移。\n\n4) 与 ContactOpt、S²Contact、InteractVLM 等接触模型相比：前两者依赖 GT 手/物体几何或物体 6DoF，InteractVLM 是大型多模态模型（13.05B，0.41 H FPS）且使用不同接触标注约定；EgoFound3R 在重建模型内同点解码接触与距离，推理不需要物体模板/网格。代价是接触标签由 18 mm（关节）/14 mm（195 顶点）阈值定义，和 2 mm 覆盖式基线不可直接等同。\n\n5) 与 Human3R 等“human prompt + 几何骨干”路线相比：EgoFound3R 的差异点是把 root/joint/surface 提示、点级属性头、多速率场景锚点整合进一个手重建模型，并显式以 MANO 拓扑监督但不回归 MANO 参数；其实际增益仍受三数据集主表、100 窗口子集和 GT 几何基线等条件限制。\n\n\n\n\n\n### 关键图表解读\n\n1) Tab. 1（Sec. 4.2）：联合重建的 MPJPE 主表，核心证据是 Raw/RR 上三数据集均最低，并在自预测相机组内取得最低 W/WA；支撑“端到端世界空间手重建”主张。限制：† 基线用 GT 外参，‡ 本模型用 GT 内参；Dyn-HaMR 为 100 窗口子集且不参与全量排名；HOI4D 的 WA 仍差于 †WiLoR/†PAD-Hand，表中部分行列存在 OCR 错位风险。\n\n2) Tab. 2（Sec. 4.2）：21 关节接触 P/R/F1，支撑“在同一点特征上解码接触”的主张；EgoFound3R 三数据集 F1 均最高。限制：ContactOpt/S²Contact 获得 GT 手/物体几何且用 2 mm 覆盖定义，InteractVLM 用不同标注与 100 窗口子集，因此不是同等输入、同等标签的对比。\n\n3) Tab. 4（Sec. 4.5）：TACO 上的核心设计消融，支撑冻结 VGGT-Ω、双向 H↔G 交换、显式点表示和容量的作用；w/o Ω、1-way、MANO、0.05B 均显著退化。限制：主文只给 TACO，完整三数据集在 Appendix I；变体并非都保持同等训练预算/容量，且 S5 为默认配置而非在所有指标上严格最优。\n\n4) Fig. 8 + Tab. 6（Sec. 4.6/Appendix C）：推理效率，支撑约 5.97× WiLoR 的吞吐主张；默认 C 配置 28.69 H FPS、85.95 R FPS、22.57 GiB。限制：单张 H20、各系统发布配置、H FPS 为单次前向，不含离线插值/密化/拼接与检测-跟踪-接触后处理；显存 22.57 GiB 说明部署成本不低。\n\n5) Fig. 10（Appendix C）：固定参数、512²、2 s 窗口下扫描 s∈{1,3,5} 的 H FPS、锚点/输出率、延迟与峰值显存，支撑“多速率是计算旋钮”的主张。限制：该图只给效率，精度随 stride 的变化在 Tab. 17；S1 并不总比 S5 准，因此不能把多速率解释为无代价加速。\n\n过渡：以上证据把“机制是否有效”收束到条件化结论；下一步应核对术语、完整图表索引与可复现性缺口。\n\n\n\n\n\n### 术语表\n\n术语与记号（按首次使用解释；创新关键项给直觉与作用）：\n\nH：手观测时刻集合，网络在此率上运行；手变化快，需要密集覆盖。G：场景锚点时刻集合，G⊆H，按 stride s 子采样；场景变化慢，用于放置手与提供尺度。R：请求输出时刻；由确定性插值从 H 恢复，不增加网络计算。s：H→G 的步长，s∈{1,…,5}，默认 5；越大越省算力。\n\nVGGT-Ω：冻结的视觉几何骨干，内置 DINOv3 特征；提供整帧场景上下文和跨帧几何先验。DINOv3：自监督视觉特征骨干。冻结：只训练提示、适配器、预测头，不更新骨干。\n\n结构化手提示：root/joint/surface 三类学习查询；root 定位手，joint 描述关节，surface 描述接触面。它们让手从全图场景特征中读取证据，而非从手部裁剪中孤立回归。in-view score：每只手是否在画面内的分数；与热图/偏移共同替代外部检测器。\n\n锚点提示 p_g：锚点 g 处更新后的提示；p_{a_g}：池化前锚点提示；p̄_g：步长块内相邻手提示的池化摘要；γ：标量门；f：残差投影；LN：层归一化。式(1) 是零初始化门控残差，作用是让手证据以压缩摘要注入场景锚点。\n\n跨速率桥：H→G 用池化+式(1)，G→H 用槽位匹配交叉注意力；同一接口双向传递，phase embedding 跨 stride 共享。\n\n显式点表示：直接解码关节/表面点坐标，而非 MANO 姿态/形状参数；好处是几何与逐点属性共用同一特征。195 顶点：Mesh Graphormer level-1 MANO 采样；778 顶点：完整 MANO 网格，由固定上采样矩阵从 195 点恢复。MANO：参数化手模型，本文只用其拓扑/面片监督与密化。\n\nt：手根平移；ΔJ_j、ΔV_v：关节/顶点相对根的预测偏移；J_j、V_v：组合后的点坐标；z_p：根查询预测的深度先验；K_H：手内参；K_G：场景锚点内参。root solve 不是直接回归 t，而是 wrist-anchored、confidence-weighted robust fit 联合 2D 射线、相对关节、深度先验与 K_H。\n\nmetric head：从场景摘要、手特征、in-view 概率和 scale prompt 预测场景尺度；λ0=ρ̂/ρ_raw 为 raw-to-meter 先验。尺度校准只重标场景深度与相机平移，不重算手。s^d：深度尺度规约，1 表示度量尺度；Tab. 20 中 EgoFound3R 为 1.1364，说明并非严格 1。\n\n逐点属性：visibility（该手点是否可见）、contact（是否接触，合并物体接触与对侧手接触但不指定对象）、distance（到物体或对侧手表面的点-面距离）。接触 GT 阈值：关节 18 mm、195 顶点 14 mm；基线常用 2 mm 覆盖带。\n\nMPJPE/MPVPE：平均每关节/每顶点位置误差（mm）。Raw：无对齐；RR：减根/腕后的相对误差；PA：逐帧 Procrustes；Sim(3)：每窗口一个相似变换；W：世界系，前两帧拟合 Sim(3)；WA：世界系，全窗口拟合 Sim(3)。P/R/F1：精确率/召回率/调和平均；AP：阈值扫描的平均精度。ATE：绝对轨迹误差（m，窗口 Sim(3) 后）；AbsRel：绝对相对深度误差；RMSE：均方根误差；δ1：max(d̂/d,d/d̂)<1.25 的像素比例。H FPS/R FPS：手观测率/输出率（帧/秒）。VRAM：峰值显存（GiB）。\n\n\n\n\n\n### 全部图表索引\n\n图表全索引（按材料中编号；位置指主文/附录；重要解释见 module_d，不重复）：\n\n图：\nFig. 1 EgoFound3R 总览，雷达图汇总 Tab. 1；Abstract/第1节；支撑“端到端 + 属性 + 效率”的定位。\nFig. 2 流水线 vs 端到端；第1节；说明串接阶段与单模型差异。\nFig. 3 方法总览：H 率编码、结构化提示、双向时序 Transformer、G⊆H 锚点、显式头与场景/度量头；Sec. 3.1–3.3；核心机制图。\nFig. 4 跨速率提示与点解码：(a,b) H/G 双率，(c,d) 共享点表示解码几何与属性；Sec. 3.3–3.4；核心设计图。\nFig. 5 根恢复、尺度对齐与输出：(a) 2D 射线+相对关节+深度先验，(b) 推理时尺度校准，(c) R 时刻输出，(d) 195→MANO 密化，(e) 片段拼接；Sec. 3.5–3.6。\nFig. 6 世界空间定性比较，两固定视角；Sec. 4.3；† 为 GT 外参放置。\nFig. 7 相机空间定性比较，含可见性/接触/距离预测与 GT；Sec. 4.4。\nFig. 8 推理效率；Sec. 4.6；支持约 6× 吞吐主张。\nFig. 9 详细技术框架：token 布局、几何交互、显式解码、辅助分支；Appendix A。\nFig. 10 固定设置下扫描全局 stride 的手率效率、锚点/输出率、延迟、峰值显存；Appendix C。\nFig. 11 各方法预测接触点的距离分布与阈值扫描；Appendix G；支持接触带与基线覆盖差异分析。\nFig. 12 ARCTIC 定性：手几何 + 逐点可见性/接触/距离；Appendix K。\nFig. 13 OakInk-v2 定性；Appendix K。\nFig. 14 TACO 手几何定性；Appendix K。\nFig. 15 TACO 逐点属性定性；Appendix K。\nFig. 16 世界空间定性比较 part 1；Appendix L。\nFig. 17 世界空间定性比较 part 2；Appendix L。\n\n表：\nTab. 1 联合重建 MPJPE（OakInk-v2/TACO/HOI4D，六种对齐）；Sec. 4.2；核心几何证据，†/‡ 与 100w 规则见题注。\nTab. 2 21 关节接触 P/R/F1；Sec. 4.2；核心接触证据。\nTab. 3 21 关节可见性 P/R/F1；Sec. 4.2；可见性证据。\nTab. 4 TACO 核心设计消融（容量、MANO、w/o Ω、1-way、S5）；Sec. 4.5；核心消融。\nTab. 5 训练配置（优化器、lr、batch、分辨率、步数、精度）；Appendix B。\nTab. 6 推理效率（G/H/R、H FPS、R FPS、VRAM、参数）；Appendix C；效率主证据。\nTab. 7 数据集划分（训练序列/评测窗口）；Appendix D。\nTab. 8 21 关节与 195/778 顶点几何；Appendix E；补充几何证据。\nTab. 9 时序一致性（速度/加速度误差）；Appendix F。\nTab. 10 匹配 100 窗口的时序一致性；Appendix F。\nTab. 11 21 关节/195/778 顶点接触；Appendix G；扩展接触证据。\nTab. 12 195/778 顶点可见性；Appendix G。\nTab. 13 接触决策阈值扫描（AP、best-F1、F1@0.5）；Appendix G。\nTab. 14 窄带 2 mm 接触比较；Appendix G；标签容差敏感性。\nTab. 15 匹配 100 窗口手几何；Appendix H；Dyn-HaMR 同窗口对照。\nTab. 16 匹配 100 窗口接触；Appendix H；InteractVLM 同窗口对照。\nTab. 17 三数据集手几何消融（含 S1–S5）；Appendix I。\nTab. 18 三数据集接触/可见性消融；Appendix I。\nTab. 19 三数据集距离 MAE 消融；Appendix I。\nTab. 20 TACO 场景/相机估计（ATE、Rot、AbsRel、RMSE、δ1、s^d）；Appendix J。\nTab. 21 TACO 场景消融；Appendix J。\n\n缺失/可读性说明：材料含 Appendix A–L，但未提供代码仓库、数据卡、许可或正式发表信息；项目页未在材料内核验。图中多数为嵌入位图，部分面板标签/数值不可读，未逐项核验；Tab. 1 等宽表存在 OCR/排版列错位风险，精确值需对照原文。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n## 可信结论\n\n- 端到端单次前向可同时输出世界系手几何与逐点属性：Tab.1–3 与 Sec.3.4 的共享点特征解码支持该机制在三个数据集上成立；但这是作者实验内的结论。\n- 冻结 VGGT-Ω + 结构化手提示有效：Tab.4 的 w/o Ω 使 TACO Raw 从 54.64 退到 82.59；这是单数据集消融，Appendix I 扩展到三数据集。\n- 双向 H↔G 交换和显式点表示有贡献：Tab.4 中 1-way Raw 78.82、MANO 回归 86.66，均差于默认 54.64；但变体并非完全等预算。\n- 多速率降低单次前向成本：Fig.8/Tab.6 的 C 配置 28.69 H FPS、22.57 GiB；这是单张 H20、512²、各系统发布配置下的测量，不含离线后处理。\n- 接触/可见性在同点解码上优于对比基线：Tab.2 21 关节 F1 0.493/0.697/0.675，Tab.3 可见性 F1 0.802/0.880/0.885；但接触标签约定不同，比较非同等输入。\n\n## 证据不足或需降级的claim\n\n- 「约 6× 吞吐」不能等同于完整管线 6×：H FPS 是单次前向，不含检测/跟踪/接触后处理/插值/778 密化/片段拼接（Appendix C）。\n- 「三个数据集世界空间全面领先」不成立：HOI4D 的 WA 上 EgoFound3R 49.84，差于 †WiLoR 24.57 与 †PAD-Hand 25.04（Tab.1）；W/WA 按外参分组排名。\n- 接触优越性受标签与输入影响：S²Contact/ContactOpt 获得 GT 手/物体几何，阈值 2 mm；本文 GT 为 18 mm 关节/14 mm 195 顶点（Appendix G）。InteractVLM 使用不同标注且仅 100 窗口。\n- 多速率并非精度上全面占优：TACO S1 Raw 67.42 差于 S5 54.64；HOI4D S1 52.05 差于 S5 47.28（Tab.17）；Tab.21 中 S5 ATE 0.0055 略差于 S1 0.0043。\n- 778 顶点接触弱：F1 0.320/0.320/0.445（Tab.11），不能把 195 点的结果外推到全网格。\n- 泛化到 H2O/HOT3D/ARCTIC/STERA-10M 只有定性或训练使用，主表仅三数据集；长视频拼接与跨片段尺度一致性未给定量长序列评测。\n- 缺少代码、数据卡、许可、完整损失权重、随机种子与混合权重；Appendix B 的接触损失公式在提供的 Markdown 中 OCR 损坏，不能据此精确复现。\n\n## 关键假设与失败场景\n\n- 假设1：单目第一视角中手与场景共享可恢复的度量尺度；失败于手长期不可见、弱纹理、纯旋转或尺度证据不足。证据：metric head 依赖 in-view 概率与手顶点-深度一致性（Sec.3.5，Appendix A）；失败后果是场景深度/相机平移被错误重标，手分支虽不重算但世界位置随场景漂移。\n- 假设2：接触可由 18/14 mm 点-面距离定义且物体/对侧手表面在训练时可用；失败于薄物体、接近但未接触、物体接触与对侧手接触混淆。接触头不指定对象（Sec.3.4），因此不能输出对象级接触或力。\n- 假设3：场景变化慢于手，可用 stride s=5 的锚点近似；失败于快速相机运动、scene cut、长遮挡。Tab.17/21 显示 S1 并非总更好，默认 S5 是折中而非普适最优。\n- 假设4：离线插值与片段拼接不改变几何；失败于长序列尺度漂移和共享帧不足。Sec.3.6 明确插值使用未来帧、拼接比较整段，故不是在线方法。\n- 假设5：冻结几何骨干的预训练先验可迁移到第一视角手；失败于新数据集域偏移。Tab.4 的 w/o Ω 支持先验有用，但只在 TACO 主表展示。\n\n## 复现计划\n\n必需制品（部分缺失即 blocker）：\n\n- 代码与训练脚本：论文未给仓库；项目页 mint-sjtu.github.io/EgoFound3R.io 未在材料内核验。blocker。\n- 冻结骨干：VGGT-Ω 权重与 DINOv3 特征接口（Wang et al., 2026b; Siméoni et al., 2026）；MANO 模型与 Mesh Graphormer level-1 195↔778 上采样矩阵（Romero et al., 2017; Lin et al., 2021）。\n- 数据：H2O、HOT3D Aria、OakInk-v2、TACO、HOI4D、ARCTIC、STERA-10M；训练序列/评测窗口数见 Tab.7；需手/物体几何、相机、接触/可见性/距离标签。数据许可与下载脚本未给，blocker。\n- 评测协议：2,378 个 2 s 窗口、六种对齐、W/WA 的 †/‡ 分组、100 窗口配对子集（Appendix D）。\n\n重要设置（据 Tab.5/Appendix C）：AdamW β=(0.9,0.999), ε=1e-8, wd=0.01；lr 2.5e-4，100 步 warmup 后 cosine 到 1e-5；8×H20 每卡 batch 8（有效 64）；训练 256²、3,200 步、梯度裁剪 1.0、bfloat16+DeepSpeed ZeRO-2；只训练提示/适配器/预测头，VGGT-Ω 冻结；默认 stride s=5；推理 512²、500 帧测量。\n\n实现步骤（伪代码，按 Sec.3/Appendix A）：\n\n```text\nfor clip in dataset:\n  F = frozen_VGGT_Omega(DINOv3(frames_at_H))\n  q_root,q_joint,q_surface = adapters(F)\n  q = bidirectional_temporal_transformer(q_root,q_joint,q_surface)\n  for anchor block of size s:\n    p_bar = attention_pool(valid hand prompts in block)\n    p_g = p_a + gamma * f(LN(p_bar-p_a), LN(p_a))  # Eq.1, zero-init gate\n  G_tokens = frozen_aggregator(anchor prompts p_g; train adapters only)\n  q = slot_matched_cross_attention(q, G_tokens)\n  dJ,dV,vis,contact,dist,z_p = point_heads(q)\n  t = robust_wrist_fit(2D rays, dJ, z_p, K_H)  # Appendix A; no closed form given\n  scene_depth,camera,K_G,scale = scene_heads(G_tokens); metric_head(...)\n  rescale scene depth and camera translation only using visible hand vertices vs raw depth\n  interpolate to R; upsample 195 to 778; stitch overlapping clips by shared-frame scale\n```\n\n未给细节：root solve 的鲁棒损失形式、置信权重、K_H 共识细节、metric head 结构、损失权重 λ、接触损失精确公式。不得臆造；需代码或补充材料。\n\n验证步骤与成功标准（建议，非论文给定）：\n\n1) 先在小规模 TACO 上复现 Tab.4：默认 S5 Raw≈54.64、w/o Ω≈82.59、1-way≈78.82、MANO≈86.66、0.05B≈109.71；方向与量级应一致，若 w/o Ω 不退化则骨干复用未实现。\n2) 复现 Tab.1–3 三数据集：Raw MPJPE 约 51.81/54.64/47.28；接触 F1 约 0.493/0.697/0.675；可见性 F1 约 0.802/0.880/0.885。允许硬件与实现差异，但排序应保持；HOI4D WA 不应宣称全面领先。\n3) 复现 Tab.6/Fig.10：512²、单 H20、C 配置 H FPS≈28.69、VRAM≈22.57 GiB；同时报告不含后处理的单次前向与含插值/拼接的端到端吞吐。\n4) 消融多速率：s=1..5 在 TACO/OakInk/HOI4D 上测 Raw、ATE、H FPS；验证 S5 是折中而非全面最优。\n5) 鲁棒性：遮挡、快速运动、手出画、长片段拼接；报告失败率与尺度漂移。\n成功标准：核心机制（冻结骨干、双向交换、显式点、多速率）方向可复现；主要指标接近报告值；端到端吞吐与显存可接受；接触在统一 14 mm 标签下仍优于基线（需重训/重评基线）。\n\n\n\n\n\n### 应用约束\n\n## 已展示的部署行为\n\n- 单张 H20、512²：C 配置 28.69 H FPS、85.95 R FPS、22.57 GiB、1.356B 参数；A 配置 48.63 H FPS、3.87 GiB；B 配置 43.65 H FPS、9.61 GiB（Tab.6）。这些是单次前向测量，不含离线插值/778 密化/拼接与检测-跟踪-接触后处理。\n- 训练需 8×H20、有效 batch 64、3,200 步、256²（Tab.5）；对单卡研究者不是轻量复现。\n- 推理不需深度、标定、物体模板或检测裁剪（Sec.3.2/3.4）；但训练需要物体/对侧手表面来生成接触/距离标签（Appendix B/G）。\n\n## 约束\n\n- 延迟：28.69 H FPS 处理 500 帧约 17 s（推断，500/28.69），且后处理另计；不满足在线机器人闭环。\n- 显存：C 配置 22.57 GiB，接近 24 GB 卡上限；A 配置 3.87 GiB 但精度/配置差异未在表中展开。\n- 数据：7 个数据集混合训练，主评测仅 3 个；数据许可、混合权重、增强、随机种子未报告；跨数据集接触标签一致性是风险。\n- 鲁棒性：依赖手可见性与深度一致性做尺度校准；手长期遮挡/出画、快速运动、长视频拼接可能漂移；HOI4D 的 W/WA 与 100 窗口子集显示世界指标并非全面强。\n- 适用性：适合离线大规模标注/数据引擎；不适合需要对象级接触、接触力、实时闭环或严格度量保证的场景。\n- 推断：作为 VLA/具身数据标注器有吸引力，但下游收益未验证；作为在线感知模块需蒸馏/流式化。\n\n\n\n\n\n### 探索问题\n\n1) 统一接触标签后，EgoFound3R 是否仍优于几何/多模态基线？验证：用同一 2 mm/14 mm/18 mm 点-面距离重标 OakInk-v2/TACO/HOI4D，重训或重评 ContactOpt、S²Contact、InteractVLM 与本文；报告 AP、best-F1、F1@0.5 和距离 MAE。收益：把 Tab.2 的优越性从标签约定中分离出来。风险：重标成本高，基线重训可能改变原方法性能，结论可能缩小。\n2) 多速率能否自适应选择 stride 以在长视频上稳定提升吞吐-精度？验证：用轻量策略根据手速、遮挡、in-view 概率和尺度置信度选 s∈{1..5}；在三数据集和 30 s–5 min 长片段上测 Raw、WA、ATE、H FPS、漂移。收益：比固定 S5 更贴近部署；风险：策略过拟合、额外开销，Tab.17 已显示 S1 不一定更准。\n3) 单次前向预测的属性是否真的改善下游具身策略？验证：用 EgoFound3R 与 HaWoR+ContactOpt/S²Contact 两套标注训练同一 VLA/操作策略，比较成功率、样本效率与对接触噪声的鲁棒性。收益：验证「标注吞吐→监督价值」的核心动机；风险：下游训练成本高、混杂因素多，接触标签差异可能主导结果。\n\n\n\n\n\n### 引用与核验\n\n## 核验范围\n\n未进行外部检索；以下仅基于所给稿件与其中参考文献列表。所有「论文声称」均需代码/原文页码进一步核验。\n\n## 关键引用\n\n- 新颖性支撑：VGGT-Ω (Wang et al., 2026b)、DINOv3 (Siméoni et al., 2026)、Human3R (Chen et al., 2026b)、ReViV (Lyu et al., 2026)。论文用它们支撑「几何骨干+human prompt+联合重建」；但「没有重建模型估计这些属性」的强新颖性声明依赖 Related Work 覆盖，未独立核验。\n- 最强比较：WiLoR (Potamias et al., 2025) 是吞吐与 Raw MPJPE 的主要基线；HaWoR (Zhang et al., 2025)、Dyn-HaMR (Yu et al., 2025)、ReViV 是世界空间基线；ContactOpt (Grady et al., 2021)、S²Contact (Tse et al., 2022)、InteractVLM (Dwivedi et al., 2025) 是接触基线；HVD (Hara et al., 2026) 是可见性基线。Tab.1 的 † 表示基线用 GT 外参，Tab.2 的几何基线用 GT 手/物体几何；这些条件由论文题注/Appendix G 说明，未见外部复现。\n- 复现依赖：MANO (Romero et al., 2017)、Mesh Graphormer (Lin et al., 2021) 的 195/778 上采样、VGGT-Ω 权重、DINOv3 特征。上述均未在材料内提供下载/许可。\n- 元数据风险：参考文献含 2026 年 arXiv 编号（如 2608.11574、2607.14183、2606.19333），其中部分晚于本环境当前日期 2026-05-07，无法核验版本/是否已正式发表；引用列表可能存在排版或元数据错误。\n- 数据集引用：H2O、HOT3D、OakInk-v2、TACO、HOI4D、ARCTIC、STERA-10M 仅按论文引用记录，未逐一核对主页、许可与划分。\n- 未逐条核验：Related Work 中 EgoScale、LingBot-VA、DreamZero、EgoPHI、WHOLE、EgoGrasp、Do as I Do、EgoInfinity、Open-AoE 等外围工作；它们用于动机与定位，不直接支撑核心数值。\n\n## 支持来源\n\n- 本文数值、协议、消融均来自 supplied manuscript；未见外部源。\n- 若需确认「当前 SOTA」「代码是否开源」「数据许可」，必须访问项目页/仓库/数据集主页；本次未访问，标记 pending verification。\n\n\n\n\n\n### 最终判断\n\n## 判断\n\n可信任的核心是：在作者的三数据集协议下，一个冻结几何骨干+结构化手提示+共享点解码的模型确实能同时给出世界系手几何与逐点可见性/接触/距离，并在单次前向上显著快于 WiLoR；Tab.1–4、Fig.8/Tab.6 提供了内部一致的证据。需要降级的是：约 6× 是单次前向而非完整离线管线；世界空间并非所有外参口径全面领先；接触优势受 2 mm vs 14/18 mm 标签与 GT 几何输入影响；长视频、跨数据集泛化、对象级接触与力均未证明。\n\n## 怎么用\n\n把它当作离线第一视角数据标注/伪标签模型，而不是在线机器人感知模块：先在自己的 100–200 个 2 s 窗口上核对 Raw MPJPE、接触 F1、显存与端到端吞吐，并用统一接触阈值重评基线；若下游用于抓取/操作，优先验证接触与距离在薄物体、遮挡和手出画时的失败率。\n\n下一步：在自有数据上先复现 Tab.4 的 TACO 消融与 Tab.6 的 C 配置吞吐，再决定是否接入数据管线。"
}