# EGOFOUND3R：基于世界坐标系的端到端自我中心手部重建，并附带逐点交互属性
付弘明 $^{1,2}$ 石景程 $^{2,3}$ 王文佳 $^{4}$ 左斌华 $^{2*}$ 赵波 $^{1*}$
$^{1}$上海交通大学人工智能学院 $^{2}$QuicRobot
$^{3}$罗格斯大学 $^{4}$香港大学
{fuhongming, bo.zhao}@sjtu.edu.cn mint-sjtu.github.io/EgoFound3R.io
## 摘要
第一人称视频已成为具身模型监督数据的主要来源，其价值在于恢复世界坐标系下的手部运动，但相机运动和手部遮挡会增大这一任务的难度。现有的重建流程通常将手部与场景估计分开处理，把交互属性交由针对特定任务的其他模型来估算，且每段视频需要调用多个模型，因此此前没有重建模型能够同时估算这些属性，而处理速度也成了大规模标注的实际限制因素。为此我们提出了EgoFound3R，这是一个统一的端到端模型，能够估算与场景共享度量尺度的世界坐标系下手部几何结构，还能预测逐点交互属性，包括可见性、接触状态和距离。该模型整合了三项设计：（i）结构化手部提示，可将预训练的几何先验迁移到世界坐标系下的手部重建中；（ii）显式的手部表征，用于解码手部几何结构与交互属性；（iii）参数共享的多速率设计，可降低推理成本。这些设计共同作用，可一次性预测手部几何结构与逐点属性。在OakInk-v2、TACO和HOI4D数据集上，EgoFound3R相比现有方法将平均关节位置误差（MPJPE）分别降低了43.2%、22.4%和11.6%，同时能在同一轮计算中预测逐点接触状态与距离，且吞吐量还提升了约$6\times$。
Figure 1: EgoFound3R at a glance. End-to-end world-space hand reconstruction with point-wise interaction attributes; the radar panel summarizes Tab. 1.
## 1 引言
第一人称视频记录了实际操作过程，是具身模型获取人类操作技能的主要渠道：灵巧操作、世界建模以及视觉-语言-动作策略等领域的研究，越来越多地依赖第一人称录像进行学习（Grauman等人，2022；Paliwal等人，2026；Li等人，2026b），这类录像的时长现已达到$10^5$至$10^6$小时之多（Zheng等人，2026；Li等人，2026a；Wu等人，2026；Ye等人，2026a）。尤其是因为手部、其所作用的物体以及佩戴者的动作都会出现在同一个视角中，且这类数据无需对环境进行额外设备部署即可大规模采集。世界坐标系下的手部几何结构是此类监督的主要目标：手部位置及其属性是相对于场景而非相机定义的，因此当佩戴者移动时它们仍保持固定。然而，恢复这种几何结构十分困难：相机的自身运动以及手-物遮挡会破坏单目视觉线索，且观测数据本身也无法提供绝对尺度。此外，当前数据集的规模使得处理速度成为首要限制因素：若一种方法每天只能处理一小部分录像，就会直接决定数据能提供的监督量多少。手部位置或交互状态的误差会进一步传递到训练好的模型中，且很难被察觉。
---
由于手部、手部所作用的物体以及佩戴者的动作都出现在同一视野中，且这类数据无需对环境进行额外设备部署即可大规模采集。世界坐标系下的手部几何结构是此类监督学习的主要目标：手部位置及其属性是相对于场景而非相机来定义的，因此当佩戴者移动时它们会保持固定。然而，还原这种几何结构十分困难：相机的自身运动以及手与物体的遮挡会破坏单目视觉线索，而且观测数据本身也无法提供绝对尺度。此外，当前数据集的规模使得处理效率成为首要约束条件：若一种方法每天只能处理一小部分录制内容，那么数据所能提供的监督信息量就会受到限制。手部位置或交互状态的误差随后会传递到训练好的模型中，而这些误差很难被察觉。
近期，各种估计器在相机空间和世界空间中对手部姿态的估计精度都有所提升，但现有的处理流程将它们分属不同阶段进行处理，如图2(a)所示，导致这些约束条件仍未得到解决。具体而言，相机空间估计器用于恢复局部手部几何结构，而HaWoR（Zhang等人，2025年）和Dyn-HaMR（Yu等人，2025年）等世界空间方法则负责相机跟踪或运动补全，接触信息则由额外的预测器或事后优化步骤来处理。由于这些阶段对相同数据的表示方式各不相同，因此
Figure 2: Pipeline vs. end-to-end.
几何先验无法共享，误差会在各个阶段以及长序列中不断累积。重复进行视觉编码还会降低处理效率；由于标注工作本身存在瓶颈，这一成本直接限制了可用于监督学习的录制数据量。诸如可见性、接触情况和距离等交互属性同样不被任何重建模型所估算；它们需由独立的预测器来处理，而这些预测器将手部视为已知条件，因此手部或其位置的误差会传递到这些属性中，而非被纠正。上述局限促使我们开发出一种单一模型：该模型能将手部定位在世界坐标中，在同一过程中预测手部几何结构及交互属性，且其处理效率能够满足大规模标注的需求。
这样的模型可以基于在大规模3D数据上预训练的几何骨干网络构建，这些网络已经能够编码用于区分被遮挡手部的场景上下文（Chen等人，2026b；Lyu等人，2026年）。因此，我们推出了EgoFound3R——一种端到端的模型，它能一次性估计世界空间中的手部几何结构，并预测逐点的可见性、接触情况和距离。该模型融合了三项设计：（i）结构化手部提示。通过结构化提示，将明确的手部表示与已冻结的VGGT-$\Omega$（Wang等人，2026b）骨干网络相结合。仅需训练提示、适配器和预测头，因此推理时仅需单目视频，无需深度信息、校准数据、物体模板或检测与裁剪步骤。（ii）显式的手部表示。几何结构与属性是从同一组点特征中解码得出的：模型会同时回归以根部为参照的关节和顶点位置，以及逐点的可见性、接触情况和距离；通过受观测约束的根部估计，可将手部定位在场景中。（iii）参数共享的多速率设计。手部观测需要密集覆盖，而全局场景聚合则无需如此；且全局聚合正是以往流程中的主要计算开销来源。因此，我们将其运行速率设为可配置的低值，从而在不复制参数的前提下减少冗余计算。
我们在OakInk-v2、TACO和HOI4D数据集上对EgoFound3R进行了评估，结果显示，与以往方法相比，该模型的平均关节位置误差（MPJPE）分别降低了43.2%、22.4%和11.6%；它能在同一过程中同步预测逐点的接触情况和距离以及几何结构，同时其处理效率约为此前最先进的手部重建方法WiLoR（Potamias等人，2025年）的6倍。
我们的贡献主要有三点：
- 我们提出了EgoFound3R，这是一种端到端的模型，能一次性重建世界空间中的手部并预测逐点的可见性、接触情况和距离，从而用单一模型取代了以往由手部估计、相机跟踪和接触预测组成的链式流程。
- 我们证明了交互属性可以在重建模型内部被预测：可见性、接触情况和距离可从与几何结构相同的特征中逐点解码得出，无需单独的任务专用模型。
---
- 在注释尺度上，EgoFound3R的运行速度比WiLoR快$6 \times$，同时在所有三个数据集上都能提升世界空间中的手部精度，这得益于其共享参数的多速率设计。
## 2 相关工作
几何先验与统一重建。DUSt3R（Wang等人，2024年）、VGGT（Wang等人，2025a年）、$\pi^3$（Wang等人，2026c年）以及Depth Anything 3（Lin等人，2026年）建立了前馈式几何重建框架。VGGT-$\Omega$（Wang等人，2026b年）、CUT3R（Wang等人，2025b年）和LingBotMap（Chen等人，2026a年）则将这一方向拓展至可扩展或持久的场景表示。这些先验也被用于关节重建：Human3R（Chen等人，2026b年）引入了人体提示，ReViV（Lyu等人，2026年）则能同时预测手部关节、相机参数和场景深度。EgoFound3R在此基础上增加了交互属性，无需单独的检测或裁剪阶段，就能从共享的全图像特征中解码手部几何与属性。
具身模型所需的以自我为中心的数据。灵巧操作、世界建模、视觉-语言-动作以及世界-动作系统，如EgoScale（Zheng等人，2026年）、LingBot-VA（Li等人，2026a年）、LingBotVLA2（Wu等人，2026年）和DreamZero（Ye等人，2026a年），越来越多地基于以自我为中心的数据进行训练，此时标注效率便成为实际限制因素。EgoFound3R通过在一个模型中同时输出世界空间中的手部几何、场景上下文以及逐点可见性、接触情况和距离信息，来解决这一限制。
手部几何与运动。HaMeR（Pavlakos等人，2024年）和WiLoR（Potamias等人，2025年）用于估计相机空间中的手部几何；EgoForce（Millerdurai等人，2026年）则结合了前臂裁剪与校准后的几何信息以实现度量级定位。世界空间方法结合了手部与相机的估计结果，包括HaWoR（Zhang等人，2025年）和Dyn-HaMR（Yu等人，2025年）。生成式优化进一步约束了运动：PAD-Hand（Ismayilzada等人，2026年）将物理感知扩散模型应用于WiLoR的估计结果，StableHand（Zeng等人，2026年）则利用质量感知流匹配技术，并结合手部与相机条件进行优化。CMR（Chen等人，2021年）和MobRecon（Chen等人，2022年）等显式表示方法可直接回归手部网格坐标。EgoFound3R在此方向上更进一步，将逐点交互属性附加到同一显式表示中。
接触与交互数据。接触估计依赖于几何或视觉证据：Contact-tOpt（Grady等人，2021年）和S $^{2}$Contact（Tse等人，2022年）根据手-物体几何关系分类接触情况，InteractVLM（Dwivedi等人，2025年）迁移基于图像的交互线索，EgoPHI（Ilic等人，2026年）则能从额外几何信息中预测密集的接触点与作用力。除了分类之外，WHOLE（Ye等人，2026b年）和EgoGrasp（Fu等人，2026年）能够估计世界空间中的手-物体交互情况。在大规模标注方面，Do as I Do（Paliwal等人，2026年）基于HaWoR构建，EgoInfinity（Wang等人，2026a年）在静态相机场景下对WiLoR进行优化，Open-AoE（Li等人，2026b年）则能大规模提取监督信号。由于这些系统针对每个视频需要串联多个学习模型，每增加一个阶段都会增加成本。EgoFound3R用单个端到端模型取代了这一串联流程，该模型能预测手部几何与交互属性，且推理时无需物体网格。
## 3 方法
### 3.1 问题表述
给定一段单目自我中心RGB视频，我们的目标是恢复手在三维空间中的几何形状以及各点的交互属性，并将手定位到周围场景中。这一任务在三个方面具有挑战性：摄像头随佩戴者移动，因此摄像头运动与手部运动相互交织；手部尺寸较小且常被所握物体遮挡；单目视图无法提供绝对尺度。不过，这两者在时间上的表现并不相同：手部变化迅速，需要密集观测；而场景变化缓慢，却能为手部定位提供尺度信息和摄像头运动数据。如图3(1, 2)所示，EgoFound3R将两者整合到一个前馈模型中，并赋予它们不同的时间采样率，从而取代了以往流程中依次运行的检测器、手部模型、摄像头追踪器和接触预测器。我们用H表示手部观测时间点，$G \subseteq H$表示场景更新的稀疏锚点，R则表示所需的输出时间点。手部根节点平移、关节及表面信息
---
Figure 3: Overview of EgoFound3R. Egocentric video input is encoded at the hand rate H, and the built-in DINOv3 features of the frozen VGGT- $\Omega$ backbone provide the shared visual features, from which an adapter builds structured root, joint, and surface prompts. A bidirectional temporal Transformer links the two hands across H, and pooling neighboring prompts yields global scene anchors $G \subseteq H$ at an adjustable H:G ratio. The prompted VGGT- $\Omega$ aggregator drives the explicit hand head that decodes hand geometry, visibility, contact, and distance, and the scene and metric heads that place the hands in world coordinates.
会在每个$h \in H$时刻被预测出来，而锚点$g \in G$则携带用于定位手部的深度数据和摄像头运动信息；手部与摄像头的输出则在R所指定的每个时间点返回。
### 3.2 复用预训练几何信息的手部提示
第一个设计问题是手部模型应关注什么。手部裁剪图像中包含的信息极少，且这些信息极易因遮挡和摄像头运动而失真；而基于大规模三维数据预训练的几何骨干网络已经编码了能够辅助识别手部的周围场景信息。因此，我们保持这类骨干网络参数不变——即VGGT-Ω（Wang等人，2026b），其内置的DINOv3特征（Siméoni等人，2026）提供了共享的视觉表征——让手部通过学习得到的查询来读取这些信息，如图3(1)所示，而非从孤立的裁剪图像中直接回归手部特征。这些查询按照其功能分类：根部查询用于定位手部，关节查询用于描述其关节活动情况，表面查询则用于描述手部所接触的物体；双向时序Transformer允许两只手在视频片段内交换信息。检测也属于同一类问题，因此模型会利用相同的特征来计算2D热图和可见度评分，从而估算出每只手出现的位置和时间，无需外部检测器。查询是输入到冻结骨干网络中的唯一与手部相关的信息，骨干网络中的几何先验被复用而非被覆盖，仅提示、适配器和预测头会被训练；附录A详细说明了标记布局。
### 3.3 手部与场景之间的跨速率交互
将手部定位到场景中引发了第二个设计问题：场景上下文需要多频繁地更新？在以往的流程中，按手部采样率重新聚合场景数据会带来巨大的计算开销，而手部又需要密集观测，因此我们分离这两种采样率，并将其比例作为一个面向用户的调节参数，如图4(a, b)所示。步长$s \in \{1, \ldots, 5\}$会将手部时间点H采样为锚点G，自上次更新以来观测到的手部提示会被汇总到每个锚点中，从而使场景能够获取其所遗漏的手部运动的紧凑摘要：
$$ p_{g}=p_{a_{g}}+\gamma f\big(\mathrm{L N}(\bar{p}_{g}-p_{a_{g}}),\mathrm{L N}(p_{a_{g}})\big). $$
此处，$\bar{p}_{g}$ 是相邻手部提示的汇总结果，$p_{a_{g}}$ 是汇总前的锚点提示，$p_{g}$ 是更新后的锚点提示，f 表示残差投影，$\gamma$ 是标量门控，LN 代表层归一化。这种更新方式是残差式的且初始值为零，因此训练从密集行为开始，只有较大的步长才会削弱聚合效果。随后，这些锚点会重新进入冻结的聚合器中，然后
---
Figure 4: Cross-rate prompting and point decoding. (a, b) Hand prompts run at rate H while global anchors $G \subseteq H$ aggregate them at a configurable lower rate. (c, d) A shared point representation decodes geometry and point-wise attributes.
第二个桥接模块会将聚合后的上下文传回手部速率层，从而实现双向的证据流动。由于每个步长都会复用相同的适配器和相位嵌入，因此该比例仅作为计算调节参数，而非用于定义新模型。
### 3.4 带有交互属性的显式手部几何结构
如今手部特征已包含场景上下文和二维手部证据，但仍需将其转化为几何结构和交互属性。我们所针对的属性是针对单个手部点定义的——包括该点是否可见、是否接触物体以及它距离接触面有多远——因此我们直接解码点的坐标，而非像图4(c, d)所示那样通过姿态和形状系数来描述手部。根部、关节和表面查询会读取相同的点特征，从而确保位置、关节活动和接触关系保持一致；表面分支还会继承相关关节的特征，并在相邻面上进行混合，这样解码出的点就能反映手部的连通性。每个点会通过一个小型预测头获得三种属性：可见性、接触状态以及到接触面的距离。接触属性将物体接触和另一只手的接触合并为每种点的单一状态，且不会指明接触对象，因此无需依赖物体模板或物体姿态。虽然手部仍通过MANO拓扑结构（Romero等人，2017年）进行监督，但其几何结构是以点的坐标形式解码的，而非姿态或形状参数。
Figure 5: Root recovery, scale alignment, and outputs. (a) Root recovery from 2D rays, relative joints, and a learned depth prior. (b) Inference-time scale alignment, with camera-space hands and rotations fixed. (c) Outputs at requested times R; (d) 195 $\rightarrow$MANO densification; (e) scale-consistent clip stitching.
### 3.5 度量级手部定位
解码手部几何结构后，还未能将手部定位到相机坐标系中，而且单目场景的深度也仅能确定到一个未知的比例因子。这两者都属于尺度问题，而手部恰好能解决这两个问题。如图5(a)所示，手部根部是根据观测到的二维射线以及在腕部约束下预测出的相对关节位置来恢复的，同时借助学习得到的深度先验来稳定求解过程：
$$ J_{j}=t+\Delta J_{j},\qquad V_{v}=t+\Delta V_{v}, $$
其中t表示根部的平移量，$\Delta J_j$ 和 $\Delta V_v$ 分别是关节j和顶点v的预测偏移量，$J_j$ 和 $V_v$ 则是最终得到的点坐标，这些坐标会被预测出的相机参数转换为世界坐标系下的坐标。
同样的证据也决定了场景的度量尺度，如图5(b)所示：度量头会根据场景摘要和手部特征来预测该尺度；当手部证据不足时，学习得到的先验能保证尺度定义清晰。
---
在推理阶段，投影出的手部顶点与原始深度数据之间的一致性会进一步细化该尺度。校准过程仅重新调整场景深度和相机平移参数，因此旋转、内参以及相机空间中的手部位置均保持不变，手部分支也无需重新计算；附录J中记录了场景和相机的输出结果。
### 3.6 任意时刻的训练与输出
上述设计构成了一个单一模型，该模型在多种以自我为中心的数据集混合体上端到端训练，同时冻结主干网络，以便仅优化提示词、适配器和预测头；附录B中说明了相应的目标函数。该网络以手部运动速率运行，但应用程序需要在各自的时间点以及下游应用所需的网格分辨率下获取输出结果。因此，我们将所请求的时间点R视为一个接口，通过确定性插值从网络输出中恢复这些时间点，如图5(c)所示；同一阶段还将原始的195个顶点几何结构密集化，以适应完整的778个顶点的MANO网格，如图5(d)所示。这样一来，密集输出并不会增加额外的网络计算量，且预测出的点本身就能被保留下来。长视频会被处理成相互重叠的片段，这些片段在拼接前必须共享同一尺度，而同一阶段会通过重新缩放其重建结果来使共享帧保持一致，如图5(e)所示。由于插值过程会用到未来帧，且对齐操作需要对比整个片段，因此EgoFound3R是一种离线方法，这两种操作都不属于前馈网络的计算范畴。
## 4 实验
### 4.1 评估设置
我们基于七个以自我为中心的数据集进行训练：H2O（Kwon等人，2021年）、HOT3D Aria（Banerjee等人，2025年）、OakInk-v2（Zhan等人，2024年）、TACO（Liu等人，2024年）、HOI4D（Liu等人，2022年）、ARCTIC（Fan等人，2023年）以及STERA-10M（Palanisamy等人，2026年）。评估时从每个数据集中按固定比例抽取2,378个窗口，每个窗口为2秒的片段，且未纳入训练集；主要表格报告了OakInk-v2、TACO和HOI4D的结果，这些数据集提供了完整的指标套件，其余数据集则出现在定性对比中。我们的模型采用默认的步长$s = 5$；关于时间和场景方面的研究详见附录C和J。为了控制评估成本，Dyn-HaMR和InteractVLM均在100个窗口的子集上进行评估，同时在同一窗口上以EgoFound3R作为对照。几何相关的指标以毫米为单位，包括各关节位置误差平均值（MPJPE）和各顶点位置误差平均值（MPVPE），评估在六种对齐方式下进行：未对齐（Raw）、根节点相对对齐（RR）、逐帧对齐（PA）、相似性对齐（Sim(3)）、世界坐标对齐（W）以及世界坐标精确对齐（WA）。接触和可见性指标采用精确度（P）、召回率（R）和F1值；距离指标则采用点到表面距离的平均绝对误差（MAE，单位：毫米），分别针对所有有效点（MAE(All)）、预测接触点（MAE(Pred)）和真实接触点（MAE(GT)）进行计算。详情见附录D。
### 4.2 手部几何与交互
手部几何结构。表1报告了世界坐标系下的手部重建结果，对比了EgoFound3R与基于相机坐标系的估计器（WiLoR（Potamias等人，2025年）及其改进版本PAD-Hand（Ismayilzada等人，2026年）和EgoForce（Millerdurai等人，2026年））、世界坐标系流水线（HaWoR（Zhang等人，2025年）和Dyn-HaMR（Yu等人，2025年），后者在匹配的100个窗口子集上测试），以及关节重建系统ReViV（Lyu等人，2026年）。EgoFound3R在每个子集上的原始误差和根部相关关节误差均为最低，相较于OakInk-v2、TACO和HOI4D数据集上的最强基线模型，其MPJPE分别降低了43.2%、22.4%和11.6%；即使去除根部平移信息，这一排序依然成立；在通用窗口上，该模型在预测自身相机位姿的方法中，其世界坐标误差和世界对齐误差也最低。这三个基准测试在采集设备和物体类别上存在差异，因此跨基准测试的一致性排序反映了模型设计优势而非单一基准测试的偶然性；各基线模型的表现符合其设计预期：基于相机坐标系的估计器虽能在每帧对齐后恢复手部形状，但由于从未估算相机在场景中的位置，其原始误差和世界坐标误差始终较高。世界坐标系流水线虽然能定位手部位置，但随着序列长度增加会出现偏移：在匹配的子集中，Dyn-HaMR的世界坐标误差从OakInk-v2到HOI4D增加了数倍；HaWoR在OakInk-v2数据集上无法准确还原手部关节活动，其原始误差是其他两个数据集上的两倍多；而ReViV的整体表现最差，每个子集上经帧对齐后的误差都是我们的数倍。我们的单阶段设计正是针对这一问题：手部
---
Table 1: Joint reconstruction (MPJPE, mm); each cell lists OakInk-v2, TACO, and HOI4D left to right, with † marking methods placed with ground-truth extrinsics and ‡ marking EgoFound3R with ground-truth intrinsics and predicted extrinsics. For EgoFound3R $^{\dagger}$ the camera-space columns are identical to the default row and are left blank. $^{100w}$ subsets are unranked, W/WA are ranked within each extrinsic group.
| Method | Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | |
| WLoR $^{\dagger}$ | 91.24 | 70.40 | 81.51 | 27.66 | 28.33 | 27.75 | 7.78 | 9.49 | 9.62 | 16.89 | 25.95 | 24.14 | 42.14 | 51.14 | 49.41 | 17.04 | 26.14 | 24.57 |
| PAD-Hand $^{\dagger}$ | 107.16 | 72.97 | 75.35 | 32.23 | 30.30 | 29.77 | 9.63 | 11.19 | 10.12 | 21.37 | 29.21 | 24.79 | 49.01 | 57.06 | 51.92 | 51.92 | 21.62 | 29.60 | 25.04 |
| EgoForce $^{\dagger}$ | 123.57 | 126.63 | 147.77 | 47.75 | 44.53 | 52.78 | 11.09 | 11.93 | 12.92 | 32.62 | 47.84 | 49.22 | 80.59 | 105.52 | 142.58 | 33.10 | 46.65 | 55.76 | |
| EgoFound3R $^{\dagger}$ | - | - | - | - | - | - | - | - | - | - | - | - | 27.49 | 36.68 | 63.01 | 17.89 | 24.06 | 23.30 | |
| Dyn-HaMR $^{100w}$ | 96.39 | 127.12 | 245.06 | 17.91 | 127.47 | 26.49 | 7.84 | 11.62 | 11.89 | 13.76 | 29.27 | 30.47 | 36.16 | 77.88 | 173.62 | 17.19 | 31.46 | 65.71 | |
| HaWoR | 174.73 | 74.28 | 53.46 | 45.85 | 24.19 | 28.47 | 9.49 | 10.55 | 10.49 | 32.19 | 27.71 | 27.85 | 100.46 | 86.38 | 171.09 | 37.47 | 35.34 | 55.96 | |
| ReViV | 253.68 | 91.19 | 357.46 | 80.60 | 62.48 | 82.12 | 44.14 | 40.14 | 39.66 | 58.05 | 54.08 | 58.04 | 123.25 | 93.25 | 182.33 | 57.75 | 54.26 | 68.74 | |
| EgoFound3R | 51.81 | 54.64 | 47.28 | 17.77 | 18.54 | 16.63 | 8.02 | 8.13 | 7.99 | 17.87 | 24.15 | 23.29 | 30.88 | 40.03 | 159.70 | 18.77 | 25.16 | 49.84 | |
| EgoFound3R $^{\ddagger}$ | 39.45 | 50.44 | 43.43 | 17.84 | 18.52 | 16.67 | 8.04 | 8.13 | 8.00 | 18.01 | 24.63 | 23.39 | 31.56 | 41.78 | 159.18 | 18.94 | 25.75 | 49.77 | |
Table 2: Joint-level contact prediction. Superscripts mark 100-window subsets. InteractVLM is shown for completeness and does not enter the ranking.
| Method | OakInk-v2 | TACO | HOI4D |
| P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ |
| InteractVLM $^{{100w}}$ | 0.180 | 0.403 | 0.202 | 0.388 | 0.705 | 0.472 | 0.313 | 0.537 | 0.281 |
| S $^{{2}}$Contact | 0.327 | 0.081 | 0.079 | 0.519 | 0.104 | 0.146 | 0.444 | 0.265 | 0.284 |
| ContactOpt | 0.334 | 0.196 | 0.154 | 0.557 | 0.197 | 0.259 | 0.518 | 0.477 | 0.435 |
| EgoFound3R | 0.510 | 0.665 | 0.493 | 0.654 | 0.777 | 0.697 | 0.612 | 0.835 | 0.675 |
Table 3: Visibility prediction at 21 joints on OakInk-v2, TACO, and HOI4D. HVD predicts joint visibility only; vertex-level results are reported in Appendix G.
| Method | OakInk-v2 | TACO | HOI4D |
| P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ |
| HVD | 0.823 | 0.808 | 0.792 | 0.878 | 0.834 | 0.853 | 0.917 | 0.769 | 0.831 |
| EgoFound3R | 0.919 | 0.747 | 0.802 | 0.917 | 0.850 | 0.880 | 0.892 | 0.884 | 0.885 |
和场景由同一个模型解码，因此手部轨迹在整个视频片段中共享同一尺度，不会出现多阶段处理导致的偏移现象；附录E和F分别报告了顶点级和时间维度上的测试结果。
接触点预测。表2报告了关节级别的接触点预测结果，对比了EgoFound3R与InteractVLM（Dwivedi等人，2025年）、S²Contact（Tse等人，2022年）以及ContactOpt（Grady等人，2021年）。EgoFound3R将接触点预测与手部几何结构预测结合，在同一组点上利用相同的场景感知特征进行预测，而非依赖独立的分类器；它也是唯一一种能预测各点到接触表面距离的方法。EgoFound3R在所有三个子集上的精确度、召回率和F1值均最高。各基线模型的表现截然相反：几何分类器虽能保持中等精确度，但能识别的接触关节较少；而InteractVLM则为了提高召回率牺牲了精确度。在承载几何信息的点上、从已编码周围场景的特征中解码接触点信息，能够同时提升精确度和召回率。不同对比系统采用的接触点定义方式不同，且两种几何类基线模型还使用了真实的几何数据；附录G详细说明了测试协议和敏感性分析结果。
可见性预测。同一个网络头还能预测点的可见性，这是其他对比流水线所不具备的功能：如表3所示，在所有三个数据集上，EgoFound3R在关节可见性F1值上均优于仅预测关节的HVD（Hara等人，2026年）；其中在两个子集上精确度更高，另外两个子集上召回率更高；此外它还能预测顶点级别的可见性；附录G报告了顶点级别的测试结果。
### 4.3 世界坐标系下的定性对比
图6展示了从两个固定视角在重建的世界坐标系中渲染的两个视频片段，因此对比内容涵盖了相机对手部的定位情况，而非单一的投影视图。基于相机坐标系的估计器虽能恢复手部形状，但相对于物体表面存在偏移，而且两者
---
Figure 6: World-space qualitative comparison. Rows: two viewpoints of each clip; columns: the compared methods, rendered in the reconstructed world frame. Hands are pink (left) and blue (right), darker over time; $\dagger$ marks methods placed with ground-truth extrinsics.
Figure 7: Camera-space qualitative comparison. Top: hand geometry (left/right hands in pink/blue). Bottom: visibility, contact, and distance for EgoFound3R (Pred) and the ground truth (GT); green/red = visible/occluded, red/light blue = contact/no contact, and distance is a blue-to-red 0–50 mm map.
世界空间流水线会偏离手部运动轨迹，而无法恢复其运动；ReViV仅能预测关节位置，无法提供手部表面信息。EgoFound3R则利用自身预测的摄像头来还原真实布局；附录L中展示了更多实验结果。
### 4.4 相机空间定性对比
图7展示了四个预留的测试窗口，其中两个来自ARCTIC数据集，两个来自TACO数据集；这两半窗口均为观测像素上的2D叠加层，上方显示手部几何信息，下方显示可见性、接触情况和距离数据。在这四个窗口中，EgoFound3R都能使手部与物体表面保持对齐，且属性图也与真实标注一致，这一结果与表1和表2中的结论相符。在这几个窗口中，所有对比方法均偏离了标注的手部区域，对手部的姿态和尺寸估计也存在偏差，而
---
我们的叠加层能够精准匹配标注结果。属性头读取的正是携带几何信息的同一点数据；附录K中展示了更多实验结果。
### 4.5 核心设计消融实验
我们在TACO数据集上对各项设计选择进行了消融实验；附录I中定义了各变体，并在三个评估数据集上重复了相关实验。（i）模型容量。将手部模块的参数数量缩减至0.05B和0.1B时，原始误差会单调上升，且这些缩减后的变体在接触性和可见性指标上表现最差，在距离指标上也属于较弱水平，这说明表征能力从模型容量中获益，而非早早达到饱和。（ii）预训练骨干网络。移除冻结的VGGT-$\Omega$骨干网络（即不带$\Omega$的情况）后，原始误差会比默认情况高出约一半，且距离指标也会受到影响，这一结果说明应重新训练预训练的几何先验，而非仅靠监督信号重新学习它们。（iii）手-场景交互。若将交互限制为单向（1-way），几何信息和属性表现都会变差，其对接触性F1分数的负面影响甚至超过移除骨干网络的情况，这表明手部特征也必须参与塑造场景表征，而非仅从场景表征中读取信息。（iv）MANO参数。用MANO参数回归替代显式的点表征后，各指标表现均不如默认设置，且在几何、可见性和距离方面，它是三种结构变体中表现最差的，这一结果与“属性是在携带几何信息的同一点上解码”的结论一致。（v）多速率默认设置。S5是EgoFound3R的默认配置，其他速率下的步长消融实验结果详见附录I。
Table 4: Core design ablation on TACO; the F1 columns are measured at 21 joints, and Sk is EgoFound3R at stride k.
| Variant | Raw $\downarrow$ | RR $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | Contact F1 $\uparrow$ | Vis. F1 $\uparrow$ | MAE(All) $\downarrow$ | MAE(Pred) $\downarrow$ | MAE(GT) $\downarrow$ |
| 0.05B | 109.71 | 36.74 | 81.37 | 42.66 | 0.542 | 0.800 | 41.47 | 45.30 | 49.54 |
| 0.1B | 96.90 | 30.55 | 61.66 | 35.81 | 0.579 | 0.801 | 49.27 | 52.15 | 58.61 |
| MANO | 86.66 | 24.29 | 57.45 | 35.15 | 0.643 | 0.854 | 45.46 | 48.21 | 51.97 |
| w/o $\Omega$ | 82.59 | 23.49 | 53.38 | 32.33 | 0.661 | 0.856 | 36.19 | 40.42 | 42.52 |
| 1-way | 78.82 | 23.70 | 54.16 | 32.14 | 0.628 | 0.861 | 32.79 | 35.52 | 37.29 |
| S5 | 54.64 | 18.54 | 40.03 | 25.16 | 0.697 | 0.880 | 26.26 | 28.09 | 30.47 |
### 4.6 推理效率
在标注规模下，单次推理的成本与其精度同等重要。
Figure 8: Inference efficiency.
我们统计了手部处理速率（H FPS）——即每秒处理的手部观测帧数，这也是单速率基线模型的报告速率——以及$3\times$时间上采样所产生的密集输出速率（R FPS）。如图8和表6所示，EgoFound3R在$512 \times 512$、$5.97\times$条件下可达到28.69 H FPS的处理速率，远高于WiLoR的4.81 FPS，也快于所有对比的手部处理流水线。推理吞吐量由单次前向传播决定，而非多个阶段的累加结果。详情请参阅附录C。
## 5 结论
我们提出了EgoFound3R，这是一个统一的端到端模型，能够一次性恢复世界空间中的手部姿态，并预测逐点可见性、接触情况和距离。该模型结合了携带预训练几何上下文的结构化提示以辅助手部解码，采用显式的手部表示来解码几何形状与属性，还采用了共享参数的多速率设计以降低推理成本。在OakInk-v2、TACO和HOI4D数据集上，与最强的基线模型相比，它的MPJPE分别降低了43.2%、22.4%和11.6%，且运行速度比之前的最优模型快$6\times$。
---
## 参考文献
Prithviraj Banerjee、Sindi Shkodrani、Pierre Moulon、Shreyas Hampali、Shangchen Han、Fan Zhang、Linguang Zhang、Jade Fountain、Edward Miller、Selen Basol等。Hot3d：基于第一视角多视图视频的手部与物体3D跟踪技术。载于2025年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Lin-Zhuo Chen、Jian Gao、Yihang Chen、Ka Leong Cheng、Yipengjing Sun、Liangxiao Hu、Nan Xue、Xing Zhu、Yujun Shen、Yao Yao等。用于流式3D重建的几何上下文变换器。arXiv预印本arXiv:2604.14141，2026a。
Xingyu Chen、Yufeng Liu、Chongyang Ma、Jianlong Chang、Huayan Wang、Tian Chen、Xiaoyan Guo、Pengfei Wan和Wen Zheng。通过语义聚合与自适应2D-1D配准实现相机空间手部网格恢复。载于2021年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Xingyu Chen、Yufeng Liu、Yajiao Dong、Xiong Zhang、Chongyang Ma、Yanmin Xiong、Yuan Zhang和Xiaoyan Guo。Mobrecon：基于单目图像的移动端友好型手部网格重建技术。载于2022年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Yue Chen、Xingyu Chen、Yuxuan Xue、Anpei Chen、Yuliang Xiu和Gerard Pons-Moll。Human3r：随时随地覆盖所有人的3D人体建模技术。载于2026年国际学习表征会议（ICLR）论文集。
Sai Kumar Dwivedi、Dimitrije Antić、Shashank Tripathi、Omid Taheri、Cordelia Schmid、Michael J Black和Dimitrios Tzionas。Interactvlm：基于2D基础模型的3D交互推理技术。载于2025年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Zicong Fan、Omid Taheri、Dimitrios Tzionas、Muhammed Kocabas、Manuel Kaufmann、Michael J. Black和Otmar Hilliges。ARCTIC：一个用于灵巧双手法与物体操控的数据集。载于2023年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Hongming Fu、Wenjia Wang、Xiaozhen Qiao、Rolandos Alexandros Potamias、Taku Komura、Shuo Yang、Zheng Liu和Bo Zhao。Egograsp：基于第一视角视频的世界空间手部与物体交互估计技术。arXiv预印本arXiv:2601.01050，2026年。
Patrick Grady、Chengcheng Tang、Christopher D Twigg、Minh Vo、Samarth Brahmbhatt和Charles C Kemp。Contactopt：通过优化接触点来改善抓取效果的技术。载于2021年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Kristen Grauman、Andrew Westbury、Eugene Byrne、Zachary Chavis、Antonino Furnari、Rohit Girdar、Jackson Hamburger、Hao Jiang、Miao Liu、Xingyu Liu等。Ego4d：时长3000小时的第一视角视频数据集。载于2022年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Ryosei Hara、Masashi Hatano、Rintaro Yanagi、Atsushi Hashimoto、Takuma Yagi和Mariko Isogawa。手部可见性检测器：针对手部的逐关键点可见性估计技术。arXiv预印本arXiv:2608.11574，2026年。
Andela Ilic、Rachel Schuchert、Yijing Jiang和Christian Holz。Egophi：基于第一人称视觉估计接触与作用力。载于2026年欧洲计算机视觉会议（ECCV）论文集。
Elkhan Ismayilzada、Yufei Zhang和Zijun Cui。Pad-hand：用于手部运动恢复的物理感知扩散模型。载于2026年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Taein Kwon、Bugra Tekin、Jan Stühmer、Federica Bogo和Marc Pollefeys。H2o：用于第一人称交互识别的双手操作物体场景。载于2021年IEEE国际计算机视觉会议（ICCV）论文集。
Lin Li、Qihang Zhang、Yiming Luo、Shuai Yang、Ruilin Wang、Fei Han、Mingrui Yu、Zelin Gao、Nan Xue、Xing Zhu、Yujun Shen和Yinghao Xu。用于机器人控制的因果世界建模。arXiv预印本arXiv:2601.21998，2026a。
---
Zishuo Li、Bowen Yang、Changtao Miao、Kai Zhu、Hao Chen、Qingze Guan、Zhengxing Wu、Wanke Zhan、Yang Sun、Zhiyi Huang等。Open-aoe：面向具身学习的开源第一人称操作数据集与工具链。arXiv预印本arXiv:2607.14183，2026b。
Haotong Lin、Sili Chen、Junhao Liew、Donny Y Chen、Zhenyu Li、Guang Shi、Jiashi Feng和Bingyi Kang。Depth Anything 3：从任意视角恢复视觉空间。载于2026年国际学习表征会议（ICLR）论文集。
Kevin Lin、Lijuan Wang和Zicheng Liu。Mesh Graphormer。载于2021年IEEE国际计算机视觉会议（ICCV）论文集。
Yun Liu、Haolin Yang、Xu Si、Ling Liu、Zipeng Li、Yuxiang Zhang、Yebin Liu和Li Yi。Taco：通用双手法-工具-物体理解能力基准测试。载于2024年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Yunze Liu、Yun Liu、Che Jiang、Kangbo Lyu、Weikang Wan、Hao Shen、Boqiang Liang、Zhoujie Fu、He Wang和Li Yi。HOI4D：用于类别级人机交互的4D第一人称数据集。载于2022年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Xiaozhong Lyu、Gen Li、Zhiyin Qian、Xucong Zhang、Marc Pollefeys和Siyu Tang。ReViV：从单目第一人称视频中重建观察者视角与视图的4D模型。载于2026年欧洲计算机视觉会议（ECCV）论文集。
Christen Millerdurai、Shaoxiang Wang、Yaxu Xie、Vladislav Golyanik、Didier Stricker和Alain Pagani。Egoforce：基于单目第一人称相机实现前臂引导的相机空间3D手部姿态估计。载于2026年SIGGRAPH会议论文集。
Senthil Palanisamy、Abhishek Anand、Satpal Singh Rathore、Pratyush Patnaik和Shubhanshu Khatana。Mobileego anywhere：在普通硬件上实现长时程第一人称数据的开源基础设施。arXiv预印本arXiv:2605.05945，2026。
Bhawna Paliwal、Haritheja Etukuru、William Liang、Pieter Abbeel、Nur Muhammad Mahi Shafullah和Jitendra Malik。Do as I do：源自日常人类视频的灵巧操作数据。arXiv预印本arXiv:2606.19333，2026。
Georgios Pavlakos、Dandan Shan、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。利用Transformer重建3D手部模型。载于2024年IEEE计算机视觉与模式识别会议（CVPR）论文集。
Rolandos Alexandros Potamias、Jinglei Zhang、Jiankang Deng和Stefanos Zafeiriou。Wilor：野外环境下的端到端3D手部定位与重建。载于2025年IEEE计算机视觉与模式识别会议（CVPR）论文集。
哈维尔·罗梅罗、迪米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。具身之手：手与身体的联合建模与捕捉。《ACM图形学汇刊》（SIGGRAPH Asia会议论文集），第36卷第6期，2017年。
奥丽安娜·西梅奥尼、胡伊·V·沃、马克西米利安·塞策尔、费德里科·巴尔达萨雷、马克西姆·奥夸布、奇乔·何塞、瓦希尔·哈利多夫、马克·萨法里涅茨、孙恩·李、米夏埃尔·拉莫尼乔阿、弗朗西斯科·马萨、丹尼尔·哈齐扎、卢卡·韦尔施泰特、王建元、蒂莫西·达尔塞、泰奥·穆塔卡尼、莱昂内尔·森塔纳、克莱尔·罗伯茨、安德烈亚·韦达尔迪、杰米·托兰、约翰·布兰特、卡米尔·库普里、朱利安·迈拉尔、埃尔韦·热古、帕特里克·拉巴图和皮奥特·博雅诺夫斯基。DINOv3。《机器学习研究汇刊》，2026年。
谢·何·埃尔登·谢、张中群、金光仁、阿莱斯·莱昂纳迪斯、郑峰和张亨进。S $^{2}$Contact：基于图的网络，用于结合半监督学习进行三维手-物体接触估计。载于《欧洲计算机视觉会议（ECCV）论文集》，2022年。
王高天、任可佳、安德鲁·摩根、陈一婷、钱浩华、Podshara Chanrungma-neekul和杭凯宇。Egoinfinity：一个面向任意视角机器人重定向与视频到动作机器人学习的网页级4D手-物体交互数据引擎。arXiv预印本arXiv:2606.17385，2026a年。
---
王建元、陈明浩、尼基塔·卡拉耶夫、安德烈亚·韦达尔迪、克里斯蒂安·鲁普雷希特和大卫·诺沃特尼。Vggt：基于视觉几何的变换器。载于《IEEE计算机视觉与模式识别会议（CVPR）论文集》，2025a年。
王建元、陈明浩、张尚展、尼基塔·卡拉耶夫、约翰内斯·舍恩贝格尔、帕特里克·拉巴图、皮奥特·博雅诺夫斯基、大卫·诺沃特尼、安德烈亚·韦达尔迪和克里斯蒂安·鲁普雷希特。VGGT-Ω。载于《IEEE计算机视觉与模式识别会议（CVPR）论文集》，2026b年。
王倩倩、张一飞、亚历山大·霍林斯基、亚历克谢·A·埃弗罗斯和安吉乌·卡纳扎瓦。具有持久状态的连续三维感知模型。载于《IEEE计算机视觉与模式识别会议（CVPR）论文集》，2025b年。
王书哲、文森特·勒罗伊、约汉·卡邦、鲍里斯·奇德洛夫斯基和杰罗姆·雷沃德。Dust3r：简易的三维几何视觉工具。载于《IEEE计算机视觉与模式识别会议（CVPR）论文集》，2024年。
王一凡、周建军、朱浩毅、常文正、周阳、李子尊、陈俊毅、庞江淼、沈春华和何彤。$\pi^{3}$：排列等变的视觉几何学习。载于《国际学习表征会议（ICLR）论文集》，2026c年。
吴伟、王芳静、陆帆、孙赫、刘石、王云楠、严一斌、王勇、马帅雷、王新阳、刘一斌、杨帅、周天翔、张可佳、周磊、苏成、薛楠、谭斌、张涵、张友超、廖飞、朱星、沈玉军和郑可成。从基础到应用：实践中对VLA模型的改进。arXiv预印本arXiv:2607.06403，2026年。
叶圣贤、葛云浩、郑凯源、高申远、余思恒、乔治·库里安、苏尼尔·因杜普鲁、陈耀良、朱楚宁、向建南、阿亚恩·马利克、李京敏、威廉·梁、纳敦·拉纳瓦卡、顾嘉盛、徐银珍、王冠志、胡丰远、阿夫尼什·纳拉扬、约翰·比约克、王静、金光贤、牛丹通、郑瑞杰、谢雨琪、吴吉米、王琦、瑞安·朱利安、许丹菲、杜一伦、切博塔尔·叶夫根、斯科特·里德、扬·考茨、朱宇科、范林熙“吉姆”和姜乔尔。世界动作模型即零样本策略。arXiv预印本arXiv:2602.15922，2026a年。
叶宇飞、李佳曼、荣瑞安和刘C·凯伦。Whole：从第一人称视频中提取的世界基准手-物体数据。载于《IEEE计算机视觉与模式识别会议（CVPR）成果集》，2026b年。
虞正迪、Stefanos Zafeiriou和Tolga Birdal。Dyn-hamr：从动态摄像头恢复4D交互式手部运动。收录于IEEE计算机视觉与模式识别会议（CVPR）论文集，2025年。
曾华健、姚超华、张远泰、杨嘉琪、Rolandos Alexandros Potamias和左星星。Stablehand：基于以自我为中心的视频进行世界空间双手运动估计的质量感知流匹配方法。arXiv预印本arXiv:2605.18553，2026年。
詹欣宇、杨立新、赵一飞、毛康瑞、徐汉林、林泽南、李凯琳和卢策吴。Oakink2：复杂任务完成中的双手-物体操控数据集。收录于IEEE计算机视觉与模式识别会议（CVPR）论文集，2024年。
张京雷、邓建康、马超和Rolandos Alexandros Potamias。Hawor：从以自我为中心的视频中重建世界空间手部运动。收录于IEEE计算机视觉与模式识别会议（CVPR）论文集，2025年。
郑瑞杰、牛丹彤、谢雨琪、王静、徐梦达、蒋云帆、Fernando Castañeda、胡丰元、陈有亮、付乐天、Trevor Darrell、黄富荣、朱玉科、徐丹飞和范麟熙。Egoscale：利用多样化的以自我为中心的人类数据扩展灵巧操控能力。arXiv预印本arXiv:2602.16710，2026年。
---
## 附录内容
A 详细的架构与信息流 ..... 13
B 训练目标与监督机制 ..... 14
C 推理效率与时间速率 ..... 16
D 评估指标与排名规则 ..... 17
E 额外的手部几何评估 ..... 18
F 时间维度评估 ..... 18
G 接触与可见性评估 ..... 19
H 针对100窗口基线的匹配子集控制 ..... 22
I 架构与多速率消融实验 ..... 24
J 场景与摄像头评估 ..... 27
K 摄像头空间定性结果 ..... 28
L 世界空间定性结果 ..... 32
## A 详细的架构与信息流
图9对第3节的设计层面描述进行了拓展，展示了标记布局、定位与解码分支以及辅助头。以下段落按照正文顺序展开，记录了正文中未提及的细节：提示词所携带的内容、两种速率之间如何交换信息，以及解码头读取的内容。正是这些选择将正文中的设计层面描述转化为具体的模型。我们沿用第3节的记号：H表示手部观测时间点，$G \subseteq H$表示锚点，s表示步长，R表示请求的输出时间点。
Figure 9: Detailed technical framework. Full token layout, geometric interaction, explicit decoding, and auxiliary branches.
手部提示词与定位。冻结的VGGT-$\Omega$骨干网络（Wang等人，2026b）基于DINOv3编码器（Siméoni等人，2026）构建，该编码器会对每个手部速率帧进行嵌入，其聚合器会将锚点帧转换为跨帧场景标记。一个注意力桥接层会将这种上下文信息复制到手部特征中，这些特征被组织为根节点、关节和表面查询项。模型中有两个小型头部用于定位手部：一个预测关节热图及帧内偏移量，另一个预测每只手是否在视野内。它们的输出会被从梯度中分离出来并重复使用，作为查询项。
---
一个双向时间Transformer会在剪辑范围内关联两只手的信息，而一个可学习的尺度提示词则承载了解码头所需的度量证据。
交叉率交互。一个步长$s \in \{1, \ldots, 5\}$会选定锚点时刻$G \subseteq H$。每个锚点会收集其所属步长块内的有效手部提示，并借助经过训练的注意力权重将这些提示整合起来；这些权重还会考量提示在块内的位置。整合后的摘要会通过公式(1)中的门控残差更新机制添加到锚点中。由于残差初始值设为零，且单元素块会直接返回原锚点，因此密集配置能够被精确还原。这些锚点会重新进入冻结的聚合器中，其中只有适配器会被训练；随后会执行与手部提示作为查询、聚合后的全局标记作为键和值的槽位匹配型交叉注意力步骤，从而将上下文信息反馈给手部率，如图9(a)所示。同样的架构也会将信息从手部传回锚点，因此$H \to G$与$G \to H$之间的数据交换共用同一个接口。单个相位嵌入会在各步长间共享，并在连续且循环包裹的位置被读取，正因如此，改变的是聚合密度而非参数数量。
显式解码与属性头。如图9(b)所示，根部、关节和表面查询会读取相同的点特征。关节和表面查询会回归相对于根部的偏移量，即公式(2)中的$\Delta J_j$和$\Delta V_v$；表面分支会继承其所附着关节的特征，并对MANO网格的相邻面进行混合处理（Romero等人，2017年）。根部查询还会额外预测深度先验$z_p$。根部的平移位置并非直接通过回归得出，而是通过几何求解得到：以手腕为锚点的、基于置信度加权的稳健拟合算法会综合观测到的2D线索、预测的相对关节位置、深度先验以及手部固有特征$K_{H}$来得出结果。三个逐点线性头会从相同特征中解码出可见性、接触情况和距离信息：两个分类目标采用Sigmoid函数处理，距离则采用非负解码方式；接触信息会合并物体接触和对手部接触，但不会区分接触对象。
场景头与度量头。场景头负责预测锚点深度$D_G$、相机姿态$P_G$以及相机内参$K_G$。度量头属于剪辑级解码器：它会读取场景摘要、分离出的手部特征、视图内概率以及尺度提示，进而预测场景尺度以及原始到米的转换先验$\lambda_0 = \hat{\rho}/\rho_{\text{raw}}$，其中$\rho_{\text{raw}}$由有效的原始场景点计算得出，$\hat{\rho}$则表示预测的尺度。由于手部头和场景头读取的是不同的网格，$K_H$会在剪辑级别上通过对每帧估计值进行插值局部残差处理来得到共识值，且在解出根部位置后该值会被分离出来；而场景反投影则会保留原始的锚点内参$K_G$。推理时，可见的手部顶点会被投影到原始深度图中，以检验手部深度的一致性；由此得到的因子仅会重新缩放场景深度和相机平移，而旋转、内参以及相机空间中的手部位置则保持不变。由于世界空间中的手部位置是与相机轨迹相合成的，因此它们会随缩放后的场景一同变化，无需重新预测。
请求的输出时间。网络以手部运动速率运行；无需参数的阶段通过分别插值相机和手部数据来生成所请求的时间R，同时利用Mesh Graphormer（Lin等人，2021）的固定一级上采样技术，将原始的195个顶点密集化为包含778个顶点的MANO网格，从而精确还原测量点。重叠的片段会通过共享帧处的原始深度值将其缩放至同一尺度后进行拼接。这两种操作都需要读取未来帧，因此属于前馈网络之外的处理步骤，故该部署方案仍可在离线状态下运行。
## B 训练目标与监督机制
我们总结了用于训练统一模型的典型损失项。训练流程依托正文中所列的七个以自我为中心的数据集，整合了这些数据集提供的关于2D观测、手部与场景几何、相机、尺度、点属性以及时序运动的掩码监督信息。接触与距离目标则根据标注的手部点与标注的物体或对手表面之间的点到三角形距离来确定。对于每一项损失而言，只有那些被其监督掩码覆盖且目标值有限的样本才会参与计算；有效的任务损失会被汇总为多任务目标。此处用p表示手部查询点（关节点或手部表面点），Q表示该项下所有有效点，即目标值有限且监督掩码有效的点。符号“^”表示预测量，置信度权重$\alpha$被几何与接触项所采用，且下述各项均配有各自的平衡权重。
---
Training recipe. During training, we sample the supported temporal strides in fixed proportions. Table 5: Training configuration. Only the hand prompts, adapters, and prediction heads are optimized; the VGGT- $\Omega$ backbone stays frozen.
| Setting | Value |
| Optimizer | AdamW $\beta = (0.9, 0.999)$, $\epsilon = 10^{-8}$, weight decay 0.01 |
| Learning rate | $2.5 \times 10^{-4}$ |
| Schedule | linear warmup over 100 steps, then cosine decay to $10^{-5}$ |
| Batch size | 8 per device on $8 \times$ NVIDIA H20 (effective 64) |
| Resolution | $256 \times 256$ |
| Training steps | 3,200 |
| Gradient clipping | 1.0 |
| Precision | bfloat16 with DeepSpeed ZeRO-2 |
显式手部几何。对于查询点$p \in Q$，模型会预测其相对于根节点的偏移量$\delta_p$以及对数置信度$s_p$，其中$\delta_p$即为该点的标注偏移量。偏移量会按照该实例中有效手部点的平均尺度a进行归一化，其预测值记为$\hat{a}$，置信度权重$\alpha$用于对置信度项加权，最终得到加权后的稳健回归损失。
$$ \mathcal{L}_{\mathrm{g e o m}}=\frac{1}{|\mathcal{Q}|}\sum_{p\in\mathcal{Q}}\left[\exp(s_{p})\left\|\frac{\hat{\delta}_{p}}{\hat{a}}-\frac{\delta_{p}}{a}\right\|_{1}-\alpha s_{p}\right]. $$
同样的处理方式也适用于关节点和原始表面点，而根节点的位置则可通过度量场景与图像观测结果来还原。
可见性与接触。可见性通过掩码二元交叉熵进行监督，其中$\hat{v}_p$为预测的可见性逻辑值，$v_p \in \{0,1\}$为点p的标注可见性：
$$ \mathcal{L}_{\mathrm{v i s}}=\frac{1}{|\mathcal{Q}|}\sum_{p\in\mathcal{Q}}\mathrm{B C E W i t h L o g i t s}(\hat{v}_{p},v_{p}). $$
对于接触而言，分类误差会与学习得到的点置信度相结合：
$$ \mathcal{L}_{\mathrm{c o n}}=\begin{array}{l l}{1}&{\quad}\\ {\quad}&{\quad}\\ {\quad}&{\quad}\\ \end{array}\mathcal{\mathbf{\Pi}}_{\alpha\beta}^{(i_{1})}-\alpha c_{p}\big], $$
其中$\hat{z}_p$为预测的接触逻辑值，$y_p \in \{0,1\}$为同一点标注的接触状态，$c_p$为预测的对数置信度，$\alpha$即为上文提到的置信度权重。当相应标签可用时，这些损失会在关节点和表面点处分别进行评估。
距离。距离预测头会输出对数距离$\ell$。为了在保留接触区域分辨率的同时限制远距离点的影响，我们采用如下回归方式：
$$ \mathcal{L}_{\mathrm{d i s t}}=\frac{1}{|\mathcal{Q}|}\sum_{p\in\mathcal{Q}}\mathrm{S m o o t h L1}\Big(\hat{\ell}_{p},\log(1+1000d_{p})\Big), $$
其中$d_{p}$为点p的标注点到表面距离（单位为米），系数1000用于将目标值转换为毫米单位。
二维线索与场景监督。全图像定位分支采用加权热图二元交叉熵损失$\mathcal{L}_{\text{heatmap}}$以及平滑$L_1$偏移损失$\mathcal{L}_{\text{offset}}$；预测得到的三维点$\hat{X}$还会通过投影关系$\Pi$受到观测到的二维坐标u的约束，这三个项分别由$\lambda_h$、$\lambda_o$和$\lambda_r$进行加权：
$$ \mathcal{L}_{\mathrm{2D}}=\lambda_{h}\mathcal{L}_{\mathrm{h e a t m a p}}+\lambda_{o}\mathcal{L}_{\mathrm{o f f s e t}}+\lambda_{r}\left\|\Pi(\hat{X})-u\right\|_{1}. $$
场景与相机分支提供了掩码深度、相机内参以及相机运动监督：深度项采用置信度加权的鲁棒误差计算方式，相机平移在场景尺度归一化后进行对比，而相机旋转则使用测地旋转损失。我们用$\mathcal{L}_{3R}$来表示这一场景与相机目标函数；几何项的权重保持为1，因此完整的训练损失为
$$ \mathcal{L}=\mathcal{L}_{\mathrm{g e o m}}+\lambda_{\mathrm{v i s}}\mathcal{L}_{\mathrm{v i s}}+\lambda_{\mathrm{c o n}}\mathcal{L}_{\mathrm{c o n}}+\lambda_{\mathrm{d i s t}}\mathcal{L}_{\mathrm{d i s t}}+\lambda_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}+\lambda_{\mathrm{3R}}\mathcal{L}_{\mathrm{3R}}. $$
---
## C 推理效率与时间速率
Table 6: Inference efficiency on one NVIDIA H20. The $G/H/R$ column lists the anchor, hand, and output rates; H FPS and R FPS are in frames per second, VRAM is in GiB, and parameter counts use B/M; timings follow the released configuration of each system.
| Method | G/H/R | H FPS $\uparrow$ | R FPS $\uparrow$ | VRAM (GiB) $\downarrow$ | Total params. (B/M) |
| EgoFound3R configurations |
| EgoFound3R-A ( $512^{2}$) | 4/21/60 | 48.63 | 138.95 | 3.87 | 1.356B |
| EgoFound3R-B ( $512^{2}$) | 34/168/500 | 43.65 | 129.91 | 9.61 | 1.356B |
| EgoFound3R-C ( $512^{2}$) | 100/500/1498 | 28.69 | 85.95 | 22.57 | 1.356B |
| Contact methods: GT hand + object mesh + object 6DoF |
| ContactOpt | - | 1396.03 | - | 2.34 | 1.42M |
| S $^{2}$Contact | - | 274.06 | - | 3.69 | 0.59M |
| Multimodal contact method |
| InteractVLM | - | 0.41 | - | 32.92 | 13.05B |
| Camera-space hand methods |
| PAD-Hand | - | 3.71 | - | 22.36 | 1.36B |
| WiLoR | - | 4.81 | - | 22.36 | 0.67B |
| EgoForce | - | 10.63 | - | 1.63 | 0.79B |
| World-space hand methods |
| Dyn-HaMR | - | 1.20 | - | 6.03 | 0.70B |
| HaWoR | - | 2.93 | - | 7.76 | 1.17B |
| ReViV | - | 14.77 | - | 15.63 | 1.54B |
| Scene methods |
| DA3-Large-1.1 | - | 50.15 | - | 5.02 | 0.41B |
| VGGT | - | 23.46 | - | 8.81 | 1.26B |
| VGGT- $\Omega$ | - | 21.05 | - | 8.30 | 1.14B |
| $\pi^{3}$ | - | 16.90 | - | 7.36 | 0.96B |
| LingBot-Map | - | 4.27 | - | 12.54 | 1.16B |
受控多速率效率消融实验
512×512 · 2秒窗口 · NVIDIA H20
Figure 10: Hand-rate efficiency across global strides. Only the global stride $s \in \{1, 3, 5\}$ changes, with parameters, $512 \times 512$ input, and 2 s windows held fixed, so the panels isolate its effect on hand-rate throughput (H FPS), the anchor and output rates, forward latency, and peak memory.
表6列出了正文效率图表所对应的配置；其中的$G/H/R$列记录了每种配置的锚点、手部及输出速率。图10在固定参数、分辨率和窗口长度的条件下，对全局步长进行了消融实验，同时报告了手部速率的吞吐量、延迟以及峰值内存；各步长下的重建精度详见附录I。计时使用的是一台
---
配备500帧测量数据的NVIDIA H20，并遵循原始测量报告；PAD-Hand包含其所需的WiLoR前置条件。ContactOpt和S $^{2}$Contact需要利用真实的手部几何信息、物体网格以及物体6自由度位姿，因此它们不纳入吞吐量比较范畴。
## D 评估指标与排名规则
本节对实验设置中给出的指标摘要进行了补充：我们说明了在测量误差前如何对齐各种几何变体的预测结果与真实值，以及接触分数和可见性分数是如何计算的。设$\hat{X}$和X分别表示某个窗口内的预测点与真实点，N为有效点的数量。几何指标以毫米为单位进行报告，其中关节采用平均关节位置误差（MPJPE），顶点采用平均顶点位置误差（MPVPE），且每种变体在测量误差前均采用固定的对齐方式。
评估协议。常规评估使用2,378个随机选取的窗口，每个窗口为2秒（60帧）的片段，其帧率保持为数据集的原始帧率。这些窗口从六个数据集（H2O、HOT3D Aria、ARCTIC、OakInk-v2、TACO和HOI4D）中按固定比例抽取，且与训练集不重叠；序列内的片段互不重叠，抽取比例也限制了评估成本。为了控制评估成本，Dyn-HaMR和InteractVLM分别在各自随机抽取的100个窗口子集上进行评估，并与在同一窗口上计算的EgoFound3R结果配对；这对结果仅在配对内部进行排名，详见附录H。
表7：数据集划分。训练集统计的是训练分区中的源序列数量；评估集统计的是按照通用协议从测试分区中抽取的2秒窗口数量。STERA-10M仅提供训练数据。
| Dataset | Train sequences | Eval clips |
| OakInk-v2 | 565 | 400 |
| TACO | 839 | 400 |
| HOI4D | 1,431 | 461 |
| $H_{2}O$ | 138 | 283 |
| HOT3D Aria | 136 | 400 |
| ARCTIC | 226 | 434 |
| STERA-10M | all | - |
原始误差与根节点相对误差。原始误差是指未经对齐的误差，即在无需进行相似性对齐的情况下，将预测结果与真实值转换到同一窗口坐标系后计算得出的误差。根节点相对误差则是在评估前从预测结果与真实值中扣除根节点平移量（此处指手腕位置），从而仅测量关节或顶点的相对运动情况。
对齐误差。PA（Procrustes对齐）通过Procrustes分析为每一帧计算一个相似变换，并报告对齐后的残差，从而独立地消除每帧中的全局旋转、平移和缩放。而Sim(3)则是为每个窗口估计一个单一的相似变换，并将其应用于该窗口内的所有帧，这样既能保留窗口内的运动特性，又能消除窗口级别的缩放和旋转。
世界坐标误差。W（世界坐标）方法会在将预测结果通过相机位姿映射到世界坐标系后，评估手部的各点位置：采用自身轨迹预测的方法会使用其预测的相机参数，而没有预测相机参数的相机空间法则会退而使用真实的外部参数，这类方法在表中标记为†。随后，两种指标都会从预测的手部点到真实手部点之间拟合出一个Sim(3)变换：对于前两个有效帧采用W指标，将该变换应用于整个窗口；而对于窗口内所有有效的手部点则采用WA指标，这样既能消除重建手部轨迹的全局漂移，又能保留局部运动特性。对于W和WA指标，表中标记为†的方法使用的是真实外部参数，其排名会与使用预测外部参数的方法分开；‡标记的是在接收真实相机内参的同时仍预测外部参数的我们的模型；上标用于标识100窗口子集，局部指标则统一排名。
---
接触与可见性。接触情况是逐手部点评估的，也就是针对每个关节或顶点，在对所有点进行汇总之前完成评估。精确度为TP/(TP + FP)，召回率为TP/(TP + FN)，F1值为二者的调和平均值$2PR/(P + R)$；这三个指标都是无量纲分数，详见[^0]和[^1]，且针对关节、原始顶点以及插值顶点均采用相同的标签进行计算。分数先按窗口计算，再取窗口间的平均值，因此报告的F1值是各窗口F1值的平均值，而非报告的精确度与召回率的调和平均值。表13中的阈值扫描是个例外：其AP和最佳F1值是将数据集中的所有点合并计算，而F1@0.5列则重复显示窗口平均值。可见性指标对二值的逐点可见性标签采用相同的三种定义。距离指的是手部点到标注物体或对手表面之间的距离，表中报告的是所有有效查询点的平均绝对误差（MAE，单位：毫米）：包括MAE(All)、有预测接触点的MAE(Pred)以及有真实接触点的MAE(GT)。在所示精确度下的最佳值和次佳值分别以粗体和下划线标示，颜色分别为浅蓝色和琥珀色，并列情况共享相同标记。短横线表示指标未定义。如附录H所述，基于100窗口子集评估的行仅在其对应组内排名。表中用以下符号作为列标题：针对关节和顶点的Raw、RR、PA、Sim(3)、W和WA，针对接触与可见性的P、R和F1。
## E 额外的手部几何评估
表8报告了OakInk-v2、TACO和HOI4D数据集上21个关节处的手部几何误差（MPJPE），以及原始195顶点和插值778顶点表面的误差（MPVPE），以此补充正文中的关节对比结果。不同分辨率下的排名与关节对比结果一致：EgoFound3R在无对齐、根节点相对以及世界坐标指标中均表现最优。这195个点是随Mesh Graphormer（Lin等人，2021年）一同发布的固定一级MANO采样点，是通过独热矩阵从778个MANO顶点中选出的子集；我们的778顶点结果是利用同一版本中提供的匹配上采样矩阵从它们推导而来的。
Table 8: Hand geometry on OakInk-v2, TACO, and HOI4D in mm at 21 joints and 195/778 vertices; marks follow Table 1.
| Method | 21 joints: MPJPE | 195 vertices: MPVPE | 778 vertices: MPVPE |
| Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ |
| OakInk-v2 |
| WiLoR $^{\dagger}$ | 91.24 | 27.66 | 7.78 | 16.89 | 42.14 | 17.04 | 91.16 | 26.00 | 7.55 | 16.90 | 41.84 | 17.06 | 91.46 | 26.78 | 7.44 | 16.82 | 42.02 | 16.97 |
| PAD-Hand $^{\dagger}$ | 107.16 | 32.23 | 9.63 | 21.37 | 49.01 | 21.62 | 106.47 | 30.03 | 9.32 | 21.15 | 47.23 | 21.40 | 106.98 | 30.79 | 9.12 | 21.02 | 47.41 | 21.26 |
| EgoForce $^{\dagger}$ | 123.57 | 47.75 | 11.09 | 32.62 | 80.59 | 33.10 | 123.63 | 45.07 | 10.95 | 33.19 | 81.00 | 33.65 | 123.95 | 45.82 | 10.64 | 32.93 | 81.19 | 33.40 |
| EgoFound3R $^{\dagger}$ | - | - | - | - | 27.49 | 17.89 | - | - | - | - | 27.79 | 18.07 | - | - | - | - | 28.53 | 18.76 |
| Dyn-HaMR $^{100w}$ | 96.39 | 17.91 | 7.84 | 13.76 | 36.16 | 17.19 | 95.78 | 16.87 | 7.67 | 13.73 | 35.84 | 17.20 | 95.94 | 17.22 | 7.56 | 13.62 | 35.90 | 17.06 |
| HaWoR | 174.73 | 45.85 | 9.49 | 32.19 | 100.46 | 37.47 | 172.35 | 42.56 | 9.54 | 32.32 | 100.62 | 37.78 | 173.68 | 44.08 | 9.24 | 32.19 | 100.83 | 37.59 |
| EgoFound3R | 51.81 | 17.77 | 8.02 | 17.87 | 30.88 | 18.77 | 51.40 | 17.11 | 7.96 | 18.05 | 31.32 | 18.98 | 51.64 | 18.37 | 8.98 | 18.75 | 31.99 | 19.63 |
| EgoFound3R $^{\ddagger}$ | 39.45 | 17.84 | 8.04 | 18.01 | 31.56 | 18.94 | 39.28 | 17.18 | 7.98 | 18.21 | 32.03 | 19.17 | 39.53 | 18.44 | 9.01 | 18.88 | 32.58 | 19.80 |
| TACO |
| WiLoR $^{\dagger}$ | 70.40 | 28.33 | 9.49 | 25.95 | 51.14 | 26.14 | 69.91 | 26.94 | 9.87 | 26.11 | 50.71 | 26.29 | 70.13 | 27.30 | 9.72 | 26.02 | 50.52 | 26.20 |
| PAD-Hand $^{\dagger}$ | 72.97 | 30.30 | 11.19 | 29.21 | 57.06 | 29.60 | 72.45 | 29.03 | 10.84 | 28.74 | 54.03 | 29.15 | 72.73 | 29.32 | 10.64 | 28.64 | 54.50 | 29.06 |
| EgoForce $^{\dagger}$ | 126.63 | 44.53 | 11.93 | 47.84 | 105.52 | 46.65 | 126.58 | 41.99 | 12.18 | 48.41 | 106.20 | 47.28 | 126.83 | 42.56 | 11.89 | 48.06 | 106.11 | 46.92 |
| EgoFound3R $^{\dagger}$ | - | - | - | - | 36.68 | 24.06 | - | - | - | - | 37.47 | 24.45 | - | - | - | - | 38.18 | 25.37 |
| Dyn-HaMR $^{100w}$ | 127.12 | 27.47 | 11.62 | 29.27 | 77.88 | 31.46 | 127.79 | 26.04 | 11.55 | 29.49 | 78.23 | 31.82 | 127.94 | 26.33 | 11.46 | 29.45 | 78.09 | 31.73 |
| HaWoR | 74.28 | 24.19 | 10.55 | 27.71 | 86.38 | 35.34 | 73.75 | 23.02 | 10.99 | 27.91 | 86.78 | 35.81 | 74.05 | 23.26 | 10.71 | 27.74 | 86.63 | 35.53 |
| EgoFound3R | 54.64 | 18.54 | 8.13 | 24.15 | 40.03 | 25.16 | 53.76 | 18.36 | 8.67 | 24.49 | 40.69 | 25.55 | 54.03 | 19.91 | 10.19 | 25.39 | 41.36 | 26.42 |
| EgoFound3R $^{\ddagger}$ | 50.44 | 18.52 | 8.13 | 24.63 | 41.78 | 25.75 | 50.61 | 18.36 | 8.67 | 25.03 | 42.68 | 26.20 | 51.54 | 19.99 | 10.31 | 25.98 | 43.22 | 27.11 |
| HOI4D |
| WiLoR $^{\dagger}$ | 81.51 | 27.75 | 9.62 | 24.14 | 49.41 | 24.57 | 81.34 | 26.40 | 9.61 | 24.25 | 48.78 | 24.64 | 82.08 | 26.69 | 9.51 | 24.14 | 48.80 | 24.56 |
| PAD-Hand $^{\dagger}$ | 75.35 | 29.77 | 10.12 | 24.79 | 51.92 | 25.04 | 74.91 | 28.68 | 9.83 | 24.65 | 50.73 | 24.93 | 75.80 | 28.92 | 9.71 | 24.54 | 50.68 | 24.83 |
| EgoForce $^{\dagger}$ | 147.77 | 52.78 | 12.92 | 49.22 | 142.58 | 55.76 | 147.13 | 50.29 | 12.93 | 50.26 | 143.30 | 56.49 | 147.64 | 50.75 | 12.56 | 49.81 | 142.96 | 56.10 |
| EgoFound3R $^{\dagger}$ | - | - | - | - | 63.01 | 23.30 | - | - | - | - | 63.02 | 23.56 | - | - | - | - | 63.62 | 24.72 |
| Dyn-HaMR $^{100w}$ | 245.06 | 26.49 | 11.89 | 30.47 | 173.62 | 65.71 | 245.09 | 25.53 | 12.28 | 30.99 | 173.69 | 66.73 | 245.58 | 25.77 | 12.01 | 30.74 | 173.51 | 66.03 |
| HaWoR | 53.46 | 28.47 | 10.49 | 27.85 | 171.09 | 55.96 | 53.11 | 26.53 | 10.38 | 27.73 | 170.80 | 56.69 | 53.30 | 27.33 | 10.19 | 27.67 | 170.58 | 56.31 |
| EgoFound3R | 47.28 | 16.63 | 7.99 | 23.29 | 159.70 | 49.84 | 48.46 | 16.20 | 8.29 | 23.60 | 160.03 | 50.68 | 49.72 | 18.06 | 10.16 | 24.75 | 160.98 | 50.85 |
| EgoFound3R $^{\ddagger}$ | 43.43 | 16.67 | 8.00 | 23.39 | 159.18 | 49.77 | 44.20 | 16.24 | 8.31 | 23.78 | 159.74 | 50.65 | 45.50 | 18.09 | 10.17 | 24.91 | 160.62 | 50.80 |
## F 时序评估
速度（MPJVE/MPMVE/MPVVE，单位为毫米/秒）和加速度（MPJAE/MPMAE/MPVAE，单位为m/s $^{2}$）误差反映了恢复后的轨迹与真实运动轨迹的吻合程度。
---
在包含21个关节、195个顶点以及完整的778个顶点的MANO网格上，表9对比了EgoFound3R与手部基线模型在三个评估子集上的表现；表10则在Dyn-HaMR共享的100窗口匹配子集上重复了这一对比。ReViV仅能预测关节信息，因此其针对195顶点和778顶点子集的结果无法获取，而我们给出的时间相关数值来自对步长为5的配置进行默认推理后重新运行的结果。
Table 9: Temporal consistency on OakInk-v2, TACO, and HOI4D. Velocity (MPJVE/MPMVE/MPVVE) and acceleration (MPJAE/MPMAE/MPVAE) errors at 21 joints, 195 vertices, and 778 vertices are in mm/s and m/s $^{2}$; marks follow Table 1.
| Method | 21 joints | 195 vertices | 778 vertices |
| MPJVE $\downarrow$ | MPJAE $\downarrow$ | MPMVE $\downarrow$ | MPMAE $\downarrow$ | MPVVE $\downarrow$ | MPVAE $\downarrow$ |
| OakInk-v2 | | | | | | |
| WiLoR $^{\dagger}$ | 116.81 | 4.66 | 110.07 | 4.38 | 112.47 | 4.49 |
| PAD-Hand $^{\dagger}$ | 124.78 | 4.29 | 118.80 | 4.08 | 120.99 | 4.16 |
| EgoForce $^{\dagger}$ | 258.44 | 12.11 | 242.73 | 11.35 | 247.57 | 11.58 |
| HaWoR | 59.59 | 2.07 | 56.20 | 1.96 | 57.23 | 1.99 |
| ReViV | 165.72 | 6.43 | - | - | - | - |
| EgoFound3R | 56.55 | 1.17 | 54.09 | 1.12 | 54.29 | 1.12 |
| TACO | | | | | | |
| WiLoR $^{\dagger}$ | 138.28 | 5.44 | 130.00 | 5.11 | 132.79 | 5.23 |
| PAD-Hand $^{\dagger}$ | 136.35 | 4.56 | 129.16 | 4.33 | 131.18 | 4.41 |
| EgoForce $^{\dagger}$ | 453.68 | 21.99 | 424.57 | 20.56 | 433.80 | 21.02 |
| HaWoR | 93.13 | 2.67 | 87.76 | 2.52 | 89.10 | 2.56 |
| ReViV | 125.87 | 3.02 | - | - | - | - |
| EgoFound3R | 92.00 | 1.87 | 87.10 | 1.76 | 87.53 | 1.77 |
| HOI4D | | | | | | |
| WiLoR $^{\dagger}$ | 158.49 | 5.99 | 148.44 | 5.61 | 151.50 | 5.73 |
| PAD-Hand $^{\dagger}$ | 145.21 | 4.97 | 137.02 | 4.70 | 139.47 | 4.79 |
| EgoForce $^{\dagger}$ | 544.59 | 26.48 | 510.65 | 24.80 | 520.77 | 25.31 |
| HaWoR | 140.11 | 4.73 | 131.19 | 4.42 | 133.78 | 4.52 |
| ReViV | 448.65 | 18.25 | - | - | - | - |
| EgoFound3R | 152.69 | 4.34 | 144.58 | 4.08 | 147.84 | 4.20 |
Table 10: Matched 100-window temporal consistency. Dyn-HaMR and EgoFound3R are evaluated on the same windows; errors are in mm/s and m/s $^{2}$ and marks follow Table 1.
| Method | 21 joints | 195 vertices | 778 vertices |
| MPJVE $\downarrow$ | MPJAE $\downarrow$ | MPMVE $\downarrow$ | MPMAE $\downarrow$ | MPVVE $\downarrow$ | MPVAE $\downarrow$ |
| OakInk-v2 | | | | | | |
| Dyn-HaMR $^{{100w}}$ | 132.68 | 6.04 | 130.90 | 5.95 | 131.84 | 6.00 |
| EgoFound3R $^{{100w,Dyn}}$ | 63.85 | 1.32 | 61.40 | 1.27 | 61.69 | 1.27 |
| TACO | | | | | | |
| Dyn-HaMR $^{{100w}}$ | 339.05 | 13.55 | 334.51 | 13.36 | 336.74 | 13.47 |
| EgoFound3R $^{{100w,Dyn}}$ | 99.81 | 2.00 | 93.68 | 1.88 | 94.24 | 1.89 |
| HOI4D | | | | | | |
| Dyn-HaMR $^{{100w}}$ | 439.65 | 18.90 | 436.66 | 18.79 | 438.56 | 18.87 |
| EgoFound3R $^{{100w,Dyn}}$ | 204.38 | 6.78 | 191.63 | 6.29 | 196.89 | 6.48 |
## G 接触与可见性评估
三个点集的接触情况：表11报告了在21关节、195顶点和778顶点分辨率下的接触分类结果。InteractVLM使用其原始的100窗口子集；对应的匹配版EgoFound3R对照组结果在附录H中单独列出。我们的基准数据将距离物体或对手部表面小于18毫米的点判定为接触点（针对关节部位），而手部表面195个顶点（含指尖）的接触判定阈值为14毫米。由于三种对比系统对接触的定义各不相同，因此没有一种系统采用上述标准：ContactOpt和S²Contact将表面容差在2毫米以内的点视为接触点，这一范围比我们的定义更窄。
---
InteractVLM沿用了标注好的顶点标签。另外两个几何基线模型还额外获得了手部与物体的真实几何数据。
Table 11: Contact prediction on OakInk-v2, TACO, and HOI4D at 21 joints, 195 vertices, and 778 vertices. Superscripts mark 100-window subsets, and marks follow Table 1.
| Method | 21 joints | 195 vertices | 778 vertices |
| P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ |
| OakInk-v2 |
| $InteractVLM^{{100w}}$ | 0.180 | 0.403 | 0.202 | 0.173 | 0.408 | 0.205 | 0.168 | 0.412 | 0.201 |
| $S^2$Contact | 0.327 | 0.081 | 0.079 | 0.401 | 0.180 | 0.158 | 0.397 | 0.198 | 0.173 |
| ContactOpt | 0.334 | 0.196 | 0.154 | 0.334 | 0.234 | 0.178 | 0.338 | 0.248 | 0.185 |
| EgoFound3R | 0.510 | 0.665 | 0.493 | 0.525 | 0.611 | 0.479 | 0.516 | 0.329 | 0.320 |
| TACO |
| $InteractVLM^{{100w}}$ | 0.388 | 0.705 | 0.472 | 0.348 | 0.743 | 0.451 | 0.356 | 0.750 | 0.458 |
| $S^2$Contact | 0.519 | 0.104 | 0.146 | 0.590 | 0.210 | 0.285 | 0.592 | 0.234 | 0.308 |
| ContactOpt | 0.557 | 0.197 | 0.259 | 0.571 | 0.249 | 0.311 | 0.573 | 0.241 | 0.303 |
| EgoFound3R | 0.654 | 0.777 | 0.697 | 0.636 | 0.719 | 0.661 | 0.516 | 0.265 | 0.320 |
| HOI4D |
| $InteractVLM^{{100w}}$ | 0.313 | 0.537 | 0.281 | 0.256 | 0.556 | 0.261 | 0.249 | 0.553 | 0.261 |
| $S^2$Contact | 0.444 | 0.265 | 0.284 | 0.437 | 0.340 | 0.333 | 0.426 | 0.344 | 0.330 |
| ContactOpt | 0.518 | 0.477 | 0.435 | 0.506 | 0.548 | 0.463 | 0.496 | 0.538 | 0.449 |
| EgoFound3R | 0.612 | 0.835 | 0.675 | 0.608 | 0.807 | 0.656 | 0.531 | 0.466 | 0.445 |
Vertex-level visibility. Tab. 12 reports visibility at the native 195 vertices and the interpolated 778-vertex mesh, which the compared pipelines do not provide; HVD predicts joint visibility only, so no ranking is shown.
Table 12: Vertex-level visibility at the native 195 vertices and the interpolated 778-vertex mesh.
| Dataset | Method | 195 vertices | 778 vertices |
| P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ |
| OakInk-v2 | EgoFound3R | 0.556 | 0.705 | 0.595 | 0.555 | 0.690 | 0.588 |
| TACO | EgoFound3R | 0.437 | 0.818 | 0.567 | 0.439 | 0.805 | 0.565 |
| HOI4D | EgoFound3R | 0.572 | 0.789 | 0.660 | 0.581 | 0.781 | 0.663 |
阈值与定义敏感性：表11报告了基于某一基准定义下的一个操作点结果。由于对比系统是在不同的接触约定下训练的，我们分离出了无需重新训练即可区分的两种影响因素：每种方法得分所采用的决策阈值，以及定义基准数据的距离容差。我们并未修改任何模型或预测结果，下表中的所有数值都是对同一缓存的逐点得分和距离数据进行后处理得到的结果。
扫描与读取：表13扫描了每种方法0.01到0.99范围内的得分。AP值用于衡量与操作点无关的分类质量，best-F1则给出了可获得的最佳性能点及其对应的阈值。在此扫描范围内，所提出的模型在三个评估数据集上均取得了最高的AP值和best-F1值，且其best-F1阈值（0.39–0.51）接近常规的0.5决策点；而两个几何基线模型达到峰值性能的阈值低至0.09。
对预测正例的一致性分析：表14将基准数据限定在2毫米的表面带内，这一标准与两个几何基线模型的覆盖准则相匹配，该带域是基于195个顶点计算的。三个评估数据集上的排序结果保持一致。如图11所示，两个几何基线模型预测的正例并不局限于定义其覆盖范围的狭窄带域：这些点的距离分布范围可达数十毫米，在三个评估数据集上的中位数介于10–21毫米之间，其中四分之一到近一半的点距离超过25毫米。所提出的模型则保持了更紧凑的分布特征，中位数仅为10–12毫米，且57–65%的正例位于14毫米的接触带内，这一结果与用于监督其属性头的距离回归设定相一致。
---
Table 13: Decision-threshold sweep for contact prediction on the 195 vertices. AP and best-F1 pool the points of a dataset over 99 thresholds, with the best-F1 threshold in parentheses; marks follow Table 1.
| Dataset | Method | AP $\uparrow$ | best-F1 $\uparrow$ | F1@0.5 $\uparrow$ |
| OakInk-v2 | ContactOpt | 0.308 | 0.411 (0.21) | 0.178 |
| S $^{2}$Contact | 0.395 | 0.449 (0.09) | 0.158 |
| EgoFound3R | 0.603 | 0.617 (0.39) | 0.479 |
| TACO | ContactOpt | 0.475 | 0.542 (0.15) | 0.311 |
| S $^{2}$Contact | 0.512 | 0.558 (0.09) | 0.285 |
| EgoFound3R | 0.714 | 0.691 (0.43) | 0.661 |
| HOI4D | ContactOpt | 0.482 | 0.589 (0.35) | 0.463 |
| S $^{2}$Contact | 0.399 | 0.515 (0.26) | 0.333 |
| EgoFound3R | 0.735 | 0.714 (0.51) | 0.656 |
| 100-window paired subsets |
| OakInk-v2 | InteractVLM $^{100w}$ | 0.184 | 0.275 (0.71) | 0.205 |
| EgoFound3R $^{100w}$ | 0.559 | 0.594 (0.42) | 0.442 |
| TACO | InteractVLM $^{100w}$ | 0.397 | 0.494 (0.90) | 0.451 |
| EgoFound3R $^{100w}$ | 0.725 | 0.712 (0.42) | 0.691 |
| HOI4D | InteractVLM $^{100w}$ | 0.249 | 0.371 (0.82) | 0.261 |
| EgoFound3R $^{100w}$ | 0.700 | 0.693 (0.48) | 0.670 |
Table 14: Narrow-band contact comparison on the 195 vertices at the 0.5 operating point. The two column groups differ only in the labeling tolerance; the 2 mm band is defined on the 195 vertices only.
| Dataset | Method | our GT | 2 mm band |
| P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ |
| OakInk-v2 | ContactOpt | 0.334 | 0.234 | 0.178 | 0.080 | 0.335 | 0.096 |
| S $^{2}$Contact | 0.401 | 0.180 | 0.158 | 0.117 | 0.331 | 0.115 |
| EgoFound3R | 0.525 | 0.611 | 0.479 | 0.103 | 0.741 | 0.164 |
| TACO | ContactOpt | 0.571 | 0.249 | 0.311 | 0.101 | 0.358 | 0.140 |
| S $^{2}$Contact | 0.590 | 0.210 | 0.285 | 0.127 | 0.376 | 0.171 |
| EgoFound3R | 0.636 | 0.719 | 0.661 | 0.108 | 0.836 | 0.188 |
| HOI4D | ContactOpt | 0.506 | 0.548 | 0.463 | 0.100 | 0.657 | 0.157 |
| S $^{2}$Contact | 0.437 | 0.340 | 0.333 | 0.086 | 0.390 | 0.125 |
| EgoFound3R | 0.608 | 0.807 | 0.656 | 0.101 | 0.865 | 0.174 |
| 100-window paired subsets |
| OakInk-v2 | InteractVLM $^{100w}$ | 0.173 | 0.408 | 0.205 | 0.031 | 0.426 | 0.055 |
| EgoFound3R $^{100w}$ | 0.441 | 0.638 | 0.442 | 0.090 | 0.774 | 0.151 |
| TACO | InteractVLM $^{100w}$ | 0.348 | 0.743 | 0.451 | 0.052 | 0.758 | 0.094 |
| EgoFound3R $^{100w}$ | 0.654 | 0.755 | 0.691 | 0.111 | 0.877 | 0.196 |
| HOI4D | InteractVLM $^{100w}$ | 0.256 | 0.556 | 0.261 | 0.035 | 0.589 | 0.055 |
| EgoFound3R $^{100w}$ | 0.631 | 0.794 | 0.670 | 0.095 | 0.874 | 0.168 |
---
GT positives EgoFound3R ContactOpt S²Contact InteractVLM
Figure 11: Where each method's predicted contacts lie. Predicted-positive distances on the 195 vertices, one row per dataset. Left: cumulative fraction of a method's positives within a given distance to the surface, ground truth in gray, with vertical lines marking the 2 mm coverage band of the two geometric baselines and our 14 mm contact band. Right: recall of ground-truth contacts as the labelling threshold varies, with reference lines at 2, 14, and 18 mm.
## H 100窗口基线的匹配子集对照组
表15和表16分别采用了Dyn-HaMR原始的手部子集和InteractVLM的接触子集。每个基线模型及其EgoFound3R对照组均在相同的窗口上进行评估。结果在每个匹配组内分别排名，与通用窗口评估的结果分开统计。
---
Table 15: Matched 100-window hand geometry. Dyn-HaMR and EgoFound3R are evaluated on the same windows; errors are in mm.
| Method | 21 joints: MPJPE | 195 vertices: MPVPE | 778 vertices: MPVPE |
| Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ |
| OakInk-v2 |
| Dyn-HaMR $^{{100w}}$ | 96.39 | 17.91 | 7.84 | 13.76 | 36.16 | 17.19 | 95.78 | 16.87 | 7.67 | 13.73 | 35.84 | 17.20 |
| EgoFound3R $^{\ddagger}$ $\downarrow$ $^{{100w, Dyn}}$ | 50.88 | 21.17 | 8.50 | 20.30 | 30.20 | 20.88 | 49.07 | 20.97 | 8.54 | 20.49 | 30.21 | 21.02 |
| EgoFound3R $^{\ddagger}$ $\ddagger$ $^{{100w, Dyn}}$ | 43.29 | 21.18 | 8.51 | 21.15 | 32.68 | 21.88 | 42.73 | 20.97 | 8.54 | 21.33 | 32.71 | 22.06 |
| TACO |
| Dyn-HaMR $^{{100w}}$ | 127.12 | 27.47 | 11.62 | 29.27 | 77.88 | 31.46 | 127.79 | 26.04 | 11.55 | 29.49 | 78.23 | 31.82 |
| EgoFound3R $^{\ddagger}$ $\downarrow$ $^{{100w, Dyn}}$ | 56.15 | 20.80 | 8.74 | 24.53 | 40.70 | 25.49 | 55.18 | 20.37 | 9.02 | 24.70 | 41.43 | 25.82 |
| EgoFound3R $^{\ddagger}$ $\ddagger$ $^{{100w, Dyn}}$ | 59.47 | 20.80 | 8.74 | 24.90 | 42.10 | 25.93 | 59.76 | 20.37 | 9.01 | 25.13 | 43.20 | 26.34 |
| HOI4D |
| Dyn-HaMR $^{{100w}}$ | 245.06 | 26.49 | 11.89 | 30.47 | 173.62 | 65.71 | 245.09 | 25.53 | 12.28 | 30.99 | 173.69 | 66.73 |
| EgoFound3R $^{\ddagger}$ $\downarrow$ $^{{100w, Dyn}}$ | 50.92 | 17.73 | 8.71 | 26.25 | 205.48 | 65.61 | 52.06 | 16.98 | 8.65 | 26.27 | 208.31 | 66.75 |
| EgoFound3R $^{\ddagger}$ $\ddagger$ $^{{100w, Dyn}}$ | 40.88 | 17.74 | 8.71 | 26.16 | 206.30 | 65.53 | 41.73 | 16.97 | 8.65 | 26.23 | 209.41 | 66.65 |
Table 16: Matched 100-window contact comparison. InteractVLM and EgoFound3R are evaluated on exactly the same windows, and the best value in each column is marked in bold.
| Method | 21 joints | 195 vertices | 778 vertices |
| P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ |
| OakInk-v2 | | | | | | | | | |
| InteractVLM $^{{100w}}$ | 0.180 | 0.403 | 0.202 | 0.173 | 0.408 | 0.205 | 0.168 | 0.412 | 0.201 |
| EgoFound3R $^{{100w, InteractVLM}}$ | 0.381 | 0.762 | 0.431 | 0.441 | 0.638 | 0.442 | 0.457 | 0.295 | 0.298 |
| TACO | | | | | | | | | |
| InteractVLM $^{{100w}}$ | 0.388 | 0.705 | 0.472 | 0.348 | 0.743 | 0.451 | 0.356 | 0.750 | 0.458 |
| EgoFound3R $^{{100w, InteractVLM}}$ | 0.670 | 0.821 | 0.730 | 0.654 | 0.755 | 0.691 | 0.582 | 0.320 | 0.388 |
| HOI4D | | | | | | | | | |
| InteractVLM $^{{100w}}$ | 0.313 | 0.537 | 0.281 | 0.256 | 0.556 | 0.261 | 0.249 | 0.553 | 0.261 |
| EgoFound3R $^{{100w, InteractVLM}}$ | 0.653 | 0.796 | 0.691 | 0.631 | 0.794 | 0.670 | 0.458 | 0.410 | 0.418 |
---
## 一、架构与多速率消融实验
我们在OakInk-v2、TACO和HOI4D数据集上报告了手部几何、接触、可见性和距离的局部与世界空间结果：表17对应手部几何，表18对应接触与可见性，表19对应距离。
0.05B和0.1B（参数规模缩减）。手部模块的参数被缩减至约0.05B和0.1B，而设计的其余部分保持不变，这两个变体用于展示精度对手部解码器参数规模的依赖程度。
MANO（参数回归）。解码器不再预测点坐标，而是回归MANO旋转参数并通过MANO模型生成网格，这种方式将显式点表示的价值与底层网格拓扑的价值区分开来。
移除$\Omega$（无预训练骨干网络）。被冻结的VGGT-$\Omega$骨干网络及其提供的特征被移除，因此手部与场景头仅依靠监督信号进行训练；该变体用于衡量预训练几何先验所起的作用。
单向交互（one-way exchange）。交叉率接口被限制为单一方向：骨干网络的特征仍能传递到手部，但手部信息不再更新锚点，该设置用于验证手部信息是否也会影响场景表征的形成。
Sk（时间步长）。完整模型以时间步长k运行，即每k帧设置一个全局锚点；S1是最密集的情况，S5是默认设置，表格中已用阴影标注，这些变体在参数数量固定的情况下改变了聚合密度。
Table 17: Hand-geometry ablation on OakInk-v2, TACO, and HOI4D. Errors are in mm; Sk is EgoFound3R at stride k.
| Variant | 21 joints: MPJPE | 195 vertices: MPVPE | 778 vertices: MPVPE | | | |
| Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ | Raw $\downarrow$ | RR $\downarrow$ | PA $\downarrow$ | Sim(3) $\downarrow$ | W $\downarrow$ | WA $\downarrow$ |
| OakInk-v2 | |
| 0.05B | 112.47 | 35.90 | 16.76 | 33.35 | 65.09 | 35.51 | 110.83 | 35.50 | 16.15 | 33.45 | 65.83 | 35.66 | 111.13 | 36.33 | 16.20 | 33.46 | 66.14 | 35.63 |
| 0.1B | 98.34 | 31.74 | 15.24 | 30.74 | 61.31 | 32.39 | 98.33 | 30.92 | 15.27 | 30.67 | 59.29 | 32.32 | 98.69 | 31.64 | 15.36 | 30.73 | 59.56 | 32.32 |
| MANO | 73.39 | 21.02 | 8.74 | 24.13 | 45.73 | 25.71 | 73.27 | 19.87 | 8.55 | 24.30 | 45.46 | 25.92 | 73.12 | 21.01 | 9.36 | 24.70 | 46.05 | 26.27 |
| w/o $\Omega$ | 86.13 | 22.06 | 9.92 | 23.63 | 44.03 | 24.88 | 85.25 | 20.59 | 9.54 | 23.69 | 43.87 | 24.95 | 86.07 | 21.67 | 10.32 | 24.17 | 44.39 | 25.40 |
| 1-way | 79.62 | 22.01 | 9.96 | 22.94 | 41.28 | 24.30 | 80.46 | 21.44 | 9.98 | 23.00 | 40.84 | 24.43 | 80.88 | 22.47 | 10.65 | 23.41 | 41.40 | 24.81 |
| S1 | 53.15 | 17.68 | 7.97 | 17.50 | 28.13 | 17.91 | 52.36 | 17.11 | 7.97 | 17.71 | 28.45 | 18.13 | 52.46 | 18.33 | 8.96 | 18.39 | 29.17 | 18.79 |
| S2 | 53.14 | 17.82 | 8.02 | 18.01 | 30.37 | 18.81 | 52.72 | 17.08 | 7.96 | 18.18 | 30.75 | 18.99 | 52.96 | 18.33 | 8.98 | 18.88 | 31.41 | 19.65 |
| S3 | 51.97 | 17.78 | 8.02 | 17.99 | 30.70 | 18.85 | 51.64 | 17.10 | 7.96 | 18.18 | 31.09 | 19.05 | 51.90 | 18.35 | 8.98 | 18.88 | 31.77 | 19.71 |
| S4 | 51.72 | 17.78 | 8.02 | 17.91 | 30.68 | 18.80 | 51.38 | 17.10 | 7.96 | 18.10 | 31.09 | 19.00 | 51.63 | 18.35 | 8.98 | 18.80 | 31.76 | 19.65 |
| S5 | 51.81 | 17.77 | 8.02 | 17.87 | 30.88 | 18.77 | 51.40 | 17.11 | 7.96 | 18.05 | 31.32 | 18.98 | 51.64 | 18.37 | 8.98 | 18.75 | 31.99 | 19.63 |
| TACO | |
| 0.05B | 109.71 | 36.74 | 15.15 | 42.08 | 81.37 | 42.66 | 110.05 | 33.75 | 14.38 | 42.10 | 83.13 | 42.84 | 110.63 | 35.05 | 15.30 | 42.42 | 82.54 | 43.09 |
| 0.1B | 96.90 | 30.55 | 13.14 | 35.07 | 61.66 | 35.81 | 93.16 | 29.92 | 13.53 | 34.95 | 60.85 | 35.78 | 93.04 | 30.89 | 14.17 | 35.34 | 61.53 | 36.14 |
| MANO | 86.66 | 24.29 | 10.68 | 34.41 | 57.45 | 35.15 | 86.25 | 23.33 | 10.80 | 34.49 | 57.54 | 35.29 | 86.18 | 24.47 | 11.96 | 35.06 | 57.95 | 35.78 |
| w/o $\Omega$ | 82.59 | 23.49 | 10.11 | 31.38 | 53.38 | 32.33 | 81.91 | 22.06 | 10.50 | 31.76 | 54.42 | 32.76 | 82.17 | 23.33 | 11.71 | 32.38 | 54.53 | 33.32 |
| 1-way | 78.82 | 23.70 | 10.07 | 31.21 | 54.16 | 32.14 | 78.33 | 22.25 | 10.31 | 31.20 | 54.16 | 32.19 | 78.69 | 23.61 | 11.48 | 31.86 | 54.46 | 32.77 |
| S1 | 67.42 | 22.55 | 8.51 | 27.90 | 47.10 | 28.54 | 68.98 | 19.25 | 8.75 | 27.94 | 46.22 | 28.59 | 69.70 | 21.01 | 10.50 | 28.79 | 46.54 | 29.44 |
| S2 | 53.45 | 18.53 | 8.12 | 24.25 | 40.23 | 25.18 | 52.76 | 18.35 | 8.66 | 24.59 | 40.88 | 25.59 | 53.17 | 19.92 | 10.22 | 25.51 | 41.56 | 26.48 |
| S3 | 53.34 | 18.53 | 8.12 | 24.23 | 40.39 | 25.18 | 52.61 | 18.36 | 8.66 | 24.56 | 40.98 | 25.58 | 53.01 | 19.93 | 10.21 | 25.49 | 41.66 | 26.47 |
| S4 | 53.86 | 18.54 | 8.12 | 24.20 | 40.28 | 25.18 | 53.08 | 18.36 | 8.67 | 24.54 | 40.92 | 25.58 | 53.42 | 19.93 | 10.21 | 25.45 | 41.60 | 26.46 |
| S5 | 54.64 | 18.54 | 8.13 | 24.15 | 40.03 | 25.16 | 53.76 | 18.36 | 8.67 | 24.49 | 40.69 | 25.55 | 54.03 | 19.91 | 10.19 | 25.39 | 41.36 | 26.42 |
| HOI4D | |
| 0.05B | 157.49 | 32.62 | 14.54 | 41.65 | 155.50 | 58.89 | 152.87 | 31.79 | 15.20 | 42.94 | 159.34 | 59.95 | 152.03 | 33.17 | 15.88 | 43.22 | 158.96 | 59.79 |
| 0.1B | 140.38 | 31.89 | 13.76 | 40.07 | 177.85 | 55.65 | 136.61 | 30.75 | 14.88 | 40.69 | 176.65 | 56.59 | 135.81 | 32.01 | 15.47 | 40.99 | 176.79 | 56.39 |
| MANO | 97.37 | 25.36 | 10.71 | 40.45 | 169.67 | 57.57 | 97.08 | 24.25 | 10.74 | 40.99 | 170.05 | 58.42 | 96.93 | 25.72 | 11.97 | 41.49 | 171.27 | 58.39 |
| w/o $\Omega$ | 92.76 | 26.09 | 10.37 | 37.26 | 153.96 | 56.10 | 92.65 | 23.57 | 10.75 | 38.08 | 158.38 | 56.92 | 93.81 | 25.36 | 12.29 | 38.75 | 159.89 | 57.02 |
| 1-way | 99.21 | 23.90 | 10.52 | 39.40 | 158.57 | 56.71 | 98.46 | 23.07 | 10.99 | 40.03 | 158.08 | 57.51 | 98.47 | 24.80 | 12.39 | 40.60 | 159.69 | 57.60 |
| S1 | 52.05 | 17.04 | 8.03 | 23.49 | 151.04 | 49.58 | 53.91 | 16.43 | 8.29 | 23.72 | 151.48 | 50.33 | 55.12 | 18.33 | 10.19 | 24.89 | 152.16 | 50.55 |
| S2 | 48.90 | 16.63 | 7.99 | 23.49 | 158.35 | 50.17 | 50.14 | 16.19 | 8.28 | 23.81 | 158.46 | 50.99 | 51.44 | 18.06 | 10.17 | 24.96 | 159.47 | 51.18 |
| S3 | 49.60 | 16.64 | 7.99 | 23.47 | 158.96 | 49.95 | 50.89 | 16.20 | 8.28 | 23.79 | 159.48 | 50.78 | 52.23 | 18.08 | 10.18 | 24.95 | 160.39 | 50.97 |
| S4 | 48.40 | 16.61 | 7.99 | 23.44 | 158.51 | 50.16 | 49.63 | 16.19 | 8.29 | 23.75 | 158.72 | 50.99 | 50.92 | 18.06 | 10.17 | 24.91 | 159.71 | 51.17 |
| S5 | 47.28 | 16.63 | 7.99 | 23.29 | 159.70 | 49.84 | 48.46 | 16.20 | 8.29 | 23.60 | 160.03 | 50.68 | 49.72 | 18.06 | 10.16 | 24.75 | 160.98 | 50.85 |
---
Table 18: Contact and visibility ablation on OakInk-v2, TACO, and HOI4D. P, R, and F1 denote contact precision, recall, and F1, and VP, VR, and VF1 the corresponding visibility scores.
| 21 joints | 195 vertices | 778 vertices | | | |
| Variant | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | VP $\uparrow$ | VR $\uparrow$ | VF1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | VP $\uparrow$ | VR $\uparrow$ | VF1 $\uparrow$ | P $\uparrow$ | R $\uparrow$ | F1 $\uparrow$ | VP $\uparrow$ | VR $\uparrow$ | VF1 $\uparrow$ |
| OakInk-v2 | |
| 0.05B | 0.541 | 0.283 | 0.298 | 0.820 | 0.736 | 0.760 | 0.600 | 0.251 | 0.277 | 0.678 | 0.170 | 0.244 | 0.373 | 0.165 | 0.175 | 0.695 | 0.161 | 0.235 |
| 0.1B | 0.549 | 0.358 | 0.345 | 0.843 | 0.708 | 0.752 | 0.620 | 0.170 | 0.205 | 0.720 | 0.192 | 0.272 | 0.325 | 0.194 | 0.185 | 0.733 | 0.186 | 0.267 |
| MANO | 0.512 | 0.595 | 0.474 | 0.927 | 0.807 | 0.856 | 0.537 | 0.582 | 0.485 | 0.566 | 0.775 | 0.642 | 0.530 | 0.175 | 0.206 | 0.567 | 0.760 | 0.636 |
| w/o $\Omega$ | 0.535 | 0.606 | 0.480 | 0.925 | 0.796 | 0.844 | 0.552 | 0.557 | 0.463 | 0.554 | 0.770 | 0.630 | 0.276 | 0.250 | 0.203 | 0.553 | 0.757 | 0.625 |
| 1-way | 0.595 | 0.489 | 0.451 | 0.923 | 0.802 | 0.848 | 0.592 | 0.492 | 0.449 | 0.561 | 0.772 | 0.637 | 0.311 | 0.254 | 0.212 | 0.561 | 0.757 | 0.632 |
| S1 | 0.511 | 0.673 | 0.498 | 0.921 | 0.744 | 0.800 | 0.524 | 0.602 | 0.473 | 0.552 | 0.706 | 0.592 | 0.552 | 0.331 | 0.329 | 0.550 | 0.692 | 0.585 |
| S2 | 0.509 | 0.670 | 0.494 | 0.920 | 0.747 | 0.802 | 0.518 | 0.613 | 0.475 | 0.557 | 0.703 | 0.594 | 0.528 | 0.319 | 0.313 | 0.555 | 0.689 | 0.587 |
| S3 | 0.513 | 0.667 | 0.497 | 0.919 | 0.747 | 0.802 | 0.522 | 0.612 | 0.478 | 0.556 | 0.704 | 0.595 | 0.513 | 0.326 | 0.318 | 0.555 | 0.690 | 0.588 |
| S4 | 0.511 | 0.665 | 0.495 | 0.919 | 0.747 | 0.802 | 0.521 | 0.611 | 0.477 | 0.557 | 0.704 | 0.595 | 0.521 | 0.329 | 0.320 | 0.555 | 0.690 | 0.588 |
| S5 | 0.510 | 0.665 | 0.493 | 0.919 | 0.747 | 0.802 | 0.525 | 0.611 | 0.479 | 0.556 | 0.705 | 0.595 | 0.516 | 0.329 | 0.320 | 0.555 | 0.690 | 0.588 |
| TACO | |
| 0.05B | 0.610 | 0.523 | 0.542 | 0.852 | 0.761 | 0.800 | 0.609 | 0.447 | 0.493 | 0.602 | 0.260 | 0.350 | 0.333 | 0.162 | 0.188 | 0.612 | 0.249 | 0.341 |
| 0.1B | 0.590 | 0.611 | 0.579 | 0.871 | 0.750 | 0.801 | 0.600 | 0.476 | 0.506 | 0.591 | 0.298 | 0.381 | 0.357 | 0.147 | 0.177 | 0.597 | 0.288 | 0.373 |
| MANO | 0.668 | 0.665 | 0.643 | 0.921 | 0.801 | 0.854 | 0.642 | 0.586 | 0.592 | 0.458 | 0.741 | 0.562 | 0.462 | 0.163 | 0.218 | 0.463 | 0.719 | 0.559 |
| w/o $\Omega$ | 0.665 | 0.695 | 0.661 | 0.913 | 0.813 | 0.856 | 0.640 | 0.608 | 0.599 | 0.447 | 0.758 | 0.557 | 0.347 | 0.163 | 0.196 | 0.451 | 0.741 | 0.554 |
| 1-way | 0.705 | 0.600 | 0.628 | 0.907 | 0.825 | 0.861 | 0.645 | 0.613 | 0.609 | 0.459 | 0.749 | 0.564 | 0.370 | 0.202 | 0.236 | 0.462 | 0.732 | 0.562 |
| S1 | 0.639 | 0.800 | 0.698 | 0.912 | 0.857 | 0.881 | 0.598 | 0.782 | 0.665 | 0.432 | 0.821 | 0.563 | 0.364 | 0.258 | 0.274 | 0.434 | 0.808 | 0.562 |
| S2 | 0.655 | 0.776 | 0.696 | 0.917 | 0.850 | 0.879 | 0.636 | 0.719 | 0.661 | 0.436 | 0.818 | 0.567 | 0.516 | 0.277 | 0.330 | 0.439 | 0.805 | 0.565 |
| S3 | 0.655 | 0.776 | 0.697 | 0.917 | 0.850 | 0.879 | 0.635 | 0.719 | 0.661 | 0.436 | 0.819 | 0.567 | 0.514 | 0.277 | 0.330 | 0.439 | 0.806 | 0.565 |
| S4 | 0.655 | 0.777 | 0.697 | 0.917 | 0.850 | 0.880 | 0.636 | 0.719 | 0.661 | 0.436 | 0.819 | 0.567 | 0.513 | 0.272 | 0.326 | 0.439 | 0.805 | 0.565 |
| S5 | 0.654 | 0.777 | 0.697 | 0.917 | 0.850 | 0.880 | 0.636 | 0.719 | 0.661 | 0.437 | 0.818 | 0.567 | 0.516 | 0.265 | 0.320 | 0.439 | 0.805 | 0.565 |
| HOI4D | |
| 0.05B | 0.612 | 0.443 | 0.448 | 0.825 | 0.762 | 0.783 | 0.612 | 0.503 | 0.475 | 0.606 | 0.332 | 0.411 | 0.561 | 0.034 | 0.051 | 0.644 | 0.328 | 0.417 |
| 0.1B | 0.546 | 0.636 | 0.526 | 0.833 | 0.744 | 0.777 | 0.639 | 0.426 | 0.422 | 0.626 | 0.348 | 0.428 | 0.478 | 0.063 | 0.081 | 0.666 | 0.345 | 0.438 |
| MANO | 0.600 | 0.676 | 0.593 | 0.892 | 0.812 | 0.844 | 0.638 | 0.550 | 0.528 | 0.613 | 0.685 | 0.641 | 0.507 | 0.163 | 0.195 | 0.624 | 0.672 | 0.640 |
| w/o $\Omega$ | 0.606 | 0.699 | 0.597 | 0.902 | 0.781 | 0.833 | 0.624 | 0.678 | 0.594 | 0.589 | 0.697 | 0.631 | 0.350 | 0.263 | 0.244 | 0.601 | 0.683 | 0.631 |
| 1-way | 0.630 | 0.645 | 0.582 | 0.914 | 0.787 | 0.841 | 0.605 | 0.696 | 0.592 | 0.605 | 0.693 | 0.641 | 0.443 | 0.148 | 0.169 | 0.620 | 0.680 | 0.643 |
| S1 | 0.606 | 0.845 | 0.675 | 0.892 | 0.885 | 0.886 | 0.597 | 0.820 | 0.654 | 0.570 | 0.793 | 0.660 | 0.493 | 0.442 | 0.404 | 0.578 | 0.784 | 0.662 |
| S2 | 0.612 | 0.834 | 0.675 | 0.891 | 0.884 | 0.885 | 0.606 | 0.809 | 0.656 | 0.573 | 0.789 | 0.661 | 0.515 | 0.458 | 0.433 | 0.582 | 0.781 | 0.663 |
| S3 | 0.613 | 0.835 | 0.676 | 0.891 | 0.884 | 0.885 | 0.606 | 0.809 | 0.656 | 0.573 | 0.789 | 0.661 | 0.511 | 0.468 | 0.439 | 0.581 | 0.781 | 0.663 |
| S4 | 0.613 | 0.835 | 0.676 | 0.892 | 0.884 | 0.885 | 0.607 | 0.807 | 0.656 | 0.573 | 0.789 | 0.661 | 0.521 | 0.467 | 0.441 | 0.581 | 0.781 | 0.663 |
| S5 | 0.612 | 0.835 | 0.675 | 0.892 | 0.884 | 0.885 | 0.608 | 0.807 | 0.656 | 0.572 | 0.789 | 0.660 | 0.531 | 0.466 | 0.445 | 0.581 | 0.781 | 0.663 |
---
Table 19: Distance MAE ablation on OakInk-v2, TACO, and HOI4D at 21 joints, 195 vertices, and 778 vertices. Errors are in mm; MAE(All/Pred/GT) use all valid, predicted-contact, and ground-truth-contact points.
| 21 joints | 195 vertices | 778 vertices |
| Variant | MAE(All) $\downarrow$ | MAE(Pred) $\downarrow$ | MAE(GT) $\downarrow$ | MAE(All) $\downarrow$ | MAE(Pred) $\downarrow$ | MAE(GT) $\downarrow$ | MAE(All) $\downarrow$ | MAE(Pred) $\downarrow$ | MAE(GT) $\downarrow$ |
| OakInk-v2 |
| 0.05B | 45.01 | 47.86 | 55.45 | 44.29 | 46.07 | 55.38 | 43.88 | 25.49 | 54.74 |
| 0.1B | 39.91 | 41.60 | 45.88 | 39.61 | 41.08 | 47.73 | 39.35 | 25.20 | 46.76 |
| MANO | 34.73 | 36.28 | 39.00 | 35.32 | 37.76 | 41.37 | 34.66 | 17.35 | 41.13 |
| w/o $\Omega$ | 32.79 | 30.73 | 31.78 | 32.24 | 31.80 | 33.21 | 32.28 | 28.37 | 32.47 |
| 1-way | 31.17 | 28.30 | 29.59 | 31.10 | 28.64 | 31.03 | 30.86 | 23.54 | 30.00 |
| S1 | 21.96 | 22.96 | 24.10 | 21.65 | 22.73 | 24.15 | 21.27 | 12.00 | 23.91 |
| S2 | 21.83 | 22.66 | 24.01 | 21.57 | 22.14 | 24.10 | 21.29 | 12.86 | 23.93 |
| S3 | 21.31 | 21.90 | 23.27 | 21.10 | 21.68 | 23.34 | 20.85 | 13.06 | 23.20 |
| S4 | 21.20 | 21.82 | 23.01 | 20.99 | 21.65 | 23.10 | 20.74 | 12.95 | 22.97 |
| S5 | 21.29 | 22.04 | 23.21 | 21.06 | 21.78 | 23.32 | 20.79 | 12.94 | 23.18 |
| TACO |
| 0.05B | 41.47 | 45.30 | 49.54 | 40.81 | 44.41 | 49.73 | 40.87 | 26.78 | 49.45 |
| 0.1B | 49.27 | 52.15 | 58.61 | 46.88 | 50.39 | 57.48 | 46.00 | 17.83 | 56.79 |
| MANO | 45.46 | 48.21 | 51.97 | 46.16 | 51.21 | 54.07 | 45.31 | 12.78 | 53.51 |
| w/o $\Omega$ | 36.19 | 40.42 | 42.52 | 36.31 | 41.14 | 43.77 | 35.96 | 19.43 | 43.33 |
| 1-way | 32.79 | 35.52 | 37.29 | 32.80 | 36.89 | 38.57 | 32.65 | 18.41 | 38.26 |
| S1 | 27.34 | 28.13 | 30.06 | 27.78 | 29.21 | 31.54 | 27.65 | 18.57 | 30.96 |
| S2 | 25.13 | 27.16 | 29.37 | 25.01 | 27.60 | 30.19 | 24.63 | 10.99 | 29.81 |
| S3 | 25.09 | 27.07 | 29.29 | 24.96 | 27.53 | 30.12 | 24.56 | 11.01 | 29.72 |
| S4 | 25.52 | 27.48 | 29.73 | 25.40 | 27.94 | 30.60 | 24.94 | 10.94 | 30.17 |
| S5 | 26.26 | 28.09 | 30.47 | 26.12 | 28.51 | 31.38 | 25.57 | 10.78 | 30.91 |
| HOI4D |
| 0.05B | 120.58 | 119.53 | 129.15 | 117.58 | 119.51 | 128.37 | 115.66 | 12.06 | 127.52 |
| 0.1B | 104.80 | 111.40 | 120.17 | 103.23 | 115.80 | 119.63 | 101.29 | 19.07 | 118.74 |
| MANO | 52.05 | 52.19 | 57.18 | 52.96 | 52.95 | 57.71 | 52.09 | 16.03 | 57.45 |
| w/o $\Omega$ | 38.01 | 38.09 | 41.15 | 38.30 | 38.24 | 41.19 | 38.24 | 25.03 | 41.14 |
| 1-way | 56.20 | 58.68 | 64.31 | 55.95 | 57.95 | 64.38 | 55.01 | 20.74 | 63.90 |
| S1 | 20.84 | 18.50 | 18.71 | 22.08 | 19.22 | 19.43 | 22.22 | 15.93 | 19.39 |
| S2 | 18.59 | 16.82 | 16.37 | 19.60 | 17.15 | 16.88 | 19.76 | 14.62 | 16.91 |
| S3 | 18.53 | 16.69 | 16.14 | 19.54 | 17.02 | 16.58 | 19.71 | 14.87 | 16.61 |
| S4 | 18.20 | 16.34 | 15.84 | 19.16 | 16.53 | 16.23 | 19.33 | 14.33 | 16.26 |
| S5 | 18.07 | 16.27 | 15.85 | 19.04 | 16.43 | 16.24 | 19.17 | 13.99 | 16.25 |
---
## 二、场景与相机评估
相机指标。绝对轨迹误差（ATE，单位：米）是在窗口级Sim(3)对齐后测量的，旋转误差（单位：度）则相对于第一个有效帧进行测量。
深度指标与尺度协议。深度指标采用AbsRel（绝对相对误差）、RMSE（均方根误差，单位：米）以及$\delta_1$，即满足$\max(\hat{d}/d, d/\hat{d}) < 1.25$条件的有效像素占比。对于输出带尺度信息的深度图的模型，计算指标前会先取每个窗口内真实值/预测值的中位数；而对于尺度固定的模型，则保持尺度为1；表20的最后一列报告了度量标尺$s^d$，即该比率在对数空间内的聚合值，1代表度量尺度正确。
对比分析。表20仅收录了能同时重建手部与周围场景的以自我为中心的算法，即HaWoR、Dyn-HaMR、ReViV和EgoFound3R。专门的几何模型可预测相机与密集形状，但不包含手部或交互属性，因此不纳入本次对比。在这四种算法中，EgoFound3R的相机误差最低；在能输出深度的两种算法中，它的AbsRel、RMSE也最小，且$\delta_1$最高；其深度是在自身尺度下评估的，而ReViV则需要针对每个窗口进行尺度拟合。HaWoR和Dyn-HaMR无法输出深度，因此它们的深度与标尺相关条目不适用。
Table 20: Scene estimation on TACO for hand-centric world-space methods. Depth follows the scale-aligned protocol defined above; $^{100w}$ rows are unranked.
| Method | ATE (m) $\downarrow$ | Rot ( $^{\circ}$) $\downarrow$ | AbsRel $\downarrow$ | RMSE (m) $\downarrow$ | $\delta_{1}$ $\uparrow$ | s $^{d}$ |
| HaWoR | 0.0064 | 1.22 | - | - | - | - |
| Dyn-HaMR $^{{100w}}$ | 0.0064 | 1.26 | - | - | - | - |
| ReViV | 0.0068 | 1.65 | 0.2649 | 0.3577 | 0.5829 | 0.6401 |
| EgoFound3R | 0.0055 | 0.99 | 0.1318 | 0.2015 | 0.8469 | 1.1364 |
Ablation. Tab. 21 reports the TACO scene ablation with the variants defined in Appendix I. The w/o $\Omega$ and 1-way rows report the same uncoupled scene export, so their scene and camera columns are identical and are not independent scene predictions; their hand, contact, and distance metrics are evaluated separately. Dense aggregation attains the lowest camera error and the default configuration the second lowest, so the multi-rate design costs little on the scene side.
Table 21: Scene ablation on TACO.
| Variant | ATE (m) $\downarrow$ | Rot (°) $\downarrow$ | AbsRel $\downarrow$ | RMSE (m) $\downarrow$ | $\delta_{{1}}$ $\uparrow$ |
| 0.05B | 0.0086 | 1.86 | 0.117 | 0.232 | 0.857 |
| 0.1B | 0.0074 | 1.83 | 0.122 | 0.256 | 0.825 |
| MANO | 0.0084 | 1.60 | 0.132 | 0.256 | 0.806 |
| w/o $\Omega$ | 0.0069 | 1.15 | 0.178 | 0.242 | 0.728 |
| 1-way | 0.0069 | 1.15 | 0.178 | 0.242 | 0.728 |
| S1 | 0.0043 | 0.82 | 0.136 | 0.284 | 0.805 |
| S2 | 0.0057 | 1.08 | 0.168 | 0.291 | 0.763 |
| S3 | 0.0057 | 1.07 | 0.169 | 0.292 | 0.759 |
| S4 | 0.0056 | 1.00 | 0.166 | 0.290 | 0.768 |
| S5 | 0.0055 | 0.99 | 0.132 | 0.202 | 0.847 |
---
Figure 12: Qualitative comparison on ARCTIC. Top: hand geometry. Bottom: per-point visibility, contact, and distance for EgoFound3R (Pred) and the ground truth (GT).
---
Figure 13: Qualitative comparison on OakInk-v2. Top: hand geometry. Bottom: per-point visibility, contact, and distance for EgoFound3R (Pred) and the ground truth (GT).
布局说明。图12和图13每个图表对应一个数据集，上方显示手部几何，下方按相同行序显示同一窗口的属性；由于19窗口的TACO数据块无法在一页内呈现，因此被拆分到图14和图15中。各列与表格对应：第一列是未经修改的RGB输入，接下来三列是相机空间估计器WiLoR、PAD-Hand和EgoForce的输出，随后是世界空间流水线HaWoR和ReViV的结果，接着是EgoFound3R的输出，最后一列为真实标注。
正在查看各面板。每个面板会将预测结果直接叠加在输入帧的像素上，无需额外的二维精细化处理或拟合，因此这种比较并不依赖于相机的外参。属性面板展示了EgoFound3R（预测结果）以及真实值（GT）在相同点上的可见性、接触情况以及点到表面的距离，这些信息与定量表格中的内容一致。
---
Figure 14: Qualitative hand geometry on TACO. Columns as in Fig. 12; the matching attribute panel of the same windows is shown separately below.
---
Figure 15: Per-point attributes on TACO. Rows follow the same windows and order as Fig. 14; columns show the RGB input and the per-point visibility, contact, and distance for EgoFound3R (Pred) and the ground truth (GT).
---
图16和图17展示了图6中世界空间比较的额外结果。这两幅图的布局、列数、手部颜色、时间着色方式以及外参约定均与图6保持一致：每个视频片段包含两个固定视点，每种方法占一列，左侧显示采样的RGB帧。
| RGB | WiLoR $^{\dagger}$ | PAD-Hand $^{\dagger}$ | EgoForce $^{\dagger}$ | HaWoR  | ReViV | EgoFound3R | EgoFound3R $^{\dagger}$ | GT |
|  |  |  |  |  |  |  |  |  |
|  |  |  |  |  |  |  |
|  |  |  |  |  |  |  |  |  |
|  |  |  |  |  |  |  |  |
|  |  |  | |  |  |  |  |  |
|  |  |  |  |  |  |  |  |
|  |  |  | |  |  |  |  |  |
|  |  |  | [F45] |  |  |  |  |
|  | |  |  |  |  |  |  |  |
| [F2 [F6]] | |  |  |  |  |  |
| | [F265] | |  |  |  |  |  |
Figure 16: World-space qualitative comparison, part 1.
---
Figure 17: World-space qualitative comparison, part 2.