# ACE-Ego-Hand：将视频扩散模型用于抗遮挡的沉浸式3D手部运动恢复

刘宇飞 $^{1,4}$、王希希 $^{2}$、李浩 $^{3,4}$、赵干龙 $^{3,4}$、蔡凯彤 $^{4}$、金承凯 $^{2,4}$、刘春晓 $^{4}$、刘建波 $^{4}$、黄思远 $^{4\dagger}$、潘星刚 $^{2}$、李宏生 $^{3,4\ddagger}$

$^{1}$上海交通大学 $^{2}$南洋理工大学

$^{3}$香港中文大学 $^{4}$ACE机器人实验室

† 项目负责人。☑ 通讯作者。

![Image](images/a1f83758bdfed7588d5905b85d05fa4dc7e5326517c3474fbd9463457c319cf9.jpg)

![Image](images/0e5d6781d1956f81cdc94a2fb9b9274d3b429a8344ab905d0dd59b1cb84a88d0.jpg)

<div style="text-align: center;">Figure 1. Occlusion-robust egocentric 3D hand motion recovery. Left: ACE-Ego-Hand applied to a raw RGB video clip. ACE-Ego-Hand maintains hand identity and trajectory continuity even when a hand temporarily leaves the field of view (frames shaded yellow). Right: ACE-Ego-Hand leads on six of the seven metrics shown (F1, MPJPE-p, PA-p, EPE $_{2D}$-p, GO-p, CT-p, and Jitter, each averaged over ARCTIC, HOT3D, and HOI4D, with farther from the center being better) and matches the strongest baseline on detection F1.</div>

## 摘要

沉浸式视频为具身人工智能提供了可扩展的操作数据，但由于严重的物体遮挡和频繁的出视野间隙，恢复度量3D手部轨迹仍颇具挑战性。现有单帧及窗口化时序回归模型在手部短暂离开画面时便无法正常工作，而近期的视频扩散模型（VDM）则依赖复杂的随机多步采样作为像素空间渲染器。我们转而将VDM重新用作确定性几何编码器：对干净潜变量进行一次前向传播，就能获取当前观测范围之外的场景内容，包括被遮挡和出视野的手部。我们提出了ACE-Ego-Hand，这是一个离线片段级框架，通过确定性干净潜变量编码器提取特征，再利用双向时空解码器进行解码。ACE-Ego-Hand无需外部检测器即可恢复具有度量位置的连续双手法轨迹；同时基于光线的相机求解器还支持另一种无需测试时相机内参的配置。在五个沉浸式基准测试中，ACE-Ego-Hand创造了新的最优性能：在遮挡严重的ARCTIC数据集上，MPJPE-p指标降低了30%；在HOT3D数据集上降低了40%。若评估中包含出视野的手部，性能提升更是可达46%–61%，这为从日常人类视频到机器人操作数据的转化提供了可扩展的路径。代码已开源，地址为github.com/ggxxii/ACE-Ego-Hand。

这一成果刷新了现有技术水平，在遮挡情况较多的ARCTIC数据集上，MPJPE误差降低了30%；在HOT3D数据集上则降低了40%。若将视野外手部数据纳入评估范围，误差降低幅度更是可达46%–61%。这为从日常人类视频数据生成机器人操控数据提供了一条可扩展的路径。相关代码已开源，地址为github.com/ggxxii/ACE-Ego-Hand。

### 1. 引言

沉浸式视频为机器人操作数据提供了可扩展的来源[^8] [^12] [^16] [^38]，但要利用这一来源，就需要从原始视频中恢复度量3D手部运动。沉浸式拍摄的两个特性使得这种恢复尤为困难：频繁的手部-物体交互（HOI）遮挡，以及快速的头部运动导致手部完全出视野（OOS），从而在视野中不留任何视觉痕迹（图1）。现有的3D手部运动重建方法严重依赖逐帧检测器[5, 21, 23–25]或基于SLAM的跟踪技术[^36] [^39] [^40] [^42]，后者本身就容易产生误差累积问题。一旦手部未被观测到或移出摄像机视锥体，

---

窗口化时序模型[^4] [^18] [^28]便会丢失历史上下文，在手部重新出现时也难以恢复连贯的跟踪。针对这一问题，我们认为从沉浸式视频中恢复度量3D手部轨迹本质上是一项离线片段级的时空推理任务。

为了在OOS区间有效重建合理的手部运动，丰富的物理和时间先验至关重要。预训练的视频扩散模型（VDM）能够自然捕捉这类物理动力学及人与物体交互的先验。近期的一些生成式框架[^37]利用视频扩散先验来在严重的HOI遮挡情况下估计手部姿态。不过，这些框架依赖间接的像素渲染流程——通过多步采样从像素空间合成输出，再从中回归出姿态信息。这种迂回的方式不仅会产生采样延迟，还可能导致生成性伪影被引入姿态估计结果中。此外，直接在相机坐标系中回归3D手部坐标会将手部关节活动与相机的快速运动混为一谈，并且对校准参数有严格要求。

为克服这些局限，我们提出了ACE-Ego-Hand，一种离线片段级的3D手部运动重建框架。我们的核心见解有两点：VDM作为编码器而非渲染器时，在重建任务中表现最佳；其通用特征需要经过端到端的3D监督才能具备几何感知能力。因此，ACE-Ego-Hand将预训练的VDM[^33]重新定义为确定性干净隐变量编码器。只需对完整视频片段进行一次无噪声的前向传播，就能得到密集的时空特征网格；通过LoRA进行端到端适配后，该网格可捕捉结构化的物理表征，且不存在生成式采样延迟。为了从这些特征中恢复连续的度量轨迹，我们设计了双向时空解码器，并搭配基于射线的相机求解器。在整个视频片段中，我们通过无约束的双向注意力机制聚合长距离时间上下文。通过将特定关节的查询锚定在空间特征图上，并施加全局形状先验，该模型便能在严重遮挡和长时间不可见的情况下可靠地插值出合理的手部姿态。同时，为使手部位置与相机内参及快速运动解耦，我们直接从扩散隐变量中估算3D视线场。通过在可见帧中根据预测的2D锚点优化平移量，并在视觉缺失期间依靠时间方位线索，ACE-Ego-Hand无需提供校准矩阵即可恢复度量的手部平移信息，从而支持测试时的无内参（K-free）推理。

我们的主要贡献总结如下：

• 我们提出了ACE-Ego-Hand，这是一种离线片段级框架，它将视频扩散模型重新定义为确定性干净隐变量编码器，无需任何外部检测器即可恢复度量级的双手轨迹。

• 我们提出了双向时空解码器，它融合了基于空间的查询、片段级形状先验以及双向推理机制，用于重建不可见的手部运动。基于射线的相机求解器进一步将手部运动与相机动态解耦，从而实现测试时的无内参推理。

• 我们在五个具有挑战性的第一人称基准测试上进行了广泛评估，结果表明ACE-Ego-Hand具有更高的准确性和鲁棒性；在48项主要度量比较中，它有45项的表现优于现有最先进基线，且在严重遮挡和手部缺失情况下仍能保持稳定。

### 2. 相关工作

单帧手部重建。大多数单帧方法遵循“检测–裁剪–回归”的流程，即先定位手部，再从裁剪后的图像中回归MANO参数 [^5] [^21] [^23] [^24]。在自中心视角场景下，WildHands [^25] 会依据相机内参进行条件约束，而EgoForce [^20] 则引入了基于前臂引导的相机空间求解器，并在推理阶段采用因果平移滤波。尽管这些方法的相机建模有所改进，但它们仍依赖于裁剪操作。尺度与深度均受限于检测框，一旦手部被严重遮挡或超出视野范围，就无法生成重建结果。

基于视频的手部运动恢复。基于视频的方法通过时间融合或运动先验补全来解决观测缺失的问题。早期研究会对每帧特征应用双向建模 [^13]，或聚合多帧数据来预测中心帧 [^4] [^28]；OmniHands [^18] 则融合连续九帧的双手裁剪图像，以恢复图像中完全被遮挡的手部。另一类方法利用运动先验来补全不可见的手部。GENMO [^17] 基于视频特征进行双向运动建模，EgoH4 [^7] 则根据估计的身体姿态因果性地预测视线之外的手部。不过，它们的视觉前端仍依赖逐帧检测与裁剪，且通常是在归一化的姿态序列上完成运动补全，而非基于原始视频 [^31]。

生成式视频模型作为表征工具。近期研究越来越多地将生成式视频模型用于下游感知任务，要么读取其激活值 [^34]，要么直接对生成过程进行提示 [^29]。这两种路径的成本有所不同：读取激活值仅需一次前向传播，而对生成过程进行提示则需要完整的采样轨迹。自监督视频编码器 [^1] [^32] 提供了一种判别式的替代方案，它们被训练用于预测被掩码的内容而非合成新内容。ViDiHand [^37] 采用了生成提示路线来实现手部重建。该方法通过VACE [^10] 对Wan模型进行微调，以合成几何叠加层，并从中间去噪特征中回归MANO参数，整个过程使用12到25个采样步骤，解码器则基于缓存的冻结特征进行训练。

---

因此，主干网络无法从重建目标中获得梯度，这些特征也就保持通用性。而我们则在训练循环中通过单次前向传播直接读取干净的潜变量。

### 3. ACE-Ego-Hand

ACE-Ego-Hand处理一段自中心视角的视频片段 $V = \{I_t\}_{t=1}^T$，通过单次确定性传播即可预测逐帧的双手3D MANO参数：全局朝向 $\hat{R}_t$、关节活动度 $\hat{\theta}_t$、相机坐标系下的平移量 $\hat{\tau}_t$，以及整个片段的 Shape 参数 $\hat{\beta}$。MANO层 $\mathcal{M}$ 会将姿态与Shape参数映射为手部网格和21个关节，网络还会额外预测每帧的存在性与可见性标志。我们并未采用从生成模型中迭代采样的方式，而是通过三个统一模块直接提取运动表征（见图2）：确定性干净潜变量编码器，用于读取经过LoRA适配的预训练视频扩散模型的特征；双向时空解码器，用于估计整个序列的轨迹；以及基于光线的相机求解器。我们设计了两种配置：标准版ACE-Ego-Hand和无内参版ACE-Ego-Hand。

#### 3.1. 从生成器到编码器

前馈编码。生成器$\Phi$是一种扩散变换器（DiT），它通过在含噪潜变量$x_{\sigma} = (1-\sigma)z + \sigma\epsilon$上进行修正流预训练；其中z表示干净的视频潜变量，$\epsilon$是高斯噪声，而$\sigma \in [0,1]$则是噪声等级。这种序列级预训练旨在赋予$\Phi$时空先验知识，比如物体恒常性、三维结构一致性以及遮挡推理能力。第4.3节通过交换特征来源来验证这一假设。因此，我们仅将$\Phi$用作编码器。冻结的VAE编码器$\mathcal{E}$会将视频剪辑压缩为干净的潜变量$z = \mathcal{E}(V)$，随后在零噪声条件下执行单次确定性前向传播（$\sigma = 0$）：

 $$ F=\Phi_{0:L^{\star}}(z;\sigma=0), $$

其中，$\Phi_{0:L^*}$会截断零索引的30个块堆栈中$L^* = 15$块的执行过程，仅运行前16个块。跳过剩余块和生成头可使每次处理的计算量减半。附录D中的深度扫描结果显示，第15块保留了几乎所有的可用精度。生成的特征序列$F = \{F_\ell\}_{l=1}^{\ell}$包含$T' = 21$个潜帧，对应输入$T = 81$帧。这种设置实现了$4\times$的时间压缩和$16\times$的空间压缩。每个潜帧$F_\ell$构成一个由$D = 3072$个通道特征单元组成的空间网格。对于$672 \times 480$的输入而言，这相当于一个包含$42 \times 30$个像素块的$16 \times 16$网格。随后，潜特征F会被同时送入双向时空解码器（第3.2节）和基于光线的相机求解器（第3.3节）。

端到端适配。我们在优化循环中保持编码器的可训练状态，在注意力层和前馈投影上应用LoRA [^9]，同时保留可训练的补丁嵌入层，这样反向传播的3D监督信息就能将F端到端地重塑为具备几何感知能力的特征。第4.3节会对其他潜变量表示方式进行比较。附录D中的对比实验进一步表明，在$\sigma = 0$处读取干净潜变量比读取含噪潜变量效果更好。

#### 3.2. 双向时空解码器

基于空间的查询。我们提出了一种带有基于空间的查询的轻量级双向时空解码器，用于从提取的特征网格中获取表征，如图3所示。该解码器为每个潜帧处理48个查询：分配给固定左右位置的2个手部标记、42个关节标记，以及4个用作可学习暂存空间的注册标记，且不会更新F。将关节查询构造为基于空间的标记，可将特征直接与物理关键点绑定，从而有助于实现精确的三维手部姿态估计。

每个潜帧通过整合两种可叠加的位置编码被转化为补丁标记：

 $$ \begin{array}{r}{X_{\ell}=\mathrm{L N}\big(W_{F}F_{\ell}\big)+P^{\mathrm{s p}}+g\big(\Gamma(\boldsymbol{\hat{r}})\big),}\end{array} $$

其中LN表示层归一化，$W_{F}$负责将D=3072的骨干网络通道数映射为384维的解码器空间。空间PE $P^{sp}$为注意力机制提供明确的坐标信息，而光线PE则注入视角几何信息：$\Gamma$对由光线头（第3.3节）生成的每个单元格预测视角光线$\hat{r}$进行傅里叶编码，初始值为零的MLP g会将该编码映射到解码器维度（实现细节见附录B）。

空间读出头。关节头直接从这个空间网格中估算二维关节位置。对于每个关节j，其对应标记产生的交叉注意力权重会形成空间热图$A_{j}$。随后通过软argmax操作聚合这些注意力概率，从而得出二维关节锚点$\hat{p}_{j}$。

 $$ \hat{p}_{j}=\sum_{u}A_{j}(u)u,\qquad\sum_{u}A_{j}(u)=1, $$

其中，u 遍历 $[0, 1]^2$ 中归一化的网格单元中心坐标。这种可微的建模方式能够以亚像素级精度定位每个关键点，随后由多层感知机预测以手腕为参照的 3D 关节位置（单位为米）。与此同时，Pose Head 模块会回归全局朝向 $\hat{R}$ 以及关节活动度 $\hat{\theta}$，这些均表示为经过 Gram–Schmidt 正交化处理的 6D 旋转参数；Camera Head 则预测对数深度 $\hat{\zeta}$，借助 $\hat{t}_z = \exp(\hat{\zeta})$ 确保度量深度值严格为正。存在性与可见性置信度分数构成了帧级输出的完整信息，从而无需使用匈牙利匹配算法 [^3] [^14]。

---

![Image](images/164c0706ab1b2044eafb4c91d2c478d68e7f643e5f25d633ae6effc0e2720973.jpg)

<div style="text-align: center;">Figure 2. Overview of ACE-Ego-Hand. Raw video is encoded into latents by the Wan VAE and processed by the Wan DiT ( $\sigma = 0$). Block-15 features (grayed blocks skipped) branch to the Ray Head and Bidirectional Spatiotemporal Decoder. Only the patch embedding, LoRA, Ray Head, and Decoder are trained (parameter accounting in Appendix B). Camera intrinsics supervise the Ray Head and the K-free camera fit during training. At test time they are discarded ( K-free) or used only as the bearing source in the translation solve (standard).</div>

![Image](images/57318a3166a820147019cd7c69c79327c70c601b091075a7d1a752f80a3841f4.jpg)

<div style="text-align: center;">Figure 3. Architecture of the Bidirectional Spatiotemporal Decoder. The predicted ray field  $\hat{r}$ enters as a ray PE added to the spatial PE. Four layers alternate Spatial Cross-Attention with Temporal Self-Attention. The readout heads emit MANO parameters and feed the mixed-PnP translation solve. Our two configurations differ architecturally only in the bearing source, derived from the predicted ray field  $\hat{r}$ (K-free, shown) or computed from camera intrinsics (standard).</div>

视频片段级的形状先验。在以自我为中心的视频中，一只手在整个连续录制过程中会保持恒定的物理形状和尺寸。然而，若逐帧独立估计网格参数，在相机运动或局部遮挡的情况下便容易出现尺寸闪烁和形状偏移现象。为了强制满足这一物理不变性，Shape Head 模块会针对视频片段中的每只手，通过对所有 T 帧中的手部特征进行时间上的池化操作，从而一次性预测出该手的形状参数 $\hat{\beta}$，进而为整个序列生成一个统一的网格缩放比例。

无约束的双向推理机制。我们使用四层交替排列的注意力层来处理这些基于空间定位的查询。来自帧 $l'$ 的查询首先通过空间交叉注意力机制从 $X_{\ell}$ 中提取每帧的视觉细节；而来自所有帧的查询则通过时间自注意力机制交换运动信息。时间轴上的旋转式相对位置编码 [^30] 消除了绝对序列约束，因此单次前向传播即可适用于长视频录制场景（详见附录 D）。时间注意力在降采样后的潜空间帧率 $T'$ 下运行，其输出再通过线性插值还原为 T 个视频帧，从而将整段视频的注意力计算量降至全分辨率情况下的约 $(T'/T)^2 \approx 1/15$。我们并未应用因果掩码：每一帧都能利用整个视频片段中的过去与未来上下文信息，因此解码器能够重建被遮挡或超出视野的手部姿态，而非仅进行单向外推。

#### 3.3. 基于射线的相机求解器

无需相机内参的射线场预测。相机几何信息在两点上至关重要：一是公式 (2) 中的射线位置编码，二是预测出的手部位置的度量投影。若仅靠读取头记忆某一相机下的像素到度量映射关系，则无法推广到不同内参的相机上；因此我们选择预测连续的视射线场，这一做法借鉴了基于射线的相机表示方法 [^11] [^43]。Ray Head 是一个在 F 上初始化为零的 $1 \times 1$ 卷积层，用于预测每个网格单元内归一化为单位射线的方向 $\hat{r} = (\hat{r}_x, \hat{r}_y, \hat{r}_z)$（位于相机坐标系下）。随后通过时间池化操作将各帧的预测结果整合为单一字段，因为同一视频片段内的相机内参是恒定的。

训练期间，真实的相机校准数据会通过余弦距离损失来监督这一射线场的预测：

 $$ \mathcal{L}_{\mathrm{r a y}}=\frac{1}{|\Omega|}\sum_{u\in\Omega}\big(1-\langle\hat{r}(u),r_{K}(u)\rangle\big), $$

其中 $\langle\cdot,\cdot\rangle$ 表示内积，$\Omega$ 是潜空间特征网格，而 $r_{K}(u)$ 则是在校准后的相机模型下从网格单元中心反投影得到的单位射线。这样一来，单个读取头便能同时适配针孔相机和鱼眼相机模型，且测试时无需输入相机内参。

混合式 PnP 转换。为了确定度量位置，我们采用了一种混合的透视 n 点（PnP）方案，其理念与 Wang 等人 [^37] 的研究类似，但针对的是……

---

无需校准的设置。相机头并非预测完整的3D平移量，而仅回归光学深度$\hat{t}_z = \exp(\hat{\zeta})$，随后我们直接根据预测的2D关节锚点来求解平面平移量$(t_x, t_y)$。对于每一帧和每一只手（索引已省略），MANO前向传播会输出$J^{\mathrm{can}} = \mathcal{M}(\hat{r}, \theta, \hat{\beta})$——即已确定姿态且面向相机但尚未定位的21个关节，因此关节j沿光轴方向的深度为$z_j = J_{z,j}^{\mathrm{can}} + \hat{t}_z$。方位矢量$b_j = (b_j^x, b_j^y)$，也就是指向关节j的光线的无量纲对$(x/z, y/z)$，可通过预测的光线场$\hat{r}$解析得出。一种闭式逐轴回归方法会将一个等效针孔相机$(\hat{f}, \hat{c})$拟合到归一化像素单位下的$\hat{r}$上，且无需校准输入，同时得到$b_j = (\hat{p}_j - \hat{c})/\hat{f}$。拟合出的相机可外推至画面外的锚点，并能对逐令牌光线场进行去噪。而标准的ACE-Ego-Hand模型则是利用提供的相机内参来计算方位角，即$((u_j - c_x)/f_x, (v_j - c_y)/f_y)$，其中单位为像素的是$(u_j, v_j) = \hat{p}_j$。每种配置都与其自身的方位源一起端到端训练；表1中的K-free行记录的是单独训练的模型，而非测试时的求解器切换。

透视投影在平面位移上是线性的，因此$t_{x}$存在闭式的加权最小二乘解：

 $$ b_{j}^{x}=\frac{J_{x,j}^{\mathrm{c a n}}+t_{x}}{z_{j}}\quad\Rightarrow\quad\hat{t}_{x}=\frac{\sum_{j}m_{j}z_{j}^{-1}\left(b_{j}^{x}-J_{x,j}^{\mathrm{c a n}}/z_{j}\right)}{\sum_{j}m_{j}z_{j}^{-2}}, $$

其中$m_j \in \{0,1\}$用于选取位于相机前方且锚点在画面内的关节。我们对称地求解$\hat{t}_y$，最终得到$\hat{\tau} = (\hat{t}_x, \hat{t}_y, \hat{t}_z)$。若有效关节数量过少或重投影残差过大，手部就会退回到深度为$\hat{t}_z$的逆投影腕部射线上（相关阈值见附录B）。

#### 3.4. 训练方案

我们在一个统一的目标函数下，联合优化所有可训练组件，即补丁嵌入层、LoRA模块、Ray Head以及双向时空解码器：

 $$ \mathcal{L}=\mathcal{L}_{\mathrm{r o t}}+\mathcal{L}_{\mathrm{j o i n t}}+\mathcal{L}_{\mathrm{i m g}}+\mathcal{L}_{\mathrm{c a m}}+\mathcal{L}_{\mathrm{p r e s}}+\mathcal{L}_{\mathrm{t m p}}+\mathcal{L}_{\mathrm{r a y}}. $$

$\mathcal{L}_{\mathrm{rot}}$用于监督方向、关节活动和形状。$\mathcal{L}_{\mathrm{joint}}$用于约束以根节点为参考的相机坐标系下的腕部3D位置。$\mathcal{L}_{\mathrm{img}}$会对训练用相机下的2D锚点和重投影后的MANO关键点进行惩罚。$\mathcal{L}_{\mathrm{cam}}$用于监督相机坐标系下的平移量，其梯度会通过PnP求解器传递。$\mathcal{L}_{\mathrm{pres}}$用于训练存在性和可见性评分，而$\mathcal{L}_{\mathrm{tmp}}$则会对3D关节加速度进行惩罚以保证时间上的平滑性。K-free配置还会加入$\mathcal{L}_{\mathrm{fit}}$，即其学习到的相机（见3.3节）与校准后相机的方位误差，该误差的梯度仅通过四个拟合参数传递到光线场中。损失权重详见附录B。

我们重点介绍三种关键的监督策略。首先，我们对视线外手部进行完全监督，而非将其屏蔽掉，以此迫使双向注意力机制从时间上下文中重构不可见的手部。其次，在混合数据集中缺乏3D MANO标注的RHD数据集仅监督2D锚点、3D关节和存在性头，这种处理方式既增加了外观多样性，又保护了MANO参数头。第三，相机内参从不进入编码器或解码器：它们仅作为$\mathcal{L}_{\mathrm{img}}$重投影、$\mathcal{L}_{\mathrm{ray}}$以及$\mathcal{L}_{\mathrm{fit}}$的训练目标；在标准配置中，它们还会为平移求解提供方位角。

### 4. 实验

#### 4.1. 实验设置

训练数据与基准测试。ACE-Ego-Hand的两种配置分别训练20k步：标准版本在16块A100 GPU上训练，无K版本则在8块GPU上训练。训练数据包括带MANO标签的第一人称视频（ARCTIC、HOT3D、H2O和OakInk2）、来自Re:InterHand的渲染第一人称视频[^22]，以及两个仅含图像的手部数据集（FreiHAND [^45]和RHD [^44]）。HOI4D用作保留的测试集。

我们在五个互补的基准测试中评估ACE-Ego-Hand：ARCTIC [^6]用于测试严重双手遮挡情况，HOT3D [^2]用于复杂的第一人称视角测试，HOI4D [^19]用于类别级的4D交互泛化能力测试，H2O [^15]用于双手与物体姿态估计测试，OakInk2 [^41]则用于长时序多物体操控测试。正文部分报告了ARCTIC、HOT3D以及保留的HOI4D测试结果；H2O和OakInk2的结果见附录C，相关数据划分与预处理细节则在附录A中说明。

基线方法。我们在统一设置下将ACE-Ego-Hand与十种代表性方法进行比较。单帧基线方法包括InterWild [^21]、HaMeR [^23]、Hamba [^5]、WiLoR [^24]、WildHands [^25]以及EgoForce [^20]。基于视频的基线方法则包括OmniHands [^18]、Dyn-HaMR [^40]、HaWoR [^42]和ViDiHand [^37]。

评估协议。所有方法均在序列不重叠的测试集上，使用相同的视频片段进行评估。表1中的基线行引用了已发表的ViDiHand在相同协议下的评估结果，而EgoForce及我们的结果则由同一评估者给出。需注意，EgoForce $^{\dagger}$会对其相机空间位移结果应用因果卡尔曼滤波器进行后处理；HaWoR的评分则是在禁用SLAM和填充阶段的情况下，基于其相机空间前端数据得出的（详见附录A）。HOI4D未参与训练，采用零样本方式评估；附录C中H2O和OakInk2的对比实验则是将我们的领域内模型与从未见过这些数据集的基线方法进行比较。

---

<div style="text-align: center;">Table 1. Main comparison on ARCTIC, HOT3D, and held-out HOI4D. Best result per column in bold. ↑/↓ give the direction of improvement. MPJPE $^{+005}$ averages over all hand-frames, in view and out of sight alike, so it needs out-of-sight ground truth, which HOI4D lacks (-).  $\dagger$ zero-shot evaluation,  $\ddagger$ causal Kalman filtering.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2" colspan="2">Method</td><td colspan="3">Detection</td><td colspan="3">3D Pose</td><td colspan="3">Orient. &amp; Position</td><td style='text-align: center; word-wrap: break-word;'>Temporal</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FAcc $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Recall $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F1 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE+OOS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>EPE2D-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>GO-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CT-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td></tr><tr><td rowspan="12">ARCTIC</td><td style='text-align: center; word-wrap: break-word;'>InterWild</td><td style='text-align: center; word-wrap: break-word;'>0.878</td><td style='text-align: center; word-wrap: break-word;'>0.943</td><td style='text-align: center; word-wrap: break-word;'>0.959</td><td style='text-align: center; word-wrap: break-word;'>30.817</td><td style='text-align: center; word-wrap: break-word;'>15.952</td><td style='text-align: center; word-wrap: break-word;'>39.435</td><td style='text-align: center; word-wrap: break-word;'>53.888</td><td style='text-align: center; word-wrap: break-word;'>25.386</td><td style='text-align: center; word-wrap: break-word;'>0.097</td><td style='text-align: center; word-wrap: break-word;'>46.577</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR</td><td style='text-align: center; word-wrap: break-word;'>0.875</td><td style='text-align: center; word-wrap: break-word;'>0.943</td><td style='text-align: center; word-wrap: break-word;'>0.957</td><td style='text-align: center; word-wrap: break-word;'>29.197</td><td style='text-align: center; word-wrap: break-word;'>14.596</td><td style='text-align: center; word-wrap: break-word;'>38.183</td><td style='text-align: center; word-wrap: break-word;'>65.289</td><td style='text-align: center; word-wrap: break-word;'>24.907</td><td style='text-align: center; word-wrap: break-word;'>0.095</td><td style='text-align: center; word-wrap: break-word;'>18.279</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba</td><td style='text-align: center; word-wrap: break-word;'>0.833</td><td style='text-align: center; word-wrap: break-word;'>0.912</td><td style='text-align: center; word-wrap: break-word;'>0.941</td><td style='text-align: center; word-wrap: break-word;'>31.233</td><td style='text-align: center; word-wrap: break-word;'>17.168</td><td style='text-align: center; word-wrap: break-word;'>40.039</td><td style='text-align: center; word-wrap: break-word;'>87.047</td><td style='text-align: center; word-wrap: break-word;'>27.822</td><td style='text-align: center; word-wrap: break-word;'>0.110</td><td style='text-align: center; word-wrap: break-word;'>15.357</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands</td><td style='text-align: center; word-wrap: break-word;'>0.879</td><td style='text-align: center; word-wrap: break-word;'>0.946</td><td style='text-align: center; word-wrap: break-word;'>0.960</td><td style='text-align: center; word-wrap: break-word;'>25.704</td><td style='text-align: center; word-wrap: break-word;'>13.941</td><td style='text-align: center; word-wrap: break-word;'>33.915</td><td style='text-align: center; word-wrap: break-word;'>50.517</td><td style='text-align: center; word-wrap: break-word;'>22.320</td><td style='text-align: center; word-wrap: break-word;'>0.058</td><td style='text-align: center; word-wrap: break-word;'>12.972</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>0.919</td><td style='text-align: center; word-wrap: break-word;'>0.951</td><td style='text-align: center; word-wrap: break-word;'>0.974</td><td style='text-align: center; word-wrap: break-word;'>22.012</td><td style='text-align: center; word-wrap: break-word;'>11.873</td><td style='text-align: center; word-wrap: break-word;'>31.502</td><td style='text-align: center; word-wrap: break-word;'>71.527</td><td style='text-align: center; word-wrap: break-word;'>17.358</td><td style='text-align: center; word-wrap: break-word;'>0.075</td><td style='text-align: center; word-wrap: break-word;'>24.091</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoForce $\ddagger$</td><td style='text-align: center; word-wrap: break-word;'>0.882</td><td style='text-align: center; word-wrap: break-word;'>0.930</td><td style='text-align: center; word-wrap: break-word;'>0.963</td><td style='text-align: center; word-wrap: break-word;'>22.388</td><td style='text-align: center; word-wrap: break-word;'>14.322</td><td style='text-align: center; word-wrap: break-word;'>32.193</td><td style='text-align: center; word-wrap: break-word;'>61.761</td><td style='text-align: center; word-wrap: break-word;'>21.073</td><td style='text-align: center; word-wrap: break-word;'>0.069</td><td style='text-align: center; word-wrap: break-word;'>24.158</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands</td><td style='text-align: center; word-wrap: break-word;'>0.866</td><td style='text-align: center; word-wrap: break-word;'>0.949</td><td style='text-align: center; word-wrap: break-word;'>0.954</td><td style='text-align: center; word-wrap: break-word;'>29.674</td><td style='text-align: center; word-wrap: break-word;'>14.203</td><td style='text-align: center; word-wrap: break-word;'>38.191</td><td style='text-align: center; word-wrap: break-word;'>51.505</td><td style='text-align: center; word-wrap: break-word;'>24.580</td><td style='text-align: center; word-wrap: break-word;'>0.087</td><td style='text-align: center; word-wrap: break-word;'>45.312</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR</td><td style='text-align: center; word-wrap: break-word;'>0.842</td><td style='text-align: center; word-wrap: break-word;'>0.918</td><td style='text-align: center; word-wrap: break-word;'>0.951</td><td style='text-align: center; word-wrap: break-word;'>27.904</td><td style='text-align: center; word-wrap: break-word;'>17.017</td><td style='text-align: center; word-wrap: break-word;'>37.445</td><td style='text-align: center; word-wrap: break-word;'>85.723</td><td style='text-align: center; word-wrap: break-word;'>25.951</td><td style='text-align: center; word-wrap: break-word;'>0.121</td><td style='text-align: center; word-wrap: break-word;'>12.840</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR</td><td style='text-align: center; word-wrap: break-word;'>0.700</td><td style='text-align: center; word-wrap: break-word;'>0.817</td><td style='text-align: center; word-wrap: break-word;'>0.895</td><td style='text-align: center; word-wrap: break-word;'>45.357</td><td style='text-align: center; word-wrap: break-word;'>26.375</td><td style='text-align: center; word-wrap: break-word;'>53.443</td><td style='text-align: center; word-wrap: break-word;'>158.062</td><td style='text-align: center; word-wrap: break-word;'>43.325</td><td style='text-align: center; word-wrap: break-word;'>0.149</td><td style='text-align: center; word-wrap: break-word;'>19.789</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ViDiHand</td><td style='text-align: center; word-wrap: break-word;'>0.997</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>21.668</td><td style='text-align: center; word-wrap: break-word;'>9.821</td><td style='text-align: center; word-wrap: break-word;'>31.045</td><td style='text-align: center; word-wrap: break-word;'>12.407</td><td style='text-align: center; word-wrap: break-word;'>14.642</td><td style='text-align: center; word-wrap: break-word;'>0.047</td><td style='text-align: center; word-wrap: break-word;'>3.183</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>15.256</td><td style='text-align: center; word-wrap: break-word;'>7.474</td><td style='text-align: center; word-wrap: break-word;'>16.783</td><td style='text-align: center; word-wrap: break-word;'>9.180</td><td style='text-align: center; word-wrap: break-word;'>11.807</td><td style='text-align: center; word-wrap: break-word;'>0.021</td><td style='text-align: center; word-wrap: break-word;'>2.700</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand (K-free)</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>16.615</td><td style='text-align: center; word-wrap: break-word;'>8.756</td><td style='text-align: center; word-wrap: break-word;'>18.061</td><td style='text-align: center; word-wrap: break-word;'>11.014</td><td style='text-align: center; word-wrap: break-word;'>12.208</td><td style='text-align: center; word-wrap: break-word;'>0.028</td><td style='text-align: center; word-wrap: break-word;'>2.770</td></tr><tr><td rowspan="12">HOT3D</td><td style='text-align: center; word-wrap: break-word;'>InterWild</td><td style='text-align: center; word-wrap: break-word;'>0.669</td><td style='text-align: center; word-wrap: break-word;'>0.881</td><td style='text-align: center; word-wrap: break-word;'>0.868</td><td style='text-align: center; word-wrap: break-word;'>77.168</td><td style='text-align: center; word-wrap: break-word;'>24.811</td><td style='text-align: center; word-wrap: break-word;'>89.218</td><td style='text-align: center; word-wrap: break-word;'>71.482</td><td style='text-align: center; word-wrap: break-word;'>58.501</td><td style='text-align: center; word-wrap: break-word;'>0.213</td><td style='text-align: center; word-wrap: break-word;'>101.164</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR</td><td style='text-align: center; word-wrap: break-word;'>0.692</td><td style='text-align: center; word-wrap: break-word;'>0.904</td><td style='text-align: center; word-wrap: break-word;'>0.883</td><td style='text-align: center; word-wrap: break-word;'>68.314</td><td style='text-align: center; word-wrap: break-word;'>21.455</td><td style='text-align: center; word-wrap: break-word;'>80.264</td><td style='text-align: center; word-wrap: break-word;'>59.077</td><td style='text-align: center; word-wrap: break-word;'>49.636</td><td style='text-align: center; word-wrap: break-word;'>0.102</td><td style='text-align: center; word-wrap: break-word;'>23.632</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba</td><td style='text-align: center; word-wrap: break-word;'>0.632</td><td style='text-align: center; word-wrap: break-word;'>0.828</td><td style='text-align: center; word-wrap: break-word;'>0.853</td><td style='text-align: center; word-wrap: break-word;'>71.732</td><td style='text-align: center; word-wrap: break-word;'>29.620</td><td style='text-align: center; word-wrap: break-word;'>83.438</td><td style='text-align: center; word-wrap: break-word;'>107.625</td><td style='text-align: center; word-wrap: break-word;'>56.525</td><td style='text-align: center; word-wrap: break-word;'>0.128</td><td style='text-align: center; word-wrap: break-word;'>18.507</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands</td><td style='text-align: center; word-wrap: break-word;'>0.655</td><td style='text-align: center; word-wrap: break-word;'>0.863</td><td style='text-align: center; word-wrap: break-word;'>0.844</td><td style='text-align: center; word-wrap: break-word;'>52.791</td><td style='text-align: center; word-wrap: break-word;'>28.946</td><td style='text-align: center; word-wrap: break-word;'>60.491</td><td style='text-align: center; word-wrap: break-word;'>111.438</td><td style='text-align: center; word-wrap: break-word;'>53.933</td><td style='text-align: center; word-wrap: break-word;'>0.157</td><td style='text-align: center; word-wrap: break-word;'>22.885</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>0.827</td><td style='text-align: center; word-wrap: break-word;'>0.897</td><td style='text-align: center; word-wrap: break-word;'>0.937</td><td style='text-align: center; word-wrap: break-word;'>30.966</td><td style='text-align: center; word-wrap: break-word;'>19.980</td><td style='text-align: center; word-wrap: break-word;'>52.014</td><td style='text-align: center; word-wrap: break-word;'>72.978</td><td style='text-align: center; word-wrap: break-word;'>25.746</td><td style='text-align: center; word-wrap: break-word;'>0.098</td><td style='text-align: center; word-wrap: break-word;'>17.976</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoForce $\ddagger$</td><td style='text-align: center; word-wrap: break-word;'>0.769</td><td style='text-align: center; word-wrap: break-word;'>0.856</td><td style='text-align: center; word-wrap: break-word;'>0.916</td><td style='text-align: center; word-wrap: break-word;'>43.960</td><td style='text-align: center; word-wrap: break-word;'>25.709</td><td style='text-align: center; word-wrap: break-word;'>63.085</td><td style='text-align: center; word-wrap: break-word;'>83.521</td><td style='text-align: center; word-wrap: break-word;'>37.144</td><td style='text-align: center; word-wrap: break-word;'>0.130</td><td style='text-align: center; word-wrap: break-word;'>38.342</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands</td><td style='text-align: center; word-wrap: break-word;'>0.649</td><td style='text-align: center; word-wrap: break-word;'>0.895</td><td style='text-align: center; word-wrap: break-word;'>0.868</td><td style='text-align: center; word-wrap: break-word;'>63.281</td><td style='text-align: center; word-wrap: break-word;'>22.682</td><td style='text-align: center; word-wrap: break-word;'>73.503</td><td style='text-align: center; word-wrap: break-word;'>68.437</td><td style='text-align: center; word-wrap: break-word;'>49.120</td><td style='text-align: center; word-wrap: break-word;'>0.133</td><td style='text-align: center; word-wrap: break-word;'>69.510</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR</td><td style='text-align: center; word-wrap: break-word;'>0.614</td><td style='text-align: center; word-wrap: break-word;'>0.811</td><td style='text-align: center; word-wrap: break-word;'>0.802</td><td style='text-align: center; word-wrap: break-word;'>74.214</td><td style='text-align: center; word-wrap: break-word;'>38.201</td><td style='text-align: center; word-wrap: break-word;'>80.952</td><td style='text-align: center; word-wrap: break-word;'>171.617</td><td style='text-align: center; word-wrap: break-word;'>43.851</td><td style='text-align: center; word-wrap: break-word;'>0.571</td><td style='text-align: center; word-wrap: break-word;'>44.942</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR</td><td style='text-align: center; word-wrap: break-word;'>0.348</td><td style='text-align: center; word-wrap: break-word;'>0.499</td><td style='text-align: center; word-wrap: break-word;'>0.654</td><td style='text-align: center; word-wrap: break-word;'>71.396</td><td style='text-align: center; word-wrap: break-word;'>66.031</td><td style='text-align: center; word-wrap: break-word;'>84.733</td><td style='text-align: center; word-wrap: break-word;'>327.294</td><td style='text-align: center; word-wrap: break-word;'>79.350</td><td style='text-align: center; word-wrap: break-word;'>0.262</td><td style='text-align: center; word-wrap: break-word;'>23.872</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ViDiHand</td><td style='text-align: center; word-wrap: break-word;'>0.948</td><td style='text-align: center; word-wrap: break-word;'>0.974</td><td style='text-align: center; word-wrap: break-word;'>0.983</td><td style='text-align: center; word-wrap: break-word;'>21.514</td><td style='text-align: center; word-wrap: break-word;'>11.383</td><td style='text-align: center; word-wrap: break-word;'>44.440</td><td style='text-align: center; word-wrap: break-word;'>14.953</td><td style='text-align: center; word-wrap: break-word;'>15.829</td><td style='text-align: center; word-wrap: break-word;'>0.040</td><td style='text-align: center; word-wrap: break-word;'>3.741</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>0.986</td><td style='text-align: center; word-wrap: break-word;'>0.998</td><td style='text-align: center; word-wrap: break-word;'>0.996</td><td style='text-align: center; word-wrap: break-word;'>12.888</td><td style='text-align: center; word-wrap: break-word;'>6.436</td><td style='text-align: center; word-wrap: break-word;'>17.273</td><td style='text-align: center; word-wrap: break-word;'>6.418</td><td style='text-align: center; word-wrap: break-word;'>7.924</td><td style='text-align: center; word-wrap: break-word;'>0.025</td><td style='text-align: center; word-wrap: break-word;'>3.159</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand (K-free)</td><td style='text-align: center; word-wrap: break-word;'>0.984</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>0.995</td><td style='text-align: center; word-wrap: break-word;'>13.535</td><td style='text-align: center; word-wrap: break-word;'>6.768</td><td style='text-align: center; word-wrap: break-word;'>18.703</td><td style='text-align: center; word-wrap: break-word;'>6.067</td><td style='text-align: center; word-wrap: break-word;'>8.362</td><td style='text-align: center; word-wrap: break-word;'>0.026</td><td style='text-align: center; word-wrap: break-word;'>3.426</td></tr><tr><td rowspan="12">HOI4D $\dagger$</td><td style='text-align: center; word-wrap: break-word;'>InterWild</td><td style='text-align: center; word-wrap: break-word;'>0.731</td><td style='text-align: center; word-wrap: break-word;'>0.922</td><td style='text-align: center; word-wrap: break-word;'>0.864</td><td style='text-align: center; word-wrap: break-word;'>53.072</td><td style='text-align: center; word-wrap: break-word;'>22.909</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>80.549</td><td style='text-align: center; word-wrap: break-word;'>41.743</td><td style='text-align: center; word-wrap: break-word;'>0.228</td><td style='text-align: center; word-wrap: break-word;'>98.866</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR</td><td style='text-align: center; word-wrap: break-word;'>0.731</td><td style='text-align: center; word-wrap: break-word;'>0.923</td><td style='text-align: center; word-wrap: break-word;'>0.864</td><td style='text-align: center; word-wrap: break-word;'>44.481</td><td style='text-align: center; word-wrap: break-word;'>21.580</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>79.494</td><td style='text-align: center; word-wrap: break-word;'>33.557</td><td style='text-align: center; word-wrap: break-word;'>0.187</td><td style='text-align: center; word-wrap: break-word;'>20.068</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba</td><td style='text-align: center; word-wrap: break-word;'>0.710</td><td style='text-align: center; word-wrap: break-word;'>0.885</td><td style='text-align: center; word-wrap: break-word;'>0.849</td><td style='text-align: center; word-wrap: break-word;'>47.161</td><td style='text-align: center; word-wrap: break-word;'>25.924</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>115.793</td><td style='text-align: center; word-wrap: break-word;'>37.390</td><td style='text-align: center; word-wrap: break-word;'>0.204</td><td style='text-align: center; word-wrap: break-word;'>21.556</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands</td><td style='text-align: center; word-wrap: break-word;'>0.730</td><td style='text-align: center; word-wrap: break-word;'>0.924</td><td style='text-align: center; word-wrap: break-word;'>0.864</td><td style='text-align: center; word-wrap: break-word;'>45.623</td><td style='text-align: center; word-wrap: break-word;'>23.601</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>82.246</td><td style='text-align: center; word-wrap: break-word;'>45.654</td><td style='text-align: center; word-wrap: break-word;'>0.159</td><td style='text-align: center; word-wrap: break-word;'>18.615</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>0.962</td><td style='text-align: center; word-wrap: break-word;'>0.966</td><td style='text-align: center; word-wrap: break-word;'>0.972</td><td style='text-align: center; word-wrap: break-word;'>33.710</td><td style='text-align: center; word-wrap: break-word;'>14.903</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>41.579</td><td style='text-align: center; word-wrap: break-word;'>25.527</td><td style='text-align: center; word-wrap: break-word;'>0.115</td><td style='text-align: center; word-wrap: break-word;'>17.449</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoForce $\ddagger$</td><td style='text-align: center; word-wrap: break-word;'>0.917</td><td style='text-align: center; word-wrap: break-word;'>0.941</td><td style='text-align: center; word-wrap: break-word;'>0.949</td><td style='text-align: center; word-wrap: break-word;'>44.746</td><td style='text-align: center; word-wrap: break-word;'>19.160</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>75.821</td><td style='text-align: center; word-wrap: break-word;'>38.861</td><td style='text-align: center; word-wrap: break-word;'>0.126</td><td style='text-align: center; word-wrap: break-word;'>83.452</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands</td><td style='text-align: center; word-wrap: break-word;'>0.655</td><td style='text-align: center; word-wrap: break-word;'>0.937</td><td style='text-align: center; word-wrap: break-word;'>0.834</td><td style='text-align: center; word-wrap: break-word;'>44.255</td><td style='text-align: center; word-wrap: break-word;'>18.689</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>70.662</td><td style='text-align: center; word-wrap: break-word;'>34.392</td><td style='text-align: center; word-wrap: break-word;'>0.108</td><td style='text-align: center; word-wrap: break-word;'>24.212</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR</td><td style='text-align: center; word-wrap: break-word;'>0.750</td><td style='text-align: center; word-wrap: break-word;'>0.863</td><td style='text-align: center; word-wrap: break-word;'>0.845</td><td style='text-align: center; word-wrap: break-word;'>45.097</td><td style='text-align: center; word-wrap: break-word;'>29.259</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>144.643</td><td style='text-align: center; word-wrap: break-word;'>40.176</td><td style='text-align: center; word-wrap: break-word;'>0.258</td><td style='text-align: center; word-wrap: break-word;'>17.947</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR</td><td style='text-align: center; word-wrap: break-word;'>0.869</td><td style='text-align: center; word-wrap: break-word;'>0.864</td><td style='text-align: center; word-wrap: break-word;'>0.919</td><td style='text-align: center; word-wrap: break-word;'>47.329</td><td style='text-align: center; word-wrap: break-word;'>28.851</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>135.748</td><td style='text-align: center; word-wrap: break-word;'>43.091</td><td style='text-align: center; word-wrap: break-word;'>0.139</td><td style='text-align: center; word-wrap: break-word;'>28.376</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ViDiHand</td><td style='text-align: center; word-wrap: break-word;'>0.984</td><td style='text-align: center; word-wrap: break-word;'>0.991</td><td style='text-align: center; word-wrap: break-word;'>0.990</td><td style='text-align: center; word-wrap: break-word;'>30.090</td><td style='text-align: center; word-wrap: break-word;'>13.960</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>24.460</td><td style='text-align: center; word-wrap: break-word;'>23.420</td><td style='text-align: center; word-wrap: break-word;'>0.117</td><td style='text-align: center; word-wrap: break-word;'>4.010</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>0.958</td><td style='text-align: center; word-wrap: break-word;'>0.996</td><td style='text-align: center; word-wrap: break-word;'>0.974</td><td style='text-align: center; word-wrap: break-word;'>23.031</td><td style='text-align: center; word-wrap: break-word;'>11.664</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.987</td><td style='text-align: center; word-wrap: break-word;'>18.426</td><td style='text-align: center; word-wrap: break-word;'>0.057</td><td style='text-align: center; word-wrap: break-word;'>2.393</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand (K-free)</td><td style='text-align: center; word-wrap: break-word;'>0.975</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>0.985</td><td style='text-align: center; word-wrap: break-word;'>22.154</td><td style='text-align: center; word-wrap: break-word;'>11.213</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>18.004</td><td style='text-align: center; word-wrap: break-word;'>17.242</td><td style='text-align: center; word-wrap: break-word;'>0.055</td><td style='text-align: center; word-wrap: break-word;'>2.317</td></tr></table>

评估指标。参照Wang等人的方法[^37]，若手的21个3D关节中任意一个在图像边界内的投影深度大于$z_{\text{min}} = 1 \, \text{cm}$，则该手被视为在屏幕内。帧准确率（FAcc）衡量既无漏检也无误检手的帧所占比例，召回率与F1分数则针对单个手计算。当手的存在得分超过0.5，且通过投影的2D重叠与同侧的屏幕内真实手匹配时，该手即被认定为已检测到的手，其中屏幕内判定规则同时适用于两侧。由于匹配过程是依据预测位移进行的，因此检测结果不仅反映手是否存在，还体现其位置准确性。MPJPE-p（毫米）为手腕对齐后的关节位置平均误差，PA-p（毫米）则为Procrustes对齐后的关节平均误差。$EPE_{2D-p}$（像素）为图像内关节的2D端点平均误差，GO-p（$^{\circ}$）为全局旋转几何误差，CT-p（米）为相机空间位移误差$\|\hat{\tau} - \tau\|_2$。抖动$\frac{\text{mm}}{\text{frame}^2}$则是3D关节预测结果的时间二阶差分平均值。

后缀“-p”表示针对假阴性的惩罚协议：未被检测到的手会被赋予一个位于相机原点的标准MANO网格，以防止算法通过忽略难以检测的样本来人为提升准确率。此外，MPJPE $^{OOS}$（毫米）会评估序列中所有手的位置，包括视线之外的目标，并根据帧数加权计算；而受限的腕部对齐误差指标MPJPE $^{OOS}$（毫米）仅针对未通过屏幕内判定条件的手帧进行计算。这两个指标基于不同的数据集合，不可互换。在我们的无相机参数变体中，EPE $_{2D}$-p是通过利用预留的真实内参对预测的3D关节点进行重投影来计算的，可直接用于评估隐式相机校准的准确率，具体定义详见附录A。

---

#### 4.2. 主要结果

屏幕内准确率。ACE-Ego-Hand在ARCTIC、HOT3D和HOI4D数据集上均取得了业界领先的整体跟踪性能，在29个评估指标中有27项排名第一。标准配置下的检测性能已接近饱和（FAcc、召回率和F1分数均高于0.95，ARCTIC数据集上更是达到1.00），而七个基线模型在广角HOT3D序列上的FAcc值低于0.70。与ViDiHand相比，ACE-Ego-Hand在ARCTIC、HOT3D和零样本HOI4D数据集上的MPJPE-p分别降低了30%（从21.67毫米降至15.26毫米）、40%（从21.51毫米降至12.89毫米）和23%（从30.09毫米降至23.03毫米），且在关节运动、2D定位、方向及平移等维度均表现更优。这种优势在遮挡情况较多的ARCTIC数据集上依然明显：ACE-Ego-Hand的PA-p比ViDiHand低24%，其MPJPE-p数值也几乎只有专为图像内遮挡恢复设计的OmniHands的一半。ACE-Ego-Hand还实现了最低的抖动值（2.39–3.16毫米/帧 $^2$），这反映了其在剪辑级别的解码机制以及明确的时间平滑性约束。

无需相机参数的运行。单独训练的无相机参数配置完全省去了测试时的校准步骤，但在全部五个基准测试集上，其检测性能仍与标准配置持平；在广角HOT3D数据集上，2D锚点的表现甚至与校准后的方位数据相当（F1分数分别为0.995和0.996，EPE $_{2D}$-p分别为6.07像素和6.42像素）。其唯一的代价是在窄视野基准测试集上会出现微小的腕部对齐姿态偏差（ARCTIC数据集上MPJPE-p增加1.36毫米，H2O数据集上增加1.09毫米）；而在零样本HOI4D数据集上性能反而有所提升（从23.03毫米降至22.15毫米；较高的EPE $_{2D}$-p数值反映出有此前无法检测的困难样本被纳入了匹配集）。

视线外物体的恢复。一旦视线外的手进入评估范围，ACE-Ego-Hand在ARCTIC和HOT3D数据集上的MPJPE+OOS值分别为16.8毫米和17.3毫米，较ViDiHand的31.05毫米和44.44毫米分别降低了45.9%和61.1%。若仅针对视线外物体这一类别计算，ACE-Ego-Hand的MPJPE+OOS值分别为35.2毫米和38.6毫米，而ViDiHand和WildHands的数值则分别达到149.1毫米、151.7毫米和135.4毫米、126.4毫米——WildHands是这类帧中表现最强的基线模型。无相机参数变体的MPJPE+OOS值分别为18.1毫米和18.7毫米，与标准配置的差异不到1.5毫米。编码器消融实验表明这种鲁棒性源于生成的VDM特征（见表2）。需注意，这两项指标均为腕部对齐后的结果，反映了通过姿态偏差体现的关节运动和全局方向信息。至于视线外物体的绝对位置，则是通过求解器回退机制利用时间上下文回归得到的深度和方位信息来确定的，受限制较少（见图4）。

效率方面。ACE-Ego-Hand仅需一次确定性推理即可同时实现高速与高精度：在单张A100显卡上可达到63.1帧/秒（无相机参数变体为63.3帧/秒），而采用高精度配置的ViDiHand仅能达到1.91帧/秒，两者存在显著的性能差距 $33\times$（相关协议详见附录C）。

<div style="text-align: center;">Table 2. Feature-source ablation on ARCTIC. MPJPE-p, PA-p and MPJPE $^{OOS}$ in mm, Jitter in mm/frame $^2$. MPJPE $^{OOS}$ is restricted to the hand-frames that fail the on-screen gate.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Feature source</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $^{OOS}$ $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>16.95</td><td style='text-align: center; word-wrap: break-word;'>8.16</td><td style='text-align: center; word-wrap: break-word;'>2.69</td><td style='text-align: center; word-wrap: break-word;'>41.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o LoRA</td><td style='text-align: center; word-wrap: break-word;'>23.10</td><td style='text-align: center; word-wrap: break-word;'>10.83</td><td style='text-align: center; word-wrap: break-word;'>3.35</td><td style='text-align: center; word-wrap: break-word;'>50.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>V-JEPA 2 [^1]</td><td style='text-align: center; word-wrap: break-word;'>17.81</td><td style='text-align: center; word-wrap: break-word;'>8.74</td><td style='text-align: center; word-wrap: break-word;'>4.56</td><td style='text-align: center; word-wrap: break-word;'>66.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VideoMAE [^32]</td><td style='text-align: center; word-wrap: break-word;'>22.53</td><td style='text-align: center; word-wrap: break-word;'>10.42</td><td style='text-align: center; word-wrap: break-word;'>5.60</td><td style='text-align: center; word-wrap: break-word;'>77.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VAE latent</td><td style='text-align: center; word-wrap: break-word;'>32.50</td><td style='text-align: center; word-wrap: break-word;'>12.89</td><td style='text-align: center; word-wrap: break-word;'>3.35</td><td style='text-align: center; word-wrap: break-word;'>79.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>raw RGB</td><td style='text-align: center; word-wrap: break-word;'>46.50</td><td style='text-align: center; word-wrap: break-word;'>16.93</td><td style='text-align: center; word-wrap: break-word;'>4.37</td><td style='text-align: center; word-wrap: break-word;'>98.3</td></tr></table>

<div style="text-align: center;">Table 3. Camera and decoder ablations on ARCTIC. MPJPE-p and PA-p in mm, EPE_{2D}-p in px, CT-p in m, Jitter in mm/frame^{2}.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Variant</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>EPE $_{2D}$-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CT-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>15.256</td><td style='text-align: center; word-wrap: break-word;'>7.474</td><td style='text-align: center; word-wrap: break-word;'>9.180</td><td style='text-align: center; word-wrap: break-word;'>0.021</td><td style='text-align: center; word-wrap: break-word;'>2.700</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Removing test-time intrinsics</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand (K-free)</td><td style='text-align: center; word-wrap: break-word;'>15.264</td><td style='text-align: center; word-wrap: break-word;'>7.770</td><td style='text-align: center; word-wrap: break-word;'>13.168</td><td style='text-align: center; word-wrap: break-word;'>0.020</td><td style='text-align: center; word-wrap: break-word;'>2.704</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o mixed-PnP (inverse proj.)</td><td style='text-align: center; word-wrap: break-word;'>16.134</td><td style='text-align: center; word-wrap: break-word;'>8.002</td><td style='text-align: center; word-wrap: break-word;'>14.425</td><td style='text-align: center; word-wrap: break-word;'>0.030</td><td style='text-align: center; word-wrap: break-word;'>2.874</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o PnP solve (direct reg.)</td><td style='text-align: center; word-wrap: break-word;'>15.546</td><td style='text-align: center; word-wrap: break-word;'>7.955</td><td style='text-align: center; word-wrap: break-word;'>14.399</td><td style='text-align: center; word-wrap: break-word;'>0.023</td><td style='text-align: center; word-wrap: break-word;'>2.658</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Decoder design (ablated from K-free)</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o spatial PE</td><td style='text-align: center; word-wrap: break-word;'>15.348</td><td style='text-align: center; word-wrap: break-word;'>8.101</td><td style='text-align: center; word-wrap: break-word;'>13.141</td><td style='text-align: center; word-wrap: break-word;'>0.023</td><td style='text-align: center; word-wrap: break-word;'>2.686</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o joint queries (pooled)</td><td style='text-align: center; word-wrap: break-word;'>17.144</td><td style='text-align: center; word-wrap: break-word;'>8.916</td><td style='text-align: center; word-wrap: break-word;'>14.849</td><td style='text-align: center; word-wrap: break-word;'>0.029</td><td style='text-align: center; word-wrap: break-word;'>2.727</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>shape $\beta$ from registers</td><td style='text-align: center; word-wrap: break-word;'>15.622</td><td style='text-align: center; word-wrap: break-word;'>7.760</td><td style='text-align: center; word-wrap: break-word;'>14.078</td><td style='text-align: center; word-wrap: break-word;'>0.020</td><td style='text-align: center; word-wrap: break-word;'>2.714</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o rotary PE (absolute PE)</td><td style='text-align: center; word-wrap: break-word;'>17.787</td><td style='text-align: center; word-wrap: break-word;'>8.671</td><td style='text-align: center; word-wrap: break-word;'>13.915</td><td style='text-align: center; word-wrap: break-word;'>0.033</td><td style='text-align: center; word-wrap: break-word;'>2.948</td></tr></table>

#### 4.3. 消融研究

视频编码器。为了评估VDM表示在ACE-Ego-Hand中的必要性，我们用VAE隐变量和原始RGB图像替换VDM特征，移除LoRA以测试任务特定的适应性，并用冻结的V-JEPA 2和VideoMAE编码器替代Wan 2.2，从而评估不同特征来源下的模型鲁棒性。包括完整模型在内的所有变体仅在ARCTIC数据集上训练1万步；这种简化训练方案得到的MPJPE-p和PA-p数值高于表1中训练2万步的完整混合模型结果，因此这些数值仅能在表内相互比较。

表2显示，ACE-Ego-Hand的性能始终优于所有其他特征来源。与原始RGB（46.50毫米）和VAE隐变量（32.50毫米）相比，完整模型将MPJPE-p降至16.95毫米，并取得了最佳的MPJPE $^{OOS}$（41.5毫米），这证实了高级时空特征对于实现时间上连贯的重建至关重要。禁用LoRA自适应机制后，MPJPE-p和MPJPE $^{OOS}$分别升至23.10毫米和50.1毫米，这一结果验证了任务特定自适应的价值。最重要的是，虽然V-JEPA 2在可见输入下表现尚可，但其对不可见物体的误差竟高达66.1毫米，这表明在视觉线索缺失时，生成式VDM先验具有更优越的预测能力。两种替代编码器均处于冻结状态，而参考行则使用带LoRA的Wan 2.2，但这种冻结对冻结的对比结果仍显示出一致的趋势：V-JEPA 2的误差为66.1毫米，而无LoRA的Wan 2.2误差为50.1毫米。

---

![Image](images/427fe91f5fe48ac10b9b47f58bd320c50e6dc363940f77fd7c5a9ade85d3e1ce.jpg)

<div style="text-align: center;">Figure 4. Qualitative comparison on ARCTIC (top) and HOT3D (bottom). For each dataset: the predicted mesh on the input frame, and the recovered hands in a shared world frame with wrist trails. Every method predicts in the camera frame, and the world view places those predictions with the ground-truth camera poses, so the view shows placement, not recovered camera motion. Under bimanual occlusion on ARCTIC several baselines recover only one hand. On wide-angle HOT3D they scatter the hands across the floor plane.</div>

解码器与相机求解。我们在ARCTIC数据集上对基于光线的相机求解器和双向时空解码器进行了消融实验（见表3），所有变体均采用同一训练方案（HOI4D数据不参与训练）。该表中的所有行均未使用$\mathcal{L}_{fit}$，而是直接从光线场读取方位角信息，因此这些结果仅能在表内相互比较，无法与表1的结果对比。相机层面的消融实验评估了无K变体、逐点逆投影以及直接平移回归三种情况；解码器层面的消融实验则分别移除了空间位置编码、用手部池化查询替代关节查询、通过寄存器令牌预测clip级别的$\hat{\beta}$，或将旋转相对位置编码替换为绝对位置编码。其中，手部池化查询和绝对位置编码两种变体的数据并行宽度仅为其他变体的一半，且训练步数和每张GPU处理的视频片段数相同，因此它们性能上的差距部分可能源于有效批次大小较小，而非单纯的设计差异。

在该表中，无K变体与标准配置结果相近（MPJPE-p分别为15.264毫米和15.256毫米，CT-p分别为0.020米和0.021米），这说明在ARCTIC的相机几何条件下，学习得到的光线场可替代显式的测试时相机参数。旋转相对位置编码和关节查询至关重要：用绝对位置编码替换相对编码会使MPJPE-p增加2.523毫米，抖动值也从2.704毫米/帧$^{2}$恶化至2.948毫米/帧；采用手部池化查询会使MPJPE-p增加1.880毫米，EPE$_{2D}$-p增加1.681像素。在求解器组件方面，用逆投影替代混合PnP会使CT-p从0.020米增至0.030米，而直接平移回归会使EPE$_{2D}$-p增加1.231像素。直接回归确实能得到表中最低的抖动值（2.658毫米/帧$^{2}$），但我们并未采纳这种方案，因为它会放宽图像空间的定位精度。

#### 4.4. 定性比较

如图4所示，单帧基线与世界空间基线生成的预测结果较为零散且经常中断，而生成式基线生成的结果虽然更平滑，却存在深度偏差。相比之下，ACE-Ego-Hand在快速运动、严重遮挡以及物体短暂离开视野的情况下，仍能恢复出与真实轨迹紧密对齐的连续且时间上稳定的轨迹。将恢复出的轨迹重新映射到灵巧的Inspire Hand上后，便能产生自然且协调的动作，这些动作与源视频中的动作高度相似；相关运动学可视化效果详见附录E，该附录还进一步将该方法在H2O、OakInk2以及两个真实场景下的第一人称视频上进行了对比。

### 5. 结论与讨论

我们提出了ACE-Ego-Hand，这是一种用于从第一人称视频中恢复双手法部度量轨迹的离线片段级框架。我们并未将视频扩散模型用作渲染器进行采样，而是将其作为确定性干净隐变量编码器一次性读取，并借助三维监督机制将其特征重塑为具备几何感知能力的特征。随后，双向时空解码器会一次性重建整个视频片段，而基于射线的相机求解器则负责确定其度量关系。ACE-Ego-Hand在五个基准测试中均创下了新的最佳成绩，且仅需一次前向传播即可完成计算，其运行速度比此前最先进的方法快$33\times$。当手部可见时，最佳的判别式编码器也能达到相近的精度；但一旦手部离开视野，其精度便会大幅下降，这一结果表明生成式预训练或许能赋予模型判别式预训练所不具备的时间-几何先验。我们希望ACE-Ego-Hand能成为连接大规模人类视频与机器人学习所需操控数据的实用桥梁。

---

此前的方法并不具备这种特性，而判别性预训练方法同样无法做到。我们希望ACE-Ego-Hand能成为连接大规模人类视频数据与机器人学习所需操控数据的实用桥梁。

目前仍存在若干局限性。所预测的射线场在训练时所见的相机类型范围内泛化能力最佳，而扩大数据覆盖范围便是自然的解决之道。HOI4D和H2O数据集部分依赖于伪真实标注，因此更高精度的数据有望进一步提升性能。此外，ACE-Ego-Hand是针对完整视频片段进行离线处理的，这更适合用于可扩展的数据整理，而非闭环控制。将编码器蒸馏为流式变体是实现在线部署的自然步骤。

## 参考文献

[^1]: Mido Assran, Adrien Bardes, David Fan, Quentin Garrido, Russell Howes, Mojtaba Komeili, et al. V-JEPA 2: Self-supervised video models enable understanding, prediction and planning, 2025. Meta AI.

[^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. arXiv:2411.19167.

[^3]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In Proceedings of the European Conference on Computer Vision (ECCV), 2020.

[^4]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3D human pose and shape from a video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.

[^5]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando De la Torre. Hamba: Single-view 3D hand reconstruction with graph-guided bi-scanning mamba. In Advances in Neural Information Processing Systems (NeurIPS), 2024.

[^6]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

[^7]: Masashi Hatano, Zhifan Zhu, Hideo Saito, and Dima Damen. The invisible EgoHand: 3D hand forecasting through EgoBody pose estimation, 2025.

[^8]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. EgoDex: Learning dexterous manipulation from large-scale egocentric video. In International Conference on Learning Representations (ICLR), 2026. arXiv:2505.11709. Apple.

[^9]: Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen.

LoRA：大语言模型的低秩适配。载于2022年国际学习表征会议（ICLR）。

[^10]: Zeyinzi Jiang, Zhen Han, Chaojie Mao, Jingfeng Zhang, Yulin Pan, and Yu Liu. VACE: All-in-one video creation and editing. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025. arXiv:2503.07598.

[^11]: Linyi Jin, Jianming Zhang, Yannick Hold-Geoffroy, Oliver Wang, Kevin Matzen, Matthew Sticha, and David F. Fouhey. Perspective fields for single image camera calibration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

[^12]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. EgoMimic: Scaling imitation learning via egocentric video. In IEEE International Conference on Robotics and Automation (ICRA), 2025. arXiv:2410.24221.

[^13]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. VIBE: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[^14]: Harold W. Kuhn. The Hungarian method for the assignment problem. Naval Research Logistics Quarterly, 2, 1955.

[^15]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2O: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021.

[^16]: Hao Li, Ganlong Zhao, Yufei Liu, Haotian Hou, Guoquan Ye, Tongyan Fang, Chunxiao Liu, Siyuan Huang, Jianbo Liu, Xiaogang Wang, and Hongsheng Li. ACE-Ego-0: Unifying egocentric human and robotic data for VLA pretraining, 2026.

[^17]: Jiefeng Li, Jinkun Cao, Haotian Zhang, Davis Rempe, Jan Kautz, Umar Iqbal, and Ye Yuan. GENMO: A generalist model for human motion. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025. arXiv:2505.01425.

[^18]: Dixuan Lin, Yuxiang Zhang, Mengcheng Li, Wei Jing, Qian Han, Qianying Wang, Yehua Liu, and Hongwen Zhang. OmniHands: Towards robust 4D hand mesh recovery via a versatile transformer, 2024.

[^19]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[^20]: Christen Millerdurai, Shaoxiang Wang, Yaxu Xie, Vladislav Golyanik, Didier Stricker, and Alain Pagani. EgoForce: Forearm-guided camera-space 3D hand pose from a monocular egocentric camera. In ACM SIGGRAPH 2026 Conference Papers, 2026. arXiv:2605.12498.

## [^21]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In Proceedings of

---

2023年IEEE/CVF计算机视觉与模式识别会议（CVPR）。arXiv:2303.13652。

[^22]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, et al. A dataset of relighted 3D interacting hands. In Advances in Neural Information Processing Systems (NeurIPS) Datasets and Benchmarks, 2023.

[^23]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.

[^24]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. arXiv:2409.12259.

[^25]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3D hand pose estimation in everyday egocentric images. In Proceedings of the European Conference on Computer Vision (ECCV), 2024.

[^26]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. Proc. SIGGRAPH Asia 2017; the MANO hand model.

[^27]: Ropedia. Xperience-10M: A large-scale egocentric multi-modal dataset with structured 3d/4d annotations. <https://huggingface.co/datasets/ropedia-ai/xperience-10m>, 2026. Dataset.

[^28]: Xiaolong Shen, Zongxin Yang, Xiaohan Wang, Jianxin Ma, Chang Zhou, and Yi Yang. Global-to-local modeling for video-based 3D human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

[^29]: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, and Andrew Owens. Point prompting: Counterfactual tracking with video diffusion models. In International Conference on Learning Representations (ICLR), 2026. arXiv:2510.11715.

[^30]: Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. RoFormer: Enhanced transformer with rotary position embedding. Neurocomputing, 568, 2024.

[^31]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-Or, and Amit H. Bermano. Human motion diffusion model. In International Conference on Learning Representations (ICLR), 2023.

[^32]: Zhan Tong, Yibing Song, Jue Wang, and Limin Wang. VideoMAE: Masked autoencoders are data-efficient learners for self-supervised video pre-training. In Advances in Neural Information Processing Systems (NeurIPS), 2022.

[^33]: Wan Team. Wan: Open and advanced large-scale video generative models, 2025. Alibaba; covers the Wan2.1/Wan2.2 model family.

[^34]: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, and Cristian Sminchisescu. Video generation models are general-purpose vision learners, 2026. GenCeption; Google DeepMind.

[^35]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. HoloAssist: An egocentric human interaction dataset for interactive AI assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023.

[^36]: Yufu Wang, Ziyun Wang, Lingjie Liu, and Kostas Daniilidis. TRAM: Global trajectory and motion of 3D humans from in-the-wild videos. In Proceedings of the European Conference on Computer Vision (ECCV), 2024. arXiv:2403.17346.

[^37]: Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, and Xingang Pan. The surprising effectiveness of video diffusion models for hand motion reconstruction, 2026.

[^38]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, and Xiaolong Wang. EgoVLA: Learning vision-language-action models from egocentric human videos, 2025.

[^39]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

[^40]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-HaMR: Recovering 4D interacting hand motion from a dynamic camera. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. arXiv:2412.12861.

[^41]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. OakInk2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.

[^42]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: World-space hand motion reconstruction from egocentric videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. arXiv:2501.02973.

[^43]: Jason Y. Zhang, Amy Lin, Moneish Kumar, Tzu-Hsuan Yang, Deva Ramanan, and Shubham Tulsiani. Cameras as rays: Pose estimation via ray diffusion. In International Conference on Learning Representations (ICLR), 2024.

[^44]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017.

### [^45]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019

---

#### ACE-Ego-Hand：重新利用视频扩散模型实现抗遮挡的第一人称3D手部运动恢复

补充材料

附录的结构如下。附录A阐述了评估协议、数据集划分方式以及基线的复现方法，以便正文中的每一项数值都能追溯到其定义。附录B提供了复现模型所需的架构、优化方法和损失函数细节。附录C报告了另外两个领域内数据集的情况、正文中两个OOS指标背后的视野外分层机制、匹配检测测试结果以及推理吞吐量。附录D分析了促使我们采用无K相机适配方案的图像边缘失效现象，以及长解码过程带来的成本，同时评估了tap深度和潜噪声水平这两种设计选择。附录E给出了扩展的定性比较结果及重定向应用实例。附录F则总结了本研究存在的局限性、每种局限性所对应的失效特征，以及我们的数据使用声明。

##### A. 实验设置与协议

##### A.1. 指标定义与惩罚协议

本节阐述了正文中每张结果表背后的定义。设一只手为包含21个标准关节以及相机坐标系下平移量的对$(J, \tau)$，记为$J^{\mathrm{cam}} = J + \tau$。需注意，$\tau$代表标准手的位置，因此它是MANO的根节点平移量，而非腕关节的位置，腕关节位置由$J_0 + \tau$表示。下文中的CT是$\tau$对应的误差。

表S1列出了本文中使用的所有指标符号、它们所平均的群体，以及是否适用覆盖度惩罚规则。本节其余部分将对每个指标逐一定义。还有一个指标出现在附录C中，此处直接给出其名称：限于匹配检测结果的MPJPE，它同样属于第三个群体，用于区分覆盖度丢失和姿态丢失的情况。

屏幕内区域：若一只手的21个关节中至少有一个在正深度下投影到图像矩形内，则该手属于屏幕内。

 $$ \exists j:\;\pi(J_{j}^{\mathrm{c a m}})\in[0,W)\times[0,H)\;\land\;J_{z,j}^{\mathrm{c a m}}>z_{\mathrm{m i n}}, $$

其中$\pi$为校准后的投影参数，$z_{\min}=1$单位为厘米。未能满足该条件的真实手属于视野外（OOS）对象，不纳入主要指标的计算范围。该测试同样适用于预测结果，因此若预测结果将手定位在视野外，不会将其计为假阳性。

检测：当预测手的存在分数超过0.5时，该预测手被视为激活状态。激活的预测手会通过与投影网格边界框的交并比，与同侧的屏幕内真实手进行匹配；计算交并比前，真实手的边界框会先扩大10%。每个预测手会选择交并比最高的候选真实手，若两个同侧预测手选择了同一个真实手，则交并比更高的那个获胜。若某个预测手的最佳交并比为零，或最佳交并比对应异侧真实手，则该预测手被计为假阳性——也就是说，匹配规则要求同侧的交并比必须为正，而非采用固定的IoU阈值。未匹配到的真实手计为假阴性（FN），未匹配到的预测手计为假阳性（FP）。按侧别统计后，用P和R分别表示精确率和召回率。

 $$ \mathrm{P}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}},\qquad\mathrm{R}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}},\qquad\mathrm{F}1=\frac{2\mathrm{PR}}{\mathrm{P}+\mathrm{R}}, $$

帧准确率是指不存在任意一侧误差的帧所占的比例。

 $$ \mathrm{FAcc}=\frac{1}{N}\sum_{f=1}^{N}\mathbf{1}[\mathrm{FP}_{f}+\mathrm{FN}_{f}=0]. $$

由于匹配过程依赖投影网格，因此检测结果既取决于预测的平移量，也取决于存在分数。

姿态指标：对于一对匹配的手，设$\bar{J} = J - J_{0}$表示相对于腕关节的关节位置，$\Lambda$表示Procrustes对齐结果。

 $$ \begin{array}{r l}&{\mathrm{M P J P E}=\frac{1}{21}\sum_{j}\lVert\bar{\hat{J}}_{j}-\bar{J}_{j}\rVert_{2},}\end{array} $$

 $$ \begin{array}{r l}&{\mathrm{P A}=\frac{1}{21}\sum_{j}\lVert\Lambda(\hat{J})_{j}-J_{j}\rVert_{2},}\end{array} $$

 $$ \begin{array}{r l}&{\mathrm{E P E_{2D}}=\frac{1}{|\mathcal{V}|}\sum_{j\in\mathcal{V}}\|\hat{p}_{j}-p_{j}\|_{2},}\end{array} $$

 $$  CT=||\hat{\tau}-\tau||_{2}, $$

其中，$\hat{p}_j$ 是模型自身的二维锚点，$\mathcal{V}$ 保存的是其真实值落在帧内的关节，而 $\mathrm{GO} = \angle(\hat{R}, \hat{R})$ 则是预测出的全局方向与真实全局方向之间的测地角。有一种情况需要单独说明：在无需相机内参的配置中，没有用于确定像素尺度的内在参数，因此其 $\hat{p}_j$ 是通过将预测出的相机坐标系下关节重新投影到剪辑的真实内参下得到的。这些内参仅用于评分，不会输入给模型，因此 $\mathrm{EPE}_{2D-p}$ 直接反映了预测出的光线场在标定方面的表现。抖动是指所组装的关节 $\tilde{\boldsymbol{J}} = \hat{\tilde{\boldsymbol{J}}} + \hat{\tau}$、手腕相关关节集以及预测出的平移量之间的平均二阶时间差。

---

$\frac{1}{T-2}\sum_t\|\tilde{J}_{t+1}-2\tilde{J}_t+\tilde{J}_{t-1}\|$ 位于 $\text{mm}/\text{frame}^2$ 中。该差值是在帧索引范围内计算的，且未按帧率进行归一化。抖动仅在方法产生匹配检测结果的那几帧上进行评估。对于每个片段和每只真实手，匹配的预测结果会被划分为连续帧的最大序列，每个至少包含三帧的序列内部会计算二阶差的平均值。没有检测到手部的帧会终止当前序列，而不会通过插值或占位姿态来填充，且任何序列都不会跨越片段边界。因此，漏检会导致某帧从计算中排除而非被计入误差，这种设定对于几乎能检测出所有手部的方法而言较为保守。

关于抖动的读取：双向时空解码器为每个潜帧输出一组标记，而Wan VAE会将时间压缩4倍，因此表1中评分的81帧是由21个潜帧承载的。隐藏特征与直接关节坐标会通过时间上的线性插值扩展至帧率，随后每帧的姿态头与相机头会在扩展后的特征上运行，而形状头则针对每个剪辑中的每只手读取单个 $\hat{\beta}$。因此，评分涉及的关节是根据时间上分段线性的特征轨迹逐帧解码得出的。抖动以毫米/帧为单位衡量（$^2$），用于评价该输出的平滑度。对真实值的保真度则由抖动旁边列出的准确率列来评判。

覆盖惩罚（后缀为-p）：仅在匹配的手部上报告误差，这种做法会奖励那些跳过最难处理帧的方法。因此，每项指标都是基于真正例与假负例计算的，每个假负例会被计为某个标准MANO [^26] 手的误差：即全局方向相同、关节活动为零、形状均值固定，以及 $\tau = 0$。

 $$  metric-p=\frac{\sum_{i\in TP}e_{i}+\sum_{i\in FN}e_{i}^{can}}{|TP|+|FN|}. $$

该占位项针对每只漏检的真实手计算，因此漏检的成本对每种方法而言都是确定且相同的。EPE$_{2D}$是个例外：漏检手部的每个关节会被计为图像对角线长度 $\sqrt{W^2 + H^2}$，这是帧内两点间距离的上限。在ARCTIC数据集上该对角线长度为826像素，HOT3D数据集上为679像素。

视线外手部的覆盖情况：有两个不同的指标。上述所有指标均受限于帧内的真实手部，因此当手部不在视野内时，这些指标均无法对其评分。还有两个指标可以弥补这一缺口。这两个指标容易混淆，因此在定义之前我们先说明它们的区别。

这两个指标都来自第二次评分过程，且仅由真实值决定。该过程会遍历序列中每只真实手帧，将其与模型在该手部位置输出的结果进行对比，无需存在性判断。

<div style="text-align: center;">Table S1. Metric symbols. "Averaged over" is the population each metric runs on. "Pen." marks the metrics that charge a placeholder for every missed on-screen detection. The upper block is detection-gated: restricted to on-screen ground truth, matched to predictions, with the -p metrics penalized for each miss. The lower block is ground-truth-gated: no matching, no placeholder, and the two differ only in which hand-frames they average over. The two families are not interchangeable.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Symbol</td><td style='text-align: center; word-wrap: break-word;'>Averaged over</td><td style='text-align: center; word-wrap: break-word;'>Pen.</td><td style='text-align: center; word-wrap: break-word;'>Unit</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FAcc</td><td style='text-align: center; word-wrap: break-word;'>frames</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Recall, F1</td><td style='text-align: center; word-wrap: break-word;'>on-screen hands</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE-p</td><td style='text-align: center; word-wrap: break-word;'>on-screen hands</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-p</td><td style='text-align: center; word-wrap: break-word;'>on-screen hands</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EPE $_{2D}$-p</td><td style='text-align: center; word-wrap: break-word;'>on-screen joints</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>px</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GO-p</td><td style='text-align: center; word-wrap: break-word;'>on-screen hands</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>°</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CT-p</td><td style='text-align: center; word-wrap: break-word;'>on-screen hands</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>m</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Jitter</td><td style='text-align: center; word-wrap: break-word;'>matched runs</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>mm/frame $^{2}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE $^{OOS}$</td><td style='text-align: center; word-wrap: break-word;'>out-of-sight hand-frames</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE+ $^{OOS}$</td><td style='text-align: center; word-wrap: break-word;'>all hand-frames</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>mm</td></tr></table>

没有匹配的检测结果，也没有假阴性占位符。因此，这两个指标都不会受到-p覆盖率惩罚的影响，且它们都不是MPJPE-p的函数：MPJPE-p是对匹配的检测结果以及每个未检测到的样本对应的占位符取平均值，而这两个“视野外”指标则是基于真实的手部帧计算平均值，无论该方法是否检测到了任何手部，所以这两种评分方式无法算术合并。两者都经过手腕对齐处理，因此它们是通过视野外的区间来判定关节活动和方向，而非绝对位置。

用$\mathcal{H}$表示序列中真实的手部帧，用$\mathcal{H}^{\mathrm{IV}} \subseteq \mathcal{H}$表示通过屏幕内筛选条件、即处于视野内的手部帧，用$\mathcal{H}^{\mathrm{OOS}} = \mathcal{H} \setminus \mathcal{H}^{\mathrm{IV}}$表示未通过筛选条件的手部帧，设

 $$ \varepsilon_{i}=\frac{1}{21}\sum_{j}\|\bar{\hat{J}}_{j}^{(i)}-\bar{J}_{j}^{(i)}\|_{2} $$

为手部帧i经过手腕对齐后的误差，记为$\varepsilon$以将其与上文提到的通用单手误差e区分开。这两个指标本质是相同的误差，只是所平均的人群不同而已，

 $$ \begin{align*}\mathrm{MPJPE}^{\mathrm{OOS}}&=\frac{1}{\left|\mathcal{H}^{\mathrm{OOS}}\right|}\sum_{i\in\mathcal{H}^{\mathrm{OOS}}}\varepsilon_{i},\\\mathrm{MPJPE}^{+}\mathrm{OOS}&=\frac{1}{\left|\mathcal{H}\right|}\sum_{i\in\mathcal{H}}\varepsilon_{i}.\end{align*} $$

因此第二个指标就是这两个群体的帧数加权混合值。用$\bar{\varepsilon}_{\mathrm{IV}}$和$\bar{\varepsilon}_{\mathrm{OOS}}$分别表示每个群体中$\varepsilon_{i}$的平均值，用$n_{\mathrm{IV}}$和$n_{\mathrm{OOS}}$表示两个群体的手部帧数量，

 $$ MPJPE^{+OOS}=\frac{n_{IV}\bar{\varepsilon}_{IV}+n_{OOS}\bar{\varepsilon}_{OOS}}{n_{IV}+n_{OOS}}. $$

---

MPJPE $^{OOS}$单独对视野外群体进行评分。MPJPE $^{+OOS}$则将两个群体合并计算，因此它受较大群体的影响：视野外手部帧在ARCTIC数据集中占比6.9%，在HOT3D中占比17.6%，在OakInk2中占比14.5%，所以在这三个数据集中混合结果都由视野内群体主导。因此，MPJPE $^{+OOS}$的降低并不等同于视野外手部误差的降低，二者不可相互替代。表1（主要对比）报告的是混合形式的结果，表2（特征源消融实验）报告的是各群体的结果，本附录的表S4则同时给出了两种结果以及视野内群体的结果，以便逐行验证公式(S11)。

#### A.2. 数据集、划分与预处理

所评估的五个视频数据集（ARCTIC [^6]、HOT3D [^2]、H2O [^15]、OakInk2 [^41] 和 HOI4D [^19]）均以 30 fps 的帧率进行处理，不进行时间子采样。其中四个用于训练的数据集会基于完整长度的录像进行训练：每一步训练时从每段录像中随机选取一个包含 21 个隐层帧（即 81 个 RGB 帧）的窗口；而评估阶段则使用与所有基线模型共享的固定 81 帧测试片段。还有三个数据集仅参与训练混合集，它们并不遵循上述规则，相关说明见本小节末尾。ARCTIC 的输入分辨率为 $672 \times 480$，HOT3D 的输入分辨率为 $480 \times 480$；H2O 和 OakInk2 则被调整为 832 像素宽度，同时相应缩放内部参数，以确保每个数据集都能生成偶数个隐层网格。在 ARCTIC 数据集中，测试集的受试者互不重叠（测试受试者为 s05）；H2O 的测试集按录像划分（126/72 段录像）；OakInk2 的测试按序列划分（在与其他基线模型共享的 202 个片段子集上评估）；而 HOI4D 完全不参与训练，仅进行零样本评估。每个数据集均采用各自的手部标注格式，我们将其全部转换为统一的 MANO 格式，以便用同一个加载器和评估器处理所有数据集。正如正文所述，HOI4D 和 H2O 部分依赖于由逐帧估计器生成的伪真实 MANO 标注，因此在这两项基准测试中，比较指标衡量的是与标注的一致性而非绝对精度。两者在重要程度上存在差异：HOI4D 完全不纳入训练，因此其标注虽有噪声，但对所有方法而言噪声水平一致；H2O 则属于训练混合集，我们的模型会基于后续用于评分的标注分布进行训练，而所有基线模型则是在评估时才首次接触该分布。ARCTIC、HOT3D 和 OakInk2 本身即包含真实的 MANO 标注，正文中的性能提升数据均源自 ARCTIC 和 HOT3D。

训练混合集。两种配置均基于相同的七源混合集进行训练，每个批次中的数据来源根据表 S2 中的权重随机抽取，这些权重之和为 100。其中四个数据源为带有 MANO 标注的第一人称视角视频，分别是 ARCTIC、HOT3D、H2O 和 OakInk2。

<div style="text-align: center;">Table S2. Training and evaluation data. Clip and frame counts are read from the dataset manifests. For the video sources one clip is one full-length recording, not an 81-frame window. FreiHAND and RHD are static image sources, so their clip column counts images. “Eval” is the number of 81-frame test segments shared with every baseline. For HOT3D and OakInk2 these segments cover only a subset of the available test video. “Wt.” is the per-batch sampling weight in percent and is identical for both configurations. HOI4D is held out of training.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td colspan="2">Train</td><td colspan="2">Test</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Source</td><td style='text-align: center; word-wrap: break-word;'>clips</td><td style='text-align: center; word-wrap: break-word;'>frames</td><td style='text-align: center; word-wrap: break-word;'>clips</td><td style='text-align: center; word-wrap: break-word;'>frames</td><td style='text-align: center; word-wrap: break-word;'>Eval</td><td style='text-align: center; word-wrap: break-word;'>Wt.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ARCTIC</td><td style='text-align: center; word-wrap: break-word;'>267</td><td style='text-align: center; word-wrap: break-word;'>184,373</td><td style='text-align: center; word-wrap: break-word;'>34</td><td style='text-align: center; word-wrap: break-word;'>24,863</td><td style='text-align: center; word-wrap: break-word;'>291</td><td style='text-align: center; word-wrap: break-word;'>14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOT3D</td><td style='text-align: center; word-wrap: break-word;'>126</td><td style='text-align: center; word-wrap: break-word;'>444,649</td><td style='text-align: center; word-wrap: break-word;'>72</td><td style='text-align: center; word-wrap: break-word;'>256,870</td><td style='text-align: center; word-wrap: break-word;'>437</td><td style='text-align: center; word-wrap: break-word;'>18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$H_{2}O$</td><td style='text-align: center; word-wrap: break-word;'>114</td><td style='text-align: center; word-wrap: break-word;'>68,929</td><td style='text-align: center; word-wrap: break-word;'>46</td><td style='text-align: center; word-wrap: break-word;'>30,724</td><td style='text-align: center; word-wrap: break-word;'>355</td><td style='text-align: center; word-wrap: break-word;'>10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OakInk2</td><td style='text-align: center; word-wrap: break-word;'>550</td><td style='text-align: center; word-wrap: break-word;'>935,260</td><td style='text-align: center; word-wrap: break-word;'>77</td><td style='text-align: center; word-wrap: break-word;'>69,371</td><td style='text-align: center; word-wrap: break-word;'>202</td><td style='text-align: center; word-wrap: break-word;'>14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Re:InterHand</td><td style='text-align: center; word-wrap: break-word;'>43</td><td style='text-align: center; word-wrap: break-word;'>21,315</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FreiHAND</td><td style='text-align: center; word-wrap: break-word;'>32,560</td><td style='text-align: center; word-wrap: break-word;'>162,800</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RHD</td><td style='text-align: center; word-wrap: break-word;'>41,251</td><td style='text-align: center; word-wrap: break-word;'>206,255</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOI4D (held out)</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>166</td><td style='text-align: center; word-wrap: break-word;'>49,800</td><td style='text-align: center; word-wrap: break-word;'>498</td><td style='text-align: center; word-wrap: break-word;'>0</td></tr></table>

其余三个数据源仅用于训练且从不参与评估，它们占采样权重的 44%，为模型提供了来自第一人称视频领域之外的外观与姿态多样性。这三者类型各异：Re:InterHand [^22] 提供的是在模拟第一人称鱼眼相机环境下拍摄的、帧率为 10 fps 的重新打光工作室录像，因此它作为视频数据输入，与上述视频数据集一样会接收完整的 21 个隐层帧窗口；FreiHAND [^45] 和 RHD [^44] 则是两种静态图像源，每张图像会被复制成长度为五帧的静态剪辑。由于这类剪辑几乎不含时间变化，因此主要提供外观与手部姿态的多样性而非运动信息。FreiHAND 仅包含右手数据且配有完整的 MANO 标注，Re:InterHand 也是如此；RHD 则提供 21 个 3D 关节点信息但不含 MANO 标注。根据正文中描述的损失函数分配规则，这些样本用于监督 2D 锚点、3D 关节点、存在性与可见性头网络，而旋转与形状参数则设为零。每个批次均取自单一数据集，因此长度不同、隐层网格不同的剪辑绝不会被堆叠在一起。

##### A.3. 基线复现

我们计算出的每一个数值，都是通过针对各数据段预测文件应用单一评估协议得出的；先前研究中引用的数值也遵循同一协议，因此表格中各行之间的指标定义并无差异。该协议正是ViDiHand [^37]所提出的协议，我们直接采用了该协议中定义的指标、屏幕上的阈值以及测试数据段。

表1中每个区块的十二行里，有九行对应的是ViDiHand同样会评估的方法，表格中引用的就是这些方法的已发表数值。EgoForce不在其中，因此其对应行的数据来自我们使用同一协议自行运行的结果。

---

ACE-Ego-Hand的两行以及本附录中的所有行也是如此。只有两种协议实现完全一致时，跨论文引用数据才是可靠的，因此我们并未轻信已有结论。我们对有公开版本的那八种方法，用我们自己的评估工具重新进行了测试；而对于没有公开版本的ViDiHand，我们请其作者在我们要求的相同测试数据段上生成预测结果，再将结果与已发表数值进行对比。两者的一致性足以让我们将这两种实现视为同一种协议。若单元格中的数值存在差异，表格中会保留已发表的数值而非我们的计算结果，以确保这九行引用数据与来源保持一致。下面的段落将说明这些复现实验的具体设置方式。除ViDiHand外，基线预测数据均来自每种方法的官方公开版本，这些版本未经重新训练，也未修改模型代码，在评估前会被转换为统一的MANO格式。

HaMeR [^23]和Hamba [^5]使用已发布的hamer.ckpt与hamba.ckpt模型，这些模型搭载在Detectron2的ViTDet-H检测器以及用于生成手部框的ViTPose+-Huge全身关键点模型之后运行。WildHands [^25]使用wildhands.ckpt，OmniHands [^18]则使用其九帧视频模型Demo.Video.pth及config_video.yaml配置文件，二者均基于相同的前端检测器，即ViTDet-H加ViTPose+-Huge。InterWild [^21]同样在该前端检测器后使用egocentric版本的snapshot_6_ego.pth模型，运行时会绕过其内部的BoxNet模块，以便注入相同的外部手部框——因为该BoxNet在以自我为中心的帧中无法准确定位手部。WiLoR [^24]使用wilor_final.ckpt及其自带的YOLO检测器，HaWoR [^42]使用hawor.ckpt，EgoForce [^20]则使用其发布的model_weights.pth模型。Dyn-HaMR [^40]是在HaMeR前端基础上，按照该代码库默认的优化流程进行运行。由于所有基线模型均在我们的数据集上未经重新训练便直接评估，因此基线行对应的训练数据就是各模型原本的训练数据，我们并未对此加以控制。

有三点值得说明。其中两点支持基准方法。WildHands和HaWoR将相机几何参数作为显式输入，它们会接收剪辑中的真实内参，并在该方法需要特定输入分辨率时与图像一同进行缩放。Dyn-HaMR则接收真实外参，而非运行DROID-SLAM，这样便消除了与手部姿态无关的故障源。第三点则与基准方法相悖，我们将其视为HaWoR的代价。HaWoR的SLAM阶段和填充阶段被跳过，其相机空间运动估计结果会被直接用于评分，因为评估协议基于相机空间，且DROID-SLAM在81帧（2.7秒）的测试片段中表现不稳定。在发布的代码中，这两个阶段是相互关联的——填充器基于SLAM轨迹在世界空间中运行，因此跳过SLAM也就意味着填充功能随之失效。这就导致原本用于对手部未被检测到时的帧进行处理的模块无法发挥作用，所以HaWoR的结果反映的是其相机空间手部运动估计器的输出，而非其完整已发布流程的输出。ACE-Ego-Hand的无K配置则不接收任何相机信息；只有当上述指标定义有要求时，才会将其评估纳入真实内参，也就是在评分$EPE_{2D}$-p时重新投影其3D关节。

##### B. 实现细节

##### B.1. 架构

空间位置编码$P^{sp}$是一种经过学习的$16 \times 16$网格，会通过双线性插值调整至令牌分辨率；光线位置编码则利用正弦和余弦函数对每条光线的方位角和仰角进行八种倍频的傅里叶编码，随后由初始权重为零的多层感知机将生成的特征映射至解码器宽度，从而为训练提供一个平稳的起点。在混合PnP求解过程中，若某个关节投票点距离相机至少5厘米，且其锚点落在图像范围内且边缘距图像边界至少占图像尺寸的2%，则该关节会被计入投票（$m_j = 1$）。当投票的关节数少于六个，或者重新拟合后的均方根锚点残差超过15像素与手部2D边界框对角线长度四分之一中的较大值时，手腕位置会被置于深度为$\hat{t}_z$的逆向投影光线上。无K相机拟合是基于令牌网格的闭式可微逐轴线性回归，其受$10^{-4}$的方差下限以及拟合焦距的范围限制；若某段剪辑无法满足这些限制（包括鱼眼模式的Re:InterHand训练数据），则会回退到读取锚点处的光线场，而两种解码路径——即基于关节的锚点方位角路径和手腕回退路径——都会使用拟合后的相机参数。主干网络采用的是随VideoX-Fun发布的Wan2.2-Fun-5B-Control版本[^33]，以其低噪声的DiT子模型形式加载，该子模型包含30个宽度为3072的块、14336的前馈宽度、148个输入潜通道以及48个输出通道，并与Wan 2.2 VAE搭配使用。我们保持了发布版中输入和输出通道数不变。等级为64、采用$\alpha = 64$且无丢弃机制的LoRA适配器被注入到每个块的全部十个线性层中，具体包括自注意力和交叉注意力中的查询、键、值和输出投影层，以及两个前馈层。适配器的匹配依据是模块名称而非深度，因此30个块中每个块都会实例化一组适配器，每个块对应537.7万个适配器参数，总参数量达到1.61219亿。有三点数据需区分开来：在发布的DiT所包含的50.02亿预训练权重中，仅有182.2万个补丁嵌入层会被更新，而30个Transformer块在整个过程中保持冻结状态。加上适配器后，实例化的主干网络拥有51.6亿个参数。随后优化器会处理1.8399亿个参数，按模块划分分别为LoRA适配器中的1.61219亿个参数、解码器及其输出头中的2034.7万个参数，以及补丁嵌入层的182.2万个参数。

---

在DiT自身的扩散输出头中有59.6万参数，Ray Head中有9,219个参数。这些参数属于下一小节中的三个学习率组：LoRA组、补丁嵌入组，以及包含解码器、其输出头、Ray Head和扩散输出头的另一组。由于前向传播在“tap”处停止，梯度能够触及的参数包括执行模块内的8598.3万LoRA参数、182.2万补丁嵌入参数、该配置所经过的1228.7万解码器参数，以及Ray Head参数，总计1.001亿个参数。被绕过模块中的适配器以及扩散输出头位于跳过的路径上，因此始终停留在初始化状态。我们在已发布的检查点中验证了这一点：经过2万步训练后，“tap”之后的所有LoRA B矩阵仍为零，这使得这些适配器相当于恒等映射；且扩散输出头的每个张量都与预训练版本完全一致。那1228.7万之外的解码器参数属于该配置未选用的输出变体，我们保留它们的实例化状态，以便单个检查点模式能涵盖所有消融实验。

#### B.2. 优化

只有上述列出的1.8399亿个参数会被优化器记录。解码器、Ray Head和LoRA适配器从零开始训练，其中Ray Head和LoRA B矩阵初始值设为零，以便网络以未经修改的骨干网络状态启动，而补丁嵌入则从其发布权重出发进行微调。我们运行2万步AdamW优化（权重衰减$10^{-2}$，梯度裁剪阈值为1.0，采用余弦衰减策略，前200步为热身阶段），设置三种学习率：解码器和输出头使用$2\times10^{-4}$，LoRA适配器使用$1\times10^{-4}$，补丁嵌入使用$2\times10^{-5}$。每块GPU可容纳四个剪辑，视频数据集中的每个剪辑包含81帧，两个图像数据集中的每个剪辑包含5帧。标准配置在16块A100 GPU上运行，有效批次大小为64个剪辑；无K配置则在8块GPU上运行，有效批次大小为32个剪辑。表3中的消融实验采用无K配置，不过手部位查询聚合和绝对位置编码变体的实验是在数量减半的GPU上进行的，且步数、每块GPU上的剪辑数保持不变，这一关于有效批次大小减半的情况已在表3旁注明。

##### B.3. 损失权重

ACE-Ego-Hand的可训练组件，即LoRA适配器、补丁嵌入、Ray Head和双向时空解码器，根据公式(6) $\mathcal{L} = \mathcal{L}_{\text{rot}} + \mathcal{L}_{\text{joint}} + \mathcal{L}_{\text{img}} + \mathcal{L}_{\text{cam}} + \mathcal{L}_{\text{pres}} + \mathcal{L}_{\text{tmp}} + \mathcal{L}_{\text{ray}}$ 联合优化。各项损失的权重如下。

$\mathcal{L}_{\mathrm{rot}}$通过测地距离$\operatorname{arccos}\left(\frac{1}{2}(\operatorname{tr}(\hat{R}^{\top}R)-1)\right)$监督方向和关节运动，针对真实旋转R计算，加上旋转矩阵均方误差损失（两者权重均为1）；形状方面则采用$\ell_1$损失（权重0.1）。$\mathcal{L}_{\mathrm{joint}}$对根节点相关（权重10，为主要项）、相机坐标系下（权重5）以及手腕处（权重2）的3D关节施加$\ell_1$损失。$\mathcal{L}_{\mathrm{img}}$在训练所用相机视角下，监督基于软最大值得到的2D锚点以及重新投影的MANO关节（权重分别为1和0.5，针对手腕部分）。$\mathcal{L}_{\mathrm{cam}}$是对组装后的平移量施加$\ell_1$损失（权重1），梯度会通过混合PnP求解过程传递。$\mathcal{L}_{\mathrm{pres}}$对存在性和可见性应用二元交叉熵损失（权重分别为0.5和0.25）。$\mathcal{L}_{\mathrm{tmp}}$对预测的3D关节加速度施加惩罚$\hat{J}_t, \|\hat{J}_{t+1}-2\hat{J}_t + \hat{J}_{t-1}\|_1$（权重0.5）。$\mathcal{L}_{\mathrm{ray}}$的权重为1；无K配置中的$\mathcal{L}_{\mathrm{fit}}$权重为5，并在前500步内采用线性热身策略。

##### C. 额外的定量结果

##### C.1. 额外的领域内数据集：$H_{2}O$ 和 OakInk2

主要对比结果（表1）涵盖了ARCTIC、HOT3D以及预留的HOI4D数据集。表S3则给出了另外两个领域内数据集H2O和OakInk2上的完整实验结果，这些结果均采用同一评估指标进行评分。ACE-Ego-Hand在除一项外的所有准确率指标上均表现最优：在OakInk2数据集上，其MPJPE-p值较最佳基线降低了66%（从26.520降至8.988）；在H2O数据集上则降低了43%（从16.219降至9.223）。无K参数配置在这两个数据集上的检测结果与标准配置完全一致，在OakInk2数据集上检测列的数值也完全相同；其MPJPE-p值与标准配置的差异不超过1.1毫米（在H2O数据集上为10.31 vs. 9.22，在OakInk2数据集上为9.81 vs. 8.99）。唯一一个基线模型胜出的单元格是H2O数据集上的CT-p指标，此时WiLoR采用的弱透视求解方法得出的结果略优（0.023 vs. 0.031）。需注意两点：首先，每个ACE-Ego-Hand的实验结果均来自单次训练过程；其次，这两个数据集对我们而言属于领域内数据，而对所有基线模型而言则属于领域外数据，因此这两部分内容只能视为领域内性能的上限，无法像ARCTIC和HOT3D那样用于同类别对比。H2O数据集的标签部分为伪真实标签，我们的模型在训练时实际上也接触过该数据集的分布；而OakInk2数据集则包含原生的MANO真实标签。

##### C.2. 视线外分层分析

表S4将 wrist-aligned 误差按照“视线内”和“视线外”两个层次进行了拆解，涵盖所有在三个含有视线外真实标签的数据集上测试的方法。设置该表是为了能够单独区分并核查正文中的两个视线外数值，因为仅凭混合指标无法区分“能重建视线外手部姿态的方法”和“仅在手部可见时表现准确的方法”。

这种拆解让差异变得直观可见。在ARCTIC数据集上，ViDiHand和ACE-Ego-Hand在视线内的误差差不到7毫米（分别为22.311和15.423），但视线外的误差差却高达113.9毫米（分别为149.113和35.165）。由于ARCTIC数据集中仅有6.9%的手部帧属于视线外情况，混合指标会将这两个截然不同的差距压缩为31.045和16.783。在HOT3D数据集上，17.6%的手部帧属于视线外，因此更多的视线外差距会被保留到混合结果中。正因如此，HOT3D数据集上的混合误差降低幅度（61.1%）比ARCTIC数据集（45.9%）更大，而各层次上的误差降低幅度则恰好相反（分别为74.5%和76.4%）。

---

<div style="text-align: center;">Table S3. Results on H2O and OakInk2. Same protocol as Table 1. Best per column in bold. MPJPE $^{OOS}$ needs out-of-sight ground truth, which H2O lacks (-). OakInk2 uses the 202-segment subset shared with the baselines.  $^{\ddagger}$EgoForce post-filters translation with a causal Kalman filter.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td colspan="3">Detection</td><td colspan="3">3D Pose</td><td colspan="3">Orient. &amp; Position</td><td style='text-align: center; word-wrap: break-word;'>Temporal</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>FAcc $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Recall $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F1 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE+OOS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>EPE $_{2D}$-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>GO-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CT-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterWild</td><td style='text-align: center; word-wrap: break-word;'>0.981</td><td style='text-align: center; word-wrap: break-word;'>0.990</td><td style='text-align: center; word-wrap: break-word;'>0.994</td><td style='text-align: center; word-wrap: break-word;'>21.526</td><td style='text-align: center; word-wrap: break-word;'>8.979</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>19.929</td><td style='text-align: center; word-wrap: break-word;'>17.695</td><td style='text-align: center; word-wrap: break-word;'>0.037</td><td style='text-align: center; word-wrap: break-word;'>16.153</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR</td><td style='text-align: center; word-wrap: break-word;'>0.980</td><td style='text-align: center; word-wrap: break-word;'>0.990</td><td style='text-align: center; word-wrap: break-word;'>0.992</td><td style='text-align: center; word-wrap: break-word;'>20.079</td><td style='text-align: center; word-wrap: break-word;'>7.221</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>21.786</td><td style='text-align: center; word-wrap: break-word;'>17.971</td><td style='text-align: center; word-wrap: break-word;'>0.034</td><td style='text-align: center; word-wrap: break-word;'>9.307</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba</td><td style='text-align: center; word-wrap: break-word;'>0.960</td><td style='text-align: center; word-wrap: break-word;'>0.979</td><td style='text-align: center; word-wrap: break-word;'>0.987</td><td style='text-align: center; word-wrap: break-word;'>21.412</td><td style='text-align: center; word-wrap: break-word;'>8.390</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>32.978</td><td style='text-align: center; word-wrap: break-word;'>19.510</td><td style='text-align: center; word-wrap: break-word;'>0.038</td><td style='text-align: center; word-wrap: break-word;'>8.285</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands</td><td style='text-align: center; word-wrap: break-word;'>0.989</td><td style='text-align: center; word-wrap: break-word;'>0.995</td><td style='text-align: center; word-wrap: break-word;'>0.996</td><td style='text-align: center; word-wrap: break-word;'>32.587</td><td style='text-align: center; word-wrap: break-word;'>10.508</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>26.297</td><td style='text-align: center; word-wrap: break-word;'>22.033</td><td style='text-align: center; word-wrap: break-word;'>0.082</td><td style='text-align: center; word-wrap: break-word;'>10.894</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>0.994</td><td style='text-align: center; word-wrap: break-word;'>0.998</td><td style='text-align: center; word-wrap: break-word;'>0.998</td><td style='text-align: center; word-wrap: break-word;'>16.390</td><td style='text-align: center; word-wrap: break-word;'>5.633</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.497</td><td style='text-align: center; word-wrap: break-word;'>14.495</td><td style='text-align: center; word-wrap: break-word;'>0.023</td><td style='text-align: center; word-wrap: break-word;'>6.117</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoForce $\ddagger$</td><td style='text-align: center; word-wrap: break-word;'>0.990</td><td style='text-align: center; word-wrap: break-word;'>0.996</td><td style='text-align: center; word-wrap: break-word;'>0.997</td><td style='text-align: center; word-wrap: break-word;'>16.219</td><td style='text-align: center; word-wrap: break-word;'>6.020</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.849</td><td style='text-align: center; word-wrap: break-word;'>10.416</td><td style='text-align: center; word-wrap: break-word;'>0.024</td><td style='text-align: center; word-wrap: break-word;'>8.046</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands</td><td style='text-align: center; word-wrap: break-word;'>0.974</td><td style='text-align: center; word-wrap: break-word;'>0.986</td><td style='text-align: center; word-wrap: break-word;'>0.990</td><td style='text-align: center; word-wrap: break-word;'>19.835</td><td style='text-align: center; word-wrap: break-word;'>7.417</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>25.665</td><td style='text-align: center; word-wrap: break-word;'>18.032</td><td style='text-align: center; word-wrap: break-word;'>0.038</td><td style='text-align: center; word-wrap: break-word;'>6.321</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR</td><td style='text-align: center; word-wrap: break-word;'>0.988</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>0.997</td><td style='text-align: center; word-wrap: break-word;'>17.213</td><td style='text-align: center; word-wrap: break-word;'>6.390</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>10.790</td><td style='text-align: center; word-wrap: break-word;'>11.057</td><td style='text-align: center; word-wrap: break-word;'>0.030</td><td style='text-align: center; word-wrap: break-word;'>5.349</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR</td><td style='text-align: center; word-wrap: break-word;'>0.946</td><td style='text-align: center; word-wrap: break-word;'>0.972</td><td style='text-align: center; word-wrap: break-word;'>0.985</td><td style='text-align: center; word-wrap: break-word;'>23.504</td><td style='text-align: center; word-wrap: break-word;'>9.570</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>39.735</td><td style='text-align: center; word-wrap: break-word;'>17.080</td><td style='text-align: center; word-wrap: break-word;'>0.045</td><td style='text-align: center; word-wrap: break-word;'>14.162</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ViDiHand</td><td style='text-align: center; word-wrap: break-word;'>0.997</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>17.320</td><td style='text-align: center; word-wrap: break-word;'>7.987</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>16.544</td><td style='text-align: center; word-wrap: break-word;'>12.159</td><td style='text-align: center; word-wrap: break-word;'>0.040</td><td style='text-align: center; word-wrap: break-word;'>1.990</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>9.223</td><td style='text-align: center; word-wrap: break-word;'>4.894</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>6.088</td><td style='text-align: center; word-wrap: break-word;'>5.689</td><td style='text-align: center; word-wrap: break-word;'>0.031</td><td style='text-align: center; word-wrap: break-word;'>0.707</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand (K-free)</td><td style='text-align: center; word-wrap: break-word;'>0.999</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>1.000</td><td style='text-align: center; word-wrap: break-word;'>10.310</td><td style='text-align: center; word-wrap: break-word;'>5.522</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.464</td><td style='text-align: center; word-wrap: break-word;'>6.064</td><td style='text-align: center; word-wrap: break-word;'>0.024</td><td style='text-align: center; word-wrap: break-word;'>0.741</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterWild</td><td style='text-align: center; word-wrap: break-word;'>0.547</td><td style='text-align: center; word-wrap: break-word;'>0.722</td><td style='text-align: center; word-wrap: break-word;'>0.819</td><td style='text-align: center; word-wrap: break-word;'>51.013</td><td style='text-align: center; word-wrap: break-word;'>37.038</td><td style='text-align: center; word-wrap: break-word;'>65.619</td><td style='text-align: center; word-wrap: break-word;'>244.590</td><td style='text-align: center; word-wrap: break-word;'>54.710</td><td style='text-align: center; word-wrap: break-word;'>0.179</td><td style='text-align: center; word-wrap: break-word;'>43.499</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR</td><td style='text-align: center; word-wrap: break-word;'>0.680</td><td style='text-align: center; word-wrap: break-word;'>0.799</td><td style='text-align: center; word-wrap: break-word;'>0.866</td><td style='text-align: center; word-wrap: break-word;'>43.804</td><td style='text-align: center; word-wrap: break-word;'>28.726</td><td style='text-align: center; word-wrap: break-word;'>59.471</td><td style='text-align: center; word-wrap: break-word;'>171.887</td><td style='text-align: center; word-wrap: break-word;'>46.340</td><td style='text-align: center; word-wrap: break-word;'>0.148</td><td style='text-align: center; word-wrap: break-word;'>19.510</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba</td><td style='text-align: center; word-wrap: break-word;'>0.634</td><td style='text-align: center; word-wrap: break-word;'>0.755</td><td style='text-align: center; word-wrap: break-word;'>0.840</td><td style='text-align: center; word-wrap: break-word;'>46.517</td><td style='text-align: center; word-wrap: break-word;'>32.488</td><td style='text-align: center; word-wrap: break-word;'>61.863</td><td style='text-align: center; word-wrap: break-word;'>213.576</td><td style='text-align: center; word-wrap: break-word;'>51.295</td><td style='text-align: center; word-wrap: break-word;'>0.159</td><td style='text-align: center; word-wrap: break-word;'>13.811</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands</td><td style='text-align: center; word-wrap: break-word;'>0.731</td><td style='text-align: center; word-wrap: break-word;'>0.837</td><td style='text-align: center; word-wrap: break-word;'>0.890</td><td style='text-align: center; word-wrap: break-word;'>44.087</td><td style='text-align: center; word-wrap: break-word;'>27.115</td><td style='text-align: center; word-wrap: break-word;'>58.366</td><td style='text-align: center; word-wrap: break-word;'>151.305</td><td style='text-align: center; word-wrap: break-word;'>43.806</td><td style='text-align: center; word-wrap: break-word;'>0.146</td><td style='text-align: center; word-wrap: break-word;'>15.156</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>0.921</td><td style='text-align: center; word-wrap: break-word;'>0.955</td><td style='text-align: center; word-wrap: break-word;'>0.973</td><td style='text-align: center; word-wrap: break-word;'>26.520</td><td style='text-align: center; word-wrap: break-word;'>12.481</td><td style='text-align: center; word-wrap: break-word;'>45.215</td><td style='text-align: center; word-wrap: break-word;'>39.928</td><td style='text-align: center; word-wrap: break-word;'>25.084</td><td style='text-align: center; word-wrap: break-word;'>0.085</td><td style='text-align: center; word-wrap: break-word;'>9.522</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoForce $\ddagger$</td><td style='text-align: center; word-wrap: break-word;'>0.846</td><td style='text-align: center; word-wrap: break-word;'>0.912</td><td style='text-align: center; word-wrap: break-word;'>0.949</td><td style='text-align: center; word-wrap: break-word;'>36.725</td><td style='text-align: center; word-wrap: break-word;'>18.198</td><td style='text-align: center; word-wrap: break-word;'>55.095</td><td style='text-align: center; word-wrap: break-word;'>81.356</td><td style='text-align: center; word-wrap: break-word;'>35.671</td><td style='text-align: center; word-wrap: break-word;'>0.101</td><td style='text-align: center; word-wrap: break-word;'>30.476</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands</td><td style='text-align: center; word-wrap: break-word;'>0.530</td><td style='text-align: center; word-wrap: break-word;'>0.688</td><td style='text-align: center; word-wrap: break-word;'>0.787</td><td style='text-align: center; word-wrap: break-word;'>54.712</td><td style='text-align: center; word-wrap: break-word;'>40.373</td><td style='text-align: center; word-wrap: break-word;'>68.024</td><td style='text-align: center; word-wrap: break-word;'>283.245</td><td style='text-align: center; word-wrap: break-word;'>60.157</td><td style='text-align: center; word-wrap: break-word;'>0.174</td><td style='text-align: center; word-wrap: break-word;'>22.562</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR</td><td style='text-align: center; word-wrap: break-word;'>0.882</td><td style='text-align: center; word-wrap: break-word;'>0.941</td><td style='text-align: center; word-wrap: break-word;'>0.947</td><td style='text-align: center; word-wrap: break-word;'>28.781</td><td style='text-align: center; word-wrap: break-word;'>14.945</td><td style='text-align: center; word-wrap: break-word;'>47.434</td><td style='text-align: center; word-wrap: break-word;'>46.902</td><td style='text-align: center; word-wrap: break-word;'>25.711</td><td style='text-align: center; word-wrap: break-word;'>0.102</td><td style='text-align: center; word-wrap: break-word;'>7.311</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR</td><td style='text-align: center; word-wrap: break-word;'>0.818</td><td style='text-align: center; word-wrap: break-word;'>0.891</td><td style='text-align: center; word-wrap: break-word;'>0.935</td><td style='text-align: center; word-wrap: break-word;'>35.428</td><td style='text-align: center; word-wrap: break-word;'>20.670</td><td style='text-align: center; word-wrap: break-word;'>52.775</td><td style='text-align: center; word-wrap: break-word;'>96.442</td><td style='text-align: center; word-wrap: break-word;'>32.043</td><td style='text-align: center; word-wrap: break-word;'>0.120</td><td style='text-align: center; word-wrap: break-word;'>13.780</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ViDiHand</td><td style='text-align: center; word-wrap: break-word;'>0.813</td><td style='text-align: center; word-wrap: break-word;'>0.886</td><td style='text-align: center; word-wrap: break-word;'>0.937</td><td style='text-align: center; word-wrap: break-word;'>38.996</td><td style='text-align: center; word-wrap: break-word;'>22.827</td><td style='text-align: center; word-wrap: break-word;'>56.047</td><td style='text-align: center; word-wrap: break-word;'>101.568</td><td style='text-align: center; word-wrap: break-word;'>38.119</td><td style='text-align: center; word-wrap: break-word;'>0.103</td><td style='text-align: center; word-wrap: break-word;'>3.728</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>0.977</td><td style='text-align: center; word-wrap: break-word;'>0.985</td><td style='text-align: center; word-wrap: break-word;'>0.993</td><td style='text-align: center; word-wrap: break-word;'>8.988</td><td style='text-align: center; word-wrap: break-word;'>5.887</td><td style='text-align: center; word-wrap: break-word;'>8.272</td><td style='text-align: center; word-wrap: break-word;'>11.129</td><td style='text-align: center; word-wrap: break-word;'>7.222</td><td style='text-align: center; word-wrap: break-word;'>0.018</td><td style='text-align: center; word-wrap: break-word;'>1.089</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand (K-free)</td><td style='text-align: center; word-wrap: break-word;'>0.977</td><td style='text-align: center; word-wrap: break-word;'>0.985</td><td style='text-align: center; word-wrap: break-word;'>0.993</td><td style='text-align: center; word-wrap: break-word;'>9.813</td><td style='text-align: center; word-wrap: break-word;'>6.362</td><td style='text-align: center; word-wrap: break-word;'>9.308</td><td style='text-align: center; word-wrap: break-word;'>12.046</td><td style='text-align: center; word-wrap: break-word;'>7.366</td><td style='text-align: center; word-wrap: break-word;'>0.018</td><td style='text-align: center; word-wrap: break-word;'>1.150</td></tr></table>

从层次列中还能看出另外两点：首先，基线模型在视线外的表现并非只是更差而已——它们的误差会集中在一个远高于其视线内误差的狭窄区间内：在所有三个数据集上，十个基线模型的误差值都介于126到164毫米之间，且排序与它们在视线内的排序毫无关联。这恰恰符合预期：在此处评测的配置下，这些方法没有能力在帧中未出现手部时生成手部姿态。其次，由此可得，视线外表现最强的基线模型并非视线内表现最强的基线模型：在ARCTIC和HOT3D数据集上，WildHands在视线外层次上的误差均最小（分别为135.437和126.358），尽管其在视线内的表现不如WiLoR和ViDiHand；ACE-Ego-Hand更是将WildHands的误差分别降低了74.0%和69.4%。我们将这种视线外误差优势视为时间维度上的重建能力所致，而非感知能力更佳的体现，同时提醒读者注意：这只是wrist-aligned层面的误差优势——附录F中会说明这一优势并不能证明什么。

#### C.3. 匹配检测误差

##### C.3. 匹配检测误差

将评估范围限定为匹配到的检测结果，就能分离出因图像边缘超出相机视野而产生的放置成本与关节定位精度之间的差异。这便定义了第三类数据群体，其规模比表S4中的可视范围内数据层更小，因为它排除了那些方法未能检测到的手部帧。因此，匹配检测结果的数量虽与表中可视范围列的数值相近，但并不相等。在HOT3D数据集上，排除假阴性情况后，未采用相机适配的变体版本与标准配置表现持平（腕部对齐时分别为12.75毫米和12.68毫米）；而按覆盖范围惩罚后的差距则为18.04毫米对比12.89毫米。在OakInk2数据集上，两者差距较小，分别为7.96毫米和7.47毫米。由此可见，这种惩罚性差距反映的是图像边缘处覆盖范围的丢失，而非手部姿态信息的缺失，而相机适配恰好能恢复这部分覆盖范围（见表1）。

---

<div style="text-align: center;">Table S4. Out-of-sight stratification of the wrist-aligned error. The same wrist-aligned, ground-truth-gated error over three populations: the hand-frames that pass the on-screen gate, the hand-frames that fail it (MPJPE^{OOS}), and all of them together (MPJPE^{OOS}). Every row satisfies Eq. (S11) at the counts in the header. None carries the -p penalty, so the in-view column is close to but not the same as the MPJPE-p of Tables 1 and S3. HOI4D and H2O carry no out-of-sight ground truth. Lower is better.  ${}^{3}$EgoForce post-filters translation with a causal Kalman filter.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">ARCTIC (43,893 IV / 3,247 OOS)</td><td colspan="3">HOT3D (57,985 / 12,394)</td><td colspan="3">OakInk2 (27,988 / 4,736)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>in view</td><td style='text-align: center; word-wrap: break-word;'>out of sight</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $^{{+OOS}}$</td><td style='text-align: center; word-wrap: break-word;'>in view</td><td style='text-align: center; word-wrap: break-word;'>out of sight</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $^{{+OOS}}$</td><td style='text-align: center; word-wrap: break-word;'>in view</td><td style='text-align: center; word-wrap: break-word;'>out of sight</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $^{{+OOS}}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterWild</td><td style='text-align: center; word-wrap: break-word;'>32.000</td><td style='text-align: center; word-wrap: break-word;'>139.937</td><td style='text-align: center; word-wrap: break-word;'>39.435</td><td style='text-align: center; word-wrap: break-word;'>77.866</td><td style='text-align: center; word-wrap: break-word;'>142.326</td><td style='text-align: center; word-wrap: break-word;'>89.218</td><td style='text-align: center; word-wrap: break-word;'>49.364</td><td style='text-align: center; word-wrap: break-word;'>161.681</td><td style='text-align: center; word-wrap: break-word;'>65.619</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR</td><td style='text-align: center; word-wrap: break-word;'>30.576</td><td style='text-align: center; word-wrap: break-word;'>141.005</td><td style='text-align: center; word-wrap: break-word;'>38.183</td><td style='text-align: center; word-wrap: break-word;'>67.956</td><td style='text-align: center; word-wrap: break-word;'>137.847</td><td style='text-align: center; word-wrap: break-word;'>80.264</td><td style='text-align: center; word-wrap: break-word;'>42.361</td><td style='text-align: center; word-wrap: break-word;'>160.588</td><td style='text-align: center; word-wrap: break-word;'>59.471</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba</td><td style='text-align: center; word-wrap: break-word;'>32.513</td><td style='text-align: center; word-wrap: break-word;'>141.774</td><td style='text-align: center; word-wrap: break-word;'>40.039</td><td style='text-align: center; word-wrap: break-word;'>71.277</td><td style='text-align: center; word-wrap: break-word;'>140.333</td><td style='text-align: center; word-wrap: break-word;'>83.438</td><td style='text-align: center; word-wrap: break-word;'>45.119</td><td style='text-align: center; word-wrap: break-word;'>160.812</td><td style='text-align: center; word-wrap: break-word;'>61.863</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands</td><td style='text-align: center; word-wrap: break-word;'>26.404</td><td style='text-align: center; word-wrap: break-word;'>135.437</td><td style='text-align: center; word-wrap: break-word;'>33.915</td><td style='text-align: center; word-wrap: break-word;'>46.412</td><td style='text-align: center; word-wrap: break-word;'>126.358</td><td style='text-align: center; word-wrap: break-word;'>60.491</td><td style='text-align: center; word-wrap: break-word;'>41.184</td><td style='text-align: center; word-wrap: break-word;'>159.901</td><td style='text-align: center; word-wrap: break-word;'>58.366</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>22.775</td><td style='text-align: center; word-wrap: break-word;'>149.477</td><td style='text-align: center; word-wrap: break-word;'>31.502</td><td style='text-align: center; word-wrap: break-word;'>30.921</td><td style='text-align: center; word-wrap: break-word;'>150.697</td><td style='text-align: center; word-wrap: break-word;'>52.014</td><td style='text-align: center; word-wrap: break-word;'>25.428</td><td style='text-align: center; word-wrap: break-word;'>162.143</td><td style='text-align: center; word-wrap: break-word;'>45.215</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoForce $^{\ddagger}$</td><td style='text-align: center; word-wrap: break-word;'>23.533</td><td style='text-align: center; word-wrap: break-word;'>149.264</td><td style='text-align: center; word-wrap: break-word;'>32.193</td><td style='text-align: center; word-wrap: break-word;'>44.225</td><td style='text-align: center; word-wrap: break-word;'>151.322</td><td style='text-align: center; word-wrap: break-word;'>63.085</td><td style='text-align: center; word-wrap: break-word;'>36.690</td><td style='text-align: center; word-wrap: break-word;'>163.858</td><td style='text-align: center; word-wrap: break-word;'>55.095</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands</td><td style='text-align: center; word-wrap: break-word;'>30.706</td><td style='text-align: center; word-wrap: break-word;'>139.371</td><td style='text-align: center; word-wrap: break-word;'>38.191</td><td style='text-align: center; word-wrap: break-word;'>61.152</td><td style='text-align: center; word-wrap: break-word;'>131.289</td><td style='text-align: center; word-wrap: break-word;'>73.503</td><td style='text-align: center; word-wrap: break-word;'>52.382</td><td style='text-align: center; word-wrap: break-word;'>160.461</td><td style='text-align: center; word-wrap: break-word;'>68.024</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR</td><td style='text-align: center; word-wrap: break-word;'>29.084</td><td style='text-align: center; word-wrap: break-word;'>150.464</td><td style='text-align: center; word-wrap: break-word;'>37.445</td><td style='text-align: center; word-wrap: break-word;'>67.786</td><td style='text-align: center; word-wrap: break-word;'>142.547</td><td style='text-align: center; word-wrap: break-word;'>80.952</td><td style='text-align: center; word-wrap: break-word;'>28.127</td><td style='text-align: center; word-wrap: break-word;'>161.532</td><td style='text-align: center; word-wrap: break-word;'>47.434</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR</td><td style='text-align: center; word-wrap: break-word;'>46.406</td><td style='text-align: center; word-wrap: break-word;'>148.565</td><td style='text-align: center; word-wrap: break-word;'>53.443</td><td style='text-align: center; word-wrap: break-word;'>70.767</td><td style='text-align: center; word-wrap: break-word;'>150.074</td><td style='text-align: center; word-wrap: break-word;'>84.733</td><td style='text-align: center; word-wrap: break-word;'>34.343</td><td style='text-align: center; word-wrap: break-word;'>161.700</td><td style='text-align: center; word-wrap: break-word;'>52.775</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ViDiHand</td><td style='text-align: center; word-wrap: break-word;'>22.311</td><td style='text-align: center; word-wrap: break-word;'>149.113</td><td style='text-align: center; word-wrap: break-word;'>31.045</td><td style='text-align: center; word-wrap: break-word;'>21.513</td><td style='text-align: center; word-wrap: break-word;'>151.703</td><td style='text-align: center; word-wrap: break-word;'>44.440</td><td style='text-align: center; word-wrap: break-word;'>38.109</td><td style='text-align: center; word-wrap: break-word;'>162.053</td><td style='text-align: center; word-wrap: break-word;'>56.047</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACE-Ego-Hand</td><td style='text-align: center; word-wrap: break-word;'>15.423</td><td style='text-align: center; word-wrap: break-word;'>35.165</td><td style='text-align: center; word-wrap: break-word;'>16.783</td><td style='text-align: center; word-wrap: break-word;'>12.703</td><td style='text-align: center; word-wrap: break-word;'>38.649</td><td style='text-align: center; word-wrap: break-word;'>17.273</td><td style='text-align: center; word-wrap: break-word;'>7.449</td><td style='text-align: center; word-wrap: break-word;'>13.131</td><td style='text-align: center; word-wrap: break-word;'>8.272</td></tr></table>

![Image](images/03989c5cbdf74f0f3982924fa02887e14fa75ea55e7825a52ff11373e68092ab.jpg)

<div style="text-align: center;">Figure S1. Accuracy against speed. We plot MPJPE-p averaged over ARCTIC, HOT3D, and HOI4D against end-to-end clip throughput on one A100, excluding model loading, video decoding, and rendering. Both ACE-Ego-Hand configurations run at the same speed.</div>

##### C.4. 推理吞吐量

图S1将所有方法在精度-速度平面上进行了标注。本节将说明该图背后的测试协议。所有方法均在单张A100显卡上，针对同一段包含81帧的ARCTIC视频进行测试：从主机内存中解码出的帧到生成MANO参数并返回主机，测试过程不包括模型加载、预热、渲染以及文件输入输出环节。我们取完整视频预热后至少三次测试的中位数作为结果，同时统计每帧实际生成的手部数量，以避免将漏检情况误算为速度快慢的指标。有几种方法并未遵循该协议：HaMeR和WildHands仅用5帧而非整段视频进行预热；HaMeR的计时取两次测试的平均值而非至少三次测试的中位数，且其帧解码操作被纳入计时区域而非排除在外。解码操作在49.0秒的总耗时中仅占零点几秒，因此对吞吐量的影响不足1%。Hamba的测试未使用编译后的选择性扫描内核（我们的环境中不存在该内核），因此模型会退而使用未编译的扫描方式，所以1.5帧/秒的结果只是该方法能达到的下限。HaWoR的测试是在产生其精度数据的无SLAM且无填充的配置下进行的（见附录A），因此该数值并不能代表其完整公开流程的性能，后者会更慢。EgoForce的计时数据取自另一项独立的基准测试，并非通过我们自己的测试工具获得，且测试时在fp16模式下针对匹配的81帧自我中心视频进行，而非遵循我们的协议。这两点因素都对EgoForce有利。对于ViDiHand，我们采用了其公开的精度数据。每个基线方法均在产生表1中对应精度数据的配置下进行计时。ACE-Ego-Hand的运行速度达到63.1帧/秒（无K配置下为63.3帧/秒），仅需单次确定性测试即可完成，其中72%的运行时长用于VAE编码；而ViDiHand仅为1.91帧/秒，两者相差33倍。采用裁剪方式的五种基线方法共享ViTDet-H+ViTPose+前端，其速度集中在1.5–1.7帧/秒，因此它们的成本由检测器决定，而非重建网络。其中速度最快的裁剪方法WiLoR可达15.5帧/秒。

##### D. 失效模式与设计选择分析

##### D.1. 图像边界处的误差

若不采用第3.3节所述的相机适配技术，无K约束的方位角将直接从预测的射线场中读取，而射线场仅在标记网格上定义，因此在图像边界附近会变得不可靠。本节将测量这种失效现象——

---

<div style="text-align: center;">Table S5. Error against distance from the image center. In-view hand-frames binned by normalized radius  r, with the share falling in each bin. The columns report the unpenalized in-view stratum, not the matched-detection numbers of Appendix C, so share-weighting a column reproduces the in-view column of Table S4. The two configurations agree to within a millimeter at the center and diverge in translation toward the border, which isolates the cost of sampling bearings from a predicted ray field.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Radius  r</td><td rowspan="2">share</td><td colspan="2">$\overline{\text{ACE}}$-Ego-Hand</td><td colspan="2">w/o camera fit</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>CT</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>CT</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ARCTIC</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.00–0.25</td><td style='text-align: center; word-wrap: break-word;'>26.1%</td><td style='text-align: center; word-wrap: break-word;'>15.81</td><td style='text-align: center; word-wrap: break-word;'>0.019</td><td style='text-align: center; word-wrap: break-word;'>15.49</td><td style='text-align: center; word-wrap: break-word;'>0.019</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.25–0.50</td><td style='text-align: center; word-wrap: break-word;'>57.7%</td><td style='text-align: center; word-wrap: break-word;'>14.96</td><td style='text-align: center; word-wrap: break-word;'>0.021</td><td style='text-align: center; word-wrap: break-word;'>14.97</td><td style='text-align: center; word-wrap: break-word;'>0.020</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.50–0.75</td><td style='text-align: center; word-wrap: break-word;'>14.7%</td><td style='text-align: center; word-wrap: break-word;'>16.15</td><td style='text-align: center; word-wrap: break-word;'>0.028</td><td style='text-align: center; word-wrap: break-word;'>16.19</td><td style='text-align: center; word-wrap: break-word;'>0.039</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>&gt; 0.75</td><td style='text-align: center; word-wrap: break-word;'>1.5%</td><td style='text-align: center; word-wrap: break-word;'>19.17</td><td style='text-align: center; word-wrap: break-word;'>0.048</td><td style='text-align: center; word-wrap: break-word;'>19.00</td><td style='text-align: center; word-wrap: break-word;'>0.165</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOT3D</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.00–0.25</td><td style='text-align: center; word-wrap: break-word;'>7.8%</td><td style='text-align: center; word-wrap: break-word;'>12.62</td><td style='text-align: center; word-wrap: break-word;'>0.022</td><td style='text-align: center; word-wrap: break-word;'>12.97</td><td style='text-align: center; word-wrap: break-word;'>0.023</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.25–0.50</td><td style='text-align: center; word-wrap: break-word;'>59.3%</td><td style='text-align: center; word-wrap: break-word;'>12.28</td><td style='text-align: center; word-wrap: break-word;'>0.024</td><td style='text-align: center; word-wrap: break-word;'>12.57</td><td style='text-align: center; word-wrap: break-word;'>0.025</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.50–0.75</td><td style='text-align: center; word-wrap: break-word;'>28.5%</td><td style='text-align: center; word-wrap: break-word;'>12.68</td><td style='text-align: center; word-wrap: break-word;'>0.025</td><td style='text-align: center; word-wrap: break-word;'>13.12</td><td style='text-align: center; word-wrap: break-word;'>0.058</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>&gt; 0.75</td><td style='text-align: center; word-wrap: break-word;'>4.4%</td><td style='text-align: center; word-wrap: break-word;'>18.80</td><td style='text-align: center; word-wrap: break-word;'>0.035</td><td style='text-align: center; word-wrap: break-word;'>18.19</td><td style='text-align: center; word-wrap: break-word;'>0.190</td></tr></table>

我们直接计算每个可视范围内的手部帧中，其投影中心与主点之间的归一化距离，即 $r = \|(u - c_x, v - c_y)\| / (\text{diag}/2)$，并按r对误差进行分组统计（见表S5）。标准配置与未采用适配的变体版本均在相同的数据样本上进行评估。

在图像中心位置，两种配置的结果相差不到一毫米：ARCTIC上的平移误差分别为0.019米和0.019米，HOT3D上的误差则为0.022米和0.023米，且标准配置优先。随后这种差异向外扩展，在第二区间内的差距微乎其微；在ARCTIC上，未采用拟合处理的变体实际上反而比另一种配置更紧凑。而在最外侧的两个区间内，差异则十分明显：在最外侧区间中，ARCTIC上的平移误差达到0.165米，而另一配置仅为0.048米，两者相差3.4倍；HOT3D上的误差则为0.190米对比0.035米，相差5.4倍。两种配置下手腕对齐的姿态在每个区间内都几乎一致，因此这种边界效应源于度量位置的偏差，而非手部姿态的差异。这与射线场解释的结论相符：因为靠近画面边缘的单元格可用来约束其方向的邻近单元较少，求解过程中便会将这种不确定性体现为平面内的偏移。HOT3D表现出的效应更显著，这与其更宽的视野范围导致更多手部样本落入外侧区间有关。

相机拟合功能消除了这种故障模式：从平移误差的“可视范围内/不可视范围内”分层来看，它把ARCTIC上不可视范围内的误差从0.55米降至0.10米，HOT3D上从0.52米降至0.11米，OakInk2上则从0.45米降至0.06米；同时HOT3D的假阴性结果也从2,491次减少到74次。

#### D.2. 解码序列长度

长时域解码是ACE-Ego-Hand架构的特性，而非独立的运行模式。本节将评估这一特性所带来的代价。正文中的所有结果均基于与各基线模型共享的81帧片段进行评分。这81帧对应21个潜帧，若片段的首帧未落在潜帧边界上，则需额外增加一个潜帧，因此解码器会根据片段起始位置运行21或22个潜帧。模型本身并无对长度的硬性要求：由于时序注意力机制采用了旋转相对位置编码，权重中并未嵌入绝对剪辑长度信息，同一检查点即可一次性解码任意长度的序列。图S2展示了在相同的291个ARCTIC片段上单次解码的长度变化，仅解码窗口会随之改变。用于评分的片段是从34个ARCTIC测试录像中截取的固定81帧切片，这些录像的帧数范围在594到1,087帧之间。每个窗口均以所评分的片段为锚点，且其结束时间不会晚于录像结尾。因此新增的上下文就是同一录像中的相邻帧，主要是片段之后的帧。

即便超出训练窗口，精度也依然保持稳定：当解码帧数达到125帧（比训练窗口长50%以上）时，MPJPEp指标甚至略优于片段长度设置下的结果。超过该长度后精度会缓慢下降，当整个录像一次性解码时，MPJPEp会达到17.99毫米，相当于训练窗口长度的7到13倍。相比之下，抖动值却从2.700毫米/帧²降至2.585毫米/帧²。由于VAE始终为每个潜帧对应四帧图像，因此时序分辨率并不会随解码长度的变化而改变。更长的窗口仅为时序注意力机制提供了更多的平均计算上下文，并不会在潜帧之间增加额外的自由度。最终效果是精度仅额外平滑了4%，却导致MPJPEp上升了18%。即便如此，在该设置下ACE-Ego-Hand的精度仍比ViDiHand的21.668毫米低17%，因此当应用需要单次解码时，整段录像解码仍是可行的方案。正文中选择片段长度设置作为对比，是因为这样能与基线模型进行直接比较。

##### D.3. 触控深度

该“tap”操作位于由30个块组成的DiT的第15块处，这一选择在本论文所报告的模型训练之前就已确定。此次消融实验重新训练了四个模型，它们仅在“tap”深度上有所不同，并对这四个模型进行评分，以衡量不同“tap”深度所带来的代价与收益。这四次运行采用相同的简化训练配置：在ARCTIC和HOT3D混合数据集上训练2万步，有效批次大小为16；而主模型的训练则使用了七种数据集且批次更大。此外，它们通过逆投影而非主模型所用的混合PnP求解器来解码翻译结果。所有四个模型均在2万步时在同样的291个ARCTIC测试片段上进行评分，因此在此次实验中绝对误差具有可比性，但与表1中的结果不可比。表S6记录了此次实验结果。

在堆栈中部，精度已趋于饱和。在第10块处进行“tap”操作，即仅运行30个块中的11个块，其代价为

---

![Image](images/334709e5a23cbe39611d873faa622b34419337ed14a7d7fc3abec853829313c0.jpg)

<div style="text-align: center;">Figure S2. Effect of decoded sequence length. We plot ACE-Ego-Hand accuracy (MPJPE-p, left axis) and smoothness (Jitter, right axis) against the length decoded in one pass, MPJPE-p in mm and Jitter in mm/frame $^{2}$. The same 291 ARCTIC segments are scored at every length. The dotted vertical line marks the 81-frame training window, the dashed line marks 81-frame-window MPJPE-p, and the star marks every recording decoded end to end in one pass. The star's abscissa is nominal, at 645 frames: the recordings themselves run 594 to 1,087 frames, so the star understates that horizon.</div>

<div style="text-align: center;">Table S6. Tap depth. Four runs differing only in which DiT block is read, scored at step 20k on the same 291 ARCTIC segments under the reduced sweep recipe. Block indices are zero-based and a tap returns the output of its block, so a tap at block i runs the first  $i+1$ of the 30 blocks. Each row label gives that executed count. Lower is better throughout.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Tap (blocks run)</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p</td><td style='text-align: center; word-wrap: break-word;'>PA-p</td><td style='text-align: center; word-wrap: break-word;'>$EPE_{2D}$-p</td><td style='text-align: center; word-wrap: break-word;'>GO-p</td><td style='text-align: center; word-wrap: break-word;'>CT-p</td><td style='text-align: center; word-wrap: break-word;'>Jitter</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Block 10 (11/30)</td><td style='text-align: center; word-wrap: break-word;'>17.77</td><td style='text-align: center; word-wrap: break-word;'>8.70</td><td style='text-align: center; word-wrap: break-word;'>11.63</td><td style='text-align: center; word-wrap: break-word;'>12.58</td><td style='text-align: center; word-wrap: break-word;'>0.030</td><td style='text-align: center; word-wrap: break-word;'>2.74</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Block 15 (16/30)</td><td style='text-align: center; word-wrap: break-word;'>16.10</td><td style='text-align: center; word-wrap: break-word;'>7.76</td><td style='text-align: center; word-wrap: break-word;'>9.99</td><td style='text-align: center; word-wrap: break-word;'>11.98</td><td style='text-align: center; word-wrap: break-word;'>0.028</td><td style='text-align: center; word-wrap: break-word;'>2.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Block 20 (21/30)</td><td style='text-align: center; word-wrap: break-word;'>15.93</td><td style='text-align: center; word-wrap: break-word;'>7.68</td><td style='text-align: center; word-wrap: break-word;'>9.87</td><td style='text-align: center; word-wrap: break-word;'>12.15</td><td style='text-align: center; word-wrap: break-word;'>0.021</td><td style='text-align: center; word-wrap: break-word;'>2.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Block 24 (25/30)</td><td style='text-align: center; word-wrap: break-word;'>15.95</td><td style='text-align: center; word-wrap: break-word;'>7.70</td><td style='text-align: center; word-wrap: break-word;'>9.93</td><td style='text-align: center; word-wrap: break-word;'>12.02</td><td style='text-align: center; word-wrap: break-word;'>0.023</td><td style='text-align: center; word-wrap: break-word;'>2.60</td></tr></table>

1.67毫米的MPJPE-p值，且这是唯一明显更差的设置，它会同时降低所有指标的表现。超过第15块后，即便运行30个块中的21个或25个块（而非16个块），带来的提升也最多仅为0.17毫米；且这两个更深层次的“tap”设置的效果并不一致：在六个指标中有五个指标显示第20块略优于第24块，但在全局方向性指标上却更差。因此我们将这种差异视为不同运行间的噪声，而非某种趋势。第15块几乎能捕获全部可用精度，同时前向计算成本仅为一半左右，这印证了主模型训练时所采用的选择是合理的。

##### D.4. 干净潜变量与含噪潜变量

ACE-Ego-Hand在$\sigma = 0$处读取主干网络，此时输入的潜变量是干净的VAE编码，不会添加任何噪声。正文部分从确定性角度论证了这一做法的合理性。支持该论点的测量结果在此处报告。我们

<div style="text-align: center;">Table S7. Clean versus noised latent readout. Two runs that differ in the noise level  $\sigma$ at which the backbone is read, scored by the shared evaluator on the same 291 ARCTIC segments at the same 20k-step checkpoint. Lower is better throughout.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Latent readout</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p</td><td style='text-align: center; word-wrap: break-word;'>PA-p</td><td style='text-align: center; word-wrap: break-word;'>$EPE_{2D}$-p</td><td style='text-align: center; word-wrap: break-word;'>GO-p</td><td style='text-align: center; word-wrap: break-word;'>CT-p</td><td style='text-align: center; word-wrap: break-word;'>Jitter</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>clean, $\sigma=0$</td><td style='text-align: center; word-wrap: break-word;'>15.26</td><td style='text-align: center; word-wrap: break-word;'>7.47</td><td style='text-align: center; word-wrap: break-word;'>9.18</td><td style='text-align: center; word-wrap: break-word;'>11.81</td><td style='text-align: center; word-wrap: break-word;'>0.021</td><td style='text-align: center; word-wrap: break-word;'>2.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>noised, $\sigma=0.5$</td><td style='text-align: center; word-wrap: break-word;'>17.66</td><td style='text-align: center; word-wrap: break-word;'>7.99</td><td style='text-align: center; word-wrap: break-word;'>9.78</td><td style='text-align: center; word-wrap: break-word;'>12.62</td><td style='text-align: center; word-wrap: break-word;'>0.034</td><td style='text-align: center; word-wrap: break-word;'>2.78</td></tr></table>

我们用$\sigma = 0.5$替换$\sigma = 0$来重新训练模型，因此编码器在该噪声水平对应的时间步读取的是半含噪潜变量。两次运行共享训练数据、训练计划及评估工具，均在同样的291个ARCTIC片段上评分，且在同样的2万步检查点进行评估（表S7）。

在所有指标上，读取干净潜变量的效果都更好。MPJPE-p值改善了2.40毫米（从17.66降至15.26），翻译误差降低了39%（从0.0343米降至0.0208米）；而在抖动指标上，两次运行的结果相差不超过0.08毫米/帧$^2$。这种提升主要体现在指标位置而非关节运动上，因为PA-p的移动距离仅减少了0.52毫米。注入噪声会破坏确定性读取所保留的几何结构，而且由于并未运行生成式处理步骤，噪声引入的样本多样性也得不到利用。此次对比涵盖了两个噪声水平及每个水平下的一个随机种子，结果表明$\sigma=0$是两种设置中更好的一种，并非说明误差会随着$\sigma$的变化而单调改变。这种差距并非我们所读取的检查点导致的。在5千步到2万步之间记录的31个验证检查点中，含噪运行在29个检查点上均表现更差，手腕对齐验证误差的平均值为1.2毫米。

##### E. 定性结果与应用

#### E.1. 扩展定性对比

图S3和S4是对图4比较结果的进一步补充。图S3涵盖了两个主要基准数据集：ARCTIC和HOT3D；图S4则包含H2O和OakInk2，以及两个自然场景中的自中心数据集——HoloAssist [^35]和Xperience-10M [^27]。这两个数据集在此处均未提供手部真实标注信息，也未出现在本文的训练组合或评估表中。我们纳入它们是为了在未被任何方法调优过的视频上进行对比。每个数据块都将相机空间中的叠加图像行与对应的3D重建结果配对，各列则依次展示存在的真实标注、ACE-EgoHand模型结果以及六种基线方法的结果。所有方法均在相机坐标系下进行预测。对于提供了相机位姿的数据集，3D重建行会将这些相机坐标系下的预测结果转换到统一的世界坐标系中，这一处理方式与图4中的约定一致。所选视频片段均包含手超出视野（OOS）的区间，因为正是在这些区间中各种方法的性能差异最为明显。单帧基线方法在手离开画面后会完全停止预测，重新进入画面时则以不同姿态重新生成手部模型；而世界坐标系下的基线方法虽能持续输出手部模型，但会与真实手部位置产生偏移。

---

轨迹。ACE-Ego-Hand能够让手部穿过间隙，并在重新进入画面时与可见的视觉证据对齐。

##### E.2. 无真实标注的定性结果

图S5展示了从两段无真实标注的自中心视频中选取的八个时刻下的ACE-Ego-Hand预测结果，因此该模型的任何参数都无法针对这些数据进行调整。每行分别显示源帧、预测结果的相机空间叠加图像，以及同一预测结果的两种渲染图：一种是从固定的第三人称视角拍摄，另一种则是从头部相机位姿出发拍摄。ACE-Ego-Hand在相机坐标系下预测手部位置，且不估算相机运动；由于这些视频片段没有相机标注信息，因此两种渲染视图展示的是恢复出的手部本身，而非全局参照下的轨迹。由于没有真实标注可供叠加比对，唯一可验证的是两只手是否保持合理的间距、在头部转动时是否维持一致的尺度，以及手部在画面外时是否沿合理的路径移动。图中展示了这些特性，而这些正是基准测试表中通过数值衡量的指标，且所用视频片段并未提供任何标注信息。

##### E.3. 迁移到灵巧手上

我们定性展示了策略学习之前的步骤：将恢复出的双手轨迹回放到灵巧的Inspire Hand上。为了便于辨识，该机械手采用中性灰色配色方案；每个面板均按照源视频片段的内参进行渲染，以确保机械手与视频具有相同的投影效果。手指弯曲程度是根据预测的3D关节点而非MANO关节参数来确定的。图S6将四个领域内数据集各自的一段视频片段对应的源帧、恢复出的手部网格以及迁移后的机械手并排展示，以便分别观察这两个转换步骤的效果。图S7则选取了一段时长两分钟的视频，在其中四个时间点采样，用以证明即便在远超81帧训练窗口的长时间段后，这种转换依然有效。

要实现演示效果，必须具备ACE-Ego-Hand所提供的三个特性：相机坐标系下的精确位置定位、片段级的形状一致性，以及单帧方法无法实现的OOS连贯性。以63.1帧/秒的速度运行的轨迹恢复过程并不会成为整个流程的瓶颈。至于这类轨迹是否能改善后续的策略学习效果，则有待未来进一步研究。

#### F. 局限性、失效情况与数据使用

##### F.1. 局限性与失效情况

上述分析揭示了五个局限性。在可能的情况下，我们会以用户可见的单位来表述具体的失效特征。

无K参数配置以牺牲微小的姿态余量为代价，换取校准自由度。其相机拟合效果能使检测与度量定位维持在校准求解的水平（见表1），残差成本体现在手腕对齐的姿态上：在领域内基准测试中，MPJPE-p数值比标准配置高出0.6–1.4毫米，这与$\mathcal{L}_{fit}$项争夺共享算力的现象一致；降低其权重是下一步的自然选择。该拟合基于针孔相机模型，因此鱼眼裁剪情况会退化为直接读取光线场，而径向轴承模型仍有待后续研究。其失效特征表现为关节活动稍显松弛，而非检测失效。

长单遍解码以牺牲精度为代价换取平滑度。与81帧设置相比，单次解码整段录像会使MPJPE-p数值增加18%（从15.26毫米升至17.99毫米），因此单次长遍解码只是一种运行模式，并非免费的性能提升。其失效特征表现为轨迹更平滑，但与真实值的贴合度更低。

五个基准测试中的真实值与数据划分并不均衡。只有ARCTIC和H2O的数据集不存在受试者重叠。HOT3D按录像划分，OakInk2按序列划分，因此无法排除训练集与测试集中存在受试者重叠的情况。如附录A所述，HOI4D和H2O部分依赖伪真实值标注，这会抬高任何类似这些标注背后所采用的逐帧估计器的方法的得分。在H2O数据集上，我们的模型正是基于该标注分布训练的。表S3中的H2O和OakInk2部分将领域内训练的ACE-Ego-Hand与其他地方训练的基线模型进行对比，这与表1中ARCTIC和HOT3D的同类对比有所不同。

视线外区域的精度提升体现在手腕对齐层面，并不能证明定位准确。MPJPE $^{00S}$和MPJPE $^{+00S}$均在测量前先对齐手腕，因此表S4中的数值仅能说明视线外手部的关节活动与全局朝向接近真实值，仅此而已。手部在视线外时的实际位置取决于回归得到的深度、无图像证据约束的方位角，以及附录B中所述的求解器回退机制——当帧内存活的关节锚点过少时便会启用该机制。因此我们将视线外结果理解为轨迹间隙中的时间连贯性，而非间隙期间的度量定位；其失效特征表现为轨迹深度发生偏移、关节活动看似合理却不符合真实情况。本文没有任何表格衡量绝对的视线外定位精度，因为五个基准测试均未对此进行评分。

该方法本质上属于离线处理。使ACE-Ego-Hand成为离线方法的根源是其对片段级上下文的依赖，而非解码器中时序注意力的方向。骨干网络会一次性处理整个片段，因此延迟下限由片段长度决定，而非63.1帧/秒的处理吞吐量。ACE-Ego-Hand是用于从录制视频中整理操作数据的工具，并非……

---

![Image](images/32be4b3f2ca88cafd8fea747a61f16d48354198cf7a2d0b6d887b73570ba3aae.jpg)

<div style="text-align: center;">Figure S3. Extended qualitative comparison on ARCTIC and HOT3D. Columns: ground truth, ACE-Ego-Hand, and six baselines (ViDiHand, EgoForce, Dyn-HaMR, HaWoR, WiLoR, HaMeR). Each dataset block shows a camera-space overlay row above the corresponding 3D reconstruction, which uses the ground-truth camera poses these two datasets provide.</div>

---

![Image](images/185e8bff1d7d84745d6cc83e1e79cce30bae38094963737f94fe957629d070b3.jpg)

<div style="text-align: center;">Figure S4. Extended qualitative comparison on H2O, OakInk2, and in-the-wild HoloAssist and Xperience-10M. Same columns and same layout as Figure S3. H2O and OakInk2 supply ground-truth camera poses for the 3D row, while the two in-the-wild sources carry no annotation and are shown for qualitative inspection only.</div>

---

![Image](images/a1aaced902862d301875308b8bc0bdb14886649a3c3a76bd0ffd9a4b6016aa12.jpg)

<div style="text-align: center;">Figure S5. ACE-Ego-Hand qualitative results on in-the-wild videos without ground truth. Columns: source RGB, predicted hands overlaid on the source video, and the same prediction rendered from a fixed third-person viewpoint and from the head-camera pose.</div>

---

![Image](images/ecb55ced0c02f663f1d12c516aaab8c9082b44abe0ed09873b69e2dc74cf9772.jpg)

<div style="text-align: center;">Figure S6. From egocentric video to a dexterous hand, step by step. One clip from each of ARCTIC, HOT3D, H2O, and OakInk2. Columns: source RGB, the hand mesh recovered by ACE-Ego-Hand, and the trajectory retargeted to an Inspire Hand. Finger flexion is mapped from the predicted 3D joints rather than from the MANO articulation parameters.</div>

---

![Image](images/0ea1eef29aede69cc64cb069ca3de1c05375918efd8e3b0a2a5ac87a074b5737.jpg)

<div style="text-align: center;">Figure S7. Retargeting over a two-minute recording. A single recording sampled at four instants, with the input frame above and the retargeted dexterous hand below. The horizon is roughly 45 times the 81-frame training window, and both hands are still tracked and correctly identified at the last of the four instants.</div>

闭环控制器。由此边界可推导出三个发展方向：将编码器蒸馏为因果变体，能以流式运算为代价换取片段级上下文，同时也能量化精度对后续帧的依赖程度；限定遍历长度同时保持各遍历间的身份一致性，可消除延迟对片段长度的依赖；在数分钟的录像中保留手部身份与形状信息，能将时间范围拓展至超出单次遍历所能覆盖的程度。

##### F.2. 伦理与数据使用

这五个基准数据集以及三个辅助训练源均为公开的研究数据集，图S4中的两个真实场景数据集也是如此。我们均通过官方渠道获取这些数据集，并依据其发布条款使用。对于Xperience-10M而言，其使用条款规定仅允许非商业研究用途的受控访问。我们没有收集任何新的受试者数据，也不会重新分发任何数据集。第一人称视角录像中可能包含可识别的人物和私密环境，因此我们仅将其用于手部几何形状的拟合。该模型接收视频及标准配置下的相机校准参数，输出MANO姿态、形状以及相机坐标系下的平移量。该模型既不接收也不生成身份、人口统计或生物识别相关信息，且并非人物识别器。图中展示的帧均取自上述公开数据集，并在相同条款下被复用，但有一个例外：图S5中的帧来自基准数据集之外的一个已获授权许可的第一人称视角数据集，仅用于定性说明。该数据集既不会纳入训练集，也不会出现在评估表中。其预期的下游应用是基于受试者同意录制的视频进行模仿学习。未经受试者同意便在第三方视频上运行该模型属于滥用行为，我们并不认可此种做法。