# 隐形的自我手：基于自我身体姿态估计的3D手部预测

畑野雅史 $^{1*}$ 朱志凡 $^{2}$ 齐藤秀夫 $^{1}$ 迪马·达门 $^{2}$

 $^{1}$ 庆应义塾大学 $^{2}$ 布里斯托大学

<https://masashi-hatano.github.io/EgoH4>

## 摘要

从自我中心视角预测手部运动和姿态对于理解人类意图至关重要。然而，现有方法仅专注于预测位置，且未考虑关节活动度，同时仅当手部在视野内时才进行预测。这种局限性忽略了即便手部不在相机视野内，仍能推断出其大致位置这一事实。在本文中，我们提出了一种方法，能够从自我中心视频中预测双手的3D轨迹和姿态，无论它们是否在视野内。

我们提出了一种用于自我中心手部预测的基于扩散的Transformer架构EgoH4，它以观测序列和相机姿态为输入，进而预测佩戴相机者双手未来的3D运动和姿态。我们利用全身姿态信息，使其他关节能够为手部运动提供约束。我们对手部与身体关节进行去噪处理，同时结合手部关节的可见性预测器，以及用于最小化手部在视野内时误差的3D到2D投影损失函数。

我们在包含身体和手部标注子集的Ego-Exo4D数据集上对EgoH4进行了评估。我们分别用15.6万条序列进行训练，用3.4万条序列进行评估。在手部轨迹预测的ADE指标以及手部姿态预测的MPJPE指标上，EgoH4相比基线模型分别提升了3.4厘米与5.1厘米。

### 1. 引言

从自我中心视频中理解人类运动，对AR/VR、人机交互以及辅助技术等诸多应用而言至关重要。与动作识别[28, 54–56, 65]或动作预判[^19] [^21] [^60] [^66] [^71]这类类别级的离散预测不同，运动预测能提供细粒度、连续的结果。

<div style="text-align: center;">Observation Frame t1</div>

<div style="text-align: center;">Observation Frame  $t_{2}$</div>

以往预测未来手部位置的研究均基于2D视角，即估算手部在移动相机帧内的位置。这类研究聚焦于手部与物体的交互[^40]。

![Image](images/3f631e627d8f73d0c64fa26b18cf18c84f275284be0c9e5a6a2fbf6de8e8ce7d.jpg)

<div style="text-align: center;">Forecasting Frame  $t_{T+1}$</div>

![Image](images/212ee49822474e9ea1dcfdbe62d7a51efe62d04a33ff2dc5a57f2d6d28ddc041.jpg)

![Image](images/4731bf532499cffae5f42646cb9cc4dcf2da5d01acaf5b166afd48e5e76cf696.jpg)

![Image](images/a8e11f13aba0142e9423382f6aad6a7fddede828761e948ecd64dc1dbb383e78.jpg)

<div style="text-align: center;">Figure 1. Given signals during observation: camera poses, images, and visible hand locations in 2D, our proposed method EgoH4 forecasts future 3D hand pose. EgoH4 can forecast hand joints even when hands are out of view during observation. We show visible 2D hand positions overlaid on the observation frames  $t_1$ and  $t_2$, and the corresponding camera poses attached on the heads. At  $t_2$, the right hand is invisible. In the forecasting frame, the right hand is back in view while the left hand is now out of view.</div>

41]或自我运动感知[^29] [^43] [^44]。然而，由于相机运动的影响，2D方法无法给出手部在环境中的持续预测结果。相反，近期的研究致力于在世界坐标系下进行预测，其中针对身体姿态的成功方法[^22] [^35] [^48] [^58] [^74]、自我身体姿态[^2] [^5] [^11] [^37] [^68] [^77] [^81]，以及近期的3D手部轨迹[^3]。而专注于3D预测身体姿态[^9] [^17] [^78]、手部位置或姿态[^3] [^64]的研究仍然十分稀少。

当前的自我中心手部预测任务存在三个

---

我们在此解决的重要局限性：

视野外。以往的研究[^3] [^40] [^41]并未考虑观察过程中手部移出视野的场景，但这种情况在自我中心视频中十分常见（如图1所示）。手部主要在与人交互或即将接触物体时才可见。例如，当伸手去拿远处的物体时，我们会先移动身体靠近，只有在能够触及到物体时才会伸出手。因此，依赖可见的观察结果来进行预测可能会导致预测延迟，从而限制早期预测能力。

身体运动感知。鉴于手部与身体之间天然的协调性，将身体运动纳入考量能够提升手部预测的准确度。同时预测身体姿态和手部姿态，可避免不切实际的手部动作，因为身体关节能起到约束作用。

手部关节活动。以往的自我中心手部预测研究[^3] [^40] [^41]仅预测手部的位置，而未考虑手指的关节活动。虽然HoloAssist[^70]近期为自我中心手部姿态预测设立了基准，却并未提出具体的方法，可见自我中心视频中的手部姿态预测任务仍未被充分探索。

为解决这些局限，我们提出了EgoH4——一种利用身体姿态估计来预测三维手部运动和姿态的三维手部预测方法。据我们所知，这是首个尝试在手部处于视野外、即不可见的情况下进行三维手部轨迹和姿态预测的研究。我们通过以下方式实现这一目标：（1）联合优化手部与身体关节。借助身体姿态知识，可通过身体姿态对关节的约束来定位画面外手部的关节位置。此外，（2）我们加入了一个用于估算手部可见性的分类器，以此提升处理不可见手部的能力并提高手部预测准确度。

我们在Ego-Exo4D[^26]数据集上评估了EgoH4，由于该数据集配备了多台外置摄像头，即便手部位于相机视野之外，也能提供三维标注数据。总而言之，我们的贡献如下：

- 我们是首个在观察阶段和预测阶段均解决手部在视野内或视野外情况下的自我中心三维手部预测问题的研究团队。

- 我们还将自我中心手部轨迹预测任务拓展至手部姿态预测，以便更细致地理解人的意图。

- 我们提出了EgoH4，这是一种基于扩散的Transformer模型，可同时对身体姿态和手部进行去噪处理，还包含可见性预测器和三维到二维的投影正则化模块。

- 我们在大规模自我中心数据集Ego-Exo4D上评估了EgoH4。我们根据现有标注数据整理出了三维手部预测任务，最终得到15.6万条训练序列和3.4万条测试序列。

• 在ADE数据集上，我们将手部轨迹预测误差分别降低了5.5厘米、1.9厘米和3.4厘米；在MPJPE指标下，访谈序列、视野外序列以及整体序列的手部姿态预测误差分别降低了5.0厘米、5.9厘米和5.1厘米。

### 2. 相关工作

我们回顾了关于自我中心视频中的手部、自我中心手部预测、运动预测以及自我身体姿态估计的相关研究。

#### 2.1. 理解自我中心视频中的手部

手与物体的交互最适合在自中心视频中研究。以往的研究已经涉及二维手部检测与侧面分类 [^7] [^10] [^63]、手部分割 [^12] [^32] [^79]、抓取类型分类 [^24] 以及手部姿态估计 [51-53, 57, 59]。其他研究还涉及建模手与物体的交互 [^14] [^18] [^20] [^23] [^49] [^62] 和物体可供性 [^24] [^75]。这些研究为自中心视频中的二维手部相关任务提供了可靠的方法。

#### 2.2. 自中心手部预测

早期针对自中心视频中二维手部轨迹预测的研究 [^40] [^41] 旨在理解人类意图，通常会结合交互热点预测与动作预判，因为手部运动正是预判的关键线索。近期的研究 [^29] [^43] [^44] 考虑了自我运动以及人体的头部运动，以优化二维手部轨迹的预测效果。然而，仅在二维图像平面上预测手部位置会限制预测范围，因为手部在三维空间中的活动范围要大得多。

USST [^3] 是首个致力于三维手部预测的研究，并提出了一种从手动标注的二维手部关键点升维至三维以获取训练数据的流程。此外，他们还提出了不确定性感知的状态空间变换模型，该模型以三维手部轨迹和自中心视频为输入，进而预测三维手部轨迹。不过，他们的研究范围仅限于手部位置而非姿态，且仅适用于手部可见的情况。

我们是首个能够在观察过程中手部超出视野时仍进行三维手部预测的研究，也是首个探索手部姿态（而不仅仅是位置）预测的研究。

#### 2.3. 人体运动预测

人体运动预测从不同角度受到了广泛关注 [^6] [^13] [^31] [^47]。虽然大多数研究聚焦于人体姿态，但也有少数研究涉及手部关节活动 [^64]，或将其与人体姿态相结合 [^72]。其中，基于图卷积网络的方法 [^38] [^45] 应用广泛且效果显著，这类方法将关节视为节点，边缘则用于捕捉空间关系。其他研究 [^4] [^73] 首先从图像中预测二维关键点并估算三维姿态，随后基于已估算的过去运动来预测未来运动。不过，这些方法存在较强的前提假设：即过去的运动数据可获取，或人体关节可见，这限制了它们在自中心场景中的应用。

---

![Image](images/479c59594554a0153833feb387807063387023a9e4bf9d000ae8c4539c5cfcaa.jpg)

<div style="text-align: center;">Figure 2. The framework of our proposed method, EgoH4. We show the denoising network in a single denoising step. During training, we estimate the original data  $x_0$ from an arbitrary noise level n to learn the denoising network. During inference, we iteratively denoise the noisy joints over the maximum diffusion step N from N to 0.</div>

另一方面，有几项研究 [^17] [^78] 从自中心视角出发，探讨人体姿态预测问题。EgoCast [^17] 提出了一种两阶段方法：先估算佩戴摄像头的人的身体姿态，再基于估算出的身体姿态预测运动。这些研究 [^17] [^78] 并未预测手部关节活动，也未专门报告手部位置的预测性能。

#### 2.4. 自中心三维人体姿态估计

近年来，从以自我为中心的视频中估计三维人体姿态的研究日益受到关注。一些研究[^2] [^68] [^69]利用了鱼眼相机，这种相机能提供较大的视野以确保人体关节可见。EgoPoser[^33]使用可穿戴设备，以手部关节位置作为输入。You2Me[^50]侧重于通过与他人互动来进行姿态估计[^80]。其他研究则采用基于深度强化学习的方法[^78]或物理上合理的预测[^42]。

EgoEgo[^37]是首个提出基于扩散模型、以头部姿态为条件的身体生成模型的研究。其他研究[^5] [^8] [^33] [^76]利用真实的头部姿态作为条件来探究这一任务。这类数据可由Project Aria[^16]等智能眼镜设备提供。

在这项研究中，我们同样根据头部姿态来估计以自我为中心的人体姿态，并借助近期在基于扩散模型的以自我为中心人体姿态估计方面的进展；不过我们的重点并非改进人体姿态估计，而是将其用于三维手部预测。

### 3. 我们的方法：EgoH4

我们提出了EgoH4，这是一种基于扩散模型的Transformer架构，用于三维手部预测。它在观察期间以头部姿态、二维手部位置和图像特征作为输入，旨在预测未来的三维手部姿态。

我们首先介绍了一种新颖的以自我为中心的三维手部姿态预测问题设定（第3.1节）。接着，我们介绍了所提出的方法EgoH4以及全身运动估计（第3.2节）和训练目标（第3.3节）。图2概述了我们的方法。

#### 3.1. 问题设定

给定一段以自我为中心的视频及对应的T个观察帧的相机姿态，目标是预测未来F个时间步内的三维手部姿态$Y_{\mathrm{fut}} = \{ y^{T+1}, \ldots, y^{T+F} \}$。在每个时间步$T+1 \leq t \leq T+F$，$y^{t}$包含左手/右手关节。重要的是，我们采用了序列规范化[^37] [^76]，即三维点相对于第一个相机坐标下的规范化坐标系来表示。

#### 3.2. EgoH4架构

利用三维人体运动的知识，有助于在手部超出视野、处于观察阶段或预测阶段时提升手部预测效果。由于人体关节大多不可见且手部可见性经常变化，因此不存在直接的确定性映射函数来根据这些观测结果估计这些关节。

---

因此，我们采用基于去噪扩散概率模型（DDPM）[^30]的生成式方法来估计和预测三维手部及人体运动。

条件扩散模型。该扩散模型将从高斯分布中采样的随机噪声作为初始运动$x_N^t \in \mathbb{R}^{J \times 3}$，在时间步t、最大扩散步数N以及关节数J的情况下，它会在每个扩散步n迭代地去除噪声，同时利用学习到的均值和固定方差：

 $$ p_{\theta}(x_{n-1}\mid x_{n},c):=\mathcal{N}(x_{n-1};\mu_{\theta}(x_{n},n,c),\sigma_{n}^{2}I), $$

其中$\mu_{\theta}(.)$可由神经网络计算得出，c为任意给定的条件（我们稍后会详细介绍这些条件），用以生成三维位置。$\mu_{\theta}(.)$的参数化方式如下：

 $$ \begin{array}{r}{\mu_{\theta}(x_{n},n,c)=\frac{\sqrt{\alpha_{n}}\left(1-\bar{\alpha}_{n-1}\right)}{1-\bar{\alpha}_{n}}x_{n}+\frac{\sqrt{\bar{\alpha}_{n-1}}\left(1-\alpha_{n}\right)}{1-\bar{\alpha}_{n}}x_{\theta}(x_{n},n,c),}\end{array} $$

其中 $\bar{\alpha}_n = \prod_{s=0}^{n} \alpha_s$、$\alpha_n$ 是固定参数。我们在训练过程中让网络 $x_\theta(x_n, n, c)$ 直接预测 $x_0$，具体遵循 [^37] 中的描述。用于3D手部与身体关节预测的训练损失被定义为原始数据 $x_0$ 的重建损失：

 $$ \mathcal{L}=\mathbb{E}_{x_{0},n}\|x_{\theta}(x_{n},n,c)-x_{0}\|_{1}. $$

在推理阶段，我们应用N步去噪操作（基于公式(1)）以获得最终的去噪输出 $\hat{x}_{0}$。

条件提示。我们使用三种条件提示：i) 相机姿态；ii) 2D手部位置（如果可见）；iii) 图像特征。人类具有出色的头部稳定能力，能够使其与身体的质心保持一致 [^37]。由于这是头戴式相机，相机姿态能够反映头部姿态，从而为估计身体关节（包括手部位置）提供关键信息。时间步t处的相机姿态 $c_{\text{cam}}^t \in \mathbb{R}^9$ 包含用6D表示的旋转信息 [^83] 以及平移向量，这些信息相对于第一帧进行了规范化处理，同时保留了重力相关信息。当手部可见时，我们会利用其在2D图像空间中的坐标 $(x, y)$、$c_{\text{left}}^t$、$c_{\text{right}}^t \in \mathbb{R}^2$ 来提高预测精度。若某只手不可见，我们会用 $c_{\text{side}}^t$ 来替换该侧手的位置信息 $(-1, -1)$，以表明其不可见。我们还会利用从视觉编码器 $c_{\text{img}}^t \in \mathbb{R}^{d_{\text{img}}}$ 中提取的图像特征 [^15] 来提供视觉上下文。这不仅能补充相机姿态的信息，还能让我们观察到相机视野内的任何身体部位。

噪声编码器。在观测阶段，扩散模型以上述三种提示为条件，而未来时间步则不使用任何条件。因此，我们使用两种类型的噪声编码器：在观测时间步共享的条件噪声编码器 $\mathcal{E}_{\text{obs}}$，以及在预测时间步共享的无条件噪声编码器 $\mathcal{E}_{\text{fut}}$。时间t处观测阶段的噪声标记 $z_{\text{obs}}^{t} \in \mathbb{R}^{d_z}$ 的编码方式如下：

 $$ \begin{array}{r}{z_{\mathrm{o b s}}^{t}=\mathcal{E}_{\mathrm{o b s}}(x_{n}^{t},c_{\mathrm{c a m}}^{t},c_{\mathrm{l e f t}}^{t},c_{\mathrm{r i g h t}}^{t},c_{\mathrm{i m g}}^{t}).}\end{array} $$

对于未来时间步而言，无法获取这些条件。我们采用线性层作为噪声编码器 $\mathcal{E}_{fut}$，直接对噪声进行标记化：

 $$ z_{\mathrm{f u t}}^{t}=\mathcal{E}_{\mathrm{f u t}}(x_{n}^{t}), $$

其中 $t > T$ 和 $z_{\text{fut}}^{t}$ 的维度与观测编码器的标记维度相同。

去噪Transformer。我们采用Transformer架构 [^67] 作为去噪函数来处理序列输入。编码后的噪声标记 $z_{obs}$ 和 $z_{fut}$ 会被拼接起来，再与噪声级别信息（嵌入向量）结合，随后加入位置嵌入。去噪函数 $\mathcal{T}$ 会以这些组合后的标记作为输入。经过解码器 $x_{0}^{t}$（一个线性层）处理后，即可得到每个时间步的最终输出 $\mathcal{D}_{joint}$，该输出对应手部与身体关节的信息：

 $$ \begin{array}{r}{\hat{\boldsymbol{x}}_{0}^{1:T+F}=\mathcal{D}_{\mathrm{j o i n t}}(\mathcal{T}([\boldsymbol{z}_{\mathrm{o b s}}^{1:T},\boldsymbol{z}_{\mathrm{f u t}}^{T+1:T+F}],n)).}\end{array} $$

我们使用三种损失函数来训练模型：(1) 3D关节重建损失 $\mathcal{L}_{\text{joint}}$；(2) 可见性损失 $\mathcal{L}_{\text{vis}}$；(3) 可见手部的2D投影损失 $\mathcal{L}_{\text{reproj}}$。接下来我们将详细介绍这些内容。

3D关节损失。正如多项以自我为中心的人体姿态估计研究所示[^37] [^42] [^76] [^78]，给定与重力对齐的相机姿态即可估算人体姿态。在我们的研究中，条件扩散模型不仅重建所有时间步（观测与预测阶段）的3D手部姿态，还会重构3D身体关节。3D关节损失$\mathcal{L}_{\text{joint}}$是通过预测值$\hat{x}_0$与真实数据$x_0$之间的误差，利用公式(3)计算得出的。

可见性损失。此外，我们引入了可见性损失，使模型能够准确判断手部何时处于视野之内或之外。这与点跟踪技术中用于解决遮挡问题的可见性损失类似，遮挡正是导致跟踪误差的重要诱因之一。受点跟踪方法的启发[^27] [^34]，我们引入可见性损失以提升模型定位手部在视野内/外的能力，同时有效调节模型的学习过程。我们利用解码器$\hat{v}^{1:T} \in \mathbb{R}^{2T}$来预测每个观测时间步中双手的可见性得分$\mathcal{D}_{vis}$：

 $$ \begin{array}{r}{\hat{v}^{1:T}=\mathcal{D}_{\mathrm{v i s}}\big(\mathcal{T}\big([\boldsymbol{z}_{\mathrm{o b s}}^{1:T},\boldsymbol{z}_{\mathrm{f u t}}^{T+1:T+F}],n\big)\big).}\end{array} $$

我们采用二元交叉熵（CE）损失作为可见性损失$\mathcal{L}_{\mathrm{vis}}$，

 $$ \mathcal{L}_{\mathrm{v i s}}=\mathrm{C E}(v^{1:T},\hat{v}^{1:T}), $$

---

其中目标值$v^{1:T}$可从真实数据中获取。2D投影损失。当手部可见时，我们将2D手部位置作为输入，以改善3D手部姿态的估计与预测效果。然而，仅将2D位置作为输入并不能保证2D手部输入与3D手部输出之间的一致性。我们使用投影损失来惩罚输入2D坐标与基于3D输出、借助相机外部参数P和内部参数K所得到的投影2D位置之间的误差。在此投影损失中，我们仅使用每侧手部的腕部位置，其定义如下：

 $$ \mathcal{L}_{\mathrm{r e p r o j,s i d e}}=\sum_{t=1}^{T}v_{\mathrm{s i d e}}^{t}\big\|c_{\mathrm{s i d e}}^{t}-\Pi_{K}(\boldsymbol{P}(\hat{\boldsymbol{x}}_{\mathrm{s i d e}}^{t})\big\|_{1}, $$

其中side表示左手/右手，$\Pi_K$表示投影到2D图像空间的过程，$\hat{x}_{\text{side}}$代表重建后的手部位置。我们有$\mathcal{L}_{\text{reproj}} = \mathcal{L}_{\text{reproj,left}} + \mathcal{L}_{\text{reproj,right}}$。

 $$ \mathcal{L}=\mathcal{L}_{\mathrm{j o i n t}}+\lambda_{\mathrm{v i s}}\mathcal{L}_{\mathrm{v i s}}+\lambda_{\mathrm{r e p r o j}}\mathcal{L}_{\mathrm{r e p r o j}}. $$

训练损失。我们通过线性组合这些损失来训练编码器、解码器和去噪函数，最终训练损失由平衡超参数调控：

### 4. 实验

本节将详细介绍用于训练和评估EgoH4的数据集（第4.1节）、实现细节（第4.2节）、对比方法（第4.3节）、定量结果（第4.4节）、所提方法的消融研究（第4.5节）以及定性结果（第4.6节）。

#### 4.1. 数据集

我们采用了近期发布的Ego-Exo4D数据集，这是一套多样化且规模庞大的多模态多视角视频数据集。该数据集包含两套独立的手动标注：一套针对人体姿态（含腕部但不含手部姿态），另一套针对手部姿态。由于此前尚无研究利用人体姿态进行手部预测，我们依据这些标注对数据集进行了如下整理：

- Ego-Exo4D人体姿态：我们使用提供17个身体及腕部关节标注的手动数据（不含手部姿态）。

- Ego-Exo4D手部姿态：我们使用提供$21 \times 2$个手部关节标注的数据，同时结合外摄相机的自动人体标注。我们用手动标注的腕部数据及手部姿态覆盖自动人体标注中的相关内容。我们仅在训练阶段使用自动人体标注（评估阶段不使用）。

我们对来自 [^26] 的两组标注使用相同的训练/验证划分，将这些标注合并后形成一个包含手部与身体姿态的数据集，即便从以自我为中心的摄像头中无法看到手部时也是如此。在使用这类异构数据进行训练时，我们仅针对有对应标注的关节反向传播损失。

<div style="text-align: center;">Table 1. Dataset Comparison of Train/Test Sequences. We report the number of training and testing sequences for each dataset, H2O, EgoPAT3D, and Ego-Exo4D, categorized into in-view, out-of-view scenarios, and total sequences. The sequence counts are provided separately for each hand side. Moreover, we report the availability of body pose annotation.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Dataset</td><td rowspan="2">Body Pose</td><td colspan="2">In-view</td><td colspan="2">Out-of-view</td><td colspan="2">All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>train</td><td style='text-align: center; word-wrap: break-word;'>test</td><td style='text-align: center; word-wrap: break-word;'>train</td><td style='text-align: center; word-wrap: break-word;'>test</td><td style='text-align: center; word-wrap: break-word;'>train</td><td style='text-align: center; word-wrap: break-word;'>test</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>H2O [^36]</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>9.9k</td><td style='text-align: center; word-wrap: break-word;'>3.7k</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.9k</td><td style='text-align: center; word-wrap: break-word;'>3.7k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoPAT3D [^39]</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>7.2k</td><td style='text-align: center; word-wrap: break-word;'>3.8k</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>7.2k</td><td style='text-align: center; word-wrap: break-word;'>3.8k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-Exo4D [^26] (Body)</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>52.4k</td><td style='text-align: center; word-wrap: break-word;'>11.6k</td><td style='text-align: center; word-wrap: break-word;'>85.2k</td><td style='text-align: center; word-wrap: break-word;'>18.9k</td><td style='text-align: center; word-wrap: break-word;'>138k</td><td style='text-align: center; word-wrap: break-word;'>30.5k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-Exo4D [^26] (Hand)</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>14.2k</td><td style='text-align: center; word-wrap: break-word;'>3.4k</td><td style='text-align: center; word-wrap: break-word;'>4.5k</td><td style='text-align: center; word-wrap: break-word;'>0.1k</td><td style='text-align: center; word-wrap: break-word;'>18.7k</td><td style='text-align: center; word-wrap: break-word;'>3.5k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-Exo4D [^26] (Ours)</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>66.6k</td><td style='text-align: center; word-wrap: break-word;'>15.0k</td><td style='text-align: center; word-wrap: break-word;'>89.7k</td><td style='text-align: center; word-wrap: break-word;'>19.0k</td><td style='text-align: center; word-wrap: break-word;'>156k</td><td style='text-align: center; word-wrap: break-word;'>34.0k</td></tr></table>

与以往的预测研究 [^25] [^29] 一致，我们将任务定义为：观测阶段为两秒时间长度，随后是一秒的预测阶段 $^{2}$。

表1展示了我们用于构建训练/测试划分的标注，以及用于评估手部预测的以往数据集中的标注。与 H2O [^36] 数据集相比，我们的训练序列数量增加了15倍，测试序列数量增加了9倍。我们将序列分为两类：一类是所有观测帧中都能看到手部的序列，另一类是有一个或多个观测帧中手部不在视野内的序列。需要注意的是，这些以往的数据集不仅规模小得多，而且当手部不在视野内时没有3D手部标注，因此不适合用于我们的实验。

#### 4.2. 实现细节

实验设置：观测和预测阶段的采样频率均为10 FPS（帧/秒）。因此，输入观测部分有 $T = 20$ 个采样帧，预测部分有 $F = 10$ 个采样帧。视觉特征提取自在ImageNet上预训练且参数冻结的ViT-S模型。我们重建手部与身体关节，关节总数为 $J = 57 - (15$ 个身体关节（不含腕关节）加上 $21 \times 2$ 个手部关节。输入时使用真实的2D手部位置，并将其归一化到 [^0] 到 [^1] 的范围内。

训练：我们从随机权重开始训练模型，迭代40K次，学习率固定为 $1e^{-4}$。关于目标函数的参数，我们通过实验确定各平衡超参数 $\lambda_{vis}$ 和 $\lambda_{reproj}$，分别取值 $1e^{-1}$ 和 $5e^{-2}$。（消融实验详见补充材料。）

评估指标：我们报告手腕轨迹预测在全局3D空间中的平均位移误差（ADE）和最终位移误差（FDE），这些指标常用于轨迹预测研究。对于手部姿态预测，我们采用平均关节位置误差（MPJPE），它对所有未来时间步取平均值；以及MPJPE-F，它对最后一个预测帧的性能取平均值。此外，我们还报告MPJPE和平均关节速度误差（MPJVE），用以评估身体姿态估计与预测的准确性。

---

<div style="text-align: center;">Table 2. Hand Forecasting Accuracy. We report the hand trajectory and pose forecasting results on in-view, out-of-view, and all scenarios on the Ego-Exo4D dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="3">Method</td><td colspan="6">Hand Trajectory Forecasting</td><td colspan="6">Hand Pose Forecasting</td></tr><tr><td colspan="2">In-view</td><td colspan="2">Out-of-view</td><td colspan="2">All</td><td colspan="2">In-view</td><td colspan="2">Out-of-view</td><td colspan="2">All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Static</td><td style='text-align: center; word-wrap: break-word;'>0.199</td><td style='text-align: center; word-wrap: break-word;'>0.209</td><td style='text-align: center; word-wrap: break-word;'>0.434</td><td style='text-align: center; word-wrap: break-word;'>0.546</td><td style='text-align: center; word-wrap: break-word;'>0.335</td><td style='text-align: center; word-wrap: break-word;'>0.405</td><td style='text-align: center; word-wrap: break-word;'>0.163</td><td style='text-align: center; word-wrap: break-word;'>0.176</td><td style='text-align: center; word-wrap: break-word;'>0.297</td><td style='text-align: center; word-wrap: break-word;'>0.325</td><td style='text-align: center; word-wrap: break-word;'>0.166</td><td style='text-align: center; word-wrap: break-word;'>0.179</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CVM [^61]</td><td style='text-align: center; word-wrap: break-word;'>0.201</td><td style='text-align: center; word-wrap: break-word;'>0.217</td><td style='text-align: center; word-wrap: break-word;'>0.451</td><td style='text-align: center; word-wrap: break-word;'>0.648</td><td style='text-align: center; word-wrap: break-word;'>0.346</td><td style='text-align: center; word-wrap: break-word;'>0.467</td><td style='text-align: center; word-wrap: break-word;'>0.162</td><td style='text-align: center; word-wrap: break-word;'>0.177</td><td style='text-align: center; word-wrap: break-word;'>0.352</td><td style='text-align: center; word-wrap: break-word;'>0.427</td><td style='text-align: center; word-wrap: break-word;'>0.166</td><td style='text-align: center; word-wrap: break-word;'>0.183</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoEgoForecast</td><td style='text-align: center; word-wrap: break-word;'>0.171</td><td style='text-align: center; word-wrap: break-word;'>0.185</td><td style='text-align: center; word-wrap: break-word;'>0.385</td><td style='text-align: center; word-wrap: break-word;'>0.472</td><td style='text-align: center; word-wrap: break-word;'>0.295</td><td style='text-align: center; word-wrap: break-word;'>0.352</td><td style='text-align: center; word-wrap: break-word;'>0.162</td><td style='text-align: center; word-wrap: break-word;'>0.173</td><td style='text-align: center; word-wrap: break-word;'>0.299</td><td style='text-align: center; word-wrap: break-word;'>0.345</td><td style='text-align: center; word-wrap: break-word;'>0.166</td><td style='text-align: center; word-wrap: break-word;'>0.177</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>USST [^3]</td><td style='text-align: center; word-wrap: break-word;'>0.277</td><td style='text-align: center; word-wrap: break-word;'>0.280</td><td style='text-align: center; word-wrap: break-word;'>0.763</td><td style='text-align: center; word-wrap: break-word;'>0.792</td><td style='text-align: center; word-wrap: break-word;'>0.562</td><td style='text-align: center; word-wrap: break-word;'>0.581</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.116</td><td style='text-align: center; word-wrap: break-word;'>0.152</td><td style='text-align: center; word-wrap: break-word;'>0.366</td><td style='text-align: center; word-wrap: break-word;'>0.459</td><td style='text-align: center; word-wrap: break-word;'>0.261</td><td style='text-align: center; word-wrap: break-word;'>0.324</td><td style='text-align: center; word-wrap: break-word;'>0.112</td><td style='text-align: center; word-wrap: break-word;'>0.140</td><td style='text-align: center; word-wrap: break-word;'>0.240</td><td style='text-align: center; word-wrap: break-word;'>0.280</td><td style='text-align: center; word-wrap: break-word;'>0.115</td><td style='text-align: center; word-wrap: break-word;'>0.143</td></tr></table>

所有3D评估指标均以米为单位报告。为了与现有的确定性模型进行公平比较，我们在评估时生成一份样本。

• EgoAllo [^76] 是一种基于扩散模型的身体姿态估计方法。该方法并非为预测设计，也不尝试进行预测。我们评估的是EgoAllo的无引导版本，该版本在AMASS [^46] 数据集上预训练完成 $^{3}$。

我们采用了两个简单基线以及三项以往的研究工作（一项用于身体姿态估计，另一项适配于预测任务）：

#### 4.3. 基线

• CVM [^61] 是另一个常用于轨迹预测的简单基线。恒定速度模型（CVM）假设最近的相对速度是预测未来轨迹最相关的因素。

- “静态”是一种简单的基础方法，它将训练数据中的平均全身姿态保持在最后一个可观测时间步。这也体现了该数据集的难度。

• EgoEgoForecast（基础方法）：我们将[^37]扩展为一种预测方法。与我们提出的方法类似，它有两个噪声编码器：一个用于编码观测期间的头部姿态，另一个用于编码随机噪声。该模型可视为我们EgoH4的架构基准，因为它是一个没有我们引入的额外条件约束损失的普通扩散模型。该模型在Ego-Exo4D数据集上从头开始训练。

• USST [^3]是唯一一项评估以自我为中心的3D手部轨迹预测的前期研究。我们使用官方实现版本在我们的数据集上重新训练了USST。当观测期间手部超出视野时，我们在训练和推理阶段均采用掩码处理。

#### 4.4. 定量结果

手部轨迹与姿态预测：我们在Ego-Exo4D数据集上，将上述基础方法与以自我为中心的三维手部轨迹预测性能进行对比。我们在两种场景下报告ADE和FDE指标：1）访谈场景，即所有观测时间步中手部均在视野内，与之前的评估设置相同；2）手部在观测期间至少有一个时间步超出视野的场景。

<div style="text-align: center;">Table 3. Architecture and Losses Ablations.  $\mathcal{L}_{\text{body}}$ represents the reconstruction loss for body joints. The  $\mathcal{L}_{\text{obs}}$ represents all losses in the observation timesteps, including 3D joint loss during observation, reprojection loss, and visibility loss.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">Hand Trajectory Forecasting</td><td colspan="3">Hand Pose Forecasting</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>In-view</td><td style='text-align: center; word-wrap: break-word;'>Out-of-view</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>In-view</td><td style='text-align: center; word-wrap: break-word;'>Out-of-view</td><td style='text-align: center; word-wrap: break-word;'>All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoEgoForecast</td><td style='text-align: center; word-wrap: break-word;'>0.171</td><td style='text-align: center; word-wrap: break-word;'>0.385</td><td style='text-align: center; word-wrap: break-word;'>0.295</td><td style='text-align: center; word-wrap: break-word;'>0.162</td><td style='text-align: center; word-wrap: break-word;'>0.299</td><td style='text-align: center; word-wrap: break-word;'>0.166</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. 2D joint</td><td style='text-align: center; word-wrap: break-word;'>0.151</td><td style='text-align: center; word-wrap: break-word;'>0.377</td><td style='text-align: center; word-wrap: break-word;'>0.282</td><td style='text-align: center; word-wrap: break-word;'>0.139</td><td style='text-align: center; word-wrap: break-word;'>0.269</td><td style='text-align: center; word-wrap: break-word;'>0.142</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. image</td><td style='text-align: center; word-wrap: break-word;'>0.116</td><td style='text-align: center; word-wrap: break-word;'>0.367</td><td style='text-align: center; word-wrap: break-word;'>0.261</td><td style='text-align: center; word-wrap: break-word;'>0.117</td><td style='text-align: center; word-wrap: break-word;'>0.234</td><td style='text-align: center; word-wrap: break-word;'>0.120</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. $\mathcal{L}_{reproj}$</td><td style='text-align: center; word-wrap: break-word;'>0.132</td><td style='text-align: center; word-wrap: break-word;'>0.368</td><td style='text-align: center; word-wrap: break-word;'>0.269</td><td style='text-align: center; word-wrap: break-word;'>0.125</td><td style='text-align: center; word-wrap: break-word;'>0.250</td><td style='text-align: center; word-wrap: break-word;'>0.128</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. $\mathcal{L}_{vis}$</td><td style='text-align: center; word-wrap: break-word;'>0.127</td><td style='text-align: center; word-wrap: break-word;'>0.377</td><td style='text-align: center; word-wrap: break-word;'>0.272</td><td style='text-align: center; word-wrap: break-word;'>0.121</td><td style='text-align: center; word-wrap: break-word;'>0.240</td><td style='text-align: center; word-wrap: break-word;'>0.124</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. $\mathcal{L}_{body}$</td><td style='text-align: center; word-wrap: break-word;'>0.129</td><td style='text-align: center; word-wrap: break-word;'>0.385</td><td style='text-align: center; word-wrap: break-word;'>0.277</td><td style='text-align: center; word-wrap: break-word;'>0.120</td><td style='text-align: center; word-wrap: break-word;'>0.258</td><td style='text-align: center; word-wrap: break-word;'>0.123</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. $\mathcal{L}_{obs}$</td><td style='text-align: center; word-wrap: break-word;'>0.149</td><td style='text-align: center; word-wrap: break-word;'>0.390</td><td style='text-align: center; word-wrap: break-word;'>0.289</td><td style='text-align: center; word-wrap: break-word;'>0.139</td><td style='text-align: center; word-wrap: break-word;'>0.250</td><td style='text-align: center; word-wrap: break-word;'>0.142</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.116</td><td style='text-align: center; word-wrap: break-word;'>0.366</td><td style='text-align: center; word-wrap: break-word;'>0.261</td><td style='text-align: center; word-wrap: break-word;'>0.112</td><td style='text-align: center; word-wrap: break-word;'>0.240</td><td style='text-align: center; word-wrap: break-word;'>0.115</td></tr></table>

<div style="text-align: center;">Table 4. Evaluation on Different Out-of-view Ratio Intervals. We report the ADE and FDE results across five equally divided out-of-view ratio intervals  $\gamma_{(i,j)}$ ranging from zero to one.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">$\gamma(0.0,0.2]$</td><td colspan="2">$\gamma(0.2,0.4]$</td><td colspan="2">$\gamma(0.4,0.6]$</td><td colspan="2">$\gamma(0.6,0.8]$</td><td colspan="2">$\gamma(0.8,1.0]$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ADF</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>ADF</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>ADF</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>ADF</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>ADF</td><td style='text-align: center; word-wrap: break-word;'>FDE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoEgoForecast</td><td style='text-align: center; word-wrap: break-word;'>0.284</td><td style='text-align: center; word-wrap: break-word;'>0.329</td><td style='text-align: center; word-wrap: break-word;'>0.393</td><td style='text-align: center; word-wrap: break-word;'>0.475</td><td style='text-align: center; word-wrap: break-word;'>0.424</td><td style='text-align: center; word-wrap: break-word;'>0.519</td><td style='text-align: center; word-wrap: break-word;'>0.415</td><td style='text-align: center; word-wrap: break-word;'>0.504</td><td style='text-align: center; word-wrap: break-word;'>0.363</td><td style='text-align: center; word-wrap: break-word;'>0.459</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. $\mathcal{L}_{body}$</td><td style='text-align: center; word-wrap: break-word;'>0.250</td><td style='text-align: center; word-wrap: break-word;'>0.300</td><td style='text-align: center; word-wrap: break-word;'>0.398</td><td style='text-align: center; word-wrap: break-word;'>0.477</td><td style='text-align: center; word-wrap: break-word;'>0.432</td><td style='text-align: center; word-wrap: break-word;'>0.519</td><td style='text-align: center; word-wrap: break-word;'>0.430</td><td style='text-align: center; word-wrap: break-word;'>0.514</td><td style='text-align: center; word-wrap: break-word;'>0.353</td><td style='text-align: center; word-wrap: break-word;'>0.442</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o. $\mathcal{L}_{vis}$</td><td style='text-align: center; word-wrap: break-word;'>0.254</td><td style='text-align: center; word-wrap: break-word;'>0.303</td><td style='text-align: center; word-wrap: break-word;'>0.394</td><td style='text-align: center; word-wrap: break-word;'>0.487</td><td style='text-align: center; word-wrap: break-word;'>0.423</td><td style='text-align: center; word-wrap: break-word;'>0.521</td><td style='text-align: center; word-wrap: break-word;'>0.412</td><td style='text-align: center; word-wrap: break-word;'>0.498</td><td style='text-align: center; word-wrap: break-word;'>0.349</td><td style='text-align: center; word-wrap: break-word;'>0.447</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.236</td><td style='text-align: center; word-wrap: break-word;'>0.284</td><td style='text-align: center; word-wrap: break-word;'>0.379</td><td style='text-align: center; word-wrap: break-word;'>0.476</td><td style='text-align: center; word-wrap: break-word;'>0.417</td><td style='text-align: center; word-wrap: break-word;'>0.517</td><td style='text-align: center; word-wrap: break-word;'>0.404</td><td style='text-align: center; word-wrap: break-word;'>0.505</td><td style='text-align: center; word-wrap: break-word;'>0.335</td><td style='text-align: center; word-wrap: break-word;'>0.434</td></tr></table>

<div style="text-align: center;">Table 5. Body Pose Estimation/Forecasting Accuracy. Comparison with the body pose estimation/forecasting in terms of MPJPE and MPJVE. The location-based model, used as a baseline of the body pose estimation in the Ego-Exo4D, is a transformer that takes head poses as input to output the body joints. * denotes the method is not trained on the Ego-Exo4D.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Observation</td><td colspan="2">Forecasting</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJVE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJVE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Static</td><td style='text-align: center; word-wrap: break-word;'>0.357</td><td style='text-align: center; word-wrap: break-word;'>0.778</td><td style='text-align: center; word-wrap: break-word;'>0.286</td><td style='text-align: center; word-wrap: break-word;'>0.778</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Location-based [^26]</td><td style='text-align: center; word-wrap: break-word;'>0.148</td><td style='text-align: center; word-wrap: break-word;'>0.583</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoAllo [^76] $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>0.219</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoEgoForecast</td><td style='text-align: center; word-wrap: break-word;'>0.173</td><td style='text-align: center; word-wrap: break-word;'>0.651</td><td style='text-align: center; word-wrap: break-word;'>0.245</td><td style='text-align: center; word-wrap: break-word;'>0.771</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.142</td><td style='text-align: center; word-wrap: break-word;'>0.697</td><td style='text-align: center; word-wrap: break-word;'>0.221</td><td style='text-align: center; word-wrap: break-word;'>0.763</td></tr></table>

<div style="text-align: center;">Table 6. Hand Pose Estimation Accuracy. Comparison with the hand pose estimation in terms of MPJPE.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>In-view</td><td style='text-align: center; word-wrap: break-word;'>Out-of-view</td><td style='text-align: center; word-wrap: break-word;'>All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>THOR-net [^1]</td><td style='text-align: center; word-wrap: break-word;'>0.051</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>POTTER [^82]</td><td style='text-align: center; word-wrap: break-word;'>0.031</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoEgoForecast</td><td style='text-align: center; word-wrap: break-word;'>0.158</td><td style='text-align: center; word-wrap: break-word;'>0.289</td><td style='text-align: center; word-wrap: break-word;'>0.161</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.067</td><td style='text-align: center; word-wrap: break-word;'>0.206</td><td style='text-align: center; word-wrap: break-word;'>0.081</td></tr></table>

我们考虑每只手对应的超出视野样本：同一序列中左手可能在视野内，而右手却超出视野。我们

---

在表2中展示了相关结果。

假设无运动（即静止位置）或恒定速度的简单基础方法，无法捕捉手部未来运动的复杂动态。这凸显了3D手部预测任务及该数据集的挑战性。USST在手部超出视野时的表现尤其差。这表明，2D手部+3D相机姿态作为输入比单纯的3D手部数据更合适，因为后者在手部超出视野时是无法获取的。

我们提出的方法EgoH4，无论是在手部在视野内还是超出视野的场景下，其性能都优于预测手部和身体关节的基线方法EgoEgoForecast。值得注意的是，在手部在视野内的场景中，性能提升尤为显著，因为所提出的模型在观测期间融入了视觉线索，比如图像特征和2D手部位置，而基线方法不具备这些。此外，虽然EgoEgoForecast利用身体运动信息来实现超出视野场景的预测，但我们的模型在此基础上进一步引入了观测期间每只手的视野内/外状态感知，从而获得了更高的预测精度。

除了USST外，我们还评估了手部姿态预测性能，因为该方法无法预测多个关节。EgoH4在视野内和超出视野场景下均优于基线方法。相较于EgoEgoForecast的性能提升，也印证了利用可见线索进行姿态预测的有效性。

#### 4.5. 消融分析

架构与损失函数的消融分析：本次消融研究重点关注条件输入和损失组件，以验证各模块的贡献。我们在表3中评估了手部轨迹与姿态预测性能。我们逐一移除各个组件，并与基线方法EgoEgoForecast以及完整的EgoH4模型进行对比，这些组件包括：1）可见的2D手部关节；2）图像特征；3）2D重投影损失$\mathcal{L}_{\text{reproj}}$；4）可见性损失$\mathcal{L}_{\text{vis}}$；5）身体姿态损失$\mathcal{L}_{\text{body}}$；6）观测期间的损失$\mathcal{L}_{\text{obs}}$。

如果没有2D手部关节坐标，无论是在视图内还是视图外的序列中，性能都会出现显著下降。相比之下，图像特征对性能的提升微乎其微，甚至会对视图外手部姿态预测产生轻微负面影响。2D投影损失能作为一种有效的正则化手段，进一步提升手部预测性能，这也凸显了在2D图像空间中保持观测到的手部位置与预测位置之间空间一致性的重要性。值得注意的是，若缺少我们提出的可见性损失或身体姿态损失，视图外场景下的手部轨迹预测性能会大幅下降。最后，针对观测时间戳估算并优化关节参数$\mathcal{L}_{obs}$，而非仅在预测期间优化3D关节，也能改善轨迹和姿态预测的结果。

总体而言，在整个评估数据集中，我们的完整模型在各类变体模型中表现最佳。

观测期间视图外比例的影响。我们进行了深入分析，以更好地了解观测期间手部处于视图外比例变化时模型的性能表现。设$\gamma$表示视图外比例，其计算公式为$\frac{h}{T}$，其中h为观测帧数，T为总观测帧数。为了系统分析不同视图外比例下模型的性能，我们将$\gamma$划分为若干离散区间。我们定义区间$\gamma_{(i,j)}$如下：$\gamma_{(i,j)} : 0 \leq i < \gamma \leq j \leq 1$。我们将预测精度与基线模型及我们的模型变体进行对比：即未加入可见性损失$\mathcal{L}_{\text{vis}}$和身体姿态损失$\mathcal{L}_{\text{body}}$的模型，因为这些损失项对视图外情况尤为有效。

如表4所示，在所有视图外比例区间内，所提出的方法在ADE和FDE指标上均始终优于基线和我们的模型变体。若不结合身体姿态或可见性损失进行联合优化，无论视图外比例如何，手部轨迹预测性能平均会分别下降1.8厘米/1.2厘米。这些结果表明，联合优化身体姿态与可见性感知对于提升手部预测精度至关重要。

身体姿态估计/预测。为了辅助3D手部预测，我们的方法会联合预测身体姿态。在此，我们比较了观测阶段和预测阶段我们的身体姿态估计方法与其他相关身体估计方法的性能。如表5所示，我们提出的模型优于基线模型。在根据给定的头部姿态估计身体姿态时，MPJPE指标较EgoEgoForecast提升了3厘米；在预测未来身体姿态时，该指标提升了2.4厘米。在AMASS数据集上预训练的EgoAllo [^76]的性能表明，使用自然场景中的身体运动数据进行训练是必要的。

手部姿态估计。我们在表6中报告了观测阶段的手部姿态估计性能$^{4}$。我们将其与EgoEgoForecast以及Ego-Exo4D论文中用于手部姿态估计任务的基线模型——THORnet [^1]和POTTER [^82]进行了比较。需要注意的是，这些方法仅针对观测帧进行优化，因此可以预见EgoH4在尝试预测时性能会有所下降。EgoH4的性能大幅优于EgoEgoForecast。

#### 4.6. 定性结果

在图3中，展示了Ego-Exo4D数据集上不同场景下（包括手在视野内和视野外）的手部轨迹预测的定性结果。当手在视野内时，结果表明EgoH4能够准确预测手部位置，这得益于我们将可见线索作为条件输入。而在视野外的场景中，我们的模型也能有效预测未来的手部轨迹。图3中展示了一个失败案例：

---

![Image](images/e037edaad9b3e9b4952693f65bb8e254efb15432726b588dfe26f62b9e5af87e.jpg)

<div style="text-align: center;">Figure 3. Qualitative results for hand trajectory forecasting. We show sample qualitative results compared to our best-performing baseline across activities: cooking, covid testing, basketball, and dance exercises. Dots in red, green, blue, purple, and orange represent the prediction of left/right future hands, ground-truth of left/right hands, and the prediction of body joints at the last observable frame, respectively. For each track, darker colors indicate later times.</div>

![Image](images/c9124f35f5a307ebdb99ed7c29b063f1a6b71546c81a1ef2fc5517d585337397.jpg)

<div style="text-align: center;">Figure 4. Qualitative results for hand pose forecasting. We show two in-view cases, a bike repair and piano playing scene, in the first row and one out-of-view case, a cooking scene, in the second row. Dots in red and green denote the prediction and ground truth, respectively. Note that we expand the image plane so that we can also show the out-of-view hands.</div>

该案例显示真实身体姿态向后移动，而预测的身体姿态却停留在原处。这一情况揭示了一个局限性：身体姿态预测中的显著误差会对手部预测精度产生负面影响。

我们在图4中可视化了手部姿态预测结果，并将其重新投影到二维图像上。第一行展示了我们的方法正确估计并预测手部关节的能力。第二行展示了一个有趣的案例：观察过程中右手进入视野。预测结果显示右手会拿起一个碗并用双手对其进行操作。这证明了我们的方法通过利用身体运动来处理视野外场景的能力。

### 5. 结论

结论：我们首次探索了即使手部在观察期间部分或完全不可见时的以自我为中心的3D手部位置和姿态预测问题。我们提出了EgoH4——一种基于扩散的Transformer模型，它能够根据头部姿态、2D手部位置（若可见）以及图像特征来去除身体和手部关节的噪声。利用身体运动的相关知识能够提升我们对不可见手部的估计/预测能力，进而提高手部预测精度。此外，我们采用了3D到2D的投影损失来保证预测的一致性，并引入可见性损失来赋予模型对视野外情况的感知能力。我们在Ego-Exo4D数据集上评估了所提出的方法，结果显示其在视野内和视野外序列上的预测精度均有显著提升。

局限性与未来工作：当手部不可见时，我们的模型主要依赖身体关节信息来估计和预测3D手部位置。这种情况可能存在歧义——相同的输入可能导致手部处于不同位置，比如身体侧面或背后。虽然扩散模型能够生成这两种可能性，但当评估阶段的身体运动分布与训练阶段不同时，模型性能会有所下降。这是预测任务评估中已知的局限性，我们将把相关研究留给未来的工作。

---

## 致谢

M Hatano的研究得到了日本学术振兴会海外青年研究者挑战计划、JST BOOST项目、日本科研资助编号JPMJBS2409以及天野技术研究所的支持。Z Zhu的研究得到了布里斯托大学与中国国家留学基金委联合奖学金的支持。D Damen的研究得到了EPSRC Fellowship UMPIRE（项目编号EP/T004991/1）的支持。

## 参考文献

[^1]: Ahmed Tawfik Aboukhadra, Jameel Malik, Ahmed Elhayek, Nadia Robertini, and Didier Stricker. Thor-net: End-to-end graformer-based realistic two hands and object reconstruction with self-supervision. In WACV, 2023. 6, 7

[^2]: Hiroyasu Akada, Jian Wang, Soshi Shimada, Masaki Taka-hashi, Christian Theobalt, and Vladislav Golyanik. Unrealego: A new dataset for robust egocentric 3d human motion capture. In ECCV, 2022. 1, 3

[^3]: Wentao Bao, Lele Chen, Libing Zeng, Zhong Li, Yi Xu, Junsong Yuan, and Yu Kong. Uncertainty-aware state space transformer for egocentric 3d hand trajectory forecasting. In ICCV, 2023. 1, 2, 5, 6

[^4]: Zhe Cao, Hang Gao, Karttikeya Mangalam, Qi-Zhi Cai, Minh Vo, and Jitendra Malik. Long-term human motion prediction with scene context. In ECCV, 2020. 2

[^5]: Angela Castillo, Maria Escobar, Guillaume Jeanneret, Albert Pumarola, Pablo Arbeláez, Ali Thabet, and Artsiom Sanakoyeu. Bodiffusion: Diffusing sparse observations for full-body human motion synthesis. In ICCV, 2023. 1,3

[^6]: Ling-Hao Chen, Jiawei Zhang, Yewen Li, Yiren Pang, Xiaobo Xia, and Tongliang Liu. Humanmac: Masked motion completion for human motion prediction. In ICCV, 2023. 2

[^7]: Tianyi Cheng, Dandan Shan, Ayda Hassen, Richard Higgins, and David Fouhey. Towards a richer 2d understanding of hands at scale. In NeurIPS, 2023. 2

[^8]: Seunggeun Chi, Pin-Hao Huang, Enna Sachdeva, Hengbo Ma, Karthik Ramani, and Kwonjoon Lee. Estimating ego-body pose from doubly sparse egocentric video data. In NeurIPS, 2024. 3

[^9]: Rohan Choudhury, Kris M Kitani, and László A Jeni. Tempo: Efficient multi-view pose estimation, tracking, and forecasting. In ICCV, 2023. 1

[^10]: MMPose Contributors. Openmmlab pose estimation toolbox and benchmark. <https://github.com/openmmlab/mmpose>, 2020. 2

[^11]: Hanz Cuevas-Velasquez, Charlie Hewitt, Sadegh Aliakbarian, and Tadas Baltrušaitis. Simpleego: Predicting probabilistic body pose from egocentric cameras. In 3DV, 2024.

[^12]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. Epic-kitchens visor benchmark: Video segmentations and object relations. In NeurIPS, 2022. 2

[^13]: Christian Diller, Thomas Funkhouser, and Angela Dai. Futurehuman3d: Forecasting complex long-term 3d human behavior from video observations. In CVPR, 2024. 2

[^14]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David Crandall. Hope-net: A graph-based model for hand-object pose estimation. In CVPR, 2020. 2

[^15]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. ICLR, 2021. 4

[^16]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, Cheng Peng, Chris Sweeney, Cole Wilson, and et al. Project aria: A new tool for egocentric multi-modal ai research. arXiv preprint arXiv:2308.13561, 2023. 3

[^17]: Maria Escobar, Juanita Puentes, Cristhian Forigua, Jordi Pont-Tuset, Kevis-Kokitsi Maninis, and Pablo Arbeláez. Egocast: Forecasting egocentric human pose in the wild. In WACV, 2025. 1, 3

[^18]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xuanyang Zhang, Xue Zhang, et al. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In ECCV, 2024. 2

[^19]: Antonino Furnari and Giovanni Maria Farinella. What would you expect? anticipating egocentric actions with rolling-unrolling lstms and modality attention. In ICCV, 2019. 1

[^20]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 2

[^21]: Rohit Girdhar and Kristen Grauman. Anticipative video transformer. In ICCV, 2021. 1

[^22]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. Humans in 4D: Reconstructing and tracking humans with transformers. In ICCV, 2023. 1

[^23]: Gabriele Goletto, Tushar Nagarajan, Giuseppe Averta, and Dima Damen. Amego: Active memory from long egocentric videos. In ECCV, 2024. 2

[^24]: Mohit Goyal, Sahil Modi, Rishabh Goyal, and Saurabh Gupta. Human hands as probes for interactive object understanding. In CVPR, 2022. 2

## [^25]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abraham Gebreselasie, Cristina González, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolár, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will

---

Price, Paola Ruiz, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Ziwei Zhao, Yunyi Zhu, Pablo Arbeláez, David Crandall, Dima Damen, Giovanni Maria Farinella, Christian Fuegen, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyu Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, 和 Jitendra Malik. Ego4d: Around the world in 3,000 hours of egocentric video. 发表于CVPR, 2022. 5

[^26]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, and et al. Ego-exo4d: Understanding skilled human activity from first- and third-person perspectives. In CVPR, 2024. 2, 5, 6

[^27]: Adam W. Harley, Zhaoyuan Fang, and Katerina Fragkiadaki. Particle video revisited: Tracking through occlusions using point trajectories. In ECCV, 2022. 4

[^28]: Masashi Hatano, Ryo Hachiuma, Ryo Fujii, and Hideo Saito. Multimodal cross-domain few-shot learning for egocentric action recognition. In ECCV, 2024. 1

[^29]: Masashi Hatano, Ryo Hachiuma, and Hideo Saito. Emag: Ego-motion aware and generalizable 2d hand forecasting from egocentric videos. In ECCV Workshop, 2024. 1, 2, 5

[^30]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020. 4

[^31]: Zhiming Hu, Zheming Yin, Daniel Haeufle, Syn Schmitt, and Andreas Bulling. Hoimotion: Forecasting human motion during human-object interactions using egocentric 3d object bounding boxes. IEEE Transactions on Visualization and Computer Graphics, 30(11):7375–7385, 2024. 2

[^32]: Wenqi Jia, Miao Liu, and James M. Rehg. Generative adversarial network for future hand segmentation from egocentric video. In ECCV, 2022. 2

[^33]: Jiaxi Jiang, Paul Streli, Manuel Meier, and Christian Holz. Egoposer: Robust real-time egocentric pose estimation from sparse and intermittent observations everywhere. In ECCV, 2024. 3

[^34]: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, and Christian Rupprecht. Cotracker: It is better to track together. In ECCV, 2024. 4

[^35]: Rawal Khirodkar, Aayush Bansal, Lingni Ma, Richard Newcombe, Minh Vo, and Kris Kitani. Ego-humans: An egocentric 3d multi-human benchmark. In ICCV, 2023. 1

[^36]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 5

[^37]: Jiaman Li, Karen Liu, and Jiajun Wu. Ego-body pose estimation via ego-head pose estimation. In CVPR, 2023. 1, 3, 4, 6

[^38]: Maosen Li, Siheng Chen, Zijing Zhang, Lingxi Xie, Qi Tian, and Ya Zhang. Skeleton-parted graph scattering networks for 3d human motion prediction. In ECCV, 2022. 2

[^39]: Yiming Li, Ziang Cao, Andrew Liang, Benjamin Liang, Luoyao Chen, Hang Zhao, and Chen Feng. Egocentric prediction of action target in 3d. In CVPR, 2022. 5

[^40]: Miao Liu, Siyu Tang, Yin Li, and James M Rehg. Forecasting human-object interaction: joint prediction of motor attention and actions in first person video. In ECCV, 2020. 1,2

[^41]: Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In CVPR, 2022. 1, 2

[^42]: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, and Kris Kitani. Dynamics-regulated kinematic policy for egocentric pose estimation. In NeurIPS, 2021. 3, 4

[^43]: Junyi Ma, Xieyuanli Chen, Wentao Bao, Jingyi Xu, and Hesheng Wang. Madiff: Motion-aware mamba diffusion models for hand trajectory prediction on egocentric videos. arXiv preprint arXiv:2409.02638, 2024. 1, 2

[^44]: Junyi Ma, Jingyi Xu, Xieyuanli Chen, and Hesheng Wang. Diff-ip2d: Diffusion-based hand-object interaction prediction on egocentric videos. arXiv preprint arXiv:2405.04370, 2024. 1, 2

[^45]: Tiezheng Ma, Yongwei Nie, Chengjiang Long, Qing Zhang, and Guiqing Li. Progressively generating better initial guesses towards next stages for high-quality human motion prediction. In CVPR, 2022. 2

[^46]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. In ICCV, 2019. 6

[^47]: Wei Mao, Miaomiao Liu, and Mathieu Salzmann. Generating smooth pose sequences for diverse human motion prediction. In ICCV, 2021. 2

[^48]: Lea Müller, Vickie Ye, Georgios Pavlakos, Michael Black, and Angjoo Kanazawa. Generative proxemics: A prior for 3d social interaction from images. In CVPR, 2024. 1

[^49]: Tushar Nagarajan, Santhosh Kumar Ramakrishnan, Ruta Desai, James Hillis, and Kristen Grauman. Egoenv: Human-centric environment representations from egocentric video. In NeurIPS, 2023. 2

[^50]: Evonne Ng, Donglai Xiang, Hanbyul Joo, and Kristen Grauman. You2me: Inferring body pose in egocentric video via first and second person interactions. In CVPR, 2020. 3

[^51]: Yeounguk Oh, JoonKyu Park, Jaeha Kim, Gyeongsik Moon, and Kyoung Mu Lee. Recovering 3d hand mesh sequence from a single blurry image: A new dataset and temporal unfolding. In CVPR, 2023. 2

[^52]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In CVPR, 2022.

[^53]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 2

[^54]: Hamed Pirsiavash and Deva Ramanan. Detecting activities of daily living in first-person camera views. In CVPR, 2012. 1

### [^55]: Chiara Plizzari, Toby Perrett, Barbara Caputo, and Dima Damen. What can a cook in italy teach a mechanic in india? action recognition generalisation over scenarios and locations. In ICCV, 2023

---

[^56]: Yair Poleg, Ariel Ephrat, Shmuel Peleg, and Chetan Arora. Compact cnn for indexing egocentric videos. In WACV, 2016. 1

[^57]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In ECCV, 2024. 2

[^58]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J Guibas. Humor: 3d human motion model for robust pose estimation. In ICCV, 2021. 1

[^59]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In ICCV Workshop, 2021. 2

[^60]: Debaditya Roy, Ramanathan Rajendiran, and Basura Fernando. Interaction region visual transformer for egocentric action anticipation. In WACV, 2024. 1

[^61]: Christoph Schöller, Vincent Aravantinos, Florian Lay, and Alois Knoll. What the constant velocity model can teach us about pedestrian motion prediction. IEEE Robotics and Automation Letters (RA-L), 5(2):1696–1703, 2020. 6

[^62]: F. Sener, D. Chatterjee, D. Shelepov, K. He, D. Singhania, R. Wang, and A. Yao. Assembly101: A large-scale multiview video dataset for understanding procedural activities. In CVPR, 2022. 2

[^03]: Dandan Snan, Jiaqi Geng, Micacne Snu, and David Founey. Understanding human hands in contact at internet scale. In CVPR, 2020. 2

[^64]: Bowen Tang, Kaihao Zhang, Wenhan Luo, Wei Liu, and Hongdong Li. Prompting future driven diffusion model for hand motion prediction. In ECCV, 2024. 1, 2

[^65]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 1

[^66]: Sanket Thakur, Cigdem Beyan, Pietro Morerio, Vittorio Murino, and Alessio Del Bue. Leveraging next-active objects for context-aware anticipation in egocentric videos. In WACV, 2024. 1

[^67]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017. 4

[^68]: Jian Wang, Lingjie Liu, Weipeng Xu, Kripasindhu Sarkar, and Christian Theobalt. Estimating egocentric 3d human pose in global space. In ICCV, 2021. 1, 3

[^69]: Jian Wang, Zhe Cao, Diogo Luvizon, Lingjie Liu, Kripasindhu Sarkar, Danhang Tang, Thabo Beeler, and Christian Theobalt. Egocentric whole-body motion capture with fisheyevit and diffusion-based motion refinement. In CVPR, 2024. 3

[^70]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In ICCV, 2023. 2

[^71]: Yu Wu, Linchao Zhu, Xiaohan Wang, Yi Yang, and Fei Wu. Learning to anticipate egocentric actions by imagination. IEEE Transactions on Image Processing, 30:1143–1152, 2020. 1

[^72]: Haitao Yan, Qiongjie Cui, Jiexin Xie, and Shijie Guo. Forecasting of 3d whole-body human poses with grasping objects. In CVPR, 2024. 2

[^73]: Ji Yang, Youdong Ma, Xinxin Zuo, Sen Wang, Minglun Gong, and Li Cheng. 3d pose estimation and future motion prediction from 2d images. Pattern Recognition, 124:108439, 2022. 2

[^74]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In CVPR, 2023. 1

[^75]: Yufei Ye, Xueting Li, Abhinav Gupta, Shalini De Mello, Stan Birchfield, Jiaming Song, Shubham Tulsiani, and Sifei Liu. Affordance diffusion: Synthesizing hand-object interactions. In CVPR, 2023. 2

[^76]: Brent Yi, Vickie Ye, Maya Zheng, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. arXiv preprint arXiv:2410.03665, 2024. 3, 4, 6, 7

[^77]: Ye Yuan and Kris Kitani. 3d ego-pose estimation via imitation learning. In ECCV, 2018. 1

[^78]: Ye Yuan and Kris Kitani. Ego-pose estimation and forecasting as real-time pd control. In ICCV, 2019. 1, 3, 4

[^79]: Lingzhi Zhang, Shenghao Zhou, Simon Stent, and Jianbo Shi. Fine-grained egocentric hand-object segmentation: Dataset, model, and applications. In ECCV, 2022. 2

[^80]: Siwei Zhang, Qianli Ma, Yan Zhang, Zhiyin Qian, Taein Kwon, Marc Pollefeys, Federica Bogo, and Siyu Tang. Ego-body: Human body shape and motion of interacting people from head-mounted devices. In ECCV, 2022. 3

[^81]: Siwei Zhang, Qianli Ma, Yan Zhang, Sadegh Aliakbarian, Darren Cosker, and Siyu Tang. Probabilistic human mesh recovery in 3d scenes from egocentric views. In ICCV, 2023.

[^82]: Ce Zheng, Xianpeng Liu, Guo-Jun Qi, and Chen Chen. Potter: Pooling attention transformer for efficient human mesh recovery. In CVPR, 2023. 6,7

#### [^83]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019. 4

---

## 不可见的手部：通过自我身体姿态估计实现3D手部预测

补充材料

<div style="text-align: center;">Table 7. Balancing Hyperparameters. We conduct an ablation study on the loss weights for the reprojection loss and visibility loss, and report the hand trajectory and pose forecasting accuracy in terms of ADE and MPJPE, respectively.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="3">(a) $\lambda_{reproj}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\lambda_{reproj}$</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>0.262</td><td style='text-align: center; word-wrap: break-word;'>0.125</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.05</td><td style='text-align: center; word-wrap: break-word;'>0.261</td><td style='text-align: center; word-wrap: break-word;'>0.115</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.01</td><td style='text-align: center; word-wrap: break-word;'>0.262</td><td style='text-align: center; word-wrap: break-word;'>0.123</td></tr></table>

 $$ \lambda_{vis} $$

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>$\lambda_{vis}$</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1.0</td><td style='text-align: center; word-wrap: break-word;'>0.275</td><td style='text-align: center; word-wrap: break-word;'>0.121</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.1</td><td style='text-align: center; word-wrap: break-word;'>0.261</td><td style='text-align: center; word-wrap: break-word;'>0.115</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0.01</td><td style='text-align: center; word-wrap: break-word;'>0.273</td><td style='text-align: center; word-wrap: break-word;'>0.124</td></tr></table>

### A. 其他实现细节

我们采用ViT-Small作为视觉编码器，因此图像特征的维度$d_{img}$为384。至于每个时间步的标记维度$d_z$，我们将其设为512；Transformer的层数和注意力头数则分别设为4和8。

#### B. 其他评估结果

平衡超参数。我们开展了消融研究，以分析重投影损失$\mathcal{L}_{\text{reproj}}$与可见性损失$\mathcal{L}_{\text{vis}}$的平衡超参数对手部预测精度的影响。我们在预定义范围内系统调整各平衡超参数的值：$\lambda_{\text{reproj}}$的取值范围为0.01到0.5，$\lambda_{\text{vis}}$的取值范围为0.01到1.0。我们每次仅调整一个超参数，其余超参数则保持默认值不变：$\mathcal{L}_{\text{reproj}}$和$\mathcal{L}_{\text{vis}}$的默认值分别为0.05和0.1。

我们在表7中报告了所提模型在不同超参数下的手部轨迹与姿态预测精度（以ADE和MPJPE衡量）。这一消融分析揭示了平衡这些超参数对于实现最优手部预测精度的重要性。具体而言，较低的$\lambda_{reproj}$值会降低模型对2D输入与3D输出之间一致性的依赖程度，从而导致与可见的2D手部输入的空间对齐效果较差。相反，较高的$\lambda_{reproj}$值会过度强调重投影精度，致使模型忽略正确的3D深度（即与相机的距离）估计，进而产生次优的预测结果。就可见性损失的权重而言，较高的值会降低预测性能，因为它与手部预测并无直接关联；而较低的值则会削弱模型的视内/视外感知能力，同样会导致性能下降。

各时间步的手部预测精度。我们在图5中报告了每个未来时间步的手部轨迹与姿态预测精度。总体而言，EgoH4在手部轨迹和姿态预测任务的所有未来时间步上均优于EgoEgoForecast基线模型。具体而言，在手部姿态预测方面，基线模型与EgoH4的差距在早期未来时间步最为明显，因为EgoH4能够利用可见的2D手部位置来实现更精准的手部姿态估计。在手部轨迹预测任务中，我们的模型通过有效考虑观测期间的视内或视外情况，始终表现出优于基线的性能。

![Image](images/2f176840908a7b53760fc4a01254730eabf68c994e493fd8dc051103a337c150.jpg)

<div style="text-align: center;">(a) Per-timestep hand trajectory forecasting accuracy.</div>

![Image](images/12a7a47922fc9405d15c6cf0644a6e6bbb45cfdf7bb47d74a82730935f7ef91a.jpg)

<div style="text-align: center;">(b) Per-timestep hand pose forecasting accuracy.</div>

<div style="text-align: center;">Figure 5. Per-timestep Hand Forecasting Accuracy. We report the hand trajectory forecasting accuracy in ADE and hand pose forecasting accuracy in MPJPE for every future timestep. Lines in blue and orange represent the performance of our model and the EgoEgoForecast baseline, respectively.</div>

EgoEgoForecast基线模型在手部轨迹和姿态预测任务的所有未来时间步上均被超越。具体而言，在手部姿态预测方面，基线模型与EgoH4的差距在早期未来时间步最为明显，因为EgoH4能够利用可见的2D手部位置来实现更精准的手部姿态估计。在手部轨迹预测任务中，我们的模型通过有效考虑观测期间的视内或视外情况，始终表现出优于基线的性能。