# EggHand：一种用于中心视角手部姿态预测的多模态基础模型

崔载永 $^{*}$、金贤东 $^{*}$、金裕珍、朴大熙 $^{\dagger}$

韩国DGIST

{cjyoung, hdkim, yujin2110, dhpark}@dgist.ac.kr

## 摘要

从中心视角的视频中预测未来的3D手部姿态序列，对于理解人类意图以及实现AR/VR辅助、人机交互等具身应用而言至关重要。然而，这一任务仍极具挑战性：因为中心视角的手部运动受复杂的人类意图驱动，具有极高的灵巧性，且会因自身运动而产生剧烈的视角变化。在本研究中，我们提出了EggHand——一种基于基础模型的中心视角手部姿态预测框架，它将多模态语义推理与动态运动建模统一起来。我们的方法结合了视觉-语言-动作（VLA）模型中的动作解码器（用于捕捉手部运动的结构化时间动态）以及中心视角视频-文本编码器（从大规模第一人称视频中学习得到具备视角感知能力的上下文信息）。这些组件共同克服了通用视觉编码器在自身运动下的脆弱性问题，无需依赖身体姿态或外部追踪技术，就能实现对运动、上下文及高层意图的联合推理。在EgoExo4D数据集上的实验表明，EggHand在预测精度上创造了新的最优水平，在剧烈自身运动下仍能保持鲁棒性，还能通过基于语言的任务提示实现可控预测。项目页面：<https://jyoun9.github.io/EggHand>

### 1. 引言

中心视角手部姿态预测旨在根据第一人称观测结果，预测关节化的3D手部姿态随时间的变化情况。这种能力对于理解人类意图、预判未来互动以及实现AR/VR辅助、人机协作等具身应用而言至关重要 [^10] [^18]。因此，从中心视角的视频中预测手部的3D运动是一项

![Image](images/558954d61a5249c18439e568ab12b51b36c2c0a28a7fedd6da7b2bc5f5ed63fb.jpg)

指令：“从左到右平滑地弹奏钢琴键。”

<div style="text-align: center;">Figure 1. Overview of EggHand, the proposed framework for language-conditioned 3D hand pose forecasting. The model forecasts future 3D hand poses conditioned on past 3D hand positions, the input video, and text instructions. The hand pose forecasting visualization overlays the forecasted poses onto the 2D video frames for qualitative evaluation.</div>

具身智能系统主动规划的关键前提 [^21] [^37]。该问题仍颇具挑战性，因为中心视角的手部姿态反映了复杂的人类意图、高度灵巧的运动，以及由自身运动引发的持续变化的视角 [^20] [^21] [^26]。

近期的研究通过建模视觉动态、手-物体交互或全身线索，探索了中心视角手部预测问题 [^27] [^50]。EMAG [^20] 引入了运动感知学习机制，以稳定相机运动下的2D轨迹预测；而EgoH4 [^21] 则利用身体姿态估计来推断未来的3D手部姿态，即便手部不可见时也能实现预测。其他基于Transformer的方法能够捕捉时间连续性和接触推理信息，从而预测未来的手势或互动 [^3] [^22] [^24] [^47]。尽管这些方法提升了短期预测精度，但它们仍受限于特定任务的训练要求以及较差的

---

能够在不同环境中实现泛化。尤其是，大多数模型依赖低层次的运动线索，却并未显式建模驱动手部姿态演变的高层次语义或人类意图。一些方法甚至假设能获取不切实际的输入，比如全身姿态、3D跟踪数据或人工提供的交互线索。

为克服这些局限，我们采用了具备强大多模态推理能力的基础模型。受此启发，我们推出了EggHand（见图1）——一款用于中心视角手部姿态预测的多模态基础模型。

尽管在轨迹预测等运动预测领域[^15] [^16]，近期已开始采用基础模型来实现具有泛化能力的时空推理，但这类方法尚未被应用于中心视角的3D手部姿态预测。现有研究通常将视觉语言模型（VLM）用作2D轨迹预测的解码器[^2] [^23] [^48]。然而，与低维度的2D轨迹不同，手部姿态涉及高维度的关节动力学以及严格的运动学约束，因此直接复用通用的VLM解码器来实现精准的手部姿态预测颇具挑战性[^3] [^45]。为此，我们没有采用通用的VLM解码器，而是复用了视觉-语言-动作（VLA）模型中的动作解码器；该解码器经过预训练，能够生成符合物理规律的动作轨迹，并能捕捉动作随时间的变化规律[^5] [^6] [^52]。不过，现有的VLA模型并未针对中心视角场景进行优化——在此类场景中，自身运动会导致视角以及手与物体间的空间关系不断变化。为解决这一问题，我们引入了中心视角视频-文本基础编码器，它能从大规模第一人称视频数据集中学习到具备视角感知能力的上下文表征[^18] [^19] [^28]。这种设计让EggHand能够将中心视角的视觉上下文与基于动作的解码机制相结合，而非仅仅依赖低层次的运动线索。

最后，我们提出了一种几何感知的训练目标，它将多模态嵌入与基于物理规律的3D手部监督信息相融合。我们的损失函数同时强制满足以下三点：(i) 以手腕为参照的空间对齐；(ii) 关节间的几何一致性；(iii) 未来预测的时间连贯性。这一设计直接针对中心视角手部姿态预测中常见的失效模式，比如自身运动导致的全局偏移、不符合解剖学规律的姿态以及时间上不稳定的轨迹，从而能够在各种交互场景下生成稳定且逼真的预测结果。

我们在真实的EgoExo4D数据集[^19]上验证了该方法，结果显示其在预测精度与泛化能力方面均优于以往的方法。即便在自身运动幅度较大的情况下，该方法依然表现稳健；此外，通过任务级别的提示词调节，它还能实现可控的手部姿态生成。这为AR/VR及机器人领域的更广泛应用开辟了可能性。

我们的贡献可总结如下：

• 我们提出了一种新型基础模型，它将VLA动作解码器与中心视角视频-文本编码器相结合，形成了一种对自身运动具有鲁棒性、且能同时理解高层次场景语义与3D手部姿态复杂动力学的统一模型。

- 我们提出了一种几何感知的训练目标，它同时优化了绝对姿态精度、以手腕为基准的相对稳定性以及手部内部的几何一致性，从而在中心视角场景下生成稳定且符合解剖学规律的手部姿态预测结果。

- 我们证明，我们的方法在真实世界的以眼为中心数据集（EgoExo4D）上取得了最先进的性能，并且还能支持由高层任务提示驱动的可控手部姿态预测。

### 2. 相关工作

#### 2.1. 人体运动理解

人体运动理解是计算机视觉与机器人领域的一个基础性问题，旨在建模人类在物理世界中的感知、行动和交互方式 [^1] [^36] [^51]。该领域的研究沿着两个互补的方向推进：语义动作理解与几何运动建模。语义类方法侧重于预测一个人的意图，例如从视觉和上下文线索中识别或预判未来动作 [^13] [^32] [^40] [^46]。而几何类方法则建模身体或手部在空间中的运动方式，估算关节姿态、二维轨迹或三维运动模式 [^9] [^29] [^30] [^34] [^39] [^43]。这两种视角分别捕捉了人类行为的不同方面——语义解释了动作发生的原因，而几何描述了动作的展开过程。要实现全面的人体运动预测，必须整合这两种视角，同时推理驱动动作的意图以及随时间实现该动作的物理动力学 [^14] [^17] [^42]。近期的研究进一步强调了语言等多模态线索的重要性。不过，大多数这类方法都是在第三人称场景下运行的，通常基于全身骨骼或粗略轨迹。在本研究中，我们在以眼为中心的手部姿态层面实现了这一视角，其中细微的手指运动与强烈的视角变化使得意图与运动学之间的关联尤为棘手。

#### 2.2. 以眼为中心的手部运动预测

基于上述理念，近期研究开始探索以眼为中心的手部运动预测，即预测人类手部在第一人称视频中的运动方式 [^12] [^25] [^33]。EMAG [^20] 通过基于单应性的表示方法解决自身运动补偿问题，并利用光流和物体轨迹等多种模态来提升跨场景泛化能力。EgoH4 [^21] 则

---

利用自身身体姿态估计来预测三维手部位置，即便在观察期间手部不在视野内也能实现预测。虽然这些方法能够捕捉短期动态与空间一致性，但在推理人类意图或语义上下文方面仍存在局限。许多方法依赖低层次的运动特征或手工设计的先验知识，这导致其在新活动或新环境下的泛化能力有限。在以眼为中心的场景中，频繁的视角变化与复杂的交互进一步加剧了这些挑战 [^37]。为克服这些局限，手部运动预测应被视作一个语境推理问题，将低层次的运动与高层次的人类目标及环境语境联系起来。

#### 2.3. 用于运动与具身预测的基础模型

MotionGPT [^49]和GR00T [^5]等方法表明，基础模型能够生成语义上合理的运动输出。在轨迹预测领域，OmniTraj [^16]证明：通过在异构轨迹数据上进行预训练，并加入显式的时间条件约束，就能实现跨不同帧率数据集的零样本迁移。

近期在运动理解方面的进展引入了基础模型——尤其是视觉语言模型（VLM）——来提升模型的泛化能力和语义推理能力 [^38] [^52]。

不过，这些模型主要聚焦于全身或智能体层面的运动，忽略了手部场景中特有的精细灵巧动作和视角变化特征。此外，大多数模型仅依赖视觉-语言对齐机制，并未显式编码动作的动态结构。另一类相关研究则尝试将VLM和LLM用作二维轨迹预测及具身决策的解码器：语言提示用于指定目标，模型则输出粗略的未来路径。虽然这类系统能借助强大的语义先验，但其解码器既无法遵循手部的关节运动学规律，也无法在剧烈自身运动和遮挡情况下保持稳定性。为填补这些空白，我们的工作结合了GR00T [^5]中的动作解码器——它能捕捉复杂的运动动态，以及EgoVideo [^35]中的第一人称视频-文本编码器——它从大规模第一人称数据中学习到了具备视角感知能力的上下文信息。

### 3. 方法

#### 3.1. 问题定义

我们研究基于第一人称视频的手部运动预测问题。设$T_{obs}$为观测时长，$T_{fut}$为预测时长。观测帧的时间索引为$t \in \{-T_{obs}, \ldots, 0\}$，未来帧的时间索引为$t \in \{1, \ldots, T_{fut}\}$。

设$\mathcal{J}$为手部关键点集合，其中共有$|\mathcal{J}| = J$个关键点。多模态输入为

 $$ \mathcal{X}=\big\{I_{-T_{\mathrm{o b s}}:0},\mathrm{\bf~P}_{-T_{\mathrm{o b s}}:0},c\big\}, $$

其中$I_t$表示时刻t的RGB帧，$\mathbf{P}_{-T_{\mathrm{obs}}:0} \in \mathbb{R}^{(T_{\mathrm{obs}}+1) \times J \times 3}$表示过去的手部运动，包含$\mathbf{P}_t = (\mathbf{p}_{1,t}, \ldots, \mathbf{p}_{J,t})$和$\mathbf{p}_{j,t} \in \mathbb{R}^3$，c则为对场景的文字描述。

所有三维手部姿态均采用归一化的第一人称基准坐标系来表示，这一做法参考了EgoH4 [^21]的方法。

我们通过对应的相机姿态对世界坐标下的姿态进行变换，从而将所有关节相对于首个观测帧的位置表示出来。这种标准化处理消除了全局运动的影响，同时保留了手部关节运动的固有结构。

我们的模型直接在该基准第一人称空间中预测未来的姿态，无需再转换回全局坐标系。

输出即为未来的手部运动张量

 $$ \begin{array}{r}{Y=\mathbf{P}_{1:T_{\mathrm{f u t}}}\in\mathbb{R}^{T_{\mathrm{f u t}}\times J\times3},\quad\mathbf{P}_{t}=\big(\mathbf{p}_{1,t},\ldots,\mathbf{p}_{J,t}\big).}\end{array} $$

我们学习条件模型$\theta$的参数$f_{\theta}$，该模型以$\mathcal{X}$中编码的环境和上下文信息为输入，预测出与真实轨迹一致、且与文字描述c语义相符的未来手部运动Y。实际训练中采用有监督的数据对$(\mathcal{X}, \hat{Y})$，以逐点三维关节误差（如MPJPE）作为主要优化信号。关键在于，第一人称图像流中存在剧烈的自身运动和频繁的视角变化，这会导致通用视觉编码器表现不稳定；因此我们采用了具备视角感知能力的第一人称视频-文本编码器来获取上下文信息，同时采用类VLA的动作解码器来在预测过程中保留动作结构。

#### 3.2. 概述

鉴于第3.1节中提到的问题，我们的方法从两个具有不同预训练目标的基础模型中提取互补知识：一个用于感知视角上下文的以自我为中心的视频-文本编码器（EgoVideo）[^35]，以及一个用于生成结构化动作指令的视觉-语言-动作解码器（GR00T）[^5]。该方法包含两大支柱：一是构建编码器与动作解码器之间的清晰接口的交叉模型融合机制（见第3.3节）；二是设计能够在保持以自我为中心的稳定性同时对齐语义与未来3D手部运动的训练目标（见第3.4节）。

#### 3.3. 交叉模型融合

如图2所示，我们的设计思路分为两点：(i) 以自我为中心的视频流存在严重的自身运动以及快速的视角变化问题，通用的视觉编码器在此类场景下表现脆弱。为解决这一问题，以自我为中心的视频-文本编码器（EgoVideo）能够提供在视角变化下依然稳定的、具备视角感知能力的上下文信息。(ii) 未来的手部运动具有结构化特征且由语义驱动。因此，GR00T解码器能够保留动作的时间结构，并实现基于文本的控制。通过将这两个组件相结合

---

![Image](images/f4d024529755ccec2cc7add71bec4063763ae868b47c5384d36058c467240c37.jpg)

<div style="text-align: center;">Figure 2. Framework of the proposed VLA architecture. The EgoVideo VLM extracts embeddings from both video and text, and the GR00T action decoder predicts the hand pose. During training, the model is optimized with our proposed loss functions.</div>

##### 3.3.1. 以自我为中心的视频-文本编码器

借助交叉模型融合层，我们便得到了一种既能感知视角又能保持动作连贯性的以自我为中心的手部运动预测框架。

我们保持EgoVideo编码器不变，主要通过轻量级适配器和交叉注意力层来对基于GR00T的动作解码器进行微调。这样既能保留两个预训练组件的泛化能力，又能让融合层专门针对以自我为中心的3D手部姿态预测任务进行优化。

以自我为中心的视频往往涉及不稳定或快速移动的摄像头，且包含复杂的手-物体交互细节。尽管近期的视觉-语言模型在众多视频任务中展现出强大的泛化能力，但它们并未针对以自我为中心的视频场景进行专门优化。为解决这一问题，我们采用了EgoVideo模型——一种在大规模以自我为中心数据集上预训练的基础视觉-语言模型。EgoVideo能提供具备视角感知能力的视觉表征，且在多个以自我为中心的视频基准测试中表现优异，因此非常适合我们的应用场景。

给定输入的以自我为中心的视频

 $$ I_{-T_{\mathrm{o b s}}:0}\in\mathbb{R}^{B\times C\times T_{v}\times H\times W}, $$

EgoVideo视觉编码器会生成潜在的视觉表征

 $$ V=f_{v}\bigl(I_{-T_{\mathrm{o b s}}:0}\bigr)\in\mathbb{R}^{B\times L_{\mathrm{r a w}}\times D_{v}}. $$

文本描述c则由EgoVideo文本编码器进行处理：

 $$ T=f_{t}(c)\in\mathbb{R}^{B\times L_{t}\times D_{t}}. $$

文本可以通过从$I_{-T_{\mathrm{obs}}:0}$中采样代表性帧，并利用基础模型（如GPT-4o-mini）生成描述以自我为中心场景的多模态指令来获得。这样一来，视觉-语言-动作模型就能直接从视频中获取与意图对齐的语义线索。

通过轻量级适配器，两种数据流被投影到共享的潜在空间中：

 $$ \tilde{V}=V W_{v}+b_{v},\quad\tilde{T}=T W_{t}+b_{t}, $$

其中$W_v \in \mathbb{R}^{D_v \times D}$和$W_t \in \mathbb{R}^{D_t \times D}$。随后会加入时间和位置编码：

 $$ \begin{array}{r}{\hat{V}=\tilde{V}+E_{L_{v}}^{(\mathrm{t i m e})},\qquad\hat{T}=\tilde{T}+E_{L_{t}}^{(\mathrm{p o s})}.}\end{array} $$

最终形成的多模态上下文为

 $$ C=\mathrm{C o n c a t}(\hat{V},\hat{T})\in\mathbb{R}^{B\times(L_{v}+L_{t})\times D}. $$

这个融合后的上下文C将作为下文所述的基于GR00T的视觉-语言-动作模块的输入接口。

##### 3.3.2. 视觉-语言-动作解码器

基于GR00T的视觉-语言-动作解码器会将多模态上下文C和观测到的手部状态作为输入。观测到的3D手部运动序列$\mathbf{P}_{-T_{\text{obs}};0}$已经被转换到以首次观测时刻为锚点的标准化以自我为中心坐标系中，随后通过以下方式被编码：

 $$ S=f_{s}(\mathbf{P}_{-T_{\mathrm{o b s}}:0})W_{s}+b_{s}\in\mathbb{R}^{B\times(T_{\mathrm{o b s}}+1)\times D_{s}}. $$

交叉注意力编码器会将这两种数据流整合起来：

 $$ Z=\operatorname{C r o s s A t t e n t i o n E n c o d e r}(S,C), $$

生成用于编码的 $^{r}$。

动作解码器是基于GR00T基础模型初始化的，该模型的流匹配预训练赋予了模块强大的时序动作先验。我们使用轻量级适配器，通过监督式3D关节损失对该解码器进行微调，从而得出确定性且稳定的未来手部运动预测：

 $$ \hat{\mathbf{P}}_{1:T_{\mathrm{f u t}}}=g_{\theta}(Z). $$

在训练和推理过程中，所有手部轨迹——包括输入 $\mathbf{P}_{-T_{obs}:0}$ 和输出 $\hat{\mathbf{P}}_{1:T_{fut}}$——在每个时间步都采用归一化的自我中心坐标系来表示。为了便于可视化和后续评估，所有预测的姿态都保持在训练阶段所使用的同一自我中心运动坐标系中。这种逐帧归一化策略消除了相机姿态的不确定性，使模型的预测空间与自我中心视角保持一致。

---

#### 3.4. 训练目标

虽然动作头继承了GR00T预训练中的流匹配先验，但我们的微调过程是完全监督式的，利用3D关节损失来实现稳定且符合物理规律的运动预测。

我们通过最小化一种复合损失来训练模型，以预测未来的3D手部关节轨迹；该复合损失既保证了绝对精度和相对精度，又维护了手部内部的几何一致性。为表述简便，令 $T = T_{fut}$ 表示预测时域的长度。整体的训练目标可表示为：

 $$ \mathcal{L}_{\mathrm{t o t a l}}=\lambda_{\mathrm{a b s}}\mathcal{L}_{\mathrm{a b s}}+\lambda_{\mathrm{r e l}}\mathcal{L}_{\mathrm{r e l}}+\lambda_{\mathrm{p a i r}}\mathcal{L}_{\mathrm{p a i r}}, $$

其中 $\lambda_{abs}$、$\lambda_{rel}$ 和 $\lambda_{pair}$ 分别表示各损失项的权重系数。

绝对坐标损失。绝对损失衡量的是在自我中心坐标系下，预测3D关节位置与真实值之间的逐点偏差：

 $$ \mathcal{L}_{\mathrm{a b s}}=\frac{1}{T J}\sum_{t=1}^{T}\sum_{j=1}^{J}\left\|\hat{\mathbf{p}}_{j,t}-\mathbf{p}_{j,t}\right\|_{1}. $$

该项强制所有关节在相机坐标系中实现精确的空间对齐，直接优化每个关节的位置误差（MPJPE）。

相对坐标损失。为了增强局部连贯性并抑制全局姿态漂移，我们额外引入了以手腕为中心的相对损失 [^31]：

 $$ \mathcal{L}_{\mathrm{r e l}}=\frac{1}{T J}\sum_{t=1}^{T}\sum_{j\in\mathcal{J}_{\mathrm{h a n d}}}\Big\|\left(\hat{\mathbf{p}}_{j,t}-\hat{\mathbf{p}}_{\mathrm{w r i s t},t}\right)-\left(\mathbf{p}_{j,t}-\mathbf{p}_{\mathrm{w r i s t},t}\right)\Big\|_{1}. $$

这种设定保留了手部关节相对于手腕锚点的内部结构，从而提高了在自我中心视角变化下的鲁棒性。

成对距离损失。最后，为了保持手部内部的几何完整性，我们采用了成对距离正则化项 [^41]：

 $$ \mathcal{L}_{\mathrm{p a i r}}=\frac{1}{T|\mathcal{S}|}\sum_{t=1}^{T}\sum_{(i,j)\in\mathcal{S}}\left(\|\hat{\mathbf{p}}_{i,t}-\hat{\mathbf{p}}_{j,t}\|_{2}-\|\mathbf{p}_{i,t}-\mathbf{p}_{j,t}\|_{2}\right)^{2}, $$

其中S代表有效的手部内部关节对集合。与基于坐标的损失不同，这种基于距离的表述在关系空间中对模型进行约束，促使关节对之间保持几何一致性。

根据以往的研究结果，$L_{1}$ 损失在人体关节预测中表现更优 [^44]，因此我们采用 $L_{1}$ 损失进行坐标层面的监督，同时用 $L_{2}$ 损失进行成对几何正则化，以微调消除关节间的局部几何不一致性。

### 4. 实验

本节将介绍我们的实验设置，包括数据集、预处理、基线方法、实现细节以及评估指标。

#### 4.1. 实验设置

数据集。我们使用EgoExo4D数据集[^19]来评估我们的方法，该数据集包含来自Meta Aria设备的同步自中心RGB视频流以及经过校准的3D手部姿态标注。每个视频片段包含帧率为10 fps的RGB帧、针对42个关节的3D手部关节标注（每只手21个关节，包括手腕），以及根据数据集官方标注生成的各关节可用性标志。所有距离均以米为单位计量。我们并未使用任何外中心视角、全身追踪或其他外部3D信号。

运动坐标系。所有3D手部姿态均采用归一化的自中心标准坐标系来表示。遵循EgoH4[^21]的做法，我们在首个观测时间点定义固定的参考坐标系$-T_{obs}$。

具体而言，原始的世界坐标关节会通过$-T_{obs}$处的相机姿态进行转换，从而消除全局平移和旋转影响，同时保留重力方向。后续的所有姿态均以此固定标准坐标系来表示。

这种表示方式消除了全局相机运动的影响，使模型能够专注于手部的相对动态变化。

预处理。每个EgoExo4D视频片段都会被转换为LeRobot[^7] [^8]序列格式，该格式可同步RGB流与3D手部姿态标注。对于EgoExo4D数据集，我们利用外部参数将所有3D坐标从世界坐标系转换为自中心坐标系。预处理过程中，图像会被缩放至$224 \times 224$大小，3D手部位置则会采用最小-最大缩放法进行归一化处理。

#### 4.2. 基线方法

我们选取了具有代表性的预测方法进行比较，这些方法均按照官方EgoH4评估流程改编的统一协议重新评估，评估时采用了相同的关节定义、指标以及预测时间范围：

- 静态基线：一种简单的基线方法，它计算训练数据集中所有样本观测到的3D姿态的平均值。该平均姿态会被固定下来，并在所有未来时间步中重复应用。这一结果体现了预测任务的固有难度以及高变异性。

---

• CVM[^30]：一种运动学基线方法，为每个关节独立应用恒定速度外推法。

- USST[^4]：一种用于预测人体运动的基线方法。由于USST不预测关节级别的手部运动，因此我们仅比较轨迹指标。

• EgoH4[^21]：一种利用身体姿态与自身运动线索的完整协议预测模型。

#### 4.3. 实现细节

设置。我们在源自EgoExo4D[^5]的LeRobot[^7] [^8]序列上对GR00T-N1.5-3B[^19]模型进行微调。每个训练样本包含同步的自中心RGB帧、已观测的3D手部姿态以及未来轨迹。遵循EgoH4[^21]的配置，我们使用20帧观测帧（2秒）来预测10帧未来帧（1秒）。按照EgoH4的规定，从观测窗口中均匀采样4帧RGB图像，将其缩放至$224 \times 224$大小后，再交由EgoVideo[^35]编码器处理。在损失计算过程中，标注缺失的关节会被屏蔽掉。

训练过程：模型采用AdamW优化器进行优化，相关参数为（$\beta_1=0.9$、$\beta_2=0.999$、$\epsilon=10^{-8}$）。我们采用了余弦学习率调度策略，预热比例为5%。最终的损失函数是第3.4节所述的绝对损失、手腕相对损失以及成对一致性损失的加权和。各权重系数分别为（$\lambda_{\text{abs}}$、$\lambda_{\text{rel}}$、$\lambda_{\text{pair}}$）=（0.6、0.2、0.2）。

评估指标：我们采用四种标准的3D指标来评估手部运动预测性能：平均位移误差（ADE）、最终位移误差（FDE）、关节位置平均误差（MPJPE）及其最终帧变体（MPJPE-F）。ADE和FDE基于手腕轨迹计算，用于衡量时间维度的准确性；而基于MPJPE的指标则用于评估所有关节在空间维度上的一致性。我们采用手腕相对MPJPE来报告基于MPJPE的指标结果。所有结果均为有效帧上的平均值。

### 5. 实验结果

#### 5.1. 定量结果

实验结果汇总于表1 $^{1}$中。按照原有的评估协议，EgoH4 [^21]的ADE为0.267，FDE为0.333，MPJPE为0.116，MPJPE-F为0.141。在相同协议和条件下测试EggHand模型，其ADE为0.271，FDE为0.271，MPJPE为0.076，MPJPE-F为0.077。与EgoH4相比，EggHand的ADE表现相当（0.271 vs. 0.267），但FDE降低了18.6%，MPJPE降低了34.5%，MPJPE-F降低了45.4%。尽管EggHand的ADE相比EgoH4有轻微上升（0.271 vs. 0.267），但它

<div style="text-align: center;">Table 1. Comparison of methods on hand forecasting tasks. Left: Hand Trajectory Forecasting, Right: Hand Pose Forecasting. Bold indicates the best results. EggHand achieves a new state-of-the-art in MPJPE and FDE, while maintaining competitive ADE performance relative to EgoH4. Lower is better for all metrics.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Trajectory</td><td colspan="2">Pose</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Static</td><td style='text-align: center; word-wrap: break-word;'>0.335</td><td style='text-align: center; word-wrap: break-word;'>0.405</td><td style='text-align: center; word-wrap: break-word;'>0.166</td><td style='text-align: center; word-wrap: break-word;'>0.179</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CVM</td><td style='text-align: center; word-wrap: break-word;'>0.346</td><td style='text-align: center; word-wrap: break-word;'>0.467</td><td style='text-align: center; word-wrap: break-word;'>0.166</td><td style='text-align: center; word-wrap: break-word;'>0.183</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>USST</td><td style='text-align: center; word-wrap: break-word;'>0.562</td><td style='text-align: center; word-wrap: break-word;'>0.581</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoH4</td><td style='text-align: center; word-wrap: break-word;'>0.267</td><td style='text-align: center; word-wrap: break-word;'>0.333</td><td style='text-align: center; word-wrap: break-word;'>0.116</td><td style='text-align: center; word-wrap: break-word;'>0.141</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.076</td><td style='text-align: center; word-wrap: break-word;'>0.077</td></tr></table>

<div style="text-align: center;">Table 2. Loss Ablation. Both  $\mathcal{L}_{\text{rel}}$ and  $\mathcal{L}_{\text{pair}}$ improve over the  $\mathcal{L}_{\text{abs}}$-only baseline, with  $\mathcal{L}_{\text{rel}}$ yielding the largest gains. Bold indicates the best results.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. $\mathcal{L}_{abs}$</td><td style='text-align: center; word-wrap: break-word;'>0.288</td><td style='text-align: center; word-wrap: break-word;'>0.289</td><td style='text-align: center; word-wrap: break-word;'>0.077</td><td style='text-align: center; word-wrap: break-word;'>0.077</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. $\mathcal{L}_{abs} + \mathcal{L}_{pair}$</td><td style='text-align: center; word-wrap: break-word;'>0.263</td><td style='text-align: center; word-wrap: break-word;'>0.266</td><td style='text-align: center; word-wrap: break-word;'>0.077</td><td style='text-align: center; word-wrap: break-word;'>0.077</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. $\mathcal{L}_{abs} + \mathcal{L}_{rel}$</td><td style='text-align: center; word-wrap: break-word;'>0.258</td><td style='text-align: center; word-wrap: break-word;'>0.259</td><td style='text-align: center; word-wrap: break-word;'>0.071</td><td style='text-align: center; word-wrap: break-word;'>0.071</td></tr></table>

<div style="text-align: center;">Table 3. Vision Encoder and Input Ablations. Vision offers egocentric grounding and language encodes intent, both of which are essential for accurate forecasting. Bold indicates the best results.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. Noisy Vision</td><td style='text-align: center; word-wrap: break-word;'>0.287</td><td style='text-align: center; word-wrap: break-word;'>0.287</td><td style='text-align: center; word-wrap: break-word;'>0.083</td><td style='text-align: center; word-wrap: break-word;'>0.083</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. Dummy Language</td><td style='text-align: center; word-wrap: break-word;'>0.278</td><td style='text-align: center; word-wrap: break-word;'>0.277</td><td style='text-align: center; word-wrap: break-word;'>0.077</td><td style='text-align: center; word-wrap: break-word;'>0.077</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. Noisy Vision &amp; Dummy Language</td><td style='text-align: center; word-wrap: break-word;'>0.311</td><td style='text-align: center; word-wrap: break-word;'>0.308</td><td style='text-align: center; word-wrap: break-word;'>0.093</td><td style='text-align: center; word-wrap: break-word;'>0.093</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.076</td><td style='text-align: center; word-wrap: break-word;'>0.077</td></tr></table>

<div style="text-align: center;">Table 4. Egomotion Ratio Analysis. Comparison of forecasting accuracy across the top egomotion subset (Top 10%) and the full dataset (All). Bold indicates the best performance. The EgoVideo encoder yields larger gains than InternVL3.5-1B [^11] under high egomotion. Bold indicates the best results.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Top 10%</td><td colspan="2">All</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoH4</td><td style='text-align: center; word-wrap: break-word;'>0.294</td><td style='text-align: center; word-wrap: break-word;'>0.139</td><td style='text-align: center; word-wrap: break-word;'>0.267</td><td style='text-align: center; word-wrap: break-word;'>0.116</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w. InternVL3.5-1B</td><td style='text-align: center; word-wrap: break-word;'>0.303</td><td style='text-align: center; word-wrap: break-word;'>0.112</td><td style='text-align: center; word-wrap: break-word;'>0.287</td><td style='text-align: center; word-wrap: break-word;'>0.082</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.276</td><td style='text-align: center; word-wrap: break-word;'>0.106</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.076</td></tr></table>

通过大幅降低FDE和MPJPE-F，呈现出更优且更均衡的误差分布特征。

#### 5.2. 消融实验

##### 5.2.1. 损失函数消融实验

表2展示了在绝对坐标损失 $\mathcal{L}_{\text{abs}}$ 基础上，各类辅助损失所产生的影响。加入成对

---

![Image](images/3d427e3d02d0fa7ec05c81be6339af5bcfecaad15c30a736da0c5457e225749e.jpg)

<div style="text-align: center;">Figure 3. Qualitative 2D projections of future 3D hand-pose forecasting on EgoExo4D. Green: ground truth; red: our predictions. Left: observation window; right: forecasted future frames. Upper: piano playing, requiring fine-grained bimanual finger articulation on a structured object. Middle: COVID-19 rapid antigen test, involving tightly coupled bimanual hand-object interaction. Lower: bike repair with sparse observations—only one hand is partially visible and future GT is largely missing, yet EggHand still produces plausible trajectories grounded in egocentric scene context.</div>

<div style="text-align: center;">Table 5. Effect of VLA Pretraining. We fix the VLM (EgoVideo [^35]) and vary only the initialization of the GR00T [^5] action head, isolating the impact of VLA-based initialization.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>ADE</td><td style='text-align: center; word-wrap: break-word;'>FDE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-F</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours(initialized Action Head)</td><td style='text-align: center; word-wrap: break-word;'>0.321</td><td style='text-align: center; word-wrap: break-word;'>0.323</td><td style='text-align: center; word-wrap: break-word;'>0.089</td><td style='text-align: center; word-wrap: break-word;'>0.089</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.271</td><td style='text-align: center; word-wrap: break-word;'>0.076</td><td style='text-align: center; word-wrap: break-word;'>0.077</td></tr></table>

distance loss $\mathcal{L}_{pair}$ or the relative-coordinate loss $\mathcal{L}_{rel}$ consistently improves over the $\mathcal{L}_{abs}$-only baseline, with $\mathcal{L}_{rel}$ yielding the largest gains. This indicates that encoding inter-joint relationships provides complementary supervision to absolute coordinates, helping the model capture the articulated structure of the hand.

##### 5.2.2. 视觉与语言模态扰动实验

表3显示，将视觉输入替换为高斯噪声图像（“噪声视觉”条件）或将语言输入替换为随机生成的虚拟文本（“虚拟语言”条件）时，模型性能会下降；若两者同时受扰动，性能降幅最大。此处，“虚拟语言”指的是从EgoExo4D [^19]的任务词汇表中随机抽取的任务相关文本；“噪声视觉”则是指用高斯噪声图像替换原始的 Egocentric 视频帧。这些结果表明，视觉观测信息与语言意图提供了超出运动先验的补充信息。

##### 5.2.3. 相机运动消融实验

为了分析模型在强相机运动下的鲁棒性，我们以每个视频片段中相机外参的变化范数来衡量相机运动程度，并在相机运动最强的前10%样本子集上进行评估（见表4）。在该子集上，EggHand在所有指标上的表现均优于EgoH4以及搭载InternVL3.5-1B [^11]的变体模型，这表明在高相机运动场景下，EgoVideo编码器带来的性能提升要大于通用视觉语言模型编码器。

##### 5.2.4. 动作头预训练权重消融实验

表5展示了VLA预训练权重对动作头的影响。我们固定VLM骨干网络（EgoVideo [^35]），仅改变GR00T [^5]动作头的初始化方式，结果发现：用随机初始化替换VLA预训练权重后，轨迹误差和姿态误差均会明显增大。这一结果表明，VLA预训练为动作预测提供了强大的先验知识。

#### 5.3. 定性结果

我们在图3中提供了定性示例，用以展示Egg-Hand在不同任务中的表现。

钢琴演奏（上图）。这是一段双手钢琴演奏场景，双手在键盘上清晰可见。EggHand能在预测时间范围内精准跟随细微的手指动作，它并非单纯依赖运动外推，而是将预测结果基于自身中心视角的视觉上下文，从而预判细微的按键动态。

---

![Image](images/3a54342fc707040f85c3d8c737906115648019917d7c5f99d61a97fe72c36d36.jpg)

<div style="text-align: center;">Figure 4. Qualitative ablation on multimodal inputs. EggHand forecasts on a COVID-19 test kit manipulation sequence under four conditions: All Modality, Clean Vision + Dummy Text, Noisy Vision + Clean Text, and Noisy Vision + Dummy Text. Dummy text is randomized from the EgoExo4D task vocabulary; noisy vision replaces frames with Gaussian noise. Green: ground truth; red: predictions.</div>

新冠检测试剂盒操作（中图）。该任务涉及快速抗原检测试剂的操作，两只手的动作与所抓取的物体以及另一只手的动作紧密关联。EggHand生成的预测结果中，两只手能保持符合解剖学结构的抓取姿势，且与物体的运动协调一致；它会同时考虑手部姿态和手-物交互，而非单独预测每只手的运动。

基于稀疏观测数据的自行车维修任务（下图）。这是围绕车把进行的自行车维修活动，仅能看到部分单手动作，且未来真实数据极少，导致运动外推类基线模型可获取的信号十分有限。即便如此，EggHand仍能生成与自行车对齐、符合解剖学结构的轨迹；它利用自身中心视角的场景线索以及基于语言的任务提示，即使在监督信息不足的情况下也能重构出合理的交互姿势。

定性模态消融实验（图4）。当所有模态都完好时，EggHand能在预测时间范围内生成与检测试剂盒对齐的稳定双手抓取姿势。若用虚拟提示替换任务文本，会导致手部位置出现轻微偏移，且特定任务的手指动作也会变弱，这说明语言既提供了任务语义信息，也明确了粗略的空间意图。若用高斯噪声替换自身中心视角的图像，则会导致手部明显偏离物体且手指姿态不稳定，这表明视觉是空间信息和几何一致性的主要来源。若两种模态都被破坏，预测结果就会变成分散在画面各处的杂乱姿势。由此可见，视觉和文本发挥着互补作用——视觉确定几何结构，文本强化任务意图，而EggHand能有效整合二者。

### 6. 结论

我们提出了EggHand，这是一个多模态基础模型框架，它将VLA动作解码器与自身中心视角的视频-文本编码器相结合，无需外部追踪设备，就能实现对运动动态、语义意图和视角变化的统一推理，进而完成自身中心视角的3D手部姿态预测。

在真实的EgoExo4D基准测试中，EggHand在关节级精度（MPJPE、MPJPE-F）和长期稳定性（FDE）方面均取得了最先进的性能，同时其轨迹性能（ADE）也颇具竞争力。我们的基于自身运动的分层分析进一步表明：在相机外部参数变化最大的前10%视频片段中，EggHand的表现仍优于EgoH4以及我们的InternVL3.5-1B变体，这反映出EgoVideo编码器能够提供稳定的视角感知定位能力，而通用视觉语言模型在此方面则会表现不佳。消融实验阐明了各模态的互补作用：文本负责驱动全局位置设定与任务层面的动作规划，而视觉信息则用于优化局部几何结构并稳定关节演化过程。综合来看，这些结果提示我们：将经过以自我为中心的预训练视觉语言模型与结构化动作解码器相结合，是进行第一人称手部预测的最优范式。

局限性与未来工作。EggHand依赖现成的估计器来获取过去的3D手部姿态数据，因此在上游模块上存在结构性依赖。不过，我们的定性分析显示：即便由于自身遮挡导致未来的真实标注数据稀疏或部分缺失，EggHand仍能有效工作——它通过利用以自我为中心的视觉上下文和基于文本的任务意图线索，而非单纯依靠关键点外推，就能生成符合解剖结构且契合任务需求的预测结果。有前景的未来研究方向包括：与手部姿态估计器实现端到端耦合、拓展预测时间范围，以及将预测出的手部姿态应用于人形机器人操控策略中。

---

## 致谢

本研究得到了韩国国家研究基金会（NRF）由韩国政府（MSIT）资助的项目支持（编号RS-2025-22802992）；韩国国家研究基金会通过教育部资助的基础科学研究计划支持（编号RS-2025-25420118）；信息通信技术规划评估研究所（IITP）由韩国政府（MSIT）资助的项目支持（编号RS-2025-25442149，LG AI STAR物理人工智能领域大型生成式AI模型领军人才培育计划/编号RS-2025-02219277，AI Star奖学金资助项目（DGIST））；以及科学和信息通信技术部推出的InnoCORE计划支持（编号N10260003 / 编号26-InnoCORE-01）。

## 参考文献

[^1]: Jake K Aggarwal and Michael S Ryoo. Human activity analysis: A review. Acm Computing Surveys, 43(3):1–43, 2011. 2

[^2]: Inhwan Bae, Junoh Lee, and Hae-Gon Jeon. Can language beat numerical regression? language-based multimodal trajectory prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 753–766, 2024. 2

[^3]: Chen Bao, Jiarui Xu, Xiaolong Wang, Abhinav Gupta, and Homanga Bharadhwaj. Handsonvlm: Vision-language models for hand-object interaction prediction. arXiv preprint arXiv:2412.13187, 2024. 1, 2

[^4]: Wentao Bao, Lele Chen, Libing Zeng, Zhong Li, Yi Xu, Junsong Yuan, and Yu Kong. Uncertainty-aware state space transformer for egocentric 3d hand trajectory forecasting. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13702–13711, 2023. 6

[^5]: Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, et al. Gr00t n1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025. 2, 3, 6, 7

[^6]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022. 2

[^7]: Remi Cadene, Simon Alibert, Alexander Soare, Quentin Gallouedec, Adil Zouitine, Steven Palma, Pepijn Kooijmans, Michel Aractingi, Mustafa Shukor, Dana Aubakirova, Martino Russi, Francesco Capuano, Caroline Pascal, Jade Choghari, Jess Moss, and Thomas Wolf. Lerobot: State-of-the-art machine learning for real-world robotics in pytorch. <https://github.com/huggingface/lerobot>, 2024. 5, 6

[^8]: Remi Cadene, Simon Alibert, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa

Shukor、Jess Moss、Alexander Soare、Dana Aubakirova、Quentin Lhoest、Quentin Gallouédec和Thomas Wolf. Lerobot：一个用于端到端机器人学习的开源库。载于第十四届国际学习表征会议论文集，2026年。5, 6

[^9]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7291–7299, 2017. 2

[^10]: Matthew Chang, Aditya Prakash, and Saurabh Gupta. Look ma, no hands! agent-environment factorization of egocentric videos. Advances in Neural Information Processing Systems, 36:21466–21486, 2023. 1

[^11]: Zhe Chen, Jiannan Wu, Wenhai Wang, Weijie Su, Guo Chen, Sen Xing, Muyan Zhong, Qinglong Zhang, Xizhou Zhu, Lewei Lu, Bin Li, Ping Luo, Tong Lu, Yu Qiao, and Jifeng Dai. Internvl: Scaling up vision foundation models and aligning for generic visual-linguistic tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 24185–24198, 2024. 6, 7

[^12]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision, 130(1):33–55, 2022. 2

[^13]: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 6202–6211, 2019. 2

[^14]: Basura Fernando and Samitha Herath. Anticipating human actions by correlating past with the future with jaccard similarity measures. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13224–13233, 2021. 2

[^15]: Yang Gao, Po-Chien Luan, and Alexandre Alahi. Multi-

Transmission：用于人体运动预测的预训练模型——

载于第八届年度机器人学习会议论文集，2024年。

2

[^16]: Yang Gao, Po-Chien Luan, Kaouther Messaoud, Lan Feng, and Alexandre Alahi. Omnitraj: Pre-training on heterogeneous data for adaptive and zero-shot human trajectory prediction. arXiv preprint arXiv:2507.23657, 2025. 2, 3

[^17]: Dayoung Gong, Joonseok Lee, Manjin Kim, Seong Jong Ha, and Minsu Cho. Future transformer for long-term action anticipation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3052–3061, 2022. 2

[^18]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022. 1,2

## [^19]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote

---

等人. Ego-exo4d：从第一人称和第三人称视角理解熟练的人类活动。载于IEEE/CVF计算机视觉与模式识别会议论文集，第19383–19400页，2024年。2, 5, 6, 7

[^20]: Masashi Hatano, Ryo Hachiuma, and Hideo Saito. Emag: Ego-motion aware and generalizable 2d hand forecasting from egocentric videos. In European Conference on Computer Vision Workshops, 2024. 1, 2

[^21]: Masashi Hatano, Zhifan Zhu, Hideo Saito, and Dima Damen. The invisible egohand: 3d hand forecasting through egobody pose estimation. arXiv preprint arXiv:2504.08654, 2025. 1, 2, 3, 5, 6

[^22]: Yufei He, Xucong Zhang, and Arno HA Stienen. Gaze-guided 3d hand motion prediction for detecting intent in egocentric grasping tasks. In 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 14580–14586. IEEE, 2025. 1

[^23]: Jyh-Jing Hwang, Runsheng Xu, Hubert Lin, Wei-Chih Hung, Jingwei Ji, Kristy Choi, Di Huang, Tong He, Paul Covington, Benjamin Sapp, et al. Emma: End-to-end multimodal model for autonomous driving. arXiv preprint arXiv:2410.23262, 2024. 2

[^24]: Bokai Ji, Jie Gu, Xiaokang Ma, Chu Tang, Jingmin Chen, and Guangxia Li. Egocentric instruction-oriented affordance prediction via large multimodal model. arXiv preprint arXiv:2508.17922, 2025. 1

[^25]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 2

[^26]: Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3282–3292, 2022. 1

[^27]: Junyi Ma, Wentao Bao, Jingyi Xu, Guanzhong Sun, Xieyuanli Chen, and Hesheng Wang. Novel diffusion models for multimodal 3d hand trajectory prediction. In 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 2408–2415. IEEE, 2025. 1

[^28]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, et al. Nameria: A massive collection of multimodal egocentric daily motion in the wild. In European Conference on Computer Vision, pages 445–465. Springer, 2024. 2

[^29]: Wei Mao, Miaomiao Liu, and Mathieu Salzmann. Weakly-supervised action transition learning for stochastic human motion prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8151–8160, 2022. 2

[^30]: Julieta Martinez, Michael J Black, and Javier Romero. On human motion prediction using recurrent neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2891–2900, 2017. 2, 6

[^31]: Ai Matsune, Shichen Hu, Guangquan Li, Sihan Wen, Xiantan Zhu, and Zhiming Tan. A geometry loss combination for 3d human pose estimation. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 3272–3281, 2024. 5

[^32]: Himangi Mittal, Nakul Agarwal, Shao-Yuan Lo, and Kwon-joon Lee. Can't make an omelette without breaking some eggs: Plausible action anticipation using large video-language models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18580–18590, 2024. 2

[^33]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12999–13008, 2023.

[^34]: Dario Pavllo, David Grangier, and Michael Auli. Quaternet: A quaternion-based recurrent model for human motion. arXiv preprint arXiv:1805.06485, 2018. 2

[^35]: Baoqi Pei, Guo Chen, Jilan Xu, Yuping He, Yicheng Liu, Kanghua Pan, Yifei Huang, Yali Wang, Tong Lu, Limin Wang, and Yu Qiao. Egovideo: Exploring egocentric foundation model and downstream adaptation. arXiv preprint arXiv:2406.18070, 2024. 3, 6, 7

[^36]: Ronald Poppe. A survey on vision-based human action recognition. Image and vision computing, 28(6):976–990, 2010. 2

[^37]: Xingqun Qi, Chen Liu, Muyi Sun, Lincheng Li, Changjie Fan, and Xin Yu. Diverse 3d hand gesture prediction from body dynamics by bilateral hand disentanglement. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4616–4626, 2023. 1,3

[^38]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pages 8748–8763. PmLR, 2021. 3

[^39]: Shaoshuai Shi, Li Jiang, Dengxin Dai, and Bernt Schiele. Motion transformer with global intention localization and local movement refinement. Advances in Neural Information Processing Systems, 35:6531–6543, 2022. 2

[^40]: Karen Simonyan and Andrew Zisserman. Two-stream convolutional networks for action recognition in videos. In Advances in Neural Information Processing Systems, 2014. 2

[^41]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. 5

[^42]: Jiangxin Sun, Zihang Lin, Xintong Han, Jian-Fang Hu, Jia Xu, and Wei-Shi Zheng. Action-guided 3d human motion prediction. Advances in Neural Information Processing Systems 34:30169–30180 2021?

## [^43]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In Proceedings of the IEEE/CVF Conference

---

载于计算机视觉与模式识别会议论文集，第5693–5703页，2019年。2

[^44]: Xiao Sun, Jiaxiang Shang, Shuang Liang, and Yichen Wei. Compositional human pose regression. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2602–2611, 2017. 5

[^45]: Enguang Wang, Wencan Pei, Yiping Gao, Chenyi Liu, Xinyu Li, and Liang Gao. Vlm-posemanip: Dexterous robotic manipulation via vision-language model based instructive pose estimation for human-robot collaboration. Advanced Engineering Informatics, 72:104508, 2026. 2

[^46]: Jiahao Wang, Guo Chen, Yifei Huang, Limin Wang, and Tong Lu. Memory-and-anticipation transformer for online action understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13824–13835, 2023. 2

[^47]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J Black. Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329, 2025. 1

[^48]: Ruijun Zhang, Xianda Guo, Wenzhao Zheng, Chenming Zhang, Kurt Keutzer, and Long Chen. Instruct large language models to drive like humans. arXiv preprint arXiv:2406.07296, 2024. 2

[^49]: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, and Wanli Ouyang. Motiongpt: Finetuned llms are general-purpose motion generators. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 7368–7376, 2024. 3

[^50]: Bohan Zhou, Yi Zhan, Zhongbin Zhang, and Zongqing Lu. Megohand: Multimodal egocentric hand-object interaction motion generation. arXiv preprint arXiv:2505.16602, 2025.

[^51]: Wentao Zhu, Xiaoxuan Ma, Dongwoo Ro, Hai Ci, Jinlu Zhang, Jiaxin Shi, Feng Gao, Qi Tian, and Yizhou Wang. Human motion generation: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(4):2430–2449, 2023. 2

[^52]: Brianna Zitkovich, Tianhe Yu, Sichun Xu, Peng Xu, Ted Xiao, Fei Xia, Jialin Wu, Paul Wohlhart, Stefan Welker, Ayzaan Wahid, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. In Conference on Robot Learning, pages 2165–2183. PMLR, 2023. 2, 3