# MEgoHand：多模态自我中心手-物体交互运动生成周博涵 $^{1*}$ 詹毅 $^{1*}$ 张忠斌 $^{2}$ 卢宗庆 $^{1,3\dagger}$ $^{1}$ 北京大学计算机学院 $^{3}$ BeingBeyond {zhoubh,zhanyi}@stu.pku.edu.cn ## 摘要自我中心的手-物体运动生成对于沉浸式AR/VR和机器人模仿至关重要，但由于视角不稳定、自身遮挡、透视畸变以及不准确的自我运动数据，这一任务仍极具挑战性。现有方法依赖预定义的3D物体先验，限制了其对新物体的泛化能力。同时，近期的多模态方法存在基于抽象文本提示生成结果模糊、建模3D手-物体相关性的流程复杂，以及开环预测中误差累积等问题。我们提出MEgoHand，这是一个多模态框架，能够根据自我中心的RGB图像、文本和初始手部姿态，合成物理上合理的手-物体交互动作。MEgoHand采用双层架构：高层的“大脑”利用视觉语言模型（VLM）从视觉-文本语境中推断运动先验，并通过单目深度估计器进行与物体无关的空间推理；低层的基于DiT的流匹配策略则生成细粒度的轨迹，同时采用时间正交滤波来提升稳定性。为解决数据集不一致的问题，我们设计了包含逆向MANO重定向网络和虚拟RGB-D渲染器的数据集整理范式，最终整理出包含335万帧RGB-D图像、2.4万组交互数据以及1200种物体的统一数据集。在五个同领域和两个跨领域数据集上的大量实验表明，MEgoHand效果显著：手腕平移误差降低了86.9%，关节旋转误差降低了34.1%，这凸显了其准确建模细粒度手部关节结构以及在多种场景下稳健泛化的能力。自我中心视角是人类与生俱来的交互模式，直接反映了我们对世界的感知与互动方式 [^17] [^7]。它提供了第三人称观测中常常缺失的丰富上下文线索，比如视线与手部运动的对齐，以及引导操作的实时视觉-运动反馈 [^37]。从第一人称视角生成手-物体运动对许多应用而言至关重要。在AR/VR中，它能实现精确的虚拟-现实对齐 [^17] [^38] [^30]；在机器人学习领域，它能支持基于人类演示的自然模仿 [^44] [^41] [^27]。尽管潜力巨大，但从自我中心视角预测手-物体交互仍极具挑战性 [^20]。首先，头戴式设备产生的连续相机运动会导致视角不稳定且不断变化，破坏空间一致性。其次，用户自身身体造成的频繁遮挡常常会掩盖手部或物体，导致视觉信息缺失 ## 1 引言 --- ![Image](images/89343789a579474e10d2fd77cd7cd0f94ca92afd99f98e6c11d0dc39e65c3127.jpg)

Figure 1: MEgoHand stands as the starting point for generating high-quality motion sequences of hand-object interactions, conditioned on egocentric RGB images, textual instructions, and given initial MANO hand parameters.

相关信息。第三，由于距离相机较近，会产生强烈的透视畸变和快速的比例变化，增加了空间感知的难度。最后，要区分有意图的手部运动和由头部运动引起的自我运动，模型需要在部分观测和稀疏视觉线索的条件下进行推理。现有方法大多忽略了第一人称视角的挑战，因为它们通常依赖预定义的3D物体属性（如质量和几何形状）来建模手-物交互（HOI）[^45] [^34] [^8] [^6]。然而，当涉及新颖或未知的物体时，它们的性能会显著下降。近期的研究开始着手解决第一人称视觉的这些局限性，并减少对显式物体模型的依赖。SIGHT-Fusion [^16]通过分割以自我为中心的RGB输入中的手和物体来缓解遮挡问题，但缺乏文本引导往往会导致动作生成模糊不清。相比之下，多模态的LatentAct [^31]结合了视觉、文本信息以及3D接触点，从而能够构建更具上下文感知能力的模型。不过，生成接触图所需的复杂流程限制了其在实际应用中的可行性。此外，这些方法均采用仅基于首帧的开环预测策略。由于缺乏反馈修正，由视角变化和遮挡引起的误差会随时间累积，最终导致交互预测的连锁性失败。为应对上述挑战，我们提出了MEgoHand——一种多模态以自我为中心的手-物运动生成方法。给定文本指令、RGB图像以及初始手部姿态，MEgoHand能够合成适用于现实场景的高保真且物理上合理的运动序列。它采用了双层架构：高层模块利用视觉语言模型（VLM）从视觉感知、任务理解以及意图-行为对齐中推断运动先验；此外，为了在不依赖特定物体先验的情况下增强对手-物关系的空间理解，我们引入了单目深度估计器，将RGB图像编码为密集的深度表示。底层模块则通过基于DiT的流匹配策略生成精细的手部轨迹，有效建模时间不确定性并确保运动的连续性。为减轻以自我为中心的相机运动引发的观测噪声，该模型会对接下来l帧的轨迹进行逐帧预测，随后采用时序正交滤波（TOF）解码策略来增强时序连贯性和稳定性。此外，我们发现尽管以自我为中心的手-物交互数据集数量众多，但语言指令、标注质量以及姿态表示方面的不一致性给统一训练带来了巨大挑战。为解决这些问题，我们开发了一套标准化预处理流程，包括用于姿态归一化的Inverse MANO重定向网络，以及用于生成对齐深度图的虚拟RGB-D渲染器。基于这一框架，我们整理出了一个包含335万帧RGB-D图像、2.4万条交互轨迹以及1200个物体的多模态数据集。实验结果表明，我们的MEgoHand在五个同领域数据集和两个跨领域数据集上均取得了最先进的性能，将手部平移误差和关节旋转误差分别降低了86.9%和34.1%。 --- 经过Procrustes对齐后，关节误差和网格顶点误差分别降至0.424厘米与0.409厘米，相较于强大的基线模型分别实现了71.2%和71.9%的相对提升。这些结果凸显了MEgoHand在建模精细手部关节结构方面的有效性，以及其在不同领域强大的泛化能力。本文的主要贡献如下：（1）我们提出了MEgoHand，这是首个利用视觉-语言模型进行以眼为中心的手-物体交互中运动先验推断的框架，该框架还集成了单目深度模块以实现与物体无关的空间推理。（2）为解决数据集不一致的问题，我们设计了一条标准化流程，包括逆向MANO重定向网络和虚拟RGB-D渲染器，用于统一姿态并生成对齐的深度图，最终构建了一个包含335万帧、涵盖2.4万次交互和1.2千种物体的多模态数据集，可用于统一的训练与评估。（3）在五个同领域基准测试和两个跨领域基准测试中，MEgoHand的表现均优于基线方法，能够显著减少手部平移和关节旋转误差，证明了其在细粒度动作建模和鲁棒泛化方面的有效性。 ## 2 相关工作 ### 2.1 手-物体交互预测近期在手-物体交互预测领域的研究探索了多种输入模态和生成范式，旨在建模语义合理且物理上可行的行为。以物体为中心的方法，如GEARS [^45] 和 MACS [^34]，通过显式建模质量、几何形状等物理属性来提升运动的真实感。类似地，DiffH2O [^8] 和 Text2HOI [^6] 将运动预测建立在文本描述的基础上，但仍需要特定的物体信息。这种对预定义物体参数的依赖限制了它们对新颖或未见过的物体的泛化能力。相比之下，基于图像的方法无需显式建模物体，而是从视觉线索中学习。例如，SIGHT-Fusion [^16] 利用接触引导扩散技术，根据以眼为中心的图像预测手部运动，展现出对遮挡情况的强适应性，不过它仍需要准确的物体检测结果。此外，多模态融合方法在建模手-物体交互方面显示出显著优势。代表性工作如GR00T [^4] 整合了视觉、语言和动作模态以实现类人控制，而HandsOnVLM [^3] 则利用文本语义和视觉定位来进行手部运动规划。其中，LatentAct [^31] 与我们的3D手部运动生成目标最为相关。它能根据单目RGB图像、文本动作描述和3D接触点，共同预测3D手部轨迹和接触情况。然而，由于它依赖精心设计的流程来生成接触图，这阻碍了其在实际应用中的普及。 ### 2.2 手部姿态重建 3D手部姿态估计为手物交互预测提供了至关重要的基础，它通过提供精确的6D姿态初始化，借助时空约束来实现物理上合理的运动预测。目前的方法大致可分为基于图像的方法和基于视频的方法。基于图像的技术包括HaMeR [^28]，该方法将Transformer架构应用于姿态估计；Hamba [^10]，它采用基于Mamba的状态空间建模来捕捉关节间的依赖关系；以及SimHand [^22]，该方法通过对比相似性学习来降低对标注数据的依赖。相比之下，基于视频的方法通过引入运动先验来增强时间连贯性——例如，HMP [^11]采用带有AMASS先验的VAE正则化潜变量优化，而Deformer [^14]则利用面向局部区域的形变场Transformer来进行动态建模。除了单独的手部重建外，Hold [^13]是首个适用于单目视频的、类别无关的手物联合关节重建方法，它采用了带有手物约束的组合式隐式模型。此外，从头部或身体佩戴的摄像头拍摄的 Egocentric 视频，由于视角动态变化、频繁的自遮挡现象以及自身运动产生的伪影，给3D手部姿态估计带来了独特的挑战，这些因素使其与第三人称视角下的视频有所区别。最近的解决方案，如HaWor [^43]，它采用基于SLAM的运动解耦技术；还有HaPTIC [^40]，它利用4D跨视图注意力机制来确保时间一致性，这些方法通过建模第一人称视角下固有的复杂时空依赖关系来解决这些难题。在我们的研究中，重点关注 Egocentric 视频场景，其中精确的第一帧3D手部姿态估计可作为后续交互预测的运动学基准。 --- ## 3 方法论 ### 3.1 问题表述我们采用MANO模型 [^32] 来表示手部，该模型由手部形状参数（形状特征 $\beta$ 和手指旋转 $\theta$）以及手腕姿态参数（旋转r和平移t）共同构成。为了确保旋转建模的平滑性与连续性，我们对 [^46] 和 t 采用6D旋转表示方法 $\theta$。一个MANO手部可表示为 $h = [\theta; \beta; r; t] \in \mathbb{R}^{109}$，其中 $\theta \in \mathbb{R}^{15 \times 6}$、$\beta \in \mathbb{R}^{10}$、$r \in \mathbb{R}^{1 \times 6}$、$t \in \mathbb{R}^{3}$。给定任务描述 $\mathcal{T}$、视觉观测 $\mathcal{V}_k$ 以及初始状态 $h_k$，目标是预测未来l个时间步内的MANO参数序列。$\mathcal{V}_k$ 包含可能的RGB帧 $\mathcal{I}_k$ 和深度帧 $\mathcal{D}_k$。 $$ \begin{array}{r}{\mathcal{H}_{k}=\{h_{k+1},h_{k+2},\ldots,h_{k+l}\}=\mathrm{M E g o H a n d}(\mathcal{T},\mathcal{V}_{k},h_{k}).}\end{array} $$ ![Image](images/9c43e1cff3942287a07d649e6c44e7d7843d31813e6eea66158e358a328f5058.jpg)

Figure 2: During inference, the system prompt and task instruction are encoded using a frozen VLM tokenizer. At each timestep, an RGB image is processed by a pretrained depth estimator to obtain a metric depth map. The RGB and depth images are then combined and encoded into a visual embedding, which—together with the text embedding—is input to the frozen VLM. A DiT-based motion generator receives this multimodal representation along with the initial hand parameters to predict relative future hand motion. During training, the depth encoder, VLM vision encoder, and DiT head are finetuned.

### 3.2 Cerebrum：多模态感知与理解在手与物体的交互中，实现稳健的手部运动生成需要识别杂乱场景中的目标物体并推理接触关系。传统方法依赖于显式的物体模型[^45] [^34] [^8] [^6]，或对手-物关系的复杂建模[^31]，这可能会限制其适应性和可扩展性。在本研究中，我们利用VLM强大的泛化能力，无需依赖预定义的物体模型，即可直接从视觉观测和文本指令中提取与任务相关的语义及交互模式。此外，为了弥补VLM在三维空间理解方面的不足，我们进一步引入了单目度量深度估计模块，为交互规划提供至关重要的几何上下文。 VLM骨干网络。MEgoHand的核心基于Eagle-2构建[^21]，这是一种VLM，它将SmolLM2语言骨干网络[^1]与SigLIP-2视觉编码器[^36]相结合，二者均在大规模互联网数据上预训练而成。文本分词器和Transformer模块被冻结，而视觉编码器则可训练。三维空间理解。预训练的视觉编码器通常在二维语义理解方面表现优异，但在三维空间理解上存在局限。为解决这一问题，我们首先将深度信息融入多模态手部运动生成框架。具体而言，我们采用单目度量深度估计器UniDepthV2$^{[29]}$从输入的RGB图像中估计深度图。获得估计的深度图后，我们需要对其空间特征进行编码。据我们所知，目前尚无在大规模深度数据集上预训练的深度编码器。因此，我们采用了在ImageNet上预训练的ResNet-50编码器$^{[18]}$ $^{[9]}$。尽管该编码器是在RGB数据上训练的，但我们发现其低层先验（如边缘和纹理）能有效迁移到深度输入上。为满足ResNet对三通道输入的要求，我们将单通道深度图复制为多通道。为了微调深度编码器，我们使用均方误差（MSE）来对齐预测深度图与真实深度图的表征。最后，通过加法融合模块将视觉特征__ --- $x^{\mathcal{I}}$与深度特征$x^{\mathcal{D}}$融合为统一的表征$x^{\mathcal{DI}}$，再通过Eagle-2 LLM中的跨模态注意力机制与语义特征$x^{\mathcal{T}}$进行交互。最终输出的结果$z^{\mathcal{TDI}}$既体现了手与物体的关联，又反映了任务要求，从而实现全面的理解与动作规划。 ### 3.3 小脑：基于流匹配的手部运动生成条件化手部运动生成。在 VLM 将任务指令 $\mathcal{T}$、RGB 帧 $\mathcal{I}_k$ 和深度图 $\mathcal{D}_k$ 编码为潜在表示 $z_k^{TDI}$ 之后，采用基于 DiT 的运动生成器来产生一个长度为 l 的未来运动序列 $\mathcal{H}_k$，即 MANO 参数主干。该生成以初始 MANO 参数 $h_k$ 为条件，因为提供初始手部配置能够减少与手部形状和灵巧度相关的歧义，从而生成更真实且与意图一致的运动序列。预测的运动主干使用条件流匹配损失 [^23] [^24] 进行监督： $$ \begin{array}{r}{\mathcal{L}^{\tau}(\boldsymbol{\theta})=\mathbb{E}_{p(\mathcal{H}_{k}|h_{k},z_{k}^{T D I}),q(\mathcal{H}_{k}^{\tau}|\mathcal{H}_{k})}\left[\|\nu_{\boldsymbol{\theta}}(\mathcal{H}_{k}^{\tau},h_{k},z_{k}^{T D I})-\mathbf{u}(\mathcal{H}_{k}^{\tau}|\mathcal{H}_{k})\|^{2}\right],}\end{array} $$ 其中 $\mathbf{u}(\mathcal{H}_k^\tau|\mathcal{H}_k) = \epsilon - \mathcal{H}_k, \epsilon \sim \mathcal{N}(0, \mathbf{I})$。下标 k 表示运动时间步，上标 $\tau \in [0,1]$ 表示流匹配时间步，该时间步在训练期间是从偏向较低（噪声更大）值的 Beta 分布中采样的。推理时，手部运动是通过从 $\tau = 0$ 到 $\tau = 1$ 对学习到的向量场进行积分生成的，起点为高斯噪声 $\mathcal{H}_k^0 \sim \mathcal{N}(0, \mathbf{I})$。积分过程采用前向欧拉法： $$ \begin{array}{r}{\mathcal{H}_{k}^{\tau+\delta}=\mathcal{H}_{k}^{\tau}+\mathbf{\delta}\cdot\mathbf{\nu}_{\theta}(\mathcal{H}_{k}^{\tau},h_{k},z_{k}^{T D I}),}\end{array} $$ 其中 $\delta$ 为积分步长。更多细节请参阅附录 A.3。实际应用中，所有变换均在相机坐标系下计算，以便我们借助现代检测器方便地估计初始手部姿态 [^28] [^43]。此外，我们还会预测相对于初始姿态的腕部变换，并将初始形状参数 $\beta$ 作为每个时间步的输出内容重复输出。平滑解码策略。为确保生成的运动序列具有时间连贯性，我们提出了一种无需训练的解码策略——时序正交滤波（Temporal Orthogonal Filtering, TOF），用于去除预测的旋转序列中的噪声。在每个时间步，我们让运动生成器产生重叠的运动块。设 $\hat{R}_k^i, \hat{r}_k^i$ 表示在时间步 k 由时间步 $i \geq 0$ 的查询所生成的腕部旋转矩阵和平移向量。为了抑制高频抖动，我们使用权重均匀的时序卷积来聚合同一时间步 k 对应的所有旋转和平移估计值。经卷积得到的旋转结果 $\tilde{R}_k$ 会通过奇异值分解（SVD）投影到最近的合法 SO(3) 流形上，从而生成平滑的输出 $\tilde{R}_k$。TOF 的过程在公式 (4) 中进行了形式化描述。我们可以自由调整查询频率，以平衡推理速度和生成质量。 $$ \tilde{t}_{k}=\frac{1}{l}\sum_{t=1}^{l}\hat{t}_{k}^{k-t} $$ $$ \tilde{R}_{k}=\mathop{\operatorname{a r g}\operatorname*{m i n}}_{R\in\mathsf{S O}(3)}\left\|R-\bar{R}_{k}\right\|_{F}=U V^{\top},\quad\mathrm{w h e r e~}U S V^{\top}=\mathsf{S V D}(\bar{R}_{k}),\bar{R}_{k}=\frac{1}{l}\sum_{t=1}^{l}\hat{R}_{k}^{k-t} $$ ## 4 数据集整合尽管以自我为中心的双手-物体交互数据集数量众多，但语言指令、标注质量和手部姿态表示方面的不一致性阻碍了统一训练的实现。为解决这些差异，我们系统性地将大规模公开数据集整合并预处理为一个统一且标准化的训练语料库。逆向 MANO 重定位：一些早期数据集（如 FPHA [^15]）仅提供通过可穿戴传感器采集的 3D 手部关节位置 $j^{21\times3}$，而非 MANO 参数。21 个手部关键点的世界坐标系坐标与 MANO 模型的输出相对应，无法直接用作 MEgoHand 的输入或运动生成的监督信号。为了利用这些数据集，我们引入了逆向 MANO 重定位网络 $\phi$，用于从关节坐标中恢复 MANO 参数。一种直接的方法是采用端到端监督学习。然而，这种方法在实践中完全行不通，因为即便是微小的偏差也会导致 ---

(b) Summary of curated HOI datasets. We split the first 6 for training and the last two for testing.

(a) Green dots denote the ground-truth hand joints, while purple dots represent the joint positions obtained by retargeting hand shape and wrist pose using our Inverse MANO Retargeting Network and reconstructing them via the MANO model.

Dataset	Frame	Trajectory	Object	Mesh	RGBD
OakInk2 [^42]	600K	2.5K	75	☑	☒
HOT3D [^2]	400K	3K	33	☑	☒
HOI4D [^26]	400K	3K	800	☑	☑
TACO [^25]	300K	2.2K	218	☑	☑
H2O [^19]	100K	1K	8	☑	☑
FPHA [^15]	100K	1.3K	26	☑	☑
ARCTIC [^12]	250K	1K	12	☑	☒
HOLO [^37]	1200K	10K	40	☒	☑
Total	3.35M	24K	1.2K

手部形状——尤其是形状向量 $\beta$——出现偏差时，便会导致手部几何结构严重失真，并产生巨大的重建误差。为解决这一问题，我们提出了一种新颖的两阶段迭代训练策略，并辅以自重建损失。如图 3a 所示，我们首先优先优化手部形状，待其收敛后再转向优化腕部姿态。我们使用门控信号 $\sigma$ 在两个损失函数 $\mathcal{L}_1$ 和 $\mathcal{L}_2$ 之间切换，其中 $\sigma = 1$ 表示 $\mathcal{L}_1$ 已收敛，否则为 0。目标函数在公式 (5) 中给出： $$ \begin{aligned}\mathcal{L}_{1}&=w_{1}\mathcal{L}_{shape}\big(\phi(j),\theta,\beta\big)+\mathcal{L}_{recon}\big(\mathbf{MANO}(\phi(j)),j\big),\\\mathcal{L}_{2}&=w_{2}\mathcal{L}_{pose}\big(\phi(j),r,t\big)+\mathcal{L}_{recon}\big(\mathbf{MANO}(\phi(j)),j\big),\\\mathcal{L}_{inv}&=\sigma\mathcal{L}_{1}+(1-\sigma)\mathcal{L}_{2}.\end{aligned} $$ 我们使用涵盖多种手部动作的1万对MANO参数与关节坐标样本来预训练$\phi$，这些样本来源于TACO [^25]和OakInk2 [^42]。这使我们能够复用逆向MANO重定位网络，为仅提供手部关节位置的数据集生成标注。关于预训练过程的更多细节，请参阅附录A.2。虚拟RGB-D渲染。深度编码器的有效训练需要来自同一自我中心视角的配对RGB-D数据。然而，许多现有数据集，如ARCTIC [^12]、HOT3D [^2]和OakInk2 [^42]，仅提供RGB图像序列，而没有对应的深度图。为解决这一局限，我们设计了虚拟RGB-D渲染器，以合成与现有RGB帧对齐的深度图像。给定内参矩阵K、外部变换$T_{cw}$以及齐次世界坐标系中的物体点$P_w \in \mathbb{R}^{N \times 4}$，我们首先将点转换到相机坐标系来渲染相机视图中的深度图D：$P_c = T_{cw} \cdot P_w^T$；随后通过$p_{uv} = \pi(K \cdot (P_c \otimes Z_c))$将其投影到像素坐标，其中$Z_c = (P_c)z$和$\pi(\cdot)$表示取前两个分量并四舍五入为最接近的整数。对于图像边界内且满足$(u, v) = puv^{(i)}$的每个像素$Z_c^{(i)} > 0$，深度图会更新为$D[v, u] = \min(D[v, u], Z_c^{(i)})$，以保留最近的表面信息。我们会为物体和手部（若可见）渲染深度图，从而捕捉精确的手部-物体空间关系，第5节中已证明这种关系的重要性。通过整合逆向MANO重定位和虚拟RGB-D渲染技术，我们整理出了一个统一的多模态数据集，包含335万帧RGB-D图像和2.4万条交互轨迹，涵盖1200个物体。本次提交中我们仅考虑右手动作。 ## 5 实验 ### 5.1 实验设置数据集。我们选取了6个训练数据集：TACO、FPHA、HOI4D、H2O、HOT3D和OakInk2。其中，FPHA是利用逆向MANO网络重新标注的，仅用于评估。对于其余五个数据集，我们各抽取10%的数据作为域内评估集，确保它们在动作或物体类别上与训练数据无重叠。此外，为了评估模型在未见过领域的泛化能力，我们在两个跨域测试集上进行评估：完整的ARCTIC数据集以及[^31]中提到的HOLO数据集的10%子集。评价指标。(1) MPJPE [^31]：平均关节位置误差，即所有时间步中预测与真实3D手部关节位置之间的平均欧几里得距离。(2) MPJPE-PA [^31]：Procrustes --- 对齐后的MPJPE，即对预测关节轨迹和真实关节轨迹应用单一变换（缩放、旋转、平移）后的MPJPE。(3) MPVE：平均顶点误差，即MANO模型中预测网格顶点与真实网格顶点之间的平均欧几里得距离。(4) MPVE-PA：经过Procrustes对齐的MPVE，即在应用Procrustes对齐以消除全局缩放和姿态差异后的MPVE。(5) MWTE：平均手腕平移误差，即预测手腕与真实手腕的3D平移向量之间的平均欧几里得距离。(6) MRE：平均旋转误差，即对于$\theta$和r而言，预测关节旋转与真实关节旋转之间的平均角度差。给定全部16个关节（1个手腕关节和15个手指关节）的旋转矩阵$R_{1}, R_{2} \in \mathbb{R}^{16 \times 3 \times 3}$，MRE定义为$\text{MRE} = \frac{1}{16} \sum_{j=1}^{16} \cos^{-1} \left[ (\text{trace}(R_{1,j}^{T} R_{2,j}) - 1)/2 \right]$，其中每个$R_{1,j}, R_{2,j} \in \mathbb{R}^{3 \times 3}$代表第j个关节的旋转矩阵。MRE提供了一个在$[0, \pi]$弧度范围内连续度量旋转误差的指标。基线方法。在现有方法中，以物体为中心的表征方法[^6] [^8]无法应用于我们的场景，因为我们无法获取3D物体模型。同样，以手为中心的表征方法[^35] [^39]也不适用，因为手部并不总是可见的。近期的研究成果LatentAct [^31]能够根据文本动作描述、单张RGB图像以及3D手-物体接触点来预测3D手部姿态和接触图，因此可作为我们任务的强基线。它不依赖物体模型，即使输入图像中手部不可见也能正常工作。相比之下，MEgoHand仅以文本描述和视觉观测作为输入。为了评估我们方法的有效性，我们比较了基于Transformer的LatentAct及其基于扩散模型的变体LatentAct-Diff。此外，为了分析3D信息的不同用法，我们还比较了不含接触图的LatentAct变体以及不含深度输入的MEgoHand。模态。为了全面评估融入不同模态的效果，我们探讨了几种输入配置：(1) MEgoHand-T仅采用文本描述；(2) MEgoHand-I仅采用RGB图像；(3) MEgoHand-ID采用带有深度估计的RGB图像；(4) MEgoHand-TI采用文本和RGB图像；(5) MEgoHand（我们的方法）则结合了文本、RGB图像以及由基础深度估计器预测的深度图。 ### 5.2 领域内数据集上的评估

Table 1: Average metrics of in-domain evaluation across 5 datasets: TACO, HOI4D, H2O, HOT3D, and OakInk2. The unit for MRE is radians, and the remaining metrics are measured in centimeters.

Method	MPJPE $\downarrow$	MPJPE-PA $\downarrow$	MPVE $\downarrow$	MPVE-PA $\downarrow$	MWTE $\downarrow$	MRE $\downarrow$
LatentAct	7.726	1.478	7.696	1.453	7.221	0.937
- no concatenat	8.523	1.481	8.476	1.464	7.813	0.947
LatentAct-Diff	7.819	1.498	7.787	1.483	7.322	0.941
- no concatenat	8.802	1.582	8.752	1.564	8.051	0.950
MEgoHand-T	8.328	0.477	8.282	0.460	7.637	0.145
MEgoHand-I	6.269	0.480	6.120	0.457	5.521	0.143
MEgoHand-ID	5.969	0.470	5.920	0.453	5.213	0.137
MEgoHand-TI	5.683	0.476	5.632	0.459	4.889	0.136
MEgoHand (ours)	5.425	0.425	5.381	0.409	4.756	0.123

针对基线的评估。如表1所示，我们的方法在所有评估指标上均显著优于基线方法。值得注意的是，它的平均MRE降低了86.9%，使得平均旋转偏差降至约7度。相比之下，LatentAct难以生成准确的手指关节，这很可能是因为它依赖于单视角RGB图像和单个3D接触点——这些限制严重制约了其建模复杂3D手-物体关系的能力。我们的方法通过以下方式克服了这些局限：(1)利用VLM获得更丰富的上下文理解；(2)整合3D深度估计以更好地捕捉手-物体接触特征；(3)采用闭环预测结合TOF解码策略，确保时序上一致且稳定的预测结果。值得注意的是，应用全局Procrustes对齐后，我们的方法进一步降低了关节（MPJPE-PA）和网格顶点（MPVE-PA）误差，分别降至0.424和0.409，相对于LatentAct而言分别提升了71.2%和71.9%。这些结果证明了我们的方法在建模手部形态和细粒度姿态预测方面的卓越能力。 --- 评估我们模型的模态灵活性。我们分析了四种变体的性能：仅文本指令、仅RGB图像、RGB图像+预测深度图，以及文本指令+RGB图像。如表1的绿色部分所示，仅文本输入产生的结果最差。与MEgoHand相比，缺乏视觉引导会使翻译误差增加61%。仅RGB图像输入虽能缓解这一问题，但会因3D空间线索不足而导致动作模式模糊，最终表现为平均化的行为。MEgoHand-ID通过整合深度图解决了这些局限，增强了3D空间推理能力，各项指标均有所提升，其MPJPE值比LatentAct低50%。为了探究融入3D信息的方法，我们将没有接触图的LatentAct与我们设计的MEgoHand-TI变体进行对比。关键在于，移除LatentAct中的接触图会使其性能下降（MPJPE增加10.3%），而MEgoHand-TI的误差却比LatentAct低50%。这表明LatentAct严重依赖接触图，因此在现实场景中实用性较低。基于不同数据集的评估。如图4所示，MEgoHand的性能呈现出明显的层次性：它在H2O和OAKINK2数据集上表现最佳，MPJPE偏差被控制在约3厘米以内；而在HOI4D上的表现则最差。我们分析认为，HOI4D包含610个场景中的800个物体实例，这导致了其泛化挑战。相比之下，H2O和OAKINK2的数据集具有结构化的任务，且交互区域明确（如把手和边缘），能够从中学习稳定的空间相关性以增强生成效果。 ### 5.3 跨域数据集上的零样本迁移 ![Image](images/4c248155b5b93b2c2da80d9fd228cb9011a1bcc47d28e127e8cc7c1e941faa73.jpg)

Figure 4: The evaluation of our two methods and two baseline variants on five in-domain (H2O, HOI4D, HOT3D, OAKINK2, TACO) and two cross-domain datasets (ARCTIC, HOLO), using MPJPE as metric (unit: cm, lower is better).

为了评估我们方法的泛化能力，我们对它在两个跨域数据集上的零样本迁移性能进行了全面分析，这些数据集涵盖了旋转物体多样性、任务复杂度和场景变化等因素。ARCTIC由于存在铰接物体与手部配置之间的复杂动态耦合（例如剪刀剪切需要手指与刀刃的协调运动），对模型提出了更大挑战，这也暴露出我们的刚性物体训练数据的局限性。相反，HOLO的任务划分更清晰，且指令具有语义依据（例如“逆时针旋转螺丝刀”），这有助于缩小动作搜索空间，从而部分缓解域偏移问题。值得注意的是，从表2可以看出，我们的方法在ARCTIC和HOLO数据集上分别比最优基线模型的MPJPE降低了33.9%和29.8%，达到了当前最优水平，充分体现了其在HOI建模中的强大跨域迁移能力。 ### 5.4 关于深度的消融实验 a) 预训练的深度估计器会有影响吗？从表3可以看出，MEgoHand能够与DepthAnythingV2、UniDepth等各类现代预训练深度估计器兼容，且在各项指标上都能取得相近的结果。这表明可以随意插拔使用各种深度估计器。 b) 我们需要真实的深度监督吗？通过与去除深度监督的变体进行对比分析——该变体中深度编码器仅通过运动预测损失进行更新——表3显示其性能显著下降。这一结果从实证角度证明了仅靠最终的运动损失不足以学习到空间感知表征，因此必须采用真实的深度监督。 ---

Table 2: Average metrics of out-of-domain evaluation across 2 datasets: ARCTIC and HOLO. The unit for MRE is radians, and the remaining metrics are measured in centimeters.

Dataset	Method	MPJPE $\downarrow$	MPJPE-PA $\downarrow$	MPVE $\downarrow$	MPVE-PA $\downarrow$	MWTE $\downarrow$	MRE $\downarrow$
ARCTIC	LatentAct	11.65	1.975	11.58	1.942	9.920	1.577
	- no concat map	12.04	2.023	11.96	1.990	10.25	1.590
	LatentAct-Diff	10.98	1.905	10.90	1.870	9.642	1.543
	- no concat map	12.27	2.033	12.19	1.999	10.83	1.559
	MEgoHand-T	10.17	1.318	10.10	1.306	8.872	0.489
	MEgoHand-I	8.964	1.218	8.826	1.204	6.985	0.456
	MEgoHand-ID	8.316	1.161	8.226	1.144	6.689	0.384
	MEgoHand-TI	8.305	1.173	8.194	1.126	6.313	0.452
	MEgoHand (ours)	7.358	1.161	7.268	1.106	5.958	0.398
HOLO	LatentAct	8.341	1.629	8.303	1.606	8.051	1.112
	- no concat map	8.682	1.658	8.650	1.635	8.303	1.133
	LatentAct-Diff	8.235	1.605	8.196	1.582	7.973	1.101
	- no concat map	8.492	1.631	8.453	1.609	8.172	1.118
	MEgoHand-T	8.605	0.879	8.572	0.860	8.204	0.499
	MEgoHand-I	7.525	0.841	7.484	0.819	6.871	0.416
	MEgoHand-ID	6.525	0.812	6.484	0.790	5.871	0.321
	MEgoHand-TI	6.054	0.772	6.011	0.750	5.485	0.298
	MEgoHand (ours)	5.775	0.697	5.747	0.673	5.437	0.271

c) 度量深度还是相对深度？我们还比较了MEgoHand对度量深度和相对深度输入的表现。表3中的结果有所差异。我们发现，在同类别场景中，度量深度能够提供一致的尺度和距离线索，从而增强三维空间理解能力。然而在跨类别场景中，度量深度对相机参数的剧烈变化更为敏感，进而导致性能下降。

Table 3: The ablation studies of MEgoHandvariants across evaluation datasets and test datasets.

Dataset	Method	MPJPE $\downarrow$	MPJPE-PA $\downarrow$	MPVE $\downarrow$	MPVE-PA $\downarrow$	MWTE $\downarrow$	MRE $\downarrow$
Evaluation Datasets	MEgoHand	5.425	0.425	5.381	0.409	4.756	0.123
	- depthanythingv2	5.671	0.475	5.621	0.457	4.895	0.137
	- no depth supervision	5.725	0.492	5.671	0.473	4.900	0.142
	- relative depth	5.610	0.444	5.564	0.427	4.895	0.128
ARCTIC	MEgoHand	7.358	1.161	7.268	1.106	5.958	0.398
	- depthanythingv2	8.240	1.220	8.141	1.203	6.287	0.544
	- no depth supervision	8.174	1.140	8.092	1.092	6.608	0.436
	- relative depth	7.564	1.121	7.485	1.091	6.082	0.473
HOLO	MEgoHand	5.775	0.697	5.747	0.673	5.437	0.271
	- depthanythingv2	6.094	0.895	6.055	0.873	5.512	0.331
	- no depth supervision	6.434	0.835	6.397	0.837	5.889	0.473
	- relative depth	5.879	0.663	5.841	0.643	5.418	0.280

### 5.5 可视化我们将生成的MANO参数解码为手部网格顶点，并将投影结果叠加在原始RGB视频上可视化。如图5所示，MEgoHand在手部姿态和几何对齐方面均明显优于LatentAct，尤其是在手腕姿态和手指关节旋转方面表现更佳。我们分析认为，度量深度输入在生成更高精度的结果中发挥了重要作用。此外我们观察到，如果初始帧中没有可见的手部，LatentAct就很难预测精确的形状参数$\beta$。这凸显了初始手部参数重要性。更多可视化结果请参见附录B.2。 ## 6 结论与局限性我们提出了MEgoHand，这是一个用于生成自我中心手部动作的多模态框架，它整合了初始手部参数、文本指令和RGB图像，以预测逼真的手-物交互效果。 --- ![Image](images/fc97191caa4834d9a2bf106fe702995fdaa619b960b03c296a0ec3da267324a5.jpg)

Figure 5: We present visualizations across in-domain (green) and cross-domain (blue) datasets. The misalignments of ground-truth annotations are attributed to labeling noise and camera calibration errors. For fair comparison with LatentAct, we provide the initial hand pose and align the motion predictions of LatentAct to the first frame in a chunk.

交互动作序列。这种分层设计结合了视觉语言模型与深度估计技术，以实现语义理解和三维推理。基于DiT的动作生成器能够进行闭环预测，并通过时间正交滤波技术来增强时间一致性。为解决数据稀缺问题，我们利用逆向MANO重定向技术和虚拟RGB-D渲染技术，构建了一个包含百万级样本的交互物体数据集。作为将视觉语言模型与三维推理统一应用于动作生成的首次尝试，MEgoHand展现了强大的泛化能力，在五个同类数据集和两个跨领域数据集上均取得了最先进的结果。未来研究可以解决其中的一些局限性：利用我们预训练的逆向MANO重定向网络来标注更广泛的交互物体数据集，或采用现代手部姿态检测器[^28] [^43]对自然场景中的人类视频进行标注，从而进一步扩大数据规模，有望获得更好的结果。 --- ## 参考文献 [^1]: Loubna Ben Allal, Anton Lozhkov, Elie Bakouch, Gabriel Martín Blázquez, Guilherme Penedo, Lewis Tunstall, Andrés Marafioti, Hynek Kydliček, Agustín Piqueres Lajarín, Vaibhav Srivastav, et al. Smolim2: When smol goes big-data-centric training of a small language model. arXiv preprint arXiv:2502.02737, 2025. [^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. CVPR, 2025. [^3]: Chen Bao, Jiarui Xu, Xiaolong Wang, Abhinav Gupta, and Homanga Bharadhwaj. Handsonvlm: Vision-language models for hand-object interaction prediction. arXiv preprint arXiv:2412.13187, 2024. [^4]: Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, et al. Gr00t n1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025. [^5]: Remi Cadene, Simon Alibert, Alexander Soare, Quentin Gallouedec, Adil Zouitine, and Thomas Wolf. Lerobot: State-of-the-art machine learning for real-world robotics in pytorch, 2024. [^6]: Junuk Cha, Jihyeon Kim, Jae Shin Yoon, and Seungryul Baek. Text2hoi: Text-guided 3d motion generation for hand-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1577–1585, 2024. [^7]: Ning Cheng, Qiqi Dong, Zhen Zhang, Li Wang, Xiaojing Chen, and Cheng Wang. Egocentric processing of items in spines, dendrites, and somas in the retrosplenial cortex. Neuron, 112(4): 646–660, 2024. [^8]: Sammy Christen, Shreyas Hampali, Fadime Sener, Edoardo Remelli, Tomas Hodan, Eric Sauser, Shugao Ma, and Bugra Tekin. Diff $^{2}$o: Diffusion-based synthesis of hand-object interactions from textual descriptions. In SIGGRAPH Asia 2024 Conference Papers, pages 1–11, 2024. [^9]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition, pages 248–255. IEEE, 2009. [^10]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. Advances in Neural Information Processing Systems, 37:2127–2160, 2024. [^11]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6353–6363, 2024. [^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. [^13]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. [^14]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 23600–23611, 2023. ## [^15]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of Computer Vision and Pattern Recognition (CVPR), 2018 --- [^16]: Alexey Gavryushin, Florian Redhardt, Gaia Di Lorenzo, Luc Van Gool, Marc Pollefeys, Kaichun Mo, and Xi Wang. Sight: Single-image conditioned generation of hand trajectories for hand-object interaction. arXiv preprint arXiv:2503.22869, 2025. [^17]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 18995–19012, 2022. [^18]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. [^19]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10138–10148, October 2021. [^20]: Yanghao Li, Hanzi Mao, Ross Girshick, and Kaiming He. Ego-exo: Transferring visual representations from third-person to first-person videos. In CVPR, pages 6943–6953, 2022. [^21]: Zhiqi Li, Guo Chen, Shilong Liu, Shihao Wang, Vibashan VS, Yishen Ji, Shiyi Lan, Hao Zhang, Yilin Zhao, Subhashree Radhakrishnan, et al. Eagle 2: Building post-training data strategies from scratch for frontier vision-language models. arXiv preprint arXiv:2501.14818, 2025. [^22]: Nie Lin, Takehiko Ohkawa, Yifei Huang, Mingfang Zhang, Minjie Cai, Ming Li, Ryosuke Furuta, and Yoichi Sato. Simhand: Mining similar hands for large-scale 3d hand pose pretraining. arXiv preprint arXiv:2502.15251, 2025. [^23]: Yaron Lipman, Ricky TQ Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow matching for generative modeling. arXiv preprint arXiv:2210.02747, 2022. [^24]: Qiang Liu. Rectified flow: A marginal preserving approach to optimal transport. arXiv preprint arXiv:2209.14577, 2022. [^25]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. arXiv preprint arXiv:2401.08399, 2024. [^26]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, June 2022. [^27]: Hao Luo, Bohan Zhou, and Zongqing Lu. Pre-trained visual dynamics representations for efficient policy learning. In European Conference on Computer Vision, pages 249–267. Springer, 2024. [^28]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. [^29]: Luigi Piccinelli, Christos Sakaridis, Yung-Hsu Yang, Mattia Segu, Siyuan Li, Wim Abbeloos, and Luc Van Gool. Unidepthv2: Universal monocular metric depth estimation made simpler. arXiv preprint arXiv:2502.20110, 2025. [^30]: Chiara Plizzari, Gabriele Goletto, Antonino Furnari, Siddhant Bansal, Francesco Ragusa, Giovanni Maria Farinella, Dima Damen, and Tatiana Tommasi. An outlook into the future of egocentric vision. International Journal of Computer Vision, 132(11):4880–4936, 2024. ## [^31]: Aayush Prakash, Benjamin Lundell, Dmitry Andreychuk, David Forsyth, Saurabh Gupta, and Harpreet Sawhney. How do I do that? synthesizing 3d hand motion and contacts for everyday interactions. arXiv preprint arXiv:2504.12284, 2025. Preprint --- [^32]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. [^33]: Wenzhe Shi, Jose Caballero, Ferenc Huszár, Johannes Totz, Andrew P Aitken, Rob Bishop, Daniel Rueckert, and Zehan Wang. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1874–1883, 2016. [^34]: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, and Thabo Beeler. Macs: Mass conditioned 3d hand and object motion synthesis. In 2024 International Conference on 3D Vision (3DV), pages 1082–1091. IEEE, 2024. [^35]: Omid Taheri, Yi Zhou, Dimitrios Tzionas, Yang Zhou, Duygu Ceylan, Soren Pirk, and Michael J Black. Grip: Generating interaction poses using spatial cues and latent consistency. In 2024 International Conference on 3D Vision (3DV), pages 933–943. IEEE, 2024. [^36]: Michael Tschannen, Alexey Gritsenko, Xiao Wang, Muhammad Ferjad Naeem, Ibrahim Alabdulmohsin, Nikhil Parthasarathy, Talfan Evans, Lucas Beyer, Ye Xia, Basil Mustafa, et al. Siglip 2: Multilingual vision-language encoders with improved semantic understanding, localization, and dense features. arXiv preprint arXiv:2502.14786, 2025. [^37]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, et al. Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20270–20281, 2023. [^38]: Fang Xu, Tianyu Zhou, Hengxu You, and Jing Du. Improving indoor wayfinding with ar-enabled egocentric cues: A comparative study. Advanced Engineering Informatics, 59:102265, 2024. [^39]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024. [^40]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J Black. Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329, 2025. [^41]: Haoqi Yuan, Bohan Zhou, Yuhui Fu, and Zongqing Lu. Cross-embodiment dexterous grasping with reinforcement learning. arXiv preprint arXiv:2410.02479, 2024. [^42]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 445–456, 2024. [^43]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. arXiv preprint arXiv:2501.02973, 2025. [^44]: Bohan Zhou, Haoqi Yuan, Yuhui Fu, and Zongqing Lu. Learning diverse bimanual dexterous manipulation skills from human demonstrations. arXiv preprint arXiv:2410.02477, 2024. [^45]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Gears: Local geometry-aware hand-object interaction synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20634–20643, 2024. ### [^46]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5745–5753, 2019 --- ### 附录 ### A 实现细节 ### A.1 超参数我们在表1中列出了MEgoHand训练所使用的重要超参数。

Table 1: Hyperparameters of MEgoHand Training.

Hyperparameter	Value
Prediction Trunk Size l	16
Integration Step Size $\delta$	0.1
Gradient steps	50,000
Batch size	64
Learning Rate	3e-4
Optimizer	AdamW
Adam $\beta_1$	0.95
Adam $\beta_2$	0.999
Adam $\epsilon$	1e-8
LR scheduler	cosine
Weight Decay	1e-5
Warmup Ratio	0.05
VLM text tokenizer	frozen
VLM vision encoder	unfrozen
DiT	unfrozen

### A.2 逆向MANO预训练架构。逆向MANO重定向网络的模型架构由带有三层MLP的PointNet编码器构成。训练参数。我们分别将$w_1 = 4.0$和$w_2 = 5.0$设置为$\mathcal{L}_1$和$\mathcal{L}_2$的值。$\mathcal{L}_{\text{shape}}$和$\mathcal{L}_{\text{recon}}$均为L1损失函数，用于约束形状特征$\beta$、平移量t以及用六维表示法描述的旋转量$\theta$，即r。可视化。图1展示了使用逆向MANO重定向网络$\phi$对FPHA数据集进行标注的情况。 ![Image](images/4ef1fbdd2b2763a66d47ac6845745490d1420ba9b06e5ac1260722e5633b64b0.jpg)

Figure 1: We forward the MANO model to convert the outputs of Inverse MANO Retargeting Network $\phi$ to hand meshes, which are projected to the original frames in FPHA with the help of camera intrinsics and extrinsics.

--- ### A.3 流匹配近期在高分辨率图像和视频合成领域的研究表明，当流匹配与简单的线性高斯（或最优传输）概率路径结合时，能够取得出色的实证性能，该概率路径的表达式如下： $$ \begin{array}{r}{q(\mathcal{H}_{k}^{\tau}|\mathcal{H}_{k})=\mathcal{N}(\tau\mathcal{H}_{k},(1-\tau)^{2}\mathbf{I}).}\end{array} $$ 实际上，网络是通过采样随机噪声 $\epsilon \sim \mathcal{N}(0, \mathbf{I})$、计算“含噪动作” $\mathcal{H}_k^\tau = \tau \mathcal{H}_k + (1 - \tau) \epsilon$，然后训练网络输出 $\nu_\theta(\mathcal{H}_k^\tau, h_k, z_k^{TDI})$ 以匹配去噪向量场来进行训练的： $$ \mathbf{u}(\mathcal{H}_{k}^{\tau}|\mathcal{H}_{k})=\epsilon-\mathcal{H}_{k}. $$ 动作专家使用完整的双向注意力掩码，以便所有动作词元能够相互关注。在训练过程中，我们从Beta分布中采样流匹配时间步 $\tau$，该分布更侧重较低（含噪更多）的时间步。在推理时，我们通过对从 $\tau = 0$ 到 $\tau = 1$ 的学习到的向量场进行积分来生成动作，起始点为随机噪声 $\mathcal{H}_k^0 \sim \mathcal{N}(0, \mathbf{I})$。我们采用前向欧拉积分规则： $$ \begin{array}{r}{\mathcal{H}_{k}^{\tau+\delta}=\mathcal{H}_{k}^{\tau}+\delta\nu_{\theta}(\mathcal{H}_{k}^{\tau},h_{k},z_{k}^{T D I}),}\end{array} $$ 其中 $\delta$ 为积分步长。我们的实验中使用了10个积分步（对应 $\delta = 0.1$）。需要注意的是，通过缓存前缀 $h_k$、$z_k^{TDI}$ 的注意力键和值，仅重新计算每个积分步对应的手部动作后缀，就可以高效地实现推理。 ### A.4 视觉语言模型视觉输入会被调整大小为 $224 \times 224$，并由SigLIP-2通过像素重排 [^33] 进行编码，每帧生成64个具有空间感知能力的视觉词元，记为 $x^{\mathcal{T}}$。同时，文本指令由SmolLM2处理以提取语义表示 $x^{\mathcal{T}}$，从而实现跨模态对齐。 ## A.5 HOI数据集资源。我们在实验中使用了多种公开可用的以人为中心的双手-物体交互数据集。以下是各数据集的简要描述及其官方网站链接以供参考： - H2O：一个大规模以人为中心的数据集，包含RGB和深度模态下的双手-物体交互数据。 • HOI4D：一个人类-物体交互数据集，涵盖了各种任务中的精细操作。 • HOT3D：一个用于双手-物体跟踪与操作的数据集，带有精确的标注。 • OAKINK2：一个针对大规模以人为中心的操控任务的综合性基准数据集，包含可动物体模型。 - TACA：一个面向任务的接触感知型人类-物体交互分析数据集。 • ARCTIC：一个标注丰富的数据集，用于追踪以人为中心场景中的双手-物体接触与运动。 HOLO：一个在真实环境中采集的大规模家庭操控任务数据集。格式。我们的训练语料基于LeRobot [^5] 数据集格式构建，这是开源机器人社区和交互学习领域广泛采用的标准。LeRobot由Hugging Face开发，旨在通过提供统一的结构来存储、共享和利用演示数据，从而简化基于演示的学习流程。它的受欢迎程度源于其适应性以及Hugging Face平台上丰富的预训练模型和数据集生态系统。LeRobot格式结合了几种成熟的文件类型，以确保高效的存储和访问： --- • 表格数据：状态、动作和元数据存储在Parquet文件中，这类文件提供紧凑的列存储方式且访问速度快。这种结构支持快速过滤和切片——这对于训练现代机器学习模型至关重要。 - 视觉数据：Parquet文件中引用了视频（MP4）或图像序列（PNG）形式的观测数据，这大大降低了存储需求，同时保证了数据的可访问性。 • 元数据：数据集统计信息和片段索引等补充信息以JSON格式存储，便于以结构化、机器可读的方式获取数据集特征。演示序列被组织成多个片段，每个片段中的每一帧都记录了同步的观测数据与对应的动作。观测数据通常包括视觉输入（如observation.images.*）和内部状态（如observation.state），而动作则编码了控制指令。这种片段式结构能够支持多种学习范式。在模仿学习中，这些数据可用于根据观测结果预测动作；在强化学习中，它则有助于在不同状态-动作场景下评估和优化决策策略。这种标准化的数据格式不仅提升了学习系统间的可复现性和互操作性，还通过提供高质量交互数据集的便捷接口，降低了研究人员的入门门槛。虽然LeRobot格式已经奠定了坚实的基础，但我们的工作对其进行了多项扩展，以支持更丰富的模态集成。我们在标准格式中新增了以下组件： - 模态配置：我们在meta目录下引入了modality.json文件，用于明确定义初始状态和动作向量的结构。该配置将每个向量组分与其语义含义对应起来，并包含了与各模态相关的额外元数据。 - 细粒度语义分解：不同于原格式中采用的整体向量方式，我们将状态（初始手部状态）和动作（未来手部运动轨迹）向量分解为具有语义可解释性的组分——如$\theta$、$\beta$、r和t——每个组分都标注了自身的数据类型、有效范围和转换规则。 - 多注释集成：数据集格式得到了扩展，以支持多种形式的注释，如任务描述、有效性指标和成功标签。这些注释遵循LeRobot的做法，将索引存储在Parquet文件中，而相应内容则保存在辅助的JSON文件中。 - 旋转表示规范：为确保训练过程中能正确处理旋转分量，我们要求为每个相关字段明确声明所使用的旋转表示方法（如四元数、欧拉角或轴角）。这些增强功能共同实现了从复杂演示数据中更结构化的学习，既提供了明确的模态定义，也强化了对多模态监督的支持。预处理方面：对于FPHA，我们先预训练Inverse MANO Retargeting Network来标注MANO参数；对于ARCTIC、HOT3D和OAKINK2，我们采用虚拟RGB-D渲染技术提前生成高质量的度量深度图像。所有的RGB图像和深度图像都会被缩放至$256 \times 256$尺寸。值得注意的是，为了训练和测试，我们会将较长的序列拆分成任务指令相同的短片段（少于500步）。 ### A.6 计算资源 MEgoHand模型的训练使用了$8 \times 80GB$块NVIDIA A800 GPU，耗时约24小时。所有的评估和可视化操作则在单块80GB A800 GPU上完成，耗时大约三小时。 ### A.7 平滑解码解码策略。如图2所示，在$t = 0$时刻，MEgoHand接收初始手部MANO参数、以自我为中心的RGB图像以及深度图，以此来预测躯干姿态$t = 1 \cdots l$。所预测的 --- ![Image](images/fd2b2f72a91bcf9c75e62ada4ddb53177206f61df36737b31b550465f71b6e97.jpg)

Figure 2: Illustration for smoothing predicted transformations.

手腕姿态是相对于初始手部姿态的，而预测出的$\beta$则沿用初始的$\beta$。接着在$t = 1$时刻，类似地，预测出的手腕姿态$t = 2 \cdots l + 1$是相对于在$t = 1$时刻预测出的手腕姿态而言的，以此类推。将所有相对变换转换为绝对变换后，我们对同一时间步下的所有预测结果取平均值，从而得到更平滑的变换。可视化效果。从图3中可以看出，平滑解码策略能有效减轻抖动现象。

t=80

![Image](images/ac71fbcef26a4ba99bd70c7801e56e208707576cfc70c5cbfb3c393368369dc9.jpg)

t=100

Figure 3: Frames randomly sampled from task "Stir the bowl with spatula" of TACO. Without decoding strategy, the predicted trajectory exhibits more fluctuations.

## B 补充可视化内容 ### B.1 零样本深度估计与虚拟深度渲染在图4中，我们展示了UniDepthV2的零样本深度估计结果[^29]，以及基于物体模型渲染出的虚拟深度图。由于这些数据集中没有真实的深度帧，因此涉及了三个数据集：OAKINK2、HOT3D和ARCTIC。 ### B.2 HOI手部动作生成我们在图5和图6中展示了更多策略推理的片段。在大多数情况下，MEgoHand的表现都优于基线模型LatentAct。 ## C 实验结果我们在表2中报告了MEgoHand在各个数据集上的平均指标。 --- ![Image](images/83a4f1ce7dfe2902c1287cac9d6d257fcd870c124c0ba5852daef385de95cbe2.jpg)

Figure 4: Colorbars indicate the absolute depth values (unit: m). The depth values of all depth frames fall within [^0] [^2].

Table 2: Average metrics across evaluation (TACO, HOI4D, H2O, HOT3D, OakInk2) and testing datasets (ARCTIC, HOLO). The unit for MRE is radians; the remaining metrics are measured in centimeters.

Dataset	MPJPE	MPJPE-PA	MPVE	MPVE-PA	MWTE	MRE
$H_{2}O$	3.013	0.352	2.969	0.334	2.450	0.099
HOI4D	8.958	0.856	8.933	0.826	8.462	0.213
HOT3D	6.437	0.236	6.352	0.228	5.045	0.086
OAKINK2	3.424	0.217	3.380	0.205	2.837	0.071
TACO	4.936	0.358	4.899	0.346	4.465	0.131
ARCTIC	7.358	1.161	7.268	1.106	5.958	0.398
HOLO	5.775	0.697	5.747	0.673	5.437	0.271

--- ![Image](images/f55b9acfda46bed35ac2821f448023823e7a43665b42b7e105fb37c7b4bed3dc.jpg)

Figure 5: Additional visualizations of LatentAct and MEgoHand. Green part is sampled from training sets. Blue part is sampled from evaluation sets. The Yellow part is sampled from testing sets.

--- ![Image](images/8dfd63cf4c931faf68d49956f2a63c0263b1d58fa195ae16bdbe397d7393ef39.jpg)

Figure 6: Additional visualizations of LatentAct and MEgoHand. Green part is sampled from training sets. Blue part is sampled from evaluation sets. The Yellow part is sampled from testing sets.