# METIS：面向集成灵巧视觉-语言-动作模型的多源自我中心训练

付彦凯 $^{1,2,*}$、陈宁 $^{1,2,*}$、赵俊凯 $^{2,*†}$、单少哲 $^{1}$、姚国才 $^{2}$、王鹏伟 $^{2}$、王中原 $^{2}$、张尚航 $^{1,2✉}$

 $^{1}$北京大学计算机学院多媒体信息处理国家重点实验室；$^{2}$北京人工智能研究院

 $^{*}$贡献相同，$\dagger$项目负责人，通讯作者

项目网页：<https://aureleopku.github.io/METIS>

<div style="text-align: center;">(a) EgoAtlas Dataset for Pretraining</div>

![Image](images/467b9589d889c22c4e5b44a23c69e42502a85e2a8bd2e26e7cd4675a51a21ff9.jpg)

![Image](images/87ef933c6307880719d72ffa8284cada1c4c06532a14e8ec7f2af20f786fa5ed.jpg)

<div style="text-align: center;">(b) METIS VLA Model</div>

<div style="text-align: center;">Figure 1: METIS is trained on a multi-source egocentric manipulation dataset EgoAtlas. It leverages motion-aware dynamics to extract manipulation-relevant dexterous features, and integrates reasoning and acting within a unified framework. METIS achieves strong performance across diverse dexterous manipulation tasks and exhibits remarkable generalization capability.</div>

## 摘要

打造能够感知、推理并执行各类任务的通用机器人仍是一项未解决的挑战，尤其是在灵巧操作领域。主要瓶颈在于缺乏大规模、带有动作标注的灵巧技能数据，因为遥操作既困难又成本高昂。人类数据规模庞大且包含多样的操作行为，能为学习机器人动作提供丰富的先验知识。尽管以往的研究尝试利用人类演示数据，但往往受限于有限的场景以及人类与机器人之间巨大的视觉差异。为消除这些限制，我们提出了METIS——一种基于多源自我中心数据集预训练的用于灵巧操作的视觉-语言-动作（VLA）模型。我们首先构建了EgoAtlas，它整合了来自多个来源的大规模人类和机器人数据，且所有数据都统一在一致的动作空间中。我们进一步提取了运动感知动力学——一种紧凑且离散的运动表示形式，为VLA训练提供高效且富有表现力的监督信息。基于上述成果，METIS将推理与行动整合到一个统一框架中，从而能够有效应用于下游灵巧操作任务。我们的方法展现了卓越的灵巧操作能力，在八项真实世界任务中取得了最高的平均成功率。实验结果还凸显了其出色的泛化能力和对分布外场景的鲁棒性。这些发现表明，METIS是迈向灵巧操作通用模型的重要一步。

---

## 1 引言

近年来，视觉-语言-动作（VLA）模型的进步为实现通用具身智能取得了显著成果 [^45] [^19] [^15] [^68]。然而，这类模型严重依赖稀缺且昂贵的真实世界机器人数据，这些数据往往通过人类遥操作收集而来。尽管人们为构建大规模机器人数据集付出了大量努力 [^34] [^17] [^5] [^54]，但机器人交互数据的有效规模仍比用于大语言模型训练的数据小几个数量级 [^68]，这严重限制了当前VLA的可扩展性和泛化能力。这一问题在灵巧操作领域更为突出，因为获取高质量的演示数据极其昂贵且复杂。因此，现有的大多数VLA研究都集中在简单的夹爪类任务上 [^14] [^26] [^6] [^30]，而灵巧操作领域则鲜有涉及。

与机器人数据集的稀缺性相比，人类数据则极为丰富且蕴含丰富的语义信息，能够为行为先验提供宝贵参考。以往的研究曾尝试从人类视频中学习任务相关的表征，例如可操作区域[^1] [^21]、潜在动作[^60] [^6]以及关键点流[^65] [^62]。EgoVLA[^59]、Being-H0[^32]和H-RDT[^2]等最新成果利用大规模人类数据集对VLA进行预训练，为扩展机器人学习开辟了新的范式。然而，人类视频往往局限于特定的家庭或工作场景（如桌面或厨房），导致场景覆盖不均且存在强烈的上下文偏差。此外，人类数据与机器人数据在视觉外观和动作空间上存在显著差异。另一类研究则探索联合训练策略，即同时利用自行收集的人类数据和机器人数据。例如，HAT[^39]能够学习人类策略，并证明引入人类数据可显著提升机器人策略的泛化能力和鲁棒性；而MotionTrans[^63]则将人类动作与特定机器人形态对齐，从而实现零样本技能迁移。这些方法虽能收集到与操控相关的数据，却并未充分利用互联网上海量的人类数据。

在本研究中，我们通过引入METIS来解决这些问题。METIS是一种基于多源自中心数据集预训练的视觉-语言-动作（VLA）模型，专门用于灵巧操控任务。我们首先构建了EgoAtlas——一个涵盖大规模互联网人类数据、机器人数据以及通过可穿戴系统收集的增强型人类数据的多源自中心数据集。EgoAtlas包含四大类别、八个数据源，且所有数据均在统一的动作空间下对齐。我们进一步提出了“运动感知动力学”这一概念，这是一种专为灵巧操控设计的紧凑且离散的表征方式。它能够捕捉视觉与运动动力学信息，为VLA训练提供高效且富有表现力的监督信号。基于上述基础，METIS在EgoAtlas上完成预训练，将推理与执行整合于单一框架之中。这种设计使其能够在下游灵巧任务中实现高效的微调与部署。

为了全面评估METIS的性能，我们在真实环境中开展了广泛的灵巧任务实验。对比结果显示，该模型在性能和效率方面均表现优异，其平均成功率在所有基线VLA模型中名列前茅。此外，METIS在分布外场景中也展现出强大的泛化能力，包括未见过的背景、物体、光照条件以及杂乱环境，甚至还能迁移到自由度更高的机器人形态上。最后的消融实验验证了多源自中心数据集与运动感知动力学对整体系统的贡献，凸显了从人类数据中学习机器人运动先验的潜力。总而言之，我们的贡献如下：

• 我们构建了多源自中心操控数据集EgoAtlas，将各类人类与机器人数据源整合在统一的状态-动作空间之下。

- 我们提出了METIS，一种基于EgoAtlas预训练的灵巧操控用VLA模型；该模型能从灵巧手部动作中提取运动感知动力学特征，并将推理与执行集成于统一框架中。

- 我们通过一系列真实世界实验，证明了该方法的有效性与泛化能力。

## 2 相关工作

### 2.1 灵巧操控

灵巧操作是机器人领域的关键挑战，其目标是实现类似人类的精细操作能力。传统方法主要基于优化和控制算法。

---

[^22]: [^51] [^27] [^56], typically assuming access to known dynamics and object models, and focusing on trajectory planning under physical constraints. While achieving strong performance in specific scenarios, these methods often struggle to generalize across diverse real-world settings. Recent learning-based approaches, including reinforcement learning (RL) and imitation learning (IL), have made remarkable progress across various tasks such as grasping [^55] [^48], in-hand manipulation [^37] [^36], and tool use [^41] [^61]. RL methods learn precise and dexterous skills through large-scale training in simulation, but often suffer from a significant sim-to-real gap. In contrast, IL methods leverage expert demonstrations to achieve robust performance in real-world dexterous manipulation tasks [^28] [^10] [^18] [^9], but typically rely on expensive human teleoperation data. In this work, we address this data bottleneck by pretraining our model on large-scale multi-source egocentric data that combines human and robotic demonstration to learn motion priors efficiently.

### 2.2 从人类数据中学习灵巧操作能力

人类数据为灵巧操作提供了宝贵的先验知识，这些数据包含丰富的样本、精细的手部运动信息以及多样的语义线索。已有研究尝试从人类视频中学习任务相关的表征，例如可操作性特征[^1] [^21]、潜在动作[^60] [^6]以及关键点流[^65] [^62]。Ego-Only[^50]利用MAE框架[^11]从第一人称视角视频中提取可用信息，而LAPA[^60]和UniVLA[^6]则采用VQ-VAE[^47]从大规模无标注的人类数据中提取潜在动作。然而，直接利用人类视频学习会引入冗余且无关操作的内容，同时忽视了手部运动的关键作用。为弥补这一不足，HAT[^39]和MotionTrans[^63]采用了结合人类数据与机器人数据并包含明确运动信息的协同训练策略，从而提升策略的鲁棒性并实现零样本技能迁移。在本研究中，我们通过联合建模视觉与运动动态来从人类数据中学习动作先验，以支持VLA的学习。

### 2.3 视觉-语言-动作模型

近年来，视觉-语言-动作（VLA）模型取得了前所未有的进展[^45] [^19] [^15] [^40]，这一进展得益于视觉-语言模型（VLM）[^42] [^44] [^57]的进步以及大规模机器人数据集[^34] [^17] [^5] [^54] [^13]的出现。这些模型能够处理多模态输入——如视觉观测和语言指令——从而使机器人能够自主执行各类任务。典型的VLA模型，如RT-2[^68]和OpenVLA[^19]，采用自回归方式生成动作序列。相比之下，$\pi_0$ [^4]和DexVLA[^53]则采用基于扩散的策略，通过迭代去噪来拟合连续动作分布。不过，这些方法主要侧重于基于夹爪的操作，忽略了灵巧任务中固有的丰富运动与交互动态。近期，已有多项研究将VLA框架拓展至灵巧操作领域。例如，GR00T N1[^3]通过混合数据学习潜在表征以训练类人机器人操作策略，而EgoVLA[^59]和Being-H0[^32]则利用大规模人类演示数据进行VLA预训练，从而获取运动先验。尽管这些成果令人瞩目，但人类视频的场景单一性会导致偏差，且与机器人观测之间存在较大的视觉差异。为解决这一问题，我们利用多源第一人称视角数据，构建了增强版的人类数据集，并开发了用于统一推理与执行的集成式VLA模型。

## 3 EgoAtlas数据集

### 3.1 用于获取更优质人类数据的可穿戴系统

传统的手部运动捕捉系统依赖多摄像头或虚拟现实设备，这类系统存在视角依赖性、遮挡问题以及捕捉空间受限等缺陷。为解决这些问题，我们开发了一种可穿戴手套追踪系统，以实现便携且高精度的运动捕捉。

可穿戴手部动作采集系统。我们使用Manus Quantum Metagloves来记录精确的三维手部关键点（每只手25个）。每只手套上安装的VIVE Tracker可提供六自由度手腕姿态信息，从而实现全局定位。为了捕捉以自我为中心的视觉观测数据，我们采用头戴式摄像头在操作过程中录制第一人称视角画面，这种视觉信息与操作者的视角高度一致；同时，另一个VIVE Tracker被安装在头盔上，用于进行外部校准。此次校准能够统一运动捕捉与自拍摄像头的坐标系，

---

从而使整个系统能够在真实环境中运行，并确保场景的多样性。我们还提供了可选的俯视第三人称摄像头视角，该视角不用于本研究的校准、训练或推理环节；它仅用于录制RGB视频以供未来研究使用。整个系统的运行频率为20 Hz，既保证了动作的保真度，又实现了多传感器间的可靠同步。

子任务级标注。我们进行了子任务级标注，以丰富数据集的语义结构。每条轨迹都配有任务级语言指令，以及细粒度的子任务划分。这种标注设计

![Image](images/6efa89d821c9a8015690f54a5340007001f67682a6d4b5cf0fdb569d948717b0.jpg)

<div style="text-align: center;">Figure 2: Wearable Hand Motion Collection System.</div>

能够让视觉-语言-动作模型专注于手部动作，并支持对长时程操作任务进行分层推理。更多细节可在附录A.5中找到。

### 3.2 数据统计与处理

基于第3.1节的内容，我们介绍了EgoAtlas——一个用于视觉-语言-动作模型训练的大规模多源以自我为中心数据集。EgoAtlas整合了来自人类和机器人领域的8种异构数据源，其中包括通过可穿戴系统自行采集的1万条高保真轨迹。最终数据集包含34.3万条轨迹和8972万组图像-动作配对数据，具体汇总情况见表8。我们采用加权采样方法来平衡不同数据源的分布。更多细节详见附录A.7。

不同的实体在各自的状态与动作空间中运作。为了衔接这些异构数据源，我们构建了一个统一的状态-动作表示方式，它在消除实体特异性差异的同时保留了与操作相关的动作信息。状态-动作空间由两部分组成：手腕姿态和指尖姿态。手腕姿态被表示为一个18维向量，包含以自我为中心摄像头坐标系下每只手的三维位置以及六维连续旋转参数。手部形态则由三维指尖姿态来描述，即手腕坐标系下各个指尖的三维位置。我们运用针对特定机器人的正运动学/逆运动学算法以及人体动作映射算法，将异构的动作表示投影到共享的状态-动作空间中，同时将所有数据统一到一致的坐标系内。更多细节可在附录A.3、A.4和A.6中查看。

## 4 方法

### 4.1 问题表述

我们的目标是利用多源以自我为中心的数据来学习用于灵巧操作的视觉-语言-动作模型。正式而言，给定来自EgoAtlas数据集的人类与机器人轨迹集合$D = D_{robot} \cup D_{human}$，每条轨迹可表示为一系列观测-动作配对$\tau = \{(o_t, a_t)\}_{t=1}^T$，其中观测$o_t = \{I_t, S_t\}$包括以自我为中心的图像输入以及本体感知状态。训练目标是学习一个策略$\pi_{\phi}(a_t | o_t, l)$，使其能够根据以自我为中心的观测$o_t$和语言指令l来预测动作。

为了弥合具身差距，我们构建了一个统一的状态-动作空间，其中包括18维的手腕姿态$P_{t}^{w}$（每只手的三维位置和6维旋转向量）以及30维的手指姿态$P_{t}^{f}$，用于描述各个指尖的三维位置。下文我们将详细介绍这三个组成部分的设计。

- 图像观测$I_{t}$：我们使用第一人称摄像头拍摄的以自我为中心的图像，这种视角能够捕捉到精细的交互细节。

• 手腕姿态$P_{t}^{w}$：我们参照Zhou等人的方法[^67]，将手腕姿态表示为三维位置和6维旋转向量，这些参数均相对于相机坐标系而言。

- 手指姿态$P_{t}^{f}$：我们用指尖的三维位置来表示手指姿态，这些位置是在手腕坐标系中定义的。

---

![Image](images/78f81495cfb3fcac854e113416183014f3b4c76f017536c20955ce26c4ae8286.jpg)

<div style="text-align: center;">Figure 3: Overview Framework (a) We construct an expressive yet compact representation to capture the dynamics in dexterous manipulation. (b) METIS is pretrained on multi-source EgoAtlas dataset, where human and robot actions are align under a unified action space. (c) METIS integrates reasoning and acting within a framework, enabling effective deployment to downstream tasks.</div>

### 4.2 运动感知动力学构建

近期，视觉语言动作模型通常采用通用的分词器对连续动作进行离散化，从而实现用于策略学习的自回归序列建模。然而，随着动作块数量和系统自由度的增加，离散动作表示不可避免地会导致更长的词元序列，进而增加自回归生成的计算成本和延迟。此外，这种分词方法往往难以捕捉精细的运动细节，而这在灵巧操控中尤为关键，因为细微的手指运动和接触交互至关重要。

为解决这些难题，我们提出了一种紧凑且离散化的表示方法，能够有效构建用于灵巧操控的运动感知动力学。这种表示为视觉语言动作模型的预训练提供了高效且富有表现力的监督信号。所提出的动力学模型包含两个关键组成部分，具体如下所述。

视觉动力学离散化。在以自我为中心的灵巧操控中，一个关键挑战在于建模手部运动如何引发结构化的视觉变化。我们并未直接对原始视觉观测进行离散化，而是显式地建模受运动条件影响的视觉动力学，以捕捉操控对未来视觉状态的因果影响。具体而言，我们采用基于逆动力学模型的编码器$\mathcal{I}(D_{vis}|I_t,I_{t+k},P_{t,t+1,...,t+k})$和基于正向动力学模型的解码器$\mathcal{F}(I_{t+k}|I_t,D_{vis})$。编码器通过将视觉观测与连续运动信息相结合来捕捉与运动相关的视觉动力学，而解码器则被训练为根据构建的视觉动力学预测未来的观测结果。我们的编码器包含空间和时间变换器，而解码器仅包含空间变换器。

视觉动力学$D_{vis}$通过VQ-VAE目标函数[^47]进行量化。该函数将连续的潜特征映射为有限的一组离散码本嵌入，从而为视觉语言动作模型的高效稳定自回归训练提供支持。参照Bu等人的方法[^6]，我们并不重建图像像素，因为原始像素中包含大量冗余信息以及与操控任务无关的细节。相反，我们利用预训练的DINOv2[^33]提取高层语义表征，这类表征能更好地反映与任务相关的视觉动力学。

运动动力学量化。学习运动先验对于VLA模型而言至关重要。为此，我们引入了一组独立的离散化码本嵌入$D_{mot}$，专门用于捕捉运动信息。我们将手部运动轨迹离散为紧凑的动力学标记，这些标记能够有效捕获本体感知信息，并反映灵巧操作中的细粒度特征。我们提出将PoseNet作为3D手部运动的编码器，它结合了多尺度时间卷积。

---

该编码器还利用轨迹自注意力机制来捕捉时空动力学特征。随后，通过RQ-VAE [^25]对连续的运动特征进行量化，这种方法不仅能有效防止码本坍塌，还能从粗略到精细的层次上捕捉运动模式。如图3(a)所示，训练过程中采用时序卷积网络（TCN）[^24]作为解码器来重构运动轨迹。关于运动感知动力学的更多细节可参见附录B。

### 4.3 METIS模型

如图3(c)所示，我们提出的METIS模型基于VLM构建，其参数初始化自Prismatic-7B [^16]。该模型采用了一种混合视觉编码器，集成了SigLIP [^64]和DINOv2 [^33]，能够同时捕获全局语义与细粒度的空间细节。得到的视觉特征$f^{SigLIP} \in \mathbb{R}^{N_v \times 1152}$和$f^{DINO} \in \mathbb{R}^{N_v \times 1024}$（其中$N_v$代表视觉标记的维度）会沿通道维度进行拼接。随后通过投影层将视觉嵌入与语言模态对齐。我们选用7B规模的LLaMA-2 [^46]大型语言模型作为LLM骨干，该模型采用仅解码器的Transformer架构，包含32个用于自回归语言建模的连续模块。

以往的研究如OpenVLA [^19]和RT-2 [^68]会将LLaMA-2中不常用的词汇映射到均匀分布在$[-1, 1]$内的动作区间中。虽然这种方法在低维控制中效果显著，但难以扩展到高维连续动作场景，往往会导致行为低效且不稳定。METIS首先通过$|C_1| + |C_2|$个特殊标记来扩展LLaMA分词器的词表，其中$|C_1|$和$|C_2|$分别对应视觉动力学标记和运动动力学标记的码本大小。利用上一节介绍的动力学模型，我们将每个以自我为中心的操控序列离散为运动感知的动作标记，记为$D_{vis}$和$D_{mot}$。每个动力学特征会被分配到最近的码本条目，生成的离散索引会映射为一个独特的特殊标记。这种设计充分利用了原有的VLM架构，从而支持训练过程中的自回归监督。METIS在保留语言模型的语言先验的同时注入运动信息，进而学会建模灵巧操作所需的细粒度动力学特征。METIS的自回归目标$\pi$是最小化下一个动力学状态的负对数概率之和：

 $$ \mathcal{L}_{a r}=\mathbb{E}_{o_{t},l,a_{d,<i}}[-\sum_{i=1}^{N}l o g\pi_{\phi}(\hat{a}_{d,i\mid o_{t},l,a_{d,<i}})] $$

其中N代表动态标记的总长度，在我们的设置中为44个（视觉动力学占4个，运动动力学占40个）。更多细节可参见附录。

动作解码器。动作解码器将感知运动的动态标记转换为可执行的低级动作。它以动态标记、视觉嵌入以及在统一空间中表达的当前本体感知作为输入。视觉与动态特征通过多头注意力池化进行聚合，而本体感知输入则通过两层多层感知机投影到隐藏空间。融合后的表示会经过线性投影头，以预测一秒钟内（32个未来时间步）的动作序列。最终的训练目标是 $\mathcal{L} = \mathcal{L}_{ar} + \lambda \mathcal{L}_{action}$。

动作的链式思维推理。受大型语言模型中链式思维提示的启发，METIS 将高级操作指令分解为更短的子任务。每个子任务都配有细粒度的手部描述，用以明确指导动作预测（例如：“把方糖抓入碗中”）。为了支持这一推理过程，我们手动为自行收集的数据集标注了子任务级别的标签。每条演示轨迹被分割成一系列时间上连续的子任务片段，每个片段都配有自然语言描述，指明被操作的物体、执行动作的手以及预期的运动。

METIS 以两种截然不同且可自适应切换的模式运行：推理模式和动作模式。这种双模式设计使模型能够在高级子任务推理与低级动作执行之间动态平衡，同时避免在每个时间步都进行不必要的推理，从而降低推理延迟。具体而言，模式切换由基于标记的门控机制控制。我们引入了两个特殊标记：推理开始标记 ([BOR]) 和动态开始标记 ([BOD])。当检测到子任务转换时，METIS 首先预测 [BOR] 并进入推理模式，在此期间它会自动递归地进行子任务推理。生成的推理结果会被纳入语言上下文，用于后续决策。相反，如果模型认为无需推理（例如继续执行为中的子任务），它就会直接预测

---

<div style="text-align: center;">Table 1: Main results of six real-world tasks. Each experiment is evaluated with 20 trials. SR denotes Success Rate, and PSR denotes Progress Success Rate.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td rowspan="2">Pick and Place SR</td><td rowspan="2">Close Laptop SR</td><td rowspan="2">Open Drawer SR</td><td colspan="2">Grasp Two Drinks into Basket</td><td colspan="2">Put Cola into Basket</td><td colspan="2">Open and Put Bread</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>PSR</td><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>PSR</td><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>PSR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ACT</td><td style='text-align: center; word-wrap: break-word;'>35.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>95.0%</td><td style='text-align: center; word-wrap: break-word;'>25.0%</td><td style='text-align: center; word-wrap: break-word;'>40.0%</td><td style='text-align: center; word-wrap: break-word;'>50.0%</td><td style='text-align: center; word-wrap: break-word;'>53.3%</td><td style='text-align: center; word-wrap: break-word;'>5.0%</td><td style='text-align: center; word-wrap: break-word;'>5.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Open VLA-OFT</td><td style='text-align: center; word-wrap: break-word;'>50.0%</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>10.0%</td><td style='text-align: center; word-wrap: break-word;'>40.0%</td><td style='text-align: center; word-wrap: break-word;'>57.5%</td><td style='text-align: center; word-wrap: break-word;'>55.0%</td><td style='text-align: center; word-wrap: break-word;'>56.7%</td><td style='text-align: center; word-wrap: break-word;'>0.0%</td><td style='text-align: center; word-wrap: break-word;'>1.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\pi_{0.5}$</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>85.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>72.5%</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>76.7%</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GROOT N1.5</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>73.3%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>72.5%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS (Ours)</td><td style='text-align: center; word-wrap: break-word;'>85.0%</td><td style='text-align: center; word-wrap: break-word;'>95.0%</td><td style='text-align: center; word-wrap: break-word;'>90.0%</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>85.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>76.7%</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>82.5%</td></tr></table>

![Image](images/7962f1873e7ae45145b34d51a480b8e4ba7250bbf9795e8d619549dfc72c3430.jpg)

<div style="text-align: center;">Figure 4: Visualization of dexterous tasks.</div>

<div style="text-align: center;">Table 2: Performance on tool-use tasks.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Pour Drinks</td><td colspan="2">Water Flowers</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>PSR</td><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>PSR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\pi_{0.5}$</td><td style='text-align: center; word-wrap: break-word;'>40.0%</td><td style='text-align: center; word-wrap: break-word;'>41.7%</td><td style='text-align: center; word-wrap: break-word;'>15%</td><td style='text-align: center; word-wrap: break-word;'>18.3%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GROOT N1.5</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>53.3%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS (Ours)</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>83.3%</td><td style='text-align: center; word-wrap: break-word;'>60%</td><td style='text-align: center; word-wrap: break-word;'>63.3%</td></tr></table>

[BOD] 标记来切换到动作模式。随后，METIS 输出感知运动的动态标记，这些标记由动作解码器解码为用于执行的低级动作。

为了在每个训练步骤中监督该门控机制，我们根据标注的子任务边界构建标记目标。受 OneTwoVLA 的概率区间监督方法的启发 [^29]，我们在每个边界周围 $[-10, +10]$ 帧的过渡窗口内采用对称采样策略 $\tau_k$。[BOR] 被赋予的概率

 $$ p_{\mathrm{B O R}}(t)=1-\frac{\left|t-\tau_{k}\right|}{20},\qquad\left|t-\tau_{k}\right|\leq10. $$

该概率在边界处等于 1.0，并在窗口两端线性下降至 0.5。窗口内的帧以 $[BOR]$ 的概率被标记为 $p_{BOR}(t)$，其余情况则标记为 $[BOD]$；而所有过渡窗口之外的帧则被标记为 $[BOD]$。因此，每次转换最多可提供 21 个用于 $[BOR]$ 监督的候选帧，而不仅仅是单个边界帧。

## 5 实验

### 5.1 实验设置

硬件平台。在硬件平台方面，我们使用配备一对 Inspire 6 自由度灵巧手的 Unitree G1 人形机器人，以实现精细操作。机器人的头部装有 Intel RealSense D435 摄像头，用于捕捉以自身为中心的 RGB 图像。

自主采集的机器人数据。我们通过佩戴手套追踪系统的人体遥操作来收集机器人演示数据[^49]。附着在操作员手腕上的追踪器能够捕捉精确的手腕姿态，随后通过逆运动学（IK）将其转换为机器人手臂的关节配置。同时，动作捕捉手套会记录指尖轨迹，再利用基于IK的重定位算法将其映射到灵巧手关节空间[^38]。

任务。我们在六种灵巧操控任务上对METIS进行了评估，包括三种短视界任务和三种长视界任务，如图4所示：(1) 抓取并放置，(2) 合上笔记本电脑，(3) 打开抽屉，(4) 将两瓶饮料放入篮子，(5) 把可乐放入篮子，(6) 打开抽屉并放入面包。我们还在更精细的工具使用任务（如倒饮料和浇花）上对METIS进行了评估。每个任务均采集了100个高质量演示样本，默认情况下会进行20次试验来评估性能。关于这些任务的更多细节详见附录D。

基线模型。我们将METIS与四种具有代表性的基线模型进行比较：(1) ACT[^66]，一种用于学习低级视觉运动策略的动作分块Transformer；(2) OpenVLA-OFT[^20]，一种通过优化微调得到的增强型开源VLA模型；(3) $\pi_{0.5}$ [^15]，一种用于通用机器人控制的VLA流模型；(4) GR00T N1.5[^3]，一种面向通用人形机器人的改进型VLA模型。

评估指标。我们使用两个指标来评估模型性能：成功率（SR），表示整个任务是否成功完成；进度率（PSR），用于衡量在长视界场景下子任务的平均完成比例相对于整个任务的比例。

---

<div style="text-align: center;">Table 3: Ablation on multi-source pretraining.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Pick and Place</td><td style='text-align: center; word-wrap: break-word;'>Put Bread</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS-NoPretrain</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>35.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS-HumanPretrain</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS-HumanRobotPretrain</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS-FullPretrain</td><td style='text-align: center; word-wrap: break-word;'>85.0%</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td></tr></table>

<div style="text-align: center;">Table 4: Ablation on reasoning mechanism.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Open Drawer and Put Bread</td><td style='text-align: center; word-wrap: break-word;'>Pour Drinks</td><td style='text-align: center; word-wrap: break-word;'>Throughput (Hz)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>No-reasoning</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>28.30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Always-reasoning</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>17.27</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Adaptive-reasoning</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>23.58</td></tr></table>

![Image](images/c94ef626c6a6a705effabea702b6638aec50a123a7011022d2f951e49d6d2ef2.jpg)

![Image](images/24e9af4ee178b1d574bee22fd36aedc8f7ebfce04f6c29841c4ff5abc8fe357d.jpg)

![Image](images/dd8385753baba1e4afa17ceca8abeba5ebd3add6380c68fa24463f4dcd970678.jpg)

<div style="text-align: center;">Figure 5: Instruction following results. Each Figure 6: Experimental results of efficiency. We task is collected with 100 demonstrations, jointly train the VLA model with an increasing number trained, and evaluated using different instructions. of demonstrations.</div>

### 5.2 现实世界实验中的性能表现

我们在现实世界的灵巧操控任务上开展了实验，如表1所示。我们的模型取得了最高的平均成功率，且在大多数任务上的表现都优于现有的最先进VLA模型。专用模型ACT在短视界任务中表现良好，但在长视界任务中却力不从心。$\pi_{0.5}$在需要精准灵巧操控的任务中表现不佳，因为它没有经过大规模灵巧数据集的预训练。GR00T N1.5通过在人形机器人和人类数据上进行大规模预训练并利用隐式潜在表征，取得了颇具竞争力的结果。不过，由于缺乏显式的推理和反馈修正机制，其在长视界任务上的性能仍受到限制。METIS得益于运动感知动力学机制和显式推理机制，在短视界和长视界任务中均表现出色。此外，METIS在所有长视界任务中都取得了最高的PSR值，这表明它能够在长视界序列中进行连贯的推理与行动，在任务执行过程中保持稳定的控制并尽量减少误差累积。

灵巧操控能力。我们通过对工具使用任务的模型性能评估，来更好地衡量其精细的灵巧操控能力。如表2所示，灵巧型VLA（如GR00T N1.5和METIS）的表现始终优于基于夹爪的VLA方法（$\pi_{0.5}$）。其中，METIS的整体性能最佳，这得益于其在人类工具使用演示上的大规模预训练，以及对其紧凑灵巧运动表征的提取。

指令遵循能力。我们进一步评估了METIS的指令遵循能力。在该实验中，桌上放置了三种不同颜色的水果（苹果、橙子、柠檬）。如图5所示，当给出不同的语言指令（例如“把红苹果放在盘子里”）时，METIS能够识别目标水果并执行相应的抓取动作。这些结果证明了METIS具备将物体级别的语言理解与包含多个候选物体的场景中的灵巧操作相结合的能力。

### 5.3 效率

样本效率。我们通过用不同量的数据对METIS进行下游灵巧任务训练来评估其样本效率，结果如图6所示。METIS表现出极高的效率，即便在训练数据有限的情况下也能取得优异的性能。值得注意的是，仅用10%的数据进行微调后，METIS在“拾取与放置”以及“打开抽屉”任务上的成功率就达到了50%。这些结果强烈表明，在统一动作空间上对多样化的多源自我中心数据进行预训练能够提供宝贵的先验知识，包括空间推理、视觉-手部协调以及运动动力学方面的知识。此类先验形成了一致的视动表征，有助于快速迁移到新的下游任务中。

---

<div style="text-align: center;">Table 5: Ablation on motion-aware dynamics (success rate vs. inference efficiency).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Token Count</td><td style='text-align: center; word-wrap: break-word;'>Throughput (Hz)</td><td style='text-align: center; word-wrap: break-word;'>Pick and Place</td><td style='text-align: center; word-wrap: break-word;'>Open Drawer and Put Bread</td><td style='text-align: center; word-wrap: break-word;'>Pour Drinks</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS w/ Naive Tokenizer</td><td style='text-align: center; word-wrap: break-word;'>1440</td><td style='text-align: center; word-wrap: break-word;'>0.93</td><td style='text-align: center; word-wrap: break-word;'>15.0%</td><td style='text-align: center; word-wrap: break-word;'>10.0%</td><td style='text-align: center; word-wrap: break-word;'>0.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS w/ Fast Tokenizer</td><td style='text-align: center; word-wrap: break-word;'>138</td><td style='text-align: center; word-wrap: break-word;'>9.87</td><td style='text-align: center; word-wrap: break-word;'>50.0%</td><td style='text-align: center; word-wrap: break-word;'>25.0%</td><td style='text-align: center; word-wrap: break-word;'>15.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS w/ Motion-aware Dynamics</td><td style='text-align: center; word-wrap: break-word;'>44</td><td style='text-align: center; word-wrap: break-word;'>28.30</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>35.0%</td><td style='text-align: center; word-wrap: break-word;'>30.0%</td></tr></table>

<div style="text-align: center;">Table 6: Generalization results of OOD scenarios.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/85ba8f8458bff72826cb9b1139973c111f37b8fb74e5cadd79d113ce0d031f58.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/ac55344dd55f52170f828564686cdbc03c4e60568830f1fa522c83fe7c3a2c15.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/cecd93475325817f664f5e627632f72ac732e55b260504b87f103b053fb85141.jpg)</td><td colspan="2">![Image](images/a7bd96207ccf09a2e2f09e800e8595d9aaf7752c382578bf79fe863647ac221a.jpg)</td></tr><tr><td colspan="5">Unseen background</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Background</td><td style='text-align: center; word-wrap: break-word;'>Lighting</td><td style='text-align: center; word-wrap: break-word;'>Object</td><td style='text-align: center; word-wrap: break-word;'>Cluttered</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\pi_{0.5}$</td><td style='text-align: center; word-wrap: break-word;'>50.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>55.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GROOT N1.5</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METIS (Ours)</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>65.0%</td></tr></table>

![Image](images/c0fb25ed6c3b6ebe4340a5d6c4f5a4f0da66456bbe737372b978759d9a97a326.jpg)

<div style="text-align: center;">Figure 7: Cross-embodiment generalization. METIS demonstrates transferability to 22-DoF dexterous hands, achieving stable performance on three dexterous tasks.</div>

推理效率。运动感知动力学为手部运动提供了紧凑的表征，大幅减少了VLM生成的标记数量，进而提升了推理效率。我们在单张NVIDIA H100 GPU上，于相同设置下将METIS与其他分词器（Naive和Fast [^35]）进行了对比评估。如表5所示，在预测长度为32的动作块时，采用运动感知动力学的METIS将标记数量从1440个和138个分别降至仅44个，吞吐量达到了28.30 Hz（每秒动作步数）。这证明了运动感知动力学在高效自回归生成方面的有效性。

### 5.4 泛化能力

除了卓越的有效性和效率外，METIS还展现了出色的泛化能力。我们在四种分布外（OOD）场景中对该模型进行了评估：(1) 未见过的背景：我们用带有彩色图案的桌布覆盖桌面，引入训练期间未出现的大量视觉干扰和背景纹理；(2) 未见过的光照条件：我们用变色且闪烁的灯光照亮场景，模拟动态且多样的光照情况；(3) 未见过的物体：我们用外观差异明显的牛角面包替换原场景中的面包，以评估物体级别的泛化能力；(4) 杂乱的环境：我们在抽屉附近随机放置盘子和苹果等干扰物，增加视觉和空间复杂度。以“打开抽屉并放面包”任务为例，我们对比并报告了METIS与GR00T N1.5在这四种分布外场景下的成功率，结果如表6所示。结果表明，METIS能够有效适应各种分布偏移，即便在显著的视觉或物理变化下也能保持稳定的视动定位与任务执行能力。

跨本体泛化。METIS也能有效推广到自由度更高的灵巧手，展现出强大的跨本体适应能力。我们在配备一对22自由度SharpaWave灵巧手的Sharpa Beta本体上评估了METIS，如图7所示。该模型在“将苹果抓入篮子”任务中取得了85.0%的成功率，在工具使用任务中则达到了70.0%的成功率。我们进一步在一项长时序且对操作精度要求极高的盒子包装任务上对METIS进行了评估，该任务需要精准抓取物体、协调双手操作、折叠包装材料，并将其准确放入盒中。尽管任务复杂度有所增加，METIS仍取得了15%的成功率，而基线模型GR00T N1.5在全部20次试验中均未能完成任务。由于METIS预测的是指尖轨迹而非直接的关节角度，因此该策略具有天然的迁移性，且不会受手部运动学差异的影响。

### 5.5 消融实验

我们已经证明了METIS在整体性能、效率和泛化能力方面的有效性，但其核心组件的贡献仍有待探究。在本节中，我们针对三个方面开展消融研究：(1)多源自我中心预训练的效果，(2)运动感知动力学的影响，(3)推理机制的作用，以及(4)视觉动力学令牌预算的影响。

多源自我中心预训练。为了探究多源自我中心预训练的作用，我们在下游任务上评估了四种模型变体：(a)未经预训练的METIS，(b)仅在开源人类数据上预训练的METIS，(c)在人类和机器人数据上预训练的METIS。

---

<div style="text-align: center;">Table 7: Ablations of visual dynamics. (a) Success rates with different dynamics components. (b) Effect of the visual-token budget on codebook usage and visual reconstruction error. (a) Dynamics components (b) Visual-token budget</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Open Drawer and Put Bread</td><td style='text-align: center; word-wrap: break-word;'>Pour Drinks</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Visual-only</td><td style='text-align: center; word-wrap: break-word;'>45.0%</td><td style='text-align: center; word-wrap: break-word;'>50.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Motion-only</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>55.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Motion-aware</td><td style='text-align: center; word-wrap: break-word;'>75.0%</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td></tr></table>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Visual Tokens</td><td style='text-align: center; word-wrap: break-word;'>Codebook Usage</td><td style='text-align: center; word-wrap: break-word;'>Reconstruction Error $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>0.80</td><td style='text-align: center; word-wrap: break-word;'>$1.2e^{-2}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>1.00</td><td style='text-align: center; word-wrap: break-word;'>$6.0e^{-4}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>$3.9e^{-4}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>$2.4e^{-4}$</td></tr></table>

数据（不包括我们自行采集的数据集），(d)在EgoAtlas数据集上预训练的METIS。如表3所示，在多源自我中心数据集上预训练能够提升下游任务的性能，这表明在多样化的视觉与动作分布上进行训练，能使模型学习到更稳健的视动先验，从而在各种任务中有效泛化。值得注意的是，虽然未经预训练的VLA在某些任务上也能取得一定成功率，但在训练后阶段会出现明显的性能波动，且在现实世界部署时会出现不稳定的关节抖动现象。

运动感知动力学。我们对运动感知动力学开展了消融实验。在训练后阶段，我们在无预训练的相同设置下，将运动感知动力学与朴素分词器和FAST分词器进行比较。如表5所示，采用运动感知动力学的METIS始终能取得更好的性能，尤其是在长时序和精细操作任务中，这凸显了其在建模运动细节方面的优势。

为了评估各组件的贡献，我们在两项操作任务上对比了仅视觉、仅运动以及完整的运动感知动力学方案。如表7(a)所示，完整方案在“打开抽屉并放面包”任务和“倒饮料”任务中分别取得了75.0%和80.0%的成功率，优于仅视觉动力学方案（45.0%和50.0%）以及仅运动动力学方案（60.0%和55.0%）。这些结果支持了两种组件的互补作用：视觉动力学用于建模场景演变和物体状态转换，而运动动力学则直接约束手腕和指尖的运动学特性。关于码本使用情况、运动重建以及运动感知令牌的可视化等更多定量结果，请参阅附录G。

推理机制。我们通过比较三种变体——无推理、始终推理以及我们的自适应推理，来对推理机制进行定量评估。表4中报告了成功率和推理延迟情况。对于长时程灵巧操作任务而言，推理能够提升规划能力和整体性能。虽然始终推理能取得具有竞争力的成功率，但由于每一步都要同时生成推理结果和动作，因此会导致更高的延迟，这在高度动态的环境中可能带来不利影响。

视觉动态标记预算。我们进一步通过码本使用情况和视觉重建误差来研究视觉标记预算。如表7(b)所示，将预算从4个标记增加到8个标记后，重建误差从6.0降至2.4，而码本使用情况则从1.0略微下降至0.95。尽管在此范围内增加标记能提升重建保真度，但也会延长序列长度并增加相应的解码成本。我们最终选择4个视觉动态标记，作为重建保真度与推理效率之间的实用折衷方案。附录图12中的定性可视化结果进一步表明，诸如向下或向右运动等相似的运动模式，能够由不同实体和场景外观下的相同码字来表示。这一结果表明，学习到的视觉动态标记捕捉到了对实体和视觉语境部分不变的运动语义。

## 6 结论

在本文中，我们提出了METIS——一种用于灵巧操作的视觉-语言-动作模型，该模型在多源自中心数据集上预训练而成，能够在统一框架内整合推理与行动功能。为了支持大规模预训练，我们构建了EgoAtlas——一个全面的多源自中心数据集，该数据集在一致的动作空间下对齐了人类数据与机器人数据。通过从操作轨迹中提取运动感知的动态特征，METIS获得了紧凑且富有表现力的手部运动表征，从而实现精确且协调的动作生成。实验结果表明，METIS在各类灵巧操作任务中均取得了优异的性能，并且在分布外场景下也展现出强大的泛化能力。

---

## 致谢与经费披露

本研究得到了国家自然科学基金（62476011）和北京市自然科学基金（L252060）的支持。我们感谢BAAI为我们的实验提供硬件和计算资源。我们也十分感激张磊和谢少轩在数据收集方面给予的协助。

## 参考文献

[^1]: Shikhar Bahl, Russell Mendonca, Lili Chen, Unnat Jain, and Deepak Pathak. Affordances from human videos as a versatile representation for robotics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13778–13790, 2023.

[^2]: Hongzhe Bi, Lingxuan Wu, Tianwei Lin, Hengkai Tan, Zhizhong Su, Hang Su, and Jun Zhu. H-rdt: Human manipulation enhanced bimanual robotic manipulation. arXiv preprint arXiv:2507.23523, 2025.

[^3]: Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, et al. Gr00t n1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025.

[^4]: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, et al. $\pi_{0}$: A vision-language-action flow model for general robot control. arXiv preprint arXiv:2410.24164, 2024.

[^5]: Qingwen Bu, Jisong Cai, Li Chen, Xiuqi Cui, Yan Ding, Siyuan Feng, Shenyuan Gao, Xindong He, Xuan Hu, Xu Huang, et al. Agibot world colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems. arXiv preprint arXiv:2503.06669, 2025.

[^6]: Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, and Hongyang Li. Univla: Learning to act anywhere with task-centric latent actions. arXiv preprint arXiv:2505.06111, 2025.

[^7]: Remi Cadene, Simon Alibert, Alexander Soare, Quentin Gallouedec, Adil Zouitine, Steven Palma, Pepijn Kooijmans, Michel Aractingi, Mustafa Shukor, Dana Aubakirova, Martino Russi, Francesco Capuano, Caroline Pascal, Jade Choghari, Jess Moss, and Thomas Wolf. Lerobot: State-of-the-art machine learning for real-world robotics in pytorch. <https://github.com/huggingface/lerobot>, 2024.

[^8]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954, 2023.

[^9]: Yankai Fu, Qiuxuan Feng, Ning Chen, Zichen Zhou, Mengzhen Liu, Mingdong Wu, Tianxing Chen, Shanyu Rong, Jiaming Liu, Hao Dong, et al. Cordvip: Correspondence-based visuomotor policy for dexterous manipulation in real-world. arXiv preprint arXiv:2502.08449, 2025.

[^10]: Koffivi Fidèle Gbagbe, Miguel Altamirano Cabrera, Ali Alabbas, Oussama Alyunes, Artem Lykov, and Dzmitry Tsetserukou. Bi-vla: Vision-language-action model-based system for bimanual robotic dexterous manipulations. In 2024 IEEE International Conference on Systems, Man, and Cybernetics (SMC), pages 2864–2869. IEEE, 2024.

[^11]: Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 16000–16009, 2022.

## [^12]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025

---

[^13]: Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, et al. Robomind 2.0: A multimodal, bimanual mobile manipulation dataset for generalizable embodied intelligence. arXiv preprint arXiv:2512.24653, 2025.

[^14]: Jiangyong Huang, Silong Yong, Xiaojian Ma, Xiongkun Linghu, Puhao Li, Yan Wang, Qing Li, Song-Chun Zhu, Baoxiong Jia, and Siyuan Huang. An embodied generalist agent in 3d world. arXiv preprint arXiv:2311.12871, 2023.

[^15]: Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, et al. $\pi_{0.5}$: a vision-language-action model with open-world generalization. arXiv preprint arXiv:2504.16054, 2025.

[^16]: Siddharth Karamcheti, Suraj Nair, Ashwin Balakrishna, Percy Liang, Thomas Kollar, and Dorsa Sadigh. Prismatic vlms: Investigating the design space of visually-conditioned language models. In Forty-first International Conference on Machine Learning, 2024.

[^17]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.

[^18]: Heecheol Kim, Yoshiyuki Ohmura, and Yasuo Kuniyoshi. Goal-conditioned dual-action imitation learning for dexterous dual-arm robot manipulation. IEEE Transactions on Robotics, 40:2287–2305, 2024.

[^19]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, Quan Vuong, Thomas Kollar, Benjamin Burchfiel, Russ Tedrake, Dorsa Sadigh, Sergey Levine, Percy Liang, and Chelsea Finn. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024.

[^20]: Moo Jin Kim, Chelsea Finn, and Percy Liang. Fine-tuning vision-language-action models: Optimizing speed and success. arXiv preprint arXiv:2502.19645, 2025.

[^21]: Yuxuan Kuang, Junjie Ye, Haoran Geng, Jiageng Mao, Congyue Deng, Leonidas Guibas, He Wang, and Yue Wang. Ram: Retrieval-based affordance transfer for generalizable zero-shot robotic manipulation. arXiv preprint arXiv:2407.04689, 2024.

[^22]: Vikash Kumar, Yuval Tassa, Tom Erez, and Emanuel Todorov. Real-time behaviour synthesis for dynamic hand-manipulation. In 2014 IEEE International Conference on Robotics and Automation (ICRA), pages 6808–6815. IEEE, 2014.

[^23]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148, 2021.

[^24]: Colin Lea, Michael D Flynn, Rene Vidal, Austin Reiter, and Gregory D Hager. Temporal convolutional networks for action segmentation and detection. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 156–165, 2017.

[^25]: Doyup Lee, Chiheon Kim, Saehoon Kim, Minsu Cho, and Wook-Shin Han. Autoregressive image generation using residual quantization, 2022. URL <https://arxiv.org/abs/2203.01941>.

[^26]: Xinghang Li, Minghuan Liu, Hanbo Zhang, Cunjun Yu, Jie Xu, Hongtao Wu, Chilam Cheang, Ya Jing, Weinan Zhang, Huaping Liu, et al. Vision-language foundation models as effective robot imitators. arXiv preprint arXiv:2311.01378, 2023.

## [^27]: Yunshuang Li, Yiyang Ling, Gaurav S Sukhatme, and Daniel Seita. Learning geometry-aware nonprehensile pushing and pulling with dexterous hands. arXiv preprint arXiv:2509.18455, 2025

---

[^28]: Davide Liconti, Yasunori Toshimitsu, and Robert Katzschmann. Leveraging pretrained latent representations for few-shot imitation learning on a dexterous robotic hand. arXiv preprint arXiv:2404.16483, 2024.

[^29]: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, and Yang Gao. Onetovla: A unified vision-language-action model with adaptive reasoning. arXiv preprint arXiv:2505.11917, 2025.

[^30]: Jiaming Liu, Hao Chen, Pengju An, Zhuoyang Liu, Renrui Zhang, Chenyang Gu, Xiaoqi Li, Ziyu Guo, Sixiang Chen, Mengzhen Liu, et al. Hybridvla: Collaborative diffusion and autoregression in a unified vision-language-action model. arXiv preprint arXiv:2503.10631, 2025.

[^31]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022.

[^32]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-h0: Vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597, 2025.

[^33]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193, 2023.

[^34]: Abby O'Neill, Abdul Rehman, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, et al. Open x-embodiment: Robotic learning datasets and rt-x models. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 6892–6903. IEEE, 2024.

[^35]: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, and Sergey Levine. Fast: Efficient action tokenization for vision-language-action models. arXiv preprint arXiv:2501.09747, 2025.

[^36]: Johannes Pitz, Lennart Röstel, Leon Sievers, and Berthold Bäuml. Dextrous tactile in-hand manipulation using a modular reinforcement learning architecture. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 1852–1858. IEEE, 2023.

[^37]: Haozhi Qi, Ashish Kumar, Roberto Calandra, Yi Ma, and Jitendra Malik. In-hand object rotation via rapid motor adaptation. In Conference on Robot Learning, pages 1722–1732. PMLR, 2023.

[^38]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. In Robotics: Science and Systems, 2023.

[^39]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J Yoon, Ryan Hoque, Lars Paulsen, et al. Humanoid policy ~ human policy. arXiv preprint arXiv:2503.13441, 2025.

[^40]: Delin Qu, Haoming Song, Qizhi Chen, Yuanqi Yao, Xinyi Ye, Yan Ding, Zhigang Wang, JiaYuan Gu, Bin Zhao, Dong Wang, et al. Spatialvla: Exploring spatial representations for visual-language-action model. arXiv preprint arXiv:2501.15830, 2025.

[^41]: Kenneth Shaw, Yulong Li, Jiahui Yang, Mohan Kumar Srirama, Ray Liu, Haoyu Xiong, Russell Mendonca, and Deepak Pathak. Bimanual dexterity for complex tasks. arXiv preprint arXiv:2411.13677, 2024.

[^42]: BAAI RoboBrain Team, Mingyu Cao, Huajie Tan, Yuheng Ji, Xiansheng Chen, Minglan Lin, Zhiyu Li, Zhou Cao, Pengwei Wang, Enshen Zhou, et al. Robobrain 2.0 technical report. arXiv preprint arXiv:2507.02029, 2025.

### [^43]: Fourier ActionNet Team and Yao Mu. Actionnet: A dataset for dexterous bimanual manipulation. 2025

---

[^44]: Gemini Robotics Team, Saminda Abeyruwan, Joshua Ainslie, Jean-Baptiste Alayrac, Montserat Gonzalez Arenas, Travis Armstrong, Ashwin Balakrishna, Robert Baruch, Maria Bauza, Michiel Blokzijl, et al. Gemini robotics: Bringing ai into the physical world. arXiv preprint arXiv:2503.20020, 2025.

[^45]: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, et al. Octo: An open-source generalist robot policy. arXiv preprint arXiv:2405.12213, 2024.

[^46]: Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[^47]: Aaron Van Den Oord, Oriol Vinyals, et al. Neural discrete representation learning. Advances in neural information processing systems, 30, 2017.

[^48]: Weikang Wan, Haoran Geng, Yun Liu, Zikang Shan, Yaodong Yang, Li Yi, and He Wang. Unidexgrasp++: Improving dexterous grasping policy learning via geometry-aware curriculum and iterative generalist-specialist learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3891–3902, 2023.

[^49]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024.

[^50]: Huiyu Wang, Mitesh Kumar Singh, and Lorenzo Torresani. Ego-only: Egocentric action detection without exocentric transferring. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5250–5261, 2023.

[^51]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. arXiv preprint arXiv:2210.02697, 2022.

[^52]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, et al. Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20270–20281, 2023.

[^53]: Junjie Wen, Yichen Zhu, Jinming Li, Zhibin Tang, Chaomin Shen, and Feifei Feng. Dexvla: Vision-language model with plug-in diffusion expert for general robot control. arXiv preprint arXiv:2502.05855, 2025.

[^54]: Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, et al. Robomind: Benchmark on multi-embodiment intelligence normative data for robot manipulation. arXiv preprint arXiv:2412.13877, 2024.

[^55]: Yinzhen Xu, Weikang Wan, Jialiang Zhang, Haoran Liu, Zikang Shan, Hao Shen, Ruicheng Wang, Haoran Geng, Yijia Weng, Jiayi Chen, et al. Unidexgrasp: Universal robotic dexterous grasping via learning diverse proposal generation and goal-conditioned policy. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4737–4746, 2023.

[^56]: Fan Yang, Thomas Power, Sergio Aguilera Marinovic, Soshi Iba, Rana Soltani Zarrin, and Dmitry Berenson. Multi-finger manipulation via trajectory optimization with differentiable rolling and geometric constraints. IEEE Robotics and Automation Letters, 2025.

### [^57]: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, et al. Magma: A foundation model for multimodal ai agents. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 14203–14214, 2025

---

[^58]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20953–20962, 2022.

[^59]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, et al. Egovla: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440, 2025.

[^60]: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, et al. Latent action pretraining from videos. arXiv preprint arXiv:2410.11758, 2024.

[^61]: Zhao-Heng Yin, Changhao Wang, Luis Pineda, Francois Hogan, Krishna Bodduluri, Akash Sharma, Patrick Lancaster, Ishita Prasad, Mrinal Kalakrishnan, Jitendra Malik, et al. Dexteritygen: Foundation controller for unprecedented dexterity. arXiv preprint arXiv:2502.04307, 2025.

[^62]: Chengbo Yuan, Chuan Wen, Tong Zhang, and Yang Gao. General flow as foundation affordance for scalable robot learning. arXiv preprint arXiv:2401.11439, 2024.

[^63]: Chengbo Yuan, Rui Zhou, Mengzhen Liu, Yingdong Hu, Shengjie Wang, Li Yi, Chuan Wen, Shanghang Zhang, and Yang Gao. Motiontrans: Human vr data enable motion-level learning for robotic manipulation policies. arXiv preprint arXiv:2509.17759, 2025.

[^64]: Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, and Lucas Beyer. Sigmoid loss for language image pre-training. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11975–11986, 2023.

[^65]: Anran Zhang, Hanzhi Chen, Yannick Burkhardt, Yao Zhong, Johannes Betz, Helen Oleynikova, and Stefan Leutenegger. Actron3d: Learning actionable neural functions from videos for transferable robotic manipulation. arXiv preprint arXiv:2510.12971, 2025.

[^66]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023.

[^67]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5745–5753, 2019.

### [^68]: Brianna Zitkovich, Tianhe Yu, Sichun Xu, Peng Xu, Ted Xiao, Fei Xia, Jialin Wu, Paul Wohlhart, Stefan Welker, Ayzaan Wahid, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. In Conference on Robot Learning, pages 2165–2183. PMLR, 2023

---

### 附录

### A EgoAtlas数据集

### A.1 数据校准

我们在运动捕捉系统中使用了三个VIVE追踪器来进行全面的校准流程。其中两个追踪器安装在手腕上，用于提供世界坐标系下的6自由度全局手腕位姿；另一个追踪器则通过定制支架牢固地安装在头戴式自中心相机上。借助这种固定的变换关系，我们便能获得自中心相机相对于全局坐标系的外参。结合这些测量结果，我们将手腕位姿从世界坐标系转换到自中心相机坐标系，从而确保手部运动与自中心观测之间具有一致的空间对应关系。至于手指位姿，Manus Quantum手套可直接提供相对于手腕框架的3D指尖位置。

### A.2 数据收集界面

为确保数据质量，我们构建了一个数据收集界面，能够实时可视化视频流、手腕姿态以及指尖关键点。该平台允许操作员监控所有传感器的跟踪状态。一旦操作员发现跟踪失败或质量下降，便可随时手动终止录制会话。整个系统以20Hz的频率运行，在运动保真度与多传感器同步可靠性之间取得了平衡。

## A.3 坐标系定义

以自我为中心的摄像头坐标系遵循常规的计算机视觉约定：原点位于摄像头的光学中心，z轴沿光轴向前延伸（从摄像头向外），x轴指向摄像头的右侧，y轴则在图像平面上指向下方。

在计算灵巧手的指尖位置时，我们以手部根关节为原点，采用正向运动学（FK）方法。不过，机械手的基座通常与手腕姿态并非完全对齐。为解决这一问题，我们在手腕与手基座之间应用了固定的变换，以确保几何一致性。为清晰起见，我们对手腕坐标系定义如下：

- 左手：x轴指向指尖方向，y轴从手掌指向手背，z轴从小指指向拇指。

- 右手：x轴沿前臂方向，y轴从手掌指向手背，z轴从小指指向拇指。

我们在数据集中提供了手部运动的可视化结果（见图8）。

![Image](images/ea484449d4c77f4ea3c637ace637f61261a2845e2982ac83638587d64bb03093.jpg)

<div style="text-align: center;">Figure 8: Visualization of hand motion. We use 3D keypoints to represent hand motion. To ensure consistency across embodiments, the wrist frames of human and robot hands are strictly aligned.</div>

---

## A.4 统一动作空间

在本节中，我们将介绍如何将不同配置和形态下的手部运动信息映射到统一的动作空间中。现有的手部运动动作表示方式大致可分为三类。

- 基于MANO的人手表示。

• 基于关键点的手部表示。

• 机器人关节空间表示。

基于MANO的表示方式利用低维参数化手部模型来建模人手运动，其中姿态和形状由一组连续参数编码。这类表示通常是通过基于视觉的动作捕捉系统 [^8] [^23] [^52] [^58] [^31] 收集的，包括多视角RGB相机或RGB-D传感器，它们通过将MANO模型拟合到视觉观测结果上来估计手部姿态。数据处理过程中，MANO姿态参数会先被输入参数化手部模型，以恢复3D关节位置（MANO FK）。随后选取具有解剖学意义的位置子集——即各手指的指尖位置——来表征精细的手部运动。为了将全局手部运动与局部手指构型分离，所有指尖位置都会通过去除根部旋转和平移，被表示为以手腕为中心的坐标系中的坐标。

与此同时，手腕姿态会从MANO根参数中提取出来，并表示为6D刚体变换。利用已知的摄像头外参，手腕姿态会进一步从世界坐标系转换到以自我为中心的摄像头坐标系中。最终得到的手腕姿态和指尖位置共同构成了一种明确的、视角一致的空间表示，可作为策略学习所用的统一状态-动作表示。

基于关键点的手部表示方法利用明确的3D关节位置，这些数据通常通过VR系统[^12]或动作捕捉手套获取。在此类场景中，以自我为中心的视觉观测信息通常由头戴式VR设备或外部摄像头提供，而头部和手腕的姿态则通过VR系统或专用动作追踪器获得。在数据处理阶段，手部和手指关节姿态最初是以全局坐标系或世界坐标系的形式给出的。借助经过校准的摄像头外参，所有关节姿态会先被转换到以自我为中心的摄像头坐标系中，从而确保与视觉观测结果对齐。为了捕捉精细的手部动作，会选取一组对应指尖端点的手指关键点，并通过消除手腕的平移和旋转，将这些点表示为手腕局部坐标系下的坐标。

机器人关节空间表示：机械臂和机械手通常在关节空间中描述动作[^43]，每个动作都对应特定的目标关节角度。根据由URDF定义的机器人运动学模型，可以应用正运动学来计算末端执行器相对于机器人基座的姿态。同样，通过对手部运动链应用正运动学，就能计算出以手腕坐标系表示的指尖位置。为了确保与以自我为中心的感知方式保持一致，末端执行器的姿态还会进一步利用头戴式摄像头的校准外参，被转换到以自我为中心的坐标系中。

## A.5 子任务级标注

为了实现对长时序操控行为的精细化理解，我们为每段演示视频标注子任务级的时间标签。每段视频会被拆分成一系列具有语义意义的原子动作，每个子任务对应一个与自然语言描述相关联的连续时间片段。

标注人员手动将视频划分为一组互不重叠的时间区间。每个区间由起始帧和结束帧定义，形成一个能够反映连贯操控动作的连续片段。这种划分严格遵循任务执行的时间顺序，且能覆盖整个视频而无遗漏。

对于每个时间片段，标注人员会给出简洁的描述，说明以下内容：

• 动作类型（如抓取、移动、倾倒、放置）。

• 活动的执行器（左手或右手）。

---

• 适用情况下的目标物体。

每个视频片段最后都会标注一个明确的终止标签（如“结束”），用以标记任务的完成。这为长时序推理提供了清晰的边界，也有助于序列级建模。图9展示了代表性数据样本的子任务级标注情况。

![Image](images/2e695ce27d0ff38310c9325256cd13510b5061b546ddbce5e39dedb9b9d9f72b.jpg)

<div style="text-align: center;">Figure 9: Visualization of subtask-level annotations.</div>

## A.6 手部逆运动学重定位

我们借助Pinocchio来解析手部URDF并执行运动学计算，包括正运动学和指尖雅可比矩阵求解，这些计算结果随后会被用于迭代式逆运动学求解器。给定手部URDF以及预定义的主从关节关系后，重定向流程便具备确定性且基于几何特性，能够一致地应用于不同形态的机器人手（这一点已通过跨形态实验结果得到验证）。逆运动学求解器可能会引入近似误差，尤其是在高自由度的灵巧手上——此时冗余自由度、关节限制以及特定形态的动力学约束可能导致多个可行解或无精确解。为缓解这一问题，我们的求解器会从当前手部状态出发进行初始化，并施加关节限制与平滑性约束，从而促使解趋向于物理上可行且时间上连贯的运动。当无法达到精确的指尖目标位置时，求解器会返回最接近的稳定解而非任意姿态，以此避免关节的突变并减少自碰撞现象。任何剩余的投影误差会在针对特定形态的微调过程中被进一步消除，此时策略会适配目标手的可达工作空间及动力学约束。

### A.7 数据来源与统计信息

EgoAtlas整合了四大主要数据源，涵盖人类与机器人领域，包含多种传感模式：（1）基于视觉的动作捕捉数据集[^8] [^23] [^52] [^58] [^31]，这类数据集利用多摄像头光学系统来获取精确的三维手部标注及物体交互信息。不过，它们通常局限于桌面环境，多样性有限。（2）基于VR的人类数据集[^12]，这类数据集利用设备内置的SLAM技术与校准后的摄像头来捕捉手部及腕部姿态。基于VR的设置受场景约束较少，能够实现更灵活的数据采集。

---

（3）遥操作机器人数据[^43] [^39]，这类数据涉及人类操作员远程操控灵巧机械手来执行操纵任务。（4）自行采集的增强型动作数据集：如第3.1节所述，我们收集了1万条高保真度的人类手部动作轨迹。这一增强型数据集具有三大优势：（1）它对遮挡和视觉歧义具有鲁棒性；（2）它通过可穿戴手套引入了外观变化；（3）它提供了丰富的语义标注。如图11(a)所示，自行采集的数据集涵盖了多种任务类别，包括单物体与多物体抓取放置、装配、工具使用以及关节类物体操纵。其中57.2%的轨迹为单臂操作，42.8%为双臂操作。数据分布较为均衡，工具使用（25%）与精细操纵（19%）所占比例较高，反映出对复杂灵巧技能的重视。

表8总结了EgoAtlas数据集的组成情况，该数据集包含8个数据源，并对手部动作进行了详细标注。总体而言，EgoAtlas包含34.3万条轨迹以及8972万对图像-动作数据。为确保各数据源的分布均衡，采用了加权采样策略。

### B 运动感知动力学标记

为使视觉-语言模型（VLM）在动作执行过程中具备更强的运动理解能力，我们提出了一种运动感知动力学标记框架作为监督机制。该框架旨在将动态信息分解为两个互补的组成部分：视觉动力学与运动动力学。

Vision Dynamics组件旨在学习连续帧之间视觉变化的紧凑离散表示。这一过程始于基于自注意力机制的编码器Enc $_{V}(\cdot)$。编码器的输入是三个元素的拼接：图像序列中的视觉特征$I_{t}$、$I_{t+k}$，对应的运动特征$P_{t,t+1,...,t+k}$，以及一组随机初始化的可学习参数$\tilde{D}_{vis}$：

 $$ \hat{D}_{v i s}=\mathrm{E n c}_{V}(I_{t},I_{t+k},P_{t,t+1,...,t+k},\tilde{D}_{v i s}) $$

随后，这些参数通过VQ-VAE目标函数进行离散化处理，最终得到由从大小为$V = 4$的候选码本中选取的$|C_v| = 16$个标记组成的表示。

 $$ D_{v i s}=\mathbf{V Q}(\hat{D}_{v i s}) $$

这种架构使得视觉信息能够与运动特性深度融合。随后，解码器Dec $_{V}(\cdot)$以第一帧$I_{t}$以及优化后的参数$D_{vis}$为输入，负责重构最终帧$I_{t+k}$：

 $$ \hat{I}_{t+k}=\mathbf{Dec}_{V}(I_{t},D_{vis}) $$

这种自编码目标迫使$D_{vis}$能够封装两帧之间的关键视觉变换信息。

相比之下，Motion Dynamics组件旨在直接从原始动作数据中捕捉更复杂、更精细的运动模式。为此我们采用了两层残差量化（RQ）架构。为了保留最真实的运动特性，原始动作信息

<div style="text-align: center;">Table 8: Statistics of EgoAtlas. We use in-the-wild to denote data collected in diverse, unconstrained real-world scenes.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Trajs</td><td style='text-align: center; word-wrap: break-word;'>Frames</td><td style='text-align: center; word-wrap: break-word;'>Hours</td><td style='text-align: center; word-wrap: break-word;'>Pose</td><td style='text-align: center; word-wrap: break-word;'>Subtask</td><td style='text-align: center; word-wrap: break-word;'>Human</td><td style='text-align: center; word-wrap: break-word;'>Robot</td><td style='text-align: center; word-wrap: break-word;'>In-the-wild</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ARCTIC</td><td style='text-align: center; word-wrap: break-word;'>296</td><td style='text-align: center; word-wrap: break-word;'>214.5K</td><td style='text-align: center; word-wrap: break-word;'>2.0</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>✗</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$H_{2}O$</td><td style='text-align: center; word-wrap: break-word;'>109</td><td style='text-align: center; word-wrap: break-word;'>65.3K</td><td style='text-align: center; word-wrap: break-word;'>0.6</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>✗</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HoloAssist</td><td style='text-align: center; word-wrap: break-word;'>100</td><td style='text-align: center; word-wrap: break-word;'>777.3K</td><td style='text-align: center; word-wrap: break-word;'>7.3</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>✗</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Oakink</td><td style='text-align: center; word-wrap: break-word;'>134</td><td style='text-align: center; word-wrap: break-word;'>146K</td><td style='text-align: center; word-wrap: break-word;'>1.4</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>✗</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoDex</td><td style='text-align: center; word-wrap: break-word;'>314.8K</td><td style='text-align: center; word-wrap: break-word;'>77.9M</td><td style='text-align: center; word-wrap: break-word;'>721.3</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$PH_{2}D$</td><td style='text-align: center; word-wrap: break-word;'>1.8K</td><td style='text-align: center; word-wrap: break-word;'>416.5K</td><td style='text-align: center; word-wrap: break-word;'>3.9</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>66.1%</td><td style='text-align: center; word-wrap: break-word;'>33.9%</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ActionNet</td><td style='text-align: center; word-wrap: break-word;'>15.7K</td><td style='text-align: center; word-wrap: break-word;'>7.4M</td><td style='text-align: center; word-wrap: break-word;'>68.4</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>10K</td><td style='text-align: center; word-wrap: break-word;'>2.8M</td><td style='text-align: center; word-wrap: break-word;'>38.9</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr></table>

---

$M_{t,t+1,...,t+k}$首先经过姿态网络PoseNet($\cdot$)的处理，然后直接输入到RQ网络RQ($\cdot$)中：

 $$ P_{t,t+1,\ldots,t+k}=\mathrm{PoseNet}(M_{t,t+1,\ldots,t+k}) $$

 $$ D_{m o t}=\mathbf{R Q}(P_{t,t+1,...,t+k}) $$

该架构从更大的共享码本（大小为$R = 40$）中选出共$|C_m| = 512$个标记，从而实现运动的分层且细粒度的表示。随后，运动动态标记$D_{mot}$会通过时序卷积网络（TCN）进行解码，以重构原始运动序列；这一序列将作为监督信号，确保量化表示能够保留关键的时间动态特性。

 $$ \hat{M}_{t,t+1,\ldots,t+k}=\operatorname{T C N}(D_{m o t}) $$

一个关键的设计原则是统一性：所有码本都保持统一的特征维度d = 128。这既保证了下游处理时表示的一致性，又能使每个组件有效捕捉对高级动作感知建模至关重要的分层时空模式。

### C CoT风格推理与行动

METIS以闭环方式运行，会根据当前所处模式（即推理模式和行动模式）采用不同的输入输出流程。

- 推理模式：METIS的输入包括：(1)任务语言指令，(2)当前的自我中心观测结果，(3)最新的推理内容。为了明确标示进入推理模式，模型会先输出一个专用的特殊标记[BOR]（推理开始）。此后，METIS会以自回归方式生成子任务级别的描述（例如：用右手将高脚蓝色杯子里的果汁倒入碗中）。生成的推理标记不会直接与环境交互，它们会被追加到模型的上下文中，并作为最新的推理内容予以保留。

• 执行模式：METIS会接收（1）任务语言指令、（2）当前的自我中心观测数据、（3）最新的推理结果以及（4）当前的统一本体感知状态。一旦被[BOD]（动力学起始信号）触发，视觉语言模型便会自回归地生成一系列与运动相关的动力学词元，这些词元包含视觉动力学和运动动力学内容。随后，生成的动力学词元会被动作专家解析，进而映射为可执行的低级控制指令。

推理模式与执行模式被整合在单一的自回归框架内，通过基于词元的门控机制来确定当前激活的生成流（即推理词元或执行词元）。这种设计使得METIS能够在单个模型中无缝衔接规划与控制过程，同时保持一致的输入表示形式和统一的训练目标。

## D 任务详情

抓取与放置。在此任务中，机器人需完成针对常见家用物品——苹果的完整抓取与放置操作。机器人首先通过自我中心的视觉观测确定苹果在桌面上的位置，随后将手移向目标位置。接着，它会调整手腕方向和手指姿态以实现稳定抓取。成功提起苹果后，机器人将其运送至目标区域并轻轻放入盘中。该任务旨在评估模型精准感知与操控物体的能力，以及其在顺序操控过程中协调视觉感知与精细手部控制的能力。若苹果能成功放入盘中，则视为任务完成。

合上笔记本电脑。在此任务中，机器人需合上处于半开状态的笔记本电脑。机器人会将四根手指置于笔记本盖的后缘，通过转动手腕施加向下的力，从而使盖子平稳闭合。该任务用于评估模型控制高接触性交互、协调多指与手腕运动以实现精准物体操控的能力。若笔记本电脑完全闭合，则视为任务完成。

打开抽屉。在此任务中，机器人需打开处于半关闭状态的抽屉。机器人首先弯曲四根手指，将手定位到能让指尖触及抽屉把手的位置……

---

![Image](images/9a315e83a6fba1789db1a90f8dd68304c2b32c5fc9a0fc6981d217ed6648357f.jpg)

盒装包装

<div style="text-align: center;">Figure 10: Visualization of task progress across embodiments.</div>

……抽屉。随后，机器人在保持对把手的稳定抓握的同时向后移动手腕，逐渐将抽屉拉开。该任务需要依靠视觉反馈引导精确的手部动作，涉及高接触性的操控过程，要求手指关节活动与手腕运动之间实现精细协调。若抽屉能被拉至完全打开的位置，则视为任务完成。

将两瓶饮料抓入篮中。在这项双手协同操控任务中，机器人需依次抓取两瓶瓶装饮料并将其放入篮中。机器人首先抬起左手，伸向瓶子并稳定抓取，随后将其提起并放入篮中。接着，它抬起右手重复同样的操作以抓取第二瓶饮料，确保双手之间的动作对称且协调。两瓶饮料成功放入后，机器人会将双手握成拳并向前推动篮子以完成任务。该任务旨在评估……

---

模型执行双手协同操控的能力，以及规划涉及精准抓取和高接触性物体放置的顺序动作的能力。若两瓶饮料都能正确放入篮中且篮子被向前推动，则视为任务完成。

把可乐放入篮子中。这项任务需要精确的双手协作，才能将一瓶可乐拿取并放入篮子。机器人首先用左手靠近可乐瓶，从下方将其抓起，举到胸部高度。随后右手缓慢靠近并抓住瓶子的上部，确保双手之间能平稳交接。固定好瓶子后，机器人松开左手，同时右手移向篮子并将瓶子放入其中。这项任务旨在评估模型执行协调的双手操作能力，包括物体交接、抓握稳定性以及视觉引导下的放置操作。如果可乐瓶能稳定地放在篮子里，即视为任务成功。

打开抽屉并放入面包。这项长时程任务要求机器人通过双手协同完成一系列动作。机器人首先弯曲右手手指，向前移动手腕，使指尖能够触及抽屉把手。接着通过可控的后拉动作平稳地拉开抽屉。之后，机器人用左手抓起随机放置在桌面的面包，将其抬起并定位在打开的抽屉上方。面包被放入抽屉后，机器人再用右手关闭抽屉。这项任务考验模型执行长时程视觉运动控制的能力，需要精确的空间推理、双手协调以及涉及多次子动作的精细操作。如果面包能成功放入抽屉且抽屉完全关闭，即视为任务成功。

倒饮料。在这项任务中，机器人首先用左手从一侧抓起杯子，将其置于饮料分配器的出口下方。随后机器人用左手按下分配器开关，将饮料倒入杯中。接着机器人用右手抓起装满饮料的杯子，将其放在右侧桌子上的指定区域。这项任务涉及工具使用、透明物体的操作以及协调的双手动作，对精确控制和细微操作的要求很高。如果装满饮料的杯子能稳定地放在指定目标位置，即视为任务成功。

给花浇水。在这项任务中，机器人需要运用精细的工具操作来给花浇水。机器人首先用合适的握法从桌上抓起喷壶，拇指支撑壶柄，食指和中指则放在触发键上。随后它将喷壶对准花盆，通过按压食指和中指来触发出水装置，使水喷洒在植物上。这项任务旨在评估模型执行精确的手指级控制、功能性抓握以及协调的工具使用能力。如果通过稳定且符合功能要求的抓握方式，水能正确地喷洒在植物上，即视为任务成功。

把苹果放入篮子。在这项任务中，机器人需要在视野内同时出现的三个物体（橙子、苹果和香蕉）中准确识别出苹果的位置，然后用四根手指精准地抓起苹果。成功抓住苹果后，机器人将其运送到篮子上方并轻轻放入其中。这项任务旨在评估模型在杂乱环境中的物体感知与操作能力，以及其在视觉干扰下执行针对性抓握和放置操作的能力。如果苹果能稳妥地放入篮子，即视为任务成功。

工具使用。在此任务中，机器人需将夹子重新定位到适合操作的理想抓取姿势。机器人首先用右手精准夹住夹子，随后将工具末端转移至左手以进行固定。最后，右手以适合精确操作的角度重新抓住夹子。该任务旨在评估模型在双手协调方面的能力，以及其在工具传递过程中动态调整抓取策略的能力。当工具通过双手的无缝交接被牢固地保持在功能最优姿势时，即视为任务成功。

盒子包装。在此任务中，机器人首先抓起一根玩具香蕉并将其放入纸盒中。接着，它通过一系列精准、协调的双手动作来折叠并组装盒体结构。在此过程中，机器人必须处理可变形及半刚性材料，不断调整接触点与抓取策略以维持结构稳定性。盒子完全成型后，机器人会将包装好的盒子准确放入纸袋中。该任务旨在评估模型的……

---

长期推理能力、多阶段任务分解能力，以及利用高自由度手部进行灵巧操作的能力。当盒子通过一系列连贯的抓取、折叠和手部切换动作被完全组装并正确包装好后，即视为任务成功。

关于灵巧操作任务的更多可视化展示，可参见图10。

## E 策略实施细节

## E.1 预训练细节

我们采用EgoAtlas数据集对METIS进行预训练，该数据集整合了八种异构数据源，涵盖了人类与机器人的以自我为中心的操控轨迹。为确保训练效率并维持各数据域间的平衡分布，我们通过采样来构建最终的训练混合集。详细的数据集构成及混合权重详见表9。

<div style="text-align: center;">Table 9: The dataset name and sampling weights used in EgoAtlas pretraining dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">Training Dataset Mixture</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$H_{2}O$ [^23]</td><td style='text-align: center; word-wrap: break-word;'>0.8%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OAKINK [^58]</td><td style='text-align: center; word-wrap: break-word;'>1.9%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$PH_{2}D$ [^39]</td><td style='text-align: center; word-wrap: break-word;'>5.4%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ARCTIC [^8]</td><td style='text-align: center; word-wrap: break-word;'>2.8%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoDex [^12]</td><td style='text-align: center; word-wrap: break-word;'>40.3%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Holoassist [^52]</td><td style='text-align: center; word-wrap: break-word;'>10.6%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ActionNet [^43]</td><td style='text-align: center; word-wrap: break-word;'>13.4%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Enhanced Data</td><td style='text-align: center; word-wrap: break-word;'>25.4%</td></tr></table>

预训练期间，我们对所有模型参数进行联合优化，包括视觉编码器、LLM骨干网络以及动作解码器。我们采用的全局批量大小为768（每个设备32），并在全分片数据并行（FSDP）设置下开展分布式训练。优化过程采用AdamW优化器，学习率为$2e^{-5}$，无权重衰减，梯度裁剪的最大范数设为1.0。动作损失权重$\lambda$设定为1。我们在由24块NVIDIA H100 GPU组成的集群上进行训练。经验表明，6万次训练步数足以使模型取得优异性能，这一过程大约需要72小时。

## E.2 训练后细节

训练阶段，我们采用8GPU配置，每个设备的批量大小为4。我们对LLM骨干网络和视觉编码器应用秩为32的LoRA更新，而对动作解码器则进行全参数微调。只有经过LoRA适配的权重和动作解码器参数才被列入可训练集合。我们采用AdamW优化器来优化模型，学习率为$3.5e^{-4}$，权重衰减为$1e^{-3}$。学习率调度遵循StepLR策略，即在总训练步数的80%之后将学习率衰减为原来的0.1倍。我们总共训练模型8万步。为提高训练效率，我们采用了混合精度训练：LLM骨干网络和视觉编码器以bfloat16精度训练，而动作解码器则保持float32格式以确保数值稳定性。这种配置在训练阶段实现了速度与精度的良好平衡。

对于机器人观测-动作接口，我们将本体感知历史设置为1，并采用32的动作块长度。真实世界数据的采集频率为30 Hz。记录的图像首先被中心裁剪为$480 \times 640$分辨率，随后调整大小为$224 \times 224$，再输入视觉编码器。

### E.3 基线设置

对于OpenVLA-OFT [^20]，所有实验均在4块NVIDIA H100 GPU上进行。我们使用双臂和双手系统的完整关节配置作为策略动作空间（手臂关节有$2\times7$个自由度，手部关节有$2\times6$个自由度）。我们对VLA采用基于LoRA的微调，并采用L1回归式动作头进行连续动作预测。动作块长度设为30。我们为训练OpenVLA-OFT使用以下超参数。

---

动作块长度设为30。我们为训练OpenVLA-OFT使用以下超参数。

<div style="text-align: center;">Table 10: Hyperparameters for OpenVLA-OFT.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Name</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Steps</td><td style='text-align: center; word-wrap: break-word;'>40000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate</td><td style='text-align: center; word-wrap: break-word;'>$5e^{-4}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Action Chunks</td><td style='text-align: center; word-wrap: break-word;'>30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LoRA Rank</td><td style='text-align: center; word-wrap: break-word;'>32</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Action Head</td><td style='text-align: center; word-wrap: break-word;'>$l_{1}regression$</td></tr></table>

对于$\pi_{0.5}$ [^15]，训练后在所有任务中均使用1块NVIDIA H100 GPU。我们使用手臂的腕部姿态以及灵巧手部的关节数据（腕部姿态为2*7自由度，手部关节为2*6自由度）。动作块大小设为10。超参数配置如下。

<div style="text-align: center;">Table 11: Hyperparameters for  $\pi_{0.5}$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Name</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Steps</td><td style='text-align: center; word-wrap: break-word;'>30000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>32</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate</td><td style='text-align: center; word-wrap: break-word;'>$5e^{-5}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Action Chunks</td><td style='text-align: center; word-wrap: break-word;'>10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ema decay</td><td style='text-align: center; word-wrap: break-word;'>0.999</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warm-up steps</td><td style='text-align: center; word-wrap: break-word;'>10000</td></tr></table>

对于GR00T N1.5 [^3]，所有实验均在4块NVIDIA H100 GPU上进行。我们使用关节角度作为策略动作空间，其中包括两个7自由度的手臂关节和两个6自由度的手部关节。微调时冻结语言模型主干和视觉塔，仅对投影仪和扩散模型进行微调。动作块长度设为16，部分超参数设置如下。

<div style="text-align: center;">Table 12:  $\underline{\text{Hyperparameters for GR}}$OOT N1.5.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Name</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Steps</td><td style='text-align: center; word-wrap: break-word;'>10000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>32</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate</td><td style='text-align: center; word-wrap: break-word;'>$1e^{-4}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Weight Decay</td><td style='text-align: center; word-wrap: break-word;'>$1e^{-5}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warmup Ratio</td><td style='text-align: center; word-wrap: break-word;'>0.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Action Chunks</td><td style='text-align: center; word-wrap: break-word;'>16</td></tr></table>

对于ACT [^66]，我们选择遵循lerobot [^7]框架。所有训练在单块NVIDIA H100 GPU上进行。此时，我们将其动作空间与METIS统一，采用手腕的9维姿态以及手指的3D XYZ姿态作为动作空间。我们使用ResNet18作为训练的视觉主干，其余Transformer层则从零开始训练。动作块长度设为100，超参数如下。

对于ACT，我们采用与METIS相同的动作空间表示以实现公平比较。而现有的预训练VLA模型，包括OpenVLA-OFT、$\pi_{0.5}$和GR00T N1.5，最初是在基于关节的动作空间中训练的。为避免破坏它们已学习的动作层次结构和预训练表征，我们保留了它们固有的关节级动作形式。所有基线模型均在相同数据集上训练，并在相同的实验条件下评估。

---

<div style="text-align: center;">Table 13: Hyperparameters for ACT.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Name</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Steps</td><td style='text-align: center; word-wrap: break-word;'>600000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch Size</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning Rate</td><td style='text-align: center; word-wrap: break-word;'>$1e^{-5}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Weight Decay</td><td style='text-align: center; word-wrap: break-word;'>$1e^{-4}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warmup Ratio</td><td style='text-align: center; word-wrap: break-word;'>0.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Action Chunks</td><td style='text-align: center; word-wrap: break-word;'>100</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Vision Backbone</td><td style='text-align: center; word-wrap: break-word;'>ResNet-18</td></tr></table>

## F 跨本体设置

在跨本体实验中，我们采用了配备一对22自由度SharpaWave灵巧手的Sharpa Beta本体。在数据收集阶段，我们以30 Hz的频率采集第一人称视角图像，同时以60 Hz的频率采集关节状态-动作对。数据处理流程始于将30 Hz的图像与60 Hz的关节角度进行时间对齐，使两种模态同步到30 Hz。对于关节角度信息，我们进行正运动学（FK）计算和坐标系变换：指尖姿态（三维）被转换到手腕坐标系，而手腕姿态（九维）则被转换到相机坐标系，从而确保动作空间的统一。在推理过程中，模型输出的指尖和手腕姿态会经过逆运动学（IK）计算，再转换回关节角度以控制机器人。

## G 定量结果与可视化

我们分析了在不同令牌预算下，运动感知令牌对代码使用和运动重建的影响，如图11(b)和(c)所示。增加动态令牌的数量确实能提升重建的精确度，但也会带来更高的推理成本，从而体现出明显的精度与效率之间的权衡。我们的4+0设置取得了理想的平衡：在保持高效的代码利用率和低延迟的同时，实现了出色的重建精度。若进一步增加令牌预算，对运动重建质量的提升却十分有限。

图11：(a) 收集的数据集的任务类别及分布。(b) 使用动态令牌时的代码使用情况定量分析。(c) 使用动态令牌时的运动重建定量分析。

<div style="text-align: center;">(a) Task Categories</div>

![Image](images/33aa5c360474973f96c07c97dc53572a192523a728c013ee49a17f7d6a9f617c.jpg)

![Image](images/b195acfa153142e7943f9f122d4adaefd169c98800691531f0f6ea4e2c219d97.jpg)

<div style="text-align: center;">(c) Motion Reconstruction Analysis</div>

![Image](images/3b4ab3f93388ce5e5171305f409a059a239a5cb858e05ad25dbeb9ffc60e1e56.jpg)

我们还在图12中可视化了学习到的码字。值得注意的是，无论在不同实体形态还是场景语境中，一致的运动趋势（例如向下或向右的运动）以及相似的手部姿势都会被量化为相同的码字，即便它们的视觉外观存在差异。这表明运动感知令牌捕捉的是底层的运动语义，而非表面层面的配置，进而能够实现对实体形态和环境变化的不变性。这种结构化的令牌化方式说明，学习到的表征构成了一组可复用的运动基元，有助于在不同操控场景中实现高效的编码与泛化。

---

<div style="text-align: center;">Figure 12: Visualization of Codewords.</div>

<div style="text-align: center;">Visual Dynamics: [^15] [^10] [^9] [^10]</div>

![Image](images/6c1e589d40fd8e69fdf639d8032b2d17ba51f302749ac07497c48e74218f709e.jpg)

<div style="text-align: center;">Visual Dynamics: [^15] [^11] [^5] [^7]</div>

<div style="text-align: center;">Down</div>

<div style="text-align: center;">Motion Dynamics: [170, 170, 437, ... 356, 292]</div>

<div style="text-align: center;">Similar Hand Motion</div>

## H 失败案例分析

通过大量的实际实验，我们发现了两类主要会影响METIS性能的故障模式。第一类故障源于单一自我中心视角的固有局限。在需要大范围操控或与小物体进行精确交互的任务中，受限的视野往往会导致目标物体移出摄像头的可见区域，或发生部分遮挡。这种可见性的下降会造成感知不准确，进而导致动作执行效果不佳甚至失败。第二类故障模式源于逆运动学误差。在控制高自由度的灵巧手时，仅通过指尖位置利用逆运动学推导关节配置，可能会得到奇异或条件不良的解。这种不稳定性会表现为执行过程中的手指无规律振动或抖动，从而降低操控精度并可能导致任务失败。在逆运动学求解器中引入额外的运动学约束，或采用基于学习的逆运动学预测器，可能是潜在的解决策略。

## I 局限性

尽管METIS展现了卓越的性能，但仍存在若干局限性。首先，我们的模型仅依赖自我中心的观测数据，这可能会限制其感知完整物体几何形状及精细交互细节的能力。通过加入额外的腕部安装摄像头或外部摄像头，或许能缓解这一局限。其次，目前的预训练过程并未纳入网上可获取的大规模第三人称数据。将预训练扩展到更广泛的多视角操控数据集，是未来研究的一个有前景的方向。