Figure 1: EgoDex is a large-scale $\underline{ego}$centric dataset that focuses on human $\underline{dex}$terous manipulation. ABSTRACT
模仿学习在机器人操作领域存在众所周知的数据稀缺问题。与自然语言和二维计算机视觉不同，目前尚无互联网规模的相关数据用于灵巧操作研究。一种颇具吸引力的数据源是自我中心的真人视频，这类数据具备被动扩展的特性。然而，现有的大规模数据集（如Ego4D）并未包含原生手部姿态标注，也并未聚焦于物体操作任务。基于此，我们借助Apple Vision Pro采集了EgoDex数据集：这是迄今为止规模最大、种类最丰富的灵巧人类操作数据集。EgoDex包含829小时的自我中心视频，录制时同步采集了3D手部及手指追踪数据；通过多台校准相机与设备端SLAM技术，可精确追踪每只手各个关节的姿态。该数据集涵盖了194种日常桌面任务中的各类灵巧操作行为，涉及从系鞋带到叠衣服等多种场景。此外，我们基于该数据集训练并系统评估了用于手部轨迹预测的模仿学习策略，同时制定了衡量这一重要领域进展的指标与基准。通过发布这一大规模数据集，我们希望推动机器人技术、计算机视觉以及基础模型领域的发展。EgoDex数据集可在下载。
---
## 1 引言
近期大语言模型和大型视觉模型的突破印证了“痛苦教训”（Sutton, 2019）：利用海量数据进行监督学习这一简单方法，远比其它竞争方案更为有效。但有两个关键挑战阻碍了将这一“痛苦教训”应用于长期存在的自主机器人操作难题：（1）不清楚应采集何种数据；（2）不清楚如何以所需规模采集此类数据。
机器人模仿学习领域的主流数据采集方式是遥操作，即由人类操作员直接操控机器人硬件来提供演示样本。Open X-Embodiment（Padalkar等，2024）和DROID（Khazatsky等，2024）等近期研究率先推动了行业内的协作，汇总了数百小时的遥操作数据。虽然这类数据集可用于预训练机器人控制策略，但遥操作受限于物理机器人的操作限制，且目前尚不清楚如何在此基础上进一步扩大数据规模。另有研究尝试从互联网上的现有野生视频和图像中学习视觉表征（Radosavovic等，2023；Ma等，2023）。在这种情况下，尽管有大规模数据可用，但非结构化的视频数据缺乏学习灵巧操作所需的精确标注。
我们探索了一条介于两者之间的路径：带有配对3D手部姿态标注的自我中心真人视频。正如近期研究（Kareer等，2025；Qiu等，2025）所指出的，这类数据具备被动扩展特性，与互联网上的文本和图像类似。在未来可穿戴头显和智能眼镜普及的背景下，从这类数据中有效学习至关重要。数据是实现这一目标的核心要素；正如在AlexNet（Krizhevsky等，2012）问世之前必须先有ImageNet（Russakovsky等，2015）一样。
为此，我们推出了EgoDex：一个用于从大规模第一人称视频中学习灵巧操作的大规模数据集和基准测试。EgoDex包含829小时、帧率为30 FPS的视频以及配套的骨骼数据，总计9000万帧画面和338000次任务演示，涵盖194种桌面操作任务。据我们所知，EgoDex是迄今为止规模最大、种类最丰富的人类灵巧操作数据集。
所提出的数据集具备几项关键特性，使其比现有替代方案更适用于灵巧操作研究：
- EgoDex具有被动可扩展性，无需像机器人遥操作及其他需要刻意收集数据的方法那样耗费大量精力。EgoDex以人手作为通用载体，而遥操作等方法收集的数据仅能适配特定的机器人硬件平台。
- EgoDex提供帧率为30 FPS、分辨率为1080p的第一人称视频，视野范围宽广，能够捕捉人类操作物体时的绝大部分视觉信息。借助设备端的SLAM技术和校准后的摄像头，它能获取用户头部、手臂、手腕以及每个手指关节的精确且细节丰富的3D姿态信息，其中包含灵巧操作的关键数据，这是自然场景下的互联网视频和Ego4D（Grauman等人，2022年）所不具备的。
- EgoDex涵盖的行为极其多样，不仅限于简单的抓取与放置，还包括拧开瓶盖、翻书页、将充电器插入插座等动作。与现有的大型第一人称视频数据集（如Ego4D）不同，EgoDex中的内容全部为主动操作行为。
我们系统评估了用于手部轨迹预测的模仿学习策略，以此判断当前的技术水平并明确未来研究面临的挑战。我们希望EgoDex不仅能推动机器人操作领域的发展，还能在计算机视觉、视频生成和世界建模等更广泛的应用中发挥作用。
## 2 相关工作
### 2.1 大规模操作数据集
此前已有多项研究提出了大规模开源机器人遥操作数据集，包括Robo-Turk（Mandlekar等人，2019年）、BridgeData（Walke等人，2023年）、RT-X（Padalkar等人，2024年）和DROID（Khazatsky等人，2024年）。虽然这些数据集包含长达数百小时的宝贵操作数据，
---
| Dataset | # Traj. | # Tasks | # Frames | Lang. Annot. | Cam. Ext. | Dexterous Annot. | Collection Method |
| RoboTurk (Mandlekar et al., 2019) | 2k | 3 | 12M | ✗ | ✗ | ✗ | teleoperation |
| RoboNet (Dasari et al., 2019) | 162k | n/a | 15M | ✗ | ✗ | ✗ | scripted |
| BridgeData V2 (Walke et al., 2023) | 60k | 13 | 2M | ✓ | ✗ | ✗ | teleop+scripted |
| DROID (Khazatsky et al., 2024) | 76k | 86 | 19M | ✓ | ✓ | ✗ | teleoperation |
| EgoMimic (Kareer et al., 2025) | 2k | 3 | 0.4M | ✗ | ✓ | ✗ | egocentric video |
| EPIC-KITCHENS (Damen et al., 2018) | 40k | 125 | 12M | ✓ | ✗ | ✗ | egocentric video |
| HOI4D (Liu et al., 2022) | 4k | 54 | 2M | ✗ | ✗ | ✓ | egocentric video |
| Ego4D (HOI) (Grauman et al., 2022) | 89k | n/a | 21M | ✓ | ✗ | ✗ | egocentric video |
| EgoDex (ours) | 338k | 194 | 90M | ✓ | ✓ | ✓ | egocentric video |
1able 1: Comparison of different robot manipulation datasets (above the middle line) and human manipulation datasets (below the middle line). Ego4D (HOI) considers the subset of Ego4D that involves hand-object interaction. EgoDex has the largest amount of trajectories, tasks, and frames by a large margin and has language annotation, camera extrinsics, and dexterous annotation. “Dexterous annotation” is defined here as labels for multi-finger hand poses, which do not include lower fidelity pose data like parallel jaw robot grippers or wrist-only tracking.
但目前尚不清楚如何进一步扩展这种数据收集模式。机器人遥操作极其耗费人力且资源受限，需要配备可运行的实体机器人，还要有人类操作员主动控制机器人来完成各项任务。此外，即便这些数据集包含了来自多种不同硬件载体的样本，也仍不清楚它们能在多大程度上推广应用到与采集数据时不同的硬件载体和摄像头视角上。
其他大规模数据集，如Ego4D（Grauman等人，2022年）和EPIC-KITCHENS（Damen等人，2018年），包含记录人类各种活动场景的第一人称视频。虽然这类数据集的可扩展性更强且不受特定硬件平台的限制，但它们通常不侧重于操作任务，也没有针对灵巧操作的配套3D标注数据。
此外，也有大量研究关注手与物体的交互问题（Liu等人，2022年；Banerjee等人，2025年；Chao等人，2021年；Zhou等人）。虽然这些数据集通常包含手部三维姿态标注，但由于需要人工标注，其规模比EgoDex小几个数量级。而且，它们主要侧重于抓取操作，而非多样化且跨度较长的操作任务。
### 2.2 机器人数据采集的可扩展方法
近期的研究指出了机器人模仿学习中的数据稀缺问题，并提出了用于可扩展数据采集的创新技术。Chi等人（2024年）提出了“通用操控接口”：这种手持式夹爪能让人类教师无需借助实体机器人就能提供演示数据。Wang等人（2024年）则推出了一种配备动作捕捉手套的便携式数据采集系统。还有研究者提出通过在增强现实中模拟机器人硬件来采集无机器人参与的演示数据（Chen等人，2025年；Park等人，2024年；Nechyporenko等人，2024年）。
这些方法都面临一个类似的弊端：它们都需要主动采集数据。尽管相比遥操作方式，这些数据采集过程可能更简便，但仍需激励人类演示者有意去采集数据。要想达到互联网数据集的规模，这类方法面临着巨大挑战——互联网数据集中的文本和图像并非刻意采集而来，而是人类上网互动的被动产物。
### 2.3 从人类视频中学习
互联网上的视频数据十分丰富。以往的研究探索了利用非结构化的大规模图像和视频数据进行表征学习，以预训练视觉编码器（Radosavovic等人，2023年；Ma等人，2023年）以及用于后续操控任务的抓取可供性模型（Bahl等人，2023年）。然而，原始的非结构化视频数据，其图像分布与灵巧操控任务所需的图像分布之间存在巨大差异。此外，这类视频并未标注对应的运动动作，无法用来训练策略模型。
一种解决方案是利用HaMeR等三维手部预测网络对非结构化视频数据做后处理，Ren等人（2025年）近期就探讨了这一方法。不过，这类网络的预测精度在缺乏多个视角以及实时精确的相机外部参数信息时会受到影响，而这些条件在原始互联网视频中通常无法满足。相比之下，EgoDex数据集在采集时就包含了头部和手部的三维追踪数据，Vision Pro上的多个摄像头、已知的相机内参和外参，再加上工业级的手部预测网络，共同保障了标注的精确性。
---
Figure 2: Distribution of EgoDex dataset. Top: Distribution of distinct verbs, sorted by frequency. The horizontal axis is verbs of EgoDex. The orange plot is taken from DROID (Khazatsky et al., 2024). While many verbs in DROID are below the $10^1$ mark, most verbs in EgoDex are above the $10^3$ mark. Bottom: Distribution of distinct objects. The clustering is suggested by GPT-4.
如果没有多个视角以及对相机外部参数的详细了解，这些网络的质量可能会受到影响，而这些信息在原始互联网视频中通常无法获取。相比之下，EgoDex数据集在采集时便包含了头部和手部的3D跟踪数据；Vision Pro上的多台相机、已知的相机内参和外参，以及专业级的手部预测网络，共同助力实现精确的标注。
与我们研究最为相似的是EgoMimic（Kareer等人，2025年），它提出了采集以自我为中心的视频及配套的三维手部追踪数据。主要的区别在于规模：EgoMimic仅采集了约4小时的数据，而我们采集了829小时，且数据覆盖的任务范围更广。我们还采集了更多对后续操控至关重要的灵巧操控标注：包括头部、肩膀、手臂的三维位置与朝向，以及每只手上的25个关节数据；而EgoMimic仅采集了手腕位置信息。
## 3 EgoDex数据集
EgoDex数据集包含829小时的1080p、30Hz以自我为中心的视频，涵盖194个任务共338000个片段，总计9000万帧。该数据集还包含丰富的结构化标注，包括自然语言描述、相机外部参数以及手部姿态标注（详见第3.2节）。完整数据集在磁盘上的存储容量达到2.0TB。我们在表1中对EgoDex与现有的操控数据集进行了对比。
### 3.1 数据收集
所有数据均在运行visionOS 2系统的Apple Vision Pro上采集。其高分辨率、高频率的透视功能以及广阔的视野，使得以自我为中心的直观数据采集成为可能：采集者可以像用自己眼睛观察一样无阻碍地查看环境，而摄像头数据能精准记录采集者所看到的内容，且不存在姿态偏移（这与头戴式摄像头不同）。我们使用ARKit这款成熟的姿态跟踪软件，通过裸手操作来采集自然演示数据，无需任何额外硬件设备。
为了简化数据收集，数据以会话形式记录：每个会话时长约10-15分钟，由许多单独的回合组成，其中回合边界由数据收集应用程序的"暂停"和随后的"恢复"录制操作标识。原始视频经过压缩以便于数据传输、上传、下载和存储。在不使用现代视频压缩的情况下
---
Figure 3: Left: Joints captured by EgoDex. Right: Examples of dexterous manipulation behaviors. Tracked fingertips are highlighted in distinct colors and show 0.5 seconds of motion before the current frame. From left to right, top to bottom, the tasks are: unzipping a Ziploc bag, removing a book from a bookshelf, removing a screw from a fixture, folding a t-shirt, decluttering, opening a case, unscrewing a bottle cap, tying shoelaces, and washing a cup.
若不使用现代视频压缩算法，原始数据将占用超过500 TB的磁盘空间，大约是当前大小的$250\times$倍。训练时，数据可通过PyTorch的torchcodec库（Team, 2024）高效加载，该库仅会解码采样批次中所需要的帧。
### 3.2 模态
数据包含以下内容：1）分辨率为$1920 \times 1080$、帧率为30 Hz的自我中心RGB视频；2）帧率为30 Hz的摄像头内参和外参数据；3）帧率为30 Hz的所有上半身关节（包括每只手的25个关节）的三维位置和朝向数据；4）帧率为30 Hz的姿态预测置信度值；5）关于操作行为的自然语言标注。
数据采集者标注的元数据包括任务名称、自然语言描述的简要任务说明、环境详情以及被操作物体的详情。由于元数据可能存在噪声，这些字段会被输入到GPT-4（OpenAI等人，2024）中，由模型将这些信息整合为一段详细的自然语言描述。
置信度值是介于0到1之间的标量，用于反映ARKit对每个骨骼关节的预测置信程度。置信度为0表示该关节完全被遮挡无法被看到。所有关节的完整列表及更多信息详见附录A.3。
### 3.3 任务类型
EgoDex包含3种类型的任务：
- 可逆任务是指互为逆过程的一对任务。其中一项任务的最终状态分布与其逆任务的初始状态分布一致。例如，将充电器连接到设备上以及从设备上拔出充电器。
- 无需重置任务是指最终状态分布属于其自身初始状态分布的任务。例如，将球抛向空中再接住（此时重力起到了重置作用）。
- 需要重置的任务是指在每次演示后必须将环境恢复到初始状态分布的任务。
可逆任务和无需重置任务能提高数据采集的效率，因为它们无需进行耗时的重置操作，而这些重置步骤并不会被记录在数据中。
### 3.4 多样性
以往的研究（Khazatsky等人，2024；Padalkar等人，2024）指出了演示多样性的几个潜在维度：视角多样性、任务多样性、场景多样性、物体多样性等。在
---
EgoDex 的重点在于灵巧操作行为的多样性。任务和物体种类繁多，因此所需的灵巧程度远远超出了大多数机器人遥操作数据集中的主要行为——抓取与放置。例如，相关任务包括拧紧螺丝、系鞋带、发牌、翻页、接住网球以及插入电池。这些任务涵盖了可在桌面表面完成的各类日常家居操作。此外，还有大量涉及各种物体的基础抓取与放置任务，以及来自 FurnitureBench 装配基准测试（Heo 等人，2023）中的基准任务。全部 194 项任务的列表详见附录 A.2。
为了像以往研究那样了解任务分布的范围，我们在图 2 中绘制了动词分布的情况。
图2中重复的动词。我们观察到该分布比之前的研究宽泛得多，例如
DROID（Khazatsky等人，2024）等先前研究中的分布要广得多，在那些研究中大部分动词对应的演示样本数量不足$10^{1}$个。
不过，动词分布并不能完全体现操作行为或任务的多样性。例如，“组装”在不同物体和任务的情境下可能涉及截然不同的行为。数据集中所收录的各种灵巧操作行为的示例可参见图 3。
比$10^{3}$个演示样本还要少。
## 4 EGODEX 基准测试
### 4.1 动作表示
### 4 EGODEX基准测试
### 4.2 基准测试
在EgoDex数据集中包含了完整的骨骼关节信息，因此可以构建多种动作表示方式：手腕位置、手腕朝向、指尖位置等等。由于我们专注于灵巧操作，因此选择了一种能够充分反映双手灵巧性的表示方法。具体而言，时间t时的动作$\mathbf{a}_t$由每只手腕的3D位置、每只手腕的6D朝向（如Zhou等人于2018年所提出的）以及每个指尖的3D位置来表示。因此，每个动作的总维度为两只手共$\times (3 + 6 + (3 \times 5 \text{ fingertips})) = 48$维。在实际应用中，动作是以固定时间范围内的数据块形式进行预测的。姿态是以当前摄像头坐标系来表示的（Kareer等人，2025年），而每个动作数据块则代表一条相对运动轨迹（Chi等人，2024年）。
## 4.2 基准测试
我们为EgoDex提出了两项基准测试任务。第一项是灵巧轨迹预测：根据以自我为中心的图像观测、骨骼关节姿态以及自然语言描述，预测在给定时间范围内双手的运动轨迹。具体来说，我们希望训练出如下的估计器：
$$ f_{\theta}(\mathbf{o}_{0..t},\mathbf{s}_{0..t},l)=\hat{\mathbf{a}}_{t:t+H} $$
其中，$\mathbf{o}_{0..t}$表示截至时间t及之前的以自我为中心的图像观测数据，$\mathbf{s}_{0..t}$表示截至时间t及之前的骨骼姿态观测数据，l为自然语言描述，$\hat{\mathbf{a}}_{t:t+H}$为预测得到的动作数据块，H则表示预测的时间范围。
由于自然人体运动具有极强的多模态特性，第二个基准测试是逆动力学问题：根据时间t之前的图像观测和骨骼姿态，以及时间终点处的目标图像观测，预测从起始观测点到终点观测点之间手部的运动轨迹。在此情况下，我们训练了如下估计器，它可以被理解为一种以视觉为目标条件的策略：
$$ f_{\theta}(\mathbf{o}_{0..t},\mathbf{s}_{0..t},\mathbf{o}_{t+H},l)=\hat{\mathbf{a}}_{t:t+H} $$
每个基准测试都由预测时域H来参数化。例如，短时域轨迹预测任务可能将$H = 30$设为1秒，而更具挑战性的长时域任务则可能将$H = 90$设为3秒。
---
Figure 4: Model prediction visualizations for Dec + BC on test set images with a 2 second horizon. Blue trajectories are ground truth and red trajectories are predictions, where darker colors and closer to the current frame and lighter colors are further in the future. The points shown are the wrist and fingertip positions projected into the camera frame (a total of 12 trajectories).
与可能因物理环境差异而产生变化的典型机器人硬件实验不同，EgoDex基准测试具备完全的可重复性，其训练和测试集都是固定的。我们将EgoDex数据集的1%单独留出作为固定的保留测试集用于评估，剩余的99%则可根据需要划分为训练集和验证集。
## 4.3 评估指标
由于自然人体运动的轨迹预测本身具有多模态特性，仅用单一预测轨迹与真实样本对比来评估正确性可能并不充分。例如，在将水果放入篮子的简单任务中，水果可以放置在篮子内的不同位置，移动速度也可各不相同，从初始位置到篮子的运动轨迹也可能存在多种同样合理的情况。
因此，针对每个基准测试任务，我们采用“最佳K个结果”指标来评估性能。对于完整测试集中的每个数据点，我们让训练好的模型采样K次以捕捉不同的可能模式。随后我们计算真实轨迹与K个样本中距离它最近的轨迹之间的间距，这里的“间距”指的是预测的3D关键点位置与其对应的真实3D位置之间的欧几里得距离，该数值是对预测片段中的每个时间步以及12个关键点（即每只手的手腕和指尖）取平均值得到的。直观来讲，这个数值可以理解为真实值与预测值在3D空间中的平均位置误差（单位：米）。最终数值是对整个测试集取平均后的结果。对于确定性模型而言，无论K取何值，该数值都保持不变；而对于随机模型，随着K的增大，该数值会越小，因为模型有更多机会采样到真实模式。
## 5 实验
我们在第4节给出的基准测试上，训练并评估了来自X-IL框架（Jia等人，2025年）的最先进的模仿学习策略。具体而言，我们训练了两种Transformer模型架构（编码器-解码器和仅解码器）以及三种策略表示形式（行为克隆、去噪扩散和流匹配）。我们还开展了相关实验，以评估预测时域、视觉目标条件、数据集规模和模型规模的影响。我们总共训练并评估了14种不同的模型。所有模型均训练50,000个梯度步，批量大小为2048，在8块NVIDIA A100 GPU上并行运行。为了划分训练集和测试集，我们随机选取每个任务的1%作为保留集用于评估。由于该测试集不包含分布外（OOD）任务，我们在附录A.1中提供了额外的OOD实验。额外的训练和
---
| Model | Avg Distance (m) | Final Distance (m) |
| K = 1 | K = 5 | K = 10 | K = 1 | K = 5 | K = 10 |
| Dec + BC | 0.045 | 0.045 | 0.045 | 0.062 | 0.062 | 0.062 |
| Dec + DDPM | 0.053 | 0.044 | 0.041 | 0.071 | 0.050 | 0.044 |
| Dec + FM | 0.052 | 0.042 | 0.040 | 0.071 | 0.049 | 0.043 |
| EncDec + BC | 0.044 | 0.044 | 0.044 | 0.060 | 0.060 | 0.060 |
| EncDec + DDPM | 0.052 | 0.042 | 0.039 | 0.071 | 0.048 | 0.043 |
| EncDec + FM | 0.051 | 0.041 | 0.038 | 0.070 | 0.047 | 0.041 |
Table 2: Evaluations for different models on trajectory prediction with a 2 second horizon.
| Model | Avg Distance (m) | Final Distance (m) |
| $H = 30$ (1s) | $H = 60$ (2s) | $H = 90$ (3s) | $H = 30$ (1s) | $H = 60$ (2s) | $H = 90$ (3s) | | |
| Dec + BC | 0.031 | 0.045 | 0.053 | 0.049 | 0.062 | 0.069 | | |
Table 3: Results for models trained and evaluated with different prediction horizons. As expected, accuracy falls as the prediction horizon increases. H = 60 values are repeated from Table 2 for convenience.
模型细节详见附录A.4。结果展示在表2、表3、表4和图5中，下文对其进行了总结。
编码器-解码器架构的性能优于纯解码器架构。从表2中可以看出，所有编码器-解码器（“EncDec”）模型的表现都始终略优于纯解码器（“Dec”）模型。
不同的策略表示形式在不同场景下各有优势。表2显示，当K=5和K=10时，编码器-解码器流匹配（“FM”）模型的性能比其他模型高出多达34%。不出所料，随着K值的增大，去噪扩散模型（“DDPM”）和FM的评估效果会有所提升；而行为克隆（“BC”）模型由于具有确定性，其性能不受K值影响。不过需要注意的是，在K=1的设置下，BC模型的性能比扩散模型和流匹配模型高出约15%。这表明BC模型的平均预测结果优于DDPM和FM，而DDPM和FM的最佳预测结果又优于BC模型的单次预测结果。
随着预测时域的增加，性能会有所下降。在后续的实验中，我们固定使用最简单的策略——纯解码器行为克隆模型，同时改变其他属性。表3显示，将预测时域从2秒缩短到1秒后，平均距离和最终距离分别改善了31%和21%；而将时域从2秒延长到3秒后，平均距离和最终距离分别恶化了18%和11%。直观来讲，随着预测时域的增加，准确预测的难度也会加大，因为模型需要预测更远距离的48维灵巧动作。附录A.1展示了使用编码器-解码器流匹配（EncDec + FM）模型的额外实验结果，也呈现出类似的趋势。
视觉目标条件设定能显著提升性能。表4显示
Figure 5: Distance metrics w.r.t. training dataset size, where size is plotted on a log-scale. Performance improves as the dataset gets larger.
视觉目标条件设定可使平均距离降低22%，最终距离降低53%。直观来讲，视觉目标为预测轨迹的终点提供了视觉上的“锚点”，从而减轻了多模态问题的影响。这为第4节中规定的逆动力学基准测试提供了基线分数。
---
| Model | Avg Distance (m) | Final Distance (m) |
| Dec + BC | 0.045 | 0.062 |
| Dec + BC w/ goal image | 0.035 | 0.029 |
Table 4: Visual goal-conditioning results. Training a model with visual goal conditioning reduces average distance by 22% and final distance by 53%.
对于当前的数据集规模而言，中等规模的模型容量已经足够。我们训练并评估了一个参数量达5亿的更大规模Dec+BC模型，而默认模型参数量为2亿。该较大规模模型的平均距离为0.045，最终距离为0.062，与默认的2亿参数模型完全一致。这一特点有望提升EgoDex基准测试的可及性，因为中等规模的模型能够轻松适配普通GPU硬件。
性能会随着数据集规模的增大而提升。从图5中可以看出，随着数据集规模的增加，平均距离和最终距离都会得到改善。这些结果表明性能与数据量密切相关，这也印证了收集像EgoDex这样的大规模第一人称视角数据集的必要性。
## 6 研究应用场景
机器人领域：尽管在具备类人形态和灵巧手的机器人硬件开发方面已取得显著进展，但人类与当今机器人之间仍存在巨大的实体差距。缩小这一差距的途径包括：1）利用小规模机器人数据集进行协同训练，正如Kareer等人（2025年）和Qiu等人（2025年）所展示的那样；2）利用大规模人类数据进行预训练，再用小规模机器人数据进行监督微调，这与大语言模型的训练流程类似；3）在人类数据上训练视觉编码器，以提升后续模仿学习的数据效率（Nair等人，2022年）；4）从人与物体的交互轨迹中学习机器人操作先验，再通过强化学习或模仿学习进行微调（Singh等人，2025年；Gavryushin等人，2025年）。
感知类任务中，EgoDex可用于动作识别、人-物交互检测等学习任务。像EPIC-KITCHENS（Damen等人，2018年）这样的数据集已经证明了以自我为中心的视频在识别和预测日常动作方面的价值，甚至还能完成更具挑战性的任务，比如从以自我为中心的视频中检测活动物体并预测状态变化。研究人员还可以研究每种动作涉及哪些物体以及作用方式。例如，可以建模使用工具（螺丝刀、剪刀等）时的接触点、抓握方式和运动轨迹。相关任务还包括学习物体的可供性，也就是理解每种物体支持哪些动作。
视频生成与世界模型：大规模扩散模型的最新进展显著提升了语言条件驱动的视频生成能力，能够基于自然语言输入生成时间上连贯且语义准确的视觉叙事（Li等人，2024年；Peng等人，2025年；NVIDIA团队，2025年；Zhao等人，2025年）。这些生成式框架不仅有望用于创建逼真且细节丰富的视频内容，还能作为决策任务中的世界模型，通过模拟基于预测视觉动态的未来结果来为强化学习智能体提供支持（Wang等人，2025年；Bruce等人，2024年；Yang等人，2024年；Hafner等人，2019年）。尽管取得了这些令人瞩目的进展，但从以自我为中心的视角进行视频生成和世界建模仍存在巨大的研究空白。以自我为中心的视角带来了独特的挑战，包括应对显著的视角变化、在频繁摄像头移动的情况下保持时间和空间一致性，以及准确反映以智能体为中心的交互和意图。由于EgoDex提供了带有3D姿态和语言标注的大规模视频数据，因此能够用于训练以自我为中心的世界模型。
## 7 结论
我们推出了EgoDex，这是一个包含多种灵巧操作任务的以自我为中心视频及对应3D姿态标注的大规模数据集。我们利用该数据训练并评估了用于手部轨迹预测的模仿学习策略。
---
虽然EgoDex在任务和操作行为方面具有极高的多样性，但其在背景和场景多样性上存在局限。灵巧操作相关的标注也可能存在不完美之处，尤其是在严重遮挡（如叠毛巾）或高速运动场景下，因为这些标注本身也是模型预测结果。未来的工作将包括对现有数据进行程序化背景随机化处理（Yuan等人，2025年），以及在更多样化的环境中收集数据。
### 参考文献
Shikhar Bahl、Russell Mendonca、Lili Chen、Unnat Jain和Deepak Pathak。将人类视频中的可供性作为机器人领域的通用表征。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第13778–13790页，2023年6月。
Prithviraj Banerjee、Sindi Shkodrani、Pierre Moulon、Shreyas Hampali、Shangchen Han、Fan Zhang、Linguang Zhang、Jade Fountain、Edward Miller、Selen Basol、Richard Newcombe、Robert Wang、Jakob Julian Engel和Tomas Hodan。HOT3D：从以自我为中心的多视角视频中追踪手部和物体三维位置。IEEE/CVF计算机视觉与模式识别会议（CVPR），2025年。
Jake Bruce、Michael D Dennis、Ashley Edwards、Jack Parker-Holder、Yuge Shi、Edward Hughes、Matthew Lai、Aditi Mavalankar、Richie Steigerwald、Chris Apps等。Genie：生成式交互环境。载于第四十一届国际机器学习大会论文集，2024年。
赵宇伟、杨伟、向宇、帕夫洛·莫尔恰诺夫、安库尔·汉达、乔纳森·特伦布莱、亚什拉杰·S·纳朗、卡尔·范·维克、乌马尔·伊克巴尔、斯坦·伯奇菲尔德、扬·考茨和迪特尔·福克斯。DexYCB：一个用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），2021年。
陈云亮、徐晨峰、卡尔蒂克·达尔马拉詹、穆罕默德·祖拜尔·伊尔沙德、程理查德、库尔特·凯策尔、冨塚正佳、阮全和肯·戈德堡。Rovi-aug：面向跨本体机器人学习的机器人与视角增强技术。载于机器人学习会议（CoRL），2024年。
陈思睿、王晨、阮凯登、李飞飞和刘凯伦。Arcap：借助增强现实反馈收集用于机器人学习的高质量人类演示数据。载于IEEE国际机器人与自动化会议（ICRA），2025年。
迟成、许振佳、潘楚尔、埃里克·库西诺、本杰明·伯奇菲尔、冯思远、拉斯·特德雷克和宋书兰。通用操控接口：无需真实机器人即可实现的野外机器人教学。载于机器人：科学与系统会议（RSS），2024年。
迪玛·达门、海泽尔·道蒂、乔瓦尼·玛丽亚·法里内拉、桑雅·菲德勒、安东尼诺·弗尔纳里、埃万杰洛斯·卡扎科斯、达维德·莫尔蒂桑蒂、乔纳森·芒罗、托比·佩雷特、威尔·普莱斯和迈克尔·雷。扩展以自我为中心的视觉：Epic-Kitchens数据集。载于欧洲计算机视觉会议（ECCV），2018年。
苏迪普·达萨里、弗雷德里克·埃伯特、斯蒂芬·田、苏拉杰·奈尔、伯纳黛特·布彻、卡尔·施梅克佩珀、西达尔特·辛格、谢尔盖·莱文和切尔西·芬恩。Robonet：大规模多机器人学习系统。载于机器人学习会议（CoRL），2019年。
阿列克谢·加夫留申、王晓、罗伯特·J·S·马拉特、杨晨宇、贾翔毅、舒布·戈尔、达维德·利孔蒂、勒内·祖尔布鲁格、罗伯特·K·卡茨施曼和马克·波勒费斯。MAPLE：从以自我为中心的视频中学习的灵巧机器人操控先验知识。arXiv预印本arXiv:2504.06084，2025年。
克里斯滕·格劳曼、安德鲁·韦斯特伯里、尤金·伯恩、扎卡里·查维斯、安东尼诺·弗尔纳里、罗希特·吉尔达尔、杰克逊·汉堡、江浩、刘淼、刘星宇、米格尔·马丁、图沙尔·纳加拉詹、伊利亚·拉多萨沃维奇、桑托什·库马尔·拉马克里希南、菲奥娜·瑞安、杰伊昂特·夏尔马、迈克尔·雷、徐梦梦、徐中聪、赵晨、西丹特·班萨尔、杜拉夫·巴特拉、文森特·卡蒂利耶、肖恩·克雷恩、蒂恩·杜、莫里·杜拉蒂、阿克谢·埃拉帕利、克里斯托夫·费希滕霍费尔、阿德里亚诺·弗拉戈梅尼、傅启辰、克里斯蒂安·富根、亚伯拉罕·格布雷塞拉西、克里斯蒂娜·冈萨雷斯、詹姆斯·希利斯，
---
黄旭华、黄一飞、贾文琪、吴韦斯莉、科拉尔·雅奇姆、科图尔·萨特维克、库马尔·阿努拉格、兰迪尼·费德里科、李超、李阳浩、李振强、曼加拉姆·卡尔蒂凯亚、莫杜古·拉格哈瓦、乔纳森·芒罗、穆雷尔·塔利、西谷拓海、威尔·普莱斯、普恩特斯·保拉·鲁伊斯、拉马佐诺娃·梅雷伊、萨里·莱达、索马斯undaram·基兰、索瑟兰德·奥黛丽、菅野佑介、陶瑞杰、武明、王宇辰、吴欣迪、八木拓真、朱云怡、阿尔贝拉兹·巴勃罗、克兰德尔·大卫、迪玛·达门、乔瓦尼·玛丽亚·法里内拉、加内姆·伯纳德、伊萨普·瓦姆西·克里希纳、贾瓦哈尔·C·V.、朱翰彪、北谷浩一、纽科姆·理查德、奥利瓦·奥德、朴贤洙、雷格·詹姆斯·M.、佐藤洋一、施建波、寿明正、托拉尔巴·安东尼奥、托雷萨尼·洛伦佐、严明飞和马利克·吉滕德拉。Ego4D：基于3000小时以自我为中心视频的全球场景记录。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），2022年。
达尼贾尔·哈夫纳、蒂莫西·利利克拉普、吉米·巴和穆罕默德·诺鲁齐。Dream to Control：通过潜在想象学习行为。载于国际学习表征会议（ICLR），2019年。
许敏浩、李英云、李斗贤和Joseph J. Lim。Furniturebench：用于长时程复杂操作的可复现真实世界基准测试。《机器人：科学与系统会议》（RSS），2023年。
贾晓刚、Atalay Donat、黄曦、赵轩、Denis Blessing、周宏毅、王汉安、张涵一、王倩、Rudolf Lioutikov和Gerhard Neumann。X-il：探索模仿学习策略的设计空间。arXiv预印本arXiv/2502.12330，2025年。
Simar Kareer、Dhruv Patel、Ryan Punamiya、Pranay Mathur、程硕、王晨、Judy Hoffman和徐丹飞。Egomimic：通过以自我为中心的视频扩展模仿学习。发表于2025年IEEE国际机器人与自动化会议（ICRA）。
Alexander Khazatsky、Karl Pertsch、Suraj Nair、Ashwin Balakrishna、Sudeep Dasari、Siddharth Karamcheti、Soroush Nasiriany、Mohan Kumar Srirama、Lawrence Yunliang Chen、Kirsty Ellis、Peter David Fagan、Joey Hejna、Masha Itkina、Marion Lepert、Yecheng Jason Ma、Patrick Tree Miller、Jimmy Wu、Suneel Belkhale、Shivin Dass、Huy Ha、Arhan Jain、Abraham Lee、Youngwoon Lee、Marius Memmel、Sungjae Park、Ilija Radosavovic、王凯元、Albert Zhan、Kevin Black、迟成、Kyle Beltran Hatch、林珊、陆景佩、Jean Mercat、Abdul Rehman、Pannag R Sanketi、Archit Sharma、Cody Simpson、Quan Vuong、Homer Rich Walke、Blake Wulfe、Ted Xiao、Jonathan Heewon Yang、Arefeh Yavary、Tony Z. Zhao、Christopher Agia、Rohan Baijal、Mateo Guaman Castro、Daphne Chen、陈秋宇、Trinity Chung、Jaimyn Drake、Ethan Paul Foster、Jensen Gao、David Antonio Herrera、许敏浩、许凯尔、胡佳恒、Donovon Jackson、Charlotte Le、李云双、Kevin Lin、Roy Lin、马泽涵、Abhiram Maddukuri、Suvir Mirchandani、Daniel Morton、Tony Nguyen、Abigail O'Neill、Rosario Scalise、Derick Seale、Victor Son、Stephen Tian、Emi Tran、Andrew E. Wang、吴依琳、Annie Xie、杨静云、Patrick Yin、张云楚、Osbert Bastani、Glen Berseth、Jeannette Bohg、Ken Goldberg、Abhinav Gupta、Abhishek Gupta、Dinesh Jayaraman、Joseph J Lim、Jitendra Malik、Roberto Martin-Martín、Subramanian Ramamoorthy、Dorsa Sadigh、Shuran Song、吴嘉俊、Michael C. Yip、朱玉科、Thomas Kollar、Sergey Levine和Chelsea Finn。Droid：一个大规模野外机器人操作数据集。《机器人：科学与系统会议》（RSS），2024年。
Alex Krizhevsky、Ilya Sutskever和Geoffrey E Hinton。基于深度卷积神经网络的ImageNet分类。发表于《神经信息处理系统大会》，2012年。
李天宏、田永龙、何丽、邓明阳和何恺明。无需矢量量化的自回归图像生成。《神经信息处理系统大会》第37卷：56424–56445页，2024年。
刘云泽、刘云、蒋哲、吕康博、万维康、沈浩、梁博强、付周杰、王赫和李毅。HOI4D：用于类别级人机交互的4D以自我为中心数据集。发表于2022年6月IEEE/CVF计算机视觉与模式识别会议（CVPR），第21013–21022页。
Yecheng Jason Ma、Shagun Sodhani、Dinesh Jayaraman、Osbert Bastani、Vikash Kumar和Amy Zhang。VIP：通过价值隐式预训练实现通用的视觉奖励与表征。《国际学习表征会议》（ICLR），2023年。
---
Ajay Mandlekar、Jonathan Booher、Max Spero、Albert Tung、Anchit Gupta、Yuke Zhu、Animesh Garg、Silvio Savarese和Li Fei-Fei。通过Roboturk将机器人监督扩展到数百小时：借助人类推理与灵巧性构建的机器人操作数据集。发表于2019年IEEE/RSJ智能机器人与系统国际会议（IROS）。
Suraj Nair、Aravind Rajeswaran、Vikash Kumar、Chelsea Finn和Abhinav Gupta。R3m：一种用于机器人操控的通用视觉表征。发表于2022年机器人学习会议（CoRL）。
Nataliya Nechyporenko、Ryan Hoque、Christopher Webb、Mouli Sivapurapu和Jian Zhang。Armada：用于机器人操控及无机器人数据采集的增强现实技术。arXiv预印本arXiv:2412.10631，2024年。
NVIDIA、Niket Agarwal、Arslan Ali、Maciej Bala、Yogesh Balaji、Erik Barker、Tiffany Cai、Prithvijit Chattopadhyay、Yongxin Chen、Yin Cui、Yifan Ding、Daniel Dworakowski、Jiaojiao Fan、Michele Fenzi、Francesco Ferroni、Sanja Fidler、Dieter Fox、Songwei Ge、Yunhao Ge、Jinwei Gu、Siddharth Gururani、Ethan He、Jiahui Huang、Jacob Huffman、Pooya Jannaty、Jingyi Jin、Seung Wook Kim、Gergely Klar、Grace Lam、Shiyi Lan、Laura Leal-Taixe、Anqi Li、Zhaoshuo Li、Chen-Hsuan Lin、Tsung-Yi Lin、Huan Ling、Ming-Yu Liu、Xian Liu、Alice Luo、Qianli Ma、Hanzi Mao、Kaichun Mo、Arsalan Mousavian、Seungjun Nah、Sriharsha Niverty、David Page、Despoina Paschalidou、Zeeshan Patel、Lindsey Pavao、Morteza Ramezanali、Fitsum Reda、Xiaowei Ren、Vasanth Rao Naik Sabavat、Ed Schmerling、Stella Shi、Bartosz Stefaniak、Shitao Tang、Lyne Tchapmi、Przemek Tredak、Wei-Cheng Tseng、Jibin Varghese、Hao Wang、Haoxiang Wang、Heng Wang、Ting-Chun Wang、Fangyin Wei、Xinyue Wei、Jay Zhangjie Wu、Jiashu Xu、Wei Yang、Lin Yen-Chen、Xiaohui Zeng、Yu Zeng、Jing Zhang、Qinsheng Zhang、Yuxuan Zhang、Qingqing Zhao和Artur Zolkowski。Cosmos世界基础模型平台：面向物理人工智能。arXiv预印本arXiv:2501.03575，2025年。
OpenAI、Josh Achiam、Steven Adler、Sandhini Agarwal、Lama Ahmad、Ilge Akkaya、Florencia Leoni Aleman、Diogo Almeida、Janko Altenschmidt、Sam Altman、Shyamal Anadkat、Red Avila、Igor Babuschkin、Suchir Balaji、Valerie Balcom、Paul Baltescu、Haiming Bao、Mohammad Bavarian、Jeff Belgium、Irwan Bello、Jake Berdine、Gabriel Bernadett-Shapiro、Christopher Berner、Lenny Bogdonoff、Oleg Boiko、Madelaine Boyd、Anna-Luisa Brakman、Greg Brockman、Tim Brooks、Miles Brundage、Kevin Button、Trevor Cai、Rosie Campbell、Andrew Cann、Brittany Carey、Chelsea Carlson、Rory Carmichael、Brooke Chan、Che Chang、Fotis Chantzis、Derek Chen、Sully Chen、Ruby Chen、Jason Chen、Mark Chen、Ben Chess、Chester Cho、Casey Chu、Hyung Won Chung、Dave Cummings、Jeremiah Currier、Yunxing Dai、Cory Decareaux、Thomas Degry、Noah Deutsch、Damien Deville、Arka Dhar、David Dohan、Steve Dowling、Sheila Dunning、Adrien Ecoffet、Atty Eleti、Tyna Eloundou、David Farhi、Liam Fedus、Niko Felix、Simón Posada Fishman、Juston Forte、Isabella Fulford、Leo Gao、Elie Georges、Christian Gibson、Vik Goel、Tarun Gogineni、Gabriel Goh、Rapha Gontijo-Lopes、Jonathan Gordon、Morgan Grafstein、Scott Gray、Ryan Greene、Joshua Gross、Shixiang Shane Gu、Yufei Guo、Chris Hallacy、Jesse Han、Jeff Harris、Yuchen He、Mike Heaton、Johannes Heidecke、Chris Hesse、Alan Hickey、Wade Hickey、Peter Hoeschele、Brandon Houghton、Kenny Hsu、Shengli Hu、Xin Hu、Joost Huizinga、Shantanu Jain、Shawn Jain、Joanne Jang、Angela Jiang、Roger Jiang、Haozhun Jin、Denny Jin、Shino Jomoto、Billie Jonn、Heewoo Jun、Tomer Kaftan、Łukasz Kaiser、Ali Kamali、Ingmar Kanitscheider、Nitish Shirish Keskar、Tabarak Khan、Logan Kilpatrick、Jong Wook Kim、Christina Kim、Yongjik Kim、Jan Hendrik Kirchner、Jamie Kiros、Matt Knight、Daniel Kokotajlo、Łukasz Kondraciuk、Andrew Kondrich、Aris Konstantinidis、Kyle Kosic、Gretchen Krueger、Vishal Kuo、Michael Lampe、Ikai Lan、Teddy Lee、Jan Leike、Jade Leung、Daniel Levy、Chak Ming Li、Rachel Lim、Molly Lin、Stephanie Lin、Mateusz Litwin、Theresa Lopez、Ryan Lowe、Patricia Lue、Anna Makanju、Kim Malfacini、Sam Manning、Todor Markov、Yaniv Markowski、Bianca Martin、Katie Mayer、Andrew Mayne、Bob McGrew、Scott Mayer McKinney、Christine McLeavey、Paul McMillan、Jake McNeil、David Medina、Aalok Mehta、Jacob Menick、Luke Metz、Andrey Mishchenko、Pamela Mishkin、Vinnie Monaco、Evan Morikawa、Daniel Mossing、Tong Mu、Mira Murati、Oleg Murk、David Mely、Ashvin Nair、Reiichiro Nakano、Rajeev Nayak、Arvind Neelakantan、Richard Ngo、Hyeonwoo Noh、Long Ouyang、Cullen O'Keefe、Jakub Pachocki、Alex Paino、Joe Palermo、Ashley Pantuliano、Giambattista Parascandolo、Joel Parish、Emy Parparita、Alex Passos、Mikhail Pavlov、Andrew Peng、Adam Perelman、Filipe de Avila Belbute Peres、Michael Petrov、Henrique Ponde de Oliveira Pinto、Michael、Pokorny。
---
米歇尔·波克拉丝、维奇尔·H·庞、托利·鲍威尔、阿莱西亚·鲍尔、鲍里斯·鲍尔、伊丽莎白·普罗尔、劳尔·普里、亚历克·拉德福德、杰克·雷、阿迪蒂亚·拉梅什、卡梅伦·雷蒙德、弗朗西斯·雷亚尔、肯德拉·林巴赫、卡尔·罗斯、鲍勃·罗特斯泰德、亨利·鲁塞兹、尼克·莱德、马里奥·萨尔塔雷利、泰德·桑德斯、希巴尼·桑图尔卡、吉里什·萨斯特里、希瑟·施密特、大卫·施努尔、约翰·舒尔曼、丹尼尔·塞尔萨姆、凯拉·谢泼德、托基·舍尔巴科夫、杰西卡·谢伊、莎拉·肖克、普拉纳夫·希亚姆、斯齐莫恩·西多尔、埃里克·西格勒、麦迪·西门斯、乔丹·西特金、卡塔琳娜·斯拉玛、伊恩·索尔、本杰明·索科洛夫斯基、杨松、娜塔莉·施陶达赫、费利佩·佩特罗斯基·苏奇、娜塔莉·萨默斯、伊利亚·苏茨克维、唐杰、尼科拉斯·特扎克、玛德琳·B·汤普森、菲尔·蒂莱特、阿明·图图恩奇安、伊丽莎白·曾、普雷斯顿·塔格尔、尼克·特利、杰瑞·特沃雷克、胡安·费利佩·塞隆·乌里韦、安德里亚·瓦洛内、阿伦·维贾耶维尔吉亚、切尔西·沃斯、卡罗尔·温赖特、贾斯汀·杰伊·王、阿尔文·王、本·王、乔纳森·沃德、杰森·韦、CJ·温曼、阿基拉·韦利欣达、彼得·韦林德、季雅怡·翁、莉莲·翁、马特·维特霍夫、戴夫·威尔纳、克莱门斯·温特、塞缪尔·沃尔里奇、汉娜·王、劳伦·沃克曼、谢尔温·吴、杰夫·吴、迈克尔·吴、肖开、徐涛、莎拉·尤、Kevin Yu、袁启明、沃伊切赫·扎伦巴、罗万·泽勒斯、张冲、张马可、赵圣佳、郑天浩、庄俊刚、威廉·朱克以及巴雷特·佐普。《GPT-4技术报告》。arXiv预印本arXiv:2303.08774，2024年。
阿比谢克·帕达尔卡尔、艾康·普利、阿金基亚·贾恩、亚历克斯·贝利、亚历克斯·赫尔佐格、亚历克斯·伊尔潘、亚历山大·哈扎茨基、阿南特·拉伊、阿尼凯特·辛格、安东尼·布罗汉等。《Open X-Embodiment：机器人学习数据集与RT-X模型》。发表于2024年IEEE国际机器人与自动化会议（ICRA）。
朴永孝、贾格迪普·辛格·巴蒂亚、拉斯·安基勒以及普尔基特·阿格拉瓦尔。《DexHub与DART：迈向互联网规模的机器人数据收集》。arXiv预印本arXiv:2411.02214，2024年。
乔治奥斯·帕夫拉科斯、单丹丹、伊利贾·拉多萨沃维奇、安吉尤·卡纳扎瓦、大卫·福伊以及吉滕德拉·马利克。《基于Transformer的3D手部重建》。发表于2024年IEEE/CVF计算机视觉与模式识别会议（CVPR）。
彭翔宇、郑藏伟、沈晨辉、Tom Young、郭欣颖、王斌禄、许航、刘宏鑫、蒋明燕、李文军、王宇辉、叶安邦、任刚、马千然、梁婉莹、连翔、吴希文、钟玉婷、李壮岩、龚超宇、雷国军、程雷军、张立敏、李明浩、张瑞杰、胡斯兰、黄世杰、王晓康、赵元亨、王宇琪、魏子昂以及游阳。《Open-Sora 2.0：在20万样本上训练商业级视频生成模型》。arXiv预印本arXiv:2503.09642，2025年。
邱日昭、杨诗琪、程旭欣、查伊塔尼亚·查乌拉、李佳龙、何泰然、严戈、尹大卫·J、Ryan Hoque、拉斯·保罗森、杨戈、张健、施莎、施冠亚以及王晓龙。《Humanoid Policy：人类策略》。发表于2025年机器人学习会议（CoRL）。
亚历克·拉德福德、金钟旭、克里斯·哈莱西、阿迪蒂亚·拉梅什、加布里埃尔·戈、桑迪尼·阿加瓦尔、吉里什·萨斯特里、阿曼达·阿斯克尔、帕梅拉·米什金、杰克·克拉克、格雷琴·克鲁格以及伊利亚·苏茨克维。《从自然语言监督中学习可迁移的视觉模型》。发表于2021年国际机器学习会议。
伊利贾·拉多萨沃维奇、肖特特、斯蒂芬·詹姆斯、皮特·阿贝尔、吉滕德拉·马利克以及特雷弗·达雷尔。《基于掩码视觉预训练的真实世界机器人学习》。发表于2023年机器人学习会议，第416–426页。PMLR出版。
任俊涛、普丽娅·桑达拉森、多尔萨·萨迪格、桑吉班·乔杜里以及珍妮特·博格。《Motion Tracks：少样本模仿学习中人机迁移的统一表示》。发表于2025年IEEE国际机器人与自动化会议（ICRA）。
奥尔加·鲁萨科夫斯基、贾登、苏浩、乔纳森·克劳斯、桑吉夫·萨蒂什、肖恩·马、黄志恒、安德烈·卡尔帕西、阿迪蒂亚·科斯拉、迈克尔·伯恩斯坦、亚历山大·C·伯格和李飞飞。ImageNet大规模视觉识别挑战赛。《国际计算机视觉杂志》（IJCV），115卷第3期：211–252页，2015年。
希曼舒·高拉夫·辛格、安东尼奥·洛奎尔西奥、卡梅洛·斯费拉扎、简·吴、齐浩志、皮特·阿贝尔和吉滕德拉·马利克。基于视频的手物交互预训练。IEEE国际机器人与自动化会议（ICRA），2025年。
---
理查德·S·萨顿。痛苦的教训，2019年。网址：。访问日期：2025年2月26日。
PyTorch团队。torchcodec：用于PyTorch的简便高效视频解码工具。，2024年。访问日期：2025年4月1日。
霍默·沃尔克、凯文·布莱克、亚伯拉罕·李、金茂珍、杜Max、郑崇义、赵Tony、菲利普·汉森-埃斯特鲁赫、Quan Vuong、安德烈·何、维韦克·迈尔斯、方宽、切尔西·芬恩和谢尔盖·莱文。Bridgedata v2：一个用于大规模机器人学习的数据集。机器人学习会议（CoRL），2023年。
王晨、石浩辰、王伟卓、张若涵、李飞飞和刘C·凯伦。Dexpac：用于灵巧操作的可扩展且便携的动作捕捉数据收集系统。机器人：科学与系统会议（RSS），2024年。
王立瑞、赵凯文、刘超奇和陈新雷。利用异构掩码自回归学习现实世界的动作-视频动态。arXiv预印本arXiv:2502.04296，2025年。
杨梦娇、杜一伦、加塞米普尔·卡米亚尔、乔纳森·汤普森、戴尔·舒尔曼斯和皮特·阿贝尔。学习交互式现实世界模拟器。国际学习表征会议（ICLR），2024年。
袁成波、索拉杰·乔希、朱少婷、苏航、赵航和高阳。Roboengine：通过语义机器人分割与背景生成实现即插即用的机器人数据增强。IEEE/RSJ智能机器人与系统国际会议（IROS），2025年。
赵宏翔、刘星辰、徐慕天、郝一鸣、陈伟凯和韩晓光。Taste-rob：推进面向通用机器人操作的任务导向型手物交互视频生成。计算机视觉与模式识别会议论文集，第27683–27693页，2025年。
周博涵、詹毅、张忠斌和卢宗庆。Megohand：多模态第一人称手物交互运动生成。第三十九届神经信息处理系统年会。
周毅、巴恩斯·康奈利、陆静婉、杨继美和李浩。关于神经网络中旋转表示的连续性问题。2019年IEEE/CVF计算机视觉与模式识别会议（CVPR），第5738–5746页，2018年。
---
### 附录
## A.1 额外实验
EgoDex数据集还包含一个单独文件夹（名为extra）中的6个完全超出分布范围（OOD）的任务。我们针对这些OOD任务进行了额外的实验，测试了仅解码器的行为克隆（Dec+BC）模型。我们发现，部分OOD任务的性能与分布内任务相当，而偏离分布较远的任务性能则较差。这表明EgoDex模型能够泛化到至少与分布内任务有一定相似性的OOD任务。
| Model | Avg Distance (m) | Final Distance (m) |
| In-Distribution Avg | 0.045 | 0.062 |
| (OOD) Jigsaw Puzzle | 0.047 | 0.065 |
| (OOD) Tetra Board | 0.060 | 0.082 |
| (OOD) Knit Scarf | 0.064 | 0.093 |
| (OOD) Play Reversi | 0.065 | 0.096 |
| (OOD) Blowdry Hair | 0.083 | 0.118 |
| (OOD) Stamp Paper | 0.099 | 0.162 |
Table 5: Additional experimental results on out-of-distribution tasks.
In main experiments, we chose to use a decoder-only BC model to evaluate the effect of increasing the prediction horizon. We additionally ran experiments to evaluate the effect of the prediction horizon with the encoder-decoder with flow matching (EncDec+FM) model for further clarity. The trend is consistent with the Dec+BC model, where performance degrades as the horizon increases.
| Model | Avg Distance (m) | Final Distance (m) |
| K = 1 | K = 5 | K = 10 | K = 1 | K = 5 | K = 10 |
| H = 30 (1s) | 0.036 | 0.028 | 0.026 | 0.055 | 0.037 | 0.033 |
| H = 60 (2s) | 0.051 | 0.041 | 0.038 | 0.070 | 0.047 | 0.041 |
| H = 90 (3s) | 0.061 | 0.050 | 0.047 | 0.079 | 0.053 | 0.046 |
Table 6: Ablation of prediction horizon for the encoder-decoder with flow matching (EncDec+FM) model.
## A.2 任务完整列表
我们在此提供完整的任务名称列表，这些名称按照数据集中出现的样式标注，并按任务类型分类（可逆任务、无需重置任务或需要重置任务，具体定义见第3.3节）。请注意，每个可逆任务实际上是由两个任务组成的。总共有194个任务。图6展示了各种操作任务中所使用物体子集的可视化效果。
对于有意部署机器人的用户而言，basic_pick_place任务尤其包含了大量种类繁多的抓取与放置数据，以及高质量的语言注释。
可逆任务（共76×2个任务）：
• 编辫子/解辫子
• 给AirPods充电/取出AirPods
• 发牌/收牌
• 煎面包
- 组装/拆卸家具：长凳、椅子
- 组装/拆卸家具：长凳、抽屉
- 组装/拆卸家具：长凳、方形桌
---
• 折叠/展开纸张（基础款）
• 插入/取出家具：长凳、柜子
• 收集骰子/滚动骰子
• 插入/取出AirPods
• 插入/取出抽屉
• 插入/取出管中的衬衫
• 插入/拔出USB设备
• 装入冰块/倒出冰块
• 打开/关闭、插入/取出保鲜盒
• 捡起并放下盒子或袋子
收起/摆放棋盘游戏用品
• 拧入/拧出手指固定装置
• 套上/取下卡片套
• 堆叠/拆叠杯子
- 穿入/取出珠串项链
• 系紧/解开鞋带
• 插入/取出网球
• 打开/关闭、插入/取出盒子
• 抓取并放置食物
放入/取出眼镜
• 拧入/拧出内六角螺栓固定装置
- 摆放/清理棋盘
安装电池
• 堆叠/拆叠碗碟
• 堆叠/拆叠储物容器
• 投掷/收集物体
• 垂直方向抓取与放置
清洗/收起餐具
• 添加/取下盖子
• 排列/推倒多米诺骨牌
- 组装/拆卸乐高积木
- 组装/拆卸软质乐高积木
- 组装/拆卸结构件
- 组装/拆卸拼图块
• 煮蛋/盛出鸡蛋
• 搭建/拆散乐高模型
• 给设备充电/取出设备
夹住/松开纸张
• 揉皱/压平纸张
• 煎蛋
- 组装/拆卸家具：长凳、书桌
- 组装/拆卸家具：长凳、台灯
- 组装/拆卸家具：长凳、凳子
折叠/堆叠/拆叠/展开布料
---
折叠/展开折纸
• 插入、移除家具、长凳、圆桌
• 插入/移除收纳袋
• 从置物架上插入/移除杯子
• 插入/拔出插头和插座
• 插入/取出餐具
• 上锁/解锁钥匙
• 打开/关闭、插入/取出盒子
• 舀取/倾倒冰块
• 拧开/拧紧瓶盖
- 整理/清理桌子
• 将物品放入/取出冰箱
• 叠放/取下盘子
• 抛接球
• 系紧/解开橡皮筋
包裹/拆开食物包装
• 拉上/拉开袋子拉链
• 拉上/拉开收纳盒拉链
- 拼装/拆解拼图
• 叠放/取下Tetra板
• 叠放/取出积木
• 插入/倾倒积木
• 用耙子平整禅意花园
• 玩/重置四子棋游戏
• 插入/移除书架
### 无需重置的任务（共28项）
• 涂色
- 把玩磁力旋转环
测量物体尺寸
• 用订书机装订纸张
玩魔方
清洗厨房餐具
• 擦拭屏幕
揉捏史莱姆
用遥控器点击指定位置
• 用键盘打字
清洁表面
• 擦干双手
• 玩曼卡拉棋
• 抛硬币
• 翻页
给干净的画笔上色
• 弹钢琴
---
推入/弹出玩具
• 把牙膏挤到牙刷上
洗水果
擦拭厨房台面
• 在纸上盖章
• 吹干头发
• 织围巾
• 化妆
• 书写
清洗杯子
滚动小球
## 需要重置的任务（共14项）
清洗餐具
• 整理桌面杂物
基础拾取与放置
• 叠放
• 制作三明治
撕下并粘贴贴纸
用扫帚清扫，用簸箕收垃圾
包裹
拼装积木
• 基础折叠
• 倾倒
• 分类珠子
使用筷子
• 玩黑白棋
## A.3 骨骼关节完整列表
这些注释包含了以下每个关节的SE(3)位姿（表示为$4 \times 4$齐次变换矩阵），这些关节的名称与数据集中出现的名称一致：
## 上半身
髋部、spine1、spine2、spine3、spine4、spine5、spine6、spine7、颈部1、颈部2、颈部3、颈部4、左肩、左臂、左前臂、左手、右肩、右臂、右前臂、右手
### 左手
左食指中间基座、左食指中间指尖、左食指指节、左食指掌骨、左食指指尖、左小指中间基座、左小指中间指尖、左小指指节、左小指掌骨、左小指指尖、左中指中间基座、左中指中间指尖、左中指指节、左中指掌骨、左中指指尖、左无名指中间指尖、左无名指指节、左无名指掌骨、左无名指指尖
---
Figure 6: Some of the objects used in the various manipulation tasks.
左拇指中间基座、左拇指中间指尖、左拇指指节、左拇指指尖
## 右手
右食指中间基座、右食指中间指尖、右食指指节、右食指掌骨、右食指指尖、右小指中间基座、右小指中间指尖、右小指指节、右小指掌骨、右小指指尖、右中指中间基座、右中指中间指尖、右中指指节、右中指掌骨、右中指指尖、右无名指中间基座、右无名指中间指尖、右无名指指节、右无名指掌骨、右无名指指尖、右拇指中间基座、右拇指指节、右拇指指尖
请注意，leftHand和rightHand指的是手腕。还需注意的是，数据中关节置信度在手腕和手部的表现有所不同。手腕置信度（针对leftHand和rightHand）表示是否整体检测到对应的手，而手指关节置信度则是相对于手腕的置信度。例如，如果左食指指尖的置信度很高，但左腕的置信度很低，那么左食指指尖的数据就不可靠。
### A.4 训练细节
在实验部分，我们训练并评估了14种不同的模型：6种架构与策略优化方法的组合、4种采用不同训练数据集规模的额外模型、2种预测范围不同的额外模型、1种规模更大的模型，以及1种采用视觉目标条件的模型。图7展示了模型架构的示意图。
每个模型都在单个节点上进行训练和评估，该节点配备96个逻辑CPU（48个物理CPU）和8块NVIDIA A100 GPU，每块GPU拥有80GB内存。训练共进行50,000次梯度更新，批量大小为2048（在数据并行机制下，每块GPU处理256个样本），此时训练和验证损失趋于平稳。完整的训练过程大约需要72小时。模型采用Adam优化器，学习率为$1e^{-4}$。图像观测数据会被调整大小为$224 \times 224$，随后输入预训练的ResNet编码器；语言注释则通过冻结的CLIP（Radford等人，2021年）编码器进行处理。
---
Figure 7: Model architectures.
只有当前图像观测数据和本体感知状态会被作为输入传递给策略（即不纳入历史信息）；加入历史信息可能会提升性能。DDPM和FM模型在训练和评估时均采用16个采样步骤。所有其他超参数均沿用X-IL代码库（Jia等人，2025年）中的默认值。