# Open-AoE：一个用于具身学习的开源自我中心操作数据集与工具链
蚂蚁数字技术有限公司，蚂蚁集团
GitHub | 👁️ Hugging Face | ModelScope
## 摘要
人类操作的自我中心视频为具身智能提供了可扩展的监督数据，但现有资源很少能同时兼顾低成本连续采集、操作级别的结构化标注以及机器人学习的可复用工具。我们推出Open-AoE——一个开源、面向社区的自我中心操作数据集与工具链，涵盖了从智能手机采集到模型训练的全流程。其首个版本包含约2000小时的操作视频，由500多名贡献者使用400多部智能手机在自然环境中采集而成。该数据集提供了文本标注、基于MANO的手部姿态、相机轨迹以及时间上定位的原子动作。Open-AoE还包含数据处理流水线，可通过时间动作分割、语义标注、手部重建和相机轨迹重建，将原始录像转化为结构化样本。同时，我们提供了独立的下游工具链，支持可视化、跨本体重定向、特定模型的数据转换，以及VLA策略、WAMs和世界模型的训练方案。通过整合可扩展采集、结构化处理和下游适配功能，Open-AoE降低了数据贡献和复用的门槛，为具身模型训练、人机交互迁移以及世界建模提供了实用的开源基础设施。
Figure 1: Overview of Open-AoE. Open-AoE provides independent modules for smartphone capture, structured data processing, and downstream robot learning, supporting 2,000 hours of data across 500+ contributors, 400+ device types, 400+ scenes, and 8,000+ tasks.
---
Table 1: Comparison of egocentric manipulation datasets. Capture devices are reported as device models or camera types only when explicitly documented by the source; aggregated corpora without a verifiable model inventory are marked Mixed / N/A. Open-AoE combines large-scale consumer-smartphone collection with complete manipulation annotations and a data-to-model toolchain.
| Dataset | Hours | Tasks $^{\dagger}$ | Hand Pose | Language | Camera Traj. | Participants | Capture Devices | Retarget | Training |
| Ego4D [^1] | 3,670 | N/A | ✗ | ✓ | ✗ | 923 $^{*}$ | 7 cameras | ✗ | ✗ |
| EPIC-KITCHENS [^2] | 100 | N/A | ✗ | ✓ | ✗ | 37 | 2 models | ✗ | ✗ |
| EgoDex [^3] | 829 | 194 | ✓ | ✓ | ✓ | N/A | 1 model | ✗ | ✗ |
| EgoLive [^4] | 1,680 | 346 | ✓ | ✓ | ✓ | N/A | 1 custom model | ✗ | ✗ |
| OpenEgo [^5] | 1,107 | 290 | ✓ | ✓ | Partial | N/A | Mixed / N/A | ✗ | ✗ |
| EgoScale [^6] | 20,854 | N/A | ✓ | ✓ | ✗ | N/A | Mixed / N/A | ✗ | ✗ |
| Open-AoE | 2,000 | 8,000+ | ✓ | ✓ | ✓ | 500+ | 400+ models | ✓ | ✓ |
任务数量遵循各数据源的定义，无法直接比较。*Ego4D采用当前项目页面的统计结果（923名参与者；7台相机）；其CVPR 2022论文中报告的相机佩戴者为931人。OpenEgo中的数字“6”指的是源数据集，而非参与者数量。
### 1. 引言
具身基础模型的性能越来越受到真实世界交互数据的规模和质量的制约 [^7] [^8]。与可以从互联网规模的文本中学习的语言模型不同，机器人学习需要能够反映人类如何感知场景、移动手部、接触物体并完成耗时较长任务的物理演示 [^8]。这类数据不仅要有足够大的规模和多样性，还要在操作学习层面具备几何、时间和语义上的结构化特征 [^8]。实证性规模研究进一步表明，不同环境和物体间的多样性，比在固定条件下单纯增加演示数量更为重要 [^7]。
自我中心视频为解决这一问题提供了一种自然且可扩展的方式 [^1] [^2]。通过从操作者的视角记录交互过程，它能在同一视觉流中捕捉手部、物体、场景以及动作进展等信息 [^1] [^2]。与第三人称视频相比，自我中心视频更贴近机器人执行时的感知结构 [^3] [^6]。与机器人遥操作相比，它能在日常环境中更自然、连续且低成本地采集数据 [^9] [^8]。近期推出的Ego4D、EPIC-KITCHENS、EgoDex、EgoLive、OpenEgo和EgoScale等数据集在多个维度推动了自我中心数据的发展：包括更大规模的日常活动采集、更精细的手部姿态标注、更丰富的操作场景，以及与机器人学习更强的适配性 [^1] [^2] [^3] [^4] [^5] [^6]。
然而，一个核心缺口依然存在。社区需要的不仅仅是更多的第一人称视角视频，而是能够持续收集、系统处理并直接支持模型训练的开放数据基础设施。高质量的第一人称数据集往往依赖于专门的头戴式设备、AR/VR硬件或受控的采集协议 [^3] [^4]。专用硬件虽能提升姿态和摄像头感知能力，但与普通智能手机采集方式相比，其可访问性却大打折扣 [^3] [^4] [^9]。相比之下，大规模被动视频更容易获取，但通常缺乏机器人训练所需手部动作、摄像头轨迹、动作边界以及物理结构信息 [^3] [^5]。因此，近期的研究工作开发了针对特定数据集的手部姿态统一、人形机器人迁移以及原始视频处理流程 [^5] [^6] [^9]。不过，这些流程仍呈碎片化状态，尚未形成统一的基础设施。这种碎片化现象凸显出“发布视频”与“发布可直接用于训练的数据”之间的区别。
为填补这一缺口，我们推出了Open-AoE——一个面向社区的、以第一人称视角为主的操控数据集及工具链。
---
Open-AoE基于AoE消费级智能手机采集框架 [^9]，提供了从原始采集到模型训练的完整流程。首次发布的数据集包含约2,000小时的第一人称人类操控数据，这些数据由500多名贡献者使用400多款智能手机在自然环境中采集而成。该数据集提供了结构化的信号，包括视频、文本描述、MANO手部姿态、摄像头轨迹以及原子动作片段。在数据集制作方面，Open-AoE提供了云端处理流程，可将上传的智能手机视频片段通过质量筛选和隐私擦除、时间分割、语义标注、摄像头轨迹估计、手部重建、原子动作标注以及多阶段质量检查，转化为结构化样本。此外，下游数据利用工具链以已发布的数据集为基础，支持同步视觉检查、4D手物交互重建、跨本体运动映射以及机器人化视频生成。而“可直接用于训练的工具链”则会将对齐后的视频、手部、摄像头及语言信号转化为动作表示，并为三种模型方向提供训练接口：视觉-语言-动作（VLA）策略、世界动作模型（WAMs）以及世界模型。
Open-AoE的目标并非仅仅发布一个孤立的视频集合，而是要开启一个可重复使用的“采集-处理-重建-训练”数据生产循环。依托同一套第一人称数据集，研究人员可以检查数据、重建4D交互场景、在机器人上重现动作、训练视觉-语言-动作模型、学习世界动作模型，或研究世界模型的学习过程，而无需重新搭建私有的后处理系统。通过降低数据贡献和使用门槛，Open-AoE旨在将低成本智能手机采集的人类操控视频转化为实用的开源基础设施，推动具身智能领域的研究发展。
我们的贡献主要有三点：
- 我们发布了约2,000小时的真实第一人称人类操控数据，这些数据由消费级智能手机在自然环境中采集，涵盖了多样化的参与者、设备及日常操控场景。
- 我们搭建了一条端到端的数据处理流水线，可将原始智能手机视频转化为包含手部姿态、相机轨迹、动作片段和语言描述的结构化训练样本。
- 我们提供一套用于数据可视化、重建和跨本体重定向的下游具身学习工具链，同时针对三大主流模型方向——VLA策略、WAM和世界模型，提供可用于训练的表征与接口。
### 2. 相关工作
#### 2.1. 用于具身学习的开源第一人称视角数据源
开源的第一人称视角数据集主要区别在于它们为原始视频提供的监督信息不同。EPIC-KITCHENS-100 [^2] 和 Ego4D [^1] 涵盖了丰富的日常活动、环境和语言内容。几何信息更丰富的数据集能让操作过程更易于观察：HOI4D [^10] 提供了包含手部与物体姿态、分割结果以及重建几何信息的RGB-D序列；HOT3D [^11] 增加了多视角下手部、物体和相机姿态的动作捕捉真值；EgoMimic [^12] 将相机运动与3D手部追踪数据配对，用于模仿学习；而EgoDex [^3] 则将原生手部追踪和语言标注扩展到829小时的灵巧桌面操作数据。
其他数据集则侧重于规范化、尺度或传感器保真度方面的优化。OpenEgo [^5] 将来自六个公开数据集的1,107小时数据整合起来，形成了标准化的手部姿态和局部动作基元。
---
EgoScale [^6] 利用超过20,000小时的野外视频研究灵巧策略的扩展能力，而EgoLive [^4] 则贡献了1,680小时的60帧/秒立体录像，这些录像来自服务场景，包含相机运动、3D手部数据、深度信息、掩码以及子任务描述。Open-AoE [^9] 补充了这些成果，它包含了由500多名贡献者拍摄的2,000小时智能手机视频，涵盖400多种设备类型、400多个场景和8,000多项任务，同时还提供了原子级动作描述、MANO手部运动数据、相机轨迹，以及可复用的数据处理和模型集成工具。
#### 2.2. 第一人称视角数据的具身应用
重建与跨本体迁移。当隐式的运动信息被转化为几何或控制导向的监督信号时，第一人称视角视频就能发挥实际作用。HaWoR [^13] 能从单目视频中恢复世界坐标系下的手部运动，而EgoInfinity [^14] 能重建精确的4D手-物轨迹并支持机器人重定向。EgoAERO [^15] 能根据单个RGB-D演示估算出符合接触约束的轨迹，EgoEngine [^16] 则能同时生成机器人化的观测数据和可行的机器人动作。这些输出可支持多种下游应用：重建的手-物资产能呈现接触情况和物体运动，重定向后的轨迹可提供面向机器人的监督信号，机器人化视频则在保留场景上下文的同时缩小视觉本体差异。视觉适配、共享动作空间、主动视觉和全身重定向等技术进一步解决了不同本体间的视角和形态差异问题 [^17] [^18] [^19] [^20] [^21]。
视觉-语言-动作策略。VLA方法直接从人类视频中学习与动作相关的表征，而无需让机器人重复每一个示例。Being-H0 [^22] 将人类动作进行分词处理，用于视觉-语言-动作预训练；EgoVLA [^23] 在机器人适配前就能预测手腕和手部动作；而VITRA [^24] 则从现实活动中提取与机器人对齐的监督信号。EgoScale [^6] 进一步证明了扩展多样化以自我为中心的预训练所带来的益处。因此，从人类观察结果到机器人策略的生成过程，可以将与语言对齐的任务语义与符合身体特性的动作目标相结合，但这依赖于在身体转换后仍具有意义的时序稳定片段、几何信息以及动作接口。
世界动作模型。WAM介于直接策略学习与无约束的视频生成之间：它们同时学习动作变量与观测动态，包括那些无法获取明确机器人动作的场景。潜动作学习可以从视频中推断出紧凑的运动替代表示，不过视觉干扰物可能需要额外的监督 [^25]。LaWAM [^26] 利用紧凑的潜视觉子目标来降低像素空间的生成延迟，而DreamZero [^27] 则同时预测未来视频与动作，并将学到的动态特性用作零样本策略。在这一路径中，当前观测、推断或提供的动作与由此产生的视觉变化之间的时序对齐尤为重要。
世界模型。预测性世界模型利用以自我为中心的视频来学习可复用的场景与交互动态，而不仅限于单一机器人策略。DreamDojo [^28] 在44,000小时的以自我为中心视频上预训练了一个具备连续潜动作的通用机器人世界模型；iVideoGPT [^29] 研究了可扩展的交互式视频预测技术；Ctrl-World [^30] 则引入了用于机器人操控的可控生成功能。只要将长视频分割成连贯的过渡片段，并配以稳定的条件信号，这类模型就能同时利用弱潜动作以及显式的手部、摄像头或机器人控制信号。无论是在重建、重定向、VLA、WAM还是世界模型学习中，共同的要求都是建立多样化的人类视频与模型可使用的监督信号之间的接口。Open-AoE正是通过庞大的智能手机语料库及其相关的处理与转换工具，来提供这一接口的两端。
---
### 3. Open-AoE数据集
#### 3.1. 数据处理流程
Figure 2: Open-AoE data processing pipeline. Starting from edge-side on-device detection and control, raw egocentric videos pass through offline quality checking and scene labeling (image-based detection, video slicing, and large-model detection), followed by pose reconstruction, atomic-action annotation, and three-gate quality inspection to produce an anonymized training corpus. The released subset contains approximately 2,000 hours of egocentric manipulation video captured with consumer smartphones, together with English annotations, MANO hand poses, and camera trajectories.
如图2所示，该流程包含在线采集阶段与离线处理阶段。它分为四个步骤：边缘端在线检测、带场景标注的离线质量检查、重建与注释，以及质量检验与数据交付，最终生成匿名化的训练语料库。
#### 3.2. 边缘端在线检测
在采集设备上，轻量级的本地视觉模型会实时控制录像并调节采集质量，从而只保留包含有意义的手部与物体交互的片段 [^9]。一旦检测到手部出现，便会自动开始录像；当手部离开画面时，录像停止。如果手部触及图像边缘或发生截断，设备会通过语音提示用户进行调整，以确保操作对象始终清晰可见。同时，系统还会监测设备的运行状态及佩戴合规性。运行规格检查结合了手势检测与场景检测，用于识别非标准动作及不符合要求的采集场景；而佩戴规格检查则同时进行佩戴状态检查和稳定性检查，以纠正不正确的佩戴姿势和不稳定的视角；一旦发现此类问题，便会通过实时语音反馈告知用户。该设备还能根据光照环境自动调整：在光线较暗时，会开启恒定补光灯并进行全局自动曝光。
---
通过固定焦距、运动稳定技术、去模糊处理以及自适应帧率调节，设备能够维持实时性能；一旦存储空间不足或设备过热，录像便会暂停。这种轻量级的前端设计能够在源头保护隐私，节省存储空间和带宽，仅将有效且经过授权的片段上传至云端进行离线处理。
#### 3.3. 离线质量检查与场景标注
##### 3.3.1. 基于图像的检测
第一道检测关卡作用于采样帧而非深度模型，依靠图像分析算法和轻量级检测器。针对视频质量，一组基于规则的检测器会并行运行，以识别出导致录像无法使用的常见缺陷，包括宽高比与旋转问题、文件头及流数据完整性问题、纯黑色或曝光过度/不足的帧、时长不足以及解码完整性问题，从而尽早剔除明显损坏的视频。随后，有效录像检查会排除没有可见手部的片段、非第一人称视角录像（如固定安装或第三人称侧面视角）以及摄像头抖动严重的片段，最终只保留有效的第一人称操作视频。敏感信息擦除功能会检测画面中的人脸及其他敏感内容，并将其进行像素化处理；同时还会替换元数据中的个人身份信息（包括采集者姓名和联系方式），改用匿名标识符，并重新命名相应字段和目录；映射关系会被完整保存，支持后续重复使用，因此经授权后可安全重新运行该流程并撤销匿名化处理。随后进行的手部复查会验证双手是否仍清晰可见，排查是否存在残留的第三人称视角、手部截断或遮挡比例过高的情况；只有连续多帧都出现同一缺陷时才会被确认为真正的问题，以此过滤单帧噪声。最后，校准步骤会验证相机内参的完整性与有效性，因为可靠的校准是后续姿态重建的前提。
##### 3.3.2. 视频切片与帧率固定
经过基于图像的检测后，视频会按照连续的合格与不合格区间进行拆分，同时固定其帧率，这样一段长录像就会被分割成多个语义上独立的片段（称为 $\underline{\text{Parts)}}$），其中过短的合格片段会被单独标记。每个片段通过统一的过程标签文件与其源视频关联起来，该文件记录了从原始视频到各片段的数据溯源信息，并随着处理流程的推进积累多层标签，从而建立起贯穿整个流程的数据契约。
##### 3.3.3. 大模型检测
经过筛选的部件会进入大模型处理阶段，由视觉语言模型Qwen3.7-Plus执行更高层次的语义检测和场景标注。合规性检测会在语义层面重新核查某个片段是否符合采集规范，识别出在图像层面难以察觉的违规行为；而有效动作检测则会判断该动作是否合理、能否构成完整且有目的性的操作，从而补充此前图像层面的筛选结果。同一模型会在封闭集设计下构建四级标签树：从预定义集合中为每个片段匹配一个对应的领域、场景和任务，同时标注出该片段中包含的显著物体，每个片段仅对应一个代表性帧；随后这些输出会被标准化为统一的标识符，并分别在领域、场景、任务和物体维度上汇总，形成分层标签体系。
---
#### 3.4. 重建与标注
每个符合条件的部件都会进入重建流程，在此过程中会同步生成相机轨迹估计结果、手部重建数据以及原子动作标注信息。相机位姿由DROID-W [^31] 恢复，其鲁棒的核心算法针对手持和可穿戴设备采集场景进行了重新调优，能够在剧烈摄像头抖动和躯干运动干扰下保持6自由度轨迹的稳定性。手部重建以基于AoE收集的大规模第一人称视角数据训练得到的双手检测器为基础：该检测器可输出每帧的边界框，跨帧关联检测结果，并填补缺失或遮挡的手部区域；基于这些边界框，HaWoR [^13] 会恢复出3D MANO [^32] 网格，这些网格通过SLAM实现度量级对齐，并被转换到世界坐标系中，同时利用滑动窗口优化来保证时间一致性。随后，基于HaWoR的重建结果以及DROID-W生成的动态物体掩码，通过全局束调整算法在同一世界坐标系下同步优化手部网格和相机轨迹，消除分段重建过程中出现的尺度漂移和坐标不匹配问题。从重建得到的网格中可提取出21个关节的手部关键点，最终每段视频会被分割成语义连贯的原子片段，并标注英文标签，期间会有人工参与审核以纠正模型的幻觉输出。
#### 3.5. 质量检查与数据交付
重建和标注完成的部件在归档前需通过三道质量检查关卡，最终从全部数据中筛选出约2000小时的内容作为开源版本发布。完整性关卡会保留那些手部重建的有效帧比例足够高、能满足可靠姿态标注要求的部件；正确性关卡会保留那些在映射到28自由度关节空间时逆向运动学失败率较低、能保证后续可用性的部件；一致性关卡则保留那些相机轨迹平滑连续、相邻帧之间无突兀跳变的部件。最后，会随机抽取一部分样本进行人工检查，确认标注准确性并剔除严重遮挡或极端光照等边缘情况，最终得到匿名化的训练语料库，即最终输出成果。
#### 3.6. 数据分布分析
图3总结了Open-AoE开源数据集中随机选取的100小时子集所呈现的多样性特征。所有图表均采用相同的采样范围，涵盖语义内容、采集场景、匿名贡献者覆盖范围、消费级手机型号以及水平视场角（FOV）。楔形区域面积、柱状图高度和文字大小分别用于表征相对普及度或频率，而非绝对时长。
宽泛的场景、动作和交互物体。第5节中使用的更新版100小时数据集包含32,407条不同的自然语言动作描述、175个动作动词、8,030个物体字符串以及135个场景标签。如图7所示，更新后的时间标注实现了99.99%的时间覆盖率，平均片段时长为9.64秒，标注密度为每分钟13.97个片段。时间覆盖率是根据标注时间段的并集计算得出的，而平均时长和密度则是基于标注记录计算的；因此，不能将这些数值相乘，仿佛这些标注构成了严格不重叠的划分。这些数据取代了早期预处理快照中的时间间隔和词汇量统计结果。这些分布涵盖了可复用的操作原语，以及种类繁多的食物、工具、容器、手工艺品材料、衣物和家居用品。其中，厨房、桌面或室内环境、办公室或书桌以及卧室分别占比24.8%。
---
Figure 3: Open-AoE collection, sensor, and semantic diversity in a random 100-hour sample. The nested donut summarizes the consumer-phone brand and market-model composition, and the lower-left panel shows the horizontal-FOV distribution. The center panels report collection-context composition and anonymous collector-ID coverage, while the word clouds summarize atomic-action verbs, manipulated objects, and task-language terms. All panels use the same randomly sampled 100-hour subset; wedge area, bar height, and word size encode relative prevalence or frequency.
分别为23.3%、17.8%和9.1%，其余部分则涵盖客厅、车间、浴室、户外区域、洗衣房以及零售或服务场所。场景、动作和交互物体的多样性为组合泛化提供了基础。
贡献者的分布具有长尾特征。同一100小时样本在匿名采集者ID上呈现出明显的长尾分布。每个ID的中位贡献时长为2.6分钟，排名前十的贡献者合计仅占采样时长的13.7%。这种长尾分布表明该样本并非由少数采集者主导，从而保留了操作习惯、手部外观和录制环境方面的更广泛差异。
广泛的消费级摄像头领域。随机选取的100小时样本涵盖了400多种消费级智能手机型号。嵌套的环形图将品牌展示在内环，而领先型号及汇总后的型号尾部则显示在外环。据我们所知，这是已报道的用于以眼为中心的操作数据集中最广泛的消费级手机设备覆盖范围。将设备统计数据限定在同一随机样本中，就能在一个评估范围内直接比较型号、语义、上下文和贡献者分布。这种广泛性在采样子集中提供了充足的消费级摄像头领域多样性。设备标识也是底层摄像头组件的实用代理，包括镜头、传感器、图像信号处理器、分辨率模式、曝光流程和拍摄固件。与单头戴设备采集的数据相比，Open-AoE因此在拍摄时引入了自然存在的摄像头领域变异。
---
为实现鲁棒的视觉迁移而具备的光学多样性。在随机选取的100小时样本中，经用户加权的水平视场角分布呈多模态：三个主要的5度区间分别占比30.7%、30.2%和31.7%，集中在$65^{\circ}$–$75^{\circ}$以及$90^{\circ}$–$95^{\circ}$范围内。这种多模态特征反映了反复出现的摄像头和镜头配置，而非单一光学系统。下游视觉策略必须能够在不同投影、裁剪、畸变和成像流程下恢复手与物体的几何关系和运动。这种变异提供了一种自然的传感器领域随机化形式，有望在迁移到未见过的摄像头、部署设备和机器人视角时提升鲁棒性。
总结来说，Open-AoE的独特之处不仅在于规模，还在于三个相互关联层面的多样性：人们操作的对象、行为发生的地点和方式，以及观测每次交互所用的消费级摄像头领域。这些特性共同为视觉鲁棒且跨领域的操作学习奠定了更坚实的基础。
范围与声明边界。本小节中报告的所有分布情况均基于同一随机选取的100小时样本计算得出。摄像头领域多样性所带来的下游益处仍只是一个有待通过可控消融实验来验证的训练假设。
### 4. Open-AoE工具链
Open-AoE工具链能够将同步的自我中心视频、手部几何结构、摄像头运动以及动作语义转化为可供检查、重建、重定向并用于学习的研究资源。已发布的实现代码、文档及模型集成方案均可在Open-AoE的GitHub仓库中获取。每个AoE样本都会将无畸变的RGB图像、摄像头内参与轨迹、双边MANO重建结果[^32]、有效性掩码以及原子动作标注对齐到同一时间轴上。这些信号构成了共同的证据层，但并没有哪一种单一的动作向量能够同时适用于人体运动建模、机器人控制以及视觉动力学学习。因此，该工具链会保留源信号的物理含义，并根据下游任务的需求选择合适的表示层级。
#### 4.1. AoE可视化
AoE可视化是进行同步检查与错误诊断的入口。它以无畸变的自我中心视频为画布，在上面叠加MANO网格、21点骨骼、未来手腕轨迹以及原子动作，同时在图像旁呈现世界坐标系下的3D视图与时间轴。这种联合视图能够在下游模型将这些异常识别为常规运动模式之前，就暴露出投影误差、手部缺失区间、SLAM漂移以及语义边界错位等问题。同样的视觉语法既可用于数据集示例，也可用于查看工具链的中间输出结果。
#### 4.2. AoE重建与重定向
AoE重建与重定向功能可将自我中心的观测数据转化为三种互补的输出：4D手-物体资产、机器人可执行轨迹以及机器人化视频，如图4所示。这些输出相互关联：重建过程提供物体与接触参考信息，重定向过程生成可执行的动作，而机器人化视频则将该动作重新融入真实的视觉场景中。
---
Figure 4: AoE-Reconstruct-Retarget. A smartphone-captured egocentric video is projected into 4D hand-object assets, robot-usable motion, and robotized video. The repository integrates reconstruction interfaces for EgoInfinity and Do-as-I-Do, multiple retargeting backends for G1, Galbot/Galaxea, Sharpa, and XHand, and simulation and egoview synthesis for result validation.
4D手-物体重建。EgoInfinity[^14]与Do-as-I-Do[^33]能够将单目视频转化为时变的手部几何结构、物体姿态以及交互资产。在此过程中，AoE的贡献不仅限于额外的RGB帧：经过校准的内参与度量级摄像头轨迹有助于区分观察者运动与场景运动，MANO模型提供了手部尺度与姿态先验，而动作片段则限定了交互的时间范围。当这些信息与物体的6自由度估计相结合时，手指靠近、抓取以及释放的时序就能提供接触候选、物体跟踪约束以及操作阶段的先验信息。这使得大规模的自我中心数据能够传递有关物体可供性以及手-物体协作的知识，而不仅仅是场景外观信息。
跨本体重定向。这一路径探讨的是：人类展示的动作如何能转化为目标机器人可执行的动作。Phantom算法将手臂逆运动学与dex-retargeting [^34] 相结合，从而将摄像头坐标系下的手腕与手指运动映射到配备Dex3或Inspire手部的Unitree G1机器人上。Retarget Galbot则能将双手掌目标转换为Galbot/Galaxea的TCP轨迹及夹持器控制信号；而Retarget Lab则整理了类似的运动学及物理感知路径，包括EgoInfinity/G1、Do-as-I-Do/Sharpa以及SPIDER/XHand [^35]。AoE的双边MANO轨迹、有效性掩码以及原子动作边界共同为手腕路径、手指协同关系、双手角色分配及抓取时机提供了监督信号。与孤立的末端执行器姿态相比，这些信号更适用于学习跨本体运动先验，因为它们保留了伸手、接触、操控及释放之间的结构关系。
机器人化视频。这一路径旨在移除人类手臂，并将模拟出的机器人重新合成到原始的自我中心场景中。Phantom和Retarget Galbot利用MANO关键点作为分割的几何提示，结合视频修复技术与MuJoCo渲染，生成时间对齐的机器人叠加画面。由于它保留了真实环境、被操控物体、光照条件以及任务进展，同时改变了演员的外观，因此能够为人机视觉域迁移、重定向诊断以及机器人场景一致性学习提供配对信号。其价值在于创建不同本体下同一交互的对齐观测结果，而非将合成视频当作真实机器人执行的替代品。
---
通过改变操作对象的形态、光照条件以及任务进程，同时改变操作者的外观，就能为人与机器人之间的视觉域迁移、重定向诊断以及机器人场景一致性学习提供配对信号。其价值在于生成同一交互在不同实体形态下的对齐观测结果，而非将合成视频当作真实机器人执行的替代品。
#### 4.3. 适用于训练的AoE数据
AoE-Training-Ready将相同的同步源信号适配为特定模型的动作语义，而非宣称存在通用的训练格式；图5总结了这种表征谱系及其与下游模型的关联。之所以需要多种表征，是因为人体运动学习、机器人控制及视频生成所保留的不变量各不相同，如表2所示：人体建模受益于手指关节活动信息，跨本体控制需要末端执行器或关节目标，而自我中心动态则必须考虑摄像头的自身运动。
Figure 5: AoE-Training-Ready. A synchronized AoE segment is projected into action representations with different supervision densities and semantic roles. Integrated recipes connect dense MANO, robot-facing, hand-plus-camera, and latent or weak action representations to Vision-Language-Action policies, World Action Models, and World Models.
对于需要精细手部关节活动的任务，Open-AoE会将每只手的两个55维向量拼接成110维表征：$2\times[\text{valid}(1) + \text{wrist translation}(3) + \text{wrist axis-angle}(3) + \text{velocity}(3) + \text{MANO pose}(45)]$。平移量与有限差分速度以米及米/秒为单位，表示在当前帧的OpenCV摄像头坐标系中（x轴向右，y轴向下，z轴向前）；旋转量则以弧度表示。由于该坐标系随佩戴者移动，因此所测得的速度既包含手部运动也包含摄像头自身运动，而非纯粹的惯性手腕运动。
---
Table 2: Action representations exposed by AoE-Training-Ready. Dimensions are per-frame vectors defined by Open-AoE converters; citations identify integrated downstream methods rather than the origin of the layouts. Recipes may normalize vectors or concatenate a future horizon. The two 20D interfaces are not interchangeable.
| Interface | Layout | Frame and units | Learning role / representative consumers |
| 110D dense MANO [^32] | 2 $\times$[valid(1) + wrist xyz(3) + wrist aa(3) + velocity(3) + MANO(45)] | Current-camera frame; m, rad, m/s, binary validity | Dense hand state and next-state targets; Open-AoE adapters for LeRobot [^36] and world-action recipes. |
| 48D wrist–fingertip | 2 $\times$[wrist xyz(3) + rot6D(6) + 5 fingertips xyz(15)] | SLAM world frame; positions in m, rot6D unitless | Geometry-preserving target used by the Open-AoE H-RDT adapter [^37]. |
| 62D Sharpa | L/R wrist EEF(9) + L/R Sharpa joints(22) | World-frame wrist in m + rot6D; robot joints in rad | Open-AoE GR00T N1.7 adapter [^38]; actions encode wrist EEF relatively and joints absolutely. |
| 20D GR00T gripper | L/R wrist EEF(9) + L/R gripper(1) | World-frame wrist in m + rot6D; gripper in [^0] [^1] | Lower-DoF Open-AoE GR00T N1.7 adapter [^38]; wrist EEF is relative and gripper absolute. |
| 22D state / 20D–26D ego action | State: 2 $\times$[xyz(3) + rot6D(6) + grip(1)] + 2 valid; action drops validity and optionally appends camera $\Delta t(3) + \Delta r_{aa}(3)$ | Hand in current-camera frame; m and unitless rot6D/grip; camera delta in m and rad | Open-AoE adapters for SmolVLA [^39], iVideoGPT [^29], LAOM [^25], and guided GenieRedux [^40]. |
策略学习与跨本体控制。这一路径将自我中心的人类运动压缩为策略可预测且机器人可执行的目标。VITRA [^24]、H-RDT [^37]、GR00T N1.7 [^38]、SmolVLA [^39]，以及基于LeRobot的 [^36] $\pi_{0.5}$、ACT和Diffusion Policy等方法，会根据其控制抽象层次，利用密集的MANO数据、手腕-指尖坐标、机器人关节目标或手部作为末端执行器的目标。原子动作语言提供了任务意图，逐帧手部几何数据实现了动作具体化，双边轨迹则提供了协调结构；自然场景中的长尾物体与行为则提供了可供性及行为多样性。这些信号共同构成了从观察与描述交互到预测受本体约束的运动这一层级体系，且无需为每段人类视频标注机器人关节标签。
基于世界动作与动作条件的视频学习。该路径建模了在给定当前观测和动作条件时，下一个动作或未来视觉状态如何变化。DreamZero [^27]、LingBot-VA [^41]、Ctrl-World [^30] 以及 iVideoGPT [^29] 分别利用密集的下一时刻手部状态或紧凑的手部加摄像头动作来学习动作预测与视觉动态。在自我中心视频中，大幅度的图像运动可能源于手物交互，或是头部或手机的运动；由于AoE能够同步手部与摄像头轨迹，这两种因果来源可被表示为独立的条件或控制变量。这为可控的视觉预测提供了直接信号，可用于检验模型是否真正利用了其动作条件，并用于学习对移动摄像头具有鲁棒性的动作表征。
潜在动作与世界模型学习。该路径从视觉变化中发现动作变量，并利用有限的结构化监督来确定这些变量应代表什么。GenieRedux [^40] 和 AdaWorld [^42] 从视频或帧对中学习潜在动作，LAOM [^25] 则利用有限的手部动作监督来抵御作为强干扰项的摄像头自身运动。
---
(a) Effective rank
(b) Participation ratio
(c) Meaningful coverage
(d) Normalized entropy
(e) Effective clusters
(f) kNN domain mixing
Figure 6: High-dimensional CLIP feature analysis. Bars report the mean over 3,000 balanced random subsamples, with 2,000 embeddings drawn from each dataset in every trial. Open-AoE has the highest mean in all six metrics.
DreamDojo [^28] 将其动作条件中明确加入了MANO运动数据。因此，AoE贡献了三种形式的知识：来自无标签视频的场景动态、来自摄像头轨迹的干扰因素识别，以及来自MANO运动和动作片段的可控弱监督。同一组数据既可用于发现变化的潜在因素，也可将这些因素定位为手部动作，进而通过明确的运动来控制未来的视频，从而将无监督的世界建模与具身控制联系起来。
总体而言，AoE-Visualization、AoE-Reconstruct-Retarget 和 AoE-Training-Ready 将数据检查、交互重建、跨具身转换以及模型学习串联成一条可追溯的路径。其核心设计并非接口的数量，而是在几何、动作和视觉动态层面复用相同的自我中心证据。
### 5. 数据集分析
为了评估Open-AoE是否在数据集规模之外展现出独特的数据特征，我们将其与OpenEgo [^5]、EgoDex [^3] 以及 EgoXtreme [^43] 在四个互补维度上进行比较：视觉表征多样性、语义与时间监督、标注一致性，以及下游训练实用性。Open-AoE、OpenEgo和EgoDex各包含约100小时的数据，而EgoXtreme因其总时长较短，故采用其全部已发布数据进行评估。因此，分析不仅关注视觉与语义分布的广度，还涉及相关监督信息的完整性、一致性和实际可用性。
---
#### 5.1. 高维视觉多样性
我们利用CLIP [^44] 图像嵌入来比较这四个数据集的视觉特征分布。从每个视频序列中采样视觉帧，并通过CLIP图像编码器进行编码。随后对每个嵌入进行$\ell_2$归一化处理，得到$\mathbf{z}_i \in \mathbb{R}^D$，其中i表示采样的视觉观测索引，D为CLIP特征维度。为了控制数据集大小不等的影响，我们进行了3,000次平衡随机试验，每次从每个数据集中无放回地采样2,000个嵌入。所有报告数值均为这些试验的平均值。
我们首先考察每个数据集在原始归一化CLIP空间中的协方差谱。对于数据集s，用$\lambda_{s,j}$表示其嵌入协方差矩阵的第j个特征值，其中$j=1,\ldots,D$，而$p_{s,j}$则表示其对应的总方差占比。有效秩是归一化协方差谱的指数熵，而参与比率则用于衡量其逆集中度：
$$ p_{s,j}=\frac{\lambda_{s,j}}{\sum_{r}\lambda_{s,r}},\qquad R_{\mathrm{e f f}}^{(s)}=\exp\left(-\sum_{j}p_{s,j}\log p_{s,j}\right),\qquad R_{\mathrm{P R}}^{(s)}=\frac{\left(\sum_{j}\lambda_{s,j}\right)^{2}}{\sum_{j}\lambda_{s,j}^{2}}. $$
这两个指标均能估算出携带显著方差的有效特征方向数量。因此，数值越高意味着视觉变异越分散在更多的活跃方向上，而非集中于少数主导模式。
接下来，我们测量每个数据集在共享视觉特征分区中的占据范围与均匀程度。在每次试验中，经过整合的平衡嵌入会通过通用的PCA表示进行转换，随后被划分为包含K = 50个单元的共同码本。用$n_{s,c}$表示来自数据集s且被分配到单元c的嵌入数量，$q_{s,c}$则表示相应的占用比例。有意义覆盖率统计的是包含至少$\tau$个样本的单元数量，而归一化聚类熵和有效聚类数则用于量化占用分布的均衡性：
$$ \begin{align*}q_{s,c}&=\frac{n_{s,c}}{\sum_{u=1}^{K}n_{s,u}},\quad C_{s,\tau}=\sum_{c=1}^{K}\mathbf{1}\big[n_{s,c}\geq\tau\big],\\H_{\mathrm{norm}}^{(s)}&=-\frac{\sum_{c=1}^{K}q_{s,c}\log q_{s,c}}{\log K},\quad N_{\mathrm{eff}}^{(s)}=\exp\left(-\sum_{c=1}^{K}q_{s,c}\log q_{s,c}\right).\end{align*} $$
此处，$C_{s,\tau}$表示具有足够稳定样本支撑的视觉区域数量，我们的实验中均采用$\tau = 5$这一取值。$H_{\mathrm{norm}}^{(s)}$用于衡量样本在共享码本中的分布均匀程度，而$N_{\mathrm{eff}}^{(s)}$则将同样的熵值表述为等效的均匀占用单元数量。数值越高，表明对共享视觉特征空间的覆盖越广泛且均衡。
最后，我们在原始归一化CLIP空间中直接计算kNN域混合度，无需进行码本离散化处理。用$y_i$表示嵌入i所属的数据集标识，$N_s$表示来自数据集s的采样嵌入数量，$N_k(i)$则表示其在整合样本中最近的k个邻居集合。该指标的定义如下：
$$ M_{\mathrm{k N N}}^{(s)}=1-\frac{1}{N_{s}}\sum_{i:y_{i}=s}\frac{1}{k}\sum_{j\in\mathcal{N}_{k}(i)}\mathbf{1}\big[y_{j}=s\big], $$
其中$1[\cdot]$为指示函数，且k = 20。内部项用于衡量某个嵌入周围同数据集邻居的比例；因此，$M_{\mathrm{kNN}}^{(s)}$即为平均比例……
---
(a) Semantic breadth and temporal coverage
Figure 7: Semantic breadth and temporal annotation characteristics across datasets. (a) Number of unique entries in the primary released action-annotation field versus temporal annotation coverage, with marker area proportional to annotation density, measured as the number of annotated segments per minute. (b) Mean segment duration and annotation density for each dataset. Because the datasets use different native annotation schemas, vocabulary size reflects the breadth of the released semantic supervision rather than a controlled vocabulary comparison under a shared ontology.
即源自其他数据集的邻近样本所占比例。数值越高，表明其与更广泛视觉领域的局部连通性越强。
如图6所示，在3,000次平衡试验中，Open-AoE在所有六项指标上的平均值均位居第一：有效秩（97.43）、参与比率（40.47）、有意义覆盖率（19.89）、归一化聚类熵（0.712）、有效聚类数（16.29）以及kNN域混合度（0.0775）。其中在有效秩和kNN域混合度上的优势最为显著，这表明Open-AoE不仅能覆盖更多活跃特征方向，还能与其他视觉领域保持更强的局部连通性。此外，在全部3,000次试验中，Open-AoE在有效秩、参与比率和kNN域混合度三项指标上均排名第一。虽然其在基于覆盖度和熵的指标上的优势较小，尤其是相对于OpenEgo而言，但多次采样后的均值仍在这四个数据集中名列前茅。
#### 5.2. 语义广度与时间完整性
接下来我们考察已发布动作标注的语义广度和时间结构。时间覆盖度定义为至少有一个动作片段覆盖的评估序列时间线比例，用于衡量语义监督在视频中的连续性。已发布动作词汇量则通过各数据集主要动作标注字段中唯一条目数量来衡量。由于各数据集采用不同的原生标注方案，这一指标反映的是各版本所提供的语义监督广度，而非基于统一动作本体的可控对比。我们进一步利用平均片段时长和标注密度来刻画标注结构：前者表示单个动作标注的典型时间范围，后者则反映其在视频时间线上的出现频率。综合来看，这些指标从不同角度描述了监督特性：词汇量体现语义广度，时间覆盖度衡量标注完整性，而片段时长与密度则表征局部动作标注的精细程度。
---
Figure 8: Sequence-level image-annotation consistency across datasets. (a) Sequence-macro means, sequence-level medians, and 95% bootstrap confidence intervals for the mean Idefics2 consistency score. (b) Fractions of sequences in the low ( $\leq$ 2), intermediate ( $2 < \cdot < 4$), and high ( $> 4$) score ranges.
如图7所示，Open-AoE结合了广泛的自然语言监督与近乎完整的时间覆盖度。其主动作字段包含32,407条独特的自然语言描述，相比之下，OpenEgo中有26,864个原生标签，EgoDex则有111个类别动作类。除这些描述外，Open-AoE还包含结构化的语义字段，涵盖8,030个物体字符串、175个动作动词以及135个场景标签，从而能够在多个语义抽象层次上描述每个动作区间。其标注覆盖了评估时间线的99.99%，远超OpenEgo的50.1%覆盖率，同时仍保持每分钟13.97个片段的高标注密度。EgoDex虽实现了剪辑级标签的完全覆盖且片段密度略高，但其使用的类别动作词汇量要少得多。总体而言，Open-AoE将开放词汇的语义广度、近乎连续的时间对齐以及密集的局部动作监督融为一体，同时保证了标注的完整性。
#### 5.3. 图像与标注的一致性
我们采用Idefics2 [^45]作为通用的视觉-语言评估工具，来检验已发布动作标注是否得到相应视觉内容的支持。设$a_{q,t} \in [1,5]$为序列q中第t个采样帧的一致性得分。序列宏观得分定义如下：
$$ S_{\mathrm{m a c r o}}=\frac{1}{Q}\sum_{q=1}^{Q}\left(\frac{1}{T_{q}}\sum_{t=1}^{T_{q}}a_{q,t}\right), $$
其中Q为评估序列的数量，$T_{q}$表示序列q中的采样帧数。首先在每个序列内对帧级得分取平均值，再跨序列计算，这样赋予每个序列同等权重，避免较长的录像占据数据集级估计的主导地位。得分越高，表明已发布标注与采样视觉证据之间的一致性越强。
如图8所示，Open-AoE的序列宏观得分达到4.583/5，显著高于OpenEgo（3.029）、EgoDex（2.916）和EgoXtreme（2.015）。其95%自助法置信区间为[4.557, 4.608]。这种优势在得分分布中也十分明显：85.4%的Open-AoE序列的平均一致性得分至少为4，而得分≤2的序列仅占2.2%。较高的综合得分反映出广泛的集中趋势……
---
(b) Hand-signal availability
(c) Sequence-level supervision availability (%)
Figure 9: Training-sample yield and multimodal supervision availability across datasets. (a) Candidate history-future windows obtained per hour using 2 s of history, 2 s of future context, and a 2 s stride, together with the retention rate relative to the no-boundary ceiling of 1,800 windows per hour. (b) Availability of native hand signals, distinguishing entries with at least one valid hand from those with valid signals for both hands. (c) Sequence-level availability of action annotations, bounding boxes, annotation confidence, hand pose, and camera pose; “-” indicates that the corresponding field is not released or unavailable.
这些序列位于评分范围的上限附近，而非仅局限于少数得分极高的案例。由于各数据集在原生标注模式和文本细节程度上存在差异，因此应将上述结果视为在统一评估标准下对图像标注支持情况的跨数据集审计，而非对标注准确性的完全受控基准测试。
#### 5.4. 训练窗口保留与多模态完整性
我们最终评估所发布的序列能够多高效地转化为时间对齐的训练样本，以及下游具身学习流程所需的主要监督信号是否可同时获取。对于时长为$L_{q}$的序列q，我们以$h = 2$秒的历史视界、$f = 2$秒的未来视界以及$\Delta = 2$秒的时间步长来构建候选样本。候选窗口的数量定义为：
$$ N_{q}=\max\left(0,\ \left\lfloor\frac{L_{q}-h-f}{\Delta}\right\rfloor+1\right). $$
历史-未来窗口产出量和归一化保留率随后被定义为：
$$ Y_{\mathrm{w i n d o w}}=\frac{\sum_{q}N_{q}}{\sum_{q}L_{q}/3600},\qquad\eta_{\mathrm{w i n d o w}}=\frac{Y_{\mathrm{w i n d o w}}}{3600/\Delta}, $$
其中$\eta_{window}$用于衡量相对于每小时$3600/\Delta = 1,800$个窗口的无边界上限的保留程度。该指标排除了由单个下游模型施加的任务特定过滤所带来的影响，专门用以反映序列边界和时间不连续性导致的损失。
---
我们还利用发布的有效信息来评估原生手部信号的可用性，区分至少包含一只有效手部的条目和双手均有有效信号的条目。在序列层面，我们记录了五种主要监督模式的可用性：动作标注、边界框、标注置信度、手部姿态以及相机姿态。
如图9所示，Open-AoE每小时可产生约1760个候选历史-未来窗口，相当于理论上限的97.8%。这一与无边界限制下的微小差距表明，其时间连续性使得固定上下文训练样本的提取密度很高，且序列边界处的损失极小。Open-AoE的原生手部信号可用性也远高于OpenEgo：98.93%的评估条目至少包含一只有效手部信号，98.02%的条目双手均有有效信号。此外，它是所有评估版本中唯一在所有序列层面均几乎全覆盖五种监督模式的版本。边界框质量同样出色：有效边界框占比100%，其中98.39%完全位于图像边界内，平均置信度为0.947，第10百分位的置信度达到0.950。这些结果表明，Open-AoE结合了高时间样本保留率与密集且同步可用的语义、几何、手部运动和相机运动监督信息，从而减少了下游VLA、世界模型和人机交互训练前所需的模态过滤与时间对齐工作。
### 6. 结论
我们介绍了Open-AoE，这是一种开放的数据基础设施，它将利用消费级智能手机采集的约2,000小时真实世界以眼为中心的操作数据与从数据到模型的完整流程相结合。在生产端，采集与处理流水线将原始的智能手机视频转化为在视觉、语言、手部动作、相机轨迹以及动作边界方面相互对齐的结构化样本；在应用端，开源工具链支持同步可视化、4D重建、跨本体重定向，以及用于训练视觉-语言-动作策略、世界动作模型和世界模型的表征。该基础设施对场景、动作、交互物体、参与者、设备型号和视野范围的广泛覆盖，使得低成本的真实世界数据采集能够与多种具身学习范式相衔接。
Open-AoE并非作为一个静态的数据包存在，而是一个由数据贡献者、高校、研究机构、机器人开发者和模型团队共同开发的开放生态系统。我们邀请社区贡献新的真实世界场景与任务、重建与重定向方法、训练适配器以及评估结果，从而实现数据、工具和模型在开放循环中共同演进。我们的目标是让Open-AoE成为具身智能领域门槛最低的以眼为中心的数据基础设施——让任何人都能轻松采集和使用以眼为中心的数据，从而消除制约具身基础模型发展的数据瓶颈。
---
## 贡献者
以下贡献者按模块贡献列出。
## 数据集与可视化
李子硕 $^{*1}$、关庆泽 $^{*5}$、吴正行 $^{*7}$、詹万克 $^{*1}$、孙阳 $^{*1}$、黄志毅 $^{*1}$、单子桐 $^{*1}$
## 工具链与实验
杨博文 $^{*1}$、苗昌涛 $^{*1}$、金振超 $^{*3}$、洪家东 $^{*2}$、王涛文 $^{*4}$、冯宇石 $^{*3}$、刘优 $^{*6}$、王一博 $^{*6}$、杨一凡 $^{*7}$、周兆文 $^{*1}$、罗曼 $^{*1}$、程浩 $^{*8}$
项目负责人
李子硕¹、杨博文¹、苗昌涛¹、朱凯¹、陈浩¹,²
## 指导老师
张波 $^{1}$、李建树 $^{1}$、蔡建生 $^{1}$、姚国才 $^{6}$、张济泽 $^{8}$、林晨浩 $^{9}$、徐仁静 $^{4}$、余乐权 $^{3}$、沈超 $^{9}$、沈春华 $^{2}$、李哲 $^{1}$
$^{*}$贡献等同。$^{\dagger}$通讯作者。
## 所属机构
$^{1}$蚂蚁数字技术有限公司，蚂蚁集团
$^{2}$浙江大学
$^{3}$香港大学
$^{4}$香港科技大学（广州）
$^{5}$新加坡国立大学
$^{6}$北京人工智能研究院
$^{7}$中国科学院大学
$^{8}$香港科技大学
$^{9}$西安交通大学
---
## 参考文献
[^1]: Kristen Grauman et al. Ego4D: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. URL .
[^2]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for EPIC-KITCHENS-100. International Journal of Computer Vision, 130(1):33–55, 2022.
[^3]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. EgoDex: Learning dexterous manipulation from large-scale egocentric video. $\underline{\text{arXiv preprint}}$ $\underline{\text{arXiv:2505.11709}}$, 2025. URL .
[^4]: Yihang Li, Xuelong Wei, Jingzhou Luo, Yingjing Xiao, Yibo Bai, Guangyuan Zhou, Teng Zou, Chenguang Gui, Jiajun Wen, He Zhang, Kangliang Chen, Xing Pan, Shuaiyan Liu, Daming Wang, Tao An, Jiayi Li, Shibo Jin, Wanwan Zhang, Tianyu Wang, Boren Wei, Zhixuan Huang, Fangsheng Liu, Ruodai Li, Hui Zhang, Anson Li, Yicheng Gong, Peng Cao, Jiaming Liang, and Liang Lin. EgoLive: A large-scale egocentric dataset from real-world human tasks. arXiv preprint arXiv:2604.23570, 2026. URL .
[^5]: Ahad Jawaid and Yu Xiang. OpenEgo: A large-scale multimodal egocentric dataset for dexterous manipulation. $\underline{\text{arXiv preprint arXiv:2509.05513}}$, 2025. URL .
[^6]: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, and Linxi Fan. EgoScale: Scaling dexterous manipulation with diverse egocentric human data. $\underline{\text{arXiv preprint arXiv:2602.16710}}$, 2026. URL .
[^7]: Fanqi Lin, Yingdong Hu, Pingyue Sheng, Chuan Wen, Jiacheng You, and Yang Gao. Data scaling laws in imitation learning for robotic manipulation. $\underline{\text{arXiv preprint arXiv:2410.18647}}$, 2024. URL .
[^8]: Alexander Khazatsky et al. DROID: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024. URL .
[^9]: Bowen Yang, Zishuo Li, Yang Sun, Changtao Miao, Yifan Yang, Man Luo, Xiaotong Yan, Feng Jiang, Jinchuan Shi, Yankai Fu, Ning Chen, Junkai Zhao, Pengwei Wang, Guocai Yao, Shanghang Zhang, Hao Chen, Zhe Li, and Kai Zhu. AoE: Always-on egocentric human video collection for embodied AI. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pages 3893–3902, 2026.
## [^10]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. URL
---
[^11]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: Hand and object tracking in 3d from egocentric multi-view videos. In $\underline{\text{Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}}$, pages 7061-7071, 2025. URL .
[^12]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. EgoMimic: Scaling imitation learning via egocentric video. $\underline{\text{arXiv preprint arXiv:2410.24221}}$, 2024. URL .
[^13]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: World-space hand motion reconstruction from egocentric videos. arXiv preprint arXiv:2501.02973, 2025. URL .
[^14]: Gaotian Wang, Kejia Ren, Andrew Morgan, Yiting Chen, Howard H. Qian, Podshara Chanrungmaneekul, and Kaiyu Hang. EgoInfinity: A web-scale 4d hand-object interaction data engine for any-view robot retargeting and video-to-action robot learning. $\underline{\text{arXiv preprint arXiv:2606.17385}}$, 2026. URL .
[^15]: Yichen Niu, Haoran Lv, Xinrui Zhang, Xueyao Wan, Shiyu Gao, Ying Ai, Hui Xu, Yongqi Hu, Hengyi Zhang, Yang Xie, Zhaxizhuoma, Yue Zhao, Zhenshan Bing, Yan Ding, and Jianxing Liu. EgoAERO: Learning dexterous manipulation from a single egocentric video without object assets. $\underline{\text{arXiv preprint arXiv:2606.08057}}$, 2026. URL .
[^16]: Yangcen Liu, Shuo Cheng, Xinchen Yin, Woo Chul Shin, Alfred Cueva, Yiran Yang, Zhenyang Chen, Chuye Zhang, and Danfei Xu. EgoEngine: From egocentric human videos to high-fidelity dexterous robot demonstrations. arXiv preprint arXiv:2606.12604, 2026. URL .
[^17]: Marion Lepert, Jiaying Fang, and Jeannette Bohg. Phantom: Training robots without robots using only human videos. $\underline{\text{arXiv preprint arXiv:2503.00779}}$, 2025. URL .
[^18]: Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, Yicheng Feng, and Zongqing Lu. Being-H0.5: Scaling human-centric robot learning for cross-embodiment generalization. $\underline{\text{arXiv preprint arXiv:2601.12993}}$, 2026. URL .
[^19]: Justin Yu, Yide Shentui, Di Wu, Pieter Abbeel, Ken Goldberg, and Philipp Wu. EgoMI: Learning active vision and whole-body manipulation from egocentric human demonstrations. arXiv preprint arXiv:2511.00153, 2025. URL .
[^20]: Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, and Xuelong Li. ZeroWBC: Learning natural whole-body humanoid interaction from human egocentric data. $\underline{\text{arXiv preprint arXiv:2603.09170}}$, 2026. URL .
## [^21]: Modi Shi, Shijia Peng, Jin Chen, Haoran Jiang, Tianyu Li, Di Huang, Ping Luo, Hongyang Li, and Li Chen. EgoHumanoid: Unlocking in-the-wild loco-manipulation with robot-free egocentric demonstration. $\underline{\text{arXiv preprint arXiv:2602.10106}}$, 2026. URL
---
[^22]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-H0: Vision-language-action pretraining from large-scale human videos. $\underline{\text{arXiv preprint arXiv:2507.15597}}$, 2025. URL https: //arxiv.org/abs/2507.15597.
[^23]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, and Xiaolong Wang. EgoVLA: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440, 2025. URL .
[^24]: Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, Huizhi Liang, Sicheng Xu, Yizhong Zhang, Xi Chen, Hao Chen, Lily Sun, Dong Chen, Jiaolong Yang, and Baining Guo. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. $\underline{\text{arXiv preprint arXiv:2510.21571}}$, 2025. URL .
[^25]: Alexander Nikulin, Ilya Zisman, Denis Tarasov, Nikita Lyubaykin, Andrei Polubarov, Igor Kiselev, and Vladislav Kurenkov. Latent action learning requires supervision in the presence of distractors. $\underline{\text{arXiv preprint arXiv:2502.00379}}$, 2025. URL .
[^26]: Jialei Chen, Kai Wang, Kang Chen, Shuaihang Chen, Feng Gao, Wenhao Tang, Zhiyuan Li, Weilin Liu, Zhuyu Yao, Boxun Li, Yuanbo Xu, and Chao Yu. LaWAM: Latent world action models for efficient dynamics-aware robot policies. arXiv preprint arXiv:2606.15768, 2026. URL .
[^27]: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, Shenyuan Gao, Sihyun Yu, George Kurian, Suneel Indupuru, You Liang Tan, Chuning Zhu, Jiannan Xiang, Ayaan Malik, Kyungmin Lee, William Liang, Nadun Ranawaka, Jiasheng Gu, Yinzhen Xu, Guanzhi Wang, Fengyuan Hu, Avnish Narayan, Johan Björck, Jing Wang, Gwanghyun Kim, Dantong Niu, Ruijie Zheng, Yuqi Xie, Jimmy Wu, Qi Wang, Ryan Julian, Danfei Xu, Yilun Du, Yevgen Chebotar, Scott Reed, Jan Kautz, Yuke Zhu, Linxi Fan, and Joel Jang. World action models are zero-shot policies. arXiv preprint arXiv:2602.15922, 2026. URL .
[^28]: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, and Linxi Fan. DreamDojo: A generalist robot world model from large-scale human videos. arXiv preprint arXiv:2602.06949, 2026. URL .
[^29]: Jialong Wu, Shaofeng Yin, Ningya Feng, Xu He, Dong Li, Jianye Hao, and Mingsheng Long. iVideoGPT: Interactive videogpts are scalable world models. arXiv preprint arXiv:2405.15223, 2024. URL .
## [^30]: Yanjiang Guo, Lucy Xiaoyang Shi, Jianyu Chen, and Chelsea Finn. Ctrl-World: A controllable generative world model for robot manipulation. arXiv preprint arXiv:2510.10125, 2025. URL
---
[^31]: Moyang Li, Zihan Zhu, Marc Pollefeys, and Daniel Barath. DROID-SLAM in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026. URL .
[^32]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. $\underline{\text{ACM Transactions on Graphics}}$, 36(6), 2017. doi:10.1145/3130800.3130883.
[^33]: Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, and Jitendra Malik. Do as i do: Dexterous manipulation data from everyday human videos. $\underline{\text{arXiv preprint arXiv:2606.19333}}$, 2026. URL .
[^34]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. AnyTeleop: A general vision-based dexterous robot arm-hand teleoperation system. In $\underline{\text{Robotics: Science and Systems}}$, 2023. URL .
[^35]: Chaoyi Pan, Changhao Wang, Haozhi Qi, Zixi Liu, Homanga Bharadhwaj, Akash Sharma, Tingfan Wu, Guanya Shi, Jitendra Malik, and Francois Hogan. SPIDER: Scalable physics-informed dexterous retargeting. $\underline{\text{arXiv preprint arXiv:2511.09484}}$, 2025. URL .
[^36]: Remi Cadene, Simon Aliberts, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soare, Dana Aubakirova, Quentin Lhoest, Quentin Gallouedec, and Thomas Wolf. LeRobot: An open-source library for end-to-end robot learning. arXiv preprint arXiv:2602.22818, 2026. URL .
[^37]: Hongzhe Bi, Lingxuan Wu, Tianwei Lin, Hengkai Tan, Zhizhong Su, Hang Su, and Jun Zhu. H-RDT: Human manipulation enhanced bimanual robotic manipulation. arXiv preprint arXiv:2507.23523, 2025. URL .
[^38]: Edith Llontop and Brandon Neel. Develop humanoid robot policies end-to-end with NVIDIA Isaac GR00T. NVIDIA Technical Blog, July 2026. URL . Official GR00T N1.7 workflow and model overview.
[^39]: Mustafa Shukor, Dana Aubakirova, Francesco Capuano, Pepijn Kooijmans, Steven Palma, Adil Zouitine, Michel Aractingi, Caroline Pascal, Martino Russi, Andres Marafioti, Simon Alibert, Matthieu Cord, Thomas Wolf, and Remi Cadene. SmolVLA: A vision-language-action model for affordable and efficient robotics. arXiv preprint arXiv:2506.01844, 2025. URL .
[^40]: Naser Kazemi, Nedko Savov, Danda Paudel, and Luc Van Gool. Learning generative interactive environments by trained agent exploration. $\underline{\text{arXiv preprint arXiv:2409.06445}}$, 2024. URL .
## [^41]: Lin Li, Qihang Zhang, Yiming Luo, Shuai Yang, Ruilin Wang, Fei Han, Mingrui Yu, Zelin Gao, Nan Xue, Xing Zhu, Yujun Shen, and Yinghao Xu. Causal world modeling for robot control. $\underline{\text{arXiv preprint arXiv:2601.21998}}$, 2026. URL
---
[^42]: Shenyuan Gao, Siyuan Zhou, Yilun Du, Jun Zhang, and Chuang Gan. AdaWorld: Learning adaptable world models with latent actions. In Proceedings of the 42nd International Conference on Machine Learning, volume 267 of Proceedings of Machine Learning Research, pages 18744-18771. PMLR, 2025. URL .
[^43]: Taegyoon Yoon, Yegyu Han, Seojin Ji, Jaewoo Park, Sojeong Kim, Taein Kwon, and Hyung-Sin Kim. EgoXtreme: A dataset for robust object pose estimation in egocentric views under extreme conditions. arXiv preprint arXiv:2603.25135, 2026. URL .
[^44]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, volume 139 of Proceedings of Machine Learning Research, pages 8748–8763. PMLR, 2021. URL .
## [^45]: Hugo Laurençon, Léo Tronchon, Matthieu Cord, and Victor Sanh. What matters when building vision-language models? In $\underline{\text{Advances in Neural Information Processing Systems}}$, volume 37, 2024. doi: 10.52202/079017-2789. URL
---
## 附录
## 隐私与伦理声明
Open-AoE数据集的收集与发布均获得了所有数据贡献者的明确授权。参与前，每位贡献者均已被告知数据收集的目的、涉及的数据类型、所收集数据的预期科研用途，以及其后续将作为Open-AoE数据集的一部分公开发布的情况。所有贡献者均自愿同意对其所提供数据的收集、处理、科研使用及开源分发。
上传前，贡献者会在移动设备上本地查看所收集的数据，并明确确认每次上传内容。确认后的数据上传后，会在受控的云端环境中进行隐私保护处理。此类处理包括遮盖可能泄露个人或敏感信息的视觉区域，以及删除或脱敏与具身智能研究无关的元数据。发布的数据不包含账户信息、支付信息或其他个人元数据。只有经过隐私处理、匿名化且符合任务需求的数据才会被公开提供。
发布Open-AoE数据集的唯一目的是支持具身智能、机器人及相关领域的科学研究与技术发展。该数据集不用于身份识别、个人画像绘制、监控、重新识别，或其他可能侵犯个人权利的使用场景。数据集使用者需遵守相关许可协议、隐私法规及公认的研究伦理原则，不得试图还原或推断数据贡献者的身份信息。
基于上述知情同意流程、明确的贡献者授权、本地审核与上传确认、受控云端的隐私处理、数据最小化及匿名化措施，我们认定Open-AoE数据集的科研使用与公开发布不存在尚未解决的重大隐私或伦理问题。