# EgoVerse：一个用于全球机器人学习的以自我为中心的人类数据集
Ryan Punamiya$^{*1}$、Simar Kareer$^{*1}$、Zeyi Liu$^{2}$、Josh Citron$^{2}$、Ri-Zhao Qiu$^{3}$、Xiongyi Cai$^{3}$、Alexey Gavryushin$^{4}$、Jiaqi Chen$^{4}$、Davide Liconti$^{4}$、Lawrence Y. Zhu$^{1}$、Patcharapong Aphiwetsa$^{1}$、Baoyu Li$^{1}$、Aniketh Cheluva$^{1}$、Pranav Kuppili$^{1}$、Yangcen Liu$^{1}$、Dhruv Patel$^{1}$、Aidan Gao$^{1}$、Hye-Young Chung$^{1}$、Ryan Co$^{1}$、Renee Zbizika$^{2}$、Jeff Jinyun Liu$^{2}$、Xiaomeng Xu$^{2}$、Haoyu Xiong$^{5}$、Geng Chen$^{3}$、Sebastiano Oliani$^{4}$、Chenyu Yang$^{4}$、Xi Wang$^{4}$、James Fort$^{6}$、Richard Newcombe$^{6}$、Josh Gao$^{7}$、Jason Chong$^{7}$、Garrett Matsuda$^{8}$、Aseem Doriwala$^{8}$、Marc Pollefeys$^{4}$、Robert Katzschmann$^{4}$、Xiaolong Wang$^{3}$、Shuran Song$^{2}$、Judy Hoffman$^{1}$、Danfei Xu$^{1}$
$^{1}$佐治亚理工学院、$^{2}$斯坦福大学、$^{3}$加州大学圣地亚哥分校、$^{4}$苏黎世联邦理工学院
$^{5}$麻省理工学院计算机科学与人工智能实验室、$^{6}$Meta Reality Labs研究院、$^{7}$Mecka AI、$^{8}$Scale AI
Fig. 1: Overview. EgoVerse is a collaborative framework for scalable human data-driven robot learning. Capture: Egocentric demonstrations are collected worldwide using academic, industry, and community-accessible hardware systems, continuously aggregated by a centrally-hosted data management system. Dataset: All data are unified into a shared dataset with egocentric video, 3D hand poses, camera motion, and task descriptions across diverse tasks and scenes. Evaluation: This work presents a large-scale evaluation study on human-to-robot transfer with shared protocols across multiple labs and robot embodiments.
摘要—机器人学习越来越依赖大量且多样的数据，但机器人数据的收集仍然成本高昂且难以规模化。以自我为中心的人类数据通过捕捉日常环境中的丰富操作行为，提供了一种有前景的替代方案。然而，现有的人类数据集往往范围有限、难以扩展，且分散在不同机构中。我们推出了EgoVerse——一个用于人类数据驱动的机器人学习的协作平台，它在统一框架下整合了数据收集、处理和访问功能，从而能够吸纳来自个人研究者、学术实验室和行业合作伙伴的贡献。当前版本包含1362小时（8万段视频）的人类演示数据，涵盖1965项任务、240个场景以及2087名独特的演示者，同时提供了标准化的数学描述、与操作相关的标注，以及用于后续学习的工具。
除了数据集之外，我们还开展了一项大规模的人类到机器人迁移研究，在多个实验室、不同任务和机器人形态下按照统一协议进行实验。我们发现，策略性能通常会随着人类数据的增加而提升，但有效的规模化取决于人类数据与机器人学习目标之间的一致性。数据集、平台和研究共同为可复现的人类数据驱动机器人学习进展奠定了坚实基础。
## I. 引言
近期机器人学习的进展表明，数据规模化是提升泛化能力的强大驱动力[^5] [^26] [^31] [^39]。
---
大规模模仿学习使策略能够应对更广泛的任务分布、更多的视觉变化以及更长的时序范围，这一趋势与大型视觉和语言模型的发展轨迹相似。然而，与这些领域不同，机器人学习面临着一个根本性瓶颈——收集机器人演示数据需要物理硬件、专家远程操控以及受控的实验环境。因此，扩大机器人数据集的规模和多样性进程缓慢、成本高昂且难以持续。
相比之下，以人为中心的视觉数据提供了一种极具潜力的替代方案。人类每天都会在各类环境中自然完成操作与移动任务，由此产生的行为数据规模是单靠机器人无法企及的。更重要的是，人类数据为整个研究领域提供了一个统一的抽象框架：研究人员无需围绕特定的机器人实体进行协调，只需专注于整理多样化的真实世界经验数据，再将实体选择的问题留到后续解决。这一特性推动了学术界和工业界对利用以人为中心的视觉演示数据的日益重视，而可穿戴传感器 [^14] [^25] [^56] 以及大规模数据采集系统 [^11] [^15] 的最新进展也为这一趋势提供了支撑。
尽管利用人类数据前景广阔，但仍存在两大核心挑战。首先，有效的人机迁移仍是一个未解决的研究难题，关于实体差异与行为缩放的问题尚未得到解答；其次，现有的人类数据集大多是为特定研究一次性收集的静态数据，难以进一步扩展 [^25] [^29] [^41]。要解决这些局限，仅靠收集更大的数据集远远不够：我们需要一个能够持续发展的人类数据生态系统，它既能接纳新贡献者，又能为人机迁移研究提供持久有价值的见解。
本文介绍EgoVerse——一个大规模协作框架，旨在创建用于机器人学习的、不断更新的以人为中心的视觉演示数据集，同时系统探究从多样化人类数据中实现有效跨实体迁移的关键因素。我们的贡献主要有三点：
EgoVerse数据集。我们发布了一个由全球学术团体和工业合作伙伴共同贡献的以人为中心的视觉演示数据集。该数据集特意分为两个用途互补的部分：第一部分名为EgoVerse-A，数据是在严格控制和标准化协议下收集的，且在各参与学术实验室中采用相同流程，旨在支持可复现的研究和系统分析；第二部分名为EgoVerse-I，侧重于数据的规模、多样性和标注丰富度，数据来源于在工业场景中采集数据的合作伙伴。这种由工业界推动的模式让EgoVerse能够突破学术机构的限制，使研究与现实场景应用及产业需求相契合。总体而言，EgoVerse包含1362小时的人类演示数据，涵盖240个场景、1965项任务以及2087名演示者。两个组成部分共同记录了在场景、物体和人类演示者方面具有前所未有的多样性的操作任务，同时通过统一的任务语义、标准化协议以及高质量的与操作相关的信号（包括三维手部与头部姿态、子任务级描述）保证了数据的一致性。
EgoVerse生态系统。EgoVerse旨在随着学术实验室和行业合作伙伴的贡献而不断发展。为了整合这一不断演进的数据集合，我们推出了EgoDB——一种可扩展的数据管理与访问系统，它能够支持来自各类来源的持续数据摄入，包括个人贡献者、学术实验室以及行业合作伙伴。与以往静态的数据集不同[^3] [^16] [^25] [^36]，EgoDB实现了“动态数据集”的概念，即数据集会随着持续的贡献而不断生长和演化。该系统提供了标准化的数据处理流程、统一的存储格式、受控的数据访问机制、可视化工具，以及用于下游学习算法的接口。除了由实验室和合作伙伴运营的采集系统外，EgoVerse还包含基于手机的人类数据采集流程，能够利用普通智能手机实现轻量级的以自我为中心的记录。总体而言，EgoVerse生态系统降低了资源有限的团体和个人参与研究的门槛，同时也使贡献者能够以结构化且可复现的方式将数据回馈给社区。
联盟规模的研究。我们开展了迄今为止最全面的研究，旨在探究利用多样化的人体化身数据来学习机器人操控策略时哪些因素至关重要。我们的研究在设计上具备可复现性：实验特意会在多个独立的实验室、任务以及机器人平台上重复进行，且采用统一的协议和评估标准。具体而言，实验结果是在三种截然不同的机器人平台上执行的，以确保主要发现并非特定于某一种系统。这种跨实验室、跨机器人平台的研究设置，使我们能够确定在不同环境下保持一致且稳健的结论，同时也能识别出因机器人化身、传感或控制差异而产生的系统性差别。
主要发现。我们的研究在多个实验室、任务和机器人平台上得出了几项一致的结论。首先，将机器人策略与人类数据联合训练能够带来显著且可复现的性能提升。据我们所知，这是首次在涵盖多种机器人的标准化跨实验室实验设置下验证这一效应。其次，人类数据的规模效应是否显著，关键在于是否存在对齐的人机数据——即人类数据与机器人数据共享任务语义和场景上下文。我们发现，只有将这类对齐数据纳入训练过程，才能体现出积极的规模效应，这表明其对实现有效的人到机器人迁移至关重要。最后，我们发现不同类型的人类数据多样性对泛化能力的贡献并不均衡：增加演示者的多样性能够提升对未见过的机器人化身的鲁棒性；而场景多样性则在数据预算有限的情况下，对适应新环境的泛化能力起着主导作用。
### II. 相关工作
人类活动数据集。Something-Something V2 [^19]、Ego4D [^20]、HOI4D [^36]、EgoExo4D [^21]以及Epic-Kitchens [^12]等大规模人类活动数据集，记录了不同环境下的丰富人类行为。不过，
---
它们并非为机器人学习而设计。这些数据集往往包含超出当前机器人能力范围的任务，缺乏与操作相关的标注（如精确的手部姿态或物体交互信息），且包含难以转化为可执行机器人演示的无结构活动。相比之下，我们的方法强调“有限多样性”，专注于对典型的双臂移动操纵器而言可行的任务，同时保留不同环境、物体和演示者之间的自然差异。较新的数据集 [^3] [^25] 引入了与操作相关的传感技术，包括相机校准和手部姿态跟踪。尽管这些进展意义重大，但它们通常以静态的、特定研究的数据集形式发布，采集时间跨度和环境范围有限，因此难以扩展。此外，这些研究并未对机器人学习的迁移效果进行系统性评估。EgoVerse采取了不同的思路：将人类数据视为持续更新的研究资源，并通过大规模、可复现的研究来明确验证该数据集是否具备机器人学习适用性。
基于人类数据的机器人学习。人类数据为机器人学习提供了两大机遇：海量的无标签在线视频以及经过整理且有标注的演示 [^1] [^29] [^46] [^52]。网络视频虽然数量庞大，但需要通过逆动力学模型 [^6] [^13] [^55]、可供性分析 [^2] [^44] 或点跟踪技术 [^4] [^42] [^50] 来对动作进行伪标注，才能用于策略训练，进而成为某些基础模型 [^8] [^37] [^38] [^54] 的基础，不过通常仍需要领域内机器人数据作为补充。另一种方式是，将有标注的人类演示与机器人数据一起训练，将其视为策略学习的不同实体 [^22] [^29] [^32] [^35] [^41] [^59]，用于训练后阶段 [^7] [^30] 以及世界建模 [^18] [^24]。研究发现，这种做法能提升模型的鲁棒性和场景理解能力。然而，此类发现仍局限于小规模且单一机器人实体的场景，关于多种机器人实体及多样化人类数据源的关键问题尚未得到充分探索。我们的工作通过大规模人类数据集以及精心实施的多机构合作研究，填补了这些根本性空白。
利用海量数据扩展机器人学习。基础策略模型领域的最新进展凸显了利用大型数据集进行扩展的优势。Open X-Embodiment [^39]、DROID [^31] 和 Rh20t [^17] 等公开项目表明，基于多样化的多实体数据训练能够提升模型在任务和环境中的泛化能力。然而，实现具备通用能力的机器人仍受到数据规模的严重制约，因为机器人遥操作既昂贵又耗费人力。我们的研究则着眼于探讨人类自我中心数据如何支持大规模机器人学习，并将其作为与机器人数据并列的一级数据源来加以研究。
### III. EgoVerse数据集：面向全球机器人学习的人类数据集
### A. 人类数据采集设置
学术合作伙伴采用Project Aria眼镜作为EgoVerse-A的标准设备；产业合作伙伴则为EgoVerse-I提供了专为扩展性和部署便利性设计的定制设备。我们还引入了基于手机的采集方式。
Fig. 2: Human Data Capture Setup. (Left) EgoVerse is captured through a variety of hardware systems, including Project Aria glasses (academic labs), a phone-based capture system (accessible by everyone), and custom setups by industry partners. (Right) Regardless of sources, human data is processed into a unified format that contains at minimum egocentric videos, hand keypoints, and camera poses.
这是一种可供更广泛社区访问的系统。相关设置如图2所示，更多细节见附录。
用于人类数据收集的Project Aria眼镜。借鉴以往的研究成果[^29] [^34] [^40] [^59]，我们采用Project Aria眼镜（第一代）作为EgoVerse-A的标准化采集平台。Project Aria眼镜是重量仅为75克的头戴式设备，配备广视场角RGB摄像头以及两台同步的单色场景摄像头，可用于SLAM和手部追踪（见图2）。即便手部不在前置RGB摄像头的视野范围内，侧置摄像头仍能捕捉到手部动作。行业合作伙伴的数据采集设置：EgoVerse-I数据流汇总了在各类室内环境中使用定制可穿戴传感器平台采集的演示数据。这些设备通常配备轻量级的头戴式摄像头以及同步传感模块。大多数系统采用立体鱼眼RGB摄像头来实现精确的手部姿态估计。这些数据包括以自我为中心的RGB视频，若有深度流也会一并收录，同时还有用于重建摄像头运动的惯性传感数据。
基于手机的采集系统。为了扩大数据采集设备的普及度，我们还在EgoVerse生态系统中提供了基于普通智能手机的设置。该系统将iPhone安装在头带设备上，超广角摄像头能以1080p分辨率、30帧/秒的速度录制以自我为中心的RGB视频。采集到的视频会上传至云端处理流程，通过视觉追踪恢复6自由度头部姿态，并估算每只手包含21个关键点的3D手部姿态。关于该系统的更多细节见附录。
### B. 人类数据标注
EgoVerse为以自我为中心的人类演示数据添加了专为机器人策略学习定制的结构化标注。对于每一帧画面，我们都会利用摄像头画面中每只手对应的21个关键点来估算双手的3D手部姿态，并结合通过视觉惯性SLAM获得的校准后的6自由度头部姿态。学术合作伙伴使用Project Aria的机器感知服务（MPS）来进行追踪和自身运动分析，而行业数据集则结合合作伙伴提供的SLAM技术、基于模型的姿态估计以及后期处理，以确保轨迹的一致性。在我们的人机转换研究（第IV节）中，这些信号被用作人类末端执行器运动的替代指标，从而实现不同形态实体间的协同训练。除了姿态数据外，不同数据集组件的标注粒度也有所差异。EgoVerse-A采用轻量级的每集标注协议，会附加任务描述、场景标识符、主要操作对象以及演示者元数据，以支持跨实验室的对照分析。相比之下，EgoVerse-I提供了更细致的标注，包括细粒度（1–2秒）的语言描述、活动手标识、静态与动态操作标记，以及可用的额外上下文标签。
---
Fig. 3: EgoDB. Human and robot data from multiple labs and partners are ingested into a cloud-based processing pipeline, unified in a common storage format, and made accessible through a web-based viewer. Users can sync filtered subsets of the dataset to local machines for downstream policy training.
用于跟踪与自我运动的服务（MPS），而行业数据集则结合了合作伙伴提供的SLAM技术、基于模型的姿态估计以及后处理手段，以确保轨迹的一致性。在我们的人机交互迁移研究（第IV节）中，这些信号被用作人类末端执行器运动的替代指标，从而实现不同实体间的协同训练。除了姿态数据外，各数据集组成部分的标注粒度也存在差异。EgoVerse-A采用轻量级的每集标注协议，会附加任务描述、场景标识符、主要操作对象以及演示者元数据，以支持跨实验室的对照分析。相比之下，EgoVerse-I提供了更细致的标注，包括细粒度（1–2秒）的语言描述、主动手指示标、静态与动态操作标识，以及可用的额外上下文标签。
### C. EgoDB：可扩展的数据管理系统
为了支持整个联盟内的协作以及数据集的长期发展，我们开发了EgoDB——一个基于云的系统，用于持续摄入、处理和访问异构的人类与机器人数据（见图3）。来自不同源的数据会被上传至S3存储，并转换为统一且适合训练的格式，以便在EgoVerse生态系统中共享。每晚的流水线会执行标准化的预处理、验证和索引操作，以确保下游学习任务能够一致地使用这些数据。剧集元数据会被记录在中央SQL数据库中，从而能够对任务、身体形态、场景、数据源以及标注类型进行结构化查询。EgoDB还提供了基于网页的界面，方便用户浏览演示视频、查看标注信息以及追踪数据集的增长情况。对于本地训练而言，用户可以通过配置文件同步经过筛选的数据子集，无需手动管理数据即可实现可复现的访问。
### D. EgoVerse-A数据集
采集协议与数据集单元。为确保地理分布各站点间的数据采集标准化，我们采用了以数据集单元为基础的通用协议。每个单元遵循统一的指令格式，以保证各实验室间的任务执行一致性；通常每个单元包含约5分钟的录制内容，每个任务可产生5–10个演示样本。我们设定了基本的质量要求，以确保能清晰看到手部动作及被操纵物体，同时记录演示者身份、场景和物体集合等关键元数据，以便追溯。更多的协议细节和质量控制流程详见附录。
标志性任务。为了在控制任务语义的同时允许其他维度的变化，我们定义了一组在所有参与实验室中通用的六项标志性任务。
- object-in-container：抓取物体并将其放入容器中，倒空后再重复此过程，持续40秒，物体与容器的配对是随机的。单臂任务。
- cup-on-saucer：将杯子从任意初始姿态重新定位并放置到茶托上。双手协作任务。
bag-grocery：打开购物袋并将1–3件物品放入其中。双手协作任务。
- fold-clothes：将初始状态随机的T恤折叠三次。双手协作任务。
• scoop-granular：舀取颗粒状物料（如豆类）并将其转移至容器中，直至装满。单臂任务。
sort-utensils：挑选餐具并将其分类放入指定容器中。单臂任务。
这些任务涵盖了多种操作模式，包括单臂与双手协调、精细的物体放置以及较长时序的行为，同时仍能适用于常见的机器人操作平台。
结构化的多样性维度。EgoVerse-A旨在捕捉多样性，同时保持任务语义和数据质量的可控性。人类数据的采集围绕三个主要维度展开：任务、场景和演示者。
场景与物体多样性。每项标志性任务会在每个实验室中于8–12个场景下进行，每个场景会采集1–10个数据集单元，以反映环境内的差异。演示过程在大约40厘米×60厘米的工作空间内进行，每次试验中的物体位置都是随机的。各实验室针对每项任务会从最多30种物体中选取样本，而不同站点独立采购物体又进一步导致了物体几何形状、外观和材质的显著差异。
演示者多样性。数据来自每个实验室的1至8名演示者。尽管指令相同，但同一实验室及不同实验室内的演示者在运动模式、时间、协调策略以及手部轨迹方面仍存在一致差异。由于身高、姿势和工作空间配置的不同，这自然会导致人体形态和自我中心视角的差异。先前的研究表明，这种人类差异性会对策略学习和跨本体对齐产生显著影响 [^29] [^35] [^40]。我们并未试图消除这种差异，而是将其视为可扩展人类数据的固有属性。
受控多样性子集。虽然跨实验室的数据聚合能提供真实的多样性，但也会导致不同场景和演示者之间的覆盖不均。为了在可控条件下研究多样性的影响，某实验室针对“杯子放托盘”和“叠衣服”任务收集了第二组数据集，该数据集使用固定的16名演示者和16个场景。数据被
---
Fig. 4: Dataset Composition and Diversity. Left: EgoVerse-A and EgoVerse-I include six shared flagship manipulation tasks collected across diverse scenes and demonstrators. Right: EgoVerse-I contains over 1,500 open-ended tasks spanning everyday activity categories, with representative verb frequency distributions illustrating the diversity of manipulation actions.
通过结构化的分配矩阵进行分配（每对演示者-场景的组合时间为3.75分钟至2小时；$\geq$每个场景1小时），涵盖三种实验方案：
- 单场景演示者规模扩展。在单一场景中固定2小时的数据预算，增加演示者数量从1人至16人，以此研究单场景下演示者多样性所产生的影响。
- 多场景交互效应。利用场景1至8来研究不同环境下的演示者规模扩展情况，演示者数量从4人变化至12人，固定数据预算为8小时。
- 场景多样性规模扩展。在固定的演示者池中收集场景1至16的数据，从而将场景多样性和数据量分离开来。
通过对变异来源加以控制，该子集能够独立地调整和研究场景多样性与演示者多样性（见第IV-F节）。
### E. EgoVerse-I数据集
EgoVerse-A在受控维度上详细覆盖了各类代表性任务，但缺乏训练通用策略所需的任务多样性。为解决这一问题，我们推出了EgoVerse-I——迄今为止最大的带动作标注的以人为中心的视频数据集，包含近1400小时的数据，涉及近2000个任务、240个场景以及2087名演示者（见图4）。EgoVerse-I的设计旨在
Fig. 5: UMAP of DINOv3 embeddings.
最大限度地服务于机器人学习领域：它侧重操作类任务分布，要求演示者保持手部可见，并通过人工质量管控仅保留操作密集的片段。此外，EgoVerse-I还包含密集的语言标注（见第III-B节），因此适合用于训练语言条件化策略，如视觉-语言-动作模型。图4对比了EgoVerse-A和EgoVerse-I中的代表性任务示例，并展示了EgoVerse-I中开放式任务的典型语言标注及动词统计信息。
视觉多样性案例研究。为了比较不同数据源间的视觉多样性，我们对“叠衣服”任务中来自三个数据源的DINOv3嵌入向量应用了UMAP降维技术：单个实验室的机器人数据、EgoVerse-A中的人类数据以及EgoVerse-I中的人类数据。如图5所示，尽管任务语义相同，EgoVerse-I显著扩展了视觉覆盖范围。这种多样性的提升对于学习能够超越实验室特定外观统计规律的策略至关重要。
---
### IV. EgoVerse研究：大规模联盟层面的人类到机器人迁移探究
我们开展了一项大规模系统性研究，旨在探究促使人类不同身体数据有效迁移至机器人操控策略的因素。我们的实验设计以可重复性为优先：机器人实验在多个实验室中重复进行，这些实验室采用不同的平台、控制器和环境。这种多实验室、多身体形态的实验设置有助于识别出在硬件和传感配置上均一致的研究结果，从而确保我们的结论不会局限于特定系统的影响。借助统一的研究协议和评估标准，我们研究了人类数据的规模与多样性如何影响从人类到机器人的迁移效果。
### A. 机器人平台
我们的实验在三种具有不同运动学特性、传感配置和控制接口的机器人平台上开展。这有助于我们判断哪些研究结果具有跨系统的普适性，而非仅适用于某一种机器人。（见图6）
机器人A：该系统由两台配备平行夹爪的6自由度ARX5机械臂组成，机械臂垂直安装。主要的以自我为中心的摄像头为Aria眼镜，腕部则安装了两台Intel RealSense D405摄像头。
机器人B：与机器人A不同，两台ARX5机械臂被侧装在定制的3D打印肩部结构上，以模拟类似人类的工作空间[^53]。该机器人配备了头戴式的Aria眼镜，每个末端执行器上还装有罗技网络摄像头。
机器人C：该系统是一台Unitree G1机器人，配备7自由度的机械臂，每条机械臂上装有6自由度的Dexterous Inspire手。主要的以自我为中心的摄像头为ZED 2立体摄像头。
### B. 人类与机器人数据对齐
机器人动作表示：对于机器人A，基坐标系下的$\mathbb{SE}(3)$动作是通过正向运动学从指令关节角计算得出的，随后利用外参将其投影到以自我为中心的摄像头坐标系中，表示为各机械臂的6自由度欧拉位姿$(x, y, z, y_{aw}, \text{pitch}, \text{roll})$以及夹爪状态，最终得到$a_{t:t+k}^R \in \mathbb{R}^{k \times 14}$。机器人B遵循类似的流程，但使用四元数$(x, y, z, q_x, q_y, q_z, q_w)$来表示方向，同时结合夹爪状态，最终结果为$a_{t:t+k}^R \in \mathbb{R}^{k \times 16}$。对于机器人C，腕部运动被建模为机器人基坐标系下的绝对$\mathbb{SE}(3)$位姿轨迹，而灵巧手的控制则通过相对于末端执行器的五个关键点位置来指定，这些点会通过逆向运动学求解器映射为关节指令。
人类动作表示：人类的以自我为中心的手部追踪通常是相对于移动摄像头坐标系进行的。借鉴以往的研究[^29] [^41]，为了统一人类与机器人用于联合策略学习的参考坐标系，我们选择构建以摄像头为中心的稳定参考坐标系。$\mathbb{SE}(3)$手部姿态的原始轨迹$[p_t^H, p_{t+1}^H, p_{t+2}^H, \ldots, p_{t+k}^H]$中，每个姿态$p_t^H$都处于设备坐标系$T_t^{device}$中。我们通过将未来的手部位置投影到第t个设备坐标系中来构建动作$a_{t+k}^H$。
Fig. 6: Robot Platforms. We perform evaluation on three distinctive robot platforms across labs with shared protocols.
如此一来，轨迹便可通过以下方式构建：
$$ a_{t:t+k}^{H}=\left[\left(T_{t}^{\mathrm{d e v i c e}}\right)^{-1}T_{t+i}^{\mathrm{d e v i c e}}\cdot p_{t+i}^{H}\right]_{i=1}^{k} $$
人类与机器人数据的对齐。近期关于跨本体研究[^29] [^40] [^48] [^59]表明，联合训练能从对本体感知和动作分别进行归一化中获益。为了使归一化对异常值具有鲁棒性，我们采用了分位数归一化方法。我们按照$1^{st}$ $99^{th}$的描述，将特征分布的[^10]和[^27]百分位数映射到[-1,1]区间。对于特征张量x，归一化后的输出$\hat{x}$通过$\hat{x}=2\cdot\left(\frac{x-q_{0,01}}{q_{0.99}-q_{0.01}}\right)-1$计算得出。为了适应不同的摄像头传感器，我们在训练期间会进行随机图像裁剪和颜色抖动处理。
### C. 学习架构与算法
策略架构。为了实现不同本体间的联合训练，我们采用了带有浅层、特定模态分支的编码器-解码器架构[^49]。图像观测数据由ResNet-18[^23]主干网络处理，而本体感知输入则通过MLP编码，随后通过可学习的查询注意力被映射到共享空间中。共享的视觉分支负责处理来自人类和机器人的以自我为中心的RGB观测数据，而单独的分支则负责处理机器人专用的腕部摄像头数据和本体感知信息。得到的标记被拼接起来，再与一组可学习的标记一同送入共享的Transformer编码器$f_{\phi}$。这些可学习的标记会关注多模态输入，以提取与任务相关的特征，并为动作解码器提供条件。
流匹配动作解码器。动作解码器$\pi_{\theta}$由一个多块Transformer解码器参数化，该解码器通过流匹配目标进行训练。与动作序列对应的T个可学习标记会被初始化。时间步$\tau \sim \text{Beta}(1.5, 1.0)$经过位置嵌入后，会沿着隐藏维度与可学习标记拼接在一起。通过交替的自注意力和交叉注意力模块，我们将编码器生成的上下文信息注入其中。可学习标记会通过线性层解码为动作维度。根据输出动作空间的不同，我们会初始化共享的或特定于本体的动作解码器。
训练目标。编码器$f_{\phi}$和解码器$\pi_{\theta}$通过BC联合训练损失共同优化。BC联合训练损失是跨本体策略学习中的一种常用方法，其中采用标准的行为克隆（BC）损失。
---
Fig. 7: Model Architecture. An illustration of our transformer-based cross-embodiment policy backbone.
该损失是在汇总的人类和机器人数据集上计算的。
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{B C-c o t r a i n}}(\phi,\theta)=\mathbb{E}_{(o,a)\sim D_{H}\cup D_{R}}[\mathcal{L}_{\mathrm{B C}}(\pi_{\theta}(f_{\phi}(o)),a)]}\end{array} $$
在实际应用中，每个训练步骤里，针对每种本体$e \in \{\text{robot}, \text{human}\}$，我们会在人类和机器人样本的小批量数据上计算条件流匹配（CFM）损失：
$$ \mathcal{L}_{\mathrm{BC-cotrain}}=\mathcal{L}_{\mathrm{CFM}}^{\mathrm{robot}}+\mathcal{L}_{\mathrm{CFM}}^{\mathrm{human}} $$
策略架构如图7所示。关于策略架构和算法的更多细节详见附录。
### D. 评估设置
展开评估协议。评估在图8所示的四个代表性旗舰任务上进行。我们既评估域内（ID）场景——即任务布局与机器人训练数据相匹配的情况，也评估域外（OOD）场景——即包含未见过的物体和环境的情况。对于每种方法，我们针对每个任务执行20次ID展开和20次OOD展开，初始条件均为随机设定。性能通过特定任务的子任务指标来衡量，包括抓取、放置、中间操作以及完整任务完成度。为了便于比较，我们报告了跨展开结果汇总后的标准化得分。完整的任务特定协议、展开次数、评分定义及详细结果均在附录中提供。
机器人数据采集。针对每项任务，会采集大约150–300个演示样本，这些样本中的物体位置、朝向及组合方式都是随机的，且覆盖整个工作空间。从EgoVerse-A中选取4–8个物体用于各项任务的演示。具体任务细节详见附录。
### E. 人类数据能否提升机器人性能？
我们研究了人类第一人称视角数据是否能够有效改善机器人学习效果，以及随着人类数据量的增加，性能是否会相应提升。我们并非针对单一系统展开优化，
购物袋任务
Fig. 8: Evaluation Tasks. We conduct evaluation with 4 representative Flagship tasks.
Fig. 9: Co-training improves transfer. Joint training with human egocentric data consistently improves in-domain performance and out-of-domain generalization across robots.
我们在多台机器人、多个实验室环境下，针对三项代表性任务进行测试：物体放入容器（单臂操作）、杯子放在茶碟上（精细双臂操作）以及购物袋任务（长时序双臂操作）。我们使用EgoVerse-A中的部分数据进行模型协同训练，这些数据包含各类任务相关的数据以及领域内的人类数据。领域内的人类数据是在与机器人遥操作相同的任务定义下采集的，但在实体形态、感知方式和运动执行方面存在差异。完整的定量结果总结于图9中。
利用EgoVerse-A数据进行协同训练能够提升机器人的性能和泛化能力。无论在领域内还是领域外（OOD）环境中，引入EgoVerse-A数据都能使性能提升多达30%。需要注意的是，不同操作场景下的演示速度和重置范围存在差异，因此比较加入人类数据后的相对性能提升比绝对分数更具参考价值。尽管大多数实体形态和任务下的结果均较为稳定，但我们发现机器人B在购物袋任务中的性能反而下降，而机器人A和机器人C的性能则有所提升。我们推测这种差异源于机器人B自身的实体限制，导致其演示过程偏离了EgoVerse-A中的人类策略。关于这一现象的进一步分析详见附录。
领域对齐数据有助于实现来自多样化数据的知识迁移。我们还研究了机器人性能是否会随着
---
Fig. 10: Domain-aligned data enables scaling. We ablate the effect of EgoVerse-A (EV) and aligned human data (ID). A small amount of aligned human data anchors learning and allows performance to improve as diverse human data scale.
Fig. 11: Controlled Diversity Results. (a) Scaling demonstrators in a single scene improve generalization to unseen ones. (b) Demonstrator scaling remains beneficial across eight fixed scenes. (c) Jointly scaling scene and demonstrator diversity yields complementary improvements. (d) Increasing scene diversity improves generalization to unseen scenes across data budgets, with the strongest gains under limited data.
EgoVerse-A中为各项任务提供的多样化人类数据而变化。我们调整领域内人类数据和多样化人类数据的规模，而机器人数据则保持不变。要想使规模化训练生效，策略模型必须能够从多样化的人类行为中提取可迁移的结构。如图10所示，我们发现规模化效益在很大程度上取决于对齐的人类-机器人数据的可用性。虽然仅使用8小时多样化EgoVerse-A数据或仅使用领域对齐的人类数据都不足以在领域内或领域外环境中带来显著的性能提升，但当领域对齐数据为学习过程提供“锚点”时，我们便观察到了积极的规模化效应。这种效应使策略模型能够有效从多样化来源迁移知识；例如，仅需2小时领域对齐数据就能促进从2小时多样化EgoVerse-A数据中迁移知识，而且随着多样化数据量增加到8小时，这种趋势还会进一步显现。
上述实验依赖于多个实验室自然汇总的数据，这导致了数据多样性不受控且可能存在不平衡现象。以往的研究表明，机器人数据集中的不同多样性来源（如环境和视角）对泛化能力的影响并不均匀 [31,
### F. How Does Human Data Diversity Affect Generalization?
Fig. 12: Demonstrator Diversity Visualization. We visualize UMAP embeddings of encoded features for 4 and 12 demonstrators in the multi-scene demonstrator scaling setting, showing greater overlap between training and validation demonstrators with increased demonstrator diversity.
26、43、58]。受这些研究结果的启发，我们开展了对照实验，以在第三节D部分所述的人类数据收集环境中，分离出场景和演示者多样性所产生的效应。我们在基于人类的评估环境中主要报告离线Avg-MSE指标。尽管该指标并不能直接衡量机器人后续的性能，但它为比较不同多样性和数据规模下的泛化能力提供了稳定的参考依据 [^47]。图11展示了叠衣服任务的结果，更多结果详见附录。
演示者多样性规模调整。我们在控制任务和场景条件的前提下，改变人类演示者的数量。我们研究了两种设置：（1）单一场景：模型在固定的2小时预算内，使用$\{1,2,4,8,16\}$名演示者进行训练，并在同一场景中针对未参与训练的演示者进行评估；（2）多场景：模型在固定的8小时预算内，利用$\{4,8,12\}$名演示者在8个场景中进行训练，随后在同一环境中的未参与训练的演示者上进行评估。如图11(a,b)所示，增加演示者多样性能够持续提升对未见演示者的泛化能力。为了说明这一效应，图12可视化了$\{4,12\}$名演示者的编码特征的UMAP嵌入结果，结果显示随着演示者多样性的增加，训练集与验证集中的演示者特征重叠度也相应提高。
场景多样性规模调整。我们在固定演示者池的前提下，改变$\{1,2,4,8,16\}$中的训练场景数量，并在未见场景中评估模型性能。如图11(d)所示，随着场景多样性的增加，模型的泛化性能也会得到提升。
---
数据量在不同数据预算下均会有所提升。一旦数据量达到中等水平，增加数据密度带来的收益就会递减，而扩大场景覆盖范围则能带来明显的增益。这表明在达到一定规模后，环境多样性对泛化能力的影响比在单个场景内收集的额外数据更为关键。
多场景交互效应。最后，我们同时调整场景和演示者多样性，以模拟真实的EgoVerse数据收集情况。我们在固定的4小时预算内，分别改变$\{4,5,6,7,8\}$中的训练场景数量和$\{4,8\}$中的演示者数量，并在未见场景和演示者上进行评估。如图11(c)所示，无论演示者预算如何，增加场景多样性都能提升泛化能力；而随着场景覆盖范围的扩大，额外增加演示者所带来的边际效益则会降低。
### V. 局限性
### VI. 结论
我们的研究主要聚焦于人机协同训练。未来的工作应开展更广泛的算法探索（例如预训练与微调）。此外，关于场景和演示者多样性的实验完全依赖离线指标。虽然这些指标能够反映模型在人类演示者和环境中的泛化能力，但还需要通过额外的机器人测试，才能确定所观察到的多样性效应是否能转化为机器人操控性能的改善。
在这项工作中，我们介绍了EgoVerse——一个用于可扩展的人体数据驱动机器人学习的协作框架。我们的论文展示了一个由学术界和工业界合作伙伴共同收集的大规模人体数据集，该数据集在任务语义、场景以及演示者方面具有前所未有的多样性。与以往的静态数据集不同，EgoVerse被设计成一个持续增长的资源，以支持可复现的研究。除了数据集本身，我们通过联盟规模的评估发现：人体数据能够提升机器人性能；对齐的人体-机器人数据是实现有效扩展的必要条件；而在有限的数据预算下，场景多样性会对泛化能力产生显著影响。
### 七、主要贡献
### 项目负责人：Ryan Punamiya、Simar Kareer
实验室负责人（负责协调项目的主要组成部分，包括数据采集流程、基础设施、实验以及跨团队协调）：Zeyi Liu、Josh Citron、Ri-Zhao Qiu、Xiongyi Cai、Alexey Gavryushin、Jiaqi Chen、Davide Liconti。
核心贡献者（对科学成果做出了实质性贡献，包括数据采集、实验、系统开发、分析和撰写）：Lawrence Y. Zhu、Patcharapong Aphiwetsa、Baoyu Li、Aniketh Chuleva、Pranav Kuppili、Yangcen Liu、Dhruv Patel、Aidan Gao、Hye-Young Chung、Ryan Co、Renee Zbizika、Jeff Jinyun Liu、Xiaomeng Xu、Haoyu Xiong、Geng Chen、Sebastiano Oliani、Chenyu Yang、Xi Wang。
Richard Newcombe、Josh Gao、Jason Chong、Garrett Matsuda、Aseem Doriwala。
工业界合作伙伴（提供了工程支持、基础设施以及数据集方面的协作）：James Fort；学术领域负责人（负责项目监督和研究方向指导）：Marc Pollefeys、Robert Katzschmann、Xiaolong Wang、Shuran Song、Judy Hoffman、Danfei Xu。
我们感谢在参与实验室中协助数据采集工作的其他合作者。
佐治亚理工学院数据采集团队：Zhenyang Chen、Woo Chul Shin、Shuo Cheng、Liqian Ma、Xinchen Yin、Rohan Bansal、David He、Vaibhav Saxena、Mengying Lin、Nadun Ranawaka；苏黎世联邦理工学院数据采集团队：Wenkai Xuan、Aristotelis Sympetheros、Esteban Padilla Cerdio、Filippos Katsimalis、Robert Jomar Malate。
工业界支持：我们感谢Meta Reality Labs Research、Mecka AI和Scale AI的合作人员，他们在数据贡献、工程支持、基础设施协助以及数据集开发方面给予了帮助。
## 参考文献
[^1]: Shikhar Bahl, Abhinav Gupta, and Deepak Pathak. Human-to-robot imitation in the wild, 2022. URL .
[^2]: Shikhar Bahl, Russell Mendonca, Lili Chen, Unnat Jain, and Deepak Pathak. Affordances from human videos as a versatile representation for robotics. CVPR, 2023.
[^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv preprint arXiv:2406.09598, 2024.
[^4]: Homanga Bharadhwaj, Roozbeh Mottaghi, Abhinav Gupta, and Shubham Tulsiani. Track2act: Predicting point tracks from internet videos enables generalizable robot manipulation. In European Conference on Computer Vision (ECCV), 2024.
[^5]: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, et al. $\pi0$: A vision-language-action flow model for general robot control, 2024. URL , 2024.
[^6]: Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, and Hongyang Li. Univla: Learning to act anywhere with task-centric latent actions. arXiv preprint arXiv:2505.06111, 2025.
[^7]: Xiongyi Cai, Ri-Zhao Qiu, Geng Chen, Lai Wei, Isabella Liu, Tianshu Huang, Xuxin Cheng, and Xiaolong Wang. In-n-on: Scaling egocentric manipulation with in-the-wild and on-task data. arXiv preprint arXiv:2511.15704, 2025.
## [^8]: Boyuan Chen, Tianyuan Zhang, Haoran Geng, Kiwhan Song, William T. Freeman, Jitendra Malik, Russ Tedrake, Vincent Sitzmann, and Yilun Du. Large video planner, 2025. URL
---
[^9]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: Teleoperation with immersive active visual feedback. arXiv preprint arXiv:2407.01512, 2024.
[^10]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, 2024.
[^11]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024.
[^12]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018.
[^13]: Yilun Du, Sherry Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Josh Tenenbaum, Dale Schuurmans, and Pieter Abbeel. Learning universal policies via text-guided video generation. Advances in neural information processing systems, 36:9156–9172, 2023.
[^14]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatoff, Arnie Yuan, Bilal Souti, Brighid Meredith, Cheng Peng, Chris Sweeney, Cole Wilson, Dan Barnes, Daniel DeTone, David Caruso, Derek Valleroy, Dinesh Ginjupalli, Duncan Frost, Edward Miller, Elias Mueggler, Evgeniy Oleinik, Fan Zhang, Guruprasad Somasundaram, Gustavo Solaira, Harry Lanaras, Henry Howard-Jenkins, Huixuan Tang, Hyo Jin Kim, Jaime Rivera, Ji Luo, Jing Dong, Julian Straub, Kevin Bailey, Kevin Eckenhoff, Lingni Ma, Luis Pesqueira, Mark Schwesinger, Maurizio Monge, Nan Yang, Nick Charron, Nikhil Raina, Omkar Parkhi, Peter Borschowa, Pierre Moulon, Prince Gupta, Raul Mur-Artal, Robbie Pennington, Sachin Kulkarni, Sagar Miglani, Santosh Gondi, Saransh Solanki, Sean Diener, Shangyi Cheng, Simon Green, Steve Saarinen, Suvam Patra, Tassos Mourikis, Thomas Whelan, Tripti Singh, Vasileios Balntas, Vijay Baiyya, Wilson Dreewes, Xiaqing Pan, Yang Lou, Yipu Zhao, Yusuf Mansour, Yuang Zou, Zhaoyang Lv, Zijian Wang, Mingfei Yan, Carl Ren, Renzo De Nardi, and Richard Newcombe. Project aria: A new tool for egocentric multi-modal ai research, 2023. URL .
[^15]: Haritheja Etukuru, Norihito Naka, Zijin Hu, Seung-jae Lee, Julian Mehu, Aaron Edsinger, Chris Paxton, Soumith Chintala, Lerrel Pinto, and Nur Muhammad Mahi Shafiullah. Robot utility models: General policies for zero-shot deployment in new environments. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 8275–8283. IEEE, 2025.
[^16]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954, 2023.
[^17]: Hao-Shu Fang, Hongjie Fang, Zhenyu Tang, Jirong Liu, Chenxi Wang, Junbo Wang, Haoyi Zhu, and Cewu Lu. Rh20t: A comprehensive robotic dataset for learning diverse skills in one-shot. arXiv preprint arXiv:2307.00595, 2023.
[^18]: Raktim Gautam Goswami, Amir Bar, David Fan, Tsung-Yen Yang, Gaoyue Zhou, Prashanth Krishnamurthy, Michael Rabbat, Farshad Khorrami, and Yann LeCun. World models can leverage human videos for dexterous manipulation, 2025. URL .
[^19]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fruend, Peter Yianilos, Moritz Mueller-Freitag, Florian Hoppe, Christian Thurau, Ingo Bax, and Roland Memisevic. The "something something" video database for learning and evaluating visual common sense. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct 2017.
[^20]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 18995–19012, 2022.
[^21]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19383–19400, 2024.
[^22]: Irmak Guzey, Haozhi Qi, Julen Urain, Changhao Wang, Jessica Yin, Krishna Bodduluri, Mike Lambeta, Lerrel Pinto, Akshara Rai, Jitendra Malik, Tingfan Wu, Akash Sharma, and Homanga Bharadhwaj. Dexterity from smart lenses: Multi-fingered robot manipulation with in-the-wild human demonstrations, 2025. URL .
[^23]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition, 2015. URL .
[^24]: Zihao He, Bo Ai, Tongzhou Mu, Yulin Liu, Weikang Wan, Jiawei Fu, Yilun Du, Henrik I. Christensen, and Hao Su. Scaling cross-embodiment world models for dexterous manipulation, 2025. URL .
### [^25]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Siva-
---
purapu和Jian Zhang。Egodex：从大规模第一人称视频中学习灵巧操作。arXiv预印本arXiv:2505.11709，2025年。
[^26]: Yingdong Hu, Fanqi Lin, Pingyue Sheng, Chuan Wen, Jiacheng You, and Yang Gao. Data scaling laws in imitation learning for robotic manipulation. arXiv preprint arXiv:2410.18647, 2024.
[^27]: Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Manuel Y. Galliker, Dibya Ghosh, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springerberg, Kyle Stachowicz, James Tanner, Quan Vuong, Homer Walke, Anna Walling, Haohuan Wang, Lili Yu, and Ury Zhilinsky. $\pi_{0.5}$: a vision-language-action model with open-world generalization, 2025. URL .
[^28]: Frederik Ebert Jedrzej Orbik. Oculus reader: Robotic teleoperation interface, 2021. URL . Accessed: YYYY-MM-DD.
[^29]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video, 2024. URL .
[^30]: Simar Kareer, Karl Pertsch, James Darpinian, Judy Hoffman, Danfei Xu, Sergey Levine, Chelsea Finn, and Suraj Nair. Emergence of human to robot transfer in vision-language-action models, 2025. URL .
[^31]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.
[^32]: Marion Lepert, Jiaying Fang, and Jeannette Bohg. Phantom: Training robots without robots using only human videos, 2025. URL .
[^33]: Jialong Li, Xuxin Cheng, Tianshu Huang, Shiqi Yang, Ri-Zhao Qiu, and Xiaolong Wang. Amo: Adaptive motion optimization for hyper-dexterous humanoid whole-body control, 2025. URL .
[^34]: Vincent Liu, Ademi Adeniji, Haotian Zhan, Siddhant Haldar, Raunaq Bhirangi, Pieter Abbeel, and Lerrel Pinto. Egozero: Robot learning from smart glasses. arXiv preprint arXiv:2505.20290, 2025.
[^35]: Yangcen Liu, Woo Chul Shin, Yunhai Han, Zhenyang Chen, Harish Ravichandar, and Danfei Xu. Immimic: Cross-domain imitation from human videos via mapping and interpolation, 2025. URL .
[^36]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, June 2022.
[^37]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-h0: Vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597, 2025.
[^38]: NVIDIA, :, Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriany, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jiannan Xiang, Yuqi Xie, Yinzhen Xu, Zhenjia Xu, Seonghyeon Ye, Zhiding Yu, Ao Zhang, Hao Zhang, Yizhou Zhao, Ruijie Zheng, and Yuke Zhu. Gr00t n1: An open foundation model for generalist humanoid robots, 2025. URL .
[^39]: Abby O'Neill, Abdul Rehman, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, et al. Open x-embodiment: Robotic learning datasets and rt-x models: Open x-embodiment collaboration 0. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 6892–6903. IEEE, 2024.
[^40]: Ryan Punamiya, Dhruv Patel, Patcharapong Aphiwetsa, Pranav Kuppili, Lawrence Y Zhu, Simar Kareer, Judy Hoffman, and Danfei Xu. Egobridge: Domain adaptation for generalizable imitation from egocentric human data. In The Thirty-ninth Annual Conference on Neural Information Processing Systems.
[^41]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J. Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, and Xiaolong Wang. Humanoid policy ~ human policy. arXiv preprint arXiv:2503.13441, 2025.
[^42]: Juntao Ren, Priya Sundaresan, Dorsa Sadigh, Sanjiban Choudhury, and Jeannette Bohg. Motion tracks: A unified representation for human-robot transfer in few-shot imitation learning, 2025. URL .
[^43]: Vaibhav Saxena, Matthew Bronars, Nadun Ranawaka Arachchige, Kuancheng Wang, Woo Chul Shin, Soroush Nasiriany, Ajay Mandlekar, and Danfei Xu. What matters in learning from large-scale datasets for robot manipulation. In The Thirteenth International Conference on Learning Representations, 2025.
44] Junyao Sni、Zhuoian Zhao、11anyou Wang、Ian Pedroza、Amy Luo、Jie Wang、Jason Ma和Dinesh Jayaraman。Zeromimic：从网络视频中提取机器人操作技能。发表于2025年国际机器人与自动化会议（ICRA）。
---
发表于2025年国际机器人与自动化会议（ICRA）。
[^45]: Oriane Siméoni, Huy V. Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seungeun Yi, Michaël Ramamon-jisao, Francisco Massa, Daniel Haziza, Luca Wehrstedt, Jianyuan Wang, Timothée Darcet, Théo Moutakanni, Leonel Sentana, Claire Roberts, Andrea Vedaldi, Jamie Tolan, John Brandt, Camille Couprie, Julien Mairal, Hervé Jégou, Patrick Labatut, and Piotr Bojanowski.
Dinov3，2025年。网址：。
[^46]: Laura Smith, Nikita Dhawan, Marvin Zhang, Pieter Abbeel, and Sergey Levine. Avid: Learning multi-stage tasks via pixel-level translation of human videos. arXiv preprint arXiv:1912.04443, 2019.
[^47]: Generalist AI Team. Gen-0: Embodied foundation models that scale with physical interaction. Generalist AI Blog, 2025. .
[^48]: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Lawrence Yunliang Chen, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, and Sergey Levine. Octo: An open-source generalist robot policy, 2024. URL .
[^49]: Lirui Wang, Xinlei Chen, Jialiang Zhao, and Kaiming He. Scaling proprioceptive-visual learning with heterogeneous pre-trained transformers, 2024. URL .
[^50]: Chuan Wen, Xingyu Lin, John So, Kai Chen, Qi Dou, Yang Gao, and Pieter Abbeel. Any-point trajectory modeling for policy learning, 2023.
[^51]: Philipp Wu, Yide Shentu, Zhongke Yi, Xingyu Lin, and Pieter Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators, 2023.
[^52]: Haoyu Xiong, Quanzhou Li, Yun-Chun Chen, Homanga Bharadhwaj, Samarth Sinha, and Animesh Garg. Learning by watching: Physical imitation of manipulation skills from human videos. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 7827–7834, 2021. doi: 10.1109/IROS51168.2021.9636080.
[^53]: Haoyu Xiong, Xiaomeng Xu, Jimmy Wu, Yifan Hou, Jeannette Bohg, and Shuran Song. Vision in action: Learning active perception from human demonstrations. arXiv preprint arXiv:2506.15666, 2025.
[^54]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, and Xiaolong Wang. Egovla: Learning vision-language-action models from egocentric human videos, 2025. URL .
[^55]: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben
谭宇伟、Chao、Bill Yuchen Lin、Lars Liden、Kimin Lee、高建峰、Luke Zettlemoyer、Dieter Fox和Minjoon Seo。基于视频的潜在动作预训练，2024年。网址：。
[^56]: Jessica Yin, Haozhi Qi, Youngsun Wi, Sayantan Kundu, Mike Lambeta, William Yang, Changhao Wang, Tingfan Wu, Jitendra Malik, and Tess Hellebreakers. Osmo: Open-source tactile glove for human-to-robot skill transfer. arXiv preprint arXiv:2512.08920, 2025.
[^57]: Kevin Zakka. Mink: Python inverse kinematics based on MuJoCo, December 2025. URL .
[^58]: Lihan Zha, Apurva Badithela, Michael Zhang, Justin Lidard, Jeremy Bao, Emily Zhou, David Snyder, Allen Z. Ren, Dhruv Shah, and Anirudha Majumdar. Guiding data collection via factored scaling curves, 2025. URL .
### [^59]: Lawrence Y. Zhu, Pranav Kuppili, Ryan Punamiya, Patcharapong Aphiwetsa, Dhruv Patel, Simar Kareer, Sehoon Ha, and Danfei Xu. Emma: Scaling mobile manipulation via egocentric human data. IEEE Robotics and Automation Letters, 11(3):3087–3094, 2026. doi:10.1109/LRA.2026.3653320
---
### A. 目录
| Appendix | Section |
| A | Table of Contents |
| B | Extended Discussion |
| C | EgoVerse Data Composition |
| D | Human Data Collection Setup Detail |
| E | Data Capture Hardware Detail |
| F | EgoDB Detail |
| G | Data Alignment and Post Processing |
| H | Robot Data Collection Setup Detail |
| I | Policy Architecture and Learning Detail |
| J | Robot Experiment Results |
| K | Controlled Diversity Experiments |
| L | Latent Space Visualization |
TABLE I: Appendix table of contents with section links.
### B. 详细讨论
本研究探索了通过人机协同训练从以自我为中心的人类数据中学习的一种具体实现方式；但更重要的是，它为未来借助EgoVerse开展的研究开辟了更广阔的设计空间。下一步自然是要系统研究协同训练之外的不同训练范式，包括利用异构人类数据进行大规模预训练，随后针对少量机器人数据或对齐的人机数据开展针对性微调。预训练何时能产生可迁移的结构，以及特定于具身特性的设计决策如何影响这种迁移效果，仍是尚未解决的问题，而EgoVerse恰恰能为解决这些问题提供有力支持。
另一个颇具前景的方向是利用EgoVerse-I中大量未对齐的、来自现实场景的人类数据。虽然我们的研究聚焦于更为可控的EgoVerse-A，但EgoVerse-I包含了带有密集语言标注的丰富、开放式操作数据。这为开发语言条件化或目标条件化策略创造了机会——这类策略能够在不要求训练时严格对齐的前提下，从更广泛的任务分布中学习。开发出能够利用此类弱对齐或未对齐数据，同时仍能借助有限的对齐监督来实现执行的方法，是实现可扩展的人到机器人技能迁移的关键一步。
最后，EgoVerse的联盟级规模特性使得我们能够深入分析超出整体性能趋势之外的具身效应。未来的研究可以探讨特定的具身因素——比如运动结构（如夹持器与灵巧手）、传感配置或控制参数化——如何与不同类型的人类数据相互作用。此类分析能够为数据集不断扩充过程中的合理数据选择、课程设计及模型架构提供指导。总而言之，EgoVerse不仅是一套数据集，更是用于研究表征学习、具身特性和数据规模如何共同塑造下一代通用机器人策略的共同实验平台。
| Part | Percent | # Hours | # Episodes | # Tasks |
| EgoVerse-A (all partners) | 5.5% | 75 | 2,385 | 6 |
| EgoVerse-I partner A | 76.1% | 1,035 | 72,993 | 1,898 |
| EgoVerse-I partner B | 18.4% | 250 | 3,128 | 45 |
TABLE II: Dataset composition across EgoVerse components.
| Category | Percent | # Hours |
| Logistics | 15.4% | 209 |
| Cooking | 13.7% | 186 |
| Cleaning | 11.6% | 158 |
| Laundry | 10.9% | 148 |
| Hardware | 6.8% | 92 |
| Crafts | 4.0% | 54 |
| Gardening | 3.2% | 44 |
TABLE III: Task category distribution.
### C. EgoVerse的数据构成
表II总结了各合作方为EgoVerse-A和EgoVerse-I贡献的数据量。由于无法列出整个EgoVerse数据集中各项任务的详细时长，我们改为在表III中报告各语义任务类别及其对应数据集规模的汇总统计数据。此外，表IV给出了每个类别中排名前20位的“动词”的频率分布。
### D. 人类数据采集设置详情
EgoVerse-A旨在捕捉数据的多样性，同时保持任务语义的可控性和数据质量。
场景与物体多样性。每个旗舰任务在实验室中会在8到12个独特场景中执行，每个场景会采集1到10个数据集单元以捕捉环境内的差异。在每个场景中，会使用大约$40\,cm \times 60\,cm$大小的工作空间，且明确鼓励采集者在演示过程中随机摆放物体的位置。在每个实验室中，物体是从每项任务最多30个物体的固定集合中选取的。由于物体是由各参与站点独立采购的，因此数据集中体现了现实世界中物体几何形状、外观和材质的广泛差异性。
演示者多样性。数据来自每个实验室的1到8名演示者。即便在相同的指令和教学视频指导下，演示者仍会表现出不同的运动习惯、时间把控、协调策略以及手部轨迹。因此，该数据集反映了人类形态和自我中心视角的显著差异，这些差异源于采集者的身高、姿势以及工作空间配置（如坐姿与站姿）的不同。
先前的研究表明，这种人类运动的变异性会对策略学习行为和跨实体对齐产生显著影响[^29] [^40] [^35]。我们并未试图消除这种变异性，而是将其视为人类数据中固有的组成部分，随着数据集规模的扩大必须加以管理。尽管所有参与实验室都遵循相同的指令协议和任务定义，但每个实验室贡献的环境、物体和人类行为分布各不相同。
---
| Logistics | Freq. | Cooking | Freq. | Cleaning | Freq. | Laundry | Freq. | Hardware | Freq. | Crafts | Freq. |
| pick | 34,524 | pick | 16,197 | scrub | 20,320 | pick | 6,998 | pick | 16,387 | pick | 7,577 |
| scoop | 12,164 | place | 6,678 | pick | 12,297 | fold | 6,190 | place | 5,476 | place | 2,517 |
| place | 10,322 | cut | 5,975 | clean | 7,713 | iron | 5,342 | adjust | 5,263 | adjust | 1,835 |
| fill | 7,991 | scoop | 4,722 | wipe | 6,863 | adjust | 3,628 | remove | 3,305 | fold | 1,059 |
| adjust | 7,802 | adjust | 4,496 | dip | 5,951 | place | 3,325 | unscrew | 3,222 | cut | 896 |
| seal | 4,249 | fill | 2,654 | place | 5,480 | smooth | 2,429 | hold | 2,104 | hold | 589 |
| open | 3,392 | hold | 2,153 | adjust | 5,225 | straighten | 1,161 | tighten | 2,052 | move | 467 |
| put | 3,064 | slice | 1,974 | hold | 3,358 | flip | 763 | clean | 1,564 | apply | 434 |
| hold | 3,041 | remove | 1,687 | remove | 2,862 | smooth | 751 | test | 1,253 | attach | 391 |
| insert | 1,996 | press | 1,646 | wash | 2,301 | hold | 560 | put | 1,196 | press | 367 |
| close | 1,426 | put | 1,215 | rinse | 1,901 | clean | 487 | scrape | 1,068 | align | 352 |
| fold | 1,184 | move | 1,088 | scrape | 1,877 | grab | 463 | fill | 1,047 | put | 347 |
| transfer | 1,118 | open | 1,066 | brush | 1,752 | spread | 439 | solder | 908 | wrap | 316 |
| move | 1,117 | seal | 1,060 | thread | 1,647 | move | 372 | move | 786 | shake | 269 |
| clean | 868 | trim | 964 | put | 850 | button | 349 | install | 647 | tie | 239 |
| pack | 760 | flatten | 803 | pull | 668 | lift | 321 | insert | 620 | smooth | 235 |
| wipe | 749 | chop | 729 | tie | 607 | unfold | 314 | apply | 585 | shape | 234 |
| pour | 686 | transfer | 673 | polish | 576 | insert | 300 | screw | 574 | twist | 216 |
| remove | 611 | fold | 632 | move | 558 | press | 295 | open | 569 | remove | 214 |
| add | 586 | knead | 624 | rotate | 524 | trim | 289 | secure | 568 | insert | 200 |
TABLE IV: Top 20 verbs per category with frequencies. Each row corresponds to the same rank across six task categories.
EgoVerse-I旨在捕捉在极其多样化的环境和物体中出现的各类演示式任务和行为。为确保数据对机器人学习具有最大效用，我们尽可能减少噪声：要求手部在可行的情况下始终保持在视野内，且演示者对每个子任务采用一致的执行策略。我们还要求演示者行动果断，避免不必要的犹豫或修正动作，从而使生成的轨迹能清晰体现意图并具有明确的时间结构。
## E. 人类数据采集详情
Project Aria眼镜。我们在EgoVerse-A中使用Project Aria Gen 1眼镜来采集自我中心的人类数据。Gen 1设备重量约为75克，设计上可舒适佩戴数小时而不会显著改变人类的自然行为。该硬件集成了五个摄像头：一个用于自我中心场景采集的前置全局快门RGB摄像头，两个用于SLAM和手部追踪的侧置单色摄像头，以及两个用于眼动追踪的内置摄像头。在EgoVerse中，我们主要利用前置RGB摄像头作为学习用的视觉流，提供与人类操作意图及任务执行紧密对齐的稳定第一人称视角。该设备还配备了高度同步的IMU，可实现精确的视觉-惯性传感。所有原始传感器数据流均通过Meta的MPS（机器感知服务）流水线处理，完成校准、时间对齐以及视觉-惯性里程计计算，从而生成与世界坐标系对齐且度量一致的摄像头位姿和同步RGB流。
基于手机的人类数据采集系统。为了将大规模人类数据采集的渠道从专业可穿戴设备扩展到更多人群，我们推出了一种基于普通智能手机的以眼为中心的数据采集系统（见图13）。该系统将智能手机安装在轻便的头戴式支架上，利用超广角摄像头以1080p分辨率和30帧/秒的速度录制以眼为中心的RGB视频。这种配置既能在工作区域内保持广阔的视野，又具备成本低、易部署、适合长时间佩戴的特点。录制的视频会被上传至云端处理系统，该系统通过视觉追踪估算头部的6自由度运动，并恢复每只手包含21个关键点的3D手部姿态。最终得到的信号会经过时间同步处理，并转换为EgoVerse中通用的标准表示形式，包括以眼为中心的视频、相机运动和手部轨迹。由于该手机端流程的输出格式与更精密的采集系统一致，因此来自资源受限参与者的数据可直接整合到更大的数据集中，无需额外处理或单独的训练方案。
Fig. 13: Phone-based Data Collection System. (Left) Screen-shot of the accompanying app for the iPhone-based human data collection system. (Right) The setup consists of an off-the-shelf head strap phone mount and an iPhone.
定制采集硬件。EgoVerse旨在兼容多种人类数据源，包括为大规模工业数据采集而设计的高度定制化的采集系统。举个例子，某行业合作伙伴提供的数据就是使用定制的立体头戴式装置采集的，该装置由一对鱼眼RGB摄像头组成。
---
该装置采用共面、共线的立体拍摄设置，基线距离固定为6厘米。系统以$1920 \times 1200$分辨率录制同步的RGB视频，帧率为30帧/秒，同时生成基于立体重建的深度流，并与机载惯性测量单元提供的惯性数据紧密对齐。多传感器SLAM算法整合RGB、深度和惯性信号，从而恢复度量一致的头部6自由度运动轨迹。手部姿态则通过结合立体深度的视觉模型来估算，进而提取出每只手包含21个关键点的数据，并进行时间上的平滑处理。尽管这套装置比手机端方案复杂得多，但所有输出结果都会被转换为相同的EgoVerse标准格式，使得工业规模采集的数据能够与其他数据源无缝融合，用于后续的机器人学习。
## F. EgoDB详情
EgoDB由四个主要组件构成：数据采集与上传模块、SQL数据库、基于S3的自动化处理模块，以及用于训练的EgoVerseDataset。
1) 数据采集与上传：使用Aria眼镜采集的EgoVerse-A数据会以.vrs文件形式存在，实验室中的机器人数据则有特定的格式，它们会通过统一的上传脚本上传。上传时，数据收集者需根据表V中总结的模式，标注操作员、实验室、任务、载体、机器人名称、场景、物体以及是否为评估数据等信息。原始文件会利用UTC时间戳生成哈希值，并与包含标注元数据的.json文件一同上传至S3存储桶。一台轻量级的t3.xlarge型AWS EC2实例上运行的定时守护进程会每小时检查存储桶中的新文件和元数据，并据此更新SQL数据库。
2) SQL数据库：SQL数据库是一个Postgres SQL表，其行结构与表V中的模式相对应，便于筛选操作。SQL表中的每一行对应一个文件。
3) Ray处理守护进程：EgoVerse-A和机器人数据由夜间运行的Ray处理守护进程进行处理，并更新其元数据。该守护进程包含3个Ray集群。Project Aria Data。对于EgoVerse-A数据，负责运行MPS（机器感知服务）的Cluster A在单个头节点（t3a.2xlarge）上运行。它会同步那些没有对应MPS文件夹的文件批次，并每晚向MPS平台发起并行API调用。MPS处理完成后，它会将包含数据的已处理MPS文件夹同步回S3存储桶。Cluster B负责将MPS输出转换为可供训练使用的已处理格式。该集群有一个t3a.2xlarge头节点和r6a.2xlarge工作节点。头节点会检查SQL表中没有processed_path且存在对应MPS文件夹的记录，并在工作节点上安排相关任务进行处理。至于机器人数据，Cluster C负责
机器人数据。对于机器人数据，Cluster C负责将原始机器人数据转换为可供训练使用的已处理格式。该集群有一个t3a.2xlarge头节点和c5.18xlarge工作节点。头节点会检查SQL表中
| Field | Description |
| episode_hash | Unique identifier for the episode, derived from UTC timestamps at upload time. |
| operator | Identifier for the human operator or demonstrator. |
| lab | Data collection site or partner lab. |
| task | Canonical task name (e.g., bag-grocery, fold-clothes). |
| embodiment | Embodiment type (human, robot platform, etc.). |
| robot_name | Robot platform identifier, if applicable. |
| num_frames | Number of frames in the processed trajectory (updated post-processing). |
| task_description | Free-form natural language description of the task. |
| scene | Scene or environment identifier. |
| objects | Serialized list of objects involved in the episode. |
| processed_path | S3 path to processed data artifacts (updated post-processing). |
| processing_error | Error message logged during automated processing, if any. |
| mp4_path | S3 path to rendered visualization video, if available. |
| is_deleted | Flag indicating whether the episode has been removed or deprecated. |
| is_eval | Flag indicating whether the episode is from policy evaluation. |
| eval_score | Scalar evaluation score, if applicable. |
| eval_success | Binary indicator of task success during evaluation. |
TABLE V: Schema of the EgoDB episode table. Fields in italics are updateable during automated processing.
没有processed_path且存在对应MPS文件夹的记录，并在工作节点上安排相关任务进行处理。
工作节点还负责生成已处理数据的mp4文件，并将处理后的路径、错误信息（如有）以及文件中的帧数返回给头节点。工作节点处理完文件后，相应的头节点会更新SQL表中这些文件的processed_path、mp4_path、processing_error和num_frames字段。
4) EgoVerseDataset：我们提供了一个统一的数据集接口EgoVerseDataset，用于直接从S3加载EgoVerse数据到可供训练使用的PyTorch数据集中。该数据集能够实现对不同形态、任务和实验室产生的大量已处理片段的可扩展、可过滤访问。
EgoVerseDataset通过查询SQL数据库并使用用户指定的过滤器（如任务、实验室、场景、机器人名称）来筛选出有效的片段，仅获取那些含有有效processed_path的片段。匹配的片段会从S3同步到本地缓存目录，系统会采取相应保护措施，避免重新下载已经存在于本地的片段。
---
数据集下载过程利用s5cmd库实现并行化，这是一款用于AWS S3的Python并行同步工具。每个片段会被加载为一个独立的数据集实例，数据集构建过程会在各片段间并行进行，以减少加载时间。如果片段的形态元数据与请求的形态不匹配，则会自动跳过该片段。生成的片段集合会根据可配置的验证比例被划分为训练集和验证集，或者按百分比进行抽样拆分。
该数据集支持多种运行模式，包括train、valid、total和percent，从而能够为标准训练和扩展实验提供一致的数据集构建方式。所有加载的片段都通过统一接口暴露，使得下游训练代码可以将聚合后的数据视为单一的可迭代源。
5) 从S3访问数据：给定一组元数据过滤器后，数据会通过SQL数据库解析出来，从S3同步后实例化为PyTorch数据集对象。代码块1展示了一个说明此过程的简化示例。
列表1：说明基于SQL的片段解析、使用s5cmd进行S3同步以及训练数据集实例化的简化示例。
## 1. 查询SQL表以获取已处理的剧集信息
filters = {
"robot_name": "robot_a",
"lab": "lab_a",
"task": "task_x",
"is_deleted": False,
}
rows = query_sql_table(filters)
## rows: [(processed_path, episode_hash), ...]
## 2. 从S3下载处理后的数据
for processed_path, episode_hash in rows:
local_dir = f"/tmp/egoverse/{episode_hash}/"
s3_src = f"/processed_path}/*"
run_command(["s5cmd", "sync", s3_src, local_dir])
### 3. 实例化数据集对象
datasets = []
for __, episode_hash in rows:
dataset = SingleEgoVerseDataset(
root=f"/tmp/egoverse/{episode_hash}/",
mode="train",
)
datasets.append(dataset)
#### 4. 合并用于训练的数据集
train_dataset = MultiEgoVerseDataset(datasets)
### G. 数据对齐与后处理
由于人类与机器人遥操作在执行速度上存在固有差异，我们采用后处理技术来在时间维度上对齐不同实体间的动作轨迹。对于人类演示数据，我们提取1秒长的动作片段，并将其重采样为长度为$T = 100$的序列；对于机器人数据，我们提取1.5秒长的片段，同样将其重采样为长度100的序列。这样就能确保尽管控制频率和执行速度不同，所有轨迹仍能代表任务执行的相似阶段。对于动作中的3D位置，我们采用线性插值；而对于四元数和欧拉角旋转表示，则采用球面线性插值（SLERP）。
#### H. 机器人数据采集设置详情
#### 1）硬件设置
a) 机器人A：我们采用基于Meta Oculus 3头显和Oculus Pro控制器的VR遥操作系统，该系统基于RAIL Lab Oculus Reader [^28]开发。我们通过Mink IK Solver [^57]对指令中的机器人基座坐标系末端执行器进行逆运动学计算，从而获取关节角度，再由ARX5关节空间控制器执行这些关节角度。该系统采用多线程Python架构实现，底层硬件通信则通过CAN接口完成。机器人平台由两台市售的ARX5机械臂组成，如Fig. 6所示，它们安装在Vention生产的铝制梁上，并配有3D打印的连接件。
b) 机器人B：我们采用定制的3D打印GELLO [^51]设备进行遥操作，GELLO界面与ARX机器人之间采用一对一的关节映射关系。机器人平台由两台市售的ARX5机械臂组成，分别安装在刚性4040铝制框架的左右两侧，配有3D打印的连接件，具体如Fig. 6所示。每个GELLO机械臂末端的触发器用于控制夹持器的开合宽度。该系统采用ROS 2实现消息传递和模块间通信；底层硬件通信通过CAN接口完成，而运动执行则由标准的ARX5笛卡尔控制器管理。
c) 机器人C：我们采用配备Inspire 6自由度灵巧手的Unitree G1机器人开展实验。该机器人还配备了3个自由度的主动式头部装置 [^33]。遥操作则通过Apple Vision Pro [^9]实现，它将操作者的左右腕部姿态映射到机器人的左右腕部，并利用指尖关键点进行动作重定向。头部电机通过逆运动学计算来追踪遥操作者头部的旋转动作。
控制器运行在集成于G1机器人内部的Jetson Orin NX上。我们开发了Python接口，通过LCM与Unitree的C++后端进行通信。推理环节，我们将模型部署在远程服务器上，并通过WebSocket实现状态与图像的同步通信。
2) 机器人数据构成：每种机器人在每项任务中的演示次数汇总于表VI中。
#### I. 策略架构与学习细节
所有学习超参数均列于表VII中。1) 跨本体编码器与分支：
---
| Task | # Demos — # Hours |
| Robot A | Robot B | Robot C | |
| object-in-container | 100 — 1.2 | 200 — 2.7 | 240 — 3.0 | |
| bag-grocery | 300 — 5.1 | 150 — 1.67 | 139 — 1.8 | |
| cup-on-saucer | 360 — 3.3 | 183 — 1.0 | 111 — 1.2 | |
| fold-clothes | 300 — 3.0 | - | - | |
TABLE VI: Robot dataset composition across tasks and platforms, reported as number of demonstrations and total hours.
a) 视觉输入：给定RGB帧$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$后，我们对其进行ImageNet归一化处理，随后将其传入在全局池化层之前截断的ResNet-18编码器，以获取$7 \times 7 \times 512$特征图。我们将最后的卷积层输出展平，并通过一个线性层将其投影为$d_{proj}$维度的特征。接着，我们使用一个带有$D_{stem}$个头的多头交叉注意力模块，将L个维度为d的可学习查询词元与投影后的特征进行交叉注意力计算。
b) 本体感知输入：本体感知观测向量$\mathbf{q} \in \mathbb{R}^{d_q}$（包括关节角度、末端执行器姿态等）会先经过分位数归一化处理，再通过隐藏维度为$d_{proj}$的单个线性层。随后，一个带有$D_{stem}$个头的多头交叉注意力模块会将维度为d的L个查询词元与投影后的本体感知数据进行注意力计算。
c) 编码器：来自m个分支的输入观测数据会产生$m \times L$个查询词元。这些词元会沿序列维度拼接起来，同时有M个可学习的上下文词元会被添加到词元序列的开头。新的包含$M + m \cdot L$个词元的序列便作为跨本体编码器的输入。该跨本体编码器$f_\phi$是一个不带掩码的多块Transformer编码器，它包含$D_{enc}$个头、$N_{enc}$个编码块，嵌入维度为d。每个头的注意力维度为$d/D_{enc}$。
2) 流匹配解码器：该解码器由一个多块扩散Transformer参数化，包含$N_{dec}$层、$D_{dec}$个注意力头，嵌入维度为$d_{dec}$。编码器生成的M个上下文词元被用作流匹配解码器的条件序列。
形状为$\mathbb{R}^{T\times d_{dec}/2}$的噪声词元序列会与可学习的位置嵌入相结合。连续时间变量$\tau \sim \text{Beta}(1.5, 1.0)$的正弦-余弦嵌入会被扩展为$\mathbb{R}^{T\times d_{dec}/2}$维度，并沿隐藏维度与噪声词元序列拼接，最终得到维度为$\mathbb{R}^{T\times d_{dec}}$的词元序列。训练期间，噪声词元序列是通过采样独立同分布的高斯噪声$a_0 \sim \mathcal{N}(0, I)$（形状为$\mathbb{R}^{T\times d_a}$）以及采样连续时间步长$\tau \in (0,1]$来构建的；解码器输入则是通过噪声与真实动作序列$a_1 = \mathbf{a}$之间的线性插值得到的，
$$ x_{\tau}=\tau a_{0}+(1-\tau)a_{1}, $$
随后将其投影到解码器词元空间。
推理时，噪声词元序列初始化为纯高斯噪声$x_{\tau=1} \sim \mathcal{N}(0, I)$。解码器会迭代应用，同时通过固定步长的欧拉更新来整合从$\tau = 1$到$\tau = 0$的学习到的速度场，最终在积分结束时生成动作序列。评估过程中会使用10次固定步长的欧拉更新（推理步骤）。
得到的词元序列会经过一系列交替使用自注意力和交叉注意力的Transformer块处理。在交叉注意力块中，动作词元会对编码器提供的M个条件词元进行注意力计算。最终的线性投影会将隐藏词元映射为预测的动作序列，其维度为$\mathbb{R}^{T \times d_a}$。
3) 基于流匹配的联合训练：如前所述，总的联合训练损失定义为
$$ \mathcal{L}_{\mathrm{BC-cotrain}}=\mathcal{L}_{\mathrm{CFM}}^{\mathrm{robot}}+\mathcal{L}_{\mathrm{CFM}}^{\mathrm{human}}. $$
对于给定的实现方式e，我们采样一个时间步长$\tau \sim \text{Beta}(1.5, 1.0)$，并最小化预测向量场中的误差：
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{C F M}}^{e}=\mathbb{E}_{\tau,a_{0},a_{1},s}\Big[\left\|\pi_{\theta}(x_{\tau},\tau,f_{\phi}(s))-(a_{0}-a_{1})\right\|^{2}\Big],}\end{array} $$
其中$x_{\tau} = \tau a_{0} + (1 - \tau)a_{1}$表示高斯噪声$a_{0}$与目标动作$a_{1}$之间的线性概率路径。
4) 训练细节：我们对模型进行15万次优化步骤的训练，全局批量大小为32–64，学习率为$1 \times 10^{-4}$。由于实验在多个实验室和平台上开展，可用的计算资源和总训练时间各不相同。
所有模型超参数汇总在表VII中。
#### J. 机器人实验结果
1) 训练混合数据详情：我们在下方总结了论文中报告的各种结果所对应的训练数据混合情况。
旗舰级联合训练（EV(8小时) + ID(2小时)）：对于每个任务，我们采用固定的联合训练设置，将8小时的EgoVerse-A（EV）人类数据与2小时领域内（ID）人类数据相结合，同时加入与任务匹配的机器人演示数据。领域内人类数据是在特定任务的机器人数据集所使用的相同物体、任务配置和场景下收集的。EgoVerse-A数据则是从该任务的四个采集点汇总而来。人类样本是从EV（8小时）和ID（2小时）数据的并集中均匀抽取的。机器人数据则是从该任务和平台可用的演示数据中均匀抽取，具体如表VI所示，采用帧级采样方式。
缩放律实验：该实验旨在分析每种人类数据成分的影响：领域内人类数据（ID）和EgoVerse-A人类数据（EV）。主要结果在第IV-E节中讨论。此处我们解释每种训练设置的数据构成。
- EV(8小时)：不含领域内人类数据的旗舰级联合训练混合数据。
EV(2小时) + ID(2小时)：仅使用单个采集点的EgoVerse-A数据的旗舰级联合训练模型混合数据。
- ID(2小时)：不含EV(8小时)数据的旗舰级联合训练模型混合数据。
- ID(1小时)：不含EV(8小时)数据且领域内演示数据被缩减为1小时的旗舰级联合训练模型混合数据。
---
| Hyperparameter | Value |
| Observation Stems | |
| Visual Feature Embeddings | ResNet-18 |
| m (number of stems) | 4 (1 vision main camera, 2 vision wrist camera + 1 proprioception) |
| L (query tokens per stem) | 16 |
| $D_{stem}$ | 8 |
| $d_{proj}$ | 256 |
| Cross-Embodiment Encoder | |
| M (context tokens) | 64 |
| $N_{enc}$ | 16 |
| $D_{enc}$ | 8 |
| d | 256 |
| Encoder positional embedding | sine-cosine |
| Encoder normalization | Pre-LN |
| Flow Matching Decoder | |
| $N_{dec}$ | 6 |
| $D_{dec}$ | 4 |
| $d_{dec}$ | 128 |
| $d_{a}$ | task-specific |
| Time embedding | sine-cosine |
| $\tau$ distribution | Beta(1.5, 1.0) |
| Probability path interpolation | linear |
| Training | |
| Optimizer | AdamW |
| Learning rate | $1 \times 10^{-4}$ |
| Weight decay | $1 \times 10^{-4}$ |
| Training steps | 150,000 |
| Global batch size per embodiment | 32-64 |
| Human : robot batch ratio | 1 : 1 |
| Inference | |
| ODE solver | Euler |
| Integration steps | 10 |
| Integration interval | $\tau : 1 \rightarrow 0$ |
| Initial noise | $\mathcal{N}(0, I)$ |
TABLE VII: Model hyperparameters. Symbols follow the notation introduced in Appendix VIII-J.
• 仅机器人数据：不含任何人类数据的旗舰级联合训练模型混合数据。
无论是旗舰级联合训练还是缩放律实验，我们均采用全局批量大小32，并保持固定的人机比例为1:1，即每批包含16个人类样本和16个机器人样本。这种联合训练方案用于所有旗舰级实验；相关变体在缩放律实验中另行说明。
2) 部署评估协议：我们在下方详细介绍了跨不同实验室（机器人）共享的标准化评估协议。训练和评估所用物体的图像见图14。
a) 物体入容器任务：场景中包含一个物体和一个容器，二者随机放置，且物体在垂直方向上比容器更靠近机器人。
领域内：在工作区网格中随机选取20个物体和容器的位置。前10个位置使用训练集中的一种物体-容器组合，后10个位置使用另一种物体-容器组合。
Fig. 14: Objects used for training and evaluation across tasks and robot platforms.
每个位置执行一次部署测试。
域外测试：从人类数据集中选取机器人数据集里不存在的物体-容器组合样本。前10次演示中，从域内桌子上随机选取10个位置；后10次演示中，从未见过的桌子上随机选取10个位置。每个位置执行一次演示，每次演示时长40秒。
终止条件：如果策略出现卡住、表现出不安全行为或无法继续执行，演示将提前终止。
评分规则：每成功将物体放入容器得1分，每成功清空容器也得1分。最终报告40秒内获得的总分数。
b) 杯子放在茶碟上：场景初始时，杯子被放置在工作区的右侧或左侧，茶碟则放在相反的一侧。
域内测试：针对杯子在左侧和杯子在右侧两种情况，分别在工作区网格中随机选取10个位置，共20次演示。每个位置从已见过的物体集中随机选取一组杯子-茶碟组合，并施加一个从$\pm30^{\circ}$中均匀采样的随机平面旋转角度。每个位置执行一次演示。
域外测试：针对杯子在左侧和杯子在右侧两种情况，分别从域内表格和未见过的表格上随机选取5个位置，每种情况共10次演示。每个位置从已见过的物体集中随机选取一组杯子-茶碟组合，并施加一个从$\pm30^{\circ}$中均匀采样的随机平面旋转角度。每个位置执行一次演示。
终止条件：如果策略出现卡住、表现出不安全行为或无法继续执行，演示将提前终止。
---
评分规则：成功旋转并拿起杯子得1分，成功完成交接得1分，将杯子放在茶碟上再得1分。此外，还需报告任务成功率（SR），即杯子被正确放在茶碟上的演示所占的百分比。
c) 袋子装杂货：场景中有一个袋子和三个杂货物品。袋子被放置在机器人的左侧，三个物品则放在右侧。
域内测试：为袋子和三个物品在工作区网格中随机选取20个位置。每个位置从训练集中选取3个物品，并确定这些物品的随机排列顺序。每个位置执行一次演示。
域外测试：在工作区网格中随机选取10个位置。前5个位置选取一组随机的3个物品，后5个位置选取另一组随机的3个物品。每个位置确定物品的随机排列顺序。在未见过的场景中重复相同流程。
终止条件：如果策略出现卡住、表现出不安全行为或无法继续执行，演示将提前终止。
评分规则：成功打开袋子得1分，每将一个物品放入袋中得1分（最多3分），因此每次演示最高可得4分。只有当物品按从左到右的顺序放入袋中时，才算放置成功。
d) 叠衣服：场景中有一件水平放置的T恤，其领口朝向机器人的右侧。
领域内实验：从训练集中随机选取2件T恤。在工作区网格上随机选取10个位置，并应用来自$\{0^{\circ}, 30^{\circ}, -30^{\circ}\}$的随机平面旋转。对于每个选定位置，对这2件T恤各进行一次展开操作（每个位置对应2次展开）。
领域外实验：随机选取1件仅出现在人类数据集中、且不在机器人数据集中的T恤。在工作区网格上随机选取10个位置，并应用来自$\{0^{\circ}, 30^{\circ}, -30^{\circ}\}$的随机平面旋转。每个位置进行一次展开操作。在未见过的场景中重复相同的流程。
终止条件：如果策略出现卡住、表现出不安全行为或无法继续执行，则提前终止展开操作。
评分规则：成功完成下袖口折叠阶段得1分，成功完成上袖口折叠阶段得1分，将T恤对折成功也得1分，每次展开最多可得3分。三个阶段全部完成即视为任务成功；任务成功率（SR）定义为完成全部阶段的展开次数占总展开次数的百分比。
分数归一化：我们计算bag-grocery和object-in-container任务的归一化分数，以便在不同实验室的不同执行速度下进行标准化比较。我们同时报告fold clothes和cup on saucer任务的成功率。归一化分数的计算方法为总得分除以可能的最高得分。
Robot B Strategy
Robot A Strategy
Human Data Strategy
Fig. 15: Differences in task execution strategies for the bag-grocery task across embodiments.
a) missed grasps
b) difficult position
c) failed handoff
Fig. 16: Common failure modes for each task
3) 额外分析：如第IV-E节所述，Robot B在人类演示和机器人演示之间表现出系统性的策略差异，我们推测这种差异导致了协同训练性能的下降。图15展示了这种差异：在EgoVerse-A的人类演示以及Robot A的机器人演示中，都是先用双手（或夹爪）打开袋子，再放入杂货物品；而Robot B的演示采用的策略不同，它用一只夹爪撑开袋子，另一只夹爪负责放入物品。这种差异导致人类数据和机器人数据之间的行为分布不一致，可能会削弱协同训练过程中的跨本体对齐效果。
4) 任务失败模式：在object-in-container和bag-grocery任务中，我们发现工作区某些区域的抓取原语存在困难。虽然我们的协同训练策略通常表现出更稳健的抓取原语，但仍有改进空间。对于cup-on-saucer任务，物体交接较为困难，尤其是配备灵巧手的Robot C。常见的失败模式如图16所示。
#### K. 可控多样性实验
我们提供了可控多样性研究的详细实验方案和数据构成。第IV-F节展示了fold-clothes任务的结果，本节则给出了cup-on-saucer任务的相关结果，以及四种缩放模式下通用的精确训练-验证设置。
数据构成与评估方案：实验采用第III-D节描述的可控多样性子集进行，每个任务包含16名演示者和16个场景。我们沿用第VIII-J节所述的相同策略架构和训练流程，通过改变演示者-场景配对组合来调整训练数据，并使用离线Avg-MSE指标评估人类开环动作预测的准确性：给定预测的动作序列$\hat{a}_{1:T} \in \mathbb{R}^{T \times D}$和真实动作序列$\mathbf{a}_{1:T} \in \mathbb{R}^{T \times D}$，我们计算每个时间步的均方误差。
---
Fig. 17: Controlled diversity results on fold-clothes.
Fig. 18: Controlled diversity results on cup-on-saucer.
对时间序列以及动作维度进行求均值处理
$$ \mathrm{Avg-MSE}(\hat{\mathbf{a}}_{1:T},\mathbf{a}_{1:T})=\frac{1}{T}\sum_{t=1}^{T}\frac{1}{D}\left\|\hat{\mathbf{a}}_{t}-\mathbf{a}_{t}\right\|_{2}^{2}, $$
我们报告的是该值在验证 episode 上的平均值。表 VIII、表 IX、表 X 和表 XI 分别列出了单场景演示者扩展、多场景演示者扩展、混合多样性扩展以及场景扩展的详细训练数据预算。
受控多样性实验分析。我们在图 17 和图 18 中分别展示了叠衣服任务和杯碟放置任务的结果。
1) 单场景演示者扩展：该实验旨在探究在 2 小时的固定数据预算下，通过增加演示者数量来引入运动多样性，是否能够提升模型对同一场景中未见演示者的泛化能力。如图 17(a)、18(a) 所示，增加演示者数量能够提升两项任务的性能。对于叠衣服任务，Avg-MSE 随演示者数量的增加而单调递减，且在多样性水平较高时提升幅度更大，这表明演示者的差异能够有效拓展状态-动作分布的覆盖范围。对于杯碟放置任务，在演示者数量较少时性能略呈非单调变化，但在规模较大时性能会有所提升，这说明需要足够的演示者多样性才能带来稳定的性能增益。
2) 多场景演示者扩展：在本研究中，我们将演示者扩展从固定的单一场景拓展到八个场景，以检验这种扩展效应是否在更贴近真实数据采集场景的多场景环境下依然成立。该实验针对同一场景中未见演示者进行评估。在 8 小时的固定训练数据预算下，多场景演示者扩展的结果（图 17(b)、18(b)）显示：随着演示者数量从 4 个增加到 12 个，两项任务对未见演示者的泛化能力均呈现出一致且明显的提升。
3) 场景多样性扩展：接下来，我们评估场景多样性以及各场景的数据分配对场景泛化能力的影响，相关测试是在其他实验室采集的未见场景数据上进行的。两项任务中，场景数量的增加都会持续降低 Avg-MSE，如图 17(d)、18(d) 所示，这证明了场景多样性能够提升泛化能力。在叠衣服任务中，这一趋势呈单调性，且在数据预算较低时表现尤为明显，说明更广泛的环境覆盖能够有效弥补单个场景数据的不足，而一旦总体预算足够大，单个场景的数据量就不再那么关键。对于杯碟放置任务，下降趋势虽稍显不平滑，但整体仍保持一致，且在数据使用量较高时增益更明显，这表明该任务既需要充足的单个场景数据，也需要更广泛的场景多样性。
4) 混合多样性缩放：在固定的4小时数据预算下，我们研究了场景多样性（从4个场景增加到8个场景）与演示者多样性（从4名演示者增加到8名演示者）的联合效应，并在其他实验室收集的未见过的演示者和场景上进行了评估。如图17(c)和18(c)所示，增加场景多样性能够一致地降低折叠衣物任务和杯碟放置任务的AvgMSE值，这表明更广泛的环境覆盖是提升场景泛化能力的可靠驱动力。演示者多样性则能带来额外但依赖任务特性的益处：对于折叠衣物任务，使用8名演示者的效果始终优于4名演示者，说明更多的演示者差异能产生更丰富的动作分布，从而更好地覆盖未见过的场景。相比之下，对于杯碟放置任务，4名演示者的设置略优于8名演示者，这意味着对于这种约束性更强的任务而言，演示者带来的额外行为噪声可能会抵消其覆盖优势，使得泛化能力主要由场景变化驱动。
总结：我们使用包含16名演示者和16个场景的标准化数据集，对折叠衣物和杯碟放置任务开展受控多样性研究，在固定数据预算下系统改变演示者与场景多样性，并通过离线Avg-MSE指标评估泛化能力。在四种缩放模式下，我们均发现多样性增加能改善泛化能力的一致证据，其中场景多样性在所有任务中都是最可靠的驱动因素。演示者多样性能带来额外增益，尤其对于折叠衣物任务，演示者差异能显著丰富动作分布；而对于杯碟放置任务，其益处则更具任务依赖性。总体而言，这些结果凸显了
---
TABLE VIII: Single-scene demonstrator scaling (fixed 2-hour budget). Training data are collected in one fixed scene. As the number of training demonstrators increases, the per-demonstrator data duration decreases so that the total budget remains 2 hours. Evaluation is performed on a held-out 17th demonstrator with 7.5 mins of data in the same scene. We refer to a demonstrator-scene pair as a DS Pair.
| # Train Demonstrators | Mins / DS Pair |
| 1 | 120.0 |
| 2 | 60.0 |
| 4 | 30.0 |
| 8 | 15.0 |
| 16 | 7.5 |
TABLE IX: Multi-scene demonstrator scaling (fixed 8-hour budget). Training data are collected across 8 fixed scenes. As the number of training demonstrators increases, the per-demonstrator data duration decreases proportionally to maintain the total budget of 8 hours. Evaluation is conducted on unseen demonstrators within the same 8 scenes. We refer to a demonstrator-scene pair as a DS Pair.
| # Train Demonstrators | Mins / DS Pair |
| 4 | 15.0 |
| 8 | 7.5 |
| 12 | 3.75 |
场景多样性与演示者多样性在塑造人类数据泛化能力方面的互补作用，它们的重要性因任务结构和约束条件的不同而有所差异。
TABLE X: Mixed diversity scaling (fixed 4-hour budget). This table details the distribution of the fixed 4-hour data budget across varying numbers of scenes and demonstrators. Scaling both axes allows for the study of joint environmental and motion diversity effects. Evaluation is conducted on unseen demonstrators and scenes. We denote a demonstrator as D, a scene as S, and a demonstrator-scene pair as a DS pair.
| # S | # D | Mins / D | Mins / S | Mins / DS | Pair |
| 4 | 4 | 60.0 | 60.0 | 15.00 | |
| 5 | 4 | 60.0 | 48.0 | 12.00 | |
| 6 | 4 | 60.0 | 40.0 | 10.00 | |
| 7 | 4 | 60.0 | 34.3 | 8.57 | |
| 8 | 4 | 60.0 | 30.0 | 7.50 | |
| 4 | 8 | 30.0 | 60.0 | 7.50 | |
| 5 | 8 | 30.0 | 48.0 | 6.00 | |
| 6 | 8 | 30.0 | 40.0 | 5.00 | |
| 7 | 8 | 30.0 | 34.3 | 4.29 | |
| 8 | 8 | 30.0 | 30.0 | 3.75 | |
#### L. 隐空间可视化
我们选择UMAP而非t-SNE进行降维，是因为虽然两者都能保留局部邻域结构，但UMAP还能保留一定程度的全局结构。
EgoVerse-I数据集可视化：针对EgoVerse-I数据集的可视化，我们按顺序加载所有训练数据，
TABLE XI: Scene diversity scaling data composition. Total training budget (minutes) for different scene counts and data-usage fractions (relative to 60 min/scene at 100%). We evaluate all models on unseen demonstrators at unseen scenes.
| # Scenes | Data usage fraction |
| 6.25% | 12.5% | 25% | 50% | 100% |
| 1 | 3.75 | 7.5 | 15 | 30 | 60 |
| 2 | 7.5 | 15 | 30 | 60 | 120 |
| 4 | 15 | 30 | 60 | 120 | 240 |
| 8 | 30 | 60 | 120 | 240 | 480 |
| 16 | 60 | 120 | 240 | 480 | 960 |
All values are minutes of recording time for training data.
随后进行均匀采样（每15个数据点选取一个）。这些数据点会被输入到DinoV3 [^45] 大模型中以获取图像嵌入。之后通过UMAP将这些图像嵌入的维度降至2维，我们在图5中展示了可视化结果。
演示者多样性可视化：对于演示者多样性的可视化，我们同样按顺序加载所有训练数据并进行均匀采样（每15个数据点选取一个）。这些数据点会被输入到训练好的HPT模型中。接着我们提取用于约束Flow Matching Action Decoder的64个动作条件化词元，将其展平为一个单一的潜向量。随后对这些潜向量应用UMAP以生成2维向量，我们在图12中展示了可视化结果。