# 具身操控的数据金字塔：综述
叶一凡 $^{*1}$、付彦凯 $^{*1}$、吕耀旭 $^{*1}$、侯博涵 $^{*2}$、岑军 $^{*,\dagger3}$、孔令东 $^{*4}$、郑铎 $^{5}$、陈天行 $^{6}$、刘佳明 $^{1}$、曹子昂 $^{2}$、楼云帆 $^{1}$、周伟 $^{4}$、孙贤 $^{7}$、王英硕 $^{8}$、葛匡志 $^{3}$、迟晓伟 $^{3}$、张希东 $^{9}$、庞志波 $^{1}$、钟一武 $^{1}$、韩思瑞 $^{3}$、卢志和 $^{10}$、袁伟豪 $^{10}$、陈启峰 $^{3}$、Michael Yu Wang $^{9}$、穆瑶 $^{11}$、刘子薇 $^{2}$、杨建飞 $^{2}$、罗平 $^{6}$、张尚航 $^{\dagger1}$
$^{1}$北京大学、$^{2}$南洋理工大学、$^{3}$香港科技大学、$^{4}$新加坡国立大学、$^{5}$香港中文大学、$^{6}$香港大学、$^{7}$杜克大学、$^{8}$加州大学伯克利分校、$^{9}$广东工业大学、$^{10}$南京大学、$^{11}$上海交通大学
$^{*}$贡献同等、$^{\dagger}$项目负责人、$^{\ddagger}$通讯作者
多模态基础模型通过摄取整个互联网的数据学会了“看”与“说”。但具身智能体没有这样的捷径，因为它们需要能将观测结果与物理状态和动作关联起来的数据。这些数据可由多种数据源在不同程度上提供。在本研究中，我们将具身数据生态系统组织为一个涵盖五种互补来源的“金字塔”：¹真实机器人数据、²UMI风格数据、³以眼为中心和以眼为外中心的数据、⁴仿真数据，以及⁵通用视觉-语言数据。我们围绕可扩展性与机器人适配性之间的平衡来构建这一金字塔，并从数据质量、多样性、可复用性和物理保真度等方面对每种来源进行表征。接着，我们透过数据配方这一视角来分析近期出现的具身基础模型，探究预训练过程中不同来源的数据是如何被选择、对齐和混合的。无论是具身大脑模型、视觉-语言-动作模型还是世界-动作模型，我们都将数据构成与其在感知、推理、规划、动作生成和世界预测方面的能力联系起来。最后，我们讨论了六大开放性挑战：构建大规模触觉数据集、收集故障与恢复数据、开发可扩展的数据采集流程、实现不同具身形态间的动作对齐、利用以眼为中心的数据实现灵巧操控，以及为机器人学习设计合理的数据配方。我们希望本研究能为下一代具身系统的设计奠定基础。
项目：具身数据金字塔
GitHub：Awesome Embodied Data Pyramid
日期：2026年8月11日
## 具身数据金字塔
### 数据金字塔的布局（第II–VI节）
仿真 UMI 机器人 以眼为中心 通用
### 发展趋势（第VII节）
Figure 1 Overview of Organization and Scope. This work is organized into three parts. We first introduce the embodied data pyramid, which categorizes data sources into real-robot, UMI-style, egocentric-exocentric, simulation, and general data according to their scalability and robot alignment, and reviews their datasets, collection pipelines, embodiments, sensing configurations, supervision, scale, diversity, and transferability. We then examine how these heterogeneous sources support embodied foundation models. Finally, we discuss future directions in embodied data.
---
## 目录
1 引言 ..... 3
2 真实机器人数据 ..... 7
2.1 数据概览 ..... 7
2.2 本体与模态 ..... 8
2.3 数据收集范式 ..... 10
2.4 规模与多样性 ..... 12
2.5 优势与局限性 ..... 13
3 UMI数据 ..... 14
3.1 数据概览 ..... 14
3.2 UMI数据收集流程 ..... 14
3.3 跨本体部署 ..... 15
3.4 优势与局限性 ..... 16
4 以自我为中心和以外部为中心的数据 ..... 16
4.1 数据概览 ..... 16
4.2 采集基础设施 ..... 17
4.3 监督信息构建 ..... 19
4.4 优势与局限性 ..... 22
5 仿真数据 ..... 22
5.1 数据概览 ..... 22
5.2 仿真基础设施与资产生态系统 ..... 23
5.3 基准测试与仿真数据集 ..... 25
5.4 合成演示生成 ..... 26
5.5 作为仿真器的世界模型 ..... 28
5.6 仿真到现实之间的差距 ..... 28
5.7 优势与局限性 ..... 29
6 通用数据 ..... 29
6.1 数据概览 ..... 29
6.2 视觉-语言数据 ..... 30
6.3 分割与定位数据 ..... 32
6.4 3D数据 ..... 32
6.5 用于任务分解的规划数据 ..... 33
6.6 视频与时序数据 ..... 34
6.7 物理、因果与故障推理数据 ..... 34
6.8 抓取数据 ..... 34
6.9 优势与局限性 ..... 35
7 具身基础模型中的数据应用 ..... 35
7.1 概述 ..... 35
7.2 数据组合与动作表示 ..... 35
7.3 在具身大脑中的应用 ..... 38
7.4 在视觉-语言-动作模型中的应用 ..... 39
7.5 在世界动作模型中的应用 ..... 41
8 挑战与未来方向 ..... 43
8.1 用于接触丰富的机器人学习的触觉数据 ..... 43
8.2 故障数据与以恢复为中心的机器人学习 ..... 43
8.3 在金字塔各层级上实现可扩展的数据收集 ..... 44
8.4 跨本体的状态-动作对齐 ..... 44
8.5 用于灵巧手策略学习的以自我为中心的先验知识 ..... 45
8.6 数据配方 ..... 45
9 结论 ..... 45
---
## 1 引言
多模态基础模型主要通过利用大量视觉和语言数据进行预训练，从而获得了广泛的感知、语言和推理能力 [^24] [^88]。将这一范式扩展到具身基础模型时，仅具备处理视觉和语言输入的能力是不够的。具身智能体还必须理解物理状态与动力学，能够推理动作如何改变环境，并在物理世界中执行恰当的行为 [^20] [^23] [^174] [^258]。这些要求从根本上改变了预训练所需的监督形式，也引出了一个核心问题：
训练具备上述能力的具身基础模型时，应当使用何种数据？
学界已经探索了多种互补的具身基础模型监督来源。这些来源包括从真实机器人和仿真环境中采集的观察-动作轨迹、以自我为中心和以外部为中心的人类交互记录、通用的图像、视频、语言和视觉-语言数据，以及最近出现的UMI式演示——这类演示能在采集过程中无需机器人参与，即可捕捉以物体和末端执行器为中心的操作过程 [^23] [^24] [^26] [^62] [^119] [^359]。每种来源都提供了不同形式的语义、时序、物理及动作相关监督信息。然而，它们各自的作用、权衡关系、相互关联以及整合策略尚未得到系统性的梳理。
近期出现的几款具身基础模型，包括Motus [^18]和GR00T [^20]，都采用了分层或金字塔式的训练数据视图，以推动对异构数据源的利用。这类设计通常围绕特定模型的训练方案展开，对于不同数据类别在采集可扩展性、具身依赖性、物理保真度、可迁移性以及下游应用价值方面的差异，却缺乏深入分析。现有的综述性研究也往往侧重于模型架构或特定子问题，比如视觉-语言-动作模型 [^446]、世界-动作模型 [^141]以及世界建模 [^177]。因此，具身数据生态系统尚未在类别层面得到系统性的梳理，从数据中心视角出发对具身基础模型使用异构数据的情况进行综合分析的工作也尚付阙如。
为了系统地回答这一问题，我们将具身数据问题归结为两个核心问题：
• “尽管异构具身数据源在可扩展性、机器人适配性、物理保真度和可迁移性方面存在差异，但该如何采集、组织、比较并整合这些数据源呢？”
• “具身基础模型又该如何有效地挑选、组合并利用这些异构数据源呢？”
为探究第一个问题，我们将现有的具身数据生态系统整理为面向机器人技术与具身智能的数据金字塔。该金字塔的构建遵循两项互补的设计原则。其一是可扩展性，它关乎某一数据源在硬件依赖、人力投入、环境重置、安全监管以及边际生成成本等方面的扩展效率。其二是机器人适配性，它关乎该数据源所提供的观测、表征和监督信号在支持物理机器人学习与执行方面的直接程度。
这两项原则往往存在矛盾：与真实机器人执行高度对齐的数据通常成本高昂且难以规模化，而具备高可扩展性的数据对物理交互提供的监督可能只是间接且不完美的。例如，一旦构建了所需的资产、任务和生成流程，仿真环境就能持续生成面向机器人的运动轨迹，但其实用性仍受限于仿真系统与真实物理系统之间的偏差 [^67] [^144] [^202] [^262] [^332] [^359]。
除了这两项主要组织原则外，我们还引入了四个互补的类别级维度，用以刻画不同数据源的更广泛实用价值。质量维度涉及所采集经验的有效性、一致性、信息量和任务相关性；如果运动轨迹重复、标注不准确、信号同步性差或采集条件存在系统性偏差，单纯增加数据量所能带来的益处十分有限 [^211]。多样性维度体现在任务、物体、场景、视角、指令、具身形式、传感配置、行为及结果等方面的覆盖程度，它对模型在分布偏移情况下的鲁棒性至关重要 [^64] [^113]。如图4所示，代表性数据集在交互轨迹、观测视角、任务阶段等方面的分布存在显著差异。
---
Figure 2 Evolution of Data Scale. Evolution of data scale across the embodied data pyramid. From left to right, we select a subset of representative datasets from simulation data, UMI data, robot data, ego data, and general data to visualize their chronological scale growth. Simulation, UMI, and robot datasets are measured by the number of demonstrations, ego datasets by the number of collected hours, and general datasets by the number of question-answer pairs. The inset curves summarize the scale evolution of selected datasets within the corresponding data categories.
以及操作环境。可复用性体现了数据在任务、环境、实体、传感系统和模型系列之间传输的便捷程度。例如，以物体或末端执行器为中心的演示可以重新应用于更灵巧的实体 [^62] [^303]；而以自我为中心的视频则为手-物交互、可操作性理解以及任务分解提供了可复用的监督信息 [^118] [^119] [^171] [^325] [^391]。最后，物理保真度指的是某一类数据捕捉真实交互动态和反馈的准确程度，包括接触、摩擦、柔顺性、传感噪声、驱动延迟以及物体运动。这四个维度与可扩展性和机器人对齐性相辅相成，它们共同说明了一个数据源不仅规模庞大且与机器人相关，还具备信息丰富、多样性强、可迁移性强以及物理意义明确等特点。
综合来看，这六个维度为我们按类别组织具身数据生态系统提供了依据。从顶层到底层，我们将这五种类别依次排列为真实机器人数据、UMI风格数据（通用操控接口）、以自我为中心及以外为中心的数据、仿真数据以及通用数据。这种排序反映了从更强的物理基础以及更直接可执行的机器人监督，向更高的可访问性和可扩展性过渡的整体趋势。
因此，沿着金字塔向下便是一次系统的权衡。真实机器人数据位于顶端，因为其记录的动作可直接在生成它们的平台上执行，但这种高保真度是以硬件成本、人力投入以及重置工作为代价的 [^24] [^26] [^64] [^347]。下方的每一层都会为了扩大覆盖范围而放宽部分约束：UMI风格的装置将机器人排除在采集流程之外，同时保留末端执行器的监督信息 [^62] [^218] [^224] [^303] [^441]；人类录制的数据则省去了夹持器，但保留了真实的物理环境和日常多样性 [^118] [^119] [^148] [^171] [^237] [^391]；仿真数据恢复了可执行动作和特权标签，但对物理规律的模拟仍存在近似性 [^67] [^144] [^202] [^262] [^332] [^359]；而通用数据则完全放弃了与机器人的关联，转而追求网络规模的语义和推理覆盖能力 [^23] [^74]。下方的卡片总结了每一层的特点，这种排序是对六个维度的综合体现，而非单纯沿某个单一属性的单调递进。
## 数据金字塔概览
金字塔由两个主要轴线构成。可扩展性衡量的是数据源扩展的效率，而机器人对齐性则反映其直接支持在实体机器人上学习和执行的程度。这两个轴线往往存在矛盾。质量、多样性、可复用性和物理保真度进一步刻画了每一层的实用价值与局限性。
---
## 类型1：真实机器人数据
真实机器人
在目标机器人上通过遥操作或脚本生成的轨迹，记录了观测结果、状态、动作以及最终结果，形成一个闭环系统。没有比这更直接可执行的了，但成本也最高：每小时的运行都需要硬件、操作员以及重置工作。
## 类型2：UMI风格数据
## UMI
这些演示是通过手持式夹持器采集的，这类夹持器能在没有机器人参与的情况下记录末端执行器的运动，从而让数据采集能够扩展到日常环境中。夹持器的监督机制能够适应这种转变；但关节级本体感知却无法做到这一点，因此仍需进行重新定位。
## 类型3：以自我为中心/以外界为中心的数据
以自我为中心
这类数据包含人们活动时的第一人称和第三人称录像，具备真实的物理特性、灵巧的手部动作，以及可穿戴设备所能捕捉到的日常场景多样性。由于不涉及机器人，因此必须跨越人机差异对动作进行重构和重新定位。
## 类型4：仿真数据
## 仿真
这类交互数据是在物理引擎中生成的，能同时输出可执行动作以及接触状态、姿态和成功信号等特权标签，且生成成本极低。但它无法提供其所模拟的物理规律本身。
## 类型5：通用数据
通用
这类数据包括网络规模的图像、视频、语言和视觉-语言语料库，其所包含的语义、空间结构和常识远超任何机器人数据集。它们主要用于支撑感知与推理，而非动作生成，更谈不上涉及接触或后果相关的内容。
数据金字塔为具身数据生态系统提供了静态的类别级组织结构。除了这一分类外，我们还进一步研究了各类数据的规模随时间的变化情况。如图2所示，真实机器人数据、UMI风格数据、以自我为中心/以外界为中心的数据、仿真数据以及通用数据均随时间不断扩展，每一类都呈现出强劲的增长趋势。
我们进一步从数据中心视角分析了具身基础模型。如图3所示，我们考察了代表性具身基础模型预训练过程中所使用的数据源。研究结果表明，早期训练主要依赖真实机器人轨迹，如今已逐渐转向由真实机器人数据、仿真数据、通用数据、以自我为中心的数据以及较少使用的UMI风格数据构成的多样化混合体。表7提供了所涵盖模型及其数据构成的更全面总结。
在记录这些数据构成的基础上，我们从动作空间对齐和几何对齐两个角度，分析了具身基础模型如何适配异构数据集。前者涉及模型如何协调不同机器人实体在动作维度、控制接口和动作语义上的差异；后者则涉及如何将来自不同视角、坐标系和实体所采集的观测数据与演示映射到机器人可识别的表示形式。随后，我们研究了三个代表性模型家族如何利用数据金字塔的不同层级：具身大脑模型主要利用广泛的多模态和具身数据来支持感知、时空推理、可供性理解、记忆以及高层规划 [^74] [^158] [^258]；视觉-语言-动作模型需要机器人兼容的动作监督，才能将观测和指令映射为可执行行为 [^20] [^23] [^174]；世界动作模型则进一步利用无动作的时间数据、动作条件化交互以及合成经验，来建模环境演变和动作后果——
---
Figure 3 Evolution of Data Utilization. Evolution of data utilization in representative embodied foundation models. Early systems primarily rely on real-robot trajectories, whereas recent systems increasingly explore co-training with real-robot, egocentric, simulation, general, and UMI-style data. The architectural landscape also expands from action-centric VLA systems toward world-model-augmented and unified world-action models. Data sources are indicated by real-robot data, egocentric data, UMI data, simulation data, and general data.
序列 [^3] [^8] [^36] [^109] [^141]。本分析将异构训练数据的组成与对齐方式，与其在不同具身基础模型架构中的角色联系起来。
最后，我们围绕三个问题梳理了具身数据领域的关键挑战与未来方向：应该收集什么、如何收集以及如何利用这些数据。首先，未来的数据集应更好地涵盖目前仍较为稀缺的交互信号，尤其是失败与恢复轨迹 [^21] [^70] [^235]，以及能够捕捉接触状态、作用力、材料属性和精细交互动态的触觉反馈 [^232] [^387] [^444]。其次，数据采集流程应减少对成本高昂的人工遥操作方式的依赖，拓宽任务与环境覆盖范围，并自适应地优先处理那些代表性不足或信息量丰富的交互数据 [^24] [^26] [^62]。第三，应更系统地利用异构数据，包括对齐不同具身形式下的动作表征、确定来自不同层级的数据的有效混合比例，以及将人类交互经验迁移到机器人操控中 [^20] [^64] [^171] [^303] [^391]。
总体而言，本研究通过数据金字塔分类法对具身数据生态系统进行了梳理，回顾了各类数据的构建与采集过程，并探讨了具身基础模型如何利用异构数据源。
本研究的主要贡献可总结如下。
- 一种以可扩展性和机器人对齐为导向的数据金字塔分类法。我们将具身人工智能数据划分为五个互补的类别，从顶端到底部依次为：真实机器人数据、UMI风格数据、以自我为中心和以外部为中心的数据、仿真数据以及通用数据。我们从质量、多样性、可复用性、物理保真度、采集可扩展性以及与实体机器人学习的对齐程度等方面对每个类别进行了描述。为了支持相关研究社区，我们还发布并维护了一个开源仓库，用于整理符合该分类法的代表性数据集及相关资源。
---
Figure 4 Visualization of action-trajectory diversity across representative datasets. Key action frames are extracted using a heuristic procedure following PerAct [^314]. Under comparable initial configurations, the spatial distribution of grasping and interaction keyframes provides a proxy for the diversity of demonstrated trajectories. Human-hand trajectories are processed with an analogous heuristic to extract corresponding hand keyframes.
- 针对具身基础模型的数据中心分析。我们研究了异构数据源如何支撑具身视觉-语言模型、视觉-语言-动作模型以及世界动作模型。我们的分析将数据集的属性（包括语义覆盖度、时间结构、动作监督、具身对齐、多样性和物理保真度）与模型能力（如感知、推理、规划、动作生成和世界预测）联系起来。
- 对开放性挑战与未来方向的探讨。我们指出了具身数据领域的关键挑战，包括质量与多样性评估、跨具身形式的数据复用、多模态标准化、可扩展的真实世界数据采集、从人类到机器人以及从仿真到现实的迁移、失败与恢复数据的整理，以及异构数据源的整合与评估。我们还进一步讨论了构建更通用、更鲁棒、可复用且基于物理规律的具身智能体的机遇。
## 2 真实机器人数据
### 2.1 数据概述
真实机器人数据位于具身智能数据金字塔的顶端，代表了最接近现实世界执行层的数据。它是通过机器人与环境之间的物理交互收集而来的，通常包括感官观测、机器人状态以及控制动作。与人类视频或脱离具体形态的演示数据不同，它直接捕捉了在特定机器人形态下感知、动作与物理结果之间的闭环关系。因此，这类数据具有高质量、高物理保真度、多样性和可复用性等特点，是学习可执行操控策略以及让模型预测与现实世界动态相契合的最直接监督来源。
真实机器人数据集的发展，已经从孤立的、特定任务导向的集合，逐步演变为越来越通用且可复用的数据资源，如表1所示。早期的研究主要聚焦于针对少量行为的大量试验，比如机器人抓取任务，这些数据往往是在受控环境中通过预设控制器收集的 [^169] [^275]。后续的数据集进一步扩展到涵盖更广泛任务集和更多样化场景的人为操作演示 [^91] [^173] [^248] [^308]。最近的研究更是进一步扩大了数据收集的范围，涉及不同机构、机器人平台和应用领域 [^64] [^142] [^366] [^372]，其中还纳入了
---
Figure 5 Overview of UMI data and real-robot data. Left: UMI data are collected with portable human-operated interfaces, emphasizing robot-free in-the-wild demonstrations, multimodal sensing, and relative end-effector trajectories. Right: real-robot data are collected on physical robot embodiments with diverse teleoperation systems, sensing modalities, and collection paradigms. Retargeting connects the two by transferring UMI demonstrations to executable robot actions for cross-embodiment deployment.
双臂系统 [^98] [^335]、移动操纵器 [^103]、人形机器人 [^294] [^440] 以及灵巧手 [^203] [^435]。这一发展进程反映了从为单个策略收集数据，向构建用于训练通用机器人模型的大规模数据生态系统转变的趋势。
### 2.2 具身形态与模态
真实机器人数据集在收集交互数据时所采用的物理形态存在显著差异。早期的数据集主要以固定基座的单臂操纵器为主，这类操纵器通常配备平行夹爪，比如Pinto和Gupta、QT-Opt以及RoboNet等大规模抓取与操控数据集就是典型代表 [^75] [^169] [^275]。这种配置提供的动作空间相对受限，便于开展规模化数据收集，但仅能覆盖有限的全身体协调操控行为。后续的数据集越来越多地纳入用于协同及双臂操控的双臂系统 [^257] [^438] [^439]，能够同时控制基座和上身的移动操纵器 [^103] [^162]，以及涉及全身运动与行走的人形平台 [^102] [^132] [^440]。最近的研究进一步将数据收集范围拓展到灵巧手和异构机器人集群，从而能够开展精细的富接触操控以及跨具身形态学习研究 [^142] [^372] [^435]。
另一个值得注意的趋势是真实机器人数据集中传感模态的日益丰富。除了常规的视觉-本体感知-动作接口外，一些数据集还引入了额外的信号，以捕捉仅靠图像无法可靠推断出的物理交互细节。触觉传感已成为接触频繁且操作精细的任务中的重要补充模态，它能提供关于接触位置、压力分布、初期滑移、抓取稳定性等方面的局部表面级信息。
---
Table 1 Statistics and key properties of real-robot manipulation datasets. “Embod.” denotes the number of distinct embodiment types; “Calib.” denotes calibrated camera extrinsics. “Dex.” denotes dexterous-hand data. “Anno.” denotes subtask labels within episodes; “Mobile” denotes mobile manipulation data. In the “Arm” column, ‘S’, ‘D’, ‘H’ denote single-arm, dual-arm, and Humanoid embodiments.
| Dataset | Time | Arm | Embod. | Traj. / Hours | Tasks | Modality | Calib. Dex. | Anno. Mobile |
| Pinto and Gupta [^275] | 2015 | S | 1 | 50K / 700 | 1 | RGB; Proprio.; Act.; Grasp Succ. | x | x |
| DAML [^407] | 2018 | S | 2 | 2.9K / 4.08 | 3 | RGB; Proprio.; Act. | x | x |
| MIME [^308] | 2018 | S/D | 1 | 8.3K / 13.7 | 20 | RGB-D; Proprio. | x | x |
| QT-Opt [^169] | 2018 | S | 1 | 580k / 800 | 1 | RGB; Proprio.; Act.; Grasp Succ. | x | x |
| RoboTurk [^248] | 2018 | S | 3 | 2.1K / 111.3 | 3 | RGB-D; Proprio.; | x | x |
| RoboNet [^75] | 2019 | S | 7 | 162k / 833.3 | - | RGB; Proprio.; Act. | x | x |
| MT-Opt [^170] | 2021 | S | 1 | 800k / - | 12 | RGB; Proprio.; Act. | x | x |
| BridgeData [^91] | 2021 | S | 1 | 7.2k / - | 71 | RGB; Proprio.; Act. | x | x |
| BC-Z [^154] | 2022 | S | 1 | 26K / 125 | 100 | RGB; Proprio.; Act.; Lang. | x | x |
| RT-1 [^24] | 2022 | S | 1 | 130K / - | 700+ | RGB; Proprio.; Act.; Lang. | x | x |
| FurnitureBench [^134] | 2023 | S | 1 | 5.1K / 219.6 | 9 | RGB-D; Proprio.; Act. | x | x |
| RH20T [^95] | 2023 | S | 4 | 110K / - | 147 | RGB-D; Proprio.; Act.; Lang.; Tactile; Force; Audio | ✓ | x |
| RoboSet [^16] | 2023 | S | 1 | 98.5K / - | 48 | RGB-D; Proprio.; Act.; Lang.; Force; Torque | x | x |
| BridgeData V2 [^347] | 2023 | S | 1 | 60.1K / - | 13 | RGB; Proprio.; Act.; Lang. | x | x |
| Open X-Embodiment [^64] | 2023 | S/D | 22 | 2.4M / - | 527 | RGB-D; Proprio.; Act.; Lang.; Force | x | x |
| ALOHA Unleashed [^439] | 2024 | D | 1 | 26.2K / - | 5 | RGB; Proprio.; Act. | x | x |
| DROID [^173] | 2024 | S | 1 | 76K / 350 | 86 | RGB; Proprio.; Act.; Lang. | ✓ | x |
| EgoMimic [^171] | 2024 | D | 1 | 1K / 12 | 3 | RGB; Proprio.; Act. | ✓ | x |
| FMB dataset [^240] | 2024 | S | 1 | 22.6K / - | 2 | RGB-D; Proprio.; Act.; Force; Torque | x | x |
| RoboMIND [^366] | 2024 | S/D | 4 | 107K / 305.5 | 479 | RGB; Proprio.; Act.; Lang.; Fail. labels | ✓ | ✓ |
| AgiBot World Beta [^26] | 2025 | D | 1 | 1M / 2976.4 | 217 | RGB-D; Proprio.; Act.; Lang.; Force | ✓ | ✓ |
| REASSEMBLE [^323] | 2025 | S | 1 | 4.6K / 13.02 | 121 | RGB; Proprio.; Act.; Audio; Force; Torque | ✓ | x |
| PH2D [^283] | 2025 | H | 1 | 1.6K / - | - | RGB; Proprio.; Act.; Lang. | x | ✓ |
| AIST-Bimanual [^257] | 2025 | D | 1 | 10.7K / - | 119 | RGB; Proprio.; Act.; Lang. | x | x |
| ActionNet [^98] | 2025 | H | 3 | 30K / 140 | - | RGB-D; Proprio.; Act.; Lang. | x | ✓ |
| MotionTrans [^411] | 2025 | S | 1 | 1.5K / - | 15 | RGB; Proprio.; Act.; Lang. | x | ✓ |
| Open Galaxea [^162] | 2025 | D | 1 | 20.5K / 500 | 150 | RGB-D; Proprio.; Act.; Lang. | x | x |
| RealSource World [^292] | 2025 | D | 1 | 26.7K / - | 35 | RGB; Proprio.; Act.; Lang.; Force; Torque | ✓ | x |
| RoboCOIN [^372] | 2025 | D | 15 | 180K / - | 421 | RGB-D; Proprio.; Act.; Lang. | x | ✓ |
| Humanoid Everyday [^440] | 2025 | H | 2 | 10.3k / 27.8+ | 260 | RGB-D; Proprio.; Lang.; Tactile; LiDAR; IMU; Odometry | x | ✓ |
| RoboMIND 2.0 [^142] | 2026 | S/D | 6 | 310K / 1000+ | 739 | RGB-D; Proprio.; Act.; Lang.; Tactile; Force; Torque; Fail. labels | ✓ | ✓ |
| DECO-50 [^203] | 2026 | D | 1 | 8K / 50+ | 28 | RGB; Proprio.; Act.; Tactile | x | ✓ |
| Dexora [^435] | 2026 | D | 1 | 12.2K / 40.5 | 200 | RGB; Proprio.; Act.; Lang. | x | ✓ |
| MolmoAct2-BimanualYAM [^97] | 2026 | D | 1 | 34.5K / 720 | 736 | RGB; Proprio.; Act.; Lang. | x | x |
| MolmoAct2-SO100/101 [^97] | 2026 | S | 2 | 38K / 184 | 1315 | RGB; Proprio.; Act.; Lang. | x | x |
| AgiBot World 2026 [^335] | 2026 | D | 1 | 20.7K / - | - | RGB-D; Proprio.; Act.; Lang.; Tactile | ✓ | ✓ |
| Unitree UnifoLM-WBT [^294] | 2026 | H | 1 | 4.5K / 30.74 | 14 | RGB; Proprio.; Act.; Lang. | x | ✓ |
| Open-H-Embodiment [^264] | 2026 | S/D | 20 | 125.8K / 780 | 33 | RGB; Proprio.; Lang. | x | x |
| Baihu-VTouch [^145] | 2026 | S/D | 3 | - / 1000+ | 380+ | RGB-D; Proprio.; Act.; Lang.; Tactile | x | ✓ |
| LET-Base-Dataset [^186] | 2026 | H | 2 | 91.5K / 1000+ | 31 | RGB-D; Proprio.; Lang.; IMU | x | ✓ |
| LET-Dex-Dataset | 2026 | H | 1 | 3K / 20 | 14 | RGB-D; Proprio.; Lang.; Tactile; Force; Torque; IMU | x | ✓ |
| Haptile [^4] | 2026 | S | 1 | 1.7K / 12.5 | 38 | RGB; Proprio.; Act.; Lang.; Tactile | x | x |
| OmniViTac [^444] | 2026 | S | 1 | 21.9K / - | 86 | RGB-D; Proprio.; Act.; Lang.; Tactile | x | x |
| ABC-130K [^5] | 2026 | D | 1 | 130.7K / 3591 | 197 | RGB; Proprio.; Act.; Lang.; Torque | x | x |
物体与手的交互状态 [^4] [^95] [^142] [^203] [^440] [^444]。相比之下，力和力矩测量通常用来表征腕部、夹爪或机器人关节处的整体交互力矩，能提供更宏观的接触力与交互动力学视角 [^95] [^240] [^323]。音频还能进一步提供关于碰撞、摩擦和任务进展的补充线索 [^95] [^323]。全身式平台还可能包含惯性测量单元、激光雷达和里程计信号，用于描述平衡、移动和空间导航情况 [^186] [^440]。这些更丰富的多模态观测数据不仅能实现对机器人与环境交互更全面的描述，还会增加不同数据集之间的异质性。
不同形态的机器人，其本体感知与动作表示也存在显著差异。固定基座机械臂通常会记录关节位置（qpos），即表示为有序的关节坐标向量，或是末端执行器
---
（EEF）位姿，也就是腕部或工具的笛卡尔位置和朝向，以及夹爪状态。相应地，动作通常也用关节空间或笛卡尔末端的EEF空间来表示 [^16] [^64] [^75] [^91] [^95] [^134]。由于灵巧手具有高维度的关节结构，其通常表示方式为手指关节位置 [^203] [^366] [^372] [^435]，有时会辅以指尖位姿，以便与人类数据对齐 [^101] [^391] [^443]。移动式和人形机器人平台还会纳入基座速度、躯干姿态和全身关节状态等信息 [^103] [^142] [^294] [^440]。
这些差异不仅会影响学习问题的维度，还会影响数据在不同平台间的共享程度。关节空间的表示方式能为关节型灵巧手提供直接且精确的控制，但与机器人的形态紧密相关。相比之下，以末端执行器为中心的表示方式能为不同形态的机械臂运动提供更具可迁移性的接口，不过仍需要统一的坐标系和控制规范。在策略学习中，本体感知状态和动作通常会经过归一化处理，以维持合适的数值尺度，便于在不同形态间进行学习。常见的归一化方法包括MinMax、Q01-Q99和MeanStd归一化 [^377]。
### 2.3 数据采集范式
#### 2.3.1 脚本
脚本化采集泛指那些无需持续人工干预即可执行机器人行为的数据生成过程。人类无需手动控制每个执行环节，而是将精力集中在任务逻辑、控制流程及执行条件的设计上。这种系统设计与单步执行之间的分离，使得以较低的边际成本进行重复且并行的数据采集成为可能。根据机器人动作的生成方式，脚本化采集大致可分为基于规则的执行、轨迹回放以及自主策略展开三类。
基于规则的执行。在基于规则的采集方式中，机器人行为是通过人工指定的任务逻辑生成的，这些逻辑通常表现为动作序列、有限状态机或启发式控制器。一项任务往往被拆解为预定义的阶段，例如检测目标、选择交互姿态、接近目标、执行抓取操作，以及将物体搬运至指定区域。在此流程中，逆运动学、运动规划及轨迹优化技术可将各阶段目标转化为符合运动学要求且无碰撞的机器人动作；而视觉观测或传感器阈值则用于确定目标姿态并触发阶段间的转换。早期的大规模抓取数据集便采用了此类结构化流程来执行重复的抓取尝试，并自动记录成功或失败的交互结果 [^75] [^275] [^355]。对于目标明确、工作空间结构化且具备可靠重置机制的任务而言，基于规则的执行方式尤为有效。不过，由于任务分解与运动生成过程均依赖于预先设定的假设，所采集的行为可能多样性有限，且难以泛化到未曾预料的状态或复杂的接触交互场景中。
轨迹回放。轨迹回放通过重新执行先前记录的机器人动作来采集数据。这些源轨迹可能源自人类遥操作、动觉示教、运动规划或此前的策略展开过程。在回放过程中，机器人能够在不同的物体配置或环境条件下重现演示内容；同时也可在初始状态、轨迹或控制参数中引入扰动以增加数据多样性。这种方式既减少了对反复人工操作的需求，又能保留成功演示的整体结构。例如，RoboSet便结合了人类收集的演示数据与基于回放的执行方式，以此拓展其真实机器人经验 [^16]。不过，回放方式对原始环境与当前环境之间的差异较为敏感：一旦物体位置或接触条件发生显著变化，开环再现便可能失败。因此，为了实现可靠的再利用，往往需要进行闭环修正与重新规划。
自主策略展开。一种更具适应性的自动化采集方式是利用学习得到的或启发式的策略来与环境交互并生成新轨迹。这类策略可通过强化学习、模仿学习或此前的数据采集过程获得，且随着更多经验的积累可不断迭代优化。QT-Opt [^169] 和 MT-Opt [^170] 等大规模系统便利用自主展开方式来在重复的任务执行中采集交互数据，从而通过持续的数据生成循环推动数据集与策略的改进。RoboSet [^16] 同样将启发式策略展开与人类演示、轨迹回放相结合。与固定脚本相比，自主
---
Rollout可以响应观测结果，并覆盖更广泛的状态，包括策略失效和恢复行为。然而，它们的数据分布深受当前策略的能力和探索策略的影响，这可能会强化现有偏差或产生大量低质量的轨迹。
#### 2.3.2 遥操作
遥操作通过允许人类操作员在任务执行期间持续控制机器人来收集演示数据。与脚本化采集方式相比，它能更自然地捕捉到自适应、目标导向且涉及频繁接触的行为，尤其是在尚未有合适控制策略的任务中。如图5所示，遥操作系统具有多种配置形式。
动觉示教。动觉示教提供了最直接的人类控制方式：操作员通过物理方式引导机器人手臂或末端执行器完成期望的运动，同时系统会记录关节状态、末端执行器姿态以及夹持器指令。这种方法无需额外的接口硬件，操作员可通过直接物理交互指定精确的轨迹，MIME数据集[^308]便体现了这一点。它特别适用于固定基座的机械臂以及需要精确几何引导的任务。不过，物理操控机器人会给操作员带来较大负担，且该方法难以应用于高负载系统、移动平台或复杂的全身型机器人。
主从遥操作。主从系统采用专用的输入装置，其运动会被映射到从机器人上。当主从机器人的运动结构相同或高度相似时，关节级的对应关系能提供更直观且精准的控制界面。这种范式已被广泛应用于双臂操控领域，例如ALOHA及其后续扩展版本[^438] [^439]，以及更大的双臂数据集如AIST-Bimanual [^257]和Open Galaxea [^162]。GELLO [^371]进一步证明，主控制器可以设计成目标机械臂的低成本、按比例缩小且运动学等效的复制品，仅需使用3D打印部件和廉价执行器，同时仍能保持直接的关节级对应关系。主从控制非常适合协调的双臂行为，因为它能保持双臂间的时间同步并降低笛卡尔控制的复杂度。其主要局限在于对专用且往往特定于机器人形态的硬件的依赖，这会限制其在不同机器人平台间的移植性。
集成式主从遥操作。集成式主从遥操作将输入设备与受控机器人整合在同一机械结构中：操作员通过末端执行器手柄来操控一个具备重力补偿功能的机械臂，同时系统会记录机器人的状态、视觉观测数据以及交互信号。这种方法能提供直接的视觉与力反馈，支持精细的接触式操作，还能避免单独设置主控臂所带来的运动学映射误差。省去专用的主控设备还能减少硬件、校准和工作空间方面的要求。一个典型的实际应用案例是ARX AC-One，它近期已被用作双臂操作研究的真实平台 [^18] [^28]。其主要缺点是训练图像中可能会出现操作员的手部，但在自主部署时却不存在，从而导致视觉分布偏移。不过，现有的人机交互[^391] [^443]迁移研究证据表明，模型能够在预训练阶段学会适应此类差异。
设备介导的遥操作。一种更便携的方案是使用通用输入设备，包括VR或XR控制器、智能手机、SpaceMouse设备和操纵杆。人类的操作输入通常被解读为笛卡尔坐标系下的末端执行器位姿或速度，随后通过逆运动学或底层控制器转换为机器人的关节指令。例如，RoboTurk [^248]利用移动设备实现六自由度控制，而DROID [^173]则借助VR控制器在不同环境中采集操作演示数据。SpaceMouse和触觉设备也已被用于FMB [^240]和REASSEMBLE [^323]等数据集中。对于移动操纵器而言，脚踏板可提供一个额外的免手持控制通道，用于指挥基座运动，使操作员能在保持双手可用于机械臂操作的同时导航平台。由于这些设备在很大程度上独立于机器人的形态，因此只需进行有限的硬件改造即可应用于不同的操纵器。不过，其间接控制接口可能会引入延迟、比例模糊以及精度下降等问题，尤其是在需要协调、高维度或接触密集的任务中更是如此。
基于视觉的遥操作。基于视觉的系统能够直接从RGB图像中推断出人体、手臂或手部的运动。
---
基于RGB-D观测数据，无需物理标记或专用可穿戴传感器。所估算出的位姿随后会被映射到机器人上，同时兼顾运动学可行性与关节约束。这类方法既能支持全身人形机器人控制，也能实现灵巧手遥操作。例如，HumanPlus [^102]可将单目相机估算出的人体运动转移至人形机器人，而DexPilot [^130]和Anyteleop [^281]则将视觉估算出的人手运动映射至灵巧机器人手上。通过减少对专用传感硬件的需求，基于视觉的遥操作提供了一种低成本且易于使用的界面，不过其性能仍易受遮挡、快速运动以及姿态估算误差的影响。
可穿戴设备与动作捕捉重定向。可穿戴系统利用惯性服、光学追踪器、数据手套或手臂和手部外骨骼等设备来捕捉人体动作。相较于普通控制器，这些接口能够提供维度更高且更稳定的动作测量数据，因此特别适用于双手操作、精细操作以及全身遥操作。RoboMIND [^142] [^366] 整合了包括动作捕捉系统在内的多种遥操作接口，以收集不同机器人形态下的数据；而RoboCOIN [^372] 则将可穿戴控制技术扩展至大量双臂平台。在精细操作方面，诸如Dexora [^435] 之类的系统会利用手臂外骨骼和基于VR的手部控制技术来捕捉手臂与手指的协调动作。全身遥操作系统会将人体的上半身动作、行走动作及基座运动映射到类人机器人上 [^294] [^440]。所需的映射方式取决于传感接口以及人体与机器人形态之间的匹配程度。基于外骨骼的系统通常能提供直接的关节级控制，而数据手套和动作捕捉设备则通常需要经过校准和运动学重定向处理，以弥补两者在尺度、关节活动范围及形态上的差异。
反馈机制。反馈机制是遥操作系统设计的另一个重要维度。视觉反馈通过外部或自中心摄像头向操作员提供关于环境、物体及机器人状态的观测信息。沉浸式系统还会采用立体显示器和头部追踪的主动视角来增强深度感知与空间意识 [^59] [^86]。力反馈通过双向操控装置、触觉控制器或外骨骼，将机器人的交互力或末端执行器阻力传递给操作员，从而能够在插入、装配及其他对力有要求的任务中更精确地调节接触情况 [^323] [^421]。触觉反馈则在手指或抓握界面处传递局部接触事件信息，例如通过振动、压力或指尖刺激来实现，帮助操作员感知接触起始点并调整抓握行为 [^4] [^86] [^421]。这些反馈通道的整合能够提升遥操作的精度、稳定性及操作员的环境感知能力，从而实现更自然的控制并获得更高质量的演示，尤其是在接触密集型任务中。
#### 2.3.3 人在回路增强
人在回路增强是一种迭代式的真实机器人数据采集模式：在策略执行过程中，人类监督员会进行干预，并在难以处理或易出错的状态下来记录纠正措施。这种方式并非重复采集完整的演示数据，而是有选择地将策略导致的状态、故障案例以及恢复轨迹补充到数据集中，这些数据在原始训练数据中往往占比不足。
遵循DAgger提出的数据集聚合原则[^297]，机器人学习方法在效率和可扩展性方面逐步取得了进步。干预加权回归[^249]通过远程遥操作收集纠正性演示，并在训练过程中提升它们的贡献度。ThriftyDAgger[^135]会根据状态的新颖性和预估的失败风险来选择性地请求协助，而Sirius[^220]则会持续整合机器人部署期间收集的干预数据。Fleet-DAgger[^136]将这种数据收集过程扩展到了多台同时运行的机器人上。在灵巧操控领域，DexCap[^348]会记录策略执行过程中的人类接管操作和残余修正动作。随后，IntervenGen[^137]通过从少量人类干预中生成额外的纠正轨迹来提高数据效率。最近，CR-DAgger[^385]能够在不完全中断自主执行的情况下，为接触丰富的操控任务收集符合要求的增量动作修正数据。总体而言，人机协作式的增强机制能够将真实机器人部署过程中出现的错误转化为有针对性的训练数据，既拓宽了难处理状态的覆盖范围，又减少了对完整轨迹演示的需求。
### 2.4 规模与多样性
过去十年间，真实机器人数据的规模有了显著提升。早期的数据集往往是在定义狭窄的任务分布内积累大量交互数据。例如，Pinto和Gupta[^275]
---
以及QT-Opt[^169]分别收集了数万到数十万次抓取试验数据，但主要聚焦于单一行为模式。后续的 연구进一步增加了轨迹的数量并拓宽了任务范围。MT-Opt[^170]包含了涵盖12个任务的约80万个片段，而RT-1[^24]和RoboMIND[^366]则分别覆盖了数百种操控技能，对应的轨迹数分别为13万条和10.7万条。更近期的数据集已达到百万级的数据量或数千小时的交互时长。AgiBot World Beta[^26]记录了100万条轨迹和近3000小时的数据，RoboMIND 2.0[^142]则包含739个任务中的超过31万条轨迹以及超过1000小时的执行数据。像Open X-Embodiment[^64]这样的跨数据集项目更是汇总了来自多个机构和机器人平台的超过200万条轨迹。
在策略学习方面，数据的多样性往往比轨迹数量本身更为重要，因为它决定了训练过程中所涵盖的状态、行为以及交互条件的范围。因此，近期真实机器人数据集的一个明显趋势是任务覆盖范围的扩大：从抓取或装配等定义狭窄的行为，扩展到涵盖数百种家庭、工业、移动操控及灵巧操作任务 [^97] [^142] [^372] [^435]。这种任务多样性伴随着物体、场景布局、初始配置及摄像头视角等方面的差异增大，从而能够更广泛地覆盖部署时遇到的状态分布。同时，数据集所涉及的机器人形态也日益多样化，包括单臂和双臂操控器、移动平台、人形机器人以及灵巧手，还有RGB-D、力/力矩、音频、IMU、激光雷达和里程计等更丰富的传感方式 [^64] [^142] [^372] [^440]。任务、环境、形态及模态上的多样性共同为学习出更鲁棒且可迁移性更强的策略奠定了基础，使其能超越狭义的数据收集场景。
除了任务、形态及模态的多样性外，轨迹层面的多样性反映了同一名义任务在不同演示中的执行差异。这种差异可能源于初始与最终状态、运动路径、接触顺序以及执行速度的不同，从而拓宽了各任务内所涵盖的状态-动作分布。图4中关键帧的笛卡尔坐标分布直观地展示了由此产生的空间覆盖范围和分布结构上的差别。在所示示例中，AgiBot-World-2026 [^335]呈现出几个彼此分离的空间簇，表明其覆盖了不同的工作区域和交互高度；RoboMIND [^366]的分布则更为紧凑且呈各向异性，而RoboMIND 2.0 [^142]则表现出更宽泛、部分相连且垂直分层的空间覆盖特征。
### 2.5 优势与局限
真实机器人数据通过直接捕捉机器人观测、动作及其物理后果之间的关系，提供了基于物理规律的监督信息。与仿真或人类视频相比，它们自然反映了真实的传感噪声、控制延迟、接触动力学以及硬件约束。此外，记录下来的动作可直接在相应平台上执行，因此这类数据对于学习可靠的操控策略及恢复行为尤为宝贵。
其主要局限在于采集成本较高。真实机器人数据需要物理硬件、人工操作或自动化采集流程、反复的环境重置、维护以及安全监控，这些因素限制了大规模且并行的数据采集。此外，许多数据集仍集中于特定的机器人、任务及环境。形态、传感器配置、坐标系及动作表示方面的差异，进一步增加了数据聚合与跨平台迁移的难度。
## 总结
真实机器人数据处于顶端：它提供了直接的机器人控制信号，以及机器人与现实世界之间物理交互的观察结果。我们认为，未来真实机器人数据的发展应沿着三个方向推进。首先，遥操作系统应在保持精细轨迹和直接物理交互反馈的同时，支持更简单、更流畅且更直观的控制方式。在这方面，集成式领导者-跟随者遥操作系统因其较低的硬件成本、易用性以及流畅演示采集能力，展现出广阔的应用前景。其次，真实机器人数据集应涵盖场景、物体和环境条件中更广泛的现实变化。AIGC可以通过合成特定实体数据或增强场景与观察结果，来补充物理采集过程，从而在不大幅增加现实世界部署成本的前提下拓展环境多样性。
---
第三，数据采集应超越人类遥操作范畴，纳入策略部署环节——这些部署反映了具身智能体在其自身诱导的状态分布下探索物理世界的过程。在这些部署过程中加入人工干预，还能将失败情况转化为恢复轨迹，为错误修正、任务延续以及提升策略鲁棒性提供监督依据。
## 3 UMI数据
### 3.1 数据概述
通用操控接口（UMI）数据指的是通过便携、与机器人无关的接口采集的一系列真实世界操控数据集，而非直接操控目标机器人 [^62]。典型的UMI系统会集成一个或多个摄像头、手持式夹爪或灵巧接口，以及姿态跟踪模块，用于记录视觉观察结果、末端执行器运动、夹爪状态；部分新近系统还能采集力或触觉信号。随后，通过校准、动作转换以及特定实体的重定向处理，这些演示数据可被转化为机器人可识别的轨迹。
与人类第一人称视频相比，UMI数据既保留了真实世界操控的自然第一人称观察结果，又提供了同步的末端执行器姿态、夹爪状态以及校准后的动作轨迹。这些结构化信号能生成高质量、符合物理规律的演示数据，不仅可直接用于机器人策略学习，经适当重定向后还能实现跨实体部署。自最初的UMI系统问世以来，这一范式已从单臂夹爪操控 [^229] [^441] 扩展到双臂系统 [^261]、灵巧手 [^333] [^383] [^384]、移动平台 [^125]、多视角感知、3D传感，以及触觉或力感知数据采集 [^191] [^368] [^453]。如表2所示，UMI类数据集涵盖的实体类型、传感模式、任务和采集规模正日益丰富。
### 3.2 UMI数据采集流程
#### 3.2.1 UMI类系统的演进
UMI式系统的演进首先体现在物理采集接口的设计上。最初的UMI基于便携式手持夹持器，建立了一种无需机器人的采集范式；该夹持器集成了腕部摄像头、姿态跟踪以及夹持状态传感功能，能够在人类自然演示过程中同步捕捉观察结果与动作信息[^62]。后续系统进一步提升了这种设计的可携带性、模块化程度以及部署便捷性。例如，FastUMI[^441]简化了硬件与跟踪流程，以减少设置工作量并支持更高效的大规模数据采集；而LEGATO[^303]则采用了一种抓取工具接口，旨在为不同机器人平台提供一致的演示表达方式。更近期的系统则进一步重新思考了用户与采集设备之间的物理交互方式。与传统UMI接口中操作员手持夹持形工具并通过触发器控制其开合的方式不同，FreeTacMan[^369]采用了一种可佩戴在手指上的接口，使操作员能够利用自然的手指动作直接控制夹持器。这一发展过程反映了从机械化的手持工具向更自然、可穿戴且能感知接触的采集接口转变的总体趋势。
UMI式系统生成的数据在实体形态、传感模式以及规模方面也日益多样化。早期的UMI数据集主要聚焦于使用平行夹持器与腕部RGB视图的单臂操作任务。后续研究将这一范式扩展到了移动操纵器与全身人形系统，如UMI on Legs[^125]和HuMI[^261]；同时也拓展到了双臂操作与灵巧手领域[^333] [^384]。
观测空间同样也从单目腕部视角图像扩展到了更多维度。MV-UMI [^291]引入了额外的摄像头视角，而UMI-3D [^362]则纳入了明确的3D空间观测数据。ViTaMin [^218]、FreeTacMan [^369]、exUMI [^386]以及ManipForce [^182]进一步将触觉或力相关的测量数据融入视觉轨迹，从而能够收集到富含接触信息的操控数据。与此同时，数据采集效率的提升使得数据集规模从几百个特定任务的演示样本，扩展到了包含数万甚至数十万条轨迹的数据集。
---
Table 2 Statistics and key properties of UMI datasets. These are real-world manipulation datasets collected with portable handheld interfaces that enable scalable, low-cost demonstration collection across diverse tasks and environments.
| Dataset | Time | Arm Type | Tasks | End Effector | Demos | Tactile |
| UMI [^62] | 2024 | Single / Bimanual | 5 | Gripper | 2.5K | ✗ |
| ManiWAV [^229] | 2024 | Single | 5 | Gripper | 1.0K | ✗ |
| UMI on Legs [^125] | 2024 | Single | 2 | Gripper | 514 | ✗ |
| FastUMI [^441] | 2024 | Single | 22 | Gripper | 9.0K | ✗ |
| Data Scaling Laws [^211] | 2024 | Single | 6 | Gripper | 24.1K | ✗ |
| LEGATO [^303] | 2024 | Single | 6 | Gripper | 900 | ✗ |
| ViTaMIN [^218] | 2025 | Single | 8 | Gripper | 841 | ✓ |
| DexWild [^333] | 2025 | Single | 10 | Dexterous Hand | 9.5K | ✗ |
| DexUMI [^384] | 2025 | Single | 5 | Dexterous Hand | 1.8K | Force / Torque |
| FreeTacMan [^369] | 2025 | Single | 50 | Gripper | 10K | ✓ |
| Touch in the Wild [^453] | 2025 | Single | 20 | Gripper | 2.7K | ✓ |
| exUMI [^386] | 2025 | Single | 8 | Gripper | 1.7K | ✓ |
| MV-UMI [^291] | 2025 | Single | 4 | Gripper | 1.4K | ✗ |
| ManipForce [^182] | 2025 | Single | 6 | Gripper | 597 | Force / Torque |
| FastUMI-100K [^224] | 2025 | Single | 32 | Gripper | 100K | ✗ |
| ViTaMIN-B [^191] | 2025 | Single | 4 | Gripper | 884 | ✓ |
| HuMI [^261] | 2026 | Bimanual | 5 | Gripper | 827 | ✓ |
| RealOmni | 2026 | Bimanual | Diverse | Gripper | 789.8K | ✓ |
| UMI-3D [^362] | 2026 | Single | 3 | Gripper | 4.6K | ✗ |
| TAMEn [^368] | 2026 | Bimanual | 4 | Gripper | 724 | ✓ |
| Daimon-Infinity | 2026 | Bimanual | Diverse | Gripper | 274.7K | ✓ |
比如FastUMI-100K [^224]。总体而言，UMI风格的数据已经从单臂视觉轨迹，演变为一类规模更大、多模态且多实体形态的操控数据。
#### 3.2.2 相对轨迹动作表示
由于UMI演示是在不直接操作目标机器人情况下采集的，因此其中并不包含特定实体的关节状态或关节空间动作。相反，UMI利用腕部摄像头、机载惯性测量单元以及视觉惯性SLAM技术，来估算手持夹持器的六自由度姿态轨迹及其开合状态。为了降低对全局跟踪框架的依赖性，未来的末端执行器目标被表示为相对于当前末端执行器姿态的位置。这种相对轨迹表示既保留了演示动作的空间结构，又减少了执行过程中的误差累积。它还提供了一种与实体无关的动作空间，可通过校准、逆运动学以及底层控制机制映射到不同的机器人平台。
### 3.3 跨实体部署
跨本体部署旨在将从无机器人UMI演示中学习到的策略，迁移到具有不同运动结构和传感配置的机器人上。其核心思想是将与本体无关的任务表示与特定于本体的执行方式分离开来。UMI风格的策略并不预测与特定机器人绑定的关节空间指令，而是以末端执行器为中心的动作空间来运作，通常生成六自由度相对轨迹以及夹爪指令。在部署过程中，预测出的相对轨迹会与机器人当前的末端执行器姿态相融合，并转换到机器人基座坐标系下。随后，得到的目标姿态会通过逆运动学、运动规划或底层笛卡尔控制器转换为可执行的关节指令。
这种部署策略已被进一步拓展至形态差异更大的机器人领域。LEGATO [^303] 能够将演示数据映射到运动不变的任务空间中，并通过全身逆运动学将预测出的夹爪动作重新定位到不同的固定基座和移动操纵器上。然而对于灵巧操作而言，仅迁移手腕轨迹是不够的，因为人类手部与机器人手部在手指形态、自由度和外观上存在显著差异。DexUMI [^384] 通过可穿戴外骨骼来约束人类动作，使其符合机器人可实现的手部配置，同时利用视觉修复技术将演示图像中的人手替换为目标机器人手，从而弥补这些差距。其他系统则通过使用可在数据采集接口和机器人之间共享的模块化摄像头或触觉传感器来提高部署的一致性 [^191] [^368]。这些方法逐步拓展了UMI数据的应用范围。
---
从夹爪级别的迁移，迈向面向各类机械臂、移动操纵器和灵巧手的跨本体部署。
### 3.4 优势与局限
UMI数据的主要优势在于其可扩展性、环境多样性以及对特定机器人本体的依赖性较低。尤其是其便携且无机器人的采集设置，使得能够在各种日常环境中进行野外数据采集。人类操作员可以在多样的现实场景中采集流畅且自然的操作演示，而以末端执行器为中心的动作表示则便于在不同机器人平台上复用。近期加入的双臂运动、灵巧手和触觉感知等功能，进一步拓宽了UMI风格系统所能捕捉的行为范围。
不过，UMI数据并未能完全消除本体差异带来的问题。摄像头视角、末端执行器几何形状、运动约束、动力学特性以及接触条件的差异，都可能导致演示效果与机器人实际执行结果之间存在偏差。其数据质量还依赖于精确的姿态跟踪和传感器同步，而在遮挡、快速运动或视觉条件恶劣的环境下，这种同步性可能会下降 [^362]。此外，UMI数据通常缺乏特定于机器人的本体感知信息和执行器动力学数据。因此，它最好被视为对特定本体真实机器人数据的可扩展补充，而非完全替代品。
总结
UMI风格的数据通过便携且无机器人的接口，搭建了人类演示与机器人执行之间的桥梁，能以远低于遥操作的成本提供明确的末端执行器动作结构。然而，其可靠性受到脆弱的视觉跟踪与校准机制的限制，在没有机器人执行的情况下难以验证轨迹质量，且在涉及复杂接触的任务中缺乏力反馈支持。
## 4 以自我为中心和以外部为中心的数据
### 4.1 数据概述
以自我为中心和以外部为中心的数据处于具身数据金字塔的中间层，相较于仿真数据，它们能提供更真实的现实世界观测和物理交互信息；但相较于UMI数据，它们与机器人执行任务的直接关联性较弱。大多数以自我为中心的数据集依赖于佩戴在头部或身上的摄像头，这类摄像头会跟随佩戴者移动，从而持续捕捉活动场景。不过，这种移动视角可能会遗漏交互中的关键细节：手部可能会遮挡接触区域，而身体的大部分以及周围场景可能不在画面中。因此，通常会添加同步的外部摄像头来提供互补视角，从而获得更完整的记录。这类数据具备良好的可扩展性，且多样性高、复用性强、物理保真度好，但其质量往往受限于单摄像头采集的限制。
除了RGB视频外，还可通过三种互补途径丰富以自我为中心的数据集：采集过程中的多模态传感、录制流的后处理，以及转换为面向机器人的表征形式。在采集阶段，额外的硬件可提供互补信号：H2O [^181] 可记录同步的RGB-D视图；HoloAssist [^356] 结合了RGB、深度数据以及头部追踪、手部追踪、视线追踪和音频数据；EgoEMG [^378] 可记录肌肉活动情况，FEEL [^85] 能测量施加的力，而EgoTouch [^449] 则可提供触觉压力数据。
后处理过程还能进一步增添语义和几何结构。在EPIC-KITCHENS [^72] [^73] 中，通过旁白和人工标注生成动作片段及动词-名词标签；HOT3D [^11] 利用校准后的动作捕捉技术获取手部和物体的姿态；EgoDex [^138] 则结合头戴设备追踪技术与SLAM算法来还原摄像头和手部的运动轨迹。
最后，要获得面向机器人的表征，需要将人类运动映射到机器人兼容的动作空间中：EgoMimic [^171] 将追踪到的人类手部轨迹与机器人演示数据对齐，而EgoVLA [^391] 则通过逆运动学和重定向技术，将人类手腕和手部的姿态映射为机器人动作。图6展示了采集基础设施和监督类型，表3总结了具有代表性的以自我为中心和以外部为中心的数据集及其关键特征。
---
Table 3 Statistics and key properties of egocentric and exocentric datasets. Modalities include only Semantic, Gaze, and Interaction annotations reported as part of each dataset; Interaction includes contact, force, tactile, and hand-object annotations. “Cam. Calib.”, “Hand Pose”, and “3D” denote provided camera calibration parameters, articulated frame-level hand poses, and metric 3D supervision, respectively.
| Dataset | Year | View | Hours/Clips | Modality | Cam. Calib. | Hand Pose | 3D |
| EgoHands [^10] | 2015 | Ego | -/48 | Semantic | ✗ | ✗ | ✗ |
| KrishnaCam [^322] | 2016 | Ego | 70.2/460 | - | ✗ | ✗ | ✗ |
| FPHA [^110] | 2017 | Ego | -/1,175 | Semantic | ✓ | ✓ | ✓ |
| Charades-Ego [^319] | 2018 | Ego+Exo | 68.8/7,860 | Semantic | ✗ | ✗ | ✗ |
| EGTEA Gaze+ [^206] | 2018 | Ego | 28/86 | Semantic; Gaze | ✗ | ✗ | ✗ |
| EPIC-KITCHENS v1 [^72] | 2018 | Ego | 55/432 | Semantic | ✗ | ✗ | ✗ |
| EPIC-KITCHENS-100 [^73] | 2020 | Ego | 100/700 | Semantic; Interaction | ✗ | ✗ | ✗ |
| Ego4D [^118] | 2021 | Ego | 3,670/- | Semantic; Gaze; Interaction | ✗ | ✗ | ✓ |
| H2O [^181] | 2021 | Ego+Exo | -/- | Semantic; Interaction | ✓ | ✓ | ✓ |
| Assembly101 [^302] | 2022 | Ego+Exo | 513/- | Semantic | ✓ | ✓ | ✓ |
| HOI4D [^227] | 2022 | Ego | -/4,000 | Semantic; Interaction | ✓ | ✓ | ✓ |
| ARCTIC [^93] | 2023 | Ego+Exo | -/339 | Interaction | ✓ | ✓ | ✓ |
| AssemblyHands [^270] | 2023 | Ego+Exo | -/- | - | ✓ | ✓ | ✓ |
| CaptainCook4D [^272] | 2023 | Ego | 94.5/384 | Semantic; Interaction | ✗ | ✗ | ✓ |
| Ego-Exo4D [^119] | 2023 | Ego+Exo | 1,286/5,035 | Semantic; Gaze | ✓ | ✓ | ✓ |
| ENIGMA-51 [^287] | 2023 | Ego | 22/51 | Semantic; Interaction | ✗ | ✓ | ✗ |
| HoloAssist [^356] | 2023 | Ego | 166/2,221 | Semantic; Gaze | ✓ | ✓ | ✓ |
| EgoExo-Fitness [^207] | 2024 | Ego+Exo | 32/1,276 | Semantic | ✗ | ✗ | ✗ |
| EgoExoLearn [^148] | 2024 | Ego+Exo | 120/747 | Semantic; Gaze | ✗ | ✗ | ✗ |
| EgoSurgery [^104] | 2024 | Ego | 15/21 | Semantic; Gaze | ✗ | ✗ | ✗ |
| HOT3D [^11] | 2024 | Ego | 13.9/425 | Gaze; Interaction | ✓ | ✓ | ✓ |
| IndustReal [^299] | 2024 | Ego | 5.8/84 | Semantic; Gaze | ✗ | ✓ | ✓ |
| EgoDex [^138] | 2025 | Ego | 829/338,000 | Semantic | ✓ | ✓ | ✓ |
| Egocentric-100K [^1] | 2025 | Ego | 100,405/2.01M | - | ✓ | ✗ | ✗ |
| EgoLife [^390] | 2025 | Ego+Exo | 266/- | Semantic; Gaze | ✗ | ✗ | ✓ |
| EgoMe [^282] | 2025 | Ego+Exo | 82.8/15,804 | Semantic; Gaze | ✗ | ✗ | ✗ |
| HD-EPIC [^274] | 2025 | Ego | 41.3/156 | Semantic; Gaze; Interaction | ✓ | ✓ | ✓ |
| IndEgo [^40] | 2025 | Ego+Exo | 293.9/- | Semantic; Gaze | ✓ | ✓ | ✓ |
| OpenEgo [^157] | 2025 | Ego | 1,107/- | Semantic; Interaction | ✓ | ✓ | ✓ |
| TASTE-Rob [^436] | 2025 | Ego | -/100,856 | Semantic; Interaction | ✗ | ✗ | ✗ |
| ChildLens [^327] | 2026 | Ego | 108.58/354 | Semantic | ✗ | ✗ | ✗ |
| Ego-1K [^183] | 2026 | Ego | -/956 | - | ✓ | ✗ | ✗ |
| EgoLive [^205] | 2026 | Ego | 1,680/- | Semantic; Interaction | ✓ | ✓ | ✓ |
| EgoMAGIC [^343] | 2026 | Ego | -/3,355 | Semantic; Interaction | ✗ | ✗ | ✗ |
| EgoVerse [^278] | 2026 | Ego | 1,362/- | Semantic; Interaction | ✗ | ✓ | ✓ |
| HumanNet [^81] | 2026 | Ego+Exo | 967,000/- | Semantic | ✗ | ✓ | ✓ |
| Open-AoE [^209] | 2026 | Ego | 2,000/- | Semantic; Interaction | ✓ | ✓ | ✓ |
| Xperience-10M [^296] | 2026 | Ego | 10,000/- | Semantic; Interaction | ✓ | ✓ | ✓ |
### 4.2 采集基础设施
以自我为中心和以外部为中心的采集系统结合了可穿戴设备和环境设备，用于测量外观、几何形状、运动、注意力和物理交互情况。我们按照硬件所观测的物理量对其进行分类：视觉传感器用于记录图像和深度流，运动追踪系统用于测量设备或身体的运动学参数，辅助传感器则用于采集注意力、肌肉激活和接触相关数据。在这些类别中，主要的权衡因素包括空间覆盖范围、时间分辨率、移动性、侵入性、准确性和校准要求。
#### 4.2.1 视觉传感
可穿戴摄像头。单目RGB采集使用单个彩色摄像头，通常安装在头部或胸部，以模拟佩戴者的视觉流。这类摄像头重量轻、成本低，适合长时间数据采集，EPIC-KITCHENS [^72] [^73] 和Ego4D [^118] 项目便证明了这一点；不过，它们无法直接测量实际深度，快速的头动可能会导致画面模糊，而且手部可能会遮挡被操作的物体。
立体视觉系统则采用两台同步摄像头，利用已知的基线距离通过双目视差来估算深度。这类系统无需主动照明，但需要精确的校准；在缺乏纹理的区域，其效果可能会受到影响。
---
Figure 6 Overview of capture infrastructure and supervision representations in egocentric and exocentric data. Wearable and external cameras, motion trackers, and auxiliary sensors record complementary raw signals, which are subsequently annotated, reconstructed, or aligned to form semantic, geometric, multimodal, and robot-oriented supervision.
此外，在物体遮挡的区域，立体视觉系统也会失效。例如，HOT3D [^11] 利用 Project Aria 和 Quest 3 内置的多摄像头配置，从略微不同的视角观察手部与物体。RGB-D 摄像头将彩色图像与像素级深度信息相结合，能提供更直接的 3D 测量数据，不过其测量范围受设备限制，且对反射表面或强环境光较为敏感。H2O [^181] 能够同步采集以佩戴者为中心及以外部为中心的 RGB-D 视图，而 HoloAssist [^356] 则借助 HoloLens 2 记录 RGB 图像与深度数据。
事件相机采用了不同的原理：它并非以固定速率生成传统帧，而是每个像素会异步报告亮度的变化。其高时间分辨率可减少手部快速运动时的运动模糊现象，但产生的数据较为稀疏，需要专门的处理技术；EgoEV-HandPose [^351] 便是利用立体事件相机在这一领域进行探索。
外部摄像头系统。外部摄像头系统会在环境中布置一台或多台摄像头，从固定的第三人称视角观察佩戴者。这类系统能够捕捉到被遮挡或超出可穿戴摄像头视野范围的身体、手部及场景信息，同步的视图数据还可用于三角测量和多视图重建。Assembly101 [^302] 结合了可穿戴摄像头与外部摄像头以实现精细的装配活动监测，而 Ego-Exo4D [^119] 则将 Project Aria 眼镜与多台周边的 GoPro 摄像头配合使用。不过，这种额外的覆盖范围是以复杂的环境设置、摄像头间的校准与同步工作、更大的存储需求以及较低的采集灵活性为代价的。
#### 4.2.2 运动与姿态跟踪
惯性身体跟踪。惯性测量单元（IMU）结合了加速度计与陀螺仪，有时还会配备磁力计，用于测量线性加速度与角速度。IMU 体积小巧，即使在视觉被遮挡的情况下也能正常工作，但随着时间的推移，对测量数据进行积分时，其方位估计尤其是位置估计会出现累积漂移现象。Ego-Exo4D [^119] 记录了 Project Aria 内置的 IMU 数据，而 WEAR [^22] 则通过佩戴在人体上的 IMU 来捕捉户外活动动态。全身惯性动作捕捉系统进一步扩展了这一思路，即在人体各部位布置多个同步的 IMU，并将测量数据与关节骨骼模型相匹配。Nymeria [^245] 结合 Project Aria、佩戴在手腕上的 miniAria 设备以及 Xsens 动作捕捉服，无需外部摄像头阵列即可捕捉头部、手部及身体的运动，不过这套装备会增加佩戴难度以及针对个人身体的校准工作量。
手持式跟踪设备。手持式跟踪器会将磁性、惯性、弯曲或光学传感器安装在手指、手掌或手腕上，以获取与姿态相关的数据，如传感器方位、手指弯曲程度、指尖位置以及手腕运动情况。通过设备校准、传感器融合或运动学拟合，这些数据可被转换为关节化的手部姿态；因此，它们应被视为基于传感器的姿态估计方式。
---
捕获的是经过处理的姿态标签，而非原始未处理数据。FPHA [^110] 会在指尖安装六个磁性传感器，即便手指被遮挡也能恢复手部的关节运动信息；不过附近的金属物体和电磁干扰可能会扭曲测量结果。DexGloveHOI [^178] 则会将以自我为中心的图像与手套上安装的6自由度惯性测量单元及动作捕捉参考姿态同步，从而实现视觉-惯性融合的3D手部追踪。与仅基于图像的估算方法相比，这类可穿戴设备即使在手部与物体严重遮挡的情况下，也能提供更连续、更精准的3D手部运动数据。不过其可扩展性仍受限于手部形状校准、传感器位移、磁干扰或惯性漂移问题，还可能干扰自然抓取动作。
光学与头戴式追踪技术。光学动作捕捉利用多个外部摄像头对可见标记进行三角测量，从而在已校准的工作空间中生成精准的3D轨迹。HOT3D [^11] 会在手部和物体上放置小型标记以获取姿态基准数据，这种方式虽牺牲了灵活性以换取精度，但可能会出现标记被遮挡的情况。AR/VR头戴设备则通过设备原生的内外追踪技术提供了一种更便携的方案，该技术融合了机载摄像头与惯性传感数据来估算头戴设备及手部的位置。EgoDex [^138] 采用Apple Vision Pro的追踪功能，HoloAssist [^356] 则使用HoloLens 2。这些系统无需依赖外部基础设施，但受限于专属的追踪流程，在快速运动、物体遮挡或视野受限的情况下可能出现追踪失效。
#### 4.2.3 辅助与交互传感
视线与音频传感。眼动追踪器利用向内拍摄的摄像头和照明装置来估算视线方向，可反映视觉注意力信息，但需要针对佩戴者进行校准，且要求头戴设备放置稳定。麦克风用于记录语音、环境声音及声学接触事件；多通道阵列还能捕捉空间信息并支持更可靠的语音录制，不过其对背景噪声和隐私问题较为敏感。Ego-Exo4D [^119] 借助Project Aria设备记录眼动轨迹和七通道音频数据，而HoloAssist [^356] 则将视线与音频数据与视觉及追踪数据流同步。
肌电图传感。肌电图（EMG）通过接触皮肤的电极来测量肌肉激活产生的电信号，而非直接获取手部姿态。EgoEMG [^378] 以高于视频采集的频率记录双侧手腕的肌电图信号和惯性测量单元数据，即便手部被遮挡也能反映肌肉活动情况。该信号能反映肌肉募集情况，但其准确性高度依赖于电极放置位置、皮肤接触程度、参与者生理特征以及会话特定的校准过程。
力觉与触觉传感。力觉和触觉设备能更直接地测量物理交互情况。力传感器可报告一个或多个位置的载荷大小或方向，而触觉或压力阵列则能解析接触在某一区域内的分布情况。FEEL [^85] 会在指尖和手掌处安装压阻式力传感器。Touch and Go [^388] 利用触觉传感器记录视觉探测数据，EgoTouch [^449] 则将可穿戴设备的连续压力测量数据与头戴式、腕部安装的RGB摄像头数据及双手姿态信息相结合。这些可穿戴设备能提供仅靠视觉无法获取的接触信号，但受限于传感区域有限、传感器适配要求、个性化校准需求、线缆束缚以及与自然抓取动作的冲突等因素，其数据采集规模和精度会受到限制。
### 4.3 监督数据构建
自我中心的监督信号可能由传感器记录、人工标注者添加，或通过后处理恢复。根据对学习过程所暴露的信息类型，我们将其分为四类互补的类别：语义监督描述了任务的内容与结构；几何监督描述了空间状态与运动；多模态监督提供了超出RGB图像范围的注意力、动态及接触线索；而面向机器人的监督则以适合机器人策略学习的形式呈现人类演示。这类监督信号的构建涉及标注、校准、同步、重建以及跨本体对齐，其中会存在不同的成本与误差来源。
#### 4.3.1 语义监督
动作与语言标注。动作与语言标注用于识别发生的活动及其发生时间。常见的形式包括叙述、物体指代、动词-名词动作、动作类别以及时间片段。参与者的叙述会被转录并与视频对齐，而动作类别和边界则由人工标注，或在模型辅助下标注后再经人工验证。EPIC-KITCHENS [^72] [^73]、
---
例如，它能将参与者的自由叙述转化为具有时间定位的动词-名词动作。Ego4D [^118] 将大规模叙述与针对特定基准测试定制的注释相结合，而Assembly101 [^302] 则为装配动作提供了细粒度的标签。这些注释有助于动作的识别、检索和时间定位，但并未说明执行动作所需的连续运动或接触细节。
流程与状态标注。流程标注描述了单个动作如何组合成完整任务。它们包括有序步骤、任务进度、执行错误以及物体或环境状态变化，通常是通过将视频与任务脚本对齐并验证其与预期流程的偏差来构建的。Assembly101 [^302] 将装配流程中的细粒度动作进行组织，而CaptainCook4D [^272] 则会对烹饪步骤、错误及物体状态进行标注。这类监督能够揭示孤立的动作标签所无法体现的长时间程依赖关系与任务结果，不过其词汇往往特定于某一流程或领域。
#### 4.3.2 几何监督
相机与场景几何。相机与场景监督确立了交互发生的空间参考系。它包括相机的内部参数与外部参数、深度图、点云、相机位姿与轨迹、场景重建以及点追踪信息。深度数据可直接测量，如H2O [^181] 中的RGB-D观测数据；其他量则需要经过校准、视觉惯性SLAM、多视角重建或追踪才能得到。HOT3D [^11] 提供了经过校准的相机位姿，而EgoDex [^138] 则将头戴设备追踪数据与SLAM技术结合，以还原移动的自我中心相机轨迹。像Ego-Exo4D [^119] 中那样同步采集的自我中心视图与外部视图，还能进一步支持超出可穿戴相机视野范围的场景重建。不过，最终得到的几何数据会受到校准漂移、运动模糊以及坐标框架选择的影响。
手部与身体姿态。人体姿态标注在多个细节层级上发布。手部姿态可被编码为2D或3D关键点、手腕与指尖姿态、关节旋转及轨迹，或是MANO姿态与形状参数；而身体姿态标注的范围则从头部与上身轨迹，到完整的关节骨骼或参数化人体模型。由于这些表达方式描述的是输出结果而非获取方式，姿态标签可按三种主要构建路径进行分类。
(1) 标注辅助的几何重建。标注人员在一个或多个RGB视图中标记2D手部或身体关键点。借助配准后的深度数据，可见的关键点可被反投影为3D坐标；若摄像头已同步且校准完毕，则可通过多视图三角测量来确定对应关键点。AssemblyHands [^270]展示了一种可扩展的方案：它从人工标注的子集出发，训练多视图标注模型，从而将精确的3D手部姿态扩展到更大的数据集。该路径保留了直接的人工质量控制，但手动标注成本较高，且其3D精度取决于深度数据的质量、跨视图对应关系以及摄像头校准情况。
(2) 基于模型的姿态预测与参数拟合。通过学习的视觉模型可直接从记录的RGB或RGB-D观测数据中生成姿态标签。关键点检测器可预测2D或3D关节，而模型恢复网络则可回归MANO姿态与形状参数，或类似的人体模型参数。这些初始预测可作为伪标签，或通过深度数据、轮廓信息、多视图一致性、时间约束以及参数化模型拟合来进一步优化。例如H2O [^181]便利用OpenPose的预测结果来初始化手部标注，随后借助同步的多视图RGB-D观测数据优化MANO手部模型。该路径更易于扩展到无标注的记录数据，但生成的标注会继承模型误差与偏差，这些误差与偏差源于遮挡、运动模糊以及域偏移现象。
(3) 基于传感器的姿态捕捉。上述的手持式、光学式、头戴式及惯性系统可独立于仅基于图像的推理过程提供姿态相关测量数据。通过校准、传感器融合或运动学拟合，这些信号可被转换为关节化姿态。FPHA [^110]采用磁性指尖传感器，HOT3D [^11]将专业光学动作捕捉数据转化为UmeTrack及MANO手部标注，EgoDex [^138]通过头戴设备追踪获取上身与手部轨迹，而Nymeria [^245]则将可穿戴设备与惯性套装结合以实现全身动作捕捉。仪器捕捉通常在视觉遮挡情况下仍能提供更连续且精确的3D运动数据，但会增加校准难度与参与者的负担，且仍依赖于特定设备的追踪模型。在这三种路径中，姿态标注在关节定义、坐标系、时间稳定性及置信度方面存在差异，在比较或合并数据集时应明确报告这些差异。
---
物体与交互几何。以物体为中心的监督描述了被操纵物体相对于手和场景的运动方式。典型形式包括物体的6自由度位姿、物体轨迹、手-物相对位姿以及耦合的手-物轨迹。这些是通过CAD模型配准、多视角重建、基于标记的动作捕捉、位姿估计或时间跟踪获得的。H2O [^181] 在RGB-D序列中同时提供手和物体的位姿，HOI4D [^227] 标注了手-物交互的空间演变过程，而HOT3D [^11] 则发布了经过校准的手和物体位姿数据。与语义物体标签不同，这些标注直接揭示了操作几何信息，不过遮挡和物体对称性可能会导致位姿恢复存在歧义。
#### 4.3.3 多模态监督
视线与音频。视线与音频将视觉观测结果与注意力及声学上下文关联起来。原始的视线测量数据必须经过校准并投影为注视点、被关注区域或视线轨迹；音频则需与视频同步，必要时还要与动作或状态变化对齐。EGTEA Gaze+ [^206] 提供了与厨房活动对齐的视线数据，Ego-Exo4D [^119] 则记录了同步的视线与多通道音频数据。HoloAssist [^356] 同样将视线与音频数据与指导性活动相匹配。这些线索有助于定位相关的物体和事件，但视线校准误差和环境噪音可能会削弱它们的语义对应关系。
惯性信号与生理信号。惯性信号与生理信号监督能够捕捉图像中无法体现的运动动态和肌肉活动。IMU数据流提供加速度和角速度信息，而EMG则用于测量肌肉激活情况；使用这些数据时需要进行同步、滤波、归一化处理，并按通常远高于视频的采样率进行分段。WEAR [^22] 将第一人称视频与可穿戴在身上的IMU传感器结合，用于户外活动监测；Ego-Exo4D [^119] 包含了Project Aria惯性测量数据；EgoEMG [^378] 则将双侧EMG和IMU数据流与手部运动相关联。即使在视觉被遮挡的情况下，这些信号依然可用，但它们对传感器放置位置、漂移现象以及参与者的生理特征较为敏感。
力信号与触觉信号。力信号与触觉信号监督提供了物理接触的直接证据。根据传感器的不同，它们可能表现为标量或矢量形式的力、二元接触事件、指尖和手掌压力，或是空间触觉图。FEEL [^85] 将指尖和手掌的力测量数据与第一人称观测结果同步；Touch and Go [^388] 记录了视觉探索过程与触觉感知数据；EgoTouch [^449] 则将可穿戴的触觉压力传感器与头戴式及腕部安装的RGB摄像头、双手位姿数据相结合。这类测量数据能够区分视觉上相似但接触结果不同的动作，不过可穿戴式传感器并不一定能复现机器人的接触几何结构或受力响应。
#### 4.3.4 面向机器人的监督
机器人兼容的动作监督。机器人兼容的监督机制会将人类动作映射到目标动作空间，例如末端执行器姿态、机器人关节配置、夹持器指令或经过重定位的灵巧手动作。它是通过坐标变换、逆运动学、形态感知的重定位以及可行性过滤，基于追踪到的手腕、指尖或MANO动作构建而成的。例如，EgoVLA [^391]能够预测手腕姿态和MANO参数，并通过逆运动学和手部重定位将其转换为机器人指令。EgoScale [^443]利用相对手腕运动和经过重定位的高自由度手部动作来监督人类的预训练过程，而MotionTrans [^411]则会将人类的VR动作转化为用于机器人策略学习的数据。这些目标通常是通过特定方法生成的，而非作为源数据集的原生标注；即便几何上合理，也不保证其在动态上可行或与接触状态一致。
人机对齐监督。人机对齐监督能够在无需相同原始动作空间的情况下，关联不同实体上的演示数据。它可以是任务或场景匹配的人类和机器人演示、暂时对齐的轨迹，或是将两种实体映射到的共享表示形式。EgoMimic [^171]会对人类手部与机器人演示数据进行归一化处理，以便进行联合策略训练；EgoScale [^443]则将匹配任务和场景中的人机协作数据用作中间训练阶段。H-RDT [^19]会将人类手部姿态预训练与机器人专用的动作适配器相结合，而METIS [^101]则会在统一的动作空间下整合多个人类和机器人数据源。这些示例体现的是不同程度的对应关系，而非统一的帧级配对，因此应明确说明对齐的类型与精度。
---
### 4.4 优势与局限性
以自我为中心的和以外部为中心的数据能够大规模采集自然的人类演示，无需在目标机器人上实际执行。可穿戴系统可以应用于不同的参与者、环境、物体和任务中，而第一人称观测则能突出手-物交互以及长时程活动结构。与固定基座的机器人数据采集方式不同，人类操作者可以在环境中自由移动，并用灵巧的手直接操纵物体。这种移动性带来了更广阔的空间覆盖范围和更多样化的手部轨迹，包括不同的接近方向、运动路径和交互高度。图4中的EgoVerse示例便体现了这一潜力：其中人类手部交互的关键帧涵盖了广阔的三维工作空间，且存在显著的空间差异。
然而，以自我为中心的数据并不等同于机器人经验。第一人称录像存在部分可观测性不足、手-物遮挡、相机快速运动、运动模糊以及视角依赖等问题。要实现密集的几何和多模态监督，需要额外的硬件、校准、同步和重建工作，且这类资源无法大规模普及。更根本的是，人类录制数据缺乏机器人的本体感知、执行器动力学以及可直接执行的动作信息。形态、运动学、传感方式和接触响应方面的差异进一步阻碍了轨迹的直接迁移。因此，在机器人学习中使用这些数据时，需要可靠的状态重建、形态感知的表征，以及人机对齐或重定位机制。
总结
自我中心数据与外中心数据位于具身数据金字塔的中间层，为在各类真实环境中收集基于物理的交互轨迹提供了可扩展的途径。通过记录人类主体与物理世界的互动情况，这类数据能够捕捉自然的操作行为以及高自由度的手部运动，在机器人具身应用中具有巨大的复用潜力。不过，其收集过程涉及可扩展性与标注精确度之间的权衡。无设备记录方式不会干扰用户且易于推广，但通常缺乏精确的手部姿态和交互标签，因此后续处理流程需依赖基于模型的估计或学习到的视觉重定向技术。可穿戴传感系统则能提供更直接、更精准的测量结果，却受到硬件成本、耐用性、用户负担及便携性的限制，尤其不利于大规模户外数据采集。除了这种采集方面的权衡外，由于人类与机器人具身形态之间的对齐问题尚未解决，它们在机器人学习中的实用性也受到进一步制约。
## 5 仿真数据
### 5.1 数据概述
在具身数据金字塔中，仿真数据作为真实世界机器人数据的一种可扩展且可控的补充形式。虽然真实机器人数据对于捕捉特定具身形态的动力学特性、传感器噪声、接触效应以及部署约束必不可少，但其收集往往受到成本、安全性、硬件可用性和标注难度的限制。仿真技术缓解了部分此类瓶颈：它能够创造可重复的交互条件，自动获取特权状态和标签，还能低成本地生成轨迹。近期的一些数据集还试图通过数字孪生[^349] [^366]、域随机化[^49] [^50] [^259]以及配对式仿真到现实评估[^202]来缩小仿真与现实的差距。因此，仿真不仅已成为基准测试构建和评估的工具，还成为训练通用机器人策略的重要数据层。不过，与具身数据金字塔的更高三层相比，仿真数据在多样性和物理真实性方面通常仍较为有限。
如表 4 和表 5 所总结，模拟机器人数据在规模和范围上均有所扩展。早期基准测试主要集中于受约束的刚体操作，例如桌面控制 [^408]、语言条件化操作 [^153] 以及大规模抓取 [^92]。后来的数据集引入了更长时程的交互 [^254]、组合式任务设置 [^217] 和家庭场景操作 [^262]。更新的资源进一步将仿真扩展到双臂操作 [^49] [^50] [^259]、人形机器人操作 [^26]、关节式物体交互 [^121]、可变形物体与流体操作 [^233] [^341] [^360]，以及带触觉感知的富接触操作 [^43]。与此同时，数据生成正变得越来越自动化，从脚本化
---
Table 4 Simulation Benchmarks. Simulation benchmarks, summarized by embodiment configuration, tactile sensing, object deformability, dexterous manipulation, and mobile manipulation. In the “Embod.” column, ‘S’, ‘D’, and ‘H’ denote single-arm, dual-arm, and humanoid embodiments, respectively.
| Benchmark | Time | Embod. | Tactile | Deform. | Dex. | Mobile |
| Adroit [^288] | 2017 | S | ✗ | Rigid | ✓ | ✗ |
| Franka Kitchen [^122] | 2019 | S | ✗ | Rigid | ✗ | ✗ |
| Meta-World [^408] | 2019 | S | ✗ | Rigid | ✗ | ✗ |
| RLBench [^153] | 2019 | S | ✗ | Rigid | ✗ | ✗ |
| PlasticineLab [^149] | 2021 | S | ✗ | Soft | ✗ | ✗ |
| RoboMimic [^250] | 2021 | S/D | ✗ | Rigid | ✗ | ✗ |
| CALVIN [^254] | 2021 | S | ✗ | Rigid | ✗ | ✗ |
| Tactile Gym 2.0 [^214] | 2022 | S | ✓ | Rigid | ✗ | ✗ |
| Bi-DexHands [^56] | 2022 | D | ✗ | Rigid | ✓ | ✗ |
| BEHAVIOR-1K [^189] | 2022 | S | ✗ | Soft | ✗ | ✓ |
| VIMA-Bench [^164] | 2022 | S | ✗ | Rigid | ✗ | ✗ |
| DaXBench [^48] | 2023 | S | ✗ | Soft | ✗ | ✗ |
| DexArt [^12] | 2023 | S | ✗ | Rigid | ✓ | ✗ |
| RoboHive [^180] | 2023 | S | ✗ | Rigid | ✓ | ✗ |
| ARNOLD [^115] | 2023 | S | ✗ | Rigid | ✗ | ✗ |
| FurnitureBench [^134] | 2023 | S | ✗ | Rigid | ✗ | ✗ |
| ManiSkill2 [^121] | 2023 | S/D | ✗ | Soft | ✗ | ✓ |
| LIBERO [^217] | 2023 | S | ✗ | Rigid | ✗ | ✗ |
| ManiSkill-HAB [^315] | 2024 | S | ✗ | Rigid | ✗ | ✓ |
| TacSL [^2] | 2024 | S | ✓ | Soft | ✗ | ✗ |
| ManiSkill-ViTac [^190] | 2024 | S | ✓ | Soft | ✗ | ✗ |
| GarmentLab [^233] | 2024 | S/D | ✗ | Soft | ✓ | ✓ |
| HumanoidBench [^305] | 2024 | H | ✗ | Rigid | ✓ | ✓ |
| BiGym [^61] | 2024 | D | ✗ | Rigid | ✗ | ✓ |
| The Colosseum [^277] | 2024 | S | ✗ | Rigid | ✗ | ✗ |
| VLABench [^427] | 2024 | S | ✗ | Rigid | ✗ | ✗ |
| SIMPLER-Env [^202] | 2024 | S | ✗ | Rigid | ✗ | ✗ |
| ManiSkill3 [^332] | 2024 | S/H | ✗ | Soft | ✓ | ✓ |
| RoboTwin [^259] | 2024 | S/D | ✗ | Rigid | ✗ | ✗ |
| RoboCasa [^262] | 2024 | S/H | ✗ | Rigid | ✗ | ✓ |
| MemoryBench [^96] | 2025 | S | ✗ | Rigid | ✗ | ✗ |
| RoboCerebra [^129] | 2025 | S | ✗ | Rigid | ✗ | ✗ |
| GenManip [^107] | 2025 | S | ✗ | Rigid | ✗ | ✗ |
| RoboTwin 2.0 [^49] | 2025 | D | ✗ | Rigid | ✗ | ✗ |
| RoboEval [^358] | 2025 | D | ✗ | Rigid | ✗ | ✗ |
| REALM [^301] | 2025 | S | ✗ | Rigid | ✗ | ✗ |
| RobotArena $^{\infty}$ [^156] | 2025 | S | ✗ | Rigid | ✗ | ✗ |
| DuoBench [^167] | 2026 | D | ✗ | Rigid | ✗ | ✗ |
| BiCoord [^273] | 2026 | D | ✗ | Rigid | ✗ | ✗ |
| MIKASA-Robo-VLA [^60] | 2026 | S | ✗ | Rigid | ✗ | ✗ |
| RoboMemArena [^185] | 2026 | S | ✗ | Rigid | ✗ | ✗ |
| RoboMME [^71] | 2026 | S | ✗ | Rigid | ✗ | ✗ |
| RMBench [^51] | 2026 | D | ✗ | Rigid | ✗ | ✗ |
| UniVTAC [^43] | 2026 | S | ✓ | Soft | ✗ | ✗ |
| RoboCasa365 [^263] | 2026 | S/H | ✗ | Rigid | ✗ | ✓ |
| RoboDojo [^50] | 2026 | D | ✗ | Rigid | ✗ | ✗ |
任务和遥操作，转向基于运动规划与 RL 专家的流水线 [^332]、演示增强 [^251]、数字孪生重建 [^349] [^366]，以及由 LLM 辅助的任务或环境合成 [^53] [^144] [^341] [^359]。
### 5.2 仿真基础设施与资产生态系统
如图7所示，模拟的机器人学习生态系统可视为由三个相互耦合的基础设施组件构成：本体-传感器系统、物体与场景资产，以及物理与渲染后端。本体-传感器系统不仅定义了机器人的形态、运动学、驱动模型及控制器接口，还涵盖了与机器人身体物理关联的传感通道，例如本体感知、腕部或头部安装的视觉传感器、力传感器以及触觉阵列。物体与场景资产提供了环境的几何、语义及可供性结构，而物理与渲染后端则决定了生成数据的接触动力学、视觉外观及执行保真度。
---
Figure 7 Overview of simulation infrastructure and data collection pipeline. The left panel summarizes the core components required for constructing simulation environments, including robotic embodiments and sensors, scenes, object assets, and simulation engines. The right panel categorizes representative trajectory collection methods into human teleoperation, trajectory replay with scene and object augmentation, rule-based execution based on expert-defined task logic and motion planning, and autonomous generation through trained policies or LLM-based planning.
#### 5.2.1 机器人本体与传感器
构建模拟操控数据首先需要将本体-传感器系统导入模拟器，在模拟器中机器人资产会被实例化为可控的关节模型，其传感器也会被配置为在交互过程中采集观测数据。模拟器会解析URDF、MJCF、SDF或USD等机器人描述文件，以确定运动学参数、关节限制、惯性属性、碰撞与视觉几何形状、驱动器以及传感器附着位置 [^53] [^341] [^439]，随后再将该系统放置到设定了初始姿态、关节状态、物体、光照、重力和求解器参数的场景中。
在各类模拟机器人数据集中，固定式单臂操纵器是最常见的本体类型，例如Franka Kitchen [^122]、Meta-World [^408]、RLBench [^153]、RoboMimic [^250]、CALVIN [^254]、Simpler-Env [^202]、RMBench [^51]、UniVTAC [^43] 和 LIBERO [^217]。其他基准测试涵盖灵巧手，包括Adroit [^288]、Bi-DexHands [^56] 和 DexArt [^12]；移动操控方面，包括BEHAVIOR-1K [^189]、ManiSkill2 [^121]、ManiSkill-HAB [^315] 和 RoboCasa [^262]；双臂或双手系统则包括RoboTwin [^259]、BiGym [^61]、RMBench [^51]、DuoBench [^167]、BiCoord [^273] 和 RoboDojo [^50]。ManiSkill3 [^332]、RoboTwin 2.0 [^49]、RoboMIND-Sim [^366] 和 RoboMME [^71] 进一步支持多种本体类别，而HumanoidBench [^305] 则专注于类人机器人控制。
#### 5.2.2 物体与场景资产
资产生态系统不仅包括机器人模型，还涵盖可操控物体、材料及场景布局。物体级资产决定了模拟操控数据的类别覆盖范围、几何变化、纹理真实度及可供性结构。基于CAD和网络规模的资源，如ShapeNet [^39]、Objaverse [^78] 和 Objaverse-XL [^77]，提供了丰富的物体形状多样性。扫描或基于产品的资源，如Google Scanned Objects [^87]、Amazon Berkeley Objects [^65] 和 OmniObject3D [^375]，通过将资产基于真实物体或产品数据，提升了几何与纹理的真实度。
不过，机器人学习所需的资产不能仅仅是视觉上逼真的网格模型：它们还需要与模拟器兼容的碰撞几何结构、一致的比例、稳定的姿态、质量和惯性参数、材料属性，以及在适用情况下还需具备抓取可行性或关节运动标注。PartNet-Mobility [^379]提供了带有关节运动标注的可活动物体，用于部件级交互。ObjectFolder 2.0 [^108]则引入了能够关联视觉、声学和触觉属性的多模态物体表示。
---
Table 5 Large-scale simulation datasets for robot learning, summarized by embodiment configuration, data scale, task coverage, object deformability, dexterous manipulation, and mobile manipulation. In the “Arm” column, ‘S’ and ‘D’ denote single-arm and dual-arm, respectively.
| Dataset | Time | Arm | Embod. | Traj./Hours | Tasks | Deform. | Dex. | Mobile |
| DexGraspNet [^353] | 2022 | S | 1 | 1.32M / - | Grasp | Rigid | ✓ | ✗ |
| MimicGen [^251] | 2023 | S | 3 | 50K / - | 16 | Rigid | ✗ | ✗ |
| DexMimicGen [^166] | 2024 | D | 2 | 21K / - | 9 | Rigid | ✓ | ✗ |
| DexGraspNet 2.0 [^424] | 2024 | S | 1 | 427M / - | Grasp | Rigid | ✓ | ✗ |
| InternData-A1 [^341] | 2025 | S/D | 4 | 637K / 7.4K h | 70 | Soft | ✗ | ✗ |
| InternData-M1 [^53] | 2025 | S | 1 | 244K / - | 200 | Rigid | ✗ | ✗ |
| NVIDIA GR00T-X Sim [^267] | 2025 | S/D | 6+ | 345K / - | 58+ | Rigid | ✓ | ✓ |
| SynGrasp-1B [^80] | 2025 | S | 1 | 10M / - | Grasp | Rigid | ✗ | ✗ |
| Dex1B [^395] | 2025 | S | 3 | 1B / - | 2 | Rigid | ✓ | ✗ |
| MolmoB0T [^84] | 2026 | S | 2 | 1.7M / 5.8K h | 8 | Artic. | ✗ | ✓ |
PhysXNet [^33]进一步推出了首个具备物理感知能力的3D数据集，将3D表示的范围从几何和外观扩展到了物理属性层面。随后推出的PhysX-Mobility [^34]提供了即插即用的、可用于模拟的可活动物体资产，而PhysXVerse [^35]则将这一模式推广到更广泛、更多样的可模拟3D资产集合中。
除了经过精心挑选或重建的资产集合外，生成式建模为扩充资产库提供了一条可扩展的路径：ManiTwin [^349]贡献了一个包含超过10万个由AIGC生成的刚体物体的大规模库，每个物体都配有面向操控的标注，可用于自动化数据合成。这种结合至关重要，因为仅靠扩大资产规模并不够——如果没有可操作的标注，即便资产数量再多也无法转化为可用的操控数据。这也使得基于AIGC的生成技术成为同步提升资产多样性和下游数据合成能力的有前景方向。在场景层面，ScanNet [^68]、Replica [^326]、Matterport3D [^38]、HM3D [^289]、HSSD [^172]、3D-FRONT [^100]以及ProcTHOR [^76]提供了经过重建、合成或程序化生成的室内环境，可用于导航、物品重新排列以及家庭互动场景。因此，资产生态系统不仅决定了智能体能够观察到什么，还决定了它能够物理接触、操控以及推理的内容。
#### 5.2.3 物理与渲染后端
物理与渲染后端决定了接触动力学、关节约束、数值稳定性、并行化处理以及视觉真实感。MuJoCo [^342]因其高效的动力学计算和稳定的接触建模能力，在刚体控制、复杂接触操控以及运动控制领域仍被广泛采用。MuJoCo Playground [^414]则进一步将其应用拓展至基于加速器的并行训练领域。Isaac Sim [^268]、Isaac Gym [^247]以及Isaac Lab/Orbit [^256]侧重于GPU并行模拟、照片级真实感渲染、传感器建模以及合成数据生成。SAPIEN/PartNet-Mobility [^379]则专注于基于PhysX模拟的可活动物体交互与可扩展操控。PyBullet [^66]在轻量级原型开发及基准测试环境中仍具有实用价值。CoppeliaSim [^295]和PyRep [^152]支持灵活的任务构建，RLBench [^153]便是其中的典型示例。Habitat 2.0 [^329]和Habitat 3.0 [^276]则分别面向导航、物品重新排列以及人机共居场景。
专门的引擎进一步拓展了物理模拟的范畴：SoftGym [^213] 支持可变形物体的操控，TDW [^105] 支持多模态物理交互，Brax [^99] 提供原生支持JAX的加速器友好型仿真，Genesis [^112] 致力于统一的多物理场仿真，而Newton [^216] 则着眼于可微物理仿真。从这个意义上说，仿真器后端决定了可行数据分布的范围：刚体引擎侧重于接触丰富的控制与操控任务，渲染导向型引擎能够生成视觉上多样化的合成数据，而专用引擎则能够实现可变形物体、触觉相关或可微分的机器人学习。
### 5.3 基准测试与仿真数据集
表4和表5总结了仿真数据生态中的两个互补组成部分。表4聚焦于基准测试与评估环境，描述了它们所支持的实体形态与交互设置。在该表中，“S”“D”和“H”分别代表单臂、双臂和人形实体；
---
它们分别对应单臂、双臂和人形实体；“灵巧手”和“移动能力”则在“Dex.”和“Mobile”列中分别列出。现有的基准测试涵盖了从单臂桌面操控 [^153] [^217] [^408] 到双手协调 [^49] [^50]、灵巧操控、移动操控 [^262] [^263] 以及人形控制 [^305] 等多种配置。不过，刚体物体的操控仍占主导地位，而触觉感知与可变形物体交互仅由相对较少的环境提供支持。
表5则从数据量、任务覆盖范围、实体多样性以及支持的操控设置等方面，对大规模合成数据与基于仿真的数据资源进行了总结。这些数据资源涵盖从任务级的操控轨迹到大规模的抓取样本及灵巧手样本。近期的数据集越来越多地包含多种实体形态以及规模更大的数据量，包括数十万甚至数百万条轨迹；对于以抓取为核心的数据集而言，生成的样本数量更是极为庞大。然而，大多数数据集仍集中于刚体或关节物体的操控，对可变形物体交互和移动操控的覆盖相对有限。
### 5.4 合成演示生成
人类执行的演示。最直接的仿真数据采集方式是记录通过人类控制产生的轨迹。这一类别包括遥操作、基于VR的控制、动作捕捉重定向，以及在仿真环境中的游戏式交互 [^61] [^217] [^254]。在这种场景下，仿真器主要充当一种配备传感器的记录环境，能够提供同步的观察数据、机器人状态、动作、语言标注、物体状态以及成功标签。与完全脚本化生成的数据相比，人类执行的演示能更好地捕捉适应性行为、恢复策略以及时间上连贯的操控模式，尤其是在接触丰富或时间跨度较长的任务中，这类任务很难指定合适的脚本化专家。不过，其可扩展性受到单轮实验所需的人力、操作员的专业水平以及遥操作界面的保真度限制。因此，仿真中的人类演示通常要么直接用作模仿学习的数据，要么作为后续回放、增强或合成扩展的初始轨迹。
基于规则的执行方式。基于规则的执行通过人工指定或特权任务级专家来生成仿真轨迹，包括启发式技能组合[^427]、程序化专家策略[^164]以及航点序列[^153]。通常，一个任务会被分解为多个阶段，比如选择目标物体、计算抓取或接触姿态、接近目标、执行交互以及检查任务是否完成。逆向运动学、任务与运动规划、模型预测控制、考虑碰撞的运动规划、轨迹优化或特定任务的控制器，可以将这些阶段性目标转化为密集的关节空间或末端执行器动作[^121] [^332]。这种范式在仿真基准测试和数据生成环境中被广泛采用，这些环境具备特权状态、物体姿态、关节状态及碰撞模型，包括RLBench[^153]、ManiSkill2[^121]、ManiSkill3[^332]、VIMA-Bench[^164]以及VLABench[^427]。
基于规则的执行方式能够提升可重复性，并降低收集额外数据样本的边缘成本。对于具有明确几何目标、结构化工作空间、可靠重置机制以及清晰定义的成功条件的任务而言，这种方式尤为有效。不过，由此产生的行为分布会受到程序化指定专家表达能力的限制。传统的运动规划主要解决几何层面的执行问题，本身并不能决定任务语义、接触可能性或恢复策略。因此，基于规则生成的数据集可能会低估那些模糊的语义决策、非抓握式交互、高接触需求的适应性行为，以及在真实部署中出现的各种虽非最优但可恢复的行为多样性。
轨迹回放与演示扩展。轨迹回放与演示扩展以现有轨迹为基础，利用它们来合成额外的仿真数据。这些源轨迹可能来源于遥操作、动觉教学、人类视频重定向、运动规划或先前策略的输出结果。在仿真环境中，这些轨迹可以被重新播放、空间变换、分割、拼接，或在新的物体配置、场景布局、实体形态及摄像头条件下进行重定向。像MimicGen这样的以物体为中心的数据增强方法，会保留少量演示数据的时间结构，同时将其适配到新的物体姿态和任务实例中[^251]。这一范式在DexMimicGen中被进一步拓展至双臂及灵巧操作领域[^166]。RoboCasa则将相关的自动化轨迹生成方法整合为家庭及厨房操作框架中的一个组成部分[^262]。
---
这类方法处于人类执行数据与完全脚本化生成之间。与遥操作相比，它能大幅减少重复的人力投入；与手工设计的基于规则的专家系统相比，它能保留人类演示中所蕴含的时间结构、运动风格及任务策略。不过，其覆盖范围仍取决于初始轨迹的多样性和质量。当物体几何形状、接触条件或任务约束与原始演示差异较大时，开环回放可能会失败，此时就需要进行闭环修正、重新规划或过滤处理。因此，当任务允许以物体为中心的转换或可复用的技能片段时，演示扩展方法最为有效；但对于需要全新策略或长时序语义决策的任务，其局限性便显现出来。
自主策略与生成式数据生成。更自动化的类别通过学习到的策略[^398]、强化学习专家、大语言模型或视觉语言模型生成的任务程序、场景图求解器、组合技能库、世界模型或生成式仿真流程来产生仿真轨迹。在自主策略执行过程中，动作由通过强化学习、模仿学习、课程学习或前几轮数据生成训练得到的策略来产生。这类执行结果通常会在仿真环境中收集，用于多任务操作、灵巧操作、关节物体操作、可变形物体操作以及全身控制等任务。具有代表性的仿真环境包括Meta-World [^408]、DexArt [^12]、Bi-DexHands [^56]、SoftGym [^213]、PlasticineLab [^149]、DaXBench [^48]以及HumanoidBench [^305]。与基于固定规则的专家系统相比，学习到的策略能够对观测结果做出反应，并可能进入由策略引导的状态，包括失败和恢复状态。不过，最终产生的数据分布会受到奖励设计、探索策略、策略能力、仿真器保真度以及数据保留标准的强烈影响。因此，质量较差的策略可能会产生大量冗余或无效的数据，这使得验证和过滤步骤必不可少。
近期的生成式数据工厂进一步将人力从编写针对各任务的专家系统转向设计可扩展的任务、资产、技能和验证流程。诸如GenSim [^350]和GenSim2 [^144]这类借助大语言模型的系统能够生成仿真任务、任务代码或关节物体操作设置，随后利用规划或强化学习求解器来生成演示数据。RoboGen [^359]同样探索了用于任务、场景和监督信号生成的生成式仿真方法。RoboTwin [^259]和RoboTwin2.0 [^49]则侧重于通过生成式数字孪生、域随机化以及具身感知执行来实现可扩展的双臂操作数据生成。InternData-M1 [^53]、GenManip [^107]以及InternData-A1 [^341]体现了这一范式更为模块化的形式：其中场景图、物体状态、技能规范、航点、运动规划、物理验证和渲染等环节被解耦，从而生成用于指令跟随、空间定位以及通用策略训练的数据。规模更大的仿真平台和数据引擎，包括RoboVerse [^113]、Genie Sim 3.0 [^401]、ManiTwin [^349]以及RoboCasa365 [^263]，通过将资产构建、场景生成、多实体执行、渲染和基准测试整合到统一的人工数据流程中，进一步推动了这一发展方向。
这一类别还包括近期将合成数据扩展至传统RGB和本体感知轨迹之外的努力。GraspVLA/SynGrasp-1B [^80] 和 Dex1B [^395] 能够生成用于抓取和灵巧操作的大规模合成动作数据。视觉触觉仿真框架通过合成触觉观测、弹性体形变、标记位移场或其他多模态触觉信号，将策略部署扩展到接触丰富的场景。典型的系统包括 Taxim [^317]、TACTO [^354]、Tactile Gym [^214]、Tacchi [^58]、DiffTactile [^318]、TacEx [^265]、TacSL [^2]、TacCel [^208]、TacFlex [^418]、UniVTac [^43] 以及 Tac2Real [^387]。Tac2Real [^387] 是这一趋势的代表：它利用高通量视觉触觉仿真来支持在线强化学习，以及接触丰富场景下的零样本仿真到现实迁移。
除了基于物理的仿真之外，DreamGen [^155] 提出了一种相关的基于世界模型的方向：视频世界模型根据初始视觉状态和语言指令生成合成的机器人视频或神经轨迹，随后通过伪动作恢复来进行策略学习。这些方法减少了对特定任务遥操作及手动脚本编写的需求，但也带来了额外风险，包括任务无效、语义不一致、视觉-动作错位、幻觉动力学、规划器引发的行为偏差，以及与真实机器人经验的分布不匹配。
---
### 5.5 作为仿真器的世界模型
除了传统的基于物理的仿真外，近期的研究越来越多地将世界模型探索为用于机器人学习的学习型仿真器 [^141]。世界模型无需依赖手动指定的资产、动力学参数和渲染流程，而是从收集到的观测数据和交互信息中学习环境的预测性动力学。在观测历史、任务描述和候选动作的条件下，它们能生成未来的观测结果、潜在状态、奖励或任务结果，从而将现有经验转化为想象中的交互轨迹。这一理念源于基于模型的强化学习和潜在想象[124, 126–128]，并已被DayDreamer和UniSim等系统拓展至真实机器人学习和交互式视觉仿真领域 [^370] [^392]。
#### 5.5.1 用于策略训练和训练后优化的世界模型
世界模型可作为虚拟环境，在此环境中优化策略而无需反复与实体机器人交互。想象中的状态转换和预估奖励可支持强化学习、策略适配以及VLA训练后优化。典型的方法包括World-Env、VLA-RFT、DiWA和World4RL [^37] [^165] [^193] [^380]；而近期的系统进一步探索了自主游戏、进度估算以及基于大规模世界模型的策略精细化 [^307] [^336] [^381] [^389] [^402] [^423] [^452]。这些方法能够降低真实世界的交互成本并并行生成经验，但其优势取决于所学仿真器是否能保留机器人动作的因果效应。
#### 5.5.2 用于策略评估的世界模型
经过训练的模拟器也能在物理部署前评估策略性能。WorldGym和WorldEval研究了生成的轨迹是否可用于策略评估和检查点选择，而基于Veo的评估则考察了名义行为、分布外行为以及与安全相关的行为 [^111] [^204] [^286]。与策略训练不同，此处目标是预测任务进度、完成状态、失败情况或不安全结果，而非直接更新策略。因此，仅靠视觉逼真度并不够：有用的评估器必须能保持动作可控性、任务语义、时间一致性以及候选策略的相对排序。
#### 5.5.3 作为合成数据引擎的世界模型
世界模型还提供了一种可扩展的机制，用于根据场景、指令、动作、视角或实体形态来生成交互数据。DreamGen通过潜变量动作模型或逆动力学模型生成机器人视频并恢复伪动作，而GigaWorld-0则将生成式世界模型明确用作具身学习的数据引擎 [^114] [^155]。与传统的数据增强方法相比，这些方法能够建模时间演变和动作后果；与基于物理的模拟相比，它们减少了对人工构建资源的依赖。不过，生成的视频未必包含可准确执行的动作，且动作恢复过程可能会导致视觉与动作之间的不匹配。
总体而言，世界模型正从辅助性的预测组件演变为用于策略优化、评估和数据生成的“学习环境”。其可扩展性和视觉覆盖范围使其成为基于物理的模拟器的有力补充，但预测误差、模型利用、动作模糊性以及分布偏移等问题可能会产生看似合理却不符合物理规律的运动轨迹。因此，基于学习的模拟需要借助真实机器人或基于物理的交互数据进行过滤、不确定性估计和校准。
### 5.6 模拟到现实的差距
模拟到现实的迁移一直是基于模拟的机器人数据中的核心问题，因为人们期望合成轨迹不仅能用于模拟器内的学习，还能支持真实机器人的部署 [^43] [^259] [^263]。从数据角度来看，这一差距主要源于观测不匹配和交互不匹配。
前者指的是渲染出的感官观测数据与真实机器人感知之间的差异。尽管最近的模拟数据集通过3D资产、光照、相机模型、可动物体和多模态传感器提升了逼真度 [^53] [^84] [^341]，但这些观测数据在纹理、照明、材料外观、深度噪声、相机校准、遮挡、触觉响应以及力信号方面仍可能与真实数据存在差异。
---
第二点涉及模拟环境与真实机器人环境之间的不匹配问题，这可以进一步分为运动学差异和动力学差异。运动学差异源于机器人形态、关节限制、坐标框架、动作接口、控制器频率以及校准方面的差别，通常可以通过精确的机器人建模、真实环境与模拟环境对齐以及硬件一致的控制接口来缩小这些差异。动力学差异则更难消除，因为实际执行过程中存在执行器延迟、柔顺性、扭矩饱和、间隙、摩擦、接触、变形、物体惯性以及多体相互作用等效应，而当前的仿真引擎只能部分地捕捉到这些因素。为了提高效率，许多仿真流程会进一步简化接触动力学、采用较粗的时间步长，或对机器人-环境状态更新进行近似处理，从而生成在视觉上看似合理但在动力学上与实际情况不符的轨迹 [^14] [^67] [^361]。因此，核心问题不仅在于能生成多少仿真数据，还在于这些数据是否能够反映决定真实机器人部署所需的感官变化、运动学一致性以及无法消除的动力学不确定性。
### 5.7 优势与局限性
仿真数据通过在可控的虚拟环境中生成机器人的观测结果、动作以及任务成果，提供了可扩展的监督信息。与真实机器人数据相比，它们的采集边际成本更低、易于并行化处理、安全风险小且不会造成硬件磨损。仿真器还能提供从真实系统中难以获取的“特权标签”，例如物体姿态、分割掩码、接触状态、物理参数、成功信号以及密集奖励值。这些特性使得仿真在大规模策略预训练、受控评估、场景与任务随机化以及多样化交互轨迹的生成方面具有重要作用。
仿真数据的主要局限在于物理保真度有限。在感知、执行、接触以及物体动力学方面的近似处理可能会导致显著的仿真到现实差距，尤其是在涉及复杂接触操作、可变形物体、反光材料、液体以及长时间跨度的任务中更是如此。此外，规模大并不等同于多样性：正如图4中InternData-A1所示，受技能约束的生成过程可能会产生许多动作关键点集中在小范围内的轨迹，反映出明显的重复性。因此，仿真策略往往需要进行域随机化、系统辨识、数字孪生重建或现实世界微调。
## 总结
仿真数据构成了金字塔中最具可扩展性和成本效益的机器人相关数据层。自动化生成机制能够反复收集细粒度划分的原子行为数据，为学习特定操作技能提供密集且可控的监督信息。然而，要应用于现实世界，策略必须内化那些无法从不完善的仿真动力学中完全还原的物理规律——尤其是在接触、材料和物体交互方面。场景多样性同样难以保证，因为生成的数据仍受限于可用的资源。此外，要在仿真中扩展技能和任务的多样性，仍然依赖于标注、技能脚本编写或人类演示；从视频中自动发现技能并将其用于驱动数据合成，将是下一步的关键突破点。
## 6 通用数据
### 6.1 数据概述
机器人学习所依赖的不仅仅是直接从实体机器人收集的数据。虽然机器人轨迹为动作生成与控制提供了最直接的监督信息，但这类数据的采集成本很高，且通常只能覆盖有限范围的物体、环境和任务。因此，现代机器人基础模型会纳入大量通用的图像、视频、语言、空间和推理数据。这类数据的主要目的并非教导某台特定机器人如何移动，而是为了在能高效学习物理动作之前，先建立起所需的感知、语义、空间、时间和规划能力。通用数据具有规模庞大、覆盖范围广、多样性高的特点，但与可执行的机器人动作之间的关联性较弱，也缺乏直接的机器人-环境交互数据。
应根据通用数据对机器人模型所贡献的能力来理解这类数据。正如
---
Figure 8 Overview of General Data Categories. Overview of general data categories and representative tasks, spanning cognition, task reasoning, perception, and action, with examples of vision-language QA, OCR, video temporal reasoning, physical reasoning, planning, segmentation and localization, spatial and 3D perception, and grasping.
图8和表6所示，通用视觉-语言数据能提供广泛的语义知识与常识推理能力；分割与定位数据则将这些知识落实到具体的空间区域中；视频数据引入了时间与流程结构；空间与3D数据则提供了几何认知；而以规划为导向的数据则教会模型如何将观测结果与目标组织成可执行的步骤。这些能力构成了认知基础，在此之上才能进一步学习特定于机器人的轨迹与控制信号。
### 6.2 视觉-语言数据
视觉-语言数据构成了现代机器人模型的语义与推理基础。机器人轨迹通常只能覆盖有限的环境、物体和任务，而大规模的图像-文本及视频-文本语料库则能让模型接触到多样化的场景、活动、工具、材料以及语言表达方式。除了视觉识别与指令理解外，字幕生成、视觉问答以及多模态指令数据还提供了关于物体属性、空间关系、人类意图、功能以及可能事件结果的常识性知识——这些在机器人演示中很少被明确标注，但对任务解读与规划却至关重要。
基于图像的指令混合数据，包括LLaVA风格的数据[^188] [^219]、ShareGPT4V [^46]以及PixMo [^79]，结合了来自COCO、VQA、Visual Genome和A-OKVQA [^6] [^179] [^212] [^300]等基准测试中的字幕、问题、详细描述以及推理回答。它们教会模型识别场景内容、理解物体间关系、比较不同区域或视角，并回答自然语言问题。视频-语言数据则进一步引入了人类动作、物体状态变化、时间顺序以及流程结构。带有字幕或问答对的第一人称视角或机器人视角视频，能够提供第一人称的语义与时间理解，尽管它们并不能直接指导机器人动作[^118] [^139] [^159] [^434]。
这些数据集来源于公共视觉库、网页、视频平台、教学视频以及现有的基准测试。早期的数据集主要依赖人工标注，而近年来的流程越来越多地利用多模态模型来大规模生成标题、问题、答案、推理过程和对话内容。这种生成方式虽然提升了覆盖范围和多样性，但也可能引入虚构的物体、错误的关系或笼统的描述。因此，自动生成的标注通常会经过置信度估计、一致性检查、答案验证、模型一致性评估或人工审核等过滤步骤，并且往往需要与规模较小但质量较高的人工标注数据集相结合。
在机器人基础模型中，视觉-语言数据主要用于多模态对齐和指令微调，
---
Table 6 Representative General-Data Datasets. Representative datasets grouped by their primary supervision type, with their data modality, scale, supervision targets, and annotation pipeline. VL denotes vision-language, Seg./Loc. denotes segmentation and localization, and EE denotes end effector. Annotation types are categorized as Manual for human-provided labels, Automatic for labels generated from metadata, geometry, simulation, computer-vision methods, or programmatic procedures, and Semi-auto for model-assisted annotation followed by filtering or human verification.
| Task | Dataset | Modality | Scale | Labels / Targets | Anno. |
| VL (8) | LLaVA-Instruct-150K [^219] | Image-Text | 158K | Caption; VQA; instruction; dialogue | Semi-auto |
| LLaVA-OneVision-SI [^188] | Image-Text | 3.2M | VQA; caption; OCR; knowledge; instruction | Semi-auto |
| ShareGPT4V [^46] | Image-Text | 1.2M captions | Dense caption; image-text alignment | Semi-auto |
| PixMo [^79] | Image-Text | 1M img.; 3.3M ann. | Caption; QA; count; point; document | Manual |
| A-OKVQA [^300] | Image-Text | 24.9K QA | Knowledge VQA; rationale | Manual |
| LLaVA-Video-178K [^434] | Video-Text | 178K vid.; 1.34M ann. | Caption; open/MC QA | Semi-auto |
| RoboVQA [^304] | Robot/Human | 238 h; 829.5K pairs | Plan; success; affordance; past/future QA | Semi-auto |
| EgoTaskQA [^159] | Video-Text | 40K QA | State; causal; predictive QA | Automatic |
| Robot Video (4) | RoVid-X [^82] | Video / Depth / Flow | 4M clips; 10K+ h | Verb; segment; captions; depth; flow | Automatic |
| RoboNet [^75] | Robot Video | 162K vid.; 15M frames | Raw robot trajectories | - |
| RH20T-P [^57] | Robot Video | 38K clips; 67 tasks | Primitive labels; temporal segments | Manual |
| RobAVA [^328] | Robot Video | 40K videos | Action class; normal/anomaly attributes | Manual |
| OCR/UI (5) | OCR-VQA [^255] | Image-Text | 207K img.; 1.0M QA | OCR-based VQA | Automatic |
| TextOCR [^321] | Image-Text | 28K img.; 900K words | Text boxes; transcription | Manual |
| DocVQA [^253] | Document-Text | 12.8K img.; 50K Qs | Document VQA | Manual |
| ChartQA [^252] | Chart-Text | 32.7K QA | Chart QA; numeric reasoning | Semi-auto |
| MultiUI [^223] | UI-Text | 7.3M | UI grounding; elements; actions | Automatic |
| Seg./Loc. (8) | Objects365 [^306] | Image-Box | 638K img.; 10M boxes | Object boxes; categories | Manual |
| SA-1B [^176] | Image-Mask | 11M img.; 1.1B masks | Promptable masks | Semi-auto |
| ADE20K [^48] | Image-Mask | 25K img.; 150 cls. | Semantic masks; scene labels | Manual |
| PACO-LVIS [^290] | Image-Mask | 641K part masks | Object/part masks; attributes | Manual |
| RefCOCO [^404] | Image-Text-Box | 142K expr. | Referring-expression grounding | Manual |
| PixMo-Points [^79] | Image-Text-Point | 428k img.; 2.3M expr. | Pointing; counting | Manual |
| RoboPoint [^413] | Image-Text-Point | 1.43M QA | Object/affordance/free-space points | Automatic |
| RoboAfford++ [^131] | Image-Text-Point | 870K img.; 2.0M QA | Part/affordance localization | Semi-auto |
| Temporal (6) | Ego4D NLQ [^118] | Video-Text-Time | 227 h; 19K queries | Query-to-moment localization | Manual |
| Charades-STA [^106] | Video-Text-Time | 16K moment pairs | Sentence-to-moment grounding | Manual |
| DiDeMo [^133] | Video-Text-Time | 10K vid.; 40K desc. | Text-to-moment localization | Manual |
| HiREST [^415] | Video-Text-Time | 3.4K pairs; 8.6K steps | Moment; step segments; captions | Manual |
| Moment-10M [^279] | Video-Text-Time | 10M moments | Segment-level grounding | Semi-auto |
| COIN [^331] | Video-Step-Time | 11.8K vid.; 46.3K seg. | Procedure steps; temporal segments | Manual |
| Spatial/3D (7) | ScanNet [^68] | RGB-D / Mesh | 1.5K scenes; 2.5M views | Depth; pose; mesh; 3D semantics | Semi-auto |
| ScanNet++ [^399] | RGB-D / Mesh | 460 scenes | Hi-res geometry; views; semantics | Semi-auto |
| ARKitScenes [^13] | RGB-D / LiDAR | 5K cap.; 1.7K scenes | Depth; reconstruction; 3D boxes | Semi-auto |
| WildDet3D [^147] | Image-3D Box | 1.00M img.; 3.91M boxes | Open-vocab monocular 3D boxes | Semi-auto |
| MMScan [^242] | 3D-Text | 1.4M cap.; 3.04M QA | 3D captions; grounding; QA | Semi-auto |
| ScanQA [^9] | 3D-Text | 41K Qs; 800 scenes | Free-form 3D QA | Manual |
| SQA3D [^246] | 3D-Text | 33.4K Qs; 6.8K sit. | Situated agent-centric 3D QA | Manual |
| Planning (4) | ALFRED [^313] | Obs.-Lang.-Action | 25K dir.; 8K demos | Goal/subgoal instructions; actions | Manual |
| EgoPlan-IT [^55] | Video-Text-Plan | 50K planning QA | Goal; subgoal; next action | Semi-auto |
| ShareRobot [^158] | Robot Video/Image-Text-Point | 51.4K eps.; 1.028M QA | Planning; affordance; EE trajectory | Semi-auto |
| LLaRP [^330] | 3D-Lang.-Action | 114 tasks | Language task; high-level actions | Automatic |
| Physics/Failure (4) | CLEVRER [^400] | Video-QA | 20K vid.; 300K+ Qs | Descriptive/causal/predictive/counterfa QA | Automatic |
| IntPhys [^293] | Video-Label | 15K videos | Possible vs. impossible | Automatic |
| InfLevel [^363] | Video-Label | 5.8K real; 75.3K sim. | Continuity; solidity; gravity; plausibility | Automatic |
| RoboFail [^228] | Video-Text | 100 sim.; 30 real | Failure type/cause; recovery | Manual |
| Grasping (4) | RealVLG-11B [^197] | Image-Text-Mask-Grasp | 165K img.; 1.3M ann.; 11B grasps | Grounding; box; mask; 4-DoF grasp; contact | Semi-auto |
| GraspNet-1Billion [^94] | RGB-D-Point-Grasp | 97K img.; 1.1B grasps | Scene-level 6-DoF grasps | Semi-auto |
| SuctionNet-1Billion [^32] | RGB-D-Point-Grasp | 97K img.; 1.1B labels | Contact; normal; suction quality | Automatic |
| DexGraspNet 2.0 [^424] | Mesh-Hand-Grasp | 8.3K scenes; 427M grasps | Hand pose; contact; grasp quality | Automatic |
---
通过建立广泛的场景理解、常识推理、任务理解和问答能力，包括在指令模糊、不完整或存在噪声的情况下也能正常工作 [^160] [^373] [^374]。在后续的机器人专用训练阶段，可能会保留通用的视觉-语言数据以维持语义和语言能力，而空间定位、规划、抓取以及轨迹监督则将这些广泛的知识转化为可执行的行为。
### 6.3 分割与定位数据
物体检测、分割和定位在机器人感知中始终占据核心地位，因为操作行为通常围绕物体及其功能部件展开。在抓取杯子、打开抽屉、按下按钮或放置物品之前，机器人必须识别出相关物体、估算其位置并确定交互发生的位置。因此，这类数据为从视觉-语言语料库中学到的语义知识补充了明确的空间定位信息。
传统的数据集通过边界框、语义或实例掩码以及部件级区域来对物体类别进行标注。COCO [^212]、LVIS [^123]、Objects365 [^306]、ADE20K [^448] 和 SA-1B [^176] 涵盖了日常生活中常见的物体和场景，而像PACO [^290] 这样的以部件为中心的资源则标注了更精细的功能性组件。这种区分对于操作任务尤为重要：如果策略无法定位抽屉的把手，那么仅仅识别出抽屉是不够的；使用工具时也需要将其可抓取区域与其功能端分离开来。
语言引导的定位进一步将视觉感知与自然语言指令联系起来。RefCOCO [^404] 等指代表达数据集将描述内容与目标框或掩码相关联，而PixMo-Points [^79] 则对基于坐标的指向行为进行监督。面向机器人的数据集，如RoboRefIt [^236] 和 RoboPoint [^413]，将这些任务扩展到了杂乱的室内环境和操作场景。可供性数据集通过识别可抓取部件、把手、按钮、放置区域或可导航区域来加入动作相关性，从而将预测目标从“物体是什么”转变为“应在何处进行交互”。
这些数据集来源于网络图像、摄影资料库、识别基准测试、桌面场景、第一人称视角录像、机器人搭载的摄像头以及合成环境。其标注形式可能包括人工绘制的边界框和掩码、交互式或模型辅助的分割结果、指代表达式，或是点击点。仿真环境无需人工标注即可提供精确的物体身份信息、掩码、坐标及可见性数据；而近期的研究流程越来越多地利用多模态模型来生成区域描述或指代表达式，随后再经过几何校验、置信度过滤或人工验证。
对于机器人学习而言，这类数据的主要价值在于它们能将语义概念转化为可在空间中执行的操作目标。模型或许能够理解“捡起那个红色杯子”这样的指令，但操控系统仍需要借助边界框、掩码、点击点或部件级区域来定位当前视野中的杯子。这种表征随后便可用来指导抓取生成、导航、运动规划或底层控制。因此，分割、定位、指向以及可操作区域定位，为通用的视觉理解与物理执行之间提供了直接的接口。
然而，来自普通图像的标注并不能完全反映机器人感知所面临的挑战。机器人场景往往存在严重的遮挡现象、重复的物体类别、非典型的观测视角、运动模糊，以及部分可见的功能性部件；同时自动生成的表述可能含糊不清，甚至指向错误的物体实例。因此，稳健的系统通常会将大规模通用分割数据与规模较小、与任务相关的机器人数据集相结合，并在真实的操控场景中运用关系感知型的标注、过滤或验证机制。
### 6.4 三维数据
三维数据为具身感知与物理交互提供了必要的几何基础。通用的视觉-语言数据或许能让模型识别物体并理解场景语义，但机器人还必须进一步估算物体的位置、距离、朝向，以及它们相对于自身和周围环境的排列方式。因此，这类数据有助于实现对深度、距离、方向、包含关系、支撑关系、可见性、自由空间以及视角变化等方面的推理。
---
这一类别包括RGB-D图像、点云、重建网格、多视角观测数据、相机轨迹、三维物体标注以及空间问答数据。诸如ScanNet [^68]、ScanNet++ [^399]、ARKitScenes [^13] 和 3RScan [^345] 等室内场景数据集提供了RGB-D序列，同时附带相机位姿和重建后的几何信息。像ScanQA [^9] 和 SQA3D [^246] 这类带有语言标注的资源则要求模型回答有关物体位置、相对方向以及以机器人为中心的观测结果的问题。其他数据集则根据物体坐标、场景图或重建环境来生成空间问题，从而为度量与关系推理提供可扩展的监督信号。
这些数据通常通过RGB-D相机、移动设备深度传感器、立体系统、激光雷达或多视图重建流程来采集。深度图[^13] [^320]和相机位姿可以直接从传感器、视觉惯性跟踪、SLAM [^260]或运动恢复结构技术[^298]中获取。随后，多个观测结果会被融合成点云或网格模型。物体身份[^68] [^345]、语义区域[^68] [^399]、3D框[^13]以及场景关系通常需要人工标注[^346]，而距离、相对方向、可见性和包含关系等几何属性则可以从重建的场景中自动计算得出。合成环境提供了额外的监督来源，因为它们能够直接输出精确的深度信息、表面法线、相机参数、分割标签以及物体位姿。
对于机器人学习而言，这些数据的主要价值在于将视觉观测转化为具有物理意义的环境表征。机器人不仅要确定哪些物体是相关的，还要判断该物体是否可到达、是否有其他物体阻挡路径、是否有足够的空闲空间进行操作，以及从哪个视角能最清晰地观察到目标物体。三维场景表征还能整合来自不同视角的信息，这在物体部分被遮挡或暂时超出相机视野时尤为重要。
因此，空间和三维监督数据能够支持导航、碰撞规避、视角选择、物体搜索、抓取规划以及操作任务。它们提供了评估某种语义上合理的动作是否在物理上可行所需的几何上下文。在机器人基础模型中，这些数据通过深度、尺度、方向和场景结构等信息，将物体与任务概念具体化，从而为规划与控制模块提供运作的几何基础，进而补充视觉语言理解能力。
### 6.5 用于任务分解的规划数据
规划数据用于指导将任务目标与当前观测转化为有序的步骤序列、子目标或下一步动作。与低层控制数据不同，它们的目标描述的是抽象的任务结构，例如定位物体、准备工作空间、执行操作步骤以及验证最终状态。因此，它们在语义理解与具身化执行之间提供了一个中间推理层。
这类数据可以源自人类撰写的指令、手册、教学视频或第一人称视角视频、机器人演示以及仿真环境。基于视频的数据集会将演示过程划分为有意义的阶段，并将观测结果与下一步预测、子目标序列或推理轨迹相关联，EgoPlan-IT和EgoCOT [^55] [^258]就是典型的例子。机器人轨迹通过动作序列和物体状态转换提供了更贴近物理现实的监督信息，而仿真则利用明确的状态、动作前提条件和成功条件来实现可扩展的生成与验证。
语言和多模态模型也越来越多地被用于生成计划或下一步操作标注，不过这些输出可能包含看似合理但实际上在物理上无法实现的步骤。另一种补充性用法是让预训练模型在部署时直接提供计划，而非将其作为离线监督数据：ASCENT通过将前沿排序与基于大语言模型的上下文推理相结合，实现了多层建筑中的零样本物体目标导航，无需针对特定任务重新训练就能推广到未见过的物体类别[^116]。这类无需训练的流程展示了仅凭通用数据先验就能支撑多高水平具身决策的能力，同时也暴露了其局限性——因为生成的计划仍未与具身智能体自身的动力学特性相挂钩。因此，这些标注需要通过已演示的操作顺序、状态变化、模拟器执行结果、成功条件或人工审核来加以筛选。结合机器人轨迹与控制数据，规划监督能够帮助具身模型分解长周期目标、追踪任务进度并选择可执行的子目标。
---
### 6.6 视频与时序数据
视频时序数据为具身模型提供了一种感知记忆形式。机器人接收到的并非单一图像形式的任务描述，而是一连串连续的部分观测数据，其中物体可能会移动、改变状态、被遮挡或从视野中消失。因此，模型必须将当前观测与过往事件关联起来，判断出与任务相关的操作或状态转换发生的时间点。这类数据主要涵盖时序定位、事件定位、步骤分割以及长视频记忆监督，而非通用的动作识别任务。
时序定位是将语言查询或任务描述与特定的视频时间段对应起来。对于“抽屉何时被打开？”或“找出将物体放入容器的步骤”这类查询，模型需要预测对应的开始和结束时间戳。这要求模型在观测历史中搜索、提取相关事件，并将其与其他时间的类似操作区分开来。长视频与情景记忆数据还能进一步训练模型回答“发生了什么”“何时发生的”以及“物体此前出现在何处”等问题。第一视角录像尤为有用，因为它们提供了较长、动态且部分被遮挡的数据流，类似于具身智能体的感知历史。
这类数据集通常采集自教学类、日常活动类或第一视角视频。人类标注者可能会将视频分割成有意义的步骤，为每个时间段编写描述，或根据查询选择时间边界。旁白时间戳提供的事件与语言对齐程度较弱，而大规模处理流程可能会利用多模态模型生成描述和候选时间戳，随后进行文本对齐、一致性过滤或人工验证。此类监督能够帮助具身模型检索过往事件、追踪物体状态变化，并在长时间的交互中识别任务进度。
### 6.7 物理、因果与故障推理
物理推理数据用于教导模型预测不同操作下场景可能发生的变化。CLEVRER [^400]和IntPhys [^293]等数据集为碰撞、物体恒存性、稳定性、未来状态预测以及反事实推理提供了监督信号。它们帮助模型区分物理上可行的结果与不可能实现的结果。
面向失败的数据[^228]，比如RoboFail[^228]，更侧重于机器人的执行过程。它们可能会标记任务是否失败、指出发生故障的阶段、解释原因，或描述可能的恢复措施。此类监督数据可用于训练评判模型、进度估算器或规划阶段验证器。
合成物理数据集是在仿真中生成的，其中物体状态、碰撞以及反事实结果可以自动获取。真实世界的失败数据则需要在不同条件下反复执行任务。标签可以手动提供，也可以从任务成功检测器中提取，或是通过将观测到的状态转换与预期目标进行对比来生成。
### 6.8 抓取数据
抓取数据规定了机器人末端执行器接触物体的位置与方式。合适的表示形式取决于具体任务。Cornell[^187]、Jacquard[^83]和Grasp-Anything[^344]提供图像平面上的抓取矩形；而GraspNet-1Billion[^94]、ACRONYM[^92]和Grasp-Anything-6D[^266]则提供三维平行夹爪抓取候选方案。SuctionNet[^32]提供表面接触情况与吸附质量信息，而DexGraspNet风格的数据集[^353] [^424]则描述手腕姿态与多指关节配置。
二维抓取数据易于构建，且支持自上而下的抓取预测，但其输出结果在机器人执行前通常需要进行深度校准与相机标定。相比之下，6自由度数据集直接指定三维坐标下的夹持器姿态，还可能包含夹持器宽度、碰撞状态及抓取质量等信息。像RefGraspNet[^17]这类语言条件数据集还会将指代性表述与一组可执行的抓取姿态关联起来。
抓取标注可通过多种方法生成。小型的二维数据集可能采用人工绘制的带方向矩形。较大的合成数据集会在物体网格周围采样候选姿态，并通过几何指标、碰撞检测或物理仿真来评估这些姿态。场景级数据集会渲染或采集RGB-D观测数据，并将有效的物体级抓取转换为场景坐标。随后可利用真实机器人试验来验证仿真得出的质量评分。
---
区分直接给出的抓取姿态数据与辅助抓取资源十分重要。接触图、人手与物体交互数据、物体姿态标注以及三维物体网格都能提供有用的先验信息，但它们并不能直接指定可执行的机器人夹持器姿态。通常需要借助独立的抓取生成器、重定向方法或优化步骤来处理这些数据。
### 6.9 优势与局限
通用数据具备规模大、多样性强且易获取的特点，这是任何机器人采集的数据源都无法比拟的。由于无需硬件、遥操作或环境重置，它们可以以极低的边际成本从现有的网络、视频及基准测试资源中整合而成，而且与具体形态无关，因此同一套数据集可在不同平台与任务中重复使用。它们的贡献也是互补而非冗余的：视觉语言语料库中的语义与常识知识、分割与定位数据中的空间定位信息、三维数据中的几何结构、视频中的感知记忆、规划数据中的任务结构，以及推理基准测试中的物理合理性，共同构成了认知基础，能让后续的机器人专项训练更高效。
相应的局限性在于动作与物理交互的关联性较弱。通用数据既无法捕捉本体感知、执行器动态、接触力等信息，也无法反映动作产生的物理后果，因此仅凭这些数据本身无法确定机器人应当执行的具体任务。此外，这些数据的视觉分布也与机器人的实际观测结果存在差异——后者往往涉及遮挡、特殊视角、运动模糊以及重复出现的物体实例。日益自动化的标注流程也带来了额外风险：生成的标签、指代性表述和规划方案可能存在幻觉、歧义或物理上不成立的情况，在使用前必须经过验证。因此，通用数据最好被视作关于感知、语义和推理的广泛先验，而更贴近机器人的层级则必须将其落实到具体的物理执行中。
要点总结
通用数据提供的网络级语义、感知及推理先验，远远超出了物理交互数据所能覆盖的范围，不过其在动作与接触层面的关联性较弱。这类数据对于构建感知、推理和规划能力最为宝贵，后续更高层级、更贴合机器人的模块会将这些能力落实到物理执行中。
## 7 具身基础模型中的数据应用
### 7.1 概述
前文介绍了具身数据的采集范式和主要形式。现在我们将从数据构建转向数据应用，探讨不同类型的数据如何用于训练具身基础模型。我们首先总结代表性模型架构所采用的数据配方和动作表示方法。随后将讨论三大模型家族，即具身大脑模型、视觉-语言-动作模型（VLAs）和世界动作模型（WAMs），重点分析各家族在有无机器人动作标签的情况下对数据的利用方式。这一视角凸显了不同类型数据在支持具身理解、控制和动力学建模方面的独特作用。
### 7.2 数据组成与动作表示
#### 7.2.1 具身基础模型的数据配方
如表7所示，具身基础模型的数据配方正从单一来源的机器人演示数据，向日益多样化的混合数据演变。这种演变在同一模型家族的不同代际中尤为明显。例如，$\pi$系列从$\pi_0$ [^21]中的真实机器人数据，扩展到$\pi_{0.5}$ [^150]中的真实机器人数据与通用数据，再到$\pi_{0.7}$ [^151]中加入的以自我为中心的视角数据。同样，LingbotVA [^196]结合了真实机器人数据、UMI数据和仿真数据，而LingbotVA 2.0 [^426]则将其数据配方扩展至数据金字塔的全部五个层级。
尽管这种异构预训练的趋势日益明显，但针对具身智能的基础模型而言，最佳数据配方仍是一个未解之谜。
---
Table 7 Representative VLA and WAM approaches. The models are grouped and sorted by release time, model type, institution, and data source icons. Left Half: Models from 2023 to 2025; Right Half: Models from 2026. Data sources are indicated by 📐 real-robot data, 🐱 egocentric data, 📊 UMI data, 📚 simulation data, and 💡 general data.
| Time | Method | Institution | Model | Data |
| 2023.3 | PaLM-E [^88] | Google | VLA | 2026.1 |
| 2023.7 | RT-2 [^23] | DeepMind | VLA | 2026.1 |
| 2024.5 | Octo [^339] | UC Berkeley | VLA | 2026.1 |
| 2024.6 | OpenVLA [^174] | Stanford University | VLA | 2026.1 |
| 2024.10 | GR-2 [^41] | ByteDance | VLA | 2026.2 |
| 2024.10 | $\pi_0$ [^21] | Physical Intelligence | VLA | 2026.2 |
| 2024.10 | RDT-1B [^225] | THU | VLA | 2026.2 |
| 2024.11 | CogACT [^198] | THU | VLA | 2026.2 |
| 2025.1 | SpatialVLA [^285] | Shanghai AI Lab | VLA | 2026.2 |
| 2025.1 | UP-VLA [^425] | THU | VLA | 2026.2 |
| 2025.3 | HybridVLA [^221] | PKU | VLA | 2026.3 |
| 2025.3 | GR00T N1 [^20] | NVIDIA | VLA | 2026.3 |
| 2025.3 | GO-1 [^26] | Shanghai AI Lab & AgiBot | VLA | 2026.3 |
| 2025.3 | CoT-VLA [^437] | NVIDIA | VLA | 2026.4 |
| 2025.4 | UWM [^450] | University of Washington | WAM | 2026.4 |
| 2025.4 | $\pi_0.5$ [^150] | Physical Intelligence | VLA | 2026.4 |
| 2025.5 | UniVLA [^27] | HKU | VLA | 2026.4 |
| 2025.6 | SmolVLA [^316] | Hugging Face | VLA | 2026.5 |
| 2025.6 | GR00T N1.5 [^20] | NVIDIA | VLA | 2026.5 |
| 2025.7 | DreamVLA [^430] | SJTU | VLA | 2026.5 |
| 2025.7 | EgoVLA [^391] | UC San Diego | VLA | 2026.6 |
| 2025.7 | Being-H0 [^237] | PKU | VLA | 2026.6 |
| 2025.7 | GR-3 [^42] | ByteDance Seed | VLA | 2026.6 |
| 2025.7 | H-RDT [^19] | THU | VLA | 2026.6 |
| 2025.8 | GalaxeaVLA(G0) [^16] | Galaxea | VLA | 2026.6 |
| 2025.8 | ReconVLA [^324] | HKUST | VLA | 2026.6 |
| 2025.8 | MolmoAct [^184] | AI2 & UW | VLA | 2026.7 |
| 2025.8 | EO-1 [^284] | Shanghai AI Lab | VLA | 2026.7 |
| 2025.9 | RynnVLA-001 [^163] | DAMO | VLA | 2026.7 |
| 2025.10 | X-VLA [^442] | THU | VLA | 2026.7 |
| 2025.10 | InternVLA-M1 [^53] | Shanghai AI Lab | VLA | 2026.7 |
| 2025.10 | VITRA [^199] | THU | VLA | 2026.7 |
| 2025.11 | METIS [^101] | PKU | VLA | 2026.7 |
| 2025.11 | iFlyBot-VLA [^433] | iFLYTEK & LindenBot | VLA | 2026.7 |
| 2025.12 | VideoVLA [^311] | XJTU | VLA | 2026.7 |
| 2025.12 | Motus [^18] | THU | WAM | 2026.7 |
| 2025.12 | GR00T N1.6 [^20] | NVIDIA | VLA | 2026.7 |
基础模型的最佳数据配方依然是个未解之谜。主要或完全基于机器人数据预训练的模型，比如LingbotVLA [^376] 和DreamZero [^397]，同样能取得出色的性能；现有证据并不能证明引入更多数据源就必然更优。不过我们认为，不同类型的数据能够提供互补的能力：通用数据可支撑广泛的视觉、语义及推理能力；以自我为中心的数据和UMI数据能够拓展场景、物体、视角及人类行为的覆盖范围；而仿真数据则能通过可控且可扩展的交互生成来强化特定技能。
第二个趋势是预训练规模的迅速扩大。早期的模型如OpenVLA [^174] 和
---
VideoVLA [^311] 主要是在Open X-Embodiments生态系统中的机器人演示语料库上进行预训练，而GR-2 [^41] 则代表了早期尝试将相对有限的机器人数据与以人为中心的数据混合起来进行联合训练。到2026年，所报告的预训练规模已大幅增加。Qwen-RobotManip [^412] 构建了一个时长约38,100小时的多源语料库，其中包括大约11.4K小时的开源机器人数据，以及从1,933小时以人为中心的视频中合成出的24,808小时机器人兼容轨迹。Xiaomi-Robotics-1 [^340] 进一步报告称，其在超过100,000小时的真实世界UMI轨迹上进行了预训练，随后又使用了约10,000小时跨本体后训练数据，其中包含超过7,200小时的内部机器人轨迹以及1,000多小时的带指令标注的UMI数据。尽管由于模态、处理、过滤及训练阶段的不同，这些数值无法直接比较，但它们共同反映了具身预训练从传统机器人数据集向包含数十万小时交互数据的语料库发展的进程。
第三个密切相关趋势是以人为中心的人类数据的重要性日益凸显。如表7所示，越来越多的模型在异质预训练方案中纳入了以人为中心的数据，包括GR-2 [^41]、GR00T N1 [^20]、GR-3 [^42]、Motus [^18]、$\pi_{0.7}$ [^151]、Qwen-VLA [^352]、Qwen-RobotManip [^412] 以及LingbotVA 2.0 [^426]。
其他研究更进一步，将以人为中心的数据作为预训练期间的主要或唯一来源，包括EgoVLA [^391]、Being-H0 [^237]、H-RDT [^19]、VITRA [^199]、UniDex [^420] 以及HumanScale [^244]。HumanScale利用多达5,000小时的精心挑选的以人为中心的视频进行受控预训练，而EgoScale [^443] 则将带有动作标签的以人为中心的预训练规模扩大到20,854小时，并且报告称在1,000至20,000小时的不同子集上均取得了稳定的性能提升。这些研究共同表明，以人为中心的数据正逐渐超越辅助来源的地位：其可扩展性和对人类-物体交互的丰富覆盖，使其成为通用网络数据与特定于具身的机器人轨迹之间日益重要的预训练基础。
除了这些主要趋势外，近期的研究也开始重新考虑严格的数据质量要求。以往的训练流程大多保留那些成功且经过精心筛选的演示数据，而$\pi_{0.7}$ [^151] 指出，当与足够清晰的提示配对时，质量较低的轨迹仍可能提供有用的监督信息。这一发现尚处于初步阶段，但预示着从激进的数据过滤向对轨迹质量和意图进行更明确的条件化处理的转变。
#### 7.2.2 机器人基础模型中的动作空间表示
机器人基础模型正日益整合来自不同实体形态的动作轨迹，但这些动作在不同数据集之间无法直接比较。这种差异不仅源于特定实体形态的控制维度与执行器语义，还源于描述末端执行器运动时所采用的坐标系和几何约定。因此，现有方法从两个互补的层面来解决动作空间的异质性问题：跨实体结构对齐，即确定如何将不同的控制变量映射到共享的动作接口；以及几何对齐，即确定空间动作所采用的参考坐标系。接下来的讨论将回顾这两个维度上的代表性策略，并探讨它们对多实体形态预训练和迁移学习的影响。
跨实体动作空间表示。现有的具身基础模型通过三种主要策略来协调异构机器人动作空间：特定实体形态的投影、固定维度的零填充动作接口，以及语义动作槽。这些策略在解决动作空间异质性的层面上有所不同。第一种策略保留特定实体形态的动作接口，仅在共享的模型表示中进行对齐；第二种策略标准化动作向量的维度，但并不强制要求具备一致的物理语义；第三种策略则将异构机器人动作明确组织为一组语义上定义明确的控制维度。
(1) 特定实体形态的投影。该策略保留了每台机器人的原生动作维度与控制语义，同时利用特定于实体形态的投影器、适配器或动作头，将异构的状态-动作表示映射进/出共享的策略骨干网络。因此，它能够在无需替换机器人专属控制接口的前提下实现表示层面的共享，GR00T N1 [^20]、Octo [^339] 和 SmolVLA [^316] 均采用此种方式。
(2) 固定维度的零填充动作接口。该策略为不同形态的机器人预留了统一的动作向量维度。
---
对于动作空间维度较低的机器人，它们会用零来填充未使用的维度，通常会搭配有效性掩码，将无效维度排除在学习目标之外。这种方式为联合训练提供了统一的张量接口，但并不要求不同机器人的对应维度具备相同的物理语义 [^21] [^352] [^393]。
(3) 语义动作槽。该策略为共享动作向量中预定义的维度或块赋予固定的物理含义，使得对应条目在不同实现中能保持一致的控制语义；而无法使用的组件则会被掩码处理或补零。Qwen-RobotManip[^412]提供了一个典型实现：它定义了一个由两块各29维的机械臂数据以及22个预留维度组成的80维标准状态-动作向量。每块机械臂数据分别分配7维给关节、9维给末端执行器姿态、1维给平行夹爪，以及12维给灵巧手关节。不同实现仅填充相关的子集，而非活动字段则被置零，并通过逐维度二进制掩码将其排除在流匹配目标之外。RDT-1B [^225]、Being-H0.5 [^238]、Green-VLA [^7]、UniDex [^420]、JoyAI-RA 0.1 [^428]、Wall-OSS-0.5 [^406]以及LingbotVLA 2.0 [^377]均采用类似的语义槽设计。与形状级填充相比，这种表述方式通过统一动作维度和物理语义，实现了更强的跨本体对齐能力。
## 几何动作表示
除了维度和语义层面的对齐外，更好的跨数据集对齐可能还需要考虑用于表示末端执行器动作的坐标系，因为相同的运动在不同的几何约定下会呈现出不同的数值。现有方法大致可分为三类。
(1) 以机器人为中心的表述。该策略在世界坐标系或机器人基座坐标系中表达末端执行器的姿态或运动指令，从而为传统机器人控制器提供直接接口。不过，由此产生的表述仍可能与特定本体的基座姿态、安装配置及工作空间约定相耦合，Open X-Embodiment [^64]便是例证。
(2) 以摄像头为中心的表述。该策略将动作转换到摄像头坐标系下，旨在让视觉上相似的运动在不同本体和场景中拥有更一致的数值表述。Qwen-RobotManip [^412]和OC-VLA [^429]采用了这种以摄像头为中心的动作表述方式。
(3) 以手腕为中心的表述。该策略在规范化的手腕坐标系中表达指尖姿态、手部关键点或局部手部运动，旨在将局部手部关节活动与全局手腕平移及旋转分离开来。METIS [^101]和LDA-1B [^241]便使用了此类表述。
无论选择哪种坐标系，其实现都应明确说明坐标系原点和轴方向、坐标系左右手规则、工具中心点、绝对/相对动作模式、旋转参数化方式以及物理单位。然而，现有研究针对这些表述方式的受控对比实验十分有限，目前尚不清楚是否存在某种坐标约定能在不同数据集和本体间始终提供更优的迁移或控制性能。
### 7.3 具身大脑的应用
具身大脑模型通常指的是在物理世界理解任务上预训练的视觉-语言模型，用于支持机器人感知和高层决策制定。与直接强调动作生成或动力学预测的VLA和WAM不同，这些模型侧重于时空感知、物理推理、物体定位、时间记忆以及任务规划。具有代表性的模型包括RynnBrain [^74]、HY-Embodied [^409]和Pelican-VL [^431]，它们会在下游控制之前或同时强化这些能力。
因此，它们的训练数据并不一定要包含低层次的机器人动作；关键在于监督信息是否有助于形成具有物理意义的表征。通用的多模态数据可以支持语义理解、视觉常识 [^140]、OCR、记忆以及空间推理，而包含动作、状态或运动线索的交互数据则能提供可供性、抓取、轨迹以及规划方面的监督信息。因此，近期的具身大脑模型会将通用多模态数据与具身定位数据相结合 [^74] [^158]。根据现有的监督信息，我们将这些数据分为两类：用于具身理解的无需动作的数据，以及用于物理定位的带动作标签的数据。
---
#### 7.3.1 用于具身理解的无需动作的数据
用于训练具身大脑的数据中，有很大一部分并不包含显式的动作标注。这类数据包括通用图像-文本、视频-文本、VQA、OCR、空间与时间QA以及指令跟随数据，还包括经过重新标注以用于字幕生成、问答、时间记忆或任务理解的第一人称视角视频。尽管缺乏机器人状态和控制指令，这类数据仍为物体识别、语言理解、视觉常识、时空推理、物体功能推断以及任务理解提供了重要的监督信息 [^31] [^74]。
无需动作的视频也可以通过时间预测、掩码视频建模或未来帧生成来支持以机器人为中心的视频预训练。这些目标使模型能够学习物体恒常性、运动模式、手-物交互、状态转换以及粗略的物理动力学，而无需为每个片段提供动作标签。具有代表性的例子包括GR-1、V-JEPA 2、DreamDojo，以及像Cosmos Predict这样的物理AI视频基础模型 [^3] [^8] [^109] [^365]。由此产生的视觉-时间表征既可以作为具身大脑的骨干，也能在下游适配过程中与规划和动作模块相耦合。
不过，仅基于视频的预训练主要提供的是观察性知识而非可执行知识。它未必能揭示哪种动作会导致某种状态转换，或者该转换对于特定形态的机器人而言是否可行；要实现可执行控制，仍需要动作条件化的轨迹、机器人状态、逆动力学监督或策略适配。因此，无需动作数据的主要作用是支持对物理世界的理解，而非针对特定形态的机器人进行动作对齐。通用多模态数据提供了广泛的语义和常识先验，而第一人称视角数据则让具身大脑接触到第一人称视角、遮挡现象、手-物交互、物体状态变化以及长时序任务进展等信息 [^74] [^409]。
#### 7.3.2 用于物理定位的带动作标签的数据
带有动作标签的数据包含明确的交互信号或能够从中恢复出此类信号的示例。它们包括真实机器人轨迹、手持式夹持器演示、仿真结果，以及包含机器人状态、手或夹持器运动、物体状态变化或动作标注的交互视频。对于具身智能体而言，这些信号通常不会被直接用作控制目标，而是会被转化为更具通用性的监督信息，例如可操作区域位置、抓取姿态、轨迹航点、动作边界、子任务标签以及下一步动作标注。RoboBrain和ShareRobot就是采用这种思路的典型代表，它们将任务规划、物体可操作性以及末端执行器轨迹视为核心监督信号 [^158]。
这类监督信息支撑着三种密切相关的能力。首先，可操作区域标签能够标识出具有功能意义的交互区域，比如把手、按钮、接触面以及放置区域。这些标签既可以通过人工标注获得，也能通过分割、手或夹持器跟踪、接触估计以及物体状态变化检测来提取 [^158] [^431]。其次，跟踪、姿态估计、SLAM以及相机运动恢复技术可以将演示数据转化为二维或三维轨迹、稀疏航点以及接近方向。相较于静态的可操作区域，这些目标提供了更丰富的物理信息；同时，它们又比特定于具体机械结构的关节指令更具通用性 [^158] [^432]。最后，演示数据可以被划分为原子动作、子目标和步骤边界，从而帮助具身智能体识别任务进度并预测后续动作 [^74] [^158]。
不同的数据源提供了互补的动作监督信息。真实机器人数据能够提供与具体机械结构相匹配的状态和控制轨迹；手持式夹持器数据则提供了更易扩展的末端执行器运动来源；而仿真环境则能自动提供物体状态、接触情况、轨迹、成功条件以及失败标签等信息。总体而言，带有动作标签的数据在物理理解与可执行行为之间架起了桥梁。它们无需让具身智能体直接模仿低层次的控制信号，而是将感知与推理建立在可操作区域、轨迹以及任务结构之上，进而为后续的VLA和WAM训练提供支持 [^269] [^409] [^432]。
### 7.4 视觉-语言-动作模型的应用
视觉-语言-动作（VLA）模型通常以视觉-语言模型为基础，将其多模态理解能力拓展到机器人控制领域。虽然具身VLM主要侧重于感知、语义对齐、时空推理以及高层次任务理解，
---
VLA模型更强调如何将多模态表征转化为可执行的行为。因此，一个理想的VLA模型不仅要能够识别与任务相关的物体、状态及可操作区域，还要能规划动作序列、预测低层次的动作片段，并根据具体的机器人机械结构和环境调整自身行为。OpenVLA [^174]、Octo [^339]以及$\pi_{0.5}$ [^150]等近期系统便是这一范式的典型代表。它们通过将大规模视觉-语言预训练与具身数据相结合，实现了通用的操控策略，能够遵循语言指令、定位任务相关物体，并在各类任务、场景及机器人平台上生成相应的动作。
VLA模型的行为导向特性体现在两个互补的能力层面。一方面，VLA模型必须能够理解场景与环境，包括与任务相关的物体定位、物体跟踪、空间关系、物体状态、可供性以及时间上下文。这些能力建立在高级视觉-语言理解基础之上，为决策提供必要的依据。另一方面，VLA模型必须将这种基于现实的理解转化为特定于实体形态的规划与执行能力，例如动作序列生成，以及针对机器人形态与动作空间的适应性调整。这一双重目标催生了对具身训练数据的独特认知：无动作数据主要支撑具身理解与物理基础建模，而带标签的动作数据则直接指导策略学习与动作生成。
#### 7.4.1 带标签的动作数据
带标签的动作数据是训练VLA模型的主要监督来源，因为它们明确指定了视觉-语言观测结果应如何映射到可执行的机器人行为。常见的做法是将连续的机器人动作离散化为动作标记，从而能够以与语言标记相同的形式自回归地生成动作。这种形式使得模型能够复用预训练的VLM骨干网络，保留从大规模视觉-语言预训练中获得的语义知识，同时通过轨迹监督来适配机器人控制需求 [^23] [^174]。
然而，对于高频、精细或灵巧的操作而言，离散的动作标记可能并不够用，因为连续控制中的微小误差就可能对执行效果产生重大影响。为解决这一局限，近期的VLA系统越来越多地采用连续动作头。基于扩散的策略 [^20] [^225] [^364] 将动作生成视为对连续动作序列的条件去噪过程，从而能够灵活建模高维且可能多模态的动作分布。与此同时，基于流匹配的策略 [^28] [^150] [^316] 则通过学习一个连续向量场，将含噪声的动作样本引导至可执行的动作轨迹，为高频连续控制提供了直接且高效的方法。这些研究表明，带标签的动作数据不仅提供直接的控制监督，还塑造了VLA模型所使用的动作表示方式——从类似语言的离散标记到表达力更强的连续动作分布。
除了机器人采集的轨迹外，包含手部姿态的以人为主的视频也为灵巧VLA学习提供了可扩展的监督来源。一些方法会重建人手运动，将其映射到特定的机器人手上，再通过手部修复或机器人手渲染来缩小视觉上的实体差异 [^192] [^280] [^310] [^384]。其他方法则将人类与机器人的演示映射到共享的动作或交互空间中，例如手腕和指尖姿态、MANO参数、3D关键点或实体级别的手-物表征，从而能够在人类数据上进行大规模预训练，随后轻松适配到机器人实体中 [^101] [^238] [^391] [^420] [^443]。这些方法拓宽了带标签动作数据的范围，使其不再局限于直接采集的机器人轨迹，为灵巧策略学习的规模化发展提供了有前景的路径。
#### 7.4.2 无动作数据
从无动作视频中学习动作代理。大规模视频提供了关于物体如何在操作过程中移动和状态变化的丰富证据，尽管缺乏相应的动作标签。为了利用这类数据进行视觉-语言-动作（VLA）学习，现有方法会从时间观测中推导出动作代理，这些代理可以是隐式的潜在表示，也可以是诸如点轨迹和运动场等显式的几何结构。这些代理并不被假定为可执行的机器人动作；相反，它们编码了可在视频尺度上学习、随后被映射到特定机器人动作空间的视觉过渡或交互动态。
---
潜在动作是从无明确动作标签的观测序列中学习到的、与动作相关的状态转换的紧凑表示。LAPA [^396] 从无标签视频中学习离散的潜在动作，并将其作为VLA预训练的伪动作标签。Moto [^54] 将视觉运动表示为潜在运动标记，用于自回归运动先验学习。UniVLA [^27] 引入了以任务为中心的潜在动作，以抑制与任务无关的视觉动态。Villa-X [^52] 进一步通过视觉和本体感知的未来预测来约束潜在动作，而CLAP [^419] 和ConLA [^69] 则利用对比学习目标，将与动作相关的动态从干扰性视觉变化中分离出来。这些方法具有可扩展性，因为它们无需手动标注物体与手的交互信息；不过，学到的潜在空间仍需借助机器人演示、动作解码器或后续对齐，才能在特定实体上执行。
另一类相关研究则致力于从视频中重构操作的空间或几何表示。尽管这些方法大多严格来说不属于VLA模型，但它们展示了此类表示如何能够连接视觉观测与机器人控制。VideoDex [^309] 将从视频中提取的人手运动转移到机器人策略中，而ViSA-Flow [^44] 先根据人类演示学习视觉运动表示，再结合机器人数据进行调整。General Flow [^410] 将操作表示为以物体为中心的运动场，Track2Act [^15] 则将预测的点轨迹转换为物体变换和机器人动作。VidBot [^45] 和Actron3D [^417] 还能从人类视频中恢复三维轨迹或可迁移的动作表示。与潜在动作相比，这些几何表示更具可解释性，也更容易迁移到机器人控制中，但对可靠的感知能力和跨实体对齐的要求更高。
分层与中间监督。利用无动作数据的另一种方式是将其用于学习能够指导后续动作生成的分层或中间监督信息。通用的视觉-语言数据、人类视频以及任务演示能够提供高层语义知识、任务分解、子目标预测和思维链推理，从而帮助VLA模型在预测如何行动之前确定该做什么。例如，$\pi_{0.5}$ [^150]利用异构数据来提升语义场景理解和高层任务结构建模能力；而采用思维链风格的VLA模型[^312] [^437] [^445] [^447]则引入了明确的中间推理步骤，比如视觉目标、语言规划或动作层面的思考，以支持长时程操作。此外，无动作或弱标注数据还能提供可供性层面的监督信息，比如预测与任务相关的交互区域、可抓取部位或功能性物体部件，这些信息充当了感知与控制之间基于空间的桥梁。近期出现的具备可供性感知能力的VLA模型[^195] [^405]利用这类中间表征来引导策略聚焦于交互的位置和方式，进而提升复杂场景中动作生成的鲁棒性。
### 7.5 世界动作模型的应用
世界动作模型（WAMs）用于建模物理世界的时间演化过程以及动作对这一过程的影响。与侧重感知和推理的具身VLM，以及直接将多模态观测映射到可执行行为的VLA模型不同，WAMs将世界动态视为主要的学习目标，因此训练好的WAM可以充当学习型模拟器、规划器、策略评估器，或是合成交互数据的生成器。
这一范式源自基于模型的控制中的潜在世界模型，其中Dreamer系列模型[^128] [^370]会学习动作条件下的潜在动态，并通过在模拟环境和真实环境中的想象性推演来优化策略。随后，生成式视频建模将世界建模拓展到了开放域视觉数据领域，典型代表包括UniSim [^392]、GAIA-1 [^143]以及Genie系列[^25] [^117]。在机器人领域，包括GR-2 [^41]、IRASim [^451]、EnerVerse [^146]、Genie Envisioner [^210]、V-JEPA 2 [^8]、WorldVLA [^36]以及Cosmos [^269]在内的近期系统，均将这一范式应用于操作任务中，将动作条件下的未来预测与动作生成及策略评估相结合。
近期的综述沿着互补的维度对这一快速扩展的设计空间进行了梳理：按输出表征划分，涵盖基于视频、占据网格和激光雷达的世界建模与生成[^177]；按能力水平划分，区分仅能进行预测的模型与可作为可控模拟器或自我改进智能体的模型，同时明确了各类模型需遵循的物理和数字规律[^63]。这些分类视角在此十分有用，因为它们明确了不同世界模型角色所需的数据类型：被动预测仅需通过观测即可学习，而模拟器和评估器类的应用则还需要动作条件和带有结果标签的交互数据。
---
从数据角度来看，WAM训练数据可以根据是否具备用于建模世界状态转换的动作条件来分类。带动作标签的数据包括真实机器人轨迹、UMI风格的演示数据，以及来自数据金字塔上层的仿真结果，它们提供了可执行的或类似动作的信号，用以指定何种动作会引发特定的状态转换。无动作数据则包括通用的多模态语料库，以及来自下层的第一人称或第三人称视角视频，这类数据仅能支持基于观测层面的未来预测。实践中，大多数系统采用两阶段方案：首先通过大规模的无动作预训练来建立通用的动力学先验，随后再通过动作条件化训练，将这些先验与交互数据相结合 [^8] [^41] [^269] [^365]。
#### 7.5.1 带动作标签的数据
大多数WAM都是基于扩散式视频生成模型构建的，因此将动作预测视为一个连续的生成问题。给定真实的动作序列后，会根据扩散调度加入噪声，模型则通过类似于视频生成中所用的扩散或流匹配目标函数来学习恢复出清晰的动作。在架构方面，Genie Envisioner在其预训练的世界模型骨干网络上附加了一个轻量级的流匹配动作专家模块 [^210] [^231]。Motus采用了混合Transformer架构，分别设置视频和动作专家模块，使得两种模态能够相互作用，同时保留各自特有的参数 [^18] [^194]。VideoVLA则在多模态Diffusion Transformer中共同建模视频与动作流 [^311]；而Cosmos Policy直接将动作编码为潜在帧，并利用原有的视频扩散骨干网络进行处理，无需引入单独的动作架构 [^175]。
一个重要的例外是WorldVLA，它基于自回归生成模型而非扩散模型 [^36]。它将视觉观测数据与连续的机器人动作都离散化为标记，并通过带有交叉熵损失的自回归下一个标记预测来共同预测这两者。另一种相关设计是对预测目标进行压缩而非对骨干网络进行压缩：在自动驾驶领域，小米OneVL通过少量经辅助解码器训练的潜在标记来进行推理，这些解码器能够重构文本形式的思维链并预测未来帧标记，从而让世界动态信息在训练阶段被吸收进潜在空间，而推理过程仅需一次并行计算 [^234]。从数据角度来看，这种潜在表示形式颇具吸引力，因为未来预测目标可以直接由原始的未来观测数据来监督，无需额外的动作或推理标注。
因此，WAM中对动作标签的应用大致可以归纳为两种范式：一种是利用扩散或流匹配目标进行的连续动作去噪，另一种则是利用自回归目标进行的离散动作标记预测。在这两种情况下，动作监督都能使模型对未来世界演变的表征与可执行的机器人控制相匹配。
#### 7.5.2 无动作数据
无动作数据确立了WAM的基本世界先验。这类数据包括通用的多模态数据，以及不包含显式或可恢复的动作变量的第一人称或第三人称视频。相应的监督信号仅为对未来的观测预测，例如预测未来帧、视觉隐变量、场景状态，或是状态变化的相关语言描述。这类目标能够教会模型世界通常的演化方式，但无法说明何种动作导致了特定的状态转变；因此，无动作数据提供的是广泛的时间与物理先验，而非可执行的、以动作为条件的动力学模型。
通用视频与多模态数据。网络规模的视频语料库是动力学监督的最大来源。UniPi [^89] 将决策制定表述为基于文本条件的视频生成任务，UniSim [^392] 把各类视频与交互数据整合为现实世界的互动模拟器，而Cosmos [^269] 则在物理AI后续训练前，先利用网络规模的视频预训练全模态世界模型。预测并不一定要在像素空间进行：V-JEPA 2从超过一百万小时的互联网视频中学习潜空间视频预测 [^8]。这些数据提供了通用但至关重要的先验知识，包括物体恒存性、场景几何结构、物理合理性，以及日常任务的典型时间结构。
第一人称与第三人称视频。EPIC-KITCHENS [^72]、Ego4D [^118] 和 Ego-Exo4D [^119] 等第一人称数据集比通用网络视频更贴近机器人的观测数据分布。它们能让模型接触到第一人称视角下的交互场景、手与物体的遮挡关系、视角变化、物体状态转变等情况，
---
以及长时程任务进度信息——这些正是已部署的操作系统所遇到的观测模式，且很难从其他渠道获取。
从数据金字塔的角度来看，底层的无动作数据提供了可扩展且多样化的观测先验，而更高层级则逐步加入语义、潜空间以及与具身特性相关的动作锚定信息。训练好的世界模型又会反过来为金字塔提供反馈：生成合成交互数据 [^155] [^269]，并在策略评估中替代物理环境 [^161] [^286]。Pelican-Unified [^432] 和 Cosmos 3 [^269] 等统一系统进一步展示了如何将视觉、语言、未来生成及动作数据等异质化监督信息整合到同一个建模框架中。
要点总结
数据应用方面，具身基础模型的训练方案正朝着更多样化的数据源和更大的规模发展。第一人称数据的作用也日益凸显，同时人们对噪声较大或质量较低的数据轨迹的容忍度也在提高。不过，最优的训练方案仍未确定，因为尚未系统分离出每种数据源的贡献，而且仅基于机器人数据的模型仍能取得出色的性能。在具身大脑（VLM）、VLA和WAM中，无动作标签的数据主要用于保留通用能力或支持潜空间动力学学习，而有动作标签的数据则能将模型锚定在物理交互与可执行控制层面。
## 8 挑战与未来发展方向
本节围绕三个问题来规划机器人学习数据的未来发展方向：收集什么、如何收集以及如何使用。首先，关于“收集什么”这一问题，主要涉及那些在现有数据集中尚未得到充分体现的互动信息形式。具体而言，需要收集失败与恢复轨迹，以便让模型接触到不成功的行为及纠正措施；同时还需要触觉数据，用以描述接触状态、作用力、材料属性以及精细的互动动态——这些信息无法仅通过视觉观察来完全推断出来。
其次，“如何收集”这一方面侧重于可扩展且自适应的数据采集方式。未来的采集流程应减少对成本高昂的人工遥操作方式的依赖，扩大任务与场景覆盖范围，并将采集精力集中在数据分布中那些代表性不足、不确定性高或具有行为指示意义的区域。
最后，“如何使用”涉及模型训练过程中对异构数据源的整合。这包括在不同实体间对齐动作表征、确定结合数据金字塔不同层级来源的有效数据方案，以及将以人为中心的互动数据迁移到灵巧的机器人操控任务中。总体而言，这些方向将研究重点从单纯扩大数据集规模，转向提升具身数据的信息覆盖面、采集效率及其有效利用率。
### 8.1 用于接触密集型机器人学习的触觉数据
尽管大规模机器人学习数据集正在迅速扩张，但大多数现有数据资源仍主要围绕RGB-D观测、本体感知状态、语言指令以及动作轨迹展开，触觉传感尚未被系统地作为标准模态纳入其中 [^64] [^173] [^232]。这就导致当前的数据金字塔中缺失了接触层：视觉观测能够描述场景几何与物体运动，但只能间接反映接触力、滑移、局部形变、摩擦力以及抓取稳定性等信息。虽然诸如RoboMIND 2.0 [^142]和Humanoid Everyday [^440]等近期发布的机器人数据集已开始纳入触觉信号，但触觉传感仍未成为机器人数据采集中的常见或标准化组成部分。与RGB-D观测及动作轨迹相比，触觉数据的使用仍然较少，且常常受到传感器专用硬件、信号格式不统一、任务覆盖有限以及与长时程操控轨迹整合程度较低等因素的限制。
### 8.2 失败数据与以恢复为中心的机器人学习
大多数现有的机器人学习数据集严重偏向于成功的专家演示数据，而失败、接近失败以及次优轨迹往往被丢弃，或仅被粗略标记。这种以成功为中心的数据偏差限制了学习到的策略在现实部署中所遇到的各种错误状态下的暴露程度。主要基于成功轨迹训练出的策略或许能在正常条件下完成任务是，但对于如何识别即将发生的失败、诊断其原因，或在执行偏离预期轨迹后如何恢复，却缺乏相应的指导。因此，失败数据不应仅仅被视为低质量的经验，而应视为培养失败意识、因果诊断及恢复行为的重要监督来源。
---
成功导向的数据偏差限制了学习到的策略在现实部署中所遇到的各种错误状态下的暴露程度。主要基于成功轨迹训练出的策略或许能在正常条件下完成任务是，但对于如何识别即将发生的失败、诊断其原因，或在执行偏离预期轨迹后如何恢复，却缺乏相应的指导。因此，失败数据不应仅仅被视为低质量的经验，而应视为培养失败意识、因果诊断及恢复行为的重要监督来源。
现有的研究已经开始从多个角度探索以故障为中心的数据。一些工作构建了面向故障的数据集或基准，用于故障检测、诊断、解释和纠正推理 [^90] [^120] [^228] [^235] [^271] [^416]。其他研究则明确在训练数据中加入故障与恢复轨迹，从而使策略能够学习超出常规专家示范范围的纠正行为 [^70] [^215]。同时，研究也表明不完美且未成功的演示中包含可重复利用的轨迹片段；只要能正确识别并筛选出来而非直接丢弃，这些片段就能对策略学习产生益处 [^367]。
然而，故障数据的规模仍然有限，且缺乏系统的组织。机器人操作中的故障具有高度异质性，可能源于感知错误、定位不准、任务规划不当、抓取失败、物体滑移、接触力过大、运动学约束，或是长时间执行过程中积累的误差。仅凭成功或失败的二元标签不足以描述此类时间与因果结构。未来的数据集应提供更丰富的以故障为中心的标注信息，包括故障前的上下文、故障发生时刻、故障类别与原因、物体与机器人的状态变化、恢复动作以及最终的恢复结果。更重要的是，未来的数据收集流程应系统性地保存并整理机器人在执行过程中遇到的故障，而不是将其视为无法使用的轨迹。构建大规模、多样化且结构化的故障-恢复数据集，或许能让具身智能体不仅模仿成功行为，还能理解、预判并从自身错误中恢复过来。
### 8.3 跨金字塔层级的规模化数据收集
以自我为中心的数据收集正从第一人称RGB视频扩展到各类可穿戴传感器。头戴式AR/MR设备可以记录视线、头部姿态、深度及空间上下文，而腕部摄像头、手部安装的IMU以及带传感器的手套则能捕捉手部运动与手-物交互信息。触觉贴片、力传感器和肌电图进一步提供了视觉无法直接观测到的接触、抓握力、滑移及肌肉激活信号 [^138] [^171] [^178] [^245] [^351] [^378] [^449]。DexUMI和RealDexUMI等可穿戴接口也展现了收集更适用于机器人学习的灵巧演示的潜力 [^383] [^384]。
不过，这些设备中的许多尚未成熟到可大规模部署的程度。头部与手部追踪仍易受遮挡、运动模糊、漂移及视野受限的影响，而手套、触觉传感器和肌电图则需要仔细的佩戴、校准与同步，且可能干扰自然操作。因此，未来的系统应变得更轻便、无线、模块化且侵入性更低，同时支持跨设备的自动校准、设备上的人-物重建以及标准化的传感器元数据。这些发展有望在不牺牲机器人学习所需的详细运动与接触信号的前提下，扩大新兴的任务导向型自我中心数据集的规模 [^157] [^205] [^443]。
### 8.4 跨具身智能体的状态-动作对齐
随着真实机器人数据集越来越多地汇集来自不同平台的轨迹，仅靠通用的数据格式并不足以保证监督信息的一致性。为了促进跨本体聚合，机器人状态与动作往往被表示为笛卡尔坐标系下的末端执行器位姿，而非特定形态的关节空间，从而在不同平台间提供更具有可迁移性的接口。然而，末端执行器位姿仍可能相对于机器人基座、摄像头、局部末端执行器或世界坐标系来定义，导致同一物理运动在不同数据集中对应着不同的数值表示形式 [^64]。这种不一致性会在联合训练时引入相互冲突的监督信号，进而显著影响跨本体迁移效果以及数据扩展行为 [^357] [^412]。因此，有效的状态-动作对齐需要一致的几何语义，而不仅仅是共享的存储模式。未来的数据集应将坐标约定、校准参数以及控制器模式作为核心元数据加以记录。一旦能够获得可靠的变换关系，
---
便可把动作规范化为统一的参考坐标系，例如摄像头坐标系、末端执行器坐标系或世界坐标系，从而支持跨本体的一致聚合 [^382] [^412]。
### 8.5 用于灵巧手策略学习的以自我为中心的先验知识
虽然以自我为中心的人类数据为灵巧操作提供了直观的先验来源 [^30] [^101] [^238] [^391] [^443]，但如何充分利用这些先验来指导机器人策略学习仍是一个待解的问题。人类与机器人之间的差距不仅体现在视觉上，还涉及运动学、形态学以及物理特性：人类手部与机器人手部在关节拓扑、自由度、指尖几何形状、柔顺性、驱动方式、传感能力、摩擦力以及力量极限等方面都存在差异。因此，即便经过重定位后的动作在几何上看似合理，仍可能违反机器人特定的约束条件，或在真实硬件上无法形成稳定的接触。具备本体感知能力的图像修复技术 [^192] [^384] 能够通过用机器人渲染图像替换人类手部来缩小视觉上的差距，但合成出的交互效果往往缺乏物理依据，可能会妨碍模型学习真实的手-物交互动力学，而这类动力学对于灵巧操作而言至关重要 [^383] [^411]。
一个有前景的方向是将以自我为中心的数据视为结构化交互先验的来源，而非精确的机器人动作标签。人类视频能够提供关于任务意图、物体可利用性、抓取选择、接触序列、工具使用策略以及长时序操作结构等可迁移信息，而机器人数据则能将这些先验具体化为与本体相关的动作及接触动力学。基于形态条件的策略、以接触为中心的表征以及具备不确定性感知的重定位方法，或许有助于将具有广泛可迁移性的交互知识与依赖特定本体的执行细节区分开来。
### 8.6 数据制备方案
如图3所示，具身基础模型的数据配方逐渐扩展到数据金字塔的不同层级。早期的模型主要将真实机器人数据与通用视觉-语言数据相结合，而近期的报告则越来越多地构建包含真实机器人数据、仿真数据、第一人称视角数据、UMI风格数据以及通用多模态数据的混合数据集。不同模型并未采用单一的数据组合方式，而是根据各自的训练流程选择并整合这些数据源中的不同子集。尤其是第一人称视角数据，已成为大规模预训练中越来越常见的组成部分；同时，通用数据也继续与特定于具身智能的数据及动作对齐数据一起被广泛使用。这一趋势表明，研究重点正从依赖单一主要数据源转向对数据金字塔多个层级的综合利用。
然而，最有效的数据组合方式仍是一个未解决的问题。通用数据、第一人称视角数据、仿真数据、UMI风格数据以及真实机器人数据之间的最佳比例尚未确定。现有研究在数据源组合、采样比例以及分阶段分配策略方面存在显著差异。针对单个数据集和数据类别的、与计算资源相匹配的精确消融实验仍然有限。同一数据源在不同模型架构、动作表示形式以及训练目标下所产生的性能提升也未被充分刻画。因此，未来的研究应当探索与模型架构和训练阶段相匹配的数据配方，并对固定式、基于课程学习以及自适应式的混合策略进行系统比较。这类研究或许能帮助我们确定数据金字塔中每一层级最适用的场景，从而为在有限的采集和训练预算下分配数据提供更可复现的原则。
## 9 结论
本研究提供了关于具身智能的数据驱动性综述，定义了一个主要以可扩展性和机器人适配性为组织依据、以质量、多样性、可复用性和物理保真度作为补充维度的具身数据金字塔。从顶端到底部，该金字塔包含五种具有不同优势与局限性的数据类别。真实机器人数据能为可执行行为和物理交互提供最直接的监督，但其获取成本高且难以规模化。UMI风格数据支持便携式的现实世界数据采集，能提供明确的末端执行器与夹持器监督信息，但需要校准、映射以及特定于具身智能的控制机制。第一人称视角数据和外视角数据能够捕捉多样的人类活动、手-物体交互以及长时序任务结构，不过受限于人与机器人之间的具身差异。仿真数据则能够可控且并行地生成面向机器人的经验数据，并提供特权监督信息，
---
不过其实用性受到环境覆盖范围和仿真到现实差距的限制。通用多模态数据能够以大规模形式提供广泛的语义、感知和推理先验，但在机器人动作、接触以及物理结果方面的关联性较弱。
基于这一分类体系，我们从数据配方的角度分析了近期出现的具身基础模型。我们总结了动作表征及其对数据兼容性和跨具身迁移的影响，并探讨了具身大脑模型、视觉-语言-动作模型以及世界-动作模型分别如何利用异构数据来支持推理与规划、可执行控制以及预测性世界建模。最后，我们指出了在数据质量评估、多模态与动作空间标准化、跨具身复用、人机交互及仿真到现实迁移、可扩展的真实世界数据采集、故障与恢复数据，以及异构数据混合的设计与评估等方面存在的开放性挑战。我们希望本文不仅能提供理解具身数据领域的连贯基础，还能为针对不同能力、具身形式及部署场景的数据选择、采集、组合与评估提供前瞻性的路线图。
## 参考文献
[^1]: Builddotai/egocentric-100k · datasets at hugging face. , 2025. URL .
[^2]: Iretiayo Akinola, Jie Xu, Jan Carius, Dieter Fox, and Yashraj Narang. TacSL: A library for visuotactile sensor simulation and learning. IEEE Trans. Robot., 2025. URL .
[^3]: Arslan Ali, Junjie Bai, Maciej Bala, Yogesh Balaji, Aaron Blakeman, Tiffany Cai, Jiaxin Cao, Tianshi Cao, Elizabeth Cha, Yu-Wei Chao, et al. World simulation with video foundation models for physical AI. arXiv preprint arXiv:2511.00062, 2025. URL .
[^4]: Amirhosein Alian, Yongqiang Zhao, Shiyi Gu, Xuyang Zhang, Zhuo Chen, Christopher E Mower, Haitham Bou-Ammar, and Shan Luo. HapTile: a haptic-informed Vision-Tactile-Language-Action dataset for contact-rich imitation learning. arXiv preprint arXiv:2606.04825, 2026. URL .
[^5]: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, and Angjoo Kanazawa. Scalable behavior cloning with open data, training, and evaluation, 2026. URL .
[^6]: Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual question answering. In IEEE/CVF Int. Conf. Comput. Vis., 2015. URL .
[^7]: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, et al. Green-VLA: Staged vision-language-action model for generalist robots. arXiv preprint arXiv:2602.00919, 2026. URL .
[^8]: Mahmoud Assran, Adrien Bardes, David Fan, Quentin Garrido, Russell Howes, Mojtaba Komeili, Matthew J. Muckley, Ammar Rizvi, et al. V-JEPA 2: self-supervised video models enable understanding, prediction and planning. arXiv preprint arXiv:2506.09985, 2025. URL .
[^9]: Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, and Motoaki Kawanabe. ScanQA: 3D question answering for spatial scene understanding. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2022. URL .
[^10]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. Lending a hand: detecting hands and recognizing activities in complex egocentric interactions. In IEEE/CVF Int. Conf. Comput. Vis., 2015. URL .
## [^11]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. Introducing hot3d: an egocentric dataset for 3D hand and object tracking. arXiv preprint arXiv:2406.09598, 2024. URL
---
[^12]: Chen Bao, Helin Xu, Yuzhe Qin, and Xiaolong Wang. DexArt: Benchmarking generalizable dexterous manipulation with articulated objects. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2023. URL .
[^13]: Gilad Baruch, Zhuoyuan Chen, Afshin Dehghan, Tal Dimry, Yuri Feigin, Peter Fu, Thomas Gebauer, Brandon Joffe, Daniel Kurz, Arik Schwartz, and Elad Shulman. Arkitscenes: a diverse real-world dataset for 3D indoor scene understanding using mobile RGB-D data. In Adv. Neural Inf. Process. Syst., 2021. URL .
[^14]: Charles Beattie, Joel Z. Leibo, Denis Teplyashin, Tom Ward, Marcus Wainwright, Heinrich Küttler, Andrew Lefrancq, Simon Green, et al. DeepMind lab. arXiv preprint arXiv:1612.03801, 2016. URL .
[^15]: Homanga Bharadhwaj, Roozbeh Mottaghi, Abhinav Gupta, and Shubham Tulsiani. Track2Act: Predicting point tracks from internet videos enables generalizable robot manipulation. In Eur. Conf. Comput. Vis., 2024. URL .
[^16]: Homanga Bharadhwaj, Jay Vakil, Mohit Sharma, Abhinav Gupta, Shubham Tulsiani, and Vikash Kumar. RoboAgent: generalization and efficiency in robot manipulation via semantic augmentations and action chunking. In IEEE Int. Conf. Robot. Autom., 2024. URL .
[^17]: Vineet Bhat, Naman Patel, Prashanth Krishnamurthy, Ramesh Karri, and Farshad Khorrami. MapleGrasp: mask-guided feature pooling for language-driven efficient robotic grasping. In IEEE/CVF Winter Conf. Appl. Comput. Vis., 2026. URL .
[^18]: Hongzhe Bi, Hengkai Tan, Shenghao Xie, Zeyuan Wang, Shuhe Huang, Haitian Liu, Ruowen Zhao, Yao Feng, et al. Motus: a unified latent action world model. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2026. URL .
[^19]: Hongzhe Bi, Lingxuan Wu, Tianwei Lin, Hengkai Tan, Zhizhong Su, Hang Su, and Jun Zhu. H-RDT: human manipulation enhanced bimanual robotic manipulation. In AAAI Conf. Artif. Intell., 2026. URL .
[^20]: Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, et al. GR00T n1: an open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025. URL .
[^21]: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, et al. $\pi_{0}$: a vision-language-action flow model for general robot control. In Robot. Sci. Syst., 2025. URL .
[^22]: Marius Bock, Hilde Kuehne, Kristof Van Laerhoven, and Michael Moeller. WEAR: An outdoor sports dataset for wearable and egocentric activity recognition. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., 2024. URL .
[^23]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, et al. RT-2: vision-language-action models transfer web knowledge to robotic control. In Conf. Robot Learn., 2023. URL .
[^24]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. RT-1: robotics transformer for real-world control at scale. In Robot. Sci. Syst., 2023. URL .
[^25]: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, et al. Genie: generative interactive environments. In Int. Conf. Mach. Learn., 2024. URL .
[^26]: Qingwen Bu, Jisong Cai, Li Chen, Xiuqi Cui, Yan Ding, Siyuan Feng, Shenyuan Gao, Xindong He, Xuan Hu, Xu Huang, et al. AgiBot world colosseo: a large-scale manipulation platform for scalable and intelligent embodied systems. In IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025. URL .
## [^27]: Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, and Hongyang Li. UniVLA: learning to act anywhere with task-centric latent actions. In Robot. Sci. Syst., 2025. URL
---
[^28]: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, et al. Internvla-al: unifying understanding, generation and action for robotic manipulation. arXiv preprint arXiv:2601.02456, 2026. URL .
[^29]: Rui Cai, Jun Guo, Xinze He, Piaopiao Jin, Jie Li, Bingxuan Lin, Futeng Liu, Wei Liu, et al. Xiaomi-robotics-0: An open-sourced vision-language-action model with real-time execution. arXiv preprint arXiv:2602.12684, 2026. URL .
[^30]: Xiongyi Cai, Ri-Zhao Qiu, Geng Chen, Lai Wei, Isabella Liu, Tianshu Huang, Xuxin Cheng, and Xiaolong Wang. In-n-on: scaling egocentric manipulation with in-the-wild and on-task data. arXiv preprint arXiv:2511.15704, 2025. URL .
[^31]: Zhongang Cai, Ruisi Wang, Chenyang Gu, Fanyi Pu, Junxiang Xu, Yubo Wang, Wanqi Yin, Zhitao Yang, et al. Scaling spatial intelligence with multimodal foundation models. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2026. URL .
[^32]: Hanwen Cao, Hao-Shu Fang, Wenhai Liu, and Cewu Lu. SuctionNet-1Billion: a large-scale benchmark for suction grasping. IEEE Robot. Autom. Lett., 2021. URL .
[^33]: Ziang Cao, Zhaoxi Chen, Liang Pan, and Ziwei Liu. Physx-3D: Physical-grounded 3D asset generation. In Adv. Neural Inf. Process. Syst., 2025. URL .
[^34]: Ziang Cao, Fangzhou Hong, Zhaoxi Chen, Liang Pan, and Ziwei Liu. Physx-anything: Simulation-ready physical 3D assets from single image. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2026. URL .
[^35]: Ziang Cao, Yinghao Liu, Haitian Li, Runmao Yao, Fangzhou Hong, Zhaoxi Chen, Liang Pan, and Ziwei Liu. PhysX-Omni: Unified simulation-ready physical 3D generation for rigid, deformable, and articulated objects. arXiv preprint arXiv:2605.21572, 2026. URL .
[^36]: Jun Cen, Chaohui Yu, Hangjie Yuan, Yuming Jiang, Siteng Huang, Jiayan Guo, Xin Li, Yibing Song, Hao Luo, Fan Wang, Deli Zhao, and Hao Chen. WorldVLA: towards autoregressive action world model. arXiv preprint arXiv:2506.21539, 2025. URL .
[^37]: Akshay L. Chandra, Iman Nematollahi, Chenguang Huang, Tim Welschehold, Wolfram Burgard, and Abhinav Valada. DiWA: diffusion policy adaptation with world models. In Conf. Robot Learn., 2025. URL .
[^38]: Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Nießner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: learning from RGB-D data in indoor environments. In Int. Conf. 3D Vis., 2017. URL .
[^39]: Angel X. Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, et al. ShapeNet: an information-rich 3D model repository. arXiv preprint arXiv:1512.03012, 2015. URL .
[^40]: Vivek Chavan, Yasmina Imgrund, Tung Dao, Sanwantri Bai, Bosong Wang, Ze Lu, Oliver Heimann, and Jörg Krüger. IndEgo: A dataset of industrial scenarios and collaborative work for egocentric assistants. In Adv. Neural Inf. Process. Syst., 2025. URL .
[^41]: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, and Minzhao Zhu. GR-2: a generative video-language-action model with web-scale knowledge for robot manipulation. arXiv preprint arXiv:2410.06158, 2024. URL .
[^42]: Chilam Cheang, Sijin Chen, Zhongren Cui, Yingdong Hu, Liqun Huang, Tao Kong, Hang Li, Yifeng Li, et al. Gr-3 technical report. arXiv preprint arXiv:2507.15493, 2025. URL .
[^43]: Baijun Chen, Weijie Wan, Tianxing Chen, Xianda Guo, Congsheng Xu, Yuanyang Qi, Haojie Zhang, Longyan Wu, Tianling Xu, Zixuan Li, et al. Univtac: A unified simulation platform for visuo-tactile manipulation data generation, learning, and benchmarking. arXiv preprint arXiv:2602.10093, 2026.
## [^44]: Changhe Chen, Quantao Yang, Xiaohao Xu, Nima Fazeli, and Olov Andersson. Visa-flow: accelerating robot skill learning via large-scale video semantic action flow. In IEEE Int. Conf. Robot. Autom., 2026. URL
---
[^45]: Hanzhi Chen, Boyang Sun, Anran Zhang, Marc Pollefeys, and Stefan Leutenegger. Vidbot: learning generalizable 3D actions from in-the-wild 2D human videos for zero-shot robotic manipulation. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2025. URL .
[^46]: Lin Chen, Jinsong Li, Xiaoyi Dong, Pan Zhang, Conghui He, Jiaqi Wang, Feng Zhao, and Dahua Lin. ShareGPT4V: improving large multi-modal models with better captions. In Eur. Conf. Comput. Vis., 2024. URL .
[^47]: Ronghan Chen, Yandan Yang, Zuojin Tang, Dongjie Huo, Tong Lin, Haoning Wu, Haoyun Liu, Yuzhi Chen, et al. ABot-M0.5: Unified mobility-and-manipulation world action model. arXiv preprint arXiv:2607.00678, 2026. URL .
[^48]: Siwei Chen, Yiqing Xu, Cunjun Yu, Linfeng Li, Xiao Ma, Zhongwen Xu, and David Hsu. Daxbench: benchmarking deformable object manipulation with differentiable physics. In Int. Conf. Learn. Represent., 2023. URL .
[^49]: Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Zixuan Li, Qiwei Liang, Xianliang Lin, Yiheng Ge, Zhenyu Gu, et al. Robotwin 2.0: A scalable data generator and benchmark with strong domain randomization for robust bimanual robotic manipulation. arXiv preprint arXiv:2506.18088, 2025. URL .
[^50]: Tianxing Chen, Yue Chen, Zixuan Li, Junyuan Tang, Kailun Su, Weijie Wan, Baijun Chen, Haoran Lu, Haowen Yan, Honghao Su, et al. Robodojo: A unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. arXiv preprint arXiv:2607.04434, 2026.
[^51]: Tianxing Chen, Yuran Wang, Mingleyang Li, Yan Qin, Hao Shi, Zixuan Li, Yifan Hu, Yingsheng Zhang, Kaixuan Wang, Yue Chen, et al. Rmbench: Memory-dependent robotic manipulation benchmark with insights into policy design. arXiv preprint arXiv:2603.01229, 2026.
[^52]: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, et al. Villa-x: enhancing latent action modeling in vision-language-action models. In Int. Conf. Learn. Represent., 2026. URL .
[^53]: Xinyi Chen, Yilun Chen, Yanwei Fu, Ning Gao, Jiaya Jia, Weiyang Jin, Hao Li, Yao Mu, et al. InternVLA-M1: a spatially guided vision-language-action framework for generalist robot policy. arXiv preprint arXiv:2510.13778, 2025. URL .
[^54]: Yi Chen, Yuying Ge, Weiliang Tang, Yizhuo Li, Yixiao Ge, Mingyu Ding, Ying Shan, and Xihui Liu. Moto: Latent motion token as the bridging language for learning robot manipulation from videos. In IEEE/CVF Int. Conf. Comput. Vis., 2025. URL .
[^55]: Yi Chen, Yuying Ge, Yixiao Ge, Mingyu Ding, Bohao Li, Rui Wang, Ruifeng Xu, Ying Shan, and Xihui Liu. EgoPlan-Bench: benchmarking multimodal large language models for human-level planning. Int. J. Comput. Vis., 2026. URL .
[^56]: Yuanpei Chen, Tianhao Wu, Shengjie Wang, Xidong Feng, Jiechuang Jiang, Stephen Marcus McAleer, Yiran Geng, Hao Dong, Zongqing Lu, Song-Chun Zhu, and Yaodong Yang. Towards human-level bimanual dexterous manipulation with reinforcement learning. In Adv. Neural Inf. Process. Syst., 2022. URL .
[^57]: Zeren Chen, Zhelun Shi, Xiaoya Lu, Lehan He, Sucheng Qian, Enshen Zhou, Zhenfei Yin, Wanli Ouyang, Jing Shao, Yu Qiao, Cewu Lu, and Lu Sheng. RH20T-P: a primitive-level robotic manipulation dataset towards composable generalization agents in real-world scenarios. In IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025. URL .
[^58]: Zixi Chen, Shixin Zhang, Shan Luo, Fuchun Sun, and Bin Fang. Tacchi: A pluggable and low computational cost elastomer deformation simulator for optical tactile sensors. IEEE Robot. Autom. Lett., 2023. URL .
[^59]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: teleoperation with immersive active visual feedback. In Conf. Robot Learn., 2024. URL .
## [^60]: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, and Aleksandr I. Panov. Memory, benchmark & robots: a benchmark for solving complex tasks with reinforcement learning. In Int. Conf. Learn. Represent., 2026. URL
---
[^61]: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, and Stephen James. BiGym: A demo-driven mobile bi-manual manipulation benchmark. In Conf. Robot Learn., 2024. URL .
[^62]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: in-the-wild robot teaching without in-the-wild robots. In Robot. Sci. Syst., 2024. URL .
[^63]: Meng Chu, Xuan Billy Zhang, Kevin Qinghong Lin, Lingdong Kong, Jize Zhang, Teng Tu, Weijian Ma, Ziqi Huang, et al. Agentic world modeling: Foundations, capabilities, laws, and beyond. arXiv preprint arXiv:2604.22748, 2026. URL .
[^64]: OX-Embodiment Collaboration, Abby O'Neill, Abdul Rehman, Abhinav Gupta, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, et al. Open X-Embodiment: Robotic learning datasets and RT-X models. In IEEE Int. Conf. Robot. Autom., 2024. URL .
[^65]: Jasmine Collins, Shubham Goel, Kenan Deng, Achleshwar Luthra, Leon Xu, Erhan Gundogdu, Xi Zhang, Tomas F. Yago Vicente, Thomas Dideriksen, Himanshu Arora, Matthieu Guillaumein, and Jitendra Malik. ABO: Dataset and benchmarks for real-world 3D object understanding. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2022. URL .
[^66]: Erwin Coumans and Yunfei Bai. PyBullet, a python module for physics simulation for games, robotics and machine learning. , 2016–2021. URL .
[^67]: Longchao Da, Justin Turnau, Thirulogasankar Pranav Kutralingam, Alvaro Velasquez, Paulo Shakarian, and Hua Wei. A survey of sim-to-real methods in RL: progress, prospects and challenges with foundation models. arXiv preprint arXiv:2502.13187, 2025. URL .
[^68]: Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Niefner. ScanNet: richly-annotated 3D reconstructions of indoor scenes. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2017. URL .
[^69]: Weisheng Dai, Kai Lan, Jianyi Zhou, Bo Zhao, Xiu Su, Junwen Tong, Weili Guan, and Shuo Yang. Conla: contrastive latent action learning from human videos for robotic manipulation. arXiv preprint arXiv:2602.00557, 2026. URL .
[^70]: Yinpei Dai, Jayjun Lee, Nima Fazeli, and Joyce Chai. RACER: Rich language-guided failure recovery policies for imitation learning. In IEEE Int. Conf. Robot. Autom., 2025. URL .
[^71]: Yinpei Dai, Hongze Fu, Jayjun Lee, Yuejiang Liu, Haoran Zhang, Jianing Yang, Chelsea Finn, Nima Fazeli, and Joyce Chai. RoboMME: benchmarking and understanding memory for robotic generalist policies. In Int. Conf. Mach. Learn., 2026. URL .
[^72]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: the epic-kitchens dataset. In Eur. Conf. Comput. Vis., 2018. URL .
[^73]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision. Int. J. Comput. Vis., 2022. URL .
[^74]: Ronghao Dang, Jiayan Guo, Bohan Hou, Sicong Leng, Kehan Li, Xin Li, Jiangpin Liu, Yunxuan Mao, et al. RynnBrain: open embodied foundation models. arXiv preprint arXiv:2602.14979, 2026. URL .
[^75]: Sudeep Dasari, Frederik Ebert, Stephen Tian, Suraj Nair, Bernadette Bucher, Karl Schmeckpeper, Siddharth Singh, Sergey Levine, and Chelsea Finn. RoboNet: large-scale multi-robot learning. In Conf. Robot Learn., 2020. URL .
[^76]: Matt Deitke, Eli VanderBilt, Alvaro Herrasti, Luca Weihs, Jordi Salvador, Kiana Ehsani, Winson Han, Eric Kolve, Ali Farhadi, Aniruddha Kembhavi, and Roozbeh Mottaghi. ProcTHOR: large-scale embodied AI using procedural generation. In Adv. Neural Inf. Process. Syst., 2022. URL .
## [^77]: Matt Deitke, Ruoshi Liu, Matthew Wallingford, Huong Ngo, Oscar Michel, Aditya Kusupati, Alan Fan, Christian Laforte, et al. Objaverse-xl: a universe of 10m+ 3D objects. In Adv. Neural Inf. Process. Syst., 2023. URL
---
[^78]: Matt Deitke, Dustin Schwenk, Jordi Salvador, Luca Weihs, Oscar Michel, Eli VanderBilt, Ludwig Schmidt, Kiana Ehsani, Aniruddha Kembhavi, and Ali Farhadi. Objaverse: a universe of annotated 3D objects. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2023. URL .
[^79]: Matt Deitke, Christopher Clark, Sangho Lee, Rohun Tripathi, Yue Yang, Jae Sung Park, Mohammadreza Salehi, Niklas Muennighoff, et al. Molmo and PixMo: Open weights and open data for state-of-the-art vision-language models. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2025. URL .
[^80]: Shengliang Deng, Mi Yan, Songlin Wei, Haixin Ma, Yuxin Yang, Jiayi Chen, Zhiqi Zhang, Taoyu Yang, et al. GraspVLA: a grasping foundation model pre-trained on billion-scale synthetic action data. In Conf. Robot Learn., 2025. URL .
[^81]: Yufan Deng and Daquan Zhou. HumanNet: Scaling human-centric video learning to one million hours. arXiv preprint arXiv:2605.06747, 2026. URL .
[^82]: Yufan Deng, Zilin Pan, Hongyu Zhang, Xiaojie Li, Ruoqing Hu, Yufei Ding, Yiming Zou, Yan Zeng, and Daquan Zhou. Rethinking video generation model for the embodied world. In Int. Conf. Mach. Learn., 2026. URL .
[^83]: Amaury Depierre, Emmanuel Dellandréa, and Liming Chen. Jacquard: a large scale dataset for robotic grasp detection. In IEEE/RSJ Int. Conf. Intell. Robots Syst., 2018. URL .
[^84]: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, et al. MolmoBOT: large-scale simulation enables zero-shot manipulation. arXiv preprint arXiv:2603.16861, 2026. URL .
[^85]: Eadom Dessalene, Botao He, Michael Maynord, Yonatan Tussa, Pavan Mantripragada, Yianni Karabati, Nirupam Roy, and Yiannis Aloimonos. Feel (force-enhanced egocentric learning): a dataset for physical action understanding. arXiv preprint arXiv:2603.15847, 2026. URL .
[^86]: Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, and Xiaolong Wang. Bunny-VisionPro: Real-time bimanual dexterous teleoperation for imitation learning. In IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025. URL .
[^87]: Laura Downs, Anthony Francis, Nate Koenig, Brandon Kinman, Ryan Hickman, Krista Reymann, Thomas B. McHugh, and Vincent Vanhoucke. Google scanned objects: A high-quality dataset of 3D scanned household items. In IEEE Int. Conf. Robot. Autom., 2022. URL .
[^88]: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, et al. PaLM-E: an embodied multimodal language model. In Int. Conf. Mach. Learn., 2023. URL .
[^89]: Yilun Du, Sherry Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, and Pieter Abbeel. Learning universal policies via text-guided video generation. In Adv. Neural Inf. Process. Syst., 2023. URL .
[^90]: Jiafei Duan, Wilbert Pumacay, Nishanth Kumar, Yi Ru Wang, Shulin Tian, Wentao Yuan, Ranjay Krishna, Dieter Fox, Ajay Mandlekar, and Yijie Guo. Aha: a vision-language-model for detecting and reasoning over failures in robotic manipulation. In Int. Conf. Learn. Represent., 2025. URL .
[^91]: Frederik Ebert, Yanlai Yang, Karl Schmeckpeper, Bernadette Bucher, Georgios Georgakis, Kostas Daniilidis, Chelsea Finn, and Sergey Levine. Bridge data: Boosting generalization of robotic skills with cross-domain datasets. In Robot. Sci. Syst., 2022. URL .
[^92]: Clemens Eppner, Arsalan Mousavian, and Dieter Fox. Acronym: a large-scale grasp dataset based on simulation. In IEEE Int. Conf. Robot. Autom., 2021. URL .
[^93]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. Arctic: a dataset for dexterous bimanual hand-object manipulation. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2023. URL .
## [^94]: Hao-Shu Fang, Chenxi Wang, Minghao Gou, and Cewu Lu. GraspNet-1Billion: A large-scale benchmark for general object grasping. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2020. URL
---
[^95]: Hao-Shu Fang, Hongjie Fang, Zhenyu Tang, Jirong Liu, Chenxi Wang, Junbo Wang, Haoyi Zhu, and Cewu Lu. RH20T: A comprehensive robotic dataset for learning diverse skills in one-shot. In IEEE Int. Conf. Robot. Autom., 2024. URL .
[^96]: Haoquan Fang, Markus Grotz, Wilbert Pumacay, Yi Ru Wang, Dieter Fox, Ranjay Krishna, and Jiafei Duan. SAM2Act: integrating visual foundation model with a memory architecture for robotic manipulation. In Int. Conf. Mach. Learn., 2025. URL .
[^97]: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, et al. MolmoAct2: action reasoning models for real-world deployment. arXiv preprint arXiv:2605.02881, 2026. URL .
[^98]: Yao Mu Fourier ActionNet Team. ActionNet: a dataset for dexterous bimanual manipulation, 2025. URL .
[^99]: C. Daniel Freeman, Erik Frey, Anton Raichuk, Sertan Girgin, Igor Mordatch, and Olivier Bachem. Brax: a differentiable physics engine for large scale rigid body simulation. In Adv. Neural Inf. Process. Syst., 2021. URL .
[^100]: Huan Fu, Bowen Cai, Lin Gao, Ling-Xiao Zhang, Jiaming Wang, Cao Li, Qixun Zeng, Chengyue Sun, Rongfei Jia, Binqiang Zhao, and Hao Zhang. 3D-front: 3D furnished rooms with layouts and semantics. In IEEE/CVF Int. Conf. Comput. Vis., 2021. URL .
[^101]: Yankai Fu, Ning Chen, Junkai Zhao, Shaozhe Shan, Guocai Yao, Pengwei Wang, Zhongyuan Wang, and Shanghang Zhang. Metis: multi-source egocentric training for integrated dexterous vision-language-action model. arXiv preprint arXiv:2511.17366, 2025. URL .
[^102]: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, and Chelsea Finn. HumanPlus: Humanoid shadowing and imitation from humans. In Conf. Robot Learn., 2024. URL .
[^103]: Zipeng Fu, Tony Z Zhao, and Chelsea Finn. Mobile ALOHA: learning bimanual mobile manipulation with low-cost whole-body teleoperation. In Conf. Robot Learn., 2024. URL .
[^104]: Ryo Fujii, Masashi Hatano, Hideo Saito, and Hiroki Kajita. Egosurgery-phase: a dataset of surgical phase recognition from egocentric open surgery videos. In Int. Conf. Med. Image Comput. Comput.-Assist. Interv., 2024. URL .
[^105]: Chuang Gan, Jeremy Schwartz, Seth Alter, Damian Mrowca, Martin Schrimpf, James Traer, Julian De Freitas, Jonas Kubilius, et al. ThreeDWorld: a platform for interactive multi-modal physical simulation. In Adv. Neural Inf. Process. Syst., 2021. URL .
[^106]: Jiyang Gao, Chen Sun, Zhenheng Yang, and Ram Nevatia. Tall: temporal activity localization via language query. In IEEE/CVF Int. Conf. Comput. Vis., 2017. URL .
[^107]: Ning Gao, Yilun Chen, Shuai Yang, Xinyi Chen, Yang Tian, Hao Li, Haifeng Huang, Hanqing Wang, Tai Wang, and Jiangmiao Pang. GENMANIP: LLM-driven simulation for generalizable instruction-following manipulation. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2025. URL .
[^108]: Ruohan Gao, Zilin Si, Yen-Yu Chang, Samuel Clarke, Jeannette Bohg, Li Fei-Fei, Wenzhen Yuan, and Jiajun Wu. ObjectFolder 2.0: A multisensory object dataset for Sim2Real transfer. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2022. URL .
[^109]: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, et al. DreamDojo: a generalist robot world model from large-scale human videos. arXiv preprint arXiv:2602.06949, 2026. URL .
[^110]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2018. URL .
[^111]: Gemini Robotics Team, Krzysztof Choromanski, Coline Devin, Yilun Du, Debidatta Dwibedi, Ruiqi Gao, Abhishek Jindal, Thomas Kipf, et al. Evaluating gemini robotics policies in a Veo world simulator. arXiv preprint arXiv:2512.10675, 2025. URL .
## [^112]: Genesis-Embodied-AI. Genesis: a generative and universal physics engine for robotics and beyond. , 2024. URL
---
[^113]: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, et al. RoboVerse: towards a unified platform, dataset and benchmark for scalable and generalizable robot learning. In Robot. Sci. Syst., 2025. URL .
[^114]: GigaWorld Team, Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Haoyun Li, Jiagang Zhu, Kerui Li, Mengyuan Xu, et al. GigaWorld-0: world models as data engine to empower embodied AI. arXiv preprint arXiv:2511.19861, 2025. URL .
[^115]: Ran Gong, Jiangyong Huang, Yizhou Zhao, Haoran Geng, Xiaofeng Gao, Qingyang Wu, Wensi Ai, Ziheng Zhou, Demetri Terzopoulos, Song-Chun Zhu, Baoxiong Jia, and Siyuan Huang. ARNOLD: a benchmark for language-grounded task learning with continuous states in realistic 3D scenes. In IEEE/CVF Int. Conf. Comput. Vis., 2023. URL .
[^116]: Zeying Gong, Rong Li, Tianshuai Hu, Ronghe Qiu, Lingdong Kong, Lingfeng Zhang, Guoyang Zhao, Yiyi Ding, and Junwei Liang. Stairway to success: An online floor-aware zero-shot object-goal navigation framework via LLM-driven coarse-to-fine exploration. IEEE Robot. Autom. Lett., 2026. URL .
[^117]: Google DeepMind. Genie 3: a new frontier for world models. , 2025. URL .
[^118]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, et al. Ego4D: around the world in 3,000 hours of egocentric video. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2022. URL .
[^119]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, et al. Ego-Exo4D: Understanding skilled human activity from first- and third-person perspectives. Int. J. Comput. Vis., 2025. URL .
[^120]: Clemence Grislain, Hamed Rahimi, Olivier Sigaud, and Mohamed Chetouani. I-failsense: towards general robotic failure detection with vision-language models. In IEEE Int. Conf. Robot. Autom., 2026. URL .
[^121]: Jiayuan Gu, Fanbo Xiang, Xuanlin Li, Zhan Ling, Xiqiang Liu, Tongzhou Mu, Yihe Tang, Stone Tao, et al. ManiSkill2: a unified benchmark for generalizable manipulation skills. In Int. Conf. Learn. Represent., 2023. URL .
[^122]: Abhishek Gupta, Vikash Kumar, Corey Lynch, Sergey Levine, and Karol Hausman. Relay policy learning: solving long-horizon tasks via imitation and reinforcement learning. In Conf. Robot Learn., 2019. URL .
[^123]: Agrim Gupta, Piotr Dollar, and Ross Girshick. LVIS: a dataset for large vocabulary instance segmentation. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2019. URL .
[^124]: David Ha and Jürgen Schmidhuber. Recurrent world models facilitate policy evolution. In Adv. Neural Inf. Process. Syst., 2018. URL .
[^125]: Huy Ha, Yihuai Gao, Zipeng Fu, Jie Tan, and Shuran Song. UMI on legs: making manipulation policies mobile with manipulation-centric whole-body controllers. In Conf. Robot Learn., 2024. URL .
[^126]: Danijar Hafner, Timothy Lillicrap, Ian Fischer, Ruben Villegas, David Ha, Honglak Lee, and James Davidson. Learning latent dynamics for planning from pixels. In Int. Conf. Mach. Learn., 2019. URL .
[^127]: Danijar Hafner, Timothy Lillicrap, Jimmy Ba, and Mohammad Norouzi. Dream to control: learning behaviors by latent imagination. In Int. Conf. Learn. Represent., 2020. URL .
[^128]: Danijar Hafner, Jurgis Pasukonis, Jimmy Ba, and Timothy Lillicrap. Mastering diverse control tasks through world models. Nature, 2025. URL .
## [^129]: Songhao Han, Boxiang Qiu, Yue Liao, Siyuan Huang, Chen Gao, Shuicheng Yan, and Si Liu. RoboCerebra: a large-scale benchmark for long-horizon robotic manipulation evaluation. In Adv. Neural Inf. Process. Syst., 2025. URL
---
[^130]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system. In IEEE Int. Conf. Robot. Autom., 2020. URL .
[^131]: Xiaoshuai Hao, Yingbo Tang, Lingfeng Zhang, Yanbiao Ma, Yunfeng Diao, Ziyu Jia, Wenbo Ding, Hangjun Ye, and Long Chen. RoboAfford++: a generative AI-enhanced dataset for multimodal affordance learning in robotic manipulation and navigation. arXiv preprint arXiv:2511.12436, 2025. URL .
[^132]: Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, and Guanya Shi. OmniH2O: Universal and dexterous human-to-humanoid whole-body teleoperation and learning. In Conf. Robot Learn., 2024. URL .
[^133]: Lisa Anne Hendricks, Oliver Wang, Eli Shechtman, Josef Sivic, Trevor Darrell, and Bryan Russell. Localizing moments in video with natural language. In IEEE/CVF Int. Conf. Comput. Vis., 2017. URL .
[^134]: Minho Heo, Youngwoon Lee, Doohyun Lee, and Joseph J Lim. FurnitureBench: Reproducible real-world benchmark for long-horizon complex manipulation. Int. J. Robot. Res., 2025. URL .
[^135]: Ryan Hoque, Ashwin Balakrishna, Ellen Novoseller, Albert Wilcox, Daniel S Brown, and Ken Goldberg. Thriftydagger: budget-aware novelty and risk gating for interactive imitation learning. In Conf. Robot Learn., 2021. URL .
[^136]: Ryan Hoque, Lawrence Yunliang Chen, Satvik Sharma, Karthik Dharmarajan, Brijen Thananjeyan, Pieter Abbeel, and Ken Goldberg. Fleet-DAgger: interactive robot fleet learning with scalable human supervision. In Conf. Robot Learn., 2022. URL .
[^137]: Ryan Hoque, Ajay Mandlekar, Caelan Garrett, Ken Goldberg, and Dieter Fox. IntervenGen: interventional data generation for robust and data-efficient robot imitation learning. In IEEE/RSJ Int. Conf. Intell. Robots Syst., 2024. URL .
[^138]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: learning dexterous manipulation from large-scale egocentric video. In Int. Conf. Learn. Represent., 2026. URL .
[^139]: Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, and Xiangyu Zhao. Fire: enhancing mlims with fine-grained context learning for complex image retrieval. In Int. ACM SIGIR Conf. Res. Dev. Inf. Retr., 2025. URL .
[^140]: Bohan Hou, Jiuning Gu, Jiayan Guo, Ronghao Dang, Sicong Leng, Xin Li, Xuemeng Song, and Jianfei Yang. Interlv-search: benchmarking interleaved multimodal agentic search. arXiv preprint arXiv:2605.07510, 2026. URL .
[^141]: Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran Geng, Yanjie Ze, Tatsuya Harada, Philip Torr, et al. World model for robot learning: a comprehensive survey. arXiv preprint arXiv:2605.00080, 2026. URL .
[^142]: Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, et al. RoboMind 2.0: a multimodal, bimanual mobile manipulation dataset for generalizable embodied intelligence. arXiv preprint arXiv:2512.24653, 2025. URL .
[^143]: Anthony Hu, Lloyd Russell, Hudson Yeo, Zak Murez, George Fedoseev, Alex Kendall, Jamie Shotton, and Gianluca Corrado. GAIA-1: a generative world model for autonomous driving. arXiv preprint arXiv:2309.17080, 2023. URL .
[^144]: Pu Hua, Minghuan Liu, Annabella Macaluso, Yunfeng Lin, Weinan Zhang, Huazhe Xu, and Lirui Wang. GenSim2: Scaling robot data generation with multi-modal and reasoning LLMs. In Conf. Robot Learn., 2024. URL .
[^145]: Qianxi Hua, Xinyue Li, Zheng Yan, Yang Li, Chi Zhang, Yongyao Li, and Yufei Liu. VTouch++: a multimodal dataset with vision-based tactile enhancement for bimanual manipulation. arXiv preprint arXiv:2604.20444, 2026. URL .
## [^146]: Siyuan Huang, Liliang Chen, Pengfei Zhou, Shengcong Chen, Zhengkai Jiang, Yue Hu, Yue Liao, Peng Gao, Hongsheng Li, Maoqing Yao, and Guanghui Ren. EnerVerse: envisioning embodied future space for robotics manipulation. In Adv. Neural Inf. Process. Syst., 2025. URL
---
[^147]: Weikai Huang, Jieyu Zhang, Sijun Li, Taoyang Jia, Jiafei Duan, Yunqian Cheng, Jaemin Cho, Matthew Wallingford, Rustin Soraki, Chris Dongjoo Kim, Shuo Liu, et al. Wilddet3d: Scaling promptable 3d detection in the wild. arXiv preprint arXiv:2604.08626, 2026. URL .
[^148]: Yifei Huang, Guo Chen, Jilan Xu, Mingfang Zhang, Lijin Yang, Baoqi Pei, Hongjie Zhang, Lu Dong, Yali Wang, Limin Wang, and Yu Qiao. EgoExoLearn: A dataset for bridging asynchronous ego- and exo-centric view of procedural activities in real world. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2024. URL .
[^149]: Zhiao Huang, Yuanming Hu, Tao Du, Siyuan Zhou, Hao Su, Joshua B. Tenenbaum, and Chuang Gan. Plasticinelab: a soft-body manipulation benchmark with differentiable physics. In Int. Conf. Learn. Represent., 2021. URL .
[^150]: Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, et al. $\pi_{0.5}$: a vision-language-action model with open-world generalization. In Conf. Robot Learn., 2025. URL .
[^151]: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, et al. $\pi_{0.7}$: a steerable generalist robotic foundation model with emergent capabilities. arXiv preprint arXiv:2604.15483, 2026. URL .
[^152]: Stephen James, Marc Freese, and Andrew J. Davison. PyRep: bringing v-rep to deep robot learning. arXiv preprint arXiv:1906.11176, 2019. URL .
[^153]: Stephen James, Zicong Ma, David Rovick Arrojo, and Andrew J. Davison. Rlbench: the robot learning benchmark & learning environment. IEEE Robot. Autom. Lett., 2020. URL .
[^154]: Eric Jang, Alex Irpan, Mohi Khansari, Daniel Kappler, Frederik Ebert, Corey Lynch, Sergey Levine, and Chelsea Finn. Bc-z: zero-shot task generalization with robotic imitation learning. In Conf. Robot Learn., 2022. URL .
[^155]: Joel Jang, Seonghyeon Ye, Zongyu Lin, Jiannan Xiang, Johan Bjorck, Yu Fang, Fengyuan Hu, Spencer Huang, et al. Dreamgen: unlocking generalization in robot learning through video world models. In Conf. Robot Learn., 2025. URL .
[^156]: Yash Jangir, Yidi Zhang, Pang-Chi Lo, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, and Katerina Fragkiadaki. Robotarena $\infty$: scalable robot benchmarking via real-to-sim translation. In Int. Conf. Learn. Represent., 2026. URL .
[^157]: Ahad Jawaid and Yu Xiang. OpenEgo: a large-scale multimodal egocentric dataset for dexterous manipulation. arXiv preprint arXiv:2509.05513, 2025. URL .
[^158]: Yuheng Ji, Huajie Tan, Jiayu Shi, Xiaoshuai Hao, Yuan Zhang, Hengyuan Zhang, Pengwei Wang, Mengdi Zhao, et al. RoboBrain: a unified brain model for robotic manipulation from abstract to concrete. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2025. URL .
[^159]: Baoxiong Jia, Ting Lei, Song-Chun Zhu, and Siyuan Huang. EgoTaskQA: Understanding human tasks in egocentric videos. In Adv. Neural Inf. Process. Syst., 2022. URL .
[^160]: Chenxi Jiang, Chuhao Zhou, and Jianfei Yang. REI-Bench: Can embodied agents understand vague human instructions in task planning? In Int. Conf. Learn. Represent., 2026. URL .
[^161]: Feng Jiang, Yang Chen, Kyle Xu, Yuchen Liu, Haifeng Wang, Zhenhao Shen, Jasper Lu, Shengze Huang, Yuanfei Wang, Chen Xie, and Ruihai Wu. RoboWM-Bench: a benchmark for evaluating world models in robotic manipulation. arXiv preprint arXiv:2604.19092, 2026. URL .
[^162]: Tao Jiang, Tianyuan Yuan, Yicheng Liu, Chenhao Lu, Jianning Cui, Xiao Liu, Shuiqi Cheng, Jiyang Gao, Huazhe Xu, and Hang Zhao. Galaxea open-world dataset and G0 dual-system VLA model. arXiv preprint arXiv:2509.00576, 2025. URL .
[^163]: Yuming Jiang, Siteng Huang, Shengke Xue, Yaxi Zhao, Jun Cen, Sicong Leng, Kehan Li, Jiayan Guo, et al. RynnVLA-001: using human demonstrations to improve robot manipulation. In IEEE Int. Conf. Robot. Autom., 2026. URL .
## [^164]: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, and Linxi Fan. VIMA: General robot manipulation with multimodal prompts. In Int. Conf. Mach. Learn., 2023. URL
---
[^165]: Zhennan Jiang, Kai Liu, Yuxin Qin, Shuai Tian, Yupeng Zheng, Mingcai Zhou, Chao Yu, Haoran Li, and Dongbin Zhao. World4RL: diffusion world models for policy refinement with reinforcement learning for robotic manipulation. arXiv preprint arXiv:2509.19080, 2025. URL .
[^166]: Zhenyu Jiang, Yuqi Xie, Kevin Lin, Zhenjia Xu, Weikang Wan, Ajay Mandlekar, Linxi Fan, and Yuke Zhu. DexMimicGen: automated data generation for bimanual dexterous manipulation via imitation learning. In IEEE Int. Conf. Robot. Autom., 2025. URL .
[^167]: Tobias Juelg, Seongjin Bien, Simon Hilber, Yannik Blei, Pierre Krack, Maximilian Li, Sven Parusel, Rudolf Lioutikov, Florian Walter, and Wolfram Burgard. Duobench: a reproducible benchmark for bimanual manipulation in simulation and the real world. arXiv preprint arXiv:2606.11901, 2026. URL .
[^168]: Kairos Team, Fei Wang, Shan You, Qiming Zhang, Tao Huang, Zuoyi Fu, Zhisheng Zheng, Yunlong Xi, Feng Lv, Xiaoming Wu, et al. Kairos: A regret-aware native world-action model stack for physical AI. arXiv preprint arXiv:2606.16533, 2026. URL .
[^169]: Dmitry Kalashnikov, Alex Irpan, Peter Pastor, Julian Ibarz, Alexander Herzog, Eric Jang, Deirdre Quillen, Ethan Holly, Mrinal Kalakrishnan, Vincent Vanhoucke, et al. QT-Opt: Scalable deep reinforcement learning for vision-based robotic manipulation. In Conf. Robot Learn., 2018. URL .
[^170]: Dmitry Kalashnikov, Jacob Varley, Yevgen Chebotar, Benjamin Swanson, Rico Jonschkowski, Chelsea Finn, Sergey Levine, and Karol Hausman. Mt-opt: continuous multi-task robotic reinforcement learning at scale. arXiv preprint arXiv:2104.08212, 2021. URL .
[^171]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. EgoMimic: Scaling imitation learning via egocentric video. In IEEE Int. Conf. Robot. Autom., 2025. URL .
[^172]: Mukul Khanna, Yongsen Mao, Hanxiao Jiang, Sanjay Haresh, Brennan Shacklett, Dhruv Batra, Alexander Clegg, Eric Undersander, Angel X. Chang, and Manolis Savva. Habitat synthetic scenes dataset (hssd-200): an analysis of 3D scene scale and realism tradeoffs for objectgoal navigation. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2024. URL .
[^173]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, et al. DROID: a large-scale in-the-wild robot manipulation dataset. In Robot. Sci. Syst., 2024. URL .
[^174]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailev, Ethan Foster, Grace Lam, Pannag Sanketi, et al. OpenVLA: an open-source vision-language-action model. In Conf. Robot Learn., 2024. URL .
[^175]: Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, and Jinwei Gu. Cosmos policy: Fine-tuning video models for visuomotor control and planning. In Int. Conf. Learn. Represent., 2026. URL .
[^176]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollar, and Ross Girshick. Segment anything. In IEEE/CVF Int. Conf. Comput. Vis., 2023. URL .
[^177]: Lingdong Kong, Yu Yang, Jianbiao Mei, Youquan Liu, Ao Liang, Dekai Zhu, Dongyue Lu, Wei Yin, et al. 3D and 4D world modeling: A survey. arXiv preprint arXiv:2509.07996, 2025. URL .
[^178]: Ziyi Kou, Ankit Kumar, Mia Huang, Taylor Niehues, Vatsal Mehta, Ergys Ristani, and Li Guan. Avi-ht: adaptive vision-imu fusion for 3D hand tracking. arXiv preprint arXiv:2605.21714, 2026. URL .
[^179]: Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual Genome: Connecting language and vision using crowdsourced dense image annotations. Int. J. Comput. Vis., 2017. URL .
## [^180]: Vikash Kumar, Rutav Shah, Gaoyue Zhou, Vincent Moens, Vittorio Caggiano, Jay Vakil, Abhishek Gupta, and Aravind Rajeswaran. RoboHive: a unified framework for robot learning. In Adv. Neural Inf. Process. Syst., 2023. URL
---
[^181]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2O: Two hands manipulating objects for first person interaction recognition. In IEEE/CVF Int. Conf. Comput. Vis., 2021. URL .
[^182]: Geonhyup Lee, Yeongjin Lee, Kangmin Kim, Seongju Lee, Sangjun Noh, Seunghyeok Back, and Kyoobin Lee. ManipForce: force-guided policy learning with frequency-aware representation for contact-rich manipulation. In IEEE Int. Conf. Robot. Autom., 2026. URL .
[^183]: Jae Yong Lee, Daniel Scharstein, Akash Bapat, Hao Hu, Andrew Fu, Haoru Zhao, Paul Sammut, Xiang Li, et al. Ego-1K – a large-scale multiview video dataset for egocentric vision. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2026. URL .
[^184]: Jason Lee, Jiafei Duan, Haoquan Fang, Yuquan Deng, Shuo Liu, Boyang Li, Bohan Fang, Jieyu Zhang, Yi Ru Wang, Sangho Lee, et al. MolmoAct: Action reasoning models that can reason in space. arXiv preprint arXiv:2508.07917, 2025. URL .
[^185]: Huashuo Lei, Wenxuan Song, Huarui Zhang, Jieyuan Pei, Jiayi Chen, Haodong Yan, Han Zhao, Pengxiang Ding, et al. RoboMemArena: a comprehensive and challenging robotic memory benchmark. arXiv preprint arXiv:2605.10921, 2026. URL .
[^186]: Leju Robotics. Let-base-dataset: let basic operation dataset. , 2026. URL .
[^187]: Ian Lenz, Honglak Lee, and Ashutosh Saxena. Deep learning for detecting robotic grasps. Int. J. Robot. Res., 2015. URL .
[^188]: Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Peiyuan Zhang, Yanwei Li, Ziwei Liu, and Chunyuan Li. LLaVA-OneVision: easy visual task transfer. Trans. Mach. Learn. Res., 2024. URL .
[^189]: Chengshu Li, Ruohan Zhang, Josiah Wong, Cem Gokmen, Sanjana Srivastava, Roberto Martin-Martín, Chen Wang, Gabrael Levine, et al. BEHAVIOR-1K: a human-centered, embodied AI benchmark with 1,000 everyday activities and realistic simulation. In Conf. Robot Learn., 2022. URL .
[^190]: Chuanyu Li, Renjun Dang, Xiang Li, Zhiyuan Wu, Jing Xu, Hamidreza Kasaei, Roberto Calandra, Nathan Lepora, Shan Luo, Hao Su, and Rui Chen. ManiSkill-vitac 2025: challenge on manipulation skill learning with vision and tactile sensing. arXiv preprint arXiv:2411.12503, 2024. URL .
[^191]: Chuanyu Li, Chaoyi Liu, Daotan Wang, Shuyu Zhang, Lusong Li, Zecui Zeng, Fangchen Liu, Jing Xu, and Rui Chen. ViTaMIn-b: a reliable and efficient visuo-tactile bimanual manipulation interface. arXiv preprint arXiv:2511.05858, 2025. URL .
[^192]: Guangrun Li, Yaoxu Lyu, Zhuoyang Liu, Chengkai Hou, Jieyu Zhang, and Shanghang Zhang. H2r: a human-to-robot data augmentation for robot pre-training from videos. arXiv preprint arXiv:2505.11920, 2025. URL .
[^193]: Hengtao Li, Pengxiang Ding, Runze Suo, Yihao Wang, Zirui Ge, Dongyuan Zang, Kexian Yu, Mingyang Sun, Hongyin Zhang, Donglin Wang, et al. VLA-RFT: vision-language-action reinforcement fine-tuning with verified rewards in world simulators. arXiv preprint arXiv:2510.00406, 2025. URL .
[^194]: Jiajun Li, Tiecheng Guo, Yifan Ye, Rongyu Zhang, Xiaowei Chi, Qianpu Sun, Ying Li, Yunfan Lou, Yan Huang, Zhihe Lu, et al. Efficient-WAM: A 1B-parameter world-action model with low-cost future imagination. arXiv preprint arXiv:2606.10040, 2026.
[^195]: Jinming Li, Yichen Zhu, Zhibin Tang, Junjie Wen, Minjie Zhu, Xiaoyu Liu, Chengmeng Li, Ran Cheng, Yaxin Peng, Yan Peng, et al. Coa-VLA: improving vision-language-action models via visual-text chain-of-affordance. In IEEE/CVF Int. Conf. Comput. Vis., 2025. URL .
[^196]: Lin Li, Qihang Zhang, Yiming Luo, Shuai Yang, Ruilin Wang, Fei Han, Mingrui Yu, Zelin Gao, Nan Xue, Xing Zhu, Yujun Shen, and Yinghao Xu. Causal world modeling for robot control. In Robot. Sci. Syst., 2026. URL .
## [^197]: Linfei Li, Lin Zhang, and Ying Shen. RealVLG-R1: A large-scale real-world visual-language grounding benchmark for robotic perception and manipulation. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2026. URL
---
[^198]: Qixiu Li, Yaobo Liang, Zeyu Wang, Lin Luo, Xi Chen, Mozheng Liao, Fangyun Wei, Yu Deng, et al. CogACT: A foundational vision-language-action model for synergizing cognition and action in robotic manipulation. arXiv preprint arXiv:2411.19650, 2024. URL .
[^199]: Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, et al. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. In IEEE Int. Conf. Robot. Autom., 2025. URL .
[^200]: Shalfun Li, Victor Yao, Charles Yang, Truth Qu, Regis Cheng, Ryan Yu, Howard Lu, Newton Von, et al. WALL-WM: Carving world action modeling at the event joints. arXiv preprint arXiv:2606.01955, 2026. URL .
[^201]: Xinghang Li, Jun Guo, Qiwei Li, Long Qian, Hang Lai, Yueze Wang, Hongyu Yan, Jiahang Cao, Xi Chen, Jingen Qu, et al. Xiaomi-Robotics-U0: Unified embodied synthesis with world foundation model. arXiv preprint arXiv:2607.11643, 2026. URL .
[^202]: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, et al. Evaluating real-world robot manipulation policies in simulation. In Conf. Robot Learn., 2024. URL .
[^203]: Xukun Li, Yu Sun, Lei Zhang, Bosheng Huang, Yibo Peng, Yuan Meng, Haojun Jiang, Shaoxuan Xie, Guocai Yao, Alois Knoll, et al. DECO: decoupled multimodal diffusion transformer for bimanual dexterous manipulation with a plugin tactile adapter. In Int. Conf. Mach. Learn., 2026. URL .
[^204]: Yaxuan Li, Yichen Zhu, Junjie Wen, Chaomin Shen, and Yi Xu. WorldEval: World model as real-world robot policies evaluator. arXiv preprint arXiv:2505.19017, 2025. URL .
[^205]: Yihang Li, Xuelong Wei, Jingzhou Luo, Yingjing Xiao, Yibo Bai, Guangyuan Zhou, Teng Zou, Chenguang Gui, et al. Egolve: a large-scale egocentric dataset from real-world human tasks. arXiv preprint arXiv:2604.23570, 2026. URL .
[^206]: Yin Li, Miao Liu, and James M. Rehg. In the eye of the beholder: Gaze and actions in first person video. IEEE Trans. Pattern Anal. Mach. Intell., 2023. URL .
[^207]: Yuan-Ming Li, Wei-Jin Huang, An-Lan Wang, Ling-An Zeng, Jing-Ke Meng, and Wei-Shi Zheng. EgoExo-Fitness: towards egocentric and exocentric full-body action understanding. In Eur. Conf. Comput. Vis., 2024. URL .
[^208]: Yuyang Li, Wenxin Du, Chang Yu, Puhao Li, Zihang Zhao, Tengyu Liu, Chenfanfu Jiang, Yixin Zhu, and Siyuan Huang. Taccel: scaling up vision-based tactile robotics via high-performance GPU simulation. In Adv. Neural Inf. Process. Syst., 2025. URL .
[^209]: Zishuo Li, Bowen Yang, Changtao Miao, Kai Zhu, Hao Chen, Qingze Guan, Zhengxing Wu, Wanke Zhan, Yang Sun, Zhiyi Huang, et al. Open-aoe: An open egocentric manipulation dataset and toolchain for embodied learning. arXiv preprint arXiv:2607.14183, 2026. URL .
[^210]: Yue Liao, Pengfei Zhou, Siyuan Huang, Donglin Yang, Shengcong Chen, Yuxin Jiang, Yue Hu, Jingbin Cai, et al. Genie envisioner: a unified world foundation platform for robotic manipulation. In Int. Conf. Learn. Represent., 2026. URL .
[^211]: Fanqi Lin, Yingdong Hu, Pingyue Sheng, Chuan Wen, Jiacheng You, and Yang Gao. Data scaling laws in imitation learning for robotic manipulation. In Int. Conf. Learn. Represent., 2025. URL .
[^212]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. In Eur. Conf. Comput. Vis., 2014. URL .
[^213]: Xingyu Lin, Yufei Wang, Jake Olkin, and David Held. SoftGym: benchmarking deep reinforcement learning for deformable object manipulation. In Conf. Robot Learn., 2020. URL .
## [^214]: Yijiong Lin, John Lloyd, Alex Church, and Nathan F. Lepora. Tactile Gym 2.0: Sim-to-real deep reinforcement learning for comparing low-cost high-resolution robot touch. IEEE Robot. Autom. Lett., 2022. URL
---
[^215]: Zijun Lin, Jiafei Duan, Haoquan Fang, Dieter Fox, Ranjay Krishna, Cheston Tan, and Bihan Wen. Failsafe: reasoning and recovery from failures in vision-language-action models. arXiv preprint arXiv:2510.01642, 2025. URL .
[^216]: Linux Foundation and NVIDIA and Google DeepMind and Disney Research. Newton: an open-source, GPU-accelerated physics engine for robotics. , 2025. URL .
[^217]: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, and Peter Stone. LIBERO: benchmarking knowledge transfer for lifelong robot learning. In Adv. Neural Inf. Process. Syst., 2023. URL .
[^218]: Fangchen Liu, Chuanyu Li, Yihua Qin, Ankit Shaw, Jing Xu, Pieter Abbeel, and Rui Chen. ViTaMIN: learning contact-rich tasks through robot-free visuo-tactile manipulation interface. arXiv preprint arXiv:2504.06156, 2025. URL .
[^219]: Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. In Adv. Neural Inf. Process. Syst., 2023. URL .
[^220]: Huihan Liu, Soroush Nasiriany, Lance Zhang, Zhiyao Bao, and Yuke Zhu. Robot learning on the job: human-in-the-loop autonomy and learning during deployment. Int. J. Robot. Res., 2025. URL .
[^221]: Jiaming Liu, Hao Chen, Pengju An, Zhuoyang Liu, Renrui Zhang, Chenyang Gu, Xiaoqi Li, Ziyu Guo, et al. HybridVLA: collaborative diffusion and autoregression in a unified vision-language-action model. In Int. Conf. Learn. Represent., 2026. URL .
[^222]: Jiaming Liu, Yinxi Wang, Chenyang Gu, Siyuan Qian, Xiangju Mi, Hao Chen, Jiawei Chen, Qingpo Wuwu, et al. LaST-HD: Learning latent physical reasoning from scalable human data for robot manipulation. arXiv preprint arXiv:2606.23685, 2026. URL .
[^223]: Junpeng Liu, Tianyue Ou, Yifan Song, Yuxiao Qu, Wai Lam, Chenyan Xiong, Wenhu Chen, Graham Neubig, and Xiang Yue. Harnessing webpage UIs for text-rich visual understanding. In Int. Conf. Learn. Represent., 2025. URL .
[^224]: Kehui Liu, Zhongjie Jia, Yang Li, Zhaxizhuoma, Pengan Chen, Song Liu, Xin Liu, Pingrui Zhang, Haoming Song, Xinyi Ye, et al. FastUMI-100k: advancing data-driven robotic manipulation with a large-scale UMI-style dataset. arXiv preprint arXiv:2510.08022, 2025. URL .
[^225]: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, and Jun Zhu. RDT-1b: a diffusion foundation model for bimanual manipulation. In Int. Conf. Learn. Represent., 2025. URL .
[^226]: Songming Liu, Bangguo Li, Kai Ma, Lingxuan Wu, Hengkai Tan, Xiao Ouyang, Hang Su, and Jun Zhu. RDT2: Exploring the scaling limit of UMI data towards zero-shot cross-embodiment generalization. In ICML, 2026. URL .
[^227]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: a 4D egocentric dataset for category-level human-object interaction. In IEEE/CVF Conf. Comput. Vis. Pattern Recog., 2022. URL .
[^228]: Zeyi Liu, Arpit Bahety, and Shuran Song. Reflect: summarizing robot experiences for failure explanation and correction. In Conf. Robot Learn., 2023. URL .
[^229]: Zeyi Liu, Cheng Chi, Eric Cousineau, Naveen Kuppuswamy, Benjamin Burchfiel, and Shuran Song. ManiWAV: learning robot manipulation from in-the-wild audio-visual data. In Conf. Robot Learn., 2024. URL .
[^230]: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, et al. LaST $_{0}$: Latent spatio-temporal chain-of-thought for robotic vision-language-action model. In Int. Conf. Mach. Learn., 2026. URL .
## [^231]: Yunfan Lou, Xiaowei Chi, Xiaojie Zhang, Zezhong Qian, Chengxuan Li, Rongyu Zhang, Yaoxu Lyu, Guoyu Song, Chuyao Fu, Haoxuan Xu, Pengwei Wang, and Shanghang Zhang. Predicting what matters: Robust generalist robot policy learning via future semantic mask. In Int. Conf. Mach. Learn., 2026. URL
---
[^232]: Yunfan Lou, Yifan Ye, Yankai Fu, Jun Cen, Xiaowei Chi, Yaoxu Lyu, Peidong Jia, Sirui Han, Zhihe Lu, and Shanghang Zhang. Dream-Tac: A unified tactile world action model for contact-rich robot manipulation, 2026. URL .
[^233]: Haoran Lu, Ruihai Wu, Yitong Li, Sijie Li, Ziyu Zhu, Chuanruo Ning, Yan Shen, Longzan Luo, Yuanpei Chen, and Hao Dong. GarmentLab: A unified simulation and benchmark for garment manipulation. In Adv. Neural Inf. Process. Syst., 2024. URL .
[^234]: Jinghui Lu, Jiayi Guan, Zhijian Huang, Jinlong Li, Guang Li, Lingdong Kong, Yingyan Li, Han Wang, et al. Xiaomi OneVL: One-step latent reasoning and planning with vision-language explanation. arXiv preprint arXiv:2604.18486, 2026. URL .
[^235]: Weifeng Lu, Minghao Ye, Zewei Ye, Ruihan Tao, Shuo Yang, and Bo Zhao. RoboFAC: a comprehensive framework for robotic failure analysis and correction. arXiv preprint arXiv:2505.12224, 2025. URL .
[^236]: Yuhao Lu, Yixuan Fan, Beixing Deng, Fangfu Liu, Yali Li, and Shengjin Wang. VL-Grasp: A 6-DoF interactive grasp policy for language-oriented objects in cluttered indoor scenes. In IEEE/RSJ Int. Conf. Intell. Robots Syst., 2023. URL .
[^237]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-h0: Vision-language-action pretraining from large-scale human videos. In Int. Conf. Mach. Learn., 2026. URL .
[^238]: Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, Yicheng Feng, and Zongqing Lu. Being-h0.5: Scaling human-centric robot learning for cross-embodiment generalization. arXiv preprint arXiv:2601.12993, 2026. URL .
[^239]: Hao Luo, Wanpeng Zhang, Yicheng Feng, Sipeng Zheng, Haiweng Xu, Chaoyi Xu, Ziheng Xi, Yuhui Fu, and Zongqing Lu. Being-h0.7: A latent world-action model from egocentric videos. arXiv preprint arXiv:2605.00078, 2026. URL .
[^240]: Jianlan Luo, Charles Xu, Fangchen Liu, Liam Tan, Zipeng Lin, Jeffrey Wu, Pieter Abbeel, and Sergey Levine. FMB: A functional manipulation benchmark for generalizable robotic learning. Int. J. Robot. Res., 2024. URL .
[^241]: Jiangran Lyu, Kai Liu, Xuheng Zhang, Haoran Liao, Yusen Feng, Wenxuan Zhu, Tingrui Shen, Jiayi Chen, et al. LDA-1B: scaling latent dynamics action model via universal embodied data ingestion. In Robot. Sci. Syst., 2026. URL .
[^242]: Ruiyuan Lyu, Jingli Lin, Tai Wang, Shuai Yang, Xiaohan Mao, Yilun Chen, Runsen Xu, Haifeng Huang, Chenming Zhu, Dahua Lin, and Jiangmiao Pang. MMScan: a multi-modal 3D scene dataset with hierarchical grounded language annotations. In Adv. Neural Inf. Process. Syst., 2024. URL .
[^243]: Haoxiang Ma, Junhao Cai, Xiaoxu Xu, Hao Li, Yuyin Yang, Yang Tian, Jiafei Cao, Hongrui Zhu, et al. InternVLA-A1.5: Unifying understanding, latent foresight, and action for compositional generalization. arXiv preprint arXiv:2607.04988, 2026. URL .
[^244]: Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, et al. HumanScale: Egocentric human video can outperform r eal-robot data for embodied pretraining. arXiv preprint arXiv:2606.20521, 2026. URL .
[^245]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, et al. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In Eur. Conf. Comput. Vis., 2024. URL .
[^246]: Xiaojian Ma, Silong Yong, Zilong Zheng, Qing Li, Yitao Liang, Song-Chun Zhu, and Siyuan Huang. SQA3D: situated question answering in 3D scenes. In Int. Conf. Learn. Represent., 2023. URL .
[^247]: Viktor Makoviychuk, Lukasz Wawrzyniak, Yunrong Guo, Michelle Lu, Kier Storey, Miles Macklin, David Hoeller, Nikita Rudin, Arthur Allshire, Ankur Handa, and Gavriel State. Isaac gym: high performance GPU-based physics simulation for robot learning. In Adv. Neural Inf. Process. Syst., 2021. URL .
## [^248]: Ajay Mandlekar, Yuke Zhu, Animesh Garg, Jonathan Booher, Max Spero, Albert Tung, Julian Gao, John Emmons, Anchit Gupta, Emre Orbay, et al. RoboTurk: a crowdsourcing platform for robotic skill learning through imitation. In Conf. Robot Learn., 2018. URL
---
[^249]: Ajay Mandlekar, Danfei Xu, Roberto Martin-Martín, Yuke Zhu, Li Fei-Fei, and Silvio Savarese. Human-in-the-loop imitation learning using remote teleoperation. arXiv preprint arXiv:2012.06733, 2020. URL .
[^250]: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, and Roberto Martín-Martín. What matters in learning from offline human demonstrations for robot manipulation. In Conf. Robot Learn., 2021. URL .
[^251]: Ajay Mandlekar, Soroush Nasiriany, Bowen Wen, Iretiayo Akinola, Yashraj Narang, Linxi Fan, Yuke Zhu, and Dieter Fox. MimicGen: a data generation system for scalable robot learning using human demonstrations. In Conf. Robot Learn., 2023. URL .
[^252]: Ahmed Masry, Do Xuan Long, Jia Qing Tan, Shafiq Joty, and Enamul Hoque. ChartQA: A benchmark for question answering about charts with visual and logical reasoning. In Annu. Meet. Assoc. Comput. Linguist., 2022. URL .
[^253]: Minesh Mathew, Dimosthenis Karatzas, and C. V. Jawahar. DocVQA: a dataset for VQA on document images. In IEEE/CVF Winter Conf. Appl. Comput. Vis., 2021. URL .
[^254]: Oier Mees, Lukas Hermann, Erick Rosete-Beas, and Wolfram Burgard. Calvin: a benchmark for Language-Conditioned policy learning for long-horizon robot manipulation tasks. IEEE Robot. Autom. Lett., 2022. URL .
[^255]: Anand Mishra, Shashank Shekhar, Ajeet Kumar Singh, and Anirban Chakraborty. OCR-VQA: Visual question answering by reading text in images. In Int. Conf. Doc. Anal. Recognit., 2019. URL .
[^256]: Mayank Mittal, Calvin Yu, Qinxi Yu, Jingzhou Liu, Nikita Rudin, David Hoeller, Jia Lin Yuan, Ritvik Singh, et al. Orbit: a unified simulation framework for interactive robot learning environments. IEEE Robot. Autom. Lett., 2023. URL .
[^257]: Tomohiro Motoda, Masaki Murooka, Ryoichi Nakajo, Muhammad A. Muttaqien, Koshi Makihara, Hanbit Oh, Keisuke Shirai, Floris Erich, Ryo Hanai, and Yukiyasu Domae. AIST-bimanual manipulation, 2025. URL