{
  "paper_id": "e7749092997f9f0b2b812f167e0bb4e9",
  "paper_title": "Data Pyramid for Embodied Manipulation: A Survey",
  "paper_authors": [
    "Yifan Ye",
    "Yankai Fu",
    "Yaoxu Lv",
    "Bohan Hou",
    "Jun Cen",
    "Lingdong Kong",
    "Duo Zheng",
    "Tianxing Chen",
    "Jiaming Liu",
    "Ziang Cao",
    "Yunfan Lou",
    "Wei Chow",
    "Xian Sun",
    "Yingshuo Wang",
    "Kuangzhi Ge",
    "Xiaowei Chi",
    "Xidong Zhang",
    "Zhibo Pang",
    "Yiwu Zhong",
    "Sirui Han",
    "Zhihe Lu",
    "Weihao Yuan",
    "Qifeng Chen",
    "Michael Yu Wang",
    "Yao Mu",
    "Ziwei Liu",
    "Jianfei Yang",
    "Ping Luo",
    "Shanghang Zhang"
  ],
  "publication_date": "2026-08-11",
  "publication_venue": "unknown",
  "abstract": "多模态基础模型通过利用海量互联网数据学会了看与说，但具身智能体无法直接复制这一路径，因为它们需要将观测与物理状态、动作相耦合的数据。本文将具身数据生态组织为一个“金字塔”，涵盖五类互补数据源：真实机器人数据、UMI 风格数据、自我中心与外部视角数据、仿真数据和通用视觉语言数据。该金字塔围绕可扩展性与机器人对齐之间的张力展开，并从数据质量、多样性、可复用性和物理保真度刻画每类数据。作者进一步从数据配方角度分析近期具身基础模型，考察不同数据源在预训练中如何被选择、对齐与混合，并将数据组成与感知、推理、规划、动作生成和世界预测能力联系起来。最后，文章讨论了构建大规模触觉数据集、采集失败与恢复数据、开发可扩展采集管线、跨具身形态动作对齐、利用自我中心数据实现灵巧操作，以及设计有原则的数据配方等六个开放挑战。\n",
  "keywords": [
    "具身数据金字塔",
    "机器人操作",
    "真实机器人数据",
    "UMI",
    "自我中心与外部视角数据",
    "仿真数据",
    "通用视觉语言数据",
    "视觉语言动作模型",
    "世界动作模型",
    "数据配方",
    "跨具身对齐"
  ],
  "paper_institutions": [
    "Peking University (PKU)",
    "Nanyang Technological University (NTU)",
    "Hong Kong University of Science and Technology (HKUST)",
    "National University of Singapore (NUS)",
    "Chinese University of Hong Kong (CUHK)",
    "University of Hong Kong (HKU)",
    "Duke University",
    "University of California, Berkeley (UCB)",
    "GBU",
    "Nanjing University (NJU)",
    "Shanghai Jiao Tong University (SJTU)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:09.763527Z",
  "template_tag": "deep_read",
  "summary": "# Data Pyramid for Embodied Manipulation: A Survey\n\n\n**作者 / Authors:** Yifan Ye, Yankai Fu, Yaoxu Lv, Bohan Hou, Jun Cen, Lingdong Kong, Duo Zheng, Tianxing Chen, Jiaming Liu, Ziang Cao, Yunfan Lou, Wei Chow, Xian Sun, Yingshuo Wang, Kuangzhi Ge, Xiaowei Chi, Xidong Zhang, Zhibo Pang, Yiwu Zhong, Sirui Han, Zhihe Lu, Weihao Yuan, Qifeng Chen, Michael Yu Wang, Yao Mu, Ziwei Liu, Jianfei Yang, Ping Luo, Shanghang Zhang\n\n\n**单位 / Institutions:** PKU（北京大学）, NTU（南洋理工大学）, HKUST（香港科技大学）, NUS（新加坡国立大学）, CUHK（香港中文大学）, HKU（香港大学）, Duke（杜克大学）, UCB（加州大学伯克利分校）, GBU（原文缩写，未展开）, NJU（南京大学）, SJTU（上海交通大学）\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2026-08-11\n\n\n\n**期刊/会议 / Publication Venue:** 未在正文报告（仅署 Date: August 11, 2026 并给出项目页与 GitHub 仓库名；按预印本处理，待核实）\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n## 材料与可得性\n\n- 可用：完整正文 Markdown（9 节 + 参考文献 [^1]–[^453]）、表 1–7、图 1–8 的题注与部分插图。\n- 未提供/待核实：附录与补充材料、代码、数据本体均未随文给出；正文提及的开源仓库 “Awesome Embodied Data Pyramid”（Project: Embodied Data Pyramid）可访问性未验证；插图多为占位文件（images/*.jpg），图中细节无法核对；发表 venue 未报告，仅知日期为 2026-08-11。\n- 文档质量问题：表 7 的 “Data” 列在 Markdown 中已错位（显示为 2026.1、2026.2 等日期），无法逐模型核对数据来源图标；表 1/2/3/5 的 “Traj./Hours” 口径不完全统一（轨迹数与小时数混用）。\n\n**Archetype：survey**\n理由：本文不提出新算法、新模型或新训练流程，核心产出是（1）以 scalability 与 robot alignment 为主轴的五层数据金字塔分类体系，（2）按“数据配方”对已有 embodied foundation models 的横向比较，（3）六项开放挑战。因此按综述方式阅读：关注分类轴、代表工作覆盖、比较条件、共识与盲区，而不追问本文自身的实验设置与超参复现。\n\n## 影响解读的缺口\n\n- 层序被作者明确称为“六维整体综合”，而非在每个属性上严格单调；层间边界在个别工作上存在重叠（如 UMI 与 egocentric、simulation 与 world-model 生成数据）。\n- 综述的检索与筛选流程（如何选出表 1–7 的条目、纳入/排除标准）未报告，覆盖偏差无法量化，也无法判断是否存在系统性漏检。\n- 十二项以上机构署名为缩写形式，未给出二级单位信息。\n\n\n\n\n\n### 问题\n\n**问题**\n多模态基础模型靠大规模图文语料获得感知与语言能力；embodied agents 没有这条捷径，因为它们需要把观测与物理状态、动作耦合起来的数据。由此提出中心问题：*应当用什么数据训练具备这类能力的 embodied foundation models？* 该问题进一步拆成两问：(1) 如何在可扩展性、机器人对齐、物理保真与可迁移性各异的前提下，采集、组织、比较并整合异构数据源；(2) 这些数据源应如何被有效地选择、组合与使用。\n\n## 为什么重要\n\n- 监督性质改变：模型不仅要处理视觉与语言输入，还要理解物理状态与动力学、推理动作如何改变环境、并在真实世界执行行为（Sec. 1）。\n- 数据源异构但互补：real-robot 轨迹、仿真 rollout、egocentric/exocentric 人类录像、通用图文视频、UMI 式无机器人演示，分别提供不同形式的语义、时序、物理与动作监督。\n- 采集成本与可扩展性差异巨大，选错数据层次直接决定模型能力边界与部署成本；同时跨源聚合中的坐标约定、动作语义不一致会引入相互冲突的监督。\n\n## 现有方法的主要不足（作者陈述）\n\n1. 已有金字塔式表述（Motus、GR00T N1 等）是为**特定模型的训练配方**服务的，对类别之间在采集可扩展性、embodiment 依赖、物理保真、可迁移性与下游效用上的差异分析有限。\n2. 现有综述多聚焦**模型架构或特定子问题**（VLA 综述、World-Action 模型综述、world modeling 综述），没有在**类别层面**系统组织 embodied 数据生态，也缺少从数据中心视角对异构数据使用的全面分析。\n3. 因此各数据源的角色、权衡、相互关系与整合策略“尚未被充分系统化”。\n\n**形式化表述（便于界定问题，非原文公式）**\n给定数据源集合 $S=\\{\\text{real-robot},\\ \\text{UMI},\\ \\text{ego/exo},\\ \\text{sim},\\ \\text{general}\\}$，需在主轴 scalability 与 robot alignment（二者常冲突）以及补充维度 quality、diversity、reusability、physical fidelity 上刻画每个 $s\\in S$；并进一步给出在模型 M 预训练中对各源的选择、对齐与混合策略 $\\pi(s_1,\\dots,s_5)$，使感知、推理、规划、动作生成与世界预测能力最大化。本文的定位正是为这个刻画与策略空间提供分类骨架与首轮经验归纳。\n\n\n\n\n\n### 概览与阅读路线\n\n**一句话概览**\n本文把 embodied AI 的数据生态组织成一座五层“数据金字塔”，用它统一比较各层数据的采集方式、代表数据集与优缺点，再以“数据配方”为线索分析 embodied brain、VLA、WAM 三类基础模型如何使用异构数据。\n\n## 核心思想与贡献\n\n- 核心张力：**scalability**（相对硬件依赖、人力、环境重置、安全监督与边际生成成本的可扩展程度）与 **robot alignment**（观测、表示与监督能多直接支持真实机器人的学习与执行）通常此消彼长。自上而下是一个系统性交换：real-robot（动作可直接执行，代价是硬件、操作员与重置）→ UMI（把机器人移出采集回路，但保留末端执行器监督）→ egocentric/exocentric（放弃夹爪，保留真实物理与日常多样性）→ simulation（恢复可执行动作与特权标签，但只能近似物理）→ general（放弃机器人 grounding，换 web 规模的语义与推理覆盖）。\n- 贡献一：以两条主轴加四个补充维度（quality、diversity、reusability、physical fidelity）刻画每层数据，并配套开源资源库（文中提及，未验证）。\n- 贡献二：对 embodied foundation models 做数据中心分析，把数据集属性（语义覆盖、时序结构、动作监督、embodiment 对齐、多样性、物理保真）与模型能力（感知、推理、规划、动作生成、世界预测）关联；并专门拆解**动作空间对齐**（embodiment-specific projection / 定维零填充 / 语义动作槽）与**几何对齐**（robot-centric / camera-centric / wrist-centric）两条轴线。\n- 贡献三：按“采什么、怎么采、怎么用”组织六项挑战：触觉数据、失败与恢复数据、可扩展采集流水线、跨 embodiment 状态-动作对齐、egocentric 先验用于灵巧手、原则化的 data recipe。\n\n**最重要的“结果”及其条件**\n本文无自建实验，可检验的结论是若干趋势判断：\n\n- 数据配方从单一 real-robot 走向异构混合（π 系列 π0 → π0.5 引入通用数据 → π0.7 引入 egocentric；LingbotVA 2.0 覆盖全部五层）。\n- 预训练规模快速膨胀：Qwen-RobotManip 约 38,100 小时多源语料（含 24,808 小时由 1,933 小时 ego 视频合成的机器人兼容轨迹）；Xiaomi-Robotics-1 报告 >100,000 小时真实 UMI 轨迹，加约 10,000 小时跨 embodiment 后训练数据。\n- egocentric 数据由辅助源升格为预训练基底：EgoScale 将带动作标签的 ego 预训练扩到 20,854 小时并报告 1,000–20,000 小时区间的一致提升；HumanScale 用至多 5,000 小时做受控预训练。\n**条件与边界（作者自述）**：这些小时数因模态、处理、过滤与训练阶段不同而**不可直接比较**；且“更多数据源一定更好”未被确立——主要或完全依赖机器人数据的 LingbotVLA、DreamZero 同样表现强劲，最优配方仍是开放问题（Sec. 7.2.1、Sec. 8.6）。因此上述属于**作者的趋势性主张**，而非受控实验支撑的因果结论。\n\n## 优先阅读的章节与图表\n\n- Sec. 1 与 “The Data Pyramid at a Glance”：金字塔定义、六维、层序理由。\n- 各层的 Advantages and Limitations 与 Takeaway（Sec. 2.5、3.4、4.4、5.7、6.9）：信息密度最高。\n- Sec. 7.2（配方 + 动作空间/几何对齐）、Table 7（模型×数据源）、Fig. 3（数据使用演化）。\n- Sec. 8（六项挑战）用于判断作者心中的瓶颈排序。\n可略读：各层数据集统计表（Table 1/2/3/4/5/6）作检索目录，不必逐行精读；Fig. 4 的多样性可视化留待第二轮检视其度量定义。\n\n## 留给下一轮的问题\n\n1. 三种跨 embodiment 动作空间策略与三种几何表示是否存在 compute-matched 的受控消融？文中承认“缺乏受控消融的 ablation”，这如何影响“语义动作槽对齐更强”的论断？\n2. Fig. 4 的 keyframe 多样性代理指标如何构造、跨数据集是否可比（PerAct 启发式 + 人手轨迹的类比处理）？\n3. Table 7 中各模型数据源标注的依据是论文自述、配置还是推断？Markdown 已损坏，需回到原表核对。\n4. Sec. 8 六项挑战的排序依据是覆盖面、证据强度还是采集成本？\n\n金字塔给出了静态分类，下一步需要检查层内证据是否真的支撑层间比较，这将作为第二轮的重点。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n**调查型“方法”：分类体系如何组织，而非算法流程**\n本文不提出新模型或训练损失，核心“机制”是一条从数据生态到模型应用的**分类与比较流水线**：输入是异构 embodied 数据源与已有基础模型；关键步骤是（1）按两条主轴和四个补充维度给数据源定位，（2）在每层内整理采集范式、代表数据集、监督形式、规模与优劣，（3）按“数据配方”比较模型如何使用各层数据，（4）用动作空间对齐与几何对齐解释跨 embodiment 的可组合性，（5）归纳开放挑战；输出是一套类别级 taxonomy、趋势判断与研究议程。\n\n## 两条主轴与四个补充维度\n\n- **Scalability（可扩展性）**：相对硬件依赖、人力、环境重置、安全监督与边际生成成本，数据源能被多高效地扩张。\n- **Robot alignment（机器人对齐）**：观测、表示与监督能多直接支持真实机器人的学习与执行。\n- 二者通常冲突：越靠近真实机器人执行，动作越可直接执行，但采集越贵；越可扩展，监督越间接。\n- **Quality**：有效性、一致性、信息量、任务相关性；**Diversity**：任务、物体、场景、视角、指令、embodiment、行为与结果的覆盖；**Reusability**：跨任务、环境、embodiment、传感系统与模型族的可迁移性；**Physical fidelity**：对接触、摩擦、柔顺、传感噪声、执行延迟与物体运动的保真程度。\n\n**五层排序的定性“推导”**\n自上而下是一次系统性交换，而不是严格单调排序：\n\n1. **Real-robot**：动作可在产生数据的平台上直接执行，物理 grounded 最强；代价是硬件、操作员、重置与安全监督。\n2. **UMI-style**：把机器人移出采集回路，保留末端执行器/夹爪监督与相对轨迹；失去关节级本体感知，仍需标定、重定向与部署验证。\n3. **Egocentric/exocentric**：放弃夹爪，保留真实物理、灵巧手与日常多样性；动作需重建并跨人-机器人鸿沟重定向。\n4. **Simulation**：恢复可执行动作与特权标签，可并行、边际成本低；只能近似物理，存在观测与交互的 sim-to-real gap。\n5. **General**：放弃机器人 grounding，换 web 规模语义、空间结构与常识；几乎不提供接触、后果与可执行动作监督。\n作者明确说这是“六维整体综合”，个别工作会在层间重叠（如 UMI 与 egocentric、simulation 与 world-model 生成数据），因此不能把层号当作单一属性的序数测量。\n\n## 动作空间对齐：三种策略\n\n- **Embodiment-specific projection**：保留各机器人原生动作维度与语义，用 embodiment-specific projector/adapter/action head 映射进共享 backbone；共享表示但不统一控制接口（GR00T N1、Octo、SmolVLA）。\n- **Fixed-dimensional zero-padded interfaces**：统一动作向量维度，低维机器人零填充并用 validity mask 排除无效维；只统一张量形状，不保证对应维物理语义一致（π0、Qwen-VLA、ABot-M0 等）。\n- **Semantic action slots**：给共享向量的维/块赋予固定物理语义，缺失部分零填充并按维 mask。文中的具体例子是 Qwen-RobotManip 的 **80 维 canonical state-action vector**：两个 29 维手臂块加 22 个保留维；每个手臂块含 7 维手臂关节、9 维末端位姿、1 维平行夹爪、12 维灵巧手关节（7+9+1+12=29；2×29+22=80）。不同 embodiment 只填相关子集，非激活维用二值 mask 从 flow-matching 目标中排除。该算术是原文给出的实现示例，不是本文提出的通用公式。\n\n## 几何对齐：三种参考系\n\n- **Robot-centric**：在世界/机器人基座系表达末端位姿或运动，直接接传统控制器，但耦合基座位姿、安装与工作空间约定（Open X-Embodiment）。\n- **Camera-centric**：把动作变换到相机系，试图让视觉相似运动有更一致的数值表示（Qwen-RobotManip、OC-VLA）。\n- **Wrist-centric**：在规范腕部系表达指尖/手关键点/局部手运动，分离局部手关节与全局腕部位移旋转（METIS、LDA-1B）。\n作者指出无论选哪个系，都应明确原点与轴、手性、工具中心点、绝对/增量模式、旋转参数化与单位；但现有研究缺少跨这些表示的受控消融。\n\n## 从数据到模型的三类应用\n\n- **Embodied brain**：用 action-free 多模态/视频数据建立物理世界理解、时空推理、affordance、记忆与规划；用 action-labeled 数据把 affordance、抓取位姿、轨迹路点、子任务边界等转成可迁移监督，而非直接低层控制。\n- **VLA**：action-labeled 数据直接监督动作生成（离散 action token 或 continuous action head：diffusion / flow matching）；action-free 数据通过 latent action、几何轨迹代理、分层/中间监督提供语义与物理先验。\n- **WAM**：以世界动力学为主要学习目标；action-labeled 数据做 action-conditioned 去噪/自回归预测，action-free 数据做观测级未来预测，形成“大规模 action-free 预训练 + action-conditioned 后训练”的两阶段配方。\n\n**边界**\n这套 taxonomy 是**描述性、可扩展但未被定量验证**的框架；它没有给出层间权重的可识别性、没有统一的数据质量度量，也没有计算匹配的配方消融。因此 module_c3 的“机制”应理解为组织与比较机制，不是可复现的训练算法。\n\n\n\n\n\n### 评测设置\n\n## 调查的“实验设置”：文献选择与覆盖，而非数据集实验\n\n- **检索与筛选流程：未报告。** 正文没有给出数据库、查询式、检索时间窗、纳入/排除标准、筛选人数、标注者一致性或 PRISMA 式流程图。因此无法量化覆盖偏差，也无法判断表 1–7 的条目是否存在系统性漏检。\n- **材料规模：** 正文含 9 节、参考文献 [^1]–[^453]、表 1–7、图 1–8 的题注与部分插图；附录、补充材料、代码、数据本体未随文提供，开源仓库 “Awesome Embodied Data Pyramid” 的可访问性未验证。\n- **数据集覆盖：** 表 1 覆盖 real-robot 数据集（2015–2026，含单臂/双臂/人形/移动/灵巧手与触觉、力/力矩、音频、IMU、LiDAR 等模态）；表 2 覆盖 UMI 数据集；表 3 覆盖 egocentric/exocentric 数据集；表 4 覆盖 simulation benchmarks；表 5 覆盖大规模 simulation datasets；表 6 覆盖 general data（VL、robot video、OCR/UI、seg/loc、temporal、spatial/3D、planning、physics/failure、grasping）。覆盖广度较大，但各表字段口径不统一。\n- **模型覆盖：** 表 7 汇总代表性 VLA/WAM 方法，按时间、机构、模型类型与数据源图标组织；正文称其覆盖从 2023 到 2026 的模型，并用 π 系列、LingbotVA 系列、Qwen-RobotManip、Xiaomi-Robotics-1、EgoScale、HumanScale 等说明数据配方演化。\n- **基准/协议覆盖：** 本文没有提出或运行统一 benchmark，也没有对 taxonomy 做人类评估、专家一致性评估或跨标注者验证；对“哪一层数据更好”的比较主要是叙述性归纳，不是 compute-matched 对照。\n- **已知材料缺陷：** 表 7 的 “Data” 列在 Markdown 中错位（显示为 2026.1、2026.2 等日期），无法逐模型核对数据源图标；表 1/2/3/5 的 “Traj./Hours” 口径不完全统一（轨迹数与小时数混用，部分为 “-” 或 “+”）；图 4 的多样性只是 keyframe 空间分布的代理指标，不是统一的任务成功率或泛化度量。\n- **公平性风险：** 正文引用的预训练小时数因模态、处理、过滤与训练阶段不同而不可直接比较（作者自述，Sec. 7.2.1）；不同模型的参数规模、训练 compute、评测任务与成功判据未在表中统一报告，因此不能把“数据更多/更异构”直接读成性能因果。\n- **结论：** 这是一次覆盖面较广但有明显选择性与口径异质性的叙述性综述；其“协议”是分类与案例比较，不是可复现的系统检索或元分析。\n\n\n\n\n\n### 结果与证据\n\n## 没有自建实验；可检验的“结果”是趋势判断与分类证据\n\n- **配方演化：** 作者用 π 系列说明从单一 real-robot（π0）→ 引入通用数据（π0.5）→ 引入 egocentric（π0.7）；LingbotVA 2.0 覆盖五层。表 7/图 3 支持“从 real-robot 主导走向异构混合”的**描述性趋势**，但表 7 数据列损坏，无法逐模型复核图标，证据强度受限。\n- **预训练规模膨胀：** Qwen-RobotManip 约 38,100 小时多源语料，其中约 11.4K 小时开源机器人数据、24,808 小时由 1,933 小时 egocentric 视频合成的机器人兼容轨迹；Xiaomi-Robotics-1 报告 >100,000 小时真实 UMI 轨迹，再加约 10,000 小时跨 embodiment 后训练数据（含 >7,200 小时自采机器人轨迹与 >1,000 小时带指令 UMI）。这些数字支持“规模快速上升”，但作者明确说因模态、处理、过滤与训练阶段不同而**不可直接比较**。\n- **egocentric 升格：** EgoScale 把带动作标签的 ego 预训练扩到 20,854 小时，并报告在 1,000–20,000 小时区间一致提升；HumanScale 用至多 5,000 小时做受控预训练。这支持“ego 正从辅助源变为预训练基底之一”的趋势，但仍是作者汇总的不同设置结果，不是本文的受控实验。\n- **反向证据：** 作者承认主要或完全依赖机器人数据的 LingbotVLA、DreamZero 也表现强劲，当前证据**没有确立“更多数据源必然更好”**（Sec. 7.2.1、Sec. 8.6）。这削弱了“异构混合普遍优越”的强主张，支持更弱的“不同数据提供互补能力、最优配方未知”。\n- **多样性不等于规模：** 图 4 用 PerAct 启发式 keyframe 空间分布作代理，作者据此指出 InternData-A1 虽规模大但 keyframe 集中、重复度高；这说明“scale ≠ diversity”的定性判断有可视化支持，但该代理指标未与下游性能做统一相关分析。\n- **动作/几何对齐：** 三种动作空间策略与三种几何表示被并列比较，但作者明确说**缺乏受控消融**，因此“semantic action slots 更强”“camera-centric 更一致”等只能作为设计假设，不能当作已证实的因果结论。\n- **总评：** 证据足以支持“存在五类数据、配方在变异构、ego 重要性上升、规模在增长”的**描述性/趋势性结论**；不足以支持层间优劣、数据源边际收益或最优混合比例的因果结论。\n\n\n\n\n\n### 相关工作\n\n## 最接近的工作与差异（以作者陈述为主）\n\n- 与 Motus、GR00T N1 等“金字塔式数据观”相比：作者称这些表述主要服务于**特定模型的训练配方**，对类别之间在采集可扩展性、embodiment 依赖、物理保真、可迁移性与下游效用上的差异分析有限。本文把金字塔提升为**类别级、跨模型的数据生态分类**，并用 scalability 与 robot alignment 两条主轴加 quality、diversity、reusability、physical fidelity 四个补充维度统一刻画。\n- 与 VLA 综述 [^446]、World-Action 模型综述 [^141]、world modeling 综述 [^177] 相比：作者称既有综述多聚焦**模型架构或特定子问题**，缺少在数据类别层面系统组织 embodied 数据生态、并从数据中心视角横向比较异构数据使用的尝试。本文新增：五层数据分类、按“数据配方”比较 embodied brain / VLA / WAM 三类模型、动作空间对齐与几何对齐两条分析轴、六项开放挑战。\n- 实际差异的代价：本文换来的覆盖面更广，但没有提出可训练算法，也没有对分类轴做定量验证；不报告检索与筛选流程，层间边界在 UMI/ego、sim/world-model 生成数据等案例上存在重叠。作者自述层序是“六维整体综合”，并非每个属性严格单调，因此不能把层序当作可检验的单调因果假设。\n- 与“更多数据源一定更好”的隐含叙事相比：作者自己指出 LingbotVLA、DreamZero 等主要或完全依赖机器人数据也表现强劲，最优配方仍是开放问题（Sec. 7.2.1、Sec. 8.6），这构成对“异构混合必然更优”的内部反例。\n- 外部核验状态：Motus、GR00T、VLA/WAM 综述及开源仓库的版本、可访问性与具体表述均**未在本次材料中外部核验**；上述比较只反映论文正文的自我定位，待核实。\n\n\n\n\n\n### 关键图表解读\n\n## Fig. 1（Overview of Organization and Scope，引言）\n\n- 展示全文三段式组织：先建五层 data pyramid，再分析异构数据如何支持 embodied foundation models，最后讨论未来方向。\n- 支撑的核心主张是：taxonomy 以 scalability 与 robot alignment 为主轴，而不是按模型架构或任务类型组织。\n- 解释限制：这是概念图，不含定量验证；层间边界与“整体综合而非严格单调”的限制需结合 Sec. 1 阅读。\n\n## Fig. 3（Evolution of Data Utilization，Sec. 1）与 Table 7（Sec. 7.2.1）\n\n- Fig. 3 展示代表性模型的数据使用随时间从 real-robot 主导走向 real-robot、ego、simulation、general、UMI 的混合；Table 7 进一步按模型列出机构、类型与数据源图标。\n- 支撑“data recipe 正在异构化”的核心趋势，并支撑后文按 embodied brain / VLA / WAM 分类讨论。\n- 限制：Table 7 的 Data 列在 Markdown 中错位（显示为 2026.x 日期），无法逐模型核对；Fig. 3 是定性时间线，未控制模型规模、训练 compute 与评测条件，不能据此比较模型优劣。\n\n## Fig. 4（Action-trajectory diversity，Sec. 1/2.4）\n\n- 用 PerAct 启发式提取 key action frames，在可比初始构型下用抓取/交互 keyframe 的空间分布作为轨迹多样性代理；人手轨迹用类似启发式处理。\n- 支撑两个判断：不同数据集的空间覆盖差异显著；规模大不等于多样性高（如 InternData-A1 的 keyframe 集中）。\n- 限制：这是**代理指标**，不是任务成功率或泛化度量；启发式、初始构型匹配与跨数据集可比性未做系统验证，图中细节也因占位文件无法核对。\n\n## Table 1（Real-robot datasets，Sec. 2.2）\n\n- 汇总 2015–2026 年 real-robot 数据集的 embodiment、轨迹/小时、任务数、模态、标定、灵巧手、标注与移动属性。\n- 支撑“real-robot 数据从单任务抓取走向多任务、多 embodiment、多模态与百万级轨迹”的层内证据，也为“apex 层物理 grounded 但昂贵”的论断提供目录。\n- 限制：Traj./Hours 口径混用，部分条目为 “-”；不同数据集的“任务数”定义不一致；无法从表中直接推断数据质量或下游效用。\n\n**过渡到评估：** 这些图表能支持“分类存在、配方在变、规模在涨”的描述性证据，但不能支持层间因果优劣；下一轮应据此评估分类轴的可检验性、选择偏差与“数据配方”主张的证据强度。\n\n\n\n\n\n### 术语表\n\n**Scalability（可扩展性）**：数据源相对硬件、人力、环境重置、安全监督与边际生成成本能被扩张的效率；金字塔的第一主轴。\n**Robot alignment（机器人对齐）**：观测、表示与监督多直接支持真实机器人学习与执行；第二主轴，常与 scalability 冲突。\n**Quality（质量）**：有效性、一致性、信息量、任务相关性；不是单纯数据量。\n**Diversity（多样性）**：任务、物体、场景、视角、指令、embodiment、行为与结果的覆盖；决定分布偏移下的鲁棒性。\n**Reusability（可复用性）**：跨任务、环境、embodiment、传感系统与模型族的可迁移程度。\n**Physical fidelity（物理保真）**：对接触、摩擦、柔顺、传感噪声、执行延迟与物体运动的保真程度。\n**Real-robot data**：在目标机器人上遥操作或脚本执行，记录观测、状态、动作与结果；动作可直接执行，但采集贵。\n**UMI-style data**：用手持夹爪/便携接口在机器人外采集，记录末端执行器运动与夹爪状态；保留末端监督，缺关节本体感知，需重定向。UMI = Universal Manipulation Interface。\n**Egocentric / exocentric data**：第一/第三人称人类活动记录；有真实物理与灵巧手多样性，但无机器人动作，需重建与跨 embodiment 对齐。\n**Simulation data**：物理引擎生成交互，带回可执行动作与特权标签（接触、位姿、成功信号等）；可并行但物理是近似。\n**General data**：web 规模图像、视频、语言与视觉语言语料；提供语义、空间结构与常识，但弱动作/接触 grounding。\n**Data recipe（数据配方）**：预训练中数据源的选择、对齐、混合比例与阶段安排；本文用其比较模型，而非提出最优配方。\n**Action-space alignment（动作空间对齐）**：调和不同 embodiment 的动作维度、控制接口与语义；三种策略：embodiment-specific projection、定维零填充、semantic action slots。\n**Semantic action slots（语义动作槽）**：给共享动作向量的维/块赋予固定物理语义，缺失部分零填充并按维 mask；例：Qwen-RobotManip 的 80 维向量（2×29 手臂块 + 22 保留维）。\n**Geometric alignment（几何对齐）**：选择动作表达的参考系；robot-centric、camera-centric、wrist-centric 三类。\n**Embodied brain**：以物理世界理解、时空推理、affordance、记忆与高层规划为主的具身基础模型；不直接强调低层动作生成。\n**VLA（Vision-Language-Action model）**：把多模态观测与指令映射为可执行动作的模型；常用离散 action token 或 continuous action head。\n**WAM（World Action Model）**：以世界动力学/动作后果预测为核心，可作学习型模拟器、规划器、策略评估器或合成数据引擎。\n**Privileged labels（特权标签）**：仿真中可直接获得、真实系统难标注的量，如物体位姿、接触状态、分割、成功信号、稠密奖励。\n**Sim-to-real gap**：仿真观测与真实感知的差异，以及运动学/动力学交互差异；后者更难消除。\n**Digital twin（数字孪生）**：按真实场景/机器人构建高保真仿真副本，用于数据生成与评测。\n**Domain randomization（域随机化）**：随机化纹理、光照、物理参数等，提升仿真策略对真实分布的鲁棒性。\n**Retargeting（重定向）**：把人类手/臂或源 embodiment 的运动映射到目标机器人关节或末端动作，需处理尺度、自由度与运动学约束。\n**DAgger / human-in-the-loop**：在策略执行中由人干预并记录纠正动作，把失败状态转为训练数据；本文在 real-robot 采集中讨论。\n**Latent action（潜在动作）**：从无动作标签视频中学习的紧凑状态转移表示，可作伪动作预训练，但需下游对齐才可执行。\n**Diffusion / flow matching policy**：用扩散去噪或连续向量场把噪声动作样本搬运到可执行动作序列的连续动作生成方法。\n**Keyframe diversity proxy（关键帧多样性代理）**：用 PerAct 启发式抽取关键动作帧，以空间分布衡量轨迹多样性；本文图 4 的度量，非任务性能。\n\n\n\n\n\n### 全部图表索引\n\n## 图索引（正文可用材料）\n\n- Fig. 1：Overview of Organization and Scope；引言；全文三段式组织与五层金字塔总览。重要解释见 module_d。\n- Fig. 2：Evolution of Data Scale；Sec. 1；按 simulation、UMI、robot、ego、general 分组的代表数据集规模随时间增长；单位分别为 demonstrations、小时、QA 数，跨类不可直接比较。\n- Fig. 3：Evolution of Data Utilization；Sec. 1；代表性 embodied foundation models 的数据源使用演化；定性时间线，未控制 compute/评测。重要解释见 module_d。\n- Fig. 4：Visualization of action-trajectory diversity；Sec. 1/2.4；PerAct 启发式 keyframe 空间分布作为多样性代理；人手轨迹用类似启发式。重要解释见 module_d。\n- Fig. 5：Overview of UMI data and real-robot data；Sec. 2.1 附近；对比 UMI 便携采集与真实机器人采集，并用 retargeting 连接；支撑第 2–3 层的交换关系。\n- Fig. 6：Overview of capture infrastructure and supervision representations in egocentric and exocentric data；Sec. 4.2； wearable/external cameras、motion trackers、auxiliary sensors 到语义/几何/多模态/机器人导向监督的流程。\n- Fig. 7：Overview of simulation infrastructure and data collection pipeline；Sec. 5.2；embodiment-sensor、object/scene assets、physics/rendering backend 与四类轨迹采集方法。\n- Fig. 8：Overview of General Data Categories；Sec. 6.1；general data 的认知、任务推理、感知与动作类别及代表任务。\n\n## 表索引\n\n- Table 1：Statistics and key properties of real-robot manipulation datasets；Sec. 2.2；real-robot 数据集的 embodiment、轨迹/小时、任务、模态、标定、灵巧手、标注、移动属性。重要解释见 module_d。\n- Table 2：Statistics and key properties of UMI datasets；Sec. 3.1/3.2；UMI 数据集的臂型、任务、末端执行器、演示数、触觉。\n- Table 3：Statistics and key properties of egocentric and exocentric datasets；Sec. 4.1；视角、小时/片段、模态、相机标定、手部位姿、3D 监督。\n- Table 4：Simulation Benchmarks；Sec. 5.1/5.3；按 embodiment、触觉、可变形、灵巧手、移动操作汇总仿真 benchmark。\n- Table 5：Large-scale simulation datasets for robot learning；Sec. 5.2/5.3；仿真数据集的规模、任务、可变形、灵巧手、移动操作。\n- Table 6：Representative General-Data Datasets；Sec. 6.1/6.2；按 VL、robot video、OCR/UI、seg/loc、temporal、spatial/3D、planning、physics/failure、grasping 分组，列模态、规模、标签与标注方式。\n- Table 7：Representative VLA and WAM approaches；Sec. 7.2.1；按时间、机构、模型类型与数据源图标汇总模型配方；Markdown 中 Data 列已错位（显示为 2026.x 日期），无法逐模型核对，重要解释见 module_d。\n\n## 缺失与可读性说明\n\n- 未提供附录、补充材料、代码与数据本体；开源仓库可访问性未验证。\n- 插图多为占位文件（images/*.jpg），图中细节无法核对；图 2/3/4 的定量读数只能依赖正文与题注。\n- 表 1/2/3/5 的 Traj./Hours 口径不统一；表 7 数据源列损坏。未报告系统检索流程与纳入/排除标准，覆盖偏差无法量化。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n## 可较可靠接受的结论（有正文/表格/图题支撑，但均未经外部核验）\n\n1. **分类骨架本身存在且自洽**：五层（real-robot → UMI → ego/exo → simulation → general）以 scalability 与 robot alignment 为主轴、以 quality/diversity/reusability/physical fidelity 为补充维度（Sec. 1，“The Data Pyramid at a Glance”）。这是定义性产出，可被直接引用为分类法，而不是经验发现。\n2. **层内目录性事实**：Table 1（real-robot，2015–2026）、Table 2（UMI）、Table 3（ego/exo）、Table 4/5（sim benchmark 与大规模 sim 数据）、Table 6（general 数据分组）给出了数据集名称、年份、规模、模态等条目。作为**检索目录**可靠度较高；作为**统计口径**不可靠（见下）。\n3. **配方在异构化**：π0 [^21] 纯 real-robot → π0.5 [^150] 加 general → π0.7 [^151] 加 ego；LingbotVA [^196] 三层 → LingbotVA 2.0 [^426] 五层（Sec. 7.2.1，Fig. 3）。这是**描述性趋势**，证据是作者汇总的二手报告。\n4. **规模在增长**：Qwen-RobotManip [^412] ≈38,100 h（含 24,808 h 由 1,933 h ego 视频合成的机器人兼容轨迹）；Xiaomi-Robotics-1 [^340] >100,000 h UMI 轨迹 + ≈10,000 h 跨 embodiment 后训练。数字本身由作者转述，作者同时声明**不可直接比较**。\n5. **egocentric 从辅助源升格为预训练基底之一**：EgoScale [^443] 扩到 20,854 h 并在 1,000–20,000 h 区间报告一致提升；HumanScale [^244] ≤5,000 h 受控预训练。方向性判断可接受，具体幅度不可当作本文实验结果。\n6. **动作/几何对齐的三×三划分**（embodiment-specific projection / 定维零填充 / semantic action slots；robot-centric / camera-centric / wrist-centric，Sec. 7.2.2）是对既有模型做法的**描述性归类**，可核实到具体模型（GR00T N1、Octo、SmolVLA、π0、Qwen-VLA、Qwen-RobotManip、Open X-Embodiment、METIS、LDA-1B 等）。\n7. **“规模 ≠ 多样性”**：Fig. 4 用 PerAct [^314] 启发式 keyframe 空间分布作代理，作者据此指出 InternData-A1 [^341] 规模大但 keyframe 集中（Sec. 5.7、2.4）。作为定性观察可接受，作为度量结论不可接受。\n\n## 证据不足或不能当作结论的主张\n\n- **层间优劣 / 层号可作为序数**：作者自己声明层序是“六维整体综合而非在每个属性上严格单调”（Sec. 1），且 UMI 与 ego、sim 与 world-model 生成数据存在边界重叠。任何“第 1 层必然优于第 2 层”的读法都是误读。\n- **“更多数据源必然更好”**：作者明确否认已被确立，并给出内部反例——主要或完全依赖机器人数据的 LingbotVLA [^376]、DreamZero [^397] 表现强劲（Sec. 7.2.1、Sec. 8.6）。这是本文最重要的一处自我限定。\n- **“semantic action slots 更强 / camera-centric 更一致”**：作者明说**缺乏跨表示的受控消融**（Sec. 7.2.2 末），因此只能算设计假设。\n- **跨数据集小时数的比较性解读**：作者自述因模态、处理、过滤与训练阶段不同而不可比（Sec. 7.2.1）。凡由“小时数更多”推出“能力更强”的读法都超出证据。\n- **Fig. 4 代理指标的效度**：PerAct 启发式、初始构型匹配、人手轨迹的类比处理均未做系统验证；该指标未与下游成功率或泛化做相关分析，且插图多为占位文件，读数不可核对。\n- **Table 7 的逐模型数据源标注**：Markdown 中 “Data” 列已错位（显示为 2026.1、2026.2 等日期），无法逐模型核对图标；Fig. 3 同为定性时间线，未控制模型规模、compute 与评测条件。\n\n**关键假设（若假设失效，结论随之失效）**\nA1. **可综合性假设**：六维可被“整体综合”为一个层序，而无需给出各维权重的可识别性。若层间在某维度上交叉（作者已承认），则层序只能作**组织工具**，不能作**测量尺度**。\nA2. **类别可比较假设**：以“数据类别”为比较单元是有意义的，类内异质性（如 real-robot 内 50K 轨迹到 2.4M 轨迹、单臂到人形）可被类别标签吸收。Table 1 的口径混用直接挑战这一假设。\nA3. **二手数字可加总假设**：不同论文报告的小时数可并列展示以说明趋势。作者已自我否认其可比性，因此该假设只在“趋势方向”层面成立，在“边际收益”层面不成立。\nA4. **能力互补假设**：不同层提供互补能力（general→语义、ego/UMI→覆盖、sim→可控技能）。这是全文的规范性主张，缺 compute-matched 证据。\nA5. **动作空间语义可对齐假设**：给共享向量维赋予固定物理语义能提升跨 embodiment 迁移。80 维 canonical 向量（2×29 + 22；每臂 7 关节 + 9 末端位姿 + 1 平行夹爪 + 12 灵巧手）是 [^412] 的实现示例，不是本文验证过的通用结论。\n\n## 失效场景与后果\n\n- 把层序当序数做预算分配的定量决策 → 可能系统性低估 general/ego 的边际价值或高估 real-robot 的边际价值；后果是采集预算错配。\n- 直接横向比较多篇论文的小时数 → 结论对“处理/过滤/阶段”差异高度敏感，可能得出反向排序。\n- 把 Table 7 图标当作已核实事实引用 → 传播错误归属（尤其 2026 年模型）。\n- 把本 taxonomy 当作可训练算法复现 → 本文无可训练目标、无损失、无超参，复现必然失败。\n- 在接触密集/可变形/透明物体场景直接套用 sim 层结论 → 作者自述动力学 gap 最难消除（Sec. 5.6），后果是 sim-to-real 失败。\n\n**复现计划（综述的“复现”= 重建检索/筛选/综合流程）**\n必需产物（当前多为 blocker）：\n\n1. **检索协议**：数据库（arXiv、Semantic Scholar、DBLP）、查询式、检索时间窗、纳入/排除标准、筛选人数与一致性。**正文完全未报告 → blocker 1**。\n2. **抽取 schema**：统一 “Traj./Hours” 口径（轨迹数 vs 小时数二选一并给出换算）、任务数定义、模态词表、校准/灵巧手/移动的布尔定义。当前 Table 1/2/3/5 混用 → **blocker 2**。\n3. **Table 7 原始标注依据**：每个模型的数据源图标来自“论文自述/配置文件/作者推断”中的哪一种，需逐条给出处。Markdown 已损坏 → **blocker 3**。\n4. **Fig. 2/3/4 的原始数值与绘图脚本**：图为占位文件 → **blocker 4**。\n5. **开源仓库快照**（“Awesome Embodied Data Pyramid”）与项目页，用于核对条目是否与表格一致。**可访问性未验证 → blocker 5**。\n\n重要设置与判定规则（复现时必须显式化）：\n\n- 类别边界规则：UMI vs egocentric（是否含末端执行器监督）、simulation vs world-model 生成视频（是否有物理引擎/可执行动作）。作者承认边界重叠但未给判定程序。\n- 模型类型标注规则：embodied brain / VLA / WAM 的三分依据（是否有动作头、是否以动力学为目标）。\n- 规模归一：以小时为主单位时，需注明是否含合成轨迹（如 Qwen-RobotManip 的 24,808 h 合成部分）。\n\n验证步骤（可执行）：\n\n1. 双人独立筛选 200 篇候选，报告 Cohen's κ；与本文表格条目比对，量化漏检率。\n2. 随机抽 10% 的 Table 1–6 条目回原文核对年份/规模/模态三项，报告错误率。\n3. 抽 10 个关键模型（π0、π0.5、π0.7、GR00T N1、OpenVLA、Qwen-RobotManip、Xiaomi-Robotics-1、EgoScale、HumanScale、LingbotVA 2.0）回原文核对数据源与小时数。\n4. 用统一口径重绘 Fig. 2（同一单位），检查“各类别均在增长”是否仍成立。\n5. 用公开脚本重算 Fig. 4 代理指标，检查 InternData-A1 与 EgoVerse 的对比是否稳健于初始构型匹配策略。\n\n成功标准：Table 7 标注可复现率 ≥90%；抽检条目错误率 ≤5%；第三方按协议重跑能得到与本文重叠 ≥80% 的条目集合；层间重叠案例被显式标注而非隐去。\n\n验证核心创新所需的实验（本文未做，属最大缺口）：若要检验“scalability–robot alignment 张力”与“层间互补”这两个核心主张，需要 (a) 固定 backbone、固定总样本/总 compute 的**配方消融**：从仅 real-robot 出发，按层逐一加入（等小时与等样本两种设定）；(b) 至少两个模型族（如 diffusion head 与 autoregressive token）重复；(c) 至少三个评测面：分布内成功率、OOD 场景/物体泛化、接触密集任务；(d) 报告每层的 quality/diversity 度量而非仅小时数。缺 (a)–(d) 时，“异构混合更优”只能停留在假设层。\n\n综合流程伪代码（推断，仅示意复现所需步骤）：\n\n```text\nINPUT: query set Q, sources DB\nC = search(Q, DB)                  # 需报告\nC = dedup(C)\nS = screen(title_abstract, criteria)  # 需报告 критерии + 双人\nS = screen(fulltext, criteria)\nfor p in S:\n    r = extract(p, schema)         # Traj./Hours 统一口径\n    r.category = assign_layer(r, boundary_rules)\n    r.evidence = tag(source_of_claim)  # 自述/配置/推断\nvalidate(r, sample=10%)\nplot(scale_over_time, unit=unified)\n```\n\n## 覆盖偏差评估（分析推断，非作者陈述）\n\n- 未报告检索流程 ⇒ 偏差**不可量化**，只能定性推测。\n- **时间偏置**：参考文献 [^1]–[^453] 中 2025–2026 年条目占比很高（大量 arXiv 26xx），而 Table 1 明确收录 2026 年数据集。存在“近期偏好”，可能低估 2020–2023 年的经典采集范式。\n- **机构/自引偏置（推断）**：作者群集中于 PKU/NTU/HKUST/NUS/CUHK/HKU 等，Table 7 与正文对 InternVLA 系列 [^53]、RoboMIND [^142][^366]、Qwen 系列 [^352][^412]、RynnBrain [^74]、METIS [^101]、EgoScale [^443] 等讨论密度较高。是否为系统性偏好无法从材料判定，需按上文第 1–3 步量化。\n- **语言/区域偏置**：中文团队与英文预印本为主，非英语数据集（如部分 AIST、LET 系列虽被收录）覆盖可能不足。\n- **任务偏置**：以 manipulation 为主，locomotion/navigation 仅作旁支（HumanoidBench、HM3D、Habitat 系列），标题已限定 “Embodied Manipulation”，属合理范围但需在引用时声明。\n\n## 可重建性结论\n\n- 分类骨架：**可重建**（表格与文字完整）。\n- 检索/筛选过程：**不可重建**（未报告）。\n- 定量图表：**不可重建**（占位图 + Table 7 损坏 + 口径不统一）。\n- 因此本文适合作为**组织框架与检索起点**，不适合作为**证据汇总或元分析**引用。\n\n\n\n\n\n### 应用约束\n\n## 数据约束\n\n- 本文不产数据，但若读者按此 taxonomy 建库，各层的真实成本可从 Table 1–5 读出量级：AgiBot World Beta [^26] 1M 轨迹 / ≈2,976 h、Open X-Embodiment [^64] 2.4M 轨迹、RoboMIND 2.0 [^142] 310K 轨迹 / >1,000 h——均需机构级产线与长期维护。\n- 低成本替代：UMI 路线（FastUMI-100K [^224] 100K 演示、RealOmni 789.8K 演示，Table 2）把机器人移出采集回路，但**丢失关节级本体感知与执行器动力学**，且质量依赖位姿追踪与传感器同步（Sec. 3.4）。\n- ego 路线（Table 3：EgoDex 829 h、Egocentric-100K 100,405 h、HumanNet 967,000 h）规模最大，但稠密几何/多模态监督需额外硬件、标定、同步与重建，**并非规模免费**（Sec. 4.4）。\n- 许可与清洗成本未在文中讨论：跨数据集聚合时的坐标约定、单位、旋转参数化不一致会引入冲突监督（Sec. 8.4），清洗成本可能高于采集成本。\n\n## 算力约束\n\n- 文中出现的小时数（38,100 h、>100,000 h）意味着大规模预训练预算，但**本文未报告任何模型的参数量、GPU 小时、token 数或吞吐**，因此无法从本文估计算力门槛 → 待核实。\n- 唯一可推断的是：若要做本文最缺的 compute-matched 配方消融（五层逐一加入 × 两个模型族 × 三个评测面），成本约为一次中型预训练矩阵，对学术团队构成实质门槛（此为分析推断）。\n\n## 延迟与实时性\n\n- UMI 部署链为“预测相对 6-DoF 轨迹 → 与当前末端位姿复合 → 变换到基座系 → IK/运动规划/笛卡尔控制器”（Sec. 3.3），每环引入延迟；作者未给任何延迟测量。\n- 视觉遥操作（Sec. 2.3.2）对遮挡、快速运动、位姿估计误差敏感；设备中介遥操作会引入延迟与尺度歧义。均无定量数据。\n- VLA 的离散 action token vs 连续 action head（diffusion / flow matching）在高频控制上的差异被提及（Sec. 7.4.1），但无延迟/控制频率对比。\n\n## 鲁棒性\n\n- **sim-to-real 两类 gap**（Sec. 5.6）：观测 gap（纹理、光照、材质、深度噪声、相机标定、遮挡、触觉/力信号）与交互 gap；后者再分运动学（形态、关节限位、坐标系、控制频率）与动力学（执行器延迟、柔顺、力矩饱和、间隙、摩擦、接触、形变）。作者明确说**动力学 gap 最难消除**。\n- 最脆弱场景：接触密集操作、可变形物体、反光材质、液体、长程任务（Sec. 5.7）。\n- ego 数据：部分可观测、手-物遮挡、快速相机运动、运动模糊、设备相关视角（Sec. 4.4）。\n- UMI：遮挡、快速运动、视觉挑战环境下追踪退化（[^362]，Sec. 3.4）。\n- 失败/恢复数据稀缺导致策略“只会成功路径”（Sec. 8.2）——这是部署鲁棒性的结构性短板。\n\n## 适用性（谁该怎么用）\n\n- **数据策展/选型**：用 Fig. 1 + Table 1–6 作检索目录；用六维（scalability、robot alignment、quality、diversity、reusability、physical fidelity）做候选集打分表。注意 Table 1 口径不统一，需自建归一。\n- **数据 schema 设计**：Sec. 7.2.2 给出可直接落地的检查清单——参考系原点与轴、手性、工具中心点（TCP）、绝对 vs 增量、旋转参数化、物理单位；以及三种动作空间策略的取舍。这是本文对工程实践最可直接使用的一段。\n- **ego→robot 迁移**：Sec. 4.3.4 与 Sec. 8.5 建议把 ego 当“结构化交互先验”（任务意图、affordance、抓取选择、接触序列、工具使用策略、长程结构），而非精确动作标签；用 morphology-conditioned policy、contact-centric 表示与不确定性感知 retargeting 分离可迁移知识与 embodiment 细节。\n- **触觉/力**：Sec. 8.1 明确指出触觉尚未成为标准模态，若任务接触密集，需自建而非期待现成大规模触觉集。\n- **不适用**：需要“最优混合比例”或“某层边际收益”数值的决策场景；需要可复现训练脚本的场景。\n\n## 已展示的部署行为 vs 推断（严格区分）\n\n- **已展示（本文转述他人结果，本文未运行）**：EgoScale 在 1,000–20,000 h 区间的一致提升 [^443]；HumanScale ≤5,000 h 受控预训练 [^244]；π 系列配方演化 [^21][^150][^151]；LingbotVLA [^376]、DreamZero [^397] 的强表现（作为“更多源未必更好”的反例）；InternData-A1 的 keyframe 集中现象 [^341]（Fig. 4）。\n- **推断（作者主张或本文分析）**：层间互补性；最优配方未知；semantic action slots 更强；camera-centric 更一致；失败/恢复数据是瓶颈；触觉是缺失层。\n- **本文自身未部署任何系统，也未做任何机器人实验**——引用时不可写成“该文实验表明”。\n\n\n\n\n\n### 探索问题\n\n## 问题 1：层序能否被 compute-matched 消融证伪？\n\n- 验证方法：固定同一 backbone 与总训练预算，做两条曲线——(a) 等小时、(b) 等样本——从仅 real-robot 出发，按 UMI → ego → sim → general 逐层加入；至少两个模型族（diffusion/flow head 与 autoregressive action token）与三个评测面（ID 成功率、OOD 物体/场景泛化、接触密集任务）。预注册主指标与停止规则。\n- 可能收益：把“scalability vs robot alignment 的张力”从叙事变成可证伪命题；直接回答“预算有限时该买哪一层数据”，这是本文最想回答却未回答的问题（Sec. 8.6）。\n- 风险：等小时≠等信息量，可能得到“加层无害亦无益”的平凡结果；ego/sim 数据的许可与质量参差（FastUMI-100K 可获取，但 ego 侧清洗成本高）；总预算可能不足以显现层间差异，导致假阴性。\n\n## 问题 2：三种动作空间策略 × 三种几何表示中，哪一种真正迁移？\n\n- 验证方法：在同一数据混合、同一参数量与训练步数下做 3×3 网格（embodiment-specific projection / 定维零填充 / semantic action slots；robot-centric / camera-centric / wrist-centric），评测跨 embodiment 零样本与少样本微调，并单独报告相机标定质量作为协变量。\n- 可能收益：把 Sec. 7.2.2 的设计假设变成可执行的数据 schema 建议（当前“semantic slots 更强”“camera-centric 更一致”均无消融支撑）；对数据格式标准化（Sec. 8.4）有直接价值。\n- 风险：9 组大规模训练成本高；几何变换与标定质量、embodiment 分布强耦合，效应可能不可分离；semantic slots 的维度分配本身是设计自由度，结论可能只对特定 80 维方案成立。\n\n## 问题 3：Fig. 4 的 keyframe 多样性代理能否预测下游性能？\n\n- 验证方法：对 10–20 个可获取数据集计算该代理指标，与“在该数据集（或固定混合中该数据子集）上训练后的 OOD 成功率”做秩相关；同时对比 entropy、技能数、物体/场景覆盖等替代度量，并做初始构型匹配策略的敏感性分析。\n- 可能收益：给“规模≠多样性”一个可操作、可复算的筛选信号。作者已用它批评 InternData-A1 [^341]，若该指标被验证，可直接用于数据采购与过滤决策。\n- 风险：PerAct 启发式与初始构型匹配使跨数据集可比性存疑；样本量小（10–20）导致相关性不稳；下游性能受模型与训练配方影响，可能淹没数据侧信号。\n\n\n\n\n\n### 引用与核验\n\n**核验范围声明**\n本次材料仅含论文正文、参考文献列表 [^1]–[^453] 与表/图题注；**未进行任何外部检索或原文访问**，因此下文所有“已核/未核”均指“是否能在提供的材料内自洽确认”，不指外部核实。所有引用一律标为**待核实**，除非明确说是本文正文内的定位。\n\n## 优先需要核验的关键引用（支撑新颖性、最强对比或复现依赖）\n\n1. **差异化主张的对比对象**：Motus [^18]、GR00T N1 [^20]。本文称这些“金字塔式表述”服务于特定模型配方、缺少类别级分析（Sec. 1）。此为本文新颖性的主要立足点，**未核**——需读原文确认其是否真的只做模型内配方陈述。\n2. **既有综述**：[^446]（VLA，action tokenization 视角）、[^141]（world model for robot learning）、[^177]（3D/4D world modeling）。本文据此声称既有综述“聚焦架构或特定子问题”。**未核**。\n3. **各层定义性引用**：UMI [^62]（UMI 定义、相对轨迹表示、robot-free 采集）、Open X-Embodiment [^64]（robot-centric 几何示例、2.4M 轨迹）、Ego4D [^118] / Ego-Exo4D [^119]、ManiSkill3 [^332]、LLaVA 系列 [^188][^219]、PerAct [^314]（Fig. 4 的 keyframe 启发式）。这些直接决定分类边界与图 4 方法，**未核**；其中 PerAct 启发式的具体步骤本文未复述，属复现 blocker。\n4. **定量主张的来源**（最易出错，逐条标待核实）：\n   - Qwen-RobotManip [^412]：≈38,100 h、11.4K h 开源机器人数据、24,808 h 由 1,933 h ego 合成；**80 维 canonical state-action vector（2×29 臂块 + 22 保留维；每臂 7 关节 + 9 末端位姿 + 1 平行夹爪 + 12 灵巧手）与 per-dimension binary mask**。文中的算术（7+9+1+12=29；2×29+22=80）自洽，但维度分配是否正确**必须回原文核对**。\n   - Xiaomi-Robotics-1 [^340]：>100,000 h UMI 轨迹 + ≈10,000 h 跨 embodiment 后训练（>7,200 h 自采 + >1,000 h 带指令 UMI）。**未核**。\n   - EgoScale [^443]：20,854 h、1,000–20,000 h 区间一致提升。**未核**——这是“ego 升格”最关键的单一证据。\n   - HumanScale [^244]：≤5,000 h 受控预训练。**未核**。\n   - π 系列 [^21][^150][^151]、LingbotVA [^196] / 2.0 [^426]、LingbotVLA [^376]、DreamZero [^397]：配方演化与“反例”论断的依据。**未核**。\n   - InternData-A1 [^341]：Fig. 4 中 keyframe 集中、规模大而多样性低的反例。**未核**，且图本身为占位文件无法读数。\n5. **复现依赖**：开源仓库 “Awesome Embodied Data Pyramid” 与项目页 “Embodied Data Pyramid” 的可访问性、内容与版本**均未验证**；Table 7 数据列在 Markdown 中已错位（显示为 2026.x 日期），无法从材料内还原图标，属硬 blocker。\n6. **发表信息**：正文仅署 “Date: August 11, 2026”，未给 venue；按预印本处理。arXiv 编号、DOI 与是否已正式发表**待核实**。\n\n## 外围引用（分组计入，未逐条核对）\n\n- Table 1–6 中约 150+ 条数据集条目：按类别分组计入，**未逐条核对**年份、规模、模态、标定与灵巧手标记。已知材料内问题：Table 1/2/3/5 的 “Traj./Hours” 口径混用（轨迹数与小时数混杂，部分为 “-” 或 “+”）；Table 3 的 “Hours/Clips” 同列混排；Table 1 中 “LET-Dex-Dataset” 无引用编号。\n- Sec. 2–6 的方法性引用（遥操作、DAgger 变体、仿真引擎、3D 资产、触觉仿真器等，如 [^249][^135][^220][^348][^385]、[^342][^268][^332][^43]）：作为背景性引用**未逐条核对**，仅在正文语境下自洽。\n- Sec. 8 挑战部分的引用（触觉 [^232][^387][^444]、失败数据 [^90][^120][^228][^235][^271][^416]、对齐 [^357][^412]、ego 先验 [^30][^101][^238][^391][^443]）：构成“研究缺口”论断的支撑，**未核**；其中若干为作者同团队工作（如 [^232]、[^101]、[^74]），引用时应注意潜在自引倾向（此为分析推断，非作者陈述）。\n\n## 支持来源判定\n\n- 本 module 全部陈述来自“提供的论文正文与参考文献列表”，**无外部访问**。\n- 凡标“待核实”者，均为未访问原文的二手转述；不可在后续写作中表述为“已核实”。\n- 材料内部可自洽确认的仅有：分类结构、章节组织、表格字段名、80 维向量的算术、以及作者自述的限制（不可比、缺消融、层序非严格单调、反例存在）。\n\n\n\n\n\n### 最终判断\n\n**最终判断**\n本文的可信部分是**组织框架**：五层分类、六维刻画、层内目录（Table 1–6）、以及动作空间与几何对齐的三×三划分。这些是定义性/描述性产出，作为检索地图与数据 schema 检查表有实用价值，尤其 Sec. 7.2.2 的对齐清单（原点与轴、手性、TCP、绝对/增量、旋转参数化、单位）可直接落地。\n不可信的部分是**任何量化优劣判断**：未报告检索与筛选流程（覆盖偏差不可量化），Table 7 数据列损坏，Table 1/2/3/5 口径不统一，Fig. 2/3/4 为占位图，且作者自己承认配方消融缺失、“更多数据源更好”未被确立（LingbotVLA、DreamZero 为内部反例）。因此本文不是元分析，不能用于比较模型或估算某层数据的边际收益。\n使用建议：把它当作**假设生成器与选型清单**，而不是证据来源；凡引用具体小时数、模型配方或“某策略更强”，必须回原始论文核对（尤其 [^412] 的 38,100 h 与 80 维向量、[^340] 的 >100k h、[^443] 的 20,854 h）。\n下一步：优先复现两件事——重建 Table 7 的逐模型数据源标注（含标注依据），以及用统一单位重绘 Fig. 2/4，以判断“各类别均在增长”与“规模≠多样性”这两条最常被引用的结论是否稳健。"
}