{
  "paper_id": "e7749092997f9f0b2b812f167e0bb4e9",
  "paper_title": "Data Pyramid for Embodied Manipulation: A Survey",
  "paper_authors": [
    "Yifan Ye",
    "Yankai Fu",
    "Yaoxu Lv",
    "Bohan Hou",
    "Jun Cen",
    "Lingdong Kong",
    "Duo Zheng",
    "Tianxing Chen",
    "Jiaming Liu",
    "Ziang Cao",
    "Yunfan Lou",
    "Wei Chow",
    "Xian Sun",
    "Yingshuo Wang",
    "Kuangzhi Ge",
    "Xiaowei Chi",
    "Xidong Zhang",
    "Zhibo Pang",
    "Yiwu Zhong",
    "Sirui Han",
    "Zhihe Lu",
    "Weihao Yuan",
    "Qifeng Chen",
    "Michael Yu Wang",
    "Yao Mu",
    "Ziwei Liu",
    "Jianfei Yang",
    "Ping Luo",
    "Shanghang Zhang"
  ],
  "publication_date": "2026-08-11",
  "publication_venue": "unknown",
  "abstract": "多模态基础模型通过利用海量互联网数据学会了看与说，但具身智能体无法直接复制这一路径，因为它们需要将观测与物理状态、动作相耦合的数据。本文将具身数据生态组织为一个“金字塔”，涵盖五类互补数据源：真实机器人数据、UMI 风格数据、自我中心与外部视角数据、仿真数据和通用视觉语言数据。该金字塔围绕可扩展性与机器人对齐之间的张力展开，并从数据质量、多样性、可复用性和物理保真度刻画每类数据。作者进一步从数据配方角度分析近期具身基础模型，考察不同数据源在预训练中如何被选择、对齐与混合，并将数据组成与感知、推理、规划、动作生成和世界预测能力联系起来。最后，文章讨论了构建大规模触觉数据集、采集失败与恢复数据、开发可扩展采集管线、跨具身形态动作对齐、利用自我中心数据实现灵巧操作，以及设计有原则的数据配方等六个开放挑战。\n",
  "keywords": [
    "具身数据金字塔",
    "机器人操作",
    "真实机器人数据",
    "UMI",
    "自我中心与外部视角数据",
    "仿真数据",
    "通用视觉语言数据",
    "视觉语言动作模型",
    "世界动作模型",
    "数据配方",
    "跨具身对齐"
  ],
  "paper_institutions": [
    "Peking University (PKU)",
    "Nanyang Technological University (NTU)",
    "Hong Kong University of Science and Technology (HKUST)",
    "National University of Singapore (NUS)",
    "Chinese University of Hong Kong (CUHK)",
    "University of Hong Kong (HKU)",
    "Duke University",
    "University of California, Berkeley (UCB)",
    "GBU",
    "Nanjing University (NJU)",
    "Shanghai Jiao Tong University (SJTU)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:09.763527Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向“具身基础模型究竟应使用什么数据”这一问题，指出多模态基础模型可依靠互联网图文获得广泛感知与语言能力，而具身智能体还必须理解物理状态、动力学以及动作对环境的改变；现有 Motus、GR00T 等模型的数据层级通常服务于单一训练配方，已有综述也多聚焦模型架构或 VLA、世界模型等子问题，缺少在类别层面系统比较可扩展性、机器人对齐、物理保真度和迁移价值的框架。为此，作者提出具身数据金字塔，将真实机器人数据、UMI 风格数据、自我中心/外部视角数据、仿真数据和通用视觉语言数据按“真实机器人 → UMI → 自我中心/外部视角 → 仿真 → 通用数据”的机制自顶向下排列，总体上表示机器人对齐与直接物理接地逐渐减弱、可获得性与可扩展性逐渐增强，并以可扩展性和机器人对齐为主轴，以质量、多样性、可复用性、物理保真度为补充维度。研究材料覆盖五类数据中的代表性数据集、采集管线、具身形态、传感配置、监督形式、规模、多样性和可迁移性，并梳理具身大脑、视觉语言动作模型和世界动作模型的数据配方；这些材料按数据源覆盖度而非单一模型训练需求选取，用于验证分类法能否解释不同数据的采集成本、动作监督强度和下游用途。由于本文是综述而非单一基准实验，其证据指标主要是演示条数、采集小时数、问答对数、具身形态数量、传感器与标注类型以及六维属性比较；结果显示五类数据规模均持续增长，模型配方从早期以真实机器人轨迹为主转向真实机器人、仿真、通用数据、自我中心数据及少量 UMI 数据的异构混合，自我中心数据的重要性上升，但数据来源更多并不必然更优，仅用机器人数据的模型仍可取得强性能。这些发现支撑了三项核心内容：数据金字塔分类法、对具身基础模型的数据中心分析，以及维护开源 Awesome Embodied Data Pyramid 资源库。文章最后提出大规模触觉数据、失败与恢复数据、可扩展采集管线、跨具身状态动作对齐、利用自我中心先验学习灵巧手策略、建立有原则的数据配方六个方向；其结论适用于家庭、工业、接触丰富操作、移动操作和人形机器人等真实场景，同时受硬件成本、环境重置、位姿跟踪、标定同步、仿真到现实差距、人类到机器人形态差距和接触动力学难以观测等约束。\n\n### 关键要点\n\n- 金字塔以可扩展性和机器人对齐为两个主轴：前者衡量硬件依赖、人力、重置、安全监督和边际生成成本，后者衡量观测与监督能在多大程度上直接支持物理机器人学习。\n- 质量、多样性、可复用性和物理保真度是四个补充维度，用于判断数据是否不仅规模大，而且有效、覆盖广、可跨任务或形态迁移，并能真实反映接触与动力学。\n- 五类数据自顶向下依次为真实机器人数据、UMI 风格数据、自我中心/外部视角数据、仿真数据和通用视觉语言数据，该顺序是六维属性的综合而非每一维度上的严格单调排序。\n- 真实机器人数据记录观测、状态、动作和结果的闭环关系，动作可在对应平台上直接执行，但采集需要硬件、操作员、重置、维护和安全监督，成本最高。\n- UMI 数据通过手持夹爪或可穿戴接口记录末端执行器运动、夹爪状态和视觉信息，支持无机器人的野外采集，但缺少关节级本体感觉，仍需标定、坐标变换和重定向。\n- 自我中心与外部视角数据能够以真实物理、灵巧人手和日常环境提供大规模多样示范，但存在手部遮挡、视角受限、动作需重建以及人到机器人形态差距等问题。\n- 仿真数据可并行生成可执行动作和接触、位姿、成功信号等特权标签，边际成本低且安全性高，但受资产覆盖、物理近似和仿真到现实差距限制。\n- 通用数据提供网页规模图像、视频、语言、三维、规划和常识推理先验，能够支撑感知与高层决策，但不包含机器人本体感觉、接触力或可直接执行的动作监督。\n- 具身大脑模型侧重感知、推理、记忆和规划，VLA 模型需要将观测与指令映射为可执行动作，WAM 模型则重点学习动作条件下的世界演化与未来预测。\n- 异构动作空间主要通过具身专属投影、定长零填充接口和语义动作槽进行结构对齐，并可在机器人坐标系、相机坐标系或腕部坐标系中表达几何动作。\n- 代表性模型的数据利用趋势表明，预训练配方正从单一真实机器人数据转向多源混合且规模快速扩大，但最优比例、分阶段分配和自适应混合策略仍缺乏算力匹配的系统消融。"
}