{
  "paper_id": "1d39690c67edcb32ede9e7709709692b",
  "paper_title": "EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World",
  "paper_authors": [
    "Ryan Punamiya",
    "Simar Kareer",
    "Zeyi Liu",
    "Josh Citron",
    "Ri-Zhao Qiu",
    "Xiongyi Cai",
    "Alexey Gavryushin",
    "Jiaqi Chen",
    "Davide Liconti",
    "Lawrence Y. Zhu",
    "Patcharapong Aphiwetsa",
    "Baoyu Li",
    "Aniketh Cheluva",
    "Pranav Kuppili",
    "Yangcen Liu",
    "Dhruv Patel",
    "Aidan Gao",
    "Hye-Young Chung",
    "Ryan Co",
    "Renee Zbizika",
    "Jeff Jinyun Liu",
    "Xiaomeng Xu",
    "Haoyu Xiong",
    "Geng Chen",
    "Sebastiano Oliani",
    "Chenyu Yang",
    "Xi Wang",
    "James Fort",
    "Richard Newcombe",
    "Josh Gao",
    "Jason Chong",
    "Garrett Matsuda",
    "Aseem Doriwala",
    "Marc Pollefeys",
    "Robert Katzschmann",
    "Xiaolong Wang",
    "Shuran Song",
    "Judy Hoffman",
    "Danfei Xu"
  ],
  "publication_date": "",
  "publication_venue": "Robotics: Science and Systems XXII",
  "abstract": "机器人学习日益依赖大规模且多样化的数据，但机器人数据采集成本高昂且难以扩展。第一视角人类数据能够在日常环境中捕获丰富的操作行为，然而现有人类数据集通常范围有限、难以扩展且分散于不同机构。本文提出 EgoVerse，这是一个面向人类数据驱动机器人学习的协作平台，在统一框架下整合数据采集、处理与访问，支持个人研究者、学术实验室和产业伙伴贡献数据。当前版本包含1362小时（约8万条片段）人类演示，覆盖1965项任务、240个场景和2087名独特演示者，并提供标准化格式、与操作相关的标注以及下游学习工具。此外，论文在共享协议下跨多个实验室、任务和机器人本体复现实验，开展大规模人到机器人迁移研究。结果表明策略性能通常随人类数据增加而提升，但有效扩展取决于人类数据与机器人学习目标之间的对齐。数据集、平台和研究共同为人类数据驱动机器人学习的可复现进展奠定基础。\n",
  "keywords": [
    "第一视角人类数据",
    "机器人学习",
    "模仿学习",
    "跨具身迁移",
    "人机数据协同训练",
    "EgoVerse",
    "EgoDB",
    "Flow Matching",
    "操作数据集",
    "泛化"
  ],
  "paper_institutions": [
    "Georgia Institute of Technology",
    "Stanford University",
    "University of California San Diego",
    "ETH Zürich",
    "MIT CSAIL",
    "Meta Reality Labs Research",
    "Mecka AI",
    "Scale AI"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:48.025781Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人示范采集依赖硬件、专家遥操作和受控环境，成本高且难持续扩展，而通用人类活动数据集又缺少精确手部姿态、可执行任务边界与机器人迁移验证的问题，本文提出 EgoVerse：一个连接全球学术实验室、产业伙伴和个人贡献者的第一视角人类数据驱动机器人学习框架。当前数据共1362小时、约8万条演示，覆盖1965项任务、240个场景和2087名演示者；其中 EgoVerse-A 为75小时、6项共享旗舰任务，按统一协议在各实验室采集，用于可复现的受控分析，EgoVerse-I 为1285小时、近2000项开放任务和密集语言标注，用于扩大真实场景、物体与视觉多样性并支持语言条件策略。数据通过 Project Aria 眼镜、产业定制头戴设备和消费级 iPhone 头戴装置采集，统一为第一视角视频、每只手21个三维关键点、6自由度头部位姿和任务元数据；EgoDB 基于 S3、SQL 数据库、夜间 Ray 处理和网页查看筛选接口，将异构数据持续转换为训练就绪格式，支撑可持续增长的“活数据集”。迁移研究采用 ResNet-18 视觉主干、本体感觉 MLP、查询注意与共享 Transformer 编码器，并用 Flow Matching 动作解码器进行人类与机器人行为克隆协同训练；为消除运动相机参考系差异，人类动作通过 a^H_{t:t+k}=[(T_t^device)^{-1}T_{t+i}^device·p^H_{t+i}]_{i=1}^{k} 投影到第 t 帧设备坐标系，再结合分位数归一化、时间重采样和图像增强实现跨本体对齐。实验在三种差异明显的机器人平台、多个实验室和 object-in-container、cup-on-saucer、bag-grocery 等任务上使用共享协议，每任务约150–300条机器人示范，并对域内和域外设置各执行20次 rollout，以任务子步骤归一化分数、成功率及离线 Avg-MSE 评估。结果显示加入 EgoVerse-A 可在多数平台和任务上将域内与域外性能最高提升约30%；但仅有8小时多样化人类数据或仅有域内人类数据都不足，加入约2小时与机器人共享任务、物体和场景的对齐人类数据后，多样化数据才能产生正向扩展，并随多样化数据增加到8小时继续获益。受控多样性实验表明，增加演示者数量可提升对未见演示者的泛化，增加场景数量可提升对未见环境的泛化，且在有限数据预算下场景多样性作用最突出，而场景覆盖扩大后演示者数量的边际收益会因任务而变化。该框架适用于物流、烹饪、清洁、洗衣、硬件装配、工艺和园艺等日常室内操作，但受限于“可由典型双臂移动机械臂完成”的有界任务范围、人机形态/传感/控制差异以及策略错配，例如 Robot B 在 bag-grocery 中采用与人类不同的撑袋策略并出现性能下降；未来可探索人类数据预训练后机器人微调、利用 EgoVerse-I 弱对齐或非对齐数据训练语言/目标条件策略、用更多真实机器人 rollout 验证离线多样性结论，以及分析运动学结构、传感器和动作参数化对迁移的影响。\n\n### 关键要点\n\n- EgoVerse 当前发布1362小时、约8万条第一视角人类演示，覆盖1965项任务、240个场景和2087名独特演示者。\n- EgoVerse-A 包含75小时、2385条片段和6项跨实验室共享旗舰任务，强调标准化与可复现分析；EgoVerse-I 包含1285小时、近2000项开放任务，强调真实世界规模、视觉多样性和密集语言标注。\n- 数据采集同时支持 Project Aria 眼镜、产业定制可穿戴设备和基于消费级 iPhone 的头戴手机方案，最低统一输出包括第一视角视频、手部关键点和相机位姿。\n- 每个人类演示帧都估计双手各21个三维手部关键点，并通过视觉惯性 SLAM 或伙伴方处理流程获得校准的6自由度头部位姿。\n- EgoDB 提供持续数据摄取、S3 存储、SQL 元数据查询、标准化夜间处理、网页可视化和按配置同步本地训练子集的能力。\n- 策略模型使用 ResNet-18 视觉编码、模态专属浅层 stem、共享 Transformer 编码器和 Flow Matching 动作解码器，在每一步以1:1比例采样人类与机器人数据。\n- 人类动作被投影到动作起始时刻的设备坐标系，公式为 a^H_{t:t+k}=[(T_t^device)^{-1}T_{t+i}^device·p^H_{t+i}]_{i=1}^{k}，从而与机器人动作共享相机中心参考系。\n- 机器人实验覆盖两台不同安装方式的 ARX5 双臂系统和一台带灵巧手的 Unitree G1，三种平台用于检验结论是否受特定硬件、传感器或控制器影响。\n- 每个评估任务采用约150–300条机器人示范，每种方法在每个任务上执行20次域内和20次域外 rollout，并按抓取、放置、中间操作和完整任务完成情况计算归一化分数或成功率。\n- 与仅用机器人数据相比，加入 EgoVerse-A 的协同训练在多数机器人和任务上可将域内及域外性能最高提升约30%，但 Robot B 的 bag-grocery 因人机策略不匹配出现例外。\n- 域内对齐人类数据是多样化数据发挥作用的锚点：约2小时共享任务、物体和场景的人类数据可带动2小时乃至8小时多样化 EgoVerse-A 数据产生正向扩展。\n- 受控多样性研究显示，演示者多样性主要改善对未见演示者的泛化，场景多样性主要改善对未见环境的泛化，且场景多样性在数据预算有限时收益最强；相关结论主要由离线 Avg-MSE 支持，仍需更多真实机器人 rollout 验证。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}