{
  "paper_id": "affe01a6f92913c51de02d986a9fe1ac",
  "paper_title": "EgoLive: A Large-Scale Egocentric Dataset from Real-World Human Tasks",
  "paper_authors": [
    "Yihang Li",
    "Xuelong Wei",
    "Jingzhou Luo",
    "Yingjing Xiao",
    "Yibo Bai",
    "Guangyuan Zhou",
    "Teng Zou",
    "Chenguang Gui",
    "Jiajun Wen",
    "He Zhang",
    "Kangliang Chen",
    "Xing Pan",
    "Shuaiyan Liu",
    "Daming Wang",
    "Tao An",
    "Jiayi Li",
    "Shibo Jin",
    "Wanwan Zhang",
    "Tianyu Wang",
    "Boren Wei",
    "Zhixuan Huang",
    "Fangsheng Liu",
    "Ruodai Li",
    "Hui Zhang",
    "Anson Li",
    "Yicheng Gong",
    "Peng Cao",
    "Jiaming Liang",
    "Liang Lin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "机器人学习的进步受限于大规模高质量数据的稀缺。遥操作和通用操作接口虽然主导现有数据集，但在可扩展性与真实世界部署能力方面存在固有缺陷。人类第一视角视频采集提供了一种可扩展、自然且适用于野外场景的数据获取途径。本文提出 EgoLive，一个明确面向机器人操作学习的大规模、高质量第一视角数据集。其三项技术优势为：它是迄今最大的、聚焦真实世界任务型人类日常活动的开源带标注第一视角数据集；通过定制头戴采集设备和全面、高精度的多模态标注实现领先的数据质量；所有数据均采集自无约束真实场景，覆盖家庭服务、零售等垂直领域人类工作，具有更强的多样性与生态效度。EgoLive 旨在为研究社区提供可扩展的高质量数据，加速可泛化机器人模型的突破，并推动机器人系统的真实部署。\n",
  "keywords": [
    "EgoLive",
    "第一视角数据集",
    "机器人操作学习",
    "立体视觉",
    "多模态标注",
    "真实世界场景",
    "手部重建",
    "深度估计",
    "人机迁移"
  ],
  "paper_institutions": [
    "Joy Future Academy, JD"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:17.018516Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人操作学习缺乏大规模高质量数据、遥操作硬件成本高且难扩展、通用操作接口受特定本体和灵巧手适配限制、现有第一视角数据集又常缺少统一几何与操作标注的问题，论文在真实机器人采集、Ego4D、EPIC-KITCHENS-100、EgoDex、EgoMimic、Xperience-10M 等第一视角数据及人到机器人迁移研究的背景下，提出 EgoLive 数据集。该数据集包含 1,680 小时 60fps 高保真立体视频、65,866 个片段和 346 种真实任务，全部由招募操作者在无约束真实环境中完成；选择头戴式方案是因为其低干扰、可自然记录人手形态、支持跨环境和用户的低成本扩展，并能验证真实服务场景中的生态效度。采集设备 JoyEgoCam 配备仿人双目 RGB 相机，具有 130°×130° 视场角、每目 2160×2160 分辨率、60Hz 采集率和 200Hz 同步 IMU。论文的核心机制是“标定后的立体 RGB 与 IMU 输入—运动跟踪—语义理解—三维重建”的自动标注流水线：ORB-SLAM3 融合双目图像和 IMU 估计相机自运动，手部先基于 HaMeR/MANO 从单目估计参数，再通过立体优化获得满足二维投影约束的一致三维关键点，FoundationStereo 从标定双目中重建 1152×1152 深度，检测、BoT-SORT 跟踪、SAM2 分割和微调 Qwen3VL-32B 则生成手物掩码、子任务边界和细粒度语言描述。实验选择 EgoDex 与 Xperience-10M 进行语义比较，因为二者分别代表大规模操作中心数据和部署规模数据；深度评估采用已知几何的阶梯阵列与 ChArUco 标定板，在 0.5 至 3.5 米距离上客观验证精度。结果显示，500mm 和 700mm 处平均深度误差约为 3.059mm 和 3.045mm，900mm 处为 5.381mm，3500mm 处为 18.035mm，说明在人类典型操作距离约 0.9m 内误差很低；二维和三维手部关键点在定性比较及点云对齐中更准确，能抑制深度漂移并保持物理尺度，指令标注则通过手、物体、动作和全局一致性的 LLM-as-a-Judge 协议检查。离散词频显示 EgoLive 在物体、动作和属性上具有更长尾、更宽的语义覆盖，t-SNE 连续特征分析显示其占据更宽的表示流形并保持局部连贯结构，这些结果共同支持其在规模、真实场景覆盖、时空分辨率和标注完备性上的创新。未来可继续探索人到机器人对齐、人形机器人策略学习、持续扩展的数据知识库，以及如何缩小人体与机器人本体差距；其现实约束包括远距离深度误差增大、动态遮挡、自动字幕可能误判动作或物体、以及真实服务业务流程的复杂性。\n\n### 关键要点\n\n- EgoLive 包含 1,680 小时立体视频、65,866 个片段和 346 种真实世界任务，面向机器人操作学习。\n- 所有数据均采集自无约束真实环境，覆盖家庭服务、零售、药店、整理、清洁和物流等操作密集型场景。\n- JoyEgoCam 是定制头戴设备，提供 130°×130° 视场角、每目 2160×2160 分辨率、60Hz 立体 RGB 和 200Hz IMU。\n- 每个原始视频通常持续 1 至 3 分钟，并附带相机标定、触发时间戳和时间同步 IMU 数据。\n- 自动标注流水线提供相机位姿、6 自由度手腕与手部关节轨迹、三维手部关键点、深度图、手部掩码、交互物体掩码、子任务分割和语言描述。\n- 运动跟踪先由 HaMeR/MANO 从单目估计手部参数，再利用双目约束进行立体优化，相机轨迹则由 ORB-SLAM3 融合双目视觉和 IMU 获得。\n- 语义模块通过检测、BoT-SORT 跟踪、SAM2 分割和微调 Qwen3VL-32B，围绕手、操作物体和动作生成结构化子任务描述。\n- 深度定量评估在 500mm 至 3500mm 距离上进行，500mm 与 700mm 处平均误差分别为 3.059mm 和 3.045mm，3500mm 处增至 18.035mm。\n- 手部重建评估通过二维关键点可视化、多视角三维骨架和深度点云对齐，证明标注具有较好的空间一致性并能缓解手腕漂移。\n- 与 EgoDex 和 Xperience-10M 相比，EgoLive 在物体、动作、属性词频上呈现更长尾分布，并在 t-SNE 空间中覆盖更宽的交互模式区域。\n- 该数据集可用于第一视角感知、手物交互理解、操作 grounding、流程分解和人到机器人迁移，但仍需处理远距离深度误差、遮挡、本体差异和自动语义标注错误等约束。"
}