{
  "paper_id": "ee82ebfe388d29cbad93a286f3eb1a5e",
  "paper_title": "Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning",
  "paper_authors": [
    "Zishuo Li",
    "Qingze Guan",
    "Zhengxing Wu",
    "Wanke Zhan",
    "Yang Sun",
    "Zhiyi Huang",
    "Zitong Shan",
    "Bowen Yang",
    "Changtao Miao",
    "Zhenchao Jin",
    "Jiadong Hong",
    "Taowen Wang",
    "Yushi Feng",
    "You Liu",
    "Yibo Wang",
    "Yifan Yang",
    "Zhaowen Zhou",
    "Man Luo",
    "Hao Cheng",
    "Kai Zhu",
    "Hao Chen",
    "Bo Zhang",
    "Jianshu Li",
    "Jiansheng Cai",
    "Guocai Yao",
    "Jize Zhang",
    "Chenhao Lin",
    "Renjing Xu",
    "Lequan Yu",
    "Chao Shen",
    "Chunhua Shen",
    "Zhe Li"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人类操作的自我中心视频可为具身智能提供可扩展监督，但现有资源很少同时兼顾低成本连续采集、操作级结构化标注和可复用的机器人学习工具。本文提出 Open-AoE，一个面向社区、开放的自我中心操作数据集与工具链，覆盖从智能手机采集到模型训练的完整流程。首个版本包含约2000小时操作视频，由500多名贡献者在自然环境中使用400多款智能手机采集。数据集提供文本标注、基于 MANO 的手部姿态、相机轨迹和时间定位的原子动作。Open-AoE 还包括数据处理流水线，通过时序动作分割、语义标注、手部重建和相机轨迹重建，将原始录像转化为结构化样本。同时，作者提供独立的下游工具链，支持可视化、跨本体重定向、面向特定模型的数据转换，以及 VLA 策略、WAM 和世界模型的训练方案。通过整合可扩展采集、结构化处理和下游适配，Open-AoE 降低了数据贡献与复用门槛，为具身模型训练、人到机器人迁移和世界建模提供实用的开放基础设施。\n",
  "keywords": [
    "自我中心操作数据集",
    "具身学习",
    "具身智能",
    "智能手机采集",
    "MANO手部姿态",
    "相机轨迹",
    "原子动作",
    "跨本体重定向",
    "视觉语言动作模型",
    "世界动作模型",
    "世界模型"
  ],
  "paper_institutions": [
    "Ant Digital Technology, Ant Group",
    "Zhejiang University",
    "The University of Hong Kong",
    "The Hong Kong University of Science and Technology (Guangzhou)",
    "National University of Singapore",
    "Beijing Academy of Artificial Intelligence",
    "University of Chinese Academy of Sciences",
    "The Hong Kong University of Science and Technology",
    "Xi'an Jiaotong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:42.096798Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对具身基础模型受限于真实交互数据规模与质量、而现有自我中心数据集难以同时实现低成本连续采集、操作级结构化标注和可复用训练工具的问题，论文在 Ego4D、EPIC-KITCHENS、EgoDex、EgoLive、OpenEgo、EgoScale 等资源推动了日常活动采集、手部姿态与机器人学习对齐但仍存在专用硬件门槛高、被动视频缺少几何与动作边界、处理流程碎片化的背景下，提出面向社区的 Open-AoE 数据集与工具链，构建“采集—处理—重建—训练”闭环。首个开放版本包含约2000小时自然环境中的第一人称人类操作视频，覆盖500多名贡献者、400多款智能手机型号、400多个场景和8000多项任务，并同步提供英文文本描述、MANO手部姿态、相机轨迹和原子动作片段；选择消费级智能手机是为了降低贡献门槛并引入真实设备、镜头、视场和成像管线多样性，配合端侧实时检测、云端质量筛查与隐私擦除、视频切片与帧率固定、Qwen3.7-Plus 场景语义标注、DROID-W 相机轨迹估计、HaWoR 双手 MANO 重建、滑动窗口时序优化及全局光束法平差，再经完整性、正确性、一致性三道质检和人工抽检形成匿名语料。下游工具链将同一时间轴上的去畸变 RGB、内参、轨迹、双侧 MANO、有效性掩码和语言标签转换为研究资产，核心表示之一是每帧110维稠密手部向量：2 × [valid(1) + 腕部平移(3) + 腕部轴角(3) + 速度(3) + MANO姿态(45)]，平移以米、旋转以弧度、速度以米/秒定义在当前帧 OpenCV 相机坐标系，并按问题派生腕部—指尖、机器人关节、手加相机和潜在动作等接口，支持 VLA 策略、世界动作模型和世界模型。为验证数据画像而非仅比较规模，作者在 Open-AoE、OpenEgo、EgoDex 各约100小时及 EgoXtreme 全量数据上，用 CLIP 嵌入和3000次每次每数据集2000个嵌入的平衡抽样测量有效秩、参与率、覆盖、熵、有效簇和 kNN 域混合，Open-AoE 六项均值均最高，分别为97.43、40.47、19.89、0.712、16.29、0.0775，并在3000次试验中均取得有效秩、参与率和 kNN 第一；语义上有32407条不同自然语言动作描述、8030个对象串、175个动词、135个场景标签，时间覆盖99.99%、密度13.97段/分钟、平均段长9.64秒，Idefics2 图像—标注一致性达4.583/5，2秒历史、2秒未来、2秒步长的训练窗产出约1760个/小时，达到理论上限的97.8%，至少一只手和双手信号可用率分别为98.93%和98.02%，且动作、框、置信度、手姿、相机姿五类模态在序列级近乎全覆盖，这些结果支撑了可扩展低成本采集、结构化几何—时序—语义处理和多模型适配三项创新。后续仍需通过受控消融验证相机域多样性对下游策略的真实收益，并扩展场景任务、重建重定向方法、训练适配器和评测；其适用场景包括厨房、桌面、办公室、卧室、客厅、工坊、卫浴、户外、洗衣、零售服务等，但机器人化视频只用于缩小视觉本体差距和诊断，不能替代真实机器人执行，且数据基于明示同意、本地确认、云端脱敏和匿名化，仅可用于具身智能与机器人科研，禁止身份识别、监控或再识别。\n\n### 关键要点\n\n- 首个开放版本包含约2000小时自然环境第一人称操作视频，覆盖500多名贡献者、400多款智能手机型号、400多个场景和8000多项任务。\n- 端侧轻量视觉模型根据手部可见性自动启停录制，并通过语音提示纠正手部截断、佩戴不规范、视角不稳等问题，同时在暗光下补光并在存储不足或设备过热时停止录制。\n- 云端离线处理先并行检测画幅、旋转、曝光、时长、解码、第三人称视角和严重抖动，再对人脸等敏感区域打码、替换元数据身份，并完成视频切片、帧率固定和基于 Qwen3.7-Plus 的域—场景—任务—对象四级闭集标注。\n- 重建阶段用重调鲁棒核的 DROID-W 恢复6自由度相机轨迹，用大规模自我中心双手检测器提供框并关联补缺，再由 HaWoR 生成经 SLAM 度量对齐的 MANO 网格，最后结合动态物体掩码做全局光束法平差和21关节点提取。\n- 原子动作以英语标注并经过人工复核以纠正模型幻觉，三道质检分别控制手部重建有效帧比例、重定向到28自由度关节空间的逆运动学失败率和相邻帧相机轨迹连续性，随机子集还接受人工检查。\n- AoE-Visualization 以去畸变自我中心视频为底，叠加 MANO 网格、21关键点骨架、未来腕部轨迹和原子动作，并提供世界坐标3D视图与时间轴，用于发现重投影误差、缺手区间、SLAM漂移和语义边界错位。\n- AoE-Reconstruct-Retarget 同时产出4D手物资产、机器人可执行轨迹和机器人化视频，集成 EgoInfinity、Do-as-I-Do 以及 G1、Galbot/Galaxea、Sharpa、XHand 等后端，机器人化视频通过视频修复与 MuJoCo 渲染保持真实场景上下文。\n- AoE-Training-Ready 不采用通用动作格式，而是把同步信号转换为110维稠密 MANO、48维腕部—指尖、62维 Sharpa、20维夹爪及手加相机动作等接口，以适配 VLA、WAM 和世界模型的不同不变量。\n- 高维视觉多样性比较在 Open-AoE、OpenEgo、EgoDex 各约100小时和 EgoXtreme 全量数据上进行，CLIP 特征经过3000次平衡随机抽样，每次从每个数据集取2000个嵌入，Open-AoE 在六项指标均值上均列第一。\n- Open-AoE 的主动作字段含32407条不同自然语言描述，时间覆盖率为99.99%，标注密度为13.97段/分钟，平均段长9.64秒；Idefics2 序列宏一致性为4.583/5，85.4%的序列得分不低于4。\n- 在2秒历史、2秒未来、2秒步长设置下，Open-AoE 每小时可产出约1760个训练窗，达到无边界理论上限的97.8%；98.93%的条目至少有一只有效手，98.02%有双手信号，且五类核心模态均近乎全序列可用。\n- 使用边界包括：分布统计限于随机100小时样本，任务计数因定义不同不可直接比较，相机域多样性收益仍是待消融验证的假设，机器人化视频不能替代真实机器人执行；数据须遵守知情同意和匿名化要求，仅用于科研，不得用于身份识别或监控。"
}