{
  "paper_id": "20f454835996de477ad5c29582ee5b64",
  "paper_title": "OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation",
  "paper_authors": [
    "Ahad Jawaid",
    "Yu Xiang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "自我中心人类视频可为模仿学习提供可扩展演示，但现有语料往往缺少细粒度、时间定位的动作描述或灵巧手标注。本文提出 OpenEgo，一个多模态自我中心操作数据集，具有标准化手部位姿标注和与意图对齐的动作原语。OpenEgo 整合六个公共数据集，共 1107 小时，涵盖 600 多个环境中的 290 种操作任务；论文统一手部关节布局，并提供带时间戳的描述性动作原语。为验证其效用，作者训练语言条件模仿学习策略来预测灵巧手轨迹。OpenEgo 旨在降低从自我中心视频学习灵巧操作的门槛，并支持视觉-语言-动作学习的可复现研究。\n",
  "keywords": [
    "自我中心视频",
    "灵巧操作",
    "多模态数据集",
    "手部位姿",
    "动作原语",
    "模仿学习",
    "视觉-语言-动作模型",
    "轨迹预测"
  ],
  "paper_institutions": [
    "Department of Computer Science, The University of Texas at Dallas",
    "Physical Automation, Inc."
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:52.399459Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对通用网络视频与机器人部署在视角、手物接近度和运动模式上的域差距，以及 Ego4D、EPIC-KITCHENS、HoloAssist、EgoDex、HOI4D、HOT3D、HO-Cap 等单一来源难以同时兼顾规模、任务多样性、细粒度语言和灵巧标注的问题，论文提出 OpenEgo。相关研究表明自我中心画面能保持手物可见，3D 手轨迹可监督灵巧技能，GR00T 与分层 VLA 也显示自我中心数据和时间动作原语的价值，因此作者整合 CaptainCook4D、HOI4D、HoloAssist、EgoDex、HOT3D、HO-Cap 六个公共数据集；这些数据覆盖厨房、装配和日常活动，可验证统一格式在多来源、多任务上的可扩展性。OpenEgo 包含 1107 小时、119.6M 帧、290 项任务、344.5k 条记录、600 多个环境、约 1.4k 种物体和至少 258 名参与者，将所有手部姿态统一为相机坐标系下 MANO 21 关节布局，提供二值可见性掩码，并加入带绝对起止时间、执行者和物体信息的意图对齐动作原语及高层任务标签。实验以 RGB 观测、语言提示和当前双手 42 个关节为输入，采用 ViLT 策略预测未来 T 步 3D 关节轨迹，核心学习机制是 L = mean_{τ,j:m=1} ||q̂_{t+τ,j}-q_{t+τ,j}||²，即只在可见关节上计算掩码均方误差；受算力限制仅用 0.1% 数据训练、保留 10% 演示用于测试，在 2 块 RTX 4090 上以 AdamW、余弦退火、batch size 896 训练 15000 步。该设置验证数据集可支持语言条件灵巧轨迹学习，而非给出性能上限。评测使用 AED、FED 和 DTW，在 8 至 64 帧时域上 AED 从 0.0491 增至 0.1045，FED 从 0.0633 增至 0.1076，DTW 从 0.3918 增至 6.7975，说明短时域动作学习更准确且误差随时域平滑上升，DTW 对时间错位更敏感。后续可扩大训练比例、比较更多架构、服务世界模型、分层 VLA 和基础 VLM，并改进语言核验、深度反投影与遮挡关节估计；现实场景包括厨房、装配和室内日常操作，约束包括关节缺失、自动语言标注仅部分核验且可能时间漂移、无原生标签来源的 3D 质量受地标估计和深度传感限制、单一架构小样本实验以及隐私与各源许可证要求。\n\n### 关键要点\n\n- OpenEgo 整合六个公共自我中心数据集，总时长 1107 小时，包含 119.6M 帧、290 项任务和 344.5k 条记录。\n- 数据覆盖 10 个厨房、610 个室内房间、24 个烹饪食谱、约 1.4k 种物体和至少 258 名独特参与者。\n- 所有手部姿态被统一为相机坐标系中的 MANO 21 关节布局，每只手包含每指 4 个关节和腕部。\n- 对没有原生手部标签的 CaptainCook4D，论文检测 2D 关键点并利用 RGB-D 深度和相机内参反投影得到 3D 关节。\n- 对世界坐标系数据，论文使用各数据集提供的逐帧相机外参，通过刚体旋转和平移将关节转换到相机坐标系。\n- 语言标注由带绝对起止时间的意图对齐动作原语组成，包含动作、物体、左右手或双手标签，并保留未观测动作之间的时间间隔。\n- 策略输入为 RGB 图像、描述预期操作的语言提示和当前双手关节 q_t，输出未来 T 步的双手 3D 关节轨迹。\n- 训练采用掩码均方误差目标，可见性掩码为 0 的遮挡或缺失关节不参与损失计算。\n- 实验仅使用 OpenEgo 的 0.1% 子集训练，并保留 10% 演示作为无泄漏评测集。\n- 在 15 fps 下，8 帧预测的 AED、FED 和 DTW 分别为 0.0491、0.0633 和 0.3918，64 帧时分别升至 0.1045、0.1076 和 6.7975。\n- 数据集的主要限制包括遮挡导致关节缺失、语言标注仅部分核验、长动作可能时间漂移，以及实验只验证单一架构和极小训练比例。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}