{
  "paper_id": "d819868df0ea6ee8acb3bd0544dddd1c",
  "paper_title": "IndEgo: A Dataset of Industrial Scenarios and Collaborative Work for Egocentric Assistants",
  "paper_authors": [
    "Vivek Chavan",
    "Yasmina Imgrund",
    "Tung Dao",
    "Sanwantri Bai",
    "Bosong Wang",
    "Ze Lu",
    "Oliver Heimann",
    "Jörg Krüger"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 38",
  "abstract": "本文提出 IndEgo，一个面向常见工业任务的多模态第一视角与第三视角数据集，涵盖装配/拆卸、物流与整理、检查与维修、木工及其他任务。数据集包含 3,460 段第一视角记录（约 197 小时）和 1,092 段第三视角记录（约 97 小时），重点关注两名工人共同执行认知与体力密集型任务的协作场景。第一视角记录提供眼动、叙述、声音、运动等丰富上下文，并附带动作、摘要、错误标注、叙述、元数据以及眼动、手部姿态、半稠密点云等处理结果。作者还针对程序性与非程序性任务理解、错误检测和推理型问答提供基准。错误检测、问答及协作任务理解的基线评估表明，该数据集对当前最先进的多模态模型仍具有挑战性。\n",
  "keywords": [
    "IndEgo",
    "工业场景",
    "第一视角视觉",
    "多模态数据集",
    "协作工作",
    "错误检测",
    "推理型问答",
    "任务理解",
    "眼动",
    "第三视角"
  ],
  "paper_institutions": [
    "Fraunhofer IPK, Berlin",
    "Technical University of Berlin",
    "University of Tübingen",
    "RWTH Aachen University",
    "Leibniz University Hannover"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:17.348443Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对现有第一视角数据集偏重厨房和日常活动、工业类数据多局限于固定工位、中短任务、缺少移动作业与多人协作的问题，构建了 IndEgo 多模态工业数据集。相关研究背景表明，未来可穿戴助手需要理解工人动作、意图、工具、环境和协作关系，但真实工业环境中的遮挡、光照变化、噪声、长时序依赖和安全约束使其难以被现有模型充分处理。IndEgo 在工业研究设施中由 20 名经验从新手到专家的参与者采集，使用轻便、无线的 Project Aria 设备记录 2880×2880、10FPS 的 RGB 视频及 SLAM、眼动、音频、IMU 等传感器数据，并以固定外部相机补充第三视角；这种设置经过选择，是为了验证模型在自然移动、体力消耗、认知规划和双人协作条件下的真实能力，而不仅是桌面脚本任务。数据集包含 3,460 段、共 197.1 小时的第一视角记录和 1,092 段、共 96.8 小时的第三视角记录，覆盖装配、拆卸、检查维修、物流整理、木工和杂项，并提供约 34,000 个细粒度动作、关键步骤、任务图、叙述转写、错误标签、摘要、眼动、手部姿态、半稠密点云和轨迹。其核心机制可表示为任务图 G=(V,E)：节点 V 是关键步骤，有向边 E 表示步骤间的时间或逻辑依赖；通过将观察到的动作片段与该图比较，即可识别跳步、顺序错误、多余步骤、工具误用及协作或安全问题。实验在 NVIDIA RTX A6000 上以 480p、10FPS 视频统一评估 VideoLLaMA3、Intern-VL-2.5、Qwen2.5-VL 和 Gemini 2.0 Flash Thinking 等模型。错误检测基准含 25 类任务、1,166 段序列，采用精确率、召回率和 F1；零样本中 GFT 总体 F1 为 40.9，第一与第三视角联合输入在 10 个任务子集上达到 0.44， consistently 优于单视角，但音频和眼动的收益随场景变化。推理型问答包含 3,105 个问答对，分为时间、情境、识别和类比/溯因四类；在单一动作部分 GFT 准确率为 64.1%，而人类为 90.0%，显示模型在时序和情境推理上仍有明显差距。协作任务理解中，GFT 零样本准确率为 35.2%，VideoLLaMA3 结合 Transformer 分类器为 42.1%，说明模型难以稳定区分佩戴者与同事的动作和角色。后续研究方向包括长视频理解、跨视角与跨模态对齐、多智能体时序建模、噪声下角色推断、多模态融合和隐私保护计算。该数据适用于工业培训、操作指导、安全审计、错误预警、工具使用辅助和人机协作等真实场景，但约束在于目前主要来自实验室式车间、参与者和工具数量有限、Aria 平台特定、外部相机为静态且存在手动同步误差，基线也以零样本或轻量微调为主。\n\n### 关键要点\n\n- IndEgo 包含 3,460 段第一视角记录，总计 197.1 小时，以及 1,092 段第三视角记录，总计 96.8 小时。\n- 数据任务分为装配、拆卸、检查与维修、物流与整理、木工和杂项，并包含工具演示、情境中的工具、单一动作等补充记录。\n- 数据采集使用 Project Aria 设备，主 RGB 相机分辨率为 2880×2880、帧率为 10FPS，同时记录音频、SLAM、眼动、IMU 等传感器信息。\n- 协作数据最多包含两名同时佩戴 Aria 的工人，关系包括平等协作、专家监督和教师—学生教学。\n- 数据集发布细粒度动作、关键步骤、任务图、叙述转写、错误描述、摘要、元数据以及眼动、手部姿态、半稠密点云和轨迹等处理结果。\n- 错误检测基准覆盖 25 类任务和 1,166 段序列，错误类型包括跳步、顺序错误、多余步骤、违反安全规范、错误处理工具以及协作中的不当交接或未协助。\n- 推理型问答基准包含 3,105 个问题，考查时间理解、情境推理、对象识别以及类比或溯因推理。\n- 在单一动作问答上，表现最好的 GFT 准确率为 64.1%，而人类评估者达到 90.0%，表明人类易答问题对视频语言模型仍具挑战。\n- 第一与第三视角联合输入在错误检测中持续优于单一视角，例如 GFT 的 F1 从单视角约 0.39—0.43 提升至 0.44。\n- 论文明确指出现有数据受限于工业实验室环境、20 名参与者、有限工具与场景、静态外部相机、手动同步以及基线模型规模和提示策略。"
}