{
  "paper_id": "d819868df0ea6ee8acb3bd0544dddd1c",
  "paper_title": "IndEgo: A Dataset of Industrial Scenarios and Collaborative Work for Egocentric Assistants",
  "paper_authors": [
    "Vivek Chavan",
    "Yasmina Imgrund",
    "Tung Dao",
    "Sanwantri Bai",
    "Bosong Wang",
    "Ze Lu",
    "Oliver Heimann",
    "Jörg Krüger"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 38",
  "abstract": "本文提出 IndEgo，一个面向常见工业任务的多模态第一视角与第三视角数据集，涵盖装配/拆卸、物流与整理、检查与维修、木工及其他任务。数据集包含 3,460 段第一视角记录（约 197 小时）和 1,092 段第三视角记录（约 97 小时），重点关注两名工人共同执行认知与体力密集型任务的协作场景。第一视角记录提供眼动、叙述、声音、运动等丰富上下文，并附带动作、摘要、错误标注、叙述、元数据以及眼动、手部姿态、半稠密点云等处理结果。作者还针对程序性与非程序性任务理解、错误检测和推理型问答提供基准。错误检测、问答及协作任务理解的基线评估表明，该数据集对当前最先进的多模态模型仍具有挑战性。\n",
  "keywords": [
    "IndEgo",
    "工业场景",
    "第一视角视觉",
    "多模态数据集",
    "协作工作",
    "错误检测",
    "推理型问答",
    "任务理解",
    "眼动",
    "第三视角"
  ],
  "paper_institutions": [
    "Fraunhofer IPK, Berlin",
    "Technical University of Berlin",
    "University of Tübingen",
    "RWTH Aachen University",
    "Leibniz University Hannover"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:17.348443Z",
  "template_tag": "deep_read",
  "summary": "# IndEgo: A Dataset of Industrial Scenarios and Collaborative Work for Egocentric Assistants\n\n\n**作者 / Authors:** Vivek Chavan, Yasmina Imgrund, Tung Dao, Sanwantri Bai, Bosong Wang, Ze Lu, Oliver Heimann, Jörg Krüger\n\n\n**单位 / Institutions:** Fraunhofer IPK, Berlin, Technical University of Berlin, University of Tübingen, RWTH Aachen University, Leibniz University Hannover\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：当前文档含正文、图表、参考文献与附录（A–P、NeurIPS checklist），足以做第一轮结构化阅读；Hugging Face/项目页/GitHub 链接已给出，但本次未实际访问，代码与数据可用性待核验。\n\n原型判断：paper_archetype=other。该文主要贡献是工业 ego/exo 多模态数据集与基准（Mistake Detection、reasoning QA、collaborative task understanding），不是新算法或系统架构，也不是综述，故归为 other（数据集/基准论文）。\n\n影响解释的材料缺口：文档未明确 publication date/venue（仅有 NeurIPS 2025 checklist 线索，待核实）；部分工具清单、标注规范、补充实验细节以 Supplementary Material 引用，当前文本未完整展开；外部链接与版本未验证，因此关于数据/代码现状的判断应视为待核验。\n\n\n\n\n\n### 问题\n\n问题：让可穿戴/具身 AI 助手在真实工业场景中理解工人（含协作同伴）的动作、意图与错误，并在长时序、移动、遮挡、噪声和多工具环境中提供指导。重要性：工业任务认知与体力负荷高、错误代价大，直接关系生产率、安全与技能传递；现有以厨房/日常为中心的数据无法覆盖。现有不足：EPIC-KITCHENS/Ego4D 等偏日常；Meccano/Assembly101/HoloAssist 等虽 industry-like/assistive，但多为工作站/桌面、短到中等任务，缺少真实工业移动、双人协作、长时（20+ min）与多模态（gaze/narration/audio/motion/exo）联合标注。形式化（可选）：构建多模态记录集合 D={ego, exo, gaze, audio, narration, action/keystep/mistake annotations}，并为错误检测 f_MD、推理问答 f_QA、协作理解 f_C 提供监督与评测协议；本文重点在 D 与基准，而非提出新模型。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：IndEgo 提供一个面向真实工业任务、强调双人协作与长时序多模态采集的 ego+exo 数据集，并配套错误检测、推理问答与协作理解基准。\n\n核心想法与贡献：用 Project Aria 在工业研究设施中采集 3,460 段 egocentric（约197.1 h）与1,092段 exocentric（约96.8 h）记录，覆盖装配/拆卸、物流整理、检查维修、木工与杂项；同步/附带 gaze、narration、audio、motion、hand pose、point cloud 等，并提供细粒度动作、keystep、错误、摘要与任务图标注。相对已有日常/桌面式数据，其贡献在于真实工业场景、移动与体力任务、双人协作（coworking/supervision/teacher-student）以及20+分钟长序列。\n\n最重要结果与条件：作者报告 SOTA VLM 仍有明显困难——MD 零样本最佳 F1 约40.9（Gemini 2.0 Flash Thinking，表3），推理QA最佳约64.1% vs 人类90.0%（表7），协作理解零样本35.2%、VL3+Transformer 42.1%（§4.3）。这些是作者在特定基线、480p@10FPS、子集任务/零样本或浅层微调条件下的结果；可支持“基准有挑战”的范围，不能外推为所有工业部署或更强模型的上界。\n\n优先章节/图表：§3与Table 1/2（数据构成与对比）、Fig.2/Fig.5（协作与任务图）、§4与Table 3/5/6/7（基准与模态消融）、Appendix K（错误分类与任务步骤）。下一轮问题：标注者间一致性对细粒度动作是否足够、训练/测试划分与任务泄漏控制、错误类型与正负样本平衡、ego-exo 同步误差对结论的影响、基线公平性与是否缺少更强时序模型。\n\n过渡：下一轮将围绕数据构建与标注协议、基准定义和实验证据逐项核查其可复现性与结论边界。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n数据集/基准构建流程（非新模型）：\n输入：20名参与者在工业研究设施中佩戴Project Aria采集的ego多模态记录（RGB、SLAM、eye tracking、audio、IMU等）与部分固定exo相机记录；任务覆盖装配/拆卸、检查维修、物流整理、木工、杂项；含单人、协作、引导/非引导、narration/no narration。\n关键步骤：①采集：自定义Aria profile，主RGB 2880×2880@10FPS，SLAM/eye tracking 10FPS；exo 1920×1080；ego/exo为独立录制后人工近似同步（附录E.4，非毫秒级）。②处理：Aria MPS输出gaze、hand pose、semi-dense point cloud、trajectory；提供VRS、MP4、1FPS全分辨率帧。③标注：参与者自标+第二人复核；细粒度动作为verb+noun(+adj)时间段，keystep为语义步骤；协作时两人各自标注；另有人工摘要、mistake标签、QA、task graph。④基准构造：MD、reasoning QA、collaborative task understanding、summarisation/action recognition等。\n任务图：按附录N，keystep节点V与有向依赖边E构成G=(V,E)（此形式化为据文字推断，论文未给公式）；用于表示工序依赖、检测跳步/乱序。\n错误分类：S（严重）、PF（导致流程失败）、IF（影响后续步骤）、H（人身伤害风险）；占比2.3%、18.7%、7%、5%（§4.1）。\nMD设置：zero-shot给VLM视频+正/误提示；微调从VLM抽step embedding接MLP或Transformer，错误步权重5；EM只用前50%帧。\nQA：3105对，基于singular actions 2020与其他1085；四类Tm 14%、Si 28%、Re 32%、A 26%。协作：输入两段同步ego片段，输出各自动作与角色（teacher/student/collaborator），用Mistral-Large语义判分。\n公式/指标：无核心公式；P/R/F1按二分类定义，F1^S等为按错误子类分别计算的F1；准确率为QA/协作判对比例。以上为常规指标，不是论文推导。\n\n\n\n\n\n### 评测设置\n\n数据与评测设置：\n数据规模：3460 ego/197.1h，1092 exo/96.8h；20参与者（15男5女，10国籍，经验0-24年）；约34k细粒度动作；MD 1166段/25任务/五类，平均每任务≥42段（约18正确、24错误）；QA 3105对；singular actions 1010段/5.9h；tools demo 302/4.5h；in-context 604/20.1h。\n划分：MD与action recognition微调80/20；MD joint-view与模态消融用10任务子集；ego vs exo zero-shot用前15个MD任务；协作基准用每场景约50%协作ego记录；QA在singular actions部分。\n基线：VideoLLaMA3 8B（VL3）、InternVL2.5（IVL2.5，InternViT-300M-448px-V2_5）、Qwen2.5-VL-7B（QVL2.5）、Gemini 2.0 Flash Thinking Experimental（GFT，API，架构未公开）；Mistral-Large2用于QA判分及label-only对照；人类4名。\n推理设置：480p视频@10FPS输入；温度0.2、top-p 0.95、最大16帧、最大输出512 tokens、batch 64（Table13）；单张NVIDIA A6000工作站（Table11）。\n缺失/风险：未给随机种子、误差棒或显著性检验（checklist第7项答No）；GFT为API/实验版，版本与调用日期未固定；微调仅7B/8B小模型（Limitations承认）；ego-exo人工同步非毫秒级；细粒度标注IAA严格α=0.25、分组后0.54，keystep α=0.97；MD错误为计划+非计划混合，正负样本与任务泄漏控制未充分报告。\n公平性：GFT zero-shot与本地微调模型不是同等算力/架构比较；Mistral+Label是给动作标签的对照，不能与视频模型直接等价；不同表使用不同任务子集。\n\n\n\n\n\n### 结果与证据\n\n关键结果与证据强度：\nMD（Table3）：zero-shot最佳GFT F1=40.9（P=35.6,R=48.2）；本地微调MLP最佳VL3 F1=39.5，Transformer最佳QVL2.5 F1=36.7；EM最佳QVL2.5(EM) F1=32.7。说明在该设置下zero-shot GFT仍高于浅层微调，不能据此说微调无效，只能说明当前基线/特征/数据量下未超过GFT。\nEgo/Exo（Table4）：前15任务zero-shot，GFT ego F1=41.1、exo=41.6；趋势相近。Joint view（Table5，10任务）：GFT ZS ego0.43/exo0.39/joint0.44；VL3+Tr 0.33/0.32/0.37；IVL2.5+Tr 0.29/0.30/0.33；joint一致最好但增益小。\n模态（Table6）：GFT RGB0.38、+Audio0.41、+Gaze0.39、全0.42；VL3/IVL2.5增益不稳；作者定性称上下文依赖，不能推出音频/gaze普遍有益。\nQA（Table7）：GFT总Acc64.1最高，人类90.0；分项GFT Tm55.4/Si62.1/Re67.2/A68.3；Mistral-Large2+Label总61.4但Tm92.3，说明标签泄漏式输入会改变结论。\n协作（§4.3）：zero-shot GFT 35.2%，VL3+Tr 42.1%；作者称VLM难以区分视角主体与同伴动作。\n其他：action recognition 57.6%（QVL+MLP）至64.1%（VL3+Tr）（附录I.4）；长视频QA audio-only 67.3%（§4.4）。\n结论边界：这些数字支持“当前SOTA在IndEgo上仍有明显差距”，但受子集、提示、API版本、无显著性检验、类别不平衡影响；不支持对工业部署上界或模态因果的强结论。\n\n\n\n\n\n### 相关工作\n\n最接近工作与差异：\n\n- Ego-Exo4D（221h，Multiple，Table2）：最接近的ego-exo多视角技能数据；IndEgo差异在真实工业场景、双人协作角色、20+分钟长序列、工业错误分类与MD/QA基准；但Ego-Exo4D规模更大、场景更广、同步/标定更成熟（论文自述其同步优于IndEgo，附录E.4）。\n- EgoExoLearn（120h，Daily/Lab）：跨视角技能学习；IndEgo更偏工业与协作，但EgoExoLearn有更系统的跨视角学习任务。\n- HoloAssist（166h，Assistive）：有协作、gaze/motion/narration/actions/keysteps/mistakes，最接近“辅助+错误”设定；IndEgo差异是真实工业设施、ego+exo、工业安全错误分类、QA与长时序；HoloAssist的交互/指导任务定义更成熟。\n- Assembly101（42h，Industry-like）：多视角装配/拆卸与keysteps/mistakes；IndEgo强调移动、物流、协作、长时与多模态（gaze/audio/narration），但Assembly101在装配动作细粒度与多视角规模上更强。\n- Meccano（7h，Industry-like）：工业like人-物交互；IndEgo规模更大、任务更广、含协作与错误基准。\n- Nymeria（300h，Daily）：Aria多模态运动数据；IndEgo工业场景与协作/错误标注不同。\n- AssistQ（3h，Assistive）：QA；IndEgo QA更大且含工业推理，但AssistQ的辅助问答设计更聚焦。\n成本：Aria+exo多机位、20人多月采集、隐私同意与匿名化（EgoBlur）、人工同步与复核、标注工作量大；这些成本换来了工业真实性与协作长序列，但也带来同步误差、参与者规模小、场景限于实验室式工业设施（Limitations）。\n说明：以上差异主要依据论文Table2与Related Work的自述；外部数据集属性未在本次访问中独立核验，代码/数据可用性待核验。\n\n\n\n\n\n### 关键图表解读\n\n重点图表（按证据链）：\n\n1) Table1（§3）：给出五类任务+三种附加记录的#Ego/T_ego/#Exo/T_exo与平均时长；支撑“3460 ego/197.1h、1092 exo/96.8h、长序列与协作覆盖”的数据集主张。限制：T_avg为类别平均，MD短片与长任务混合；“Miscellaneous”含大量MD，类别不纯。\n2) Table2（§3.4）：与EPIC-KITCHENS、Ego4D、Ego-Exo4D、HoloAssist、Assembly101等按场景/时长/Exo/协作/Gaze/Motion/Narration/Actions/Keysteps/Mistakes/QA对比；支撑“工业+协作+多模态+MD/QA的组合空白”。限制：✓/✗为作者粗粒度自评，未给各数据集任务定义与标注质量细节，不能当作严格基准。\n3) Figure2（§1/§3.2）：展示双人拆卸场景、两视角+gaze、半稠密点云/轨迹、各自标注、keystep与任务图；支撑“协作过程可被多模态同步记录并结构化”的核心卖点。限制：为示例图，不能证明所有协作序列同步质量；ego-exo为人工近似同步（附录E.4）。\n4) Table3（§4.1）：MD主基线，zero-shot GFT F1=40.9，微调MLP/Tr约36.7–39.5，EM约32.7；支撑“MD对SOTA仍有挑战”。限制：不同行不是同一训练预算；GFT为API实验版；未给误差棒。\n5) Table7（§4.2）：QA上GFT 64.1 vs 人类90.0，分项显示Tm/Si/Re/A差距；支撑“推理QA仍有明显人机差距”。限制：人类可用工业工具数据库，Mistral+Label是标签输入对照；题目为作者筛选，可能偏向视觉/推理难点。\n过渡：以上图表确立了数据构成、定位与主要差距；下一轮评估将据此检查可复现性、标注一致性与结论边界。\n\n\n\n\n\n### 术语表\n\n术语表：\n\n- Egocentric/exocentric：第一人称/第三人称视角；本文ego由Aria佩戴者采集，exo由固定相机采集。\n- Project Aria：Meta的可穿戴多传感器研究设备；本文用自定义profile采集RGB/SLAM/eye tracking/audio/IMU等。\n- VRS：Aria原始记录容器格式；论文提供VRS、MP4与帧。\n- MPS：Machine Perception Service，Aria工具链输出gaze、hand pose、semi-dense point cloud、trajectory。\n- SLAM：同步定位与建图；本文提供SLAM帧用于空间/轨迹。\n- Keystep：粗粒度、语义化的工序步骤，是任务图节点；与细粒度action区分。\n- Task graph：keystep为节点、依赖为有向边的工序图（G=(V,E)为据文推断的形式）。\n- Fine-grained action：verb+noun(+adjective)的时间段标注；中位时长5.7s。\n- Procedural/non-procedural：有严格时序依赖/无严格顺序的任务。\n- MD (Mistake Detection)：判断片段是否含错误；EM (Early Mistake Detection)只用前50%帧预测。\n- S/PF/IF/H错误：严重、导致流程失败、影响后续步骤、可能人身伤害；Table3/4的F1^S等为对应子类F1。\n- Zero-shot (ZS)：不训练，仅提示VLM；本文含正/误两类提示多次平均。\n- MLP/Transformer (Tr)分类器：冻结VLM抽step embedding后接轻量分类头；错误步权重5。\n- F1：调和平均；P/R为precision/recall。\n- Reasoning QA：需视觉感知+推理的问答；四类Tm（时序）、Si（情境推理）、Re（物体识别）、A（类比/溯因）。\n- Collaborative task understanding：从两段ego片段预测各自动作与角色（coworker/teacher/student/supervisor）。\n- Krippendorff's α：标注者间一致性；keystep 0.97，细粒度严格0.25、分组后0.54。\n- PPE：个人防护装备。\n- 480p@10FPS：评测输入分辨率/帧率；Aria原始主RGB为2880×2880@10FPS。\n\n\n\n\n\n### 全部图表索引\n\n图表索引（基于所给材料；图片仅markdown链接，未做视觉核验；Supplementary Material与数据/代码页面未在本次访问中展开）：\nFigure1（§1）：工业案例示例，支撑场景多样性；详见module_d的定位说明。\nFigure2（§1/§3.2）：双人拆卸+点云/轨迹/两视角gaze/标注/任务图，核心示例；详见module_d。\nFigure3（§3.3）：Top20名词/动词/形容词频率与时长，支撑工业词汇多样性。\nFigure4（§3.3）：ego视频时长直方图，阴影为双人协作，支撑长序列/协作分布。\nFigure5（§4.1）：MD任务图与常见错误示例，支撑MD结构化设计。\nFigure6（§4.2）：QA示例与SOTA模型错误，支撑时序/情境推理失败案例。\nFigure7（附录B）：协作拆卸两 worker 视角，支撑协作采集；EgoBlur匿名化。\nFigure8（附录B）：teacher-student木工任务，exo+双方ego，支撑角色型协作。\nFigure9（附录A.1/A.2）：工具、设备与装配体示例，支撑工具多样性。\nFigure10（附录F）：Worker1拆卸标注示例，支撑动作段与协作动作标注。\nFigure11（附录K.1）：MD视频时长按类别堆叠直方图，支撑MD分布。\nFigure12（附录K.2）：Task8钻孔任务图+ego帧，支撑MD任务结构。\nTable1（§3）：数据集总表与类别统计；核心，见module_d。\nTable2（§3.4）：与相关数据集对比；核心，见module_d。\nTable3（§4.1）：MD主基线（ZS/MLP/Tr/EM）；见module_c5与module_d。\nTable4（§4.1）：前15任务MD zero-shot ego vs exo。\nTable5（§4.1）：10任务joint ego+exo MD F1。\nTable6（§4.1）：MD音频/gaze模态消融。\nTable7（§4.2）：QA zero-shot与人类对比；见module_d。\nTable8（附录C）：参与者人口统计。\nTable9（附录E.1）：Aria自定义记录profile。\nTable10（附录E.2）：exocentric相机设备参数。\nTable11（附录E.5）：数据处理工作站配置。\nTable12（附录H）：与Aria系列数据集对比。\nTable13（附录I）：VLM评测超参数。\nTable14（附录K.1/K.2）：25个MD任务的正确步骤与常见错误（跨多页；个别单元格排版有乱码，数字/步骤可读性有限）。\nTable15（附录N）：拆卸Embedded Computing Unit的keysteps与依赖。\nTable16（附录N）：拆卸IKEA Lamp的keysteps与依赖。\nTable17（附录N）：拆卸Mechanical Table的keysteps与依赖。\nTable18（附录N）：拆卸IKEA Table的keysteps与依赖。\nTable19（附录N）：拆卸Trolley Prototype的keysteps与依赖。\nTable20（附录N）：拆卸Workstation Computer的keysteps与依赖。\nTable21（附录N）：拆卸Small Camera Assembly的keysteps与依赖。\nTable22（附录N）：拆卸Camera Subassembly的keysteps与依赖。\nTable23（附录N）：拆卸Trolley ITEM的keysteps与依赖。\nTable24（附录N）：拆卸Circular Table的keysteps与依赖。\nTable25（附录N）：装配Embedded Computing Unit的keysteps与依赖。\nTable26（附录N）：装配IKEA Lamp的keysteps与依赖。\nTable27（附录N）：装配Mechanical Table的keysteps与依赖。\nTable28（附录N）：装配IKEA Table的keysteps与依赖。\nTable29（附录N）：装配Trolley Prototype的keysteps与依赖。\nTable30（附录N）：装配Workstation Computer的keysteps与依赖。\nTable31（附录N）：装配Small Camera Assembly的keysteps与依赖。\nTable32（附录N）：装配Camera Subassembly的keysteps与依赖。\nTable33（附录N）：装配Trolley ITEM的keysteps与依赖。\nTable34（附录N）：装配Circular Table的keysteps与依赖。\nTable35（附录N）：Repair Tasks的keysteps与依赖。\nTable36（附录N）：Open and Close Tasks的keysteps与依赖。\nTable37（附录N）：Small Woodworking Tasks的keysteps与依赖（原文标题有拼写错误Keystens）。\nTable38（附录N）：Long Woodworking Tasks的keysteps与依赖。\nTable39（附录N）：Delivery Tasks的keysteps与依赖。\nTable40（附录N）：Pickup Tasks的keysteps与依赖。\nTable41（附录N）：Inspection and Collection Tasks的keysteps与依赖。\nTable42（附录N）：Organization Tasks的keysteps与依赖。\n缺失说明：文档含Appendix A–P与NeurIPS checklist，但补充材料中的标注规范、工具清单、部分实验细节未完整展开；外部项目页/Hugging Face/GitHub未访问，可用性与版本待核验。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可靠结论（论文内证据）：(1) 资源与构成可核：§3/Table1 报告 3,460 段 ego（197.1 h）与 1,092 段 exo（96.8 h），并列出五类任务及附加记录；这是数据集描述性事实，但外部链接未访问，实际下载完整性待核。(2) 标注与任务定义较完整：§3.2、Appendix F/N 给出动作、keystep、任务图、MD、QA、协作任务；Appendix N 的 keystep 依赖表可直接用于构建评测。(3) “当前 VLM 在该基准上仍有明显差距”有表内证据：Table3 MD 最佳 zero-shot GFT F1=40.9，Table7 QA 最佳 GFT Acc=64.1 vs 人类 90.0，§4.3 协作 zero-shot 35.2%、VL3+Tr 42.1%。这些仅支持该数据子集与提示设置下的挑战性，不支持工业部署上界。\n\n证据不足/需降级：(a) 将 GFT 高于浅层微调解释为“微调无效”不成立；Table3 的行不是等算力/等训练预算，且 API 模型版本未固定。(b) 模态因果（音频/gaze 有益）被作者自己称为 context-dependent（§4.1/Table6），不能推广。(c) joint ego+exo “一致最好”仅 10 任务子集、无误差棒/显著性（checklist 第7项为 No），增益小（Table5 0.43/0.39/0.44）。(d) 人类 QA 90.0 的对比中人类可用工业工具数据库，Mistral+Label 是标签输入对照，不能当作公平视频理解上界。(e) 细粒度标注严格 α=0.25、分组后 0.54（§3.2），对动作识别与 MD 标签噪声风险高；keystep α=0.97 较可靠。\n\n关键假设与失效场景：假设 ego/exo 亚秒级人工同步足以支持动作/keystep 级结论（Appendix E.4 承认非毫秒级）；若做细粒度时序或跨视角对齐，误差会放大。假设自标注+复核能代表真实错误；但 MD 含大量计划性错误（Appendix K.1），可能高估真实工业错误分布。假设 20 名参与者与实验室式工业设施可代表工业场景（Appendix O 承认局限）；迁移到真实工厂、重机械、更多人群时结论可能失效。假设 Mistral-Large 判分可靠；判分提示允许 0.5 分，未报告与人工判分一致性。\n\n复现计划（核心创新是数据集/基准，不是新模型）：所需工件：Hugging Face 数据（FraunhoferIPK/IndEgo）、GitHub 脚本、Project Aria Tools/MPS 输出、VRS/MP4/1FPS 帧、标注与任务图、划分文件、基线代码与提示。关键设置：480p@10FPS、max 16 frames、temperature 0.2、top-p 0.95、max output 512、batch 64（Table13）；MD 80/20 划分、错误步权重 5、EM 仅前 50% 帧；Table5 用 10 任务子集和 k-fold；Table4 用前 15 任务。验证步骤：先核对数据文件数与 Table1、检查 ego/exo 时间戳偏移、重算 IAA 子集；再复跑 Table3/5/6/7 与 §4.3，固定 API 版本/日期并记录随机种子；最后做划分泄漏检查（同任务/同参与者/同场景）与类别平衡审计。成功标准：能定性复现“MD/QA/协作均低分、GFT zero-shot 有优势”的趋势，且数值在报告设置下可解释；若无法取得固定版本 GFT 或完整数据，则只能做本地开源模型子集复现。主要阻塞：HF/GitHub 未访问；GFT/Mistral API 版本与调用日期未固定；随机种子、误差棒、显著性未报告；ego-exo 同步真值未提供；补充材料标注规范未完整展开。\n\n\n\n\n\n### 应用约束\n\n数据约束：原始 Aria VRS+多传感器+exo 视频体量大（§3.3 报告 7.1M 主 RGB 帧、13.9M SLAM/eye-tracking 帧、10.5M exo RGB 帧），存储、传输与 MPS 处理成本高；单段最长约 68 min（§3.1），长视频输入需降采样（评测用 480p@10FPS、16 帧）。采集依赖 Project Aria 与固定 exo 相机，ego-exo 为人工近似同步（Appendix E.4），不是毫秒级；exo 为静态机位，遮挡和双人互挡常见（Appendix E.2）。隐私与伦理：需知情同意、EgoBlur 匿名化、避免背景人员，工业雇主-雇员场景有监控观感（Appendix P）。\n\n算力与延迟：实验用单张 NVIDIA RTX A6000 48GB（Table11），本地模型为 7B/8B；GFT 通过 API，架构未公开。论文未报告推理延迟、吞吐、端侧功耗或实时性，因此不能声称可实时部署。评测超参为 480p、10FPS、最多 16 帧、batch 64（Table13），这是离线基准设置，不是可穿戴设备运行设置。\n\n鲁棒性与适用性：已展示的是离线 benchmark 行为——MD/QA/协作分数低，说明模型在遮挡、工具密集、长时序和角色区分上困难；这是论文证据。未展示的是真实工厂长期运行、跨设备/跨工厂迁移、安全关键告警的可靠性；这些只能视为推断。适用：研究性评测、错误检测与协作理解基线、技能/流程建模；不适用：未经校准的安全监控或绩效评估。部署还需解决同步、隐私、模型版本固定、误报代价与人工复核。\n\n\n\n\n\n### 探索问题\n\n1) 细粒度动作标注能否支撑训练与评测？验证：抽取跨五类子集，独立双盲重标，按严格与分组词表分别计算 Krippendorff α，并用分组标签重跑动作识别/MD，报告置信区间。收益：直接判定 Table3 与 Appendix I.4 的标签噪声边界，决定是否应使用分组标签或只使用 keystep。风险：重标成本高，且可能显示 α 过低，迫使缩小可支持结论。\n2) ego-exo 同步误差是否影响 joint-view 增益？验证：在子集用拍手/视觉标记测偏移分布，人为注入 0.1–1 s 偏移重跑 Table5，做 k-fold 与 bootstrap CI。收益：判断“joint 一致最好”是否稳健，给出可接受的同步容差。风险：若增益消失，则论文的跨视角卖点需重新定位。\n3) 更强时序模型或公平基线是否会推翻“SOTA 仍难”？验证：在相同划分上加入更大开源视频模型、时序 Transformer、音频/gaze 融合，固定 GFT 版本，多种子报告均值±方差；同时做仅标签/仅音频对照。收益：给出更可信的上界与失败类型。风险：算力大、API 不可复现、子集小导致过拟合。\n\n\n\n\n\n### 引用与核验\n\n本次仅核对文档内引用与表号，未访问外部网页/仓库，因此以下“已核”只指文档内一致，“待核”指未独立验证。\n\n支撑新颖性与最强比较的引用：Table2 的对比（EPIC-KITCHENS [^13]、Ego4D [^12]、Ego-Exo4D [^14]、EgoExoLearn [^45]、HoloAssist [^48]、Assembly101 [^18]、Meccano [^17]、Nymeria [^52]）是作者自评的 ✓/✗ 表，未给各数据集任务定义与标注质量细节；不能当作严格基准，需查原论文/主页。Appendix E.4 称 Ego-Exo4D [^14] 与 Nymeria [^52] 有毫秒级同步，这是决定性外部比较，未核验。Project Aria [^4]、MPS/VRS、EgoBlur [^67] 是复现依赖，需查官方文档与许可；HF/GitHub 链接（摘要与 Appendix G）未访问，代码/数据可用性待核。\n\n最强基线：GFT 为 Gemini 2.0 Flash Thinking Experimental [^57]，经 API、架构未公开；论文未固定版本/调用日期，Table3/7 的“最佳”不可独立复现到同版本。Mistral-Large2 [^63] 用于 QA 判分、摘要与协作语义判分；判分提示（Appendix I.1）允许 0.5 分，但未报告与人工判分一致性。人类 QA 仅 4 名评价者（§4.2），未给选拔与一致性。\n\n引用编号问题：Table2 中 AssistQ 与 HoloAssist 均标 [^48]，而参考文献 [^48] 为 HoloAssist；AssistQ 的对应引用不一致，需核验。其余引用（如 [^15][^16] 错误检测、[^51] LEMMA、[^53] Aria Synthetic Environments）为背景或外围，未逐条核验。出版信息：文档含 NeurIPS 2025 checklist，但无正式 publication date/venue 声明；publication_date/venue 暂空，待核验。\n\n\n\n\n\n### 最终判断\n\n总体判断：IndEgo 最值得信任的是“数据集与基准资源”本身——规模、任务分类、keystep/任务图、MD/QA/协作评测定义有较清楚的文档支撑；最不应直接采信的是把低分基线解释为工业部署上界、把 GFT 优势解释为微调无效、以及把模态增益当作普遍因果。使用建议：把它当作工业 ego/exo 多模态评测套件和错误/协作研究起点，先复核标注一致性、划分与同步，再用于训练或比较；引用具体数字时必须带上表号、子集和 API 版本条件。下一步应先取得 HF 数据与 GitHub 脚本，完成划分与同步误差审计后再决定是否纳入模型训练或评测。"
}