## 1 引言
以眼为中心的视觉技术与人工智能正受到广泛关注，这既源于其巨大的经济潜力，也得益于通用基础模型的最新发展 [^1] [^2] [^3] [^4]。该领域的关键目标之一
---
Figure 2: A scenario of a disassembly process from the IndEgo dataset. The two participants work collaboratively on the task. The semi-dense point cloud and the user trajectories are generated by processing the raw data from the Aria device [^4] [^11]. The egocentric perspective of the two participants with the projected eye gaze point can be seen in relation to the 3D environment and the exocentric view. Bottom: The annotations from each worker's perspective, and the keysteps in the process. Right: The corresponding task graph for the procedure. The flow of activities is from top to bottom, and dependencies are shown with an arrow. $\square$ denotes labour-intensive steps.
是开发出实用的AI助手，能够理解用户的行为、意图和需求，并提供有价值的指导 [^5] [^4]。这类助手在帮助人们学习新技能、适应新环境以及提升用户体验方面将发挥重要作用。此外，以眼为中心的研究对于开发能够从演示中学习、协助并与人类协作的具身智能体也具有重大意义 [^6] [^7] [^8] [^9] [^10]。
为了推动并加速这些领域的研究，目前已推出了多个数据集和基准测试[^12] [^13] [^3]。当前的数据集和研究主要聚焦于日常活动与流程[^12] [^13] [^14]。部分原因是这些内容适用于不同文化和生活方式，也因为诸如厨房等场景更便于设计实验和收集数据[^13] [^15] [^16]。一些新近发布的数据集也开始关注类工业场景[^17] [^18]，不过真正在工业环境中发布的数据集仍然很少。由于复杂性高、任务多样且环境动态变化，工业场景为以眼为中心视觉研究提供了丰富的领域[^18] [^19]。在工业环境中，工人需要执行复杂的手工操作，操控各种工具与零部件，并在杂乱且不可预测的空间中移动[^19] [^20]。这些条件给以眼为中心视觉系统带来了独特挑战，比如实时准确识别动作与手势、在视觉遮挡情况下定位工具与零件，以及适应多变的照明与环境条件。这类场景在当前以眼为中心视觉的数据集及研究中仍被严重忽视。
基于以眼为中心视觉的辅助技术，能为提升工业操作的生产力、安全性和效率带来诸多独特且实用的价值。为了探究可穿戴式以眼为中心视觉辅助设备的未来应用潜力，我们推出了IndEgo数据集，该数据集从以眼为中心的角度记录了各类工业任务与流程，部分案例还提供了以物为中心视角作为参考。IndEgo包含3,460段独特的以眼为中心视频记录（总计197.1小时），以及1,092段配套的以物为中心视频记录（总计96.8小时）。这些数据来源于特定工业设施中参与者进行的有脚本及无脚本动作，采集条件涵盖不同的照明、时间段和场景设置。图1展示了一个示例。该数据集还涵盖了协作工作场景，即两名参与者以不同角色（搭档、师生、领导者与助手）共同完成同一任务。未来的人工智能助手与具身智能体将与人类并肩完成此类任务，因此这一细分领域值得进一步探索与研究。
---
## 2 相关工作
人工智能助手。人工智能技术的广泛应用促使人们大力开发能够聊天（文本与语音）、回答问题、理解图像和视频并处理多模态数据的数字助手[^21] [^2] [^22]。能够操纵环境并协助人类工作的具身智能体的研究也在加速推进[^23] [^24] [^25] [^26]。
以自我为中心的计算机视觉。其目标是从以人为中心的角度来理解世界 [^27] [^3] [^28]。用户通常会通过佩戴便携式摄像设备（或其他传感器）来进行各种活动，从而收集数据 [^12] [^13]。这为理解传统视觉研究无法涵盖的多种场景提供了依据 [^12] [^5]。由于场景和环境的动态性，这一领域面临着诸多新挑战 [^4] [^29] [^30]。研究方向包括视频理解与摘要生成 [^29] [^31] [^32]、手物交互 [^33] [^34]、人际互动 [^35] [^36]等。此外，基于眼镜的传感器也为眼动理解与预测研究带来了新机遇 [^37] [^38] [^39]。配备摄像头和音频功能的智能眼镜近年来取得了商业上的成功 [^40]，人们对AR/VR技术的兴趣也持续高涨 [^41] [^42]。
以自我为中心的数据集。近期出现了多个开源数据集和基准测试，其中包括EPIC-KITCHENS [^13]和Ego4D [^12]。这些数据集凸显了在音视频日志分析、情景记忆、动作预测、定位与跟踪等领域开展研究的必要性。已发布的数据集中有很大一部分聚焦于日常活动以及室内外任务 [^13] [^12] [^43]。诸如CharadesEgo[^44]、EgoExo4D [^14]和EgoExoLearn [^45]等近期发布的数据集还采用了客观/他心视角，旨在深化理解、实现跨视角表征学习与技能迁移。一些特定行业相关的任务，如装配-拆卸、目标步骤理解及技能评估等也已被提出 [^18] [^14]。错误检测等基准测试任务也受到了越来越多的关注 [^18] [^15] [^16]。
空白与机遇。在本文中，我们研究并展示了未来不久有望应用基于以自我为中心的视觉辅助系统的工业场景及潜在用例。这类辅助系统需要能够理解工人所处的环境及其个人背景，引导用户穿越复杂的环境并执行任务，回答各类问题，识别错误，并能审慎地考量各种因素 [^5] [^4] [^46] [^47]。Meccano [^17]、Assembly101 [^18]、HoloAssist [^48] 等数据集涵盖了类似工业的场景，参与者需完成流程化任务并遵循相关指示。不过，这些任务大多要求参与者在工作站或办公桌前操作 [^18]。而在现实场景中，工人需要四处移动、执行漫长且艰巨的任务，并与其他人协作。Project Aria Toolkit的问世为数据采集与研究开辟了诸多机遇 [^4] [^49]。Aria设备重量轻，其外形尺寸与未来以自我为中心的可穿戴设备颇为相似 [^4] [^41]。这使得用户能够自由活动，采集环境中富含上下文信息的多模态数据。因此，参与者可以执行对认知和体力要求较高的任务，类似于真实的工业环境，同时无需受限于办公桌，能够自然移动 [^50]。此外，该工具包还支持用户协同完成特定任务，借助多模态传感器输出数据便可更细致地展开研究。图2展示了一个示例。最后，以往的数据集主要聚焦于短时至中等时长的任务 [^18] [^48]，而时长超过20分钟的长周期活动则鲜有涉及。
## 3 IndEgo数据集
工业场景。我们将任务分为五大类：装配与拆卸
检查与维修、物流与整理、木工及其他杂项。这些类别之间可能存在重叠，尤其是在较长的任务中（例如工人需先将设备和工具搬运到另一地点再进行拆卸）；此类情况下，我们依据视频的整体目标来分类。这些任务对认知和体力均有较高要求，需要具备相应的推理与操作能力。更多细节见附录A。
工具、设备及机器。工作中使用的工具包括工业或实验室中常见的通用工具及专业工具。在装配/拆卸环节，我们会使用机械设备。
---
Figure 3: Grouped bar charts of frequencies (left axis) and durations (right axis) for the fine-grained action annotations: Top 20 nouns (left), verbs (middle), and adjectives (right). Our dataset covers diverse industrial contexts, which are not represented by current egocentric/exocentric datasets. This highlights the multimodality and human-centric attributes of IndEgo.
| Category | $T_{avg}$ | 1-Person | Collaborative | Narration | #Ego | $T_{Ego}$ (h) | #Exo | $T_{Exo}$ (h) |
| Assembly | 15.2 m | ✓ | ✓ | ✓ | 188 | 47.5 | 152 | 30.4 |
| Disassembly | 11.1 m | ✓ | ✓ | ✓ | 136 | 24.9 | 112 | 17.0 |
| Inspection and Repair | 7.8 m | ✓ | ✓ | ✓ | 238 | 30.9 | 202 | 17.7 |
| Logistics/Organisation | 4.5 m | ✓ | ✓ | ✓ | 456 | 35.4 | 158 | 8.1 |
| Woodworking | 7.5 m | ✓ | ✓ | ✓ | 148 | 18.4 | 116 | 14.9 |
| Miscellaneous | 1.5 m | ✓ | ✓ | ✗ | 378 | 9.4 | 352 | 8.7 |
| Tools/Objects in Context | 120 s | ✓ | ✗ | ✗ | 604 | 20.1 | - | - |
| Tools/Objects Demo | 53 s | ✓ | ✗ | ✓ | 302 | 4.5 | - | - |
| Singular Actions | 21 s | ✓ | ✓ | ✗ | 1010 | 5.9 | - | - |
| Total | 205 s | ✓ | ✓ | ✓ | 3460 | 197.1 | 1092 | 96.8 |
Table 1: A breakdown of the IndEgo dataset, showing the key categories and related statistics. $T_{avg}$ gives the average duration of the recording, #Ego gives the number of videos from the Egocentric perspective, $T_{Ego}$ gives the total cumulative time for egocentric data, #Exo gives the number of videos from the fixed exocentric perspective, $T_{Exo}$ gives the total cumulative time for exocentric data.
PC机柜以及定制化组件。图9展示了一些示例。详细描述可见补充材料。
Figure 4: Histogram of egocentric video durations (minutes) of medium-longer task sequences for each category: assembly/disassembly, inspection/repair, logistics/organisation, and woodworking. The hatched regions represent two-person collaborative tasks. Details on the Miscellaneous category are provided in Appendix (A and K).
### 3.1 数据采集流程
参与者。数据由20名参与者提供，其中男性15人，女性5人。参与者的选取过程公平合理，其性别比例反映了工业领域中的实际情况。他们在工业技能方面经验各异（从初学者到专家），且来自不同的国家和民族背景。在本研究中，所有参与者仅使用英语进行演示和讲解。更多细节见附录C。
硬件设置。每位参与者均使用Aria设备[^4]来获取自我中心的视角。我们定义了自定义配置文件，并在所有实验环节中记录来自所有可用传感器的数据。摄像头传感器的数据采集速率为10帧/秒。主RGB摄像头被设置为最高分辨率（8MP：2880）。
---
× 2880）。对于较长的录制任务，我们会使用便携式充电宝，通过USB线缆连接设备。在此配置下，单次录制的最长时间约为68分钟（受限于设备本地存储空间）。此外，我们在1092个实例中使用了外部非中心式摄像头。我们采用了不同型号的摄像头传感器（索尼A6400 APSC搭配Sigma 16毫米和30毫米镜头、三星Galaxy A51以及iPhone 16作为备用），其分辨率均为$1920 \times 1080$。外部摄像头被放置在假设第三人称观察者的大致位置，能够清晰捕捉到参与者及其工作区域的情况。参与者采集的原始数据会被存储并在一台专用工作站上进行处理。更多细节详见附录E。
隐私与伦理。参与者事先已充分了解项目的总体范围以及数据集公开发布和开源的意图。在获得书面同意后，我们向他们简要介绍了Aria设备的使用方法及标准操作规范（包括工作流程与安全要求、伦理准则、所用工具的管理等）。工作场所与其他研究人员、技术人员及工作人员共享；他们均已获知正在进行的录制活动及相关协议，以避免其隐私权受到侵犯。对于出现在录像背景中的人员，我们也取得了他们的书面同意。项目目标、收集的数据及其他相关内容均已提交审查机构审核，并获准用于本次提交。
实验流程。各项活动在一家工业研究机构内持续数月开展。每个环节开始时，会先回顾计划任务，随后准备所需的工具/设备。每位参与者需对Aria设备进行校准，以确保其能准确追踪眼动轨迹（通过眼动追踪摄像头实现）。不同的任务和场景在不同的环境中进行：首先，参与者会被赋予一个目标（例如拆卸机械框架），但无需遵循特定步骤或指示。他们需边执行任务边描述内心活动，包括不确定如何操作时或犯错时的情形。其次，他们会收到详细的逐步指导，以及确认任务是否完成正确的评判标准。第三，对于具有挑战性的任务，会有另一名参与者陪同，两人以团队形式协作完成任务。此时，两名参与者均需佩戴Aria设备，并相互交流、叙述自己的想法。我们还设计了这样的场景：参与者面对两套完全相同的设备和工具，由经验更丰富的人通过演示和对话来指导另一位参与者。参与者可随时寻求助手的帮助，但助手仅在紧急情况或参与者主动请求时才会介入。最后，参与者会在各种场景中重复数据集中的某些序列，故意制造错误，以供错误检测（MD）基准测试之用（详见第4节）。
他们还收集了不同情境下单一动作的数据。这些动作较为简单且目标明确（例如卸下手推车上的货物、拧紧螺栓、夹住木块），这类动作在行业中可能出现在不同场景中。为了增加多样性，参与者会使用不同的物体（轻重不一、数量不等）、地点和背景。另外还录制了一组包含相关工具和物体的视频，展示用户与这些工具和物体的互动过程。研究的重点是在各种情况下特定工具的使用情况（如视线、手部动作等）。最后，参与者还录制了关于如何使用不同工具及其用途的说明和演示（配有解说）。表1列出了数据集各部分的详细分类。
### 3.2 标注、标记与数据形式
参与者会为自己录制的视频标注数据，随后由另一人进行审核。在协作工作中，每位用户需对自己执行的动作进行标注。关于标注依据和既定流程的详细信息可参见附录（D和F）。图2展示了一个示例，其中正在进行的工序以及两名工人的动作被纳入具体语境中。这些动作被划分为逻辑段落，例如连接金属棒、将钻头安装到钻床上等。我们还会对流程性活动的关键步骤进行标注。
我们分享了所有传感器采集的原始数据，以及处理后的视频文件和提取的帧图像。Aria录音的处理结果包括视线估计、手部姿态估计、半密集点云和轨迹数据。对于流程性活动，我们还提供了任务图谱、使用说明（最初提供给参与者的资料）以及元数据。此外，我们还提供了解说和对话的音频转录文本。更多细节见附录F。
---
| Dataset | Scenario | Hours (Ego) | Exo | Collaboration | Gaze | Motion | Narration | Actions | Keysteps | Mistakes | QA |
| EPIC-KITCHENS [^13] | Kitchen | 100 | ✗ | ✗ | ✓ | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| CharadesEgo [^44] | Daily | 34 | ✓ | ✗ | ✓ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Ego4D [^12] | Multiple | 3670 | ✓ | ✗ | ✗ | ✗ | ✓ | ✗ | ✗ | ✓ | ✗ |
| LEMMA [^51] | Daily | 10 | ✓ | ✓ | ✗ | ✗ | ✗ | ✓ | ✓ | ✗ | ✗ |
| Ego-Exo4D [^14] | Multiple | 221 | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
| EgoExoLearn [^45] | Daily, Lab | 120 | ✓ | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ |
| Nymeria [^52] | Daily | 300 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| AssistQ [^48] | Assistive | 3 | ✗ | ✗ | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ | ✓ |
| Meccano [^17] | Industry-like | 7 | ✗ | ✗ | ✓ | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| HoloAssist [^48] | Assistive | 166 | ✗ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ |
| Assembly101 [^18] | Industry-like | 42 | ✓ | ✗ | ✗ | ✗ | ✗ | ✓ | ✓ | ✓ | ✗ |
| IndEgo (ours) | Industrial | 197 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
Table 2: Comparison with related datasets on scenarios, modalities, and annotations. Hours (Ego) refers to the cumulative duration of distinct egocentric video recordings. Top: Datasets with diverse and everyday scenarios. Bottom: Datasets in an industry-like or assistive setting.
标注者间一致性评估。我们对数据集的一部分（累计3小时的数据，涵盖所有场景）进行了简要研究。这些录像由最多3名参与者分别标注。针对每次标注结果，我们评估了各帧时间标注的一致性。
关键步骤标注：标注者之间的一致性非常好，Krippendorff's Alpha系数达到$\alpha = 0.97$。唯一的分歧通常出现在某个步骤的起始和结束时间点（例如总时长为557秒的录像中，分别为210秒和212秒）。
细粒度标注：若要求严格一致（即某一帧中的动词和名词词元完全匹配），Krippendorff's Alpha系数为$\alpha = 0.25$。不过，若将相似的动词和名词归为一组（例如[detach, remove]、[allen wrench, hex key]、[get, grab, pick up]、[colleague, coworker]），该数值会上升至$\alpha = 0.54$。我们承认，参与者在标注和划分动作的方式上存在一定差异——例如一名参与者将某时间段标注为“拿起设备”后接“旋转设备”，而另一名参与者则将其整体标注为“翻转设备”。标注者对动作的描述方式也存在差异，例如“搜索抽屉并找到工具”和“找到工具”被标注为同一动作；同样，“握住金属棒”和“协助同事”在协作任务中也被标注为同一动作。我们认为这种差异并非缺陷，反而反映了人们对动作的不同理解方式。
### 3.3 数据集分布与分析
该数据集包含197.1小时的以人眼为中心的视频数据，相当于来自Aria设备主RGB摄像头的710万帧图像；此外还有1390万帧SLAM数据和1390万帧眼动追踪数据，均与主RGB录像同步。另外，数据集还收录了96.8小时的外向视角录像，对应1050万帧RGB图像。表1详细列出了各类别的数据构成，其中包括时长较短的错误检测（MD）任务，以及中等到较长的工业任务。图4进一步展示了这些较长序列的细分情况，同时标明了四类任务中协作录像的分布。杂项类别主要由MD录像组成，涵盖那些无法明确归入其他预定义类别的任务。
参与者总共为约3.4万个细粒度动作提供了标注，每个动作都包含特定于任务的动词、名词和形容词。图3展示了中等到较长任务序列中的词性（POS）分布。图中还显示了出现频率最高的词性及其在所有类别中的累计时长。标注时长的中位数为5.7秒，最短为0.19秒（例如将物体递给同事），最长可达214秒（例如观看同事的演示）。用户还为每个序列标注了关键操作步骤，提供了结构化的关键步骤标注，以支持任务理解和性能评估。
### 3.4 与现有数据集的比较
表2概述了IndEgo与其他以人眼为中心的数据集的属性对比。表格下方列出了主要聚焦于辅助技术和类工业场景的数据集。我们的数据集旨在填补工业场景、协作工作以及对身体和认知要求较高的任务方面的关键空白。此外，其多模态特性（视频、音频、叙述、视线）也提升了研究与应用潜力。
---
与Project Aria相关数据集的比较。目前已发布多个使用Project Aria设备和工具包采集的数据集，包括Ego-Exo4D [^14]、Aria Everyday Activities [^43]、Aria Digital Twins [^49]、Aria Synthetic Environments [^53]、HOT3D [^33]以及Nymeria [^52]。所有这些数据集都利用了多模态传感器能力和现有的数据处理工具。我们的数据集在聚焦工业场景和辅助场景方面独具特色。更多细节见附录H。
## 4 基准测试与评估
所有实验均在专用工作站（Nvidia A6000 GPU）上开展。我们对所有模型采用一致的超参数（详情见补充材料）。所用模型的缩写如下：VL3：VideoLLaMA3 8B [^54]；IVL2.5：Intern-VL-2.5（InternViT-300M-448px-V2_5）[^55]；QVL2.5：Qwen2.5-VL-7B [^56]；GFT：Gemini 2.0 Flash Thinking Experimental [^57]。* 通过API调用，属于实验性模型，模型架构未明确说明。所有模型均使用480p分辨率、10FPS的视频输入，更多细节见附录I。
### 4.1 错误检测
Figure 5: Task graphs for some scenarios from the MD benchmark, along with some commonly seen mistakes (not exhaustive). The flow of actions is from top to bottom, and dependencies are shown with an arrow. $\square$ denotes labour-intensive steps. Left: Miscellaneous sequence #3 at the top, and Assembly sequence #23 at bottom. Right: Logistics sequence #21. The graph is shortened due to spatial constraints.
我们共记录了25项任务中的1166个以自我为中心的序列，涵盖全部五个类别，包括正确操作以及计划内和计划外的失误。这些任务既包括程序性任务（如维修电脑），也包括非程序性任务（如工作结束后整理工作台）。每项任务至少包含42段录音，平均而言有18段为正确操作，24段存在失误。常见的错误类型包括跳过某个程序步骤、操作顺序错误以及添加不必要的步骤。此外还有行业特定的失误，例如不遵守工作场所安全规范、不当操作工具/设备，以及物品摆放不当。对于协作任务，我们还纳入了诸如粗心地将物品递给同事、不协助同事完成体力劳作等失误。图5展示了一个协作任务的示例，并列举了一些失误情形。针对大多数任务，我们还提供了以他人为中心的记录。我们发现，在自我视角视野受限的情况下（如佩戴个人防护装备/安全服），他人视角能为操作步骤提供额外背景信息。在标注方面，我们提供了分步骤的操作片段和失误标签，以及对失误的描述。我们还为正确的操作序列提供了任务图谱。
---
| Approach | P | R | F1 | $F1^{{S}}$ | $F1^{{PF}}$ | $F1^{{IF}}$ | $F1^{{IH}}$ |
| ZS | VL3 [^54] | 15.6 | 46.2 | 23.3 | 36.2 | 38.2 | 27.4 | 32.1 |
| IVL2.5 [^55] | 16.2 | 48.2 | 24.2 | 38.1 | 37.1 | 29.0 | 33.2 |
| QVL2.5 [^56] | 15.9 | 50.1 | 24.1 | 38.8 | 36.5 | 28.8 | 34.1 |
| GFT $^{{*}}$ [^57] | 35.6 | 48.2 | 40.9 | 51.2 | 42.2 | 34.7 | 48.0 |
| MLP | VL3 [^54] | 30.4 | 56.7 | 39.5 | 48.1 | 38.8 | 32.1 | 41.3 |
| IVL2.5 [^55] | 31.6 | 50.0 | 38.7 | 47.7 | 39.1 | 30.5 | 42.2 |
| QVL2.5 [^56] | 31.4 | 51.6 | 39.1 | 42.6 | 39.8 | 35.4 | 44.0 |
| Tr | VL3 [^54] | 34.5 | 33.3 | 33.9 | 39.2 | 35.5 | 29.1 | 38.5 |
| IVL2.5 [^55] | 30.1 | 41.7 | 35.5 | 36.5 | 38.7 | 32.1 | 39.2 |
| QVL2.5 [^56] | 33.3 | 41.0 | 36.7 | 37.0 | 39.4 | 29.5 | 36.7 |
| MLP | VL3 [^54] (EM) | 21.3 | 55.0 | 30.7 | 36.2 | 38.2 | 30.1 | 32.2 |
| IVL2.5 [^55] (EM) | 23.3 | 49.2 | 31.6 | 35.2 | 32.7 | 31.6 | 30.5 |
| QVL2.5 [^56] (EM) | 24.1 | 51.0 | 32.7 | 34.2 | 32.0 | 32.1 | 40.1 |
Table 3: Baseline Results for Mistake Detection. Top: Zero-shot evaluation - the F1 $^{S}$ and F1 $^{H}$ scores are higher because the model was prompted for the particular mistake. Middle: Fine-tuning binary classification (Mistake/Correct) via an MLP. and Transformer. Bottom: Early Mistake Detection (EM), where only 50% of the initial frames of the segment are available for the prediction.
In industrial settings, certain mistakes can be more consequential/critical than others. Hence, we add $\underline{\text{context-dependent categorisation}}$ for such errors. These include $\underline{\text{Severe Mistakes (S)}}$ - which can lead to unnecessary disruptions (e.g. mishandling a fragile object); mistakes leading to failure of the entire process (PF) - e.g. placing the wrong item in a shipment; mistakes that $\underline{\text{impact all future steps (IF)}}$ - e.g. forgetting to open the trolley hatch before loading material; and mistakes posing a risk of $\underline{\text{physical harm to self or other (H)}}$ - e.g. cleaning a wound with a dirty cloth. Majority of mistakes in the dataset do not fall into either category; 2.3% are S, 18.7% are PF, 7% are IF, and 5% are H. Further details are provided in Appendix K.
| Approach | P | R | F1 | F1 $^{S}$ | F1 $^{PF}$ | F1 $^{IF}$ | F1 $^{H}$ |
| Ego | VL3 [^54] | 17.1 | 48.0 | 25.2 | 34.1 | 37.2 | 28.4 | 35.5 |
| IVL2.5 [^55] | 18.2 | 48.7 | 26.5 | 32.3 | 36.1 | 30.1 | 34.2 |
| QVL2.5 [^56] | 16.5 | 50.5 | 24.8 | 34.1 | 29.1 | 30.5 | 32.0 |
| GFT $^{*}$ [^57] | 36.5 | 47.2 | 41.1 | 50.1 | 43.2 | 33.6 | 44.5 |
| Exo | VL3 [^54] | 20.1 | 44.2 | 27.6 | 34.7 | 34.8 | 31.2 | 29.1 |
| IVL2.5 [^55] | 18.7 | 48.8 | 27.0 | 37.5 | 33.3 | 29.8 | 32.5 |
| QVL2.5 [^56] | 21.1 | 49.6 | 29.6 | 32.4 | 29.4 | 31.4 | 32.6 |
| GFT $^{*}$ [^57] | 35.1 | 51.1 | 41.6 | 48.5 | 41.0 | 34.3 | 46.6 |
Table 4: Zero-shot evaluation for MD on the first 15 tasks. Top: Egocentric Perspective. Bottom: Exocentric Perspective. A similar trend is seen across the two views.
Table 3 gives baseline results on the MD benchmark. For zero-shot evaluation, the VLMs are presented with the video and asked to predict whether it contains the correct action or a mistake. For the test, users designed specific prompts that instructed the VLM to look for specific factors (e.g. did the user use the appropriate tool for the task?), and also to check if a known mistake is occurring (e.g. did the user leave the trolley in the corridor?). The cluttered background and industry-specific nature of the data make it difficult for the VLMs to accurately reason about the action.
For finetuning results, we extract the feature embeddings for the action steps from the VLMs, which are then forwarded to either an MLP classifier or a Transformer (Tr) based classifier. Steps with mistakes are assigned higher weight (5). For early mistake detection (EM), only the initial 50% of frames are available to the model during validation/testing. Table 4 compares the zero-shot evaluation results on the first 15 MD tasks for the egocentric and exocentric perspectives.
| Model | Ego | Exo | Ego + Exo |
| GFT (ZS) [^57] | 0.43 | 0.39 | 0.44 |
| VL3 + Tr [^54] | 0.33 | 0.32 | 0.37 |
| IVL2.5 + Tr [^55] | 0.29 | 0.30 | 0.33 |
Table 5: Mistake detection F1 scores for Ego-only, Exo-only and joint-views. We compare zero-shot (ZS) and finetuned (+Tr denotes a transformer block) models. The joint view consistently yields the best performance.
我们选取了10项任务作为子集来评估失误检测效果，以此判断自我视角与他人视角结合的价值，相关F1分数见表5。本研究采用了零样本（ZS）评估以及微调方法：我们从视觉-语言-动作模型中提取分步骤的嵌入向量，将对应视角的嵌入向量拼接起来，随后利用k折交叉验证训练基于Transformer的模型（+Tr）。在所有模型中，自我视角与他人视角相结合的方式略优于单一视角输入。对零样本结果的定性分析表明，当自我视角被遮挡或失误部位不在焦点范围内时，他人视角的作用最为显著；不过在某些情况下，它并未带来性能提升，甚至会导致错误预测。
---
| Model | RGB only | RGB + Audio | RGB + Gaze | RGB + Audio + Gaze |
| GFT (ZS) [^57] | 0.38 | 0.41 | 0.39 | 0.42 |
| VL3 [^54] | 0.27 | 0.26 | 0.28 | 0.30 |
| IVL2.5 [^55] | 0.30 | 0.28 | 0.29 | 0.29 |
Table 6: F1 scores for Mistake Detection (averaged across 10 tasks), ablating audio and gaze modalities. Our investigation into the results for each task shows that the utility of each modality is highly context-dependent.
Figure 6: Example questions from the reasoning-based QA benchmark from the dataset, followed by an answer produced by a SOTA model [^54]. Left: The Answer was wrong, potentially because the model misunderstood the temporal action (attaching vs. detaching). Right: The answer is wrong because of incorrect situated reasoning (closing the door from the inside is different from walking out and closing the door).
关于模态贡献的消融研究。我们在数据集的失误检测部分开展了实验（涵盖所有场景下的10项任务），相关平均F1分数见表6。在零样本评估中，眼动轨迹会被叠加到RGB视频流上，模型会被提示聚焦于指定区域。定性分析结果显示，某种模态的影响取决于具体语境。例如，在嘈杂环境中移除音频模态反而能略微提升性能；而在协作任务中，音频能为理解语境提供关键信号。同样，当用户在视野范围内做出错误操作时，提示模型利用眼动信息会很有帮助；但如果失误发生在视线范围之外（比如忘记将物品装入容器），加入眼动模态反而会略微降低性能。
### 4.2 基于推理的视频问答
对于以自我为中心的助手和智能体而言，能够理解场景、任务并推理各种行为所产生的影响至关重要。当前最先进的多模态模型在处理文本和图像数据方面展现出了卓越的能力[^58] [^59] [^21] [^22]。人们也越来越重视推理与规划能力[^46] [^60] [^61]。最近的视频语言模型（VLM）已被证明能够理解以环境为中心的视频，还能进行总结并回答相关问题[^62]。这些能力同样可推广到以自我为中心的场景以及工业场景中。我们基于单一动作、细粒度注释（2020年）及其他类别（1085个）整理出一套包含3105组问答对的数据集。这些问题需要依靠视觉感知以及对用户动作和视野内物体的推理能力。这些问题的设计初衷是让普通技术人员（或能上网的普通人）也能作答。图6展示了基于单一动作的两道题目的示例。这些题目大致可分为四类：侧重动作时间维度的题目（Tm - 14%）、需要情境推理的题目（Si - 28%）、需要识别视野内物体的题目（Re - 32%），以及需要类比或溯因推理的题目（A - 26%）。
表7给出了最先进的VLM在该基准测试中的单一动作部分准确率结果。如图6所示，人类能够轻松回答的问题，对VLM来说却可能颇具挑战性。作为对比，人类评估员（共4人）也回答了这些问题。
---
| Model | Acc $^{TM}$ | Acc $^{Si}$ | Acc $^{Re}$ | Acc $^{A}$ | Acc |
| VL3 [^54] | 52.2 | 60.3 | 59.4 | 57.5 | 58.2 |
| IVL2.5 [^55] | 51.7 | 61.1 | 58.2 | 56.0 | 57.6 |
| QVL2.5 [^56] | 53.2 | 60.8 | 59.3 | 56.5 | 58.1 |
| GFT $^{*}$ [^57] | 55.4 | 62.1 | 67.2 | 68.3 | 64.1 |
| ML2 $^{*}$ [^63] + Label | 92.3 | 51.4 | 42.8 | 78.3 | 61.4 |
| Human | 92.6 | 89.6 | 90.4 | 88.6 | 90.0 |
Table 7: Zero-shot evaluation of the reasoning based QA benchmark on singular actions portion of the dataset with some SOTA VLMs. Mistral-Large2 model was given the action label (e.g. closing the door from the inside) and asked to select a correct answer. Human evaluators had access to the industrial tool database from the dataset. $*$via API, Experimental, model architecture unspecified.
### 4.3 协作环境中的任务理解
对于以自我为中心的助手来说，理解佩戴者及其他人的动作十分重要，尤其是在共同执行任务时。我们从数据集中提取了用于程序性任务和非程序性任务的动作对。我们的目标是区分并预测给定时间段内用户和同事的动作，同时明确他们的相对角色（例如合作者、教师/学生）。零样本评估的准确率为35.2%（GFT），可见VLM在区分以自我为中心的观察者的动作与同事的动作方面存在困难。我们采用了类似MD的方案（将VLM嵌入特征输入分类器），训练模型根据同事的动作来预测佩戴者的行为，得到的基线准确率为42.1%（VL3 + Tr）。两次评估均基于各场景中约50%的协作式以自我为中心录像数据进行。消融实验表明，移除音频模态会对零样本结果产生负面影响。更多细节详见附录（B和M）。
### 4.4 额外实验
摘要生成、长视频理解与推理问答。其目标是生成输入视频（文本和图像）的连贯摘要，同时尽可能保留上下文和关键事件信息。作为基准真值，我们依据关键步骤和细粒度标注来抽取第一人称视角录像。该数据集包含时长可达68分钟的视频。较长的视频往往属于无引导序列（例如用户被赋予维修任务但没有任何指示）。这类场景反映了现实世界中第一人称智能体可能发挥作用的实际情况。基线评估方法详见附录。针对较长视频的推理型问答任务共包含1085个问题，旨在评估这一方面能力。仅使用音频（用户叙述的文字记录）时，基线准确率为67.3%。此外，我们还提供了参与者所执行任务的摘要和背景信息，以及额外评论（例如非计划内的失误、错误操作）。对于协作任务，我们提供了双方视角的摘要及总体摘要。
其他模态。某些任务和动作本质上是多模态的（例如将电池安装到电钻上时会发出咔嗒声）。此外，其他模态（用户轨迹、视线）以及第三人称视角为相关研究提供了丰富的可能性，包括跨视角和跨模态对齐研究。
## 5 结论
我们推出了IndEgo——一个用于工业场景中第一人称及第三人称视觉的独特多模态数据集，涵盖装配/拆卸、物流整理、检查、维修和木工等任务。IndEgo包含3,460段第一人称录像（约197小时）和1,092段第三人称录像（约97小时），还配有眼动数据、叙述内容、音频、运动及其他传感器数据。我们为程序性与非程序性任务理解、失误检测以及基于推理的问答提供了详细的标注和具有挑战性的基准测试。在失误检测、问答及协作任务理解方面的基线结果显示，该数据集对当前最先进的多模态模型而言颇具挑战性，这也凸显了进一步探索的必要性。IndEgo涵盖了多种认知与体力要求较高的工业任务，填补了第一人称视觉研究领域的空白。我们相信它将成为推动人工智能辅助工业应用发展、提升现实操作中生产力、安全性和效率的重要资源。
---
## 致谢
本研究得到了德国联邦研究与技术部（BMFTR）以及德国航空航天中心（DLR）在KIKERP项目（资助编号：16IS23055C）下的支持，该项目隶属于KI4KMU计划。我们感谢Meta AI和Reality Labs团队通过Project Aria计划提供的研究套件、相关工具及服务。我们还要感谢Hugging Face提供的公共数据集存储资助，这使得IndEgo数据集能够得以大规模托管并供社区访问。数据采集工作是在柏林工业大学机床与工厂管理研究所（IWF）的研究实验室和试验场进行的。最后，我们向所有参与数据采集的学生志愿者和工作人员致以诚挚的谢意。
## 参考文献
[^1]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc., 2017.
[^2]: OpenAI. Gpt-4o system card, 2024.
[^3]: Yong Jae Lee, Joydeep Ghosh, and Kristen Grauman. Discovering important people and objects for egocentric video summarization. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 1346–1353, 2012.
[^4]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, Cheng Peng, Chris Sweeney, Cole Wilson, Dan Barnes, Daniel DeTone, David Caruso, Derek Valleroy, Dinesh Ginjupalli, Duncan Frost, Edward Miller, Elias Mueggler, Evgeniy Oleinik, Fan Zhang, Guruprasad Somasundaram, Gustavo Solaira, Harry Lanaras, Henry Howard-Jenkins, Huixuan Tang, Hyo Jin Kim, Jaime Rivera, Ji Luo, Jing Dong, Julian Straub, Kevin Bailey, Kevin Eckenhoff, Lingni Ma, Luis Pesqueira, Mark Schwesinger, Maurizio Monge, Nan Yang, Nick Charron, Nikhil Raina, Omkar Parkhi, Peter Borschowa, Pierre Moulon, Prince Gupta, Raul Mur-Artal, Robbie Pennington, Sachin Kulkarni, Sagar Miglani, Santosh Gondi, Saransh Solanki, Sean Diener, Shangyi Cheng, Simon Green, Steve Saarinen, Suvam Patra, Tassos Mourikis, Thomas Whelan, Tripti Singh, Vasileios Balntas, Vijay Baiyya, Wilson Dreewes, Xiaqing Pan, Yang Lou, Yipu Zhao, Yusuf Mansour, Yuyang Zou, Zhaoyang Lv, Zijian Wang, Mingfei Yan, Carl Ren, Renzo De Nardi, and Richard Newcombe. Project aria: A new tool for egocentric multi-modal ai research, 2023.
[^5]: Chiara Plizzari, Gabriele Goletto, Antonino Furnari, Siddhant Bansal, Francesco Ragusa, Giovanni Maria Farinella, Dima Damen, and Tatiana Tommasi. An outlook into the future of egocentric vision, 2024.
[^6]: Christopher G Atkeson and Stefan Schaal. Robot learning from demonstration. In ICML, volume 97, pages 12–20, 1997.
[^7]: Weitian Wang, Rui Li, Yi Chen, Z Max Diekel, and Yunyi Jia. Facilitating human-robot collaborative tasks by teaching-learning-collaboration from human demonstrations. IEEE Transactions on Automation Science and Engineering, 16(2):640–653, 2018.
[^8]: Aude G Billard, Sylvain Calinon, and Rüdiger Dillmann. Learning from humans. Springer handbook of robotics, pages 1995–2014, 2016.
[^9]: Harish Ravichandar, Athanasios S Polydoros, Sonia Chernova, and Aude Billard. Recent advances in robot learning from demonstration. Annual review of control, robotics, and autonomous systems, 3(1):297–330, 2020.
[^10]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J. Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, and Xiaolong Wang. Humanoid policy ~ human policy. arXiv preprint arXiv:2503.13441, 2025.
[^11]: Facebook Research. Introduction to project aria docs, 2023. Accessed: 2023-07-24.
## [^12]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abrham Gebeselasie, Cristina González, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym
---
Kolár、Satwik Kottur、Anurag Kumar、Federico Landini、Chao Li、Yanghao Li、Zhenqiang Li、Karttikeya Mangalam、Raghava Modhugu、Jonathan Munro、Tullie Murrell、Takumi Nishiyasu、Will Price、Paola Ruiz、Merey Ramazanova、Leda Sari、Kiran Somasundaram、Audrey Southerland、Yusuke Sugano、Ruijie Tao、Minh Vo、Yuchen Wang、Xindi Wu、Takuma Yagi、Ziwei Zhao、Yunyi Zhu、Pablo Arbeláez、David Crandall、Dima Damen、Giovanni Maria Farinella、Christian Fuegen、Bernard Ghanem、Vamsi Krishna Ithapu、C.V. Jawahar、Hanbyul Joo、Kris Kitani、Haizhou Li、Richard Newcombe、Aude Oliva、Hyun Soo Park、James M. Rehg、Yoichi Sato、Jianbo Shi、Mike Zheng Shou、Antonio Torralba、Lorenzo Torresani、Mingfei Yan以及Jitendra Malik。Ego4D：基于3000小时自我中心视频的全球场景记录。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第18995–19012页，2022年6月。
[^13]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European Conference on Computer Vision (ECCV), September 2018.
[^14]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, Eugene Byrne, Zach Chavis, Joya Chen, Feng Cheng, Fu-Jen Chu, Sean Crane, Avijit Dasgupta, Jing Dong, Maria Escobar, Cristiani Forigua, Abraham Gebreselasie, Sanjay Haresh, Jing Huang, Md Mohaiminul Islam, Suyog Jain, Rawal Khirodkar, Devansh Kukreja, Kevin J Liang, Jia-Wei Liu, Sagnik Majumder, Yongsen Mao, Miguel Martin, Effrosyni Mavroudi, Tushar Nagarajan, Francesco Ragusa, Santhosh Kumar Ramakrishnan, Luigi Seminara, Arjun Somayazulu, Yale Song, Shan Su, Zihui Xue, Edward Zhang, Jinxu Zhang, Angela Castillo, Changan Chen, Xinzhu Fu, Ryosuke Furuta, Cristina Gonzalez, Prince Gupta, Jiabo Hu, Yifei Huang, Yiming Huang, Weslie Khoo, Anush Kumar, Robert Kuo, Sach Lakhavani, Miao Liu, Mi Luo, Zhengyi Luo, Brighid Meredith, Austin Miller, Oluwatumininu Oguntola, Xiaqing Pan, Penny Peng, Shraman Pramanick, Merey Ramazanova, Fiona Ryan, Wei Shan, Kiran Somasundaram, Chenan Song, Audrey Southerland, Masatoshi Tateno, Huiyu Wang, Yuchen Wang, Takuma Yagi, Mingfei Yan, Xitong Yang, Zecheng Yu, Shengxin Cindy Zha, Chen Zhao, Ziwei Zhao, Zhifan Zhu, Jeff Zhuo, Pablo Arbelaez, Gedas Bertasius, David Crandall, Dima Damen, Jakob Engel, Giovanni Maria Farinella, Antonino Furnari, Bernard Ghanem, Judy Hoffman, C. V. Jawahar, Richard Newcombe, Hyun Soo Park, James M. Rehg, Yoichi Sato, Manolis Savva, Jianbo Shi, Mike Zheng Shou, and Michael Wray. Ego-exo4d: Understanding skilled human activity from first- and third-person perspectives, 2024.
[^15]: Rohith Peddi, Shivvrat Arya, Bharath Challa, Likhitha Pallapothula, Akshay Vyas, Jikai Wang, Qifan Zhang, Vasundhara Komaragiri, Eric Ragan, Nicholas Ruozzi, et al. Captaincook4d: A dataset for understanding errors in procedural activities. arXiv preprint arXiv:2312.14556, 2023.
[^16]: Shih-Po Lee, Zijia Lu, Zekun Zhang, Minh Hoai, and Ehsan Elhamifar. Error detection in egocentric procedural task videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 18655–18666, June 2024.
[^17]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 1569–1578, January 2021.
[^18]: F. Sener, D. Chatterjee, D. Shelepov, K. He, D. Singhania, R. Wang, and A. Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. CVPR 2022, 2022.
[^19]: Vivek Chavan, Paul Koch, Marian Schlüter, and Clemens Briese. Towards realistic evaluation of industrial continual learning scenarios with an emphasis on energy consumption and computational footprint. In Proceedings of the International Conference on Computer Vision (ICCV), 2023.
[^20]: Melvyn L. Smith, Lyndon N. Smith, and Mark F. Hansen. The quiet revolution in machine vision - a state-of-the-art survey paper, including historical review, perspectives, and future directions. Computers in Industry, 130:103472, 2021.
## [^21]: OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila, Igor Babuschkin, Suchir Balaji, Valerie Balcom, Paul Baltescu, Haiming Bao, Mohammad Bavarian, Jeff Belgium, Irwan Bello, Jake Berdine, Gabriel Bernadett-Shapiro, Christopher Berner, Lenny Bogdonoff, Oleg Boiko, Madelaine Boyd, Anna-Luisa Brakman, Greg Brockman, Tim Brooks, Miles Brundage, Kevin Button, Trevor Cai, Rosie Campbell, Andrew Cann, Brittany Carey, Chelsea Carlson, Rory Carmichael, Brooke Chan, Che Chang, Fotis Chantzis, Derek Chen, Sully Chen, Ruby Chen, Jason Chen, Mark Chen, Ben Chess, Chester Cho, Casey Chu, Hyung Won Chung, Dave Cummings, Jeremiah Currier, Yunxing Dai, Cory Decareaux, Thomas Degry, Noah Deutsch, Damien Deville, Arka Dhar, David Dohan, Steve Dowling
---
Sheila Dunning、Adrien Ecoffet、Atty Eleti、Tyna Eloundou、David Farhi、Liam Fedus、Niko Felix、Simón Posada Fishman、Juston Forte、Isabella Fulford、Leo Gao、Elie Georges、Christian Gibson、Vik Goel、Tarun Gogineni、Gabriel Goh、Rapha Gontijo-Lopes、Jonathan Gordon、Morgan Grafstein、Scott Gray、Ryan Greene、Joshua Gross、Shixiang Shane Gu、Yufei Guo、Chris Hallacy、Jesse Han、Jeff Harris、Yuchen He、Mike Heaton、Johannes Heidecke、Chris Hesse、Alan Hickey、Wade Hickey、Peter Hoeschele、Brandon Houghton、Kenny Hsu、Shengli Hu、Xin Hu、Joost Huizinga、Shantanu Jain、Shawn Jain、Joanne Jang、Angela Jiang、Roger Jiang、Haozhun Jin、Denny Jin、Shino Jomoto、Billie Jonn、Heewoo Jun、Tomer Kaftan、Łukasz Kaiser、Ali Kamali、Ingmar Kanitscheider、Nitish Shirish Keskar、Tabarak Khan、Logan Kilpatrick、Jong Wook Kim、Christina Kim、Yongjik Kim、Jan Hendrik Kirchner、Jamie Kiros、Matt Knight、Daniel Kokotajlo、Łukasz Kondraciuk、Andrew Kondrich、Aris Konstantinidis、Kyle Kosic、Gretchen Krueger、Vishal Kuo、Michael Lampe、Ikai Lan、Teddy Lee、Jan Leike、Jade Leung、Daniel Levy、Chak Ming Li、Rachel Lim、Molly Lin、Stephanie Lin、Mateusz Litwin、Theresa Lopez、Ryan Lowe、Patricia Lue、Anna Makanju、Kim Malfacini、Sam Manning、Todor Markov、Yaniv Markovski、Bianca Martin、Katie Mayer、Andrew Mayne、Bob McGrew、Scott Mayer McKinney、Christine McLeavey、Paul McMillan、Jake McNeil、David Medina、Aalok Mehta、Jacob Menick、Luke Metz、Andrey Mishchenko、Pamela Mishkin、Vinnie Monaco、Evan Morikawa、Daniel Mossing、Tong Mu、Mira Murati、Oleg Murk、David Mely、Ashvin Nair、Reichiro Nakano、Rajeev Nayak、Arvind Neelakantan、Richard Ngo、Hyeonwoo Noh、Long Ouyang、Cullen O'Keefe、Jakub Pachocki、Alex Paino、Joe Palermo、Ashley Pantuliano、Giambattista Parascandolo、Joel Parish、Emy Parparita、Alex Passos、Mikhail Pavlov、Andrew Peng、Adam Perelman、Filipe de Avila Belbute Peres、Michael Petrov、Henrique Ponde de Oliveira Pinto、Michael、Pokorny、Michelle Pokrass、Vitchyr H. Pong、Tolly Powell、Alethea Power、Boris Power、Elizabeth Proehl、Raul Puri、Alec Radford、Jack Rae、Aditya Ramesh、Cameron Raymond、Francis Real、Kendra Rimbach、Carl Ross、Bob Rotsted、Henri Roussez、Nick Ryder、Mario Saltarelli、Ted Sanders、Shibani Santurkar、Girish Sastry、Heather Schmidt、David Schnurr、John Schulman、Daniel Selsam、Kyla Sheppard、Toki Sherbakov、Jessica Shieh、Sarah Shoker、Pranav Shyam、Szymon Sidor、Eric Sigler、Maddie Simens、Jordan Sitkin、Katarina Slama、Ian Sohl、Benjamin Sokolowsky、Yang Song、Natalie Staudacher、Felipe Petroski Such、Natalie Summers、Ilya Sutskever、Jie Tang、Nikolas Tezak、Madeleine B. Thompson、Phil Tillet、Amin Tootoonchian、Elizabeth Tseng、Preston Tuggle、Nick Turley、Jerry Tworek、Juan Felipe Cerón Uribe、Andrea Vallone、Arun Vijayvergiya、Chelsea Voss、Carroll Wainwright、Justin Jay Wang、Alvin Wang、Ben Wang、Jonathan Ward、Jason Wei、CJ Weinmann、Akila Welihinda、Peter Welinder、Jiayi Weng、Lilian Weng、Matt Wiethoff、Dave Willner、Clemens Winter、Samuel Wolrich、Hannah Wong、Lauren Workman、Sherwin Wu、Jeff Wu、Michael Wu、Kai Xiao、Tao Xu、Sarah Yoo、Kevin Yu、Qiming Yuan、Wojciech Zaremba、Rowan Zellers、Chong Zhang、Marvin Zhang、Shengjia Zhao、Tianhao Zheng、Juntang Zhuang、William Zhuk以及Barret Zoph。GPT-4技术报告，2024年。
[^22]: Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. In NeurIPS, 2023.
[^23]: Saeed Saeedvand, Masoumeh Jafari, Hadi S. Aghdasi, and Jacky Baltes. A comprehensive survey on humanoid robot development. The Knowledge Engineering Review, 34:e20, 2019.
[^24]: Yuchuang Tong, Haotian Liu, and Zhengtao Zhang. Advancements in humanoid robots: A comprehensive review and future prospects. IEEE/CAA Journal of Automatica Sinica, 11(2):301–328, 2024.
[^25]: Inc. Tesla. Ai & robotics, February 2025. Accessed: 2025-02-28.
[^26]: Figure AI. Helix: A vision-language-action model for generalist humanoid control, February 2025. Accessed: 2025-02-28.
[^27]: S. Mann. Humanistic computing: "wearcomp" as a new framework and application for intelligent signal processing. Proceedings of the IEEE, 86(11):2123–2151, 1998.
[^28]: Alireza Fathi, Ali Farhadi, and James M. Rehg. Understanding egocentric activities. In 2011 International Conference on Computer Vision, pages 407–414, 2011.
[^29]: Alireza Fathi, Ali Farhadi, and James M. Rehg. Understanding egocentric activities. In 2011 International Conference on Computer Vision, pages 407–414, 2011.
[^30]: Alireza Fathi, Xiaofeng Ren, and James M. Rehg. Learning to recognize objects in egocentric activities. In CVPR 2011, pages 3281–3288, 2011.
[^31]: Ana Garcia Del Molino, Cheston Tan, Joo-Hwee Lim, and Ah-Hwee Tan. Summarization of egocentric videos: A comprehensive survey. IEEE Transactions on Human-Machine Systems, 47(1):65–76, 2016.
### [^32]: Yong Jae Lee and Kristen Grauman. Predicting important objects for egocentric video summarization. International Journal of Computer Vision, 114(1):38–55, 2015
---
[^33]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. Introducing hot3d: An egocentric dataset for 3d hand and object tracking, 2024.
[^34]: Sven Bambach, Stefan Lee, David J Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In Proceedings of the IEEE international conference on computer vision, pages 1949–1957, 2015.
[^35]: Alircza Fathi, Jessica K. Hodgins, and James M. Rehg. Social interactions: A first-person perspective. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2012, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 1226–1233, 2012. 2012 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2012 ; Conference date: 16-06-2012 Through 21-06-2012.
[^36]: Sagnik Majumder, Ziad Al-Halah, and Kristen Grauman. Learning spatial features from audio-visual correspondence in egocentric videos, 2024.
[^37]: Yin Li, Alireza Fathi, and James M Rehg. Learning to predict gaze in egocentric video. In Proceedings of the IEEE international conference on computer vision, pages 3216–3223, 2013.
[^38]: Yin Li, Zhefan Ye, and James M Rehg. Delving into egocentric actions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 287–295, 2015.
[^39]: Yifei Huang, Minjie Cai, Zhenqiang Li, and Yoichi Sato. Predicting gaze in egocentric video by learning task-dependent attention transition. CoRR, abs/1803.09125, 2018.
[^40]: Meta. Meta smart glasses, 2024.
[^41]: Meta. Orion AR glasses: The future of augmented reality. , 2024. Accessed: 2024-10-19.
[^42]: Apple. Apple vision pro, 2024. Accessed: 2024-05-10.
[^43]: Zhaoyang Lv, Nicholas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, and Carl Ren. Aria everyday activities dataset, 2024.
[^44]: Gunnar A. Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Charades-ego: A large-scale dataset of paired third and first person videos, 2018.
[^45]: Yifei Huang, Guo Chen, Jilan Xu, Mingfang Zhang, Lijin Yang, Baoqi Pei, Hongjie Zhang, Dong Lu, Yali Wang, Limin Wang, and Yu Qiao. Egoexolearn: A dataset for bridging asynchronous ego- and exo-centric view of procedural activities in real world. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024.
[^46]: OpenAI. Openai o1 system card, 2024.
[^47]: Vivek Chavan, Oliver Heimann, and Jörg Krüger. On the application of egocentric computer vision to industrial scenarios, 2024.
[^48]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 20270–20281, October 2023.
[^49]: Xiaqing Pan, Nicholas Charron, Yongqian Yang, Scott Peters, Thomas Whelan, Chen Kong, Omkar Parkhi, Richard Newcombe, and Yuheng (Carl) Ren. Aria digital twin: A new benchmark dataset for egocentric 3d machine perception. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 20133–20143, October 2023.
[^50]: Vivek Chavan, Oliver Heimann, and Jörg Krüger. On the application of egocentric computer vision to industrial inspection. In European Conference on Computer Vision (ECCV) Workshops, October 2024.
### [^51]: Baoxiong Jia, Yixin Chen, Siyuan Huang, Yixin Zhu, and Song chun Zhu. Lemma: A multi-view dataset for learning multi-agent multi-task activities, 2020
---
[^52]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, Kevin Bailey, David Soriano Fosas, C. Karen Liu, Ziwei Liu, Jakob Engel, Renzo De Nardi, and Richard Newcombe. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In the 18th European Conference on Computer Vision (ECCV), 2024.
[^53]: Project Aria. Aria synthetic environments dataset. , 2024. Accessed: 2024-11-03.
[^54]: Boqiang Zhang, Kehan Li, Zesen Cheng, Zhiqiang Hu, Yuqian Yuan, Guanzheng Chen, Sicong Leng, Yuming Jiang, Hang Zhang, Xin Li, Peng Jin, Wenqi Zhang, Fan Wang, Lidong Bing, and Deli Zhao. Videollama 3: Frontier multimodal foundation models for image and video understanding, 2025.
[^55]: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, et al. Expanding performance boundaries of open-source multimodal models with model, data, and test-time scaling. arXiv preprint arXiv:2412.05271, 2024.
[^56]: Shuai Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, Sibo Song, Kai Dang, Peng Wang, Shijie Wang, Jun Tang, Humen Zhong, Yuanzhi Zhu, Mingkun Yang, Zhaohai Li, Jianqiang Wan, Pengfei Wang, Wei Ding, Zheren Fu, Yiheng Xu, Jiabo Ye, Xi Zhang, Tianbao Xie, Zesen Cheng, Hang Zhang, Zhibo Yang, Haiyang Xu, and Junyang Lin. Qwen2.5-vl technical report. arXiv preprint arXiv:2502.13923, 2025.
[^57]: Google DeepMind. Gemini flash thinking, February 2025. Accessed: 2025-02-28.
[^58]: Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.
[^59]: Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models, 2023.
[^60]: Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35:24824–24837, 2022.
[^61]: Charlie Snell, Jaehoon Lee, Kelvin Xu, and Aviral Kumar. Scaling llm test-time compute optimally can be more effective than scaling model parameters, 2024.
[^62]: Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Peiyuan Zhang, Yanwei Li, Ziwei Liu, and Chunyuan Li. Llava-onevision: Easy visual task transfer, 2024.
[^63]: Mistral AI. Mistral large language models, 2023. Accessed: 2024-11-15.
[^64]: Vivek Chavan, Paul Koch, Marian Schlüter, Clemens Briese, and Jörg Krüger. Active data collection and management for real-world continual learning via pretrained oracle. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pages 4085–4096, June 2024.
[^65]: Heiner Lasi, Peter Fettke, Hans-Georg Kemper, Thomas Feld, and Michael Hoffmann. Industry 4.0. Business & information systems engineering, 6(4):239–242, 2014.
[^66]: Vivek Chavan, Oliver Heimann, and Jörg Krüger. A system 1 and system 2 perspective on continual learning for practical implementation. In Alessio Del Bue, Cristian Canton, Jordi Pont-Tuset, and Tatiana Tommasi, editors, Computer Vision – ECCV 2024 Workshops, pages 320–332, Cham, 2025. Springer Nature Switzerland.
[^67]: Nikhil Raina, Guruprasad Somasundaram, Kang Zheng, Sagar Miglani, Steve Saarinen, Jeff Meissner, Mark Schwesinger, Luis Pesqueira, Ishita Prasad, Edward Miller, Prince Gupta, Mingfei Yan, Richard Newcombe, Carl Ren, and Omkar M Parkhi. Egoblur: Responsible innovation in aria, 2023.
## [^68]: Vivek Chavan, Arsen Cenaj, Shuyuan Shen, Ariane Bar, Srishti Binwani, Tommaso Del Becaro, Marius Funk, Lynn Greschner, Roberto Hung, Stina Klein, Romina Kleiner, Stefanie Krause, Sylwia Olbrych, Vishvapalsinhji Parmar, Jaleh Sarafraz, Daria Soroko, Daksitha Withanage Don, Chang Zhou, Hoang Thuy Duong Vu, Parastoo Semnani, Daniel Weinhardt, Elisabeth Andre, Jörg Krüger, and Xavier Fresquet. Feeling machines: Ethics, culture, and the rise of emotional ai, 2025
---
## 附录：目录
IndEgo数据集：场景与类别 ..... 17
A.1 应用场景 ..... 17
A.2 其他类别 ..... 18
B 协作工作 ..... 18
C 数据收集贡献者 ..... 19
D 数据收集协议 ..... 21
E 硬件设置 ..... 22
E.1 Project Aria设备 ..... 22
E.2 外置摄像头 ..... 23
E.3 用于理解工业流程的 Egocentric 和 Exocentric 视角 ..... 23
E.4 同步机制 ..... 23
E.5 数据处理与实验工作站 ..... 24
F 标注与数据模态 ..... 24
G 数据集与代码获取方式 ..... 26
H 与其他数据集的比较 ..... 26
I 实验详情 ..... 26
I.1 基于推理的视频问答 ..... 26
I.2 错误检测 ..... 28
I.3 协作环境中的任务理解 ..... 28
I.4 动作识别 ..... 29
J 基于推理的问答 ..... 29
K 错误检测 ..... 29
K.1 有意与无意的错误 ..... 29
K.2 较长动作序列中的错误 ..... 31
L 摘要生成 ..... 37
M 协作环境中的任务理解 ..... 37
N 程序性与非程序性任务的关键步骤 ..... 38
O 局限性 ..... 44
P 伦理考量与更广泛影响 ..... 45
---
## IndEgo数据集：场景与类别
动机。工业环境是一种高度结构化却又充满动态变化的环境，在此类环境中，Egocentric AI能够在协助人类工人、监控任务执行以及实现技能传递方面发挥切实价值。与消费级或家庭场景下的Egocentric数据集不同，我们重点关注涉及工具使用、装配步骤以及空间推理的程序性任务，这些正是工业工作流程的核心要素。开发该数据集的动机源于对真实世界场景下熟练与非熟练劳动者操作序列的需求——其中时间把控、步骤遵循以及工具使用至关重要。我们的数据集独具特色，它采用多模态形式，融合了Egocentric与Exocentric视角、语音、视线数据以及动作标注，涵盖了各类工业任务。该数据集还包含长时间跨度的活动记录、多用户协作场景，以及技能水平与行为方式的真实差异，而这些在现有数据集中均鲜有体现。通过发布这些数据及相关基准测试，我们旨在推动指令跟随、错误检测、人机协作以及基于实际应用的环境智能领域的研究，为学术界与工业界未来的相关工作奠定坚实基础。
所选的工业应用场景旨在涵盖Egocentric助手与环境智能体在不久的将来可能遇到的各类活动与场景 [^47]。这些任务包含其他Egocentric数据集未涵盖的活动与动作，且需要参与者投入认知与体力劳动。我们希望这些场景能够推动通用视觉与人工智能（AI）研究的发展，并产生超越工业领域及Egocentric范畴的更广泛影响。
在将数据采集范围扩展到其他工业环境时，我们遇到了诸多挑战（包括隐私、数据保护和知识产权问题），因此我们决定放弃这一做法。不过，我们还是在工厂内的多个地点进行了数据采集，其中包括嘈杂的车间环境 [^19] [^64]。此外，我们有意在不同时间段采集数据，以涵盖不同的光照条件及背景活动等情况。我们承认，我们的研究并未涵盖行业内可能出现的所有场景和挑战 [^65]。但我们乐观地认为，这将成为推动人们更多关注并进一步探索该领域的催化剂。
## A.1 应用场景
我们在下文中描述了五类通用场景：
装配/拆卸：这类任务要求参与者对设备、机器及专用装置进行装配和拆卸。图9展示了用于这些任务的某些设备。选择这些任务是为了增加难度，促使参与者在执行前仔细规划操作步骤。大多数拆卸过程都配有相应的装配记录。不过，这两类任务被视为独立任务，会分别存储、处理和标注。
• 物流与整理：这类任务涉及用户在工业环境中收集、搬运、运输及整理工具、设备和物品。图9展示了用于这些任务的某些设备。执行这些任务时，用户通常需要先规划活动步骤并遵守安全准则。整理任务包括用户搜索、排列及收纳物品的情况。例如，用户在活动前寻找工具，或在使用后将其放回原处。
- 检查与维修：这一场景要求参与者检查设备并对其进行维修，以恢复其正常功能与形态。我们同样使用图9中展示的物品以及一些额外设备。大多数电子设备的问题均由协助人员预先设定，且负责检查和维修的参与者事先并不知情。对于机械装置而言，缺陷要么是视觉上的（例如给参与者提供理想装配/设备的参考图像，要求其纠正缺陷），要么是功能上的（例如转动曲柄并不能使机械框架的腿同步移动）。
• 木工：这一类别旨在涵盖其他场景中不常见的动作、物体和活动。用户需执行一些基本操作，如锉削，
---
钻孔、安装支架、将两个部件连接在一起，以及更具挑战性的任务，比如组装木盒。
- 其他：这是一个宽泛的类别，涵盖所有无法明确归入上述类别的任务和记录。其中包括搭建三脚架和摄像机、将物品装入盒子等常规操作，以及佩戴/脱下个人防护装备和实施急救等行业特有操作。此类任务中有些持续时间较短，属于错误检测任务，即它们被专门设计用于收集多种场景下正确与错误流程的数据。更多详情见附录K。
分类。各类别之间存在自然重叠，例如涉及组装/拆卸的任务可能要求参与者戴上手套和安全装备；而组装一个木箱也可被视为组装任务。在此类情况下，我们会根据任务的整体目标和关键操作来进行分类（例如，维修电脑虽包含拆卸步骤，但其目标是使设备恢复正常工作状态）。
程序性活动与非程序性活动。这五种场景既包括程序性活动，也包括非程序性活动。我们将程序性活动定义为包含有时序依赖关系的独立步骤的任务，若步骤顺序出错往往会导致任务失败，例如组装/拆卸。非程序性活动则是指由一组可独立执行、没有严格时序约束和特定顺序的动作组成的任务，例如穿戴个人防护装备（手套、背心、安全鞋等）以及整理工具箱。
### A.2 其他类别
该数据集还包含其他类别的录音资料（详见表1），下文将对其进行说明。
• 工具/物品演示：识别并判断任务所需的正确工具是人工智能助手面临的一项基本挑战，尤其是针对小型或特定领域的物体 [^19] [^66]。为解决这一问题，我们的数据集中包含了用户演示并讲解特定工具/物品使用方法的内容。我们整理了302种在应用场景中常用的工具和设备的列表，随后参与者仅使用Aria设备录制单独的演示视频（无外置视角）。这些视频包含用户解说以及Aria录音模式下的所有其他模态数据，总时长约为4.5小时。图9展示了这些工具和物品的示例。
• 情境中的工具/物品：涉及上述302种物品在日常使用/操作中的场景。每段录音时长约2分钟，由两名参与者在不同环境下分别录制，且参与者会持续将视线聚焦在相关物品上。录音中无音频解说，也无外置视角，旨在作为数据集其余部分的补充，用于训练和测试机器学习模型。该类录音共604段，累计时长约20.1小时。
• 单一动作：这类短录音记录了参与者执行特定预定义任务的过程，例如戴手套、将钻头安装到钻机上等。所用工具属于那302种物品范畴，但重点在于特定动作本身、其含义以及基于物品和周围环境的情境化理解。我们针对这些动作视频设计了基于推理的问答任务。动作持续时间从几秒到不到一分钟不等，该类录音共计1010段，累计时长约5.9小时。
### B 协作工作
我们大致将协作工作定义为：多个参与者在特定环境中主动采取行动，以成功完成预设目标的活动。在工业场景中，共同完成具有挑战性的任务十分常见，尤其是体力消耗较大的工作。IndEgo数据集中最多同时有2人协作（两人均佩戴Aria设备），我们收录了以下几类协作工作：
---
Figure 7: Example of a scenario in the IndEgo Dataset where two workers carry out a disassembly task. Top: Worker 1 perspective. Bottom: Worker 2 perspective for the corresponding frames in the sequence. Anonymised using EgoBlur [^67].
- 协同工作：这种模式下，两名用户会在不同的应用场景中共同规划并执行任务，他们作为平等的合作伙伴来完成任务。参与者会在活动中主动互相协助和支持。这是我们数据集中最常见的类型。图7展示了一个示例，该示例也在论文正文中的图2里出现。
• 监督指导：这种模式由一名专家负责监督并指导另一名参与者完成任务。如果参与者遇到困难或需要人工协助（例如组装时帮忙拿取配件），监督者也会偶尔提供帮助。
- 师生协作：这种模式与前述类型类似，不过两人各自拥有相同的设备设置。教师会一步步演示任务流程，学生则观察、跟随操作并根据需要提问。图8展示了一个木工领域的示例。
### C 数据收集贡献者
数据收集工作由20名参与者在数月时间内完成。如论文中所述，作者向参与者解释了项目框架和目标，并获得了他们对于数据集收集、存储和发布的书面同意。表8列出了参与者的关键信息。录音资料经过了匿名化处理，也就是说，数据收集团队之外的研究人员或工程师无法知晓特定录音中涉及人员的详细信息。
参与者来自不同背景，这一点从他们的叙述方式、任务处理风格等方面可以看出来。我们旨在覆盖不同的场景和条件（例如车间环境、办公环境、一天中的不同时段、光照条件、背景噪音等）。虽然参与者数量有限，但参与完全是自愿的，本研究的主要重点是记录各类工业任务和流程，而非追求人口统计学的全面性。
作者向所有为IndEgo数据集的数据收集和标注工作做出贡献的个人及团体致以诚挚谢意。以下贡献者（按字母顺序排列以确保公平）已同意公开表彰他们的付出。我们还要感谢其他参与了数据收集工作但选择保持匿名的人员。
• Aftab Ahmad Arif（柏林工业大学）。
• Kian Khalifehgoli（柏林工业大学）。
---
Figure 8: Top: (left) Example of a scenario in the IndEgo Dataset where one worker (teacher) demonstrates and teaches the other worker how a task is carried out. The student observes and follows the steps on their own identical setup, asking questions and seeking clarifications, if necessary. (right) View from the exocentric camera. Bottom: Egocentric perspectives of the teacher (left) and the student (right). Anonymised using EgoBlur [^67].
| Parameter | Value |
| Gender (self-reported) | 15 male, 5 female |
| Nationalities | 10 (Europe, Asia, Middle East) |
| Age | Min. 19 Years | Max. 46 Years\nAverage: 27.2 Years\nMedian: 24.0 Years |
| Work Experience | 0 to 24 years |
| Expertise (self-reported) | Novice (9)\nSemi-proficient (7)\nProficient (4) |
Table 8: General details about the participants involved in the data collection and annotation process. The personal details of the individuals are anonymised.
• Lina Rost（无所属机构）。
• Nazmi Kayan（柏林工业大学）。
• Pengtao Xie（柏林工业大学）。
• Qianshun Zhu（柏林工业大学）。
• Xingyu Shang（柏林工业大学）。
• Yanqing Luo（柏林工业大学）。
• 弗劳恩霍夫IPK车间的工作人员。
• 机床与工厂管理研究所（IWF）的技术人员。
除了上述列出的贡献者外，论文的几位合著者也深度参与了数据收集和标注工作。
---
Figure 9: Top: Some commonly used tools and objects in various scenarios in the dataset. Bottom: Devices and Assemblies used for assembly/disassembly and repair tasks. The images are taken from the instruction document provided to the participants for the guided tasks. Additional details are available in the Supplementary Material
### D 数据收集协议
参与者被提供了用于完成各项任务的工作空间、工具以及目标设备。他们首先进行眼动校准并安装Aria设备，其他人则负责设置外置摄像头。开始采集数据的研究对象会与外置摄像头的录制同步启动各自的记录。录制开始后，参与者可以按照自己的节奏来规划并执行相关活动（例如，针对同一基础设置，一项电脑维修任务耗时9分钟到58分钟不等）。此外，如果他们想取用其他工具或寻找物品，也可以自由地在实验室内走动。我们提醒他们在录制过程中不要提及个人信息或数据，也不要讨论与当前任务无关的内容。会有助手陪同他们，以便在出现问题时协助排除故障。我们将任务分类如下：
- 无指导任务：参与者对任务及预期目标有大致的了解（例如维修设备、组装装置），但不会收到任何具体指示。他们需要逐步思考并制定工作计划。他们可以即时纠正自己发现的错误。
• 有指导任务：参与者可以查阅说明文档，其中会解释正确的操作步骤以及正确设置的视觉示例。基于自身判断，他们可以自由更改操作方式，不必完全遵循文档内容。
---
此外，我们针对用户叙述设置了3种场景：
- 叙述（思维过程）：参与者会详细阐述自己的思维过程，包括所有常规及具体操作，比如开灯、找另一把螺丝刀等。我们针对单人作业和协作作业都纳入了此类场景。
- 叙述（对话）：该场景适用于协作作业。使用者可以像日常完成任务时那样，自由讨论各自的操作和计划。
- 无叙述：该场景主要适用于单人作业。使用者不会解释自己的操作，但音频这一模态仍然存在。我们纳入此场景是为了评估人工智能模型的推理和理解能力，避免过度依赖叙述性阐述。
### E 硬件设置
在本节中，我们将介绍与数据集及本文相关的设备、传感器规格及其他硬件细节。
## E.1 Project Aria设备
这是该数据集的核心部分。Aria设备[^4]配备了多种传感器，可根据需求进行配置并开启/关闭。针对所有以人眼为中心的录制，我们采用了定制的录制配置文件，相关细节见表9。Aria Toolkit能够自动同步并校准所有传感器的输出数据，无需人工干预。数据采集过程中使用了多台Aria设备。
| Parameter | Value |
| RGB Camera Resolution | 2880 $\times$ 2880 (8 MP) |
| RGB Camera Frame rate | 10 FPS |
| SLAM Camera Resolution | 640 $\times$ 480 |
| SLAM Camera Frame rate | 10 FPS |
| Eye Tracking Camera Resolution | 320 $\times$ 240 |
| Eye Tracking Camera Frame rate | 10 FPS |
| Microphones | ON |
| IMUs | ON |
| Magnetometer | ON |
| Barometer | ON |
| GPS | ON |
| Wi-Fi | ON |
| Bluetooth | ON |
Table 9: Details of the custom recording profile used for the Aria Devices. For additional details on the sensors, please refer to the preprint about the device [^4].
我们决定以10帧/秒的速率采集以人眼为中心的数据（主RGB摄像头、眼动传感器、SLAM传感器），且分辨率取允许的最大值（主RGB摄像头为2880×2880）。在数据分辨率、帧率和存储需求之间必须做出权衡。我们承认，这种帧率在某些情况下无法捕捉到亚秒级的互动过程。不过根据我们的观察，这并未限制该数据集的应用和分析潜力。我们的数据集重点关注各类细粒度动作，其持续时间从0.2秒到数秒不等。标注工具（VIA）也允许对时间标注进行更精细的控制（例如，某个动作可从10.15秒开始）。
此外，我们进行了一项简短的研究：从数据集的错误检测部分选取了10个任务，并将帧率降低至5 FPS。这导致性能略有下降（Gemini 2.0 Flash thinking模型在零样本评估中的F1分数下降了3%），不过大多数任务的解析结果与10 FPS基线情况一致。
---
## E.2 外置摄像头
纳入第三人称外置/他心视角摄像头的决定，是为了提供有关工业场景的更多背景信息，尤其是涉及协作作业、体力劳作以及佩戴个人防护装备（PPE）等第一人称操作的任务。IndEgo数据集共包含1170段外置视角录像，覆盖了所有关键场景。摄像头被安装在三脚架上，从近似于静止观察者的视角对准用户和操作区域。图8展示了相关示例。部分协作场景会采用双外置视角，主要是因为单一视角可能会被操作设备的参与者遮挡。物流和组织类场景中外置视角录像占比最低，这类场景大多涉及参与者在不同实验室和工作站之间移动。表10列出了用于录制这些视频的设备详情。
鉴于任务的动态性，设置外置摄像头颇具挑战性。我们力求在捕捉设备/目标物体的足够细节，与记录用户动作及背景细节之间取得平衡。对于用户可在专门工作区开展的任务（如设备维修），外置摄像头会聚焦于工作台，同时捕捉用户的细节（手部、躯干）。此类场景下我们常使用配备30毫米镜头的索尼APSC相机。而对于机械装置的组装/拆卸等任务，外置摄像头会被设置为拍摄整个房间/实验室（采用视场角更宽的相机）。出于不想未经许可就拍摄到背景中的其他人，我们也决定不在某些环境或场景下设置外置视角。在协作场景中还存在额外挑战：多名工人可能会挡住摄像头与设备之间的直接视线。为解决此类问题，我们增加了第二个具有互补视角的外置视角。不过这一点还需进一步研究，尤其是针对实际应用场景而言。
## E.3 用于理解工业流程的第一人称与外置视角
第一人称、外置以及混合（第一人称+外置）视角的影响因任务而异。例如，当任务内容无法从第一人称视角完全看到，或者错误部位不在聚焦范围内时，外置视角就能发挥作用。而在其他一些情况下，外置视角并未提升预测准确性，反而导致了错误预测（这一结论源自对表5中零样本结果的分析）。
| Device 1: | Sony Alpha 6400 |
| Sensor Type | APS-C, CMOS |
| #Pixels | 24.2 megapixels |
| Video Resolution | $1920 \times 10^{80}$ |
| Frame rate | 30FPS |
| Creative Style | Standard |
| Lens 1 | Sigma 16mm f/1.4 |
| Lens 2 | Sigma 30mm f/1.4 |
| Frame rate | 30FPS |
| Microphone | ON |
| Device 2: | Samsung Galaxy A51 |
| Sensor 1 | 48MP f/2.0 (Standard) |
| Sensor 2 | 12MP f/2.2 (Ultra-wide) |
| Resolution | $1920 \times 10^{80}$ |
| Microphone | ON |
Table 10: Details of the devices used for exocentric recordings, along with the accessories and custom settings.
## E.4 同步
来自外置摄像头的数据是与Aria设备独立记录的，这意味着它们并未与Aria设备以及由此生成的3D点云自动同步和校准。为了实现时间同步，我们会让所有录制大致在同一时间开始，并且
---
后续会对处理后的视频和帧进行裁剪。这种方式无法保证达到Nymeria数据集[^52]或Ego-Exo4D数据集[^14]所具备的毫秒级同步精度。同样，Aria设备与其他设备之间的空间同步和校准也有待进一步完善。
由于我们需要在设施内移动设备，采用手动同步方法便成了切实可行的解决方案。我们重新检查了自我与外部记录之间的同步数据。不过我们也承认，毫秒级的时间细节可能存在偏差。我们发现这种方法对于论文中涉及的现象而言非常可靠。我们的基准测试是以动作和任务步骤为单位的，通常持续数秒之久；针对这类分析，亚秒级的对齐就足够了，并不会影响诸如错误检测等任务的结果有效性。如有需要，我们可以补充相关的简短分析。
### E.5 数据处理与实验工作站
我们使用专门的系统来存储所有采集的数据、进行处理以及开展大部分实验。表11列出了相关技术细节。
| Parameter | Value |
| System Memory | 48 GB |
| CPU Cores | 12 |
| GPU Count | 1 |
| GPU type | NVIDIA RTX A6000 |
| Python version | 3.12.2 |
| PyTorch | 2.4.0 + cu121 |
Table 11: Details of the Workstation used for storing and processing the data.
### F 标注与数据模态
标注流程要求参与者自行标注自己的视频。之所以让参与者标注自己的数据，是为了平衡小组内的工作量。其次，我们认为参与者最能够准确描述自身的动作与意图，也能 firsthand 对已完成的工作进行细致审查。我们制定了清晰的标注流程，并为参与者提供了标注示例和模板。我们将标注分为两类：
关键步骤（及错误/正确）标注：这类标注具有客观性且定义明确，且与具体任务相关。我们在附录的K节和M节中提供了更多细节。对于设备的各个部件/组件以及关键步骤间的依赖关系，我们也设定了明确的标签与规范（见补充材料）。同样，我们明确了何种情况可定义为错误，并在标注前对各类特殊情况进行了讨论。
细粒度动作标注：这类标注描述的是以动词+名词（及形容词）形式呈现的短暂动作，且具有用户依赖性（例如，为了从设备上拆卸螺栓，参与者1可能会先拧松螺栓再分类存放，而参与者2则可能逐个拆卸螺栓并存放好后再进行下一步操作）。这类标注往往更具主观性。我们认为这反映了参与者群体的自然多样性，以及他们描述动作、工具或周围环境时的差异。
我们公布了所有传感器的原始数据。此外，低分辨率（480p）的MP4视频也会一并分享，同时还有以1帧/秒采样的高分辨率画面。我们已获得Meta Reality Labs的许可，可以公布该数据集的机器感知服务（MPS）输出结果，包括眼动追踪估计、手部姿态、三维半密集点云以及用户轨迹数据。这些数据可用于其他研究。对于MPS输出结果，我们采用了默认的格式与结构。
0_数据表与说明文档
1_装配
|--01
### |---原始数据
---
Figure 10: Example annotation for the Disassembly task from the perspective of Worker 1. The scenario has been shown in Figure 2 in the main paper and Figure 7. The actions include task specific labels such as empty table, detach upper plate, as well as collaborative actions, such as Help Worker 2, Planning and Hand Drilling Machine to Coworker. The action segments last between 2 seconds and 45 seconds.
| | -- Worker_1_文件
| {VRS、MP4、画面、标注、
| 总结、运动数据}
| -- Worker_2_文件
| {VRS、MP4、画面、标注、
| 总结、运动数据}
| -- 外部设备数据
| {MP4、画面}
| -- 任务图与步骤
| -- MPS输出结果
| -- 基准测试任务数据与参考资料
| -- 02
...
1_拆卸
| -- ...
...
2_物流与组织
| -- ...
...
6_情境中的工具与物体
| -- 01_钻孔机
| {VRS、MP4、MPS输出结果}
...
7_工具与物体演示
| -- 01_钻孔机
| {VRS、MP4、MPS输出结果}
...
8_单一动作
| -- 01_拧紧螺栓
| {VRS、MP4、MPS输出结果}
...
9_附加文件
| -- 错误检测
### | -- 01_安装摄像头与三脚架
---
## G 数据集与代码获取方式
我们的数据集规模庞大且多模态，包含以自我为中心和以外部为中心的视频、音频、眼动数据、SLAM信息以及涵盖各类工业任务的动作标注。该数据集已发布在Hugging Face Hub $^{3}$ 上供大家查阅。
相关的代码和脚本可通过我们的GitHub仓库 $^{4}$ 获取。具体包括：
• 用于解析、预处理和采样以自我为中心数据的脚本（来自Project Aria Tools）。
• 用于加载和可视化数据的探索型Collab笔记本。
• 针对本文所述任务的基准测试基线和评估脚本。
多个组件借鉴了现有的开源库（大多采用Apache 2.0或MIT许可证），相关出处均已注明并记录在案。文档中包含了复现基准实验的说明，用于扩展该数据集的实用工具也将逐步发布。
维护与未来规划。作者以及弗劳恩霍夫IPK研究所和柏林工业大学的研究团队将对该数据集及其相关资源进行持续维护。我们致力于保障这一基准测试的长期价值。若发现标注存在任何误差，我们会定期发布更新版本。此外，未来我们还计划扩充数据集，加入更多任务、场景和有价值的见解，以持续推动该领域的研究。欢迎通过Hugging Face和GitHub仓库提交反馈与贡献。
## H 与其他数据集的比较
表12总结了其他使用Aria设备采集数据的公开数据集的场景与研究重点，并将其与IndEgo数据集进行了对比。
与以往以自我为中心的视频数据集相比，我们的数据集侧重于时长更长、动作更密集的工业任务。根据我们的主观评估，现有视觉语言模型在处理较长视频时的表现往往会有所下降，尤其是在需要对长序列进行总结或任务推理时。我们的数据集包含时长长达68分钟的任务，为以自我为中心的视频理解提供了更贴近实际且更具挑战性的环境。
此外，我们的数据集还独特地涵盖了物流、人工搬运及其他劳动密集型工业场景，这些场景在现有基准测试中往往代表性不足。这类任务涉及更复杂的运动、场景变化以及物体操作，进一步考验着模型在总结、动作识别和协同推理方面的能力。通过填补这些空白，我们的数据集旨在推动更实用、更稳健的实景环境下以自我为中心的AI系统的发展。
### I 实验详情
表13详细说明了零样本实验和微调实验的设置。为了进行公平且无偏见的比较，所有机器学习训练均采用相同的设置。在微调实验中，我们采用了80/20的划分方式（错误检测、动作识别）。
### I. 1 基于推理的视频问答
我们使用一套通用的输入提示词来引导模型理解任务并回答问题。VLM生成的答案由Mistral-Large2 [^63] 进行评判。两种模型所用的标准提示词如下。
---
| Dataset | Scenario | Focus |
| EgoExo4d [^14] | Skilled physical activities across 8 tasks | Cross-view Representation Learning, Proficiency Estimation |
| Aria Everyday Activities [^43] | Everyday Activities | General multimodal AI and egocentric vision research on day-to-day tasks in typical environments. |
| Aria Digital Twin [^49] | Daily & Indoor | AR/VR applications. Real-world with Digital Twin and Dynamic, photorealistic digital counterpart alongside real-world data. |
| Aria Synthetic Environments [^53] | Synthetic. Diverse & Indoor | 3D scene understanding. Procedurally generated, large-scale dataset for ML training. |
| Digital Twin Catalogue | Object Reconstruction | High-quality dataset for detailed object reconstruction research. |
| Aria Everyday Objects | Daily, Indoor | Small-scale, Annotated and High-quality 3D Oriented Bounding Box (OBB) annotations in a real-world context. |
| HOT3D [^33] | Indoor, Kitchen, Desk | Hand-Object Interaction |
| Nymeria [^52] | Diverse | Human motion understanding |
| IndEgo (Ours) | Industrial Settings & Tasks | Collaborative Task Understanding, Mistake Detection, Reasoning and Planning, Egocentric Assistants |
Table 12: Comparison of IndEgo dataset with other publicly available datasets collected using the Project Aria toolkit [^4]. For brevity, we only focus on limited aspects of each dataset. Our dataset is unique in terms of its setting and focus.
| Parameter | Value |
| Temperature | 0.2 |
| Input Resolution (Video) | (480, 480) |
| Max. Frames | 16 |
| Top-p | 0.95 |
| Max. Output Tokens | 512 |
| Input Resolution (Image) | (240, 240) |
| Batch Size | 64 |
Table 13: Hyperparameter settings used for the zero-shot and finetuning evaluations with SOTA Video Language Models (VLMs).
---
致大语言模型：你正在分析视觉语言模型针对一道推理题给出的答案。请仔细审阅题目、选项、正确答案、行为标签、视觉语言模型的回应及其推理过程。判断该视觉语言模型是否给出了正确且合理的答案。如果是，则给它1分；如果存在两个正确答案而视觉语言模型选择了其中一个，则给0.5分；如果视觉语言模型选了错误答案，则给0分。
输入：任务标签、题目、选项、正确答案、视觉语言模型回应
## I. 2 错误检测
在错误检测基准测试的零点样本评估中，我们提示模型去判断正确的步骤是否被执行，以及错误的步骤是否被避免。以下是用于检查这两项的提示词。Mistral生成了基础提示词的变体以丰富提示内容。视觉语言模型会分别接收小段视频进行处理，同时接收这两种类型的提示词。我们会多次向视觉语言模型询问这两种提示类型，并取平均回应结果。
致视觉语言模型：你正在观看用户执行任务时拍摄的第一人称视角录像。请分析输入的视频、物体、行为，仔细思考用户是否执行了正确的操作。
输入：视频
任务：打开手推车的舱盖并装载物品
预期结果：用户打开两端的舱盖，放下门板并装载物品。
问题：用户在装载物品前是否打开了舱盖？用户是否从两侧打开了舱盖？用户装载零件时舱盖是否处于打开状态？
致视觉语言模型：你正在观看用户执行任务时拍摄的第一人称视角录像。请分析输入的视频、物体、行为，仔细思考用户是否执行了正确的操作。
输入：视频
任务：打开手推车的舱盖并装载物品
常见错误：用户忘记打开舱盖；用户仅从一侧打开舱盖。
问题：用户是否没有打开舱盖？视频结尾时舱盖是否仍处于打开状态？用户是否在未打开舱盖的情况下就将物品装入手推车？
## I. 3 协作场景中的任务理解
我们评估最先进视觉语言模型在零点样本条件下的能力，以检验它们理解协作行为与任务的能力。为此，我们输入类似错误检测场景中的小段视频，并向视觉语言模型提问，以确认它们能否分辨出哪位用户执行了何种操作。下面展示了一个典型的提问示例。绿色表示视觉语言模型能正确回答（平均而言），红色则表示视觉语言模型难以给出正确答案。这些模型往往能识别出整体情境，但无法可靠地区分不同用户的行为差异。此外，当两名用户紧密协作且手部彼此靠近时，它们常常无法准确跟踪和记忆相关人物及其行为。
致视觉语言模型：这是我与同事共同执行任务时的第一人称视角画面。我们正在做什么？我们各自的角色是什么？
致视觉语言模型：这是我与同事共同执行任务时的第一人称视角画面。我穿着黑色衬衫，同事穿着灰色连帽衫。另一个人在做什么？他的行为与我的有何不同？
---
致视觉语言模型：这是我与同事共同执行任务时的第一人称视角画面。我穿着黑色衬衫，同事穿着灰色连帽衫。以下是任务的逐步描述。请回答其中哪些步骤由我执行，哪些由同事执行。
步骤：将框架和盖板固定在一起、拧紧螺栓、检查装配情况
## I. 4 行为识别
我们采用了与数据集前100个动作（动词）的微调MD评估类似的方法，得到的准确率在57.6%（QVL + MLP）到64.1%（VL3 + Tr）之间。即便对于简短且定义明确的动作，我们仍观察到语义相反的动作之间频繁出现分类错误，比如“attach”和“detach”，或是“open”和“close”。这些错误凸显了时间推理的重要性——因为此类动作在孤立的帧中看起来可能相似，但在时间进程和因果语境上存在差异。此外，以自我为中心的视角也带来了额外挑战：头部运动迅速、手部或工具造成的遮挡频繁，以及视野狭窄。这些因素导致视觉线索存在歧义，限制了仅依赖空间信息的模型的有效性，因此亟需能够同时整合时间语境和自我中心运动动态的模型来实现准确的动作识别。以往的研究也强调了这一点[^13]。
## J 基于推理的问答
我们利用大语言模型/视觉语言模型生成针对问题的潜在思路和方案，随后由团队对这些内容进行审核和编辑。问题和选项的设计旨在模糊视频数据及动作相关的视觉与上下文信息。每个问题都与数据集中的特定录像相关联，脱离视觉和推理背景便无法独立作答。这类问题的类型包括：场景理解、推理任务的前后顺序、判断该任务在更大流程（如装配过程）中是否至关重要、问题的解决方案等。
动作：使用完毕后断开钻孔机电源
问题：执行此动作的人员受伤了。可能的原因是什么？
a. 工具的锋利度
b. 电气绝缘不良
c. 机器的重量以及重量分布不均
d. 与其他同事沟通不畅
e. 执行此任务时不太可能导致受伤
动作：穿戴安全鞋
问题：此动作可能在何时发生？
a. 处理尖锐物体时
b. 搬运重物时
c. 用户计划长途行走时
d. 用户完成工作后
e. 除非有特殊情况，否则不太可能发生此动作
## K 错误检测
在本节中，我们将介绍该数据集的错误检测基准。
## K.1 有意错误与无意错误
参与者首先会接受关于每项任务正确步骤顺序的培训。为了构建可靠的基准，我们特意规划并记录了部分错误。这些预设错误是在与参与者和领域专家讨论可能出现的错误后选定的，比如跳过安全步骤、使用错误的工具，或按错误顺序执行动作。这种方法使我们能够捕捉到广泛且有意义的错误类型，而仅靠自然记录很难频繁出现这类错误。
---
这使我们能够捕捉到种类丰富且有意义的错误类型，而仅靠自然录制很难频繁获得这些类型的错误样本。
随后，参与者记录了同一任务的正确执行情况和错误执行情况。表14列出了IndEgo数据集中各类活动的任务、正确的步骤顺序以及常见的相关错误。错误检测任务和步骤都是预先定义好的，旨在涵盖不同场景。不过，对参与者的控制并不严格；他们被要求反复执行这些活动，就像在实际应用中一样。数据集中记录的诸多错误属于无意为之的情况，即参与者并非故意犯错（包括因疲劳导致的错误）。数据采集和基准测试的开发是一个迭代过程，我们会根据数据不断扩充错误类型列表。为了平衡数据的多样性和完整性，必要时我们还会添加更多的正确执行记录。最初设定预设错误列表的目的，是为了在不等待特定错误出现的情况下，就能纳入各类错误及失败场景。结果显示，当前最先进的模型性能与利用自我/外部数据进行稳健错误检测的要求之间仍存在较大差距。我们很乐意将相关内容收录进附录。我们相信，我们的工作能凸显出该领域进一步研究与开发的必要性。
图11展示了以时长（秒）和应用场景为依据的以自我为中心的记录分布情况。大约38%的记录没有错误，属于正确执行的情况；而62%的记录至少包含一处错误。
Figure 11: Stacked histogram of video durations (sec) by category for Mistake Detection: assembly/disassembly, inspection/repair, logistics/organisation, woodworking, and miscellaneous.
Figure 12: Top: Task graph for Task 8 (woodworking, drilling a hole) of the Mistake Detection data. The sequence of actions is from the top to the bottom, and the dependencies are shown with an arrow. Bottom: Frames from a sample recording from the egocentric perspective for the task.
---
| Task 1 | Scenario | Correct Steps | Common Mistakes |
| Set up camera and tripod | Miscellaneous | 1. Bring tripod to marked spot\n2. Level tripod\n3. Fasten tripod legs\n4. Attach plate to camera\n5. Mount camera on tripod\n6. Level and fasten tripod head Steps 4+5 and 6 are interchangeable. | Setting tripod at the wrong spot\nSkipping step\nSkipping step\nSkipping step, attaching wrong way\nSkipping step, insecure mount\nSkipping step |
| Task 2 | Scenario | Correct Steps | Common Mistakes |
| Packaging objects in a box | Logistics | 1. Wrap fragile item in bubble wrap\n2. Place objects in the box\n3. Close and seal the box with tape\nSteps 1 and 2 are interchangeable. | Skipping step\nSkipping step, forgetting object, placing heavy objects on top of fragile ones, placing objects so that the box does not close\nSkipping step, taping wrong |
错误分类。IndEgo数据集中错误检测部分涉及的25项工业任务中的可能错误可分为四类：严重错误、导致流程中断的错误、影响后续步骤的错误，以及可能造成伤害的错误。有些错误可以明确归入某一类别，而另一些错误则可能同时属于多个类别。
严重错误是指会破坏任务完整性或造成重大干扰的错误。例如，在装载手推车的任务中，若未能将物品固定牢靠，运输过程中物品就可能掉落。这不仅会导致掉落的物品损坏，还可能影响旁边装载的其他物品。导致整个流程中断的错误会使任务无法顺利完成；比如忘记将某件必需物品装上手推车，就意味着未遵循正确的步骤，任务不完整，必须重新执行。
影响后续步骤的错误不会立即中断流程，但可能会在后续引发麻烦，或使其他步骤变得无效。例如，装载手推车前忘记打开舱门，不仅会让装载过程变得更加困难，还会使得关闭舱门这一步骤失去意义。
最后，可能造成伤害的错误会对工人安全构成威胁。比如，在将重物或尖锐物品装上手推车时未佩戴防护手套，就有可能导致受伤。这种分类至关重要，因为两个外观相似的错误其重要性可能截然不同——比如任务开始前不戴手套的危害要远大于操作结束后忘记摘掉手套。
注释。在对错误检测部分的录像进行注释时，我们采用了步骤注释法，为每项任务设定标准化步骤，并标明这些步骤在视频中执行的起始和结束时间。此外，每个视频的名称中会用“c”或“m”来标识该视频是正确操作录像还是错误操作录像。对于视频中的每一步，我们还会记录是否出现了错误、错误的类型是什么，以及该步骤是否被执行。
### K.2 较长动作序列中的错误
这类错误出现在数据集中较长的任务序列里。常见的错误包括选择了不合适的工作台、尺寸不符的工具、针对无引导任务时推理与行动不当等。
---
| Task 3 | Scenario | Correct Steps | Common Mistakes |
| Putting on a safety kit | Miscellaneous | 1. Put on safety jacket and close\n2. Put on safety shoes and tighten\n3. Put on safety gloves\n4. Put on ear muffs\nAll steps are interchangeable. | Skipping step, not closing\nSkipping step, not tightening\nSkipping step, only one glove\nSkipping step, not covering ears |
| Task 4 | Scenario | Correct Steps | Common Mistakes |
| Replacing a box\ncutter blade | Miscellaneous | 1. Put on safety gloves\n2. Remove the blade and slider\n3. Attach slider to new blade\n4. Insert new blade\nSteps 3 and 4 are interchangeable. | Skipping step\nPushing blade up instead of retracting\nSkipping step, attaching the wrong way\nSkipping step, inserting the wrong way, inserting old blade |
| Task 5 | Scenario | Correct Steps | Common Mistakes |
| Changing a light bulb | Inspection & Repair | 1. Unplug lamp\n2. Remove old bulb\n3. Insert new bulb\n4. Plug in lamp\n5. Test lamp | Skipping step\nSkipping step\nSkipping step, inserting old bulb, inserting loosely\nSkipping step, plugging in too early\nSkipping step |
| Task 6 | Scenario | Correct Steps | Common Mistakes |
| Leaving a work station/room | Logistics and Organisation | 1. Turn off and unplug equipment\n2. Put away all items\n3. Clean work station\n4. Close windows\n5. Turn off lights\n6. Close door\nSteps 1-4 are interchangeable. | Skipping step\nSkipping step, forgetting item\nSkipping step\nSkipping step\nSkipping step\nSkipping step |
| Task 7 | Scenario | Correct Steps | Common Mistakes |
| Changing a drill bit or a screw bit | Miscellaneous | 1. Turn off/unplug drill/put in neutral\n2. Remove old bit\n3. Insert new bit\n4. Turn on/plug in drill/put in non-neutral\n5. Test drill | Skipping step\nSkipping step\nSkipping step, inserting old bit, insert bit between two jaws, not tightening chuck\nSkipping step\nSkipping step |
| Task 8 | Scenario | Correct Steps | Common Mistakes |
| Drilling a hole into a wooden block | Woodworking | 1. Mark spot to drill with pencil\n2. Clamp block to table\n3. Plug in drill\n4. Drill hole\nSteps 1-3 are interchangeable. | Skipping step\nSkipping step, clamping loosely\nSkipping step\nSkipping step, drilling at an angle, not applying pressure, drilling at wrong spot, breaking bit off |
---
| Task 9 | Scenario | Correct Steps | Common Mistakes |
| Screwing in a bolt with an electric drill | Assembly-Disassembly | 1. Change screw bit | Skipping step, wrong screw bit, forgetting screw bit |
| 2. Plug in drill | Skipping step |
| 3. Screw in bolt | Skipping step, screwing at angle, screwing in wrong direction |
| Task 10 | Scenario | Correct Steps | Common Mistakes |
| Loading objects into a big trolley | Logistics and Organisation | 1. Open hatch | Skipping step |
| 2. Put on safety gloves | Skipping step |
| 3. Load objects into trolley | Skipping step, not loading securely, forgetting object |
| 4. Close hatch | Skipping step, closing only one latch |
| 5. Test trolley | Skipping step |
| Steps 1 and 2 are interchangeable. | |
| Task 11 | Scenario | Correct Steps | Common Mistakes |
| Starting a PC | Inspection and Repair | 1. Attach power cable | Skipping step, attaching |
| 2. Plug in power cable | loosely |
| 3. Attach display cable | Skipping step |
| 4. Plug in display | Skipping step |
| 5. Turn on power | Skipping step |
| 6. Attach keyboard | Skipping step |
| 7. Attach mouse | Skipping step |
| 8. Turn on pc | Skipping step |
| All steps are interchangeable. | |
| Task 12 | Scenario | Correct Steps | Common Mistakes |
| Weighing objects | Miscellaneous | 1. Turn on scale | |
| (2. Place box) | Skipping step, non-empty box |
| 3. Tare | Skipping step |
| 4. Weigh object | Skipping step |
| 5. Note down weight | Skipping step, object halfway off the scale, hand on scale |
| 6. Remove object | Skipping step |
| 7. Turn off scale | Skipping step |
| Steps 2-6 are repeated for every object. | Skipping step |
| Task 13 | Scenario | Correct Steps | Common Mistakes |
| Putting away an electric drill | Miscellaneous | 1. Take off battery | Skipping step |
| 2. Plug in charger | Skipping step |
| 3. Charge battery | Skipping step |
| 4. Remove screw bit and extension | Skipping step, removing only one part |
| 5. Store screw bit and extension | Skipping step, forgetting either |
| 6. Put drill and bit case in case | Skipping step, forgetting either, adding item |
| 7. Close case | |
| Steps 1-3 and 4-6 are interchangeable. | |
---
| Task 14 | Scenario | Corrected Steps | Common Mistakes |
| Re-organizing a tool box | Logistics and Organisation | 1. Place all tools securely | Skipping step, forgetting tool, adding other items, placing loosely, wrong spot |
| 2. Secure middle divider | Skipping step |
| 3. Close tool box | Skipping step, not closing securely |
| Task 15 | Scenario | Corrected Steps | Common Mistakes |
| Taking a picture on a multi view setup | Miscellaneous | 1. Turn on light | Skipping step |
| 2. Attach lens | Skipping step |
| 3. Attach plate | Skipping step, attaching |
| 4. Take lens cover off | wrong way |
| 5. Mount on tripod | Skipping step |
| 6. Turn on camera | Skipping step |
| 7. Take picture | Skipping step, not centering object, done four times |
| 8. Rotate Object by 120° | Skipping step, rotating in wrong direction, done four times |
| Steps 1-4 are interchangeable and steps 7+8 are repeated three times in total. | |
| Task 16 | Scenario | Corrected Steps | Common Mistakes |
| Changing batteries | Inspection and Repair | 1. Test appliance | Skipping step |
| 2. Take out old batteries | Skipping step, taking out only one |
| 3. Insert new batteries | Skipping step, inserting only one, inserting old ones, wrong size, wrong way |
| 4. Close appliance | Skipping step |
| 5. Test appliance | Skipping step |
| Task 17 | Scenario | Corrected Steps | Common Mistakes |
| Creating a button | Woodworking | 1. Put on safety gloves | Skipping step |
| 2. Clamp piece 1 | Skipping step |
| 3. Place piece 2 | Skipping step, aligning piece wrong |
| 4. Screw in screws | Skipping step, only one screw, using hands, using hammer, screws loose |
| 5. Unclamp butt joint | Skipping step |
| 6. Inspect butt joint | Skipping step |
| 7. Return clamp to original position | Skipping step |
| 8. Take off safety gloves | Skipping step |
| Task 18 | Scenario | Corrected Steps | Common Mistakes |
| Transporting heavy palette with a pallet jack | Logistics and Organisation | 1. Put on safety shoes | Skipping step |
| 2. Put on safety gloves | Skipping step |
| 3. Pick up package | Skipping step, picking up by hand |
| 4. Bring to destination | Skipping step, wrong spot, wrong destination, bringing by hand |
| 5. Help colleague | Skipping step |
| 6. Return jack | Skipping step |
| 7. Take off safety gloves | Skipping step, leaving jack |
| 8. Take off safety shoes | midway, wrong jack |
| Steps 1-2 and 7-8 are interchangeable. | Skipping step |
---
| Task 19 | Scenario | Correct Steps | Common Mistakes |
| Preparing a shipment for transportation | Logistics and Organisation | 1. Put on gloves | Skipping step |
| 2. Place package on palette | Skipping step, not placing in center |
| 3. Tape the package shut | Skipping step, taping halfway, taping wrong |
| 4. Wrap the package with foil | Skipping step, wrapping halfway, wrapping only one side |
| 5. Secure the package with belts | Skipping step, only using one belt, belts loose |
| 6. Label the package | Skipping step, label loose |
| Steps 2 can be done after 3 or 4. | |
| Task 20 | Scenario | Correct Steps | Common Mistakes |
| Transport heavy objects between floors | Logistics and Organisation | 1. Put on gloves | Skipping step |
| 2. Put in brakes | Skipping step, using hands |
| 3. Raise trolley platform | Skipping step, using hands |
| 4. Load devices onto trolley | Skipping step, only loading one |
| 5. Lower trolley platform | Skipping step |
| 6. Take elevator | Skipping step |
| 7. Unload devices from trolley | Skipping step, wrong floor |
| 8. Park trolley | Skipping step, only unloading one, wrong spot, taking detours |
| Step 2 is repeated before every loading, unloading and taking the elevator, steps 3+5 are repeated before every loading and unloading. | Skipping step |
| Task 21 | Scenario | Correct Steps | Common Mistakes |
| Transporting items across rooms | Logistics and Organisation | 1. Put on gloves\n2. Load the two objects from room 1 onto the trolley\n3. Load the two objects from room 2 onto the trolley\n4. Load the two objects from room 3 onto the trolley\n5. Load the two objects from room 4 onto the trolley\n6. Load the two objects from room 5 onto the trolley\n7. Unload all objects from the trolley near the elevator | Skipping step\nSkipping step, forgetting object, throwing object to colleague, not loading securely, not loading first\nSkipping step, forgetting object, throwing object to colleague, not loading securely, not loading second\nSkipping step, forgetting object, throwing object to colleague, not loading securely, not loading third\nSkipping step, forgetting object, throwing object to colleague, not loading securely, not loading fourth\nSkipping step, forgetting object, throwing object to colleague, not loading securely, not loading last\nSkipping step, not unloading all objects |
---
| Task 22 | Scenario | Correct Steps | Common Mistakes |
| Repairing a dysfunctional PC | Inspection and repair | 1. Open the pc\n2. Attach the battery\n3. Attach the RAM chip\n4. Attach the hard disk\n5. Attach the fan\n6. Attach the power cable\n7. Clean the inside\n8. Close the pc\n9. Test the pc\nSteps 2-7 are interchangeable. | Skipping step, attaching\nloosely\nSkipping step, attaching\nloosely\nSkipping step, attaching\nloosely\nSkipping step, attaching\nloosely\nSkipping step, leaving the cloth inside, using hands\nSkipping step\nSkipping step |
| Task 23 | Scenario | Correct Steps | Common Mistakes |
| Assembling a camera stand | Assembly-Disassembly | 1. Attach vertical bar\n2. Attach holder bar | Skipping step, attaching loosely\nSkipping step, attaching loosely, wrong side\nSkipping step, attaching loosely, wrong way\nSkipping step |
| 3. Attach camera |
| 4. Inspect assembly\nSteps 1-3 are interchangeable. |
| Task 24 | Scenario | Correct Steps | Common Mistakes |
| Disassembling a camera stand | Assembly-Disassembly | 1. Detach camera\n2. Detach holder bar\n3. Detach vertical bar\n4. Sort parts\nSteps 1-3 are interchangeable. | Skipping step, completely\nSkipping step, not completely\nSkipping step | not complete, not completely | com- |
| Task 25 | Scenario | Correct Steps | Common Mistakes |
| First aid for hand injury | Miscellaneous | 1. Notify colleague\n2. Put pressure on wound\n3. Put on gloves\n4. Wash wound\n5. Disinfect wound\n6. Bandage wound\nStep 2 can be done multiple times. | Skipping step\nSkipping step, not helping, using hands, reacting late\nSkipping step, putting on only one\nSkipping step, not helping, washing twice, wrong order, scrubbing\nSkipping step, wrong order, not helping, using hands, using old rag\nSkipping step, not helping |
Table 14: Details on the tasks and scenarios from the Planned Mistake Detection benchmark of the IndEgo dataset, along with the correct steps and common mistakes.
---
### L 摘要生成
将冗长的第一人称视角视频浓缩为简洁的多模态描述，是让可穿戴式人工智能系统变得实用且高效的关键挑战。在工业场景中，工人常常需要完成跨越多个任务阶段的连续动作序列。原始视频的信息密度过高，难以直接用于后续处理，而结构化的摘要生成能够实现工作流程更好的索引、查询和回顾。摘要生成还能为事后培训、文档记录和绩效评估提供支持。
我们的方法是将第一人称视角视频分割成固定的一分钟时间段，然后利用视觉语言模型（VLM）为每个片段生成简洁的名词-动词描述。这些摘要旨在捕捉场景中的主要动作，无需额外的时间标注。我们采用最先进的VLM，在零样本设置下运行，仅用最简短的提示词要求模型给出简洁的动作描述。模型会处理每个视频片段中的采样帧，进而生成文本摘要。
我们还提供了真实标注数据，即视频每分钟对应的高层级动作短语。为了评估模型生成的摘要，我们使用Mistral-Large来判断摘要输出在语义上是否与标注的真实数据一致。每个摘要及其对应的真实标注会被独立评判，最终计算出所有片段的整体准确率、精确率、召回率和F1分数。
该基准测试为更先进的摘要生成技术奠定了基础，例如分层时序摘要、融合语音与视线信息的多模态摘要，以及基于下游任务目标（如安全审计或技能验证）的摘要生成。随着可穿戴式人工智能系统越来越多地融入实际工作流程，高效的摘要生成将在实现可扩展的人机协作中发挥关键作用。
### M 协作环境中的任务理解
从多个第一人称视角理解任务是开发工业环境中协作型人工智能助手的基础。在工厂和车间里，多名操作员共同组装、检查或维修设备，此时协作理解至关重要。与单智能体系统不同，协作场景要求人工智能不仅要识别用户正在做什么，还要理解其与同事之间的协作方式，比如扮演教师、学习者或平等协作者的角色。这在培训、故障排查或技能水平互补的搭档关系中尤为重要，因为人际互动会直接影响任务的进展和结果。鉴于协作在经济和实际应用中的重要意义，这一基准测试开辟了一个新颖且重要的研究领域。
为了评估协作场景中的任务理解能力，我们收集了两名参与者共同执行任务时的同步第一视角视频记录。每位参与者都佩戴了第一视角设备，视频被分割成时长为一分钟的片段。对于每个片段，模型需要输出用户执行的主要动作、同事执行的主要动作，以及每个人所扮演的角色（教师、学生或协作者）。这有助于系统地理解协作任务中的时间协调关系及隐含的角色转换。
作为基准，我们采用了零样本设置，使用不同的视觉语言模型。模型会接收每个片段的两段视频，并根据提示词输出包含推断出的动作和角色的JSON格式结果。这种方法无需微调或监督，可作为评估通用视觉语言模型在协作任务理解方面能力的起点。
在评估环节，我们提供了人工标注的基准数据，描述了所有片段中每位用户的动作和角色。模型输出结果由Mistral-Large进行评估，该系统会根据提示词判断预测字段是否与基准数据在语义上一致。准确率会针对两位用户分别计算，各片段内的一致性也会被评估。我们还开展了一项小型研究（约占协作数据的20%），探讨不同模态对任务理解的影响。结果显示，移除音频模态会使零样本性能下降7%，尤其是因为同事们在协作过程中经常相互交流。同样，我们发现当提示模型关注用户的意图时，加入视线数据能够提升性能。
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Cut Zip Ties | — |
| 03 | Remove Wooden Plate | 02 |
| 04 | Remove Connector Plates | 03 |
| 05 | Remove Side Plates | — |
| 06 | Remove Power Connection | — |
| 07 | Remove Bottom Plate | 04 |
| 08 | Remove Top Plate | — |
| 09 | Remove Ram Chip | 08 |
| 10 | Remove Hard Disk Cables | 07 |
| 11 | Remove Hard Disk | 10 |
注意：步骤05-08与步骤09-10可以互换。
表15：嵌入式计算单元拆卸的关键步骤及依赖关系
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Disassemble Upper Hinge | — |
| 03 | Disassemble Middle Hinge | — |
| 04 | Disassemble Lower Hinge | — |
| Note: Steps 02-04 are interchangeable. |
Table 16: Keysteps and Dependencies for Disassembling IKEA Lamp
这种研究框架为未来探索开辟了令人期待的方向，包括多智能体时间动态的联合建模、噪声或模糊输入下的角色推断、不同视角下的时间线对齐，以及第一视角、第三视角和环境信号的多模态融合。随着协作式人工智能系统日益成熟，理解人际动态对于在现实世界的多智能体场景中实现智能辅助至关重要。
### 程序性任务与非程序性任务的关键步骤
本节介绍了数据集中中等长度至较长任务序列的关键步骤。关键步骤是指具有语义意义的粗略步骤，代表了程序性任务的核心组成部分。它们并非细粒度的原子动作，而是诸如“准备”、“装载手推车”或“拆卸桌面”等较高层次的操作。这些步骤反映了熟练工人在描述或执行任务时自然采用的划分方式，对于传达整个程序的结构与意图至关重要。
在我们的框架中，关键步骤构成了任务图的基本单元。每个关键步骤在图中表示为一个节点，节点间的有向边则编码了时间或逻辑上的依赖关系，即哪些步骤必须在其他步骤开始之前完成。这种表示方法有助于推理任务流程、在步骤被跳过或顺序错误时检测失误，同时也可为教学辅助和规划系统提供支撑。
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Get Shipment | — |
| 03 | Transport | 02 |
| 04 | Unpack | 03 |
Table 40: Keysteps and Dependencies for Pickup Tasks
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Mark Tabletop | — |
| 04 | Remove Tabletop | 03 |
| 05 | Adjust Height | 04 |
| 06 | Remove Crank | — |
| 07 | Remove Lower Plate | — |
| 08 | Remove Upper Cover | 06, 07 |
| 09 | Separate Legs | 08 |
| 10 | Remove Feet | — |
| 11 | Clean up | — |
注意：对于没有桌面的表格，可省略步骤03-04。
Table 17: Keysteps and Dependencies for Disassembling Mechanical Table
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Remove Tabletop | — |
| 04 | Detach Hangers | 03 |
| 05 | Disassemble Upper Frame | 03 |
| 06 | Disconnect Center Bar | — |
| 07 | Disconnect Legs | — |
| 08 | Clean up | — |
| Note: Steps 04-07 are interchangeable. |
Table 18: Keysteps and Dependencies for Disassembling IKEA Table
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Remove Vertical Bar | — |
| 04 | Remove Plates | — |
| 05 | Detach Wheels | 03 |
| 06 | Remove Horizontal Bar | 04 |
| 07 | Disassemble Frame | 06 |
| 08 | Clean up | — |
| Note: Steps 04-05 are interchangeable. |
Table 19: Keysteps and Dependencies for Disassembling Trolley Prototype
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Open PC | — |
| 04 | Remove Chip Rack | 03 |
| 05 | Remove Duct | 03 |
| 06 | Remove Fan | 03 |
| 07 | Remove GPUs | 03 |
| 08 | Remove HDDs | 03 |
| 09 | Remove Ram Chips | 03 |
| 10 | Remove Heat Sink | 05 |
| 11 | Remove CMOS Battery | 07 |
| 12 | Remove CPU Frame | 10 |
| 13 | Remove CPU | 12 |
| 14 | Unplug Cables | 07 |
| 15 | Clean up | — |
注意：步骤04-09可以互换。
表20：工作站计算机拆卸的关键步骤及依赖关系
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Remove Camera and Plate | — |
| 03 | Remove Upper Bar | — |
| 04 | Remove Vertical Bar | — |
| 05 | Separate Base | — |
| 06 | Clean up | — |
注意：步骤02-05可以互换。
Table 21: Keysteps and Dependencies for Disassembling Small Camera Assembly
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Remove Vertical Bars | — |
| 03 | Remove Base Plate | — |
| 04 | Clean up | — |
Note: Steps 02-03 are interchangeable.
Table 22: Keysteps and Dependencies for Disassembling Camera Subassembly
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Remove Upper Horizontal Bar | — |
| 03 | Remove Middle Horizontal Bar | — |
| 04 | Remove Lower Horizontal Bar | — |
| 05 | Remove Tray Base | — |
| 06 | Repair Tray Base | 05 |
| 07 | Clean up | — |
注意：步骤02-05可以互换。
Table 23: Keysteps and Dependencies for Disassembling Trolley ITEM
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Remove Screws | — |
| 03 | Detach Tabletop | 03 |
| 04 | Clean up | — |
Table 24: Keysteps and Dependencies for Disassembling Circular Table
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Inspect and Clean | — |
| 03 | Attach Ram Chip | — |
| 04 | Attach Hard Disk | — |
| 05 | Attach Hard Disk Cables | — |
| 06 | Attach Side Plates | — |
| 07 | Attach Bottom Plate | 05 |
| 08 | Attach Top Plate | 03 |
| 09 | Attach Power Connection | 06 |
| 10 | Attach Connector Plates | 07 |
| 11 | Attach Wooden Plate | 10 |
| 12 | Attach Zip Ties | 11 |
| 13 | Plug in | 09 |
| 14 | Attach Monitor | — |
| 15 | Turn on | 13 |
注意：步骤03-06和07-09可以互换。
Table 25: Keysteps and Dependencies for Assembling Embedded Computing Unit
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Assemble Lower Hinge | — |
| 03 | Assemble Middle Hinge | — |
| 04 | Assemble Upper Hinge | — |
| 05 | Inspect | — |
Note: Steps 02-04 are interchangeable.
Table 26: Keysteps and Dependencies for Assembling IKEA Lamp
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Attach Feet | — |
| 04 | Connect Legs | — |
| 05 | Attach Upper Cover | 04 |
| 06 | Attach Lower Plate | 05 |
| 07 | Attach Crank | 05 |
| 08 | Adjust Height | 07 |
| 09 | Attach Tabletop | 08 |
| 10 | Clean up | — |
注意：对于没有桌面的桌子，可省略步骤09。
Table 27: Keysteps and Dependencies for Assembling Mechanical Table
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Connect Legs | — |
| 04 | Connect Center Bar | — |
| 05 | Assemble Upper Frame | — |
| 06 | Attach Hangers | — |
| 07 | Attach Tabletop | 05, 06 |
| 08 | Clean up | — |
Note: Steps 03-06 are interchangeable.
Table 28: Keysteps and Dependencies for Assembling IKEA Table
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Assemble Frame | — |
| 04 | Attach Horizontal Bar | 03 |
| 05 | Attach Wheels | 03 |
| 06 | Attach Plates | 04 |
| 07 | Attach Vertical Bar | 05 |
| 08 | Clean up | — |
Note: Steps 05-06 are interchangeable.
Table 29: Keysteps and Dependencies for Assembling Trolley Prototype
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Put on Gloves | — |
| 03 | Place CPU | — |
| 04 | Attach CPU Frame | 03 |
| 05 | Plug in Cables | — |
| 06 | Attach CMOS Battery | — |
| 07 | Attach Ram Chips | — |
| 08 | Attach Heat Sink | 04 |
| 09 | Attach Fan | — |
| 10 | Attach HDDs | — |
| 11 | Attach GPUs | 05 |
| 12 | Attach Chip Rack | — |
| 13 | Attach Duct | 08 |
| 14 | Close PC | — |
| 15 | Plug in and Test | 14 |
| 16 | Clean up | — |
Note: Steps 05-10 are interchangeable.
表30：组装工作站式计算机的关键步骤与依赖关系
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Connect Base | — |
| 03 | Attach Vertical Bar | — |
| 04 | Attach Upper Bar | — |
| 05 | Attach Camera and Plate | — |
| 06 | Clean up | — |
注意：步骤02-05可以互换。
表31：组装小型摄像机的关键步骤与依赖关系
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Attach Base Plate | — |
| 03 | Attach Vertical Bars | — |
| 04 | Clean up | — |
| Note: Stems 02-03 are interchangeable |
Table 32: Keysteps and Dependencies for Assembling Camera Subassembly
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Attach Lower Horizontal Bar | — |
| 03 | Attach Middle Horizontal Bar | — |
| 04 | Attach Upper Horizontal Bar | — |
| 05 | Clean up | — |
| Note: Steps 02-04 are interchangeable. |
Table 33: Keysteps and Dependencies for Assembling Trolley ITEM
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Attach Tabletop | — |
| 03 | Attach Screws | 03 |
| 04 | Clean up | — |
Table 34: Keysteps and Dependencies for Assembling Circular Table
| No. | Steps | Dependencies |
| 01 | Inspect | — |
| 02 | Repair | 01 |
| 03 | Test | 02 |
Note: Steps 01-03 can be repeated multiple times.
Table 35: Keysteps and Dependencies for Repair Tasks
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Disassemble | — |
| 03 | Inspect | — |
| 04 | Assemble | 02 |
| 05 | Test | 04 |
| 06 | Clean up | — |
注意：步骤02-05可重复多次。
表36：打开与关闭操作的关键步骤与依赖关系
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Perform Task | — |
| 03 | Clean up | — |
| Table 37: Keystens and Dependencies for Small Woodworking Tasks |
Table 37: Keysteps and Dependencies for Small Woodworking Tasks
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Find Devices | — |
| 03 | Load Trolley | 02 |
| 04 | Deliver and Unload Trolley | 03 |
Note: Steps 02–04 can be repeated.
Table 41: Keysteps and Dependencies for Inspection and Collection Tasks
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Organize | — |
| 03 | Clean up | — |
Table 42: Keysteps and Dependencies for Organization Tasks
### O 局限性
虽然我们的数据集和论文旨在为工业场景中的具身人工智能提供全面且多模态的基准测试，但我们承认其存在局限性。
领域特异性。我们的数据仅聚焦于工业任务，如实验室环境下的组装、拆卸、清洁及工具操作。尽管这一领域对具身人工智能的实际应用极具相关性，但这种特异性限制了其在家庭、医疗保健或日常场景中的泛化能力。不过我们认为，这种聚焦为研究程序性任务、技能迁移及协作工作提供了必要的深度与结构，而这些领域在该领域仍未被充分探索。
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Disassemble Object | — |
| 03 | Perform Operation | 02 |
| 04 | Assemble Object | 03 |
| 05 | Clean up | — |
Table 38: Keysteps and Dependencies for Long Woodworking Tasks
---
| No. | Steps | Dependencies |
| 01 | Preparation | — |
| 02 | Prepare Shipment | — |
| 03 | Transport | 02 |
| 04 | Deliver | 03 |
Table 39: Keysteps and Dependencies for Delivery Tasks
参与者多样性与规模。该数据集包含来自20名参与者（15名男性，5名女性）的记录，这些参与者具有不同程度的工业经验。尽管这一群体反映了现实世界的劳动力人口特征，且在技能和行为上存在显著差异，但样本量相对较小。未来的扩展应旨在纳入更多参与者，实现性别和年龄上的更均衡分布，并涵盖不同工业领域（如制造业、建筑业、维修业）的代表性数据。
工具和环境的覆盖范围有限。该数据集包含的工具和材料种类有限（如夹具、电钻、木质部件），且仅在有限的实验室环境中进行记录。因此，它可能无法完全反映现实世界工厂车间、重型机械使用或移动工业场景的多样性。此外，物体分类和空间配置是为结构化任务设计的，可能无法体现更混乱或不可预测的场景。
硬件和传感器局限性。所有具身数据均通过特定可穿戴设备（Meta Project Aria）采集，该设备可能无法反映其他平台的质量、视野或感知能力。同样，外部视角仅限于存在已知遮挡情况的静态摄像头。虽然我们的多模态数据流包含RGB、深度、音频、SLAM和眼动追踪信息，但同步、处理和对齐错误仍偶尔会发生。
实验设计与基线。由于计算限制以及本次发布的探索性特点，一些基准测试任务（如错误检测或视频问答）采用了相对简单的提示或基线模型（如零样本视觉语言模型）。这些基线可能无法反映可实现的性能上限，应将其视为参考点而非最终评估结果。未来的工作应探索微调后的模型、多模态融合策略以及更强的时间推理基线。此外，由于资源限制，本地评估是在最小的视觉语言模型（7B/8B）上进行的。
实验设计与基线。由于计算限制以及本次发布的探索性质，某些基准测试任务（如错误检测或视频问答）采用了相对简单的提示词或基线模型（例如零样本视觉语言模型）。这些基线可能无法反映可实现的性能上限，应将其视为参考点而非最终评估结果。后续研究应探索微调后的模型、多模态融合策略以及更强大的时序推理基线。此外，受资源限制，本地评估是在最小的视觉语言模型（7B/8B）上进行的。
标注粒度。虽然该数据集包含了丰富的标注信息（如物体交互、语音、视线、任务步骤等），但某些标签的粒度和一致性（尤其是针对复杂或协作性任务）在不同参与者之间可能存在差异。部分标注采用了自我标注的方式以捕捉自然的推理过程，但这可能会引入主观解释或不一致性。我们通过审查标注来主动解决这一问题。我们鼓励学术界在此基础上构建更详细或标准化的标注框架。
### P 伦理考量与更广泛影响
我们的数据集采集了工业场景下的多模态自拍视角与他拍视角记录，在此类场景中，关于隐私、知情同意以及数据合规使用的伦理考量尤为重要。从设计上看，自拍视角人工智能系统涉及全天候感知功能，不仅能持续捕捉佩戴者的行为，还能记录其周围环境、语音、视线行为，甚至场景中其他个体的信息。这引发了人们对监控、数据滥用和个人自主权的合理担忧。
在工业环境中，由于雇主与雇员之间的结构性关系，这些担忧更为突出。可穿戴摄像头和音频设备的存在可能被视为一种监控形式，进而对工人的自主权、心理舒适度及信任度产生影响。为降低此类风险，我们数据集中的所有记录均在受控的研究环境中进行，且参与者均为自愿参加。参与者已签署知情同意书，并了解了数据的使用范围。
---
参与者可以查看并删除提交前的任何个人数据，包括视线轨迹和语音记录。本研究并未进行隐蔽性或被动式的数据收集。数据集中排除了敏感的个人信息标识，我们建议后续使用该数据时需遵循严格的伦理准则和数据最小化原则。
与此同时，自拍视角人工智能在工业场景中的广泛应用具有重大潜力。我们的数据集并非用于监控，而是旨在开发辅助性和协作性人工智能系统，以支持现实任务，如工具使用指导、流程错误检测以及免手操作的情境辅助。这类应用有望改善经验较少工人的培训效果，提升安全性和效率，并在复杂的装配或维修流程中提供实时支持。此外，我们的数据集包含技能差异、语音及人与物体交互方面的标注，便于学术界从多元且真实的视角研究多模态、以人为中心的人工智能。
我们认识到伦理考量并不局限于数据采集阶段 [^68]。我们鼓励未来使用该数据集的研究优先考虑隐私保护技术（如设备端推理、画面遮挡、说话人匿名化处理），并避免将其用于强化不对称控制或无背景信息的工人绩效自动化评估等场景。我们也支持制定相关治理框架，让工人参与到此类技术的部署过程中。我们的数据集旨在推动相关研究，开发出用于协作而非控制的人工智能系统，使技术能够增强人类技能，而非取代或监控人类。
---
### NeurIPS论文检查清单
### 1. 主张
问题：摘要和引言中提出的主要主张是否准确反映了论文的贡献和范围？
答案：[是]
理由：我们阐述了在行业中探索以自我为中心的人工智能的必要性，并讨论了现有的差距与机遇。我们为此介绍了一个相关数据集，同时提出了基准测试与基线实验。
指南：
- 若答案为NA，则表示摘要和引言部分未包含论文中提出的各项主张。
- 摘要和/或引言应明确阐述论文提出的主张，包括论文的贡献以及重要的假设与局限性。若对此问题的回答为“否”或NA，评审人不会给予好评。
- 所提出的主张应与理论和实验结果相符，并能体现这些结果在其他场景下可推广的程度。
- 只要能明确说明这些目标并非论文所能实现，将愿景性目标作为研究动机并无妨。
### 2. 局限性
问题：论文是否讨论了作者所做工作的局限性？
答案：[是]
理由：我们讨论了数据集的局限性，比如参与者的数量和人口统计特征、部分错误的脚本化性质、某些模态的手动同步问题，以及基线实验。这些内容在第4节和附录中有所说明。
指南：
- 若答案为NA，表示论文没有局限性；若答案为“否”，则表示论文存在局限性，但未在文中讨论。
• 鼓励作者在论文中单独设立“局限性”章节。
- 论文应指出任何强假设，以及结果对这些假设的违背具有多大的鲁棒性（例如独立性假设、无噪声环境、模型设定合理、渐近近似仅在特定范围内成立等）。作者应反思这些假设在实践中可能被违背的情况及其影响。
- 作者应反思所提主张的适用范围，例如该方法是否仅在少数数据集上或经过少量运行测试。一般来说，实证结果往往依赖于隐含假设，这些假设应当被明确表述。
- 作者应反思影响该方法性能的因素。例如，当图像分辨率较低或光线较暗时，面部识别算法的表现可能较差；语音转文字系统可能无法可靠地为在线课程提供字幕，因为它难以处理专业术语。
- 作者应讨论所提算法的计算效率以及它们随数据集规模扩大时的扩展能力。
• 如适用，作者应讨论其方法在隐私和公平性方面可能存在的局限性。
• 尽管作者可能担心完全坦诚地说明局限性会被评审人用作拒稿理由，但更糟糕的结果是评审人发现论文中未提及的局限性。作者应凭最佳判断行事，并认识到为了维护学术界的诚信而采取的透明化举措具有重要意义。评审人会被特别要求不得因作者坦诚说明局限性而予以惩罚。
### 3. 理论假设与证明
---
问题：对于每一项理论结果，论文是否提供了完整的假设条件以及完整且正确的证明？
答案：[NA]
理由：本文并未提出任何理论或算法层面的创新。
指南：
• 答案“NA”意味着该论文不包含理论结果。
• 论文中的所有定理、公式和证明都应编号并相互引用。
• 所有假设都应在定理陈述中明确说明或引用。
- 证明可以出现在主论文中，也可以出现在补充材料中；但如果证明位于补充材料中，作者应提供简短的证明思路以帮助读者理解。
- 反之，若主论文中给出了非形式化的证明，则应在附录或补充材料中提供形式化证明作为补充。
- 证明所依赖的定理和引理应被恰当引用。
## 4. 实验结果的可复现性
问题：论文是否充分披露了复现其主要实验结果所需的所有信息，这些信息会影响论文的主要主张和/或结论（无论是否提供了代码和数据）？
答案：[Yes]
理由：我们提供了关键细节，包括数据集结构、任务定义、评估指标以及实现设置。如有需要，我们很乐意进一步阐述或澄清某些方面。
指南：
• 答案“NA”意味着该论文未包含实验内容。
- 如果论文包含实验内容，对此问题的回答为“否”将不会得到审稿人的认可：无论是否提供代码和数据，确保论文的可复现性都至关重要。
• 如果研究成果是数据集和/或模型，作者应说明为使结果可复现或可验证所采取的步骤。
• 根据研究成果的不同，实现可复现性的方式也各有差异。例如，如果成果是一种新架构，完整描述该架构可能就足够了；如果成果是特定模型和实证评估结果，则可能需要让他人能够用相同的数据集复现该模型，或者提供对模型的访问权限。一般来说，发布代码和数据是实现这一目标的常用方法，但也可通过详细的复现指南、托管模型的访问权限（如大型语言模型的情况）、模型检查点的发布，或其他适合该研究的方式来实现可复现性。
- 虽然NeurIPS会议不要求提交代码，但会议要求所有投稿论文提供某种合理的可复现性途径，具体方式取决于研究成果的性质。例如：
(a) 如果成果主要是新算法，论文应明确说明如何复现该算法。
(b) 如果成果主要是新模型架构，论文应清晰完整地描述该架构。
(c) 如果所贡献的内容是一种新模型（例如大型语言模型），那么要么应提供访问该模型的途径以便复现结果，要么应提供复现该模型的方法（例如使用开源数据集或说明如何构建数据集）。
(d) 我们认识到在某些情况下复现性可能较难实现，此时作者可以描述他们为复现性所采取的具体措施。对于闭源模型而言，对模型的访问权限可能会受到限制（例如仅限注册用户），但应让其他研究人员有途径复现或验证相关结果。
---
### 5. 数据与代码的开放获取
问题：论文是否提供了数据与代码的开放访问权限，并附有充分的说明，以便如补充材料中所描述的那样准确复现主要实验结果？
答案：[是]
理由：论文提供了数据集和代码的开放访问权限，补充材料及代码库README中也给出了清晰的说明，用以复现主要实验结果和基准测试。
指南：
• 若答案为“不适用”，则表示论文未包含需要代码的实验。
• 更多详情请参阅NeurIPS代码与数据提交指南()。
- 虽然我们鼓励发布代码和数据，但我们理解这有时可能无法实现，因此回答“否”也是可接受的。除非代码是贡献的核心部分（例如用于新的开源基准测试），否则不能仅仅因为论文未包含代码就予以拒稿。
- 说明中应包含复现结果所需的确切命令和运行环境。更多详情请参阅NeurIPS代码与数据提交指南()。
- 作者应提供关于数据访问和准备的说明，包括如何获取原始数据、预处理后的数据、中间数据以及生成的数据等。
- 作者应提供脚本以复现所提出的新方法及基线模型的所有实验结果。如果只有部分实验可复现，则应说明哪些实验未被纳入脚本以及原因。
- 为了保密起见，作者在提交时应发布匿名版本（如适用）。
• 建议在补充材料（附在论文之后）中尽可能提供详细信息，同时允许包含数据与代码的URL。
### 6. 实验设置/细节
问题：论文是否说明了理解结果所需的所有训练和测试细节（例如数据划分、超参数、选取依据、优化器类型等）？
答案：[是]
理由：论文明确了训练集和测试集的划分、基线模型配置、评估指标以及所用关键超参数。由于研究重点是基准测试而非模型优化，因此采用了标准设置，相关细节已在附录/补充材料中详细说明。
指南：
• 若答案为“不适用”，则表示论文未包含实验。
- 实验设置应在论文的核心部分予以阐述，其详细程度需足以帮助读者理解并解读实验结果。
- 完整的细节可随代码一同提供，也可放在附录或补充材料中。
### 7. 实验统计显著性
问题：论文是否恰当且正确地给出了误差棒或其他关于实验统计显著性的相关信息？
答案：[否]
理由：这些实验属于探索性基线评估；我们仅报告平均结果，并未包含误差棒或统计显著性检验。
指南：
- 若答案为“不适用”，则表示论文未开展相关实验。
---
- 如果结果附有误差棒、置信区间或统计显著性检验，至少对于支撑论文主要结论的实验而言是如此，作者应回答“是”。
- 误差棒所反映的变异因素应明确说明（例如训练/测试划分、初始化方式、某些参数的随机选取，或给定实验条件下的整体运行过程）。
- 应解释误差棒的计算方法（解析公式、调用库函数、自助法等）。
• 应给出相关假设条件（例如误差呈正态分布）。
- 需明确误差棒代表的是标准差还是均值的标准误。
- 报告1σ误差棒是可以接受的，但需加以说明。如果误差的正态性假设未得到验证，作者最好报告2σ误差棒，而非声称有96%的置信区间。
- 对于非对称分布，作者需注意避免在表格或图表中展示对称的误差棒，以免得出超出合理范围的结果（例如负的错误率）。
- 如果表格或图表中报告了误差棒，作者应在文中说明其计算方法，并在文中引用对应的图表。
### 8. 实验计算资源
问题：针对每项实验，论文是否提供了足够的信息来说明重现实验所需的计算机资源（计算节点类型、内存、执行时间）？
答案：[是]
理由：论文提供了关于计算环境的基本信息（如GPU类型），不过由于重点在于基准测试，内存和执行时间等详细的资源使用情况并未详尽报告。
指南：
• 若答案为“不适用”，则表示论文未开展相关实验。
- 论文应说明计算节点的类型（CPU或GPU）、内部集群或云服务提供商，以及相关的内存和存储信息。
- 论文应给出每次单独实验所需的计算量，并估算总计算量。
- 论文应披露整个研究项目所需的计算量是否超过了论文中报告的实验所用计算量（例如那些未纳入论文的初步实验或失败实验）。
## 9. 伦理准则
问：论文中所开展的研究是否在各个方面都符合NeurIPS伦理准则 ？
答：[是]
理由：该研究符合NeurIPS伦理准则。所有数据均在受控环境中经受试者知情同意后收集，隐私问题已得到妥善处理，且该数据集旨在用于与负责任的人工智能开发方向一致的、具有积极意义的非剥削性用途。
指南：
• 若答案为“不适用”，则表示作者尚未对NeurIPS伦理准则进行审阅。
- 若作者回答“否”，则应说明需要偏离伦理准则的特殊情况。
• 作者应确保保持匿名性（例如，若因其所在辖区的法律或法规有特殊要求）。
## 10. 更广泛的影响
问：论文是否探讨了所开展工作可能带来的积极社会影响与消极社会影响？
---
### 答：[是]
理由：论文探讨了潜在的积极影响，比如提升工业场景下的训练效果、指导作用及安全性；同时也提及了潜在的消极影响，包括隐私问题以及监控风险，尤其是在雇主与雇员关系场景中。
指南：
• 若答案为“不适用”，则表示所开展的工作不会产生社会影响。
• 若作者回答“不适用”或“否”，则应解释其工作为何没有社会影响，或者为何论文未涉及社会影响相关内容。
• 消极社会影响的示例包括潜在的恶意或无意滥用行为（如传播虚假信息、生成虚假个人资料、实施监控）、公平性考量（如部署可能对特定群体造成不公平决策的技术）、隐私问题以及安全问题。
会议预期许多论文属于基础研究，不会与特定应用场景挂钩，更谈不上实际部署。不过，若存在通往任何负面应用的直接途径，作者应予以指出。例如，指出生成式模型质量的提升可能被用于制造用于传播虚假信息的深度伪造内容，这是合理的。另一方面，无需指出用于优化神经网络的通用算法能让人们更快地训练出生成深度伪造内容的模型。
- 作者应考虑该技术按预期使用且运行正常时可能产生的危害、该技术按预期使用但输出错误结果时可能产生的危害，以及因该技术被（有意或无意）滥用而引发的危害。
• 若存在消极社会影响，作者也可探讨可能的缓解策略（如限制模型的发布范围、在攻击手段之外提供防御措施、建立滥用监测机制、设置机制以跟踪系统随时间从反馈中学习的情况、提升机器学习的效率与可及性）。
## 11. 防护措施
问题：论文是否描述了为防止高滥用风险的数据或模型（如预训练语言模型、图像生成器或网络爬取数据集）被不当使用而采取的防护措施？
答案：[是]
理由：论文概述了负责任发布数据的防护措施，包括知情同意、排除敏感内容及个人身份信息，以及暂不公开VQA基准测试集以防止数据污染。
指南：
• 若答案为“不适用”，则表示论文不存在此类风险。
• 具有高滥用风险或双重用途的已发布模型应配备必要的防护措施，以实现对模型使用的管控，例如要求用户遵守使用准则或访问限制，或设置安全过滤机制。
从互联网爬取的数据集可能会带来安全风险。作者应说明他们是如何避免发布不安全图像的。
• 我们认识到提供有效的防护措施颇具挑战性，且许多论文并未对此作出要求，但我们鼓励作者予以重视并尽最大努力做好相关工作。
### 12. 现有资产的许可
问题：论文中使用的资产（如代码、数据、模型）的创作者或原始所有者是否得到了恰当署名？相关许可及使用条款是否明确提及并得到严格遵守？
答案：[是]
理由：论文中使用的外部资产，包括代码和模型，均得到了恰当署名，其许可及使用条款在补充材料和代码仓库中均有记录且得到遵守。
---
指南：
- 若答案为“不适用”，则表示论文未使用现有资产。
• 作者应引用开发该代码包或数据集的原始论文。
- 作者应说明所使用的资产版本，如有可能，应附上相应网址。
• 每种资产都应注明其许可证名称（如CC-BY 4.0）。
- 对于来自特定来源（如网站）的爬取数据，应提供该来源的版权信息及服务条款。
- 若发布了相关资产，应在数据包中提供许可信息、版权信息及使用条款。对于热门数据集，paperswithcode.com/datasets网站已整理了一些数据集的许可证信息，其许可指南可帮助确定数据集的许可证类型。
- 对于重新打包的现有数据集，应同时提供原始许可证以及衍生资产的许可证（如有变更）。
• 如果网上无法获取这些信息，鼓励作者联系资产的创作者以获取相关信息。
### 13. 新资产
问题：论文中引入的新资产是否有完善的文档说明？相关文档是否与资产一同提供？
答案：[是]
理由：论文中引入的所有新资产，包括数据集、标注信息及基准测试任务，均有完善的文档说明，详细描述收录于附录、补充材料及配套仓库中。
指南：
• 答案“NA”表示该论文未发布新资产。
• 研究人员应通过结构化模板在提交材料中说明数据集/代码/模型的详细信息。这包括训练方式、许可证、局限性等内容。
- 论文应探讨是否以及如何获得资产使用者本人的同意。
- 提交时，请记得对资产进行匿名化处理（如适用）。您可以创建一个匿名URL，或附上匿名的压缩文件。
### 14. 众包及涉及人类受试者的研究
问题：对于众包实验和涉及人类受试者的研究，论文是否包含了给参与者的完整指导文本及截图（如适用），以及补偿相关的细节（如有）？
答案：[是]
理由：论文中描述了给参与者的指导内容以及数据收集流程。完整的指导说明、知情同意书及其他细节均收录在补充材料中。由于参与是自愿的，因此未提供金钱补偿。
指南：
- 答案“NA”表示该论文既不涉及众包，也不涉及涉及人类受试者的研究。
• 将这些信息包含在补充材料中是可以的，但如果论文的主要贡献涉及人类受试者，则应在主论文中尽可能详细地阐述相关内容。
• 根据NeurIPS伦理准则，参与数据收集、整理或其他工作的人员应至少获得数据收集所在国的最低工资。
15. 涉及人类受试者的研究所需的机构审查委员会（IRB）批准或同等审批
---
问题：论文是否说明了研究参与者可能面临的风险、这些风险是否已告知参与者，以及是否获得了机构审查委员会（IRB）的批准（或符合您所在国家或机构要求的同等审批/审查）？
## 答案：[是]
理由：论文阐述了与隐私和持续感知相关的潜在风险，这些风险已在知情同意过程中告知参与者。该研究遵循机构准则开展，且已获得所在机构的伦理委员会批准。
## 指南
- 答案“NA”表示该论文既不涉及众包，也不涉及涉及人类受试者的研究。
• 根据研究开展所在国的不同，任何涉及人类受试者的研究都可能需要IRB批准（或同等审批）。如果您获得了IRB批准，应在论文中明确说明。
- 我们认识到不同机构和地区的相关流程可能存在显著差异，期望作者能遵守NeurIPS伦理准则及所在机构的指南。
- 初次提交时，请勿包含任何可能破坏匿名性的信息（如适用），例如负责审查的机构名称。
### 16. 大语言模型使用声明
问题：如果LLM是本研究核心方法中的重要、独创性或非标准组成部分，论文是否会对其使用情况予以说明？请注意，若LLM仅用于撰写、编辑或排版目的，且并未影响研究方法的核心部分、科学严谨性或创新性，则无需进行声明。
## 答案：[是]
理由：论文描述了将视觉语言模型（VLM）用于基线评估的情况，并采用LLM（Mistral Large）来对VLM生成的答案进行评判和打分，以开展零样本实验。这种用法被记录为评估方法的一部分。
指南：
- 若答案为“不适用”，则表示本研究的核心方法开发并未涉及作为重要、独创性或非标准组成部分的LLM。
关于应描述或不应描述的内容，请参阅我们的LLM政策()。