# HoloAssist：面向现实世界交互式人工智能助手的以自我为中心的互动数据集
王欣$^{1*}$ 权泰仁$^{1,2*}$ 马赫迪·拉德$^{1}$ 潘博文$^{1\dagger}$ 伊沙尼·查克拉博蒂$^{1}$ 肖恩·安德里斯特$^{1}$
丹·博胡斯$^{1}$ 阿什利·费尼洛$^{1}$ 布格拉·特金$^{1\dagger}$ 费利佩·维埃拉·弗鲁热里$^{1}$ 尼尔·乔希$^{1}$ 马克·波勒费斯$^{1,2}$
$^{1}$微软 $^{2}$ 苏黎世联邦理工学院
## 摘要
打造一款能够在现实世界中感知、推理并与人类协作的交互式人工智能助手，一直是人工智能领域长期以来的追求。本研究属于开发能够引导人类完成物理世界任务的智能体这一更广泛研究工作的一部分。作为该方向的第一步，我们推出了HoloAssist——一个大规模以自我为中心的人类互动数据集，其中两人共同完成物理操作任务。任务执行者佩戴混合现实头戴设备来完成任务，该设备可采集七路同步数据流。任务指导者会实时观看执行者的以自我为中心的视频，并通过语言对其进行引导。通过为数据添加动作和对话标注，并观察不同参与者的丰富行为，我们获得了关于人类助手如何纠正错误、干预任务完成过程以及将其指令与周围环境关联起来的关键见解。HoloAssist包含了由350对独特的指导者-执行者采集的166小时的数据。此外，我们构建并给出了错误检测、干预类型预测和手部预测方面的基准测试，以及详细的分析结果。我们希望HoloAssist能为打造能够在现实世界中与人类流畅协作的人工智能助手提供重要资源。数据可在下载。
### 1. 引言
近年来，能够在各种开放世界任务中协助人类的通用人工智能代理取得了令人瞩目的进展，尤其是在数字领域。由ChatGPT $^{[29]}$等大型语言模型（LLM）驱动的人工智能系统能够回答用户的问题，并协助他们完成各种基于文本的任务。然而，这些人工智能助手缺乏在物理世界中的第一手经验，因此无法感知世界状态并进行主动干预。
双人交互式辅助任务完成
Multimodal Data
(1) RGB, (2) eye gaze, (3) hand pose
(4) head pose, (5) depth
(6) IMU, (7) audio
…学生解开Joy Con手柄上的绑带，取下绑带后，再将Joy Con手柄安装到任天堂Switch平板上。
(8) text
Figure 1: HoloAssist features a two-person interactive assistive task completion setting. The task performer wears an AR device and completes the tasks while the captured data is streamed over the network to a remote instructor watching it on the laptop. The instructor provides verbal guidance to the student. HoloAssist includes seven modalities captured live and human annotated text descriptions as the 8th modality.
在任务完成过程中。
打造一款能够在物理世界中感知、推理并交互的人工智能助手，已经引起了计算机视觉[^7] [^25] [^39] [^40]、人机交互[^6] [^8] [^16] [^31]、机器人技术[^5] [^34]等领域研究人员以及行业从业者的关注。例如，旨在引导用户完成复杂任务的AR Guide [^1]，随着增强现实（AR）设备的发展而日益流行。然而，现有系统往往依赖预定义的指令，或将虚拟助手设定为问答[^39] [^40]或视频理解系统——
---
现有的问题在于[^7] [^25]，缺乏与现实世界的互动。
在另一项研究中，研究人员开发了诸如Habitat [^23] [^38]、VirtualHome [^28]和AI2-Thor [^19]等模拟环境，用于训练能够与物理世界互动并协同完成新任务的AI智能体[^44]。不过，将这些智能体应用到现实世界仍存在巨大障碍，而且智能体之间的互动方式相较于现实中的人类互动而言也过于简化。
在本研究中，我们重点关注开发能够与人类共享视角、并在物理世界中引导用户完成任务的智能体所面临的挑战。作为第一步，我们推出了HoloAssist——一个大规模的第一人称视角人类互动数据集，旨在探索并明确这一领域存在的难题。如图1所示，任务执行者会佩戴AR头戴设备$^{*}$来采集数据。指导者则远程观看实时的第一人称视频流，并通过语言对执行者进行指导。我们开发了一款开源的数据采集工具[^3]，该工具采用分布式服务器-客户端架构，能够实现数据流传输和多模态数据采集。
HoloAssist包含了由222名不同参与者组成的350对独特的指导者-执行者配对所采集的166小时数据，这些参与者共同完成了20项以物体为中心的操作任务。涉及到的物体从常见的电子设备到工厂及专业实验室中的稀有物品不等。对于初次参与的人来说，这些任务通常颇具挑战性，需要指导者的协助才能顺利完成。系统共采集了七种原始传感器数据，包括RGB图像、深度信息、头部姿态、3D手部姿态、视线方向、音频以及IMU数据，这些数据有助于理解人类的意图、估算世界状态、预测未来动作等。最后，该数据集还补充了第三人称手动标注内容，包括文本摘要、干预类型、错误标注以及视频中的动作片段，如图2所示。
我们通过HoloAssist观察到人类指导者展现出的几个特点。首先，指导者往往能主动且及时地介入。他们不会等到错误发生后再采取行动，而是在任务执行者显得困惑时便给出后续指示。其次，指导者的口头指导通常简洁明了，且与任务执行者的所处环境紧密相关。这些指示常以空间指示语的形式呈现，以帮助执行者确定三维空间中的方向和距离。此外，指导者通常具备良好的世界模型认知，能够判断错误是否会影响任务完成，并据此调整指导方式。
我们进一步提出了关于错误检测、干预类型预测以及3D手部姿态预测的新任务和基准测试，我们认为这些是智能助手不可或缺的功能模块。此外，我们还对该数据集在动作分类和预测任务上进行了基准测试，并提供了实证结果，以阐明不同模态在各种任务中的作用。
Figure 2: HoloAssist includes action and conversational annotations, in addition to text summaries of the videos, to indicate the mistakes and interventions in task completion. mistake or correct attributes are associated with each fine-grained action. A purpose label is associated with every utterance to indicate the type of verbal intervention.
我们希望我们的数据集、研究成果以及相关工具能够为未来设计交互式AI助手以及现实世界中的情境化AI辅助应用提供丰富的资源与灵感。
### 2. 相关工作
我们的工作与计算机视觉领域的多项研究密切相关，尤其是第一人称视角视觉、具身人工智能以及人机交互方面。
交互式人工智能助手。构建能够帮助人类在现实或虚拟世界中执行任务的交互式智能体，一直是人工智能和人机交互领域长期面临的难题[^6] [^11] [^16] [^24] [^27] [^31] [^32]。早在1997年，Johnson和Rickel就推出了“Steve”[^16]，这是一款早期的教学型智能体，旨在帮助学生学习虚拟现实环境中的程序性任务。近期的研究重点转向了用于训练对话式任务引导助手的新建模方法和数据收集技术，例如模型参与式Wizard-of-Oz方法[^24]，以及在模拟环境中模仿机器人动作的人与人互动方式[^27]。在本研究中，我们重新审视这一问题，对现实世界中的人类互动进行了系统性研究，同时提供了丰富的传感器信息以拓展该领域的研究边界。
以自我为中心的视频数据集。以自我为中心的视角往往能传达关于用户意图的丰富信息。用户与人工智能助手或人类助手之间拥有共同的视角，有助于助手提供更及时且贴合实际的指导。在计算机视觉领域，已经出现了多个以自我为中心的视频数据集[^12] [^14] [^20] [^22] [^30] [^33] [^41]。
---
Figure 3: HoloAssist was collected by participants diverse in ages, occupations, genders, and geography. This helps us to study a diverse set of users with different backgrounds.
这些数据集在学术界得到了广泛应用。EPIC-KITCHENS[^12]是一个被广泛采用的、用于记录厨房活动以自我为中心的视频数据集。最近的Ego4D数据集[^14]是规模最大的野外以自我为中心的视频数据集，为三维世界中的以自我为中心的感知提供了全面的数据库。与早期的以自我为中心的视频数据集不同，HoloAssist采用了多人交互式任务完成场景，其中过程中的人类互动为设计更主动且能贴合环境的人工智能助手提供了丰富素材。不过我们的研究也能从Ego4D等现有数据集中学到的丰富知识和表征中获益，且这种获益具有互补性。
错误检测。人类互动中的一个关键现象是：人类助手往往会纠正错误，并主动介入任务完成过程。尽管基于视频的异常检测已有大量研究成果[^26] [^42] [^45] [^46]，但程序性场景中的错误检测却尚未得到充分探索。Assembly101数据集[^33]提出了一种错误检测任务，用于判断某个粗粒度动作片段属于错误还是修正。相比之下，HoloAssist更关注细粒度动作，因为在主动干预场景中，指导者可能会在发现学生犯错时立即介入，而非等到整个步骤（即粗粒度动作）完成后才干预。此外，我们还提出了一种新的干预预测任务，二者结合能够帮助我们更全面地理解辅助任务完成场景中的互动情况。
多模态与互动。人类与世界的互动是多模态的，我们会观察、说话并触碰环境中的物体。在HoloAssist项目中，我们采集了七种原始传感器数据，这些数据或许有助于理解人类的意图、估算世界状态、预测未来动作等。以往的数据集[^12] [^14] [^20] [^41]通常只提供有限的模态子集。尽管并非每种传感器数据当下都与下游任务相关，但HoloAssist提供的这七种同步传感器数据将
OBJECT SCALES OBJECT CATEGORIES
| Small | GoPro, Nintendo Switch, DSLR |
| Medium | Portable printer, Computer, Nespresso machine |
| Big | Standalone printer, big coffee machine, IKEA furniture (stool, utility cart, tray Table, nightstand) |
| Rare | NavVis laser scanner, ATV motor cycle, wheel belt, circuit breaker |
表1：HoloAssist包含16种尺度各异的物体。除了日常生活中常见的物品外，HoloAssist还收录了来自机械实验室的稀有设备。针对每种物体有20项以物体为中心的操作任务，而4种宜家家具则既有组装任务也有拆卸任务。
这为从业者提供了更多设计多模态智能体与模型的潜力，甚至超出了本研究的范围。
具身仿真平台。目前，人们对能够在三维世界中感知、推理并行动的具身智能体产生了浓厚兴趣。研究人员[^19] [^23] [^28] [^36] [^38] [^44]构建了各种仿真环境来训练这类具身智能体。IGLU[^44]旨在打造交互式智能体，使其能在基于热门电子游戏《我的世界》构建的协作环境中，根据具体的自然语言指令完成相应任务。HoloAssist通过提供更逼真的人机交互和真实世界的传感器感知能力，对这一研究领域形成了补充。
### 3. HoloAssist：人类辅助数据集
在本研究中，我们介绍了HoloAssist，它采用双人协作场景，可用于将人工智能辅助技术应用于物理世界。我们将在第3.1节介绍数据采集与统计数据，在第3.2节说明标注情况，随后几节再深入探讨相关观察结果与基准测试。
#### 3.1. 数据采集与统计数据
任务与物体。我们考虑的是涉及16种物体的多步骤目标导向型任务，这些物体既包括日常生活中常用的物品，也包括实验室和工厂中偶尔用到的稀有物品，具体如表格1所示。这些物体包括GoPro相机、数码单反相机、任天堂游戏机等小型电子产品，雀巢咖啡机和打印机等办公电器，宜家家具，以及激光扫描仪、摩托车、断路器等实验室用品。我们设计了20项涉及这些物体物理操作的任务，例如更换电池、更换皮带、家具组装、机器设置等。除宜家家具外，每种物体对应一项任务，宜家家具则既有组装任务也有拆卸任务。详细任务说明见补充材料。
参与者与采集流程。我们招募了222名参与者，组成350对独特的指导者-执行者组合来进行数据采集。图3展示了参与者的人口统计信息。
---
Figure 4: The skill level of participants (0-10) for the tasks is self-reported by the participants. The skill levels roughly reflect the length of the sessions though they might be noisy.
参与者的特征。数据采集前，参与者会查阅IRB表格以确认知晓隐私与伦理标准（更多细节见补充材料）。指导者会详细了解任务内容。扮演执行者角色的参与者事先仅会获得任务和场景的简要描述，他们会根据自己的理解来操作物体。当执行者着手完成任务时，指导者会提供口头指导。
在图4（上）中，我们展示了执行者对任务熟悉程度的分布情况，该数据由参与者自我评定的分数（0-10分）得出。图4（下）则显示了记录会话的平均时长及异常值，以此大致反映参与者的技能水平如何导致会话差异的增大。参与者多样的技能水平和背景为研究用户行为以及指导者与执行者之间的多样化互动提供了丰富的信息。
数据采集工具。我们利用情境智能平台框架[^10]开发了一款基于HoloLens 2的数据采集分布式应用程序，并将其开源[^3]。运行在设备上的客户端进程负责采集传感器数据，同时在用户的视野中显示矩形全息图框，以引导其注意力向下集中，确保任务操作处于传感器的可检测范围内。传感器数据会通过网络实时传输到运行在PC上的服务器应用程序，并由其将数据持久化存储到磁盘中。这种分布式架构能够支持更长时间的连续数据采集，而不会导致设备存储空间耗尽。
与其他数据集的对比。虽然目前没有采用与HoloAssist相同设置的其他数据集可直接与之比较，但我们还是在表2中列出了本数据集的不同方面，并与相关数据集进行了对比。HoloAssist是规模最大的第一人称视角视频数据集之一，其特色在于包含多人协作场景，这一特点在该领域颇具独特性。此外，HoloAssist还与多智能体协作相关研究相关联。
Figure 5: Data distribution of 166 hours captured by HoloAssist. (left) number of sessions per activity, and (right) total length of sessions in minutes.
| Dataset | Settings | Collaborative &Interactive | Instructional &Procedural | # real video hours |
| Epic-Kitchen-100 [^12] | Cooking | ✗ | ✗ | 100 |
| Assembly101 [^33] | Toy assembly | ✗ | ✓ | 167 |
| Ego4D [^14] | Daily-life task | + | + | 3,670 |
| VirtualHome [^28] | Household task | ✗ | ✓ | § |
| ALFRED [^35] | Household task | ✗ | ✓ | § |
| Habitat [^38] | Home assistance | ✗ | ✓ | § |
| BEHAVIOR [^36] | Daily-life task | ✓ | ✓ | § |
| IGLU [^18] | Collaborative building $^{{*}}$ | ✓ | ✓ | § |
| TEACh [^27] | Household task | ✓ | ✓ | § |
| HoloAssist (ours) | Assistive task | ✓ | ✓ | 166 |
Table 2: Comparison to related datasets and simulation platforms. HoloAssist features a multi-person collaborative setting which is a unique addition to existing egocentric datasets in the real world. HoloAssist provides a set of instructional and procedure videos with multi-turn dialogues. Procedure tasks are defined as following a set of defined steps or procedures to achieve a specific goal, deviation from the procedure can be construed to be a mistake. HoloAssist spans 166 hours and 2,221 sessions. §: simulation, *: Minecraft-like, +: partially included.
具备真实世界传感器数据与真实人类交互特征的模拟环境。
#### 3.2. 标注说明
为了更深入地理解数据集中的行为及交互情况，我们提供了多组第三人称手动标注结果，涵盖文本摘要、动作片段、错误属性以及干预属性等内容。
语言标注。我们要求标注人员观看视频后撰写段落来描述视频中的活动，描述重点为流程中的手部动作。这类第三人称事后总结能够揭示交互任务执行过程中的关键节点，可用于构建完整的任务执行指南。我们
---
Figure 6: Data distribution of the coarse-grained actions. (left) duration of the actions in seconds, (middle) 30 most frequently occurring verbs, and (right) 30 most frequently occurring nouns.
Figure 7: Data distribution of the fine-grained actions. (left) duration of the actions in seconds, (middle) 30 most frequently occurring verbs, and (right) 30 most frequently occurring nouns. We can see that most fine-grained actions last less than 2 seconds, and there is a long tail distribution in actions, verbs, and nouns.
还提供了视频中对话的文字转录内容。借助这组标注结果，我们能够分析第三人称事后总结与活动期间的实时对话之间的差异。更多示例详见补充材料。
粗粒度动作标注。粗粒度动作通常对应任务中的高层次步骤（例如GoPro设备设置任务中的更换GoPro电池操作），并可进一步拆分为多个细粒度动作。为适配开放世界场景，我们要求标注人员用一段文字（例如“男子更换GoPro电池”）来描述粗粒度动作，同时识别出用于基准测试的动宾搭配及可选的形容词（例如“更换电池”）。该数据集包含414个粗粒度动作，涉及90个名词和39个动词。动作分布符合长尾特征，如图6所示：根据动作频率，其中185个动作被归为头部类别，其余则为尾部类别，用于后续评估。
细粒度动作标注。细粒度动作是指完成任务步骤所需的低层次原子动作（例如按下按钮、抓取螺丝等），通常持续1-2秒。细粒度动作以“动词-(形容词)-名词”的形式呈现。该数据集包含1887个细粒度动作，涉及165个名词和49个动词。为了进行更全面的评估，我们将动作划分为头部动作（1082个）和尾部动作（805个）。细粒度动作的分布情况如图7所示。
如前所述，名词和动词词汇并非预先定义好的，而是通过标注逐步构建的。如果标注员在词汇表中找不到所需的动词或名词，他们需自行输入新词。数据标注完成后，我们会要求标注员重新检查尾类是否与头类重复。由于属于开放世界范畴，某些动词和名词组合可能与列表中的其他组合可互换。我们在补充材料中展示了一些示例。
错误标注。如图2所示，每个细粒度动作都被标记为“正确”或“错误”。错误类型包括“任务执行者自我纠正”、“指导者口头纠正”以及“未纠正的错误”。人类标注员会分别标注这三种错误类型，但在基准测试评估中，我们会将其合并为同一错误类别。
---
| IMMEDIATE INTERVENTION | LAZY INTERVENTION |
| insert screw | drop allen wrench |
| approach button | drop hex socket head |
| insert joy con controller | drop screw |
| place tray | screw hex socket head |
| pull battery door | screw screw |
Table 3: Top mistakes that are corrected immediately (left) or later and sometimes through self-correction (right).
我们将区分错误是否被纠正及如何纠正的详细研究留待未来开展。为确保标注质量，我们额外要求第三方标注员说明某个动作为何被判定为错误，同时将为指导者口头纠正的所有错误映射到类型为“指导者纠正错误”的对话语句中。
干预标注。由于指导者会通过口头方式协助任务执行者，我们标注指导者与执行者之间的对话，以反映任务完成过程中的干预行为。我们为每条对话语句标注两个属性：对话类型和发起方。对话发起方可以是“任务执行者”或“指导者”；语句目的类型则包括指导者“纠正错误”、“回答问题”、“给出后续指示”、“确认先前操作”、“描述高层次任务”、“开场/结束语”，或是任务执行者发起提问。人类标注员会观看视频，凭借专业判断标注视频中不同对话的作用。
在我们的基准测试中，我们选取了三种干预类型：纠正错误、给出后续指示以及确认先前操作，因为它们与任务流程中的物理动作关联更紧密。图2展示了对话干预的示例，更多示例可在补充材料中找到。
审核流程。标注工作由专业标注员按照以下流程完成：标注员首先浏览视频，添加细粒度动作、粗粒度动作、对话和文本摘要，以及每个事件对应的标注元素。自我审核后，标注数据会被提交给独立审核员进行审核，错误会直接修正或退回给原标注员更新。最后，标注内容会经过针对性审核，检查叙述、动作语句和对话转录等开放式文本字段的一致性。在交付标注结果前，我们还会应用一系列约束条件对标注内容进行系统检查，以进一步排查错误标注。
来自干预记录中的空间指示语
“你应该按下位于摄像头机身的那个按钮，$\underline{\text{at the right of the lens.}}$。”
“你应该留下那个螺栓，$\underline{\text{like it was before.}}$。”
“这个按钮位于开关的$\underline{\text{on the other side}}$。”
“SD卡从$\underline{\text{from the right slot, on the right hand side}}$取出，它可以通过屏幕旁的旋钮$\underline{\text{next to the screen}}$ $\underline{\text{on the right bottom side}}$来打开。”
“目前托盘是$\underline{\text{facing you,}}$，请旋转它使背面朝向你。”
“你应该把它放$\underline{\text{the other way around.}}$，它现在是倒置的。”
“请先拧下$\underline{\text{of the top shelf}}$这颗螺丝。”
“现在，呃，它应该是$\underline{\text{the other one}}$，应该是$\underline{\text{on top of the other.}}$。”
“$\underline{\text{To the right of that}}$，那里有个小小的方形物。”
Table 4: Examples of deictic phrases that help in grounded guidance by specifying contextual spatial locations.
### 4. HoloAssist的观察与任务
我们在第4.1节中展示了HoloAssist的观察结果，并指出了构建交互式AI助手所必需解决的几个开放性问题。在第4.2节中，我们定义了基于HoloAssist的新任务和基准测试。
#### 4.1. 来自HoloAssist的观察
错误与干预之间的相关性：我们发现人类助手介入流程并纠正错误所需的响应时间取决于错误的严重程度。如果错误较为严重，指导者会立即（5秒内）打断学生；而其他错误要么由执行任务者自行纠正，要么由指导者稍后纠正。
在表3中，我们列出了需要立即干预的首要操作，以及由任务执行者自行纠正或稍后由指导者纠正的操作。我们发现，对于线性任务而言，一旦步骤顺序出错就会导致任务进度停滞，这类任务往往会被指导者立即干预。例如“插入Joy-Con控制器”、“放置托盘”等。相比之下，那些随意修改的操作多与家具组装相关，比如“掉落内六角扳手”、“掉落六角套筒头”等。这类任务在各个阶段中错误表现并不明显，用户通常会凭直觉调整操作步骤。
基于环境的指导性：我们还注意到，人类指导者的指令往往以3D环境为基础。基于环境的指导的一个重要方面就是能够通过指向来描述物理世界。
---
即指向上下文中的物体。空间指示语指的是用于定位空间中物体、表达方向和距离的短语。对HoloAssist记录文本的指示语分析显示，存在大量用于表示特定或相对位置及方向的词汇，尤其是在纠正错误的干预过程中。表4列出了其中一些典型的例子。
#### 4.2. 基准测试任务
受上述观察结果的启发，我们认为交互式AI助手必须具备良好的世界状态估计模型，以便能够检测错误并预测是否需要对任务流程进行干预。此外，为指令补充空间指引对AI智能体而言也很有帮助。为此，我们针对交互式且基于环境的指导引入了全新的错误检测、干预预测和3D手部姿态预测任务。另外，我们按照[^12]中的惯例，对模型在动作识别任务上的表现进行了基准测试。
错误检测的定义遵循惯例 [^33]，但应用于我们基准测试中的细粒度动作。我们提取从粗粒度动作开始到当前动作片段结束这段时间内细粒度动作剪辑中的特征，模型会从中预测出“正确”或“错误”的标签。由于类别分布严重偏斜，该任务颇具挑战性：在细粒度动作中，错误占比仅约6%。
干预类型预测是指根据干预前1秒、3秒或5秒的窗口输入来预测干预类型。这一新提出的基准测试旨在检验模型能否在任务执行过程中准确判断正确的干预类型。目前，HoloAssist包含3种干预类型，我们会分别报告每种干预类型的精确率和召回率。
3D手部姿态预测是HoloAssist推出的另一项新基准测试。现有的动作预测研究 [^12] 主要侧重于提供未来动作的语义标签，并未给出关于手部姿态的明确3D指引。预测3D手部姿态可应用于多种场景 [^4]，还能辅助指令说明并在不同任务中为用户提供空间引导。在该基准测试中，我们采用与其他3D身体位置预测文献类似的方法 [^43]，使用3秒的输入数据来预测接下来0.5秒、1.0秒和1.5秒的连续3D手部姿态。评估指标为随时间变化的各关节平均位置误差与真实值之间的差值（单位：厘米）的平均值。为了获得能够辅助3D动作指引的合适评估指标，我们会剔除动作序列中的错误样本，仅针对正确标签预测3D手部姿态。
### 5. 实验
在本节中，我们将展示所提出基准测试的评估结果。首先介绍标准的动作识别基准测试结果，随后呈现新提出基准测试的结果。我们还会对不同传感器模态进行消融分析，以了解各类传感器在各种任务中的作用。希望这些基线结果能为该领域未来的研究提供参考。
实现细节：我们选用TimeSformer [^9]——一种最先进的基于视觉Transformer（ViT）[^13] 的视频模型作为骨干网络，并根据不同基准测试的需求调整输出层的类别数。我们对原始的TimeSformer进行了修改以实现多模态学习：为不同模态引入额外的标记，并添加嵌入层来对额外的传感器模态进行编码。具体而言，我们为左右手各使用 $26 \times 2$ 个标记（每只手的每个关节对应一个标记），为眼动追踪使用一个标记，为头部姿态使用一个标记，深度数据则使用196个标记。在训练和评估过程中，我们可以启用或禁用不同的模态。详细配置可在补充材料中查看。需要注意的是，我们将所得模型视为基础的多模态模型，作为未来研究的基线。
我们按任务类别将2221个会话随机划分为训练集、验证集和测试集，三者比例分别为70%、10%和20%，其中训练集包含1545个会话，验证集包含213个会话，测试集包含463个会话。实验中，我们还会根据视频流同步所有模态的数据，并通过降采样其他模态的方式将帧率保持在30 fps。
训练期间，模型会进行15个轮次的训练，初始学习率为0.01，批量大小为64，采用随机梯度下降算法。我们在第11轮和第14轮时将学习率除以10。对于每个输入片段，我们会在该片段内随机选取8帧/数据点。模型训练在4台A6000 GPU机器上进行，细粒度动作识别任务通常耗时约一天。我们也会使用随机初始化方式以及基于ImageNet预训练的ViT骨干网络来训练模型。
在我们的手部姿态预测基准测试中，由于该任务属于回归任务，我们采用了Seq2Seq模型[^37]，该模型遵循[^21]的设计思路。
动作识别。我们在表5中展示了细粒度动作识别结果，在表6中展示了粗粒度动作识别结果。可以看出，以ImageNet上预训练的ViT模型为初始化起点时，所有模型在细粒度动作识别上的top-1准确率可达约35%，在粗粒度动作识别上的top-1准确率可达50%。这一结果与其它细粒度动作基准测试中的基线模型[^33]（top-1准确率为23%）表现相当。
我们注意到，基于ImageNet的预训练模型可能会削弱那些未经预训练的其他模态的影响。如果从零开始训练，从表5（底部）可以看出，加入手部信息能够提升动词的预测效果，其性能优于仅使用RGB数据的模型。
---
| Mods. | All Classes Accuracy | Head Classes Accuracy | Tail Classes Accuracy |
| Top1 / 5 Act | Top1 / 5 Verb | Top1 / 5 Noun | Top1 / 5 Act | Top1 / 5 Verb | Top1 / 5 Noun | Top1 / 5 Act | Top1 / 5 Verb | Top1 / 5 Noun |
| Pretrained | RGB | 34.83/68.60 | 42.14/78.96 | 66.81/90.04 | 35.26/69.34 | 42.56/79.53 | 67.19/90.36 | 0.03/0.17 | 10.86/36.33 | 38.01/66.48 |
| Hands | 20.86/43.92 | 35.38/65.76 | 37.10/63.42 | 21.13/44.50 | 35.72/66.30 | 37.50/64.06 | 0.00/0.01 | 10.11/25.47 | 7.30/15.54 |
| R+H | 35.06/68.95 | 42.45/79.42 | 67.05/90.01 | 35.49/69.71 | 42.87/80.03 | 67.43/90.32 | 0.03/0.16 | 11.05/33.71 | 38.39/66.85 |
| R+H+E | 35.27/68.69 | 42.92/79.11 | 67.03/89.96 | 35.72/69.42 | 43.33/79.67 | 67.45/90.29 | 0.03/0.18 | 11.99/37.64 | 35.96/65.17 |
| R+H+E+I | 34.80/68.26 | 42.24/78.88 | 66.65/89.76 | 35.23/69.00 | 42.63/79.46 | 67.03/90.08 | 0.03/0.17 | 12.92/35.96 | 38.20/65.17 |
| Scratch | RGB | 18.78/48.09 | 28.45/65.43 | 43.72/73.69 | 19.03/48.72 | 28.74/66.00 | 44.09/74.21 | 0.00/0.01 | 6.55/22.66 | 15.73/34.27 |
| Hands | 23.94/47.58 | 39.79/68.76 | 39.34/65.76 | 24.26/48.21 | 40.18/69.30 | 39.79/66.43 | 0.00/0.00 | 10.67/28.65 | 5.62/16.29 |
| R+E | 20.86/50.27 | 30.92/67.59 | 45.28/75.29 | 21.13/50.93 | 31.22/68.20 | 45.65/75.80 | 0.00/0.01 | 8.05/21.72 | 17.60/37.08 |
| R+H | 29.32/59.20 | 41.48/73.92 | 52.54/80.65 | 29.70/59.95 | 41.87/74.51 | 52.99/81.17 | 0.00/0.03 | 12.55/29.78 | 19.29/41.76 |
| R+H+E | 29.58/59.14 | 41.58/73.73 | 52.65/80.76 | 29.97/59.89 | 41.99/74.31 | 53.10/81.29 | 0.00/0.04 | 10.67/29.96 | 19.29/40.82 |
| R+H+E+I | 26.87/56.13 | 39.29/72.49 | 49.96/78.60 | 27.22/56.82 | 39.69/73.06 | 50.35/79.07 | 0.01/0.05 | 8.99/29.96 | 21.16/43.26 |
Table 5: Fine-grained action recognition benchmark results. We report baseline results of (multimodal) TimeSformer [^9] models on HoloAssist. Here R, H, I denote RGB, hands, and head pose (whose sensor source is similar as IMUs). When starting from a pre-trained ViT model on ImageNet, all the models have higher performance than training from scratch. However, with a pre-trained image model, the influence of other modalities is reduced. If the models are trained from scratch, we can see that adding hands can improve the prediction of verbs and lead to better results than the baseline RGB only model. Simply concatenating more sensors as inputs may not necessarily lead to improved performance.
| Mods. | All Classes Accuracy | Head Classes Accuracy | Tail Classes Accuracy |
| Top1 / 5 Act | Top1 / 5 Verb | Top1 / 5 Noun | Top1 / 5 Act | Top1 / 5 Verb | Top1 / 5 Noun | Top1 / 5 Act | Top1 / 5 Verb | Top1 / 5 Noun |
| Pretrained | RGB | 50.91/86.89 | 60.51/93.45 | 73.35/95.90 | 53.40/89.53 | 62.78/95.39 | 75.00/96.70 | 0.37/2.24 | 20.00/58.89 | 43.89/81.67 |
| Hands | 22.20/54.16 | 35.12/72.34 | 37.43/68.33 | 23.44/57.08 | 36.75/75.25 | 38.84/70.45 | 0.00/0.12 | 6.11/20.56 | 12.22/30.56 |
| R+H | 50.80/86.54 | 59.71/93.36 | 73.20/95.78 | 53.27/89.12 | 61.94/95.20 | 75.09/96.57 | 0.37/2.28 | 20.00/60.56 | 39.44/81.67 |
| R+H+E | 50.35/85.51 | 58.85/93.21 | 73.67/95.63 | 52.65/88.03 | 60.85/94.89 | 75.28/96.32 | 0.53/2.28 | 23.33/63.33 | 45.00/83.33 |
| R+H+E+I | 50.18/86.07 | 59.00/93.21 | 73.64/96.25 | 52.49/88.78 | 61.22/95.07 | 75.41/96.91 | 0.50/2.12 | 19.44/60.00 | 42.22/84.44 |
| Scratch | RGB | 32.17/70.45 | 41.88/84.77 | 53.81/84.12 | 33.92/73.75 | 43.49/87.34 | 55.42/85.97 | 0.06/0.65 | 13.33/38.89 | 25.00/51.11 |
| Hands | 27.36/59.71 | 40.17/76.33 | 43.77/73.64 | 28.83/62.78 | 41.74/78.90 | 45.36/75.75 | 0.06/0.28 | 12.22/30.56 | 15.56/36.11 |
| R+E | 31.32/69.86 | 41.71/84.36 | 53.81/83.68 | 32.92/73.04 | 43.20/86.94 | 55.42/85.41 | 0.16/0.75 | 15.00/38.33 | 25.00/52.78 |
| R+H | 34.42/73.02 | 45.28/85.09 | 56.14/86.45 | 36.16/76.15 | 47.04/87.44 | 57.76/88.28 | 0.19/0.97 | 13.89/43.33 | 27.22/53.89 |
| R+H+E | 35.18/73.91 | 45.51/85.80 | 56.85/86.57 | 37.13/77.12 | 47.54/88.37 | 58.70/88.40 | 0.03/0.94 | 9.44/40.00 | 23.89/53.89 |
Table 6: Coarse-grained action recognition results. The overall trend is similar to fine-grained action recognition.
| Mods. | F-score | Correct | Mistake |
| Precision | Recall | Precision | Recall |
| Random | 27.71 | 60.87 | 10.22 | 15.00 | 46.15 |
| RGB | 35.11 | 82.56 | 51.82 | 12.96 | 26.92 |
| Hands | 40.19 | 92.68 | 52.41 | 12.5 | 31.25 |
| R+H | 36.18 | 85.51 | 43.07 | 9.68 | 11.54 |
| R+H+E | 32.08 | 88.57 | 42.76 | 11.43 | 50.00 |
Table 7: Mistake detection results. Similar to action recognition, adding hand poses to RGB (R+H) improves an RGB-only model from 35.11 to 36.18 points. What's different is that we find the hands only model outperforms other modalities in mistake detection, achieving 40.19 points.
错误检测。在表7$^{\dagger}$中，我们展示了错误检测的结果，这些结果的特征提取自表5中所列的预训练动作识别模型。我们发现手部姿态信息对该任务有促进作用，其性能优于其他模态。
干预类型预测。对于干预预测任务，我们在表8‡中展示了相关结果。可以看出，加入手部信息和眼动追踪数据（R+H+E）后，整体精确度和召回率分别提升至48.31%和37.59%，较仅使用RGB数据分别提高了约35个和4个百分点。这可能是因为眼动追踪是一种预测信号——人们往往会在动作开始前注视相应区域，这有助于模型关注重要区域以实现更好的预判。
3D手部姿态预测。表9显示，仅以手部3D姿态作为输入时，模型在0.5秒、1秒和1.5秒时的平均关节位置误差分别为9.80厘米、10.68厘米和11.25厘米。
---
Figure 8: Qualitative visualization for 3D hand pose forecasting. We visualize the ground-truth hand joint positions (i.e., hand pose, visualized in Green) and the prediction of the hand pose for the next 1.5 seconds (visualized in Red). The input to the model is a 3-second long clip ahead of the prediction. The task is challenging as hands often move quickly. As we can see from the figure, the predicted hand pose is more off from the grounded truth in the longer future.
| Mods. | Overall | Confirm Action | Correct Mistake | Follow-up |
| Prec. | Recall | Prec. | Recall | Prec. | Recall | Prec. | Recall |
| RGB | 47.92 | 46.09 | 44.09 | 27.65 | 46.13 | 41.44 | 53.54 | 69.18 |
| Hands | 15.75 | 33.33 | 0 | 0 | 0 | 0 | 47.25 | 100 |
| R+H | 48.08 | 47.06 | 43.64 | 32.21 | 46.63 | 44.67 | 53.95 | 64.3 |
| R+E | 48.33 | 47.38 | 45.45 | 31.87 | 45.16 | 45.16 | 54.39 | 65.1 |
| R+H+E+I | 48.75 | 47.75 | 45.55 | 33.94 | 46.11 | 44.91 | 54.59 | 64.42 |
Table 8: Intervention type prediction results. The classes in the benchmark are highly skewed. We can see that adding hands and eyes improves the intervention-type prediction.
| Mods. | Mean Error Distance (cm, $\downarrow$) |
| 0.5 sec | 1.0 sec | 1.5 sec |
| Static-H | 9.34 | 13.91 | 16.70 |
| Hands | 9.80 | 10.68 | 11.25 |
| H+E | 9.80 | 10.70 | 11.25 |
| H+E+I | 9.80 | 10.69 | 11.25 |
| R+H+E | 9.73 | 10.65 | 11.22 |
| R+H+E+I | 9.72 | 10.62 | 11.19 |
Table 9: 3D hand pose forecasting benchmark results. We report the mean per joint position error for 0.5 1.0, 1.5 seconds (lower the better). The static hand baseline (Static-H) refers to using the last frame of the input. The Seq2Seq [^37] model trained using hands only H, and using only hand H achieves better results than Static-H.
需要注意的是，这项任务颇具挑战性，因为手部在0.5秒的时间窗口内就能快速移动。与使用最后时刻的3D手部姿态的static-H模型相比，我们的基线模型（H）已经表现更优。在图S3中，我们展示了手部姿态预测的可视化结果。
手部姿态与眼动追踪的重要性。从表5、表7、表8和表9中我们已经可以看出，3D手部姿态和眼动追踪能够帮助模型进行动作识别、错误检测以及理解用户意图。这些模态能够增强常用的RGB图像的性能。简单地把更多模态（如深度数据、头部姿态）作为输入，并不一定能得到性能更优的模型，因为这些模态可能需要专门的编码器或模型架构才能被同步处理。我们相信HoloAssist将推动并促进多模态学习领域在这一方向上的进一步研究。
### 6. 结论与未来工作
在这项工作中，我们识别并探讨了在物理世界构建交互式AI助手时面临的几个重要问题。我们推出了一个大规模多模态第一人称视频数据集HoloAssist，其中包含了关于辅助任务完成场景中人类互动的丰富信息。任务执行者会佩戴HoloLens 2头戴设备来完成各种以物体为中心的操作任务。头戴设备采集的实时视频流会被发送给远程指导者，由后者向任务执行者提供口头指导。HoloAssist在互动过程中会捕捉七种原始传感器数据，我们发现手部姿态和眼睛注视方向是交互式AI智能体有用的信息来源。通过为动作片段、错误类型和干预类型添加额外的第三人称手动标注，我们构建了针对错误检测、干预类型预测以及3D手部姿态预测的新基准测试，我们认为这些是构建交互式且能理解现实环境的AI助手所必需的组件。作为这一方向上的第一步，本研究也为未来的改进留下了空间（例如，在数据中添加物体姿态标注，探索AI辅助中的以物体为中心的可供性与操作模型等）。我们相信，HoloAssist及其相关的基准测试和工具，将有助于未来在构建能力出众的AI助手方面的研究。
---
用于现实世界中的日常任务。
## 致谢
我们感谢参与研究的全部222名数据收集人员，同时也对由DataTang Technology Inc.的Megan Yuan和Dan Luo领导的标注团队的辛勤工作表示赞赏。我们感谢Nick Saw在数据收集软件方面提供的帮助，也感谢微软研究院计算机视觉组的Yale Song和Vibhav Vineet在早期讨论中给出的建议。我们还要感谢MSR同事们的反馈。
## 参考文献
[^1]: Microsoft dynamics 365 guides. .
[^2]: Microsoft hololens.
[^3]: Platform for situated intelligence hololens capture tools.
[^4]: Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Mengyuan Yan, and Andy Zeng. Do as I can and not as I say: Grounding language in robotic affordances. In arXiv preprint arXiv:2204.01691, 2022.7
[^5]: Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, et al. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691, 2022. 1
[^6]: Gregory Aist, John Dowding, Beth Ann Hockey, Manny Rayner, James Hieronymus, D Bohus, B Boven, Nate Blaylock, Ellen Campana, S Early, et al. Talking through procedures: An intelligent space station procedure assistant. In Proceedings of the tenth conference on European chapter of the Association for Computational Linguistics-Volume 2, pages 187–190, 2003. 1, 2
[^7]: Jean-Baptiste Alayrac, Piotr Bojanowski, Nishant Agrawal, Ivan Laptev, Josef Sivic, and Simon Lacoste-Julien. Unsupervised learning from narrated instruction videos. In Computer Vision and Pattern Recognition (CVPR), 2016. 1,2
[^8]: Sean Andrist, Michael Gleicher, and Bilge Mutlu. Looking coordinated: Bidirectional gaze mechanisms for collaborative interaction with virtual characters. In Proceedings of the 2017 CHI conference on human factors in computing systems, pages 2571–2582, 2017. 1
[^9]: Gedas Bertasius, Heng Wang, and Lorenzo Torresani. Is space-time attention all you need for video understanding? In ICML, volume 2, page 4, 2021. 7, 8, 20
[^10]: Dan Bohus, Sean Andrist, Ashley Feniello, Nick Saw, Mihai Jalobeanu, Patrick Sweeney, Anne Loomis Thompson, and Eric Horvitz. Platform for situated intelligence, 2021. 4
[^11]: Dan Bohus and Alexander I Rudnicky. Larri: A language-based maintenance and repair assistant. Spoken multimodal human-computer dialogue in mobile environments, pages 203–218, 2005. 2
[^12]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision (IJCV), 130:33–55, 2022. 2, 3, 4, 7
[^13]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020. 7, 20
[^14]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Meng-meng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Christian Fuegen, Abrham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4d: Around the World in 3,000 Hours of Egocentric Video. In IEEE/CVF Computer Vision and Pattern Recognition (CVPR), 2022. 2, 3, 4
[^15]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 21
[^16]: W Lewis Johnson and Jeff Rickel. Steve: An animated pedagogical agent for procedural training in virtual environments. ACM SIGART Bulletin, 8(1-4):16–21, 1997. 1,2
## [^17]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 20
---
[^18]: Julia Kiseleva, Ziming Li, Mohammad Aliannejadi, Shrestha Mohanty, Maartje ter Hoeve, Mikhail Burtsev, Alexey Skrynnik, Artem Zholus, Aleksandr Panov, Kavya Srinet, et al. Interactive grounded language understanding in a collaborative environment: Iglu 2021. In NeurIPS 2021 Competitions and Demonstrations Track, pages 146–161. PMLR, 2022. 4
[^19]: Eric Kolve, Roozbeh Mottaghi, Winson Han, Eli VanderBilt, Luca Weihs, Alvaro Herrasti, Daniel Gordon, Yuke Zhu, Abhinav Gupta, and Ali Farhadi. Ai2-thor: An interactive 3d environment for visual ai. arXiv preprint arXiv:1712.05474, 2017. 2, 3
[^20]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 2, 3
[^21]: Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3282–3292, 2022. 7
[^22]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 2
[^23]: Manolis Savva*, Abhishek Kadian*, Oleksandr Maksymets*, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, and Dhruv Batra. Habitat: A Platform for Embodied AI Research. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019. 2, 3
[^24]: Ramesh Manuvinakurike, Sovan Biswas, Giuseppe Raffa, Richard Beckwith, Anthony Rhodes, Meng Shi, Gesem Gudino Mejia, Saurav Sahay, and Lama Nachman. Human in the loop approaches in multi-modal conversational task guidance system development. arXiv preprint arXiv:2211.01824, 2022. 2
[^25]: Medhini Narasimhan, Arsha Nagrani, Chen Sun, Michael Rubinstein, Trevor Darrell, Anna Rohrbach, and Cordelia Schmid. TI;dw? summarizing instructional videos with task relevance and cross-modal saliency. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision – ECCV 2022, pages 540–557, 2022. 1, 2
[^26]: Rashmiranjan Nayak, Umesh Chandra Pati, and Santos Kumar Das. A comprehensive review on deep learning-based methods for video anomaly detection. Image and Vision Computing, 106:104078, 2021. 3
[^27]: Aishwarya Padmakumar, Jesse Thomason, Ayush Shrivastava, Patrick Lange, Anjali Narayan-Chen, Spandana Gella, Robinson Piramuthu, Gokhan Tur, and Dilek Hakkani-Tur. Teach: Task-driven embodied agents that chat. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 36, pages 2017–2025, 2022. 2, 4
[^28]: Xavier Puig, Kevin Ra, Marko Boben, Jiaman Li, Tingwu Wang, Sanja Fidler, and Antonio Torralba. Virtualhome:
通过程序模拟家庭活动。载于IEEE计算机视觉与模式识别会议论文集，第8494–8502页，2018年。2, 3, 4
[^29]: Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI Blog, June 2019. 1
[^30]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1569–1578, 2021. 2
[^31]: Charles Rich and Candace L Sidner. Diamondhelp: A generic collaborative task guidance system. AI Magazine, 28(2):33–33, 2007. 1, 2
[^32]: Charles Rich, Candace L Sidner, and Neal Lesh. Collagen: Applying collaborative discourse theory to human-computer interaction. AI magazine, 22(4):15–15, 2001. 2
[^33]: F. Sener, D. Chatterjee, D. Shelepov, K. He, D. Singhania, R. Wang, and A. Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. CVPR 2022. 2, 3, 4, 7
[^34]: Mohit Shridhar, Lucas Manuelli, and Dieter Fox. Perceiver-actor: A multi-task transformer for robotic manipulation. arXiv preprint arXiv:2209.05451, 2022. 1
[^35]: Mohit Shridhar, Jesse Thomason, Daniel Gordon, Yonatan Bisk, Winson Han, Roozbeh Mottaghi, Luke Zettlemoyer, and Dieter Fox. ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 4
[^36]: Sanjana Srivastava, Chengshu Li, Michael Lingelbach, Roberto Martín-Martín, Fei Xia, Kent Elliott Vainio, Zheng Lian, Cem Gokmen, Shyamal Buch, Karen Liu, et al. Behavior: Benchmark for everyday household activities in virtual, interactive, and ecological environments. In Conference on Robot Learning, pages 477–490. PMLR, 2022. 3, 4
[^37]: Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems, 27, 2014. 7, 9, 20
[^38]: Andrew Szot, Alexander Clegg, Eric Undersander, Erik Wijmans, Yili Zhao, John Turner, Noah Maestre, Mustafa Mukadam, Devendra Singh Chaplot, Oleksandr Maksymets, et al. Habitat 2.0: Training home assistants to rearrange their habitat. Advances in Neural Information Processing Systems, 34:251–266, 2021. 2, 3, 4
[^39]: Jesse Thomason, Michael Murray, Maya Cakmak, and Luke Zettlemoyer. Vision-and-dialog navigation. In Conference on Robot Learning (CoRL), 2019. 1
[^40]: Benita Wong, Joya Chen, You Wu, Stan Weixian Lei, Dongxing Mao, Difei Gao, and Mike Zheng Shou. Assistq: Affordance-centric question-driven task completion for egocentric assistant. In European Conference on Computer Vision, pages 485–501. Springer, 2022. 1
### [^41]: Siwei Zhang, Qianli Ma, Yan Zhang, Zhiyin Qian, Taein Kwon, Marc Pollefeys, Federica Bogo, and Siyu Tang. Ego-body: Human body shape and motion of interacting people
---
来自头戴式设备的数据。载于欧洲计算机视觉会议（ECCV），2022年10月。2, 3
[^42]: Bin Zhao, Li Fei-Fei, and Eric P. Xing. Online detection of unusual events in videos via dynamic sparse coding. In CVPR 2011, pages 3313–3320, 2011. 3
[^43]: Yang Zheng, Yanchao Yang, Kaichun Mo, Jiaman Li, Tao Yu, Yebin Liu, Karen Liu, and Leonidas J Guibas. Gimo: Gaze-informed human motion prediction in context. arXiv preprint arXiv:2204.09443, 2022. 7
[^44]: Artem Zholus, Alexey Skrynnik, Shrestha Mohanty, Zoya Volovikova, Julia Kiseleva, Artur Szlam, Marc-Alexandre Coté, and Aleksandr I Panov. Iglu gridworld: Simple and fast environment for embodied dialog agents. arXiv preprint arXiv:2206.00142, 2022. 2, 3
[^45]: Joey Tianyi Zhou, Jiawei Du, Hongyuan Zhu, Xi Peng, Yong Liu, and Rick Siow Mong Goh. Anomalynet: An anomaly detection network for video surveillance. IEEE Transactions on Information Forensics and Security, 14(10):2537–2550, 2019. 3
#### [^46]: Yuansheng Zhu, Wentao Bao, and Qi Yu. Towards open set video anomaly detection. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision – ECCV 2022, pages 395–412, 2022. 3
---
#### 补充材料
这份补充材料展示了我们数据集的额外定性结果和样本可视化效果。此外，我们还介绍了标注方法、数据采集流程以及数据分析的详情。我们还会报告实现细节和定性结果。有关我们数据集的更多定性结果和可视化内容，可访问。
#### S.1. 交互式辅助任务完成
HoloAssist具备独特的交互式辅助任务完成场景：如果任务执行者出现错误或感到困惑，指导者会在任务进行过程中予以干预。在图S1中，我们展示了不同用户在完成同一任务时可能经历的不同干预时刻的额外示意图。干预时刻和类型的多样性与复杂性，凸显了构建交互式AI助手所面临的挑战。
Figure S1: Intervention-actions structure. This figure shows the tree structure of different levels of structures (high, mid, or low-level instructions) for the Assemble tray table task, together with the intervention moments indicated by red crosses for three different task performers. As the figure illustrates, different task performers need different levels of supervision at different moments, which shows the importance of our dataset for building an interactive AI assistant.
#### S.2. 数据
#### S.2.1 指导者培训
在数据收集开始之前，我们会为指导人员安排培训，帮助他们熟悉相关物体和任务。我们会向指导人员提供表S1中所列示例任务的详细指南。任务说明中的步骤主要用作参考，指导人员无需严格遵循这些建议。在数据采集过程中，他们可以根据实际情况调整任务顺序、增减或跳过某些任务，也能自行决定指导方式。
| Objects | Example Tasks | Comments |
| GoPro | - Change Battery\n- Change micro sd card\n- Turn on\n- Turn off\n- Put on a strap\n- Change the strap to handheld grip (or tripod)\n- Remove the handheld grip (or tripod) | Turning on/off is controlled by the button on the side of the GoPro not the top of device and you need to press ~3 seconds to make it happen. |
---
| Nintendo | - Change controller from the handheld mode to pad/joy-con comfort grip\n- Change controller from pad/joy-con comfort grip to two joy-cons\n- Change controller from two joy-cons back to the handheld mode\n- Stand Nintendo using kick stand\n- Change game card\n- Change micro sd card\n- Turn on\n- Turn off (hold for 3 seconds and power off) - just one second is only sleeping mode | 1. The task always starts from the handheld mode. Also, you need to turn off the device entirely before starting the data capture.\n2. For two joy-cons, task performers need to lock them using the white button.\n3. The strip always faces towards the wrist side. |
| DSLR | - Detach lens\n- Attach lens\n- Detach a lens cover\n- Attach a lens cover\n- Turn on\n- Turn off\n- Change battery\n- Change SD card | 1. When you turn on the camera, please wait until the screen is on so we can capture the visual cues.\n2. For some DSLR models, make sure to put a microSD card in the SD card adapter - or the camera may not be turned on properly. |
| Espresso Machine | - Add coffee beans\n- Make a cup of coffee\n- Add milk/cream and stir\n- Empty drip tray | |
| Nespresso / Capsule Machine | - Please turn on the machine before starting capture\n- Add water\n- Make a cup of coffee (put a capsule) - make sure the capsule went to the capsule container\n- Empty the capsule container into the trashcan\n- Empty drip tray | The coffee is hot so please make sure that the participants dispose the waste into the sink can directly. |
| Printer (Big) | - Wake up from sleep mode (Turn on)\n- Go into sleep mode (Turn off)\n- Add/load paper to tray 1 (Please say tray 1 explicitly)\n- Change black printer cartridge | |
| Printer (small) | - Load paper and pull out the tray.\n- Copy a black-and-white paper (make sure the subject removes the paper at this stage)\n- Change (install) color and black printer cartridge (Don't turn off the printer at this stage)\n- Close everything | 1. Reset the machine first.\n2. Details for steps 1 and 3 are on Page 4 of the manual. You can instruct the process according to the manual.\n3. If you can hear noise after changing the cartridge, please ignore it and just close everything.\n4. When you start, the power button should not be blinking. Press the cancel button if things go wrong.\n5. When copying the paper, please place the paper on the right-bottom of the machine. |
| Small furniture from IKEA | For IKEA furniture, please follow the steps in the manual.\n- Assemble\n- Disassemble | Assemble and disassemble should be in different videos |
| Objects in the lab | Instructors decide the setup procedures or steps for manipulating the objects. | |
Table S1: Task instructions for instructors to get familiar with the objects. Instructors are free to add or skip tasks, change orders, and use their own way of completing the tasks during the data collection.
---
#### S.2.2 数据采集的IRB审批
HoloAssist的数据采集流程在工作启动前已经过IRB的审核与批准。数据采集主要在公共区域（如办公室和实验室）进行，且会避免拍摄到人脸。参与者均已阅读并签署知情同意书和信息表，因此他们完全了解数据采集过程及其后续用途。经IRB批准的知情同意书和信息表可应要求提供。
#### S.3. 数据采集平台
我们在表S2中提供了关于HoloAssist数据集中各类数据流的补充信息。
空间坐标系：数据采集平台采用空间锚点方法来建立世界坐标系。所有具有空间属性的传感器数据（头部姿态、视线方向、手部姿态、相机姿态）均参照世界坐标系来表示。坐标系轴的基向量定义遵循X轴向前、Y轴向左、Z轴向上的惯例。
相机内参由多个参数表示，包括一个用于将相机坐标（位于相机本地空间）转换为范围为-1到+1的归一化设备坐标（NDC）的$3\times3$内参矩阵，径向和切向畸变参数，焦距，主点位置，以及图像宽度和高度。
| Sensor | Stream | Description | Representation | FPS |
| Color Camera | Color Image | Image captured by front-facing HoloLens 2 camera | RGB image $896 \times 504$ pixels | 29.5 Hz |
| Color Camera Intrinsic | Intrinsic parameters for front-facing HoloLens 2 camera | Camera intrinsic parameters (listed above) | 29.5 Hz |
| Color Camera Pose | Spatial pose for color camera location | $4 \times 4$ coordinate system matrix | 29.5 Hz |
| Depth Camera | Depth Image | Depth image captured by HoloLens 2 depth camera in AHAT mode (provides pseudo-depth with phase wrap beyond 1 meter) | 16bpp Grayscale image $504 \times 504$ pixels | 32.4 Hz |
| Depth Camera Intrinsic | Intrinsic parameters for HoloLens 2 depth camera | Camera intrinsic parameters (listed above) | 32.4 Hz |
| Depth Camera Pose | Spatial pose for depth camera location | $4 \times 4$ coordinate system matrix | 32.4 Hz |
| Audio | Audio | Audio stream captured by the microphone array | Single-channel, 48Khz, IEEE Float Wave Format | 48 KHz |
| IMU | Accelerometer | X-, Y-, and Z-axis inertial force in $m/s^{{2}}$ | $3 \times 1$ vector | 1.1 KHz |
| Gyroscope | X-, Y-, and Z-axis angular momentum in rad/s | $3 \times 1$ vector | 6.4 KHz |
| Magnetometer | X-, Y-, and Z-axis magnetic flux density in microteslas | $3 \times 1$ vector | 49.5 Hz |
| Head | Head Pose | Spatial pose for the user's head | $4 \times 4$ coordinate system matrix | 17.2 Hz |
| Eye Gaze | Gaze Direction | Spatial direction of the user's gaze | $3 \times 1$ vector for position and $3 \times 1$ vector for direction | 30.7 Hz |
| Hands | Hands Pose | Spatial poses for the user's left and right-hand joints | $4 \times 4$ coordinate system for each of the 26 left-hand joints and 26 right-hand joints | 43.2 Hz |
Table S2: Details about the 7 sensor modalities captured live during data collection. The 8th modality, text, is added after the data collection.
---
标注员：学生被要求将Joy-Con控制器从手持模式切换到舒适握把模式。学生在从Nintendo Switch上取下Joy-Con控制器时遇到了一点困难。学生先取下蓝色的Joy-Con控制器，接着取下红色的Joy-Con控制器，然后将它们安装到舒适握把上，对蓝色Joy-Con控制器也做了同样的操作。指导人员要求学生将Joy-Con控制器从舒适握把切换到Joy-Con绑带模式。学生从舒适握把上取下Joy-Con控制器。学生试图将Joy-Con绑带安装在红色Joy-Con控制器上，但一开始装反了。学生没有将绑带固定好，指导人员对此进行了纠正。随后学生将Joy-Con绑带安装在蓝色Joy-Con控制器上。指导人员接着要求学生将Joy-Con控制器恢复为手持模式。学生解开Joy-Con绑带，将其取下，然后把Joy-Con控制器装回Nintendo Switch主机上。学生打开Nintendo Switch上的支架。接着学生将Nintendo Switch中的游戏卡带换成桌上的那张。之后学生将新的SD卡插入Nintendo Switch。随后学生合上Nintendo Switch上的支架。最后学生开机，等待片刻后又关机。
Figure S2: HoloAssist includes action and conversational annotations, in addition to text summaries of the videos, to indicate the mistakes and interventions in task completion. mistake or correct attributes are associated with each fine-grained action. A purpose label is associated with every conversation to indicate the type of verbal intervention.
## S.4. 标注
## S.4.1 标注定义
图S2展示了HoloAssist任务及标注结构的概览。标注总共包含四种事件类型：文本摘要、粗粒度动作、细粒度动作以及对话。
文本摘要：对任务执行者在整个视频中开展的所有活动的总结。该标注会描述视频内的所有动作。视频标注人员应借助粗粒度动作标注和对话标注来辅助生成叙述性标注。
粗粒度动作：粗粒度动作是任务执行者为完成任务而实施的过程中的某个步骤。需要注意的是，通常指导者会在任务执行者采取行动之前就说明相关任务，这部分内容不属于粗粒度动作范畴。粗粒度动作的示例包括往打印机中装入纸张、将家具腿拧紧、打开设备等。
细粒度动作：细粒度动作是指任务执行者在完成粗粒度动作过程中的不可再分的具体动作。这类动作通常持续1-2秒或更短时间，具体取决于动作类型。标注中还会注明该动作是否正确，或者后续是否由任务执行者本人或指导者进行了修正。细粒度动作的示例包括手靠近按钮、手按下按钮、任务执行者穿过房间等。
对话：对话标注用于标示指导者或任务执行者发言的时间段，标注中会说明对话的具体内容。
## S.4.2 标注结构
标注遵循以下格式。
叙述性标注结构。
• 长篇描述：需使用多个句子，篇幅可根据需要灵活调整以确保内容详尽。由于所有视频中的场景数量是有限的，因此务必指出不同视频间的显著差异，尤其是任务执行者在学习过程中出现的、最终自行纠正或由指导者纠正的错误。
示例：一名男子操作一台大型办公打印机。指导者会讲解如何打开打印机以及往其中装入纸张。该男子先打开打印机，随后又将其关闭。接着他往打印机的第一个纸盒中装入纸张，并更换打印机内的第一个黑色墨盒。指导者会纠正该男子关于首个黑色墨盒放置位置的错误。该男子便将黑色墨盒从当前位置移至正确位置。注意：此类标注的时间戳始终从0开始，到视频结尾结束。
---
将打印机中的黑色墨盒从左向右移动。指导人员会纠正该男子放置第一个黑色墨盒的位置。随后，该男子会将黑色墨盒从当前位置移至正确位置。注意：此注释的时间戳始终从0开始，到视频结尾结束。
### 粗粒度动作标注结构
- 粗粒度动作描述句：用于客观陈述采集员/摄像头佩戴者与数字设备及其上软件之间的交互情况。
- 示例1：一名男子更换亮绿色GoPro相机的电池。
- 示例2：一名女子将椅腿安装到椅子上。
• 粗粒度动作动词：即粗粒度动作描述句中的动词部分。
- 示例1：更换
- 示例2：安装
• 粗粒度动作形容词：这类形容词用于区分该名词与其他相似物品。如果该名词本身具有足够的独特性，则此字段为可选。
- 示例 2：[空白]
- 示例 1：鲜绿色
• 粗粒度动作名词：这是构成粗粒度动作句子的通用名词。
- 示例 1：GoPro
- 示例 2：腿
#### 细粒度动作标注结构
• 细粒度动作动词：这是视频中发生的细粒度动作所对应的动词。
- 示例 1：更改
- 示例 2：连接
- 细粒度动作形容词：这类形容词用于区分该名词与其他相似物品。如果该名词本身具有足够的独特性，则此字段为可选。
- 示例 2：[空白]
- 示例 1：鲜绿色
• 细粒度动作名词：这是视频中构成细粒度动作的通用名词。
- 示例 1：GoPro
- 示例 2：腿
- 细粒度动作属性：该属性用于标识该细粒度动作是否为正确操作；若为错误操作，则需说明是否已被纠正以及由谁纠正。只需从选项列表中选择一项即可。
- 正确操作
- 错误操作，由教师口头纠正
- 错误操作，由执行者自行纠正
- 错误操作，未纠正
- 其他
#### 对话标注结构
.xts.
- 对话属性：请选择最能描述发言目的的选项。该选项仅针对发言者本人，不包括等待回应时的停顿时间。
• 干预类型：
- 教师发起对话：阐述高层级指令
---
- 教师发起对话：开场白
- 教师发起对话：结束语
- 教师发起对话：调整以获得更清晰的视频画面
- 教师发起对话：确认之前或未来的操作
- 教师发起对话：纠正错误操作
教师发起对话：后续指令
- 教师发起对话：其他
- 教师回复任务执行者：确认之前或未来的操作
- 教师回复任务执行者：纠正错误操作
- 教师回复任务执行者：后续指令
- 教师回复任务执行者：其他
- 任务执行者发起对话：提问
- 任务执行者发起对话：其他
#### S.4.3 标签统计
细粒度动作标注。在主论文的图6中，我们展示了细粒度动作的分布情况。可以看出，细粒度动作遵循长尾分布。这部分是由于交互和场景的开放世界特性所致。此外，有些情况下同一动作会用不同的表述来指代。例如，“screw screw”和“screw hex-cap-screw”就是类似的表述。我们要求标注员在构建词汇表时重新审视名词和动词的分布情况，并将那些表述不同但指代同一动作的词汇合并起来。不过，这也是人类标注的自然结果，未来仍需研究如何解决标签混淆问题。
粗粒度动作标注。粗粒度动作通常被定义为任务中的高层次步骤，持续时间约为30秒。在主论文的图7中，我们展示了粗粒度动作以及动作相关动词和名词的分布情况。可以看出，粗粒度动作与细粒度动作一样，也呈现长尾分布。
对话转录和第三视角文本摘要示例。这里我们提供了文本摘要和对话转录的示例。可以看出，第三视角文本摘要能够捕捉视频中的关键事件，而对话转录则更具互动性。HoloAssist提供了这两类材料，可在不同场景和应用中发挥作用。
| Third-person text summary | Conversation transcription |
| A task performer operated a capsule coffee machine. The task performer grabbed a glass of water, and poured it into the water container. The task performer grabbed a coffee capsule and inserted it into the capsule slot. The task performer pulled the lever to use the capsule. With this, the task performer made a coffee cup. The instructor asked the task performer to empty the capsule container. The task performer withdrew the drip tray, then, removed the capsule. And then inserted the drip tray back. | task performer: That one task performer: Start already Instructor: Add water Instructor: Grab a capsule and make a cup of coffee Instructor: Right Instructor: now, empty the capsule tray Instructor: Throw out the coffee Instructor: Put it on the table Instructor: Put it back Instructor: Your task is done press stop. |
---
| The task performer grabbed the water container and took it to the sink to fill it with water. Then the task performer grabbed a coffee capsule and a cup. The task performer placed the cup on the drip tray and inserted the capsule into the capsule slot pushing it down. The task performer reinserted the capsule container by lowering the drip tray as well. Then the task performer reinserted the coffee capsule into the capsule slot. The task performer lowered the lever and placed the cup on the grid. Then pressed the right button to start preparing the cup of coffee. Finally, the task performer removed the drip tray and the capsule container from the espresso machine and separated them. Then the task performer placed the capsule container on the table and carried the drip tray to the sink to empty it. Later the task performer inserted the capsule container back into the drip tray and finally inserted them into the espresso machine. | Instructor: Hello, and thank you for agreeing to take part in our study. In front of you, you will see an espresso coffee machine we will be using for this task. First please load water into the machine\nInstructor: Please as you put the water facing down lift the lid.\nInstructor: Please lift the lid\nInstructor: Please lift the top and slide it down.\nInstructor: Please lift the top as you slide it down.\nInstructor: Next, please make a cup of coffee\nInstructor: Please, please return the capsule, please\nInstructor: Please grab the capsule from the capsule area.\nInstructor: Please remove the cup\nInstructor: Please lift up words the door and to the, please afterward please pull please lift it\nInstructor: Please lift the expansion, and pull it from the machine\nInstructor: Please reinsert the capsule.\nInstructor: Please push down on the metal\nInstructor: push it towards me now\nInstructor: Please make sure the capsule is part of the capsule to the capsule area\nInstructor: Next, please empty the capsule tray\nInstructor: Lastly, please empty the drip tray in the sink\nInstructor: Please take it out of the machine as before\nInstructor: Please remove the plastic, the capsule tray\nInstructor: That concludes everything for this task, you can now press the stop button |
---
| The task performer began the task by moving the parts of the Nintendo on the table and then grabbing it to change the game card for another. He then opened the Nintendo kick stand and grabbed a micro-SD card, which he inserted into the SD slot. Then he closed the kickstand. The task performer, following the instructions of the instructor, opened the kickstand behind the Nintendo and stood it on the table. The man turned on the Nintendo by pressing the power button. Then, following the instructions of the instructor, he turned off the console by pressing the power button for three seconds and pressing the touch screen of the console. The man grabbed the touch screen and tried to place the blue controller on it, until the instructor corrected him. Then he placed both controls on the sides of the touch screen of the console. The task performer removed the controllers from the touch screen and inserted them on the comfort grip, one on each side, as instructed by the instructor. Then he removed the joy controllers from the comfort grip and then, correcting the errors he had when placing the blue joy with controller, he correctly placed each of them on the joy with straps as the final action of the task. | task performer: Capturing Instructor: Alright now let's perform the switch task. First, please change the game card task performer: In here?\nInstructor: Yes task performer: Game card there you go. task performer: Done Instructor: Okay Instructor: Now please change the SD card. task performer: There is no SD card Instructor: Please insert one Instructor: Okay Instructor: Now please make the path to stand up. Instructor: Open the support where the SD card is. Instructor: And now please turn on the pad Instructor: And now please turn it off. Instructor: You need to press more than three seconds to turn it off. Instructor: Alright Instructor: Now let's make the controller, put the controller on the pad. Instructor: No, the blue one go left task performer: Done Instructor: Okay Instructor: Now let's change the controller to the joystick. task performer: Change the... so I should remove it from the pad? Instructor: Yes, remove it first. task performer: And then? Instructor: Put it down the joystick task performer: On this? Instructor: Joystick task performer: Yeah, this is the joystick, right? task performer: It's done Instructor: Now change it to another stick task performer: So I should? okay. Instructor: Take it out first. task performer: Okay Instructor: Okay. Instructor: Now you can press stop. |
#### S.5. 实验细节
#### S.5.1 实现细节
ViT和TimeSformer。在我们的动作识别、动作预测、错误检测和干预预测基准测试中，我们采用原始的Vision Transformers [^13]以及带有时空注意力机制的TimeSformer [^9]作为基础模型架构。具体来说，我们使用TimeSformer代码库中定义的vit_base_patch16_224模型。这些模型训练15个周期，基础学习率为0.01；在第11和第14个周期时，学习率会除以10。根据基准测试的需求，我们输入8帧图像。例如，在动作识别基准测试中，我们从输入的动作用 clips中抽取8帧；对于动作预测和干预预测，我们从当前动作clip之前的N秒内抽取帧；对于错误检测，我们从序列开头到当前动作clip结尾抽取8帧。帧数会影响模型性能，我们选择8帧是为了更好地适配我们的计算资源。
Seq2Seq模型。我们使用Seq2Seq模型进行三维手部预测。我们参考文献中的基础Seq2Seq模型 [^37]并做了相应修改。我们使用ADAM优化器 [^17]训练该Seq2Seq网络，学习率为0.1。模型隐藏层维度设为512，包含3个LSTM层；解码器的输出维度设为156，与手部关节维度数量一致。在目标函数方面，我们采用L2距离损失。我们在细粒度动作开始前的3秒内均匀抽取8帧作为输入，并通过细粒度动作开始后的1.5秒内的手部姿态来验证手部预测效果。如果标志位显示设备外出现无效数据，或者手部位置距离头部超过1.5个单位，我们就将其视为错误的手部姿态，不予评估。
---
如果标志位显示设备外出现无效数据，或者手部位置距离头部超过1.5个单位，我们就将其视为错误的手部姿态，不予评估。
• 编码器。除LSTM层之前的RGB图像外，所有输入均通过维度数与输入相同的MLP。对于RGB图像，我们使用预训练的ResNet [^15]（输出维度为1000）来提取RGB特征。随后，我们将MLP和ResNet提取的特征拼接起来，再送入LSTM层。
• 解码器。对于LSTM层的输入，我们采用与编码器相同的MLP和ResNet架构。最后，我们将LSTM层的输出作为另一个MLP的输入，以预测手部关节位置。
#### S.5.2 3D手部姿态预测可视化
在图S3中，我们展示了主论文中所用的Seq2Seq模型在3D手部姿态预测任务上的可视化结果。从图中可以看出，手部姿态预测的准确率仍有很大的提升空间。
t
Figure S3: 3D hand pose forecasting qualitative results. The input to the model is the historical ground-truth hand joint positions (i.e., hand poses, visualized in Green) with RGB images in the multimodal setting (RGB images are optional). Then the output is the prediction of future hand poses visualized in Red.
#### S.6. 数据样本可视化
在图S4中，我们展示了数据集中会话序列的可视化结果。图中呈现了头部姿态、点云、RGB图像以及深度图像。此处省略了手部姿态和视线方向的信息，相关内容可参考主论文中的图表。
---
Figure S4: Sample Data in HoloAssist. The left column shows the point cloud and head poses. The middle column shows the RGB images. The right column shows the depth images.