# Aria日常活动数据集
吕朝阳、尼古拉斯·查龙、皮埃尔·穆隆、亚历山大·加米诺、彭程、克里斯·斯威尼、爱德华·米勒、唐慧轩、杰夫·迈斯纳、董静、基兰·索马斯南达拉姆、路易斯·佩斯奎拉、马克·施韦辛格、奥姆卡尔·帕尔基、顾乔、伦佐·德·纳尔迪、程尚毅、史蒂夫·萨里宁、维贾伊·拜亚、邹宇阳、理查德·纽科姆、雅各布·朱利安·恩格尔、潘晓青、卡尔·任，Meta Reality Labs研究团队
## 摘要
我们推出了Aria日常活动（AEA）数据集，这是一套利用Project Aria眼镜采集的以人眼为中心的多模态开放数据集。AEA包含了由多名佩戴者在五个地理位置各异的室内场所记录的143段日常活动序列。每段记录都包含通过Project Aria眼镜采集的多模态传感器数据。此外，AEA还提供了机器感知数据，包括高频全局对齐的3D轨迹、场景点云、每帧3D视线向量以及时间对齐的语音转录内容。在本文中，我们展示了该数据集支持的几类典型研究应用，包括神经场景重建和提示式分割。AEA是一套开源数据集，可从projectaria.com下载。我们还提供了开源实现代码以及如何在Project Aria Tools中使用该数据集的示例。
### 1. 引言
增强现实（AR）设备和可穿戴式个人人工智能设备有望在未来普及，这一趋势为开发将对人们生活产生深远影响的新技术创造了机遇。新型AR与AI设备能够从与佩戴者相同的以人眼为中心的角度持续采集多模态数据，这带来了全新的数据机遇与挑战。借助这些以人眼为中心的设备所生成的连续上下文数据，结合大语言模型等机器学习领域的进步，我们将能够打造出真正个性化且能贴合语境的人工智能助手，它们将成为佩戴者思维的延伸。
如今的多模态人工智能助手能够通过利用文本、图像或短视频交织而成的上下文来展现智能能力，例如GPT-4v [^18]、Gemini [^26]、Llava [^15]，但它们只能访问公共互联网数据以及用户主动输入的提示信息。我们认为，未来的人工智能助手应当能够获取更多关于用户的上下文数据，并具备利用这些数据推理的能力。首先，人工智能应能够充分利用未来可穿戴设备所配备的传感器和硬件采集到的、关于佩戴者及其环境的丰富传感器数据，包括空间音频、运动信息和长时间视频。其次，人工智能应能在持久存在的全局坐标空间中推理时空上下文。第三，人工智能应通过观察人类的视线移动或手部物理交互来理解佩戴者的意图。
要推动这些领域的研究与应用发展，就需要具备真正代表性且包含充足上下文数据的数据集，以便衡量和训练新能力。现有的以人眼为中心的数据集主要是用传统摄像机采集的，并不包含此类研究所需的所有传感器模态。它们通常缺少未来AR眼镜所需的原始数据（如空间音频、惯性数据）、精确的3D位置数据、不同模态及设备间的时间同步数据，以及用于推断佩戴者行为或意图的额外个人上下文信息。
我们推出了Aria日常活动（AEA）数据集，这是一套包含丰富多模态传感信息以及最先进的机器感知输出的4D数据集，旨在推动人工智能和增强现实领域的研究。AEA数据集是通过Project Aria设备采集的[^7]，该传感器平台具备无与伦比的能力，能够以不显眼的外形持续采集以用户为中心的数据。Aria数据包含以下原始传感数据：高分辨率RGB视频、用于定位追踪的低分辨率全局快门单色视频、眼动追踪视频、两路IMU数据流、来自多个麦克风的空间音频、磁力计数据和气压计数据。我们还提供了来自最先进的机器感知服务（MPS）的输出$^{1}$。MPS数据旨在提供高度精确且可靠的结果，这些结果既可作为模型的上下文输入，也可作为伪真实标签，用于满足更严格输入约束条件下的指标测量。
---
……
Figure 1. An overview of Aria Everyday Activities (AEA) dataset using some exemplar activities recorded in Location 1. On the right column, we highlight a time-synchronized snapshot of two wearers talking to each other in one activity, with the following information representing each of the viewer in red and green: (1) their high-frequency 6DoF close-loop trajectories, (2) observed point cloud, (3) RGB camera view frustum, (4) monochrome scene cameras, (5) eyetracking cameras, (6) their projected eye gaze on all three camera streams and (7) transcribed speech. On the left side, we also highlight a diverse set of activities (e.g. dining, doing laundry, folding clothes, cooking) with the projected eyetracking (green dot) on the RGB streams. All of the recordings contain close-loop trajectories (white lines) spatially aligned on the environment point cloud (semi-dense points).
AEA是一套4D纵向数据集，其中所有日常活动记录均经过时空对齐。AEA包含了由多名佩戴者在5个具有代表性的地点记录的143项活动，这些地点涵盖了日常中的多人活动场景。除了能提供6自由度姿态的本地高频轨迹外，AEA还包含同一地点内所有观测数据的全局对齐3D场景信息。在每个地点，不同佩戴者的所有记录都包含对齐后的轨迹以及同一3D坐标系下的全局点云。为了标明每位佩戴者的意图，我们提供了基于眼动追踪摄像头流计算得出的处理后的视线数据。我们还提供了录音中语音的时间对齐转录文本。对于多人活动而言，所有记录均通过外部时间码实现精准的时间同步，从而确保不同观测数据不仅在空间上同步，在时间域上也保持精准一致。
AEA数据集是Aria Pilot数据集（APD）中日常活动部分的更新版本[^17]，而APD是首个公开发布的Aria数据集。该数据集曾是吸引研究人员利用Project Aria数据开展各领域研究的首要起点。自APD发布以来，Project Aria已被用于多个新的公开数据集，包括Aria数字孪生数据集[^19]、Aria合成环境数据集以及Ego-Exo4D数据集[^10]。随着这些开放数据的发布，Project Aria也不断完善其所提供的MPS及开源工具链[^7]。
在AEA数据集中，我们对最初的试点数据集进行了三项重大更新。首先，我们更新了数据格式，使其与我们新开发的开源工具链保持一致，从而让用户能够使用统一的工具集加载和查询所有Aria公开数据集中的数据。其次，我们利用最新的机器感知服务重新处理了原始的Aria记录，实现了以下改进：（1）更精确的6自由度姿态信息；（2）新增包含2D观测数据的半密集点云；（3）更精确的经校准的视线数据及3D方向矢量；（4）每帧传感器的外部和内部校准参数。第三，我们增强了开源工具链的功能，增加了C++和Python环境下的便捷数据加载能力，并开发了用于运行本文所讨论的实际示例的工具。在现有的Project Aria数据集中，AEA将继续作为独一无二的数据集，助力研究人员在同一时空坐标框架下，研究以用户为中心的日常活动及其相关的所有记录和机器感知上下文。
---
时空坐标框架。
为了进一步展示AEA数据集在科研中的能力，我们提供了神经重建和提示分割方面的示例应用。在神经场景重建中，我们演示了如何利用闭环轨迹和全局点云，通过单段记录或多段记录联合数据，借助高斯泼溅技术的最新进展来重建所观测的场景 [^11]。最后，我们给出了两个基于提示的分割示例，使用Efficient-SAM [^29]（功能强大的基础模型SAM [^12] 的精简变体）以及Grounding-DINO [^16]，以此说明我们如何借助佩戴者的眼动和语音输入轻松向基础模型发出提示。我们希望这些示例应用能够启发研究人员利用这一丰富的上下文开发出更强大的人工智能。
在本节中，我们将回顾以往的研究工作，尤其重点关注那些服务于以眼为中心的人工智能及3D多模态研究领域的数据集。
总而言之，我们介绍了AEA数据集——这是一套利用Project Aria眼镜采集的多人日常活动数据集，包含多模态传感数据以及4D时空对齐的机器感知信息。在本技术报告中，我们首先会在第2节讨论相关工作；第3节将阐述该数据集的主要特点，第4节会提供开源工具；第5节则列举了使用该数据集的几类研究应用示例。
### 2. 相关工作
以眼为中心的数据集：第一人称视觉（FPV）及以眼为中心的数据集 [^1] [^6] [^9] [^13] 在推动以眼为中心的视频理解和人工智能研究发展方面发挥了重要作用。具有里程碑意义的两个数据集EpicKitchen [^5] [^6] 和Ego4D [^9] 设立了多项以眼为中心的理解基准，并配有大量的以眼为中心的视频及标注数据。这些数据集主要通过安装在佩戴者头部的视频录制设备采集，例如GoPro头戴式摄像装置。它们缺乏用于更精准推断3D信息或佩戴者意图的其他重要传感器模态。由于以眼为中心的视频中存在快速的头部运动，因此在所有视频中精确且可靠地估计3D信息仍是一项极具挑战性的研究课题。Ego4D数据集中有一小部分视频依赖预先扫描的3D环境进行重新定位。EpicFields [^27] 利用COLMAP [^22] 和神经场技术恢复了部分3D环境和轨迹。在AEA数据集中，我们提供了6自由度、1KHz采样率的轨迹数据，这些数据通过Project Aria设备的基础功能，利用最先进的视觉惯性里程计（VIO）及同步定位与地图构建（SLAM）系统生成，能够近似还原每次记录中以眼为中心的观察者的连续6自由度轨迹。AEA数据集还包含了每次记录对应的校准后的眼动信息。现有的GTEA [^14]、EGTea [^13] 数据集以及Ego4D数据集中的一小部分数据虽包含眼动信息，但缺乏其他3D信息，这在将佩戴者的意图置于3D环境中进行解读时会造成障碍。
Project Aria数据集：AEA是基于Aria Pilot数据集中的日常活动序列更新而成的数据集[^17]。自Aria Pilot数据集发布以来，使用具备不同功能和任务能力的Project Aria设备又记录了更多数据集。Aria数字孪生（ADT）[^19]包含了由Aria佩戴者在两个已被完全数字化的环境中进行的真实世界活动数据，这些数据中包含了精确的物体和佩戴者姿态信息。对于所有Aria录制内容，ADT保留了相同的原始传感器信息，同时还加入了从运动捕捉系统（MCS）生成的额外真实标注数据，且这些数据与数字化场景对齐。该数据集中还包含一些用于支持MCS的视觉伪影。创建这样的数据集需要投入大量的精力和资源，且难以大规模扩展。
相比之下，AEA是在五个经过充分授权的多样化环境中录制的，场景中没有其他特殊要求。我们使用Project Aria的机器感知服务（MPS）记录了多种日常活动，并获取了衍生的机器感知数据。AEA可作为Project Aria录制数据的范例，这类数据能够轻松扩展，以满足需要大量以自我为中心的视频数据的研究需求。
最近推出的Ego-Exo4D数据集[^10]采用了Project Aria作为以自我为中心的录制设备，是规模最大的多模态以自我为中心数据集。该数据集包含了1400小时的以自我为中心及非以自我为中心的设备录制内容。该数据集同样利用MPS生成每次录制的机器感知数据。AEA与Ego-Exo4D的主要区别在于所涵盖的活动类型和环境不同：Ego-Exo4D侧重于程序性活动，而AEA则聚焦于人们在家中全天进行的纵向日常活动。在AEA中，我们提供了多人同步的以自我为中心录制数据，以及在同一住宅内对齐的多轨迹录制数据；而Ego-Exo4D则是在所有摄像头都能观测到的受限立方空间内，实现以自我为中心视频与非以自我为中心视频之间的同步捕获。我们认为，AEA能够成为人工智能研究中的重要试点以自我为中心数据集，尤其适用于需要自然3D环境和长时间时空对齐视频的研究。
其他3D多模态数据集：近期还推出了一些采用其他头戴式设备录制的数据集，这些设备的体积更为笨重。Assembly101[^23]使用Meta Oculus Quest设备，在多视角桌面环境下开展一系列装配活动。HoloAssist[^28]则记录了
---
Figure 2. An overview of components on Project Aria device, with exemplar senor configuration of each. In this dataset, we use Profile9 which include all the sensors of the device except the WiFi, Bluetooth & GNSS. We visualize a snapshot of all the sensors in one of the recordings on the right.
| Location | Recording Scripts | Wearers | Recordings | Image Frames | RGB Frames | Total Duration (hours) |
| Location 1 | Scripts 1-5 | 1-2 Wearers | 29 | 230,487 | 115,235 | 1.6 |
| Location 2 | Scripts 1-5 | 1-2 Wearers | 43 | 339,650 | 169,824 | 2.3 |
| Location 3 | Scripts 1-5 | 1-2 Wearers | 38 | 259,027 | 129,514 | 1.7 |
| Location 4 | Scripts 1-5 | 1-2 Wearers | 19 | 94,029 | 47,015 | 0.6 |
| Location 5 | Scripts 4-5 | 1 Wearer | 14 | 168,428 | 84,214 | 1.1 |
| In total | Scripts 1-5 | 1-2 Wearers | 143 | 1,091,621 | 545,802 | 7.3 |
Table 1. Data statistics for the recordings at each location. Refer to Appendix C to more details of the recording scripts. The total number of image frames account for a combination of all RGB image frames and monochrome scene camera frames.
使用HoloLens头盔完成的几项双人协作任务。与这些数据集相比，AEA在室内环境中呈现更自然的人类活动，且Project Aria的设备形态不会干扰用户活动。
多模态研究也广泛运用自动驾驶数据集[^3] [^8] [^24]，这些数据集提供了截然不同的场景和传感器模式。未来个人人工智能领域的多模态学习，需要采用类似未来AR眼镜的设备形态来收集数据集，且这些数据集需能贴近人们日常生活中的人类活动。我们相信AEA将成为推动该领域研究的典范数据集。
### 3. 数据集描述
Aria日常活动（AEA）数据集是Aria试点数据集（APD）中日常活动序列的更新版本。APD是首个使用Project Aria设备采集并公开发布的数据集。它提供了一个4D纵向数据集，其中包含了由具备全天候运行功能的智能眼镜所记录的全天活动数据，且这些数据与时空对齐的元数据相对应。对于全新的AEA数据集，我们采用了最新的机器感知服务（MPS）来更新所有录音中的机器感知数据，从而提供尽可能精准的3D信息。下文我们将详细介绍AEA数据集的相关内容。
数据集统计信息：AEA包含由多名佩戴者在五个室内场所采集的143段日常活动录音。总体而言，该数据集包含超过100万帧图像，累计录音时长达7.3小时。其中图像帧数超过200万帧，涵盖RGB彩色图像与单色场景图像。表1展示了各个场所中佩戴者数量、录音段数及帧数的统计数据。
---
Figure 3. A visualization of the shared 3D global closed-loop trajectories and the semi-dense point clouds for multi-recording activities on every 5 location. Each color indicates the high frequency trajectory of one sequence recorded in this location. In each location, the point clouds are aggregated from all recordings. Location 3 and 5 are shown sideways to highlight the multi-floor scenarios.
数据集采集流程：我们为佩戴者制定了指导脚本，用于呈现一名或两名Project Aria设备佩戴者全天内的纵向活动情况，这些情况可通过全天候传感技术进行观测。每份脚本包含多个场景，描述了人们一天中的活动轨迹。脚本仅为即兴场景提供一般性指导，佩戴者只需遵循提示，按照各自最自然的方式完成各段录音。这些脚本可作为以自我为中心的活动的开放词汇描述。部分脚本场景包括：烹饪、日常清洁、锻炼、用餐、阅读、玩游戏以及与朋友相处。附录C中详细说明了这些脚本与具体任务的对应关系。
Aria原始传感器数据：我们采用了Project Aria数据采集配置中所提供的Profile 9录制模式，其中RGB摄像头分辨率为$1408 \times 1408$，帧率为20帧/秒；单色场景摄像头分辨率为$640 \times 480$，帧率为10帧/秒；眼动追踪摄像头分辨率为$320 \times 240$，帧率同样为10帧/秒，其余传感器的设置均保持默认。关于原始传感器的更多细节，可参阅附录A。
机器感知数据：与Aria试点数据集中的录音相比，这是AEA数据集的一项重大功能更新。AEA采用了提供给Project Aria学术合作伙伴的最新机器感知服务（MPS）。数据格式也进行了更新，以便与Project Aria Tools中使用的新版官方Project Aria数据格式规范保持一致，这套开源工具及文档库也随之更新。
---
与Aria试点数据集相比，MPS数据有两项主要更新。
• 3D定位：我们为每段录音提供了与可见全局点云对齐的6自由度轨迹，这些轨迹与同一场所内的其他录音共享相同的坐标系。全局点云是利用环境中静态部分的特征点追踪结果重建而成的。在MPS中，我们将这种3D点云称为半密集点，而将2D追踪点称为半密集观测值。在最初的Aria试点数据集中，我们仅为每段录音提供了1kHz频率的轨迹。此次更新中，我们添加了与全局坐标空间中各轨迹对齐的半密集点，将其称为闭环轨迹。图3展示了各个场所中所有空间对齐录音的可视化效果。我们手动检查了全局对齐坐标系中所有录音的轨迹和点云，以确保其准确性。
- 基于3D方向向量的视线追踪：AEA提供了以中央瞳孔帧为锚点的逐帧3D视线数据。相较于RGB摄像头中最初发布的2D投影眼动点，这种数据在3D环境中能提供更丰富的信息。我们还在Project Aria Tools中提供了相关代码示例，用于通过设备校准获取2D眼动数据。
我们还提供了设备端里程计功能，我们将其称为开环轨迹与在线设备校准。在我们发布试点数据集时，这两项功能尚不可用。如需了解更多关于机器感知数据与MPS的详情，请参阅附录B。
时间同步：AEA包含多种多人活动场景，例如两人交谈。在多人场景中，我们采集了带有同步时间戳的录音数据。彼此距离小于100米的多台Project Aria设备可利用SMPTE LTC时间码，获得毫秒级精度的同步时钟。在VRS文件中，除了各设备的采集时间外，我们还提供了跨多设备采集的同步时间码时间戳。同一时间采集的不同录音可通过设备时间码关联起来。我们还提供了可视化同步录音的工具包，将在第4节中详细介绍。
语音转文字转录：我们使用了APD中发布的自动语音识别（ASR）技术生成的相同文本转录结果。文本中的所有字符均与设备时间戳对齐，每条输出结果还附带置信度评分。所使用的ASR标注…
Figure 4. We manually blurred all the human faces in both RGB color video (right) and two monochrome scene camera videos (cropped in the left two images).
这是一种不属于Project Aria MPS范畴的专有服务。通过开源ASR解决方案也能获得类似结果，例如[^4] [^21]。我们希望发布的语音转录结果能够加速那些需要时间对齐文本输入的研究与应用进程。
隐私承诺：在所有数据采集与处理过程中，我们严格遵循Meta的负责任创新原则。所有录音均在获得完全授权的室内环境中采集，且不包含任何个人身份信息。为确保匿名化效果达到最佳，我们对RGB和单色场景摄像头流中的所有人脸与车牌进行了手动标注与模糊处理。我们通过多轮质量分析仔细验证了标注结果。未通过质量检查的帧所对应的录音会被完全从数据集中剔除。图4展示了RGB和单色传感器流的匿名化处理示例。
### 4. 数据集工具
为支持该数据集的发布，我们更新了Project Aria Tools，它提供了用于处理Aria数据的开源工具集。此次更新提供了可用来读取来自多设备的多模态传感数据及其对应的机器感知数据的数据提供器。所有数据模态与元数据均可根据其设备时间戳进行检索。单人及多人活动数据的处理也十分便捷。Project Aria Tools还提供了便捷的API，可利用设备与摄像头校准信息来变换6DoF位姿，以及实现各类传感器之间的2D/3D点投影与重投影。
Project Aria Tools提供了可视化工具，帮助用户快速浏览各个序列或多人场景，并支持时间轴拖拽操作。图5展示了一个示例。
---
Figure 5. A snapshot of AEA dataset viewer (multiple-person activity) showing the synchronized rectified RGB streams with their devices trajectories (dark red and green of each), eye gaze vector direction (a red vector from each device frustum), the projected eye gaze on RGB image (red dot in each image), the aggregated 3D semi-dense point cloud for each recording (white) and the transcribed speech sentences (overlaid on each RGB image). We provide this viewer in project aria tools.
我们将两段时间同步的录像及其3D轨迹、作为全局点云的环境数据以及眼动向量可视化结果整合到同一个共享坐标系中。我们还将语音同步文本作为其他时序数据的示例进行展示，这些文本会根据设备时间进行查询。这一框架可以轻松扩展，以便显示额外的用户元数据或更多录像，从而支持开发与调试工作。
### 5. 应用场景
本节我们将介绍AEA数据集的两类主要研究应用：3D神经场景重建与提示式分割。这些示例应用充分体现了利用AEA多模态第一人称观测数据与机器感知数据的巨大潜力。我们希望它们能为使用该数据集开展的研究提供些许启示。
#### 5.1.3 3D神经场景重建
在AR/VR应用中，为可观察区域重建场景是创建沉浸式照片级虚拟记忆的重要课题。现有的神经重建方法通常采用两步流程：针对一段视频序列，先借助基于运动恢复结构（SfM）的工具（如COLMAP [^22]）获取6自由度相机轨迹，再对带有位姿信息的图像执行神经重建。但对于第一人称活动而言，由于录像并非专门为运行SfM而精心拍摄和整理，这一过程往往颇具挑战性。快速的头部运动或难以观察的区域很容易导致SfM或类似定位算法失效，进而使后续重建工作失败。对于同一环境中的多段长录像而言，要将所有观测数据统一定位到同一坐标系统中同样困难重重。
值得注意的是，AEA数据集是以活动为中心的：每段录像都包含各种第一人称运动，还可能记录到多人活动中的移动人体。所有轨迹均为自由视角的运动，这与传统用于物体或静态场景重建的数据集存在显著差异。尽管面临诸多挑战，我们仍成功实现了跨单段或多段录像的场景重建。我们希望这能启发未来的研究，以便在存在动态运动的情况下提升重建质量，或借助完全沉浸式的环境深化对活动与场景的理解。
---
本节我们将展示如何利用AEA数据集中的3D机器感知数据（尤其是闭环轨迹与半密集点云）来执行神经重建并解决上述难题。我们以高斯泼溅技术 [^11] 作为主要基准，并提供了完整的评估结果。
#### 5.1.1 高斯泼溅技术
实现方式：我们采用了Gaussian Splatting的官方实现，仅做了少量修改以支持多序列重建。由于我们要重建的轨迹较长，无法直接加载到内存中，因此采用批处理的方式在运行时随机选取一批帧进行处理。我们使用Project Aria Tools对符合默认针孔光栅化器要求的RGB图像进行了校正。我们利用AEA生成的半密集点云来初始化点云，并通过高频闭环轨迹中时间戳最接近的位姿来获取每帧的位姿信息。对于多记录重建，我们会将所有帧和点云合并在一起。单记录重建时我们运行了3万次迭代，多序列重建则运行了10万次迭代。所有重建过程均采用相同的超参数以及剪枝和稠密化策略。在单个A100 80GB GPU上，重建单个记录大约需要3小时，而多个记录在同一位置重建则需耗时10小时。
单记录结果：尽管某些记录的动态运动较强或头部运动较少，该方法仍能成功对每条记录单独进行收敛。图6展示了3D空间中最近视图的几张渲染示例。从结果来看，所有观测条件良好的静态区域都得到了高质量的重建。由高斯点渲染出的模糊区域则对应原始观测中的动态或未观测区域。
多记录结果：我们进一步对各个位置汇总的所有记录运行Gaussian Splatting算法。各记录的数量及帧数详见表1。例如，位置2包含最长的记录，总时长达2.3小时，接近17万帧RGB图像，且初始点云由半密集点云聚合而成，数量达到500万个。经过10万次迭代重建后，位置2最终收敛为约62.7万个高斯点。图7展示了几张渲染视图。由于同一位置有丰富的观测数据，我们能够重建出观测条件良好的生活区域，并将其中的动态运动图像区域作为异常值予以剔除。
定量评估：表2展示了每个位置的定量重建质量，包括单记录（SR）和多记录（MR）设置下的评估结果。我们报告了所有保留测试帧的平均PSNR数值。这些测试帧是每连续5帧中的最后一帧。
| Location | PSNR (SR) | PSNR (MR) |
| Location 1 | 25.79 | 22.85 |
| Location 2 | 25.19 | 21.93 |
| Location 3 | 24.85 | 22.06 |
| Location 4 | 23.70 | 21.83 |
| Location 5 | 26.27 | 24.18 |
| Locations all | 25.12 | 22.35 |
Table 2. Quantitative evaluation of Gaussian-splatting on the held-out testing frames (The last frame out of every 5 frames). We report the PSNR averaged for all frames in single recording (SR) or multiple recordings (MR) scenarios.
录制（SR）和多路录制（MR）设置。我们报告了所有保留的测试帧的平均PSNR数值。这些测试帧是每连续5帧中的最后一帧。
#### 5.1.2 基于NeRFstudio的3D重建
NeRFstudio [^25]提供了针对Aria的定制集成方案，可利用MPS提供的轨迹和全局点云来处理Aria原始数据。NeRF基线模型（如NeRFacto）以Aria闭环轨迹和原始RGB图像作为输入。其高斯泼溅基线模型（即Splatfacto）也像我们演示的那样，利用半密集点云数据来初始化3D高斯点，并对RGB图像进行校正。为了在AEA上获得最佳效果，需要对现有实现进行一些调整以适应记录长度的要求。我们将继续支持使用Project Aria数据进行场景重建的开源实现，并计划在未来的工作中利用NeRFstudio中的基线模型来重建AEA数据集。
#### 5.2 提示词引导的分割
在3D环境中识别并分割物体实例的能力，是上下文人工智能应用中的基本组成部分之一。近期2D基础模型的进展为实现具有良好泛化能力的零样本AI功能指明了有希望的方向，例如CLIP $^{[20]}$、DINO $^{[2]}$、SAM $^{[12]}$。在本节中，我们以“分割一切模型”（SAM）为例，说明多种传感器模态对人工智能研究所能提供的帮助。我们选用EfficientSAM $^{[29]}$作为SAM的变体，因为它在处理每一帧RGB图像时，能在精度与实时性能之间取得良好的平衡。
在本示例中，我们展示了将EfficientSAM与来自机器感知数据的两种不同提示词相结合的两个应用场景。首先，我们演示如何利用眼动轨迹作为佩戴者意图的提示词来分割物体；随后，我们进一步将EfficientSAM与GroundingDino [^16]相结合，以展示基于语音的分割功能。这两个应用——
---
Figure 6. Novel rendering views of the Gaussian-splatting reconstruction (top) and their corresponding nearest neighbor views (bottom) using observations from a single recording.
Figure 7. Novel rendering views of the Gaussian-splatting reconstruction using observations from all recordings in the shared location. The corresponding nearest neighbour views are shown on the second row.
---
(a) Eye gaze prompt
(b) Speech prompt
基于眼动提示的分割：图8a展示了利用投影后的眼动轨迹作为提示词，在一幅RGB图像中进行分割的可视化结果。根据眼动方向向量以及沿该向量的虚拟深度，我们通过设备校准将其投影到2D RGB图像流中，随后将投影得到的2D眼动轨迹用作位置提示词，借助EfficientSAM生成分割掩码。在本示例中，我们将虚拟深度设定为1.0米。未来的工作可以通过引入更精确的眼动深度估计器来进一步提升提示词的准确性。
Figure 8. We demonstrate multimodal prompted segmentation to highlight what the wearer is looking at or talking about. The eye gaze projection is used as point prompt to EfficientSAM [^29] in (a) and speech is used to prompt GroundingDino [^16] to detect the object and further segment them out using EfficientSAM in (b).
均作为实现示例提供在Project Aria Tools中。
基于语音的分割：图8b展示了语音中所提及物体的视觉定位结果。对于给定的时间对齐语音句子，我们首先利用GroundingDino [^16]将文本与图像对齐并检测句子中的物体；若检测到相应物体，则以其对应的边界框作为框提示词，由EfficientSAM [^29]在该区域内生成分割掩码。
### 6. 结论
我们推出了Aria日常活动（AEA）数据集，供研究界利用具有时空对齐上下文的真实世界个人长期活动数据来开展多模态人工智能研究。该数据集是Aria试点数据集中日常活动序列的更新版本。我们利用Project Aria团队提供的最新机器感知服务对先前版本进行了更新，并展示了几个由机器感知数据驱动的研究应用。我们还更新了开源的Project Aria Tools，使其与该数据集兼容，并提供了一些研究应用示例。我们相信AEA能够成为助力研究人员探索全天候多模态上下文人工智能研究的重要资源。
## 致谢
Aria日常活动数据集是Meta Reality Labs Research众多贡献者共同努力的成果。该数据集的成功离不开整个Project Aria团队及机器感知服务团队的所有工作与成果。我们衷心感谢所有为此付出努力的团队成员与合作方。此外，我们还要感谢参与数据采集并为本数据集进行质量分析的大卫·布伊、托马斯·索雷斯、迈克尔·劳登和玛德琳·鲍文。
## 参考文献
[^1]: Siddhant Bansal, Chetan Arora, and C.V. Jawahar. My view is the best view: Procedure learning from egocentric videos. In European Conference on Computer Vision (ECCV), 2022. 3
[^2]: Mathilde Caron, Hugo Touvron, Ishan Misra, Hervé Jégou, Julien Mairal, Piotr Bojanowski, and Armand Joulin. Emerging properties in self-supervised vision transformers. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 8
[^3]: Ming-Fang Chang, John Lambert, Patsorn Sangkloy, Jag-jeet Singh, Slawomir Bak, Andrew Hartnett, De Wang, Peter Carr, Simon Lucey, Deva Ramanan, and James Hays. Argoverse: 3d tracking and forecasting with rich maps, 2019.
[^4]: Seamless Communication, Loïc Barrault, Yu-An Chung, Mariano Coria Meglioli, David Dale, Ning Dong, Mark Dupenthaler, Paul-Ambroise Duquenne, Brian Ellis, Hady Elsahar, Justin Haaheim, John Hoffman, Min-Jae Hwang, Hirofumi Inaguma, Christopher Klaiber, Ilia Kulikov, Pengwei Li, Daniel Licht, Jean Maillard, Ruslan Mavlyutov, Alice Rakotoarison, Kaushik Ram Sadagopan, Abinesh Ramakrishnan, Tuan Tran, Guillaume Wenzek, Yilin Yang, Ethan Ye, Ivan Evtimov, Pierre Fernandez, Cynthia Gao, Prangthip Hansanti, Elahe Kalbassi, Amanda Kallet, Artyom Kozhevnikov, Gabriel Mejia Gonzalez, Robin San Roman, Christophe Touret, Corinne Wong, Carleigh Wood, Bokai Yu, Pierre Andrews, Can Balioglu, Peng-Jen Chen, Marta R. Costa-Jussà, Maha Elbayad, Hongyu Gong, Francisco Guzmán, Kevin Heffernan, Somya Jain, Justine Kao, Ann Lee, Xutai Ma, Alex Mourachko, Benjamin Peloquin, Juan Pino, Sravya Popuri, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Anna Sun, Paden Tomasello, Changhan Wang, Jeff Wang, Skyler Wang, and Mary Williamson. Seamless: Multilingual expressive and streaming speech translation, 2023. 6
### [^5]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In European Conference on Computer Vision (ECCV), 2018. 3
---
[^6]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision (IJCV), 130:33–55, 2022. 3
[^7]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, Cheng Peng, Chris Sweeney, Cole Wilson, Dan Barnes, Daniel DeTone, David Caruso, Derek Valleroy, Dinesh Ginjupalli, Duncan Frost, Edward Miller, Elias Mueggler, Evgeniy Oleinik, Fan Zhang, Guruprasad Somasundaram, Gustavo Solaira, Harry Lanaras, Henry Howard-Jenkins, Huixuan Tang, Hyo Jin Kim, Jaime Rivera, Ji Luo, Jing Dong, Julian Straub, Kevin Bailey, Kevin Eckenhoff, Lingni Ma, Luis Pesqueira, Mark Schwesinger, Maurizio Monge, Nan Yang, Nick Charron, Nikhil Raina, Omkar Parkhi, Peter Borschowa, Pierre Moulon, Prince Gupta, Raul Mur-Artal, Robbie Pennington, Sachin Kulkarni, Sagar Miglani, Santosh Gondi, Saransh Solanki, Sean Diener, Shangyi Cheng, Simon Green, Steve Saarinen, Suvam Patra, Tassos Mourikis, Thomas Whelan, Tripti Singh, Vasileios Balntas, Vijay Baiyya, Wilson Dreewes, Xiaqing Pan, Yang Lou, Yipu Zhao, Yusuf Mansour, Yuyang Zou, Zhaoyang Lv, Zijian Wang, Mingfei Yan, Carl Ren, Renzo De Nardi, and Richard Newcombe. Project aria: A new tool for egocentric multi-modal ai research, 2023. 1, 2, 13
[^8]: Andreas Geiger, Philip Lenz, Christoph Stiller, and Raquel Urtasun. Vision meets robotics: The kitti dataset. International Journal of Robotics Research (IJRR), 2013. 4
[^9]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abraham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Zwei Zhao, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Christian Fuegen, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4d: Around the world in 3,000 hours of egocentric video, 2022. 3
[^10]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar
Ashutosh、Vijay Baiyya、Siddhant Bansal、Bikram Boote、Eugene Byrne、Zach Chavis、Joya Chen、Feng Cheng、Fu-Jen Chu、Sean Crane、Avijit Dasgupta、Jing Dong、Maria Escobar、Cristian Forigua、Abrham Gebreselasie、Sanjay Haresh、Jing Huang、Md Mohaiminul Islam、Suyog Jain、Rawal Khirodkar、Devansh Kukreja、Kevin J Liang、Jia-Wei Liu、Sagnik Majumder、Yongsen Mao、Miguel Martin、Effrosyni Mavroudi、Tushar Nagarajan、Francesco Ragusa、Santhosh Kumar Ramakrishnan、Luigi Seminara、Arjun Somayazulu、Yale Song、Shan Su、Zihui Xue、Edward Zhang、Jinxu Zhang、Angela Castillo、Changan Chen、Xinzhu Fu、Ryosuke Furuta、Cristina Gonzalez、Prince Gupta、Jiabo Hu、Yifei Huang、Yiming Huang、Weslie Khoo、Anush Kumar、Robert Kuo、Sach Lakhavani、Miao Liu、Mi Luo、Zhengyi Luo、Brighid Meredith、Austin Miller、Oluwatuminu Oguntola、Xiaqing Pan、Penny Peng、Shraman Pramanick、Merey Ramazanova、Fiona Ryan、Wei Shan、Kiran Somasundaram、Chenan Song、Audrey Southerland、Masatoshi Tateno、Huiyu Wang、Yuchen Wang、Takuma Yagi、Mingfei Yan、Xitong Yang、Zecheng Yu、Shengxin Cindy Zha、Chen Zhao、Ziwei Zhao、Zhifan Zhu、Jeff Zhuo、Pablo Arbelaez、Gedas Bertasius、David Crandall、Dima Damen、Jakob Engel、Giovanni Maria Farinella、Antonino Furnari、Bernard Ghanem、Judy Hoffman、C. V. Jawahar、Richard Newcombe、Hyun Soo Park、James M. Rehg、Yoichi Sato、Manolis Savva、Jianbo Shi、Mike Zheng Shou以及Michael Wray。Ego-exo4d：从第一人称和第三人称视角理解熟练的人类活动，2023年。2, 3
[^11]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, 42(4), July 2023. 3, 8
[^12]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, and Ross Girshick. Segment anything. arXiv:2304.02643, 2023. 3, 8
[^13]: Yin Li, Miao Liu, and James M. Rehg. In the eye of beholder: Joint learning of gaze and actions in first person video. In Proceedings of the European Conference on Computer Vision (ECCV), September 2018. 3
[^14]: Yin Li, Zhefan Ye, and James M Rehg. Delving into egocentric actions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 287–295, 2015. 3
[^15]: Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning, 2023. 1
[^16]: Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. arXiv preprint arXiv:2303.05499, 2023. 3, 8, 10
### [^17]: Zhaoyang Lv, Edward Miller, Jeff Meissner, Luis Pesqueira, Chris Sweeney, Jing Dong, Lingni Ma, Pratik Patel, Pierre Moulon, Kiran Somasundaram, Omkar Parkhi, Yuyang Zou, Nikhil Raina, Steve Saarinen, Yusuf M Mansour, Po-Kang Huang, Zijian Wang, Anton Troynikov, Raul Mur Artal, Daniel DeTone, Daniel Barnes, Elizabeth Argall, Andrey
---
Lobanovskiy、David Jaeyun Kim、Philippe Bouttefroy、Julian Straub、Jakob Julian Engel、Prince Gupta、Mingfei Yan、Renzo De Nardi以及Richard Newcombe。Aria试点数据集。，2022年。2, 3
[^18]: OpenAI, :, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila, Igor Babuschkin, Suchir Balaji, Valerie Balcom, Paul Baltescu, Haiming Bao, Mo Bavarian, Jeff Belgium, Irwan Bello, Jake Berdine, Gabriel Bernadett-Shapiro, Christopher Berner, Lenny Bogdonoff, Oleg Boiko, Madelaine Boyd, Anna-Luisa Brakman, Greg Brockman, Tim Brooks, Miles Brundage, Kevin Button, Trevor Cai, Rosie Campbell, Andrew Cann, Brittany Carey, Chelsea Carlson, Rory Carmichael, Brooke Chan, Che Chang, Fotis Chantzis, Derek Chen, Sully Chen, Ruby Chen, Jason Chen, Mark Chen, Ben Chess, Chester Cho, Casey Chu, Hyung Won Chung, Dave Cummings, Jeremiah Currier, Yunxing Dai, Cory Decareaux, Thomas Degry, Noah Deutsch, Damien Deville, Arka Dhar, David Dohan, Steve Dowling, Sheila Dunning, Adrien Ecoffet, Aty Eleti, Tyna Eloundou, David Farhi, Liam Fedus, Niko Felix, Simón Posada Fishman, Justin Forte, Isabella Fulford, Leo Gao, Elie Georges, Christian Gibson, Vik Goel, Tarun Gogineni, Gabriel Goh, Rapha Gontijo-Lopes, Jonathan Gordon, Morgan Grafstein, Scott Gray, Ryan Greene, Joshua Gross, Shixiang Shane Gu, Yufei Guo, Chris Hallacy, Jesse Han, Jeff Harris, Yuchen He, Mike Heaton, Johannes Heidecke, Chris Hesse, Alan Hickey, Wade Hickey, Peter Hoeschele, Brandon Houghton, Kenny Hsu, Shengli Hu, Xin Hu, Joost Huizinga, Shantanu Jain, Shawn Jain, Joanne Jang, Angela Jiang, Roger Jiang, Haozhun Jin, Denny Jin, Shino Jomoto, Billie Jonn, Hee-woo Jun, Tomer Kaftan, Łukasz Kaiser, Ali Kamali, Ingmar Kanitscheider, Nitish Shirish Keskar, Tabarak Khan, Logan Kilpatrick, Jong Wook Kim, Christina Kim, Yongjik Kim, Hendrik Kirchner, Jamie Kiros, Matt Knight, Daniel Kokotajlo, Łukasz Kondraciuk, Andrew Kondrich, Aris Konstantinidis, Kyle Kosic, Gretchen Krueger, Vishal Kuo, Michael Lampe, Ikai Lan, Teddy Lee, Jan Leike, Jade Leung, Daniel Levy, Chak Ming Li, Rachel Lim, Molly Lin, Stephanie Lin, Mateusz Litwin, Theresa Lopez, Ryan Lowe, Patricia Lue, Anna Makanju, Kim Malfacini, Sam Manning, Todor Markov, Yaniv Markovski, Bianca Martin, Katie Mayer, Andrew Mayne, Bob McGrew, Scott Mayer McKinney, Christine McLeavey, Paul McMillan, Jake McNeil, David Medina, Aalok Mehta, Jacob Menick, Luke Metz, Andrey Mishchenko, Pamela Mishkin, Vinnie Monaco, Evan Morikawa, Daniel Mossing, Tong Mu, Mira Murati, Oleg Murk, David Mely, Ashvin Nair, Reichiro Nakano, Rajeev Nayak, Arvind Neelakantan, Richard Ngo, Hyeonwoo Noh, Long Ouyang, Cullen O'Keefe, Jakub Pachocki, Alex Paino, Joe Palermo, Ashley Pantuliano, Giambattista Parascandolo, Joel Parish, Emy Parparita, Alex Passos, Mikhail Pavlov, Andrew Peng, Adam Perelman, Filipe de Avila Belbute Peres, Michael Petrov, Henrique Ponde de Oliveira Pinto, Michael, Pokorny, Michelle Pokrass, Vitchyr Pong, Tolly Powell, Alethea Power, Boris Power, Eliza
beth Proehl、Raul Puri、Alec Radford、Jack Rae、Aditya Ramesh、Cameron Raymond、Francis Real、Kendra Rimbach、Carl Ross、Bob Rotsted、Henri Roussez、Nick Ryder、Mario Saltarelli、Ted Sanders、Shibani Santurkar、Girish Sastry、Heather Schmidt、David Schnurr、John Schulman、Daniel Selsam、Kyla Sheppard、Toki Sherbakov、Jessica Shieh、Sarah Shoker、Pranav Shyam、Szymon Sidor、Eric Sigler、Maddie Simens、Jordan Sitkin、Katarina Slama、Ian Sohl、Benjamin Sokolowsky、Yang Song、Natalie Staudacher、Felipe Petroski Such、Natalie Summers、Ilya Sutskever、Jie Tang、Nikolas Tezak、Madeleine Thompson、Phil Tillet、Amin Tootoonchian、Elizabeth Tseng、Preston Tuggle、Nick Turley、Jerry Tworek、Juan Felipe Cerón Uribe、Andrea Vallone、Arun Vijayvergiya、Chelsea Voss、Carroll Wainwright、Justin Jay Wang、Alvin Wang、Ben Wang、Jonathan Ward、Jason Wei、CJ Weinmann、Akila Welihinda、Peter Welinder、Jiayi Weng、Lilian Weng、Matt Wiethoff、Dave Willner、Clemens Winter、Samuel Wolrich、Hannah Wong、Lauren Workman、Sherwin Wu、Jeff Wu、Michael Wu、Kai Xiao、Tao Xu、Sarah Yoo、Kevin Yu、Qiming Yuan、Wojciech Zaremba、Rowan Zellers、Chong Zhang、Marvin Zhang、Shengjia Zhao、Tianhao Zheng、Juntang Zhuang、William Zhuk以及Barret Zoph。GPT-4技术报告，2023年。
[^19]: Xiaqing Pan, Nicholas Charron, Yongqian Yang, Scott Peters, Thomas Whelan, Chen Kong, Omkar Parkhi, Richard Newcombe, and Carl Yuheng Ren. Aria digital twin: A new benchmark dataset for egocentric 3d machine perception, 2023. 2, 3
[^20]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision, 2021. 8
[^21]: Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. In International Conference on Machine Learning, pages 28492–28518. PMLR, 2023. 6
[^22]: Johannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 3, 7
[^23]: F. Sener, D. Chatterjee, D. Shelepov, K. He, D. Singhania, R. Wang, and A. Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. CVPR 2022, 2022. 3
[^24]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 4
### [^25]: Matthew Tancik, Ethan Weber, Evonne Ng, Ruilong Li, Brent Yi, Justin Kerr, Terrance Wang, Alexander Kristofersen, Jake Austin, Kamyar Salahi, Abhik Ahuja, David
---
McAllister与Angjoo Kanazawa。Nerfstudio：一个用于神经辐射场开发的模块化框架。载于ACM SIGGRAPH 2023会议论文集，SIGGRAPH '23，2023年。8
[^26]: Gemini Team. Gemini: A family of highly capable multi-modal models, 2023. 1
[^27]: Vadim Tschernezki, Ahmad Darkhalil, Zhifan Zhu, David Fouhey, Iro Larina, Diane Larlus, Dima Damen, and Andrea Vedaldi. EPIC Fields: Marrying 3D Geometry and Video Understanding. In Proceedings of the Neural Information Processing Systems (NeurIPS), 2023. 3
[^28]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 20270–20281, October 2023. 3
[^29]: Yunyang Xiong, Bala Varadarajan, Lemeng Wu, Xiaoyu Xiang, Fanyi Xiao, Chenchen Zhu, Xiaoliang Dai, Dilin Wang, Fei Sun, Forrest Iandola, Raghuraman Krishnamoorthi, and Vikas Chandra. Efficientsam: Leveraged masked image pretraining for efficient segment anything. 2023. 3, 8, 10
### A. Project Aria原始传感器数据描述
Project Aria设备集成了多种传感器，能够记录以用户为中心的多模态数据，且用户可在运行时按需配置。如需更全面地了解Project Aria设备，读者可参阅Project Aria白皮书中的设备描述[^7]。
为了充分支持日常场景中的多模态研究，我们选择了一种适用于室内环境的、配备丰富传感器的录制配置。用于生成原始数据的传感器包括：
RGB摄像头：这是一款滚动快门摄像头，其水平视场角（HFoV）为$110^{\circ}$。我们以20帧/秒的速率采集RGB视频流，分辨率为$1408 \times 1408$像素。
单色场景/SLAM摄像头：这些属于全局快门单色摄像头，水平视场角为$150^{\circ}$，分别安装在眼镜的左侧和右侧。这两款摄像头主要用于视觉SLAM，也可辅助进行手部追踪。我们以10帧/秒的速率录制每路单色视频流，分辨率为640×480像素。
眼动追踪摄像头：有两颗面向内侧的单色摄像头，配备红外照明装置，用于眼动追踪。它们以10帧/秒的速率录制视频，分辨率为320×240像素，对角线视场角（DFoV）为$80^{\circ}$。
惯性测量单元（IMU）：眼镜两侧各有两个惯性测量单元。左侧IMU的采样频率为800 Hz，加速度计饱和限值为4g，陀螺仪饱和限值为500°/s；右侧IMU的采样频率为1000 Hz，加速度计饱和限值为8g，陀螺仪饱和限值为1000°/s。
麦克风：眼镜上共装有7个麦克风，其中5个朝向前方，两侧各1个。我们以48kHz的采样率采集7声道的空间音频数据。
其他传感器：磁力计以10 Hz的采样率测量环境磁场，分辨率为$0.1T$；气压传感器以50 Hz的采样率采集当地气压和温度数据，分辨率分别为$0.66Pa$和$0.005C$。所有录制过程中均未开启GPS或WiFi传感器。
### B. 机器感知服务（MPS）
除了原始传感器数据外，我们还提供了一系列机器感知功能，进一步助力那些需要基于传感器数据获取可靠的3D信息和眼动信息的下游应用。我们利用Project Aria提供的机器感知服务（MPS）来获取位置和眼动信息，与现有的开源解决方案相比，该服务具有更高的精度和鲁棒性。语音转录方面，我们采用了自主研发的语音识别模型。关于机器感知服务的更多详情，请参阅[^7]。
开环轨迹：针对每次录制，我们都提供了高频（1 kHz）的6自由度轨迹，该轨迹源自实时里程计估算结果。此轨迹适合用于模拟任何需要设备端6自由度姿态信息的实时应用场景。
闭环轨迹：这也是一条高频（1 kHz）的6自由度轨迹，但通过后期处理获得。与开环轨迹不同，这条轨迹与其他在同一地点录制的序列共享相同的参考坐标系。这样一来，我们就能将不同佩戴者在同一地点进行的多种活动所产生的轨迹对齐。
半密集点云：除了闭环轨迹外，我们还提供了采用相同全局参考系的半密集轨迹和点云，它们是对环境静态部分的部分重建。图3展示了同一用户在同一天内于同一地点进行的不同活动所对应的可视化点云以及闭环轨迹。
眼动追踪：我们提供了来自Project Aria设备眼动摄像头计算出的3D眼动数据。
---
该数据以每帧锚定在瞳孔中心坐标系下的3D射线形式呈现。借助设备校准功能，我们还能将该射线投影到各2D摄像头上，进而根据射线上估算的深度得出眼动位置。眼动信息是判断佩戴者注意力的的重要指标，对于各类情境化AI应用而言极具参考价值。
### C. 数据采集中的活动脚本
我们在数据采集阶段提供了五份主要录制脚本作为指导。在不同场景下，佩戴者会按照这些宏观脚本的要求完成指定活动。每份脚本都包含多个场景，用以描述人们日常生活的点滴。
• 脚本1：派对前的慵懒早晨。——单人佩戴
• 脚本2：叙旧与娱乐。——双人佩戴
• 脚本3：晚餐想吃什么？——双人佩戴
• 脚本5：回家后立刻出发。——单人佩戴
• 脚本4：宛如周日的悠闲时光。——单人佩戴
每份脚本都由一天中多个连续的活动组成。我们在表3中列出了各脚本ID和序列ID对应的指导活动名称。
我们提供了下载脚本，方便读者在一个位置下载所有脚本中的全部可用序列。需要注意的是，并非每个脚本在每个场景下都有可下载的活动内容。我们对采集到的录制内容进行了严格的质量分析，筛选掉了未通过质量检测的部分录制文件。
我们进一步将活动归类为几类常见的分类，并提供了对应列表以便识别各脚本中使用的场景类型。佩戴者数量反映了某个序列中参与活动的人数。活动与脚本的对应关系详情见表4。
| Script ID | Sequence ID | Open World Activities |
| 1 | 1 | Health activity |
| 1 | 2 | Watch TV |
| 1 | 3 | Clean the place |
| 1 | 4 | Room Decoration |
| 1 | 5 | Video game break |
| 1 | 6 | Food and accommodations |
| 1 | 7 | Read and wait |
| 2 | 1 | Friends arrives at home |
| 2 | 2 | The home tour |
| 2 | 3 | Caffeine |
| 2 | 4 | Grab cream, sugar and snacks |
| 2 | 5 | Play a board game |
| 2 | 6 | Clean a spill |
| 2 | 7 | Share some videos |
| 2 | 8 | Time to go |
| 3 | 1 | Texting and Reading |
| 3 | 2 | Talk about the day |
| 3 | 3 | Cooking |
| 3 | 4 | Set the table and eat |
| 3 | 5 | Clean up |
| 4 | 1 | Waking up |
| 4 | 2 | Perk up with coffee |
| 4 | 3 | Morning exercise |
| 4 | 4 | Prepare breakfast |
| 4 | 5 | Eating |
| 4 | 6 | Clean up |
| 4 | 7 | Relaxing |
| 5 | 1 | Get home |
| 5 | 2 | Wash the clothes |
| 5 | 3 | Straighten up |
| 5 | 4 | Dry your clothes |
| 5 | 5 | Catch up on what happened |
| 5 | 6 | Get and fold the laundry |
| 5 | 7 | Check the food provisions |
Table 3. The activities mapped to each sequence in the recording scripts.
---
| Task | Script ID | Number of Wearers |
| Making coffee | Script 2: Caffeination | 2 |
| Making coffee | Script 4: Perk up | 1 |
| Prepare snacks | Script 1: Set out food and drink | 1 |
| Prepare snacks | Script 2: Grab the cream, sugar, and some snacks | 2 |
| Cooking | Script 3: Cooking | 2 |
| Cooking | Script 4: Breaking the Fast | 1 |
| Cooking | Script 5: Check the provisions | 1 |
| Clean the place | Script 1: Clean the place | 1 |
| Clean the place | Script 2: Clean up spilled coffee | 2 |
| Clean the place | Script 2: Time to go | 2 |
| Clean the place | Script 3: Clean up | 2 |
| Clean the place | Script 4: Cleaning up | 1 |
| Dining | Script 3: Set the table | 2 |
| Dining | Script 4: Eating | 1 |
| Organization and laundry | Script 1: Put up decorations | 1 |
| Organization and laundry | Script 5: Get home | 1 |
| Organization and laundry | Script 5: Wash clothes | 1 |
| Organization and laundry | Script 5: Straighten up | 1 |
| Organization and laundry | Script 5: Dry clothes | 1 |
| Organization and laundry | Script 5: Get and fold laundry | 1 |
| Reading, games and exercise | Script 1: Get the blood pumping | 1 |
| Reading, games and exercise | Script 1: Watch a TV Show | 1 |
| Reading, games and exercise | Script 1: Video game break | 1 |
| Reading, games and exercise | Script 1: Read and wait | 1 |
| Reading, games and exercise | Script 4: Waking up | 1 |
| Reading, games and exercise | Script 4: Exercise | 1 |
| Reading, games and exercise | Script 4: Play console video game | 1 |
| Reading, games and exercise | Script 5: Catch up on email and social media | 1 |
| Touring the room | Script 2: Tour of the house | 2 |
| Multi-person indoor activities | Script 2: Guest arrives | 2 |
| Multi-person indoor activities | Script 2: play a board game | 2 |
| Multi-person indoor activities | Script 2: Share videos | 2 |
| Multi-person indoor activities | Script 3: Arriving home | 2 |
| Activities with indoor outdoor transitions | Script 2: Guest arrives | 2 |
| Activities with indoor outdoor transitions | Script 3: Arriving home | 2 |
| Activities with indoor outdoor transitions | Script 5: Get home | 1 |
Table 4. The details of all activities mapped to each recording script.