# Project Aria：用于自我中心多模态人工智能研究的新工具
Jakob Engel、Kiran Somasundaram、Michael Goesele、Albert Sun、Alexander Gamino、Andrew Turner、Arjang Talattof、Arnie Yuan、Bilal Souti、Brighid Meredith、Cheng Peng、Chris Sweeney、Cole Wilson、Dan Barnes、Daniel DeTone、David Caruso、Derek Valleroy、Dinesh Ginjupalli、Duncan Frost、Edward Miller、Elias Mueggler、Evgeniy Oleinik、Fan Zhang、Guruprasad Somasundaram、Gustavo Solaira、Harry Lanaras、Henry Howard-Jenkins、Huixuan Tang、Hyo Jin Kim、Jaime Rivera、Ji Luo、Jing Dong、Julian Straub、Kevin Bailey、Kevin Eckenhoff、Lingni Ma、Luis Pesqueira、Mark Schwesinger、Maurizio Monge、Nan Yang、Nick Charron、Nikhil Raina、Omkar Parkhi、Peter Borschowa、Pierre Moulon、Prince Gupta、Raul Mur-Artal、Robbie Pennington、Sachin Kulkarni、Sagar Miglani、Santosh Gondi、Saransh Solanki、Sean Diener、Shangyi Cheng、Simon Green、Steve Saarinen、Suvam Patra、Tassos Mourikis、Thomas Whelan、Tripti Singh、Vasileios Balntas、Vijay Baiyya、Wilson Dreewes、Xiaqing Pan、Yang Lou、Yipu Zhao、Yusuf Mansour、Yuyang Zou、Zhaoyang Lv、Zijian Wang、Mingfei Yan、Carl Ren、Renzo De Nardi、Richard Newcombe
Meta Reality Labs Research
## 摘要
未来增强现实（AR）设备所能获取的自我中心多模态数据，为机器感知领域带来了独特的挑战与机遇。这些未来的设备需要采用符合社会接受度的形态，能够全天佩戴，从而支持始终可用、具备情境感知能力且个性化的人工智能应用。Meta Reality Labs Research团队研发了Project Aria设备：这是一款用于记录并流式传输自我中心多模态数据的设备，旨在推动并加速该领域的研究。在本文中，我们介绍了Project Aria设备的硬件，包括其传感器配置、相应的软件工具，以及可提供的机器感知功能，这些特性使其成为开展自我中心机器感知与情境人工智能研究的理想工具。
### 1. 引言
全天佩戴的AR眼镜有望成为计算领域的下一次重大范式变革：它们能够将与数字世界的互动从二维屏幕转移到我们周围的三维世界中；与我们的生活无缝融合，而非将我们的注意力吸引到手持的小型二维矩形屏幕上。然而，要想超越单纯的二维屏幕的三维版本，它们还需要全新的计算与交互范式——这种范式需具备情境感知能力、高度个性化且交互自然。打造这种新范式是一项重大挑战，仍有大量相关问题有待解决。
Figure 1. The Project Aria device.
幸运的是，GPT4 [^15]和llama2 [^7]等经过互联网训练的大型语言模型的最新突破有望解决这一挑战的大部分难题，让相关研发变得更加可行：这些模型证明，现代Transformer架构搭配充足的训练数据，既能实现远距离推理与信息检索，还能通过局部上下文窗口和提示工程无缝适配新任务。综合来看，这使得人类能够与数字智能体进行达到人类水平的互动，而这种互动方式与我们人类的自然交互方式高度契合。
#### 1.1 Project Aria
不过我们认为，这种个性化计算领域的范式变革还需要另一个关键要素：人工智能智能体能够适配每个用户独特的个人情境与偏好。其中一部分可以通过利用个人的数字足迹来实现——
---
通过手机和笔记本电脑与互联网产生的交互总和。这类个性化人工智能助手的出现只是时间问题。然而，我们的数字足迹仅代表了对我们而言重要的经历中的一小部分，而且很少包含那些最重要的经历——这些经历发生在现实世界中，具有高度的个人化特征，往往发生在难以预测的时间和地点。
重要的是，这不仅适用于个人层面，也适用于整体层面：过去25年间在数字领域积累的大量数据，仅代表了人类经验总和中极小且往往存在严重偏差的一部分。例如，网络上用于训练人工智能模型的大部分图像，都是人们用手持设备刻意拍摄并经过筛选后才上传的。任何被判定为无趣的内容、任何“废片”通常都会被删除或编辑，尽管它们实际上占据了我们在日常生活中遇到的绝大多数场景。
由此直接导致的后果是，机器感知与人工智能领域的许多前沿方法（如DALL-E2 $^{[19]}$、GPT-4 $^{[15]}$、DreamFusion $^{[17]}$、SAM $^{[11]}$、MaskRCNN $^{[10]}$、CLIP $^{[18]}$、DINOv2 $^{[16]}$）在应用于以自我为中心的二维图像和视角时表现优异，但在涉及以自我为中心的数据，或需要在三维/四维空间中进行结构化推理和理解的任务中，表现则相对较差。虽然这部分是由于数据量和计算需求的增加所致，但也是前述网络平台所提供数据的缺陷直接导致的。
为了填补这一缺口，推动向情境感知、个性化且以人为本的人工智能的下一轮重大变革，我们创建了Project Aria项目：其核心是一款采用眼镜形态的数据采集设备，它足够轻便且不引人注目，可长时间佩戴而不妨碍自然活动和行为（见图1），从而能够采集生态效度高的数据。该设备配备了丰富的多模态传感器套件，其性能可媲美未来增强现实眼镜在环境感知和用户理解方面的表现。设备内置电池可支持1-2小时的数据录制（采用常规录制模式）；使用外接电源的话，录制时间还能进一步延长。
在这份技术报告中，我们介绍了Project Aria设备以及配套的软件和机器感知服务。我们向全球研究机构开放这些资源，以促进以自我为中心的感知技术向个性化人工智能方向的进步。我们还总结了为保护佩戴者和旁观者的隐私而制定并采纳的原则与标准，这些原则符合Meta的负责任创新准则 [^12]。
自2020年推出以来，Project Aria设备已被美国、英国、瑞士、印度、加拿大、新加坡、哥伦比亚和日本的研究团队使用。2022年，我们发布了Aria Pilot数据集 [^2]。如需了解更多关于Project Aria的信息以及如何成为研究合作伙伴，请访问我们的网站 [^4]。
本报告的结构如下：第2节介绍Project Aria设备及其功能。第3节介绍录制数据以及将录制数据用于研究所需的软件和工具。第4节列举了我们通过网络服务提供的第一类机器感知功能，旨在加速并简化Project Aria数据的使用。第5节详细说明我们制定的隐私与负责任创新原则，以及Project Aria设备如何落实这些原则。第6节给出了一些由Project Aria支持的示例研究应用。我们在第7节以结论收尾。
### 2. 设备
#### 2.1. 传感器套件
我们研发Project Aria设备是为了模拟未来面向机器感知而非人类使用的可穿戴设备。为了匹配这类未来设备上实现机器感知功能所需的传感器配置，我们集成了丰富的传感器套件，用于记录以佩戴者为中心的多模态数据（见图2–5）。
各传感器数据流经过严格校准和时间对齐，从而让某些问题的解决变得更为简单。这一设计符合对可穿戴设备硬件的未来预期，但也带来了新的挑战——比如缺乏光学防抖（OIS）或自动对焦（AF）功能。
为了满足在可穿戴设备的尺寸限制下采集具有代表性数据的严格要求，我们将Project Aria设备打造为一款数据采集与流传输设备。具体而言，它并非为处理设备端计算任务而设计。
#### 2.2. 外形与佩戴适配性
Project Aria设备在设计上既配备了丰富的传感器，又具备轻便（约75克）且易于被社会接受的特点。该设备提供两种尺寸，能很好地适配广大人群；它们配有可调节的鼻托和镜腿（即镜腿尖端可向内外弯曲以改善佩戴贴合度）。这款眼镜的镜腿比普通眼镜更具柔韧性，这意味着小号尺寸可以拉伸至许多眼镜品牌所定义的中号或大号尺寸。
Project Aria设备所选用的传感器旨在：（1）模拟我们预期未来全天候可穿戴AR眼镜会配备的传感器；（2）满足目标外形尺寸对尺寸、重量和功耗的严格要求，从而获取具有生态效度的数据。除了摄像头外，我们还选用了多种传感器，因为我们相信多模态的以佩戴者为中心的数据是解决各类机器感知与人工智能任务的关键——具体示例见第6节。以下是Project Aria设备上所配备传感器的概述（也可参见图6）：
---
Figure 2. Example images from the Project Aria device cameras. Left to right: left Mono Scene camera, POV (RGB) camera, right Mono Scene camera, two Eye-tracking cameras. Output of POV (RGB) and Mono Scene cameras are rotated for visualization.
模态自我中心数据是解决各类机器感知与人工智能任务的关键——具体示例详见第6节。下文将概述Project Aria设备上配备的传感器类型（亦可参见图6）：
- 单色场景摄像头：位于眼镜左右两侧的两台单色全局快门摄像头。它们的水平视场角（HFOV）为 $150^{\circ}$，向外倾斜布置以最大化周边视野，同时保留一定的立体视觉重叠区域。这些摄像头用于支持视觉SLAM等机器感知功能 [^6] [^13] [^14]。它们的分辨率为 $640 \times 480$ 像素，采用鱼眼（F-Theta）镜头。
- 视角（POV）RGB摄像头：位于眼镜左侧的一台高分辨率卷帘快门RGB摄像头，其水平视场角为 $110^{\circ}$。这台RGB摄像头同样采用F-Theta鱼眼镜头，最大分辨率为 $2880 \times 2880$ 像素，镜头朝前，相对于地面有大约 $4^{\circ}$ 的偏角。
- 眼动追踪摄像头：两台单色、全局快门、向内拍摄的摄像头，用于眼动追踪，其对角视场角（DFOV）为 $80^{\circ}$。它们通常以 $320 \times 240$ 像素的分辨率运行。
• 惯性测量单元（IMU）：两个惯性测量单元，分别安装在眼镜的两侧。左侧IMU的采样率为800 Hz，加速度计饱和限值为4g，陀螺仪饱和限值为500°/s；右侧IMU的采样率为1000 Hz，饱和限值分别为8g和1000°/s。我们特意选择了不同的IMU型号，以便它们的高阶误差特性更有可能不相关。
• 麦克风：由分布在眼镜周围的7个麦克风组成的麦克风阵列（正面5个，两侧各1个），能够以24位分辨率采集空间音频，可配置的采样率最高可达48 kHz。
Figure 3. Example time-series data from the multi-channel microphone array on the Project Aria device. Audio data is saved in 32-bit format and normalized in the range of $[-1,1]$.
• 磁力计：磁力计位于眼镜框上，旨在减少电磁干扰，可测量环境磁场（三轴），其分辨率为 $0.1\,\mu\mathrm{T}$，采样率为 $10\,\mathrm{Hz}$。
- 气压计与温度计：气压计传感器可采集当地气压和温度数据，分辨率分别为0.66 Pa和 $0.005^{\circ}$°C，采样率为50 Hz。
• 全球导航卫星系统接收器：该接收器支持GPS和伽利略卫星星座，可提供伪距测量数据以及经纬度/高度信息，采样率为1 Hz。
- Wi-Fi与蓝牙收发器：这款Wi-Fi和蓝牙无线电设备能够定期扫描并记录从Wi-Fi信标帧（2.4G和5G频段）以及蓝牙信标接收到的信号强度（RSSI）。扫描频率通常为0.1 Hz。
许多传感器设置可通过录制配置文件进行配置，这些配置文件在录制开始时选定，可用于修改摄像头帧率和分辨率，也能启用或禁用不同的传感器数据流。
---
Figure 4. Example data from various motion sensor and location signal data. Top to bottom: accelerometer and gyroscope data provided by the IMUs, and magnetic field measurements provided by the magnetometer.
这一点至关重要，因为受限于功耗和带宽，无法以最高分辨率和速率录制所有传感器的数据。此外，从隐私角度考虑，禁用传感器数据流或降低其速率和/或分辨率也是可取的，这也是延长最长录制时间的有效策略。可用的录制配置文件可在Project Aria文档网站中查看 [^1]。
#### 2.3. 安装与刚性
精确的六自由度对齐——即所有传感器之间的相对位置和朝向——对许多基础机器感知算法而言至关重要，Project Aria设备正是为此而设计的。所有传感器都安装在覆盖眼镜前部的镁合金框架上。其中最不具备刚性的部分是鼻桥，眼镜左右两侧各有一个主要的传感器集群。同一集群内的传感器之间具有牢固的刚性连接。
我们在制造时便为每个传感器计算了外部和内部校准参数（出厂校准）。通过我们的机器感知服务（MPS，见第4节），我们还能提供更精确的在线校准参数，这些参数考虑了佩戴眼镜时可能出现的微小形变/变化。更多详情请参阅 [^1]。
#### 2.4. 时间与时间对齐
Project Aria设备旨在实现对所有传感器数据进行精确的本地时间戳标记……
Figure 5. Illustration of the GNSS and Wi-Fi/Bluetooth sensor data. Top to bottom: GNSS signal (individual plots of latitude, longitude, altitude), pressure measurements provided by the barometer, signal strengths from different sources as recorded by the Wi-Fi and Bluetooth receivers.
设备时间源。这对于在下游机器感知任务中整合不同模态的数据至关重要。
此外，Project Aria设备具备将本地时间戳对齐并转换为跨多个设备共享的时间域的能力。在整合或比较来自不同来源和设备的数据时，准确转换到公共时间域至关重要。在我们的样本数据集中，我们使用SMPTE LTC时间码 [^20] 来为多台Project Aria设备提供统一且精确的时间域（参见Aria Pilot数据集 [^2]）。对于精度要求较低的场景，我们还实现了一种利用TicSync定时协议 [^9] 通过WiFi共享公共时间域的方法。无论采用哪种方法，时间共享机制的内部运作都在设备层面处理。这意味着从数据使用者的角度来看，每个传感器读数除了包含本地设备时间的时间戳外，还会包含对齐后时间域中的时间戳。有关不同传感器模态的时间戳的具体定义和约定，请参阅Project Aria文档 [^1]。
---
Figure 6. Project Aria device hardware overview of the components, the various sensors, switches, LEDs, battery, etc.
Figure 7. Basic functionalities of the mobile phone companion app. From left to right, the screenshots illustrate a) the device status information, b) the recording profile that configures the sensors before recording, c) status of the on-going recording, d) thumbnail preview of the recordings visible after a recording finishes
---
### 3. 录制工具
与Project Aria设备交互的主要界面是手机配套应用。可以通过该应用或设备的录制按钮来启动和停止录制。该应用还用于通过选择录制配置文件来设置传感器配置。配置文件会控制哪些传感器参与录制、录制的频率和分辨率，以及输出格式（例如，以RAW或JPEG格式存储图像）。我们提供了多种录制配置文件，以满足不同的研究需求；必要时还会新增更多配置。一旦设备在设备上完成录制，配套应用中就会显示缩略图预览，方便用户查看捕获的数据。这些功能如图7所示。
录制完成后，用户可以通过USB连接将Project Aria设备中的录制数据下载到本地计算机，以便进一步处理。用户也可以选择将录制数据上传至我们的机器感知服务（MPS），该服务会运用最先进的处理技术来还原设备轨迹、在线校准结果、半密集点云以及眼动信息（详情见第4节）。
所有设备传感器数据均以VRS文件格式记录 [^22]。我们选择VRS作为数据容器，是因为它是一种专为记录和播放AR传感器数据流而设计的开放文件格式，且支持非常大的文件尺寸。VRS文件中包含为每个传感器生成的时间排序记录流，每个流对应一组传感器。
为了便于可视化及操作数据，我们在开源代码库中提供了Project Aria工具 [^3]。这是一套用于访问、可视化和处理Aria录制的工具与库。C++/Python工具包包含VRS数据提供器和查看器接口，研究人员可利用它们读取和可视化Project Aria序列、获取并处理设备校准数据，以及读取和处理MPS的输出结果。关于这些工具的更多详情可在文档网站 [^1] 上查看。Project Aria工具可通过PyPI安装，命令为pip install projectaria.tools（更多详情见 [^3]）。
### 4. 机器感知服务
我们提供一系列基础的机器感知能力，研究合作伙伴可在此基础上开展项目。我们预计这些能力在未来任何AR设备上都能以类似形式提供。
这些能力以机器感知服务（Machine Perception Services, MPS）的形式呈现，由专为Project Aria设备设计的一系列专有算法驱动；与当前市面上的开源解决方案相比，它们在已记录数据上的精度和鲁棒性更胜一筹。
MPS通过对VRS录像进行后处理来生成结果，处理过程在
Figure 8. Closed-loop trajectories and semi-dense point clouds of 18 recordings of Aria Pilot Dataset [^2] collected in the same home space.
Meta的后端服务器上进行。要使用该项服务，Project Aria研究合作伙伴需上传录像，之后便可下载处理结果。此外，我们还会将MPS输出内容纳入公开的基于Aria的数据集中，供更广泛的社区使用。
如需了解更多关于Aria MPS的信息、输出格式及规格说明，以及用于可视化及利用这些数据的相关工具概览，请参阅Project Aria文档网站 [^1]。
#### 4.1. 轨迹
高精度的6自由度设备轨迹是理解设备及其佩戴者与环境之间几何关系的基础。设备轨迹由先进的视觉惯性里程计（VIO）和同步定位与地图构建（SLAM）系统生成——这与未来AR/VR头戴式设备上的表现类似——随后会进行离线后处理和优化。我们利用多种可用传感器（包括摄像头、惯性测量单元、全球导航卫星系统、Wi-Fi和气压计）来提升精度和鲁棒性，同时充分利用对Project Aria设备传感器模型、时序及刚性的精准认知。即便在真实数据常见的复杂条件下——比如快速运动、光线过暗或变化剧烈、摄像头部分或暂时被遮挡，以及各类静态和动态环境——我们也能可靠地定位设备。
我们提供两种类型的轨迹输出：开环轨迹和闭环轨迹。开环轨迹是高频（1 kHz）的里程计估计结果，采用实时兼容的方法严格按因果关系计算。这种开环轨迹的累积位移漂移不超过行进距离的0.4%，通常这一数值还要更低。闭环轨迹是在后处理阶段估算出的1 kHz轨迹，经过完全优化后可在单一参考框架下提供位姿信息。我们还提供
---
Figure 9. Example of rotational deformation between left and right Mono Scene cameras, estimated by MPS. The recording used for this figure contains 3 sections: hand-held motion, no motion, and head-worn motion. The effect of external force applied to the glasses when worn on the head is clearly visible.
同时处理多个录像并将其统一到同一坐标系下的功能，如图8所示。在房间级场景中，闭环轨迹的典型全局均方根误差平移误差不超过1.5厘米。
#### 4.2. 在线校准
精确的设备校准对于实现下游3D感知任务的高几何精度至关重要。尽管Project Aria设备被设计得尽可能坚固，但由于温度变化、设备老化以及外部作用力的影响，设备校准参数并不会随时间保持恒定。图9展示了一个实例：取下佩戴中的设备后，左右单目场景摄像头之间会出现约25角分的瞬时旋转形变（相当于图像中约1.5像素的偏移）。为解决这一问题，我们在MPS框架内估算摄像头和惯性测量单元随时间变化的内部和外部校准参数，并将结果提供给研究人员使用。
#### 4.3. 半密集点云
为了直观地展示录制环境，我们在MPS中计算了半密集轨迹和点云；示例见图8。与里程计轨迹类似，这些轨迹也是按因果关系计算的，能够准确（尽管只是部分地）重建环境中的静态部分。我们还提供了用于三角测量每个三维点的所有二维观测数据集。通过在图像中梯度较高的区域持续生成新点，并利用局部区域的仿射不变光度一致性，在左右单目场景摄像头中追踪这些点，从而获得轨迹数据。最后，对三维点云进行后处理，并将其置于由闭环轨迹定义的全局参考系中。
Figure 10. Eye gaze computed on a recording in which the user is looking at the food on their plate. Left: The RGB image with semi-dense points that are close to the gaze ray projected as green dots. Right: The Project Aria device pose (shown as RGB camera frustum), semi-dense points, and eye gaze ray. Semi-dense points close to the gaze ray are highlighted in red.
#### 4.4. 眼动追踪
视线方向是佩戴者注意力的一个重要指标，很可能成为情境感知型个性化人工智能代理的关键输入之一。我们利用Project Aria设备的眼动追踪摄像头来计算并提供眼动数据，估算出锚定在中心瞳孔坐标系（也称为“独眼坐标系”$^{1}$）中的每帧三维光线。由于眼动追踪精度会因场景和用户的不同而有所差异，我们同时提供置信区间。
此外，第3节中提到的Aria配套应用提供了个性化眼动校准功能——通过补偿用户特定的偏差来提高眼动追踪的精度。使用当前模型，在应用个性化校准后，我们发现视线光线的误差中位数仅为$1.5^{\circ}$。
### 5. 隐私考量
增强现实眼镜以及诸如Project Aria设备之类的第一人称视角录制设备，有望让技术更易于普及，但同时也给安全和隐私带来了全新且独特的挑战：这类设备越是不引人注目，保护并尊重佩戴者、旁观者以及佩戴者所接触人员的隐私就越重要。
Project Aria的一个既定目标是为利用第一人称视角数据和设备的研究开创负责任的创新模式，具体做法既包括制定保护佩戴者和旁观者隐私的指导方针与原则，也包括尽可能在设备本身集成有助于保护隐私的功能。
在Project Aria的开发过程中，我们始终遵循Meta的负责任创新原则[^12]，这些原则体现了我们打造包容性、
---
Figure 11. Top: A 3D map created from 275 Aria recordings (175 hours of data), captured over 15 months in a construction site, showing – from left to right – the state of the map after one, six, and fifteen months. The images at the bottom are samples from the respective points in time, depicting the transformation from an empty lot to an office building.
以隐私为中心的产品之决心。
基于这些原则，我们为研究合作伙伴设计并提供了注重隐私的硬件和软件功能。Project Aria设备配备有LED指示灯，可在设备录制原始数据时向旁观者发出提示。此外，Project Aria设备还设有隐私开关：在录制过程中激活该开关后，设备会立即停止录制并删除当前录制的内容。这样，佩戴者就能轻松满足旁观者提出的删除相关音频或视频录制的请求，从而保护其隐私。
我们要求所有Project Aria合作伙伴遵守Project Aria社区指南[^5]，开展负责任的研究，保护佩戴研究设备者的隐私，更重要的是，保护未佩戴此类设备者的隐私。
### 6. 研究应用示例
本节简要概述了利用 Project Aria 独特功能的研究任务，涵盖从低层次的机器感知功能到高层次的用户与环境理解。Project Aria 旨在推动并连接这一领域内的研究：前者得益于经过良好校准且被充分理解的传感器以及对原始数据的访问权限，而后者则可以利用多种模态数据，或基于 Aria 机器感知服务（MPS）所提供的机器感知功能进行开发。需要注意的是，这既非对相关领域的详尽综述，也并非 Project Aria 所能支持的任务的完整列表。其目的在于展示如何利用 Project Aria 设备或 Aria 数据，重点突出 Aria 在形态、传感器及机器感知服务方面的独特组合优势。
Figure 12. Two NeRF reconstructions obtained from Aria recordings using NerfStudio [^21]. The left shows the result from a carefully curated, hand-held recording that covers the space well and avoids rapid motion. The right shows the result from an egocentric recording during a natural activity. The bottom figures visualize the raw pointcloud and trajectory from MPS. The resulting difference in quality is clearly visible.
#### 6.1. lifelong 建图与重新定位
通过 SLAM 或 SfM 实现精确的 6DoF 定位是众多应用中的常见第一步，也是 AR/VR 世界锁定渲染的基础要求。这一领域相对成熟，Project Aria 作为 Aria MPS 的一部分提供了度量级的 6DoF 轨迹数据（详见第 4.1 节）。不过，仍有诸多挑战有待解决：其中之一便是在自然环境中发生的剧烈环境变化下（通常由光照、天气或人类活动引起）实现可靠的重新定位，以及随时间更新地图以反映这些变化。图 11 展示了一张由 275 段 Aria 录制数据生成的地图，这些数据是在 15 个月内于一座正在建设中的建筑内采集的：将 Aria 用作便捷的记录设备，并利用 Aria MPS 提供的各段录制轨迹数据，有助于专注于应对此类强烈环境变化时的远距离重新定位与地图更新这一核心问题。
#### 6.2. 以观察者为中心的场景重建与理解
重建周围场景并对其中的物体进行语义识别，是 AR/VR 应用中的关键问题——无论是创建逼真的虚拟记忆，还是作为上下文感知型 AI 助手识别周围物体的可用功能。当输入数据并非经过精心整理或专门为此目的而采集，而是源自形态受限且受功耗约束的可穿戴设备，且该设备正处于自然、无约束的人体运动过程中时，这一问题便显得尤为棘手。
图 12 展示了使用最先进的 NeRF 重建方法 [^21] 对 Aria 数据进行处理的结果，对比了刻意设计的“扫描”动作与自然活动场景下的表现。
---
Figure 13. We use UmeTrack [^8] to track the articulated 3D hand-pose of the wearer in an Aria recording. Combined with the point-cloud from MPS, this allows to identify when the wearer touches a static object. The figures visualize this by coloring points within 8 cm of the hand in red.
#### 6.3. 物体交互与操控
识别或追踪用户正在交互的物体，或是确定用户与这些物体互动的方式，是另一项核心的以观察者为中心的机器感知任务。它结合了手部追踪、物体追踪、识别或场景理解等技术，从而将物体与用户的意图或行为相关联。图 13 展示了一个示例应用，该应用能够识别用户手部何时靠近场景中的物体。该方法利用了全部 3 个摄像头，以及 MPS 提供的轨迹和点云数据——这些数据尤其有助于解决常见的尺度/深度歧义问题。图 10 展示了一种类似的方法，即利用眼动追踪来确定佩戴者正在注视什么。
#### 6.4. 活动识别与注意力分析
识别佩戴者正在做什么或关注什么，是任何情境化人工智能助手的另一重要组成部分。虽然仅从以自我为中心的图像或视频中就能获取大量信息，但借助空间音频、动作或视线等其他模态，还能获得重要的额外信号。图14展示了两个示例场景：在这些场景中，额外的信号有助于消除歧义，从而明确佩戴者在原本模糊的以自我为中心视图中的行为。
#### 6.5. 摘要生成与问答系统
摘要生成与问答系统比活动识别更进一步，旨在总结较长时间段内发生的相关事件和活动，并能够回答有关这些问题。需要注意的是，此处的“相关性”具有高度主观性和个性化特点，因此视线或空间音频等信号对于筛选对用户最相关的信息至关重要。
此外，“较长时间段”的范围可从几分钟到数小时、数天甚至数年不等——随着时间跨度的延长，其在个性化人工智能领域的重要性也日益凸显。
Figure 14. Left: two egocentric views of the wearer interacting with a guitar. The audio stream visualized below allows to dis-ambiguate whether the wearer is actively playing or just holding the guitar. Right: the eye gaze (visualized as a heatmap) allows to distinguish whether the wearer is looking at the time or reading a book.
这类助手虽能发挥作用，但需要目前尚不存在的数据集来支持。我们认为，Project Aria在形态设计与机器感知能力上的独特组合，能够推动该领域在以自我为中心、纵向摘要生成及问答系统方面的研究进展。
### 7. 结论
通过Project Aria，我们为研究界提供了一种新工具，它能够采集生态效度较高的数据，正如我们对未来以自我为中心设备的期望那样。我们还提供了一系列空间人工智能机器感知技术，作为构建更高级情境化人工智能应用的基础模块。这些数据及其衍生的机器感知结果，可为打造实现增强现实成功所需的新计算与交互范式奠定基础；而丰富的集成传感器套件则为探索面向全天候情境化人工智能的各类新研究、应用及用例提供了独特机遇。
## 致谢
Project Aria得以问世，得益于Meta Reality Labs Research团队中Project Aria成员的贡献。我们衷心感谢整个团队以及所有参与Project Aria的合作伙伴，正是他们的努力促成了该项目的诞生，并推动其持续发展。
## 参考文献
[^1]: Project Aria Documentation. . 4, 6
[^2]: Project Aria Pilot Dataset. . 2, 4, 6
## [^3]: Project Aria Tools on GitHub. . 6
---
[^4]: Project Aria Website. . 2
[^5]: Project Aria Community Guidelines. . 8
[^6]: Jakob Engel, Thomas Schöps, and Daniel Cremers. LSD-SLAM: Large-scale direct monocular SLAM. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part II 13, pages 834–849. Springer, 2014. 3
[^7]: Hugo Touvron et al. Llama 2: Open foundation and fine-tuned chat models, 2023. 1
[^8]: Shangchen Han, Po-Chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, Randi Cabezas, Luan Tran, Muzaffer Akbay, Tsz-Ho Yu, Cem Keskin, and Robert Wang. Umetrack: Unified multi-view end-to-end hand tracking for VR. In SIGGRAPH Asia 2022 Conference Papers, SA 2022, Daegu, Republic of Korea, December 6-9, 2022, 2022. 9
[^9]: Alastair Harrison and Paul Newman. TICSync: Knowing when things happened. In 2011 IEEE International Conference on Robotics and Automation, pages 356–363, 2011. 4
[^10]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask R-CNN. In Proceedings of the IEEE International Conference on Computer Vision, pages 2961–2969, 2017. 2
[^11]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. 2
[^12]: Meta Responsible Innovation Principles. . 2, 7
[^13]: Anastasios I Mourikis and Stergios I Roumeliotis. A multi-state constraint Kalman filter for vision-aided inertial navigation. In Proceedings 2007 IEEE International Conference on Robotics and Automation, pages 3565–3572. IEEE, 2007. 3
[^14]: Raul Mur-Artal and Juan D Tardós. ORB-SLAM2: An open-source slam system for monocular, stereo, and RBG-D cameras. IEEE Transactions on Robotics, 33(5):1255–1262, 2017. 3
[^15]: OpenAI. GPT-4 technical report. arXiv preprint arXiv:2303.08774, 2023. 1, 2
[^16]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193, 2023. 2
[^17]: Ben Poole, Ajay Jain, Jonathan T. Barron, and Ben Mildenhall. DreamFusion: Text-to-3D using 2D diffusion. arXiv, 2022. 2
[^18]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pages 8748–8763. PMLR, 2021. 2
[^19]: Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022. 2
[^20]: Linear Timecode. . 4
[^21]: Matthew Tancik, Ethan Weber, Evonne Ng, Ruilong Li, Brent Yi, Justin Kerr, Terrance Wang, Alexander Kristoffersen, Jake Austin, Kamyar Salahi, Abhik Ahuja, David McAllister, and Angjoo Kanazawa. Nerfstudio: A modular framework for neural radiance field development. In ACM SIGGRAPH 2023 Conference Proceedings, SIGGRAPH '23, 2023. 8
[^22] VRS文档。