{
  "paper_id": "c52dbb5408015c9c1eb09ea1d4318aec",
  "paper_title": "Project Aria: A New Tool for Egocentric Multi-Modal AI Research",
  "paper_authors": [
    "Jakob Engel",
    "Kiran Somasundaram",
    "Michael Goesele",
    "Albert Sun",
    "Alexander Gamino",
    "Andrew Turner",
    "Arjang Talattof",
    "Arnie Yuan",
    "Bilal Souti",
    "Brighid Meredith",
    "Cheng Peng",
    "Chris Sweeney",
    "Cole Wilson",
    "Dan Barnes",
    "Daniel DeTone",
    "David Caruso",
    "Derek Valleroy",
    "Dinesh Ginjupalli",
    "Duncan Frost",
    "Edward Miller",
    "Elias Mueggler",
    "Evgeniy Oleinik",
    "Fan Zhang",
    "Guruprasad Somasundaram",
    "Gustavo Solaira",
    "Harry Lanaras",
    "Henry Howard-Jenkins",
    "Huixuan Tang",
    "Hyo Jin Kim",
    "Jaime Rivera",
    "Ji Luo",
    "Jing Dong",
    "Julian Straub",
    "Kevin Bailey",
    "Kevin Eckenhoff",
    "Lingni Ma",
    "Luis Pesqueira",
    "Mark Schwesinger",
    "Maurizio Monge",
    "Nan Yang",
    "Nick Charron",
    "Nikhil Raina",
    "Omkar Parkhi",
    "Peter Borschowa",
    "Pierre Moulon",
    "Prince Gupta",
    "Raul Mur-Artal",
    "Robbie Pennington",
    "Sachin Kulkarni",
    "Sagar Miglani",
    "Santosh Gondi",
    "Saransh Solanki",
    "Sean Diener",
    "Shangyi Cheng",
    "Simon Green",
    "Steve Saarinen",
    "Suvam Patra",
    "Tassos Mourikis",
    "Thomas Whelan",
    "Tripti Singh",
    "Vasileios Balntas",
    "Vijay Baiyya",
    "Wilson Dreewes",
    "Xiaqing Pan",
    "Yang Lou",
    "Yipu Zhao",
    "Yusuf Mansour",
    "Yuyang Zou",
    "Zhaoyang Lv",
    "Zijian Wang",
    "Mingfei Yan",
    "Carl Ren",
    "Renzo De Nardi",
    "Richard Newcombe"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "未来增强现实设备上可获得的第一视角多模态数据为机器感知带来了独特挑战与机遇。这些设备需要以社会可接受的形态全天佩戴，以支持随时可用、情境感知且个性化的AI应用。Meta Reality Labs Research团队打造了Project Aria设备，这是一种第一视角多模态数据记录与流式设备，旨在促进并加速该领域研究。本文介绍了Project Aria的硬件传感器配置、相应软件工具，以及使其成为第一视角机器感知和情境AI研究理想工具的机器感知功能。\n",
  "keywords": [
    "Project Aria",
    "第一视角感知",
    "多模态传感器",
    "增强现实",
    "机器感知",
    "SLAM与VIO",
    "在线标定",
    "半稠密点云",
    "眼动追踪",
    "隐私保护"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:31.916442Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有网络图像多为有意拍摄、经过筛选且缺乏第一视角与3D/4D真实生活经验，导致GPT-4、CLIP、DINOv2等方法在自我中心数据和时空推理上表现受限的问题，论文面向未来全天佩戴AR眼镜，提出Project Aria这一眼镜形态、多模态数据采集与流式传输平台；其核心机制是将左右单色场景相机、POV RGB相机、眼动相机、双IMU、七麦克风阵列、磁力计、气压计/温度计、GNSS及Wi-Fi/蓝牙等刚性安装并统一时间对齐，在工厂内外参标定基础上，通过MPS的VIO/SLAM融合多传感器观测估计6DoF设备位姿 `T_{w←d}(t)`，并进一步做离线闭环优化、在线标定、半稠密重建和注视射线估计。选择约75g、两种尺寸、可调节结构和可配置记录profile，是为了在社会可接受、功耗与带宽受限条件下获取生态有效数据；设备不承担端上计算，标称记录1–2小时，外接电源可延长，VRS开放格式和C++/Python工具则支持大规模多模态读取与可视化。数据与验证包括2022年发布的Aria Pilot Dataset、同一家庭空间18段记录的联合轨迹与点云、建筑工地15个月275段共175小时的长期地图，以及自然活动与精心扫描记录的NeRF对比；关键指标包括开环1kHz里程计平移漂移不超过行程0.4%、房间级闭环轨迹全局平移RMSE通常不超过1.5cm、个性化标定后注视射线中位误差1.5°，外力可造成约25角分、对应图像约1.5像素的相机间瞬时旋转形变，这些结果支撑了高精度定位、时变标定、注意力理解和长期地图更新等创新。论文还展示了终身地图与重定位、自我中心场景重建、手部/物体交互、活动识别、注意力分析、长期摘要与问答等方向，并指出真实场景中的快速运动、低光照或动态光照、遮挡、尺度深度模糊、环境变化、隐私与算力功耗约束仍需研究；LED录制提示、可立即停止并删除当前记录的隐私开关及社区规范，为佩戴者和旁观者提供了实际落地边界。\n\n### 关键要点\n\n- Project Aria是约75g的眼镜形态数据采集与流式设备，提供两种尺寸、可调节鼻托和镜腿，设计目标是长时间自然佩戴并获取生态有效数据，而非执行端上计算 workload。\n- 设备集成两台150°水平视场角、640×480分辨率的单色全局快门场景相机，一台110°水平视场角、最高2880×2880分辨率的滚动快门RGB相机，以及两台80°对角视场角、通常320×240分辨率的内向眼动相机。\n- 其他传感器包括采样率800Hz和1000Hz的双IMU、7麦克风空间音频阵列、10Hz磁力计、50Hz气压计与温度计、1Hz GNSS接收机，以及可记录Wi-Fi和蓝牙RSSI的无线收发器。\n- 所有传感器安装在前面的镁制框架上，制造时提供内参和外参标定；MPS还提供在线标定，以补偿温度、老化和外力造成的参数变化。\n- 设备支持本地精确时间戳，并可通过SMPTE LTC时间码或基于Wi-Fi的TicSync方法把多台设备映射到共同时间域，便于跨模态和跨设备数据融合。\n- 手机伴侣App可选择记录profile、控制传感器开关、频率、分辨率和输出格式，记录完成后可通过USB下载，数据以支持大文件的开放VRS格式保存。\n- 开源Project Aria工具提供C++/Python接口，可读取和可视化VRS记录、访问标定数据并处理MPS输出，也可通过PyPI安装。\n- MPS在Meta后端对VRS记录进行后处理，输出轨迹、在线标定、半稠密点云和眼动注视信息，并被包含在部分公开Aria数据集中。\n- 开环轨迹为1kHz严格因果里程计，累计平移漂移不超过行程0.4%；闭环轨迹为1kHz离线优化结果，房间级场景全局平移RMSE通常不超过1.5cm，并支持多段记录统一坐标。\n- 半稠密点云通过在高梯度区域持续生成点、利用局部块仿射不变光度一致性跨时间和左右相机跟踪，再三角化并配准到闭环轨迹定义的全局坐标系。\n- 眼动服务输出每帧以中央瞳孔帧为锚点的3D注视射线及置信区间；个性化眼标定后，当前模型的注视射线中位误差为1.5°。\n- 隐私机制包括录制时点亮的LED指示灯、可立即停止并删除当前记录的隐私开关，以及要求合作伙伴保护佩戴者、旁观者和交互对象隐私的社区指南。"
}