{
  "paper_id": "d292289d33741f95af168033303f28bb",
  "paper_title": "Aria Everyday Activities Dataset",
  "paper_authors": [
    "Zhaoyang Lv",
    "Nicholas Charron",
    "Pierre Moulon",
    "Alexander Gamino",
    "Cheng Peng",
    "Chris Sweeney",
    "Edward Miller",
    "Huixuan Tang",
    "Jeff Meissner",
    "Jing Dong",
    "Kiran Somasundaram",
    "Luis Pesqueira",
    "Mark Schwesinger",
    "Omkar Parkhi",
    "Qiao Gu",
    "Renzo De Nardi",
    "Shangyi Cheng",
    "Steve Saarinen",
    "Vijay Baiyya",
    "Yuyang Zou",
    "Richard Newcombe",
    "Jakob Julian Engel",
    "Xiaqing Pan",
    "Carl Ren"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出Aria Everyday Activities（AEA）数据集，这是一个使用Project Aria眼镜录制的自我中心多模态开放数据集。AEA包含多名佩戴者在五个地理多样的室内地点录制的143条日常活动序列。每条记录都包含通过Project Aria眼镜获取的多模态传感器数据。此外，AEA还提供机器感知数据，包括高频全局对齐3D轨迹、场景点云、逐帧3D眼动注视向量以及时间对齐的语音转写。论文展示了该数据集支持的若干示范性研究应用，包括神经场景重建和提示式分割。AEA是开源数据集，可从projectaria.com下载；作者还在Project Aria Tools中提供了开源实现和数据使用示例。\n",
  "keywords": [
    "自我中心视觉",
    "多模态数据集",
    "Project Aria",
    "日常活动",
    "机器感知服务",
    "3D轨迹",
    "半稠密点云",
    "眼动追踪",
    "语音转写",
    "高斯泼溅",
    "提示式分割"
  ],
  "paper_institutions": [
    "Reality Labs Research, Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:33.645282Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向未来AR与可穿戴个人AI须长期获取自然自我中心多模态数据、并在统一全局坐标中持续推理时空上下文和佩戴者意图的需求，本文指出现有EpicKitchens、Ego4D等数据多依赖传统头戴摄像机，缺少空间音频、IMU、精确3D位姿、跨模态同步及3D注视等线索，进而提出Aria Everyday Activities（AEA）开放数据集。AEA是Aria Pilot数据集中日常活动序列的更新版，包含5个地理多样的全同意室内地点、1至2名佩戴者、143条序列、7.3小时记录、1,091,621个图像帧，其中RGB帧545,802个，活动由5类只给高层引导、允许自然发挥的脚本覆盖烹饪、清洁、洗衣、用餐、运动、阅读、游戏和多人交谈等场景。数据采用Project Aria Profile 9，提供20 fps、1408×1408 RGB，10 fps双目640×480全局快门单色场景相机，10 fps 320×240眼动相机，两路IMU、7麦48kHz空间音频、磁力计和气压计，但不启用WiFi、蓝牙和GNSS；其核心机器感知机制是用MPS生成同地点共享坐标系的1kHz闭环6DoF轨迹、静态环境半稠密点云与2D观测，并把中央瞳孔坐标系下的逐帧3D注视射线表示为r(t)=o+t d，再经设备内外参投影到各相机。多人记录通过SMPTE LTC时间码在相距小于100米时实现亚毫秒级同步，语音由ASR生成带设备时间戳和置信度的转写，所有RGB与单色流中的人脸、许可证均经人工模糊，质检不合格序列被整段剔除。选择这种自然室内、非侵入眼镜和可规模化采集流程，是为了验证MPS结果既可作为模型上下文也可作为更严格输入约束下的伪真值；工具层则更新Project Aria Tools，支持C++和Python加载、时间戳查询、标定、投影重投影及单人或多人可视化。在应用验证中，神经重建采用官方Gaussian Splatting并做批处理随机取帧、RGB针孔校正、半稠密点云初始化、按最近时间戳取闭环位姿，单序列30K迭代、多序列100K迭代，同一A100 80GB GPU上分别约3小时和10小时；该选择针对自我中心快速运动、弱观测区域和传统SfM易失败问题，验证全局轨迹与点云能支持单记录及跨记录持久场景重建。以留出的每5帧最后一帧为测试帧，PSNR结果为单记录平均25.12、多记录平均22.35，Location 5分别达26.27和24.18，Location 2在约17万RGB帧、500万初始点上收敛到约62.7万个高斯点，良好观测静态区域质量高，动态或未观测区域表现为模糊或被作为离群内容抑制。提示分割选择EfficientSAM以兼顾精度与逐帧实时性：注视提示将射线沿1米虚拟深度投影为2D点，语音提示则由GroundingDINO根据时间对齐语句检测目标框，再交给EfficientSAM生成掩码，分别展示注视意图和语音定位能力。未来方向包括更准确的注视深度估计、动态场景与活动联合理解、基于NeRFStudio或Splatfacto的更多基线、更长时间与更大规模采集，以及个性化上下文AI；其现实价值在于AR照片级记忆、环境理解和可感知佩戴者注意与语言的助理，主要约束是数据规模仍仅7.3小时、场景限于同意室内、多人最多2人、ASR为专有服务且注视示例深度为人工设定。\n\n### 关键要点\n\n- AEA包含5个室内地点、1至2名佩戴者、143条日常活动序列，总时长7.3小时，共1,091,621个图像帧和545,802个RGB帧。\n- 采集使用Project Aria Profile 9，记录高分辨率RGB、双目全局快门单色场景相机、眼动相机、两路IMU、7通道空间音频、磁力计和气压计数据。\n- 相比Aria Pilot数据集，AEA使用最新MPS重新处理，提供更精确的6DoF位姿、带2D观测的半稠密点云、3D注视向量以及逐帧传感器内外参标定。\n- 同一地点的所有记录共享全局3D坐标系，闭环轨迹与聚合点云可将不同佩戴者、不同时间的活动在空间中对齐。\n- 多人场景使用SMPTE LTC时间码同步，设备相距小于100米时可达到亚毫秒级时间同步精度。\n- 语音转写中的每个文本结果都对齐设备时间戳并附带置信度，但ASR来自专有服务，不属于Project Aria MPS。\n- 隐私处理包括在RGB和单色视频中人工标注并模糊人脸及许可证，未通过多轮质检的记录会被完整排除。\n- Gaussian Splatting实验使用半稠密点云初始化、最近时间戳闭环位姿和校正后的RGB图像，单记录运行30K迭代，多记录运行100K迭代。\n- 在每5帧留出最后1帧的测试设置下，单记录重建平均PSNR为25.12，多记录重建平均PSNR为22.35。\n- 注视提示分割将3D注视射线按1米虚拟深度投影到RGB图像，再把2D注视点输入EfficientSAM生成目标掩码。\n- 语音提示分割先用GroundingDINO根据时间对齐语句检测目标边界框，再用EfficientSAM在框内生成分割掩码。"
}