{ "paper_id": "0fc9d651a718074326193e070473f3c4", "paper_title": "Ego4D: Around the World in 3,000 Hours of Egocentric Video", "paper_authors": [ "Kristen Grauman", "Andrew Westbury", "Eugene Byrne", "Zachary Chavis", "Antonino Furnari", "Rohit Girdhar", "Jackson Hamburger", "Hao Jiang", "Miao Liu", "Xingyu Liu", "Miguel Martin", "Tushar Nagarajan", "Ilija Radosavovic", "Santhosh Kumar Ramakrishnan", "Fiona Ryan", "Jayant Sharma", "Michael Wray", "Mengmeng Xu", "Eric Zhongcong Xu", "Chen Zhao", "Siddhant Bansal", "Dhruv Batra", "Vincent Cartillier", "Sean Crane", "Tien Do", "Morrie Doulaty", "Akshay Erapalli", "Christoph Feichtenhofer", "Adriano Fragomeni", "Qichen Fu", "Abraham Gebreselasie", "Cristina González", "James Hillis", "Xuhua Huang", "Yifei Huang", "Wenqi Jia", "Weslie Khoo", "Jachym Kolár", "Satwik Kottur", "Anurag Kumar", "Federico Landini", "Chao Li", "Yanghao Li", "Zhenqiang Li", "Karttikeya Mangalam", "Raghava Modhugu", "Jonathan Munro", "Tullie Murrell", "Takumi Nishiyasu", "Will Price", "Paola Ruiz Puentes", "Merey Ramazanova", "Leda Sari", "Kiran Somasundaram", "Audrey Southerland", "Yusuke Sugano", "Ruijie Tao", "Minh Vo", "Yuchen Wang", "Xindi Wu", "Takuma Yagi", "Ziwei Zhao", "Yunyi Zhu", "Pablo Arbeláez", "David Crandall", "Dima Damen", "Giovanni Maria Farinella", "Christian Fuegen", "Bernard Ghanem", "Vamsi Krishna Ithapu", "C. V. Jawahar", "Hanbyul Joo", "Kris Kitani", "Haizhou Li", "Richard Newcombe", "Aude Oliva", "Hyun Soo Park", "James M. Rehg", "Yoichi Sato", "Jianbo Shi", "Mike Zheng Shou", "Antonio Torralba", "Lorenzo Torresani", "Mingfei Yan", "Jitendra Malik" ], "publication_date": "", "publication_venue": "CVPR 2022", "abstract": "本文提出 Ego4D，一个大规模第一人称视频数据集与基准套件。它包含 3,670 小时日常生活视频，覆盖家庭、户外、工作、休闲等数百种场景，由来自 9 个国家、74 个地点的 931 名相机佩戴者采集。采集方案旨在维护严格的隐私与伦理标准，参与者知情同意，并在相关情况下采用 robust 的去标识化流程。Ego4D 大幅扩展了研究社区可公开获取的第一人称视频的规模与多样性。部分视频还配有音频、环境 3D 网格、眼动、立体视觉和/或同一事件中多个第一人称相机的同步视频。此外，论文提出一系列新的基准挑战，围绕理解第一人称视觉体验的过去（情景记忆查询）、现在（手物操作、音视频对话和社会互动分析）与未来（活动预测）。通过公开发布这一大规模带标注数据集和基准套件，作者旨在推动第一人称感知的前沿。\n", "keywords": [ "第一人称视频", "Ego4D", "数据集", "基准测试", "情景记忆", "手物交互", "音视频对话", "社会互动", "活动预测", "多模态学习" ], "paper_institutions": [ "Facebook AI Research (FAIR)", "University of Texas at Austin", "University of Minnesota", "University of Catania", "Facebook Reality Labs", "Georgia Tech", "Carnegie Mellon University", "UC Berkeley", "University of Bristol", "King Abdullah University of Science and Technology", "National University of Singapore", "Carnegie Mellon University Africa", "Facebook", "Universidad de los Andes", "University of Tokyo", "Indiana University", "International Institute of Information Technology, Hyderabad", "MIT", "University of Pennsylvania", "Dartmouth" ], "output_language": "zh", "provider": "doubao", "model": "doubao-seed-2.1-pro", "prompt_template": "simple", "extracted_at": "2026-10-20T04:25:04.250270Z", "template_tag": "simple", "summary": "### 摘要\n\n针对当前计算机视觉主要依赖互联网第三方短暂、经人工策划的图像或视频，而机器人与增强现实需要处理被动佩戴相机产生的长时、连续、第一人称流并持久理解三维环境和社会语境的问题，论文在 EPIC-Kitchens、ADL、UT Ego、Charades-Ego 等第一人称数据基础上，指出既有数据通常规模较小、场景集中于厨房、佩戴者多为学生且地域有限，因此提出 Ego4D。其核心方案是由 9 国 5 大洲 14 个团队分布式招募 931 名背景多样的参与者，在 74 个地点采集 3,670 小时无脚本日常生活视频，每次佩戴 1 至 10 小时，原始片段平均约 8 分钟；场景参考美国劳工统计局时间利用调查，在自然记录与覆盖度之间折中，使用 7 种头戴相机避免设备过拟合，并提供音频、Matterport3D 网格、眼动、立体、IMU 和多相机同步等子集。全部视频先由两名标注者独立生成时间密集叙述，平均每分钟 13.2 句、共 385 万句，用于数据驱动分类、视频优先级和语言定位；项目还提供 SlowFast 预计算特征、按基准或模态下载以及标准化训练测试划分，以验证跨场景、跨地域和长时序第一人称感知能力。基准围绕过去、现在、未来展开：情景记忆用自然语言、图像和时刻查询找回个人经历，其核心机制可表示为响应轨迹 $r=\\{r_s,r_{s+1},\\ldots,r_e\\}$，即目标在查询帧前最近一次进入至离开视野的连续边界框集合，若有三维扫描则附加 $\\Delta d$ 位移；手物任务用 pre、PNR、post 帧刻画物体状态变化，AVD 处理说话者定位跟踪、主动说话者、日记和转写，社会任务判断 LAM/TTM，预测任务覆盖移动、手部、短期物体交互和长期动作序列。评估采用 tIoU 召回、mAP、AP、绝对时间误差、MOT 指标、DER、WER、L2 和 edit distance 等；关键结果包括 VQ2D 测试成功率 41.6% 但 tAP 仅 0.12 且搜索效率为 0，NLQ 在 IoU=0.3 的 R@1/R@5 约为 5.80%/13.90%，MQ 平均 mAP 为 5.68%，状态变化分类为 67.6%、检测最佳 AP 为 15.5，AVD MOTA 为 71.94、DER 约 73.14、WER 为 59.2，LAM mAP 为 78.07、TTM 为 55.06，短期交互 Top-5 mAP 为 2.45，长期动作 ED@20 约 0.943，这些结果共同支持长时记忆、状态变化泛化、音视频社会理解和多模态预测仍是创新焦点。未来可研究智能上下文搜索、跨任务联合建模、更好的相机位姿与深度估计、音视频分离、对话层级语言建模、社会注视扩展、多片段上下文与波束搜索，并扩展标注和任务；真实应用面向 AR 记忆助手、机器人从演示学习、人机协作、助听与社交辅助、养老、教育、健身和娱乐，但必须在知情同意、去标识、许可使用、存储计算、地域人口偏差、COVID 场景偏差、电池导致的活跃片段偏差、叙述用词偏差，以及重叠语音、噪声和运动模糊等约束下推进。\n\n### 关键要点\n\n- Ego4D 第一版包含 3,670 小时 RGB 视频、931 名相机佩戴者、74 个地点和 9 个国家，场景覆盖家庭、户外、工作、休闲、通勤等，且多数为无脚本的长时第一人称视频。\n- 数据由 9 国 5 大洲的 14 个大学或实验室团队分布式采集；参与者每次佩戴相机 1 至 10 小时，原始片段平均约 8 分钟，以保留活动的完整脉络。\n- 数据集部署 GoPro、Vuzix Blade、Pupil Labs、ZShades、ORDRO EP6、iVue Rincon 1080 和 Weeview 共 7 种头戴相机，以降低模型对单一采集设备的过拟合。\n- 不同视频子集提供音频、3D 扫描、眼动、立体视觉、IMU 以及同一事件的多相机同步视角；其中音频为 2,535 小时，3D 扫描为 491 小时，多相机数据为 224 小时。\n- 全部 3,670 小时视频均获得两组独立叙述，平均每分钟 13.2 句、共 385 万句；叙述用于构建动作和物体分类体系、筛选基准视频，并可作为弱对齐语言视频资源。\n- 五个基准按时间体验组织：情景记忆查询过去，手物操作、音视频日记和社会互动分析现在，活动预测面向未来；AVD 与社会任务标注 47.7 小时，情景记忆查询约覆盖 800 小时视频。\n- 视觉查询要求在查询帧前找回目标物体最近一次出现的连续边界框轨迹 $r=\\{r_s,\\ldots,r_e\\}$；当环境三维扫描可用时，还需输出从查询位置到物体位置的三维位移向量。\n- VQ2D 最佳基线测试成功率为 41.6%、tAP 为 0.12、stAP 为 0.05，且逐帧检测的搜索效率为 0；NLQ 在 IoU=0.3 时 R@1/R@5 约为 5.80%/13.90%，MQ 测试平均 mAP 为 5.68%。\n- 手物基准标注 pre、PNR、post 关键帧及手、工具和物体边界框；状态变化分类测试准确率为 67.6%，单帧状态变化物体检测最佳 AP 为 15.5%，论文报告的注意力模型可将 PNR 定位误差降至约 0.49 秒。\n- AVD 测试集 MOTA 为 71.94、IDF1 为 80.07，TalkNet 仅用 Ego4D 训练的主动说话者 mAP 为 50.90，说话者日记 DER 最好为 73.14，参考分段下 ASR 的 WER 为 59.2。\n- 社会任务中，借助 Gaze360 初始化的 LAM 在测试集达到 78.07% mAP，多模态 TTM 达到 55.06% mAP；预测基准的短期物体交互整体 Top-5 mAP 为 2.45%，长期动作 ED@20 最佳约为 0.943。\n- 隐私与伦理约束包括知情同意、可撤回和审阅编辑、私人空间保护、个人身份信息去标识以及签署数据使用许可；未去标识的面部和语音仅用于全体参与者同意的 AVD 与社会任务。", "available_templates": [ "deep_read", "simple" ] }