# Ego4D：环游世界3000小时的第一人称视角视频
Kristen Grauman $^{1,2}$、Andrew Westbury $^{1}$、Eugene Byrne $^{*1}$、Zachary Chavis $^{*3}$、Antonino Furnari $^{*4}$、Rohit Girdhar $^{*1}$、Jackson Hamburger $^{*1}$、Hao Jiang $^{*5}$、Miao Liu $^{*6}$、Xingyu Liu $^{*7}$、Miguel Martin $^{*1}$、Tushar Nagarajan $^{*1,2}$、Ilija Radosavovic $^{*8}$、Santhosh Kumar Ramakrishnan $^{*1,2}$、Fiona Ryan $^{*6}$、Jayant Sharma $^{*3}$、Michael Wray $^{*9}$、Mengmeng Xu $^{*10}$、Eric Zhongcong Xu $^{*11}$、Chen Zhao $^{*10}$、Siddhant Bansal $^{17}$、Dhruv Batra $^{1}$、Vincent Cartillier $^{1,6}$、Sean Crane $^{7}$、Tien Do $^{3}$、Morrie Doulaty $^{13}$、Akshay Erapalli $^{13}$、Christoph Feichtenhofer $^{1}$、Adriano Fragomeni $^{9}$、Qichen Fu $^{7}$、Abraham Gebreselasie $^{12}$、Cristina González $^{14}$、James Hillis $^{5}$、Xuhua Huang $^{7}$、Yifei Huang $^{15}$、Wenqi Jia $^{6}$、Weslie Khoo $^{16}$、Jachym Kolár $^{13}$、Satwik Kottur $^{13}$、Anurag Kumar $^{5}$、Federico Landini $^{13}$、Chao Li $^{5}$、Yanghao Li $^{1}$、Zhenqiang Li $^{15}$、Karttikeya Mangalam $^{1,8}$、Raghava Modhugu $^{17}$、Jonathan Munro $^{9}$、Tullie Murrell $^{1}$、Takumi Nishiyasu $^{15}$、Will Price $^{9}$、Paola Ruiz Puentes $^{14}$、Merey Ramazanova $^{10}$、Leda Sari $^{5}$、Kiran Somasundaram $^{5}$、Audrey Southerland $^{6}$、Yusuke Sugano $^{15}$、Ruijie Tao $^{11}$、Minh Vo $^{5}$、Yuchen Wang $^{16}$、Xindi Wu $^{7}$、Takuma Yagi $^{15}$、Ziwei Zhao $^{16}$、Yunyi Zhu $^{11}$、Pablo Arbeláez $^{14}$、David Crandall $^{16}$、Dima Damen $^{19}$、Giovanni Maria Farinella $^{14}$、Christian Fuegen $^{13}$、Bernard Ghanem $^{10}$、Vamsi Krishna Ithapu $^{15}$、C. V. Jawahar $^{17}$、Hanbyul Joo $^{1}$、Kris Kitani $^{17}$、Haizhou Li $^{11}$、Richard Newcombe $^{15}$、Aude Oliva $^{18}$、Hyun Soo Park $^{13}$、James M. Rehg $^{16}$、Yoichi Sato $^{15}$、Jianbo Shi $^{19}$、Mike Zheng Shou $^{11}$、Antonio Torralba $^{18}$、Lorenzo Torresani $^{1,20}$、Mingfei Yan $^{15}$、Jitendra Malik $^{1,8}$
$^{1}$Facebook人工智能研究院（FAIR）、$^{2}$德克萨斯大学奥斯汀分校、$^{3}$明尼苏达大学、$^{4}$卡塔尼亚大学、$^{5}$Facebook虚拟现实实验室、$^{6}$佐治亚理工学院、$^{7}$卡内基梅隆大学、$^{8}$加州大学伯克利分校、$^{9}$布里斯托大学、$^{10}$阿卜杜拉国王科技大学、$^{11}$新加坡国立大学、$^{12}$非洲卡内基梅隆大学、$^{13}$Facebook、$^{14}$安第斯大学、$^{15}$东京大学、$^{16}$印第安纳大学、$^{17}$海得拉巴国际信息技术学院、$^{18}$麻省理工学院、$^{19}$宾夕法尼亚大学、$^{20}$达特茅斯学院
## 摘要
我们推出了Ego4D——一个大规模的第一人称视角视频数据集及基准测试套件。它包含3670小时日常生活活动视频，涵盖数百种场景（家庭、户外、工作场所、休闲等），这些视频由来自全球74个地点、9个国家的931名佩戴摄像头的人员拍摄而成。数据采集过程严格遵循隐私与伦理标准，参与者均自愿参与，相关视频也经过了严格的去标识化处理。Ego4D大幅扩充了研究界可公开获取的多样化第一人称视角视频资料量。部分视频还配有音频、环境的三维模型、视线数据、立体画面，以及同一事件下多台第一人称摄像头的同步视频。此外，我们还提出了一系列全新的基准测试挑战，旨在帮助理解过去（查询
情景记忆）、现在（分析手与物体的交互、视听对话及社会互动）以及未来（预测活动）的第一人称视觉体验。通过公开发布这一标注完善的大规模数据集及基准测试套件，我们希望推动第一人称感知领域的发展。项目页面：
### 1. 引言
如今的计算机视觉系统在识别互联网照片或视频片段中的物体和活动方面表现优异。过去十年间取得的巨大进展得益于各类大型数据集和基准测试工作，它们为算法在定义明确的任务上的训练和评估提供了必要的标注数据 [^49] [^60] [^61] [^92] [^108] [^143]。
尽管这一进展令人振奋，但当前的数据集和模型所代表的对视觉感知的定义仍十分有限。
---
Figure 1. Ego4D is a massive-scale egocentric video dataset of daily life activity spanning 74 locations worldwide. Here we see a snapshot of the dataset (5% of the clips, randomly sampled) highlighting its diversity in geographic location, activities, and modalities. The data includes social videos where participants consented to remain unblurred. See for interactive figure.
首先，当下具有影响力的互联网数据集捕捉的是第三人称“旁观者”视角下短暂且孤立的时间片段。然而，在机器人技术和增强现实领域，输入数据却是从第一人称或“自我中心”视角获取的连续、流畅的视频流——也就是我们通过主动与环境互动的主体的眼睛所看到的世界。其次，互联网照片是由人类摄影师刻意拍摄的，而始终开启的可穿戴式第一人称摄像头所记录的图像则缺乏这种主动的筛选过程。最后，第一人称感知需要对摄像头佩戴者所处的物理环境有持续的三维理解，还要能在人类语境中解读物体和行为——尤其要关注人与物体的互动以及高层次的社会行为。
基于这些关键差异，我们推出了Ego4D数据集及基准测试套件。Ego4D旨在推动第一人称视觉感知领域的下一轮研究。其中，“Ego”代表自我中心视角，“4D”则指三维空间与时间信息。
我们的第一项贡献就是该数据集：这是一个规模庞大且种类繁多的自我中心视频集合，能够捕捉世界各地的日常活动。详见图1。该数据集包含由来自9个国家的74个地点的931名参与者采集的3670小时视频。绝大多数视频均为无脚本的“自然场景”录像，真实记录了佩戴摄像头者在家庭、工作场所、休闲、社交及通勤等日常活动中的自然互动。根据参与者自我描述的特征来看，他们的背景、职业、性别和年龄各不相同——并非只有研究生！视频所呈现的丰富地理多样性，使得数据集中包含了现有数据集中常缺失的物体、活动和人物。由于每位参与者每次佩戴摄像头的时间为1至10小时，因此该数据集提供了长时长视频内容，能够展现一个人与环境、物体及其他人之间复杂的互动全过程。除了RGB视频外，数据集的部分内容还提供了音频、3D网格、视线追踪、立体影像和/或同步多摄像头视图，从而可以从多个角度观察同一事件。我们的数据集借鉴了以往的自我中心视频研究成果 [^43] [^44] [^129] [^138] [^179] [^201] [^205] [^210]，但在规模、多样性和真实性方面取得了重大突破。
拥有合适的数据固然重要，但确定合适的研究课题同样关键。我们的第二项贡献是一套涵盖五个基准测试任务，它们覆盖了自我中心感知的核心组成部分：对过往经验的索引、对当前互动的分析以及对未来活动的预测。为了支持这些领域的研究，我们提供了数百万条丰富的标注数据，这些标注是标注人员耗时超过25万小时完成的成果，其内容涉及时间、空间和语义标签，以及活动的详细文字描述、自然语言查询和语音转录。
---
这些标注包括语义标签、活动的详细文字描述、自然语言查询以及语音转录。
Ego4D是Facebook与全球13所大学历时两年共同努力的成果，大家携手致力于推动自我中心感知领域的新研究。我们将于2022年6月举办正式的基准测试挑战赛，以此启动相关工作。未来几年，我们相信我们的贡献不仅能推动视觉领域的研究，还能促进机器人技术、增强现实、3D传感、多模态学习、语音及语言等领域的发展。这些发展方向不仅源于我们提出的基准测试任务，也源于学术界利用我们这个大规模且公开可用的数据集所开发的其他替代性任务。
### 2. 相关工作
大规模第三人称数据集：过去十年间，带标注的数据集既为计算机视觉领域提出了新课题，也确保了研究的可靠评估。Kinetics [^108]、AVA [^92]、UCF [^207]、ActivityNet [^61]、HowTo100M [^157]、ImageNet [^49] 和 COCO [^143] 等现有数据集均聚焦于第三人称网络数据，这类数据具有人类摄影师拍摄带来的优势与偏差。相比之下，Ego4D属于第一人称视角。被动采集的可穿戴摄像头视频具有独特的视角、运动模糊现象，且缺乏时间上的精心编排。值得注意的是，用第三人称数据对自我中心视频模型进行预训练 [^70] [^221] [^224] [^239] 会导致较大的域差异 [^139] [^201]。
自我中心视频理解
以自我为中心的视频带来了诸多有趣的挑战，比如人与物体的交互 [^26] [^46] [^163]、活动识别 [^110] [^139] [^243]、行为预测 [^4] [^75] [^86] [^144] [^205]、视频摘要生成 [^48] [^129] [^131] [^147] [^148] [^232]、手部检测 [^16] [^134]、社交互动解析 [^66] [^168] [^231]，以及推断佩戴摄像头者的身体姿态 [^107]。我们的数据集能够促进上述领域及其他更多领域的研究工作，而我们提出的基准测试（及其相关标注）则拓宽了研究人员未来可探索的任务范围。关于以往研究与本基准测试任务之间的关联，我们将在第5节中详细讨论。
以自我为中心的视频数据集 过去十年间，已经开发出多个以自我为中心的视频数据集。与我们研究最相关的是那些包含非脚本化日常活动的数据集，其中包括EPIC-Kitchens [^43] [^44]、UT Ego [^129] [^210]、日常生活活动（ADL）数据集 [^179]以及Disney数据集 [^66]。将摄像头交给参与者让他们带出实验室的做法最早在 [^66] [^129] [^179] 中被提出，这一做法也为我们的研究思路提供了灵感。其他数据集则是（半）脚本化的，即要求佩戴摄像头者执行特定活动，比如Charades-Ego [^201]和EGTEA [^138]。如今规模最大的以自我为中心的数据集仅聚焦于厨房场景 [^44] [^44] [^124] [^138]，而Ego4D则涵盖了数百个室内外环境。此外，现有数据集主要依赖于
Figure 2. Ego4D camera wearer demographics—age, gender, countries of residence, and occupations (self-reported). Font size reflects relative frequency of the occupation.
以往的研究中，佩戴摄像头的多为研究生 [^43] [^44] [^66] [^129] [^129] [^138] [^168] [^179] [^194] [^210]，而Ego4D的摄像头佩戴者则来自更广泛的人群，具体细节如下文所述。除了日常活动外，以往的以自我为中心的数据集还聚焦于对话 [^170]、人际互动 [^66] [^168] [^194] [^231]、地点定位 [^183] [^208]、多模态传感器数据 [^124] [^166] [^204]、人手检测 [^16] [^134]、人与物体的交互 [^106] [^184]以及物体跟踪 [^56]。
无论是在视频时长（3,670小时，而 [^43] 中的数据仅为100小时）还是独特摄像头佩戴者数量（931人，而 [^201] 中仅为71人）方面，Ego4D都比目前规模最大的以自我为中心的视频数据集大一个数量级；它涵盖了数百个环境（而现有数据集仅涵盖一两个或几十个环境）；其视频拍摄于全球74个地点和9个国家（而现有数据集仅局限于一两个或几个城市）。Ego4D的标注规模与深度也前所未有，数百万条标注可支持多项复杂任务。因此，Ego4D在数据集规模和多样性上实现了质的飞跃。我们认为，这两个因素对于研发下一代具身智能感知技术至关重要。
### 3. Ego4D数据集
接下来我们将概述这套数据集，我们已根据Ego4D许可协议将其公开供大家使用。
#### 3.1. 采集策略与佩戴摄像头的人员
我们不仅希望收集规模庞大的第一视角视频数据集，还希望确保其中涵盖不同的人群、地点、物体和活动。此外，为了追求真实性，我们感兴趣的是由长时间佩戴摄像头的人拍摄的未经脚本编排的画面。
为此，我们设计了分布式的数据采集方案。Ego4D项目由来自9个国家、5个大洲的大学和实验室组成的14个团队共同参与（详见图1中的地图）。每个团队招募参与者，让他们每次佩戴摄像头1到10小时；首个数据集中共有931名独特的摄像头佩戴者，视频时长总计3670小时。
---
Figure 3. Scenarios in Ego4D. Outer circle shows the 14 most common scenarios (70% of the data). Wordle shows scenarios in the remaining 30%. Inner circle is color coded by the contributing partner (see map color legend in Fig 1).
该版本为Ego4D-3K。参与者来自总共74座城市，通过口口相传、广告以及社区公告板上的帖子招募而来。部分团队招募了从事具有独特视觉场景的职业的参与者，比如面包师、木匠、园艺师或机械师。
正如图2所示，我们团队的地域分布以及招募参与者的方式，对于形成多样化的人口构成至关重要。$^{1}$ 参与者涵盖了各种各样的职业，年龄跨度很大，其中96人年龄超过50岁，女性占比45%。有两名参与者认同为非二元性别，另有两人选择不透露自己的性别。
#### 3.2. 构成数据集的场景
哪些活动应该被纳入第一视角视频数据集呢？我们的研究受机器人技术和增强现实领域问题的驱动，这些领域的视觉系统会接触到日常生活的各种场景。因此，我们参考了美国劳工统计局的一项调查$^{2}$，该调查记录了人们在家中的主要活动时间（如打扫、烹饪、庭院劳作）、休闲时间（如手工制作、玩游戏、参加聚会）、通勤时间（如骑自行车、开车）、办事时间（如购物、遛狗、修车）以及工作时间（如与同事交谈、冲咖啡）。
为了尽可能覆盖这类场景，我们的方法是在指导摄像头佩戴者和完全不提供指引之间寻求平衡：(1) 我们招募的参与者，其日常活动自然涵盖了多种场景（由参与者自行选择）；(2) 我们要求参与者长时间佩戴摄像头（至少达到设备的电池续航时间），以便活动能在更长的语境中自然展开。我们数据集中的典型原始视频片段时长为8分钟——这比第三方视角视频中常见的10秒片段要长得多。
Figure 4. Some videos (bottom) have coupled 3D meshes (top) from Matterport3D scanners, allowing one to relate the dynamic video to the static 3D environment (middle).
理解 [^108]。通过这种方式，我们能够在兼顾场景覆盖的同时捕捉非脚本化的活动。
唯一的例外是某些多人场景：为了确保音视频和社会性基准测试有足够的数据，我们邀请了五个地点的参与者参与社交活动，比如玩游戏；这些参与者已同意分享他们的对话音频和未打码的人脸画面。我们利用Ego4D中的这部分数据来进行音视频及社交互动基准测试（见第5.3节和5.4节）。
图3展示了我们数据集中所捕获的场景的广泛分布。需要注意的是，每个给定场景中通常会发生数十种动作，例如木工场景就包括锤击、钻孔、移动木材等。总体而言，931名摄像头佩戴者为我们的数据集提供了世界各地日常活动的缩影。
#### 3.3. 摄像头与模态
为避免模型过度拟合于单一拍摄设备，我们在数据集中使用了七种不同的头戴式摄像头：GoPro、Vuzix Blade、Pupil Labs、ZShades、ORDRO EP6、iVue Rincon 1080和Weeview。它们在可支持的模态（RGB、立体视觉、视线追踪）、视野范围以及续航能力方面各有优劣。其中，视野范围和摄像头安装方式的影响尤为显著：虽然安装在头部且朝下的GoPro能够拍摄到手部操作物体的高分辨率画面（见图5右侧），但像Vuzix这样的抬头式摄像头虽能模拟人眼的视角，却会遗漏身体附近的交互行为（见图5左侧）。
除了视频外，Ego4D还包含多种其他数据类型：3D扫描、音频、视线追踪$^{3}$、立体视觉、多台同步可穿戴摄像头以及文本叙述。详见表1。这些数据类型都能为新的研究课题提供支持。例如，利用环境中的Matterport3D扫描数据
---
| Modality: | RGB video | Text narrations | Features | Audio | Faces | 3D scans | Stereo | Gaze | IMU | Multi-cam |
| # hours: | 3,670 | 3,670 | 3,670 | 2,535 | 612 | 491 | 80 | 45 | 836 | 224 |
Table 1. Modalities of data in Ego4D and their amounts. “Narrations” are dense, timestamped descriptions of camera wearer activity (cf. Sec. 4). “3D scans” are meshes from Matterport3D scanners for the full environment in which the video was captured. “Faces” refers to video where participants consented to remain unblurred. “Multi-cam” refers to synchronized video captured at the same event by multiple camera wearers. “Features” refers to precomputed SlowFast [^70] video features. Gaze collected only by Indiana U. and Georgia Tech.
结合自拍视频片段（图4），便能为在持续的3D场景中理解动态活动提供独特契机，正如我们在“情景记忆”基准测试中所运用的那样（见第5.1节）。多路同步的第一人称视频流能够兼顾社交互动中的第一视角和第二视角信息；音频则可用于分析对话内容、声学场景及事件。
#### 3.4. 隐私与伦理
从项目启动之初，隐私与伦理标准便是此次数据采集工作的核心。各合作方需自行制定相应政策。尽管不同站点具体要求有所差异，但总体涵盖以下内容：
• 遵守各自机构的研究政策，例如在必要时经由独立的伦理委员会审查。
• 取得摄像头佩戴者的知情同意，他们有权随时提问、退出研究，也可自由查看并编辑自己的视频内容。
- 尊重他人在私密空间内的权利，避免拍摄敏感区域或活动。
• 遵循个人可识别信息（PII）的去标识化要求。
简而言之，这些标准通常要求视频需在受控环境中拍摄，且需获得所有参与者的知情同意；若是在公共空间拍摄，则需对面部及其他个人可识别信息进行模糊处理。附录K中讨论了该数据集可能带来的负面社会影响。
#### 3.5. 可能的偏差来源
尽管Ego4D收录了来自不同地理区域和人群的大规模日常视频，但我们意识到数据集中仍存在若干偏差。74个采集地点远不足以覆盖全球；此外，摄像头佩戴者大多来自城市或大学城地区。COVID-19疫情导致大量居家场景的视频资料，如烹饪、清洁、手工艺等，而大型社交公共活动的视频采集机会则相对有限。另外，由于电池续航限制无法支持全天拍摄，这些未经脚本设计的视频往往更多记录了参与者一天中较为活跃的时刻。最后，Ego4D的标注工作由非洲两个站点的众包人员完成，这意味着
Figure 5. Example narrations. "C" refers to camera wearer.
基于文本的叙述至少在细微之处会体现出当地词汇选择带来的偏差。
#### 3.6. 数据集的可获取性
在长达3,670小时的视频数据量下，我们意识到Ego4D的规模可能会给部分研究人员带来访问障碍，这取决于他们的存储和计算资源。为缓解这一问题，我们采取了多项措施。首先，我们在数据集中提供了预先计算好的动作特征（基于Kinetics 400预训练的ResNet 101骨干网络的SlowFast 8x8模型），作为后续研究的起点。其次，只有部分数据构成了各基准测试的正式训练/测试集——并非全部3,670小时的数据（详见附录E）。随着Ego4D标注数据的增加，我们将创建标准化的小型数据集。最后，我们提供仅下载针对特定基准测试或感兴趣模态的数据的选项。
### 4. 摄像头佩戴者活动的叙述
在进行其他任何标注之前，我们会先让所有视频经过叙述流程。受“暂停并讲述”式叙述者[^44]的启发，标注人员需观看一段5分钟的视频片段，用几句话概括内容，随后重新观看视频，期间多次暂停来记录关于摄像头佩戴者所做任何事情的描述。我们会记录对应的时间戳和自由形式的描述语句。详见图5。每段视频会由不同的标注人员给出两份独立的叙述。这些叙述在时间上非常密集：平均每分钟视频会产生13.2句叙述，总计达385万句。总体而言，这些叙述用1,772个独特的动词（活动）和4,336个独特的名词（物体）来描述Ego4D中的视频内容。详情见附录D。
这些叙述使我们能够：（1）通过文本挖掘来构建基于数据的行为和物体分类体系，
---
Figure 6. The Ego4D benchmark suite centers around the first-person visual experience—from remembering the past, to analyzing the present, to anticipating the future.
（2）根据视频内容对视频进行排序，以便将其映射到相关的基准测试中；（3）确定应植入特定标注的时间窗口。除了这些用途外，这些叙述本身也是该数据集的一项贡献，对于弱对齐自然语言视频的研究具有潜在价值。据我们所知，这是我们目前最大的语言与视频对齐资料库（例如HowTo100M [^157]，一个现有的包含叙述内容的互联网资料库，其中的叙述多为嘈杂的语音内容，且并非总是对所发生的活动进行描述）。
### 5. Ego4D基准测试套件
第一人称视觉技术有潜力变革增强现实和机器人领域的诸多应用。然而，与主流视频理解相比，以人为中心的感知需要全新的基础研究，以应对长视频、注意力线索、人与物体的交互、多感官数据，以及被动佩戴的摄像头所缺乏的人工时间轴整理等问题。
受这些因素的启发，我们提出了一系列具有挑战性的基准测试任务。这五项基准测试涵盖了第一人称视频的过去、现在和未来。详见图6。以下章节将分别介绍每项任务及其标注信息。首次发布的数据集中，每项基准测试对应48至1,000小时的数据标注，此外还有3,670小时已标注的视频数据。附录中说明了我们如何为每项基准测试选取视频，以便在保证地理多样性的同时最大化其与任务的关联性。
我们基于文献中的最先进组件开发了基线模型，用以测试所有Ego4D基准测试。附录中展示了这些基线模型及定量结果。我们将于2022年6月举办正式的Ego4D竞赛，邀请研究界在这些基线基础上进一步改进。
#### 5.1. 情景记忆
佩戴式摄像头拍摄的自我中心视频记录了个人日常生活的“谁/什么/何时/何地”。这使得它非常适合图尔文所称的情景记忆[^213]：即特定的第一人称经历（“我第一次飞往法国时吃了什么？坐在我旁边的人是谁？”），以区别于语义记忆（“法国的首都是哪里？”）。如果能够恰当索引我们的视觉体验并回答查询，那么处理这类自我中心视频流的增强现实助手就能赋予我们超人的记忆力。
Figure 7. Episodic Memory's three query types
任务定义：给定一段自我中心视频和一条查询，Ego4D情景记忆任务要求定位出答案在用户过往视频中的出现位置。我们定义了三种查询类型。（1）自然语言查询（NLQ）：查询以文本形式表达（例如：“我把东西放进抽屉里了吗？”），输出结果为答案可见或可推断出的时间区间。（2）视觉查询（VQ）：查询为某个物体的静态图像，输出结果会定位该物体最后一次在视频中出现的时间和空间位置。空间响应表现为该物体上的二维边界框，也可选包含从当前摄像头位置到该物体三维边界框的三维位移向量。VQ模拟了用户如何用图像示例来教导系统，随后询问该物体的位置（“我的钥匙[图片]在哪里？”）。（3）时刻查询（MQ）：查询为某项高层次活动或“时刻”的名称，响应则包含该活动发生的所有时间区间（例如：“我给孩子们读书的时间是什么时候？”）。详见图7。
标注：对于语言查询，我们设计了13个模板问题，旨在涵盖用户可能用来补充记忆的需求，例如“X物体的状态是怎样的？”
注释：针对语言查询，我们设计了一组包含13个模板问题的集合，旨在涵盖用户为增强记忆可能会提出的问题，例如“当前状态是什么”。
---
标注员会用自由形式的自然语言表述这些查询，同时提供槽位填充信息（例如X=窗户）。对于时刻类查询，我们通过挖掘叙述摘要，以数据驱动且半自动的方式确定了包含110种活动的分类体系。时刻类标注捕捉的是佩戴摄像头者一天中的高层次活动，例如“摆餐具”属于时刻类，而“拿起物品”则是我们预测基准测试（第5.5节）中的动作类。
对于NLQ和VQ，我们要求标注员生成语言/视觉查询，并将其与视频中的对应“响应片段”配对。对于MQ，我们提供标签分类体系，要求标注员为包含时刻实例的每一个时间片段打上标签。总共而言，我们有约74K条查询，涵盖800小时的视频内容。
评估指标与基线：对于NLQ，我们采用特定时间交集覆盖率阈值下的top-k召回率。MQ采用时序动作检测中常用的指标：多个tIoU阈值下的mAP，以及top-kx召回率。VQ则采用时序和时空定位指标，以及鼓励快速搜索的及时性指标。附录F介绍了我们开发的基线模型并报告了相关结果。
与现有任务的关系：情景记忆在现有的视觉问题中有一定基础，但也带来了新的挑战。这三类任务都要求在静态环境中进行空间推理，同时还需处理人物移动和物体变化的动态视频；而当前的研究大多将这两类要素分开处理。时效性指标也推动了智能上下文搜索领域的研究。尽管当前关于语言与视觉的文献主要聚焦于互联网数据孤立实例的标注和问答任务 [^12] [^35] [^119] [^228]，但自然语言查询（NLQ）的动机源于对摄像头佩戴者自身视觉体验的查询需求，且它基于长期观测数据开展工作。视觉问答（VQ）则升级了物体实例识别技术 [^23] [^85] [^126] [^155]，使其能够处理视频数据（频繁的视野变化、物体进出视野的情况），并在三维环境的背景下对物体进行推理。最后，运动检测（MQ）可以被视作活动检测 [^141] [^229] [^237]，只不过它针对的是摄像头佩戴者的活动。
#### 5.2. 手部与物体
动机：虽然情景记忆旨在让过去的视频可被查询，但我们接下来的基准测试旨在了解摄像头佩戴者当前的活动——即其与物体及其他人的互动情况。具体而言，“手部与物体”基准测试旨在捕捉摄像头佩戴者通过使用或操控物体而改变物体状态的过程——我们将其称为物体状态变化。尽管将一块木材切成两半可以通过多种方法实现（例如使用不同工具、施加不同力度、控制不同速度、采用不同握持方式或使用不同末端执行器），但这些都应被认定为同一种状态变化。这种泛化能力将帮助我们更好地理解人类行为，
State-change: Plant removed from ground
State-change: Wood smoothed
Figure 8. Hands and Objects: Example object state changes defined by pre-condition, PNR, and post-condition frames.
进而训练机器人从视频中的人类演示中学习。
任务定义：我们将物体状态变化理解为各种物理层面的变化，包括大小、形状、组成和纹理的变化。物体状态变化可以沿时间、空间和语义三个维度来划分，由此产生以下三项任务：（1）不可逆转点时间定位：给定一段描述状态变化的短视频片段，目标是估算包含不可逆转点（PNR，即状态变化开始的时间点）的关键帧；（2）状态变化物体检测：给定三个时间帧（变化前、变化后、PNR），目标是回归出正在发生状态变化的物体的边界框；（3）物体状态变化分类：给定一段短视频片段，目标是判断是否发生了物体状态变化。
标注：我们根据可能涉及手-物互动的活动来选择需要标注的数据（例如编织、木工、烘焙等）。我们首先为每次有叙述记录的手-物互动贴上标签。针对每一次互动，我们标注三个时间点（变化前、PNR、变化后）以及这三个时间帧中手部、工具和物体的边界框。我们还会标注状态变化类型（移除、烧毁等，见图8）、动作动词以及物体名称。
评估指标与基线：物体状态变化时间定位的评估采用以秒为单位的绝对时间误差；物体状态变化分类的评估采用分类准确率；状态变化物体检测的评估采用平均精度（AP）。附录G详细介绍了标注内容，并给出了“手部与物体”三项任务的基线模型结果。
与现有任务的关系：以往的研究仅涉及照片中物体状态的变化[^102] [^164]或视频中的物体状态变化[^8] [^68] [^242]；Ego4D是首个专注于理解物体状态变化任务的视频基准测试。该任务与动作识别类似（例如[^100] [^110] [^139] [^221] [^243]），因为在某些情况下，特定动作可能对应特定的状态。
---
Figure 9. Audio-Visual and Social benchmark annotationss
不过，单一的状态变化（例如切割）也可能以多种形式出现（不同的物体-工具-动作组合）。我们希望所提出的基准测试能够促进更明确的物体状态变化模型的开发，同时避免那些仅仅过度拟合于动作或物体观测结果的方法。
#### 5.3. 音视频说话人分离
动机：接下来的两个任务旨在理解佩戴摄像头者当前与他人的互动情况。人们通过口语进行交流，因此捕捉商务会议和社交场合中的对话内容，是一个具有重大科学和实际意义的问题。虽然说话人分离一直是语音识别领域的一个经典问题，但Ego4D引入了两个新特点：（1）视频与音频的同时采集；（2）对话参与者的自我中心视角。
任务定义与标注：音视频说话人分离（AVD）基准测试包含四个任务（见图9）：
- 定位并追踪视野（FoV）内的参与者（即候选说话人）。每个参与者的面部周围会标注一个边界框。
- 活跃说话人检测：为每个被追踪的说话人分配匿名标签，包括从未出现在视觉视野中的摄像头佩戴者。
- 对每个说话人的语音活动进行分离，我们会提供剪辑中每个说话人语音活动对应的时间段。
- 转录每个说话人的语音内容（此版本仅考虑英语使用者）。
评估指标与基线：我们采用标准化的物体追踪（MOT）指标[^18] [^19]来评估视野内说话人的定位与追踪效果。带有匿名标签的说话人检测则通过说话人错误率来评估，该指标衡量标签分配错误的比例。我们采用经过充分研究的说话人分离错误率（DER）[^11]和词错率（WER）[^114]分别评估说话人分离与转录效果。我们在附录H中展示了AVD基线模型及结果。
与现有任务的关系：过去几年中，音频在计算机视觉任务中的应用日益广泛[^245]，包括动作分类[^110] [^226]、物体分类[^125] [^234]、声源定位与追踪[^14] [^197] [^212]以及具身导航[^33]。与此同时，视觉信息也越来越多地被应用于以往仅依赖音频的任务中，比如语音转录、语音识别、音频空间化[^5] [^80] [^104] [^161]、说话人区分[^10] [^83]以及声源分离[^57] [^78] [^82]。VoxCeleb[^39]、AVA Speech[^31]、AVA active speaker[^192]、AVDIAR[^83]和EasyCom[^53]等数据集为这类研究提供了支持。不过，这些数据集主要是非自我中心的。与Ego4D不同，它们无法捕捉到涉及多种嘈杂背景、语音重叠、打断、难以辨识的语音、环境变化、佩戴摄像头者移动以及说话人背对佩戴者等自然对话特征。
#### 5.4. 社交互动
动机：以自我为中心的视频为研究社会互动提供了独特的视角，因为它能捕捉每位参与者从自身视角发出的言语和非语言线索[^115]，从而有助于采用具身认知的方法来理解社会行为。在自我中心式社会理解方面的进展，有望催生出能力更强的虚拟助手和社交机器人。此外，社会互动的计算模型还能为诊断和治疗自闭症等社交与沟通障碍提供新工具[^188]，同时也可用于支持针对听力障碍者的新型假体技术。
任务定义：虽然Ego4D数据集能够支撑此类长期研究计划，但我们最初的社会基准测试聚焦于通过注意力机制和语音实现对对话互动的多模态理解。具体而言，我们重点关注那些针对摄像头佩戴者的交际行为，将其与针对其他社交伙伴的行为区分开来：(1) 看着我（LAM）：给定一段已定位并识别出社交伙伴脸部的视频，判断每个可见脸部是否正看着摄像头佩戴者；(2) 对我说话（TTM）：给定一段包含相同追踪脸部的视频和音频片段，判断每个可见脸部是否正在对摄像头佩戴者讲话。
标注：社会标注基于AV对话区分任务中的标注结果（见5.3节）。给定(1)标有参与者ID且跨帧追踪的面部边界框，以及(2)相关的活跃说话人标注（用于标识每一帧中面部可见的社交伙伴是否正在讲话），标注员会为每一帧中的每个脸部提供LAM和TTM的二元标签作为真实标签。对于LAM任务，标注员会标记出该可见人物注视摄像头的时间段（开始和结束时间）。
---
对于TTM任务，我们利用AVD中的语音活动标注，进而确定语音指向摄像头佩戴者的时间段。详见图9。
评估指标与基线：我们使用平均精度均值（mAP）和Top-1准确率来衡量两项任务的分类性能。与AVD不同，我们会在每一帧上计算精确度。附录I中提供了相关细节，并展示了社会基准模型和结果。
与现有任务的关系：与[^67]相比，Ego4D包含更多的参与者、更长的录制时长，以及更多种类的传感器和社会场景。LAM任务与以往针对第一人称视频中眼神接触检测的研究[^36] [^159]最为相关，但它所涉及的场景更加多样且更具挑战性。相互凝视估计[54,150–152,172,176]和视线跟随[^37] [^65] [^111] [^186]也属于相关研究领域。TTM任务则与音视频说话人检测[^7] [^193]以及会议理解[^21] [^132] [^154]相关。
#### 5.5. 预测
动机：在探讨了摄像头佩戴者的过往与当前视觉体验之后，我们的最后一个基准测试转向了对未来的预测。预测运动与交互行为需要理解摄像头佩戴者的意图。这一技术在增强现实和人机交互领域有直接应用，比如为方便用户而提前开启电器或移动物体。从类比角度来看，其科学意义类似于GPT-3等语言模型[^24]——它们隐含地捕捉了诸多其他任务所需的知识。不过，视觉预测模型并非预测下一个词，而是建模智能体在物理世界中的动态行为。
任务定义：预测基准测试包含四项任务（见图10）：(1) 运动预测：预测摄像头佩戴者未来可能行走的地面轨迹集合。(2) 手部运动预测：预测摄像头佩戴者在后续帧中的手部位置。(3) 短期物体交互预判：在视频片段的最新帧中，识别出未来可能发生交互的物体集合；针对每个物体，指定一个表示潜在交互动作的动词，以及该交互开始时间的预估“接触时间”。(4) 长期动作预判：预测摄像头佩戴者未来的动作序列。
标注说明：借助叙述文本，我们识别出每次物体交互的发生情况，并为其指定对应的动词和目标物体类别。动词与名词分类体系最初源自叙述文本，随后经过人工细化。针对每个动作，我们会确定接触帧和前置条件帧，并在这些帧中为活跃物体标注边界框。在前置条件帧之前的0.5秒、1秒和1.5秒这三个时刻，我们也会对相同的物体以及手部进行标注。我们通过运动恢复结构技术获取摄像头佩戴者的真实自我轨迹。
Input video Long-Term Anticipation
Figure 10. The Forecasting benchmark aims to predict future locomotion, movement of hands, next object interactions, and sequences of future actions.
评估指标与基线：我们使用L2距离来评估未来运动与手部运动的预测效果。短期物体交互预判的评估采用Top-5平均精度指标，该指标会对前4个假阴性预测结果进行折扣处理。长期动作预判的评估则采用编辑距离。附录J详细介绍了各项任务、标注信息、基线模型及测试结果。
与现有任务的关系：基于自我中心视觉预测未来事件的研究日益受到关注[^191]。以往的研究涉及未来定位[^113] [^120] [^174] [^230]、行为预判[^76] [^77] [^86] [^118] [^127] [^219]、下一个活动物体预测[^20] [^74]、未来事件预测[^149] [^167]以及未来帧预测[^145] [^146] [^153] [^215] [^218] [^227]。由于以往的研究依赖不同的基准测试和任务定义，我们提出了一种统一的基准测试来评估该领域的进展。
### 6. 结论
Ego4D是首个旨在推动自我中心视频多模态感知发展的数据集和基准测试套件。与现有研究相比，我们的数据集在规模和多样性上都要大出数个数量级。这些数据将使人工智能能够从世界各地的日常生活经历中学习——看到我们所看到的、听到我们所听到的；同时，我们的基准测试套件为视频理解领域的创新奠定了坚实基础，这对增强现实、机器人技术以及许多其他领域至关重要。我们期待未来几年能基于Ego4D开展更多研究。
## 贡献声明
该项目由Kristen Grauman牵头发起。Andrew Westbury负责项目管理和运营，Jitendra Malik提供科学指导。标有星号（*）的作者在项目实施、数据收集和/或标注开发过程中发挥了关键作用；标有匕首号（†）的作者是项目的教职人员PI及工作组负责人。本次基准测试汇集了来自各机构的众多研究人员，包括跨机构的基线评估工作。附录F至J详细说明了各位作者在不同基准测试中的贡献。
---
Facebook Reality Labs采集的视频使用了Vuzix Blade $^{\circledR}$智能眼镜，由签署数据共享协议的付费参与者在Facebook大楼内的封闭环境中拍摄。所有其他视频采集和参与者招募工作均由大学合作伙伴负责。附录A详细介绍了各站点的数据采集情况，并对主要贡献者表示了感谢。标注工作由Facebook AI负责。
## 致谢
我们衷心感谢以下同事对本项目的宝贵讨论和支持：Aaron Adcock、Andrew Allen、Behrouz Behmardi、Serge Belongie、Antoine Bordes、Mark Broyles、Xiao Chu、Samuel Clapp、Irene D'Ambra、Peter Dodds、Jacob Donley、Ruohan Gao、Tal Hassner、Ethan Henderson、Jiabo Hu、Guillaume Jeanneret、Sanjana Krishnan、Devansh Kukreja、Tsung-Yi Lin、Bobby Otillar、Manohar Paluri、Maja Pantic、Lucas Pinto、Vivek Roy、Jerome Pesenti、Joelle Pineau、Luca Sbordone、Rajan Subramanian、Helen Sun、Mary Williamson和Bill Wu。我们还要感谢Jacob Chalk搭建Ego4D的AWS后端，感谢Prasanna Sridhar开发Ego4D网站。感谢Common Visual Data Foundation（CVDF）托管Ego4D数据集。
各大学承认在视频去标识化过程中使用了商业软件。部分大学采用了brighter.ai来编辑视频。布里斯托大学的个人数据则通过Primloc的Secure Redact软件套件进行保护。
UNICT由意大利教育、大学和研究部（MIUR）的AIM项目——国际人才吸引与流动计划第1线——AIM1893589资助，项目CUP编号为E64118002540007。布里斯托大学的研究得到了英国研究与创新署（UKRI）工程与物理科学研究理事会（EPSRC）博士培养计划（DTP）以及EPSRC奖学金UMPIRE（EP/T004991/1）的支持。KAUST的研究经费来自KAUST赞助研究办公室通过视觉计算中心（VCC）提供的资助。新加坡国立大学的研究得到了Mike Shou启动基金的支持。佐治亚理工学院的部分研究则得到了美国国家科学基金会（NSF）奖项2033413和美国国立卫生研究院（NIH）奖项R01MH114999的支持。
---
## 附录
Table of Contents
| Appendices | 11 |
| A . Data Collection . . . . | |
### A. 数据收集
本节概述了各站点采用的数据收集流程和场景。
印度海得拉巴的信息技术国际学院（IIIT）：在IIIT海得拉巴，我们采用了分布式数据收集方案，由中央团队负责协调与验证工作。我们首先在全国不同地区确定当地协调员，向他们说明数据收集的计划、目标和流程。随后，他们协助在当地的自然环境中从知情同意的参与者处收集数据。参与者的招募考虑了当地的活动类型以及COVID-19相关的指导方针和限制措施。由于中央团队无法前往所有地点对协调员进行培训或收集数据，我们将多台摄像机寄送给当地协调员，并远程指导他们按照COVID防疫规定进行数据收集。收集到的数据和同意书随后被寄回大学，在那里进行人工验证、去标识化处理（如适用），再分享给研究联盟。
在IIIT海得拉巴，我们借助138名受试者的帮助，共记录了660.5小时的数据。这些视频是在印度5个地理位置相距较远的不同州收集的。我们涵盖了36种不同的场景，例如手工制砖、编织、制作蛋盒和发型设计。受试者的年龄介于18至84岁之间，拥有10种不同的职业背景（教师、学生、农民、铁匠、家庭主妇等）。在所有受试者中，男性有94人，女性有44人。我们使用GoPro Hero 6和GoPro Hero 7来录制视频。这些GoPro摄像机被寄送给全国各地的参与者。视频要么通过外置硬盘共享，要么上传至云存储。在分享之前，我们会手动检查每段视频是否包含敏感内容。
主要贡献者：Raghava Modhugu负责数据收集流程、设备设置和工作流设计；Siddhant Bansal负责IRB申请、同意书及去标识化处理；C. V. Jawahar是数据收集的主要负责人。我们还要感谢Aradhana Vinod在协调与沟通方面的贡献，Ram Sharma在本地数据管理和验证方面的贡献，以及Varun Bhargavan在系统与资源方面的支持。
日本东京大学：我们通过一家临时雇佣机构招募了81名居住在东京周边的日本参与者（41名男性，40名女性）。为了收集多样化的行为模式，我们平衡了参与者的性别和年龄（20多岁至60多岁）。我们重点研究了两项单人活动：烹饪（40名参与者，共90小时）和手工艺（41名参与者，共51小时）。在烹饪场景中，要求参与者在家录制无脚本的烹饪视频。在手工艺场景中，参与者会来到我们的实验室进行各种手工艺活动（如折纸、木工、塑料模型制作、剪贴画）。我们使用GoPro HERO 7 Black相机采集烹饪数据，使用Weeview SID 3D立体相机采集手工艺数据。我们的数据采集方案已经过东京大学伦理审查委员会的审核与批准。
主要贡献者：佐藤洋一——负责数据采集的整体协调；八木拓马和西谷拓海——协助招募参与者、设计实验方案、采集与检查数据以及提交IRB申请；黄一飞和李振强——协助检查与传输数据；菅野佑介——协助选定视频录制场景、设计实验方案及提交IRB申请。
英国布里斯托大学：参与者通过社交媒体和大学内部通讯渠道发布的广告招募而来。这些参与者随后会将项目信息告知他们的熟人，部分参与者是通过先前参与者的口头推荐加入项目的。数据采集时间为2020年1月至12月，共有82名参与者。由于3月份疫情爆发，项目转为线上运作模式，摄像机通过邮寄方式发放，培训则通过Zoom会议进行。参与者首先通过发送邮件表达参与意向，随后会收到一份说明文件。接着，他们会与研究人员进行初步的Zoom会议，以了解操作流程、解答疑问并确定要录制的场景。
我们为每个场景设置了总时长限制，以增加录制内容的多样性。例如，驾驶场景时长不得超过30分钟，而烹饪场景则最多可长达1.5小时。每位参与者被要求录制
---
至少涵盖4个场景、总时长不少于2小时的内容。重要的是，我们鼓励参与者记录他们日常进行的活动。例如，如果某人经常骑自行车或练习音乐，我们会要求他们录制这些场景。此外，我们也鼓励双人场景的录制（如一起烹饪或玩游戏），对于同住一屋的参与者，我们会提供多台（2-3台）摄像机。所有参与者在摄像机被寄送到其住所前都签署了知情同意书。摄像机被寄往英格兰、威尔士和苏格兰的9个英国城市，其中一名参与者位于北尤伊斯特岛。
收到摄像机后，我们会安排第二次Zoom会议，向参与者讲解设备使用方法，并详细说明视频的审核与上传流程。参与者有2周时间完成录制，若提出申请还可延长1周。录制完成后，由参与者上传视频，我们会检查视频的光线、设置及拍摄视角是否符合要求。参与者参与本项目可获得相应报酬。
在英国记录的场景包括：通勤（开车、步行、骑行、乘公交、徒步、慢跑）、娱乐（纸牌游戏、桌游、电子游戏、阅读、练习乐器、听音乐、看电视）、工作（实验室工作、木工）、运动（足球、篮球、攀岩、高尔夫、瑜伽、健身）以及居家日常活动（烹饪、打扫、洗衣、绘画、宠物照料、整理、浇花）、DIY（修理、园艺、木工）和手工艺（涂色、手工制作、钩针编织、绘画、针织、缝纫）。拍摄设备使用的是GoPro Hero-7、Hero-8和Vuzix。
随后，研究人员会查看录像以识别任何个人身份信息（PII）。所有视频中有36%需要去标识化处理。我们采用了Primloc的Secure Redact软件套件，该套件集成了用于手动追踪和调整检测结果的工具与用户界面。经过去标识化处理的录像会被人工复核，随后进行编码并上传至AWS存储桶。编码过程中，惯性测量单元（IMU）元数据会被单独提取。目前可提供采用原生50fps录制格式的音视频整合版本。
共有82名参与者记录了总计262小时的数据。平均而言，每位参与者记录了3.0小时（$\sigma = 0.7$小时）。这些数据均按照《通用数据保护条例》（GDPR）的要求发布。
主要贡献者包括：Michael Wray——负责数据收集、同意书及信息表制作；Jonathan Munro——负责数据收集与伦理申请；Adriano Fragomeni——负责数据收集与去标识化监督；Will Price——负责数据导入、编码及元数据管理；Dima Damen——负责场景设计、流程制定、数据收集监督及参与者沟通。我们感谢Christianne Fernee在人工审核所有数据方面所付出的努力。
美国佐治亚州亚特兰大市：亚特兰大都会区的参与者群体是通过Facebook、Reddit和Instagram等网站上的在线帖子和广告招募而来的。每组参与者均由彼此相识的朋友或家人组成。参与者需年满18岁且不超过64岁，不属于COVID-19高风险人群，并且能够用英语玩社交推理类游戏。我们的研究方案已经过佐治亚理工学院机构审查委员会（IRB）的审核与批准。总共从19名参与者处收集了约43小时的第一人称视角视频（根据参与者披露的信息：男性10人、女性7人、非二元性别1人、未报告性别1人）。参与者的平均年龄为31.6岁，其中20-29岁的有7人，30-39岁的有10人，40-49岁的有2人。
参与者佩戴的是第一人称视角头戴式摄像头和入耳式双声道麦克风。部分参与者使用ORDRO EP6摄像头，其他人则使用Pupil Invisible摄像头。音频则是通过Tascam DR-22WL录音机和Sound Professionals MS-EHB-2耳挂式双声道麦克风录制的。此外，还通过Logitech C930e网络摄像头拍摄了第三人称视角的视频。参与者在自己家中进食、饮水以及玩《One Night Ultimate Werewolf》和《The Resistance: Avalon》等社交推理类游戏时，会佩戴所提供的录音设备。这种居家游戏之夜的场景激发了多种多样的自发且自然的社会行为与互动。另外，进食和饮水行为也同时被第一人称视角和第三人称摄像头捕捉下来。
除了参加录制的会话外，参与者还完成了一份调查，以收集他们的人口统计信息。所有数据均由研究人员筛选和脱敏，以去除任何可识别信息，包括手机屏幕或房屋外部可见的个人信息。参与者还有机会查看视频并要求进一步脱敏。
主要贡献者：Fiona Ryan——数据采集的主要协调员，负责同步、去标识化和数据录入；Audrey Southerland——IRB开发和招募工作的主要协调员；Miao Liu——参与数据采集和录入；James M. Rehg——参与方案设计和数据采集。
美国印第安纳州布鲁明顿的印第安纳大学：美国印第安纳州布鲁明顿地区的参与者是通过社交媒体、在线分类广告板和邮件列表上的广告招募的。我们还采用了滚雪球抽样法，即请参与者将我们的广告分享给他们的朋友。我们招募了愿意参与互动性小组活动的参与者，比如运动、玩桌游或纸牌游戏、演奏乐器、拼图等。为了保障参与者和研究人员的健康，数据收集要么在户外进行（人们在户外可以更安全地互动且无需戴口罩），要么在参与者的家中进行。无论哪种情况，我们最初要求社交小组中的所有参与者都来自同一个家庭，以尽量减少疾病在家庭间传播的风险。
---
我们最初要求社交小组中的所有参与者都来自同一个家庭，以尽量减少疾病在家庭间传播的风险，但后来我们也允许那些彼此相处融洽的人群组成小组（例如，因为他们已接种新冠疫苗）。小组规模从1人到6人不等，其中2人或3人一组最为常见。
我们使用四种不同的设备采集数据：zShade 1080p摄像眼镜、iVue Rincon 1080摄像眼镜、ORDRO EP-6以及Pupil Labs Invisible摄像和眼动追踪眼镜。我们使用多种设备是因为每种设备各有优劣：例如，zShade的水平视野较广，而iVue的垂直视野可调；ORDRO佩戴在耳朵旁且固定在头带上，非常适合戴眼镜的人；Invisible虽然能进行眼动追踪，但价格昂贵。我们尽可能让小组中的更多参与者佩戴摄像头。只要条件允许，我们主要使用两台Pupil Labs Invisible设备，因为它们使用方便且能采集眼动数据；而当小组规模较大或参与者戴眼镜时，我们也会使用ORDRO EP-6。
我们的研究方案已经过印第安纳大学机构审查委员会（IRB）的审核和批准。我们首先与潜在参与者举行线上会议，介绍研究内容、说明摄像头的使用方式、确定他们要进行的活动，并回答他们的疑问。我们要求参与者尽量限制对可能涉及隐私敏感内容的信息采集：选择家中没有个人可识别信息的区域进行拍摄，避免录制除参与者以外的人员，同时避免说出姓氏或其他敏感的音频内容。
随后我们安排时间与他们见面，通常是在他们家外或户外公共场所。我们会架设摄像机，帮助参与者戴上它们，留下我们的联系方式以备他们遇到问题时联系，然后在他们进行活动期间离开。大约一小时后我们返回取回摄像机。几天内，我们会给每位参与者发送一份其摄像机拍摄的视频副本，请他们查看录像并指出任何希望打码或删除的隐私敏感内容（视频或音频）。我们会手动编辑掉此类内容（使用Adobe Premiere Pro软件）。我们还会检查所有视频中是否出现非参与者的面部以及门牌号或车牌等可识别个人身份的信息，并相应地进行打码处理。我们使用Pupil Labs软件将每位参与者的眼动数据与视频同步，随后利用Adobe Premiere Pro通过音频轨道比对来同步不同参与者的视频时间线。
总共从66名参与者那里收集了约103小时的视频资料（其中女性42人，男性23人，非二元性别者1人；年龄方面，20-29岁的有46人，30-39岁的有14人，40-49岁的有1人，50-59岁的有2人，60-69岁的有1人，70-79岁的有2人）。
主要贡献者：David Crandall——数据收集工作的首席协调员；Yuchen Wang——参与了方案设计、参与者招募及数据收集工作；Weslie Khoo——开发了多摄像机同步与去标识化流程。
美国明尼苏达大学双城分校：明尼阿波利斯和圣保罗地区的参与者是通过社交媒体及大学公告栏上的广告招募的，比如Facebook广告、Craigslist和Reddit。从45名参与者那里共收集了约313小时的数据（其中男性22人，女性23人）。年龄组包括5名青少年、20名二十多岁的人、11名三十多岁的人、8名四十多岁的人，以及1名五十多岁的人。我们以小组形式招募参与者，鼓励他们进行无结构化的自然社交互动。这类互动包括玩纸牌游戏、在厨房做饭时聊天、打篮球，以及在露营地搭帐篷。在所有情况下，我们要求社交小组内的所有参与者都来自同一个家庭，以尽量减少COVID-19风险。小组规模从1人到6人不等，其中2人或3人一组最为常见。
我们使用视野范围宽广的zShade 1080p摄像眼镜来收集数据。我们的研究方案已经过明尼苏达大学机构审查委员会（IRB）的审核与批准。我们首先与潜在参与者举行线上会议，介绍研究内容、说明摄像机的使用方式、确定他们要进行的活动，并回答他们的疑问。随后我们安排时间让他们领取摄像机，并为他们提供已付邮资的盒子以便归还摄像机。几天后，参与者会将摄像机寄到我们指定的回收地址。在对摄像机和设备消毒后，我们下载相关数据。数据采集完成后，我们会逐秒查看视频，以排除任何隐私敏感信息（如车牌、智能手机屏幕和信用卡号码），并评估非社交活动的时长。对于在公共场合（如购物、音乐会、公园等）被摄像机佩戴者拍到的偶然出现的参与者（即旁观者），数据采集仅涉及记录可公开观察的行为，不涉及任何操控或与参与者的直接互动，该大学的IRB允许对这些参与者假定豁免知情同意要求。
主要贡献者：Hyun Soo Park——数据收集工作的首席协调员；Jayant Sharma——负责参与者招募、数据收集、IRB提交、分析及数据录入。
新加坡国立大学，新加坡：参与者通过社交媒体广告、传单和调查问卷，以及项目协调员的推荐在新加坡被招募而来。新加坡居民
---
年龄在21至70岁之间、能够在参与社交活动期间佩戴摄像头的人员有资格纳入本研究。录制期间，参与者需参加各类社交活动，如家庭聚会、跟随教练锻炼、理发、做美甲、参加助教培训会、参加小组会议等。用于数据收集的设备包括GoPro Hero 8、GoPro Hero 9和AR眼镜。GoPro摄像机配备双麦克风，而AR眼镜只能录制单声道音频。总共从40名参与者（25名男性和15名女性）处采集了51小时的视频资料。年龄分布为：31人处于二十多岁，5人处于三十多岁，3人处于五十多岁，1人处于六十多岁。
主要贡献者：Mike Zheng Shou——数据收集工作的首席协调员；Eric Zhongcong Xu——参与数据收集工作；Ruijie Tao——参与数据收集工作。
Facebook Reality Labs（FRL），美国华盛顿州雷德蒙德市：参与者通过FRL聘请的供应商公司在西雅图地区被招募而来。2019年，从FRL研究实验室中设置的6个场景里，共从206名不同的参与者处采集了400小时的数据。参与者所属的种族构成为：50.8%为白人，28.2%为非洲裔，11.9%为亚裔，9%为西班牙裔。设定的场景包括四种类型的公寓、一家服装店和一家杂货店。录制期间，要求参与者佩戴Vuzix眼镜，尽可能自然地完成以下日常场景：购买杂货、买衣服、看电视、玩电子游戏、听音乐、跳舞、举重、拉伸、查看邮件、支付账单、在线游戏、做饭、与他人交谈、开会、写白板内容以及视频通话。邮件和账单均为模拟数据，并非参与者的个人邮件或账单。视频通话仅在参与者之间进行。
四套公寓中有三套配有对应的3D扫描数据。我们采用最先进的密集重建系统[^209]来获取这些公寓的3D照片级真实感重建模型。体素表示是通过定制的采集装置获得的，而密集3D网格则通过Marching Cubes算法结合纹理提取而成。我们进一步对密集网格进行标注，在网格多边形上标记物体类别；标注时使用了35个物体类别以及一个背景类标签。
主要贡献者：Mingfei Yan、Richard Newcombe、Kiran Somasundaram、Chao Li。
哥伦比亚安第斯大学：我们共收集了来自77名参与者的302.5小时视频数据，涵盖20种场景。这些视频于2021年7月至8月间使用GoPro Hero 9相机录制。参与者均为安第斯大学社区成员及其亲友。其中，89.9%为西班牙裔，1.4%为非洲裔，5.8%为白人。性别比例为男性41.6%、女性58.4%，年龄介于18至65岁之间（包括6名青少年、44名二十多岁者、3名三十多岁者、2名四十多岁者、6名五十多岁者和1名六十多岁者）。我们的数据采集主要聚焦于在共同环境中佩戴摄像机的群体同时进行视频录制，从而从不同视角捕捉同一场景及社交互动。采集场景包括哥伦比亚的户外和室内环境：户外场景涵盖波哥大和卡塔赫纳的历史殖民区及城市区域，以及国家自然公园和溪流等乡村地带；室内场景则涉及实验室工作人员、美发师等专业活动场合。此外，还包括萨尔萨舞、街舞排练和攀岩等体育活动。
主要贡献者：克里斯蒂娜·冈萨雷斯和保拉·鲁伊斯·普恩特斯。
美国宾夕法尼亚州匹兹堡市卡内基梅隆大学和卢旺达基加利：卡内基梅隆大学匹兹堡分校的数据主要来自木匠、建筑工人、园艺师、机械师、树木养护员、油漆工和艺术家等熟练劳动者。该数据集不包含任何研究生，旨在涵盖多样化的现实职业活动。匹兹堡地区共录制了超过500小时的视频，其中大部分使用GoPro相机拍摄，少量通过可穿戴立体摄像机WeeView采集。
卡内基梅隆大学非洲分校在卢旺达基加利采集了业余手工艺人和日常劳动者的数据。数据采集力求反映卢旺达当地的任务执行方式（例如手工洗衣而非使用洗衣机）。共录制了超过150小时的视频，当前版本中仅包含部分数据。所有视频均使用GoPro相机拍摄。
主要贡献者：克里斯·北谷——负责卡内基梅隆大学匹兹堡分校和非洲分校视频采集项目的协调人；肖恩·克雷恩——卡内基梅隆大学匹兹堡分校数据采集的主要协调人（超过500小时），也是该校机构审查委员会的主要负责人；亚伯拉罕·格布雷塞拉西——卡内基梅隆大学非洲分校数据采集的主要协调人；齐晨·傅和吴欣迪——负责视频去标识化处理流程的开发及卡内基梅隆大学匹兹堡分校数据的手动去标识化标注；维韦克·罗伊——许可签名网页服务器的主要架构师，负责与美国Web开发者协调合作。
意大利卡塔尼亚大学：通过口口相传的方式招募了57名参与者，包括研究小组师生家属、朋友和熟人，共录制了超过359小时的视频，涉及25种场景。我们挑选的参与者涵盖了多种职业背景（包括木匠、面包师、雇员、家庭主妇、艺术家和学生等24类），年龄范围从20岁到77岁，平均年龄为36.42岁。
---
Figure 11. Matterport3D scans (top) related to seven different locations coupled with some videos (bottom).
参与者中共有21名女性，其余36名为男性。女性参与者贡献了约137小时的视频，男性则贡献了222小时。每位参与者平均录制视频时长为6小时18分23秒，最短录制时间为6分34秒，最长达到15小时40分42秒。
为了让参与者做好录制视频的准备，我们向他们演示了相机的操作方法以及佩戴方式。在采集环节开始之前，我们向他们展示了有效录制与无效录制的示例。我们为参与者提供了一份文档，其中描述了录制流程，以帮助他们记住设备使用方法以及如何完成高质量的采集。视频采集使用的是不同型号的GoPro相机（GoPro 4、GoPro 7、GoPro 8和GoPro Hero Max），这些相机被交给参与者，他们通常在几天或几周的时间内自主完成视频采集工作。此外，还使用Matterport 3D扫描仪对7个地点进行了3D扫描（见图11）。
主要贡献者：Giovanni Maria Farinella和Antonino Furnari——负责场景设计、流程制定、数据收集监督、数据格式化、编码、元数据及数据导入。Irene D'Ambra——负责数据收集、知情同意书与信息表制作、人工数据审核以及去标识化处理监督。
沙特阿拉伯阿卜杜拉国王科技大学（KAUST）：共有66名独特参与者使用GoPro Hero 7相机在80种不同场景下拍摄了总计453小时的视频。所有参与者均为KAUST社区成员，来自不同国家，从事各类职业。所有录制均在占地3600公顷的KAUST校园内进行，该校园内设施多样（如运动场、超市、9洞高尔夫球场和两处海滩），场景丰富（如建筑、花园、红海和沙漠）。因此，团队能够采集到潜水、打高尔夫、骑行和驾驶等多种场景的视频。
参与者通过多种渠道招募而来，包括亲友推荐、先前参与者介绍，以及对我们的Facebook广告或校园餐厅、超市内的海报感兴趣的人。每位潜在参与者需通过在线表格注册，表格中包含了录制任务的相关介绍与要求，并用于收集其基本人口统计信息。参与者的年龄介于22岁至53岁之间，来自20个不同的国家，其中约一半为女性。许多参与者是研究生和研究人员，其他人则从事厨师、设施管理人员和教师等各类职业。
为了帮助参与者为录制过程做好准备，团队在文档中说明了相关内容，并向他们演示了相机的操作方法。在录制开始前，团队还向他们展示了有效与无效录制的示例。每位参与者会获得一台可安装配件的GoPro相机、两块电池以及容量分别为512GB/256GB的SD卡。每位参与者需从场景列表中选择至少2种不同的活动，并在2天内录制1至10小时的视频。参与者归还相机后，大学团队会对录制内容进行质量检查，以确保其符合大学的IRB要求。
主要贡献者：Chen Zhao、Merey Ramazanova、Mengmeng Xu和Bernard Ghanem。
---
### B. 去标识化流程
该数据集包含两种类型的视频。第一类是在室内录制的视频，此类视频录制前已明确征得所有参与者的知情同意，以便获取其面部和语音信息。我们的视听日记与社会互动基准研究仅采用这类视频。Facebook Reality Labs收集的全部400小时数据均属于此类别。第二类视频占绝大多数，由于未获得身份识别相关的 consent，因此需要对视频进行去标识化处理——包括户外公共场所拍摄的影像$^{4}$。只有大学收集的视频才属于第二类。关于各站点具体的采集方式，详见附录A。
### B.1 去标识化概述
第二类视频均经过人工筛查以满足去标识化需求，随后被分为两组。第一组：不包含任何个人可识别信息（PII）的视频。$^{5}$ 这类视频通常是在室内由佩戴摄像头的人拍摄，拍摄内容为打扫或编织等活动，视频中不存在个人可识别信息，因此无需去标识化。第二组：包含个人可识别信息的视频。这类视频包括有多名参与者在场的室内场景、意外捕捉到的个人信息（如信封上的地址、镜面或物体表面反射出的拍摄者面部图像），以及在户外公共场所拍摄且画面中出现旁观者或车辆的视频。第二组视频会被标记为需去标识化，通过先进的视频编辑软件、开源工具以及数小时的人工审核来模糊处理可见的个人可识别信息。大学合作伙伴会对其自身数据执行这一去标识化操作。我们在下文总结了具体方法。
标记为需编辑的视频会通过去标识化软件批量处理，以移除特定的标识符。我们使用了两款商业软件：brightr.ai $^{6}$ 和 Primloc的Secure Redact $^{7}$，它们能够自动检测人脸和车牌。我们仔细审查了自动化模糊处理的所有输出结果，识别出误判情况（对非隐私相关物品进行了错误模糊处理）和漏判情况（对人脸和车牌的自动化模糊处理不准确或不充分）。此外，其他个人可识别信息，如书面姓名/地址、手机屏幕/密码或纹身等，必须
Figure 12. CMU's de-identification pipeline
逐帧手动识别并模糊处理。在去标识化的这一环节，我们既使用了上述商业软件中的商业工具，也使用了开源软件，包括计算机视觉标注工具（CVAT）$^{8}$、Anonyma $^{9}$ 和 SiamMask $^{10}$。
时间成本。不同场景下的相对时间成本与原始视频长度差异显著。户外拍摄的视频可能需要花费相当于视频长度10倍的时间来进行精细的编辑处理。
### B.2 示例流程
虽然各合作伙伴采用的流程有所不同，但我们提供一个示例流程，展示卡内基梅隆大学使用brightr.ai作为商业软件所遵循的步骤。该示例流程体现了自动化流程与人工操作的结合，以及各步骤的相对耗时。
这种半自动去标识化过程分为四个连续阶段（见图12）：(1) 自动检测人脸和车牌，(2) 去除误判结果，(3) 处理漏判情况，(4) 图像模糊处理。
敏感物体检测：根据收集到的视频（原始数据），审核员会浏览视频并标记出包含人脸、车牌、信用卡等敏感物体的画面。随后使用去标识化软件（brighter.ai）自动检测敏感信息。
误报剔除：为提高检测质量，需剔除误报结果。审核员会手动查看去标识化软件检测出的边界框，剔除那些未包含敏感信息的边界框。
---
漏报修正：此外，审核员还会逐帧查看每个视频以查找漏报情况，并用边界框手动标注出来。为提高效率，使用了在线物体跟踪算法 [^222] 来生成各帧的边界框建议。审核员会确认所有跟踪得到的边界框均准确无误。
图像模糊处理：在所有检测结果被修改和修正后，会采用可靠的模糊处理技术，对边界框所定义的图像区域进行去标识化。
时间成本：图12展示了每一步操作相对于原始视频时长的耗时比例。尽管这一数字会因视频场景的不同而有较大差异，但大致来说，要对500小时的视频数据进行去标识化处理，需要花费780小时的人工时间。其中，审核500小时视频需250小时，剔除115小时视频中的误报需115小时，第二次审核115小时视频需115小时，修正35小时视频中的漏报需50小时，第三次审核500小时视频需250小时（250+115+115+50+250=780小时）。
---
### C. 人口统计信息
我们进一步提供了参与者自我申报的种族群体和/或出生国信息。由于不同地区的种族分类粒度存在差异，我们按州/国家分别报告这些数据。所有参与者均为对应段落中所指定国家的居民。来自美国明尼苏达州的参与者相关数据无法获取。
英国居民：人口统计信息的填报为自愿性质，因此居住在英国的参与者中，有63%（52/82）自行申报了所属种族，具体情况如下：
| White — English, Welsh, Scottish, Northern Irish or British | 35 |
| White — Any other White background | 12 |
| Mixed — White and Asian | 1 |
| Mixed — Any other Mixed or Multiple ethnic background | 2 |
| Arab | 1 |
| Prefer not to say | 1 |
意大利居民：居住在意大利的参与者中，100%自行申报了出生国，具体情况如下：
| Italy | 53 |
| Germany | 1 |
| Russia | 1 |
| Portugal | 1 |
| Poland | 1 |
印度居民：居住在印度的参与者中，100%
自行申报了所属种族，具体情况如下：
印度东部：10人
印度北部：15人
印度南部：108人
印度西部：5人
美国宾夕法尼亚州居民：居住在宾夕法尼亚州的参与者中，100%自行申报了所属种族，具体情况如下：
| White | 42 |
| Asian | 4 |
| Mixed — White and Black African | 2 |
| Black, African, Caribbean | 1 |
美国华盛顿州居民：居住在华盛顿州的参与者中，100%自行申报了所属种族，具体情况如下：
| Caucasian | 101 |
| Black or African American | 58 |
| American Indian (Native American) | 24 |
| Hispanic | 19 |
| Indian (South Asian) | 4 |
美国印第安纳州居民：居住在印第安纳州的参与者中，95%自行申报了出生国；美国佐治亚州居民：居住在佐治亚州的参与者中，100%自行申报了所属种族，具体情况如下：
| US | 39 |
| China | 10 |
| India | 10 |
| Bangladesh | 2 |
| Vietnam | 2 |
| White / Caucasian | 10 |
| Black / African American | 1 |
| Asian / Indian & White / Caucasian | 1 |
| Other / Taiwanese | 1 |
| Japan Residents 100% of participants that reside in Japan |
| self-reported their ethnic group membership as follows: |
| Asian (Japanese) 81 |
| Kingdom of Saudi Arabia | Residents 100% of participants |
| that reside in KSA self-reported their country of birth as |
| follows: |
| China | 12 | |
| Russia | 9 | |
| Colombia | 8 | |
| Mexico | 5 | |
| Kazakhstan | 4 | |
| India | 4 | |
| US | 4 | |
| Saudi Arabia | 3 | |
| Kyrgyzstan | 2 | |
| New Zealand | 2 | |
| Greece | 2 | |
| Ukraine | 2 | |
| Italy | 2 | |
| Lebanon | 1 | |
| Jordan | 1 | |
| Egypt | 1 | |
| Kashmir | 1 | |
| Portugal | 1 | |
| South African | 1 | |
| Thailand | 1 | |
| Singapore Residents 100% of participants that reside |
| in Singapore self-reported their nationalities as follows: |
| Chinese | 26 | |
| Singaporean | 12 | |
| Indian | 1 | |
| Malayan | 1 | |
| Colombia Residents 90% of participants that reside in |
| Colombia self-reported their ethnic group membership as |
| follows: |
| Hispanic/Latin | 62 | |
| White/Caucasian | 4 | |
| Black, African or Caribbean | 1 | |
| Mixed - White an African | 1 | |
| Prefer not to say | | 1 |
---
卢旺达居民：居住在卢旺达的参与者中，100%自行申报了所属种族，具体情况如下：
黑人、非洲裔或加勒比海裔：14人
---
### D. 叙述内容
叙述的目标是对视频中发生的事件获取密集且时间对齐的文本描述，尤其是关于佩戴摄像头者所进行的活动以及物体交互方面的描述。Ego4D叙述数据本身就是用于研究基于视觉感知的语言的新资源。此外，正如主论文中所描述的那样，我们利用叙述作为一种“预标注”形式，通过语义术语为视频建立索引。具体而言，叙述被用于构建动作和物体分类体系以支持各类基准测试，识别与每个基准测试相关的视频，并选取视频中需要标注的区域。
本节将概述我们如何指导标注员对视频进行叙述，以及我们如何将叙述文本转化为物体和动作的分类体系。
### D.1 叙述说明与内容
在采集叙述内容时，我们将数据集划分为时长不超过5分钟的片段。每个5分钟的片段会交给两名不同的标注员处理，从而为数据集中的每个视频片段收集两套独立的叙述内容，以此提升覆盖度并弥补叙述中的误差。$^{11}$ 标注员需先观看5分钟的视频片段，然后针对整个片段的整体活动和场景提供1到3句的简短“摘要”式叙述（例如：“此人正在用洗衣机洗衣服”）。在发布的叙述数据中，这些摘要会被标记为标签“#summary”。
在首次筛选之后（这对整体理解视频片段至关重要），我们会按如下方式收集详细的叙述内容：标注员重新观看视频片段，当视频中出现某个事件时暂停并标记时间点，接着输入对该正在进行动作或交互的简短自然语言描述，之后再继续观看视频。
我们给标注员提供的提示语如下：“观看视频时，请假装你正在和朋友通电话，你需要向朋友描述视频中发生的一切。你的朋友无法看到视频。”该提示旨在引导标注员给出详细的描述，从而呈现动作的逐帧细节。叙述工具界面的示意图见图13。因此，每条叙述都对应佩戴摄像头者执行的单个原子级动作或物体交互（例如：“#C打开洗衣机”或“#C拿起洗涤剂”，其中标签#C表示佩戴摄像头者）。重要的是，我们的叙述还涵盖了佩戴摄像头者与场景中其他人的交互，这类交互用其他字母标签表示，例如#X（如：“#C查看手机的同时#X驾驶汽车”、“#C把卡片递给#Y”）。叙述示例见图14。
### D.2 叙述分析
我们展示一些关于所收集叙述内容的统计数据。总体而言，在3670小时的视频中，我们共收集了385万条句子。图15（左）显示了数据集中所有视频的叙述频率分布。根据所描绘的活动不同，视频的标注频率也存在差异。例如，一个人看电视的视频标注较为稀疏，因为其中发生的活动很少（0.17句/分钟），而一个人收割庄稼、进行重复性动作的视频则标注密集（63.6句/分钟）。平均而言，每分钟视频对应13.2句叙述。
图15（中间和右侧）展示了所收集叙述的长度分布情况。单个时间点的叙述较短，仅描述单一动作或物体交互，平均包含7.4个词。尽管篇幅简短，这些叙述涵盖了多种活动，包括物体交互、工具使用、佩戴摄像头者的动作以及其他人的活动等等。相比之下，总结性叙述更长（平均16.8个词），描述的是更高层次的活动。表2除了展示图14中的视觉示例外，还列出了各类叙述的若干文本示例。
最后，我们通过分析不同场景类型视频中所收集叙述里词语的出现频率，来研究该视频数据集的多样性。图16展示了描绘各类场景中常见物体的词云图。这些词云突出了各场景的特征性物体（例如，“烹饪”类视频中的碗、勺子、盘子；“玩棋盘游戏”类视频中的卡片、骰子、棋子），同时也暗示了所有场景中共有的物体（如手、纸张、手机）。所收集叙述的多样性反映了数据集中所收录视频内容的多样性。
### D.3 动作与物体分类体系
总体而言，原始叙述用1,772个独特的动词和4,336个独特的名词来描述Ego4D视频。出现频率最高的动词和名词的分布情况可见图17。
借鉴[^44]提出的思路，我们利用叙述数据来构建视频中出现的动作与物体的分类体系，具体步骤如下：我们使用词性标注器和依存句法分析器从每个叙述的动作中识别出动词和名词。为此我们采用了Spacy [^98]工具包中的多个解析模型。对于一段自然语言叙述，我们首先通过词性标签识别出动词；接着利用依存树确定动词的所有直接宾语。为确保动词和名词能被准确解析，我们采用了几种启发式规则：将解析出的动词拆分为多个义项（例如，“turn”被拆分为“turn-on”、“turn-off”和“turn-over”）；复合名词则被分解为一个名词词根加上修饰语，
---
Figure 13. Narration tool interface. Narrators mark a timepoint where something happens in the video (bottom bar), and enter a text description of the activity (left sidebar).
| Object interaction | Context objects | Multi-person actions | Manipulation actions |
| #c flips the paper | #c taps a hand on the floor | #o a man x moves the legs. | #c cuts a leaf from the plant with his left hand. |
| #c lifts the t-shirt | #c holds the wheel with his left hand. | #o a man y sits on a chair | #c pulls his hand off the chess piece |
| #c drops the plate | #c puts the brush in the colours. | #o a woman x steps forward. | #c holds the knitting needle with the other hand |
| #c holds the piece of cloth | #c places plastic models kit on the table | #o a person x hits the cricket ball | #c opens the screwdriver container with his hands |
| #c fixes on the model craft | #c arranges the doughs on the tray | #o a man y throws the ball towards man x | #c touches the piece of wood with the hand |
| Camera wearer motion | Summary narrations | | |
| #c raises hands | c was in a room,fixed a wood model kit. #summary | | |
| #c stands | c tightened the motor on the head of the hoe of the lawn mower. c cut grasses on the field with the lawn mower. #summary | | |
| #c stands up from the stairs | c was in a kitchen,he cut sausages in to pieces with a knife,mixed the sausages and cooked them with a pan. #summary | | |
| #c walks around a kitchen | c was in the house and she studied #summary | | |
| #c sits up | c studied in a room. c went through a mobile phone and a mobile tablet while reading in the room. #summary | | |
Table 2. Text examples of narrations. The collected narrations describe diverse aspects of human activity. Summary narrations capture high level descriptions of activities in a 5 minute clip. See Figure 14 for visual examples.
以确保名词分类体系不会产生歧义（例如，“蛋壳”中的修饰语“蛋”和名词词根“壳”）；集合名词则被映射为其主要实体（例如，“一块奶酪”→“奶酪”）。最后，我们对动词和名词进行人工聚类，以避免分类体系中出现冗余（例如，“cut”、“chop”、“slice”都被归入“cut”这一动词类别）。
最终形成的分类体系包含115个动词（$\mathcal{V}$）和478个名词（$\mathcal{N}$）。图39展示了应用该分类体系标注的视频数据中动词和名词的分布情况。关于该分类体系在基准测试任务中的应用细节，可参见J.2节。
### D.4 用于标注优先级确定的叙述
Ego4D中的所有视频都有相应叙述，其中一部分还会针对各基准测试进行人工标注。我们并非随机为某个基准测试选取标注样本，而是旨在锁定与任务最相关的样本。例如，可能包含多人对话的视频对音频说话人分离基准测试而言最具研究价值，而手部与物体交互丰富的视频则对手部与物体交互基准测试最为重要。为此，我们利用叙述和总结内容作为工具，自动确定各基准测试需标注的视频优先级。相关细节可在下方的基准测试附录中查看。
---
Figure 14. Example narrations at keyframes of video. #C refers to the camera-wearer. The last row shows narrations that include other people that participate in activities with the camera-wearer (denoted by other letter tags, e.g., #O, #X).
### D.5 贡献声明
Tushar Nagarajan负责制定分类体系，协助编写叙述说明，并完成了论文中呈现的叙述分析。Kristen Grauman参与了叙述说明的编写，协助协调试点项目和标注工作，并对分类体系的建立做出了贡献。Michael Wray共同制定了该分类体系。
---
Figure 15. Collected narration statistics. Left: Distribution of frequency of narrations collected. Middle and right: The distribution of length of the collected narrations and summaries. Summaries are naturally longer, and describe activities at a higher level compared to individual action narrations. See text for discussion.
Figure 16. Distribution of objects in narrations of videos from eight common scenarios. The variety of objects covered across scenarios showcases the diversity of activities in the video collected.
Figure 17. Narration verb/noun distribution. Distribution of automatically extracted verbs (top) and nouns (bottom) from narrations. Top 150 most frequently occurring of each is shown for clarity.
---
| Num hours | Num clips | Avg clip length |
| EM VQ-2D | 432.9 | 5,831 | 6.1 min |
| EM VQ-3D | 13 | 159 | 4.9 min |
| EM Moments | 328.7 | 2,522 | 7.9 min |
| EM NLQ | 227.1 | 1,659 | 8.2 min |
| Hands+Obj. | 196.2 | 88,585 | 8.0 sec |
| Forecasting | 110.5 | 1,498 | 4.4 min |
| AVD | 47.7 | 572 | 5 min |
| Social | 47.7 | 572 | 5 min |
Table 3. Amount of annotated data for each benchmark. EM refers to Episodic Memory and AVD refers to Audio-Visual Diarization. All 3,670 hours of video have narrations and features.
### E. 基准数据集划分
对于每个基准任务，Ego4D视频库中的特定部分会被标注。表3展示了各任务标注数据量的分布情况。需要注意的是，与AVD和Social任务相关的视频总时长为764小时（即包含音频、对话且人脸未模糊的视频），其中已标注的部分为47.7小时。对于其他基准任务而言，数据与任务的关联性相对较弱（例如，记忆查询可应用于这3670小时内的任意视频）。后续附录将详细说明我们针对各基准任务选取标注数据的方式。
在公开的Ego4D基准挑战赛中，我们确保同一类相关任务内的数据划分保持一致。例如，所有预测任务和手部+物体任务采用相同的划分方式，且一个任务中的训练视频不会用作另一个任务的验证视频。同样，情景记忆任务也共享同一套划分规则。不过，由于不同任务所选用的标注视频存在差异，要确保跨任务的划分一致性较为困难。例如，Social基准任务侧重于多人交互场景，这类场景中手部与物体的互动可能较少；因此，Social任务和手部+物体任务所标注的视频重叠度很低，其训练/验证/测试集自然也就有所不同。
由于我们计划将测试集用于公开挑战赛，因此会保留所有的测试集标注数据，仅通过提交服务器提供访问权限。同时，我们也会保留与任何测试集重叠的叙述内容。
---
### F. 情景记忆基准测试
本节将详细介绍情景记忆基准测试的任务定义、标注信息、基线模型及结果。
### F.1 正式任务定义
如主论文所述，情景记忆查询分为三种类型：视觉查询、自然语言查询和时刻查询，每种查询都需要在视频中定位对应的响应。它们的正式定义如下。
视觉查询（VQ）该任务旨在基于物体的静态图像裁剪图来查询第一人称视角视频。具体来说，它会提出这样的问题：“物体X在视频中最后一次出现在哪里？”，其中X是一张能够清晰显示该物体且可被人类识别的“标准”图像裁剪图。视觉查询的一个潜在应用场景是：用户通过展示一张照片（“这是我的钥匙”）来让系统识别新物体，随后在过往视频中查询该物体的位置。相较于类别查询，视觉查询实现了开放世界中的物体定位功能。
我们将该问题表述如下：给定一段第一人称视角视频V、通过静态视觉裁剪图v指定的查询物体o，以及查询帧q，目标是确定在查询帧q之前物体o最后一次出现在视频中的时间。响应被定义为“响应轨迹”r，即每一帧中围绕物体o的时空连续边界框集合：
$$ r=\big\{r_{s},r_{s+1},\cdots,r_{e-1},r_{e}\big\}, $$
其中，s表示物体o（至少部分地）进入拍摄者视野的帧，e表示物体退出拍摄者视野的帧，而$r_i$是在第i帧中的边界框$(x,y,w,h)$。如果该物体在视频中出现多次，响应仅指向过去该物体“最近一次出现”的情况，即能够最小化$q-r_e$并满足$q>r_e$条件的响应轨迹。
当有关该视频的环境的3D扫描数据可用时，响应还会包含查询发生位置（即查询帧q处）与环境中最后一次看到该物体的位置（即响应轨迹终点$\Delta d = (\Delta x, \Delta y, \Delta z)$处）之间的3D位移向量$r_e$。
自然语言查询（NLQ）：NLQ任务旨在实现通过自然语言查询在第一人称视频中检索信息。系统会对查询作出响应，提供视频内的一个时间窗口，从中可以推导出查询的答案。这些查询可能涉及用户情景记忆中出现的物体、地点、人物和活动。需注意，我们仅考虑情景查询，即从第一人称视频中即可回答/推导出的查询，而不包括事实性查询，即需要借助外部知识库才能回答的查询。
NLQ是一项具有挑战性的多模态任务，需要视觉与语言理解及推理能力。以查询“我离开派对前拿起了什么？”为例，为满足该请求，系统需要：(a) 解析并理解该语言查询，即寻找用户在某一事件（离开派对）之前与之交互的物体（拿起的物品）；(b) 浏览第一人称视频并定位“离开派对”这一目标事件；(c) 在视觉上搜索该事件之前用户与之交互的物体。这个例子从视觉（识别事件、物体、地点等）和语言（分解推理、理解关系等）两个角度体现了NLQ的复杂性。此外，NLQ中多样的查询类型虽能通过直观的语言界面实现灵活的检索，但也增加了任务的难度。
具体来说，NLQ的定义如下：给定一段第一人称视频V和一个自然语言查询Q，目标同样是确定一条“响应轨迹”r，使得可以从r中推导出Q的答案。该响应轨迹应是V内时间上连续的若干帧。鉴于任务的情景性，r应足以回答Q，无需额外的V或外部知识库支持。
时刻查询（MQ）：该任务旨在基于动作类别对第一人称视频进行查询。具体而言，它提出如下请求：“找出视频中我做X的所有时刻”，其中“X”来自预定义的动作类别分类，如“与他人互动”或“使用手机”。与自然语言查询相比，时刻查询侧重于日常动作或活动。一个时刻查询可能对应视频中的多个响应实例（时间窗口）。该任务为用户提供了一种快速便捷的方式，可一次性检索多个动作时刻；用户无需费心组织描述性语句，只需直接从预定义的类别中选择即可。
时刻查询任务与时序动作检测任务相关[^141] [^229] [^237]，后者旨在识别并定位视频中所有发生的各类动作的实例。这两种任务都预先定义了动作类别列表，且都旨在预测具有时间边界的多个动作实例。二者的区别在于：1）我们的时刻查询任务属于检索任务，其中动作类别被用作查询条件，这意味着它无需生成不在查询范围内的类别实例；2）我们的时刻分类体系专门针对第一人称活动场景。我们关注的是中等粒度级别的活动时刻——比Forecasting中的动作更粗略，又比主论文图3中所示的“场景”标签更细致。
---
| Navigation verbs for entropy-based video selection |
| appear | ascend | bend | bring | carry | catch |
| climb | close | come | descend | dig | dispose |
| drag | dribble | drop | enter | fall | fetch |
| find | fly | gather | get | give | grab |
| hang | jog | jump | kick | lean | leave |
| lift | lower | move | navigate | open | propel |
| raise | return | ride | rise | run | shut |
| steer | step | turn | vacuum | walk | |
Table 4. We prioritize videos to annotate for visual queries based on the entropy of these navigation-related verbs in the narrations.
时刻查询任务也与视频时序语言定位任务相关[^236]，后者旨在根据自然语言句子提出的查询，从视频中检索出对应的片段。这两种任务都基于查询条件，且都旨在预测相应的时间片段。二者的区别在于：时刻查询任务使用预定义的查询类别而非自然语言句子，且一个查询可以对应多个实例，而非唯一的实例。
我们对该问题的表述如下：给定一段第一人称视频$\mathcal{V}$以及一个查询动作类别c，目标是在视频中检索出该动作类别的所有实例，假设查询是在视频结尾时提出的。输出结果为类别c的动作实例集合$\Phi_c = \{\phi_n = (t_{n,s}, t_{n,e}, s_n)\}_{n=1}^N$，其中n表示该类别的实例数量，$t_{n,s}$和$t_{n,e}$分别为第$n^{th}$个实例的开始时间和结束时间，$s_n$则是该实例的预测置信度。
### F.2 选择用于标注的视频片段
对于所有基准测试，我们依据地理多样性和场景多样性标准来采样用于标注的视频片段。对于情景记忆任务，我们额外制定了旨在突出对该任务最具价值的数据的采样标准，具体如下。
视觉查询：用于视觉查询（VQ）标注的视频片段是根据物体出现的频率以及视频中的导航情况来选择的。要想在视频中得到有趣的视觉查询内容，视频中必须存在多个可被查询的“有趣”物体。在视觉查询的语境下，若某个物体在两次出现之间存在足够大的空间和时间间隔，则该物体就属于“有趣”的物体。这种情况通常发生于佩戴摄像头的人短暂停留在物体附近后，先前往其他地方，之后才再次回到该物体所在位置。例如，假设某人打扫完客厅后，去厨房待了一段时间，随后又重新回到客厅。当此人身处厨房时，客厅中的大多数物体都适合作为视觉查询的对象。
为了根据这些条件筛选视频，我们采用两步流程。首先，我们根据相关的“场景”标签（见图3）过滤视频，这些标签提供了关于视频内容和活动的高级信息（如烹饪、清洁、打高尔夫等）。我们会手动预览每个场景中随机抽样的视频，以找出有趣的场景，例如烹饪、室内导航、农耕、清洁和购物。接着，我们依据叙述内容对每个场景内的视频进行排序。具体来说，我们会提取叙述中的动词列表（及其出现频率），然后计算人工筛选出的导航动词分布的熵值（见表4）。若视频的导航熵值较高，则更有可能支持具有挑战性的视觉查询。对于熵值接近零的视频，我们发现拍摄者通常静止在同一位置，没有任何移动。最后，可用于3D定位任务的3D扫描数据数量有限。无论其导航熵值如何，与这些扫描数据相关的视频都会被优先考虑，以支持VQ任务的3D响应版本。
自然语言查询：对于NLQ任务，我们采用与上述VQ任务类似的采样标准，但会加以调整以避免重复动作（例如坐在沙发上缝纫）。首先，我们手动挑选合适的场景（见图3），其中优先选择那些导航术语熵值较高的片段。最后，我们通过计算片段叙述中独特动词数量与该叙述中动词总数的比值来确定非重复性动作——比值越高越好。
时刻查询：为了挑选用于时刻查询的片段，我们计算动词/名词与时刻分类体系的重合度，采用类似的基于熵值的评分方式对视频进行排序。此外，我们将视频限定为分类体系中存在的固定类别，以避免给不包含相关活动的视频贴标签。
### F.3 标注
接下来我们将介绍情景记忆的标注流程和输出结果。
视觉查询：在标注视觉查询时，我们首先从有趣的视频集中抽取长度各异的连续片段（5分钟、8分钟和16分钟）。标注员需为每个片段创建并标注3个视觉查询。一个视觉查询包含查询帧q、查询对象o的视觉裁剪区域v、响应轨迹r = {r_s, r_{s+1}, ⋯, r_{e-1}, r_e}，以及该对象的文本名称（如杯子、锤子、扫帚等）。标注员标注给定片段时需执行以下步骤：
1. 在片段中找出三个有趣的查询对象。若一个对象至少出现在视频的两个不同部分，则该对象被视为有趣的。
---
视频的各个部分。
2. 为指定对象输入文本名称。虽然当前任务中使用的是图像裁剪而非名称进行查询，但此类标注可为未来基于名称查询对象的变体任务提供支持。
3. 选取视频中该对象的一次出现，并标记一个视觉裁剪区域$v = (x_v, y_v, w_v, h_v)$。该视觉裁剪区域必须是能代表该对象的优质视图，且需具备良好的光照条件、足够大的尺寸，同时不能模糊。
4. 将物体的另一个出现位置标记为响应轨迹 $r = \{r_s, \cdots, r_e\}$。该响应轨迹从物体首次可见的帧开始，到物体离开视野为止。响应轨迹在时间上必须是连续的，且边界框必须能准确标示出物体的位置和尺寸。
5. 查询帧 q 是在响应轨迹 r 之后某个时间点采样的。物体 o 不得在响应轨迹 r 与查询帧 q 之间出现，这样才能确保“我最后一次看到它是什么时候？”这一问题的真实答案明确且唯一。
对于每一项标注，我们都会进行自动化和人工质量检查以确保其正确性。一旦质量低于特定阈值，就会重新对该视频片段进行标注。
对于与3D扫描相关的视觉查询，我们还会收集以3D边界框形式呈现的标注，用以记录物体最后出现的位置。随后我们利用这些边界框来确定从查询帧到物体的真实位移向量，而这正是该任务的目标。每项标注 $a_{q}$ 都是在扫描坐标系 s 中收集的：
$$ T_{s}=[R_{s}|t_{s}], $$
其中 $q \in \{1, \ldots, Q\}$，Q 表示查询的总数量，而 $T_s \in \mathbb{R}^4$ 是边界框的变换矩阵。$R_s$ 和 $t_s$ 分别是标注 $a_q$ 对应的旋转和平移参数。
标注流程定义如下：一个查询包含一个视频片段、一个视觉裁剪区域以及一个响应轨迹。对于每个查询，目标是在扫描结果中找到视频中所定义物体的位置。找到该位置后，我们会在此处绘制一个具有合适比例和方向的3D边界框。需要注意的是，3D扫描和视频是在不同时间录制的。因此，视频中某一位置的物体很可能并不会出现在3D扫描的同一位置。遇到这种情况时，我们会要求标注员在3D扫描中、按照视频里目标物体的位置来虚构一个3D边界框。
为了验证标注的准确性，我们会从两位不同的标注员处针对每个查询收集两个3D边界框。利用这两个边界框，我们可以计算出以下验证指标：
$$ d_{norm}=\frac{\|c_{1}-c_{2}\|_{2}}{m_{diag}} $$
$$ V_{n o r m}=\frac{V_{g l o b a l}}{V_{u n i o n}}, $$
其中 $c_1$ 和 $c_2$ 是两个边界框的质心，$m_{diag}$ 是两个边界框的平均对角线长度，$V_{global}$ 是两个边界框所构成的3D凸包的体积，$V_{union}$ 是两个边界框的并集体积。这些指标用于衡量两位标注员之间的一致性程度。当两次标注完全吻合时，这些指标的值会等于 $d_{norm} = 0$ 和 $V_{norm} = 1.0$。我们的假设是：如果两位标注员对边界框的位置、比例和方向意见一致，那么该标注很可能是正确的。若两次标注差异较大，我们便会舍弃该查询。出现这种情况的原因可能有二：(1) 某位标注员对查询的标注有误；(2) 该查询难以标注。有些查询需要大量凭空推测才能确定物体在扫描结果中的位置，这显然会导致标注具有主观性。我们通过经验设定了两个阈值：$d_{norm}$ 的1.5倍以及 $V_{norm}$ 的15倍，用以筛选掉质量较差的标注。只要其中一个指标超过可接受阈值，该查询就会被排除。
自然语言查询：为了收集NLQ标注数据，我们选取时长为8分钟和20分钟的连续视频片段。标注员需观看这些片段，并生成自然语言查询，重点在于提取以自我为中心的视频片段中物体、地点和人物的相关信息。为减轻标注员的认知负担，使其专注于与记忆相关的查询，我们还提供了13个查询模板列表（见表5），这些模板对应着用户为辅助记忆可能提出的查询。需要注意的是，这些模板仅用于指导查询选择，并不限制语言表达的多样性，因为标注员被要求对模板进行改写，而非直接照搬。
具体来说，标注员需按以下步骤操作：
1. 观看完整的视频片段V以了解其整体背景（可选择以$2 \times$快进方式观看），
2. 从现有列表中挑选一个查询模板，并对该模板进行改写以获得查询Q。例如，模板“物体X在事件Y发生前后位于何处？”可被改写为“我的狗离开客厅之前，那个蓝色桶放在哪里？”
---
| Category | Template |
| Objects | Where is object X before / after event Y?\nWhere is object X?\nWhat did I put in X?\nHow many X's? (quantity question)\nWhat X did I Y?\nIn what location did I see object X ?\nWhat X is Y?\nState of an object\nWhere is my object X? |
| Place | Where did I put X? |
| People | Who did I interact with when I did activity X?\nWho did I talk to in location X?\nWhen did I interact with person with role X? |
Table 5. The NLQ templates capture a diverse set of queries that humans can ask to augment their memory and recollect objects, places, and people in their everyday experience.
3. 找出能够通过视觉信息推断出自然语言查询答案的时间段，并将其标注为r。
在数据收集过程中，我们还要求标注员标出所选语言查询模板中的槽值及对应的动词。虽然我们并未在任务中使用这些信息，但它们可能对未来的其他研究有所助益。
所收集的查询需满足以下要求：它们应当：(a) 反映辅助人类记忆的深层动机；(b) 在语言以及物体、地点、人物和事件方面丰富且多样；(c) 对智能系统而言具有足够挑战性，但又不至于过于复杂或晦涩，以免影响查询的自然性。例如，尽管“我的狗离开房间后，我叠第七件T恤时电视上正在播放什么？”这一查询从学习角度来看颇具挑战性，但从应用层面讲却不够自然。为确保NLQ具备上述特性，我们设定了以下约束条件：
- 所有改写后的语言查询必须采用过去时，且需在观看完整视频片段后作为问题提出。这契合现实生活中用户对情景记忆（过去）的查询场景，也能消除当同一物体出现多次时对最后一个相关实例的歧义。
- 考虑到以自我为中心的视频中视角的瞬时切换，我们允许针对某一查询的相关帧之间存在短暂中断（少于3秒）。换句话说，由于瞬间视线转移导致感兴趣的物体/人物/地点离开视野不到3秒的情况，仍被视为连续的。
对于某个查询，若存在多个不连续的时间段（间隔超过3秒）均可作为独立的有效答案，我们会要求标注员要么舍弃该查询并重新创建，要么补充更多细节以使表述更具体。同样，需要多个时间段（间隔超过3秒）才能得出答案的查询也不被允许。例如，如果打包衣物的过程跨越多个时间间隔且超过3秒（比如用户中途暂停去煮咖啡，再继续打包），那么“我在行李箱里装了多少件衬衫？”这一查询便无效。
- 我们鼓励多样性，要求查询响应不能集中在视频片段的某一区域，也不能局限于少数物体、地点或人物。此外，我们还规定查询响应窗口的长度不得超过视频总时长的50%。
最后，需要基于视觉证据进行推理和判断的查询是无效的。例如，“墙上挂的是哪个国家的国旗？”属于无效查询，而“墙上挂的国旗位于何处？”则是有效查询。同样，猜测视频中用户或其他人物的动机或意图的查询也不被允许。比如，“门口的人为什么把包裹留在门廊上？”属于无效查询，而“那人把什么留在了门廊上？”则属于有效查询。
标注流程结束后，我们会进行自动和人工质量检查，包括语言查询的多样性和时间窗口的位置，以此对标注结果打分。如果整体质量得分低于阈值，该视频片段会被重新标注。
时刻查询的标注方法是：从有趣时刻视频集中抽取时长为8分钟的连续视频片段。标注人员需按照指示，用时间窗口标记出活动实例，并从固定的活动分类表中选取对应的活动名称。每个实例由三名独立的标注人员标注。由于假定每位标注人员都可靠，我们取多名标注人员标注结果的并集，以确保标注的完整性。
该分类表是通过半自动方式从叙述文本中生成的。具体来说，我们使用针对五分钟视频片段收集的摘要叙述，因为它们能捕捉到更适合时刻检索任务的高层次事件和活动。这与动词-名词分类表不同，后者源自对每个原子动作的单独叙述，被用于Forecasting和Hands and Objects基准测试（详见附录G和J）。
---
该分类表的创建过程如下：首先，使用预训练的BERT [^51]语言模型将每篇摘要叙述编码为特征向量，再将其与从摘要中提取的主要动词和名词的词嵌入拼接起来。随后对这些摘要进行聚类，再根据聚类所描述的一致活动手动为其分配标签。
需要注意的是，这一过程是针对我们选定的一组场景独立开展的。选择这些场景的依据是它们在数据集中的出现频率、所代表的活动多样性，以及是否可能包含高层次、类似事件的活动。例如，主要只包含“驾驶”这一单一活动的视频在此场景下并不具备研究价值，而“家庭清洁”涉及多种在其他室内任务中也会出现的活动，因此属于合适的场景。最终，我们选取了5个场景的视频来构建时刻分类表：烹饪、清洁、购物、维修、农夫/园丁。每条标注的格式为（开始时间，结束时间，标签）。
### F.4 数据分析
现在我们来概述各类查询的标注统计数据。
视觉查询：VQ标注包含来自不同场景和大学的样本（见图20和21）。总共对433小时的视频进行了标注，涉及22,602个视觉查询。这些视频取自10所大学，涵盖54种场景。训练集/验证集/测试集的统计数据见表6。我们确保各子集中的视频互不重叠。为了排查数据中可能存在的偏差，我们绘制了三个指标的分布图。
1) 查询与响应的时间间隔指的是查询帧与响应轨迹终点之间的时间距离（以帧为单位）。该指标衡量算法为找到查询对象需要回溯的时间长度。
2) 响应轨迹长度用于衡量响应轨迹的时间跨度。
3) 响应框位置是指响应轨迹中每个边界框的空间起始和结束$(x, y)$坐标。考虑到数据中图像尺寸各异，我们对坐标进行了归一化处理，使其基于图像宽度和高度计算。边界框内的每个像素都会参与生成图像热图，用以显示该像素属于响应轨迹边界框的频率。
相关分析结果如图22所示。查询与响应的时间间隔在1到200帧之间分布较为均匀，其众数为$\sim$ 30帧（见左图22）。响应轨迹长度在1到40帧之间分布合理，众数为$\sim$ 8帧（见中图22）。边界框在图像中的分布近乎均匀，
| Split | Train | Val | Test |
| # video hours | 262 (19) | 87 (5) | 84 (9) |
| # clips | 3.6k (164) | 1.2k (44) | 1.1k (69) |
| # queries | 13.6k (604) | 4.5k (164) | 4.4k (264) |
Table 6. Visual queries dataset statistics. The numbers in the parantheses correspond to the subset of data used for 3D localization, where we focus on videos for which we have Matterport3D scans.
| Split | Train | Val | Test |
| # video hours | 136 | 45 | 46 |
| # clips | 1.0k | 0.3k | 0.3k |
| # queries | 11.3k | 3.9k | 4.0k |
Table 7. NLQ dataset statistics across the train/val/test splits.
仅有极少数边界框被标注在图像顶部10%的区域（见右图22）。分析表明，前两个指标可能存在偏差，而边界框的位置则基本无偏差。
对于3D定位任务，我们对1,043个视觉查询的子集进行了3D标注。这些标注涉及来自卡塔尼亚大学（UNICT）的4组扫描数据，共计13小时视频。
自然语言查询：如表7所示，NLQ标注源自227小时的视频，共包含19.2K个查询，覆盖选定的13种查询模板。相关视频片段来自10所不同的大学，涵盖34种场景（每种场景至少有1小时视频被标注）。与情景记忆中的其他任务类似，我们确保训练集/验证集/测试集（占比分别为60%、20%、20%）中的视频片段互不重叠。我们进一步通过以下方式分析数据：(a) 模板查询的分布情况如图24所示。其中最具挑战性的模板“物体X在事件Y发生前后位于何处？”最为常用，相关查询量约达3K条，其他模板的分布也较为合理。总体而言，NLQ中的查询包含$8.3 \pm 2.1$个单词。(b) 响应窗口长度的分布情况如图25所示。通常，这些窗口的长度为$9.3 \pm 21.5$秒。
与整段视频相比，大多数响应窗口的长度较短，这使得该任务成为极具挑战性的“大海捞针”式搜索问题。(c) 查询词的分布情况如图19所示。分支结构体现了NLQ中查询的丰富性与多样性。
时刻查询：对于MQ任务，与情景记忆中的其他任务类似，我们保持训练集/验证集/测试集之间6:2:2的比例，且各子集中的视频片段互不重叠。为确保每个类别都有足够的样本——
---
Figure 18. Distribution of moments labels. The figure shows the number of instances per category across 5 scenarios and 300 hours of data. All 110 categories are shown, sorted by frequency. The distribution is long tailed, with the smallest classes containing at least 50 instances. Note that these are only the Moments for Episodic Memory with temporal window annotations in the current release; Ego4D has many other scenarios and activities not reflected in this distribution.
Figure 19. Distribution of query words in NLQ.
我们仅保留那些在标注中至少包含50个实例，且在训练集/验证集/测试集中均有实例出现的类别。
因此，MQ数据集包含110个类别，总计326.4小时的视频、2,488个视频片段以及22.2k个动作实例。我们在表8中总结了三个子集的统计数据。我们进一步从以下几个方面对数据进行分析：(a) 动作持续时间的分布如图26所示。可以看出，大多数时刻的持续时间非常短。大部分时刻的持续时间不到1分钟，其中22.4%的动作持续时间不足3秒。值得注意的是，在持续时间最长的区间也存在峰值（占2.6%的实例），这些动作几乎覆盖了整个视频。
| Split | Train | Val | Test | Total |
| Video hours | 194.9 | 68.5 | 62.9 | 326.4 |
| # Video clips | 1,486 | 521 | 481 | 2,488 |
| # Instances | 13.6k | 4.3k | 4.3k | 22.2k |
Table 8. MQ dataset statistics across the train/val/test splits.
每个实例的平均持续时间为45.2秒。(b) 不同类别的分布如图18所示。我们发现这是一种长尾分布：有些类别（如“使用手机”、“与他人交谈/互动”）的实例数超过1,000个，而有些类别的实例数不到100个。平均而言，每个类别有205个实例。(c) 视频片段中实例数量的分布如图27所示。大多数视频片段包含1-20个时刻实例，而仅有极少数视频片段的实例数能超过80个。
### F.5 评估指标
接下来我们将详细介绍针对所有三种查询类型的评估指标。
视觉查询：我们为二维定位任务定义了以下基于top-1检索的定位指标。
时间AP（tAP）用于衡量预测结果的时间范围与真实响应轨迹的匹配程度。它通过计算预测响应轨迹时间范围的平均精确度得出，其计算方式基于ActivityNet mAP指标[^61]。我们会在4个不同的tIoU阈值$\{0.25, 0.50, 0.75, 0.95\}$下评估tAP，同时也会计算其平均值。
时空AP（stAP）用于衡量预测的时空范围与真实响应轨迹的匹配程度——
---
Figure 20. Distribution over scenarios for visual queries. The dataset contains a long-tail of scenarios. The plot title indicates the number of scenarios and the total video hours included in the dataset.
Figure 21. Distribution over universities for visual queries. The dataset contains annotations corresponding to videos from 10 universities. The plot title indicates the number of universities and the total video hours included in the dataset.
真实响应轨迹。它通过计算预测空间管体的平均精确度得出，其计算方式基于来自[^88]的视频AP指标。我们会在4个不同的stIoU阈值$\{0.25, 0.50, 0.75, 0.95\}$下评估stAP，同时也会计算其平均值。
成功率（Succ）用于衡量预测结果是否与真实结果存在重叠。它的计算方法为：预测响应轨迹与真实结果之间的时空IoU至少为0.05的样本所占的百分比。
恢复率（rec%）用于衡量预测结果对真实响应轨迹的还原程度。它的计算方法为：响应轨迹中预测边界框与真实结果之间的IoU至少为0.5的帧所占的百分比。这一指标的设定参考了VOT挑战赛中的跟踪鲁棒性指标[^121]。
搜索效率（sEff）用于衡量算法搜索查询对象的效率。它的计算公式为——
$$ sEff=1-\frac{n}{N} $$
其中n表示算法为预测响应轨迹所预览的视频帧数，N表示发起查询前视频中的总帧数（即搜索窗口）。若算法在定位查询对象前需要遍历搜索窗口中的所有帧，则其搜索效率为0.0。这一“时效性”指标旨在鼓励研究者开发能够执行智能上下文搜索的方法。
我们使用均方根误差（RMSE）和角度误差指标来评估3D VQ定位任务的性能：
$$ \mathrm{RMSE}=\|t_{s}-\hat{t}_{s}\|_{2} $$
$$ \mathrm{a n g u l a r\_{e} r r o r}=\mathrm{a c o s}\big(\frac{v_{Q}^{T}}{\|v_{Q}\|_{2}}.\frac{\hat{v}_{Q}}{\|\hat{v}_{Q}\|_{2}}\big) $$
其中，$t_s$ 和 $\hat{t}_s$ 分别是扫描坐标系中的真实物体位置和预测物体位置。$v_Q$ 和 $\hat{v}_Q$ 则是查询帧 Q 坐标系中的真实 3D位移向量和预测 3D位移向量。我们还定义了一个利用每个查询对应的两种标注得出的成功度量指标：
$$ \mathrm{s u c c}=\|c_{m}-\hat{t}_{s}\|_{2}<6\times(\|c_{1}-c_{2}\|_{2}+\delta) $$
设 $c1$ 和 $c2$ 为两个边界框标注的质心，$c_m$ 为 $c1$ 与 $c2$ 之间的中间质心，而 $\delta = \exp^{-m_{diag}}$ 则对应两个框的平均对角线长度，其中 $m_{diag}$ 表示这一平均值。
自然语言查询：NLQ的评估方式与现有的视频-语言定位问题类似。遵循先前的研究 [^236]，我们采用召回率@k、IoU=m这一指标，其中选取 $k = \{1,5\}$ 和 $m = \{0.3,0.5\}$。该指标用于计算
---
Figure 22. Visual queries bias analysis. We analyze the full VQ dataset for potential biases. Left: The plot shows the distribution of query to response separation distances in the VQ dataset. While the mode of the distribution is $\sim$ 30 frames, we can see that separation distances are fairly spread between 1 to 200 frames. Center: The plot shows the distribution of response track sizes in the VQ dataset. While the mode of the distribution is $\sim$ 8 frames, we can see that the response track sizes are well distributed between 1 to 40 frames. Right: The heatmap shows the normalized frequency of each pixel belonging to a response track bounding box. The bounding boxes near-uniformly distributed across most of the image.
Figure 23. Distribution over scenarios for the NLQ annotations, indicating a long tail over scenarios. Note that the scenario labels are approximate and a single video can contain multiple scenario labels. For this plot, we equally divide the time across all the labelled scenarios.
前 k 个预测候选结果中至少有一次的交并比（IoU）达到阈值 m 的百分比。需要注意的是，由于窗口的平均长度（$\sim10s$）远小于视频片段的长度（500秒），仅约为视频片段长度的2%，因此我们倾向于采用较低的阈值 m。
时刻查询：鉴于时刻查询任务与时间动作检测 [^61] [^141] [^229] [^237] 以及视频定位 [^236] 任务相关，我们将其各自对应的指标适配到时刻查询中。
平均精度（AP）是时间动作检测中常用的指标。它衡量各类别下预测结果的时间范围与真实动作实例的匹配程度，涵盖精确率和召回率两个方面 [^61] [^141] [^229] [^237]。预测结果与真实动作实例之间的时间交并比（tIoU）被用来衡量二者的差异：若 tIoU 高于某一阈值，则该预测被视为真阳性；否则为假阳性。在具有代表性的时间动作检测数据集（如 ActivityNet [^61]）中，会在给定 tIoU 阈值的情况下计算所有类别的平均 AP（mAP）。系统会采用多个 tIoU 阈值，再计算这些阈值下 mAP 的平均值。对于时刻查询，我们在 5 个不同的 tIoU 阈值 {0.1, 0.2, 0.3, 0.4, 0.5} 下评估 mAP，同时也会计算它们的平均值。
召回率@kx, tIoU=m是从NLQ所用的召回率@k, tIoU=m指标衍生而来的。召回率@k, tIoU=m指标用于衡量在top-k结果中，至少有一次预测的tIoU超过阈值 m 的查询语句所占百分比。在时刻查询的场景中，由于一个查询时刻类别可能对应多个实例，我们需要衡量所有正确预测的实例中，在该实例的top-k结果里至少有一次预测的tIoU超过阈值 m 的实例所占百分比。考虑到预测通常是基于类别而非具体实例做出的，我们对指标进行了如下修改，得到召回率@kx, tIoU=m：
---
Figure 24. Distribution of queries over the corresponding templates across objects, place, and people categories (Tab.5). See text for more details.
Figure 25. Distribution of response window length for NLQ. For the sake of brevity, we use the last bin to represent all windows longer than a minute. See text for more details.
Figure 26. Distribution of moment duration.
其中，x表示一个视频中某查询类别对应的实例数量。该指标衡量的是所有正确预测的实例中，在该动作类别的top-kx结果里至少有一次预测的tIoU超过阈值 m 的实例所占百分比。这一指标的设计思路与 [^240] 中提出的多标签指标类似。
Figure 27. Distribution of instance numbers in one video clip.
在处理查询的多个实例时，我们在指标中使用 k = 1、2、3 以及 m = 0.3、0.5、0.7。与平均精确度相比，该指标仅评估查询类别的召回率，而不会因视频中某类别没有实例就给出假阳性预测的惩罚。
### F.6 基线模型
我们为每项任务开发了基线模型。这些模型是为解决我们的任务而设计的，在相关地方采用了最先进的组件。它们构成了未来研究可以依托的起点。
## 视觉查询二维定位基线模型
我们将具有二维定位功能的视觉查询（VQ2D）视为检测+跟踪问题（见图28）。从宏观上看，我们的方法包含三个步骤。首先，我们对输入视频进行帧级检测，利用物体检测模型识别每一帧中查询物体的存在情况（图28顶部）。对于每一帧，我们都能得到与视觉裁剪区域最相似的边界框，以及反映其视觉相似度的得分。其次，我们考虑整个视频中各帧的相似度得分序列，找出这些得分中最近出现的峰值（图28左下）。最后，我们在出现峰值检测的视频帧处初始化跟踪器，并沿正向和反向跟踪查询物体，从而恢复完整的响应轨迹（图28右下）。
步骤1：帧级检测 我们提出了Siam-RCNN，这是一种基于Faster-RCNN [^189] 的方法，用于在给定的图像中检测查询物体。见图28顶部。对于时间t的视频帧，我们使用预训练的区域提议网络（RPN）[^189] 配合特征金字塔网络（FPN）[^142] 骨干网络来生成边界框提议$\{b_1, \cdots, b_N\}$。随后通过RoI-Align操作[^94] 提取每个边界框的视觉特征$\{\mathcal{F}(b_1), \cdots, \mathcal{F}(b_N)\}$。我们使用相同的FPN骨干网络为视觉裁剪区域v提取特征。为了检测帧t中查询物体的存在情况，每个提议特征$\mathcal{F}(b_i)$会
---
Figure 28. Visual queries 2D localization baseline. Our approach consists of three steps. Step 1: We perform frame-level detection for the entire input video to detect the presence of the query object (specified via the visual crop v). For each frame t, we extract the region proposals $\{b_1, \cdots, b_N\}$ using a region proposal network (RPN), and extract features for each proposal $\{\mathcal{F}(b_1), \cdots, \mathcal{F}(b_N)\}$. Each proposal feature is compared with the visual crop feature $\mathcal{F}(v)$ using a Siamese head S, and the most similar proposal $b_t$ is retrieved along with its score $s_t$. This process is repeated for all frames. Step 2: We treat the similarity scores $\mathbf{s} = \{s_1, \cdots, s_{q-1}\}$ as a temporal signal and perform temporal detection to obtain the 'most recent occurrence' of the query object. We detect the peaks (local maxima) in the signal and recover the peak p nearest to the query frame. Step 3: Given the detected peak p and its corresponding proposal $b_p$, we initialize two trackers with $b_p$ and run them along the forward and backward directions to recover a contiguous track of the object, i.e., the response track prediction.
通过孪生头S与视觉裁剪区域特征$\mathcal{F}(v)$进行比较，从而预测出0到1之间的相似度得分。
$$ s_{i}=\mathcal{S}(\mathcal{F}(b_{i}),\mathcal{F}(v)) $$
孪生网络通过卷积投影模块P将每个提议/视觉裁剪区域特征映射为1024维的特征向量，
$$ p_{b}=\mathcal{P}(\mathcal{F}(b_{i}));~p_{v}=\mathcal{P}(\mathcal{F}(v)) $$
并利用双线性运算预测0到1之间的相似度得分：
$$ s_{i}=\sigma(p_{b}^{T}W p_{v}+b) $$
其中$\sigma$表示Sigmoid非线性函数。计算出与每个边界框提议的相似度后，时间t下相似度得分最高的提议$b_{t}$ $s_{t}$ 可按照如下方式确定：
$$ b_{t}=\underset{b\in\{b_{1},\cdots,b_{N}\}}{\arg\max}\left\{s_{1},\cdots,s_{N}\right\} $$
$$ s_{t}=\max\{s_{1},\cdots,s_{N}\} $$
对上述步骤在所有视频帧上重复操作后，就能得到最终的逐帧预测结果$[(b_{1},s_{1}),\cdots,(b_{q-1},s_{q-1})]$。
步骤2：时序检测 到目前为止，我们利用Siam-RCNN得到了视频中每一帧最相似的提议及其相似度得分。接下来，我们的目标是时序上检测出视频中该物体“最近一次出现”的位置（见图28左下）。这是一个颇具挑战性的问题。
---
因为我们的目标并非识别出该物体最佳的检测结果，而是最近一次出现的位置，即便其相似度并不高。为解决这一问题，我们将逐帧相似度得分$s = \{s_1, \cdots, s_{q-1}\}$视为一种时序信号，采用信号峰值检测方法找出s中的显著峰值（即局部最大值）。为避免出现虚假峰值，我们首先使用窗口大小为5的中值滤波器对s进行平滑处理。
$$ \overline{\boldsymbol{s}}=median\_filter(\boldsymbol{s}) $$
$$ p_{1},\cdots,p_{k}=\mathrm{f i n d\_{p} e a k s}(\overline{\pmb s}) $$
根据视频的不同，算法可能会在视频中返回多个峰值（参见图28右下角的信号峰值）。由于我们的目标是检测物体最近一次出现的位置，因此我们选择在时间上最接近查询帧的峰值p。
步骤3：跟踪。经过时间维度上的检测后，我们确定了视频中物体最近一次出现的峰值帧p。对于这一帧p，我们可以从步骤1中的逐帧检测结果中获取得分最高的边界框$b_p$。需要注意的是，这仅代表物体最近一次出现的一帧图像。然而，任务目标是获取响应轨迹，即从物体首次进入视野到离开视野的所有连续帧集合。参见图28右下角。为了计算剩余的响应轨迹，我们以$b_p$为起点，向前和向后运行单物体跟踪器，直到跟踪失败（即物体离开视野）为止。
在两个方向上，我们都使用提议框$b_p$来初始化跟踪器的外观模型。对于前向跟踪，我们从帧$p+1$运行到帧$q-1$，得到跟踪区域：$\boldsymbol{b}_f = [\bar{b}_{p+1}, \cdots, \bar{b}_e]$。对于反向跟踪，我们从帧$p-1$运行到帧0，得到跟踪区域：$\boldsymbol{b}_b = [\bar{b}_s, \cdots, \bar{b}_{p-1}]$。随后我们将$\boldsymbol{b}_b$、$\boldsymbol{b}_p$和$\boldsymbol{b}_f$拼接起来，从而得到完整的响应轨迹预测结果。我们采用了KYS跟踪器[^22]，该跟踪器在单物体跟踪任务中取得了业界领先的效果。
VQ2D基线模型的训练设置。现在我们来介绍VQ2D基线模型的训练流程。VQ2D任务中的每个数据点（基于Ego4D视频定义）包含以下内容：视频V、视觉裁剪图像v、查询帧号q，以及响应轨迹框$r = \{r_s, r_{s+1}, \cdots, r_e\}$，其中s和e分别是r的起始帧和结束帧，而$r_i$是在视频V的第i帧上定义的边界框。
从宏观层面来说，我们使用在MS-COCO上预训练的Mask-RCNN模型的权重来初始化并冻结主干网络$\mathcal{F}$和RPN。我们利用VQ2D标注数据来训练SiamHead$(\mathcal{S})$。我们还使用在GOT-10k[^99]、LaSOT[^62]和TrackingNet[^162]数据集上预训练的权重来初始化并冻结KYS跟踪器。
接下来我们详细介绍SiamHead$(\mathcal{S})$的训练流程。我们采用相似性检索方法，训练模型以预测视觉裁剪图像v与正样本之间的高视觉相似性，以及v与负样本之间的低视觉相似性。$\mathcal{S}$的损失函数是基于每个$(v, D_p, D_n)$元组定义的二元交叉熵损失（见公式16），其中$D_p = \{p_i\}_{i=1}^{|D_p|}$表示正样本检测结果，$D_n = \{n_j\}_{j=1}^{|D_n|}$表示负样本检测结果，而$s_{x,v} = \mathcal{S}(\mathcal{F}(x), \mathcal{F}(v))$：
$$ \mathcal{L}_{\mathcal{S}}=-\frac{1}{|D_{p}\cup D_{n}|}\bigg(\sum_{p\in D_{p}}\log(s_{p,v})+\sum_{n\in D_{n}}\log(1-s_{n,v})\bigg) $$
正样本和负样本都是基于RPN生成的提议框来定义的。给定一个视觉裁剪图像v，若提议框$p_i$满足$i \in (s, e)$条件，则对于$\mathrm{IoU}(p_i, r_i) \geq 0.5$而言它是正样本，其中$r_i$是帧i中的响应轨迹框。我们会剔除所有尺寸过小或与r中最大框的宽高比差异显著的$r_i$，因为这些通常对应物体被遮挡的情况。如果提议框$p_j$满足以下任一条件，则它属于负样本：
$$ 1.~j\in(s,e)\mathrm{a n d}\mathrm{I o U}(p_{j},r_{j})<0.5 $$
2. $p_{j}$取自另一段视频。
我们还发现使用硬负样本挖掘技术很有益处，即先抽取大量负样本，再从中选出损失值最高的前K个负样本。
我们采用了几种不同的数据增强策略来人为扩充数据集。首先，我们通过将视觉裁剪区域v替换为响应轨迹中的边界框$r_i$来对每个数据样本进行增强。这样做是因为响应轨迹和视觉裁剪区域对应的是同一个物体。接下来，我们对视觉裁剪区域v施加随机旋转操作，旋转角度范围在$-120^\circ$到$120^\circ$之间。这一做法利用了这样一个事实：在以自我为中心的视频中，物体可能存在显著的视角变化（这与网络照片不同）。最后，我们对视频帧和视觉裁剪区域施加随机亮度增强处理，以模拟不同的光照条件。
实现细节：我们使用Detectron2库[^225]来训练SiamHead S模型。我们采用默认配置文件，并为实验做了如下调整。每次实验中，我们使用8块GPU，每批次处理64个视觉裁剪区域，训练300,000次迭代；初始学习率为0.02，在迭代20万次后进行$0.1\times$衰减。我们从FPN的“p3”层提取骨干网络特征。根据验证结果，我们为每个视觉裁剪区域设置6个正样本和64个负样本。具体来说，我们为每个视频帧抽取58个负样本，这样每批次共有$58 \times 64 = 3712$个负样本。对于每个视觉裁剪区域，我们从3712个候选负样本中选出最难的64个。
---
在SiamHead S架构中，投影模块$\mathcal{P}$由四个残差块、平均池化层以及一层隐藏层维度为1024、采用ReLU激活函数的两层多层感知机（MLP）组成。
对于信号峰值检测，我们利用scipy库$^{12}$中的find_peaks函数，通过验证确定了以下超参数：distance=25、width=3、prominence=0.2。
实验结果：我们在表9中评估了多个基线模型在VQ2D任务上的性能。表中第一列展示了检测与跟踪方法，第二列展示了SiamHead投影架构P。除了KYS跟踪器外，我们还测试了一种简单的粒子滤波跟踪器（记为‘PF’），以评估跟踪质量的影响。作为对SiamR-CNN的消融实验，我们将SiamHead投影模块中的4个残差块替换为一个简单的三层CNN——该网络的容量更低且没有残差连接（标记为‘Simple’）。
我们得出了几点观察结果。当我们使用基于粒子滤波跟踪器的简单投影模型时，就能看到不错的验证性能：成功率为32.4%，tAP值为0.14 $_{25}$。这一成果得益于使用了强大的提议生成器（在MS-COCO上预训练的RPN）以及经过学习的孪生比较模型。若用最先进的KYS跟踪器 [^22] 替换粒子滤波跟踪器，虽然验证阶段的成功率仍保持在33.0%左右，但其他所有指标均有显著提升（绝对数值）：tAP提高2%，stAP提高2% $_{25}$，恢复率提升14.3%。这表明，要准确捕捉到目标对象的完整运动轨迹，必须先定位到其中的某一帧。最后，若将“简单”型孪生投影模块替换为包含4个残差块的结构，我们会发现成功率提升了6.8%，tAP提高5% $_{25}$，stAP提高4% $_{25}$，恢复率也提升了5%。这说明为SiamHead选用容量更大的模型，确实有助于提升VQ2D任务中的逐帧检测性能。我们在测试集上也观察到了类似趋势。有关模型预测的定性示例，请参阅图29。
在表9中的所有情况下，搜索效率均为0%，因为搜索窗口中的每一帧都使用了检测器。在图30中，我们尝试了两种用于提升搜索效率的简单方法。第一种方法是均匀地对搜索窗口中$k\%$比例的帧进行子采样（记为“SS”）。第二种方法仅在搜索窗口中最近期的$k\%$比例的帧中进行搜索，也就是与查询帧最接近的帧（记为“N”）。在这两种情况下，我们分别取k值为10%、25%和50%。观察图30中的结果可知：两种策略下，随着k值的减小，搜索效率都会提高。采用子采样搜索窗口的第一种策略性能会急剧下降，而第二种策略——即仅预览最接近查询帧的一部分帧——性能则相对稳定。例如，采用第二种策略时，借助$k = 50\%$我们就能达到48.0%的搜索效率，且性能仅相对下降6–16%。不过，若进一步减小k值，性能会显著下滑。比如，采用第二种策略时，$k = 10\%$的性能会下降38–60%。这表明，要想在保持良好性能的同时提升VQ2D的搜索效率，就需要采用更智能的上下文搜索方法。
## 视觉查询三维定位基线
接下来我们将介绍视觉查询三维定位任务的基线方法。先回顾一下任务定义：给定一段视频、一个查询帧以及目标物体的视觉裁剪图像，任务是输出从查询帧的摄像机中心到该目标物体中心的三维位移向量。目标物体的三维位置以其在该视频中最后一次出现时的位置为准。图31展示了该任务的示例。
我们的基线策略分为三步：首先估算视频的摄像机姿态；接着找出视频中目标物体最近一次出现的实例；最后估算被检测物体的深度，从而确定其相对于查询帧的三维位置。
相机位姿估计：相机位姿是通过关键点匹配策略结合透视点（PnP）求解方法来估算的。从宏观上看，我们的方法包含以下四个步骤。首先，我们利用运动恢复结构（SfM）技术来估算相机的内部参数。其次，我们从视频的每一帧中提取关键点，并将其与从Matterport3D全景图中提取的关键点进行匹配。接着，利用匹配到的关键点，为视频中的每一帧建立并求解PnP问题，从而估算出对应的相机位姿。最后，我们借助时间约束来进一步优化这些位姿。
步骤1：相机内部参数估算：我们首先从视频中提取一组连续且无模糊现象的帧。为了筛选出无模糊的帧，我们会计算每幅图像的拉普拉斯方差，并选取方差值高于100阈值的帧。随后，我们选出最大的连续无模糊图像集合。为了限制SfM模块的计算时间，我们将所选帧的数量上限设为10帧。选定图像后，我们运行COLMAP的自动重建模块[^196]，采用径向鱼眼相机模型来估算相机的内部参数。
步骤 2：关键点提取与匹配。我们使用 SuperGlue [^195] 提取并匹配关键点。我们首先从扫描全景图 $\{k_{\{p,n\}}, p \in \mathcal{P}, n \in \mathcal{N}\}$ 中提取关键点，其中 $\mathcal{P}$ 是全景图数量，$\mathcal{N}$ 是关键点数量。扫描全景图通过
---
| Detector + Tracker | P | Validation set | Test set |
| Succ | tAP | tAP $_{{25}}$ | stAP | stAP $_{{25}}$ | rec% | Succ | tAP | tAP $_{{25}}$ | stAP | stAP $_{{25}}$ | rec% |
| Siam-RCNN + PF | Simple | 32.4 | 0.06 | 0.14 | 0.02 | 0.06 | 13.2 | 32.7 | 0.06 | 0.14 | 0.02 | 0.06 | 12.9 |
| Siam-RCNN + KYS | Simple | 33.0 | 0.08 | 0.15 | 0.03 | 0.08 | 27.2 | 33.4 | 0.09 | 0.16 | 0.03 | 0.08 | 26.9 |
| Siam-RCNN + KYS | Residual | 39.8 | 0.12 | 0.20 | 0.04 | 0.12 | 32.2 | 41.6 | 0.12 | 0.21 | 0.05 | 0.13 | 34.0 |
Table 9. Visual queries 2D localization results. We compare the performance of various baselines on the VQ2D validation and test datasets. Column 1 indicates the detector and tracker. Column 2 indicates the projection architecture used in case of the Siam-RCNN model.
Figure 29. Qualitative examples for visual queries 2D localization. On each row, we show the visual crop of the query object on the right and the predicted response track in the center (3 uniformly samples images). The model was able to correctly localize the most recent occurrence of the object and accurately track it throughout the occurrence.
Figure 30. Search efficiency for visual queries 2D localization. We evaluate simple techniques for improving the search efficiency, and plot the corresponding VQ2D performance. The blue data point is the SiamRCNN performance when we preview the entire search window. The red data points are the SiamRCNN performance when we search over $k\%$ of the frames uniformly subsampled (SS) from the search window. The yellow data points are the SiamRCNN performance when we search over $k\%$ of the frames nearest (N) to the query (without any subsampling). The value of k is indicated above each data point.
Matterport SDK 生成。$^{13}$ 我们在每个扫描位置渲染 RGB 和深度图像，并沿俯仰角扫描，
Figure 31. Visual queries 3D localization task demo. The top view is the view from the last frame of the response track with the target object annotated with a 2D red bounding box. The bottom view is the view from the query frame. The target object is annotated with a 3D red bounding box at the top right of the figure. The figure shows the ground-truth (green) and the predicted (red) 3D displacement vectors.
数值为 $\in [-30, 30]$，步长为 5 度；偏航角数值为 $\in [-180, 180]$，步长为 15 度。我们生成这些数据。
---
每次扫描平均得到 7K 张图像。请注意，虽然出于数据匿名化方面的考虑我们不发布这些全景图，但我们会提供预先计算好的关键点。类似地，我们从视频帧 $\{k_{\{i,m\}}, i \in \mathcal{I}, m \in \mathcal{M}\}$ 中提取关键点，其中 $\mathcal{I}$ 是视频中的图像数量，$\mathcal{M}$ 是关键点数量。提取关键点后，我们遍历视频中的每一帧 $i \in \mathcal{I}$，并将提取出的帧关键点 $\{k_{\{i,m\}}, m \in \mathcal{M}\}$ 与所有全景图关键点 $\{k_{\{p,n\}}, p \in \mathcal{P}, n \in \mathcal{N}\}$ 进行匹配。我们使用 $^{14}$ 提供的 SuperPoint [^50] 预训练模型进行关键点和描述子提取，并使用 SuperGlue [^195] 进行匹配。
步骤3：PnP求解：对于至少匹配到20个关键点的视频帧，我们来计算其相机位姿。通过实践我们发现，20这个阈值能在整体位姿估算的数量与估算质量之间取得良好的平衡。3D关键点的位置是根据Matterport相机的小孔相机模型，利用渲染出的全景图深度、相机内部参数以及相机位姿来计算的；2D关键点的位置则直接从视频帧的像素中提取。随后，我们借助OpenCV库来求解PnP问题，利用匹配的3D与2D点对以及估算出的相机内部参数来推算相机位姿。通过这种方法，我们能估算出视频中大约2%的帧的相机位姿。接下来，我们引入时间约束来进一步提升这一比例。
步骤4：时间约束与最终姿态估计
为了增加估计数量，我们通过迭代过程引入时间约束来优化姿态估计流程。首先，我们从视频中已定位的帧提取并匹配2D关键点至未定位的帧。这一步骤与上述步骤2类似；我们同样使用SuperGlue [^195]。利用匹配到的关键点及当前估计的姿态，我们为未定位的图像三角测量出新的3D关键点。随后，我们用这些新关键点求解新的PnP问题。我们反复执行此过程直至收敛。经过优化后，所有视频片段中姿态估计的数量占总帧数的比例达到了15%。
相机姿态估计的质量与误差来源
我们通过渲染3D扫描中的视图来对相机姿态估计流程进行定性评估。需注意的是，扫描和视频是在不同时间录制的，因此场景可能存在较大差异。图32展示了相机姿态估计结果：左侧为视频中的帧，中间为扫描中的视图，右侧为两者叠加的效果。可以看出，即便扫描与视频间的场景差异很大（例如中间示例中的车轮），该算法仍能给出较好的姿态估计结果。
Figure 32. Samples of camera pose estimation. Left shows the frame from the egocentric video, middle has the view rendered from the estimated viewpoint in the scan and right is the superposition of both. We observe that even with big scene differences between the video and the scan (e.g., the wheel in the second row), the algorithm is able to accurately retrieve the camera pose.
目标物体检索
我们的解决方案基于视觉查询的2D定位基准。该2D定位基准会输出包含目标物体2D检测结果的响应轨迹。我们的基准方法结合这些2D检测结果、深度估计以及相机姿态估计，从而确定物体的3D位置。
剩余未定位的帧是由于突然的运动（导致轨迹丢失）以及视角过于贴近场景（无法匹配足够的关键点）造成的。
深度估计
我们对具有姿态估计结果的响应轨迹中的最新帧进行深度估计。我们使用在NYU_v2数据集上预训练好的DPT网络 [^185] [^202]。图33展示了深度估计结果：左侧为视频中的帧，中间为估计的深度图，右侧为在估计视点下渲染的扫描深度图（基准模型无法获取该数据）。由于视频与扫描间的场景差异，这两幅深度图在图像的某些区域会有所不同。随后，我们以2D检测点为中心，取一个方形区域内的深度值中位数，作为目标质心的深度值。
3D位移向量重建
已知响应轨迹中帧f内物体质心c的估计深度d以及相机的估计内参K，我们利用针孔相机模型在当前帧f的坐标系中构建3D向量位移 $\hat{v}_{f}$：
$$ \hat{v}_{f}=\begin{bmatrix}x\\ y\\ z\end{bmatrix}=d K^{-1}c=d K^{-1}\begin{bmatrix}u\\ v\\ 1\end{bmatrix} $$
---
Figure 33. Samples of depth estimation. Left shows the frame from the egocentric video, middle has the estimated depth from DPT [^185] and right has the depth from the scan rendered at the estimated viewpoint.
其中u、v分别为帧f中质心c的像素索引。随后我们估计扫描坐标系下的物体质心位置 $\hat{t}_{s}$：
$$ \hat{t}_{s}=P_{f}^{s}\hat{v}_{f} $$
其中 $P_{f}^{s}$ 为帧f的相机姿态。我们进一步求出查询帧Q坐标系下的位移向量 $\hat{v}_{Q}$：
$$ \hat{v}_{Q}=P_{Q}^{s}{}^{-1}\hat{t}_{s} $$
其中 $P_{Q}^{s}$ 为查询帧的相机姿态。
实验与结果：我们对比了多个基线模型的性能，并进行了消融研究。结果展示在表10中。这些数值是在VQ3D任务的验证集（共164个查询）上计算得出的。我们报告了查询比例QwP，即那些有对应响应轨迹和查询帧的相机位姿估计值所占的比例。此外，我们还报告了成功率Succ*，该指标仅针对具有相关位姿估计值的查询进行计算。
总体而言，我们发现QwP比例较低，导致成功率也不高。这些较低的指标源于相机位姿估计数量较少（仅占15%）。不过，我们观察到最佳的VQ2D基线方法结合预训练的DPT [^185]深度估计器后，在$L_2$和成功率方面均取得了最佳表现。这些数据表明，在设计更优的相机位姿估计器方面仍有提升空间。此外，我们利用真实响应轨迹和不同的深度估计器（随机取值、来自扫描数据、使用DPT）进行了消融研究。在随机实验中，我们在0.1到10米之间均匀采样深度值。从消融实验结果来看，在估计的视点处利用扫描数据生成深度图，其性能优于
| RT | depth | L2 | angle | Succ $^{{*}}$% | Succ% | QwP% |
| ground-truth | random | 7.93 | 1.99 | 0.00 | 0.00 | 1.83 |
| ground-truth | scan | 2.92 | 1.10 | 76.47 | 1.22 | 1.83 |
| ground-truth | DPT | 3.33 | 1.15 | 76.47 | 1.22 | 1.83 |
| Siam-RCNN + PF | DPT | 6.53 | 1.64 | 25.00 | 0.61 | 0.61 |
| Siam-RCNN + KYS (sim.) | DPT | 5.78 | 0.48 | 36.36 | 0.61 | 0.61 |
| Siam-RCNN + KYS (res.) | DPT | 5.98 | 1.60 | 30.77 | 1.22 | 1.83 |
Table 10. Visual queries 3D localization results. We compare the performance of various baselines on the val set of the VQ3D task. Column 1 indicates the VQ2D network used to predict the response track (RT). The last metric QwP measures the query ratio for which we have pose estimation for the response track and the query frame. The L2 metric is expressed in meters and angles are in radians. The first three rows are ablation studies using the ground-truth response tracks and with depth estimated randomly, using the scan and via the DPT [^185] network.
使用DPT生成深度图的情况（见第2行和第3行）。这表明在设计更好的深度估计器方面也有改进余地。
## 自然语言查询基线
由于自然语言查询可视为视频中的语言定位问题，我们采用了两种现有方法来构建该任务的基线模型。
(a) 二维时序相邻网络（2D-TAN）[^236]：我们采用滑动窗口方法应用2D-TAN来构建自然语言查询基线。2D-TAN的目标是，给定未裁剪视频中的语言查询，确定语义对应的视频片段位置。语言查询来源于13个模板问题之一。2D-TAN的核心思路是将相邻的候选时刻视为二维时序图中的时序上下文，并从这些候选时刻中找出最相关的时刻。具体来说，2D-TAN将每个候选时刻作为二维时序图中的一个元素，使得图中相邻的候选时刻具有大量重叠内容，或共享相同的起始/结束时间槽。它会在二维图上应用卷积神经网络，来预测每个候选时刻与真实时刻的交并比。更多细节请参见[^236]。
由于2D-TAN会枚举所有起止时间对的组合，二维图的$O(N^2)$空间复杂度会导致模型规模庞大，尤其是在需要精确确定时刻边界时更是如此。为使2D-TAN更适用于我们的任务，我们在2D-TAN基础上进一步引入了滑动窗口方法。我们将视频剪辑划分为多个重叠的窗口，每个窗口代表剪辑的一小段内容。在训练和测试阶段，这些窗口均作为2D-TAN模型的输入。
在训练2D-TAN模型期间，我们使用Ego4D提供的预先提取的视频剪辑和语言查询特征。剪辑特征源自Slow-
---
Figure 34. Baseline model architectures: moment queries. Its takes a video sequence and generates detected actions with start/end time, their categories, and confidence scores. It has two components: graph pyramid network (GPN), and scoring and localization (SoL). GPN is composed of multi-level encoder and decoder pyramids. The encoder aggregates features in different levels via a stack of graph networks (GN) (yellow trapezoid area; the decoder restores the temporal resolution and generates multi-level features for detection. SoL (blue dashed box) contains four modules, the top two predicting action scores and boundaries, the bottom two producing supplementary scores and adjusting boundaries. Figure is adapted from [^237].
基于Kinetics 400数据集预训练的快速[^71]网络，其语言特征是基于BERT模型实现的[^52]。在滑动窗口方法中，窗口时长为40秒，步长为20秒。值得注意的是，训练时我们仅使用包含或邻近真实时刻的窗口，而测试时则使用所有窗口。除tIoU阈值和学习率外，我们将2D-TAN的其他超参数保持为默认值。为了能在训练阶段获得更多正样本，我们将tIoU阈值从0.5降至0.3，并通过实验将学习率设定为0.001。我们对该模型训练100个周期，并报告其在验证集上表现最佳的检查点对应的测试性能。在IoU=0.3时，2D-TAN的top-1和top-5召回率分别为5.80%和13.90%。此外，我们还在表11中通过随机化视频特征（-visual）和文本特征（-text）来探究该模型在NLQ任务中的性能变化。
(b) 基于Span的定位网络（VSLNet）[^235]：与传统的视频自然语言定位方法不同，VSLNet将输入的未裁剪视频视为一段文本，采用基于Span的方法来识别与给定自然语言查询语义相关的部分。其核心思想是：VSLNet首先利用通用的共享Transformer [^215] 网络对自然语言查询和视频特征进行编码；接着，利用编码后的查询去关注视频片段中相关的部分（类似于文本段落）。被关注的部分会通过查询引导的高亮策略（QGH）进一步细化——即通过调整超参数来扩展视频的前景选择范围，从而捕捉更多的视觉上下文。更多细节请参见[^235]。
| Baseline | IoU=0.3 (%) | IoU=0.5 (%) | r@1 | r@5 |
| Val | 2D-TAN [^236] | 5.04 | 12.89 | 2.02 | 5.88 |
| VSLNet [^235] | 5.45 | 10.74 | 3.12 | 6.63 |
| Test | 2D-TAN [^236] | 5.80 | 13.90 | 2.34 | 5.96 |
| -visual | 2.29 | 6.77 | 1.32 | 3.46 |
| -text | 3.46 | 10.13 | 1.78 | 4.38 |
| VSLNet [^235] | 5.47 | 11.21 | 2.80 | 6.57 |
| -visual | 1.80 | 5.44 | 0.90 | 2.45 |
| -text | 3.05 | 7.39 | 1.45 | 4.12 |
Table 11. Performance of the NLQ baselines on val and test splits.
关于其设计动机和架构的详细信息。
在实验中，我们与其他NLQ基线模型保持一致，均为视频片段（SlowFast网络[^70]）和自然语言查询（BERT[^52]）使用预先提取的特征。我们采用了作者提供的实现$^{15}$，并做了以下改动：(a) 将视频特征维度设为2304，以适配SlowFast网络提取的特征；(b) 将文本编码器替换为冻结的预训练BERT [^52] 模型；(c) 将多模态网络的内部维度设为128，并将预训练的BERT特征从768维投影为128维。我们对该模型训练200个周期，选取在验证集上表现最佳的模型。相应的
---
表11中报告了该VSLNet模型的测试性能，其中还包含了视觉和文本方面的消融实验结果。
## 时刻查询基线
我们将时刻查询基线定义为一种时序动作检测方法[^141] [^229] [^237]，再加上简单的后处理步骤。
MQ任务仅要求针对查询类别给出预测结果，而时序动作检测任务则会返回所有类别的预测结果。因此，我们可以先利用时序动作检测方法对所有类别进行预测，再仅输出与查询类别对应的结果。
为了预测所有类别，我们采用了一种用于第三人称视频中时序动作检测的新方法VSGN [^237]。我们使用不带VSS组件的VSGN模型。图34展示了该模型的架构。它以视频V作为输入，利用SlowFast [^70]等网络提取视频中每个片段的特征，再将这些特征送入图金字塔网络。图金字塔网络包含编码器和解码器：编码器由多层图卷积网络构成，解码器则由多层反卷积网络构成。这是一种基于锚点的方法，会为每个特征层预先定义时序片段作为预测参考。它分两个阶段预测锚点的得分并优化其位置。第一阶段，解码器中的区域提议网络（RPN）会预测每个锚点的类别标签并回归其边界；第二阶段，边界调整模块会根据第一阶段得到的更新后锚点来优化边界偏移量。此外，该模型还包含起始性/终止性预测，以提供辅助监督并补充每个预测片段的得分。其输出预测结果表示为$\Phi = \{\phi_m = (t_{m,s}, t_{m,e}, c_m, s_m)\}_{m=1}^M$，其中m为预测数量，$t_{m,s}$和$t_{m,e}$分别对应$m^{th}$预测的起始时间和结束时间，$c_m$为预测类别，$s_m$为置信度得分。更多细节请参见[^237]。
给定查询类别c，时刻查询任务的检索结果如下：
$$ \Phi_{c}=\{\phi_{m}=(t_{m,s},t_{m,e},c_{m},s_{m})\mid c_{m}=c,1\leq m\leq M)\}. $$
实现细节：在特征提取方面，我们使用Ego4D提供的预提取特征，这些特征是通过在Kinects400 [^70]上预训练的Slow-Fast [^108]网络提取的，提取速率为每秒1.87个特征。特征维度为2304。
考虑到最长视频片段时长为8分钟，共包含897个特征，因此我们将网络的输入长度设为928帧，以覆盖最长的视频片段。我们有：
Table 12. Moment queries results on the validation set and the test set, measured by mAP (%) at different IoU thresholds.
| tIoU threshold | 0.1 | 0.2 | 0.3 | 0.4 | 0.5 | Average |
| Validation set | 9.10 | 7.16 | 5.76 | 4.62 | 3.41 | 6.03 |
| Test set | 8.61 | 6.52 | 5.43 | 4.30 | 3.57 | 5.68 |
图金字塔网络共有5个层级，其时序长度分别为232、116、58、29和14。我们为第1层预先定义了大小为4和12的两个基础锚点，后续每层的锚点大小均增加2。模型训练共进行30个epoch，批量大小为32，学习率为0.0001。推理阶段仅应用按类别进行的非极大值抑制操作，置信度阈值为0.0005。
实验与结果：我们在表12中展示了基于mAP的基线性能，在表13中展示了召回率@kx,tIoU=m的结果。
我们利用DETAD [^9]对平均精度结果进行了进一步分析。图35展示了误检预测中各类错误所占的比例。结果显示，定位误差和分类误差均是导致误检的原因，改善其中任意一项都能显著提升整体性能。图36展示了基于时刻持续时间和每个视频片段中同类别实例数量划分的不同时刻组别的性能表现。我们发现，尽管短时时刻的数量较多，但其性能往往较低；当单个视频中包含2-3个实例时，它们最容易被检测到。
Figure 35. Moment queries results: false positive analysis. The error types are determined by the tIoU between ground-truth and predicted moments, as well as the correctness of the predicted labels, according to [^9]. Background error: tIoU < 1e $^{-5}$; confusion error: 1e $^{-5}$ < tIoU < $\alpha$, label is wrong; wrong label error: tIoU >= $\alpha$, label is wrong; localization error: 1e $^{-5}$ < tIoU < $\alpha$, label is correct, where $\alpha$ refers to the tIoU thresholds {0.1, 0.2, 0.3, 0.4, 0.5}. ‘G’ refers to the number of ground-truth instances.
---
Table 13. Moment queries results on the validation set and the test set, measured by recall (R) @ kx, tIoU=m (%).
| m | 0.3 | 0.5 | 0.7 |
| k | 1 | 3 | 5 | 1 | 3 | 5 | 1 | 3 | 5 |
| Validation Set | 33.45 | 51.26 | 58.43 | 25.16 | 39.46 | 46.18 | 15.36 | 22.67 | 25.81 |
| Test Set | 33.56 | 52.23 | 59.79 | 24.25 | 39.22 | 46.22 | 14.83 | 23.15 | 26.28 |
Figure 36. Moment queries results: sensitivity analysis. Top: Distribution of instance per action characteristic: length; # instances. Bottom: average mAP_N (%) [^9] in each characteristic bucket. The ‘length’ characteristic divides all moment instances 5 buckets based on the moments duration in seconds: XS (0, 10], S (10, 60], M (60, 180], L (180, 300], and XL (300, inf]. The ‘# instances’ characteristic divides all moment instances into 5 buckets based on the number of instances belonging to the same category in one video clip: XS (0, 1], S (1, 3], M (3, 10], L (10, 20], and XL (20, inf].
## 讨论
视觉查询为以自我为中心的视频中的物体定位提出了一项新颖且具有挑战性的任务。尽管我们提出的基线模型取得了42.9%的合理成功率，但其定位性能仅为0.13 tAP和0.06 stAP。此外，最佳性能是在搜索效率为0%的情况下实现的，而试图提高搜索效率的简单方法反而会导致性能大幅下降。我们希望这一任务能推动未来在准确且高效的物体搜索技术方面的研究。
自然语言查询是一项具有挑战性的多模态任务，由于查询的灵活性，它在帮助用户搜索和检索其情景记忆中的相关内容方面有着广泛应用。现有最先进的视频定位模型的性能反映出该任务的难度堪比“大海捞针”——在长达8分钟的视频片段中，有效响应窗口仅约10秒。我们希望NLQ数据集能为未来的研究打开大门，助力开发能够识别并检索更长以自我为中心的视频片段中各类语言查询的技术，从而进一步辅助用户完善其情景记忆。
以自我为中心的视频中的时刻查询是一项极具挑战性的任务，原因在于类别呈现长尾分布，且时刻时长差异较大。根据用于评估各查询类别性能、无需对所有类别进行正确分类的召回率@k、IoU=m指标来看，我们的基线模型取得了合理的结果；但当对所有类别进行综合评估时，其平均mAP得分仅为5.96%，表现较差。如图36所示的误检分析表明，错误标注导致的误差较为显著。未来研究可探索针对所有候选时刻的更精细的分类器。此外，如图36所示，数据集中占比较大短时时刻的定位性能不如长时时刻，因此提升短时时刻的定位效果将显著改善整体性能。
## 贡献声明
Kristen Grauman主导了情景记忆基准测试及论文撰写工作，编写了标注说明，参与了数据筛选与分类体系构建，并共同指导了VQ基线模型的开发。Bernard Ghanem共同主导了情景记忆基准测试，负责MQ和NLQ任务的基线开发与评估，同时参与了MQ和NLQ数据集的标注说明、数据筛选及分类体系构建。Jackson Hamburger参与了NLQ、VQ和MQ数据集的标注说明与分类体系制定，以及早期VQ基线模型的设计。
Santhosh Kumar Ramakrishnan负责VQ的数据筛选、标注、分析与审核工作，参与了VQ的规范制定与标注说明编写、数据筛选，并实现了VQ基线模型。Vince Cartillier参与了VQ-3D的规范制定与标注说明编写，主导了VQ-3D的数据筛选、标注、分析与审核工作，并实现了VQ-3D基线模型。Dhruv Batra对Vince Cartillier开发基线模型的工作提出了建议，并在Matterport 3D扫描方面提供了指导。Hyun Soo Park参与了基于Matterport 3D扫描的以自我为中心视频的3D重建工作。Tien Do开发了基于Matterport 3D扫描重建以自我为中心相机姿态的算法。
James Hillis提供了关于人类情景记忆功能的背景知识，并参与了早期讨论——
---
关于基准测试定义和标注的说明。Satwik Kottur负责NLQ数据选择和标注说明的设计，参与了NLQ任务的制定，协调了NLQ数据的标注与分析工作，实现了VSLNet NLQ基线模型，并撰写了部分NLQ相关章节。Menneng Xu设计并实现了NLQ任务的实验流程，开发了多种NLQ方法，进行了NLQ结果分析与可视化处理，并撰写了部分NLQ相关章节。Michael Wray参与了基准测试任务的早期制定、NLQ查询定义及标注说明的拟定，为数据集构建和评估指标提供了建议，还协助创建了MQ分类体系。
Chen Zhao设计并实现了MQ基线模型，提出并实现了用于MQ评估的新指标，撰写了MQ相关章节，进行了MQ结果分析与可视化处理，还参与了MQ的制定、数据选择及标注说明的拟定。Tushar Nagarajan参与了MQ的制定与标注说明的拟定，开发了MQ标签分类体系，主导了MQ数据集的数据选择与标注工作。Merey Ramazanova负责管理MQ和NLQ基线模型的实验数据集，协助完成了MQ基线模型的分类体系构建。Antonino Furnari为VQ3D基线模型从Matterport3D全景图中提取关键点特征。
---
### G. 手部与物体基准测试
本节详细介绍了手部与物体基准测试，包括其定义、标注方式、基线模型以及测试结果。
### G.1 研究动机
在人们用手操作物体的视频中，可能会出现物体状态的变化，即被操作物体的状态发生暂时或永久性的改变，且这种改变难以轻易逆转。暂时性状态变化的例子包括开启机器，而永久性状态变化的例子则包括将番茄切碎等物理变化，或是将水和水泥粉混合以形成新型水泥等化学变化。图37展示了一些相关示例。
视频研究领域对物体状态变化这一概念的探讨十分有限 [^8] [^45] [^69]，而且对状态变化的描述往往依赖于多种不稳定的基于视觉的技术，因此难以大规模分析状态变化现象。幸运的是，过去十年间，计算机视觉算法在物体和手部识别方面取得了巨大进步。因此，我们认为现在是深入研究并大规模刻画状态变化现象的最佳时机。
为何识别智能体对物体和环境的影响如此关键？我们认为，理解、识别并复现物体的状态变化，是构建人工智能（AI）系统的重要一环。虽然当前的人工智能系统能够复现某些类型的人类行为，比如组装家具[^116]或切番茄[^200]，但大多数系统并不具备对“环境及物体在交互后如何被改变”的普遍认知。理解交互对物体和环境的影响，是推理过程中的重要环节，有助于人工智能系统执行更复杂的任务。例如，了解交互对环境的影响，能帮助人工智能系统找到实现同一变化的多种途径、发现达成目标状态的高效方法、判断目标是否已完成/未完成[^58] [^97]、从失败中恢复，以及从错误中吸取教训。
在以自我为中心的视频中，物体的状态变化提供了丰富且重要的信息，这些信息与诸多其他问题密切相关。例如，以自我为中心的视频中发生状态变化的物体，能够反映出以人为中心的信息，如人类活动与意图。此外，视频中展示的物体状态变化，能为我们提供关于人类特有的可供性与物体或工具的可操作性的线索，而这些信息是无法从静态图像中轻易获取的。另外，对人类手部与发生状态变化的物体的共同理解，也能助力那些需要丰富人类演示的应用——比如机器人操控领域。
Figure 37. Examples of object state change. (a) State change through construction: attaching to two metal plates results in a new object. (b) State change through physical change: cutting a piece of wood results in two smaller pieces of wood. (c) State change through chemical reaction: combining two objects, water and cement powder, results in a new object, cement.
这类应用需要丰富的人类演示数据，机器人操控便是其中之一。
定义物体状态变化：本基准测试聚焦于识别并定位以自我为中心视频中物体的状态变化。具体而言，物体状态变化可通过视频中的三个维度来体现：时间、空间与语义。
时间维度：物体状态变化可通过视频中的三个不同时间点来表征。（1）不可逆转点：不可逆转点（PNR）是指视频中标志着物体状态变化开始且难以逆转的帧$I_{pnr}$。（2）前置条件：前置条件指的是某个帧$I_{pre}$，它标志着状态变化发生前相关物体出现在摄像头视野内的时刻。（3）后置条件：后置条件是指不可逆转点之后，能够观察到状态变化完成的帧$I_{post}$。这三个帧分别标记了物体状态变化前后的不同时间阶段。这一划分方式与[^160]中提出的“卢比孔边界”概念相契合。
空间维度：物体状态变化可通过不可逆转点、前置条件及后置条件下物体的边界框来表征，同时还包括参与状态变化的所有工具。工具能够拓展操作者手部的能力，比如使用电锯将木头切成两半。这些边界框反映了手部、工具以及发生状态变化的物体的空间尺寸。
---
语义维度：我们通过人类动作（动词）、物体身份（名词）以及所施加的状态变化类型来表征物体状态变化。同样的状态变化可借助不同工具作用于不同物体上。例如，用电锯切木头和用剪刀剪纸，虽是不同的交互方式、涉及不同的物体与工具，但最终都导致了“被切割”这一相同的物体状态变化。
### G.2 相关工作
物体状态变化：现有的用于建模物体状态及其变化的方法可分为两条研究路线。第一条路线聚焦于图像集合。用于此目的的代表性数据集是MIT States数据集 [^103]。该路线将物体状态视为物体属性（如烧焦、切片），以此研究属性与物体的组合方式，例如结合上下文的属性组合 [^158]、将属性建模为运算符 [^164]，以及用于组合推理的架构 [^182]。
第二条研究路线则针对视频，将动作视为随时间发生的状态转变。其中一个方向是发现物体状态和/或操作行为，例如在以自我为中心的视频 [^45] [^69] 和教学视频 [^8] 中。Fathi等人 [^69] 采用弱监督方法在视频中检测物体状态。另一个方向是建模状态转换。Zhou等人 [^244] 研究了延时视频中单个物体状态的时间变换。Wang等人 [^223] 提出利用孪生网络在高维特征空间中建模状态转换。Doughty等人 [^55] 借助自然语言，将副词视为状态转换的修饰词。在应用方面，Chang等人 [^30] 表明状态转换可用于流程规划。
人手动作数据集：目前已提出了多个用于人手动作识别的视频数据集。耶鲁大学人手抓取数据集 [^25] 专注于人手抓取行为，包含27.7小时的标注视频。Something-Something数据集 [^90] 包含220,847段短视频，标注了174类常见手物交互类别。Jester数据集 [^214] 提供了27种手势类型的148,092段短视频。Wang等人 [^220] 通过渲染手部和物体的CAD模型，构建了人手与物体交互的合成视频数据集。最近发布的Human Hands数据集 [^198] 对来自网络视频的10万帧单帧图像进行了标注，重点关注手部交互以及交互过程中手与物体之间的偏移量。
有几个人中心视频数据集通过拍摄人们的日常活动来收集数据 [^43] [^130] [^136] [^180] [^201] [^210]。在日常生活活动数据集（ADL）中，受试者佩戴胸戴式摄像头，在家中进行无脚本的活动，共有来自20名参与者的10小时视频；其目标任务为活动识别 [^180]。在UT-人中心数据集（UT-Ego）中，受试者佩戴头戴式摄像头，在室内外进行长时间的无脚本活动，共有来自4名受试者的17小时视频（每人连续拍摄4-5小时）；其目标任务为视频摘要生成 [^130]。UT-人中心交互数据集（UT-EE）包含14小时在博物馆、购物中心及杂货店等公共场所拍摄的头戴式摄像头视频，这些视频标注了拍摄者与环境互动的时刻。在EGTEA+数据集中，32名受试者在一个厨房环境中佩戴头戴式摄像头，拍摄了28小时的视频；其任务是识别44种餐食准备活动 [^136]。EPIC-KITCHENS数据集包含在45个不同环境中记录的100小时厨房活动视频，涉及97个动词类别和330个名词类别，共产生89,977次不同的物体交互；其任务是识别物体和活动，并预测视频下一时刻的交互行为 [^43]。Charades-Ego数据集包含来自71名参与者的34小时视频，其中标注了156种动作的第一人称和第三人称配对实例 [^201]。
### G.3 基准测试定义
我们现在定义构成“手与物体”基准测试的三项任务。这三项任务对应上述物体状态变化的三个层面，即状态变化的时间、空间和语义层面。
(1) 不可返回点时间定位。不可返回点（PNR）时间定位的目标是预测 $I_{pnr}$。一种可行的思路是将该问题视为逐帧分类问题，即在短视频片段中预测不可返回点所在的帧。性能评估仅针对包含物体状态变化的视频进行，评估指标为 $I_{pnr}$ 预测结果的时间误差（以秒为单位）。
P. Gollwitzer在其备受引用的行为手册中首次提及PNR概念 [^89]。具体而言，该书提出了行动阶段的卢比孔模型，重点关注手与物体的交互。行动阶段由三个转折点界定：先前动作的启动、不可返回点以及目标达成。我们之前的研究对该理论进行了实验验证 [^160]，为三个人中心数据集获取了PNR标注，结果显示标注准确性有所提升（详见 [^160] 中的图10），且模型训练的鲁棒性也得到增强（详见 [^160] 的第5节）。我们发现，PNR与我们独立收集的叙述时间戳高度吻合，这表明PNR是人类理解（进而叙述）交互行为的自然时间点。
(2) 状态变化物体检测。我们将状态变化物体定义为被人类操作且状态发生变化的物体。该任务的目标是
---
为了预测“无法回头点”帧中状态变化物体的二维边界框$I_{pnr}$，我们需要利用三个帧：前置条件$I_{pre}$、无法回头点$I_{pnr}$以及后置条件$I_{post}$。我们认为，解决这一任务的优秀方案应当结合状态变化前后视觉信息来识别状态变化物体。检测性能是通过在无法回头点帧$I_{pnr}$中估算出的边界框来评估的，评估指标为平均精度（AP）。
(3) 物体状态变化分类。物体状态变化分类任务旨在将一段短视频归类为某种状态变化类型。共定义了N种物体状态变化类型，因此物体状态变化分类本质上是一个$(N+1)$分类问题，其中额外增加的一类为“无状态变化”。物体状态变化分类的性能通过分类准确率来衡量。
### G.4 数据选择
接下来我们将介绍数据选择流程与标注管线，并展示针对物体状态变化基准测试的数据分析结果。我们首先说明为该项基准测试选取待标注数据子集的流程。
我们最初拥有一批已标注高级场景标签（如园艺、烹饪、景观设计等）及旁白说明的视频素材。我们根据各场景包含手-物交互的可能性，将其评分定为0到3分（例如，“看电视”评分为0，“木工活”评分为3）。随后我们依据得出的场景分布来抽取待标注数据。对于给定的场景和目标时长，我们以分层方式随机选取视频片段：先选定参与者，再选取对应视频，最后从视频中提取5分钟的片段；若视频时长不足5分钟，则选取整段视频。为确保地理多样性，我们会平衡不同大学提供的数据量。最终的场景与大学分布如图38所示。总体而言，我们的数据集包含120小时的内容，涵盖53个场景、7所大学和406名参与者。
### G.5 数据标注
我们对所选5分钟片段内与旁白对应的手-物交互进行标注。语义动词和名词的标注采用第D.3节中的分类体系。标注管线包含三个连续阶段：关键帧标注、前期标注和后期标注。
关键帧。针对每段旁白，我们会截取以旁白时间点为中心的8秒视频片段供标注员查看。首先要求标注员阅读旁白并从分类体系中选出对应的动词。之后标注员可反复播放视频，选出三个关键帧：PNR、PRE和POST。我们要求标注员先从标识状态变化起始点的PNR帧开始标注——这一帧的界定较为明确，能为交互过程提供背景信息。接着标注员需标出状态变化前的帧（PRE）以及状态变化完成后的帧（POST）。需注意，PRE和POST帧并无唯一确定的定义；只要相关物体能完全出现在摄像头视野内，标注员可自行选择任意帧。
前期阶段。接下来，我们为手部、工具和物体标注边界框，同时标注工具和物体的类别名称。这一过程分为两步：首先，我们从PNR帧开始，向回标注前期帧中的内容，直至最初始的帧。视频帧会被反转，以便标注员播放观看。我们发现从PNR帧入手更为简便，因为此时手部和物体清晰可见。为了加快手部边界框的标注速度，我们会用预训练的物体检测器[^198]来初始化手部边界框，再让标注员进行修正。
后期阶段。最后，我们要求标注员为后期帧标注空间信息和类别。与之前一样，我们首先向标注员展示PNR帧。需要注意的是，此时PNR帧已经标注完毕，这有助于识别后期帧中需要标注的手部和物体。
### G.6 数据分析
最后，我们展示对标注结果的分析。
关键帧。在图40中，我们展示了8秒手部-物体交互片段内关键帧的时间分布。首先可以发现，PNR帧的分布集中在8秒片段的中间位置。有趣的是，这与叙述点（4秒标记处）高度吻合。接着可以看到，大部分前期帧和后期帧分别出现在PNR帧的前后不久，这凸显出这类状态变化的瞬时性，也反映出本基准测试的挑战性。我们还注意到，前期帧和后期帧还有另外两种模式：分别出现在8秒区间的开头和结尾。它们对应那些在视频片段开始前就已开始或结束后仍持续的重复性动作（例如编织）。
手部与物体。我们的基准测试包含大量标注了边界框的手部和物体。总计约有82.5万个边界框，其中左手约24.5万个，右手约26万个，物体约28万个，工具约4万个。在图41和图42中，我们分别展示了边界框的尺寸和位置分布。可以看出，我们的数据中手部和物体涵盖了多种尺寸和位置。
动作。本基准测试的特点之一是交互动作的多样性。我们重点关注低层次的原子动作，而非高层次的动作。
---
(a) Scenarios
(b) Universities
Figure 38. Number of hours. We show the distribution of the number of hours across scenarios (left) and universities (right)
Figure 39. Labeled actions. Distribution of verbs (left) and nouns (right) in annotated action instances. Top 45 verbs and nouns are shown for clarity. See Section D.3 for more details.
Figure 40. Critical frames. Distribution of critical frame times. Shown relative to the 8s hand-object interaction snippet.
Figure 41. Hand and object sizes. Distribution of bounding box sizes. Shown in terms of the square root of the box areas.
我们展示了动词（图39左侧）和名词（图39右侧）的分布情况。可以看到，与常见操作动作（如放置、拿取）对应的动词数量较多，且呈现自然的长尾分布特征。物体的分布也遵循同样的总体趋势。
Figure 42. Hand and object locations. Distribution of bounding box centers. Shown in normalized image coordinates.
需要说明的是，我们的物体均为常见的日常物品，这类物品通常不会出现在物体检测数据集中（例如，在478个物体类别中，有442个类别超出了COCO的80个类别范围[^143]）。
### G.7 基线方法：物体状态变化分类与PNR时间定位
我们介绍了用于物体状态变化分类和PNR时间定位任务的几种基线方法的实现细节。在已实现的基线模型中，通常有一到两种类型的输出网络头：一种是用于状态变化分类的视频片段分类头，另一种是用于时间定位的逐帧分类头。人们可以选择分别训练两个模型，也可以使用同一个主干模型搭配两个网络输出头，再通过多任务损失函数训练联合模型。以下基线方法包含了这两种模型设计：
---
网络输出头，并使用多任务损失函数训练联合模型。以下基线方法涵盖了这两种模型设计类型：
I3D ResNet-50。在物体状态变化分类和PNR时间定位任务中，我们均采用I3D [^29]与ResNet-50 [^95]作为模型的骨干架构。ResNet骨干网络之后连接两个网络输出头：状态变化分类头和PNR时间定位头。状态变化分类头是通过对整个时空特征张量进行全局平均池化后再接入分类层得到的；PNR时间定位头则是通过对每帧特征进行平均池化后再接入分类层得到的。模型的整体训练损失是两个输出头的损失之和，二者均为用于分类的交叉熵损失。
边界匹配网络（BMN）。我们将BMN [^140]作为PNR时间定位任务的基线模型。BMN是一种基于密集时间片段提议的置信度预测的时间片段检测方法。我们将视频起始点视为时间片段的起点，将不可返回点 $I_{pnr}$ 视为时间片段的终点，从而可将定位不可返回点 $I_{pnr}$ 的问题转化为检测时间片段的问题。在我们的实现中，BMN以ResNet作为骨干模型，且BMN仅用于PNR时间定位任务。
SlowFast + Perceiver。我们构建了一个基线模型，其架构由SlowFast [^70]和Perceiver [^105]组成，同时用于物体状态变化分类和PNR时间定位任务。SlowFast负责提取视频深层特征，随后这些特征会被传入Perceiver模型。与之前的BMN模型类似，SlowFast + Perceiver模型也仅针对时间定位任务进行训练，其训练损失为用于逐帧分类的交叉熵损失。
双向LSTM。我们采用双向LSTM模型 [^91]来同时处理物体状态变化分类和PNR时间定位任务。我们首先将单帧图像传入ResNet模型 [^95]以提取深层特征，随后将逐帧特征序列作为输入传入双向LSTM，其输出会分别送往逐帧分类头和整序列分类头。模型的整体训练损失是两个输出头的损失之和，二者均为用于分类的交叉熵损失。
在物体状态变化分类任务中，当前版本我们重点关注中心视角视频中是否存在物体状态变化的二分类问题。表14展示了训练集/验证集/测试集中包含物体状态变化的正样本视频片段数量，以及不包含物体状态变化的负样本视频片段数量。在这三个数据集中，正负样本均被纳入基于类别的分类体系中。
Table 14. Number of positive and negative video clips of object state change in train, validation and test splits.
| Split | Positive | Negative | Total |
| Train | 20,041 | 21,044 | 41,085 |
| Val | 13,628 | 14,720 | 28,348 |
| Test | 13,561 | 14,870 | 28,431 |
Table 15. Results of State Change Classification accuracy (%).
| Baseline | Val | Test |
| Always Positive | 48.1 | 47.7 |
| Bi-directional LSTM [^91] | 65.3 | 63.8 |
| I3D ResNet-50 [^29] | 68.7 | 67.6 |
负样本片段的数量保持平衡。
除了上述可学习的基线模型外，对于物体状态变化分类任务，我们还给出了始终预测为正类的朴素基线结果；对于PNR时间定位任务，考虑到数据中可能存在中心偏差，我们还给出了始终选择裁剪后视频的中心帧作为PNR帧的朴素基线结果。
物体状态变化分类任务的结果如表15所示。采用始终预测为正类的简单基线时，状态变化分类准确率仅为50%左右。所有可学习的基线模型均优于该简单基线，准确率超过60%，其中双向LSTM基线表现最佳。这表明可学习的基线模型能够捕捉到有关物体状态变化的有意义信息，不过显然仍有改进空间。该任务的一个挑战在于，视频中物体状态变化的类型以及所涉及的物体存在极大的差异。
PNR时间定位任务的结果如表16所示。采用始终预测中心帧的简单基线时，时间定位误差约为1.1秒。其他可学习的基线模型能将时间定位误差控制在0.85秒以内，这说明基线模型能够学习到用于物体状态变化时间定位的有意义信息。值得注意的是，SlowFast + Perceiver模型在验证集上的时间定位性能最佳，误差仅为0.425秒；在测试集上误差为0.489秒。这一结果凸显了使用基于注意力机制的方法来建模物体状态变化的必要性。该任务的一个挑战在于，某些动作（例如用剪刀剪纸张）中，物体的状态变化未必会导致视觉外观的显著改变，因此很难定位PNR。
---
Table 16. Results of Point-of-no-return temporal localization error (seconds).
| Baseline | Val | Test |
| Always Center Frame | 1.032 | 1.056 |
| BMN [^140] | 0.780 | 0.805 |
| I3D ResNet-50 [^29] | 0.739 | 0.755 |
| Bi-directional LSTM [^91] | 0.790 | 0.759 |
| SlowFast [^70] + Perceiver [^105] | 0.804 | 0.828 |
### G.8 基线：状态变化物体检测
我们介绍了几种用于状态变化物体检测任务的基线方法的实现。总体而言，该任务的基线模型可分为两类：（1）直接检测状态变化物体的边界框，包括Faster-RCNN [^190]、CenterNet [^241]和DETR [^27]；（2）先检测手部边界框，再根据手部信息预测状态变化物体的边界框，例如100DOH模型 [^199]。具体的基线方法如下：
虽然我们预期为状态变化物体检测任务开发的新方法会利用全部三帧输入图像（变化前、PNR、变化后），但在本次基准测试的初期阶段，我们仅评估单帧检测基线，即仅使用PNR帧 $I_{pnr}$ 作为输入。我们之所以限制输入图像类型，是因为许多物体检测方法主要是为处理单张图像而设计的。
Faster-RCNN [^190]是一种基于锚点的两阶段2D物体检测器，用于处理单张RGB图像。在其分类头中，状态变化物体是唯一的正类。我们在基准测试中训练Faster-RCNN，并利用它直接检测PNR帧中状态变化物体的边界框。
CenterNet [^241]是另一种用于单张RGB图像的物体检测方法。它通过估计物体关键点来确定物体中心点，并回归其他物体属性，如尺寸、3D位置和朝向。我们训练CenterNet以直接检测状态变化物体的边界框。
DETR [^27]是一种基于Transformer [^216]的单张RGB图像物体检测模型。它将物体检测视为直接的集合预测问题，利用Transformer编码器-解码器架构来生成包含边界框信息及其他信息（如类别）的物体预测集合。我们训练DETR以直接检测状态变化物体的边界框。
100DOH模型[^199]首先会检测出人手和物体的边界框，以及从每个手边界框中心指向物体边界框中心的关联向量。最终的物体预测结果，就是那些同时满足手部特征与关联向量预测条件的物体。我们采用了
Table 17. Number of State Change Object and hand bounding boxes in train, validation and test splits.
| Split | State Change Object | Hand |
| Train | 19,347 | 33,254 |
| Val | 12,912 | 22,098 |
| Test | 13,118 | 22,576 |
Table 18. Results of single-frame State Change Object Detection. The performance is measured in Average Precision (AP).
| Baseline | Backbone | AP | AP50 | AP75 |
| Faster-RCNN [^190] | ResNet-101 [^95] | 13.4 | 25.6 | 12.5 |
| DETR [^27] | ResNet-50 [^95] | 15.5 | 32.8 | 13.0 |
| CenterNet [^241] | DLA-34 [^233] | 6.4 | 11.7 | 6.1 |
| 100DOH Model [^199] | ResNet-101 [^95] | 10.7 | 20.6 | 10.1 |
在100DOH数据集上预训练的100DOH模型[^199]，会先检测出手部的边界框，再根据手部信息预测状态发生变化的物体的边界框。
我们在表17中展示了数据集中包含的状态变化物体与手部边界框的数量。单帧状态下的状态变化物体检测结果见表18。所有基线模型在仅输入单帧图像时，检测状态变化物体的平均精度（AP）仅为8%到14%，表现均不佳。这项任务存在几大挑战：其一，状态变化物体的边界框尺寸差异极大。例如，在“粉刷墙壁”动作中，状态变化物体的尺寸可占到图像的一半；而在“点燃火柴”动作中，其尺寸仅有几个像素大小。其二，仅使用单帧输入时，检测模型并未考虑不同帧间物体外观的变化。作为未来的研究方向，我们希望研究人员能探索采用多帧输入的模型，或许还能开发出整合了跟踪或关联功能的框架。
### G.9 讨论
这一新颖的基准测试从三个方面探究了因手部操作引发的物体状态变化：何时（即状态变化的时间定位）、何地（即发生变化的物体的空间定位）以及什么（即动作与物体变形的语义概念）。作为第一步，我们借助现有的定位与分类方法独立研究了这些方面。不过，旨在应对这一挑战的方法应当侧重于同时理解操作行为及其对物体的时空影响，因为物体确实会发生形态上的转变。例如，得知某个物体正在被分割，就能为PNR定位提供强有力的先验信息，从而在临界点之后检测出两个或更多的边界框。这类能够处理各任务间依赖关系的方法尚待开发。
---
我们希望这一基准测试能推动创新性方法的诞生，从而弥合动作感知与动作对物体及环境影响之间的鸿沟。
### G.10 贡献声明
克里斯·基塔尼协助制定并撰写了物体状态变化基准测试，设计了HO基准测试的标注和任务。迪马·达门协助制定并撰写了物体状态变化基准测试，设计了手部与物体（HO）以及预测基准测试的标注。伊利亚·拉多萨沃维奇协调了HO数据标注及分析工作，并参与了HO基准测试的定义与撰写。罗希特·吉尔达尔协助协调HO数据标注及分析工作。阿布拉罕·格布雷塞拉西将Slow-Fast+Perceiver模型适配于PNR时间定位任务。付启晨实现了所有状态变化物体检测基线模型。拉格哈瓦·莫杜古实现了PNR时间定位任务的BMN基线模型。克里斯滕·格劳曼参与了物体状态变化基准测试的制定与撰写。西丹特·班萨尔协助处理HO数据、开发用于PNR时间定位的HO数据加载器，并实现了I3D ResNet-50基线模型。刘星宇担任HO基准测试实现的主要协调人与指导者，同时也参与了HO基准测试的定义与撰写。黄旭华开发了最初的SlowFast+Perceiver模型。黄一飞实现了PNR时间定位及状态变化分类任务的双向LSTM基线模型。
---
### H. 音视频事件定位基准测试
本节详细介绍了音视频事件定位（AVD）基准测试的任务定义、标注、基线模型及结果。如附录B所述，AVD基准测试仅使用已获得场景中所有参与者明确同意的视频资料，这些资料包含人脸和语音信息。
### H.1 研究动机
以第一人称视角感知环境时，人类会利用各类主要感官来推断有用信息。虽然眼睛捕捉到的视觉信息是主要的信息渠道之一，但耳朵听到的声音同样至关重要。尤其是从第一人称视角理解人类与环境的互动时，结合必要的声学信息与视觉信号来检测、定位、追踪（包括三维空间和时间维度）并理解声音就显得更为关键。多项心理物理学研究证实，人类在根据头部位置确定声音来源的三维方位方面表现极为出色[^156]。人类对水平面和垂直面上移动声音的敏感度也有充分的研究佐证[^117] [^178]。
长期以来，计算机视觉领域一直在研究利用图像精确定位物体和人物、稳健地追踪和分割它们的问题。在此背景下，我们旨在将音频（尤其是人声）纳入研究范畴。真正的音视频系统不仅能更丰富地捕捉和分析周围环境（以及用户与环境的互动），还能助力开发面向视障或听障用户的技术（如助听器、增强现实设备）。
本基准测试旨在推动以第一人称视角进行的音视频理解技术的进步。具体而言，从对话角度而言，该基准测试旨在弄清谁在何时讲话以及讲话内容是什么；从视觉角度而言，我们也关注说话人的位置。针对给定的第一人称视频，相关任务要求提取说话人的空间位置、其在视频全程中的发声活动情况以及讲话内容。
自我中心数据给这个问题带来了几个独特的特性。首先，声源可能在所有、部分或没有视觉帧中可见，这取决于它们在场景中的运动以及佩戴摄像头者的运动。其次，尽管佩戴者因头戴式摄像设备而不可见，但他们的声音清晰可闻，而且由于他们靠近用于采集视频的麦克风，其声音往往比其他对话参与者更响亮。第三，场景中的自然动态（如佩戴者行走、奔跑、头部快速移动等）会给视觉流带来显著的模糊和失真——其中一些噪声具有结构性，对于理解场景的上下文和语义内容至关重要。
### H.2 相关的音视频学习研究
近期，计算机视觉领域内外关于音视频分析的研究再度兴起。这些研究涵盖了音视频理解的各个方面，包括声源定位、跨模态特征学习、音频空间化以及音频源分离，下文我们将简要回顾相关内容。
在音视频检测与跟踪方面，近期的多模态学习研究探索了在给定视频帧中定位声音的方法 [^14] [^197] [^212]，以及从视频中推断空间化声音的技术 [^80] [^161]。音频与麦克风阵列信号处理领域正在研究多通道音频的采集与处理，尤其是从用户视角出发以理解特定场景 [^101] [^169]。在此基础上，有理由认为以人为中心的音频所包含的信息能够直接提升视觉物体的分类与识别效果。事实上，一些近期研究已经观察到：音频能够消除某些视觉上模糊不清的动作歧义 [^110] [^226]。对于动作与活动而言，音频事件也可直接用于生成摘要 [^13]。尤其重要的是，能够捕捉到由自身驱动的动作与活动，并将其与场景中的一般背景动作与活动区分开来。
另外，视觉信息也被用于消除某些音频任务的歧义，比如语音转录。具体而言，音视频语音识别在过去十年中受到了广泛关注，多项研究表明自动语音识别（ASR）能够从场景视觉信息或其他非声学信息中获益 [^5] [^104]。正如此处所示，有理由认为从第一人称视角进行的唇读也能为ASR系统提供帮助。
此外，视听跨模态学习或许能为自我中心式人类交流生态中最古老的问题之一——即鸡尾酒会问题（CPP）提供见解与解决方案。CPP的本质在于：“当多人同时讲话时，我们如何分辨某个人所说的话？”人类听众必须将来自同一个人的声音（如谐波和语音共振峰）在感知上整合起来，并将其与其他说话者的声音区分开。在这种情况下，人类会利用唇部运动等视觉信息来更好地理解内容，同时听觉系统则帮助他们专注于特定的说话者特征，而忽略其他语音或噪音。近期关于视听话语分割[^83]以及从视频中进行多模态声源分离的研究表明，视觉信号确实能让CPP及其变体问题得到更好的解决[^6] [^57] [^79] [^81] [^82] [^171] [^238]。
---
此外，即便词语难以理解，人类也能很好地把握对话的上下文。他们能够凭借已有的背景知识填补缺失的细节。这一能力同样适用于非人类的声源。如需了解更多关于CPP的内容，请参阅[^17]。要彻底解决CPP，不仅需要识别并分离场景中的不同声源，还要了解佩戴摄像头者的听觉注意力——换句话说，就是用户当前正在关注哪个声源，或者未来可能想关注哪个声源。
### H.3 相关数据集与基准测试
EPIC-Kitchens：[^42] [^44] EPIC-Kitchens是最广为人知的自我中心式数据集之一，包含第一人称视角的事件与标注信息。该数据集收录了在自然环境（即佩戴者的家中）中进行的多方面、视听化、无脚本录音，记录了多天内厨房中的所有日常活动。数据集时长达100小时，包含2000万帧画面、7万条动作标注，分布在700个长度不一的视频中，通过头戴式摄像头捕捉了45个环境中的长期无脚本活动。标注工作是通过“暂停并讲述”的叙述界面完成的。该数据集广泛应用于动作识别、动作检测、动作预测、跨模态检索，以及动作识别领域的无监督域适应研究。
VoxCeleb：[^40] [^165] VoxCeleb 1和2包含了超过6000名发言人的录音，这些发言人涵盖了不同的种族、口音、职业和年龄层。这些数据并非自我中心式的，标注信息包括活跃发言人的人脸边界框、人脸轨迹以及匿名人物ID。VoxCeleb 2尤其旨在推动说话人识别领域的研究，其中收录了超过一百万条语音数据。数据集中的视频拍摄于众多具有挑战性的视觉与听觉环境中，包括红毯采访、室外体育场、安静的室内演播室、面向大众的演讲、专业制作的多媒体片段，甚至还有用手持设备拍摄的粗糙视频。数据集中的音频片段还夹杂着背景嘈杂声、笑声、重叠语音以及不同的房间声学效应。
VoxConverse：[^39] VoxConverse是一个相关的音视频说话人日志数据集，包含超过50小时的多说话人语音片段，这些片段提取自YouTube视频。与VoxCeleb类似，该数据同样为非自我中心的。提出这一数据集旨在推动音视频输入下的说话人日志研究。大部分数据实例来源于政治辩论和新闻主播节目，以便捕捉存在语音重叠和打断现象的对话场景。
AVA：[^31] [^192] AVA口语活动数据集包括AVA Speech和AVA Active Speaker两类。AVA Speech是对AVA 1.0第三人称视频中基于音频的口语活动进行密集标注的集合，它明确标注了3种背景噪声条件，最终得到约46,000个标注片段，涵盖45小时的数据。AVA Active Speaker则将说话活动与可见人脸关联起来，最终在约39,000个人脸轨迹上标注了365万帧数据。
AVDIAR：[^84] 最接近自我中心的音视频日志数据集是AVDIAR。它由23个模拟场景序列组成，每个序列时长从10秒到3分钟不等（视频总时长为27分钟）。每个序列包含1至4名说话人，他们有的站立、有的在视觉视野内走动并进行交谈。数据采集是通过安装在假人头上的采集设备完成的。
EASYCOM：[^53] EASYCOM是近期开源的一个数据集，旨在推动以多通道数据和CPP为重点的自我中心音视频学习研究。该数据集包含5小时的对话内容，由3至5名参与者在封闭房间内完成。内容涉及玩游戏、通过菜单点餐，以及围绕预设话题展开的一般性讨论。录制对话期间，房间里会通过扬声器播放类似餐厅的噪音，以模拟真实的餐厅场景。EASYCOM采集设备采用框架上装有6个麦克风的眼镜。尽管该数据集在多通道自我中心声学内容方面较为丰富，但其在真实性上存在局限，数据并非来自真实场景，最重要的是数据集规模较小。
现有音视频数据集与Ego4D对比：在上述现有数据集中，EPIC-Kitchens、AVDIAR和EASYCOM属于自我中心型数据集。不过，EPIC-Kitchens侧重于佩戴摄像头者的单独活动，其视频和标注均无法支持涉及多人的音视频对话任务。虽然EASYCOM包含音视频对话内容，但它是一个规模较小且部分对话为脚本化、非真实场景的数据集，参与会话的人员也不会四处移动。AVI-DIAR确实包含一些四处移动的参与者，但佩戴摄像头的是假人头，且与EASYCOM类似，数据并非来自真实场景（所有会话均在相同的环境/场景中完成）。Ego4D则兼顾了上述所有方面。最后，与VoxCeleb、VoxConverse和AVA不同，Ego4D提供第一人称视频，且其对话视频发生在有多名说话人的日常休闲环境中。
### H.4 任务：定义与标注
在此我们详细说明任务定义、相应的标注以及评估指标。我们为音视频日志（AVD）基准测试提出了一系列任务，这些任务的缩写为：定位与跟踪、活跃说话人识别……
---
说话人检测、声纹分离与转录。这些任务共同用于确定在特定的第一人称对话场景中，谁在何时、对谁讲话以及谈论什么内容。需要注意的是，这些任务彼此之间存在内在关联；后续任务在某种程度上依赖于先前任务的成果（下文的任务描述中会进一步阐明）。$^{16}$
任务1：定位与跟踪：该人在视野中位于何处？AVD中的这项首要任务旨在从佩戴摄像头的人的视角出发，确定场景中所有可能的说话人的空间位置。该任务的目标是计算出他们的边界框。与传统的人脸检测基准测试不同，该任务颇具挑战性，因为佩戴摄像头者的头部运动（源于自然对话过程）会导致说话人表观空间位置的显著变化。
标注说明：对于5分钟视频片段中的每个说话人，都会提供一个对应的边界框。视频的每一帧都针对该任务进行了标注。我们首先利用人脸检测与跟踪模型来估算这些边界框，随后由一组人工标注员对这些机器生成的边界框进行验证和修正，以提升标注质量。如果边界框能覆盖说话人面部的80%，则该标注才被视为有效的人类标注；我们会执行质量检查步骤来确保这一点。侧脸也会被标注。需要注意的是，那些距离佩戴摄像头者很远（通常在场景中相隔数米）且未与佩戴者发生对话互动的说话人不会被标注。
评估方法：需记住，该任务的目标是定位并跟踪场景中的说话人。因此，所提出的评估指标会考量检测到的边界框轨迹的准确性。我们采用标准的多目标跟踪（MOT）指标来衡量说话人跟踪结果。MOT指标有多种，其中我们最关注的是CLEARMOT指标中的MOTA [^19]，以及身份指标中的IDF1、IDP、IDR [^18]。MOTA即多目标跟踪准确率，是误报、假阳性以及身份切换的综合指标。MOTA基于帧级别上跟踪结果与真实值的匹配情况；而IDP（身份精确度）、IDR（身份召回率）和IDF1（身份F1分数）则是基于轨迹级别的跟踪结果与真实值的匹配情况。身份指标反映了追踪器在保持对每个目标的正确识别方面的性能。
任务2：当前说话人检测：谁正在讲话？
AVD中的下一项任务是检测场景中的当前说话人。该任务原则上类似于当前说话人检测——其目标是确定场景中哪些可见的人在特定时间正在讲话 [^192]。它建立在先前的定位与跟踪任务基础之上，用于识别所有其人脸边界框被检测到的说话人。因此，该任务不会考虑那些未在摄像头视野内出现的说话人。需要注意的是，当前说话人检测也是说话人声纹分离的重要组成部分（这也是该基准测试中的下一项任务）。
注释：我们为视频片段中出现的每位说话人提供一个匿名标签（如说话人1、2等）。佩戴摄像头的人被标记为C。这一操作是通过利用人脸边界框跟踪注释，并逐个为每条跟踪结果标注标签来实现的。因此，每个人脸跟踪结果都会被赋予一个唯一的标签，且同一个视频片段中的多条跟踪结果可能共享同一标签（对应同一说话人）。不过，这些标签仅在特定视频片段内有效；也就是说，出现在多个视频片段中的同一说话人不会在所有片段中被赋予相同的唯一标签。此外，从未出现在视觉视野内的说话人也不会被分配标签。
评估：我们使用物体检测mAP来衡量活跃说话人检测结果。这是一种逐帧计算的指标。在视频帧中，如果检测到的人脸边界框与真实人脸边界框之间的交并比（IoU）超过预设阈值（即0.5），则视为一次有效的人脸检测。每次检测都会附带一个类别信息，用以标识其是否对应活跃说话人。活跃说话人检测方法会为每个检测到的人脸边界框给出属于活跃说话人类别的概率得分 [^211]。
佩戴摄像头的人的语音活动检测：需要注意的是，佩戴摄像头的人脸永远不会出现在摄像头的视野中，因此他们没有任何对应的人脸跟踪记录。但在很多情况下，他们却是主要的说话人。这主要是因为他们往往主导着对话进程，且由于他们的嘴巴离麦克风最近，其声音在音频流中通常比其他说话人的声音更响亮。我们提议也将他们视为活跃说话人并检测其语音。我们使用物体分类mAP来衡量佩戴摄像头的人的语音活动检测结果。
任务3：语音分段：谁在何时说话？这一任务进一步拓展了上一任务中活跃说话人检测的时间维度。给定说话人集合及其在视觉视野中的空间位置，该任务旨在捕捉说话人的语音活动情况。它等同于语音分段——这是语音和音频领域一个研究已久的问题 [^10] [^177]，旨在回答“谁在何时说话”这一问题。虽然说话人语音重叠是此任务中最难解决的问题之一，但第一人称视角还会因头部运动及自然对话中的其他动态因素而增加复杂性。需要注意的是，语音分段任务的输出（即前述任务的结果）也会为这一任务提供支撑。
---
该基准测试同样会推动这一任务的开展。
注释：对于每一个活跃说话人标签（这些标签来自之前的活跃说话人检测任务），人工标注员会标记出该人说话的开始时间和结束时间。我们会考虑多说话人同时发言的重叠语音片段，但会忽略与对话无关的内容，比如电视发出的背景音或远离佩戴摄像头者处的语音。需要注意的是，佩戴摄像头的人的语音片段也会被标注。标注员在创建这些标签时会同时参考音频和视频流信息。
评估：语音分段错误率（DER）是语音分段领域事实上的评估指标 [^11]，在音频和语音处理领域已有大量相关研究。DER衡量的是某个视频片段中未被正确归类到特定说话人或非语音类别的总时间占比。其定义如下：
$$ \mathrm{DER}\ (\%)=\left(E_{miss}+E_{fa}+E_{spk}\right)\times100, $$
其中，$E_{miss}$ 表示在参考文本中该片段被归为某说话人时，预测为非语音的时间比例。$E_{fa}$ 表示预测为属于某说话人的时间比例，但在参考文本中实际被标记为非语音；$E_{spk}$ 则表示语音被错误归类到其他说话人的时间比例。所有误差均以语音总量的比例来计算。
任务4：转录——说话人说了什么？AVD的最后一项任务是转录每位说话人的语音，即执行自动语音识别（ASR）。与说话人分离任务类似，转录任务面临的挑战包括语音重叠和环境噪声。此外，佩戴摄像头的人头部移动会导致他人语音的录音音量发生显著变化。
标注说明：由于视频片段中包含多位说话人，且存在语音重叠和音量差异，最终的转录结果需通过多次处理获得。第一次处理时，基于语音片段的人工初始标注会与低音量区域的自动标注合并。随后的处理中，人工标注员需要修正转录片段并将其对应到每位说话人的语音活动片段中，同时标注出重叠语音。需要注意的是，标注员在标注时可同时查看音频和视频；除了口语词汇外，难以辨认的语音或不完整的词语等干扰因素也会被标注出来。一个视频片段的最终转录标注由一系列带有起始时间、结束时间、转录内容和说话人ID的片段组成。在评估时，我们对这些片段分别进行ASR处理，并计算所有片段的整体性能。请注意，转录内容对应的时间段与说话人分离任务中使用的时间段并不相同，因为我们在此单独标注了重叠区域，以减少转录误差并兼顾低音量下的说话情况。这使我们能够区分语音活动和说话人活动。此外，这种按时间段划分的转录方式也与语音领域常用的标准ASR数据集略有不同，后者主要包含文本而没有时间戳。
评估方法：我们采用词错率（WER）这一标准的ASR指标来评估此任务[^114]。首先，计算参考转录与假设转录之间的最小编辑距离（即莱文斯坦距离）。WER随后用于衡量单词替换（S）、删除（D）和插入（I）的数量之和，也就是将假设转录转换为参考转录所需的总编辑次数与参考转录中单词总数（$N_{w}$）之比：
$$ \mathrm{WER}\ (\%)=\frac{S+D+I}{N_{w}}\times100. $$
### H.5 数据统计
在Ego4D的3,670小时视频中，约有764小时的数据包含对话内容，这些数据直接与AVD和社交基准测试相关。有关这些会话中采用的实验设计和场景的完整描述，请参阅第I.5节。在这部分数据中，随机选取了572个片段（每个时长5分钟）作为首个版本发布的标注数据。在这572个片段中，389个用于训练，50个用于验证，其余则作为测试集。
表19和图43总结了这些视频片段中说话人内容的统计数据。请注意，数据集中平均说话人数和最大说话人数的分布呈现长尾特征。我们注意到，在首个版本的数据发布中，由于视频片段总数相对较少，测试集和/或验证集可能会在说话人口音变化、词汇使用差异（因为参与者来自世界各地的不同文化背景）以及场景中说话人之间的互动性质方面存在偏差。训练集、测试集和验证集之间存在轻微的分布差异，这主要是因为Ego4D的AVD在这一版本中的标注数量较少。我们预计随着未来发布更多数据并进行标注，这些分布差异将会显著减小。
### H.6 基线建模框架
请记住，本基准测试中的四项任务相互关联，也就是说从某一任务中学习到的表征可能对其他任务也有参考价值。基于此，我们提出了一种基线学习框架来依次处理各项任务。
---
Figure 43. AV Diarization data statistics. Mean and maximum number speakers in FOV, and number speakers per clip.
Figure 44. AV Diarization benchmark annotations summary. The four tasks are annotated in a sequential fashion, starting with localization and tracking of speakers, active speaker detection labels, diarization time stamps, and finally transcriptions. The figure shows the face detections (highlighted by bounding boxes), speaker detection (shown by the anonymous person IDs 1, 2, etc.), active speaker (highlighted in green) and voice activity (shown below in green highlighted time segments). Speakers in the visual FOV who are not talking are highlighted in dotted red boxes. The clips used for AVD (and Social Interaction) have not been found from participants to leave their faces unblurred.
| Statistic (Avg.) | Value |
| Speakers per clip | 4.71 |
| Speakers per frame | 0.74 |
| Speaking time in clip | 219.81 sec |
| Speaking time per person in clip | 43.29 sec |
| Camera wearer speaking time | 77.64 sec |
Table 19. AVD Data Statistics.
该框架按序执行以下步骤：
• 我们首先在视频中检测人的头部并进行短期跟踪。短期跟踪器会根据每个检测到头部的位置、大小和外观信息来扩展对应的轨迹集合。当发生遮挡或被跟踪的人离开视野时，相关轨迹就会终止；同时也可以向轨迹集合中新增轨迹。
• 每个人的短期跟踪器轨迹如下：
---
Figure 45. Example annotations showing the face detections (highlighted by bounding boxes), speaker detection (shown by the anonymous person IDs 1, 2, etc.), active speaker (highlighted in red) and voice activity (shown below in blue highlighted time segments). As illustrated here, the data for AVD includes people walking around and talking, sitting and playing games etc. The clips used for AVD have consent from participants to leave their faces unblurred.
这类轨迹往往会被分割成多个部分。因此，我们首先在第一步优化轨迹片段的分组，以便将每个人的轨迹连接起来。我们将该问题表述为一个受约束的组合优化问题。虽然可以直接用整数规划来求解该问题，但其计算复杂度呈指数级增长。为提高效率，我们采用了一种贪婪算法，该算法速度更快且仍能得到不错的结果。
- 接着，我们会将每个视频帧中的每个人/头部分类为是否为活跃说话人。基于分类结果和对应的长期检测轨迹，我们进一步将音频/语音与视频中的每个人对应起来。我们利用这份初步得到的音频特征嵌入列表，来提取未关联的音频片段并将其与说话人标签匹配。
- 随后，我们采用两种方法检测佩戴摄像头者的语音活动情况。第一种方法利用视频片段中的高能量音频段（假设其语音相比其他说话人会有自然放大效果）；第二种方法是使用深度分类器来预测佩戴者是否正在说话。
最后，我们根据真实分割结果对语音区域进行ASR处理，并评估所有片段的WER值。使用另一种分割方法来评估系统颇具挑战性，尤其是在语音片段重叠的情况下。将时间片段与转录文本联合建模将是一个极具挑战性的问题（正如我们在H.7节中讨论的那样）。
我们在下文详细描述了上述每一步的具体内容，表20–29则总结了各项任务的最终性能指标。
仅音频的说话人分离模型。在语音处理领域，基于音频的说话人分离问题已得到广泛研究[^10] [^177]。对于仅音频的基线系统，采用了VBx分离方法[^128]，因为该方法在多种数据集上均展现出优异性能，例如CALLHOME[^3]（电话通话）、AMI[^28]（会议）以及DIHARD II[^59]（涵盖从有声书到YouTube视频的多种场景）。该方法需要确定语音活动区域，而这些区域是通过基于时延神经网络（TDNN）并采用统计池化技术的ASpIRE模型来获取的，该模型可通过Kaldi语音识别工具包获取[^181]。我们将其称为kVAD（即Kaldi VAD模型）。尽管kVAD是在略有不同的数据（电话通话）上训练的，因此无法提供最佳结果，但因其易于获取，仍被选为基线系统。
---
为了获得最佳结果，鉴于其普遍可用性，它被选为基线系统。
语音活动区域会被均匀分割为较短的片段，每个子片段会提取出一个说话人嵌入向量（即所谓的x向量[^206]）。这些x向量是通过ResNet101提取器获得的[^96]，该提取器经过训练可生成具有区分度的说话人嵌入向量。网络的输入为每10毫秒一组的对数梅尔滤波器特征；给定一个语音片段后，网络会计算出一个代表整个片段的256维向量。整个片段的信息会通过统计池化层进行聚合，该层会计算时间域上激活值的均值和标准差。随后通过线性变换将维度降至256。训练数据包含VoxCeleb1[^165]、VoxCeleb2[^40]和CN-CELEB[^64]，总计来自8178位说话人的2877小时语音数据。
最初会使用凝聚层次聚类方法将x向量聚类为几十个类别。这一初步聚类结果会被用作贝叶斯隐马尔可夫模型的初始化参数，该模型会同时估算录音中的说话人数量以及x向量与各状态的对应关系。模型中的每个状态对应一位说话人，某一特定状态下观测到某个x向量的概率，可理解为该说话人产生了对应的语音片段。为了在Ego4D验证集上获得最佳的DER性能，我们对模型的关键超参数进行了微调。布尔诺理工大学发布的VBx实现以及Phonexia Research发布的训练方案均可供公开获取。
短期人员跟踪：此处的主要目标是跟踪人员的面部。不过，我们的方法也可用于跟踪每个人的整个身体。短期跟踪器会维护一组轨迹，这些轨迹包含诸如人员ID、被跟踪的帧数、生命周期计数器、外观特征以及被跟踪边界框的位置等信息。在本文中，我们用“人员ID”来指代视频中人员的匿名标签（如人员1、人员2等）；数据中并不包含实际的身份信息，且该基准测试也不旨在进行人员身份识别。轨迹分为两种类型：如果某条轨迹被跟踪的帧数少于阈值（例如5帧），则该轨迹处于试用阶段，即便我们保留了所有相关信息，它也不会被计为真实轨迹；一旦轨迹被跟踪的帧数超过阈值，它便成为真实轨迹。每条轨迹都有生命周期，新轨迹的生命周期从固定值开始计算。若某条轨迹能与候选人员头部边界框匹配成功，其生命周期便会恢复至固定的最大值（如10）；否则，该轨迹会进入维护模式，且每次未能找到匹配项时其生命周期就会减1。当轨迹的生命周期归零时，它就会被从轨迹集中移除。
短期跟踪器的核心组件是将各轨迹与每一帧中的候选头部边界框进行匹配。这可表述为如下优化问题：
$$ \begin{aligned}&\min\sum_{(i,j)}c_{i,j}x_{i,j}\\ s.t.\ &x_{i,j}forms a max-matching,\\&x_{i,j}=0,if(i,j)\in E,\\&x_{i,j}=0,1,\end{aligned} $$
其中，若轨迹i与候选头部边界框j匹配，则$x_{i,j}$取值为1，否则为0。集合E中包含无法相互匹配的轨迹与候选对象的配对情况，比如候选对象距离过远、尺寸差异过大或外观不匹配等情形。$c_{i,j}$表示轨迹i与候选头部检测结果j之间的匹配成本。该匹配成本$c_{i,j}$是归一化边界框距离与外观特征差异的线性组合。归一化边界框距离定义为：轨迹中最后一个边界框的两个角点与图像中检测到的头部边界框之间的欧几里得距离，与检测到的边界框尺寸的比值。每条轨迹还会维护一个特征向量，用于描述被跟踪人员最近的外观特征。该特征向量来自在大型人员头部数据集上训练得到的特征嵌入网络。
这一优化问题可利用匈牙利算法或原始对偶算法高效求解。由于特征存在不完美性，当两个目标交叉时，优化过程可能会出现身份互换问题。为解决这一问题，我们赋予较长的轨迹更高的匹配优先级。我们采用两步匹配方案：首先匹配所有长度超过经验设定的阈值的轨迹，完成后才匹配较短的轨迹。这种方案自然赋予了较长轨迹更高的优先级，从而减少它们之间的匹配错误。相比一次性处理所有轨迹的单阶段匹配方式，该方案更具鲁棒性。
在我们的实现中，人员检测器采用的是Yolo-V3检测器[^187]，可同时检测头部和人员边界框。该检测器在Google OpenImage数据集[^123]和鱼眼图像数据集[^73]上进行训练。我们利用检测到的头部边界框来进行人员跟踪。人员头部的外观特征是通过人员嵌入网络提取的，该网络在VoxCeleb2数据集上使用三元组损失函数进行训练，其结构为ResNet-18。
基于轨迹匹配的长期跟踪：短期跟踪器会生成零散的人员轨迹。如果某人被遮挡或离开视野后又重新出现，就会被分配一个新的ID。这些零散的轨迹被称为子轨迹。我们需要将整个视频中的子轨迹进行分组，从而生成每个人的最终轨迹。分组问题可表述如下：
---
约束条件如下：
$$ \min\sum_{m,n}D_{m,n}y_{m,n} $$
s.t.
$$ \begin{aligned}t.&\boldsymbol{y}_{m,n}=\boldsymbol{y}_{n,m},\forall m,n,\\&\boldsymbol{y}_{m,k}+\boldsymbol{y}_{k,n}\leq1+\boldsymbol{y}_{m,n},\forall m,n,\\&\boldsymbol{y}_{m,n}=0,if m and n overlap in time or D_{m,n}>g,\\&\boldsymbol{y}_{m,n}is binary,\end{aligned} $$
其中，若子轨迹m和n可以归为同一组，则$y_{m,n} = 1$；否则$y_{m,n} = 0$。$D_{m,n}$表示子轨迹m和n之间的外观距离，g为阈值。此处$D_{m,n} = \min_{\{i \in T_m, j \in T_n\}} ||f_i - f_j||^2$，其中$T_i$是子轨迹i中人员头部框的集合，$f_i$是对应的特征嵌入。这些约束具有自反性：若子轨迹m和n可以归为一组，那么n和m也可以归为一组；传递性：若m和k可以归为一组，且k和n也可以归为一组，那么m和n也能归为一组。如果两个子轨迹存在时间重叠，或者它们之间的距离大于阈值g，则不能将它们归为一组。该优化问题可通过整数规划求解，但该方法的计算复杂度呈指数级增长。我们提出了一种快速的贪心算法来解决这一问题。
贪心算法首先将每个初始子轨迹视为一条轨迹，然后逐步将距离最近的两条轨迹合并，直到无法再合并为止。由于两条轨迹之间的距离可以通过计算所有“元素”子轨迹对距离的最小值来得到，因此如果我们预先计算并缓存元素对距离，合并过程就会非常高效。这种贪心方法在保持低复杂度的同时能取得不错的结果。
如果每对轨迹之间存在冲突，该算法就退化为最小生成树方法。然而，如果存在时间上冲突的子轨迹，贪心算法并不一定能给出全局最优解。我们通过一个简单的例子来说明这种方法：假设有子轨迹$\{T_1, T_2, T_3, T_4\}$、$T_1$和$T_2$存在时间冲突，$T_3$和$T_4$也存在时间冲突。$\mathrm{D}(T_1, T_3) = 10$、$\mathrm{D}(T_2, T_4) = 1$、$\mathrm{D}(T_1, T_4) = 3$和$\mathrm{D}(T_2, T_3) = 4$。我们假设$g = 20$。采用所提出的贪心方法，得到的解P为$\{\{T_2, T_4\}, \{T_1, T_3\}\}$，其总成本为11。而最优解为$\{\{T_1, T_4\}, \{T_2, T_3\}\}$，总成本为7。尽管贪心方法不能保证得到全局最优解，但从经验上看，该方法能取得不错的结果。实际上，如果人员特征嵌入足够准确，这类特殊情况很可能永远不会出现，贪心结果也会趋近于全局最优解。
| Metric | Valid | Test |
| MOTA | 74.52 | 71.94 |
| MOTP | 79.07 | 79.17 |
| IDF1 | 84.92 | 80.07 |
| IDR | 80.40 | 73.52 |
| IDP | 89.97 | 87.90 |
Table 20. Localization and tracking baseline metrics on the validation and the test sets respectively.
这种情况可能永远不会发生，此时贪婪算法的结果会趋近于全局最优解。
表20总结了验证集和测试集上的跟踪指标MOTA、MOTP、IDF1、IDR和IDP。
主动说话人检测：我们采用两种方法来进行主动说话人检测。一种方法基于嘴部区域分类，另一种是基于Transformer的视听融合主动说话人检测方法[^211]。
RegionCls：我们的第一种方法基于口腔区域的分类。该方法首先利用回归网络计算三维头部朝向。在我们的实现中，z轴方向指向图像内部；如果单位球面上头部的三维朝向z坐标大于0.3，我们就认为面部远离摄像头。若面部背向摄像头，我们会忽略该图像，并将活跃说话人检测结果设为null。对于面向摄像头的面部，我们的方法首先利用人物头部边界框内的图像来回归面部关键点。我们利用口腔关键点裁剪出口腔图像，随后将裁剪得到的口腔图像送入分类网络，以判断说话人是否正在讲话。
需要注意的是，我们也尝试了使用多张图像的方法，即在一段时间内将一系列裁剪好的口腔图像堆叠起来用于活跃说话人分类。实验表明，输入多张口腔图像并不会显著改善结果。这可能是由于摄像头移动较快，且面部角度有时较难把握，从而导致裁剪出的口腔区域不够准确。
TalkNet：[^211] TalkNet是一种端到端的流程，它以裁剪后的人脸视频及对应的音频为输入，判断每个视频帧中人物是否在讲话。它包含特征表示前端和说话人检测后端分类器，如图46所示。前端包含音频时序编码器和视频时序编码器，它们将基于帧输入的音频和视频信号编码为音频与视频嵌入的时序序列，用以表征时间上下文信息。后端分类器包含跨模态交叉注意力机制，用于动态对齐音频与视觉内容；还包含自注意力机制，用于从话语级别的时间上下文中识别说话活动。
---
```pseudo
// Algorithm 1: Greedy Tracklet Grouping
```
初始化集合$P=\{S_1,S_2,...,S_N\}$，其中$S_i=\{T_i\}$、$T_i$表示轨迹i，N为轨迹的数量。
for (m, n)，m=1..N且n=1..N do
compute $D(m,n)$
end for
while True do
for $(S_m, S_n)$, $S_m \in P$ and $S_n \in P$, and $(S_m, S_n)$ do not have time conflict do
compute $F(S_m, S_n) = \min_{T_a \in S_n, T_b \in S_m} D(a,b)$
end for
$(m^*, n^*) = \arg\min(F(S_m, S_n))$
if $(m^*, n^*)$ is empty or $F(S_{m^*}, S_{n^*}) > g$ then break
end if
$S_{m^*} = S_{m^*} \cup S_{n^*}$ and P.pop( $S_{n^*}$)
end while
P包含已确定的轨迹。
Figure 46. TalkNet: An audio-visual temporal network for detecting and tracking the active speaker in a video [^211]. Figure is from [^211].
表21、22、23和24总结了最终的性能结果。对于所提出的两种基线模型，我们分别报告了基于AVA预训练的模型性能，以及仅使用Ego4D训练数据集中的视频训练的模型性能。需要注意的是，纯视频方法可以与任何语音活动检测算法结合使用，以消除误报。此处我们采用了来自[^203]的此类算法，将其称为sVAD，它能大幅提升活跃说话人检测的结果。最大滤波的窗口大小为11。TalkNet还内置了平滑滤波功能，用于对原始分类结果进行后处理。
| Model | mAP@0.5 |
| RegCls w/o smoothing | 29.68 |
| RegCls + max-filtering | 31.95 |
| RegCls + max-filtering + sVAD | 33.72 |
| TalkNet | 34.75 |
| TalkNet + sVAD | 34.56 |
| Always Speak | 24.46 |
Table 21. Active speaker detection baseline metrics on the test set with pre-training using AVA. In Always Speak, all the detected faces are classified as active speakers.
| Model | mAP@0.5 |
| RegCls w/o smoothing | 29.65 |
| RegCls + max-filtering | 32.77 |
| RegCls + max-filtering + sVAD | 34.35 |
| TalkNet | 50.90 |
| TalkNet + sVAD | 49.66 |
Table 22. Active speaker detection baseline metrics on the test set using training videos in the Ego4D dataset.
| Model | mAP@0.5 |
| RegCls w/o smoothing | 22.09 |
| RegCls + max-filtering | 22.88 |
| RegCls + max-filtering + sVAD | 25.53 |
| TalkNet | 34.36 |
| TalkNet + sVAD | 34.65 |
| Always Speak | 20.94 |
Table 23. Active speaker detection baseline metrics on the validation set with models trained on AVA dataset. In Always Speak, all the detected faces are classified as active speakers.
视野外说话人的匹配：基于追踪到的头部信息和活跃说话人检测结果，我们可以把音频与场景中可见的人物对应起来。不过这还不完整，因为存在说话人位于视野之外的情况。为解决这一问题，我们首先为视频中的每个可见人物创建音频特征签名。
---
| Model | mAP@0.5 |
| RegCls w/o smoothing | 20.33 |
| RegCls + max-filtering | 21.93 |
| RegCls + max-filtering + sVAD | 24.60 |
| TalkNet | 51.04 |
| TalkNet + sVAD | 50.58 |
Table 24. Active speaker detection baseline metrics on the validation set using training videos in the Ego4D dataset.
将音频与场景中可见的人物对应起来。不过这还不算完整，因为存在说话者位于视野之外的情况。为了解决这个问题，我们首先为视频中的每个可见人物创建音频特征。
我们提取以每个视频帧时刻为中心的一秒音频。如果音频对应图像中的说话人，我们就计算这一秒音频的音频嵌入，并将该特征插入到该人的音频签名库中。这些音频嵌入可以通过任何语音表征学习方法获得。我们探索了几种模型，包括经过修改的ResNet18——它以一秒时间窗口内的音频频谱对数幅值为输入，并在VoxCeleb2数据集上使用三元组损失进行训练；还有wav2vec 2.0 [^15]版本——这是一种用于语音表征学习的自监督方法。
我们解析视频，找出特定人物不在视频帧中的时刻，然后将音频嵌入与该人的音频签名库进行匹配。我们找出该音频嵌入与库中所有签名音频嵌入之间的最小距离。如果该距离小于预设阈值，我们就将该人判定为正在说话，否则判定为没有说话。需要注意的是，音频嵌入仅在同一个5分钟的视频片段内使用，绝不会跨视频片段使用。人物ID始终是匿名标签（人物1、2等）。
我们使用这种方法来检测感兴趣的人物在不可见时的所有背景音频。该方法假设活动说话人的判定是完美的。实际上，活动说话人的判定结果存在噪声，这会导致其他人的语音特征被纳入某人的签名库中，进而影响最终的音频分类结果。
追踪摄像头佩戴者的音频：摄像头佩戴者是一种特殊参与者，因为在第一人称视角视频中他们的面部是不可见的。因此无法使用活动说话人检测方法将佩戴者与其声音关联起来。我们采用两种方法检测摄像头佩戴者的声音。
方法一：第一种方法采用能量过滤后接音频匹配的方式。该方法不需要对摄像头佩戴者的语音活动进行人工标注。由于摄像头麦克风通常比场景中其他参与者的麦克风更靠近佩戴者的嘴巴，因此佩戴者声音的振幅往往比其他参与者的声音更大。我们利用这一规律，通过选取能量高于某一阈值的音频部分来提取佩戴者声音的候选片段。由于不同录音的响度水平不同，我们先利用最大能量对音频进行归一化，再按照最大能量的固定百分比来选取可能的佩戴者声音。该阈值百分比被设定得尽可能高，以避免误报。一旦选出候选音频，我们就使用上一节所述的相同音频匹配方法来找出属于摄像头佩戴者的所有音频。如表25所示，这种简单的方法效果相当不错。当佩戴者从不说话或说话声音极低时，该方法会失效；总体而言，对于近距离麦克风而言，基线方法的效果优于远距离麦克风。
方法二：在第二种方法中，我们直接对每个时间点的音频分为两类：佩戴者的声音或非佩戴者的声音。40毫秒时间窗口内的频谱对数幅值作为网络输入，该网络是经过修改的ResNet。网络在Ego4d AV训练数据集上利用标准交叉熵损失进行训练。
我们使用分类mAP来衡量佩戴者音频活动检测的结果。我们在表25中报告了测试视频和验证视频上的平均mAP。
| Model | Valid | Test |
| Method I | 43.95 | 50.61 |
| Method II | 72.00 | 74.29 |
| Always Speak | 21.30 | 26.09 |
Table 25. Camera wearer activity detection baseline metrics (mAP) on the validation and test sets respectively. Always Speak assigns that the wearer speaking in each video frame.
说话人分离表26、27和28总结了前文提出的基线模型的说话人分离DER指标。我们分别报告了仅基于Ego4d数据训练以及结合现有分离数据集训练的结果。需要注意的是，纯音频DER是汇总值，而音视频DER则是平均值。此外还需注意VAD对纯音频基线模型分离性能的影响。应当指出的是，使用更适配Ego4D类数据的模型可取得更佳性能。不过，这一方面在AVD基准测试中仍面临挑战。
转录：为获取基线转录结果，我们使用了ESPNet模型库中提供的预训练Gigaspeech模型[^1]。该模型在包含10000小时语音数据的Gigaspeech数据集[^34]上训练。模型的输入特征是采用SpecAugment方法增强后的logmel特征[^173]，并经过全局归一化处理。
---
| Model | trained on Ego4D | sVAD | DER [%] |
| RegionCls | no | no | 84.79 |
| RegionCls | no | yes | 83.88 |
| TalkNet | no | no | 86.68 |
| TalkNet | no | yes | 85.85 |
| RegionCls | yes, only | no | 80.52 |
| RegionCls | yes, only | yes | 80.17 |
| TalkNet | yes, only | no | 73.14 |
| TalkNet | yes, only | yes | 73.32 |
| Always Speak | - | - | >100 |
| Never Talk | - | - | 100 |
Table 26. Diarization Baseline Metrics showing DER on the test set. In Always Speak, all the detected people are labeled as "speaking" in each video frame. In Never Talk, all the detected people are labeled as "not speaking" in each video frame.
| Model | trained on Ego4D | sVAD | DER [%] |
| RegionCls | no | no | 98.82 |
| RegionCls | no | yes | 90.98 |
| TalkNet | no | no | 99.73 |
| TalkNet | no | yes | 92.14 |
| RegionCls | yes, only | no | 81.66 |
| RegionCls | yes, only | yes | 79.97 |
| TalkNet | yes, only | no | 80.58 |
| TalkNet | yes, only | yes | 79.30 |
| Always Speak | - | - | >100 |
| Never Talk | - | - | 100 |
Table 27. Diarization baseline metrics showing DER on the validation set. In Always Speak, all the detected people are labeled as "speaking" in each video frame. In Never Talk, all the detected people are labeled as "not speaking" in each video frame.
| Type of VAD | Valid | Test |
| kVAD | 67.24 | 65.28 |
| Ref. Activity | 36.56 | 39.99 |
Table 28. Diarization performance with audio-only models for validation and test sets using kVAD and reference (ground truth) voice activity annotations.
这些特征会经过均值-方差归一化。声学模型的编码器基于macaron风格的conformer结构[^93]，包含12个模块和8个注意力头；解码器则基于6层transformer结构[^217]，同样有8个注意力头。编码器和解码器中的线性层均包含2048个单元，编码器输出维度为512，解码器输出则对应5000个sentencepiece单元[^122]。该模型采用CTC与注意力机制联合优化的目标函数进行训练[^112]。解码时未使用语言模型，CTC权重设为0.3，束宽设为20，且并未针对Ego4D数据集做微调。由于从[^1]获取的预训练模型无法处理5分钟的视频，因此我们利用转录标注中的预设片段信息对数据进行切分，再对每个片段单独解码。最终的WER是通过统计整个验证集或测试集上的总错误数得出的。
表29总结了验证集和测试集上不同VAD分割方法对应的WER结果。计算最终WER时，我们执行了以下操作：1）移除参考文本和ASR假设中的标点符号；2）借助Kaldi代码库中的英语全局映射文件[^2]，允许对缩略形式（如“I will”与“I'll”）进行柔性匹配；3）使用NIST的slite工具[^72]进行计算。从表29可以看出，测试集和验证集上的WER都偏高。这表明由于语音重叠、噪声干扰、不同说话人音量不一、偶尔出现的外来词等因素，该数据集对现成的ASR模型而言极具挑战性。
| Speech Segments | Valid | Test |
| Ground Truth | 64.8 | 59.2 |
Table 29. ASR transcription WERs (%) on the validation and test data using the reference speech segmentation.
### H.7 讨论
尽管音视频说话人分离任务涵盖了视觉、语音及音频领域相对成熟的技术模块，但我们的基线结果明确表明：在以自我为中心的视角下，处理自然场景中的数据时，实现高效的说话人定位、跟踪、分离及转录是一项相当复杂的问题。这一点从音视频驱动的分离与转录基线模型的性能中尤为明显（DER超过80%，WER超过60%）。语音重叠现象使得这类任务的标注以及所提出模型的评估都格外困难。虽然在这些任务之前先进行音视频声源分离或许能提升效果，但如何应对重叠说话人语音幅度的差异及变化，依然是个难以解决的难题。
为了进一步提升性能，亟需开发能够同时建模音频与视觉模态、并考虑各种实际场景因素（如说话人重叠、干扰、野外噪声等）的新型跨模态学习方法。我们在此使用的基准框架同样未能有效实现四项任务之间的信息共享。具体而言，鲁棒定位与跟踪技术同多说话人区分技术之间的关系尚未得到深入研究，学界对此也缺乏清晰认知。我们预计这将是一个极具挑战性的问题。
---
这种关系尚未被探讨，文献中对此也缺乏深入阐述。我们预计这将是一个极具挑战性的问题。
我们还发现，对话中的主观属性——比如说话人口音、因文化差异导致的词汇使用差异等——既会影响语音内容，也会影响人类标注者对语音的识别清晰度。佩戴摄像头的人头部运动还会造成说话人面部的显著模糊。为应对这些问题，我们对人类标注结果进行了质量检查；我们预计，新型的无监督与自监督学习方法将有助于进一步解决这类主观属性带来的难题。
在未来的版本中，我们计划拓展任务套件的范围（即提出新任务与标注方式），从而为第一人称视角下的核心机器学习研究以及鲁棒的多模态表征学习开辟新途径。我们还可以探索以空间音频为重点的研究方向，通过构建结合SoundSpaces的3D环境[^32]来实现这一点。这将推动视听声源定位、视听到达方向估计及相关沉浸式现实应用等领域的新研究与新任务。需要说明的是，我们的数据集中有一小部分确实包含了利用入耳式麦克风与录音设备（Tascam，见附录A）采集的双耳音频。
### H.8 贡献声明
Vamsi Krishna Ithapu共同领导了视听区分基准研究工作流、相关任务定义、数据选取方法、数据标注工具与规范制定以及论文撰写工作。Christian Fuegen共同领导了视听基准研究工作流、区分与转录任务定义、相应标注规范及论文撰写工作。Hao Jiang负责数据标注工具开发、定位与跟踪任务定义、活跃说话人检测与区分任务相关工作；他还参与了这些任务的基准模型构建及论文撰写。Federico Landini和Jachym Kolar负责纯音频语音活动检测与区分任务的基准模型开发及论文撰写。Leda Sari负责转录任务定义、相应标注规范及基准建模工作。Eric Zhongcong Xu负责数据选取方法及活跃说话人检测基准建模工作。Ruijie Tao和Mike Zheng Shou负责活跃说话人检测模型的构建。Hanbyul Joo负责数据标注工具开发及数据选取方法研究。Christoph Feichtenhofer负责任务定义与指标设定。Anurag Kumar负责活跃说话人检测与区分任务定义，以及这些任务相关的音频嵌入建模工作。Morrie Doulaty负责语音活动检测与区分任务的基准模型开发及标注数据分析。Lorenzo Torresani负责任务定义与标注规范制定。Kristen Grauman参与了基准体系的构建及论文撰写。
---
### I. 社交互动基准
本节详细介绍了社交互动基准测试的任务定义、标注、基线模型及结果。我们还提供了多人视频数据采集过程的细节，这些参与者同意不模糊其面部并允许录制对话（附录I.5）。如附录B所述，社交基准测试视频经过筛选，去除了任何可直接识别参与者的信息（如姓氏或社交媒体账号）。不过，根据我们的知情同意书，视频中仍会保留参与者的面部和声音。
### I. 1 正式任务定义
LAM和TTM的定义如下：(1) LAM：$y = f(\mathbf{I}, \mathbf{B})$；(2) TTM：$y = f(\mathbf{I}, \mathbf{A}, \mathbf{B})$，其中$\mathbf{I} = \{I_t\}_{T_1}^2$、$\mathbf{A} = \{A_t\}_{T_1}^2$和$\mathbf{B} = \{B_t\}_{T_1}^2$分别是时间同步的视频、音频和边界框序列，$T_1$和$T_2$分别对应过去和未来的时间范围长度，$t = 0$是中心帧。边界框用于指示待分类的目标人物。y是由以下规则定义的二元分类标签：
$$ y=\left\{\begin{array}{ll}1&\text{if target looks/talks at camera wearer}\\ 0&\text{otherwise.}\end{array}\right. $$
LAM和TTM任务被定义为逐帧预测y，这与音频分析任务形成对比——后者通常将标签赋予音频帧或片段层面。理想的模型必须能够基于话语过程中的视频和音频线索做出综合决策。例如，如果说话者在与摄像头使用者交谈时短暂将头转向一侧，那么说话者视线偏离的帧会被标记为$y_{LAM} = 0$，而$y_{TTM} = 1$。图47展示了说明任务定义的逐帧标注可视化结果。
### I. 2 标注统计
社交任务标注LAM和TTM基于AV声源分离任务中使用的相同视频片段，相关描述见附录H.5。图48汇总了这些片段中LAM和TTM标注的统计信息。我们计算每个片段中带有LAM或TTM标注的帧所占百分比，并在图48(a)和(b)中分别展示相应直方图。在许多片段中，这类事件出现频率较低（10%及以下），且带有LAM标注的帧比TTM情况更少。我们还在图48(c)和(d)中列出了每个LAM或TTM标注的持续时间（起始时间与结束时间之间的时长），以说明其长度的显著差异。最常见的情况是
(a) Annotation tool
(b) Visualization of annotations.
Figure 47. (Top) The GUI of the annotation tool; (Bottom) Visualization of example annotations. Note that LAM (denoted by magenta text) and TTM (denoted by cyan text) may not necessarily occur together as shown in these examples.
持续1或2秒的短时LAM或TTM行为。为进行第I.3节中的基线模型训练，数据安排如下：保留389个片段用于训练，总时长共32.4小时。另外分别保留50个片段（4.2小时）和133个片段（11.1小时）作为验证集和测试集。
### I. 3 社交基线模型及结果
LAM：我们的LAM基线模型是基于视频的模型，采用ResNet-18和双向LSTM架构。该模型以视频中的裁剪后面部区域作为输入，以便重点关注面部中可见的头部姿态和社交注意力相关线索。我们的基线模型架构与Gaze360 [^111]类似。如图49(a)所示，我们输入来自同一个面部轨迹的7个连续帧（$T_1 = 3$和$T_2 = 3$），每张图像会被调整大小为$224 \times 224$。随后，每一帧由ResNet-18骨干网络独立处理，生成256维的面部特征。特征序列则
---
(a) % of LAM per clips
(b) % of TTM per clips
(c) Duration of LAM
(d) Duration of TTM
Figure 48. Social task annotation statistics. (a) Histogram showing the number of clips vs. the percentage of frames with look-at-me annotations; (b) Histogram showing the number of clips vs. the percentage of frames with talk-to-me annotations in each clip; (c) Histogram showing the duration of look-at-me annotations; (d) Histogram showing the duration of talk-to-me annotations.
该模型由双向LSTM编码，包含两层循环层，维度为256。其输出被送入分类头，用于预测第t个时间戳下中心帧的二元LAM结果。LAM任务存在类别不平衡问题，因此我们采用加权交叉熵损失函数。由于该架构与Gaze360类似，初始化方式有两种选择：一是用预训练的Gaze360模型初始化主干网络；二是随机初始化模型，然后在Ego4D数据集上从头开始训练。训练过程中，我们以步长3采样中心帧。网络通过Adam优化器进行优化，学习率为$5 \times 10^{-4}$。
表30展示了相关结果。当随机初始化时，我们的基线模型在测试集上的mAP达到66.07%；而若用Gaze360模型初始化，性能可提升至78.07%。这些发现凸显了LAM任务与视线估计之间的密切关系。随机猜测模型的准确率约为8%，因为测试集中负样本占比高达92%，且该模型总是预测“注视我”。
TTM任务的基线模型会处理多模态输入：每个音频片段都与对应的面部裁剪图像配对。由于音频片段的时长差异较大，我们将较长的语音切分为最大时长不超过1.5秒的短片段；若片段时长不足0.15秒，则在训练阶段将其忽略。相应的面部图像也会被缩放至$224 \times 224$尺寸，视频编码器则与LAM任务中使用的相同。
| val | test |
| Acc | mAP | Acc | mAP |
| Random Guess | 8.57 | 51.19 | 7.98 | 50.96 |
| Baseline (Gaze360) | 91.78 | 79.90 | 87.97 | 78.07 |
| Baseline (Random) | 86.45 | 72.11 | 75.38 | 66.07 |
Table 30. Results of LAM. The baseline model was initialized from Gaze360 [^111] (2nd row) and at random (3rd row).
视频编码器与LAM任务中使用的相同。不过有时说话者会离开视野，或因快速移动而不可见，此时我们会用空白图像填充面部序列。MFCC特征每10毫秒提取一次，窗口长度为25毫秒。随后该特征被送入专为音频任务设计的ResNet-18音频主干网络[^38]。编码器之后，我们会将音频和视觉嵌入向量拼接起来，再传入最终的分类头，以得到与该片段相关的可见脸部的TTM结果。为了并行训练模型，我们首先根据时长对短片段排序，将时长相同的片段归为一组形成批次；批次大小受GPU内存限制，我们采用的批次大小为400。模型同样通过Adam优化器进行优化，学习率为$5 \times 10^{-4}$。
表31总结了TTM任务的结果。TTM任务比LAM任务更具挑战性。可以看出，与随机猜测模型相比，我们的基线模型在测试集上的mAP仅提高了9.77%。
### I. 4 讨论
虽然检测注意力及说话行为是否指向第一人称的基准任务与现有分析任务密切相关，但从基线性能来看，仍有很大的提升空间：LAM任务的mAP为78.07，TTM任务则为55.06。
TTM任务尤其具有挑战性，因为它需要分析音频内容以确定话语的目标受众，同时还要融合音频与视频线索。解决这一问题最完整的方案需要理解话语在动态对话交互中的语义。未来针对该任务的研究可能会涉及更复杂的语言建模，以及允许在多个层面整合线索的分层分析方法——例如在对话层面确定参与交流的人员，在话语层面解析语义，在音频层面利用韵律及其他线索。
LAM任务面临着额外的挑战，比如需要处理运动模糊和头部快速移动问题；同时，若能更明确地建模头部运动以及对话互动中出现的注视行为模式，也会大有裨益。
---
(a) LAM
(b) TTM
Figure 49. Baseline model architectures. (a) LAM model uses a ResNet-18 as a backbone to extract the feature of each frame. A Bidirectional-LSTM then takes the sequence and encodes the features into one embedding. We pass the embedding to FC layer that predicts the LAM result. (b) TTM model has two encoders. The video encoder is the same as LAM. The audio encoder extracts the MFCC frequency map of the audio segment and the feature is fed into a ResNet-18 network. The visual and audio embeddings are concatenated and passed through the FC layer to predict the target of this utterance.
| val | test |
| Acc | mAP | Acc | mAP |
| Random Guess | 32.44 | 53.82 | 47.41 | 50.16 |
| Baseline | 64.31 | 56.50 | 49.75 | 55.06 |
Table 31. Results of TTM. The baseline model is initialized randomly.
### I. 5 社交数据集采集
Ego4D Social的数据采集过程旨在实现以下目标：1）自然互动；2）多模态采集；3）多样化的参与者与环境。参与者由朋友和家人组成，数据在住宅区和当地社区采集，以确保互动的自然性。不同采集点的硬件有所不同，但包括可穿戴摄像头、可穿戴眼动仪（佐治亚理工学院和印第安纳大学使用）、双耳录音系统以及智能手表（佐治亚理工学院使用）。采集流程包含高度结构化的场景，即要求参与者在住宅内玩几个小时游戏；也有非结构化的场景，即记录参与者在一周或更长时间内的日常社交互动。典型的社交互动场景包括玩桌游和纸牌游戏、准备饭菜以及散步。大部分数据采集工作是在新冠疫情期间进行的，相应的研究流程也经过精心设计，以最大程度保障参与者的安全。
这些社交数据来自五个采集点：亚特兰大、布卢明顿、雷德蒙德、双城地区以及新加坡。针对社交基准任务，共采集了764小时的视频和音频数据。各采集点的详细数据采集方法可参见附录A。
### I. 6 面向未来社交基准的衍生任务
LAM和TTM核心任务为分析多模态自中心数据及推断社交互动提供了起点。接下来我们将介绍两类潜在的未来任务：注意力任务和说话任务，借助Ego4D Social中现有的标注信息以及眼动仪采集的注视数据，即可支持这两类任务的开展。
自中心注意力预测（EAP）以往的研究[^135] [^137]已经证明，仅利用头戴式摄像头采集的自中心视频就能预测摄像头佩戴者的注视方向（即其自中心注意力）是可行的。这类研究利用了手眼协调任务的背景，此类任务要求注视方向与手部动作及物体相协调。Ego4D Social数据中有一部分是印第安纳大学和佐治亚理工学院的参与者使用可穿戴眼动仪（如Pupil Invisible）采集的注视测量数据，这将大幅扩充野外手眼协调相关数据的数量。
社交注视预测（SGP）：LAM任务针对的是社交注视的特殊情况，即某人注视着佩戴摄像头的人。我们可以通过预测以自我为中心的视频中每个可见面孔的社交注视目标来推广该任务，也就是$y^p \in \{0, 1, \ldots, M\}$，其中M代表群体社交互动中的参与者总数，而$p \in \{0, 1, \ldots, M\}$。p是社交成员的索引。当$y^p = q$时，意味着目标p正在注视参与者q。$y^p = 0$则涵盖了其他注视目标，包括非社交注视目标（例如注视某个物体）、注视未佩戴以自我为中心摄像头的人（导致没有对应的真实标注数据），以及注视任何以自我为中心的视频中均未捕捉到的未知目标。设$\hat{y}^{q,p}$表示由参与者q拍摄的以自我为中心的视频$\mathbf{I}_q$中可见的目标人物p所对应的LAM标签。那么SGP标签便由$y^p = \arg\max_q \{\hat{y}^{q,p}\}$给出。Ego4D Social数据集包含了多名社交成员同步录制的视频，这使我们能够通过匹配人物ID与摄像头佩戴者来扩展标注内容。需要注意的是，由于视频录制设备并未进行帧同步，因此对应帧的识别只能算是近似值。不过由于注视行为会在多帧中持续存在，我们认为这不会造成问题。
---
定义该任务时的一个关键问题是确定参与者集合。对于SGP的2D版本——SCG-2D而言，参与者集合由在帧t中可见的参与者构成。这是基于视频的注视追踪任务 [^37] 的社交化版本，其目标是预测每个目标参与者是否在注视帧中可见的其他参与者。更具挑战性的3D版本SCG-3D则采用帧t时刻社交场景中的所有参与者。该任务要求能够预测目标人物p注视的是哪位参与者，即便该参与者在帧t中不可见。原则上，这可以通过维护一张社交场景的俯视图布局图来实现，该图能反映参与者之间的大致空间关系。这样的布局图可与Gaze360 [^111] 等方法结合使用，以解决SCG-3D任务。值得注意的是，若能将录制的双耳音频作为额外输入，该任务或许能从中受益，因为定位声源的能力能为确定视频中不可见的注视目标位置提供额外线索。
话语目标预测（UTP）：TTM任务可以像LAM扩展到SGP那样，推广到所有参与者。其输入空间与TTM相同，输出空间则与SGP类似：$y^p = q$ 表示参与者p正在与参与者q交谈，而 $y^p = 0$ 则表示参与者未与任何人交谈，或正在与未佩戴以自我为中心摄像头的人交谈（因此无法确定真实情况）。与SGP不同，UTP需要识别出话语的所有目标接收者。实际上，我们的TTM标注已经支持这一任务，因为它区分了话语指向包括摄像头佩戴者在内的多名参与者的情况。在设计较为简单的TTM任务时，这一额外标签被忽略了。
基于文本记录的变体：对于所有先前定义的社会性任务，都可以定义一种利用音频文件的文本记录作为额外输入模态的变体。例如，TTM-T任务是TTM的一种变体，其预测结果被定义为$y^{p} = f(\mathbf{I}, \mathbf{A}, \mathbf{T}, \mathbf{B})$，其中T代表从A获取的文本记录（带时间戳的词序列）。这有望简化对话线索的使用，从而更准确地识别话语的目标及社交注视方向。
### I. 7 贡献声明
James M. Rehg共同领导了社会性基准测试相关工作及论文撰写。Hanbyul Joo共同领导了社会性基准测试相关工作及数据标注。Mike Zheng Shou共同领导了社会性基准测试相关工作、问题建模及实验设计。David Crandall负责布卢明顿站点中的数据收集工作，并参与了社会性基准测试的构建及论文撰写。Vamsi Ithapu参与了社会性基准测试的构建及数据标注。Hyun Soo Park负责双城站点中的数据收集工作，并参与了社会性基准测试的构建及论文撰写。
Hao Jiang参与了模型开发及数据标注工作。Yunyi Zhu参与了模型实现及实验工作。Eric Zhongcong Xu负责社会性基准测试的数据准备工作、模型实现及实验，同时承担了新加坡站点的所有数据收集相关任务。Ruijie Tao负责新加坡站点中的数据收集工作。Fiona Ryan负责亚特兰大站点中的数据收集工作，包括协议设计、多模态传感器部署与同步，以及去标识化处理。Miao Liu参与了亚特兰大站点中的数据收集与分析工作。Audrey Southerland负责亚特兰大站点的协议设计、IRB申请提交、参与者招募及数据录入工作。Jayant Sharma参与了双城站点中的参与者招募、数据收集、IRB提交、分析及数据录入工作。Yuchen Wang负责布卢明顿站点中的协议设计、参与者招募及数据收集工作。Weslie Khoo开发了布卢明顿站点中的多摄像头同步及去标识化流程。
致谢：社会性基准测试团队特此感谢各站点相关人员做出的额外贡献：亚特兰大站点：Jeffrey Valdez（参与者招募及数据收集），Gabriella Stripling、Ruth Stolovitz和Andrea Sucre-Pardo（参与者招募及数据集去标识化处理）。双城站点：Reese Kneeland、Angad Cheema、Silong Tan、Anjali Oleksy、Zhiteng Cao、Diana Begelman（数据收集及标注）。Facebook团队：Samuel Clapp和Peter Dodds（双耳音频录制及多模态同步）。布卢明顿站点：Zunaed Salahuddin、Zehua Zhang、Ziwei Zhao。
---
### J. 预测基准测试
本节详细介绍了预测基准测试的任务定义、标注信息、基线模型及结果。
### J.1 正式任务定义
如主论文所述，共有四类预测任务：未来运动预测、手部动作预测、短期物体交互预判以及长期行为预判。
## 未来运动预测
$$ \begin{array}{r l}{\mathcal{X}=\left[\begin{matrix}{\mathbf{x}_{t+1}}&{\cdots}&{\mathbf{x}_{t+F}}\\ \end{matrix}\right]^{\mathsf{T}}=f(\mathbf{x}_{t-T},\cdots,\mathbf{x}_{t-1};\mathcal{I}),}\end{array} $$
该任务旨在根据一系列过往图像来预测用户的未来运动。我们将该问题表述为：
其中，$\mathcal{X}$ 表示未来的运动轨迹，T和F分别代表过去与未来的时间范围，$\mathbf{x}_t$ 是时间t时轨迹上的一个点，而 $\mathcal{I}$ 则是时间t时的自我中心图像。假设人是在一个主要平面（如地面）上行走，我们将轨迹表示为二维平面上的形式，即 $\mathbf{x}_t \in \mathbb{R}^2$。
运动任务的本质在于设计一个函数f，用于根据当前图像预测一组可能的K条未来轨迹 $\{\mathcal{X}^k\}_{k}$。由于存在多种具有不同拓扑结构的合理未来轨迹，比如在Y形路口分叉的轨迹，因此我们预测K条未来轨迹。
## 未来手部预测
除了预测未来的运动轨迹外，我们还考虑了另一项具有挑战性的任务：预测关键帧中手部的未来位置（详见图50中的示意图）。具体而言，我们将接触帧 $^{17}$ 记为 $x_c$，前置条件帧 $^{18}$ 记为 $x_p$，而前置条件帧之前0.5秒、1秒和1.5秒对应的三个帧分别记为 $x_{p_1}$、$x_{p_2}$、$x_{p_3}$。正式来说，给定前置条件时间点前1.5秒的自我中心视频（记为 $x = \{x_{p_3-t_o-1}, ..., x_{p_3-1}\}$，其中 $t_o$ 表示观测时间），该任务旨在预测未来关键帧中双手的位置（$h_i^l, h_i^r$），其中 $i \in \{c, p, p_1, p_2, p_3\}$。
## 短期物体交互预判
该任务旨在预测给定时间戳之后发生的下一次人机交互行为。给定输入视频后，目标是预判以下内容：
场景中活动物体的空间位置（例如物体周围的边界框）。我们将下一个活动物体定义为用户将触摸以发起交互的物体（无论是用手还是工具）；
• 每个检测到的下一个活动物体的类别（例如“刀”、“番茄”）；
- 每个活动物体的使用方式，即对活动物体执行的操作（例如“拿取”、“切割”）；
- 与每个物体的交互开始时间（例如“1秒后”、“0.25秒后”）。这是用户触摸活动物体的第一帧所对应的时间（接触时间）。在涉及人机协作的场景中，这一预测十分有用。例如，如果系统预测到用户触碰危险物体所需时间短，辅助系统便可发出警报。
在该任务中，模型需要在特定时间戳做出预测，而非在整个视频中密集预测。图51展示了相关设置。模型可处理直到帧t的视频，此时它必须预判下一个活动物体，以及它们将在 $\delta$ 秒内如何参与交互，其中 $\delta$ 的值未知。模型可以做出零个或多个预测。每个预测会指明下一个活动物体的名词类别（$\hat{n}$）和边界框（$\hat{b}$）、表示未来动作的动词（$\hat{v}$），以及接触时间（$\hat{\delta}$），后者用于估算与物体交互开始所需的秒数。每个预测还包含用于评估的置信度分数（$\hat{s}$）。
具体来说，设V为一个未经裁剪的视频。我们用$V_{t}$表示视频V中在时间步t出现的帧，用$V_{:t}$表示从视频V的开头（时间戳0）到时间戳t结束的视频片段。给定一个被标记为“停止时间”的时间戳t，短期物体交互预测任务要求模型能够利用所观测到的视频$V_{:t}$来预测N个元组（其中N为任意值）：
$$ \{(\hat{b}_{i},\hat{n}_{i},\hat{v}_{i},\hat{\delta}_{i},\hat{s}_{i})\}_{i=1}^{N} $$
其中：
$\hat{b}_i \in \mathbb{R}^4$是一个边界框，用于指示预测的下一个活动物体的位置；
$\hat{n}_i \in \mathcal{N}$是一个名词，表示下一个活动物体的类别，其中$\mathcal{N}$是可能的名词集合。
---
Figure 50. Example of future hand prediction.
Figure 51. Example of short-term object interaction anticipation.
$\hat{v}_i \in \mathcal{V}$是一个动词，表示将要执行的动作，其中$\mathcal{V}$是可能的动词集合；
- $\hat{\delta}_i \in R^+$是接触时间，这是一个正数，用于估算与物体发生交互的时间点距离现在多少秒；
- $\hat{s}_i \in [0, 1]$是与预测结果相关的置信度分数。置信度值越高的物体，越有可能成为下一个活动物体。
对于每一个观测样本，模型可以进行N次预测（N为任意值），这既是为了应对存在多个下一个活动物体的情况，也是为了处理未来预测的多模态特性。这N次预测中的每一次都代表一种合理的未来物体交互方式。图51展示了所提出的任务。给定视频$V_{t}$，相关方法应能够识别出下一个活动物体（例如两个“面团”实例），预测将对该物体执行的动作（例如“拿取”），以及接触时间（例如0.75秒）。
## 长期动作预测
长期动作预测旨在对更远的未来进行预测。模型需要预测的并非给定时间戳下的下一个动作，而是摄像头佩戴者可能会执行的一系列长度为Z的未来动作。这对于需要按特定顺序执行一系列动作才能实现目标的长期规划而言至关重要。关键在于，这些动作发生在较长的时间范围内，长度可能不一，且并非均匀分布在时间轴上（例如每5秒发生一次动作）。因此，该任务在更抽象的层面上进行定义——模型需要预测的是动作类别的序列（动词和名词），而非动作发生时间或当前帧中下一个活动物体的边界框。
---
Figure 52. Example of long-term action anticipation. After observing a video up to a particular timestep t, a method should be able to predict the sequence of actions that will likely occur, in the correct order (e.g., first "take dough", next "put dough" etc.)
时间范围较长，其长度可能不固定，且在时间上的分布也不均匀（例如，每5秒执行一次动作）。因此，任务被定义在更抽象的层面上——模型需要预测动作类别的序列（动词和名词），而非动作发生的时间或当前帧中下一个活动物体的边界框。
更正式地说，给定一个未经裁剪的视频V以及上述的停止时间t，长期动作预测模型必须观测$V_{t}$，并预测N组长度为Z的合理未来动作序列：
$$ \{\left\{\left(\hat{n}_{z,i},\hat{v}_{z,i}\right)\right\}_{z=1}^{Z}\}_{i=1}^{N} $$
其中：
• $\hat{n}_{z,i} \in \mathcal{N}$是预测出的名词，$\hat{v}_{z,i} \in \mathcal{V}$是预测出的第z个未来动作的动词。
- $\{(\hat{n}_{z,i}, \hat{v}_{z,i})\}_{z=1}^{Z}$表示按照预测的出现顺序排序的未来动作序列。
与短期物体交互预测任务类似，模型可以生成N组预测结果，以体现未来预测的多模态特性。图52展示了所提出的任务。
### J.2 数据选择
## 未来运动预测
以自我为中心的视频在运动与手-物体交互方面几乎相互排斥。对于这些视频，我们会逐一浏览并手动识别出符合以下选择标准的视频片段（起始帧和结束帧）：(1) 从定义上讲，运动涉及与行走相关的各种活动，片段中应包含显著的平移运动。(2) 每个视频片段的时长必须超过10秒，以便观察过往轨迹并进行未来预测。(3) 视频需能呈现周围场景，这与手-物体交互类视频不同——后者的摄像头会被刻意向下倾斜以聚焦手部操作。我们选取的是安装在玻璃上的摄像头所拍摄的视频，其视野与第一人称视角大致一致。(4) 三维重建和地面平面需具备高精度。运行运动结构算法后，我们通过检查点云的二维投影及地面平面来确保视频的三维重建质量合格。从这些视频片段中，我们每隔一秒选取一帧作为训练/测试数据。
## 剩余任务
对于剩余任务，我们首先根据各场景对预测任务的适用性对其进行人工排序。例如，木工类场景在预测任务中优先级较高，而在公园散步则优先级较低。我们根据这一优先级对所有场景打分，分数范围为1到3。我们设定了最低时长与参与者数量要求，以筛选出有足够数据用于训练的场景（每位参与者贡献的时长应至少达到15分钟；且该场景对应的视频时长至少需有20分钟）。接下来，我们将视频分割成5分钟的片段，并使用以下算法挑选待标注的片段：为确保地理多样性，我们会将总时长分配到各大学，然后从每所大学随机选取片段来填满分配给该大学的时长；若某所大学贡献的时长较少，其份额会分摊给其他大学。针对某一所大学和分配到的时长，我们首先随机抽取一名参与者，再为该参与者选取一段视频，最后从该视频中抽取一个片段。对于某些重复性较高的场景（如砌砖），若同一视频中已选取至少2个片段，则该片段会被排除。我们重复上述过程，直至选够所需时长。
### J.3 数据标注
## 未来运动轨迹预测
我们利用摄像头轨迹的三维重建来生成未来轨迹的基准真值。给定一
---
(a) Geometry
(b) Future trajectory prediction
Figure 53. (a) We represent the future trajectory of a person using the ground plane. Given the 3D reconstruction of the camera trajectory, we project it into the estimated ground plane to form the future trajectory. (b) The ground truth future trajectory (blue) and the predicted trajectories (red and white) are shown in the egocentric image with the ground plane coordinate (magenta grid). We predict top 5 trajectories where the top prediction is marked in red.
| Data | Outdoor | Indoor | Mixed | Total |
| Train | 34.1k | 0.41k | 16.7k | 51.3k |
| Val | 7.5k | 0.23k | 6k | 13.9k |
| Test | 7.4k | 0.18k | 3k | 10.6k |
Table 32. We split the image data for locomotion prediction based on scenes that including outdoor, indoor, and mixed.
对于一系列自我中心的图像，我们采用标准的结构从运动流程来重建三维自我运动和场景几何结构，同时做了些修改以适应大量图像的处理需求。借助三维场景点云，我们利用带有地面平面法线先验的RANSAC算法来估算地面平面。如图53所示，三维重建的摄像头轨迹会被投影到地面平面上，从而形成二维未来轨迹。
我们的图像数据集涵盖了户外、室内及混合场景下的运动情况。我们将图像数据划分为训练集、验证集和测试集，三者占比分别约为70%、15%和15%。由于划分是基于（匿名的）参与者ID进行的，因此不同场景间的比例并不完全吻合。数据划分的详情可参见表32。
## 未来手部运动预测
对于未来的手部位置和轨迹预测，标注工作将通过标记用户触摸活动物体时所在帧以及每次物体交互前几帧中的手部边界框来完成。手部边界框会附带一个标签，用于区分左手和右手。因此，针对一次物体交互，我们会标注交互开始前的关键帧。具体而言，$t_c$ 和 $t_p$ 分别表示接触帧和前置条件帧的时间步，而 $t_{p_1}, t_{p_2}, t_{p_3}$ 则表示前置条件时间步之前 0.5秒、1秒和1.5秒的时间步。因此，每次交互会有5个标注了手部边界框的关键帧，其中包括接触帧。我们以边界框中心作为手部位置的真实值。
## 短期物体交互预测
数据集中的每个视频V都会标注一组短期物体交互预测标注信息 $\mathcal{S}_V = \{S_V^{(j)}\}_j$，用以指示视频中物体交互的发生情况。每条标注
$$ S_{V}^{(j)}=(t_{s}^{(j)},\{n_{h}^{(j)}\}_{h},v^{(j)},\{A_{h}^{(j)}\}_{h},\{B_{h}^{(j)}\}_{h}) $$
包括：
$t_{s}^{(j)}$：表示与活动物体交互开始的时间戳。这是用户至少触摸到一个活动物体的第一帧；
- $\{n_h^{(j)}\}_h$：所交互物体的类别集合；
$v^{(j)}$：涉及活动物体的动作类别；
- $\{A_h^{(j)}\}_h$：活动物体的边界框标注。$\{A_h^{(j)}\}_h$ 的基数等于 $\{n_h^{(j)}\}$ 的基数，即 $|\{A_h^{(j)}\}_h| = |\{n_h^{(j)}\}|$。集合 $h^{th}$ 中的 $\{A_h^{(j)}\}_h$ 包含了时间戳 $n_h$ 下类别为 $t_s^{(j)}$ 的活动物体的边界框标注；
- $\{B_h^{(j)}\}_h$：下一个活动物体的边界框标注。$\{B_h^{(j)}\}_h$ 的基数等于 $\{A_h^{(j)}\}_h$ 的基数，即 $|\{B_h^{(j)}\}_h| = |\{A_h^{(j)}\}_h|$。集合 $j^{th}$ 中的 $B_h^{(j)}$ 包含边界框标注
---
Figure 54. An example of how frames are sampled to be labeled with next active object annotations. For a given action i, we sample m frames at regular intervals $\alpha$. If we set $m = 4$ and $\alpha = 0.5$, we label the frame of contact as well as 4 frames along a segment of $2s$ preceding the beginning of the action at a framerate of $2fps$.
下一个类别为 $n_h$ 的活动物体的边界框标注。具体而言，$B_h^{(j)}$ 包含了在 $A_h^{(j)}$ 中标注的同一物体实例的标注信息，这些标注是在 $t_s^{(j)}$ 之前的帧中追踪得到的。具体来说，$B_h^{(j)} = \{B_{l,h}^{(j)} | l = 1, ..., m\}$，其中 $B_{l,h}^{(j)}$ 是类别为 $n_h$ 的下一个活动物体在时间戳 $t_s - l\alpha$ 下的边界框标注集合。此处m表示交互开始前标注物体的帧数，而 $\alpha$ 则是采样帧之间的时间间隔。例如，设置 $\alpha = 0.5s$ 和 $m = 4$ 后，我们会标注物体被交互的帧以及交互前 $2s$ 时间段内的4帧。图54展示了按照该方案采样帧的示例。
图55展示了一个带有上述标注的样本片段。时间戳 $t_{s}$ 被选为用户触摸活动物体的第一个时间戳。该时间戳之后的帧不会被标注。活动物体的边界框在时间戳 $t_{s}$ 处标注，而下一个活动物体的边界框则在 $t_{s}$ 之前的帧中标注。
## 长期动作预测
每个视频V都带有一组长期动作标注$\{L_V^{(j)}\}_j$，这些标注对应着可以观察该视频的终止时间，以及如下定义的Z个未来动作标签序列：
$$ L_{V}^{(j)}=(t^{(j)},\{(n_{z}^{(j)},v_{z}^{(j)})\}_{z=1}^{Z}) $$
其中：
• $t^{(j)}$：可以观察视频的截止时间戳（即在进行未来动作预测前的$V_{:t^{(j)}}$）；
$n_{z}^{(j)}$：第z个未来动作中主要交互对象的名词类别；
$v_{z}^{(j)}$：描述第z个未来动作中物体如何被交互的动词。
对于每个视频而言，$t^{(j)}$是从每个已标注的物体交互的最后时间戳中选取的。值得注意的是，一旦有短期标注$S_{V}^{(i)}$可用（详见J.3节），且Z的值确定后，只需从时间戳$L_{V}^{(j)}$之后开始、在视频V中标注的前Z个动作进行采样，就能轻松得到长期标注$t^{(j)}$。更正式地说，$L_{V}^{(j)}$的未来动作标签获取方式如下：
$$ \begin{align*}\{(n_{0}^{(i_{z})},v^{(i_{z})})\mid(t_{s}^{(i_{z})},\{n_{h}^{(i_{z})}\}_{h},v^{(i_{z})},\{A_{h}^{(i_{z})}\}_{h},\{B_{h}^{(i_{z})}\}_{h})\in\mathcal{S}_{V}\land\\t_{s}^{(i_{z})}\geq t^{(j)}\land\\t_{s}^{(i_{1})}\leq\cdots\leq t_{s}^{(i_{Z})}\land\\\nexists S_{V}^{(j)}\in\mathcal{S}_{V}|t^{(j)}\notin\{i_{1},\ldots,i_{Z}\},t\leq t_{s}^{(j)}Figure 55. Example of annotations for the short-term object interaction anticipation task.
Figure 56. An example of a long-term annotation $L^{(V:t)}$ for an untrimmed video V at timestamp t can be obtained from short-term annotations $S_{V}^{(i)}$. In the example, Z = 3, hence the long term annotation is obtained by considering the first three actions beginning after timestamp t.
测试集的注释说明。按照惯例，测试集的评估将通过公开评估服务器和排行榜来支持。我们会在5分钟片段级别随机将数据划分为不同子集。这样做能确保同一个5分钟片段内的所有交互行为都由同一位标注员标记，同时为长期视频任务（如长期动作预测）提供充足的时间上下文。
### J.4 评估指标
## 未来运动与手部动作预测
未来运动：我们使用两个指标来衡量预测的准确性。(1) K个最佳轨迹平均误差（K-MTE）：我们测量K个最佳轨迹的误差：
$$ \mathrm{K-MTE}=\underset{\left\{\mathcal{X}_{k}\right\}_{k=1}^{K}}{\mathrm{a r g m i n}}\frac{1}{\sum_{t}v_{t}}\sum_{t}v_{t}\|\mathbf{x}_{t}-\widehat{\mathbf{x}}_{t}\|, $$
$\mathbf{x}_t \in \mathbb{R}^2$表示时间t时的预测位置，$\widehat{\mathbf{x}}_t$表示真实位置，$v_t$表示可见性。可见性反映了真实轨迹的可用程度；由于某些第一人称视角视频存在数据缺失问题，真实轨迹中可能包含缺失数据。$v_t = 0$表示时间t时的缺失数据。(2) 正确轨迹概率（PCT）：我们测量正确轨迹检索的成功率：
$$ \mathrm{PCT}\epsilon=\frac{1}{K}\delta\left(\frac{1}{\sum_{t} v_{t}}\sum_{t} v_{t}\|\mathbf{x}_{t}-\widehat{\mathbf{x}}_{t}\|<\epsilon\right), $$
其中，若条件成立则$\delta(\cdot)$取值为1，否则为0。$\epsilon$是轨迹误差容忍度，即如果轨迹误差小于该容忍度，就视为正确的轨迹预测。$\mathrm{PCT}_{\epsilon}$用于衡量在检索出的K条轨迹中，有多少条与真实轨迹相近。
未来手部动作：对于未来手部动作预测，我们仅考虑关键帧预测，因此采用关键帧位移平均误差（M.Disp.）作为评估指标：
• 关键帧位移平均误差（M.Disp.）：
$$ D_{m}=\frac{1}{n}\sum_{i\in H_{t}}\|h_{i}-\hat{h}_{i}\| $$
$H_{t}$表示关键帧中可见的手部位置集合，n为集合$H_{t}$的元素个数。$h_{i}$表示图像坐标下的预测手部位置，而$h^{i}$表示真实手部位置。
• 接触关键帧位移误差（C.Disp.）：
$$ D_{c}=\|h_{c}-\hat{h}_{c}\| $$
$h_{c}$表示接触帧处的手部位置。
注意：所有报告均基于高度为256且保持原始宽高比的降采样视频帧生成。
---
## 短期物体交互预测
方法将在已标注下一个活跃物体的时间戳处进行评估，即：
$$\begin{array}{r c l}{\left\{t|t\right.}&{=}&{t_{s}-l\cdot\alpha}\\ {}&{}&{\forall t_{s}\in\{t_{s}^{(j)}|\exists\overline{{h}}:B_{\overline{{h}}}^{(j)}\neq\emptyset\}_{j}}\\ {}&{}&{\forall l\in\{1,...,m\}\Big\}}\\ \end{array}$$
其中，$\{t_s^{(j)} \mid \exists \overline{h} : B_{\overline{h}}^{(j)} \neq \emptyset\}_{j}$表示所有标注了至少一个下一个活跃物体的交互起始时间戳集合，$\alpha$和m的定义见附录J.3。
由于检测下一个活动物体是任务的重要部分，我们基于平均精度均值（mAP）来制定评估指标，该指标的定义源自Pascal VOC挑战赛[^60]。与标准mAP类似，我们首先将每个检测到的下一个活动物体与真实标注进行匹配。如果预测框和真实框的交并比（IOU）值超过0.5且满足某些匹配条件，则它们可被视为匹配项。匹配条件我们将在后续定义。预测结果会以贪心方式与被评估样本中的真实标注相匹配，优先选择置信度更高的预测结果，并选取IOU值较大的匹配项。一个真实标注最多只能与一个预测框匹配。所有匹配的预测结果被计为真正例，而未匹配的预测结果则被计为假正例。整个测试集上的性能通过各类别的平均精度均值来汇总体现。
考虑到未来预测的多模态特性（即可能存在多个下一个活动物体），我们会用某个样本中真实标注的数量乘以$K - 1$来“折扣”该样本中产生的假正例数量，其中K是该评估指标的参数。具体来说，如果一个样本包含两个真实标注，我们就忽略得分最高的$(K - 1) * 2$个假正例。这种方式实际上实现了“Top-K平均精度均值”准则：它不会因模型预测出多达$K - 1$个未被标注的、可能存在的下一个活动物体而对其予以惩罚。给定一个通用的预测结果$(b_i, \hat{n}_i, \hat{v}_i, \delta_i, \hat{s}_i)$和一个通用的真实标注$(b_j, n_j, v_j, \delta_j)$，我们结合不同的匹配条件，定义了以下这种Top-K评估指标的不同变体：
- 名词类Top-K mAP：若满足以下条件，则预测结果i和标注j可视为匹配项：
$$ *~I O U(\hat{b}_{i},b_{j})>0.5; $$
$$ {}^{*}\hat{n}_{i}=n_{j}; $$
- 名词+动词类Top-K mAP：若满足以下条件，则预测结果i和标注j可视为匹配项：
- $IOU(\hat{b}_{i}, b_{j}) > 0.5$;
- $\hat{n}_{i}=n_{j};$
- $\hat{v}_{i}=v_{j}$.
- 名词+TTC类Top-K mAP：若满足以下条件，则预测结果i和标注j可视为匹配项：
- $IOU(\hat{b}_{i}, b_{j}) > 0.5$;
- $\hat{n}_{i} = n_{j};$
- $|\hat{\delta}_{i} - \delta_{j}| < T_{\delta}$.
- 整体Top-K mAP：若满足以下条件，则预测结果i和标注j可视为匹配项：
- $IOU(\hat{b}_i, b_j) > 0.5$;
- $\hat{n}_i = n_j$;
- $\hat{v}_i = v_j$;
- $|\hat{\delta}_i - \delta_j| < T_{\delta}$.
其中$T_{\delta}$是评估指标的参数，即容差阈值。
这些不同评估指标的目的是衡量模型在不同粒度下预测下一个物体交互的能力。我们取K=5且$T_{\delta} = 0.25$。
## 长期行为预测
方法会在视频V中每个已标注物体交互结束时所对应的时间戳集合上接受评估。设$L_{V}^{(j)} = \{(n_{z}^{(j)}, v_{z}^{(j)})\}_{z=1}^{Z}$为视频V在时间戳$t^{(j)}$处的真实标注，$\{\{(\hat{n}_{z,k}^{(j)}, \hat{v}_{z,k}^{(j)})\}_{z=1}^{K}\}_{k=1}^{K}$为预测的K条包含Z个动作序列。根据第J.4节讨论的定义，单个名词/动词/动作预测结果被视为正确。因此，这K条预测序列会按照如下方式用编辑距离指标进行评估。
对于给定的k，这一指标是通过计算预测序列与未来动作的真实序列之间的编辑距离得出的。编辑距离
$$ \Delta_{E}(\{(\hat{n}_{z,k}^{(j)},\hat{v}_{z,k}^{(j)})\}_{z=1}^{Z},\{\left(n_{z}^{(j)},v_{z}^{(j)}\right)\}_{z=1}^{Z}) $$
其计算方法为动词、名词及动作预测序列之间的Damerau-Levenshtein距离[^47] [^133]。该指标旨在以一种对预测的未来动作顺序误差具有鲁棒性的方式来评估模型性能。若预测的动词/名词在特定时间步与真实标签匹配，则被视为“正确”。
---
此时该动词/名词即被视为“正确”。计算编辑距离时允许的操作包括插入、删除、替换以及任意两个预测动作的互换。按照“择优选取”原则，会对K个预测结果进行评估，选取真实标签与这K个预测结果之间编辑距离最小的那一个：
$$ \begin{aligned}&\Delta_{E}(\{\{(\hat{\boldsymbol{n}}_{z,k}^{(j)},\hat{\boldsymbol{v}}_{z,k}^{(j)})\}_{z=1}^{Z}\}_{k=1}^{K},\{(n_{z}^{(j)},v_{z}^{(j)})\}_{z=1}^{Z})=\\ &\min_{k=1,K}\Delta_{E}(\{(\hat{\boldsymbol{n}}_{z,k}^{(j)},\hat{\boldsymbol{v}}_{z,k}^{(j)})\}_{z=1}^{Z},\{(n_{z}^{(j)},v_{z}^{(j)})\}_{z=1}^{Z})\\ \end{aligned} $$
需要注意的是，我们采用编辑距离而非基于简单准确率的指标。若独立地对每个未来时间步的预测结果计算准确率，便无法体现预测任务的序列特性——即预测顺序的重要性。我们分别针对动词、名词以及动作（动词与名词合在一起）来评估各指标。实验中我们采用Z=20时的编辑距离（ED@20），并设定K=5。选择Z=20是因为当Z值更大时，基线模型开始随机预测动作。
### J.5 基线定义与实现细节
## 未来肢体运动预测
我们采用了Park等人[^175]提出的算法作为基线算法。该算法利用CNN图像编码技术，通过KNN分类来建模公式(26)中的轨迹预测函数，即：
$$ \{\mathcal{X}\}=K N N\left(\{\phi(\mathcal{I}_{i})\},\phi(\mathcal{I})\right) $$
其中$KNN(A, B)$用于找出集合A中离B最近的K个邻居，而$\phi(\mathcal{I}) \in \mathbb{R}^n$则是提取$\mathcal{I}$图像特征的函数。我们选用AlexNet图像特征提取器来处理$\phi$。
值得注意的是，该基线算法采用极坐标系来表示轨迹，即$\mathbf{X}_j^{2D} = \left[ \mathbf{r}_j \quad \theta_j \right]^\top$是地面上的二维轨迹，其中$r_i$和$\theta_i$为该轨迹在以人脚为原点的坐标系下的极坐标——分别是距离（径向）和方向（角度），如图53所示：
$$ \mathbf{X}_{j}^{2D}=\mathbf{c a r t2p o l a r}(\mathbf{r}_{1}^{\top}\mathbf{X}_{j},\mathbf{r}_{2}^{\top}\mathbf{X}_{j}) $$
其中$\mathbf{r}_1$和$\mathbf{r}_2$是与旋转矩阵$\mathbf{R}_t$对齐的地面平面两个基向量。$\mathbf{r}_1$代表朝向方向，$\mathbf{r}_2$代表横向方向。二者均垂直于地面法线$\mathbf{n}$，如图53所示。cart2polar是从笛卡尔坐标到极坐标的转换函数。
Figure 57. Short-Term object interaction anticipation baseline.
## 未来手部运动预测
基线描述：所提出的未来手部运动预测任务可分解为回归问题。为解决该任务，我们采用以I3D网络为骨干的基线模型，用以提取输入视频序列的时空视频表征，随后利用线性映射函数作为回归器来预测未来关键帧中的手部位置。我们选用更平滑的L1损失作为目标函数：
$$ L_{h}=\begin{cases}0.5*w*(h-\hat{h})^{2}/\beta,&\mathrm{if}\left|h-\hat{h}\right|<\beta\\w*(\left|h-\hat{h}\right|-0.5*\beta),&\mathrm{otherwise}\end{cases} $$
其中$h \in R^{20}$是一个向量，表示上述五个未来关键帧中左右手的坐标(x,y)。若某关键帧中未观测到手部，我们会在$\hat{h}$中填入0，并采用二元掩码w来阻止这些未观测实例的梯度传播。
训练细节：我们采用I3D模型作为主干网络，并使用由两个线性操作组成的回归头来预测未来关键帧中的手部位置。在实验中，我们将观测时间设置为$T_{o}$秒。训练时，我们采用了多种数据增强技术，包括随机翻转、旋转、裁剪和颜色抖动，以防止过拟合。我们的基线模型在批量大小为64的情况下训练了25个周期，采用余弦学习率衰减策略，初始学习率为0.0375。如公式38所示，我们在加权平滑L1损失中将$\beta$设为5。
## 短期物体交互预测
实验所用的数据与标注：我们基于部分数据和标注开展实验，以得到与短期物体交互预测任务相匹配的动词和名词分类体系。我们首先选取所有标注者指定了接触帧的已标注动作。需要注意的是，这些动作约占全部已标注动作的30%，而接触帧的概念对我们的研究至关重要。
---
这项任务中，我们随后收集所有已标注的帧，并将其与对应的接触帧进行关联，从而计算出动作目标的时间。我们剔除了所有标注者标记为“空”的动词或名词类别相关的标注；还剔除了标注不一致的名词相关标注，以及诸如“墙”或“壁纸”等非物体类别的相关标注。同样，我们也移除了所有与动词“说话”相关、且不涉及物体交互的标注。
为避免名词分类过于细化，我们将选定的名词类别聚类为同质性组别。例如，“秋葵”“苹果”“芹菜”和“牛油果”这些名词都被归入“蔬菜/水果”类别。我们也将预期效果相似的动词归为一类。比如，“拿”“携带”“举起”“拉”和“移除”这些动词都被归入“拿”类。需要注意的是，尽管这些动作在视觉上可能存在差异，但它们对物体的作用相似，因此在预测时难以区分。我们还剔除了测试集中出现次数少于50次的名词相关标注（我们遵循该基准测试常用的划分方式）。我们选择保留测试集中出现次数至少为50次的名词，以便通过mAP指标进行可靠的评估。
最终的数据集共包含64,798个标注样本，涉及87个名词和74个动词。我们的分类体系源自图39中所展示的分类体系。图58和图59展示了所选数据中动词和名词标注的分布情况。在这64,798个标注样本中，27,801个属于训练集，17,217个属于验证集，19,780个属于测试集。
基线描述：图57展示了用于短期物体交互预测的基线模型。该基线包含两个主要组件。我们使用Faster R-CNN物体检测器[^87]来在输入视频片段的最后一帧中以全分辨率检测下一个活跃物体。随后，利用SlowFast 3D CNN[^71]来预测每个被预测物体的动词标签以及动作发生时间。这一过程是通过ROI池化[^87]获取每个物体的固定长度表征来实现的。接着使用两个线性层分别预测动词的概率分布以及接触时间的正值。动词概率分布通过softmax层获得，而接触时间的预测则采用softplus激活函数以确保结果为正数。模型的最终输出是将预测的动词和接触时间附加到每个检测到的下一个活跃物体上；名词标签和置信度分数则直接取自Faster R-CNN组件的输出。
训练细节：我们首先在所有标注有下一个活跃物体的帧上训练Faster R-CNN组件。我们采用基于ResNet50的Faster R-CNN检测器，并使用Detectron2库提供的“3x”训练方案$^{19}$。此阶段结束后，Faster R-CNN组件的权重不再更新。随后我们训练基于ResNet50的SlowFast模型。我们遵循PySlowFast库中针对AVA检测任务所提供的配置$^{20}$（“SLOWFAST_32x2_R50_SHORT.yaml”）。SlowFast模型以32帧的视频片段为输入，这些片段的时间步长为1帧。训练期间，我们将每个检测到的物体与交并比（IOU）大于0.5的 Ground Truth 实例进行匹配；随后将Ground Truth 框中的动词及接触时间标签附加到匹配的物体上。最后，我们仅对已与Ground Truth 实例匹配的框应用以下损失函数进行训练：
$$ \mathcal{L}=\mathcal{L}_{v}+\lambda\mathcal{L}_{ttc} $$
其中$\mathcal{L}_v$表示动词预测的交叉熵损失，$\mathcal{L}_{ttc}$表示应用于接触时间预测的平滑L1损失[^87]，我们设置$\lambda = 10$来控制两种损失的贡献比例。为了调节慢分支处理的帧数，我们设定$\alpha = 8$。我们在4块NVIDIA V100 GPU上训练该模型，批量大小为64，共训练50个周期，采用余弦学习率策略，基础学习率为0.001。每个周期结束时我们会对模型进行验证，并选取在验证集上获得最佳整体top-5 mAP的权重作为最终模型。
## 长期动作预测
基线描述：该基线模型的目标是接收任意长度的裁剪视频作为输入，并预测N种不同的合理未来动作序列。因此，基线模型由三个组件构成：（1）用于提取片段级特征的编码器骨干网络；（2）用于整合来自不同片段的特征的聚合模块；（3）用于解码合理未来动作序列的解码器网络。对于编码器骨干网络，我们考虑了卷积模型中的最先进视频识别网络，即SlowFast[^71]，以及新提出的视频Transformer模型，即MViT[^63]。在聚合模块方面，我们尝试了简单的拼接算子——它将多个输入片段中提取的片段特征进行拼接，以及基于Transformer的自注意力模块。至于解码器网络，我们考虑了以下几种选项：
- 无变化：这是一种简单的识别基线，它假设当前动作在未来不会发生变化，因此直接将当前观察到的动作作为重复的静态未来序列来预测Z步。
---
Figure 58. Verb distribution in the Short-Term Object-Interaction Anticipation data.
Figure 59. Noun distribution in the Short-Term Object-Interaction Anticipation data.
- 多头模型：该模型会并行训练Z个独立的头，每个头对应一个未来时间步。最终的序列就是各个头预测的动作拼接而成的。
最后，为了生成N个合理的未来序列以构建多模态基线，我们只需对预测的未来动作分布进行N次采样即可。图60展示了多头基线的具体实现框架。
训练细节：对于每个视频，我们会采样多个输入片段以供主干网络处理。SlowFast和MViT两种主干网络的单个片段长度均为16帧，每两帧采样一次。每个片段由相同的编码器权重独立处理，随后通过聚合模块进行整合。聚合后的特征会送入解码器模块，其在训练和测试阶段的行为有所不同。在训练时，解码器会预测每个未来步骤的下一动作概率分布。我们将每次预测的损失值求和，得到总损失：
Figure 60. Long-Term Action Anticipation baseline. A baseline model with a SlowFast backbone, and $Z = 3$ is shown here. Blue box: clip encoder network. Yellow box: multiple classifier heads, one for each future action. See Sec. J.5 for more details.
$$ \mathcal{L}_{l t a}=\sum_{z=1}^{Z}\mathcal{L}_{v}((p_{z}^{n},p_{z}^{v}),(n_{z},v_{z})) $$
其中$\mathcal{L}_{v}$表示交叉熵损失，$p_{z}^{*}$指的是动词和名词上的预测概率分布，而$(n_{z}, v_{z})$
---
| Set | Metric | Mean | Median |
| Val | 5-MTE | 5.11m | 2.53m |
| Val | 3-MTE | 6.19m | 2.99m |
| Val | 1-MTE | 8.81m | 4.63m |
| Test | 5-MTE | 4.84m | 2.69m |
| Test | 3-MTE | 5.54m | 3.24m |
| Test | 1-MTE | 7.66m | 4.73m |
Table 33. Results of the locomotion prediction task. We report mean/median for 7-15 second predictions. We use K = 1, 3, 5.
| Set | $\epsilon = 1m$ | $\epsilon = 2m$ | $\epsilon = 3m$ | $\epsilon = 4m$ | $\epsilon = 5m$ | $\epsilon = 6m$ |
| Val | 0.14 | 0.29 | 0.39 | 0.46 | 0.51 | 0.54 |
| Test | 0.16 | 0.31 | 0.40 | 0.47 | 0.53 | 0.58 |
Table 34. Results of the locomotion prediction task. We report the probability of correct trajectory (PCT) as varying the error threshold $\epsilon$.
指的是真实的未来动作标签。
在测试阶段，我们会为每个未来步骤从预测的分布中独立采样动作类别标签$(\hat{n}_{z},\hat{v}_{z})$。我们重复此采样过程N次，以生成多组候选预测结果，用于第J.4节所述的评估。
我们的实验采用了图39中展示的分类体系。我们在Ego4D动作识别任务上对Kinetics-400 [^109]预训练的编码器主干进行微调，并使用该模型为所有基线提取片段级特征。聚合模块和解码器网络则从随机初始化状态开始直接针对预测任务进行训练。在解码器网络训练期间，编码器权重保持不变。我们将$Z = 20$设为长时序未来评估的参数，将$K = 5$设为模型预测的合理未来序列的数量。除非另有说明，所有基线都会采样2个输入片段以获取过往上下文信息。我们在8块NVIDIA V100 GPU上训练模型，批量大小为64，共训练30个轮次，基础学习率设为0.0001。
### J.6 实验结果
我们通过测量平均轨迹误差（K-MTE）以及在给定误差容忍度下的正确轨迹概率（PCT）来评估基于KNN的基线算法。轨迹长度范围为7到15秒（按10 FPS计算，轨迹包含70-150个点）。我们的基线在1-MTE下的平均误差为8.81米，PCT值为0.39 $_{\epsilon=3m}$。相关结果总结在表33和表34中。
## 未来步态运动预测
## 未来手部运动预测
对于未来手部运动预测任务，我们报告平均位移误差（M.Disp.）以及接触帧差异——
| Set | Method | Left Hand | Right Hand |
| M.Disp. $\downarrow$ | C.Disp. $\downarrow$ | M.Disp. $\downarrow$ | C.Disp. $\downarrow$ |
| Val | I3D+Reg | 54.11 | 57.29 | 54.73 | 57.94 |
| Test | I3D+Reg | 52.98 | 56.37 | 53.68 | 56.17 |
Table 35. Results of future hand movement prediction task. Note that the left and right hands movements are evaluated separately. $\downarrow$ indicates lower is better
| Set | Method | Noun | Noun+Verb | Noun+TTC | Overall |
| Val | FRCNN+Rnd. | 17.55 | 1.56 | 3.21 | 0.34 |
| Val | FRCNN+SF | 17.55 | 5.19 | 5.37 | 2.07 |
| Test | FRCNN+Rnd. | 20.45 | 2.22 | 3.86 | 0.44 |
| Test | FRCNN+SF | 20.45 | 6.78 | 6.17 | 2.45 |
Table 36. Results of the short-term object interaction anticipation task. See text for discussion.
表35中，验证集和测试集上均出现了放置误差（C.Disp.）。我们的基线模型在测试集上针对左右手位置的预测，其M.Disp.分别为52.98和53.68，C.Disp.分别为56.37和56.17。值得注意的是，预测接触帧上的手部位置比其他关键帧更具挑战性。这是因为根据接触帧和前置条件帧的定义，接触帧的时间预测范围比其他关键帧更大。我们在图61中进一步展示了基线方法的定性结果。值得注意的是，该模型能够对未来的手部位置做出合理的预测；不过当发生剧烈的身体运动时，模型更容易出现预测失败的情况。
## 短期物体交互预测
表36报告了验证集和测试集上短期物体交互预测任务的结果。我们将基于Faster RCNN和SlowFast的所提基线（表中记为“FRCNN+SF”）与更简单的基线进行对比：后者利用Faster RCNN检测物体并预测其类别，但动词和TTC预测结果是从训练集分布中随机选取的（表中记为“FRCNN+Rnd.”）。结果按照附录J.4中讨论的不同匹配标准，以Top-5 mAP%的形式呈现。可以看出，无论在验证集还是测试集上，所提基线的表现都大幅优于随机预测。这表明尽管该基线很简单，但它仍能利用观测到的视频来预测未来的物体交互。图62展示了该基线的一些定性示例：模型有时能够识别出下一个活动的物体，并预测合适的动词和TTC；但在复杂场景中，其性能往往受到限制。
---
Figure 61. Qualitative examples of future hands movements prediction using the proposed baseline. The ground truth hands positions are plotted as green crosses, while the predicted hands positions are plotted as red crosses.
Figure 62. Qualitative examples of short-term object interaction anticipation using the proposed baseline. The numbers in brackets represent the confidence scores associated to the predictions. The ground truth next-active object is highlighted using a dashed red line, whereas model predictions are reported in blue solid lines.
## 长期动作预测
表37展示了我们在验证集和测试集上的结果。“无变化”基线只是将当前动作预测为接下来的Z个动作，在预测未来动作方面表现较差。显式训练多个头结构能提升动词、名词和动作的预测性能。将骨干网络从SlowFast更换为MViT后，动词预测性能大幅提升，但名词预测性能却有所下降；尽管在Kinetics数据集上的动作分类性能相近，但这仍体现了两者之间的权衡。最后，通过使用基于Transformer的聚合模块，以多个输入片段的形式纳入更大的视频上下文信息，最终取得了最佳性能。
---
| Val set | ED@(Z=20) |
| Backbone | Aggregator | Decoder | Verb | Noun | Action |
| SlowFast | Concat | No Change | 0.766 | 0.830 | 0.960 |
| SlowFast | Concat | MultiHead | 0.747 | 0.808 | 0.952 |
| MViT | Concat | MultiHead | 0.707 | 0.901 | 0.972 |
| SlowFast | Transformer | MultiHead | 0.745 | 0.779 | 0.941 |
| Test set | ED@(Z=20) |
| Backbone | Aggregator | Decoder | Verb | Noun | Action |
| SlowFast | Concat | No Change | 0.761 | 0.810 | 0.959 |
| SlowFast | Concat | MultiHead | 0.743 | 0.791 | 0.948 |
| MViT | Concat | MultiHead | 0.697 | 0.904 | 0.969 |
| SlowFast | Transformer | MultiHead | 0.739 | 0.780 | 0.943 |
Table 37. Results of the long-term action anticipation task. Lower is better. See text for discussion.
图63展示了我们方法的一些定性结果。每行中均显示了真实的未来动作以及模型的预测结果（共5个时间步）。正确的预测用绿色标出，而顺序有误（或部分正确）的有效动作则用蓝色标出。需要注意的是，尽管预测序列并非完全对齐，但根据编辑距离度量，顺序有误的序列仍可获得部分分数。
### J.7 讨论
## 数据标注
为预测任务对视频进行标注时遇到了不少有趣的挑战。首先，我们发现数据的多样性导致了分类体系庞大且复杂，部分标注员难以从中找到合适的类别。因此，不少标注员选择了“其他”选项，我们最终在可能的情况下手动将其映射到相应的分类中。在今后的标注工作中，我们计划要求标注员即便选择自由填写的“其他”标签，也要尽量挑选最接近的分类项，以促使他们尽可能遵循分类体系。其次，我们发现标注员在为“物体”类标注边界框时存在困难。例如，在标注“割草”场景时，很难画出能覆盖变化物体（即“草”）完整范围的框。最后，使用大型工具时，有时很难界定变化物体究竟是什么。比如用割草机清理草地时，是将割草机视为工具、从而把草当作变化物体，还是将割草机内部的操纵杆和按钮视作变化物体呢？我们决定依靠解说员来明确需要标注的交互行为（即推动操纵杆/按钮与割草动作），再要求标注员据此标注工具和物体。
## 未来运动预测
关于运动预测任务的基准定量结果表明，第一人称视角图像中的视觉线索（如人行道、障碍物、道路）对预测未来运动具有很强的指示作用。不过，那种利用全局特征来编码图像视觉语义的基准方法，其细节程度不足以建模复杂的行走运动，比如避让行人。这为挑战赛参与者提供了融入细粒度视觉表征的机会。
## 未来手部运动预测
我们的未来手部运动预测基准模型受到了第一人称视频中剧烈头部运动以及未来预测随机性的影响。我们推测，显式建模头部运动和下一个活跃物体，或许能够补充用于预测未来手部运动的视频表征。
## 短期物体交互预判
短期物体交互预判的结果表明该任务颇具挑战性：基准模型在验证集上的Top-5 mAP仅为2.07%，在测试集上仅为2.45%。主要挑战可能源于未来预测的不确定性，以及物体检测器无法正确识别下一个活跃物体并忽略其他物体。不过，即便这个基准模型很简单，它相比“物体检测器+动词及接触时间随机预测”的组合仍有显著提升。这表明相关方法能够学会分析输入视频，从而对未来做出合理的预测。
## 长期动作预判
通过实验和消融研究，我们探讨了长期动作预测问题的几个重要方面。所有消融实验均采用SlowFast骨干网络，模型训练30个周期。
Ego4D动作识别预训练有多重要呢？表38展示了我们的模型仅在Kinetics-400动作识别数据集上预训练后的性能表现（而未在Ego4D动作识别数据集上进一步微调）。所有模型都能从Ego4D数据的训练中获益，这种益处体现在两个方面。首先，Kinetics与Ego4D之间存在较大的领域差异：无论是视觉角度（第三人称视角与第一人称视角之别）还是所包含的活动多样性方面均是如此，而预训练有助于弥补这一差异。其次，动作识别模型能够利用未来动作的标签结构中所存在的偏差。
---
| GT: | take → sickle | hold spinach | → cut spinach | → put sickle | → → rubber band |
| PRED: | take → sickle | cut spinach | → hold spinach | → cut spinach | → throw sickle |
| GT: | smooth → wood | remove sander | → smooth wood | → sand wood | → remove sander |
| PRED: | hold → sander | sand wood | → hold sander | → sand wood | → sand wood |
Figure 03. Long term action anticipation - qualitative results. Actions in green represent correct predictions (correct action, at the correct position). Actions in blue represent incorrect ordering of valid actions. Our edit-distance metric accounts for both cases.
| Val Set | ED@(Z=20) |
| Init | Backbone | Aggregator | Verb | Noun | Action |
| K400 | SlowFast | Concat | 0.752 | 0.820 | 0.958 |
| +Ego4D | SlowFast | Concat | 0.747 | 0.808 | 0.952 |
| K400 | SlowFast | Transformer | 0.746 | 0.809 | 0.953 |
| +Ego4D | SlowFast | Transformer | 0.745 | 0.779 | 0.941 |
Table 38. Long term anticipation - varying pretraining data. MultiHead decoder used for all models. Ego4D action recognition pretraining greatly improves downstream forecasting performance.
| Val Set | ED@(Z=20) |
| # clips | Backbone | Aggregator | Verb | Noun | Action |
| 2 | SlowFast | Transformer | 0.743 | 0.790 | 0.946 |
| 4 | SlowFast | Transformer | 0.744 | 0.796 | 0.947 |
| 8 | SlowFast | Transformer | 0.745 | 0.779 | 0.941 |
Table 39. Long term anticipation - varying number of input clips. MultiHead decoder used for all models. Performance increases with more input context.
## 源自表37中“无变化”基线模型的性能数据
对于基于Transformer的模型而言，过往上下文的重要性有多大呢？我们的Transformer聚合模块会依据输入模型的视频片段数量，来整合更长时间范围内的信息。表39显示了这些模型对可获取的过往上下文视频量的敏感程度。总体而言，提供给模型的信息越多，其性能就越高，不过这种性能提升是以增加内存消耗为代价的——GPU内存中最多只能容纳8个视频片段。
模型能预测多远的未来呢？如J.4节所述，我们将$Z = 20$时刻的预测结果作为基准，因为对于更大的Z值而言，基线模型开始随机预测动作。图64展示了编辑距离与之对应的关系。
Figure 64. Performance vs. number of future actions Z. Predicting further into the future is naturally more difficult. Models begin to predict close to random actions for very high values of Z.
这是我们基线模型的Z值。不出所料，预测紧接着发生的动作要容易得多；随着Z值的增大，预测难度也会上升，最终趋于平稳。
如何生成多个候选预测结果呢？如J.4节所述，我们选取K=5个预测结果中的最佳者来得出最终结论。为了生成这K个预测结果，我们会独立地对每个分类器头进行采样，不过也有多种改进方法，比如启发式搜索算法（如束搜索）。理想情况下，模型设计本身就应该考虑到未来预测的多模态特性。此外，还应考虑那些在推理阶段能顾及序列特性的解码器模型，这类模型包括近期语言模型中常用的基于Transformer的解码器（如BERT、GPT）。这是未来研究的重要方向。
---
### J.8 贡献声明
Giovanni Maria Farinella主导了预测基准测试工作，参与了拟定相关任务、数据收集以及论文撰写。
Rohit Girdhar共同主导了预测基准测试工作，参与了拟定相关任务、数据收集以及论文撰写。
Antonino Furnari参与了所提议基准任务的拟定工作，尤其是短期物体交互预测任务；他在整个项目中负责关键的实施、数据收集及标注开发工作，并参与了论文撰写。
Ilija Radosavovic参与了任务的拟定工作，在整个项目中负责关键的实施、数据收集及标注开发工作，并参与了论文撰写。Tushar Nagarajan参与了所提议基准任务的拟定工作，尤其是长期动作预测任务；他在整个项目中负责关键的实施、数据收集及标注开发工作，并参与了论文撰写。
Tullie Murrell负责长期动作预测任务的基线实现工作。
Karttikeya Mangalam负责基线实现、实验以及长期行为预测任务的撰写工作。
Christoph Feichtenhofer负责监督该任务、基线以及长期行为预测任务的开发工作。
Miao Liu参与了未来手部运动预测任务的定义工作，在整个项目中，她一直是该任务实现、数据收集及标注开发的关键推动者，同时也负责论文的撰写。
Wenqi Jia负责未来手部运动预测任务的基线实现工作。
Zachary Chavis负责步态预测任务的相关工作，在整个项目中，他一直是该任务实现、数据收集及标注开发的关键推动者。
Hyun Soo Park参与了步态预测任务的定义、数据收集、标注以及论文撰写工作。
---
### K. 社会影响
我们的研究成果能够对视频理解领域产生积极影响。它为研究界提供了规模庞大的数据资源，这些数据在采集过程中严格遵循隐私与伦理标准（详见附录A和B），且涵盖多种受试者；相关基准测试也将推动可复现的技术进步。从更宽泛的角度来看，以自我为中心的感知技术有潜力在诸多应用领域对社会产生积极影响，包括辅助技术、教育、健身、娱乐与游戏、老年人护理、机器人技术以及增强现实等。
不过，该领域的未来研究必须防范以自我为中心的视觉技术被滥用而可能带来的负面社会影响。
首先，存在隐私方面的风险。随着可穿戴摄像头在公共场所日益普及，这类设备的生产商需要制定并实施相关协议，明确告知用户并征得其在公共场所数据采集方面的同意，同时为用户提供控制此类数据使用、存储及共享给第三方的方式。同样，用于语音转录或处理视频片段相关任务的模型也应具备强大的用户控制功能，比如能够删除或模糊处理个人数据及敏感内容。
需要注意的是，在我们所有的音视频及社交基准测试工作中，所使用的数据均获得了视频中参与者的完全授权，即允许使用其未打码的面孔及对话音频。迄今为止，研究界一直缺乏用于研究此类问题的大规模数据资源；Ego4D将帮助研究界利用真实且多样的数据探索新解决方案，同时兼顾不同国家的隐私协议要求。此外，只有签署许可协议的用户才能获取Ego4D数据，该协议明确了数据的允许用途，旨在防止其被用于潜在的不良用途。
其次，我们大规模的数据采集工作有可能催生未来的数据采集项目，但这些项目未必能像Ego4D那样重视隐私与伦理问题。为降低这一风险，我们对流程的各个细节进行了详尽描述，并在公开分享项目成果时附上我们的最佳实践建议。
最终，尽管我们在主论文中已尽力解决相关问题，数据集中仍存在一些不均衡现象。例如，来自卢旺达的数据量相对较少；虽然74座城市代表了覆盖范围的显著进步，但仍无法涵盖所有人群特征。我们承认，无论努力程度如何，要实现对全球日常活动情况的全面覆盖仍十分困难。不过，我们可以通过与代表性不足地区的研究人员和参与者继续开展全球合作，来降低这一风险。
---
## 参考文献
[^1]: Github repository of the ESPNet model zoo. . We used the ShinjiWatanabe/gigaspeech_asr_train_asr_raw_en_bpe5000_valid.acc.avemodel.60,61
[^2]: Kaldi English GLM file.
[^3]: NIST SRE 2000 Evaluation Plan. . 56
[^4]: Yazan Abu Farha, Alexander Richard, and Juergen Gall. When will you do what?-anticipating temporal occurrences of activities. In Computer Vision and Pattern Recognition, pages 5343–5352, 2018. 3
[^5]: Triantafyllos Afouras, Joon Son Chung, Andrew Senior, Oriol Vinyals, and Andrew Zisserman. Deep audio-visual speech recognition. IEEE transactions on pattern analysis and machine intelligence, 2018. 8, 51
[^6]: Triantafyllos Afouras, Joon Son Chung, and Andrew Zisserman. The conversation: Deep audio-visual speech enhancement. In Interspeech, 2018. 51
[^7]: Triantafyllos Afouras, Andrew Owens, Joon Son Chung, and Andrew Zisserman. Self-supervised Learning of Audio-Visual Objects from Video. In Proceedings of the European Conference on Computer Vision (ECCV 20), volume 12363 LNCS, pages 208–224, 2020. 9
[^8]: Jean-Baptiste Alayrac, Josef Sivic, Ivan Laptev, and Simon Lacoste-Julien. Joint discovery of object states and manipulation actions. ICCV, 2017. 7, 44, 45
[^9]: Humam Alwassel, Fabian Caba Heilbron, Victor Escorcia, and Bernard Ghanem. Diagnosing error in temporal action detectors. In Proceedings of the European Conference on Computer Vision (ECCV), 2018. 41, 42
[^10]: Xavier Anguera, Simon Bozonnet, Nicholas Evans, Corinne Fredouille, Gerald Friedland, and Oriol Vinyals. Speaker diarization: A review of recent research. IEEE Transactions on audio, speech, and language processing, 20(2):356–370, 2012. 8, 53, 56
[^11]: Xavier Anguera Miró. Robust speaker diarization for meetings. Universitat Politècnica de Catalunya, 2006. 8, 54
[^12]: Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In International Conference on Computer Vision (ICCV), 2015. 7
[^13]: Mehmet Ali Arabacı, Fatih Özkan, Elif Surer, Peter Jančović, and Alptekin Temizel. Multi-modal egocentric activity recognition using audio-visual features. arXiv preprint arXiv:1807.00612, 2018. 51
[^14]: Relja Arandjelović and Andrew Zisserman. Objects that sound. In ECCV, 2018. 8, 51
[^15]: Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for self-supervised learning of speech representations. arXiv preprint arXiv:2006.11477, 2020. 60
[^16]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In The IEEE International Conference on Computer Vision (ICCV), December 2015. 3
[^17]: Mark A Bee and Christophe Micheyl. The cocktail party problem: what is it? how can it be solved? and why should animal behaviorists study it? Journal of comparative psychology, 122(3):235, 2008. 52
[^18]: Keni Bernardin, Alexander Elbs, and Rainer Stiefelhagen. Multiple object tracking performance metrics and evaluation in a smart room environment. In Sixth IEEE International Workshop on Visual Surveillance, in conjunction with ECCV, volume 90. Citeseer, 2006. 8, 53
[^19]: Keni Bernardin and Rainer Stiefelhagen. Evaluating multiple object tracking performance: the clear mot metrics. EURASIP Journal on Image and Video Processing, 2008:1–10, 2008. 8, 53
[^20]: Gedas Bertasius, Hyun Soo Park, Stella X. Yu, and Jianbo Shi. First-person action-object detection with egonet. In Proceedings of Robotics: Science and Systems, July 2017. 9
[^21]: Cigdem Beyan, Francesca Capozzi, Cristina Becchio, and Vittorio Murino. Prediction of the leadership style of an emergent leader using audio and visual nonverbal features. IEEE Transactions on Multimedia, 20(2):441–456, 2018. 9
[^22]: Goutam Bhat, Martin Danelljan, Luc Van Gool, and Radu Timofte. Know Your Surroundings: Exploiting Scene Information for Object Tracking. arXiv:2003.11014 [cs], May 2020. 35, 36
[^23]: Eric Brachmann, Alexander Krull, Frank Michel, Stefan Gumhold, Jamie Shotton, and Carsten Rother. Learning 6d object pose estimation using 3d object coordinates. In European conference on computer vision, pages 536–551. Springer, 2014. 7
[^24]: Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020. 9
[^25]: Ian M Bullock, Thomas Feix, and Aaron M Dollar. The yale human grasping dataset: Grasp, object, and task data in household and machine shop environments. IJRR, 2015. 45
[^26]: Minjie Cai, Kris M Kitani, and Yoichi Sato. Understanding hand-object manipulation with grasp types and object attributes. In RSS, 2016. 3
[^27]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In European Conference on Computer Vision, pages 213–229. Springer, 2020. 49
## [^28]: Jean Carletta, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec
---
Vasilis Karaiskos、Wessel Kraaij、Melissa Kronenthal等人所著的《AMI会议语料库：预发布声明》。收录于《多模态交互机器学习国际研讨会论文集》，第28–39页。施普林格出版社，2006年。56
塞曼。《你往何处去》，动作
atics数据集。收录于pro-
视觉与
[^30]: Chien-Yi Chang, De-An Huang, Danfei Xu, Ehsan Adeli, Li Fei-Fei, and Juan Carlos Niebles. Procedure planning in instructional videos. arXiv preprint arXiv:1907.01172, 2019. 45
[^31]: Sourish Chaudhuri, Joseph Roth, Daniel PW Ellis, Andrew Gallagher, Liat Kaver, Radhika Marvin, Caroline Pantofaru, Nathan Reale, Loretta Guarino Reid, Kevin Wilson, et al. Ava-speech: A densely labeled dataset of speech activity in movies. arXiv preprint arXiv:1808.00606, 2018. 8, 52
[^32]: C. Chen, U. Jain, C. Schissler, S. V. Amengual Gari, Z. Al-Halah, V. Ithapu, P. Robinson, and K. Grauman. Soundspaces: Audio-visual navigation in 3d environments. In ECCV, 2020. 62
[^33]: Changan Chen, Unnat Jain, Carl Schissler, Sebastia Vicenc Amengual Gari, Ziad Al-Halah, Vamsi Krishna Ithapu, Philip Robinson, and Kristen Grauman. Audio-visual embodied navigation. environment, 97:103, 2019. 8
[^34]: Guoguo Chen, Shuzhou Chai, Guanbo Wang, Jiayu Du, Wei-Qiang Zhang, Chao Weng, Dan Su, Daniel Povey, Jan Trmal, Junbo Zhang, et al. Gigaspeech: An evolving, multi-domain asr corpus with 10,000 hours of transcribed audio. arXiv preprint arXiv:2106.06909, 2021. 60
[^35]: Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015. 7
[^36]: Eunji Chong, Elysha Clark-Whitney, Audrey Southerland, Elizabeth Stubbs, Chanel Miller, Eliana L Ajodan, Melanie R Silverman, Catherine Lord, Agata Rozga, Rebecca M Jones, and James M Rehg. Detection of eye contact with deep neural networks is as accurate as human experts. Nature Communications, 11(1):6386, dec 2020. 9
[^37]: Eunji Chong, Yongxin Wang, Nataniel Ruiz, and James M. Rehg. Detecting Attended Visual Targets in Video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 20), pages 5395–5405, Seattle, WA, 2020. 9, 66
[^38]: Joon Son Chung, Jaesung Huh, Seongkyu Mun, Minjae Lee, Hee Soo Heo, Soyeon Choe, Chiheon Ham, Sunghwan Jung, Bong-Jin Lee, and Icksang Han. In defence of metric learning for speaker recognition. In Interspeech, 2020. 64
[^39]: Joon Son Chung, Jaesung Huh, Arsha Nagrani, Triantafyllos Afouras, and Andrew Zisserman. Spot the conversation: speaker diarisation in the wild. arXiv preprint arXiv:2007.01216, 2020. 8, 52
[^40]: J. S. Chung, A. Nagrani, and A. Zisserman. VoxCeleb2: Deep Speaker Recognition. In INTERSPEECH, 2018. 52, 57
[^41]: Kenneth Church and Patrick Hanks. Word association norms, mutual information, and lexicography. Computational linguistics, 16(1):22–29, 1990. 71
[^42]: Dima Damen, Hazel Doughty, Giovanni Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. The epic-kitchens dataset: Collection, challenges and baselines. IEEE Transactions on Pattern Analysis & Machine Intelligence, (01):1–1, 2020. 52
[^43]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision. IJCV, 2021. 2, 3, 45
[^44]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In European Conference on Computer Vision (ECCV), 2018. 2, 3, 5, 20, 52
[^45]: Dima Damen, Teesid Leelasawassuk, Osian Haines, Andrew Calway, and Walterio Mayol-Cuevas. You-Do, I-Learn: Discovering task relevant objects and their modes of interaction from multi-user egocentric video. In BMVC, 2014. 44, 45
[^46]: Dima Damen, Teesid Leelasawassuk, and Walterio Mayol-Cuevas. You-do, i-learn: Egocentric unsupervised discovery of objects and their modes of interaction towards video-based guidance. CVIU, 2016. 3
[^47]: Fred J Damerau. A technique for computer detection and correction of spelling errors. Communications of the ACM, 1964. 73
[^48]: Ana Garcia Del Molino, Cheston Tan, Joo-Hwee Lim, and Ah-Hwee Tan. Summarization of egocentric videos: A comprehensive survey. IEEE Transactions on Human-Machine Systems, 47(1), 2016. 3
[^49]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In CVPR, 2009. 1, 3
[^50]: Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich. Superpoint: Self-supervised interest point detection and description. In CVPR Workshop, 2018. 38
[^51]: Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv:1810.04805, 2018. 29
[^52]: Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. 40
## [^53]: Jacob Donley, Vladimir Tourbabin, Jung-Suk Lee, Mark Broyles, Hao Jiang, Jie Shen, Maja Pantic, Vamsi Krishna Ithapu, and Ravish Mehra. Easycom: An augmented reality dataset to support algorithms for easy communication in
---
嘈杂环境中的应用。arXiv预印本arXiv:2107.04174，2021年。8, 52
[^54]: Bardia Doosti, Ching-Hui Chen, Raviteja Vemulapalli, Xuhui Jia, Yukun Zhu, and Bradley Green. Boosting image-based mutual gaze detection using pseudo 3d gaze. In Thirty-Fifth AAAI Conference on Artificial Intelligence, pages 1273–1281, 2021. 9
[^55]: Hazel Doughty, Ivan Laptev, Walterio Mayol-Cuevas, and Dima Damen. Action modifiers: Learning from adverbs in instructional videos. arXiv preprint arXiv:1912.06617, 2019. 45
[^56]: Matteo Dunnhofer, Antonino Furnari, Giovanni Maria Farinella, and Christian Micheloni. Is first person vision challenging for object tracking? In IEEE/CVF International Conference on Computer Vision Workshops (ICCVW) - Visual Object Tracking Challenge, 2021. 3
[^57]: Ariel Ephrat, Inbar Mosseri, Oran Lang, Tali Dekel, Kevin Wilson, Avinatan Hassidim, William T Freeman, and Michael Rubinstein. Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation. In SIGGRAPH, 2018. 8, 51
[^58]: Dave Epstein, Boyuan Chen, and Carl Vondrick. Oops! predicting unintentional action in video. In Arxiv, 2019. 44
[^59]: N. Ryant et al. The Second DIHARD Diarization Challenge: Dataset, task, and baselines. In Proceedings of Interspeech, 2019. 56
[^60]: Mark Everingham, Luc Van Gool, Christopher KI Williams, John Winn, and Andrew Zisserman. The pascal visual object classes (voc) challenge. International journal of computer vision, 88(2):303–338, 2010. 1, 73
[^61]: Bernard Ghanem Fabian Caba Heilbron, Victor Escorcia and Juan Carlos Niebles. Activitynet: A large-scale video benchmark for human activity understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 961–970, 2015. 1, 3, 30, 32
[^62]: Heng Fan, Haibin Ling, Liting Lin, Fan Yang, Peng Chu, Ge Deng, Sijia Yu, Hexin Bai, Yong Xu, and Chunyuan Liao. LaSOT: A High-Quality Benchmark for Large-Scale Single Object Tracking. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5369–5378, Long Beach, CA, USA, June 2019. IEEE. 35
[^63]: Haoqi Fan, Bo Xiong, Karttikeya Mangalam, Yanghao Li, Zhicheng Yan, Jitendra Malik, and Christoph Feichtenhofer. Multiscale vision transformers. arXiv preprint arXiv:2104.11227, 2021. 75
[^64]: Yue Fan, JW Kang, LT Li, KC Li, HL Chen, ST Cheng, PY Zhang, ZY Zhou, YQ Cai, and Dong Wang. CN-CELEB: a challenging Chinese speaker recognition dataset. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 7604–7608. IEEE, 2020. 57
[^65]: Yi Fang, Jiapeng Tang, Wang Shen, Wei Shen, Xiao Gu, Li Song, and Guangtao Zhai. Dual Attention Guided Gaze Target Detection in the Wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 21), 2021. 9
[^66]: Alireza Fathi, Jessica K. Hodgins, and James M. Rehg. Social interactions: A first-person perspective. In CVPR, 2012. 3
[^67]: A. Fathi, J. K. Hodgins, and J. M. Rehg. Social interactions: A first-person perspective. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 12), pages 1226–1233. IEEE, jun 2012. 9
[^68]: A. Fathi and J. Rehg. Modeling actions through state changes. In CVPR, 2013. 7
[^69]: Alireza Fathi and James M Rehg. Modeling actions through state changes. In CVPR, 2013. 44, 45
[^70]: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In ICCV, 2019. 3, 5, 40, 41, 48, 49
[^71]: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 6202–6211, 2019. 40, 75
[^72]: Jonathan Fiscus. NIST slite sscoring toolkit. . 61
[^73]: Jianglin Fu, Ivan V Bajić, and Rodney G Vaughan. Datasets for face and object detection in fisheye images. Data in brief, 27:104752, 2019. 57
[^74]: Antonino Furnari, Sebastiano Battiato, Kristen Grauman, and Giovanni Maria Farinella. Next-active-object prediction from egocentric videos. Journal of Visual Communication and Image Representation, 49:401–411, 2017. 9
[^75]: Antonino Furnari and Giovanni Farinella. Rolling-unrolling lstms for action anticipation from first-person video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 3
[^76]: Antonino Furnari and Giovanni Maria Farinella. What would you expect? anticipating egocentric actions with rolling-unrolling lstms and modality attention. In International Conference on Computer Vision, 2019. 9
[^77]: Jiyang Gao, Zhenheng Yang, and Ram Nevatia. Red: Reinforced encoder-decoder networks for action anticipation. BMVC, 2017. 9
[^78]: R. Gao, R. Feris, and K. Grauman. Learning to separate object sounds by watching unlabeled video. In ECCV, 2018. 8
[^79]: Ruohan Gao, Rogerio Feris, and Kristen Grauman. Learning to separate object sounds by watching unlabeled video. In ECCV, 2018. 51
[^80]: Ruohan Gao and Kristen Grauman. 2.5d visual sound. In CVPR, 2019. 8, 51
[^81]: Ruohan Gao and Kristen Grauman. Co-separating sounds of visual objects. In ICCV, 2019. 51
[^82]: R. Gao and K. Grauman. VisualVoice: Audio-visual speech separation with cross-modal consistency. In CVPR, 2021. 8, 51
[^83]: I. Gebru, S. Ba, X. Li, and R. Horaud. Audio-visual speaker diarization based on spatiotemporal bayesian fusion. PAMI, 2018. 8, 51
## [^84]: Israel D. Gebru, Silęye Ba, Xiaofei Li, and Radu Horaud. Audio-visual speaker diarization based on spatiotemporal bayesian fusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39, 2017. 52
---
[^85]: Georgios Georgakis, Md Alimoor Reza, Arsalan Mousavian, Phi-Hung Le, and Jana Košeká. Multiview rgb-d dataset for object instance detection. In 2016 Fourth International Conference on 3D Vision (3DV), pages 426–434. IEEE, 2016. 7
[^86]: Rohit Girdhar and Kristen Grauman. Anticipative video transformer. In ICCV, 2021. 3,9
[^87]: Ross Girshick. Fast r-cnn. In Proceedings of the IEEE international conference on computer vision, pages 1440–1448, 2015. 75
[^88]: Georgia Gkioxari and Jitendra Malik. Finding action tubes. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 759–768, Boston, MA, USA, June 2015. IEEE. 31
[^89]: P. Gollwitzer. Action pnases ana mina-sets, Hanabook of motivation and cognition: Foundations of social behavior. 1990. 45
[^90]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fruend, Peter Yianilos, Moritz Mueller-Freitag, et al. The" something something" video database for learning and evaluating visual common sense. In ICCV, 2017. 45
[^91]: Alex Graves, Santiago Fernández, and Jürgen Schmidhuber. Bidirectional lstm networks for improved phoneme classification and recognition. In International conference on artificial neural networks, pages 799–804. Springer, 2005. 48, 49
[^92]: Chunhui Gu, Chen Sun, David A Ross, Carl Vondrick, Caroline Pantofaru, Yeqing Li, Sudheendra Vijayanarasimhan, George Toderici, Susanna Ricco, Rahul Sukthankar, et al. Ava: A video dataset of spatio-temporally localized atomic visual actions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6047–6056, 2018. 1, 3, 71
[^93]: Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, et al. Conformer: Convolutionaugmented transformer for speech recognition. arXiv preprint arXiv:2005.08100, 2020. 61
[^94]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask R-CNN. arXiv:1703.06870 [cs], Jan. 2018. 33
[^95]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 48, 49
[^96]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 57
[^97]: Farnoosh Heidarvincheh, Majid Mirmehdi, and Dima Damen. Detecting the moment of completion: Temporal models for localising action completion. In BMVC, 2018. 44
[^98]: Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020. 20
[^99]: Lianghua Huang, Xin Zhao, and Kaiqi Huang. GOT-10k: A Large High-Diversity Benchmark for Generic Object Tracking in the Wild. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(5):1562–1577, May 2021. 35
[^100]: Noureldien Hussein, Efstratios Gavves, and Arnold WM Smeulders. Timeception for complex action recognition. In CVPR, 2019. 7
[^101]: Go Irie, Mirela Ostrek, Haochen Wang, Hirokazu Kameoka, Akisato Kimura, Takahito Kawanishi, and Kunio Kashino. Seeing through sounds: Predicting visual semantic segmentation results from multichannel audio signals. In ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 3961–3964. IEEE, 2019. 51
[^102]: Phillip Isola, Joseph J. Lim, and Edward H. Adelson. Discovering states and transformations in image collections. In CVPR, 2015. 7
[^103]: Phillip Isola, Joseph J Lim, and Edward H Adelson. Discovering states and transformations in image collections. In CVPR, 2015. 45
[^104]: Koji Iwano, Tomoaki Yoshinaga, Satoshi Tamura, and Sadaoki Furui. Audio-visual speech recognition using lip information extracted from side-face images. EURASIP Journal on Audio, Speech, and Music Processing, 2007:1–9, 2007. 8, 51
[^105]: Andrew Jaegle, Felix Gimeno, Andrew Brock, Andrew Zisserman, Oriol Vinyals, and Joao Carreira. Perceiver: General perception with iterative attention. arXiv preprint arXiv:2103.03206, 2021. 48, 49
[^106]: Baoxiong Jia, Yixin Chen, Siyuan Huang, Yixin Zhu, and Song-Chun Zhu. A multi-view dataset for learning multi-agent multi-task activities. In ECCV, 2020. 3
[^107]: Hao Jiang and Kristen Grauman. Seeing invisible poses: Estimating 3d body pose from egocentric video. In CVPR, 2017. 3
[^108]: Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017. 1, 3, 4, 41
[^109]: Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017. 77
[^110]: Evangelos Kazakos, Arsha Nagrani, Andrew Zisserman, and Dima Damen. Epic-fusion: Audio-visual temporal binding for egocentric action recognition. In Proceedings of the IEEE International Conference on Computer Vision, pages 5492–5501, 2019. 3, 7, 8, 51
[^111]: Petr Kellnhofer, Simon Stent, Wojciech Matusik, and Antonio Torralba. Gaze360: Physically Unconstrained Gaze Estimation in the Wild. In Proceedings of the IEEE International Conference on Computer Vision (ICCV 19), 2019. 9, 63, 64, 66
## [^112]: Suyoun Kim, Takaaki Hori, and Shinji Watanabe. Joint cctattention based end-to-end speech recognition using multi-task learning. In 2017 IEEE international conference on
---
声学、语音及信号处理会议（ICASSP），第4835–4839页。IEEE出版社，2017年。61
[^113]: Kris M. Kitani, Brian Ziebart, James D. Bagnell, and Martial Hebert. Activity forecasting. In ECCV, 2012. 9
[^114]: Dietrich Klakow and Jochen Peters. Testing the correlation of word error rate and perplexity. Speech Communication, 38(1-2):19–28, 2002. 8, 54
[^115]: Mark L. Knapp, Judith A. Hall, and Terrence G. Horgan. Nonverbal Communication in Human Interaction. Wadsworth Cengage Learning, 8th edition, 2014. 8
[^116]: Ross A Knepper, Todd Layton, John Romanishin, and Daniela Rus. Ikeabot: An autonomous multi-robot coordinated furniture assembly system. In 2013 IEEE International conference on robotics and automation, pages 855–862. IEEE, 2013. 44
[^117]: Andrew J Kolarik, Brian CJ Moore, Pavel Zahorik, Silvia Cirstea, and Shahina Pardhan. Auditory distance perception in humans: a review of cues, development, neuronal bases, and effects of sensory loss. Attention, Perception, & Psychophysics, 78(2):373–395, 2016. 51
[^118]: Hema S. Koppula and Ashutosh Saxena. Anticipating human activities using object affordances for reactive robotic response. Pattern Analysis and Machine Intelligence, 38(1):14–29, 2016. 9
[^119]: Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In International Conference on Computer Vision (ICCV), 2017. 7
[^120]: Alexei A. Efros Krishna Kumar Singh, Kayvon Fatahalian. Krishnacam: Using a longitudinal, single-person, egocentric dataset for scene understanding tasks. In IEEE Winter Conference on Applications of Computer Vision (WACV), 2016. 9
[^121]: Matej Kristan, Ales Leonardis, Jiri Matas, Michael Felsberg, Roman Pflugfelder, Joni-Kristian Kamarainen, Luka Čehovin Zajc, Martin Danelljan, Alan Lukezic, Ondrej Drbohlav, Linbo He, Yushan Zhang, Song Yan, Jinyu Yang, Gustavo Fernandez, and et al. The eighth visual object tracking VOT2020 challenge results, 2020. 31
[^122]: Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018. 61
[^123]: Alina Kuznetsova, Hassan Rom, Neil Alldrin, Jasper Uijlings, Ivan Krasin, Jordi Pont-Tuset, Shahab Kamali, Stefan Popov, Matteo Malloci, Alexander Kolesnikov, et al. The open images dataset v4. International Journal of Computer Vision, 128(7):1956–1981, 2020. 57
[^124]: F. De la Torre, J. Hodgins, J. Montano, S. Valcarcel, R. Forcada, and J. Macey. Guide to the carnegie mellon university multimodal activity (cmu-mmac) database. In Tech. report CMU-RI-TR-08-22, Robotics Institute, Carnegie Mellon University, 2009. 3
[^125]: Loic Lacheze, Yan Guo, Ryad Benosman, Bruno Gas, and Charlie Couverture. Audio/video fusion for objects recognition. In 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 652–657. IEEE, 2009. 8
[^126]: Kevin Lai, Liefeng Bo, and Dieter Fox. Unsupervised feature learning for 3d scene labeling. In 2014 IEEE International Conference on Robotics and Automation (ICRA), pages 3050–3057. IEEE, 2014. 7
[^127]: Tian Lan, Tsung-Chuan Chen, and Silvio Savarese. A hierarchical representation for future action prediction. In ECCV, 2014. 9
[^128]: Federico Landini, Ján Profant, Mireia Diez, and Lukáš Burget. Bayesian hmm clustering of x-vector sequences (vbx) in speaker diarization: theory, implementation and analysis on standard tasks. Computer Speech & Language, 71:101254, 2022. 56
[^129]: Y. J. Lee, J. Ghosh, and K. Grauman. Discovering important people and objects for egocentric video summarization. In CVPR, 2012. 2, 3
[^130]: Y. J. Lee, J. Ghosh, and K. Grauman. Discovering important people and objects for egocentric video summarization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012. 45
[^131]: Yong Jae Lee and Kristen Grauman. Predicting important objects for egocentric video summarization. IJCV, 2015. 3
[^132]: Bruno Lepri, Ramanathan Subramanian, Kyriaki Kalimeri, Jacopo Staiano, Fabio Pianesi, and Nicu Sebe. Connecting meeting behavior with extraversion-a systematic study. IEEE Transactions on Affective Computing, 3(4):443–455, 2012. 9
[^133]: Vladimir I Levenshtein et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, 1966. 73
[^134]: Cheng Li and Kris Kitani. Model recommendation with virtual probes for ego-centric hand detection. In ICCV, 2013. 3
[^135]: Yin Li, Alireza Fathi, and James M. Rehg. Learning to predict gaze in egocentric video. In Proceedings of the IEEE International Conference on Computer Vision, pages 3216–3223, 2013. 65
[^136]: Y. Li, M. Liu, and J. Rehg. In the eye of beholder: Joint learning of gaze and actions in first person video. In ECCV, 2018. 45
[^137]: Yin Li, Miao Liu, and Jame Rehg. In the Eye of the Beholder: Gaze and Actions in First Person Video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. 65
[^138]: Yin Li, Miao Liu, and James M Rehg. In the eye of beholder: Joint learning of gaze and actions in first person video. In Proceedings of the European Conference on Computer Vision (ECCV), pages 619–635, 2018. 2, 3
[^139]: Yanghao Li, Tushar Nagarajan, Bo Xiong, and Kristen Grauman. Ego-exo: Transferring visual representations from third-person to first-person videos. In CVPR, 2021. 3,7
[^140]: Tianwei Lin, Xiao Liu, Xin Li, Errui Ding, and Shilei Wen. Bmn: Boundary-matching network for temporal action proposal generation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3889–3898, 2019. 48, 49
## [^141]: Tianwei Lin, Xu Zhao, Haisheng Su, Chongjing Wang, and Ming Yang. Bsn: Boundary sensitive network for temporal action proposal generation. In Proceedings of the European
---
计算机视觉会议（ECCV），第3–19页，2018年。7, 25, 32, 41
[^142]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature Pyramid Networks for Object Detection. arXiv:1612.03144 [cs], Apr. 2017. 33
[^143]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In ECCV, 2014. 1, 3, 47
[^144]: Miao Liu, Siyu Tang, Yin Li, and James M Rehg. Forecasting human-object interaction: joint prediction of motor attention and actions in first person video. In ECCV, 2020. 3
[^145]: Wen Liu, Weixin Luo, Dongze Lian, and Shenghua Gao. Future frame prediction for anomaly detection—a new baseline. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6536–6545, 2018. 9
[^146]: William Lotter, Gabriel Kreiman, and David Cox. Deep predictive coding networks for video prediction and unsupervised learning. arXiv preprint arXiv:1605.08104, 2016. 9
[^147]: Cewu Lu, Renjie Liao, and Jiaya Jia. Personal object discovery in first-person videos. TIP, 2015. 3
[^148]: Zheng Lu and Kristen Grauman. Story-driven summarization for egocentric video. In CVPR, 2013. 3
[^149]: Tahmida Mahmud, Mahmudul Hasan, and Amit K Roy-Chowdhury. Joint prediction of activity labels and starting times in untrimmed videos. In Proceedings of the IEEE International Conference on Computer Vision, pages 5773–5782, 2017. 9
[^150]: Manuel J Marin-Jimenez, Vicky Kalogeiton, Pablo Medina-Suarez, and Andrew Zisserman. Laeo-net: revisiting people looking at each other in videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3477–3485, 2019. 9
[^151]: Manuel Jesús Marín-Jiménez, Andrew Zisserman, Marcin Eichner, and Vittorio Ferrari. Detecting people looking at each other in videos. International Journal of Computer Vision, 106(3):282–296, 2014. 9
[^152]: Manuel J Marín-Jiménez, Andrew Zisserman, and Vittorio Ferrari. Here's looking at you, kid. Detecting people looking at each other in videos. In BMVC, 5, 2011. 9
[^153]: Michael Mathieu, Camille Couprie, and Yann LeCun. Deep multi-scale video prediction beyond mean square error. arXiv preprint arXiv:1511.05440, 2015. 9
[^154]: Iain McCowan, Jean Carletta, Wessel Kraaij, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec, Vasilis Karaiskos, Melissa Kronenthal, Guillaume Lathoud, Mike Lincoln, Agnes Lisowska, Wilfried Post, Dennis Reidsmäler, and Pierre Wellner. The AMI meeting corpus. In Proceedings of Measuring Behavior 2005, the 5th International Conference on Methods and Techniques in Behavioral Research, pages 137–140, 2005. 9
[^155]: Jean-Philippe Mercier, Mathieu Garon, Philippe Giguere, and Jean-Francois Lalonde. Deep template-based object instance detection. In Proceedings of the IEEE/CVF Winter
计算机视觉应用会议（WACV），第1507–1516页，2021年1月。7
[^156]: Christophe Micheyl, Christian Kaernbach, and Laurent Demany. An evaluation of psychophysical models of auditory change perception. Psychological review, 115(4):1069, 2008. 51
[^157]: Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In ICCV, 2019. 3, 6
[^158]: Ishan Misra, Abhinav Gupta, and Martial Hebert. From red wine to red tomato: Composition with context. In CVPR, 2017. 45
[^159]: Yu Mitsuzumi, Atsushi Nakazawa, and Toyoaki Nishida. Deep eye contact detector: Robust eye contact bid detection using convolutional neural network. In BMVC, 2017. 9
[^160]: Davide Moltisanti, Michael Wray, Walterio Mayol-Cuevas, and Dima Damen. Trespassing the boundaries: Labelling temporal bounds for object interactions in egocentric video. In ICCV, 2017. 44, 45
[^161]: Pedro Morgado, Nono Vasconcelos, Timothy Langlois, and Oliver Wang. Self-supervised generation of spatial audio for $360^{\circ}$ video. In NeurIPS, 2018. 8, 51
[^162]: Matthias Müller, Adel Bibi, Silvio Giancola, Salman Alsubaihi, and Bernard Ghanem. TrackingNet: A Large-Scale Dataset and Benchmark for Object Tracking in the Wild. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision – ECCV 2018, volume 11205, pages 310–327. Springer International Publishing, Cham, 2018. 35
[^163]: Tushar Nagarajan, Christoph Feichtenhofer, and Kristen Grauman. Grounded human-object interaction hotspots from video. ICCV, 2019. 3
[^164]: Tushar Nagarajan and Kristen Grauman. Attributes as operators: factorizing unseen attribute-object compositions. In Proceedings of the European Conference on Computer Vision (ECCV), pages 169–185, 2018. 7, 45
[^165]: A. Nagrani, J. S. Chung, and A. Zisserman. VoxCeleb: a large-scale speaker identification dataset. In INTERSPEECH, 2017. 52, 57
[^166]: Katsuyuki Nakamura, Serena Yeung, Alexandre Alahi, and Li Fei-Fei. Jointly learning energy expenditures and activities using egocentric multimodal signals. In CVPR, 2017. 3
[^167]: Lukas Neumann, Andrew Zisserman, and Andrea Vedaldi. Future event prediction: If and when. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 0–0, 2019. 9
[^168]: Evonne Ng, Donglai Xiang, Hanbyul Joo, and Kristen Grauman. You2me: Inferring body pose in egocentric video via first and second person interactions. In CVPR, 2020. 3
## [^169]: Joonas Nikunen and Tuomas Virtanen. Direction of arrival based spatial covariance model for blind sound source separation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 22(3):727–739, 2014. 51
---
[^170]: C. Northcutt, S. Zha, S. Lovegrove, and R. Newcombe. Ego-com: A multi-person multi-modal egocentric communications dataset. PAMI, 2020. 3
[^171]: Andrew Owens and Alexei A Efros. Audio-visual scene analysis with self-supervised multisensory features. In ECCV, 2018. 51
[^172]: Cristina Palmero, Elsbeth A van Dam, Sergio Escalera, Mike Kelia, Guido F Lichtert, Lucas PJJ Noldus, Andrew J Spink, and Astrid van Wieringen. Automatic mutual gaze detection in face-to-face dyadic interaction videos. Measuring Behavior 2018, 2018. 9
[^173]: Daniel S Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D Cubuk, and Quoc V Le. Specaugment: A simple data augmentation method for automatic speech recognition. arXiv preprint arXiv:1904.08779, 2019. 60
[^174]: H. S. Park, J.-J. Hwang, Y. Niu, and J. Shi. Egocentric future localization. In CVPR, 2016. 9
[^175]: H. S. Park, J.-J. Hwang, Y. Niu, and J. Shi. Egocentric future localization. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 74
[^176]: Hyun Soo Park, Eakta Jain, and Yaser Sheikh. 3D social saliency from head-mounted cameras. In Advances in Neural Information Processing Systems, volume 1, pages 422–430, 2012. 9
[^177]: Tae Jin Park, Naoyuki Kanda, Dimitrios Dimitriadis, Kyu J Han, Shinji Watanabe, and Shrikanth Narayanan. A review of speaker diarization: Recent advances with deep learning. arXiv preprint arXiv:2101.09624, 2021. 53, 56
[^178]: David R Perrott and Kourosh Saberi. Minimum audible angle thresholds for sources varying in both elevation and azimuth. The Journal of the Acoustical Society of America, 87(4):1728–1731, 1990. 51
[^179]: Hamed Pirsiavash and Deva Ramanan. Detecting activities of daily living in first-person camera views. In 2012 IEEE conference on computer vision and pattern recognition, pages 2847–2854. IEEE, 2012. 2, 3
[^180]: H. Pirsiavash and D. Ramanan. Detecting activities of daily living in first-person camera views. In Computer Vision and Pattern Recognition (CVPR), 2012. 45
[^181]: Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, Jan Silovsky, Georg Stemmer, and Karel Vesely. The Kaldi speech recognition toolkit. In IEEE 2011 Workshop on Automatic Speech Recognition and Understanding, 2011. 56
[^182]: Senthil Purushwalkam, Maximilian Nickel, Abhinav Gupta, and Marc’Aurelio Ranzato. Task-driven modular networks for zero-shot compositional learning. In Proceedings of the IEEE International Conference on Computer Vision, pages 3593–3602, 2019. 45
[^183]: F. Ragusa, A. Furnari, S. Battiato, G. Signorello, and G. M. Farinella. Egocentric visitors localization in cultural sites. Journal on Computing and Cultural Heritage (JOCCH), 2019. 3
[^184]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos
应用于类工业领域。收录于IEEE计算机视觉应用冬季会议（WACV），2021年。3
[^185]: René Ranftl, Alexey Bochkovskiy, and Vladlen Koltun. Vision transformers for dense prediction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12179–12188, 2021. 38, 39
[^186]: Adria Recasens, Aditya Khosla, Carl Vondrick, and Antonio Torralba. Where are they looking? In Advances in Neural Information Processing Systems, pages 199–207, 2015. 9
[^187]: Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018. 57
[^188]: James M. Rehg, Agata Rozga, Gregory D. Abowd, and Matthew S. Goodwin. Behavioral Imaging and Autism. IEEE Pervasive Computing, 13(2):84–87, 2014. 8
[^189]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NeurIPS, 2015. 33
[^190]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in neural information processing systems, 28:91–99, 2015. 49
[^191]: Ivan Rodin, Antonino Furnari, Dimitrios Mavroedis, and Giovanni Maria Farinella. Predicting the future from first person (egocentric) vision: A survey. Computer Vision and Image Understanding, 2021. 9
[^192]: Joseph Roth, Sourish Chaudhuri, Ondrej Klejch, Radhika Marvin, Andrew Gallagher, Liat Kaver, Sharadh Ramaswamy, Arkadiusz Stopczynski, Cordelia Schmid, Zhonghua Xi, et al. Ava-activespeaker: An audio-visual dataset for active speaker detection. arXiv preprint arXiv:1901.01342, 2019. 8, 52, 53
[^193]: Joseph Roth, Sourish Chaudhuri, Ondrej Klejch, Radhika Marvin, Andrew Gallagher, Liat Kaver, Sharadh Ramaswamy, Arkadiusz Stopczynski, Cordelia Schmid, Zhonghua Xi, and Caroline Pantofaru. Ava Active Speaker: An Audio-Visual Dataset for Active Speaker Detection. In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, volume 2020-May, pages 4492–4496, 2020. 9
[^194]: M. S. Ryoo and L. Matthies. First-person activity recognition: What are they doing to me? In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. 3
[^195]: Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich. Superglue: Learning feature matching with graph neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4938–4947, 2020. 36, 38
[^196]: Johannes L Schonberger and Jan-Michael Frahm. Structure-from-motion revisited. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4104–4113, 2016. 36
[^197]: A. Senocak, T.-H. Oh, J. Kim, M. Yang, and I. S. Kweon. Learning to localize sound sources in visual scenes: Analysis and applications. TPAMI, 2019. 8, 51
## [^198]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 45, 46
---
[^199]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 49
[^200]: Mohit Sharma, Kevin Zhang, and Oliver Kroemer. Learning semantic embedding spaces for slicing vegetables. arXiv preprint arXiv:1904.00303, 2019. 44
[^201]: Gunnar A Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Charades-ego: A large-scale dataset of paired third and first person videos. arXiv preprint arXiv:1804.09626, 2018. 2, 3, 45
[^202]: Nathan Silberman, Derek Hoiem, Pushmeet Kohli, and Rob Fergus. Indoor segmentation and support inference from rgbd images. In European conference on computer vision, pages 746–760. Springer, 2012. 38
[^203]: Silero Team. Silero vad: Pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. , 2021. 59
[^204]: Michel Silva, Washington Ramos, João Ferreira, Felipe Chamone, Mario Campos, and Erickson R. Nascimento. A weighted sparse sampling and smoothing frame transition approach for semantic fast-forward first-person videos. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 3
[^205]: Krishna Kumar Singh, Kayvon Fatahalian, and Alexei Afros. Krishnacam: Using a longitudinal, single-person, egocentric dataset for scene understanding tasks. In WACV, 2016. 2, 3
[^206]: David Snyder, Daniel Garcia-Romero, Gregory Sell, Daniel Povey, and Sanjeev Khudanpur. X-vectors: Robust DNN embeddings for speaker recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018. 57
[^207]: Khurram Soomro, Amir Roshan Zamir, and Mubarak Shah. Ucf101: A dataset of 101 human action classes from videos in the wild. In CRCV-TR-12-01, 2012. 3
[^208]: Emiliano Spera, Antonino Furnari, Sebastiano Battiato, and Giovanni Maria Farinella. Egocentric shopping cart localization. In International Conference on Pattern Recognition (ICPR), 2018. 3
[^209]: Julian Straub, Thomas Whelan, Lingni Ma, Yufan Chen, Erik Wijmans, Simon Green, Jakob J Engel, Raul Mur-Artal, Carl Ren, Shobhit Verma, et al. The replica dataset: A digital replica of indoor spaces. arXiv preprint arXiv:1906.05797, 2019. 14
[^210]: Yu-Chuan Su and Kristen Grauman. Detecting engagement in egocentric video. In ECCV, 2016. 2, 3, 45
[^211]: Ruijie Tao, Zexu Pan, Rohan Kumar Das, Xinyuan Qian, Mike Zheng Shou, and Haizhou Li. Is someone speaking? exploring long-term temporal features for audio-visual active speaker detection. arXiv preprint arXiv:2107.06592, 2021. 53, 58, 59
[^212]: Y. Tian, J. Shi, B. Li, Z. Duan, and C. Xu. Audio-visual event localization in unconstrained videos. In ECCV, 2018. 8,51
[^213]: E. Tulving. Episodic and semantic memory. In E. Tulving and W. Donaldson, editors, Organization of memory. Academic Press, 1972. 6
[^214]: TwentyBN. The 20BN-jester Dataset V1.
[^215]: Joost Van Amersfoort, Anitha Kannan, Marc'Aurelio Ranzato, Arthur Szlam, Du Tran, and Soumith Chintala. Transformation-based models of video sequences. arXiv preprint arXiv:1701.08435, 2017. 9, 40
[^216]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural in processing systems, pages 5998–6008, 2017. 49
[^217]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998–6008, 2017. 61
[^218]: Ruben Villegas, Jimei Yang, Seunghoon Hong, Xunyu Lin, and Honglak Lee. Decomposing motion and content for natural video sequence prediction. arXiv preprint arXiv:1706.08033, 2017. 9
[^219]: Carl Vondrick, Hamed Pirsiavash, and Antonio Torralba. Anticipating visual representations from unlabeled video. In CVPR, 2016. 9
[^220]: He Wang, Sören Pirk, Ersin Yumer, Vladimir G Kim, Ozan Sener, Srinath Sridhar, and Leonidas J Guibas. Learning a generative model for multi-step human-object interactions from videos. In Eurographics, 2019. 45
[^221]: Limin Wang, Yuanjun Xiong, Zhe Wang, Yu Qiao, Dahua Lin, Xiaoou Tang, and Luc Van Gool. Temporal segment networks: Towards good practices for deep action recognition. In ECCV, 2016. 3, 7
[^222]: Qiang Wang, Li Zhang, Luca Bertinetto, Weiming Hu, and Philip H. S. Torr. Fast online object tracking and segmentation: A unifying approach, 2019. 17
[^223]: Xiaolong Wang, Ali Farhadi, and Abhinav Gupta. Actions $^{™}$ transformations. In CVPR, 2016. 45
[^224]: Xiaolong Wang, Ross Girshick, Abhinav Gupta, and Kaiming He. Non-local neural networks. In CVPR, 2018. 3
[^225]: Yuxin Wu, Alexander Kirillov, Francisco Massa, Wan-Yen Lo, and Ross Girshick. Detectron2.35
[^226]: Fanyi Xiao, Yong Jae Lee, Kristen Grauman, Jitendra Malik, and Christoph Feichtenhofer. Audiovisual slowfast networks for video recognition. arXiv preprint arXiv:2001.08740, 2020. 8, 51
[^227]: SHI Xingjian, Zhourong Chen, Hao Wang, Dit-Yan Yeung, Wai-Kin Wong, and Wang-chun Woo. Convolutional lstm network: A machine learning approach for precipitation nowcasting. In Advances in neural information processing systems, pages 802–810, 2015. 9
[^228]: Jun Xu, Tao Mei, Ting Yao, and Yong Rui. Msr-vtt: A large video description dataset for bridging video and language. IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June 2016. 7
## [^229]: Mengmeng Xu, Chen Zhao, David S Rojas, Ali Thabet, and Bernard Ghanem. G-tad: Sub-graph localization for temporal action detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10156–10165, 2020. 7, 25, 32, 41
---
[^230]: Takuma Yagi, Karttikeya Mangalam, Ryo Yonetani, and Yoichi Sato. Future person localization in first-person videos. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. 9
[^231]: Ryo Yonetani, Kris M. Kitani, and Yoichi Sato. Recognizing micro-actions and reactions from paired egocentric videos. In CVPR, 2016. 3
[^232]: Ryo Yonetani, Kris M Kitani, and Yoichi Sato. Visual motif discovery via first-person vision. In ECCV, 2016. 3
[^233]: Fisher Yu, Dequan Wang, Evan Shelhamer, and Trevor Darrell. Deep layer aggregation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2403–2412, 2018. 49
[^234]: Hua Zhang, Xiaochun Cao, and Rui Wang. Audio visual attribute discovery for fine-grained object recognition. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 32, 2018. 8
[^235]: Hao Zhang, Aixin Sun, Wei Jing, and Joey Tianyi Zhou. Span-based localizing network for natural language video localization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 6543–6554, Online, July 2020. Association for Computational Linguistics. 40
[^236]: Songyang Zhang, Houwen Peng, Jianlong Fu, and Jiebo Luo. Learning 2d temporal adjacent networks formoment localization with natural language. In AAAI, 2020. 26, 31, 32, 39, 40
[^237]: Chen Zhao, Ali K Thabet, and Bernard Ghanem. Video self-stitching graph network for temporal action localization. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13658–13667, 2021. 7, 25, 32, 40, 41
[^238]: Hang Zhao, Chuang Gan, Andrew Rouditchenko, Carl Vondrick, Josh McDermott, and Antonio Torralba. The sound of pixels. In ECCV, 2018. 51
[^239]: Bolei Zhou, Alex Andonian, Aude Oliva, and Antonio Torralba. Temporal relational reasoning in videos. In ECCV, 2018. 3
[^240]: Hao Zhou, Chongyang Zhang, Yan Luo, Yanjun Chen, and Chuanping Hu. Embracing uncertainty: Decoupling and de-bias for robust temporal grounding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8445–8454, 2021. 33
[^241]: Xingyi Zhou, Dequan Wang, and Philipp Krähenbühl. Objects as points. arXiv preprint arXiv:1904.07850, 2019. 49
[^242]: Y. Zhou and T. Berg. Learning temporal transformations from time-lapse videos. In ECCV, 2016. 7
[^243]: Yipin Zhou and Tamara L Berg. Temporal perception and prediction in ego-centric video. In ICCV, 2015. 3, 7
[^244]: Yipin Zhou and Tamara L Berg. Learning temporal transformations from time-lapse videos. In ECCV, 2016. 45
[^245]: Hao Zhu, Man-Di Luo, Rui Wang, Ai-Hua Zheng, and Ran He. Deep audio-visual learning: A survey. International Journal of Automation and Computing, pages 1–26, 2021. 8