# Ego-Exo4D：从第一人称和第三人称视角理解熟练的人类活动
克里斯汀·格劳曼 $^{1}$ · 安德鲁·韦斯特伯里 $^{2}$ · 洛伦佐·托雷萨尼 $^{3}$ · 克里斯·基塔尼 $^{2,4}$ · 吉滕德拉·马利克 $^{2,5}$ · 特里安塔菲洛斯·阿福拉斯 $^{2}$ · 库马尔·阿舒托什 $^{1,2}$ · 维杰·拜亚 $^{6}$ · 西德汉特·班萨尔 $^{7,8}$ · 比克拉姆·布特 $^{9}$ · 尤金·伯恩 $^{2}$ · 扎克·查维斯 $^{11}$ · 乔雅·陈 $^{12}$ · 程峰 $^{2}$ · 朱富健 $^{2}$ · 肖恩·克雷恩 $^{10}$ · 阿维吉特·达斯古普塔 $^{8}$ · 董静 $^{6}$ · 玛丽亚·埃斯科瓦尔 $^{13}$ · 克里斯蒂安·福里瓜 $^{13}$ · 阿布拉罕·格布雷塞拉西 $^{10}$ · 桑杰·哈雷什 $^{14}$ · 黄静 $^{2}$ · 莫海米努尔·伊斯兰 $^{15}$ · 苏亚格·贾恩 $^{2}$ · 拉瓦尔·基罗卡尔 $^{10}$ · 德万什·库克雷贾 $^{2}$ · 凯文·J·梁 $^{2}$ · 刘佳伟 $^{12}$ · 萨格尼克·马朱姆达尔 $^{1,2}$ · 毛永森 $^{14}$ · 米格尔·马丁 $^{2}$ · 埃弗罗西妮·马夫鲁迪 $^{2}$ · 图沙尔·纳加拉詹 $^{2}$ · 弗朗切斯科·拉古萨 $^{16}$ · 桑托什·库马尔·拉马克里希南 $^{1}$ · 路易吉·塞米纳拉 $^{16}$ · 阿尔琼·索迈亚祖卢 $^{1}$ · 宋耶尔 $^{2}$ · 苏珊 $^{17}$ · 薛子辉 $^{1,2}$ · 张爱德华 $^{17}$ · 张金旭 $^{17}$ · 安吉拉·卡斯蒂略 $^{13}$ · 陈昌干 $^{1}$ · 傅新竹 $^{12}$ · 古田亮辅 $^{18}$ · 克里斯蒂娜·冈萨雷斯 $^{13}$ · 普林斯·古普塔 $^{6}$ · 胡佳波 $^{19}$ · 黄一飞 $^{18}$ · 黄一鸣 $^{17}$ · 韦斯利·胡 $^{20}$ · 阿努什·库马尔 $^{11}$ · 罗伯特·郭 $^{19}$ · 萨奇·拉克哈瓦尼 $^{6}$ · 刘淼 $^{19}$ · 罗米 $^{1}$ · 罗正毅 $^{4}$ · 布赖吉德·梅雷迪思 $^{19}$ · 奥斯汀·米勒 $^{19}$ · 奥卢瓦图米宁努·奥贡托拉 $^{15}$ · 潘夏青 $^{6}$ · 彭佩妮 $^{19}$ · 施拉曼·普拉马尼克 $^{21}$ · 梅雷·拉马扎诺娃 $^{22}$ · 菲奥娜·瑞安 $^{23}$ · 单伟 $^{15}$ · 基兰·索马斯南达拉姆 $^{6}$ · 宋晨楠 $^{12}$ · 奥黛丽·索瑟兰 $^{23}$ · 立野雅敏 $^{18}$ · 王慧宇 $^{2}$ · 王雨辰 $^{20}$ · 八木拓真 $^{18}$ · 严明飞 $^{6}$ · 杨希彤 $^{2}$ · 于泽成 $^{18}$ · 查圣欣·辛迪 $^{19}$ · 赵晨 $^{22}$ · 赵子薇 $^{20}$ · 朱志凡 $^{7}$ · 卓杰夫 $^{15}$ · 巴勃罗·阿尔贝莱兹 $^{13}$ · 格达斯·贝尔塔西乌斯 $^{15}$ · 大卫·克兰德尔 $^{20}$ · 迪玛·达门 $^{7}$ · 雅各布·恩格尔 $^{6}$ · 乔瓦尼·玛丽亚·法里内拉 $^{16}$ · 安东诺·弗尔纳里 $^{16}$ · 伯纳德·加内姆 $^{22}$ · 朱迪·霍夫曼 $^{23}$ · C.V.贾瓦哈尔 $^{8}$ · 理查德·纽科姆 $^{6}$ · 朴贤洙 $^{11}$ · 詹姆斯·M·雷格 $^{9}$ · 佐藤洋一 $^{18}$ · 马诺利斯·萨瓦 $^{14}$ · 施建波 $^{17}$ · 寿正明 $^{12}$ · 迈克尔·雷伊 $^{7}$
收稿日期：2024年9月25日 / 录用日期：2025年7月29日 / 在线发布日期：2025年11月24日 © 作者们 2025
## 摘要
我们推出了Ego-Exo4D，这是一个多样化、大规模的多模态多视角视频数据集及基准测试挑战。Ego-Exo4D围绕熟练人类活动（如体育、音乐、舞蹈、自行车维修）的同时拍摄的主观视角和客观视角视频展开。来自全球13个城市的740名参与者在123种不同的自然场景中进行这些活动，生成了时长从1分钟到42分钟不等的长视频，总时长达到1,286小时。该数据集的多模态特性前所未有：视频配有多声道音频、眼动数据、3D点云、相机位姿、IMU数据以及多种配套语言描述——其中包括由教练和教师针对熟练活动领域定制的全新“专家解说”。为了推动对熟练人类活动的第一人称视频理解研究，我们还提供了一系列基准测试任务及其标注，包括细粒度活动理解、熟练度评估、跨视角转换以及3D手部/身体姿态估计。所有资源均已开源，以供学术界开展新研究之用。
关键词：视频理解 · 第一人称视频 · 主观视角 · 视频-语言 · 3D · 身体姿态
---
## 1 引言
舞者在舞台上跳跃；莱昂内尔·梅西送出精准传球；你的祖母正在制作她拿手的饺子。我们在各种场景中观察并探寻人类技能，从实用的（修理自行车）到令人向往的（优美的舞蹈）。如果人工智能能够理解人类技能，那意味着什么？要实现这一点又需要什么？
人工智能对人类技能理解能力的提升能够催生诸多应用。在增强现实（AR）领域，佩戴智能眼镜的人可以在虚拟AI教练的实时指导下快速掌握新技能。在机器人学习领域，观察周围人类的机器人能够凭借更少的物理经验便习得新的灵巧操作技能。在社交网络领域，人们可以根据自己在视频中分享的专业知识和互补技能来组建新的社群。
我们认为，主观视角和客观视角对于捕捉人类技能都至关重要。首先，这两种视角具有协同作用。第一人称（主观）视角能捕捉近距离的物体交互细节以及佩戴相机者的注意力信息，而第三人称（客观）视角则能呈现完整的身体姿态和周围环境背景。详见图1。无独有偶，教学类或“操作指南”类视频通常会交替展示演示者的第三人称视角以及其近距离操作的特写镜头。例如，厨师可能会从客观视角介绍自己的方法和所用设备，随后切换到展示其双手操控食材和工具的类似主观视角的片段。
8 印度海得拉巴IIIT
$^{9}$ 美国伊利诺伊大学厄巴纳-香槟分校
$^{10}$ 美国卡内基梅隆大学
$^{11}$ 美国明尼苏达大学
$^{12}$ 新加坡国立大学
$^{13}$ 哥伦比亚安第斯大学
14 加拿大本拿比西蒙弗雷泽大学
$^{15}$ 美国北卡罗来纳大学教堂山分校
$^{16}$ 意大利卡塔尼亚大学
17 宾夕法尼亚大学，美国费城
$^{18}$ 东京大学，日本文京区
19 Meta公司，美国加利福尼亚州门洛帕克
$^{20}$ 印第安纳大学，美国布卢明顿
21 约翰斯·霍普金斯大学，美国巴尔的摩
$^{22}$ 阿卜杜拉国王科学技术大学，沙特阿拉伯图瓦勒
23 佐治亚理工学院，美国亚特兰大
其次，自我视角与外部视角不仅具有协同作用，而且在掌握技能时还需要能在两者之间进行流畅转换。例如，想象一下观看专家修理自行车轮胎、玩杂耍或折叠纸天鹅，然后将他们的步骤映射到自己的身体上。认知科学告诉我们，即便在幼年时期，我们就能观察他人的行为（外部视角）并将其映射到自身行为中（自我视角）（Flavell等人，1981年；Newcombe，1989年），这种行动者-观察者之间的转换仍是视觉学习的基础。
然而，要发挥这一潜力，仅靠如今的数据集和学习范式是无法实现的。同时包含自我视角与外部视角的现有数据集（即自我-外部视角数据集）数量极少（Sigurdsson等人，2018年；Sener等人，2022年；Kwon等人，2021年；la Torre等人，2009年；Rai等人，2021年），且规模较小，缺乏摄像头间的同步性，或者过于刻意编排或经过精心策划，无法适应现实世界的多样性。因此，当前关于活动理解的研究主要聚焦于自我视角（Damen等人，2021年；Grauman等人，2022年）或外部视角（Kay等人，2017年；Gu等人，2018年；Monfort等人，2019年；Soomro等人，2012年），难以实现在第一人称与第三人称视角间的流畅切换。教学视频数据集（Miech等人，2019年；Tang等人，2020年；Zhukov等人，2019年；Zhou等人，2018年）为我们了解人类熟练活动提供了重要窗口，但（与上述情况类似）它们仅限于单视角视频，无论是纯外部视角还是在某些时间点混入“类自我视角”的视频。
我们推出了Ego-Exo4D，这是一个用于支持自我-外部视角视频学习与多模态感知研究的基础性数据集。作为由15个研究机构组成的联盟历时两年打造的成果，Ego-Exo4D是首个大规模多模态多视角数据集及基准测试套件。它是目前最大的公开时间同步第一人称与第三人称视频数据集，由740名佩戴摄像头的人员在全球13座城市的123个不同场景中拍摄而成。针对每个序列，Ego-Exo4D不仅提供佩戴者的自我中心视频，还提供放置在佩戴者周围的三脚架上拍摄的多达4-5段外部视角视频。所有视角视频均时间同步，且能精确定位到以重力为基准的度量坐标系中。该数据集总共包含1286小时的视频资料以及5035个实例，每个实例的连续拍摄时长在1到42分钟之间。
Ego-Exo4D专注于单人熟练活动。740名参与者在自然环境中以非脚本化的方式开展各类熟练的身体或程序性活动——舞蹈、足球、篮球、攀岩、音乐、烹饪、自行车维修、医疗保健等，其技能水平涵盖从新手到专家的各个层次。所有视频录制均严格遵守隐私与伦理政策，并获得了参与者的正式授权。
Ego-Exo4D不仅是多视角的，还是多模态的。它是通过独特的开源Aria眼镜拍摄的（Engel等人）
---
Fig. 1 Ego-Exo4D offers egocentric video alongside multiple time-synchronized exocentric video streams for an array of skilled human activities—1,286 hours of ego and exo video in total. The data is both
multiview and multimodal, and it is extensively annotated with language, 3D body and hand pose, keysteps, procedural dependencies, and proficiency ratings in support of our proposed benchmark tasks
等人（2023年）的研究表明，所有第一人称视频都配备了7声道音频、惯性测量单元、眼动追踪设备、RGB摄像头以及两台灰度SLAM摄像头，还能生成3D环境点云。此外，Ego-Exo4D还提供了多种全新的视频-语言资源，且均带有时间索引：一是佩戴摄像头的人对自身行为的第一人称叙述；二是针对每位佩戴者行为的第三人称实时描述；三是第三人称的专家点评，用于评判其表现。其中第三种资源尤为新颖：由具备专业经验的教练和教师提供，重点在于剖析某项活动的具体执行方式，而非仅仅描述做了什么，从而揭示出未经训练的人无法察觉的熟练操作细节。这三种语言语料库均与视频时间戳对应。据我们所知，此前尚无任何视频资源能包含如此丰富且高质量的多模态数据。
除了这些数据外，我们还为第一人称-第三人称视频任务引入了基准测试，并通过标注和评估协议将其规范化，以推动相关领域的研究进展。我们提出了四类任务：
1. 第一人称-第三人称关系任务：通过估算语义对应关系并转换视角，来关联教师（第三人称）与学习者（第一人称）的行为；
2. 第一人称（或第三人称）识别任务：用于识别细粒度的关键步骤及任务结构；
3. 第一人称（或第三人称）熟练度评估任务：用于推断一个人执行某项技能的水平；
4. 第一人称姿态任务：从第一人称视频中还原出熟练的3D身体和手部动作。
我们为每项任务都提供了标注数据——这些标注成果来自标注员超过20万小时的工作付出。为了启动对这些新挑战的研究，我们还开发了基线模型并报告了相关结果。我们将于2024年举办首次公开基准测试挑战赛。
虽然我们的研究初衷是技能学习，但Ego-Exo4D的影响力远不止于此，其应用范围将超出上述基准测试范畴。现有数据集缺乏真实3D场景中的活动建模能力（通常局限于动作捕捉服或实验室环境），而现有的3D数据集往往只关注静态场景和物体。
## Ego-Exo4D是一种面向通用3D视觉的资源——比如环境重建、摄像头重定位、音频视觉映射等诸多领域均可从中受益。
---
Fig. 2 Overview of the paper and its sections, including the Ego-Exo4D dataset (Sec. 3.1, 3.2, 3.3), the natural language descriptions collected alongside the dataset (Sec. 4), and the benchmark tasks (Sec. 5)
同样，我们创新性的视频-语言资源也将为动作与物体的对齐、多模态表征学习以及语言生成提供诸多机遇。最后，尽管我们的任务侧重于从“仅第一人称”视角进行感知，但数据中包含的第三人称成分也确保了其在更传统的第三人称视角下的实用性，例如用于活动识别和人体姿态估计。
总而言之，Ego-Exo4D是业界首个多样化、大规模的多模态多视角视频资源。我们已将所有数据、标注、摄像头架设协议及基准测试开源。通过此次发布，我们希望能推动第一人称-第三人称、多模态活动分析等领域的新研究。
图2给出了本文的研究路线图。在回顾相关工作（第2节）之后，我们介绍了该数据集的内容、摄像头设置、参与者以及采集方法（第3节），随后概述了其三种形式的自然语言标注（第4节）。最后，我们介绍了上述四类基准测试任务，分别阐述了每项任务的动机、定义、评估指标及基线结果（第5节）。
## 2 相关工作
接下来我们回顾一下在数据集、人类技能以及跨视角分析方面的先前研究。第5节将分别针对各基准任务讨论其他相关研究。
第一人称视角数据集：近年来，人们对第一人称视频理解的兴趣日益浓厚，这得益于近期推出的多个人第一视角视频数据集，它们记录了无脚本的日常活动，例如Ego4D（Grauman等人，2022年）、EPIC-Kitchens（Damen等人，2018年、2021年；Tschernezki等人，2023年）、UT Ego（Lee等人，2012年）、ADL（Pirsiavash和Ramanan，2012年）以及KrishnaCam（Singh等人，2016年）；也有记录程序性活动的数据集，如EGTEa（Li等人，2018年）、AssistQ（Wong等人，2022年）、Meccano（Ragusa等人，2021年）、CMU-MMAC（la Torre等人，2009年）、EgoProcel（Bansal等人，2022年）以及HoloAssist（Wang等人，2023年）。与上述数据集不同的是，Ego-Exo4D专注于多模态的第一人称与第三人称视角数据捕捉，且聚焦于技能型活动领域。
Ego-Exo4D团队的许多成员曾共同参与Ego4D的创建工作（Grauman等人，2022年）。这两个数据集有一些共同特点：都强调无脚本数据，在真实环境中对多样化的参与者进行长时间的连续拍摄，且都提供了新颖的基准任务和视频-语言标注。不过，Ego4D仅关注从第一人称视角拍摄的日常活动，而Ego-Exo4D则聚焦于特定领域的技能型活动，同时捕捉第一人称与第三人称视角的数据，且多模态特性更为显著。与Ego4D相比，Ego-Exo4D的语言标注范围也更广，不仅包含逐动作叙述，还包括第一人称视角的操作说明以及关于技能型活动的第三人称专家评论。
多视角与第一人称-第三人称数据集：目前现有的大多数多视角数据集侧重于静态场景（Chang等人，2017年；Xia等人，2018年；Straub等人，2019年；Ramakrishnan等人，2021年；Xiao等人，2013年）和物体（Reizenstein等人，2021年；Wu等人，2015年），涉及多视角下的人类活动的研究较少（且仅限于第三人称视角）（Weinland等人，2006年；Corona等人，2021年）。CMUMMAC（la Torre等人，2009年）和CharadesEgo（Sigurdsson等人，2018年）是早期尝试捕捉第一人称与第三人称视频的数据集。其中，CMU-MMAC（la Torre等人，2009年）记录了43名身着动作捕捉服的参与者在实验室厨房中制作5种食谱的过程。而在CharadesEgo（Sigurdsson等人，2018年）中，有71名机械工程专业的……
---
Table 1 Comparison between Ego-Exo4D and relevant datasets. Compared to existing datasets capturing both egocentric and exocentric views, Ego-Exo4D features more modalities, more subjects, and significantly larger scene diversity, as well as rich annotations including key-step segments, object masks, and three meticulously synchronized natural language descriptions paired with the videos (narrations, narrate-and-act, and expert commentary). To our knowledge, Ego-Exo4D also offers the largest available manual ground truth egocentric body pose annotations to date (in the above datasets or any others), and it has ~14M total frames of 3D pose annotations and pseudo-annotations. #Tasks denotes the number of tasks that subjects were asked to execute
在每个数据集中，“Subj.”表示记录的受试者数量，“#BP”指3D人体姿态的数量，“#HP”指3D手部姿态的数量，“Nar”表示叙述内容，“EC”指专家评论标注。模态缩写说明：Video代表视频，Audio代表音频，Depth代表深度信息，Gaze代表视线数据，Stereo代表立体视觉数据，IMU代表惯性测量单元，3D Environments代表3D环境数据，Thermal IR代表热红外数据，GPS代表全球定位系统数据，Motion Capture代表动作捕捉数据，6DOF代表六自由度数据，Barometer代表气压计，Magnetometer代表磁力计。*表示以动词和名词定义的动作分类，统计结果表示为（动词数量；名词数量）。†该数字取自Moment Query基准测试。‡Ego-Exo4D的任务数量包括21种程序性活动和22种物理活动（详见表2）。
| Dataset | Year | Modalities | #Subj. | #Scenes | #Tasks | #Actions | #Masks | #BP | #HP | Nar. | EC |
| Multimodal Egocentric Datasets |
| EGTEA-Gaze (Li et al., 2018) | 2018 | V,A,G | 32 | 1 | 7 | 106 | 15k | - | - | x | x |
| MECCANO (Ragusa et al., 2021) | 2021 | V,D,G | 20 | 2 | 1 | 61 | - | - | - | x | x |
| EK100 (Damen et al., 2022) | 2022 | V,A | 37 | 45 | N/A | (97;300)* | - | - | - | ✓ | x |
| Ego4D (Grauman et al., 2022) | 2022 | V,A,3D,S,G,I | 931 | 74 | N/A | 110† | - | - | - | ✓ | x |
| HoloAssist (Wang et al., 2023) | 2024 | V,A,D,G,3D,I | 222 | N/A | 20 | (49;165)* | - | N/A | N/A | ✓ | x |
| Other Relevant Egocentric Datasets |
| HOI4D (Lin et al., 2022) | 2022 | V | 4 | N/A | 54 | N/A | - | - | 1.2M | x | x |
| Multiview Datasets |
| IXMAS (Weinland et al., 2006) | 2006 | V | 10 | 1 | N/A | 11 | - | - | - | x | x |
| MEVA (Corona et al., 2021) | 2021 | V,T,GPS | 100 | 28 | N/A | 37 | - | - | - | x | x |
| GigaHands (Fu et al., 2025) | 2025 | V | 56 | N/A | 25 | N/A | N/A | - | 3.7M | ✓ | x |
| Ego-Exo Datasets |
| CMU-MMAC (la Torre et al., 2009) | 2009 | V,A,M,I | 43 | 1 | 5 | - | - | - | - | x | x |
| Charades-Ego (Sigurdsson et al., 2018) | 2018 | V | 71 | N/A | N/A | 157 | - | - | - | x | x |
| LEMMA (Jia et al., 2020) | 2020 | V,D | 8 | 14 | 15 | (24;64)* | - | - | - | x | x |
| HOMAGE (Rai et al., 2021) | 2020 | V,A,T,B,Ma | 27 | 10 | 70 | 453 | - | - | - | x | x |
| H2O (Kwon et al., 2021) | 2021 | V,D | 4 | 3 | N/A | 36 | - | - | 0.5M | x | x |
| Assembly101 (Sener et al., 2022, Ohkawa et al., 2023) | 2022 | V | 53 | 1 | 101 | (24;90)* | - | - | 0.2M | x | x |
| Arctic (Fan et al., 2023) | 2023 | V | 10 | N/A | 2 | 22 | - | 2.1M | 2.1M | x | x |
| OakInk2 (Zhan et al., 2024) | 2024 | V | 9 | N/A | 38 | 150 | - | - | 1.0M | x | x |
| EgoExoLearn (Huang et al., 2024) | 2024 | V,A,G,I | 136 | 7 | 8 | (95;254)* | - | - | - | ✓ | x |
| Ego-Exo4D | 2024 | V,A,I,G,3D,6D,B,Ma | 740 | 123 | 43‡ | 689 | 2.2M | 9.6M | 4.4M | ✓ | ✓ |
土耳其人依次从自我视角和外部视角录制时长共34小时的预设场景视频（例如“在笔记本电脑上打字，然后拿起枕头”），最终得到的是活动不匹配且不同步的视频。近期关于自我-外部视角的研究更侧重于一两个环境中的特定活动。Assembly101（Sener等人，2022年）和H2O（Kwon等人，2021年）提供了在实验室桌面上人们组装玩具车或操作手持物品时的时间同步的自我与外部视角视频，分别有53名和4名参与者，视频时长分别为513小时和5小时。LEMMA（Jia等人，2020年）包含了多主体、多任务活动，涉及15种常见的日常任务，由8人在14个不同的厨房/客厅中完成。Homage（Rai等人，2021年）提供了来自27名参与者的30小时自我-外部视角视频，拍摄地点为两户家庭，内容涵盖洗衣等家务活动。EgoExoLearn（Huang等人，2024年）则提供了120小时以第一人称视角录制的视频，模拟人类按照流程演示的过程，同时配有第三人称视角的演示视频。
与以往的任何研究相比，Ego-Exo4D的参与者数量多出几个数量级，涵盖的地点和视频时长也更为丰富（共有740名参与者、123个独特场景、13座城市，视频时长达1286小时）。重要的是，由于我们重点关注技能类任务，因此将参与者从实验室或家中带到足球场、舞蹈室、攀岩墙和自行车修理店等场所。这类活动能呈现出场景中多种多样的全身姿势与动作，而不仅仅是在桌面上使用物品的动作。这种多样性意味着Ego-Exo4D能够补充现有的三维人体姿态数据集（Zhang等人，2022年；Li等人，2023年；Joo等人，2017年；Khirodkar等人，2023年；Guzov等人，2021年）。最后，与以往任何自我-外部视角数据集相比，Ego-Exo4D所包含的多模态数据和基准测试任务都具有创新性，将拓展学界在第一人称和/或第三人称视频理解领域的研究方向。表1总结了Ego-Exo4D与现有数据集相比的特性。
人类技能与视频学习：对技能和动作质量的分析尚未受到足够重视（Pirsiavash等人，2014年；Bertasius等人，2017年；Parmar & Morris，2019年；Doughty等人，2018年、2019年；Zhang等人，2023年）。教学类或“操作指南”类视频的研究得益于HowTo100M（Miech等人，2019年）等（主要为第三人称视角的）数据集以及其他相关数据集（Tang等人，2020年；Zhukov等人，2019年；Zhou等人，2018年；Ben-Shabat等人，2020年）。相关挑战包括关键步骤的定位问题（Zhukov等人，2019年；Elhamifar & Huynh，2020年；Xu等人，2021年；Miech等人，2020年、2019年；Dvornik等人，2022年；Bansal等人，2022年；
---
Lin等人，2022年），流程规划问题（Chang等人，2020年；Bi等人，2021年；Zhao等人，2022年；Wang等人，2023年；Zhong等人，2023年；Shvetsova等人，2022年；Ko等人，2022年；Cao等人，2022年），任务结构学习问题（Narasimhan等人，2023年；Zhou等人，2018年；Elhamifar & Huynh，2020年；Alayrac等人，2016年；Ashutosh等人，2023年；Zhou等人，2023年），以及利用含噪叙述信息的问题（Lin等人，2022年；Miech等人，2020年、2019年）。Ego-Exo4D中包含部分流程类活动，但与上述研究不同的是，它能同时捕捉自我与外部视角的画面。我们的数据规模大且多样性强，还包含三种形式的语言描述，这为技能类活动理解研究开辟了更多途径。
自我-外部视角交叉建模领域的相关研究较少，这可能是由于缺乏高质量、同步的真实世界数据。以往的研究主要探索视频间人物匹配问题（Ardeshir & Borji, 2016, 2018；Fan et al., 2017；Xu et al., 2018；Wen et al., 2021），以及学习视角不变特征（Ardeshir & Borji, 2018；Sigurdsson et al., 2018；Sermanet et al., 2018；Yu et al., 2019, 2020；Xue & Grauman, 2023）或自我特征（Li et al., 2021）。除了自我-外部视角这一特定场景外，交叉视角方法还被应用于图像翻译（Regmi & Borji, 2018, 2019；Tang et al., 2019；Ren et al., 2021；Luo et al., 2024；Cheng et al., 2024）、新视角合成（Liu et al., 2021；Ren & Wang, 2022；Rombach et al., 2021；Wiles et al., 2020；Watson et al., 2022；Tseng et al., 2023；Chan et al., 2023）以及航拍图像与地面图像的匹配（Regmi & Shah, 2019；Lin et al., 2015）。Ego-Exo4D为交叉视角建模提供了规模空前、类型多样的数据集测试平台。此外，我们的自我-外部关系任务（参见第5节）也带来了在视角差异极大的情况下进行新视角合成的新挑战。
与CVPR 2024论文的对比相较于Ego-Exo4D的CVPR 2024论文（Grauman et al., 2024），本文在各个方面对该数据集及基准测试进行了更详尽的阐述——包括整体行文、基线模型与结果的细节描述、新增图表、对相关研究的全新分析，以及对本研究贡献优缺点的讨论。此外，本手稿反映的是最新发布的Ego-Exo4D数据集“v2”版本，该版本规模更大、标注更详尽，因此得出的基准测试结果也与CVPR 2024论文中的结果不同。
### 3 Ego-Exo4D数据集
接下来我们将介绍该数据集及其涵盖范围。值得注意的是，视频采集是一项由12个研究实验室共同参与、协同完成的任务，他们耗时近两年才打造出Ego-Exo4D数据集。重要的是，我们在各个站点开展的数据收集工作也是协同进行的，采用了统一的
Fig. 3 Aria device used for egocentric recordings
准则、场景和相机设备。通过这种方式，该数据集在保持多样性的同时具备一致性。
#### 3.1 自我-外部视角相机设备
接下来，我们首先介绍自我-外部视角相机设备及时间同步流程（第3.1节）。随后概述构成该数据集的领域与活动（第3.2节），最后探讨参与者多样化的背景与专业素养（第3.3节）。
为了在全球范围内采集自我-外部视角数据，我们开发了一种低成本、便携且能自动同步的相机录制设备，它能够采集丰富的传感器数据，且在国际上易于获取。
我们的解决方案包括1台Aria设备（见图3）、4台GoPro $^{1}$相机、1个GoPro遥控器、4个三脚架、4张SD卡、4个三脚架安装适配器、4组魔术贴固定电池组、4根USB-A转USB-C线缆、1条运动眼镜绑带、1部智能手机，以及1台用于填写问卷的笔记本电脑或平板电脑。除Aria设备、手机和笔记本电脑外，总成本不到3,000美元。
#### 3.1.1 Aria设备与传感器
Aria是由Meta公司研发的一款眼镜形态的自我中心式录制设备。它被设计为自我中心式机器感知与情境化人工智能研究的研究工具，研究人员可通过projectaria.com平台获取该设备。
Aria设备模拟了未来的增强现实眼镜或智能眼镜，旨在服务于机器感知和以自我为中心的AI，而非满足人类消费需求。它经过精心设计，可长时间佩戴且不会妨碍佩戴者的活动，即便在进行足球、舞蹈等高动态活动时也能保持自然动作。该设备总重量仅为75克（相比之下，一台GoPro相机就超过150克），佩戴感受与普通眼镜无异。
此外，该设备集成了经过精密校准和时间同步的丰富传感器套件，能够采集多种类型的数据。详见图4。在Ego-Exo4D项目中，采用了以下传感器配置：
---
Fig. 4 Sensor streams recorded by the Project Aria device. Top: RGB camera, left and right monochrome and eye cameras. Bottom: 10-second extracts from microphones, accelerometer, gyroscope, magnetometer and barometer respectively
- 一台卷帘式RGB摄像头，帧率为30fps，分辨率为$1408 \times 1408$，视野范围为$110^{\circ}$。
- 两台全局快门单色摄像头，帧率为30fps，分辨率为$640 \times 480$。它们负责采集周边视野数据，每台摄像头的视野范围均为$150^{\circ}$。
两台单色眼动追踪摄像头，帧率为10fps，分辨率为$320 \times 240$。
七个麦克风组成的阵列，用于采集佩戴者周围的空间音频。
两台惯性测量单元（分别支持800Hz和1000Hz采样率）、一台气压计（50fps采样率）以及一台磁力计（10fps采样率）。
所有传感器数据流都附带时间戳、每帧曝光时间等元数据。所有数据均以原始形式收录于Ego-Exo4D数据集中。为方便使用，我们还提供了针对特定用途预先处理好的数据切片，例如2D视线点数据、各摄像头的mp4视频文件，以及包含部分传感器数据流的小型.vrs文件。
#### 3.1.2 预先计算好的3D空间信号
Project Aria的机器感知服务（MPS）提供了相关软件模块，可简化对各类采集数据的利用过程。这些功能有望在未来应用于增强现实眼镜或智能眼镜中，实现实时、本地化处理能力。我们在数据集中收录了以下核心功能的原始输出结果。详见图5。更多细节可参阅Engel等人于2023年发表的相关研究。
校准：所有传感器均经过了内部和外部校准。MPS还提供了动态在线校准功能，可修正因温度变化或眼镜框架受力而产生的微小形变。
Fig. 5 Aria MPS output for several recordings. Top: point cloud and estimated egocentric camera trajectory for a basketball session in Chapel Hill. This single continuous recording is 60 minutes long, has a total trajectory length of 2188 m, and contains 41 distinct takes. Bottom: three screenshots of a cooking recording, visualizing the current camera pose (red), eye gaze (purple), and last second of motion (blue) (Color figure online)
- Aria 6自由度定位：借助先进的视觉惯性里程计和SLAM算法，每次录制的数据都能被精确且稳定地定位到统一的、符合度量标准且以重力为基准的坐标系中。这为每一帧画面提供了毫米级精度的6自由度位姿信息，同时还能获取摄像头帧间的高频（1kHz）运动数据。
- 视线方向：用户的视线方向被表示为从双眼之间发射出的一条向外延伸的光线。我们提供了可选的眼动校准流程：通过移动端配套应用引导佩戴者观看手机屏幕上的图案，同时完成特定的头部动作。利用这些数据即可生成更精准、适配特定佩戴者特征的视线方向。
- 点云：利用连续帧的光度立体视觉技术或左右SLAM摄像头，从移动的Aria设备中三角测量出静态场景元素的3D点云。输出结果既包含3D点云数据，也包含摄像头图像中每个点的原始、实时计算的2D观测数据。
• GoPro 6自由度定位：针对Ego-Exo4D数据集，我们在现有的Aria MPS功能基础上进一步开发了相关功能，专门用于定位静态的GoPro相机。为实现这一功能，我们利用Aria的SLAM相机生成的地图，在地图上对GoPro帧进行6自由度定位。为了获取GoPro相机的校准参数，我们在实验室中手动校准了一台设备以获得默认参数。
---
随后采用P4P算法（Kukelova等人，2016年提出）来估算6自由度的位姿，同时重新估算焦距，以补偿不同设备之间可能存在的校准差异；该算法会结合RANSAC方法剔除匹配异常值。
### 3.1.3 录制流程
我们的录制流程包括：在每个场景内位置相对固定的地点将静态GoPro相机安装在三脚架上；由佩戴Aria设备的人员四处走动，为三维重建和相机定位构建基础地图；在录制起始和结束处展示二维码以帮助时间同步，每次拍摄之间则展示用于区分拍摄片段的二维码。对于某些场地，我们会对相机支架进行扩展，增加额外的安装位和GoPro相机，具体细节将在下文说明。
具体而言，为了实现相机同步，我们采用了预先渲染的编码有实际时间的二维码序列（即二维码视频）；我们用智能手机以29帧/秒的速度依次向所有相机播放该二维码视频，利用帧率差异实现相机的精准同步。此外还会进行人工校验，确保每台GoPro相机与Aria RGB相机的偏差不超过1帧（+16.66毫秒）。为了节省每次录制的搭建和拆卸时间，我们会连续录制多个“拍摄片段”（即某项任务的单次执行过程），并在后期处理时使用“拍摄片段分隔二维码”来区分不同片段。
### 3.2 领域与环境
Ego-Exo4D专注于人类技能型活动。这与现有的仅包含第一视角数据的Ego4D数据集（Grauman等人，2022年发布）形成对比，后者涵盖的活动范围更广，涉及日常生活的各类场景。我们基于以下几项标准刻意挑选了研究领域：该领域能否体现技能与多样化的专业水平？我们是否能获取该场景下的真实环境与参与者？不同实例之间是否能呈现出视觉上的多样性？第一视角和外视角数据能否提供互补的信息？该领域是否会带来现有数据集尚未涉及的新挑战？总体而言，通过限定特定领域，我们旨在围绕核心技能收集足够密度的数据，用于模型的训练与评估。
物理类与程序类活动 综合上述标准，我们确定了两大类$^{2}$技能型活动：物理类与程序类，共涵盖八个领域。物理类领域包括足球、篮球、舞蹈、攀岩和音乐，这类活动侧重身体姿态与动作，以及人与物体的互动（如球、乐器）。程序类领域包括烹饪、自行车维修和医疗保健，这类活动需要按步骤执行操作以达到目标状态（如完成一道菜、修好一辆自行车），通常涉及使用多种物体进行的复杂手-物交互（如自行车维修工具、烹饪用具、家电和食材）。所有领域都要求参与者频繁切换注意力（这一点可通过头部姿态和视线变化看出）。图6总结了这八个领域，并展示了各领域的示例帧与数据统计信息。第5节我们将探讨这些领域与所提出的基准测试之间的关系。
总体而言，我们从八个领域中提炼出了43项活动。例如，烹饪活动包含14种食谱；足球活动包含3种训练方式；音乐活动则涉及3种乐器。详见表2。这43项活动可进一步细分为689个独特的关键步骤。每次拍摄的时长从8秒到42分钟不等，其中烹饪等操作性活动的连续拍摄时间最长。
在所有Ego-Exo4D拍摄数据中，都有一名核心参与者负责执行目标活动。这些活动的选取不会妨碍任务执行的真实性（例如，足球和篮球拍摄侧重于罚球或自由投篮等个人技能；烹饪则是单个厨师制作整道菜肴的过程）。虽然这种单一参与者的设定便于深入研究所设定的操作性与身体活动，但该数据集无法用于探索多人互动行为。如需获取多人视角的第一人称数据，可参考文献中针对社交互动和自然对话的优质补充研究，如EgoCom（Northcutt等人，2023年）、GeorgiaTech迪士尼数据集（Fathi等人，2012年）、Ego4D的“社交”和“AV”视频片段（包含数百小时的视频资料）（Grauman等人，2022年）、嘈杂环境下的对话数据集Easy-Com（Donley等人，2021年），以及记录日常人际互动的EgoLife数据集（Yang等人，2025年）。
### 各站点活动分布 为了实现数据的视觉多样性，我们团队中的多个实验室（通常为3至5个）分别负责拍摄每个Ego-Exo4D领域的内容。图9展示了各合作机构拍摄的场景分类，以及参与数据采集的12个实验室所在位置的地图。$^{3}$ 各站点选择的领域基于实验室自身的偏好以及当地采集此类场景数据的便利条件。烹饪是我们唯一一个在所有站点均有采集的领域。我们将烹饪列为重点领域，是因为它作为人类的需求和兴趣在全球范围内都具有普遍性。总体而言，烹饪……
---
Fig. 6 Ego-Exo4D captures skilled activity from 43 tasks and 689 keysteps in 8 domains, in a wide variety of 123 scenes in 13 cities in Japan, Colombia, Canada, India, Singapore, and 7 US states. Each
烹饪领域在多个站点被采集——涉及2到64个不同的地点。总体而言，该数据集提供了1,286小时的第一人称及第三人称视频资料，包含来自740名摄像佩戴者的5,035次拍摄内容。平均每次拍摄时长为2.6分钟。
Table 2 The 43 specific activities collected for the three procedural and five physical domains
| Procedural | Physical |
| Cooking: | Health: | Music: | Bouldering: |
| - Omelette | - COVID test | - Violin | - V0 through V10 |
| - Scrambled eggs | - Cardiopulmonary | - Piano | |
| - Tomato and egg | Resuscitation (CPR) | - Guitar | |
| - Sesame-ginger Asian salad | | | |
| - Greek salad | Bike repair: | Basketball: | Soccer: |
| - Dumplings | - Remove/install a wheel | - Mikan layup drill | - Freestyle dribbling |
| - Noodles | - Replace an inner tube | - Righthand reverse layup | - Freestyle juggling |
| - Pasta | - Clean and lubricate the chain | - Mid-range jump shot | - Penalty kicks |
| - Sushi roll | - Adjust rear derailleur | | |
| - Samosa | (both limit screws) | | Dance: |
| - Coffee latte | & indexing) | | - Easy choreography |
| - Chai tea | | | - Advanced choreography |
| - Milk | | | |
| - Cookies | | | |
| - Brownies | | | |
Ego-Exo4D的烹饪场景包含超过650次烹饪拍摄，由全球60个不同环境中的170多名厨师完成，仅第一人称视频就将近100小时。
真实环境下的数据采集 数据是在真实场景中采集的——比如现实中的自行车店、足球场或攀岩馆——而非实验室环境。由于每个领域都由多个实验室负责拍摄，因此数据集呈现出源自不同物理地点的视觉多样性。例如，我们有纽约、温哥华、费城、波哥大等地厨师的视频；也有东京、教堂山、海得拉巴、新加坡和匹兹堡足球运动员的视频。此外，即便是由单个实验室完成的拍摄，也常常会在多个不同地点进行（比如同一城市中的几家不同自行车店）。图7和图8展示了体现这些地点和任务多样性的示例画面。
领域特定的数据采集指南 为确保数据集的一致性，我们为每个领域制定了数据采集指南。这些指南详细说明了推荐的摄像头摆放位置、佩戴摄像头的参与者需遵守的指示，以及重要的特定场景注意事项。例如，出于隐私考虑，健康领域的指南要求数据收集参与者在检测结果可见前丢弃新冠检测工具。这些指南提供了数据采集的一般参数；但具体操作时…
---
不过，它们并非一成不变的步骤。实际上，为了支持多样性并实现全球范围内的应用，不同地点存在特定的细微差别，比如心肺复苏术实施标准的差异、不同菜肴所用食材的文化差异，以及特定地点的攀岩路线差异。
领域特定的核心设计决策是外置摄像头的摆放位置。某一领域内最佳的拍摄视角取决于整体场景和涉及物体（如开阔的足球场与堆满橱柜的杂乱厨房），以及人与空间的交互方式。例如，在足球录制中，将外置摄像头放置在球门处能清晰捕捉球员的射门画面；而在舞蹈或音乐表演中，头顶方向的外置摄像头（或向下拍摄的 Egocentric 摄像头）则能捕捉到参与者手臂和手部的重要细节。总体而言，外置摄像头的摆放旨在确保视角覆盖范围，从而记录下手部与物体的近距离互动以及参与者的全身动作。
附录B详细描述了各合作方站点特有的数据采集细节，例如他们如何招募参与者、采集哪些领域和活动的数据，以及在通用设备基础上新增的任何采集模式。
## 3.3 参与者
接下来我们将介绍在Ego-Exo4D项目中佩戴 Egocentric 摄像头的参与者。
资质与专业背景 我们从12个实验室所在的当地社区共招募了740名参与者。所有场景均由现实世界的专家参与，佩戴摄像头的参与者在所展示的技能方面具备特定的资质、培训经历或专业知识。例如，在Ego-Exo4D的摄像头佩戴者中，有职业运动员和大学生运动员；爵士舞、萨尔萨舞及中国民间舞的舞者和教师；竞技攀岩者；在工业规模厨房工作的专业厨师；每天维修数十辆自行车的自行车技师。其中许多人拥有超过10年的相关经验。
我们优先选择专家，因为他们更有可能无误且无干扰地完成活动，从而为如何执行某项任务提供可靠的基准。不过，我们也纳入了不同技能水平人员的拍摄内容——这对我们提出的技能熟练度估算任务（第5.3节）而言至关重要。值得注意的是，Ego-Exo4D以全新的方式呈现人类智慧，它不仅通过视频记录了领域特定的专业知识，还配有专家解说（见第4节），展现了从初学者到专家的技术演进过程。
人口统计信息 摄像头佩戴者的年龄介于18至74岁之间，其中37%自认为女性，60%为男性，3%为非二元性别或不愿透露性别。详见图10。参与者自称属于超过24种不同的族裔。$^{4}$ 详情见附录C。
招募参与者时，各合作机构采用了各自的方法。这些方法包括利用校园邮件列表、咖啡店里的传单、向亲友口头宣传、在线广告、社交媒体帖子、大学沟通渠道、临时招聘机构，以及与学校、健身房和运动队建立联系，例如足球学校、攀岩馆、职业和大学体育组织。
技能水平界定为确保我们的基准测试（下文会详细讨论）能获得一致且高质量的标注结果，我们确定了关于参与者的三项关键信息，这些信息很难通过第三方标注员来获取：参与者的技能水平、他们使用的物体以及他们完成的行为。我们分别通过任务前和任务后调查来收集参与者自我评估的技能水平和表现数据，这些数据可随Ego-Exo4D数据集一同获取。
在任务前调查中，我们会提出10个问题，比如“你从事这项任务有多少年了？”以及“你以前是否教过他人这项活动？”（详情见附录C中的表16）。设计这些问题是为了比直接让参与者自行评定技能水平更易于量化。 $^{5}$
在任务后调查中，我们会请参与者反思自己完成任务的状况，相关问题包括“你犯了哪些错误？”以及“实际用时比你的预期更长还是更短？原因是什么？”。最后，为了获取参与者互动时的行为和物体信息，我们会要求参与者进行一轮称为“叙述与行动”的第一人称叙述（详见下文第4节）。
## 3.4 遵守伦理标准
Ego-Exo4D数据的采集严格遵循严格的隐私和伦理标准。这包括各机构都需经过正式的独立审查流程，以确定数据采集、管理和知情同意的标准。同样，所有Ego-Exo4D数据的采集也遵循Project Aria研究社区的准则，以确保研究的合规性。
---
Fig. 7 Ego-Exo4D captures skilled activity from 8 domains, in a wide variety of 123 scenes in 13 different cities in Japan, Colombia, Canada, India, Singapore, and 7 US states. Every odd column shows an ego view, and the adjacent even column shows one of its paired exo views.
由于相关场景属于封闭环境（例如没有路人），几乎所有视频无需去标识化即可使用。有关各合作机构的协议和限制信息，请参阅附录B。Ego-Exo4D数据通过许可系统进行管理，该系统规定了允许的使用范围、限制条件以及违规后果。
### 4 自然语言描述
Ego-Exo4D还提供了三种配对的自然语言数据集，它们均与视频同步标注时间：专家评论、叙述与行动、原子动作描述。图11和图14展示了每种语言类型的示例，体现了它们在风格和视角上的差异。
---
Fig. 8 Ego-Exo4D captures skilled activity from 8 domains, in a wide variety of 123 scenes in 13 different cities in Japan, Colombia, Canada, India, Singapore, and 7 US states. Every odd column shows an ego view, and the adjacent even column shows one of its paired exo views.
这些语言标注并非针对某一特定基准测试，而是一种通用资源，能够激发新的语言-视觉研究可能性，比如动作与物体的定位、自监督表征学习、多模态嵌入、视频条件语言模型，以及基于视频的技能评估。我们还预计，这种时间锚定的描述对于预训练基础模型（Lin等人，2022；Pramanick等人，2023）或自动视频字幕生成（Pan等人，2020；Iashin & Rahtu，2020；Zhao等人，2023）而言具有重要价值，而这些领域都是快速发展的研究方向。此外，这三种语言标注的时间锚定特性，为在特定的Ego-Exo4D视频中检索与查询时刻、动作或短语对应的时间点提供了可能。
---
Fig. 9 Geographic coverage of Ego-Exo4D and breakdown of which scenarios are captured in which cities. Note that even within a given city, there may be multiple sites (e.g., multiple bike repair shops or kitchens in the same city)
Fig. 10 Camera wearer participants' self-reported demographic information (age and gender)
---
### 专家点评
“舞者的手会稍微向内旋转。她的手掌应该朝向地面。”
原子级动作描述
“C向前移动的同时”
“肩膀会做出抖动动作。”
叙述与表演
“开始啦，左边向前，右边向后，一个乐句对应1234……”
Fig. 11 Ego-Exo4D offers 3 paired video-language corpora. Word cloud is from expert commentary which critiques the performance
最后，利用这些资料挖掘数据集中所包含的物体和活动分布信息，例如用于构建分类体系。
### 4.1 专家点评
第一类语言数据集为口头专家点评内容。其目的是揭示非专业人士难以察觉的技能细微差别。我们招募了52名专家（与参与者不同）来对录制的视频进行点评，指出其中的优缺点，解释参与者的特定行为（如手部/身体姿势、物品使用方式）对表现的影响，并提供空间标记以辅助点评。我们既提供了转录后的文字内容，也保留了原始音频（其语调变化和拟声词颇具研究价值），同时还有专家绘制的空间示意图以及对每位参与者技能的数值评分。
这类点评颇具创新性：它们侧重于技能的执行方式而非具体内容，能够捕捉到熟练执行过程中的细微差异。我们认为这有望解决一些全新的基础性问题（如下文的熟练度评估问题）并催生具有颠覆性的未来应用（如人工智能教练）。
接下来，我们将介绍专家们的资质与背景，随后说明点评的要求和范围。
专家资质：这52名专家不仅在其专业领域拥有过硬的资历，还具备教练或教学经验。招募专家时，我们的选拔标准聚焦于技术能力、沟通能力以及在实时视频点评练习中的表现。
平均而言，90%的受聘专家拥有超过10年的专业从业经验，且在此期间他们都曾担任教练、讲师或导师等职务。
Fig. 12 The 52 experts who perform the expert commentary language annotations are highly trained in the domain they are commenting, and they often have professional coaching or teaching experience
所有专家要么在其专业领域拥有高级学位，要么持有行业认证。认证机构包括美国足球联合会、美国烹饪联合会、美国攀岩协会、美国红十字会、Trek自行车公司，以及纽约州的舞蹈教学初始认证机构等。我们在每个领域都招募了多名专家，旨在形成语言和专业的多样性。出于就业方面的考虑，所有专家均为美国居民。详见图12。
专家点评指南：我们会向专家提供两段时间同步的Ego-Exo4D技能演示视频——一段为第一人称视角，另一段则由标注员挑选出的、能最清晰展示场景的外视角视频（详见第4.3节）。首先要求专家完整观看视频而不做评论，以便理解技能演示内容并规划点评时的重点。
---
点评：脚步移动很棒。他利用运球来为脚步移动和射门做准备。他踩在左脚上控制球。我很欣赏他眼睛和头部都能抬起观察局势。他早已清楚自己接下来的行动方向。
熟练度评分：5
解说：舞者的双手应该再抬高一些。双臂应在肩高位置保持完全笔直，且不应开始向下倾斜。
Fig. 13 Two examples of expert commentary and proficiency scores, along with spatial drawings (red) done by the expert to augment their spoken comments
随后，专家们观看视频，每有评论便暂停，通常每分钟视频会暂停7次。鼓励专家们侧重于批评与教学建议，而非仅仅描述参与者的动作。我们会记录他们口头描述的关于拍摄者动作的有效性、执行质量以及所犯错误的见解，所有评论均带有时间标记且属于回顾性内容，聚焦于截至视频该时刻可见的动作相关的见解与观点。我们选择以语音录音形式收集评论，是为了保持动作描述的自然性并提高效率。每条语音评论的长度不限，平均约为4句话。我们借助OpenAI的Whisper自动语音识别技术对评论进行转录（Radford等人，2023年）。图14展示了示例评论；更多评论见附录D中的表17。专家们会在各自领域内协作以校准评分标准。
除了口头评论外，专家们还会提供空间示意图与熟练度评分。在评论过程中，专家们可选择使用“电子绘图工具”通过手绘草图来定位信息或辅助说明要点（见图13）。他们还会针对每段视频给出整体熟练度评级，并附上简短的文字说明，评价任务完成的质量。评分范围为1分（技能最差）到10分（技能最佳）。在许多情况下，
每段视频都会由2至5位不同的专家进行评论，针对同一内容提供多元视角。总计而言，我们共收集了117,812条带时间戳且与视频对齐的评论，这是52位专家耗时超过6,000小时的工作成果。总体而言，我们认为这些评论是一扇独特的窗口，透过语言揭示了熟练动作中的诸多细微之处，而这些细节是未经训练的人难以察觉的。
## 4.2 叙述与表演
第二个语言数据集由参与者自行提供的叙述与表演描述构成。这类描述采用教程或操作指南视频的风格，参与者会解释自己的所作所为及其原因。它们类似于互联网上的操作指南视频中的解说，但风格更朴实，且没有专业的后期制作加工。$^{6}$ 示例见图14；更多内容见附录中的表17。
与上述第三方专家的评论不同，这些评论是参与者对自身活动的第一人称反思。总体而言，这类评论中关于活动质量的建设性反馈更为丰富，而叙述与表演类解说则因其同步性及参与者对自身动作的第一人称分析而颇具价值。预计这种额外录制中的行为会与无解说任务中的行为有所不同，因为参与者为了集中精力解释自己的动作，可能会比平时更慢地完成场景任务。在Ego-Exo4D数据集中，约10%的录制片段包含此类解说，因为我们希望参与者在大部分录制过程中能不间断地执行任务。这些解说有望用于多模态学习，正如当前文献中对操作指南视频解说的研究所示（Lin等人，2022年；Miech等人，2020年、2019年；Ashutosh等人，2023年）。
### 4.3 原子动作描述
第三类语言数据集由原子动作描述组成。虽然评论和“叙述并行动”语言会揭示说话者的观点以及采取这些动作的原因（“为何以及如何”），但这类文本专门描述“是什么”。受Ego4D叙述的启发（Grauman等人，2022年），这些是由第三方（非领域专家）标注员撰写的简短陈述，针对数据集中所有视频里参与者执行的每个原子动作都标注了时间戳，共计
---
Fig. 14 Examples of the three different language annotation styles: narrate and act, atomic action descriptions, and expert commentaries from four of the scenarios (bike repair, health, dance, and basketball). We also include word clouds which highlight the differences in vocabularies per scenario. In narrate and act text, we see how the participant
briefly describes what they are doing and why, whereas the atomic action descriptions provide strictly a statement about the visible actions. The expert commentary offers an expert's critique of what is shown, commenting on strengths and weaknesses and explaining how the participant's actions affect their performance.
43.2万句。这些数据对于挖掘数据中的物体与动作分类体系、用关键词为视频建立索引以便探索数据集，以及用于视频语言学习领域的未来研究具有重要价值，正如Ego4D叙述在该领域取得的显著成果一样（Lin等人，2022年；Ashutosh等人，2023年；Pramanick等人，2023年）。
标注说明：我们向标注员展示的每个片段是一段拼接视频，包含第一人称视角、左右两侧的灰度SLAM画面、四到五个固定位置的外置摄像头画面，以及单声道合成音频；部分视频还提供头盔上安装的GoPro摄像头画面。标注员需逐段描述所看到的场景内容，涵盖各种视角下的信息。可能的内容包括佩戴摄像头者自身的动作、与其他人的互动，以及相关的环境事件。
每段叙述都是原子性的且带有时间锚点：尽可能将每段叙述限定为一个动词，并对应一个时间戳，该时间戳应与视频中动作发生时间相差在一秒以内。为保证叙述的一致性，以及与Ego4D叙述风格的统一，每个片段中的摄像头佩戴者均被标记为“C”（例如：“C拿起扳手。”）。其他人则用其他字母标记（例如：“男子X将足球踢回给C。”）；这些字母标签在不同片段中不一定一致，但在同一个片段内指代同一人。许多视频由两名独立标注员进行叙述，我们会把两份叙述都予以保留。图14展示了相关示例，更多示例见附录中的表17。关于原子动作描述的统计摘要，请参见附录中的表18。
可见性标签：由于Ego-Exo4D采集设备采用多视角设计，某些动作或事件可能无法在所有摄像头画面中看到。虽然我们希望Ego-Exo4D能推动人们对多视角学习领域的关注，但现有许多系统本质上一次只假设一个视角；如果某个摄像头无法捕捉到所叙述的动作或事件，就可能会给出令人困惑的学习信号，或者给模型推断带来不可能完成的任务。
因此，我们还要求标注员针对每段叙述回答两个额外问题：1）判断该叙述内容是否能从第一人称摄像头视角看到；2）哪些（如果有的话）静态外置摄像头能提供最佳视角。如果有多个同样出色的视角，标注员可任意选择。我们发现这种最佳外置视角对其他Ego-Exo4D标注工作也很有帮助：在对应关系基准测试（第5.1节）和专家评论（上文）中，叙述可见性标签都起到了辅助选择外置视角的作用；在手部与身体姿态标注中（第5.4节），它也为帧选择提供了依据。
三种语言标注的比较：这三种语言形式的统计数据有何差异呢？总体而言，专家评论使用的词汇量更大，表述也更冗长，因为评论员会给出更详尽的建议与解释。原子动作描述的时间密度要高于
---
Table 3 Summary of annotation statistics for the different benchmark tasks of Ego-Exo4D
| Benchmark | Annotation Type | Ego-Exo4D (v2) |
| Num Takes | Annotations |
| Relations | Manual | 1335 | 5566 objects |
| 742K ego masks |
| 1.1M exo masks |
| Keystep recognition | Manual | 1088 | 17 activities, 664 keysteps |
| 27.6K ego segments (87h) |
| 143K ego+exo segments (454h) |
| Procedure understanding | Manual | 628 | 6 activities, 186 keysteps |
| 8.6K segments (30h) |
| Proficiency estimation | Semi-automatic | 2987 | 2987 proficiency scores (demonstrator) |
| Manual | 912 | 19K “good” segments |
| 20K “tips” segments (demonstration) |
| Ego pose (Body) | Automatic | 2559 | 9.2M 3D / 46.87M 2D |
| Manual | 1358 | 376K 3D / 2M 2D |
| Ego pose (Hand) | Automatic | 976 | 4.3M 3D / 21M 2D |
| Manual | 458 | 68K 3D / 340K 2D |
另外两种形式则是因为标注员在描述时会暂停下来，详细叙述佩戴摄像头者的每一个动作。叙述与行动类注释所使用的词汇量介于前两者之间，这反映出其中采用了更为随意的口语表达（相较于书面的原子化动作描述）。在不同场景中，总体趋势大致相似，最明显的差异体现在时间密度上；烹饪和足球场景的时间密度尤其高。前者包含许多程序性步骤，而后者则有大量重复执行的训练动作。
有关详细统计数据，请参见附录中的图34；各场景及注释类型下的词云图以及词汇和词频差异情况，可查看附录中的图33。
#### 5 Ego-Exo4D基准测试任务
我们的第二项重要贡献是明确了以自我为中心的技能活动感知领域中的核心研究挑战，尤其是在有自我-外部数据可用于训练（即便不能用于测试）的情况下。为此，我们设计了一系列基础基准测试任务，将其分为四个任务类别：关系类（第5.1节）、识别类（第5.2节）、熟练度类（第5.3节）以及自我姿态类（第5.4节）。
针对每项任务，我们不仅提供了合适的多模态数据，还提供了高质量的标注，以便用于模型训练和评估；同时提供了基线模型，为研究界提供起步参考。表3概述了Ego-Exo4D提供的标注内容，表1则总结了其与现有数据集的关键区别。
我们于2024年举办了首届正式的Ego-Exo4D挑战赛，现已推出完整的挑战赛系列及排行榜，最终将在2025年CVPR会议上揭晓结果。
在后续章节中，针对每项基准测试任务，我们将分别介绍：1）解决该任务的动机及应用场景；2）正式的任务定义；3）相关研究工作；4）标注说明；5）用于评估该任务的指标概述；6）基线模型的设计；7）它们在已发布数据集上的测试结果。 $^{7}$
重要提示：为确保今后使用Ego-Exo4D开展的研究能够进行公平比较，研究人员需留意两点：1）精确的任务输入输出定义；2）标注中提供的训练/测试/验证集划分方式。具体而言，在正式定义下述各项任务的输入输出时，我们也会明确说明哪些输入被排除在外（如果有的话）。大多数基准测试任务仅将RGB（通常为自我视角）视频作为输入，而非假设推理阶段会使用3D点云及其他模态。通过这种方式，我们旨在为模型训练提供更广泛的可用模态，同时保证模型在部署时的灵活性。
## 5.1 自我-外部关系
我们的自我-外部关系任务旨在处理极端自我-外部视角变化下的视频内容关联问题。这类任务表现为物体级匹配（对应关系）以及
---
Fig. 15 The ego-exo relation family consists of the tasks of correspondence (left) and translation (right)
从一种视角合成另一种视角的图像（转换）。详见图15。
### 5.1.1 自我-外部对应关系
动机：建立自我视角与外部视角之间的物体级对应关系，能让人工智能助手通过将教学视频中第三人称视角的物体与用户第一人称视角中的物体相匹配，从而提供视觉指导。与一般的对应关系问题相比，我们的场景面临诸多挑战：极端的视角差异、严重的物体遮挡现象，以及大量小型物体（如烹饪用具和自行车维修工具）。
任务定义：给定一对同步的自身视角与外部视角视频，以及视频中某个感兴趣物体的查询掩码序列，任务目标是在另一视角视频的每个同步帧中识别出该物体对应的掩码（若该物体可见的话）。详见图15左侧。查询物体可以来自自身视角或外部视角视频，两种方向均存在颇具挑战性的难题（例如自身视角下的严重遮挡现象，以及外部视角下物体尺寸较小的问题）。在我们的数据集中，这项任务尤为具有挑战性，因为我们需处理平均时长达3分钟的长视频，同时还要应对面积仅几像素大小的极小物体。
需要特别说明的是，模型的输入不包含物体的语义标签或名称、关联两个视角的相机位姿信息，以及惯性测量单元或主动测距传感器的数据。我们不使用这类信息，是为了鼓励研发适用于开放世界对应关系的算法，而非依赖预定义的物体集合或需要非消费级摄像设备的输入条件。
相关工作：相关任务包括基于查询点（而非物体掩码）的图像级稀疏对应问题（Jiang等人，2021年），以及用于联合分割语义相似物体的图像级物体共分割任务（Vicente等人，2011年）。我们的任务超越了静态物体对应范畴，因为人体姿态与物体状态在操作过程中会相互作用，这就要求利用时间上下文和跟踪技术——毕竟查询物体可能会被严重遮挡或变得模糊（Tang等人，2023年）。
标注说明：我们为六个场景中选定的物体实例标注了时间同步的自身视角与外部视角视频的分割掩码，这六个场景分别是烹饪、自行车维修、健康护理、音乐、篮球和足球。由于物体多样性有限，我们未将抱石和舞蹈纳入本次基准测试范围。我们重点关注活动执行期间佩戴摄像头者使用的、且在两个视角下至少部分帧可见的物体。这些掩码可帮助我们定义视角间的物体级对应关系。我们采用多阶段流程来标注配对的自身视角与外部视角视频，最终标注了1.8百万个以1帧/秒速率采集的掩码，涵盖1335次拍摄中的5600个物体。总体而言，每次拍摄中平均有5.5个物体在两个视角间被标注出对应关系，每个物体平均被跟踪173帧（不含遮挡帧）。详情和统计数据请参见附录E.1。
#### 评估指标：我们在评估中采用以下指标
1. 位置误差（LE）：我们将其定义为预测掩码与真实掩码的质心之间的归一化距离。
2. 预测掩码与真实掩码之间的交并比（IoU）。
3. 轮廓准确率（CA）（Perazzi等人，2016年）：该指标在将预测掩码与真实掩码的质心对齐、完成平移操作后，用于衡量掩码形状的相似程度。
4. 可见度准确率（VA）（Brodersen等人，2010年）：该指标用于评估方法估算目标视角中物体可见度的能力——实践中物体往往会被遮挡或超出视野范围。我们采用平衡准确率来衡量这一性能。需要注意的是，与之前那些仅在两个视角中物体均可见的帧上比较分割掩码的指标不同，该指标是基于所有包含查询掩码的帧计算得出的。
---
此处采用平衡准确率来评估性能。需要注意的是，与以往那些仅在两个视图中均能看到物体时比较分割掩码的指标不同，该指标是基于所有包含查询掩码的帧计算得出的。
在视频理解领域，跨视频对寻找物体掩码对应关系仍是一个尚未充分探索的方向。因此，我们针对自我视角与外部视角的对应关系任务研究了两种不同类型的基线方法：(a) 空间模型，该模型在每个时间点独立处理对应关系问题；(b) 时空模型，该模型会考虑已预测对应关系的历史信息。
空间基线模型。该模型以自我视角的帧、对应的外部视角帧以及某一视图中的查询物体分割掩码作为输入，随后输出另一视图中的对应掩码（若该物体在另一视图中可见）。它可以被视为针对稀疏图像对应关系提出的查询点对应关系方法的推广（Jiang等人，2021年）。我们以基于Transformer的图像对应关系模型XSegTx（跨视角分割Transformer）的形式实现了这一基线模型，该模型是对SegSwap（Shen等人，2022年）的扩展——SegSwap最初是为图像共分割任务设计的，即在一对图像中分割出共同物体。
- 时空基线模型。时空模型以自我视角与外部视角的视频片段对以及某一视图中的物体分割轨迹作为输入，输出该物体在两视图中都可见的帧所对应的另一视图中的分割掩码。它可以被视作执行跨视角的广义跟踪任务。我们的基线模型是基于XMem（Cheng和Schwing，2022年）构建的，该模型最初用于根据第一帧中的分割掩码来跟踪特定目标物体。具体而言，我们的基线模型名为XView-XMem，它使XMem能够利用每一帧中某一视图的真实分割掩码，在不同视角下跟踪该物体。
### 实现细节详见附录E.1.1。
实验结果 我们在表4中对XSegTx和XView-XMem基线模型在测试集上的表现进行了基准测试。我们设置了两种实验场景：一种是在外部视角提供真实物体轨迹（外部查询掩码），并在自我视角预测对应结果；另一种则相反。
首先，我们发现利用时间线索有助于解决物体对应关系任务，这一点从时空基线模型（ST类型）相比空间模型所取得的显著性能提升中可见一斑（例如，在自我视角$\rightarrow$外部视角场景下，IoU值从13.88%提升至22.14%）。
其次，我们发现对于所有基线模型而言，自我视角→外部视角与外部视角→自我视角两种场景下的性能存在明显差异。具体而言，当为自我视角视频提供查询掩码序列，而模型需要预测外部视角中的查询掩码时，模型的表现会更差。这可能是由于外部视角下物体遮挡严重且尺寸极小，导致分割难度极高。虽然预测外部视角中极小的掩码十分困难，但模型可以凭借外部视角中微小掩码所提供的信息来推断物体的类型和大致位置，从而在尺寸更大的自我视角中准确检测并分割出该物体。
然而，所有基线模型在自我视角$\rightarrow$外部视角场景下的IoU值均低于23%，在外部视角$\rightarrow$自我视角场景下IoU值也低于24%。这反映出该任务和数据集的挑战性。我们注意到，我们的数据集中包含大量形状各异的物体，且存在大量极难建模的微小物体。
我们也在图16中展示了一些定性结果。可以看出，空间基线模型（XSegTx）难以在整个视频中持续追踪同一物体。例如在下方的示例中，XSegTx在预测一个物体掩码和两个物体掩码之间来回切换，而时空基线模型（XView-XMem）却能可靠地在整个序列中追踪单一物体，这凸显了利用数据中时间线索的重要性。更多相关分析和结果可视化内容请参见附录E.1.1。
#### 5.1.2 自我视角与外部视角转换
动机：两类自我视角与外部视角关系任务中的第二类就是自我视角与外部视角转换。我们的转换任务旨在根据给定的外部视角视频生成对应的自我视角视频片段。这个问题可以被视为一种信息缺失的自我视角与外部视角对应关系问题：给定外部视角视频中物体的掩码，必须在未被观测到的自我视角视频中生成对应的掩码和像素值。需要注意的是，该问题无法通过基于图像的渲染或几何变换来解决，因为自我视角与外部视角之间的巨大差异会导致两台相机捕捉到同一物体的不同区域。
我们认为这一问题将推动识别与物体合成相结合的新研究。例如，在图15（右侧）中，该方法必须将手识别为生成目标，并有效利用手部的特定形状与外观先验，才能合成指尖的自我视角图像——而这些指尖在外部视角视频中是不可见的。此外，这一任务还将推动视觉里程计技术的进步，因为该方法必须能够从第三人称视频中推断出自我相机的姿态。
---
Table 4 Baseline evaluation for the ego-exo correspondence benchmark on test set. Best results are reported in bold, whereas the second best results are underlined.
| Query Mask | Method | Type | Bal. Acc. $\uparrow$ | IoU $\uparrow$ | Location Score $\downarrow$ | Contour Acc. $\uparrow$ |
| Ego | XSegTx (random weights) | S | 50.00 | 0.48 | 0.118 | 0.014 |
| Ego | XSegTx | S | 66.31 | 18.99 | 0.070 | 0.386 |
| Ego | XMem (w/o finetuning) | ST | 64.39 | 19.28 | 0.151 | 0.262 |
| Ego | XView-Xmem (w/ finetuning) | ST | 61.24 | 14.84 | 0.115 | 0.242 |
| Ego | XView-Xmem (+ XSegTx) | ST | 66.79 | 34.90 | 0.038 | 0.559 |
| Exo | XSegTx (random weights) | S | 50.00 | 1.08 | 0.203 | 0.024 |
| Exo | XSegTx | S | 82.01 | 27.14 | 0.104 | 0.358 |
| Exo | XMem (w/o finetuning) | ST | 60.35 | 16.56 | 0.160 | 0.204 |
| Exo | XView-Xmem (w/ finetuning) | ST | 61.72 | 21.37 | 0.139 | 0.269 |
| Exo | XView-Xmem (+ XSegTx) | ST | 59.71 | 25.00 | 0.117 | 0.327 |
自我视角与外部视角转换还具有巨大的应用潜力，因为它有望实现从原本以第三人称视角拍摄的视频生成第一人称渲染图像。例如，它能用于增强现实教学场景，将第三人称教学视频中的物体和交互内容提取出来，再从佩戴相机的人的视角重新合成，从而更好地指导用户完成复杂活动。自我视角与外部视角转换还可用于从现有大规模第三人称视频集中生成丰富的第一人称训练数据，以训练机器人感知模型。
任务定义：该转换基准测试侧重于根据外部视角生成自我中心视角的相关信息。我们将自我视角与外部视角转换分解为两个独立任务：自我轨迹预测和自我视角视频生成（图15，右侧）。自我轨迹预测是根据已观测到的外部视角视频中的物体掩码，估计未被观测到的自我视角帧中物体的分割掩码。自我视角视频生成则是利用外部视角视频及其中物体的掩码，在给定的真实自我掩码内生成图像像素值（即RGB）。这种分解有效地将问题拆分为两个子任务：1）预测物体在自我视角视频中的位置与形状；2）根据真实位置合成其外观。对于这两个子任务而言，输入的外部视角视频包含从5秒时间范围内均匀采样的5帧图像。
我们认为，将这两项任务解耦能够促进各个子问题的更快进展，并有助于理解其中的关键挑战。对于每一项任务，我们都考虑了一种变体：即在推理时可以利用自我相机相对于外部相机的姿态信息。这虽然简化了问题，但却降低了该方法的适用性，因为这类信息通常无法从任意第三人称视频中获取。最后需要指出的是，尽管可以考虑反向翻译（即外部到自我），但我们在此专注于自我生成任务，因为它在机器人技术和增强现实应用中具有更高的价值。
需要注意的是，我们限定输入仅包含外部视图和物体掩码，旨在推动能够把任意第三人称视频转换为以自我为中心的视频的方法设计。因此，输入中排除了深度图、三维点云、惯性测量单元或同步定位与地图构建数据——这些信息虽能简化任务，却会牺牲方法的普适性，因为它们通常无法从自然场景视频中获取。唯一的例外是任务的一种变体：输入中包含视频片段中所有帧的自我相机姿态信息。我们采用这种设定是为了在“已知自我-外部相机关系”这一不切实际的前提下，估算翻译性能的某种“上限”。
相关工作：自我-外部翻译属于跨视角图像合成范畴（Regmi & Borji, 2018; Tang et al., 2019; Lu et al., 2020）。在这一领域，外部到自我生成问题近期已被提出，既适用于图像（Liu et al., 2020），也适用于视频（Luo et al., 2024; Liu et al., 2021; Cheng et al., 2024），且通常采用基于输入视角的生成对抗网络或扩散模型来解决。我们的工作不仅利用大量数据对这一任务进行了形式化定义，其研究思路还凸显了在极端视角变化下进行新视角合成时对语义基础的需求。
标注：翻译任务采用的标注与上述5.1节讨论的对应关系任务所用标注一致。
评估指标：我们采用了多种指标来评估生成翻译的不同方面。针对对应关系任务，我们使用可见性准确率来评估方法在仅给定外部帧作为输入的情况下，预测目标物体在自我视图中可见性的能力。我们认为，当满足以下两个条件之一时，可见性预测才算正确：(1) 物体在自我视图中不可见时，预测掩码为空；或者(2) 物体在自我视图中可见时，预测掩码非空。此外，我们采用为对应关系任务定义的以下指标来衡量自我轨迹预测的性能：1）位置误差；2）交并比；3）轮廓准确率（Perazzi et al., 2016）。为了排除位置误差的影响、单独评估掩码预测效果，交并比和轮廓准确率是在对预测掩码与真实自我掩码的质心进行对齐后计算的。在评估自我视频生成任务时，我们采用两种常用的图像质量指标（结构相似性指数、峰值信噪比（Hore & Ziou, 2010））以及三种感知指标（DISTS（Ding et al., 2020）、LPIPS（Zhang et al., 2018）和CLIP相似度（Radford et al., 2021））。
---
| Ego GT |  |  |  |  |  |
| Exo GT |  |  |  |  |  |
| XSegTx |  |  |  |  |  |
| XView-XMem |  |  |  |  |  |
| Ego GT |  |  |  |  |  |
| Exo GT |  |  |  |  |  |
| XSegTx |  |  |  |  |  |
| XView-XMem |  |  |  | |  |
| Ego GT |  |  |  |  |  |
| Exo GT |  |  |  |  |  |
| XSegTx |  |  |  |  |  |
| XView-XMem |  |  |  |  |  |
Fig. 16 Qualitative results for the different ego-exo correspondence baselines
当且仅当满足以下两个条件之一时，才会生成矩形：(1) 当物体在自我视角下不可见时，预测的掩码为空；或者 (2) 当物体在自我视角下可见时，预测的掩码非空。此外，为了衡量自我轨迹预测的性能，我们采用了以下用于对应关系的指标：1) 位置误差（LA）；2) 交并比（IoU）；3) 轮廓准确度（CA）（Perazzi等人，2016年）。为了计算IoU和CA，需先对齐预测掩码与真实自我掩码的中心点，从而排除位置误差对掩码预测评估的影响。在评估自我视频片段生成任务时，我们使用了两种常用的图像质量指标（SSIM、PSNR（Hore & Ziou，2010年））以及三种感知指标
---
（DISTS（Ding等人，2020年）、LPIPS（Zhang等人，2018年）以及CLIP相似度（Radford等人，2021年））。
在轨迹预测方面，我们采用了基于GAN的方法pix2pix（Isola等人，2017年）以及基于NeRF的方法GNT（Varma等人，2023年）。在视频片段生成方面，我们采用了基于GAN的方法pix2pix（Isola等人，2017年）以及扩散模型DiT（Peebles & Xie，2022年）。值得注意的是，如下文所述，我们对这些方法进行了特定修改，以使其适应我们的任务需求。所有基线方法均利用外部图像和掩码，只有GNT模型会额外使用自我相机姿态作为输入。
自我轨迹预测旨在根据外视视频片段和外视物体掩码，生成以自我为中心的视图中的分割掩码。针对此任务，我们考虑以下两种基线方法：
- pix2pix-mask。我们修改了pix2pix的生成器，使其输入和输出均为4个通道。具体而言，外部帧和外部掩码被拼接在一起作为输入，而4通道的输出则分别为自我帧（3个通道）和自我掩码（1个通道）。自我帧的训练采用pix2pix中使用的损失函数。对于掩码预测，我们使用自举交叉熵损失（Reed等人，2014年）和Dice损失（Sudre等人，2017年）。
- GNT-mask。我们采用可泛化NeRF变换器（GNT）（Varma等人，2023年）作为另一种利用相机姿态的基线方法。在我们修改后的版本中，图像编码器接收4通道的图像（外部帧和掩码）作为输入，以预测自我帧和自我掩码。具体来说，在训练GNT-mask时，对于每一个点x和观测方向单位向量$d \in \mathbb{R}^3$，GNT中的光线变换器f会预测两个关键属性：RGB颜色$(c)$和物体存在概率$(e)$，其中e表示物体存在于点x处的概率。在渲染过程中，由光线变换器编码的体积辐射场可以被渲染成2D图像以及2D物体掩码。
自我视频片段生成需要生成代表以自我为中心视图中目标物体的像素值。为此，我们为每一帧利用6张不同的输入图像：外部帧、外部掩码、外部物体裁剪图、裁剪后的外部掩码、自我掩码以及裁剪后的自我掩码。通过设定边界框来分离外部和以自我为中心的掩码中的相关部分，从而生成裁剪后的外部和以自我为中心的掩码。“外部物体裁剪图”是指利用裁剪后的外部掩码从外部图像中裁剪出相关区域所得的RGB图像。我们将这6张图像调整为相同尺寸（256×256）。针对此任务，我们评估了两种基线方法：
• DiT-pix。我们采用了基于Transformer的扩散模型DiT（Peebles & Xie，2022年）。我们通过两种方式让DiT以6张输入图像为条件来预测自我物体裁剪图。首先，将这六张图像沿通道维度拼接，随后与含噪声的自我物体裁剪图结合，形成DiT的输入。此外，两个ResNet-50架构会将这六张图像编码为低维特征，再通过AdaLN（Perez等人，2018年）将其融入DiT的每一层。
- pix2pix-pix。我们也采用pix2pix（Isola等人，2017年）来进行视频片段生成，具体做法是将6张图像沿通道维度拼接后作为pix2pix模型的输入。
上述所有基线方法均属于图像到图像的生成任务。我们还实现了这些方法的视频片段到视频片段变体，即输入多帧图像并联合预测所有帧的结果。对于pix2pix，我们通过用3D卷积替换原有的2D卷积、用3D批量归一化替换2D批量归一化来实现这一点。对于DiT，我们采用了TimeSformer（Bertasius等人，2021年）中的时空划分注意力机制。
结果：我们利用验证集来选择最优的检查点和超参数，随后在测试集上对这些选项进行评估。
在自我轨迹预测任务中，pix2pix-mask和GNT-mask在估计物体可见性方面表现不佳，其可见性准确率仅约为50%，这与随机猜测的结果相当（在v2测试集上，GNT-mask的准确率为50.0%，pix2pix-mask为56.2%）。然而，专门针对这种二分类任务训练的ResNet-50模型在v2测试集上的可见性准确率达到了82.9%。我们通过比较配准后预测掩码与真实掩码之间的距离（位置误差）以及相似性指标（IoU和轮廓准确率）来评估掩码质量。基于3D感知的NeRF基线模型GNT-mask总体上优于隐式基线模型pix2pix-mask，不过它利用了自我相机姿态作为额外输入。值得注意的是，两种基线模型在该任务上的表现均较差，这很可能是因为在自我视角下正确预测目标物体的位置和形状存在固有挑战，毕竟该物体在外部视角下往往尺寸很小。
在自我视频生成任务中（表5b），扩散模型DiT-pix在所有指标上的表现均优于基于GAN的pix2pix-pix。定性结果（图17a）表明，DiT-pix能够生成高度逼真的图像，在大多数情况下与真实图像高度吻合。不过偶尔会出现这种情况（最后两行）：物体的形状被准确生成，但纹理略有偏差。
---
Table 5 Results on exo to ego translation task
(a) Evaluation of translation baselines for the subtask of ego track prediction.
| Method | Ego Cam. Pose | Location Error $\downarrow$ | Contour Acc. $\uparrow$ | IoU $\uparrow$ |
| pix2pix-mask | No | 21.6 | 4.5 | 5.3 |
| +multi-frame | No | 20.1 | 3.1 | 3.5 |
| GNT-mask | Yes | 19.6 | 15.5 | 10.3 |
(b) Evaluation of translation baselines for the subtask of ego clip generation.
| Method | SSIM $\uparrow$ | PSNR $\uparrow$ | DISTS $\downarrow$ | LPIPS $\downarrow$ | CLIP $\uparrow$ |
| pix2pix-pix | 0.42 | 16.4 | 0.36 | 0.50 | 79.8 |
| DiT-pix | 0.59 | 16.1 | 0.31 | 0.46 | 81.9 |
(a) DiT-pix在测试集上的定性自我视频生成结果。该模型接收6张输入图像（外部帧、外部裁剪图、外部掩码、外部裁剪掩码、自我掩码和自我裁剪掩码）。自我帧仅作为参考，既不属于输入也不属于输出元素。
(b) 展示赋予DiT-pix的不同输入的重要性的定性示例。外部裁剪图和自我裁剪掩码对良好性能至关重要。
(c) Comparison of ego clip generations using frame-to-frame vs clip-to-clip variants of DiT-pix. The clip-to-clip version of the model produces outputs that are more coherent across the frames of the clip, even for frames where the exo view is heavily occluded.
Fig. 17 Qualitative results for exo-to-ego translation task
---
Fig. 18 Ego-exo keystep recognition. This family of tasks consists of fine-grained recognition (left, Section 5.2.1), procedure understanding (center, Section 5.2.3), and energy-efficient multimodal recognition (right, Section 5.2.2)
我们在图17b中进一步验证了各输入的重要性。如果没有外部物体裁剪图作为输入，模型就无法正确推断自我视角下目标物体的颜色和纹理。这一结果是意料之中的，因为源物体往往只占整个外部帧中很小的区域。此外，如果没有自我裁剪掩码作为输入，模型对物体方向的预测也会出错。这些观察结果凸显了裁剪输入的重要性。
从表5中可以看出，多帧（即视频到视频）预测在定量效果上并不优于帧到帧预测。不过我们注意到，多帧变体生成的视频在各帧之间往往更具一致性，即便在外部视图严重遮挡的情况下也是如此，如图17c所示。这是合理的，因为视频级模型能够从多帧中更有效地学习目标物体的特征，从而填补单个外部帧中缺失的信息。
关于不同场景下自我-外部转换结果的详细分解，请参阅附录E.1.2。
#### 5.2 自我-外部关键步骤识别
这类任务的核心是识别程序性活动的关键步骤并建模它们之间的依赖关系。具体而言，包含三项任务：细粒度关键步骤识别（第5.2.1节）、高效多模态关键步骤识别（第5.2.2节）以及流程理解（第5.2.3节）。我们将这类任务称为“自我-（外部）”，因为训练时可能有外部数据可用，但推理时却无法获取。详见图18。
#### 5.2.1 细粒度关键步骤识别
动机：识别佩戴相机者正在执行的步骤并非易事：同一活动中的关键步骤可能外观相似，且需要区分手部与物体交互中的细微差异，同时还会受到严重遮挡和头部运动的影响。训练时能够获取多视角信息的模型可以利用各视角的互补性来弥补单一视角的不足，比如通过学习视角不变的特征表示，或将多视角信号提炼到单个模型中（例如从自拍视角提取人手信息，从外摄视角提取人体姿态信息）。
任务定义：我们将裁剪后的视频片段分类作为关键步骤识别任务。训练阶段，我们会获得一个带有标签的自拍-外摄视频片段集合$\mathcal{D}$：$\mathcal{D} = \{(\mathcal{V}_{ego}^{(1)}, \mathcal{V}_{exo^{1-M}}^{(1)}, y^{(1)}), \ldots, (\mathcal{V}_{ego}^{(N)}, \mathcal{V}_{exo^{1-M}}^{(N)}, y^{(N)})\}$，其中$y^{(n)}$表示第n个样本的关键步骤标签。这些视频片段是从长流程视频中手动裁剪出来的，仅包含待识别的关键步骤。测试阶段，模型仅需输入裁剪后片段的自拍视角视频$\mathcal{V}_{ego}$，就要预测其关键步骤标签y。
裁剪后视频片段的分类是动作识别基准测试中常用的问题设定（Kay等人，2017年；Soomro等人，2012年；Goyal等人，2017年）。不过我们的任务在三个基本方面与动作识别存在差异。首先，它针对的是细粒度的关键步骤识别，而非粗略活动的分类。我们注意到这大大增加了任务复杂度，因为同一活动中的不同关键步骤往往涉及对场景中相同物体的操作（例如折叠床单和平整床单），因此很难区分。其次，不同关键步骤所持续的时间跨度可能存在很大差异（例如“揉面”的平均时间跨度为87.3秒，而“取盐”的平均时间仅为3.6秒），因此需要在不同时间粒度上进行分析。第三个关键差异在于：训练时可以利用外摄视频中可用的上下文线索，来提高对自拍视频的预测准确率。
需要注意的是，测试阶段模型的输入仅为自拍视角视频（仅RGB格式）。外摄视角视频、活动及场景名称、旁白、音频以及相关的元数据（如视线轨迹、3D点云、相机位姿和IMU信息）均不会作为推理阶段的输入。直观来讲，这些额外的模态或许能提供有价值的上下文信息。
---
这些额外的线索，比如外摄视频中的环境感知信息、旁白中的语义信息，或是视线轨迹中的注意力信号，都能帮助模型更好地理解自拍视角视频的视觉内容，进而提升其关键步骤识别性能。我们鼓励探索它们在训练阶段的潜在用途以发挥这些优势，但出于评估目的，测试阶段我们限制输入仅为RGB视频，以确保我们的方法仍以视觉为核心。
相关工作：关键步骤识别已在第一人称视频（Sigurdsson等人，2018年；Song等人，2023年；Bansal等人，2022年；Ragusa等人，2021年）或第三人称视频（Mavroudi等人，2022年；Tang等人，2020年；Zhukov等人，2019年；Zhou等人，2018年；Ashutosh等人，2023年）中被研究过；但很少有研究同时考虑这两种视角。以往的研究考虑了基于非配对视频的跨视角学习（Ardeshir & Borji，2018年；Li等人，2021年；Xue & Grauman，2023年），以及在配对视频上的视角不变特征学习（Sigurdsson等人，2018年）。相比之下，我们研究的是大规模流程活动中完全同步的训练视频下的关键步骤识别问题。
我们会对包含三种程序性活动（即烹饪、自行车维修和健康相关活动）的视频进行标注，标注内容为关键步骤的时间段——也就是那些对完成程序性任务有贡献的动作。每条关键步骤标注包含起始和结束时间戳、类别标签、自然语言描述（例如“加入干香草”或“将轮胎安装到自行车上”），以及一个标识该关键步骤对任务完成而言是必需还是可选的标记。为了准确建模这些活动的层次结构，我们在标注过程中同步以迭代、数据驱动的方式构建了分层关键步骤分类体系。总共我们标注了143,442个时间段，涵盖17种活动中的664个关键步骤。图20展示了关键步骤标注的示例，凸显出细粒度关键步骤识别所面临的挑战：手与物体的交互细节以及上下文线索的差异对于区分不同活动至关重要。关于标注界面和分类体系开发的完整详情，请参阅附录E.2。
评估指标方面，我们采用top-1准确率进行评估。由于数据集中的关键步骤呈现明显的长尾分布特征，我们将每个关键步骤的样本数阈值设为20个，因此分析范围限定在图19所示的278个独特关键步骤上。其中部分关键步骤的示例可见图20。数据集划分的详细信息也在附录E.2中说明。
用于动作分类、视频表征学习以及自我视角与外部视角迁移的方法。
基线模型：为了确定利用配对的自我的视角与外部视角训练数据进行自我视角关键步骤识别的最佳策略，我们选取了多种不同的基线方法，包括
• 动作分类。作为这类经典方法的典型代表，我们选用了TimeSformer（Bertasius等人，2021年）模型，该模型以在大规模第三人称动作数据集Kinetics-600（Kay等人，2017年）上预训练的权重为初始参数，因其在各类视频理解任务中表现优异。
- 视频-语言预训练。我们采用EgoVLPv2框架（Pramanick等人，2023年），在Ego4D（Grauman等人，2022年，仅包含自我视角）和Ego-Exo4D数据集（同时包含自我视角与外部视角）上联合预训练模型。为了平衡两个数据集的样本数量，我们通过LaViLastyle（Zhao等人，2023年）的重述技术对Ego-Exo4D数据集进行处理。
- 视角不变性学习。我们采用两阶段训练方法：第一阶段，利用数据集中所有可用的（自我视角、外部视角）视频对来训练视角不变性（VI）编码器。训练目标为片段级对比损失（Oord等人，2018年），旨在将同步的（自我视角、外部视角）对视为正样本，非同步对视为负样本。第二阶段，这个预训练好的模型会进一步通过分类损失进行训练，以适配下游任务的片段级分类需求。需要注意的是，为了匹配片段级分类任务的要求，我们的对比损失是在片段层面计算的，而非像Sermanet等人（2017年）和Sigurdsson等人（2018年）提出的视角不变性损失那样在帧层面计算。
- 视角蒸馏。该方法同样采用两阶段训练方式：第一阶段，训练一个能同时接收自我视角和外部视角输入的多视角教师模型；第二阶段，训练单视角的自我视角学生模型，通过知识蒸馏（Hinton等人，2015年）从多视角教师模型中获取包含两个视角的信息。
- 自我视角与外部视角迁移。我们采用了Ego-Exo（Li等人，2021年）中提出的方法，该方法利用以自我为中心的伪标签来预训练网络。我们采用掩码自编码器（MAE）（Tong等人，2022年）作为骨干网络，该网络从Kinetics预训练模型初始化，并利用Ego-Exo预训练模型提供的伪标签，通过两个辅助头（物体得分头和交互图谱头）进行微调。随后，我们进一步用分类损失对模型进行微调，以实现细粒度的关键步骤识别。
对于前两个基线模型（它们使用了来自成熟基准测试的预训练模型），我们进一步考察了两种训练设置：一种仅使用自我视角的视频来计算分类损失；另一种则同时利用自我视角和外部视角的视频，训练目标为两者的加权和。
---
Fig. 19 Keystep distribution in our dataset for each procedural scenario: cooking, bike repair, and health
Stir the salad mixture
Tap patient to confirm consciousness
Put away spatula
Slowly extract the swab from the nostril
Fig. 20 Example keysteps from cooking, bike repair, and health scenarios. Keystep labels are displayed above each frame sequence
即自我视角和外部视角的分类损失之和。具体实现细节见附录E.2。
结果方面，表6报告了验证集和测试集上自我分类的Top-1准确率。在所有基线模型中，VI编码器表现最佳，测试准确率达到41.53%。紧随其后的是视角蒸馏模型和在EgoExo4D上预训练的EgoVLPv2，它们的测试准确率分别为39.49%和38.76%。这些结果引发了关于如何在训练过程中有效利用外部视频，以提升测试时自我关键步骤识别能力的讨论。
首先我们注意到，不同方法对训练过程中加入外部视角视频的反应存在差异。具体而言……
---
Table 6 Top-1 accuracy of keystep recognition on val and test data. The pre-training dataset is denoted in parentheses. VI is short for view-invariant
| Method | Train data | Ego Accuracy (%) |
| Val | Test |
| TimeSFormer (Bertasius et al., 2021) (K600) | ego | 35.13 | 35.93 |
| TimeSFormer (Bertasius et al., 2021) (K600) | ego,exo | 32.68 | 31.04 |
| EgoVLPv2 (Pramanick et al., 2023) (Ego4D) | ego | 36.51 | 37.55 |
| EgoVLPv2 (Pramanick et al., 2023) (Ego4D) | ego,exo | 35.84 | 36.59 |
| EgoVLPv2 (Pramanick et al., 2023) (EgoExo4D) | ego | 36.04 | 37.72 |
| EgoVLPv2 (Pramanick et al., 2023) (EgoExo4D) | ego,exo | 39.10 | 38.76 |
| VI Encoder (Oord et al., 2018) (EgoExo4D) | ego,exo | 40.34 | 41.53 |
| Viewpoint Distillation (Hinton et al., 2015) | ego,exo | 38.19 | 39.49 |
| Ego-Exo Transfer MAE (Li et al., 2021) | ego,exo | 37.17 | 36.58 |
当把外部分类损失纳入训练目标时，TimeSFormer（K600）模型的性能出现下降（即测试准确率从35.93%降至31.04%）；而在EgoExo4D上预训练的EgoVLPv2模型则因引入外部视角视频而受益（即测试准确率从37.72%提升至38.76%）。与仅使用自我视角视频训练的TimeSFormer（K600）相比，VI编码器和视角蒸馏模型也展现出了这种优势。这些观察结果表明，某些基线模型更善于利用训练过程中的外部信息来提升自我关键步骤识别能力。
最后，在附录图42中，我们展示了按视角划分的性能对比结果。简而言之，我们发现对于涉及小物体操作的步骤（如“切胡萝卜”、“拆新管”等），自我视角提供的信息更具价值；而对于“提出不同问题的对话”等关键步骤，外部视角则更具优势。总体而言，我们认为，如何增强视角不变性学习，并更有效地利用外部视角提供的互补信息来提升自我关键步骤识别能力，仍是一个有待探索的方向。我们的研究结果凸显了在该领域进一步研究与创新的必要性。
### 5.2.2 节能型多模态关键步骤识别
动机：当前的活动检测模型假设能够获取视频中所有帧的密集采样片段，且拥有充足的计算资源来处理这些数据。但这些假设与现实世界中的设备（如手机、AR眼镜）并不相符——这类设备的摄像头并非始终开启，且计算资源受电池续航能力的限制。本任务旨在构建节能型视频模型，为其在现实硬件上的应用铺平道路。
任务定义：关键步骤识别任务（见第5.2.1节）是对关键步骤视频片段进行批量分类，且无需考虑能耗问题；而本任务的目标是在给定的能耗预算内，对流式第一人称多模态视频中的关键步骤进行在线分类。我们考虑一段长度为T的任意长度的第一人称视频$\mathcal{V}_{ego}$，该视频包含K种不同的感官模态数据（如RGB图像、音频、惯性测量单元等）。在每个时间步t（其中$1 \leq t \leq T$），视频会包含每种可用模态的样本，即$\mathcal{V}_{ego}^t = \{S_1^t, \ldots, S_K^t\}$，这里$S_j^t$表示时间t时对应$j^{th}$模态的样本。
给定$V_{ego}$和能耗预算B，我们的任务是学习一个模型$\mathcal{F}$，该模型既要能在整段视频中最大化关键步骤识别性能，又要确保传感及模型推理所消耗的总能量不超过B。该模型F由传感器触发策略$\mathcal{F}^P$和关键步骤预测模型$\mathcal{F}^K$组成。在每个时间步t，策略$\mathcal{F}^P$会决定激活哪些传感器并从中采集样本，以生成模型当前的观测结果$O^t$，满足$O^t \subseteq \{S_1^t, \ldots, S_K^t\}$。基于$O^t$，关键步骤预测器$\mathcal{F}^K$会输出其对当前时间步真实关键步骤的估计值。
能耗预算涵盖了每次模型前向传播的操作成本、中间激活值在内存中读写的成本，以及传感器持续运行的成本，各类传感器的成本特征各不相同（例如，惯性测量单元和音频传感器的运行成本远低于摄像头传感器）。需要注意的是，传感器触发策略可以是静态的（例如，以每秒4帧的速度采样视频，关闭音频/惯性测量单元；以每秒1帧的速度采样视频，始终保持惯性测量单元开启），也可以是动态的（例如，根据音频情况决定是否触发视频采集）。我们保持任务定义的通用性，以便该挑战能够接纳多种前沿方法，从纯视频驱动的高效骨干网络架构（Feichtenhofer, 2020）到多模态触发方法，自然也包括两者的结合。
需要注意的是，由于本任务属于严格的在线识别任务，测试时模型的输入只能包含当前及过去的观测结果。不过，我们鼓励研究者探索实验中所考虑模态之外的其他模态，例如从视频、音频和惯性测量单元数据中推断出的惯性测量单元或摄像头姿态信息。
---
相关工作：以往关于高效模型的研究主要聚焦于轻量级架构（Feichtenhofer, 2020; Vasu et al., 2023; Howard et al., 2017; Zhang et al., 2018; Tan et al., 2019; Mehta & Rastegari, 2021）、高效输入处理（Gao et al., 2020; Korbar et al., 2019; Ghodrati et al., 2021; Meng et al., 2020; Tan et al., 2023）或推理优化（Iandola et al., 2016; Esser et al., 2019; Polino et al., 2018; Zhu & Gupta, 2017; Wu et al., 2018）。在所有这些研究中，研究人员均优化了计算量（FLOPs）、参数数量或预测吞吐量（FPS），但仅依靠这些指标不足以描述模型在真实设备上的运行情况。为解决这一问题，我们提出了首个与真实设备约束挂钩、用于衡量能耗的视频识别基准测试，该测试可测量模型运行时的总功耗。
标注说明：本任务使用的关键步骤识别所用的同一批第一人称视频和标注数据。不过，除了原始RGB视频外，本任务还将音频流（以及其他潜在传感器）作为另一种感官模态。
准确测量模型的能耗对于其在AR/VR设备中的应用至关重要（Abrash, 2021；Chen等人，2019）。能耗来源于多种复杂因素的相互作用，包括传感器、计算机、通信模块、数据处理单元、内存传输（SRAM和DRAM）以及漏电——在构建高效的计算机视觉模型时，这些因素往往被忽视，尽管它们会消耗大量能源（例如，内存传输所占的能耗占比超过50%（Yang等人，2022））。
参考以往的研究（Sze等人，2020），我们在建模能耗时考虑了三个关键因素。（1）计算能耗：即模型每次前向传播所产生的能耗，与运算次数（MACs）相关。（2）内存传输能耗：即存储中间激活值和模型输出时所涉及的内存读写操作产生的能耗。（3）传感器触发能耗：即开启/关闭传感器以及传感器持续运行所产生的能耗（如摄像头、音频传感器、IMU）。对于一个处理观测数据$O^{t}$的模型而言，其总能耗可表示为：
$$ \begin{aligned}E(O^{t})=\alpha*C(O^{t})+\beta*M(O^{t})\\+\sum_{j=1\ldots K}\gamma_{j}*\mathbb{1}(S_{j}\in O^{t})\end{aligned} $$
其中，$C(O^t)$表示前向传播过程中执行的乘加运算总数（单位为MAC/s），$M(O^t)$表示传输到/从DRAM的内存总量（单位为MB/s），$S_j \in O^t$则表示第j个传感器是否处于激活状态。最后，$\alpha, \beta, \gamma_j$是用于衡量各能耗源贡献程度的权重系数。我们选取这些权重参数是为了反映现实世界中AR/VR硬件的能力。具体而言，$\alpha = 4.6$ pJ/MAC（Sze等人，2020；Desislavov等人，2023）；$\beta = 80$ pJ/字节（Horowitz，2014）；$\gamma_{rgb} = 15$ mW和$\gamma_{audio} = 0.5$ mW（Liu等人，2020）。
我们采用了为PyTorch开发的现成性能分析软件来计算公式1中的各项数值——即以功率（mW）表示的能耗。关于该性能分析工具的详细信息见附录E.3。
评估指标参考以往的研究（De Geest等人，2016），我们采用经帧级校准的平均精度均值（mcAP）来评估在线关键步骤检测性能，该指标能够反映数据集中关键步骤标签的不平衡性。能耗的测量方式如前所述，以mW为单位。效率与更好的性能之间存在天然的平衡关系。因此，我们通过为两个层级设定不同的功耗预算来评估模型表现：高效能层级为20 mW，高性能层级为2.8W，这一设定参考了现有的高效架构。关于这两个层级的更多细节见附录E.3。
基准模型我们提供了一系列用于解决该任务的（成本较低/较高的）关键步骤预测模型。每个模型都包含一个单模态或音视频特征编码器，随后接关键步骤分类头。实验设置和实现细节见附录E.3。
• X3D-XS（Feichtenhofer，2020）。这是一种纯视觉模型，包含X3D-XS特征编码器，该编码器会逐渐扩大各层的特征尺寸和表征能力，之后再缩小尺寸以实现更好的性能与效率平衡。
- LaViLa（Zhao等人，2023）。这是另一种纯视觉模型，其视觉特征编码器通过CLIP风格的视频-语言预训练进行训练。
• Light-ASDNet（Liao等人，2023）。这是一种纯音频模型，它将音频表示为频谱图，并通过将二维卷积拆分为沿频谱图时间维度的一维卷积来高效编码音频（Liao等人，2023）。
- 音视频晚期融合（AV-LF）。这是一种音视频模型，它利用线性层对视觉特征（由X3D-XS或LaViLa编码）和来自Light-ASDNet的音频特征进行晚期融合。
为了提升上述关键步骤预测器的能效，我们采用以下基准策略来决定何时采样或跳过每种模态：
- 固定步长。该策略会在每s个预测步骤采样一次输入（视频或音频）。我们评估了不同的s值，其中s的范围为2到150步。
---
(a) High-efficiency tier (budget = 20 mW)
Fig. 21 Keystep prediction performance (mcAP) vs. total power consumption with different prediction backbones and sampling policies for both high-efficiency (left) and high-performance (right) tiers. For
(b) High-performance tier (budget = 2825.71 mW)
the models using a fixed stride, we show their stride value in text if their total energy consumption is close to the budget
- AV-LF + 贪婪策略。该策略会尽可能早地利用全部预算来同时采样音频和视觉数据，并采用AV-LF骨干网络进行关键步骤预测。
- AV-LF + 随机策略。该策略会随机采样或跳过音频和/或视觉输入，直到耗尽预算为止，随后使用AV-LF骨干网络进行预测。
- 音视频（AV）级联策略。该策略最初使用Light-ASDNet模型来预测关键步骤；一旦基于音频的预测置信度低于0.5的阈值，便会切换为LaViLa模型。
图21a中展示了高效层级下所有模型的识别mCAP与其总功耗的关系。可以看出，结合视觉和音频的效果优于仅使用视觉或音频，这表明两种模态提供了对任务有用的互补性线索。不过，所有仅依赖视觉的模型性能都优于仅依赖音频的模型，说明视觉是该任务中最关键的模态。原始骨干网络通常比采用采样策略的模型表现更好，但代价是能耗更高，因此难以在在线场景中应用。在采用固定步长的模型中，较小的步长通常能提升性能，却会损害能效。使用贪婪或随机策略搭配AV-LF时，性能会比采用固定步长时大幅下降，这说明在片段中过早或随机采样对我们的在线识别任务而言并非最优选择。AV级联策略的性能也逊于大多数音视频模型，且能耗更高，可能是因为音频骨干网络经常输出错误但过于自信的预测结果，从而阻碍了在需要时切换到更可靠的视觉骨干网络。
为便于参考，我们在表7a中报告了高效层级下预算范围内表现最佳的单模态及音视频模型的识别性能和总功耗。
图21b展示了高性能层级下所有模型的识别mCAP与其总功耗的关系。与高效层级不同，音视频骨干网络的表现通常不如仅依赖视觉的骨干网络，这可能是因为LaViLa特征本身已足够强大，而通过简单的线性晚期融合机制将其与音频特征融合后会降低其表达能力。除此之外，不同采样策略在这两个层级中的整体表现类似。我们在表7b中报告了高性能预算范围内表现最佳的单模态及音视频模型的识别性能和总功耗。
最后，在附录图43中，我们按关键步骤标签分析了性能差异以及仅依赖音频和视觉的模型在这些标签下的表现。简而言之，我们发现仅依赖音频的模型对翻炒蛋液和切黄油等发声动作有更好的识别能力。
## 5.2.3 流程理解
动机：程序理解任务旨在通过观察人们执行程序的自然视频，推断出该程序背后的结构。
---
Table 7 Keystep prediction results
| Method | Modality | mcAP (%) $\uparrow$ | Power (mW) $\downarrow$ |
| (a) High-efficiency tier (budget = 20 mW). |
| Light-ASDNet (Liao et al., 2023) + s = 5 | A | 65.18 | 19.67 |
| X3D-XS (Feichtenhofer, 2020) + s = 10 | V | 76.85 | 19.14 |
| AV-LF w/ X3D-XS + s = 15 | AV | 77.89 | 19.70 |
| (b) High-performance tier (budget = 2.8W). |
| Lavila (Zhao et al., 2023) + s = 5 | V | 93.24 | 2245.66 |
| AV-LF w/ Lavila + s = 5 | AV | 92.18 | 2274.40 |
我们开展程序理解任务的现实动机源于增强现实（AR）、机器人技术以及更广义上的辅助系统。实际上，若能从视频中自动解析出程序的结构——比如推断关键步骤的顺序和前置条件——就能借助AR技术协助或引导用户完成程序，也能让机器人从人类演示中学习。除了识别当前的关键步骤外，辅助系统还能验证是否存在遗漏的必经关键步骤、提示可能的后续步骤，并检测出程序性错误。同样，机器人也能从人类演示中掌握程序的结构。已有研究表明，挖掘程序结构对于规划（Chang等人，2020年；Bi等人，2021年）、提升关键步骤识别能力（Ashutosh等人，2023年；Zhou等人，2023年）、发现关键步骤（Bansal等人，2022年）以及检测程序性错误（Seminara等人，2024年）都具有重要意义。
任务定义：图18（中间）展示了所提出的任务。给定视频片段$s_i$及其片段历史$S_{i-1} = \{s_1, \ldots, s_{i-1}\}$，模型需要：1）确定此前的关键步骤（即应在$s_i$之前执行的关键步骤）；判断$s_i$是否2）属于可选步骤（即省略该步骤也不会影响程序的正常执行），或是3）属于程序性错误（由于缺少前置条件，该步骤本不应在此时执行）；4）预测缺失的关键步骤（即本应在$s_i$之前执行的关键步骤）；5）预测下一步的关键步骤（即满足依赖关系、因此可接下来执行的关键步骤）。
该任务属于弱监督任务，根据监督程度的不同分为两个版本：1）实例级：训练和推理阶段均可获得视频片段及其关键步骤标签，类似于动作识别任务；2）程序级：训练和推理阶段仅提供无标签的视频片段以及特定于该程序的关键步骤名称分类体系。需要注意的是，由于属于弱监督任务，在这两种情况下，训练时都无法获得关于程序结构的显式信息，比如错误发生情况或前置条件列表。另外需注意，采用程序级监督时，无论训练还是测试阶段，模型的输入都不包含关键步骤标签。无论是在程序级还是实例级监督下，模型都必须以因果方式处理视频，也就是说，时刻t的预测结果仅依赖于时刻$t' < t$及之前的观测数据。
相关工作：以往专注于程序理解的研究要么学习作为基准的显式图（Jang等人，2023年；Xu等人，2020年；Soran等人，2015年），要么利用任务图进行表征学习（Ashutosh等人，2023年；Narasimhan等人，2023年；Zhou等人，2023年）以及短期步骤理解（Dvornik等人，2022年；Ashutosh等人，2023年；Zhou等人，2023年）。其他研究（Sener等人，2022年；Ding等人，2023年）则在监督环境下探讨错误检测问题。我们是首个提出在弱监督场景下通过程序理解来评估任务长期结构的研究。
注释。针对本任务，我们考虑了以下操作流程：即新冠快速抗原检测、修补漏气的轮胎并更换自行车内胎、拆卸车轮、安装车轮、清洁和润滑链条以及急救——心肺复苏术。这些场景代表了具有明确流程约束的结构化活动，但在正确的任务执行上仍允许一定程度的变化。对于所考虑的每项流程，我们都手动标注了任务图，将其作为编码关键步骤顺序的结构，以确保流程能够被正确执行（详见下文）。任务图的作用在于编码所有能导致任务正确执行的关键步骤顺序。
任务图。我们将任务图定义为一种有向图，其中节点代表关键步骤，有向边则代表依赖关系。例如，在图22所示的任务图示例中，“加入牛奶 $\rightarrow$ 拿一个碗”这一结构表明，必须先执行“拿一个碗”这一关键步骤，才能执行“加入牛奶”这一步骤。如果某个关键步骤有多个依赖项，则所有依赖项都必须得到满足。比如，在执行“加热油”之前，必须先分别执行“把平底锅放在炉灶上”和“打开炉灶”。除了有向边之外，任务图中还包含“或”和“异或”结构，用于逻辑组合依赖关系，此外还有“可选”节点和“可重复”节点。
---
Fig. 22 Example task-graph of a “Cooking Omelet” procedure
属性说明。例如，只有执行了“加水”或“加牛奶”（或两者都执行）后，才能执行“搅拌鸡蛋”这一操作；而“将混合物倒入平底锅”则需要先执行“融化黄油”或“加热油”，但无需两者都执行。可重复节点（如“敲碎鸡蛋”）只要其前置条件得到满足且后续节点尚未执行，就可以被反复执行。比如，只要碗还在，就可以持续敲碎鸡蛋，但一旦开始搅拌鸡蛋就不能再继续了。可选节点（如“调低火力”）可以省略，但如果要包含该节点，就必须确保其前置条件得到满足。
任务图的构建。我们首先通过观看带有标注关键步骤的视频来熟悉这些流程性任务。接着，我们通过以下步骤，利用关键步骤标注所得出的流程性依赖关系来初始化任务图：a) 首先根据观察到的关键步骤转换频率生成有向图；b) 基于转换概率，利用为每种场景手动调整的阈值参数来过滤掉不必要的边；c) 反转边的方向，从而将频繁发生的转换转化为依赖关系。随后，我们对这些初始图进行细化并手动修正。
片段级标注。任务图是对流程的全局描述，包含了关于依赖关系和关键步骤部分顺序的信息。由于我们的任务是在关键步骤层面定义的，因此需要将任务图所表达的约束“投影”到关键步骤视频片段上，具体步骤如下。
设 $S = \{s_1, \ldots, s_n\}$ 为给定视频中关键步骤的带标签序列。我们用 $y_i$ 表示片段 $s_i$ 所对应的标注关键步骤标签，用 $Y_{i,j} = \{y_1, \ldots, y_i\}$ 表示直到第 i 个关键步骤为止的标签序列。借助这些关键步骤标注，每个片段 $s_i$ 都会自动匹配到一个任务图，并补充以下属性：1）先前关键步骤列表——即匹配节点的入边邻居；2）可选标签——直接源自节点的可选属性；3）程序性错误标签——如果匹配节点的入边邻居与历史记录 $Y_{i,j}$ 中的片段不对应，则该标签设为“true”；4）缺失的关键步骤列表——匹配节点的入边邻居中未出现在 $Y_{i,j}$ 里的那些；5）后续步骤列表——其入边邻居出现在 $Y_{i,j}$ 中的节点。非重复节点只有在它们未出现在 $Y_{i,j}$ 中时才会被列出。
鉴于该任务的弱监督特性，我们仅在验证集上发布关键步骤级别的标注；训练集上的标注既不共享也不用于基线模型的开发，测试集标签则属于私密信息，需通过向服务器提交预测结果来对测试集进行评估。另外请注意，为避免泄露测试和训练标签，我们不发布已标注的任务图。
评估指标 我们将确定关键步骤列表的任务视为一种检测任务，其中正样本（待检测的关键步骤，如前置条件）与负样本（无需检测的关键步骤，如非前置条件的关键步骤）之间存在不平衡现象，所有方法均采用校准平均精度（cAP）（De Geest等人，2016年）进行评估。需要注意的是，根据这一指标，随机基线的平均性能仅为50%。
基线模型 我们考虑基于图的基线和端到端基线。基于图的基线（见图23(a)）包含两个主要组件：片段-关键步骤分配模块（A1），它基于预训练的视频-语言模型为视频片段提供伪标签；以及程序推理模块（B），它基于从真实标注（用于实例级监督）或伪标签（用于流程级监督）构建的转换图来进行预测。此外，我们还提供了一个基线模型，其中关键步骤分配步骤被替换为来自关键步骤识别任务（A2）的标签预测结果。需注意，在训练集中，置信度评分低于20%的片段已被剔除。
端到端基线（见图23(b)）经过训练后可直接从视频中预测出与基于图的基线相同的结果，旨在得到一种无需显式使用图的紧凑算法。该端到端架构由三个多层感知机组成，分别用于预测先前、可选和未来的关键步骤。每个多层感知机有六个输出头，分别对应所考虑的六种场景。
额外的基线实现细节详见附录E.4。
实验结果 表8报告了我们基线模型的结果，并将其与“均匀”基线进行了比较——“均匀”基线以相等概率预测先前/可选/错误/缺失/后续关键步骤。结果显示，依赖真实标注的基于图的基线在大多数任务上的表现都显著优于均匀基线，未来关键步骤预测除外。这表明即便简单的关键步骤共现情况也能在一定程度上反映流程的整体结构。
---
Fig. 23 Overview of the two procedure understanding approaches considered in our evaluation: (a) graph-based baselines for procedure understanding rely on a Keystep Assignment or a Keystep Recognition and a Procedural Reasoning component; (b) the architecture of our end-to-end baseline
除未来关键步预测任务外，它在大多数任务上的表现均显著优于均匀基线。这一结果表明，即便简单的关键步共现关系也能在一定程度上反映流程的整体结构。
未来关键步骤预测方面的性能提升有限，这凸显了该任务的复杂性以及进一步研究的必要性。采用实例级监督训练的端到端模型性能较低或与之相当，由于缺少显式的图结构，该模型以牺牲准确性为代价来换取测试时的效率。基于流程级别的基准方法效果更差，因为它们不依赖真实标签。除了可选关键步骤外，关键步骤预测方法在所有任务上的表现都优于关键步骤分配机制。尽管我们付出了努力，但模型性能仍低于统一基线，这表明未来还有进一步探索的空间。
### 5.3 自我视角与外部视角的熟练度估计
动机：这项任务不仅局限于识别一个人的行为，还旨在推断用户的技能水平。具备这种能力能够催生出全新的教学工具，帮助人们更有效地学习新技能；同时也能为体育、音乐等领域的人类表现评估提供新方法。
任务定义：我们考虑两种变体：（1）演示者熟练度估计；（2）演示过程熟练度估计。这两种任务均以演示者执行任务时的一段第一人称视频，以及（可选的）M段第三人称视频作为输入，这些视频在时间上同步：$\mathcal{V} = (\mathcal{V}_{ego}, \mathcal{V}_{exo}^1, \cdots, \mathcal{V}_{exo}^M)$。具体示意图见图24。下文将分别详细介绍每种变体的细节。
演示者熟练度估计：目标是根据一个或多个任务演示来估算演示者的技能水平。该任务被定义为视频分类任务，类别包括：（新手、初级专家、中级专家、高级专家）。
演示过程熟练度估计：针对单个任务演示，目标是识别出视频中任务执行良好（即“良好执行”）或仍需改进（即“需改进”）的部分。该任务被定义为时序定位任务，我们需要在整个任务演示中定位“良好执行”和“需改进”的实例。形式上，我们可以将演示过程熟练度估计函数h表示为$\hat{G}$、$\hat{I} = h(\mathcal{V})$，其中$\hat{G} = \{t_1^g, t_2^g, \cdots, t_{|G|}^g\}$表示参与者表现出良好任务执行的时间戳，而$\hat{I} = \{t_1^l, t_2^l, \cdots, t_{|I|}^l\}$则表示参与者需要提升技能水平的时间戳。需要注意的是，视频中无法体现参与者技能的部分不会被标注。
这两项任务本质上都能从多视角数据中获益。第一人称视频能够捕捉手部姿势和物体交互的细粒度信息，这类信息在烹饪（如切菜）和音乐（如吉他指法）等任务中至关重要。另一方面，第三人称视频能提供关于演示者身体姿势的更广泛信息，这对于篮球、足球、舞蹈等需要大量肢体运动的任务而言，是判断熟练度的重要依据。
需要注意的是，模型的输入排除了活动的文字描述/旁白、音频、眼动传感器读数以及任何受试者信息，因为若纳入这些信息会大幅简化任务，但却会牺牲实用性——毕竟在现实场景的视频中通常无法获取这些信号。我们的设定旨在推动基于视觉线索的熟练度估计方法的发展。
相关工作：以往的研究采用以自我为中心的视角（Bertasius等人，2017年；Doughty等人，2019年）或以自我为中心以外的视角（Parmar & Morris，2017年；Parmar & Tran Morris，2019年；Ismail Fawaz等人，2018年）来估算运动领域的熟练度（Bertasius等人，2017年；Parmar & Tran Morris，2019年；Pirsiavash等人，2014年）、健康领域（Liu等人，2021年；Ismail Fawaz等人，2018年）。
---
Table 8 Results for the procedure understanding task. Best results are reported in bold, the second best results are underlined. All results are in percentage
| Supervision | Baseline | Keystep Labels | Inf. Set | Prev. Keysteps | Opt. Keysteps | Proc. Mistakes | Miss. Keysteps | Fut. Keysteps |
| Instance-Level | Uniform Baseline | - | Val/Test | 59.18/59.13 | 56.71/56.73 | 60.54/60.66 | 65.58/65.64 | 65.65/65.65 |
| Instance-Level | Graph-Based | Ground Truth | Val/Test | 82.49/82.32 | 58.95/62.10 | 73.19/73.06 | 84.29/82.63 | 63.48/62.82 |
| Instance-Level | End-to-End | Ground Truth | Val/Test | 62.05/62.05 | 51.85/61.39 | 56.75/52.07 | 60.11/61.77 | 60.35/59.25 |
| Procedure-Level | Graph-Based | Keystep Assignment | Val/Test | 54.26/53.43 | 49.86/52.36 | 56.46/57.81 | 60.97/53.92 | 52.50/53.54 |
| Procedure-Level | End-to-End | Keystep Assignment | Val/Test | 55.37/54.82 | 52.12/60.78 | 52.84/54.73 | 56.11/53.75 | 58.88/57.47 |
| Procedure-Level | Graph-Based | Keystep Prediction | Val/Test | 64.56/66.22 | 49.51/49.00 | 61.15/58.59 | 61.50/64.18 | 57.87/58.34 |
| Procedure-Level | End-to-End | Keystep Prediction | Val/Test | 57.43/57.92 | 51.54/61.01 | 51.68/54.92 | 54.99/55.15 | 57.35/56.92 |
Fig. 24 Demonstrator and demonstration proficiency estimation
Zhang和Li在2013年的研究、Zia等人在2017年的研究，以及其他相关研究（Doughty等人，2019年；Yu等人，2021年）。我们提出了首个多视角下的以自我为中心及以外为中心的熟练度估算基准。与以往研究不同，我们的基准涵盖了各类日常身体活动与操作流程场景，还包含对正确/错误执行过程的时间局部标注。
标注说明：我们现在介绍两项熟练度估算任务的标注流程。
演示者熟练度估算：我们为每位进行活动演示的人员分配四个熟练度标签（新手、初级专家、中级专家、高级专家），每人对应一个标签。由于Ego-Exo4D视频主要针对能够成功完成任务的专家参与者，因此大多数标签对应的是专家级别（详见附录B）。四个熟练度类别使得该任务具有挑战性，但仍在可应对范围内。$^8$ 我们根据参与者调查和专家评论得出该任务的标注结果。更多细节，包括各场景下熟练度得分分布的可视化图表（图44），请参阅附录E.5。
我们依据各基准通用的划分方式，将数据集分为训练集、验证集和测试集。数据集统计信息见表9。需注意，我们排除了自行车维修和健康场景中的演示者熟练度任务。自行车维修场景中参与者分布严重偏向高级专家；健康场景中的主要活动是新冠检测，由于任务本身较为简单，很难判定参与者的技能水平。
演示熟练度估算：我们利用时间局部标注，这些标注包含了视频中演示步骤的时间戳，以及每个演示步骤对应的熟练度类别（即执行良好或有待改进）。对于该任务，我们纳入表9中所列的全部8个场景。我们根据专家评论得出该任务的标注结果，任务专家会仔细分析视频并提供带时间戳的评论。
---
Table 9 Distribution over video takes in proficiency estimation benchmark
| Demonstrator | Demonstration |
| Train | Val | Test | Train | Val | Test |
| Basketball | 575 | 143 | 167 | 146 | 47 | 19 |
| Bike repair | - | - | - | 41 | 9 | 15 |
| Cooking | 200 | 53 | 86 | 80 | 24 | 39 |
| Dance | 380 | 127 | 148 | 80 | 35 | 27 |
| Health | - | - | - | 42 | 12 | 16 |
| Music | 138 | 36 | 71 | 94 | 32 | 35 |
| Rock Climbing | 561 | 159 | 230 | 65 | 15 | 22 |
| Soccer | 129 | 43 | 66 | 8 | 3 | 6 |
| Total | 1983 | 561 | 768 | 556 | 177 | 179 |
这些标注基于参与者的表现（详见第4.1节）。具体而言，针对专家给出的单条带时间戳的评论，我们会标注该评论描述的是否为良好的执行过程，以及是否提供了提升参与者技能水平的建议。示例标注可参见附录E.5中的表23。随后，我们将这些标注与评论附带的时间戳关联起来，从而得到每个视频中良好执行的时间戳列表$\{t_1^g, t_2^g, \cdots\}$，以及需要改进的提示$\{t_1^i, t_2^i, \cdots\}$。总体而言，演示熟练度估算任务包含556个训练视频、177个验证视频和179个测试视频（各场景的细分情况见表9）。
评估指标：对于演示者熟练度估算，我们采用Top-1分类准确率来衡量性能；对于演示熟练度估算，我们采用修正后的平均精度均值（mAP）来衡量时间定位性能。与以往使用时间段交并比来衡量时间动作定位的方法不同，我们采用预测时间戳与真实时间戳之间的$L_{1}$距离来计算mAP。因此，我们基于$L_{1}$距离（以秒为单位）的阈值来定义mAP。
## 基线模型：接下来，我们为每项任务定义基线模型。
演示者熟练度估计：我们在实验中采用了TimeSformer（Bertasius等人，2021年）。我们针对以自我为中心的视角训练一个模型（“自我模型”），针对全部4种非自我中心视角分别训练另一个模型（“非自我中心模型”）。这些模型通过交叉熵损失函数来对单个视频片段进行分类。在推理阶段，我们采用后期融合技术来整合来自自我中心和非自我中心视频流的信息。我们将自我中心模型与非自我中心模型的Softmax预测结果取平均值，从而得到最终的视频标签预测。此外，我们遵循先前的研究（Bertasius等人，2021年），在推理时对三个空间裁剪区域的结果取平均值。
用于我们的实验。与传统的行为定位任务不同，由于我们的标注中每个良好执行或改进建议仅对应一个时间点，因此我们仅推断单个时间戳。相应地，我们对ActionFormer进行了调整以实现时间戳回归，并定义了基于$\mathcal{L}_1$距离的mAP指标。我们利用从视频中重叠时间区间提取的Omnivore特征（Girdhar等人，2022年）来训练模型。对于涉及多视角的实验（即多个非自我中心视角或自我中心+非自我中心视角），我们只需在每个时间步将所有视角的特征进行拼接即可。有关基线的更多实现细节，请参阅附录E.5。
演示熟练度估计：我们采用了Action-Former（Zhang等人，2022年），这是一种视频行为定位模型。我们的Ego-Exo4D数据集包含5个视角（1个自我中心视角，以及M=4个非自我中心视角）。我们在两种设置下开展熟练度任务：一种是测试时可使用非自我中心视角，另一种则不可。对于后者而言，当应用场景为可穿戴头戴设备或移动机器人等增强现实应用时，仅使用自我中心视角对基线模型进行基准测试具有重要意义。对于前者而言，利用自我中心和非自我中心视角进行基准测试的结果有助于揭示该问题的多视角特性。
演示者熟练度估计。我们在表10中展示了演示者熟练度估计的结果。为了排除数据集中的偏差影响，我们引入了两个简单的基线模型。随机基线会随机选取一个技能等级；多数类基线则会预测每种场景下的多数类标签。从随机初始化状态开始训练的TimeSFormer显著优于这两个基线模型，这证明了所学方法能够从视频中量化技能水平的能力。在大多数情况下，仅使用自我中心的视频即可取得不错的性能，而在攀岩等任务中，非自我中心的视频则能发挥重要作用，这体现了自我中心与非自我中心视角的互补性。使用预训练权重初始化TimeSFormer比随机初始化效果更好，尤其是在处理自我中心的视频时。此外，融合自我中心视角与非自我中心视角的预测结果并未提升性能，这很可能是由于后期融合技术的局限性所致。在表10的最后一行，我们还报告了为评估TimeSFormer而提供参与者多次演示时的结果。该结果与基于单次演示评估TimeSFormer的结果相当甚至更优，这表明通过分析多次演示能够获得更精确的技能评估结果。我们在附录E.5中进一步研究了各基线模型在特定场景下的表现。我们发现，对于需要近距离观察手部和物体的烹饪等场景，自我中心的视角更为有效；而对于需要获取人体姿态信息的攀岩等场景，非自我中心的视角则更具优势。总体而言，我们的基准测试为基于视频的技能理解提出了新的挑战，而我们的结果也凸显了…
---
Table 10 Demonstrator proficiency estimation. We report top-1 accuracies for various baselines on the demonstrator proficiency estimation task. Our learned models use the TimeSFormer architecture (Bertasius et al., 2021)
| Method | Pretraining | Accuracy |
| Ego | Exos | Ego + Exos |
| Val | Test | Val | Test | Val | Test |
| Random | - | 26.4 | 26.4 | 26.4 | 26.4 | 26.4 | 26.4 |
| Majority-class | - | 32.3 | 42.4 | 32.3 | 42.4 | 32.3 | 42.4 |
| TimeSFormer | - | 40.6 | 33.9 | 39.0 | 47.5 | 39.9 | 45.7 |
| TimeSFormer | K400 | 47.2 | 44.1 | 37.8 | 47.0 | 40.3 | 46.1 |
| TimeSFormer | HowTo100M | 45.1 | 36.7 | 39.8 | 46.6 | 43.7 | 47.0 |
| TimeSFormer | EgoVLP | 44.7 | 43.8 | 40.5 | 44.5 | 39.4 | 43.5 |
| TimeSFormer | EgoVLPv2 | 46.7 | 50.4 | 37.0 | 47.0 | 37.1 | 48.7 |
| Inference with multiple takes per demonstrator |
| TimeSFormer | EgoVLPv2 | 48.3 | 51.0 | 36.0 | 47.3 | 43.1 | 49.1 |
该任务的难度，这为未来的研究指明了改进方向。
演示熟练度估计。我们在表11中展示了演示熟练度估计任务的结果。我们纳入了三种简单基线方法以及ActionFormer（Zhang等人，2022年）。其中，“随机提示/良好执行”基线每5.97秒随机预测一个提示或良好执行标签，这一数值恰好是我们数据集中相邻标注之间的平均时间间隔。“统一提示”基线每5.97秒预测一个改进提示标签。“统一良好执行”基线每5.97秒预测一个良好执行标签。我们评估了仅在自我视角、仅在外在视角以及自我+外在视角下训练的ActionFormer模型。所有简单基线在该任务上的表现均较差。经过训练的ActionFormer基线相比简单基线有显著提升。不过，其绝对mAP分数仍然较低，这表明该任务极具挑战性，且在方法层面仍有很大的改进空间。
## 5.4 自我姿态
动机：在介绍了关于自我-外在关系、识别及熟练度评估的基准任务后，我们现在定义最后一类以身体和手部姿态为核心的任务。这类任务的设立旨在还原参与者熟练的身体动作，即便是在动态环境中仅依靠单目自我视频输入这种极端条件下也能实现，如图25所示。从自我视角估算人体物理状态——即手臂、腿部、手部的三维位置——对于能够辅助人类活动的可穿戴人工智能系统而言至关重要。相关挑战包括细微且灵活的动作、频繁的遮挡现象，以及身体/手部部位超出视野范围等问题。
针对每种场景，我们邀请专家作为参与者，以提升所采集动作的复杂度和多样性。例如，在录制过程中，专业音乐家的手指技巧通常比初学者或中级演奏者更为复杂多样（超过300种），而后者使用的技巧不足100种。这种复杂性有助于模型：（1）提取更具代表性的潜在特征；（2）学习在更单一的数据集中可能被忽略的细微模式与关联，从而更好地完成估算与预测任务。
任务定义：自我姿态基准测试分为两个独立任务：身体姿态估算和手部姿态估算。
在我们的身体姿态估算任务中，目标是利用以自我为中心的RGB视频输入序列$\mathcal{P} = \{\mathcal{P}_1, ..., \mathcal{P}_T\}$、IMU传感器序列$\mathcal{V}_{ego} = \{\mathcal{V}_1, ..., \mathcal{V}_T\}$或两者结合，估算三维人体姿态序列$\mathcal{H}_{imu} = \{\mathcal{H}_1, ..., \mathcal{H}_T\}$。其中$1 \leq t \leq T$表示给定的时间窗口，该窗口已被重新映射以使起始时间戳为1；$P_t \in \mathcal{R}^{17 \times 3}$对应遵循MS COCO规范的17个三维关节。T的数值会根据具体标注片段的长度而有所不同。需注意，在测试阶段，我们仅估算第t帧中可见标注关节的误差。
自我手部姿态任务旨在预测佩戴摄像头者的手部三维坐标。在自我视角下，目标是估算在自我视图中至少部分可见的手部的三维关节位置。输出结果按照MS COCO数据集规范（Lin等人，2014年）设定为每只手21个三维关节。用于训练和评估的图像均从自我视角提取并经过畸变校正。二维手部边界框是通过将三维手部关节投影到二维图像平面上，再对这些投影进行包裹生成的。
由于Ego Pose基准测试旨在推动仅利用第一人称原始视频或IMU数据来进行人体姿态估计的方法发展，因此输入数据中排除了那些会不公正地简化任务的中心视角模态（例如可穿戴摄像头采集的音频、视线数据）。
---
Table 11 Demonstration proficiency estimation benchmark. We report the mean average precision (%) for various baselines on the demonstration proficiency estimation task for the val and test splits. mAP $_{k}$ is measured at an $L_{1}$-distance threshold of k seconds. The average mAP (Avg.) measures the mAP averaged across k = {0.25, 0.5, 1.0} seconds
| Method | Ego | Exos | Ego + Exos |
| $mAP_{0.25}$ | $mAP_{1.0}$ | Avg. | $mAP_{0.25}$ | $mAP_{1.0}$ | Avg. | $mAP_{0.25}$ | $mAP_{1.0}$ | Avg. |
| Random | 0.48/0.45 | 5.23/4.72 | 2.46/2.20 | 0.48/0.45 | 5.23/4.72 | 2.46/2.20 | 0.48/0.45 | 5.23/4.72 | 2.46/2.20 |
| Uniform tips | 0.49/0.45 | 5.28/5.18 | 2.48/2.39 | 0.49/0.45 | 5.28/5.18 | 2.48/2.39 | 0.49/0.45 | 5.28/5.18 | 2.48/2.39 |
| Uniform good exec. | 0.43/0.46 | 4.79/4.62 | 2.27/2.17 | 0.43/0.46 | 4.79/4.62 | 2.27/2.17 | 0.43/0.46 | 4.79/4.62 | 2.27/2.17 |
| ActionFormer (Zhang et al., 2022) | 0.95/1.04 | 6.33/7.56 | 3.27/3.87 | 1.08/1.14 | 7.50/7.36 | 3.84/3.87 | 0.97/1.14 | 7.03/7.90 | 3.57/4.04 |
同时也排除了外部视角视频或从中提取的任何信号。
相关工作：此前仅有少量研究探索基于可穿戴摄像头的3D人体姿态估计。部分方法假设人体不可见（Jiang & Grauman, 2017; Yuan & Kitani, 2018, 2019; Luo et al., 2021; Li et al., 2023），而另一些方法则通过改造摄像头以捕捉人体来实现部分可见性假设（Rhodin et al., 2016; Tome et al., 2019; Xu et al., 2019; Ahuja et al., 2019; Hwang et al., 2020）。我们的数据集可适用于这两种范式。
现有的手部姿态数据集均来自受限环境（Simon et al., 2017; Moon et al., 2020），且手部动作较为简单（Hampali et al., 2020; Kwon et al., 2021; Ohkawa et al., 2023）；而我们则收录了包含专业音乐家、自行车技师等群体的多样化真实场景下的复杂手部动作数据。
标注：3D人体姿态标注过程分为两个主要阶段：（1）自动真值生成；（2）手动多视角关键点标注/校正。通过这一过程，我们为约1400万帧数据生成了3D关键点标注。
在自动真值生成阶段，我们使用现成的模型（MMPoseContributors, 2020）从每个外部视角预测2D边界框。由于场景中可能存在多人，而我们仅关注佩戴中心视角摄像头的人，因此我们会将MPS输出的3D头盔位置投影出来，以确定哪个边界框对应摄像头佩戴者。随后，我们对每个边界框运行现成的2D人体关键点检测器（MMPoseC-contributors, 2020）来获取2D关键点。最后，我们采用RANSAC算法进行3D三角测量，最小化重投影误差，从而得到摄像头佩戴者的3D关键点。在手动标注阶段，我们将去畸变后的帧和重投影的2D关键点导入我们的多视角标注界面。
3D人手姿态标注过程同样分为两个阶段：自动真值生成和手动多视角关键点标注。与人体姿态标注相比，自动真值生成阶段的主要差异在于我们还会从中心视角帧中检测手部关键点；当场景中存在多人时，我们会利用全身姿态估计的结果来推断手部位置。同样，在手动标注环节，除了外部视角帧外，我们还会向标注员展示中心视角帧，以便他们标注/校正手部关键点。对于手动标注中的每个关节，我们会提供用于三角测量的视角数量，以此作为所提供真值数据可信度的指标。同时，标注员对中心视角图像中手部关节的校正情况，也可作为判断给定中心视角下手部重建难度的依据。
---
Fig. 25 Hand and body keypoints for ego-pose estimation
Ego-Exo4D提供了目前规模最大的手动标注人体姿态数据（37.6万组3D标注/200万组2D标注）和手部姿态数据（6.8万组3D标注/34万组2D标注）。除此之外，我们还提供了920万组/4700万组（人体）以及430万组/2100万组（手部）自动生成的3D和2D真值数据，总计约1300万帧。综合来看，我们拥有的人体和手部3D真值及伪真值数据合计约1400万帧。据我们所知，无论针对中心视角还是外部视角视频，这都是文献中规模最大的人体姿态标注数据集。
自动生成的GT质量如何？在手动标注和自动标注之间，身体和手部的MPJPE分别为3.33厘米和1.87厘米，这一数值远小于最佳基线方法的结果。需要注意的是，Ego-Exo4D针对的是仅使用五台或更少摄像头的真实场景，而非受控环境。这就带来了诸多挑战：比如身体和物体造成的遮挡增多，以及远距离摄像头对手部图像的视野和分辨率有限。尽管存在这些困难，我们的自动生成流程仍优于各基线方法，充分体现了其鲁棒性和有效性。下方的实验进一步表明，使用自动生成的真值数据时，各基线方法的性能均有所提升，这也证明了该方法的有效性。值得注意的是，自动GT与手动GT并非相互排斥，用户可以根据需要选择是否以及如何利用自动GT进行训练。
评估指标：为了衡量人体姿态估计方法的性能，我们计算以厘米为单位的平均关节位置误差（MPJPE），以及以米/秒为单位的平均关节速度误差（MPJVE）。
针对自我手部姿态基线，我们依据MPJPE和PA-MPJPE两种指标进行评估。MPJPE衡量的是绝对平均关节位置误差，而PA-MPJPE则是在对手部姿态执行Procrustes对齐后计算出的平均3D关节误差。这两种指标均以毫米为单位进行报告。
基线方法：我们评估了三种用于人体姿态估计任务的先进基线方法。此外，为了评估基于深度学习的方法的性能，我们设立了静态姿态基线：即将3D人体姿态预测固定为训练集中的平均姿态，再根据IMU传感器的数据对其进行平移处理。这样一来，固定的预测结果就能与每一帧的摄像头位置相匹配。
• Kinpoly：Kinpoly（Luo等人，2021年）提出利用仿真人形模型来追踪头部姿态，并基于动作类型生成全身运动。根据输入的头部姿态和动作类型，Kinpoly能在物理模拟器中合成逼真的人体姿态及人与物体的交互效果。与直接输出关节角度或位置来进行姿态估计的运动学方法不同，Kinpoly最终输出的是关节扭矩，通过控制仿真人形模型来实现姿态估计。
- EgoEgo：EgoEgo（Li等人，2023年）采用两步法来进行以自我为中心的体态估计：首先从以自我为中心的视频中估计头部姿态，随后利用扩散模型基于头部姿态序列生成全身运动序列。在头部姿态估计方面，该方法先借助DROID-SLAM（Teed & Deng，2021年）获取初始头部姿态轨迹，再通过基于学习的方法对头部姿态进行校正，其中包括用GravityNet估计额外的旋转量，以及以光流特征为输入的HeadNet来估计轨迹的缩放因子。全身姿态的生成则采用经过修改的DDPM（Ho等人，2020年）模型，该模型以头部姿态为条件，并在AMASS数据集（Mahmood等人，2019年）上训练。此处我们展示了条件扩散部分的评估结果。
- 基于位置的基线：该基线受到那些利用基于Transformer的模型从稀疏输入中进行人体姿态估计的先进方法的启发（Castillo等人，2023年；Jiang等人，2022年）。我们对这些方法进行了改进，使其能利用3D位置而非传统的参数化方式。
---
人体模型。在训练阶段，该模型经过了40,000次迭代，采用Adam优化器，学习率为$1e^{-4}$。时间分析的窗口大小被设定为40帧，我们最小化了预测姿态与真实值之间的均方误差（MSE）损失。至于输入数据，我们的模型接收的是由设备采集的一系列头部姿态序列。
我们为实现或训练了四种用于自我手部姿态估计的基线模型。为了从单目2D自我视角图像中估计3D手部关节，可以显式地估计2D热图并将其映射到3D空间，也可以直接从提取的2D特征中直接估计3D关节。特征提取器的骨干网络可以是基于CNN的，也可以是基于Transformer的。所提出的基线方法涵盖了不同的模型设计选择。所有基线模型均在单帧图像上运行，不包含时序信息。这些基线模型在人工标注或人工+自动标注的数据集上训练，且仅在人工标注数据上进行评估。
值得注意的是，大多数基线方法在其原始论文中均以生成手部网格作为最终结果。为了适配本次基准测试，我们对其进行了修改，使其仅针对2D/3D手部关节进行训练和监督，而非手部网格。
- THOR-net。THOR-net（Aboukhadra等人，2023年）使用Keypoint-RCNN作为特征提取器来获取2D信息，并显式地生成2D手部关键点热图。随后，该方法利用GraFormer（Zhao等人，2022年）——一种包含图卷积层和注意力层的模型——将2D估计结果映射到3D空间。为使该方法适配我们的任务，我们仅采用THOR-net中的2D到3D姿态映射分支。在GeForce RTX 4090显卡上，针对人工数据集的训练耗时约4小时；而对于结合人工和自动标注的数据集，训练耗时约10小时。
- HandOccNet。HandOccNet（Park等人，2022年）采用基于ResNet50（He等人，2016年）的FPN（Lin等人，2017年）来提取2D特征。随后，该方法使用两个基于Transformer的模块：特征注入Transformer（FIT）用于将手部信息注入遮挡区域，以及自增强Transformer（SET）用于进一步细化2D特征。该方法采用了一种基于回归器的架构，以输出2D关键点、MANO（Romero等人，2017年）姿态以及MANO形状参数，进而预测关节和顶点。为适应我们的基线需求，训练阶段仅使用2D关键点和3D关节位置损失函数。在8块NVIDIA V100显卡上，针对人工数据集的训练耗时约2小时。
• POTTER。POTTER（Zheng等人，2023年）提出了池化注意力Transformer（PAT）来提取2D视觉特征，这种方式在不牺牲性能的前提下显著降低了内存和计算成本……
Table 12 Results for the 3D human body pose benchmark. We report the Mean Per Joint Position Error in cm and the Mean Per Joint Velocity Error in m/s for all the baseline approaches
| Method | Validation | Test |
| MPJPE | MPJVE | MPJPE | MPJVE |
| Static pose | 254.29 | - | 215.87 | - |
| EgoEgo | 24.53 | 0.78 | 26.38 | 0.66 |
| Kinpoly | 21.66 | 0.86 | 24.36 | 0.65 |
| Location-based | 20.73 | 0.74 | 18.51 | 0.64 |
该方法随后应用HybrIK（Li等人，2021年）网格回归头，生成3D关节和网格结果。在GeForce RTX 4090显卡上，针对人工数据集的训练耗时约43分钟；而对于人工+自动标注的数据集，训练耗时约4小时。
METRO。METRO（Lin等人，2021年）提取基于CNN的全局图像特征。随后，该方法利用Transformer编码器对顶点-顶点以及顶点-关节的交互关系进行联合建模，同时输出3D关节坐标和网格顶点。由于METRO的训练严重依赖手部网格监督信息，而我们的标注数据中并不包含此类信息，因此我们借用了在FreiHand（Koloturos等人，2019年）数据集上训练的检查点，仅运行推理过程，并未在我们的基准测试上对其进行训练。
结果表12展示了身体姿态估计任务中所有基线方法的评估结果。首先需要注意的是，静态姿态基线的MPJPE值明显高于其他所有方法。这一发现表明数据集中不同场景下的姿态差异极大，因此试图对所有测试案例采用相同的静态姿态是不可行的。相比之下，所提出的基线实现在性能上取得了显著提升。表13显示了每种方法在不同场景下的表现。尽管这些进展令人鼓舞，但我们认为仍有进一步改进的空间，尤其是在下肢姿态估计以及确保预测结果的时间一致性方面。
我们在表14中报告了身体姿态估计任务中基线模型的MPJPE和PA-MPJPE数值，表15a则列出了它们对应的参数数量和乘加运算（MACs）次数。我们进一步分析了不同手部关节上的误差分布。图26显示，拇指和指尖部位的误差往往较大，这很可能是因为它们更常被遮挡或不可见所致。
对于每个标注的关节，人工标注会记录该关节可见的视角数量。随后，利用可见的2D观测数据进行三维真实值的三角测量生成。这可以被视为真实值不确定性的指标，以及该关节估计难度的体现（通常而言，可见视角越少的关节，其与物体或其他手部部位的缠绕程度越高）。
---
Table 13 Body pose estimation Test results per scenario. We report the Mean Per Joint Position Error in cm
| Scenario | EgoEgo | Kinpoly | Location-based |
| Basketball | 21.36 | 24.98 | 19.89 |
| Soccer | 23.08 | 19.09 | 16.62 |
| Bike repair | 30.18 | 25.19 | 20.61 |
| Cooking | 23.71 | 20.80 | 12.65 |
| Health | 32.57 | 29.23 | 11.63 |
| Dance | 20.93 | 18.03 | 21.15 |
| Music | 33.81 | 30.30 | 15.00 |
Table 14 MPJPE and PA-MPJPE in mm for ego hand pose baseline models. $^{*}$ denotes methods not trained on the benchmark
| Manual | Manual+Auto |
| MPJPE | PA-MPJPE | MPJPE | PA-MPJPE |
| METRO $^{{*}}$ | - | 20.61 | - | 20.61 |
| THOR-net | 51.24 | 17.99 | 47.64 | 17.61 |
| HandOccNet | - | 17.22 | - | 13.56 |
| POTTER | 30.57 | 11.14 | 28.94 | 11.07 |
表15b显示，随着可见视角数量的增加，PA-MPJPE数值会降低。为确保真实值的准确性，所有实验仅针对至少在3个摄像头中可见的关节进行。
## 6 数据获取说明
本节将概述可用数据及其获取方式。
Ego-Exo4D是一个大规模的多模态多视角视频数据集（包含3D数据）及基准测试挑战集。该数据集包含了由至少一台第一人称视角设备（佩戴式Aria眼镜）和多台第三人称视角设备（GoPro相机）拍摄的参与者同步视频。录制工作在全球12个不同的研究机构开展。每次录制内容包含一个或多个参与者（摄像头佩戴者）执行体育类（足球、篮球、舞蹈、攀岩、音乐）或日常活动类（烹饪、自行车维修、健身）任务的多组片段。由于使用了Aria眼镜，我们获得了大量相关的3D数据。
## 录制设备
• 一台Aria眼镜
- RGB摄像头
– 2台单色摄像头
– 7个麦克风
- 2个IMU传感器
4-5台GoPro相机
- RGB摄像头
- 立体声麦克风
## 数据
• 基于传感器的数据（视频、音频、IMU）
– 视频、音频和IMU数据
- 视频：GoPro设备为4K@60FPS（MP4格式），Aria设备为1404x1404@30FPS（VRS格式）
- 音频：Aria设备为7通道音频（VRS格式）；GoPro相机为128kbps AAC压缩、48kHz立体声音频
$^{*}$IMU：Aria设备上左右两侧各1个，采样率均为1kHz
[VRS文件格式]
按拍摄片段划分且时间同步的数据
- MP4视频和音频数据：所有摄像头画面均采用H264格式压缩（速度较慢，24帧，yuv420p）
- 上述内容的缩略版也可供使用（短边分辨率为448像素）
$^{*}$经过裁剪的Aria VRS及轨迹数据
– 为可视化目的而预先渲染的整合了所有视角/摄像头的拼贴视频
Table 15 Analysis for the hand pose benchmark
| (a) Number of parameters and MACS for the different ego hand pose baselines. |
| THOR-net (Aboukhadra et al., 2023) | HandOccNet (Park et al., 2022) | POTTER (Zheng et al., 2023) |
| Params (M) | 59.5 | | | | 37.22 | 14.5 |
| MACs (G) | 123.6 | | | | 15.5 | 5.2 |
| (b) PA-MPJPE for joints that are visible in different number of views (including ego and exo views). Results generated from POTTER (Zheng et al., 2023) evaluation. |
| # visible views | 3 | 4 | 5 | 6 | | |
| PA-MPJPE (mm) | 14.01 | 12.15 | 11.03 | 10.02 | | |
---
Fig. 26 Average PA-MPJPE for each joint. Results generated from POTTER (Zheng et al., 2023) evaluation
• Aria机器感知服务（MPS）的输出结果
$^{*}$所有摄像头的校准后相机参数（内参），存储在VRS文件中
- 所有摄像头的3D相机位姿（轨迹/外参）
$^{*}$静态环境的稀疏3D点云
- 3D视线向量
针对所有拍摄片段及相关摄像头预先提取的视频特征
## 标注信息
- 关键步骤：将程序性活动按时间划分为不同区域，这些区域在层级分类体系中被归类，目的是将高层次目标拆解为关键步骤
- 物体分割掩码追踪结果（涵盖以自我为中心的视角以及至少一种非自我中心视角）
人体及手部关节数据（包含人工标注及自动生成的结果）
- 2D关键点
$^{*}$17个身体关键点
$^{*}2 \times 21$手部关键点
– 3D关节位置
$^{*}$17个三角化后的身体关节
$^{*}2$共21个三角化后的手部关节
## 语言与视频对齐数据
- 专家评论（从外行人的第三人称视角阐述“发生了什么”）
专业教练及领域专家会在视频的关键时刻对任务表现进行评估
- 原子动作描述（从专家的第三人称视角阐述“如何完成”）
– 在视频中密集采样的时间点上生成的文本描述，其中还包含了关于最具信息量的视角以及该动作是否能在以自我为中心的摄像头中看到的相关信息。
叙述并演示（从参与者的视角阐述“为何及如何做”）
参与者会在执行任务时描述自己这么做的原因及方式
## 元数据
任务标签
每次拍摄均由佩戴摄像头的人执行预设任务；相关任务标签可供查询。
• 参与者调查问卷
参与者填写的调查问卷分为事前（pre）和事后（post）两部分，用于评估佩戴摄像头的人的熟练程度，每个领域都有标准化的熟练度分类。
## 实用工具
数据下载器
数据可视化网站
使用示例笔记本
代码工具
所有资源均在此处提供，附带已签署许可证：
### 7 结论
Ego-Exo4D提供了一个强大的数据收集流程、规模空前且真实度极高的数据集，以及用于自我-外部视角下技能活动理解与视频学习的基准测试套件。我们提出了一种可复现的流程，用于在室内外各种环境中采集同步的多外部摄像头数据与第一人称视角数据。该设置被复制到不同国家，以收集一个同质化的数据集。
---
这是首次在动作捕捉服或实验室环境之外采集自我-外部视角数据，能够记录参与者进行技能活动的自然场景——比如厨师在厨房、舞者在排练室、足球运动员在球场上的表现。
我们选取了八个具有代表性的领域，涵盖多种技能活动。我们将这些领域分为身体技能——即需要强化、弯曲或训练人体才能完成的活动，比如跳舞；以及程序性技能——即通过运用工具来操控周围环境的活动，比如烹饪。这两种类型的技能活动此前从未被同时纳入同一个数据集和基准测试中。通过将这两类技能活动整合到一个共同的数据集和基准测试中，Ego-Exo4D有望推动辅助技术的发展，使其突破单一领域或应用的限制。
该数据集附带一系列基准测试、模型、评估脚本、基于网页的可视化工具以及基线模型，旨在帮助研究界探索并应对Ego-Exo4D所带来的挑战。
Ego-Exo4D面临的挑战之一，也是其局限性所在，在于难以在各种场景中优化外部摄像头的位置。由于这些摄像头通常采用固定位置安装，导致大部分外部摄像头拍摄的画面中会出现人体遮挡动作的情况。这有时会影响标注工作，因此我们选择在标注过程中手动挑选合适的外部摄像头。此外，由于活动持续时间的自然差异，数据呈现长尾分布特征。例如，烹饪相关数据的时长比足球多出9倍，因为准备一顿饭所需的时间远长于一次足球训练。不同任务在技能要求上也存在差异；比如，学会将篮球投进篮筐所需训练和专业知识远多于进行新冠检测。这种多样性虽是日常活动的常态，却可能给当前模型的训练带来挑战。
在关键步骤识别与熟练度评估基准测试中，我们研究了两种任务设定：一种是同时输入自我视角与外部视角数据，另一种则仅使用单一视角数据。这些设定有助于分析两种视角之间的互补性与冗余性。或许令人惊讶的是，实证研究表明，在熟练度评估方面，仅使用其中一种视角往往能取得最佳结果。在关键步骤识别任务中，当我们使用简单融合两种视角信息的基线模型时，性能会出现类似下降；然而，采用显式视角不变性训练机制的模型却能利用两种视角取得最优结果。有趣的是，在这两项任务中，最具信息量的视角会因场景而异。例如，在评估演示者熟练度时，对于需要详细分析手-物体交互的场景（如篮球、烹饪），仅使用自我视角就能获得最佳性能；而对于需要从全身信息中获取线索的活动（如攀岩），外部视角则更具参考价值。这些发现揭示了简单视角融合模型的局限性，也呼吁该领域尽快取得进展。
除了该数据集的三大基础：流水线、数据集以及配套的基准测试外，还有两项重要的研究亮点值得关注，它们为未来的研究方向提供了有趣的可能性。
首先，这些视频配有三个层级的语言描述：(i)对正在进行的动作的细致叙述；(ii)参与者根据自身经验对自身活动进行的描述，用以解释他们为何以特定方式行事——我们将其称为“边行动边叙述”；(iii)来自专业导师的评论。这些导师都受过教学或评估他人技能的培训。这些评论与动作在时间上同步，并辅以空间高亮提示，以强调特定的技能执行方式，既展示优秀之处，也指出需要改进的地方——我们将其称为“专家评论”。因此，Ego-Exo4D提供了首个可用于比较表演者和观察者如何相似或不同地反思自身技能的资源。
其次，Ego-Exo4D首次提供了在同一数据集中研究详细手部姿态（包括手与物体的交互）以及全身姿态的机会。近期的一些研究已经展示了在合成环境（Tendulkar等人，2023年）或受控环境（Taheri等人，2020年）中结合这两者的潜力。Ego-Exo4D可以作为基础，推动这些研究方向进一步向真实世界录制场景拓展。
Ego-Exo4D朝着全面理解佩戴相机者迈出了重要一步——尤其是他们为了工作或爱好而提升技能水平的个人目标。正如综述论文（Plizzari等人，2024年）所指出的，能够理解一个人技能的模型将提供终极的辅助伴侣。这样的伴侣可以提供可操作且个性化的反馈（Ashutosh等人，2024年），随后持续监测并量化该反馈对佩戴者技能随时间发展的影响，助力其终身掌握技能。除了视频中的技能理解外，Ego-Exo4D还是深化通用3D视觉（环境重建、相机重定位等）、视频-语言学习（动作与物体定位、多模态表征学习、语言生成）以及传统的外视角活动理解研究的宝贵资源。
---
Fig. 27 With a QR code timer playing back at exactly 29fps, cameras with evenly spaced center-exposures can be precisely time-localized to the QR timer with these multi-QR patterns
### 相机设置与录制细节
### A.1 时间同步
为了实现相机同步，我们使用了预先渲染的二维码序列（即二维码视频）来编码实际时间。我们通过智能手机以29帧/秒的速度依次向所有相机播放这段二维码视频，利用帧率差异来实现相机的精细同步。理论上，在捕捉到二维码变化的帧上解码出的二维码，很可能就是该帧曝光中心时刻所显示的二维码。仅使用一个二维码时，相机的曝光中心时间可能在二维码显示的34.48毫秒范围内任意取值；但若有连续两帧显示相同的二维码，就能将该时间范围缩小到$\pm0.574$毫秒。采用同样的方法，对于59帧/秒的GoPro相机，通过连续3帧即可将同步精度达到$\pm0.558$毫秒（见图27），从而实现亚帧级的同步精度。
我们通过目视比较单帧时刻（如接触帧）的同步视频拼贴图，手动验证了每台GoPro相机与Aria RGB相机的时间差是否在1帧（+16.66毫秒）以内，验证工作分别在每次拍摄的开始和结束阶段进行。我们选择在拍摄开始和结束处进行检查，是基于同步关系呈线性映射且相机时钟速度基本恒定的逻辑——如果开始和结束时误差均为+1帧，那么整个拍摄过程中误差也会保持在+1帧。
每次拍摄的开始和结束处都会播放一段“音频同步”指纹信号，用以同步音频流，但该信号并未被实际使用。
挑战与解决办法：实际上，约70%的录制片段通过我们的自动化流程实现了帧级精确同步。同步不准确会导致已观测到的问题（例如播放过程中手机方向改变、视频播放中断）以及推测性的问题（例如视频并非以精确的29帧/秒速率播放、中心曝光时间不均匀）。为了修复这些片段，我们采用了手动同步方法：由人员根据可精确定位时间的事件来手动选择需要对齐的帧时间戳，比如打火机首次迸出火花、足球与球鞋接触、手沿吉他琴颈快速滑动等。这种方法虽然能处理剩下的约30%的片段，但同步精度较低。
其他替代方案：我们曾尝试并排除了其他同步选项——尤其是使用TentacleSync或Ultrasync的时间码功能。这两种方案都利用LTC将1帧/秒的时间戳编码到连接设备的音频通道中。若要在GoPro上使用它们，我们将不得不放弃立体声模式，而我们为了支持基于音频的研究领域，决定保留该模式。此外，Aria在录制时缺乏符合人体工程学的输入设备，因此必须采用非侵入式的同步方案。
### A.2 拍摄片段分隔
为了节省每次录制所需的准备和收尾时间，我们会连续录制多个“拍摄片段”（即某项任务的单次执行），并使用“拍摄片段分隔符”二维码（不同于用于时间同步的二维码视频）在后期处理中自动区分各个片段。这种方式让我们能够扩大录制规模——尤其适用于单个片段时长不足一分钟的实际场景。数据收集员会为每个拍摄片段记录元数据，通过索引标识它们，并标注参与者ID（匿名唯一标识符）、任务类型（如泡茶、做黄瓜沙拉、进行心肺复苏）以及该片段是否应被剔除（即是否属于活动执行间的准备时间）。
## A.3 录制流程
我们的设备架设流程包括：在录制环境中安置固定的外骨骼相机，并显示二维码以实现时间同步和拍摄片段分隔。图28概述了我们的录制流程。
1. 摆放三脚架，打开GoPro电源，调整相机角度以确保最大程度覆盖人体活动区域。
2. 通过智能手机启动Aria录制。
3. 佩戴Aria眼镜四处走动，为3D重建和相机定位构建基础地图。将Aria直接置于各GoPro镜头前，以匹配其视角。
---
Fig. 28 Overview of the recording procedure
4. 在屏幕外启动二维码时间同步视频，将其显示给Aria的RGB相机。
5. 使用GoPro遥控器开始GoPro录制。将二维码视频显示给每台GoPro相机，同时从空间中央播放音频同步指纹信号。
6. 将Aria眼镜交给（新的）参与者，通过Aria应用进行眼动校准。将“拍摄片段分隔符二维码”显示给一台GoPro并开始录制该片段；片段结束后再次将该二维码显示给同一台GoPro，对每个参与者/片段重复此步骤。若参与者未更换，则无需重新进行眼动校准。
7. 从空间中央播放音频指纹信号。
重新在屏幕外启动二维码时间同步视频，将其显示给Aria的RGB相机，再依次显示给各GoPro相机，随后停止所有相机的录制。
核心摄像设备经过扩展，以满足现场需求和应对地区性挑战。安第斯大学的研究团队为舞蹈拍摄引入了顶部安装的GoPro摄像头，宾夕法尼亚大学团队随后也采用了这种带悬臂支架的安装方式。宾夕法尼亚大学、海得拉巴印度理工学院以及印第安纳大学的研究团队还额外增加了佩戴在头部的第一人称视角GoPro摄像头。
### A.4 Aria后期处理
首先，针对每段完整的Aria录像调用Aria机器感知服务（MPS）流程——这类录像时长通常在20分钟到1小时之间，可能包含多个拍摄片段、片段之间的设备交接过程以及其他准备工作。随后按照前述方法定位该场景下的所有GoPro视频，最后再对Aria和GoPro摄像头拍摄的内容进行时间同步，并完成拍摄片段的拆分，具体细节如下所述。
共有783段Aria录像经MPS处理，数据集内总计包含5035个拍摄片段。其中95.9%的录像在整个录制过程中都能成功实现Aria定位，仅有3.5%的录像存在部分跟踪失败的情况（会导致6自由度轨迹出现短暂空缺）。完全无法定位的录像占0.6%。最常见的失败原因是眼镜受到物理冲击，比如眼镜意外掉落在地面或桌面上。
此外，我们共尝试定位3724段GoPro录像，其中91.4%定位成功。与Aria录像类似，GoPro录像也是按整段而非单个拍摄片段来定位。这种方式尤其适用于体育活动中的极短拍摄片段——否则Aria和GoPro视角之间就没有足够的视觉重叠部分。GoPro定位失败的最主要原因是摄像头对准了无纹理区域（如白色桌面），这类区域缺乏定位所需的视觉特征。由于GoPro是固定不动的，无法像可移动的Aria设备那样通过设备运动来弥补这一缺陷。
关于Aria录像及MPS输出的技术文档和开源工具可在Github $^9$ 及相关文档页面 $^{10}$ 上查看。这些工具包含用于转换、加载和可视化数据的Python及C++工具，还有针对常见机器感知和3D计算机视觉任务的示例代码。
### B 数据收集
为了打造Ego-Exo4D数据集，12个研究实验室历时近两年通力合作。重要的是，我们在各站点开展的数据收集工作是在统一指导方针、场景设定和摄像设备框架下协同完成的。这样一来，数据集既具有多样性，又保持了内在的一致性。本节将详细介绍每个合作站点特有的数据收集细节，比如他们如何招募参与者、采集了哪8种场景中的数据，以及在通用设备基础上新增了哪些采集模式。
图9展示了各合作机构采集的场景类型分布，以及参与数据收集的12个实验室所在位置的地图。需要注意的是，地图上未显示的另外四家机构也属于该联盟成员（比如负责基准测试工作），但并未参与数据收集。它们分别是德克萨斯大学……
---
(a) Cooking Scene
(b) COVID Test Scene
(c) Bike Repair Scene
Fig. 29 Views from two different cameras for each scenario collected in Atlanta, GA, USA
美国奥斯汀分校、沙特阿拉伯阿卜杜拉国王科技大学、意大利卡塔尼亚大学和英国布里斯托大学。
### B.1 卡内基梅隆大学
卡内基梅隆大学重点研究了三种基于技能的活动场景：（1）足球，（2）自行车维修，（3）烹饪。我们用于采集数据的四台外置摄像头被大致排列成正方形，且高度保持一致，以便捕捉活动的全过程。值得注意的是，在足球活动中，还有一个额外的外置摄像头被安置在球门内，从而能够更全面地观察参与者的表现。
足球 在足球场景中，我们与匹兹堡河岸队的专业球员合作，他们代表专家组；卡内基梅隆大学的学生则作为初学者参与。我们在4个不同地点拍摄了足球场景。训练内容包括运球、射门和颠球等多种动作，每位参与者至少表演3分钟。这一场景共产生了约4小时的第一人称视角录像以及18小时的外置摄像头视角录像，总计涉及32名参与者。
自行车维修 在自行车维修环节，我们的专家是来自阿勒格尼县的拥有十年以上经验的资深机械师。为确保真实性，我们前往每位机械师的工作室，允许他们使用自己的工具和设备。针对每辆自行车，我们记录了四项任务，并通过选择不同尺寸、形状、颜色和品牌的自行车来确保多样性。这些任务包括拆卸轮胎、更换/充气内胎、重新安装轮胎以及清洁链条。最终得到了3小时的第一人称视角录像和12小时的外置摄像头视角录像，涉及22辆不同的自行车。
烹饪 在烹饪部分，我们记录了一位专业厨师在其传统厨房环境中的操作。我们选择的菜品是炒鸡蛋，为了增加多样性，厨师采用了不同的烹饪技巧来制作。这一环节共产生了1小时的第一人称视角录像和4小时的外置摄像头视角录像。
所有录制工作均在美国宾夕法尼亚州匹兹堡市进行，严格遵循卡内基梅隆大学机构审查委员会（IRB）的指导原则。每位参与者都事先了解了录制流程，并在参与前签署了知情同意书。
### B.2 FAIR，元数据
我们在纽约及加利福尼亚州的三个不同地点共收集了119段技能演示视频。我们重点关注烹饪和自行车维修领域，邀请了当地为大型餐厅和维修店服务的熟练厨师和自行车技师参与。我们使用了由1台Aria摄像机和4台GoPro摄像机组成的统一摄像设备，未添加其他传感器。
自行车维修 我们的熟练机械师共完成了四项不同的自行车维修任务，总计102段视频。我们特别关注车轮维修（拆卸和安装车轮以及补胎）。虽然我们力求涵盖不同型号的自行车，但数据集中的大多数自行车属于标准车型，其零部件具有通用性。数据集中涉及的地点是一家设备齐全的规模化自行车店。
烹饪 我们的厨师共录制了17段视频，涵盖了五种不同的食谱，包括沙拉、蛋类菜肴和亚洲蒜香面。数据集中涉及的地点是三间每天为数百人准备食物的专业厨房。
内部文档和流程确保了所有参与者都自愿提供知情同意，同意出现在数据集中，且参与完全是自愿的。
总的来说，我们共动员了五名厨师和四名自行车技师。参与研究的厨师和技师均具备高超的技能，所有研究对象都表示他们每天或每周都会进行数据集中所记录的活动。同样，有八名研究对象拥有超过十年的专业经验。
### B.3 佐治亚理工学院
在佐治亚理工学院的数据收集工作主要围绕健康、烹饪和自行车维修这三种场景展开。在这三种场景中，共有34名参与者参与了拍摄，累计采集了279组画面。对于所有
---
场景而言，统一的摄像设备被安置在特定位置：其中两台外置摄像头用于捕捉参与者的手部动作，另外两台外置摄像头则用于拍摄参与者的全身及周围环境。
参与者通过多种渠道招募而来，包括传单、校园组织、邮件列表以及口头推荐。其中五名参与者完成了两种场景的数据采集（四人参与了健康与烹饪场景，一人参与了烹饪与自行车维修场景）。在安排录制会话之前，潜在的参与者会先收到研究说明和知情同意书。每次会话开始时，研究人员会与参与者一起浏览知情同意书，并解答任何疑问。随后，参与者会审阅并签署知情同意书，以确认参与本研究。
不同场景下的录制环境也有所差异，包括参与者的家中、校园会议室以及校内自行车店。图29展示了健康、烹饪和自行车维修三种场景下的典型环境及摄像设备布置情况。下文将分别详细介绍每种场景下的具体数据收集细节。
在健康场景中，参与者坐在桌前使用新冠快速检测试剂盒进行检测。录制工作在校园内的两个不同会议室进行。参与者通过校园邮件列表和当地咖啡店的传单招募而来。每次录制会话持续约40至60分钟，参与者需完成5到7个检测试剂盒的使用，涉及2到4种不同类型的检测试剂盒。整个数据收集过程中共使用了7种不同类型的新冠检测试剂盒。最终，从16名不同的参与者那里共录得了96组画面。
在烹饪场景中，参与者在家中的厨房里按照三种食谱制作菜肴：亚洲沙拉、番茄炒蛋和蒜香面条。参与者通过当地公寓群的邮件列表、以往研究中的参与者推荐以及口头介绍等方式招募而来。每次录制会话持续2到3小时，可捕捉到一道菜从开始到结束的3到6组画面。根据饮食限制和偏好，参与者在会话中会制作2到3种菜肴。参与者会收到食材和食谱的纸质副本，并使用自家厨房的设备来准备食物。最终，从15名不同的参与者那里共录得了71组画面，这些画面在三种食谱之间分布较为均匀。录制工作则在10个不同的厨房环境中完成。
在自行车维修场景中，参与者进行的维修操作包括拆卸车轮、安装车轮、更换内胎以及清洁脏污的链条。我们从校园自行车维修组织招募了技术娴熟的参与者。共有8名不同的参与者，每人
Fig. 30 In Hyderabad, India, cooking was captured in different kitchens with socio-economic diversity. We observe that the same kitchen tools appeared in different shapes
完成了1-3次录制会话。每次会话持续40-60分钟，共录制了5-7组个人自行车维修过程。总计录制了112组视频，展示了不同维修任务间的分布情况。其中一组包含6组视频的录制是在参与者家中进行的，其余则在校园组织的自行车店内进行，如图29c所示。由于该组织拥有大量二手自行车，因此不同视频中涉及的自行车品牌和型号也多种多样。
本研究方案已经过机构审查委员会（IRB）的审核并获批准。
### B.4 海得拉巴信息技术学院
在海得拉巴，我们参与了三种场景的研究：(a)烹饪、(b)足球和(c)音乐。我们针对每种特定场景制定了相应的数据收集策略，具体如下。
我们的主要目标是全面捕捉执行这些活动时的身体和手部动作，以及它们与物体的互动情况。总体上，我们遵循了标准的摄像头设置要求。不过，为了更完整地记录足球活动，我们额外增加了一台外置摄像头；而对于音乐活动，则采用了头戴式Go-Pro摄像头。
这一决策源于我们观察发现：专业音乐家在演奏时往往不会直接注视乐器。因此，头戴式摄像头能够确保手部和乐器的持续可见性，从而提供以自我为中心的视角。
在印度的数据收集工作是在盛夏时节进行的，这导致摄像头因过热而频繁关机。为解决这一问题，我们尽量避免一次录制多个片段，并在两次录制之间将摄像头放入冰盒中冷却。
烹饪方面，我们联系了海得拉巴地区具有不同社会经济背景的参与者，
---
向他们解释了数据收集计划及目标。我们还邀请他们的家人及朋友共同参与数据采集过程。最终，我们与41名知情同意的参与者一起，在海得拉巴及周边地区的19间厨房中录制了视频，形成了丰富的厨房用具词典（见图30），视频中的解说词涉及四种不同语言。此外，我们还努力确保整个数据收集过程中性别比例的平衡。
足球方面，我们联系了海得拉巴的三所足球培训学校，说明了整体录制计划与流程。他们帮助我们招募了参加职业赛事且几乎每天训练的当地足球队，同时也从本校足球队中招募了一些球员。总共我们录制了49名参与者的视频，内容涵盖带球、颠球和罚点球等动作。
音乐方面，我们联系了一所音乐学校，从中招募了4名至少有3年钢琴或吉他演奏经验的音乐家。为了增加多样性，我们要求这些音乐家分别演奏西方乐曲和印度乐曲。
我们的采集协议已经过大学机构审查委员会（IRB）的审核与批准。IRB提出的主要条件包括以下几个方面：(a) 年龄满18岁的参与者才符合纳入项目的要求；(b) 参与者已明确同意让其在视频中的面部和声音内容被收录进发布的视频中；(c) 参与者自愿参与该项目，且不会从视频中获得任何即时经济报酬；(d) 参与者有权在自己选择的环境中开展相关活动。在活动开始前，我们会向参与者详细说明项目内容，并要求他们签署知情同意书。每位参与者在参与过程中都会获得相应补偿。
为了增加多样性，我们选取了年龄跨度从18岁到61岁的不同参与者。此外，这些参与者来自各类专业背景（如教练、软件工程师、数据标注员、项目经理等）。在分享视频前，我们会仔细审查每一段视频，以确保其中不包含敏感内容。
### B.5 印第安纳大学
我们重点记录了烹饪、自行车维修以及音乐演奏场景。所有活动均使用统一的摄像设备采集，部分场景还配备了额外的传感器。烹饪时，4台GoPro摄像机彼此呈90度角摆放：其中2台靠近参与者，用于捕捉手部动作和物体细节；另外2台则放置在较远位置，以拍摄整体场景。音乐演奏时，4台GoPro摄像机摆放在演奏者前方，彼此夹角约为45度。此外，我们还将一台GoPro HERO10摄像机固定在参与者的头部（通过头盔固定），镜头向下倾斜约80度，以便捕捉手部动作。在自行车维修场景中，4台GoPro摄像机同样呈90度角摆放：1台靠近自行车，1台靠近工作台和工具，另外2台则放置在远离参与者的位置，用以拍摄整体场景。
烹饪方面，共有18名参与者完成了72次拍摄，累计视频时长达20.5小时。其中15名参与者是在我校的商业测试厨房进行拍摄。我们提前购置好所有食材和厨房设备，确保参与者到达时即可使用。我们要求他们制作四道菜肴（奶茶、芝麻姜汁沙拉、番茄炒蛋和面条），并提供了相应的打印版食谱。其余三名参与者选择在自家厨房录制，他们制作的菜肴根据其个人喜好而定（一名参与者做了煎蛋、黄瓜沙拉、面条和奶茶；另一名做了炒蛋、芝麻姜汁沙拉、寿司卷和布朗尼；第三名则做了炒蛋、黄瓜沙拉、面条和奶茶）。出于食品安全考虑，我们丢弃了这些做好的菜肴（进行堆肥处理），并未允许参与者食用。
音乐方面，共有17名参与者完成了60次拍摄，累计视频时长达6.5小时。参与者是根据其自报的乐器熟练程度来选拔的，涉及的乐器包括钢琴、小提琴或吉他。我们在4个不同地点进行录制，包括两间录音室、一间办公室以及一间配有钢琴的礼堂。参与者需依次演奏音阶和琶音（2分钟）、我们提供的乐谱曲目（3分钟）、自由演奏（10分钟），随后回顾并谈论演奏中的错误及改进方法（2分钟）。
自行车维修：共有13名参与者完成了108次拍摄，视频时长约8小时。我们最初打算聘请专业的自行车技师，但在规模较小的城市中很难招募到他们。于是我们扩大了招募范围，寻找那些自认为能胜任四项基本自行车维护任务的人：拆卸车轮、更换内胎、重新安装车轮，以及清洁和润滑链条。大部分拍摄是在一所小房子里进行的，这所房子由我校园艺人员用作储物间，能提供类似车库的真实环境。我们为参与者提供了自行车架以及各种用品，包括自行车内胎、打气筒、工具、链条清洁剂和润滑剂，还有手套。为了涵盖不同类型的自行车，我们尽量让参与者自带自行车；同时我们也准备了4辆自行车（其中一辆属于某位作者，另外三辆是从废品店购买的）。大多数参与者大约使用3辆自行车进行拍摄。有一位参与者…
---
选择在一套公寓里拍摄，还有一位由于日程冲突，在大学大楼的走廊而非车库中进行了拍摄。
我们的研究方案已经过学校伦理委员会的审核并获得批准。对于每种场景下潜在的参与者，我们会先安排线上介绍会，向他们说明研究内容并解答他们的疑问。如果他们感兴趣，我们会确定他们要进行的活动以及拍摄的时间和地点，同时发送知情同意书供他们仔细查阅。拍摄当天，我们先请他们签署同意书，随后开始录制他们的活动过程。所有活动均在封闭空间内进行，以确保无人会意外进入摄像头的拍摄范围。我们还会确保该空间内没有涉及隐私的内容，并嘱咐参与者不要使用可能显示私密内容的手机或其他设备。
几天之内，我们会将视频安全发送给参与者，以便他们查看并确认是否愿意与他人分享。他们还需完成一份简短的在线人口统计调查，随后会收到一张亚马逊电子礼品卡作为报酬。我们向参与者明确说明：如果他们不愿分享视频，我们会销毁视频，且他们仍能拿到报酬，不过没有参与者选择这一选项。我们给前来我们场所拍摄的参与者发放了US$20 in gift cards for each hour of their time spent recording (with a minimum of$20面值的礼品卡，行程时间不足一小时的部分也会按最接近的$5). We gave an additional$20面值计算，用以补偿他们的交通费用（比如在我们厨房、自行车维修店、校内工作室或礼堂拍摄时）。对于烹饪和自行车维修活动，如果参与者自备食材或维修用品，我们还会额外给予20美元礼品卡以抵消相关开支。
我们通过在线邮件广告、口头传播、实体传单以及社交媒体发布信息，在美国印第安纳州布卢明顿地区招募参与者。招募对象为年满18岁、自认具备上述活动所需技能，且无需佩戴可能干扰Aria眼动追踪功能的近视眼镜就能完成这些任务的人。
### B.6 新加坡国立大学
在新加坡，我们重点关注以下场景：足球、与健康相关的活动（包括新冠抗原快速检测和心肺复苏术（CPR））以及烹饪。总体而言，我们收集的数据包含约26小时的自我中心视频和117小时的他中心视频，这些视频共分为327个片段。通常我们会遵循标准的摄像头摆放指南；不过针对每个场景，我们会根据实际需求微调他中心摄像头的位置。例如，在用于烹饪的小厨房中，我们会将摄像头放在桌上以扩大其视野范围。
足球方面，我们会在大学的运动场进行录制。参与者主要通过线上招募活动招募来的熟练参与者推荐的途径获得。此外，在户外录制期间，我们偶尔也会邀请周围的路人参与。
健康活动方面，我们在空教室、会议室和户外场地进行录制。心肺复苏术课程则在瑜伽教室或安静的空旷户外场地拍摄。招募参与者时，我们会发布线上招募信息；对于心肺复苏术这类需要专业技能的活动，我们会与专家合作开设培训课程。参与者参加这些课程并接受专业训练后，才会进行后续录制。
至于烹饪场景，由于需要用到厨房，我们便使用实验室伙伴公寓里的厨房，并安排其他参与者前往那里录制。
我们的数据采集工作已获得大学机构审查委员会（IRB）的批准。主要要求包括：参与者需（1）同意参与本研究，（2）同意为本研究目的提供其语音、图像、视频、惯性测量单元及三维扫描数据，（3）同意其面部、纹身和声音可能出现在数据中，（4）有权随时撤回其录入的数据。
在新加坡，高温常常会导致摄像头过热，尤其是GoPro相机，过热可能引发保护性关机，从而中断数据采集。为缓解这一问题，我们会在GoPro相机上放置用湿纸巾包裹的小冰块，以便在录制过程中为其降温。此外，我们还尝试将参与者的录制时间安排在傍晚或阴天。
我们的数据集由约93名经过精心挑选的参与者提供，确保了录制的顺利完成。尤其在足球领域，大多数参与者经验丰富，是所在学校或学院的足球队成员。
### B.7 西蒙弗雷泽大学
我们在多种环境中采集了三种类型的场景数据：烹饪、篮球和新冠检测。共有88名参与者在三种场景中开展了活动，我们共进行了61次数据采集，生成了519个活动片段。
我们使用了统一的摄像设备，并遵循通用的采集指南，同时针对特定场景做了一些细微调整。在烹饪和健康场景中，参与者会与小物件互动……
---
在桌面高度设置下，我们采用“两个近摄、两个远摄”的方案来摆放他中心摄像头，这样既能看清小物件和手部动作，又能捕捉到整个活动过程中的人体姿态。
烹饪场景是通过前往参与者家中、让他们在自家厨房烹饪的方式以分散式方法采集的。这种方式既保证了环境多样性，也体现了参与者的个体差异。我们的数据采集共记录了112次烹饪过程。
篮球场景的数据采集采用“轮流进行”的方式，以减少球员之间的干扰。我们选取了不同经验水平的参与者，从参加国家级比赛的大学篮球队队员到仅偶尔打篮球的业余爱好者均有涉及。最终我们共收集到355段篮球活动视频。
按照健康活动的标准数据采集规范，我们共收集到52段健康活动视频。
我们遵循所在机构的伦理审查委员会（IRB）流程，获得了关于参与者招募策略、研究设置以及知情同意书的批准。所有参与者均同意其数据被采集并用于研究目的；参与者有权要求将自己的数据排除在数据集之外。
我们通过口口相传的方式招募参与者，针对部分活动会联系特定的俱乐部和团体，也会通过大学附属的传播渠道发布广告进行招募。
### B.8 安第斯大学
我们共采集了约40小时的视频资料，涵盖四种不同的场景：三项体育活动（篮球、抱石、舞蹈）和一项程序性活动（烹饪）。图31展示了我们所采集的各种场景示例。总体而言，所有活动共记录了2062段视频。我们采用了统一的摄像设备，并配备了下文所述的针对特定活动的传感器。
抱石运动方面，我们与哥伦比亚当地的一家攀岩馆合作，该馆同时也是教学与比赛中心。我们以该馆为录制地点，招募在此练习或教授抱石运动的参与者。我们重点招募了四个不同专业水平的参与者：初学者、中级者、高级者和职业攀岩运动员。我们聘请了专业的路线设计员设计了33条攀岩路线，这些路线的难度从初级（V1）到专家级（V7）不等。数据采集时，每位参与者需尝试完成七条路线，每条路线有3分钟时间尽可能多地尝试攀爬；路线的选择会考虑参与者的专业水平。我们设置了四台外骨骼摄像头来记录每次攀爬过程：两台水平摄像头面向攀岩墙，另外两台垂直摄像头安装在攀岩墙两侧。因此，这四台摄像头能够完整捕捉攀岩墙及参与者动作的每一个瞬间。我们从40名参与者处共收集到1251段抱石运动视频，确保了视频中参与者的种族、年龄和专业水平具有多样性。
舞蹈方面，我们与一家萨尔萨舞学院合作，将其作为拍摄地点并协助招募参与者。我们招募了三个技能水平的学生：初学者、中级和高级。根据技能水平的不同，每位舞者会表演不同的编舞。初学者只需录制一套编舞，而中级和高级参与者则会根据自身水平额外录制一套。每次尝试持续一分钟，每位舞者会进行六到十次尝试。这些编舞由在该学院任教的专业舞者设计。我们使用了五台动作捕捉相机：四台呈正方形排列以界定舞蹈区域，第五台相机则安装在天花板上。考虑到萨尔萨舞的速度和动作的复杂性，这台第五台相机为后续分析提供了至关重要的视角。我们从三个技能水平的40名参与者那里共收集了600组拍摄数据。
篮球方面，我们从女子职业球队以及我校篮球课的学生中采集数据。每位参与者针对每项篮球练习会进行六到十次尝试。所有拍摄均在我校体育中心的篮球场完成。在此设置中，我们在篮筐周围布置了四台动作捕捉相机，以确保能完整记录每项练习过程。针对这一场景，我们从38名参与者那里共收集了167组拍摄数据。
烹饪方面，我们租用了一间配备所有必要厨具的专业厨房来进行拍摄。我们主要采集两类食谱的数据：蛋类菜肴和饮品。参与者可选择制作煎蛋、炒蛋、番茄炒蛋，或选择拿铁咖啡、茶等饮品。每位参与者可自由决定食谱的制作方式，因此我们的拍摄数据展现了制作各类食谱的多样化方法。在此设置中，我们在厨房四周放置了四台动作捕捉相机，全部对准使用者，以便在不遗漏任何细节的前提下捕捉整个烹饪过程。我们将两台相机安装在面向厨房的台面上，另外两台则分别置于厨房两侧。针对烹饪场景，我们从20名参与者那里共收集了44组拍摄数据。
我校的机构审查委员会（IRB）对我们的研究方案进行了审核并予以批准。所有参与者在参与研究前均签署了知情同意书。
我们与专业的体育活动培训中心合作，协助我们招募具有不同技能水平的志愿者。
---
Exo View
Fig. 31 Egocentric and one exocentric view for each of the recorded scenarios in Bogota, Colombia
这些志愿者事先已熟悉相关活动以及拍摄环境。此外，我们还招募了研究组成员的学生和教职员工的家人、朋友及熟人来参与烹饪环节的拍摄。
### B.9 明尼苏达大学
明尼苏达大学的拍摄工作主要集中在两个场景：抱石攀登和烹饪。共收集了249组拍摄数据，涉及53名不同的参与者。所有数据均使用统一的相机设备采集，未做任何额外添加。
抱石攀登方面，拍摄工作在当地的一家抱石健身房进行，重点针对一面拥有14条不同难度路线（从初学者到专家级）的攀岩墙。我们从42名不同的参与者那里收集了210组拍摄数据。参与者需选择四条至五条路线进行攀爬，且可在拍摄过程中或间隙休息。那些对路线较为熟悉的资深攀岩者能够实时描述自己的攀爬策略。由于参与者可自由选择路线，我们设置的五台动作捕捉相机能够覆盖整面攀岩墙。
烹饪活动是在每位参与者家中的厨房现场采集的。每个厨房中设置了五台外部摄像头，以最大限度地覆盖参与者及其周围环境。我们共记录了9个不同的厨房环境，涉及14名技能水平从烹饪新手到专业厨师不等的参与者。参与者每人专注于三种食谱（炒鸡蛋、希腊沙拉以及手工制作的意大利面），这些食谱在录制当天连续完成。
我们的数据收集方案已经过所在大学机构审查委员会的审核与批准。每次拍摄前，研究人员都会向参与者讲解知情同意书内容，确保参与者了解研究目的及所有相关风险，每位参与者都会根据其贡献获得相应报酬。
参与者是通过口口相传、校园组织以及当地社交媒体（Facebook）社区发布的电子传单招募而来的。
### B.10 北卡罗来纳大学
在北卡罗来纳大学的数据收集过程中，我们重点关注了三种基于技能的活动场景：（1）篮球、（2）足球以及（3）音乐练习。我们利用了三个不同的场所（即篮球馆、足球场和音乐室）来采集每种场景的数据。所有录制工作均在北卡罗来纳大学校园内开展。北卡罗来纳大学的机构审查委员会已对我们的研究方案进行了审核并批准。所有参与者在参与研究前均签署了知情同意书。
为了招募参与者，我们使用了在线研究数据库，当地居民可通过该数据库报名参与我们的研究。我们招募了愿意进行篮球、足球或音乐练习等技能类活动的参与者，无论其技能水平如何。此外，为了招募技能更娴熟的参与者群体，我们还联系了北卡罗来纳大学音乐学院的专业音乐家以及该校篮球队和足球队的运动员。
总体而言，我们共采集了约19小时的第一人称视角视频数据和76小时的第三人称视角视频数据，涵盖了来自56名参与者（41名男性，15名女性）的大约548次活动演示。在这56名参与者中，44人年龄在18至25岁之间，10人年龄在25至50岁之间，2人年龄在50至75岁之间。此外，有26名参与者在其所选活动领域拥有超过10年的经验（如篮球、足球、音乐），13名参与者有1至10年经验，17名参与者经验不足1年。我们采用了上述的标准摄像头摆放指南和相同的录制设备。
---
篮球：所有参与者共进行了388次拍摄，完成了三项篮球练习：米坎上篮、反向上篮和中距离跳投。我们招募了11名来自校队的、拥有10年以上经验的优秀球员。为了增加数据集中的参与者技能多样性，我们也招募了练习经验不足1年的新手球员。数据收集地点为大学篮球馆。
音乐：在音乐场景中，我们要求全部9名参与者分别进行5分钟的音阶与琶音练习以及10分钟的自由演奏，共拍摄27次。所有参与者均来自大学音乐俱乐部，他们自认为在各自乐器演奏方面属于专家级。我们采集的数据集中涉及的乐器包括钢琴、长号、小号和萨克斯风。Ego-Exo4D音乐指南仅要求收录钢琴、小提琴和吉他，但我们认为有必要扩展这一列表以便为该领域收集数据。所有数据均在大学音乐室中录制。
在足球项目中，我们重点开展了三项训练：带球、颠球和罚点球，共有12名参与者进行了133次练习。其中7名参与者是拥有10年以上经验的专家，其余5名则是业余足球爱好者。所有视频均在大学足球场采集。
我们的研究方案已获得机构审查委员会（IRB）的批准。所有参与者在参与研究前均签署了知情同意书。
## B.11 宾夕法尼亚大学
宾夕法尼亚大学主要拍摄不同水平专家演奏乐器、跳舞和烹饪的视频。2023年春夏期间，宾大共为联盟项目采集了95名参与者的521段可用视频，每段视频最多可包含7个视角。
该项目的主要目标之一是捕捉精细的身体动作，尤其是手部动作，涵盖主观视角和客观视角。我们致力于让积极性高的专家们能够充分展示他们的技能水平。
手与物体/乐器的交互区域是理解人类活动及评估其技能的关键。对于宾大采集的场景而言，全面的手部姿态信息尤为重要，尤其是在音乐场景中，手指动作的细微差异就会导致完全不同的表演效果。
我们还观察到，专家在演奏时往往无需注视自己的手。因此我们发现，采用常规摄像头设置进行的初始数据采集在这些场景中缺少了关键的视觉信息，原因如下：
(1) （主观视角下）Aria眼镜的视野有限，且技术娴熟的专家无需注视自己的手，
(2) （客观视角下）参与者的动作会导致频繁的遮挡和自遮挡现象。
头戴式摄像头：安装在头盔上、向下倾斜以捕捉手部/身体区域的摄像头：(1)（主观视角下）它能精准跟随被拍摄者的身体动作；(2)（客观视角下）它专为捕捉手与物体的交互区域而设计，自遮挡情况大幅减少。实际使用中我们发现，这种额外的摄像头对拍摄吉他、小提琴演奏及烹饪场景至关重要。
俯拍摄像头：在以下场景中我们用俯拍摄像头替代头戴式摄像头：(1)钢琴演奏场景，此时俯拍摄像头能达到类似的效果；(2)舞蹈场景，因为头盔会严重干扰参与者的体验与表现。
我们认为项目的目标并非最大化采集时长，而是要促使参与者展示：(1)用于构建场景模型的多样化技巧；(2)体现其技能水平的独特技巧。
为了获取最具代表性的参与者录像，我们力求在数据采集过程中最大限度地提升他们的参与度。具体做法包括：(1)在数据采集前与参与者一同熟悉整个流程，让他们熟悉设备设置；(2)在音乐和舞蹈场景中，允许他们选择自己最喜欢的曲目进行演奏或跳舞；(3)为音乐家设置解说与表演环节，让他们阐述自己对表演的感受。
音乐 对于乐器演奏，被归类为 "physical" 活动，我们采集了音乐家的 (1) 热身（音阶和/或 Etudes）(2) 视奏简单的乐谱， akin to Suzuki Practice 书籍或 Etudes 练习，以及 (3) 自由演奏的片段。我们采集了小提琴、钢琴和吉他的片段，其中一次试验为大提琴与小提琴的二重奏。参与者来自多元化的音乐家群体，涵盖 Penn Orchestra、当地音乐学校以及独立音乐学生。该群体的经验水平从专业教师和演奏者到完全的新手不等。我们共在 37 名参与者中采集了 275 个片段。值得注意的是，在拍摄过程中，我们观察到参与者对用于固定 GoPro 的头盔特别不适；它干扰了他们的头部动作，琴弓有时最终会碰到固定好的 GoPro。为解决这一问题，我们根据受试者的头形增加了额外的衬垫，并将拍摄分成多个小段以便休息。
烹饪 烹饪被归类为 “procedural”，包括准备四道菜：一道蛋菜、一份沙拉、一道面条菜和一份甜点。参与者群体主要由
---
Fig. 32 The Aria Glass ego view, head-mounted semi-ego view, overhead view and other static exo views in playing guitar in Philadelphia, PA, USA
Penn 学生组成，经验水平从业余爱好者到烹饪爱好者不等。由于日程冲突，无法请到专业人士。我们共在 20 名参与者中采集了 81 个片段。整个拍摄过程在三周内完成，主要在团队一名参与者的公寓内进行。该地点通过提供可供日常使用的炉灶和冰箱，加快了我们针对此任务的数据采集。
“Dancing Dance”采集的数据被归类为“身体动作”类，包含四组舞者随着音乐表演舞蹈动作的录像。所记录的舞蹈类型包括林迪舞爵士、宝莱坞舞、拉丁舞和中国民间舞；涉及38名参与者，共采集了165组录像。其中，林迪舞爵士舞者来自费城的Jazz Swing Attacks舞蹈俱乐部。我们通过Instagram取得联系，数据收集持续了一周时间，共进行了一个月。该小组中既有经验丰富的教练，也有初学者舞者。宝莱坞舞者来自德雷塞尔大学的Philly Maza团队，他们在德雷塞尔工程大楼内录制视频；他们虽在全国性比赛中竞技，但也会定期培训新手学员。中国民间舞者则是当地长城中文学校舞蹈俱乐部的成员，以及有竞技舞蹈训练背景的自主学生志愿者。这些录像是在SIG实验室采集的（见图32）。
所有参与者在参与时均年满18周岁，且已签署书面同意书以允许参与此次数据采集试验。该同意书符合IRB指南要求，同时赋予参与者随时退出的权利。所收集的基本人口统计信息不会用于识别参与者的个人身份。针对每位参与者收集的其他数据（如过往相关任务经验、每次训练的平均时长等）也无法用于识别其身份。
## B.12 东京大学
我们在东京针对三种场景采集了视频数据：用于程序性活动的烹饪与健康场景，以及用于体力活动的足球场景。对于所有场景，我们都遵循Ego-Exo4D数据集规定的标准摄像头配置与校准流程。在接下来的段落中，我们将详细介绍每个场景的具体情况，尤其是数据采集方面的独特之处。
烹饪实验方面，我们通过临时雇佣机构招募了12名居住在东京地区的日本参与者。为了收集多样化的行为模式，我们平衡了参与者的性别和年龄结构。这些参与者在日常生活中每周烹饪三天或更长时间。每位参与者需准备三道菜：煎蛋卷、白萝卜生菜番茄黄瓜沙拉以及寿司卷。针对每道菜和每位参与者，我们都录制了有解说和无解说两个版本。在数据收集前，我们会向参与者提供一页纸的食谱摘要，并在视频录制期间展示该摘要，以便他们顺利备餐，同时确保不同参与者遵循一致的烹饪步骤。
烹饪场景的所有视频录制工作均在 rented kitchen studio 中进行，该工作室配备有岛式厨房及所有必需的厨具，录制持续了四天。该工作室位于东京市中心的繁华地段，录制期间能听到一些外界噪音，比如救护车警报声。我们共从12名参与者那里采集了68组录像。其中34组包含解说，另外34组没有解说。每位参与者制作同一道菜时，无论有无解说，所需时间约为35分钟，具体范围从24分27秒（寿司卷）到55分4秒（沙拉）不等。这一时长包含了摄像头同步操作所需的时间。
在烹饪场景录制期间，我们发现由于Aria Glass采样率与东京的电源频率不兼容，部分视频数据出现了闪烁问题。为解决这一问题，我们尽量在白天拍摄，并在使用人工照明时调整帧率。视频处理过程中，我们发现部分exo视频因帧损坏而出现解码错误；不知为何，每个损坏的视频都包含1到3个损坏帧。对此，我们通过用最近的正常帧替换导致解码失败的损坏帧来重新编码这些视频。需要注意的是，只要损坏帧不影响解码，部分视频仍会保留这些帧。此外，GoPro拍摄的原始MP4文件包含视频、音频、data0和data1共4个流，但重新编码后的视频仅包含视频流和音频流。
---
健康研究方面，我们通过临时雇佣机构招募了17名居住在日本东京周边的日本人参与者。为了收集多样化的行为模式，我们对参与者的性别和年龄进行了平衡处理。我们录制了这17名参与者执行两项任务的视频：使用三种检测试剂盒进行COVID-19快速抗原检测，以及在人体模型上实施心肺复苏术。所有录制工作均在两天内于校园内的同一间会议室完成。在进行COVID检测前及录制期间，我们会向参与者提供每种检测试剂盒的使用说明书。出于隐私保护考虑，我们并未向参与者展示或记录任何COVID检测结果。至于心肺复苏术部分，参与者在录制前会参加由东京消防厅提供的急救入门课程；此外，在数据收集前会向他们提供一页纸的心肺复苏步骤摘要，并在视频录制过程中展示该摘要，以确保参与者能顺利执行心肺复苏术且各参与者的操作过程保持一致。我们从17名参与者处共收集了73段视频。其中，所有心肺复苏术相关视频（共17段）均为无旁白录制。对于COVID检测部分，我们录制了17名参与者使用三种检测试剂盒的视频（共51段），同样没有旁白。每位参与者执行心肺复苏术的视频平均时长为9分48秒，其中包括摄像机同步程序；而每位参与者使用三种COVID检测试剂盒的视频平均时长为29分22秒。此外，我们还额外录制了5名参与者使用检测试剂盒时的带旁白视频（共5段）。
足球研究方面，我们收集了14名日本人参与者执行三项基础足球训练的视频：每项训练时长均为两分钟，包括带球训练和颠球训练；罚点球训练则进行十次。在这14名参与者中，有13名是来自大学足球俱乐部的球员，我们通过俱乐部工作人员招募了他们；剩下的1名参与者虽非俱乐部成员，但拥有超过十年的足球经验，属于资深爱好者。所有参与者均为男性，年龄介于18岁至30多岁之间。我们在当地大学的一块户外足球场上进行了为期四天的视频录制，每天有三到四名参与者参加。对于颠球训练，我们要求参与者包含多种动作，如用大腿、脚内侧、脚外侧以及交替双脚来颠球。对于罚点球训练，我们要求参与者向球门右侧射门5次，再向左侧射门5次；在罚点球过程中，会有助手协助参与者捡球，该助手站在球门区域内，可能会被某些摄像机拍到。我们从14名参与者处共收集了42段视频，所有视频均为无旁白录制。
我校的伦理审查委员会已对本研究方案进行了审查并予以批准。我们通过书面材料向参与者说明了视频的目的及使用范围，并在录制前征得每位参与者的同意。尤为重要的是，我们征得了参与者不模糊面部信息的许可，以保留视频的自然性。
### C 参与者
我们提供了参与者自行申报的族群信息。所有研究对象均可选择是否分享此类信息。族群分类依据相关合作实验室定义的特定地区类别进行报告。对于在加利福尼亚州、纽约州以及宾夕法尼亚州匹兹堡市参与我们数据收集的研究对象，并未采集此类信息。
在美国佐治亚州亚特兰大市，居住于佐治亚州富尔顿县的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| Asian | 23 |
| White | 8 |
| Hispanic/Latino | 3 |
美国印第安纳州布卢明顿：居住在印第安纳州门罗县的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| Asian | 22 |
| Black | 1 |
| Middle Eastern | 1 |
| White | 18 |
| Prefer not to say | 1 |
美国明尼苏达州明尼阿波利斯：居住在明尼苏达州亨内平县的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| White | 41 |
| Hispanic/Latino | 4 |
| Asian | 8 |
| Black | 1 |
日本东京：居住在东京的参与者中，100%的人自行申报的族群归属如下：
---
| Ethnicity | Number of participants |
| Asian (Japanese) | 45 |
印度海得拉巴：居住在海得拉巴的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| Asian (Indian) | 95 |
美国北卡罗来纳州教堂山：居住在北卡罗来纳州奥兰治县的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| White | 20 |
| Indian | 1 |
| Asian | 13 |
| African American | 9 |
| Hispanic/Latino | 3 |
| Prefer not to say | 3 |
加拿大不列颠哥伦比亚省温哥华：居住在温哥华的参与者中，100%的人自行申报的族群归属如下。需要注意的是，本次研究中的受试者选择不使用任何预设类别，而是自行描述其身份。
美国宾夕法尼亚州费城：居住在宾夕法尼亚州费城县的参与者中，100%的人自行申报的族群归属如下：
新加坡：居住在新加坡的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| African/Nigerian | 4 |
| Asian | 9 |
| White/Caucasian | 10 |
| Chinese | 26 |
| European | 1 |
| Iranian/Persian | 14 |
| Italian | 1 |
| Jamaican | 2 |
| Kazakh | 1 |
| Kyrgyz | 2 |
| Middle Eastern | 1 |
| Mixed | 3 |
| South Asian | 2 |
| Ethnicity | Number of participants |
| White/Caucasian | 10 |
| Asian | 30 |
| African American | 3 |
| Hispanic/Latino | 4 |
| Prefer not to say | 43 |
| Ethnicity | Number of participants |
| Chinese | 65 |
| Indian | 3 |
| Singaporean | 2 |
| Indian/Chinese | 2 |
| Prefer not to say | 17 |
哥伦比亚波哥大：居住在新加坡的参与者中，100%的人自行申报的族群归属如下：
| Ethnicity | Number of participants |
| Black/Afro-descendant/Afro-Colombian | 7 |
| Mixed | 104 |
| Palenquero | 1 |
| Raizal | 1 |
| White/Caucasian | 38 |
| Prefer not to say | 23 |
参与者调查问卷分为两类：任务前问卷和任务后问卷。任务前问卷旨在了解参与者自认为的技能水平，而任务后问卷则用于收集参与者对任务完成情况的反馈。两类问卷的问题列表详见表16，这些问题/答案的设计兼顾了一致性和填写便利性，因为参与者需要在每次录制前后填写这些问卷。问卷采用选择题和是非题形式，开放式文本字段仅少量使用。
### D语言描述
正如主论文中所介绍的，Ego-Exo4D为视频提供了三种形式的平行文本语料库：专家评论、旁白与动作描述，以及原子动作描述。表17
---
Table 16 Questions for the pre-task and post-task questionnaires.*: Only applicable for non-dance/non-music scenarios. †: Only applicable for Dance/Music scenarios. ‡: Bouldering scenario only
| Question | Answer Type |
| Pre-Task | Recording Location | multiple choice |
| How many times do you estimate you have done this task? | multiple choice |
| How often do you carry out this task? | multiple choice |
| How many years have you been doing this task? | multiple choice |
| Have you taught this activity to others before? | Yes/No |
| Have you recorded a video of yourself carrying out or explaining this task before? | Yes/No |
| Have you watched videos of others doing this task before? | Yes/No |
| Do you have any qualifications/professional training that are related to the task? | Yes/No |
| How long does it typically take you to complete this task? $^{*}$ | text |
| How long would you typically spend in one practice session of this task? $^{\dagger}$ | text |
| Post-Task | Self Reported Quality | multiple choice |
| Completed Route? $^{‡}$ | Yes/No |
| What mistakes/errors did you make during this task? | text |
| Any issues with the familiarity of the tools/location? | text |
| Did it take longer/shorter than your initial expectation and why? | text |
| How did you find wearing the camera? | multiple choice |
| How easy was the setup for recording? | multiple choice |
| Any other comments to take on board? | text |
展示了不同场景下的示例，凸显了它们在风格和视角上的差异。图33展示了各场景和标注类型的词云图，体现了词汇和词频方面的差异。
在图34中，我们进一步从三个维度阐述了每种文本语料库的特征：总词汇量、每个视频的平均字幕数量以及字幕长度。详情请参阅图注。
## D.1 专家评论工具
为了收集专家评论，我们开发了一款基于网页的工具，该工具已作为Ego-Exo4D数据集和基准测试套件的一部分开源发布。详见图35。这款名为Narrator的应用程序支持播放Ego-Exo4D技能演示视频、记录带时间戳的口头评论，还能导出和查看带有评论的视频。作为一款基于网页的平台，Narrator可通过浏览器直接访问，无需复杂设置，对系统要求也较低，无需本地安装。这些特点使得我们能够高效地招募和管理分布在不同地区的专家。我们承认EPIC Narrator（Damen等人，2018年）是这一项目的开源灵感来源和代码基础。
### D.2 原子动作描述统计
原子动作描述的汇总统计数据详见表18。
#### E 基准测试：标注与基线
我们为EgoExo4D采用了统一的数据集划分方式，适用于所有基准测试。划分是在“拍摄片段”层面进行的，即每个拍摄片段被分配到训练集、验证集或测试集中。源自单个拍摄片段的衍生内容（如分段剪辑）会直接继承原拍摄片段的划分归属。
此外，划分还根据活动类型和熟练度评分进行了分层处理。这样做是为了确保训练集、验证集和测试集中的数据分布均衡，各类活动和熟练度水平都能得到成比例的代表。为防止数据泄露，参与者及其所有相关素材仅被分配到其中一个划分中。这一约束尤为重要，因为部分参与者贡献了多个拍摄片段，必须避免他们的数据在不同划分间共享。最终，我们将总计5045个拍摄片段划分为3082个训练片段、842个验证片段和1121个测试片段。
---
Table 17 Example excerpts from all three language types. Experts are charged with critiquing the performance of the participants, pointing out strengths and weaknesses and explaining how the participant's approach influences the quality of their skill demonstration. Narrate and
act更关注摄像头佩戴者的行为，有时也会简要说明行为原因。原子动作描述则针对所观察到的具体动作。
| Domain | Atomic Action Description | Narrate and Act | Example commentary |
| Cooking | C turns on heat on the gas burner. | So I'm going to start out by boiling some water. | Here the preparer is checking the pasta for done-ness. It's important to do this and not rely on what a package says. Use a package that gives you cooking time as a guideline and start to check your pasta, you know, a few minutes before the maximum amount of time given for cooking that specific pasta. |
| Health | C inserts the nasal swab in the buffer test tube on the covid test kit pack with his right hand. | Open the newly picked up tube, place the swab in the tube, stirring the swab in the tube. | So this individual has done a great job of making sure that her nasal passageways have adequate time in contact with her nasal swab. Something that might make it a little bit easier for her is if she could tilt her head back just a bit so that she wouldn't have to strain quite so much to get that access. Additionally, she did a great job making sure that the nasal swab was about an inch into her nose. |
| Bike repair | C holds the bike wheel with her left hand. | And then I will locate the location of the valve cap and pull the tube out of the wheel. | It's a great method to always double check or do a pre-check before beginning work on a bicycle to make sure the issue that you are working to fix is the only issue that is occurring. If not, you could find a secondary issue or something else that may be greater than the one you are currently working on. |
| Music | C puts the bow on the violin with his right hand. | So regardless of how tricky left hand passage work is you want to always keep your bow completely independent. | This is a really great use of the bow and decision to play in this middle third of the bow. This is exactly where they should be playing. And we can hear that the note envelope is very consistent and that it's very controlled and that it also allows the rhythm to be stable... |
| Basketball | C runs towards the hoop with the basketball. | Now I'm going to do a reverse layup, stepping right, left, going up with the right hand. | As the ball goes through the basket, she catches the ball and does an excellent job of keeping the ball high, never allowing the ball to drop down to her waist area, but keeping the ball high in her upper chest, neck area throughout the drill... |
| Bouldering | C places both hands on a red hand hold. | So I know that a lot of these holds, I'm going to need my weight leaning to the left to utilize | Once the climber recovered from the foot cut, the climber pasted the right foot on this foot job and then did a toe match. So brought this foot in and then dropped the right foot down and to the right to again counterbalance so that the climber can then move their left hand out left. But at this point the climber is just a little too gassed to be able to make this move, which is unfortunate. |
---
Table 17 continued
| Domain | Atomic Action Description | Narrate and Act | Example commentary |
| Soccer | C kicks the ball to the right with his right foot. | | Angle approach, start position is good, maybe slightly squarer than 45, but again because the intended outcome from previous actions is into the left, by being a little squarer is going to help him be able to rotate his hips to move to the left, but on a slight angle is good and help him with his technical action. |
| Dance | C moves her right leg forward while swinging both hands. | Ring and wing, one, two, one, two, three | She is doing these steps in place when she's traveling forward. At this point, she really could be further forward all the way, still on the screen, but towards the edge of the screen, if she was to take bigger steps. And she could take bigger steps if she bends her knees and lowers her center of gravity and then extends her leg outward... |
Table 18 Atomic action descriptions per-domain statistics
| Category | 1x Coverage | 2x Coverage | # of Descriptions | Descriptions Per Minute | Unique Nouns | Unique Verbs |
| Basketball | 778 | 116 | 50299 | 53.330 (+~ 26.049) | 201 | 134 |
| Bike Repair | 202 | 160 | 31317 | 24.891 (+~ 9.555) | 642 | 393 |
| Cooking | 360 | 266 | 189225 | 27.745 (+~ 12.843) | 1744 | 823 |
| Dance | 307 | 417 | 43663 | 30.852 (+~ 13.915) | 504 | 468 |
| Health | 299 | 97 | 43769 | 24.304 (+~ 11.234) | 619 | 384 |
| Music | 85 | 75 | 10695 | 4.278 (+~ 8.969) | 255 | 163 |
| Rock Climbing | 1270 | 103 | 32246 | 32.350 (+~ 11.974) | 301 | 224 |
| Soccer | 225 | 53 | 31253 | 38.467 (+~ 23.957) | 229 | 125 |
| All | 3526 | 1287 | 432467 | 31.293 (+~ 20.209) | 2924 | 1481 |
#### E.1 关联关系
标注工作：我们采用多阶段标注流程来处理配对的自拍-外摄视频：
- 第0阶段：物体枚举。标注员在物体于以自我为中心的视频中清晰可见的帧内，用边界框标记出所有在该视频中活跃的物体，并给出自由形式的文字描述。
第1阶段：以自我为中心的视频标注。标注员观看以自我为中心的视频，同时会看到(a)文本以及(b)上一阶段标注的某个物体的边界框。随后，标注员会在该物体可见的所有视频帧中为该物体标记分割掩码。Segment Anything（Kirillov等人，2023）可通过点击操作高效生成分割掩码。
第2阶段：外摄视频标注。如图36所示，标注员观看时间上同步的外摄视频，同时会获得(a)文本以及(b)该物体的多个以自我为中心的分割掩码。随后，标注员会在该物体可见的所有外摄视频帧中为该物体标记分割掩码。
哪些属于感兴趣的物体？我们关注的是在活动执行过程中某一时刻处于活跃状态的物体。这些物体不仅因对活动至关重要而值得关注，而且由于它们会移动或状态发生变化，追踪起来颇具挑战性。具体而言，我们的标注指南要求标注员列出：(a)摄像头佩戴者通过身体或工具与之互动的物体；(b)与活动相关的其他物体（如厨房台面等支撑面）；(c)身体部位（手和腿）。需要注意的是，每当物体的视觉状态发生变化时（采用Grauman等人，2022年提出的不归点定义），它就会被标记为新物体（例如，标注员会将番茄和切片番茄列为两个不同的物体实例）。
哪些物体需要标注分割掩码？对于涉及物体较少的场景（音乐、篮球和足球），我们会标注所有物体实例。而对于烹饪、健康和自行车维修场景，由于时间和预算限制，我们会根据物体出现的频率和大小来抽样标注物体实例。
---
图33：不同场景和标注类型的词云图。原子动作描述的词汇通常聚焦于人的手部以及他们如何完成动作（例如使用左手/右手/手），而“叙述”和“行动”则描述高层次的目标或物体。专家评论中包含的词汇种类最为丰富，包括针对各场景的专业术语，如医疗领域的拭子/溶液，以及自行车维修中的车轴/阀门。
左侧管件地板螺母
车轴刹车片
计时自行车灯
下部阀门轮毂
手轮
扳手
原子动作描述：篮球
传球、球场、篮板球
篮球
地板上的上篮、持球、弹跳
球、手
向左/向右跳跃、篮筐、投篮
投篮、接球
一个鼻孔、桌子、打开、侧面
挤压
插入
放下拭子、设备
五个马桶
放置、移除、放回、测试
样本
导管、指示管
Nasatek、握住、支撑物、放置
右侧、停留、名称、玻璃、物品、教练、上篮、Verla、范围
膝盖弯曲
反向。
一个、思考、随便什么、跳跃
投篮、英语、中等
钻孔、需要、保持、解释、手
目标、允许、动力、正确、反向、肘部
右手上篮、篮板、篮圈、释放
左侧、球
步伐、篮筐、引导
跳跃、良好、进行、投篮
Expert Commentary: Soccer
约束条件方面，我们将物体枚举阶段标注的所有物体根据其在整个数据集中的出现频率（高/低）和物体尺寸（小/大）进行分类。随后，在考虑标注时间和预算的前提下，从这些类别中均匀采样物体实例，进而进行分割掩码标注。我们忽略了面积小于150像素的所有物体。针对烹饪场景，我们还排除了香料、混合物和液体等物体，因为它们往往太小，无法在外视视角中匹配。最后，对于在自拍视频中可见帧数少于10帧的物体，我们跳过了其中心视角的掩码标注。
应该以多高的帧率进行标注呢？我们以每秒1帧的速度标注分割掩码，不过对于音乐场景的视频，由于时长极长，我们将其标注帧率设为0.1帧/秒。
---
Fig. 34 Comparisons between the vocabulary size (left) number of captions per video (center) and length of caption (right) for the atomic action description, narrate and act, and expert commentaries. Statistics are shown both per scenario and over the entire dataset. We see that the expert commentary tends to use a much larger vocabulary and more lengthy statements, since commentators are giving more elaborate statements of advice and explanation. The temporal density of the atomic action descriptions is greater than the other two forms, since
the annotators are pausing to describe every single action of the camera wearer. Narrate-and-act comments use a vocabulary size in between the other two, reflecting the more free-form speech (compared to the written atomic actions) is used. Trends are mostly similar across scenarios, with the most noticeable differences being the temporal density; it is particularly high for both cooking and soccer. In the former, there are many procedural steps, whereas in the latter there are many instances of the drill being executed.
总体而言，我们的标注流程为1335对自拍-外视视频中的5566个物体生成了分割掩码。大约400万帧被标注，最终得到74.2万个自拍分割掩码和110万个外视配对分割掩码。除此之外，我们还标注了36.7万个仅限自拍的分割掩码。综合起来，分割掩码总数达到了220万个。表19按场景详细列出了配对掩码的情况。
### E.1.1 自拍与外视的对应关系
空间基线模型的实现细节。为了将SegSwap（Shen等人，2022年）的架构适配到我们的对应问题上，我们额外通过向模型输入查询掩码作为第三个输入，让模型以所关注物体的分割掩码为条件。具体而言，我们首先将自我中心视角图像、外中心视角图像以及查询掩码（作为二值掩码）传入视觉骨干网络。随后，我们将得到的特征展平为三个序列，再将其送入包含交替的自注意力层和交叉注意力层的跨图像变换器。我们首先利用查询掩码特征来关注查询视图中的特征，进而利用这些特征对目标视图中的特征进行交叉注意力计算。这使得模型能够基于输入的掩码，对两个视图中的特征进行推理。最终得到的序列为
---
Fig. 35 Our expert commentary web tool called Narrator provides an easy-to-use platform for experts. Experts can stream video, record audio commentaries, and provide proficiency ratings and justifications. The
tool also supports drawing on the video feed (see red arrow and circles on the right frame), allowing for manual spatial grounding during commentary
这两个视图的序列会被“还原”为图像形式，再传入解码器以预测两个视图中的物体分割掩码。我们还会将目标视图的特征传入分类头，用以判断查询物体是否在目标视图中可见。
我们采用逐点二元交叉熵损失和Dice损失，来训练模型执行掩码预测任务，这些损失是基于预测掩码与真实掩码计算的。我们仅使用所关注物体在两个视图中都可见的帧对，并在两个视图中对预测掩码应用这些损失。在推理阶段，我们仅采纳目标视图中预测的掩码，而丢弃查询视图中预测的掩码。我们使用二元交叉熵损失，针对序列中的所有帧训练用于执行可见性分类的分类头。时空基线模型。为了促使模型学习自我中心视角与外中心视角下物体的关联，我们训练XView-XMem来跟踪一系列交错排列的自我中心视角和外中心视角帧中的物体——即每个自我中心视角帧之后跟着一个外中心视角帧，反之亦然，如图37所示。
为了缓解跟踪漂移现象（包括同一视图内及不同视图间的漂移），我们还尝试将XSegTx的嵌入向量传入XMem的工作记忆中。由于这些嵌入向量是在每帧中独立训练的，用于指导掩码解码器，因此它们包含了关于所关注物体的丰富信息。XMem中ResNet提取的图像特征，会与XSegTx的SA（自注意力）层和CA（交叉注意力）层多个层级输出的编码嵌入向量相融合。随后，这些融合后的特征会被转化为键并存入记忆中以供跟踪使用。
对于我们的空间基线模型，我们将所有视图的图像下采样至480×480分辨率，同时采用填充操作以保持图像的原始宽高比。在图像骨干网络方面，我们使用了与SegSwap相同的ResNet50（He等人，2016年）预训练权重，并在训练期间冻结其参数。我们的跨图像变换器架构也遵循Shen等人（2022年）的设计。我们采用的批量大小为32，优化器选用Adam（Kingma & Ba，2014年），初始学习率为0.0002，在训练5万次迭代后学习率降至0.0001。所有实验均在单块Nvidia RTX A6000 GPU上运行，共迭代20万次。
在我们的时空基线模型中，我们使用了与XMem（Cheng & Schwing, 2022）相同的视觉骨干网络（ResNet50（He等人，2016））和架构。我们唯一的修改在于每一帧插入工作内存的信息。我们首先从ResNet和XSegTx中提取查询帧与目标帧的特征。随后将对应的特征拼接起来，并通过简单的二维卷积投影回原始特征维度。我们采用8个交替出现的自我视角与外部视角的图像序列进行训练。模型使用AdamW作为优化器，学习率为0.00001，训练迭代次数为50,000次，权重衰减系数为0.05。批量大小为8对视频片段。我们用预训练的XMem模型来初始化我们的模型，并保持ResNet骨干网络以及微调后的XSegTx模型参数不变。
---
Fig. 36 Multi-stage annotation process for Ego-Exo Relation annotations. After enumerating all active objects in the egocentric video, an object is selected and annotated with segmentation masks in all frames of the egocentric video. Then, annotators are given the exo video as
Table 19 Relation annotation statistics. We show statistics for each scenario including the number of takes, total number of objects annotated and the number of egocentric and exocentric segmentation masks
| Scenario | # Takes | # Objects | # Ego Masks | # Exo Masks |
| basketball | 394 | 602 | 21820 | 31165 |
| bike | 210 | 714 | 53886 | 71763 |
| cooking | 478 | 3481 | 549507 | 888384 |
| health | 127 | 570 | 77596 | 86585 |
| music | 112 | 153 | 33624 | 5599 |
| soccer | 12 | 22 | 2411 | 2475 |
| Total | 1335 | 5566 | 741965 | 1091135 |
需要注意的是，我们并未应用任何数据增强手段。
数据方面，我们使用Ego-Exo数据集中的1028个片段来训练和评估本基准测试中的模型。具体而言，我们采用了各基准测试通用的数据划分方式：838个片段用于训练，201个片段用于验证，295个片段用于测试。我们提取具有对应物体掩码标注的自我视角与外部视角的图像对用于训练，最终得到约19.3万对训练数据。
结果方面，我们在图38中按不同活动类别展示了实验结果。我们发现，某些活动（如篮球、足球）由于物体形状和外观变化较小，因此更容易建模；而另一些活动（如烹饪和自行车维修）由于物体外观、形状和尺寸的多样性更大，建模难度也相应更高。
well as the textual descriptions and sample egocentric segmentation masks for the object of the interest, and mark segmentation masks for the specified object of interest in all the frames where it is visible
Table 20 Breakdown of ego-exo translation results per scenario for the subtasks of ego track prediction (IoU) and ego clip generation (LPIPS)
| Scenario | IoU (%) $\uparrow$ | LPIPS $\downarrow$ |
| Basketball | 14.5 | 0.41 |
| Soccer | 17.0 | 0.51 |
| Music | 4.5 | 0.30 |
| Health | 12.9 | 0.40 |
| Bike | 6.4 | 0.52 |
| Cook | 9.5 | 0.47 |
Fig. 37 Overview of our spatio-temporal XView-XMem baseline model for the correspondence task
---
Fig. 38 Performance of both baselines per activity scenario
Fig. 39 Correspondence evaluated across different object sizes in the target (exo) view. The object sizes range from $7e^{-6}\%$ to 11% pixels in the target view
我们还专门评估了基线模型在预测极小物体掩码方面的能力。为此，我们根据预测物体尺寸占图像像素的比例来对验证集进行划分。结果显示，所有基线模型在处理极小物体时表现较差，而随着物体尺寸增大，其性能也逐渐提升。
### E.1.2 自我视角与外部视角转换
在表20中，我们列出了不同场景下自我视角与外部视角转换的结果，其中轨迹预测采用GNT-mask，视频片段生成则使用DiT-pix。我们可以观察到这两个子任务呈现出相似的趋势：在篮球和足球场景中，模型的表现优于自行车和烹饪场景，这合乎常理，因为自行车和烹饪场景中的物体更为复杂且多样（参见图39）。
## E.2 细粒度关键步骤识别
数据标注细节方面，我们收集了关于关键步骤（即有助于完成程序性任务的操作）的手动标注，并同步构建了关键步骤分类体系。图40展示了标注用户界面。我们为标注员提供了时间同步的自我视角与外部视角视频的合成视图。每条关键步骤标注包含起始和结束时间戳、类别标签、自然语言描述，以及一个标识该步骤对任务完成是否至关重要的标志。标注员可以通过搜索控件查找关键步骤标签，这些标签会以层级树的形式显示完整路径，例如：制作黄瓜番茄沙拉 > 准备调味汁 > 放入碗或罐中 > 加入盐。
由于摄像头佩戴者执行的活动并非预先设定，因此无法在标注前建立完整的关键步骤分类体系。为解决这一难题，我们设计了一种迭代式、数据驱动的分类体系开发流程。首先，我们利用网络上的食谱和说明文章等各类资源来初始化分类体系。这个初始分类体系涵盖了活动中通常会出现的关键步骤，但针对摄像头佩戴者在视频中表现出的特定变体而言，它仍是不完整的。随后，在每次迭代中，标注员会收到当前的分类体系，并被要求在遇到体系中未涵盖的动作时添加新关键步骤（见图41）。任何新添加的关键步骤仅在每次标注会话期间有效，在其他会话中不可见。一批视频标注完成后，我们会审核这些新添加的关键步骤以确保其有效性，然后更新分类体系并重复该流程。经过三次迭代后，我们确定了最终的分类体系，之后便使用它重新标注全部视频以保证一致性。
数据集划分 我们数据集中的关键步骤呈现出明显的长尾分布特征。为应对这一问题，我们将每个关键步骤的样本数上限设为20个，最终仅分析278个独特的关键步骤。为简便起见，我们仅考虑层级结构中的叶节点关键步骤。探索包含父节点的层级结构是一个有前景的研究方向，但我们将其留作未来的工作。总体而言，用于关键步骤识别的数据集包含130,979个片段，每个片段的平均时长为11.34秒。具体而言，训练集包含74,342个片段，其中14,326个来自自拍视角，其余来自外摄视角。验证集由23,636个片段组成，其中包括4,517个自拍视角片段；测试集则有33,001个片段，其中6,373个属于自拍视角（见表21）。
实现细节 我们使用的视频片段大小为$8 \times 224 \times 224$，除EgoVLPv2外，所有基线模型均以1/32的速率采样帧（EgoVLPv2遵循其预训练方案，采样4帧）。补丁尺寸为$16 \times 16$。训练时，我们将帧的较短边缩放为[^256]到[^320]范围内的随机值，随后从缩放后的视频中随机截取一个$224 \times 224$区域。
---
Table 21 Keystep annotation statistics. We report the statistics by grouping our 17 activities into three scenarios: cooking (11), bike repair (4), and health (2). Statistics are listed for takes $^{\dagger}$ and keystep segment $^{\ddagger}$
| Scenario | Takes | Ego Keystep Segments | Ego + Exo Keystep Segments | Taxonomy |
| Count | Duration (total / avg $^{{\dagger}}$) | Count (total / avg $^{{\dagger}}$) | Duration (total / avg $^{{\dagger}}$) | Count (total / avg $^{{\dagger}}$) | Duration (total / avg $^{{\dagger}}$) | Activity | Keystep |
| Cooking | 464 | 65.47h / 8.47m | 19,034 / 41.02 | 58.08h / 10.99s | 99,854 / 215.20 | 307.71h / 10.99s | 11 | 527 |
| Bike repair | 293 | 13.51h / 2.77m | 2,573 / 8.78 | 11.82h / 16.54s | 12,865 / 43.91 | 59.12h / 16.54s | 4 | 82 |
| Health | 331 | 18.72h / 3.39m | 5,995 / 18.11 | 17.03h / 10.23s | 30,723 / 92.82 | 86.99h / 10.23s | 2 | 58 |
| Total | 1,088 | 97.71h / 5.39m | 27,602 / 25.37 | 86.94h / 11.34s | 143,442 / 131.84 | 453.82h / 11.34s | 17 | 664 |
评估时，我们在视频中间截取单个时间片段，将视频的较短空间边缩放至224像素，并从该时间片段中选取3个空间裁剪区域（左上、中心、右下），以覆盖片段内更大的空间范围。最终预测结果是这3个裁剪区域得分的平均值。我们在一台配备4块NVIDIA V100 GPU的服务器上训练模型共100个周期，批量大小为32。我们选取在验证集上表现最佳的模型检查点，并在测试集上对其进行评估。
按关键步骤划分的结果分析：我们在图42中展示了各步骤性能的更详细分析结果，对比了使用自我视角视频与外部视角视频进行训练的情况。可以发现，在多个步骤中外部视角视频的性能优于自我视角视频，其中“进行对话并提出不同问题”这一关键步骤从外部视角中获益最多。相反，在涉及小物体操作的步骤中，如“切胡萝卜”和“拆开新管子”，自我视角更为有效。这一现象与外部摄像头的摆放位置有关——它们通常距离被拍摄对象较远，因此能捕捉到更广阔的视野，但可能会遗漏活动中的细微细节。我们希望这些发现能为未来关于如何在训练中有效利用外部视角视频的研究提供借鉴。
### E.3 节能型多模态关键步骤识别
能耗分析工具：我们采用了为PyTorch开发的现成分析软件，来计算公式1中所需要的总乘加运算（MACs）量和内存传输量（MB），进而估算总能耗。这些数据都经过了时间归一化处理——总能耗以功率（毫瓦）的形式表示。下面我们将介绍该分析工具的各个组成部分。
- 计算运算（MACs）：我们利用PyTorch原生的FLOP计数器来获取前向传播过程中的总FLOP数。随后将其换算为MACs（大约2个FLOP等于1个MAC）。
- 内存传输（字节）：我们将GPU作为处理设备，借助PyTorch的内存分析工具来获取前向传播过程（即model.forward()调用）中执行的所有操作及其对应的GPU内存占用情况。总内存占用为各项操作内存占用的总和。
- 传感器采集：针对每种模态，我们通过该模态被激活的时长来衡量其采集的样本数量。我们要求传感器至少采集1秒钟的样本（大约100个样本），因为瞬时采集的能耗无法准确界定。
---
Fig. 40 The keystep annotation tool shows a composite view of the time-synchronized ego-exo videos and the keystep time segment annotations. Each annotation consists of the start and end timestamps, a category label, a natural language description, and an essential/optional flag
能耗等级：正如主论文中提到的，效率与更佳性能之间存在天然的平衡关系。因此，我们通过为每个等级设定功耗预算来对模型进行评估：高效等级的预算为20毫瓦，高性能等级的预算为2.8瓦。我们选取高效等级的预算标准是基于当前单模态高效架构（如X3D-XS (Feichtenhofer, 2020)）的能耗情况，同时也为未来多模态模型在该预算范围内运行做准备。对于高性能等级，我们设定的预算值足以支持使用像LaViLa (Zhao et al., 2023)这样的强大Transformer-based动作识别模型。一旦模型超出预算，在我们的设置中它会用最新的预测结果来应对后续所有步骤。
### 完整的基线模型详情
- X3D-XS (Feichtenhofer, 2020)：这是一款仅基于视觉的模型，包含X3D-XS特征编码器，该编码器会逐步扩大各层的特征尺寸和表征能力，之后再缩小尺寸以实现更好的性能与效率平衡。
Fig. 41 Adding new keysteps to a taxonomy. Annotators utilize a specialized widget to introduce new keysteps at any level within the existing taxonomy hierarchy
它是我们的关键步骤预测器系列中最轻量的模型。该编码器的深度系数为2.2，输入为以15帧/秒速率采样的4帧大小为$160 \times 160$的RGB图像。
---
- LaViLa（Zhao等人，2023年）。这是另一种纯视觉模型，其视觉特征编码器通过CLIP风格的视频-语言预训练进行训练。为了提升特征质量，该方法利用预训练的大型语言模型（LLM）为未标注视频生成文本描述，并对现有叙述进行改写，从而增加视频-文本对的数量。具体而言，我们采用了在Ego4D数据集上预训练的冻结版TimeSformer（Bertasius等人，2021年）-Base（TSFB）视觉编码器。为了生成目标帧的特征，编码器会从以目标帧为中心的时间窗口内，以30帧/秒的速度采样12张尺寸为$224 \times 224$的RGB帧，并在两端填充边界帧，从而构成16帧的剪辑。
• Light-ASDNet（Liao等人，2023年）。这是一种纯音频模型，它将音频表示为频谱图，并通过将二维卷积拆分为沿频谱图时间维度的一维卷积来高效编码这些频谱图（Liao等人，2023年）。在我们的设置中，频谱图符合Kaldi（Povey等人，2011年）规范，分别包含196个时间窗口和160个梅尔频率通道。
- 音视频后期融合（AV-LF）。这是一种音视频模型，它使用线性层对视觉特征（由X3D-XS或LaViLa编码）和来自Light-ASDNet的音频特征进行后期融合。
实验设置：我们通过考虑关键步骤预测场景来实例化该任务，其中多模态样本以流式方式到达。如上所述，我们将视觉和音频作为任务模态，视觉部分是由每秒30帧的RGB帧组成的流，音频模态则由时长为0.4秒、采样率为16 kHz的时序对齐单声道片段构成。不过，该设置也可以扩展以纳入惯性测量单元（IMU），甚至其他传感器。我们在总共211个长度不一的测试场景中以5帧/秒的速率评估所有模型，其中最短的场景约为15秒，最长的场景约为34分钟。我们会过滤掉所有步骤都属于背景类的场景。
实现细节：我们使用交叉熵损失对所有关键步骤预测模型训练150个周期。优化器采用AdamW（Loshchilov & Hutter，2019年），初始学习率为$10^{-4}$，权重衰减系数为$10^{-5}$。纯视觉模型的批量大小设为512，纯音频模型和音视频模型的批量大小则设为384。
按模态划分的性能分析：在图43中，我们对关键步骤标签进行了详细分析，发现高效层级中表现最佳的纯视觉模型与其纯音频对应模型相比，在性能上的提升或下降幅度最大。我们观察到，在活动不产生明显声音的步骤中（例如加入青辣椒、拿芹菜等），纯视觉模型相比纯音频模型能带来显著提升；另一方面，当活动涉及能强烈反映任务性质的声音时（例如翻炒蛋液、切黄油等），仅使用音频的效果最佳。
最后，我们设想未来关于该任务的研究将探索更复杂的学习策略，或许可以通过强化学习进行训练，以便自适应地决定何时采样哪种模态，而非依赖固定的启发式规则。另一个有前景的方向是研究高效的基于Transformer的识别骨干网络（Xu等人，2021年；Zhao & Krähenbühl，2022年），它们能在不显著影响模型效率的前提下提升识别性能。
## E.4 流程理解
完整的基线详情：基于图的基线。基于图的基线由关键步骤分配和程序推理组件构成（见图23(a)）。
当监督信息为流程级别时（即视频片段未标注标签，仅提供关键步骤名称），会应用关键步骤分配（A1）来为给定的视频片段生成伪标签。这一过程借助在自我视角-外部视角视频及叙述数据上预训练的EgoVLPv2模型（Lin等人，2022年）来实现。通过EgoVLPv2将视频片段和关键步骤名称映射到共享的视频-语言空间中。随后，我们根据余弦距离将每个视频片段分配到表征空间中最接近的关键步骤。在实例级监督的问题设定中（即训练与测试阶段所有片段均具备关键步骤标签），我们采用真实标签而非来自关键步骤分配的标签。此外，我们还提供了一个基线模型，该模型用关键步骤识别任务（A2）得到的标签预测结果来替代关键步骤分配步骤。需注意，训练集中置信度评分低于20%的片段已被剔除。
程序推理组件（B）会根据关键步骤的共现情况为每个流程创建转移图。在该图中，每个节点代表一个关键步骤类别，有向边则表示从一个节点转移到另一个节点的概率。一条边$A \rightarrow B$会根据从训练视频中收集的统计数据被赋予如下权重：
$$ P(B|A)=\frac{\#times keystep~B~follows~keystep~A}{\#occurrences~of~keystep~A} $$
---
Accuracy difference between using exo-view and ego-view videos (%)
Fig. 42 Keystep recognition evaluated per keystep label on a validation split, comparing training with only ego-view videos versus exo-view videos. The accuracy delta (exo-ego) is displayed, where a positive value indicates better exo and a negative value indicates better ego performance.
(a) Vision improves over audio
Fig. 43 Improvement (left) or degradation (right) in keystep recognition performance per keystep label, when comparing the most efficient vision-only (X3D-XS (Feichtenhofer, 2020) + s = 10) and audio-only (Light-ASDNet (Liao et al., 2023) + s = 5) models from the
(b) Audio improves over vision
high-efficiency tier. The plots show the 15 keysteps where improvement or degradation are largest. $\Delta$ reports the amount of improvement/degradation
测试时，该图被用于执行流程理解并回答关键步骤层面的问题。具体而言，给定当前片段$s_i$：1) 关键步骤$y_{prev}$被预测为前一个关键步骤，其置信度评分等于转移概率$P(y_i|y_{prev})$，其中$y_i$是片段$s_i$的推断或真实关键步骤标签；2) 根据经验概率$s_i$，片段$\frac{\# \text{ training videos containing } y_i}{\# \text{ training videos}}$被预测为可选片段；3) 片段$s_i$被预测为流程错误，其评分等于从关键步骤历史中缺失的关键步骤$y_i$到$y^{prev}$的转移概率之和，即$\sum_{y_{prev}} [y^{prev} \notin S_{i-1}] \cdot P(y_i|y_{prev})$，此处$[-]$为指示函数；4) 关键步骤y被预测为可能缺失的关键步骤，概率为$[y_i \notin Y_{i-1}] \cdot P(y|y_i)$；5) 关键步骤y被预测为未来的关键步骤，概率为$P(y_i|y)$。
端到端基线。该基线旨在提供一种直接从输入视频片段进行流程理解的端到端方法。该基线通过将用EgoVLPv2（Pramanick等人，2023年）提取的视频片段特征输入三个专门的多层感知机，来预测前一个关键步骤、可选关键步骤以及下一个关键步骤。图23(b)展示了该基线的架构。训练时，利用基于图的基线生成的伪标签对多层感知机进行监督，通过均方误差（MSE）评分使预测的概率分布与监督标签对齐。与基于图的基线类似，缺失的关键步骤和流程错误也是从多层感知机的输出中预测的。
---
### E.5 熟练度评估
演示者熟练度评估的标注说明：我们依据参与者调查（见C节）和专家评论（见D.1节）来获取该任务的标注数据。参与者调查中包含了关于任务相关过往经验的回答，例如“您从事这项任务有多少年？”以及“您是否具备与该任务相关的资质或专业培训？”（完整列表见表16）。另一方面，专家评论由特定任务的专家完成，他们会对每位参与者拍摄的视频给出1到10分的熟练度评分（见D.1节）。在与针对各场景聘请的专家协商后，我们设计了特定场景的转换函数，利用调查数据和专家评论来估算参与者的熟练度得分（见表22）。例如，在篮球和足球项目中，我们利用从业年限来确定技能水平，因为通过分析视频我们发现这是衡量技能的准确指标；而在抱石运动中，我们则根据参与者成功完成的路线的最高难度级别来确定技能水平。
演示熟练度评估的标注说明
表23展示了专家评论及其对应的标注标签示例，这些标签用于指示该评论是否表明操作执行良好和/或提供了改进建议。
### 基线实现细节
演示者熟练度评估：我们采用TimeS-Former（Bertasius等人，2021年）架构作为基线模型。TimeS-Former是一种专为视频动作识别/分类设计的视频Transformer，它引入了一种新颖的解耦时空注意力机制。我们将所有视频的最小维度分辨率调整为448像素，采用16帧的剪辑尺寸，帧率为16 FPS。模型在8块Quadro RTX 6000 GPU上训练15个周期，使用交叉熵损失对单个剪辑进行分类。
演示者熟练度评估：我们的实验采用了Action-Former（Zhang等人，2022年），这是一种视频动作定位模型。与传统将时间窗口作为输出结果的动作定位方法不同，由于我们的标注中每个良好执行或改进建议仅对应一个时间点，因此我们采用时间戳回归的方式进行处理。相应地，我们调整了ActionFormer的后处理策略和评估指标。在我们的任务中，预测的时间戳对应于经过非极大值抑制（NMS）后保留的帧。我们移除了ActionFormer的回归头，从NMS后保留的帧索引中推断预测的时间戳。我们还修改了ActionFormer的NMS模块，使其依赖
| Table 22 Annotations for demonstrator proficiency estimation. We designed scenario-specific conversion functions that take in participant surveys and expert commentary assessments to estimate proficiency of participants (i.e., novice, early expert, intermediate expert, and late expert). Legend: $X = \text{years of experience performing the task}$, $T = \text{professional training in the task}$, $H = \text{highest difficulty level solved by participant in bouldering}$, $N = \text{estimated number of times performing the task}$, $P = \text{average proficiency rating from expert commentary}$ |
| Scenario | Novice | Early Expert | Intermediate Expert | Late Expert |
| Basketball | $X \in [0, 1)$ | $X \in [1, 3)$ | $X \in [3, 10)$ | $X \ge 10$ |
| Soccer | $X \in [0, 1)$ | $X \in [1, 3)$ | $X \in [3, 10)$ | $X \ge 10$ |
| Dancing | $X \in [0, 3)$ | $X \in [3, 5)$ | $(X \in [5, 10)) \vee ((X \ge 10) \land \neg P)$ | $(X \ge 10) \land T$ |
| Bouldering | $H \le V3$ | $H == V4$ | $H == V5$ | $H \ge V6$ |
| Music (violin) | $(X \in [0, 3)) \vee (N \in [0, 500))$ | $(X \in [3, 5)) \vee (N \in [500, 1000))$ | $(X \in [5, 10)) \vee (N \in [1000, 10000))$ | $(X \ge 10) \vee (N \ge 10000)$ |
| Music (guitar) | $(X \in [0, 1)) \vee (N \in [0, 500))$ | $(X \in [1, 3)) \vee (N \in [500, 1000))$ | $(X \in [3, 10)) \vee (N \in [1000, 10000))$ | $(X \ge 10) \vee (N \ge 10000)$ |
| Music (piano) | $(X \in [0, 1)) \vee (N \in [0, 500))$ | $(X \in [1, 5)) \vee (N \in [500, 1000))$ | $(X \in [5, 10)) \vee (N \in [1000, 10000))$ | $(X \ge 10) \vee (N \ge 10000)$ |
| Cooking | $P < 3.5$ | $P \in [3.5, 5)$ | $P \in [5, 8)$ | $P \ge 8$ |
---
Table 23 Annotations for demonstration proficiency estimation. We annotated expert comments about a participant's task execution with tags indicating whether each comment describes a good execution or suggests tips for improving skills. Note that the same comment might describe one aspect of the task as being good while suggesting improvements in another aspect (e.g., see row 1)
| Scenario | Expert comment | Good execution | Tips to improve |
| Basketball | Nice release. I like the follow through here. You'd like to see the guide hand maybe up a little bit higher on the release of that shot. Maybe to give it better ball control when you're letting go of the shot. | Yes | Yes |
| Basketball | Great footwork, left foot take off, lifting of the right knee and extending that body up. Love how he's looking up, checking out the backboard, shooting hand behind the basketball. Nice job. | Yes | No |
| Basketball | He's also really far away from his body and the more he can keep his arm up by his ear, it will give him the most opportunity to make the basket without the defense interrupting. | No | Yes |
| Bike repair | It's a great method to always double check or do a pre-check before beginning work on a bicycle to make sure the issue that you are working to fix is the only issue that is occurring. If not, you could find a secondary issue or something else that may be greater than the one you are currently working on. | Yes | No |
| Bike repair | As you can see she clearly slipped on loosening the nut which essentially creates damage to the surface of the nut itself and can round out the nut. | No | Yes |
| Bouldering | The climber was efficiently able to position herself with one hand on each hold at the start and had, once her hands were positioned, she matched her feet on the hold and efficiently moved to the next hold. | Yes | No |
| Bouldering | And since she popped out and is swinging out, she can't really keep the tension through her one arm because she's so locked off. So it caused her to kind of just fall off the wall and lose all tension throughout all of her body. | No | Yes |
| Cooking | You can see there, she's not able to stir properly. She has to push it around, which means that the lime is not gonna be very evenly distributed among the pieces of tomato and cucumber. | No | Yes |
| Cooking | Using a grinder for fresh pepper is an excellent way to get a lot of flavor. The fresh grind of pepper as opposed to buying already ground pepper really expels the oils and everything in those peppercorns and allows the flavor to be as big as it can possibly be. | Yes | No |
预测时间戳之间的$\mathcal{L}_{1}$距离，而非Zhang等人（2022年）研究中使用的片段间IoU。训练期间，我们保留了Zhang等人（2022年）提出的分类损失，同时将回归损失替换为Kwak等人（2020年）定义的损失函数。我们使用Omnivore特征（Girdhar等人，2022年）训练模型，这些特征是从所有视频中提取的，剪辑尺寸为32帧，步长为16帧。
演示者熟练度评估的特定场景结果
我们在表24中展示了特定场景的结果。在烹饪场景中，TimeS-Former在 Egocentric视角下的表现优异，因为在此类场景中，感兴趣物体和手部姿势的特写视图对于评估技能至关重要。另一方面，在抱石运动的测试数据中，该模型在外视角下的表现更佳，因为
---
Fig. 44 Distribution of demonstrator proficiency scores per scenario
人体姿态：手部姿态挑战赛共收到了四份提交作品，其中三份的表现优于最佳基线方法，如表25所示。表现最佳的参赛者将MPJPE指标优化了3.19厘米。
CVPR 2024挑战赛：我们在CVPR 2024的EgoVis研讨会上举办了两项人体姿态挑战赛，旨在鼓励研究人员探索并利用该数据集。总共有八名参赛者，他们平均分为人体姿态挑战组和手部姿态挑战组。
整体人体姿态是反映熟练程度的有效指标。遗憾的是，除了篮球场景外，在测试集上的大多数情况下，它的表现都无法超越多数类基线模型；这一现象反映出验证集与测试集之间存在分布差异。
### E.6 自拍人体姿态
Table 25 Leaderboard of Ego-Exo4D Body Pose challenge at EgoVis CVPR 2024
| MPJPE | MPJVE |
| Location-based (baseline) | 18.51 | 0.64 |
| Levelwise att ViT | 18.09 | 0.62 |
| UCB Ego | 17.19 | 0.57 |
| Multi-Scale Model Fusion | 15.32 | 0.55 |
第一名：多尺度模型融合方法（裴宝琪、黄一飞、陈果、徐吉兰、刘一诚、何玉萍、潘康华、卢彤、王立民、王亚丽、乔宇）
他们没有重新设计新的基线模型，而是利用现有的基于位置的基线模型，通过融合包含1到6层Transformer的不同模型的预测结果来提升性能。这种方法帮助他们应对数据分布的变化并稳定预测结果。
---
Table 24 Breakdown of results for demonstrator proficiency estimation across scenarios. Top-1 accuracies per scenario for the TimeSFormer model
| Scenario | Val | Test |
| Majority-class | Ego | Exos | Ego + Exos | Majority-class | Ego | Exos | Ego + Exos |
| Basketball | 35.66 | 56.64 | 56.64 | 51.75 | 46.71 | 79.64 | 71.86 | 76.65 |
| Cooking | 50.94 | 56.60 | 45.28 | 49.06 | 39.54 | 19.77 | 33.72 | 32.56 |
| Dancing | 43.31 | 42.52 | 31.50 | 32.28 | 46.62 | 43.24 | 40.55 | 42.57 |
| Music | 44.44 | 69.44 | 50.00 | 58.33 | 73.24 | 56.34 | 45.07 | 50.70 |
| Bouldering | 0.00 | 27.67 | 18.24 | 17.61 | 19.57 | 39.13 | 43.04 | 43.04 |
| Soccer | 74.42 | 65.11 | 37.21 | 41.86 | 72.73 | 65.15 | 31.82 | 30.30 |
Table 26 Leaderboard of Ego-Exo4D Hand Pose challenge at EgoVis CVPR 2024
| MPJPE | PA-MPJPE |
| POTTER (baseline) | 28.94 | 11.07 |
| PCIE EgoHandPose | 25.51 | 8.49 |
| Hand3D | 30.52 | 9.30 |
| POTTER-ensemble | 28.68 | 10.24 |
通过结合不同版本基线模型的输出，他们将MPJPE指标优化至15.32。第二名：UCB Ego团队（Brent Yi、Vickie Ye、Georgios Pavlakos、Lea Müller、Maya Zheng、Yi Ma、Jitendra Malik、Angjoo Kanazawa）
UCB EGO团队提交给Ego-Exo4D人体姿态挑战赛的作品，是一种条件性人体运动扩散模型。该模型利用30Hz的SLAM姿态数据直接采样SMPL人体参数。该模型仅在AMASS数据集上训练，因此存在向Ego-Exo4D数据集迁移时的领域适配限制。为解决这一限制，团队引入了AdapterNet来估算地面高度，并将程序化任务交由基线模型处理，同时让扩散模型专注于物理活动建模。这种混合方法使他们的MPJPE指标达到17.19厘米。第三名：层级注意力Vision Transformer模型（徐从胜、刘金帆、刘一凡、吴书文）。
作者提出了一种结合两种Vision Transformer（ViT）结构的模型，以充分利用粗粒度和细粒度信息来进行3D人体姿态估计。他们采用带有8个注意力头和3层的基线ViT模型进行粗粒度估计，采用带有16个注意力头和32层的Huge-ViT模型进行细粒度估计。他们通过加权策略结合两种ViT模型的输出：赋予细粒度结果更高的权重，从而平衡局部细节与全局信息。这种加权方法使MPJPE指标达到18.09厘米。
手部姿态：手部姿态挑战赛共收到4份提交作品，其中3份的表现优于基线方法POTTER（Zheng等人，2023年），如表26所示。表现最佳的参赛者将MPJPE指标优化了11.85%，将PA-MPJPE指标优化了23.31%。
## 第一名：PCIE EgoHandPose模型（Chen等人，2024年）
作者们提出了手部姿态视觉Transformer（HP-ViT）。HP-ViT由ViT骨干网络和Transformer头部组成，用于估计三维关节位置，采用了MPJPE和RLE损失函数。具体来说，该模型采用了基于RLE（Li等人，2021年）的回归损失，以缩小输出分布与输入分布之间的差距。实验表明，以ViT-Huge（Dosovitskiy，2020年）为骨干网络的模型性能最佳。采用不同设置的集成模型也有助于降低整体误差。
## 第二名：Hand3D（Pavlakos等人，2024年）
作者们在EgoExo4D挑战赛的图像上直接应用了新近推出的HaMeR模型，观察到了非常出色的性能。HaMeR是一种前馈模型，它以单张手部图像及手部侧别（左手或右手）作为输入，以MANO参数化手部模型（Romero等人，2017年）的形式输出手部的三维重建结果。HaMeR采用了完全基于Transformer的架构设计，以ViT-H（Dosovitskiy，2020年）为骨干网络，随后连接Transformer头部。作者们进一步揭示了该方法的局限性：当遮挡/截断情况极为严重（仅能看见少数手指）、手腕位置或手部朝向模糊不清，以及原始手部边界框裁剪不够精确时，该方法的表现会受到影响。
第三名：POTTER-ensemble（裴宝琪、黄一飞、陈果、徐吉兰、刘一程、何玉萍、潘康华、卢彤、王立民、王亚丽、乔宇）
作者们通过多尺度模型融合方法解决了相关问题。具体而言，作者对基线方法POTTER（Zheng等人，2023年）进行了改进：(1)纳入了多个上采样维度，即128、256和512；(2)在模型的三维卷积操作之前加入了动态池化操作；(3)通过组合/集成这些模型来提升模型的泛化能力。
---
## F 详细贡献说明
该项目是过去两年间众多机构密切合作的结果。初始作者代表了项目的领导团队。Kristen Grauman发起了该项目，担任技术负责人，牵头制定了识别与能力评估基准及专家评论，并协调相关工作组。Andrew Westbury担任项目经理，负责项目的各项运营事务。Lorenzo Torresani主导了采集域的开发，牵头建立了关系与自我姿态基准，并协调相关工作组。Kris Kitani负责多摄像头设备的开发，并在数据标注与组织方面为Ego-Exo4D工程团队提供支持。Jitendra Malik担任科学顾问。作者Triantafyllos Afouras、Kumar Ashutosh、Vijay Baiyya、Siddhant Bansal、Bikram Boote、Eugene Byrne、Zach Chavis、Joya Chen、Feng Cheng、Fu-Jen Chu、Sean Crane、Avijit Dasgupta、Jing Dong、Maria Escobar、Cristhian Forigua、Abraham Gebreselasie、Sanjay Haresh、Jing Huang、Md Mohaiminul Islam、Suyog Jain、Rawal Khirodkar、Devansh Kukreja、Kevin J. Liang、Jia-Wei Liu、Sagnik Majumder、Yongsen Mao、Miguel Martin、Effrosyni Mavroudi、Tushar Nagarajan、Francesco Ragusa、Santhosh Kumar Ramakrishnan、Luigi Seminara、Arjun Somayazulu、Yale Song、Shan Su、Zihui Xue、Edward Zhang、Jinxu Zhang在项目实施、数据采集和/或标注开发过程中发挥了关键作用。作者Pablo Arbeláez、Gedas Bertasius、David Crandall、Dima Damen、Jakob Engel、Giovanni Maria Farinella、Antonino Furnari、Bernard Ghanem、Judy Hoffman、C. V. Jawahar、Richard Newcombe、Hyun Soo Park、James M. Rehg、Yoichi Sato、Manolis Savva、Jianbo Shi、Mike Zheng Shou、Michael Wray则是该项目的教职员工及高级研究员PI。
摄像头设备方面，Rawal Khirodkar提出了自我-外部摄像头设备的软硬件规格，并协助设计了采集协议。Sean Crane研究了多种硬件方案，最终确定了设备配置，并协助起草了包括推荐器材在内的采集指南。Devansh Kukreja开发了同步与拍摄分离算法，尝试了不同的设备选项（如摄像头、时间码盒、安装方式），设计了数据传输接口；他还负责管理数据导入流程、与Aria团队的协作、EgoExo相关代码的集成，以及.vrs文件的使用。
在Aria方面，Jing Dong和Vijay Baiyya负责利用Aria MPS获取相机位姿、校准数据、点云及眼动数据，为论文及补充材料制作3D/4D可视化内容，并在整个项目中担任Aria团队的主要联络人；其中Jing负责算法的开发与验证，Vijay则负责Aria MPS的工作流及基础设施开发。Jakob Engel担任技术与科学顾问，带领团队开发了Aria定位与点云算法。Kiran Somasundram协助设计了采集设置与时间同步方案。Xiaqing Pan协助协调Aria工程团队以支持EgoExo4D项目。Mingfei Yan、Prince Gupta和Sach Lakhavani担任Aria的产品经理及项目组织负责人，确保Aria设备能在项目中顺利应用。Kelly Forbes负责促成相关协议，处理在全球范围内使用Aria设备录制EgoExo4D数据集的法律事宜。Richard Newcombe发起了Aria/Ego4D合作，并在整个项目中担任科学顾问。此外，我们要感谢Project Aria团队全体成员的贡献，如Engel等人（2023）所列，包括负责Aria软硬件工程组织的Carl Ren和Sean Diener，以及担任Aria设备技术负责人的Renzo De Nardi。
洛斯安第斯大学的帕布罗·阿尔贝拉埃兹负责数据收集工作，并参与整体项目设计；玛丽亚·埃斯科瓦尔负责各阶段的数据收集、采集流程与工作流设计、数据检查、录入、编码及元数据生成；克里斯蒂安·福里瓜负责各阶段的数据收集、参与者招募、知情同意书设计、数据检查以及与录制地点的沟通；克里斯蒂娜·冈萨雷斯负责第一阶段的数据收集、采集流程与工作流设计以及IRB管理工作；安吉拉·卡斯蒂略负责第二阶段的数据收集、人工数据检查与数据分析。
佐治亚理工学院的詹姆斯·M·雷格是数据收集与协议设计的主要协调人，同时担任整个项目的负责人；比克拉姆·布特负责数据收集的协调工作，包括招募与数据录入；菲奥娜·瑞安参与了数据收集工作；奥黛丽·索瑟兰德负责IRB相关工作的协调，并参与招募工作。
新加坡国立大学的郑寿明是数据收集与协议设计的主要协调人，同时担任整个项目的负责人；乔雅·陈参与了协议设计、摄像头设置设计以及各阶段的数据收集工作；刘佳伟参与了协议设计、摄像头设置设计以及各阶段的数据收集工作；付新竹参与了各阶段的数据收集工作；宋晨楠参与了各阶段的数据收集工作。
Meta公司的安德鲁·韦斯特伯里是我们站点数据收集工作的负责人，负责场景选择、拍摄环节的组织、参与者招募、数据的整理与传输以及相关审批手续的办理。在加利福尼亚州，唐浩和梁凯文也协助完成上述各项工作，他们主要负责自行车维修相关事务。在纽约，库克雷贾·德万什和丁亚历克斯负责烹饪场景的数据收集工作。米格尔·马丁也协助了加利福尼亚州的数据收集工作，并负责相关事宜的组织。
---
我们当地的摄像设备由相关人员负责维护。厨师陈伊顿和多米尼克·艾因扎为所有烹饪类数据的收集提供了技术指导、参与者招募及协调支持。迪米特里·埃尔斯顿负责自行车类数据收集的协调工作，并担任技术负责人。阿德里安·萨拉斯协助完成了加利福尼亚州的抱石运动试点数据收集工作。在所有Ego-Exo4D数据收集项目中，库克雷贾·德万什持续与各大学沟通并优化录制流程，同时解决当地录制过程中出现的各类问题。
北卡罗来纳大学教堂山分校的格达斯·贝尔塔修斯是数据收集工作的主要协调人；莫海米努尔·伊斯兰是所有场景下数据收集及元数据处理的主要负责人；单伟负责音乐和足球场景下的数据收集及元数据处理工作；卓杰负责足球场景下的数据收集及元数据处理工作；奥卢瓦图米尼努·奥贡托拉负责音乐场景下的参与者招募及数据收集工作。
卡内基梅隆大学的Rawal Khirodkar开发了自动3D人体关键点提取流程，并为数据集的CMU部分收集了足球、骑行、机械操作和烹饪场景的子集。Sean Crane负责数据收集、IRB文档处理、数据采集、与参与者沟通以及CMU部分的数据处理工作。Abraham Gebreselasie运行了基于ActionFormer的基线模型，用于演示熟练度基准测试。Eugene Byrne在Meta公司任职期间，担任该数据集、摄像设备、处理流程及关键步骤标注的初始设计与实施方面的工程负责人。随后在CMU，他协助开展了识别基准测试，实现了Li等人（2021年）提出的Ego-Exo迁移方法（关键步骤识别的三种基线方法之一），还参与了Zhang等人（2022年）的关键步骤动作检测的初始实现，并在标注和数据质量方面提供了协助。
西蒙弗雷泽大学的Sanjay Haresh是数据收集工作的首席协调员，负责招募参与者、数据录入和数据分析。Yongsen Mao也参与了数据收集流程的建设、招募工作、数据录入、元数据标注以及统计计算。Manolis Savva在数据收集、协议设计和项目整体管理方面提供了指导。我们感谢Hanxiao Jiang和Armin Kavian在招募和データ收集方面提供的帮助。
宾夕法尼亚大学的Edward Zhang牵头在宾大开展数据收集工作，在受试者招募、受试者信息收集以及现场数据记录方面发挥了关键作用。Jinxu Zhang负责数据管理、信息记录和数据传输。Shan Su是项目的整体负责人，主要负责根据3D重建的可行性来确定合适的摄像头配置，并解决数据后处理中的时间同步和片段分离问题。
负责所有三种场景下的数据收集、参与者招募以及IRB提交工作。Zecheng Yu和Masatoshi Tateno为数据收集提供了支持，并负责数据的管理和传输。Takuma Yagi协助完成了IRB提交流程。
东京大学的Yoichi Sato担任数据收集工作的主要协调员，而Ryosuke Furuta则是数据收集的首席协调员。
印第安纳大学的David Crandall负责监督印第安纳大学的整体工作，包括协议设计和数据收集。Weslie Khoo负责IRB协议的设计与合规工作，安排设备订购等后勤事宜，并设计并监督烹饪场景的数据收集工作。Yuchen Wang和Ziwei Zhao共同负责三种场景下的参与者招募和数据收集工作。Ziwei Zhao负责数据准备和传输。我们还要感谢Manasi Swaminathan在数据收集和视频同步方面提供的帮助。
印度信息技术学院海得拉巴分校的Avijit Dasgupta是海得拉巴地区数据收集工作的负责人，负责组织拍摄环节、数据收集以及数据的管理和传输。Siddhant Bansal在早期阶段协助处理了IRB申请、知情同意书以及试点研究事宜。C. V. Jawahar是数据收集工作的首席协调员，协助选定场景并招募参与者。
明尼苏达大学双城分校的Hyun Soo Park负责监督该校的整体工作，包括协议设计和数据收集。Zachary Chavis负责IRB协议的设计与合规工作，安排设备订购、参与者招募等后勤事宜，并设计及监督所有场景的数据收集工作。Anush Kumar协助开展了所有场景的数据收集工作。
语言注释：Kevin J Liang共同制定了专家评论指南，负责采访并招募专家、协助测试并提出叙述工具的功能建议，还参与了项目管理；他制定了原子动作描述指南，协助协调注释工作，并参与了论文撰写。Michael Wray参与了专家评论指南的制定；为专家提供反馈；共同制定了叙述与动作指南以及任务前/任务后问卷；并参与了论文撰写。Kristen Grauman提出了专家评论的构想，共同制定了相关指南，采访专家并向其提供反馈，还参与了论文撰写。Andrew Westbury负责实施专家评论机制，招募、动员和管理专家及工作计划。Miguel Martin参与了原子动作描述注释指南的制定，制作了注释文件及相关教程代码；在专家评论方面，他编写了叙述工具的初始版本，转录了评论内容，并制作了注释文件及相关教程代码。
Changan Chen参与了叙述工具的开发；为专家提供反馈；并参与了论文撰写。Siddhant Bansal参与了设计工作。
---
涉及叙述与动作、用户问卷、物体词典以及烹饪领域的专家评论。Dima Damen提出了叙述与动作数据收集及用户问卷的想法并参与了其设计，还参与了烹饪场景的专家评论工作。Tiffany Davis在整个专家评论过程中提供了重要的项目管理支持。Devansh Kukreja搭建了渲染流程，用于生成用于注释的视频拼贴画。
我们联盟中的领域专家包括：Dima Damen和Michael Wray（烹饪领域），Kristen Grauman和Changan Chen（足球领域），Gedas Bertasius（篮球领域），Kristen Grauman和Jianbo Shi（音乐领域），Andrew Westbury（健康与自行车维修领域），Kevin Liang（舞蹈领域），Pablo Arbelaez和Maria Escobar（抱石领域）。
Ego-Exo4D的专家评论员团队如下：足球领域：John Bello、Phillip O'Kennedy、Lee Bakewell、Radcliffe McDougald、Thomas Harris；音乐领域：James Peterson、Trevor Minton、Andrea LaPlante、Ethan Fallis、Alex Rogers、Jacqueline Burd；健康领域：Jasmine Higa、Angela Liszewski、Kristin Blanset、Melissa Robinson、Sonya Johnson；舞蹈领域：Roland Williams、Deanna Martinez、Enya-Kalia Jordan、Rachel Repinz、Yauri Dalencour、Kathryn Hightower；烹饪领域：Mark Manigault、Mary Drennen、Tiffany Davis、Reginald Howell、Rosanne Field、Donnie Murphy、Kiet Duong、Laura de Vera、Keegan Taylor；抱石领域：Daniel Ramos、Mike Kimmel、Roy Quanstrom、Christopher Deal、Carmen Acuna、Kelsey Hanson；自行车维修领域：Cesar Pineda、Walker Wilkson、Frank Trotter、Cordell Bushey、Dimitri Elston、Sam Arsenault、Aaron Hill；篮球领域：Elizabeth Blose、Raven Benton、Joseph McCarron、Cornelius Gilleyen、Cecil Brown、Aaron Jones。
在自我-外部对应基准测试中，Manolis Savva负责构建该基准测试，并参与了任务定义、标注指南、基线设计以及论文撰写工作。Effrosyni Mavroudi也参与了该基准测试的构建，同样贡献于任务定义、标注指南、基线设计及论文撰写。Lorenzo Torresani参与了任务的规划。Sanjay Haresh开发了空间基线模型，并协助进行了数据分析、实验结果整理及论文撰写。Yongsen Mao开发了时空基线模型，同样参与了数据分析、实验结果整理及论文撰写。Suyog Jain设计了标注流程、开发了标注工具，并贡献于标注指南及论文撰写。Santhosh Ramakrishnan参与了标注指南及标注流程的设计。Xitong Yang参与了标注指南及任务定义。我们感谢Hanxiao Jiang在基线实现方面提供的有益讨论和初步思路。Devansh Kukreja搭建了渲染流程，为模型输入生成每个镜头下各摄像头的帧对齐视频。
在自我-外部翻译基准测试中，Lorenzo Torresani负责构建该基准测试，参与了任务规划，并为基线开发提供指导。Judy Hoffman也参与了该基准测试的构建，同样为基线开发提供指导。Feng Cheng牵头进行基线开发，实现了用于轨迹预测和视频剪辑生成的pix2pix及DiT模型。Mi Luo实现了GNT基线模型，并搭建了自我轨迹预测的评估流程。Ziwei Zhao提供了用于多帧输入的pix2pix基线模型，并主导了自我视频剪辑生成的评估工作。Huiyu Wang为基线开发提供指导，并参与了任务定义、基线设计以及指标选取与分析工作。
在细粒度关键步骤识别基准测试中，Tushar Nagarajan负责构建该基准测试，共同参与了任务规划，并为基线开发提供指导。David Crandall共同牵头该基准测试，并参与了任务规划。Yale Song共同牵头该基准测试，负责关键步骤标注工作，包括标注指南的设计、分类体系的建立以及标注流程的协调；他还参与了任务规划，为基线设计提供指导，并协助提供EgoVLPv2预训练模型。Triantafyllos Afouras参与了分类体系的定义，管理标注工作，并开发了标注后处理的软件。Zihui Xue牵头基线开发工作，实现了TimeSFormer、EgoVLP、VI Encoder及视角蒸馏基线模型，并对结果进行了分析。Eugene Byrne参与了分类体系的建立，以及Ego-Exo Transfer基线模型的实现与分析。Avijit Dasgupta参与了标注及分类体系的建立，以及基线的早期设计。Miguel Martin参与了标注及分类体系的建立。Shraman Pramanick为EgoVLPv2预训练模型做出了贡献。Yifei Huang参与了任务定义及基线设计的早期阶段。Devansh Kukreja搭建了渲染流程，为模型输入生成每个镜头下各摄像头的帧对齐视频，并制作用于标注的视频拼贴图。Kristen Grauman参与了任务规划。
Tushar Nagarajan主导了节能型多模态基准测试，共同制定了任务框架，并为基线开发提供了指导。Sagnik Majumder负责基线开发工作，为该项基准测试提供了所有基线实现方案及结果分析。Merey Ramazanova开发了节能型多模态基准测试，共同制定了任务框架，并为基线开发提供了指导。Sagnik Majumder负责基线开发工作，为该项基准测试提供了所有基线实现方案及结果分析。Miesh Kumar Singh协助设计了节能型多模态基准测试，共同制定了任务框架，并为基线开发提供了指导。Sagnik Majumder负责基线开发工作，为该项基准测试提供了所有基线实现方案及结果分析。Miao Liu和Shengxin Cindy Zha发起了这项基准测试，并制定了该任务框架的早期版本。
Antonino Furnari主导了流程理解基准测试，参与了任务定义、标注指南制定以及基线设计等工作。
---
Giovanni Maria Farinella参与了任务定义、标注指南制定、基线设计以及论文撰写工作。Luigi Seminara参与了标注指南制定、基线设计以及论文撰写；他还开发了数据标注工具以及该基准测试的基线模型。Francesco Ragusa参与了标注指南制定、基线设计以及论文撰写；他也开发了数据标注工具以及该基准测试的基线模型。Kumar Ashutosh参与了标注指南制定、基线设计以及数据标注工具的开发。Michael Wray参与了任务定义、标注指南制定、基线设计以及论文撰写。Siddhant Bansal参与了任务定义、标注指南制定、基线设计以及论文撰写。Gene Byrne参与了任务定义、标注指南制定以及基线设计。Tushar Nagarajan参与了任务定义以及基线设计。
Santhosh Kumar Ramakrishnan共同主导了熟练度评估基准测试，共同制定了任务框架，并为基线开发提供了指导。Gedas Bertasius共同主导了熟练度评估基准测试，共同制定了任务框架，并为基线开发提供了指导。Arjun Somayazulu开发了演示者熟练度评估的基线模型。Abraham Gebreselasie开发了演示内容熟练度评估的基线模型。Maria Escobar参与了任务定义以及基线设计。Eugene Byrne参与了任务定义以及基线设计。Miguel Martin开发了一个接口，用于从招募的专家处获取熟练度评估分数。Suyog Jain参与了演示内容熟练度评估的标注流程开发。Devansh Kukreja搭建了渲染流程，以生成每个镜头下各摄像头的帧对齐视频作为模型输入。Kristen Grauman参与了任务框架的制定。
Ego Pose Kris Kitani共同领导了Ego-Pose基准测试工作，并在任务定义、标注方法和基线开发方面提供了指导性意见。Jianbo Shi也共同领导了Ego-Pose基准测试，并在自动3D手部姿态生成以及Ego手部姿态基线方法的开发上给予了指导。Maria Escobar负责Ego-Pose身体基线开发，实现了基于IMU的基线模型，并参与了实验分析。Cristhian Forigua开发了静态姿态基线模型，并协助实现了基于IMU的基线模型。Fu-Jen Chu开发了多视角标注用户界面、手部姿态标注指南以及Ego-Pose标注的数据预处理代码；他还训练并评估了HandOccNet基线模型。Rawal Khirodkar开发了多视角三角测量和3D人体关键点估计流程。Zhengyi Luo为Kinpoly基线模型做出了贡献，并参与了Aria头部姿态的坐标转换工作。Shan Su负责Ego-Pose手部基线开发，在自动3D手部姿态生成、任务定义及标注开发方面贡献良多；她还使用METRO对基线模型进行了评估。Suyog Jain开发了用于扩大标注规模的标注流程，负责标注员的培训并管理整个标注过程。Miguel Martin参与了自动真实值生成流程的开发，并对身体和手部自动真实值生成工作进行了宏观协调。Jinxu Zhang开发了3D手部姿态的自动真实值生成方法；他还训练并评估了基线模型POTTER。Yiming Huang训练并评估了基线模型THOR-net。Zhifan Zhu开发了METRO手部姿态基线方法。Jing Huang牵头开展了自动真实值生成工作，完善了身体姿态标注指南，协调了Ego-Pose身体基线开发，并实施了EgoEgo身体姿态基线测试。
致谢 我们衷心感谢以下同事在项目中的宝贵讨论与支持：Vittorio Caggiano、Sarah Carroll、Ilé Danza、Ahmad Darkhalil、Zona de Bloque、Alex Dinh、Rene Martinez Doehner、Ivan Cruz、Matt Feiszli、Vance Feutz、Kelly Forbes、Rohit Girdhar、Pierre Gleize、Andrés Hernández、Shun Iwase、Hanxiao Jiang、Armin Kavian、Bolin Lai、Vivian Lee、Brighid Meredith、Ashley Massie、Natalia Neverova、Manohar Paluri、Joelle Pineau、Artsiom Sanakoyeu、Paresh Shenoy、Jiaray Shi、Jiasheng Shi、Gaurav Shrivastava、Mitesh Singh、Manasi Swaminathan、Arjang Talatoff、Ali Thabet、Laurens van der Maaten、Andrea Vedaldi以及Tobby Zhu。
我们还要诚挚感谢参与专家评论撰写的52位专家，他们的专业知识和支持功不可没；他们的名单详见附录D。感谢Common Visual Data Foundation（CVDF）提供平台托管Ego-Exo4D数据集。最后，感谢为该项目贡献数据并分享视频制作技能的740名参与者。
德克萨斯大学奥斯汀分校的部分经费由NSF人工智能研究所IFML提供支持。卡塔尼亚大学的部分经费来自“未来人工智能研究”（FAIR）项目——PNRR MUR项目编号PE0000013，CUP代码E63C22001940006。Luigi Seminara的经费来自PNRR博士奖学金项目“数字创新：模型、系统与应用”（DM 118/2023）。西蒙弗雷泽大学的部分经费来自加拿大研究主席计划（CRC-2019-00298）和NSERC发现项目（2019-06489）。佐治亚理工学院的部分经费来自NSF（#2144194）和NSF-GRFP。印第安纳大学的部分经费来自NSF DRL-2112635（致力于参与式学习的人工智能研究所）。布里斯托大学的部分经费来自EPSRC UMPIRE项目（EP/T004991/1）和EPSRC PG视觉人工智能项目（EP/T028572/1）。朱泽宇的经费来自UoB-CSC奖学金。东京大学的部分经费来自JST ASPIRE项目（项目编号JPMJAP2303）以及JSPS KAKENHI项目（项目编号JP24K02956）。
作者贡献：该项目是过去两年间多家机构密切合作的结果。初始列出的作者代表了项目的领导团队。Kristen Grauman发起该项目，担任技术负责人，牵头制定了识别与熟练度基准及专家评论，并协调相关工作组。Andrew Westbury担任项目经理及项目运营负责人，负责项目的方方面面。Lorenzo Torresani负责采集域的开发，牵头制定了关系与自我姿态基准，并协调相关工作组。Kris Kitani负责多摄像头设备的开发，并在数据标注与整理方面为Ego-Exo4D工程团队提供支持。
---
Jitendra Malik担任科学顾问。作者Triantafyllos Afouras、Kumar Ashutosh、Vijay Baiyya、Siddhant Bansal、Bikram Boote、Eugene Byrne、Zach Chavis、Joya Chen、Feng Cheng、Fu-Jen Chu、Sean Crane、Avijit Dasgupta、Jing Dong、Maria Escobar、Cristhian Forigua、Abraham Gebreselasie、Sanjay Haresh、Jing Huang、Md Mohaiminul Islam、Suyog Jain、Rawal Khirodkar、Devansh Kukreja、Kevin J. Liang、Jia-Wei Liu、Sagnik Majumder、Yongsen Mao、Miguel Martin、Effrosyni Mavroudi、Tushar Nagarajan、Francesco Ragusa、Santhosh Kumar Ramakrishnan、Luigi Seminara、Arjun Somayazulu、Yale Song、Shan Su、Zihui Xue、Edward Zhang、Jinxu Zhang在项目实施、数据采集和/或标注开发等环节发挥了关键作用。作者Pablo Arbeláez、Gedas Bertasius、David Crandall、Dima Damen、Jakob Engel、Giovanni Maria Farinella、Antonio Furnari、Bernard Ghanem、Judy Hoffman、C. V. Jawahar、Richard Newcombe、Hyun Soo Park、James M. Rehg、Yoichi Sato、Manolis Savva、Jianbo Shi、Mike Zheng Shou、Michael Wray是该项目的教员及高级研究员PI。附录中详细列出了各位作者在各类基准测试、数据采集和标注流程中的具体贡献。
开放获取：本文依据知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议发布。该协议允许在任何媒介或格式下进行非商业用途的使用、分享、分发和复制，前提是您需适当注明原作者及来源，提供知识共享许可协议的链接，并说明是否对授权材料进行了修改。根据此许可协议，您无权分享基于本文或其部分内容改编的材料。除非在相关材料的署名行中另有说明，本文中包含的图片或其他第三方材料均受文章知识共享许可协议的约束。如果某材料未被纳入文章的知识共享许可协议范围，且您的预期用途不符合法律法规规定或超出了许可范围，则您需要直接从版权所有者处获得许可。如需查看该许可协议的副本，请访问 。
## 参考文献
Aboukhadra, A. T., Malik, J., Elhayek, A., Robertini, N., & Stricker, D. (2023). Thor-net：基于Graformer的端到端真实双手与物体重建技术，结合自监督机制。载于《IEEE/CVF计算机视觉应用冬季会议论文集》，第1001–1010页。
Abrash, M. (2021). 创造未来：增强现实——下一代人机交互界面。载于《2021年IEEE国际电子器件会议（IEDM）》。
Ahuja, K., Harrison, C., Goel, M., & Xiao, R. (2019). Mecap：用于低成本VR/AR头戴设备的全身数字化技术。载于《第32届ACM用户界面软件与技术年会论文集》，第453–462页。
Alayrac, J.-B., Bojanowski, P., Agrawal, N., Sivic, J., Laptev, I., & Lacoste-Julien, S. (2016). 从带解说词的视频中进行无监督学习。载于CVPR会议。
Ardeshir, S., & Borji, A. (2016). Ego2top：匹配以自我为中心视频与俯视视频中的观看者。载于ECCV会议。
Ardeshir, S., & Borji, A. (2018). 以自我为中心的视角与俯视视角的融合。《IEEE模式分析与机器智能交易》，第41卷第6期，第1353–1366页。
Ardeshir, S., & Borji, A. (2018). 从客观视角看以自我为中心的动作，反之亦然。《计算机视觉与图像理解》，第171卷，第61–68页。
Ashutosh, K., Girdhar, R., Torresani, L., & Grauman, K. (2023). Hiervl：分层视频语言嵌入的学习技术。载于会议论文集
《IEEE/CVF计算机视觉与模式识别会议》。
Ashutosh, K., Nagarajan, T., Pavlakos, G., Kitani, K., & Grauman, K. (2024). ExpertAF：来自视频的专家可操作反馈。
Ashutosh, K., Ramakrishnan, S. K., Afouras, T., & Grauman, K. (2023). 用于教学视频中关键步骤识别的视频挖掘任务图。载于NeurIPS会议。
Bansal, S., Arora, C., & Jawahar, C. V. (2022). 我的视角就是最佳视角：从以自我为中心的视频中学习操作流程。载于欧洲计算机视觉会议（ECCV）。
Ben-Shabat, Y., Yu, X., Saleh, F., Campbell, D., Rodriguez-Opazo, C., Li, H., & Gould, S. (2020). IKEA手臂数据集：通过动作、物体和姿态理解人们组装家具的过程。
Bertasius, G., Park, H. S., Yu, S., & Shi, J. (2017). 我是个篮球高手吗？基于第一人称视频的篮球表现评估。载于ICCV会议。
Bertasius, G., Wang, H., & Torresani, L. (2021). 时空注意力是视频理解所需的一切吗？载于ICML会议。
毕杰、罗杰、徐超（2021）。基于上下文建模与基于模型的策略学习的教学视频中的流程规划。载于《IEEE/CVF国际计算机视觉会议论文集》，第15611–15620页。
毕杰、罗杰、徐超（2021）。基于上下文建模与基于模型的策略学习的教学视频中的流程规划。载于《IEEE/CVF国际计算机视觉会议论文集》，第15611–15620页。
布罗德森K.H.、王C.S.、斯特凡K.E.、布曼J.M.（2010）。平衡准确率及其后验分布。载于《2010年第20届国际模式识别会议论文集》，第3121–3124页。IEEE出版。
曹明、杨涛、翁杰、张晨、王杰、邹阳（2022）。Locvtp：用于时间定位的视频-文本预训练。载于欧洲计算机视觉会议。
卡斯蒂略A.、埃斯科瓦尔M.、让内雷G.、普马拉拉A.、阿尔贝莱兹P.、萨贝特A.、萨纳科耶乌A.（2023）。Bodiffusion：通过扩散稀疏观测实现全身人体动作合成。CV4Metaverse研讨会，国际计算机视觉会议。
陈E.R.、永野K.、陈M.A.、伯格曼A.W.、朴J.J.、列维A.、艾塔拉M.、德梅洛S.、卡拉丝T.、韦茨斯坦G.（2023）。基于3D感知扩散模型的生成式新视角合成。arXiv预印本arXiv:2304.02602。
张A.、戴A.、芬克豪泽T.、尼斯纳M.、萨瓦M.、宋S.、曾A.、张Y.（2017）。Matterport3D：从室内环境的RGB-D数据中学习。载于《国际3D视觉会议（3DV）论文集》。MatterPort3D数据集许可信息请见：
张承宇、黄大安、徐达、阿德利E.、费福尔L.、尼布尔斯J.C.（2020）。教学视频中的流程规划。载于《计算机视觉—ECCV 2020：第16届欧洲会议论文集》，英国格拉斯哥，2020年8月23–28日，第十一卷，第334–350页。施普林格出版。
张承宇、黄大安、徐达、阿德利E.、费福尔L.、尼布尔斯J.C.（2020）。教学视频中的流程规划。载于欧洲计算机视觉会议，第334–350页。施普林格出版。
陈峰、丁磊、勒特尼蓬潘K.、李杰、黄凯、王哲（2024）。egoexo4d手部姿态挑战赛的pcie_egohandpose解决方案。arXiv预印本arXiv:2406.12219。
陈宇恒、杨天健、埃默J.、谢维（2019）。Eyeriss v2：面向移动设备上新兴深度神经网络的灵活加速器。《IEEE新兴与精选电路系统期刊》。
程宏凯、施温A.G.（2022）。Xmem：基于阿特金森-希夫林记忆模型的长时序视频物体分割。载于欧洲计算机视觉会议，第640–658页。施普林格出版。
---
程飞、罗敏、王浩、迪马基斯A.、托雷萨尼L.、贝尔塔西乌斯G.、格劳曼K.（2024）。4DIFF：用于第三人称到第一人称视角转换的3D感知扩散模型。载于ECCV。
科罗纳K.、奥斯特达尔K.、柯林斯R.、胡格斯A.（2021）。Meva：一个用于活动检测的大规模多视角、多模态视频数据集。载于WACV。
达门D.、道蒂H.、法里内拉G.M.、菲德勒S.、弗尔纳里A.、卡扎科斯E.、莫尔蒂桑蒂D.、芒罗J.、佩雷特T.、普莱斯W.、雷伊M.（2018）。扩展以中心视觉：Epic-Kitchens数据集。载于欧洲计算机视觉会议（ECCV）。
达门D.、道蒂H.、法里内拉G.M.、弗尔纳里A.、马杰、卡扎科斯E.、莫尔蒂桑蒂D.、芒罗J.、佩雷特T.、普莱斯W.、雷伊M.（2021）。重新定义以中心视觉。IJCV。
Damen, D., Doughty, H., Farinella, G. M., Furnari, A., Kazakos, E., Ma, J., Moltisanti, D., Munro, J., Perrett, T., Price, W. 和 Wray, M.（2022）。重新调整以自我为中心的视觉：Epic-Kitchens-100的数据收集、处理流程及挑战。《国际计算机视觉杂志》，130(1)，33–55页。
De Geest, R., Gavves, E., Ghodrati, A., Li, Z., Snoek, C. 和 Tuytelears, T.（2016）。在线动作检测。载于《计算机视觉–ECCV 2016：第14届欧洲会议论文集，荷兰阿姆斯特丹，2016年10月11-14日》，第V部分，第269–284页。施普林格出版社。
Desislavov, R., Martínez-Plumed, F. 和 Hernández-Orallo, J.（2023）。人工智能推理能耗趋势：超越深度学习的性能与参数定律。《可持续计算：信息学与系统》，第38卷，文章编号100857。
Ding, G., Sener, F., Ma, S. 和 Yao, A.（2023）。在装配过程中每一个错误都至关重要。arXiv预印本arXiv:2307.16453。
Ding, K., Ma, K., Wang, S. 和 Simoncelli, E. P.（2020）。图像质量评估：统一结构与纹理相似性。《IEEE模式分析与机器智能交易》，44(5)，2567–2581页。
Donley, J., Tourbabin, V., Lee, J.-S., Broyles, M., Jiang, H., Shen, J., Pantic, M., Ithapu, V. K. 和 Mehra, R.（2021）。EasyCom：一个用于支持嘈杂环境中便捷通信算法的增强现实数据集。arXiv:2107.04174。
Dosovitskiy, A.（2020）。一张图像相当于16×16个词：大规模图像识别的Transformer模型。arXiv预印本arXiv:2010.11929。
Doughty, H., Damen, D. 和 Mayol-Cuevas, W.（2018）。谁更出色？谁是最佳？用于技能评定的成对深度排序方法。载于CVPR会议论文集。
Doughty, H., Mayol-Cuevas, W. 和 Damen, D.（2019）。利与弊：用于长视频中技能评定的考虑排名的时间注意力机制。
Dvornik, N., Hadji, I., Pham, H., Bhatt, D., Martinez, B., Fazly, A. 和 Jepson, A. D.（2022）。基于流图到视频的弱监督多步骤定位方法。载于ECCV会议论文集，第319–335页。施普林格出版社。
Elhamifar, E. 和 Huynh, D.（2020）。从教学视频中进行自监督多任务程序学习。载于欧洲计算机视觉会议论文集，第557–573页。施普林格出版社。
Engel, J., Somasundaram, K., Goesele, M., Sun, A., Gamino, A., Turner, A., Talattof, A., Yuan, A., Souti, B., Meredith, B., Peng, C., Sweeney, C., Wilson, C., Barnes, D., DeTone, D., Caruso, D., Valleroy, D., Ginjupalli, D., Frost, D., Miller, E. 以及Mueggler, E.等人（2023）。Project Aria：用于以自我为中心的多模态人工智能研究的新工具。
Esser, S. K., McKinstry, J. L., Bablani, D., Appuswamy, R. 和 Modha, D. S.（2019）。学习步长量化方法。arXiv预印本arXiv:1902.08153。
Fan, C., Lee, J., Xu, M., Kumar Singh, K., Jae Lee, Y., Crandall, D. J. 和 Ryoo, M. S.（2017）。在第三人称视频中识别佩戴第一人称摄像头的人。载于CVPR会议论文集。
Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M. J. 和 Hilliges, O.（2023）。ARCTIC：用于灵巧双腕系统的数据集。
灵巧的手部物体操控。载于IEEE计算机视觉与模式识别会议（CVPR）论文集。
Fathi, A., Hodgins, J. K. 和 Rehg, J. M.（2012）。社交互动：第一人称视角。载于CVPR会议论文集。
Feichtenhofer, C.（2020）。X3D：扩展高效视频识别的架构。载于IEEE/CVF计算机视觉与模式识别会议论文集，第203–213页。
Flavell, J. H., Flavell, E. R., Green, F. L., & Wilcox, S. A. (1981). 三种空间视角转换规则的发展。《儿童发展》。
Fu, R., Zhang, D., Jiang, A., Fu, W., Funk, A., Ritchie, D., & Sridhar, S. (2025). Gigahands：一个大规模标注的双手活动数据集。收录于CVPR会议论文集。
Gao, R., Oh, T.-H., Grauman, K., & Torresani, L. (2020). 听其声而观其行：通过预览音频实现动作识别。收录于CVPR会议论文集。
Ghodrati, A., Bejnordi, B. E., & Habibian, A. (2021). Frameexit：用于高效视频识别的条件性提前退出机制。收录于IEEE/CVF计算机视觉与模式识别会议论文集。
Girdhar, R., Singh, M., Ravi, N., Maaten, L., Joulin, A., & Misra, I. (2022). Omnivore：适用于多种视觉模态的单一模型。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第16102–16112页。
Goyal, R., Ebrahimi Kahou, S., Michalski, V., Materzynska, J., Westphal, S., Kim, H., Haenel, V., Fruend, I., Yianilos, P., Mueller-Freitag, M., Hoppe, F. (2017)。 “Something-Something”视频数据库：用于学习并评估视觉常识。收录于IEEE国际计算机视觉会议论文集，第5842–5850页。
Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., & Martin, M. (2022)。Ego4D：基于3000小时第一人称视频的全球场景记录。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第18995–19012页。
Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., Martin, M., Nagarajan, T., Radosavovic, I., Ramakrishnan, S. K., Ryan, F., Sharma, J., Wray, M., Xu, M., Xu, E. Z., Zhao, C., & Bansal, S.等。Ego4D：基于3000小时第一人称视频的全球场景记录。收录于CVPR会议论文集（2022年）。
Grauman, K., Westbury, A., Torresani, L., Kitani, K., Malik, J., Afouras, T., Ashutosh, K., Baiyya, V., Bansal, S., Boote, B., Byrne, E., Chavis, Z., Chen, J., Cheng, F., Chu, F.-J., Crane, S., Dasgupta, A., Dong, J., Escobar, M., Forigua, C., & Gebreselasie, A.等。（2024）。Ego-Exo4D：从第一人称和第三人称视角理解熟练人类活动。收录于CVPR会议论文集。
Gu, C., Sun, C., Ross, D. A., Vondrick, C., Pantofaru, C., Li, Y., Vijayanarasimhan, S., Toderici, G., Ricco, S., Sukthankar, R., Schmid, C., & Malik, J. (2018)。一个包含时空定位原子视觉动作的视频数据集。收录于CVPR会议论文集。
Guzov, V., Mir, A., Sattler, T., & Pons-Moll, G. (2021)。人体定位系统（HPS）：基于佩戴式传感器在大型场景中实现3D人体姿态估计与自我定位。收录于CVPR会议论文集。
Hampali, S., Rad, M., Oberweger, M., & Lepetit, V. (2020)。Honnotate：一种用于标注手部与物体3D姿态的方法。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页。
He, K., Zhang, X., Ren, S., & Sun, J. (2016)。用于图像识别的深度残差学习。收录于CVPR会议论文集。
Hinton, G., Vinyals, O., & Dean, J. (2015)。神经网络中的知识蒸馏。arXiv预印本arXiv:1503.02531。
Ho, J., Jain, A., & Abbeel, P. (2020)。去噪扩散概率模型。《神经信息处理系统进展》第33卷，第6840–6851页。
---
Hore, A., & Ziou, D. (2010)。图像质量评价指标：PSNR与SSIM对比。收录于2010年第20届国际模式识别会议论文集，第2366–2369页。IEEE出版。
霍洛维茨，M.（2014）。1.1 计算领域的能源问题（以及我们可采取的应对措施）。载于《2014年IEEE国际固态电路会议技术论文集》（ISSCC）。
霍华德，A. G.、朱明、陈波、卡列尼琴科，D.、王伟、韦扬，T.、安德烈托，M.与亚当，H.（2017）。MobileNets：面向移动视觉应用的高效卷积神经网络。arXiv预印本arXiv:1704.04861。
黄宇、陈刚、徐杰、张明、杨磊、裴斌、张浩、董亮、王洋、王磊与乔燕（2024）。EgoEx-OLearn：用于连接现实世界中程序性活动的异步自我中心与外部视角的数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第22072–22086页。
黄东赫、麻生康、袁阳、北谷宽与小池宏（2020）。MonoEye：基于单台超广角鱼眼摄像头的多模态人体动作捕捉系统。载于《第33届ACM用户界面软件与技术年会论文集》，第98–111页。
伊安多拉，F. N.、韩松、莫斯凯维奇，M. W.、阿什拉夫，K.、达利，W. J.与凯策尔，K.（2016）。SqueezeNet：在参数数量减少50倍且模型大小小于0.5 MB的情况下达到AlexNet级别的精度。arXiv预印本arXiv:1602.07360。
亚申，V.与拉图，E.（2020）。多模态密集视频字幕生成。载于《IEEE/CVF计算机视觉与模式识别会议研讨会论文集》，第958–959页。
伊斯梅尔·法瓦兹，H.、福雷斯蒂尔，G.、韦伯，J.、伊杜姆加尔，L.与穆勒，P. A.（2018）。利用卷积神经网络从运动学数据评估手术技能。《医学图像计算与计算机辅助干预——MICCAI 2018》，第214–221页。
伊索拉，P.、朱建宇、周涛与埃弗罗斯，A. A.（2017）。基于条件对抗网络的图像到图像转换。CVPR。
张勇、孙硕、洛格斯瓦兰，L.、罗涛、李明与李浩（2023）。从教学视频中生成多模态子任务图。arXiv预印本arXiv:2302.08672。
贾斌、陈阳、黄森、朱阳与朱世超（2020）。Lemma：用于学习多智能体多任务活动的多视角数据集。载于《欧洲计算机视觉会议论文集》，第767–786页。施普林格出版社。
蒋浩与格拉曼，K.（2017）。看见“隐形”姿态：从第一人称视频中估计3D人体姿态。载于CVPR。
蒋杰、斯特利，P.、邱浩、芬德，A.、莱希，L.、斯奈普，P.与霍尔茨，C.（2022）。AvatarPoser：基于稀疏运动传感的全身关节姿态跟踪。载于《欧洲计算机视觉会议论文集》，第443–460页。施普林格出版社。
蒋伟、特鲁尔斯，E.、霍桑，J.、塔利亚萨奇，A.与易开明（2021）。CoTr：用于跨图像匹配的对应变换器。载于《IEEE/CVF国际计算机视觉会议论文集》，第6207–6217页。
朱浩、西蒙，T.、李晓、刘浩、谭磊、桂磊、班纳吉，S.、戈迪萨特，T. S.、纳贝，B.、马修斯，I.、卡纳德，T.、信原圣与谢赫，Y.（2017）。Panoptic Studio：用于捕捉社交互动的大规模多视角系统。《IEEE模式分析与机器智能交易》。
凯，W.、卡雷拉，J.、西蒙扬，K.、张斌、希利尔，C.、维贾亚纳拉西姆汉，S.、维奥拉，F.、格林，T.、巴克，T.、纳特塞夫，P.与苏莱曼，M.（2017）。Kinetics人类动作视频数据集。arXiv预印本arXiv:1705.06950。
基罗德卡尔，R.、班萨尔，A.、马龙、纽科姆，R.、沃，M.与北谷宽（2023）。Egohumans：一个以第一人称视角拍摄的3D多人动作基准数据集。载于ICCV。
Kingma, D. P.和Ba, J.（2014）。Adam：一种随机优化方法。arXiv预印本arXiv:1412.6980。
Kirillov, A.、Mintun, E.、Ravi, N.、Mao, H.、Rolland, C.、Gustafson, L.、Xiao, T.、Whitehead, S.、Berg, A. C.、Lo, W.-Y.、Dollar, P.和Girshick, R.（2023）。Segment Anything。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第4015–4026页。
Ko, D.、Choi, J.、Ko, J.、Noh, S.、On, K.-W.、Kim, E.-S.和Kim, H. J.（2022）。通过可微弱时间对齐进行视频-文本表示学习。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5016–5025页。
Kolotouros, N.、Pavlakos, G.、Black, M. J.和Daniilidis, K.（2019）。通过循环中的模型拟合来学习重建3D人体姿态和形状。载于IEEE/CVF国际计算机视觉会议论文集，第2252–2261页。
Korbar, B.、Tran, D.和Torresani, L.（2019）。Scsmpler：从视频中采样显著片段以实现高效动作识别。载于IEEE/CVF国际计算机视觉会议论文集。
Kukelova, Z.、Heller, J.和Fitzgibbon, A.（2016）。三个二次曲面的高效交集及其在计算机视觉中的应用。载于IEEE计算机视觉与模式识别会议论文集，第1799–1808页。
Kwak, I.、Guo, J.-Z.、Hantman, A.、Kriegman, D.和Branson, K.（2020）。检测视频中动作的起始帧。载于IEEE/CVF计算机视觉应用冬季会议论文集，第489–497页。
Kwon, T.、Tekin, B.、Stühmer, J.、Bogo, F.和Pollefeys, M.（2021）。H2o：两只手操纵物体以实现第一人称交互识别。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第10138–10148页。
Lee, Y. J.、Ghosh, J.和Grauman, K.（2012）。发现用于中心视角视频摘要的重要人物和物体。载于CVPR。
Li, J.、Bian, S.、Zeng, A.、Wang, C.、Pang, B.、Liu, W.和Lu, C.（2021）。基于残差对数似然估计的人体姿态回归。载于IEEE/CVF国际计算机视觉会议论文集，第11025–11034页。
Li, Y.、Liu, M.和Rehg, J. M.（2018）。旁观者之眼：第一人称视频中视线与动作的联合学习。载于ECCV。
Li, J.、Liu, K.和Wu, J.（2023）。通过自我头部姿态估计实现自我-身体姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17142–17151页。
Li, Y.、Nagarajan, T.、Xiong, B.和Grauman, K.（2021）。Ego-exo：将视觉表示从第三人称视频迁移到第一人称视频。载于IEEE/CVF计算机视觉与模式识别会议论文集，第6943–6953页。
Li, J.、Xu, C.、Chen, Z.、Bian, S.、Yang, L.和Lu, C.（2021）。Hybrik：一种用于3D人体姿态和形状估计的混合解析-神经逆向运动学解决方案。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3383–3393页。
Liao, J.、Duan, H.、Feng, K.、Zhao, W.、Yang, Y.和Chen, L.（2023）。一种轻量级活跃说话人检测模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第22932–22941页。
Lin, T.、Cui, Y.、Belongie, S.和Hays, J.（2015）。学习用于地面到航空地理定位的深度表示。载于CVPR。
林-T.-Y.、Dollár-P.、Girshick-R.、何-K.、Hariharan-B. 和 Belongie-S.（2017）。用于物体检测的特征金字塔网络。载于IEEE计算机视觉与模式识别会议论文集，第2117–2125页。
林-T.-Y.、Maire-M.、Belongie-S.、Hays-J.、Perona-P.、Ramanan-D.、Dollár-P. 和 Zitnick-C.L.（2014）。Microsoft COCO：常见物体上下文。载于ECCV。
林-X.、Petroni-F.、Bertasius-G.、Rohrbach-M.、Chang-S.-F. 和 Torresani-L.（2022）。利用远距离监督学习识别程序性活动。载于IEEE/CVF计算机视觉与模式识别会议论文集，第13853–13863页。
---
林-K.、王-L. 和刘-Z.（2021）。基于Transformer的端到端人体姿态与网格重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1954–1963页。
林-K.Q.、王-A.J.、Soldan-M.、Wray-M.、严-R.、徐-E.Z.、高-D.、涂-R.、赵-W.、孔-W. 和蔡-C.（2022）。以自我为中心的视频-语言预训练。NeurIPS。
刘-C.、Bainbridge-L.、Berkovich-A.、陈-S.、高-W.、Tsai-T.-H.、Mori-K.、Ikeno-R.、Uno-M.、Isozaki-T. 和 Tsai-Y.L.（2020）。一款4.6 $\mu$米、512 $\times$×512像素、超低功耗的堆叠式数字像素传感器，具备三重量化功能且动态范围达127dB。载于2020年IEEE国际电子器件会议（IEDM）。
刘-D.、李-Q.、蒋-T.、王-Y.、苗-R.、单-F. 和 李-Z.（2021）。迈向统一的外科手术技能评估。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9522–9531页。
刘-Z.、宁-J.、曹-Y.、魏-Y.、张-Z.、林-S. 和 胡-H.（2022）。视频Swin Transformer。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第3202–3211页。
刘-G.、唐-H.、Latapie-H. 和 严-Y.（2020）。通过并行生成对抗网络实现从客观视角到自我中心视角的图像生成。载于2020年ICASSP—2020年IEEE声学、语音与信号处理国际会议论文集，第1843–1847页。IEEE
刘-G.、唐-H.、Latapie-H.M.、Corso-J.J. 和 严-Y.（2021）。跨视角客观视角到自我中心视角的视频合成。载于第29届ACM国际多媒体会议论文集，第974–982页。
刘-A.、Tucker-R.、Jampani-V.、Makadia-A.、Snavely-N. 和 Kanazawa-A.（2021）。无限自然：从单幅图像生成自然场景的永续视图。载于IEEE/CVF国际计算机视觉会议论文集，第14458–14467页。
Loshchilov-I. 和 Hutter-F.（2019）。解耦权重衰减正则化。载于国际学习表征会议。。
卢-X.、李-Z.、崔-Z.、Oswald-M.R.、Pollefeys-M. 和 秦-R.（2020）。面向城市区域的几何感知卫星到地面图像合成。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。
罗-Z.、Hachiuma-R.、袁-Y. 和 Kitani-K.（2021）。用于自我中心姿态估计的动态调节运动策略。载于神经信息处理系统进展。
罗-M.、薛-Z.、Dimakis-A. 和 Grauman-K.（2024）。设身处地：从客观视角视频中提取自我中心视角。arXiv:2403.06351。
罗-M.、薛-Z.、Dimakis-A. 和 Grauman-K.（2024）。设身处地：从客观视角视频中提取自我中心视角。载于ECCV。
Mahmood, N.、Ghorbani, N.、Troje, N. F.、Pons-Moll, G.和Black, M. J.（2019）。Amass：作为表面形状的动作捕捉档案库。载于IEEE国际计算机视觉会议（ICCV）。。
Mavroudi, E.、Afouras, T.和Torresani, L.（2022）。通过叙述学习将教学文章与视频对应起来。
Mehta, S.和Rastegari, M.（2021）。Mobilevit：轻量级、通用且适合移动设备的视觉变换器。arXiv预印本arXiv:2110.02178。
Meng, Y.、Lin, C.-C.、Panda, R.、Sattigeri, P.、Karlinsky, L.、Oliva, A.、Saenko, K.和Feris, R.（2020）。Ar-net：用于高效动作识别的自适应帧分辨率。载于ECCV 2020。
Miech, A.、Alayrac, J.-B.、Smaira, L.、Laptev, I.、Sivic, J.和Zisserman, A.（2020）。从未经整理的教学视频中端到端学习视觉表征。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9879–9889页。
Miech, A.、Zhukov, D.、Alayrac, J.-B.、Tapaswi, M.、Laptev, I.和Sivic, J.（2019）。How To 100M：通过观看一亿个带解说词的视频片段来学习文本-视频嵌入。载于ICCV。
MMPoseContributors：OpenMMLab姿态估计工具箱与基准测试。（2020）。
Monfort, M.、Andonian, A.、Zhou, B.、Ramakrishnan, K.、Bargal, S. A.、Yan, T.、Brown, L.、Fan, Q.、Gutfreund, D.、Vondrick, C.和Oliva, A.（2019）。Moments in Time数据集：用于事件理解的一百万个视频。PAMI。
Moon, G.、Yu, S.-I.、Wen, H.、Shiratori, T.和Lee, K. M.（2020）。Interhand2.6m：基于单张RGB图像的3D交互手部姿态估计数据集及基线。载于计算机视觉–ECCV 2020：第16届欧洲会议论文集，英国格拉斯哥，2020年8月23–28日，第XX部分16，第548–564页。Springer出版社。
Narasimhan, M.、Yu, L.、Bell, S.、Zhang, N.和Darrell, T.（2023）。在教学视频中学习和验证任务结构。arXiv预印本arXiv:2303.13519。
Newcombe, N.（1989）。空间视角选取的发展。儿童发展与行为进展。
Northcutt, C. G.、Zha, S.、Lovegrove, S.和Newcombe, R.（2023）。Egocom：一个多人多模态第一人称通信数据集。PAMI。
Ohkawa, T.、He, K.、Sener, F.、Hodan, T.、Tran, L.和Keskin, C.（2023）。AssemblyHands：通过3D手部姿态估计实现第一人称活动理解。载于IEEE/CVF计算机视觉与模式识别会议论文集，第12999–13008页。
Oord, A.V.D.、Li, Y.和Vinyals, O.（2018）。基于对比预测编码的表征学习。arXiv预印本arXiv:1807.03748。
Pan, B.、Cai, H.、Huang, D.-A.、Lee, K.-H.、Gaidon, A.、Adeli, E.和Niebles, J. C.（2020）。用于视频字幕生成的时空图与知识蒸馏。载于CVPR。
Park, J.、Oh, Y.、Moon, G.、Choi, H.和Lee, K. M.（2022）。HandOccNet：抗遮挡的3D手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页。
Parmar, P.和Morris, B. T.（2017）。学习为奥运赛事打分。
Parmar, P.和Morris, B.（2019）。跨多种动作的动作质量评估。载于WACV。
Parmar, P.和Tran Morris, B.（2019）。你的表现如何？基于多任务学习的动作质量评估方法。载于《IEEE计算机视觉与模式识别会议论文集》，第304–313页。
Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D.和Malik, J.（2024）。利用Transformer重建三维手部模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第9826–9836页。
Peebles, W.和Xie, S.（2022）。基于Transformer的可扩展扩散模型。arXiv预印本arXiv:2212.09748。
Perazzi, F., Pont-Tuset, J., McWilliams, B., Van Gool, L., Gross, M.和Sorkine-Hornung, A.（2016）。视频物体分割的基准数据集与评估方法。载于《IEEE计算机视觉与模式识别会议论文集》，第724–732页。
Perez, E., Strub, F., De Vries, H., Dumoulin, V.和Courville, A.（2018）。Film：基于通用条件层的视觉推理。载于《AAAI人工智能会议论文集》，第32卷。
Pirsiavash, H.和Ramanan, D.（2012）。第一人称摄像头视角下的日常活动检测。载于CVPR会议。
Pirsiavash, H., Vondrick, C.和Torralba, A.（2014）。动作质量评估。载于ECCV会议。
Plizzari, C., Goletto, G., Furnari, A., Bansal, S., Ragusa, F., Farinella, G. M., Damen, D.和Tommasi, T.（2024）。对以自我为中心的视觉未来展望。《国际计算机视觉杂志》，第132卷第11期，第4880–4936页。
---
Polino, A., Pascanu, R.和Alistarh, D.（2018）。通过蒸馏和量化实现模型压缩。arXiv预印本arXiv:1802.05668。
Povey, D., Ghoshal, A., Boulianne, G., Burget, L., Glembek, O., Goel, N. K., Hannemann, M., Motlicek, P., Qian, Y., Schwarz, P., Silovský, J., Stemmer, G.和Veselý, K.（2011）。Kaldi语音识别工具包。。
Pramanick, S., Song, Y., Nag, S., Lin, K. Q., Shah, H., Shou, M. Z., Chellappa, R.和Zhang, P.（2023）。EgoVLPv2：基于骨干网络融合的以自我为中心的视频-语言预训练模型。载于《IEEE/CVF国际计算机视觉会议论文集》，第5285–5297页。
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J.和Krueger, G.（2021）。从自然语言监督中学习可迁移的视觉模型。载于《国际机器学习会议论文集》，第8748–8763页。PMLR出版。
Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C.和Sutskever, I.（2023）。通过大规模弱监督实现鲁棒的语音识别。载于《国际机器学习会议论文集》，第28492–28518页。PMLR出版。
Ragusa, F., Furnari, A., Livatino, S.和Farinella, G. M.（2021）。Meccano数据集：在工业类场景中从以自我为中心的视频中理解人与物体的交互。载于WACV会议。
Rai, N., Chen, H., Ji, J., Desai, R., Kozuka, K., Ishizaka, S., Adeli, E.和Niebles, J. C.（2021）。家庭动作图谱：对比性组合动作理解。载于CVPR会议。
Ramakrishnan, S. K., Gokaslan, A., Wijmans, E., Maksymets, O., Clegg, A., Turner, J. M., Undersander, E., Galuba, W., Westbury, A., Chang, A. X., Savva, M., Zhao, Y.和Batra, D.（2021）。Habitat-Matterport 3D数据集（HM3D）：面向具身智能的1000个大规模3D环境。载于第三十五届神经信息处理系统会议数据集与基准测试赛道。arXiv:2109.08238。
里德(S. Reed)、李(H. Lee)、安格洛夫(D. Anguelov)、塞格迪(C. Szegedy)、埃尔汉(D. Erhan)和拉比诺维奇(A. Rabinovich)（2014）。基于自举法在含噪标签上训练深度神经网络。arXiv预印本arXiv:1412.6596。
雷吉米(K. Regmi)和博尔吉(A. Borji)（2018）。利用条件增益进行跨视角图像合成。载于IEEE计算机视觉与模式识别会议（CVPR）。
雷吉米(K. Regmi)和沙阿(M. Shah)（2019）。弥合地面到航空图像匹配的域差异。载于ICCV会议。
雷吉米(K. Regmi)和博尔吉(A. Borji)（2019）。利用几何引导的条件GAN进行跨视角图像合成。《计算机视觉与图像理解》期刊。
赖岑斯坦(J. Reizenstein)、沙波瓦洛夫(R. Shapovalov)、亨兹勒(P. Henzler)、斯博尔多内(L. Sbordone)、拉巴图(P. Labatut)和诺沃特尼(D. Novotny)（2021）。3D常见物体：大规模学习与真实场景3D类别重建评估。载于ICCV会议。
任X.和王X.（2022）。跳出房间看世界：从单张图像合成连贯的长期3D场景视频。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3563–3573页。
任B.、唐H.和塞贝(N. Sebe)（2021）。用于跨视角图像转换的级联交叉MLP-Mixer GAN。arXiv预印本arXiv:2110.10183。
罗丁(H. Rhodin)、理查德特(C. Richardt)、卡萨斯(D. Casas)、因萨富蒂诺夫(E. Insafutdinov)、沙菲伊(M. Shafiei)、塞德尔(H.-P. Seidel)、席勒(B. Schiele)和特奥鲍尔特(C. Theobalt)（2016）。Egocap：利用两个鱼眼摄像头实现无标记的 Egocentric 动作捕捉。《ACM图形学交易》（TOG），35(6)，第1–11页。
罗姆巴赫(R. Rombach)、埃瑟(P. Esser)和奥默(B. Ommer)（2021）。无需几何先验的视图合成：基于Transformer的方法。载于IEEE/CVF国际计算机视觉会议论文集，第14356–14366页。
罗梅罗(J. Romero)、齐奥纳斯(D. Tzionas)和布莱克(M. J.)（2017）。具身化手部模型：同时建模并捕捉手部与身体。《ACM图形学交易》（SIGGRAPH Asia会议论文集），36(6)。
塞米纳拉(L. Seminara)、法里内拉(G. M. Farinella)和弗尔纳里(A. Furnari)（2024）。可微任务图学习：基于第一人称视频的程序化活动表示与在线错误检测。
塞纳尔(F. Sener)、查特吉(D. Chatterjee)、谢列波夫(D. Shelepov)、何K.、辛哈尼亚(D. Singhania)、王R.和姚A.（2022）。Assembly101：用于理解程序化活动的大规模多视角视频数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集，第21096–21106页。
塞尔马内(P. Sermanet)、林奇(C. Lynch)、切博塔尔(Y. Chebotar)、许J.、张E.、夏尔(S. Schaal)和莱文(S. Levine)（2018）。时间对比网络：基于视频的自监督学习。国际机器人技术与自动化会议（ICRA）论文集。
塞尔马内(P. Sermanet)、林奇(C. Lynch)、许J.和莱文(S. Levine)（2017）。时间对比网络：基于多视角观测的自监督学习。载于2017年IEEE计算机视觉与模式识别研讨会（CVPRW）论文集，第486–487页。IEEE出版。
沈X.、埃弗罗斯(A. A. Efros)、朱利安(A. Joulin)和奥布里(M. Aubry)（2022）。通过分割交换学习协同分割以实现检索与发现。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5082–5092页。
什韦佐娃(N. Shvetsova)、陈B.、鲁迪琴科(A. Rouditchenko)、托马斯(S. Thomas)、金斯伯里(B. Kingsbury)、费里斯(R. S. Feris)、哈瓦斯(D. Harwath)、格拉斯(J. Glass)和库赫内(H. Kuehne)（2022）。Everything at Once——用于视频检索的多模态融合Transformer。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20020–20029页。
Sigurdsson, G. A.、Gupta, A.、Schmid, C.、Farhadi, A.和Alahari, K.（2018）。演员与观察者：第一人称与第三人称视频的联合建模。载于CVPR。
Sigurdsson, G. A.、Gupta, A.、Schmid, C.、Farhadi, A.和Alahari, K.（2018）。Charades-ego：一个包含配对第三人称与第一人称视频的大规模数据集。arXiv预印本arXiv:1804.09626。
Simon, T.、Joo, H.、Matthews, I.和Sheikh, Y.（2017）。利用多视角引导在单张图像中检测手部关键点。载于IEEE计算机视觉与模式识别会议论文集，第1145–1153页。
Singh, K. K.、Fatahalian, K.和Efros, A. A.（2016）。Krishnacam：利用纵向单人第一人称数据集进行场景理解任务。载于WACV。
Song, Y.、Byrne, E.、Nagarajan, T.、Wang, H.、Martin, M.和Torresani, L.（2023）。Ego4d goal-step：迈向对程序性活动的分层理解。载于NeurIPS。
Soomro, K.、Zamir, A. R.和Shah, M.（2012）。Ucf101：一个来自野外视频的101种人类动作类别数据集。载于CRCV-TR-12-01。
Soran, B.、Farhadi, A.和Shapiro, L.（2015）。为遗漏的动作生成通知：“别忘了关灯！”载于ICCV，第4669–4677页。
Straub, J.、Whelan, T.、Ma, L.、Chen, Y.、Wijmans, E.、Green, S.、Engel, J.J.、Mur-Artal, R.、Ren, C.、Verma, S.、Clarkson, A.、Yan, M.、Budge, B.、Yan, Y.、Pan, X.、Yon, J.、Zou, Y.、Leon, K.、Carter, N.、Briales, J.和Gillingham, T.等（2019）。Replica数据集：室内空间的数字复制品。arXiv预印本arXiv:1906.05797。
Sudre, C. H.、Li, W.、Vercauteren, T.、Ourselin, S.和Jorge Cardoso, M.（2017）。广义Dice重叠作为深度学习损失函数，用于高度不平衡的分割任务。载于《医学图像分析与临床决策支持的多模态学习：第三届国际研讨会DLMIA 2017暨第七届国际研讨会ML-CDS 2017，与MICCAI 2017同期在加拿大魁北克市举行》论文集第3卷，第240–248页。Springer出版。
Sze, V.、Chen, Y.-H.、Yang, T.-J.和Emer, J. S.（2020）。如何评估深度神经网络处理器：仅考虑Tops/W的做法是有害的。载于《IEEE固态电路杂志》。
Taheri, O.、Ghorbani, N.、Black, M. J.和Tzionas, D.（2020）。GRAB：一个关于人体抓取物体的全身动作数据集。载于欧洲计算机视觉会议（ECCV）。
---
Tan, M.、Chen, B.、Pang, R.、Vasudevan, V.、Sandler, M.、Howard, A.和Le, Q. V.（2019）。Mnasnet：面向移动设备的平台感知神经架构搜索。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2820–2828页。
Tan, S.、Nagarajan, T.和Grauman, K.（2023）。Egodistill：用于高效视频理解的第一人称头部运动蒸馏技术。载于NeurIPS。
Tang, H.、Liang, K.、Grauman, K.、Feiszli, M.和Wang, W.（2023）。Egotracks：一个长期第一人称视觉物体跟踪数据集。载于《神经信息处理系统进展》。
Tang, Y.、Lu, J.和Zhou, J.（2020）。综合性教学视频分析：Coin数据集与性能评估。载于《IEEE模式分析与机器智能交易》。
Tang, H.、Xu, D.、Sebe, N.、Wang, Y.、Corso, J. J.和Yan, Y.（2019）。基于级联语义引导的多通道注意力选择增益，用于跨视图图像翻译。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2417–2426页。
Teed, Z.和Deng, J.（2021）。DROID-SLAM：用于单目、立体及RGB-D相机的深度视觉SLAM。《神经信息处理系统进展》。
Tendulkar, P.、Suris, D.和Vondrick, C.（2023）。Flex：无需全身体抓取即可实现全身抓取。收录于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》。
Tome, D.、Peluse, P.、Agapito, L.和Badino, H.（2019）。xr-egopose：基于头戴式显示器摄像头的以自我为中心的3D人体姿态估计。收录于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》。
Tong, Z.、Song, Y.、Wang, J.和Wang, L.（2022）。Videomae：掩码自编码器是高效的自监督视频预训练学习器。arXiv:2203.12602。
Torre, F. D.、Hodgins, J.、Montano, J.、Valcarcel, S.、Forcada, R.和Macey, J.（2009）。卡内基梅隆大学多模态活动（CMU-MMAC）数据库指南。载于CMU-RI-TR-08-22技术报告，卡内基梅隆大学机器人研究所。
Tschernezki, V.、Darkhalil, A.、Zhu, Z.、Fouhey, D.、Larina, I.、Larlus, D.、Damen, D.和Vedaldi, A.（2023）。EPIC Fields：将3D几何与视频理解相结合。收录于《神经信息处理系统会议（NeurIPS）论文集》。
Tseng, H.-Y.、Li, Q.、Kim, C.、Alsisan, S.、Huang, J.-B.和Kopf, J.（2023）。基于姿态引导的扩散模型实现一致视图合成。arXiv预印本arXiv:2303.17598。
Varma, M.、Wang, P.、Chen, X.、Chen, T.、Venugopalan, S.和Wang, Z.（2023）。注意力机制是neRF所需的一切吗？收录于第十一届学习表征国际会议。。
Vasu, P. K. A.、Gabriel, J.、Zhu, J.、Tuzel, O.和Ranjan, A.（2023）。MobileOne：一款更优的毫秒级移动骨干网络。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7907–7917页。
Vicente, S.、Rother, C.和Kolmogorov, V.（2011）。物体共分割。载于CVPR 2011会议，第2217–2224页。IEEE出版。
Wang, X.、Kwon, T.、Rad, M.、Pan, B.、Chakraborty, I.、Andrist, S.、Bohus, D.、Feniello, A.、Tekin, B.、Frujeri, F. V.和Joshi, N.（2023）。Holoassist：面向现实世界交互式AI助手的以自我为中心的人类交互数据集。收录于《IEEE/CVF国际计算机视觉会议论文集》，第20270–20281页。
Wang, H.、Wu, Y.、Guo, S.和Wang, L.（2023）。Pdpp：用于教学视频中流程规划的投影扩散模型。arXiv预印本arXiv:2303.14676。
Watson, D.、Chan, W.、Martin-Brualla, R.、Ho, J.、Tagliasacchi, A.和Norouzi, M.（2022）。基于扩散模型的新视角合成。arXiv预印本arXiv:2210.04628。
Weinland, D.、Ronfard, R.和Boyer, E.（2006）。利用运动历史体积进行自由视点动作识别。《计算机视觉与图像理解》（CVIU）。
Wen, Y.、Singh, K. K.、Anderson, M.、Jan, W.-P.和Lee, Y. J.（2021）。看见未见之物：预测第三人称场景中第一人称摄像头佩戴者的位置与姿态。收录于《IEEE/CVF国际计算机视觉会议（ICCV）研讨会论文集》，第3446–3455页。
Wiles, O.、Gkioxari, G.、Szeliski, R.和Johnson, J.（2020）。Synsin：基于单张图像的端到端视图合成。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7467–7477页。
黄B.、陈J.、吴Y.、雷S. W.、毛D.、高D.和寿M. Z.（2022）。Assistq：以可供性为中心、由问题驱动的中心视觉助手任务完成方法。载于欧洲计算机视觉会议论文集。
吴Z.、纳加拉詹T.、库马尔A.、雷尼S.、戴维斯L. S.、格劳曼K.和费里斯R.（2018）。Blockdrop：残差网络中的动态推理路径。载于CVPR会议论文集。
吴Z.、宋S.、科斯拉A.、余F.、张L.、唐X.和肖J.（2015）。3D ShapeNets：一种用于体素形状的深度表示方法。载于IEEE计算机视觉与模式识别会议论文集。
夏F.、扎米尔A. R.、何Z.-Y.、萨克斯A.、马利克J.和萨瓦雷塞S.（2018）。Gibson Env：面向具身智能体的真实世界感知系统。载于CVPR会议论文集。Gibson许可证可在获取。
肖J.、欧文斯A.和托拉尔巴A.（2013）。Sun3D：一个利用SfM技术重建且带有物体标签的大型空间数据库。载于ICCV会议论文集。
徐M.、范C.、王Y.、柳M. S.和克兰德尔D. J.（2018）。同步第一视角与第三人称视频中的人物分割与识别。载于ECCV会议论文集。
徐H.、戈什G.、黄P.-Y.、奥赫科诺D.、阿加贾尼扬A.、梅策F.、泽特莱莫耶L.和费希特霍弗C.（2021）。VideoClip：面向零样本视频文本理解的对比预训练模型。arXiv预印本arXiv:2109.14084。
徐F. F.、季L.、石B.、杜J.、纽比格G.、比斯克Y.和段N.（2020）。烹饪视频中结构化程序性知识提取的基准测试。arXiv预印本arXiv:2005.00706。
徐W.、查特吉A.、佐尔霍费尔M.、罗丁H.、富瓦P.、赛德尔H.-P.和西奥博尔特C.（2019）。Mo²Cap²：基于头戴式鱼眼相机的实时移动3D动作捕捉技术。载于《IEEE可视化与计算机图形学汇刊》，第25卷第5期，第2093–2101页。
薛Z.和格劳曼K.（2023）。通过时间对齐从非配对的自我视角与外部视角视频中学习细粒度视图不变表示。载于NeurIPS会议论文集。
徐M.、熊Y.、陈H.、李X.、夏W.、涂Z.和索阿托S.（2021）。面向在线动作检测的长短期Transformer模型。载于《神经信息处理系统进展》第34卷，第1086–1099页。
杨J.、刘S.、郭H.、董Y.、张X.、张S.、王P.、周Z.、谢B.、王Z.、欧阳B.、林Z.、科米内利M.、蔡Z.、张Y.、张P.、洪F.、维德默J.、格林戈利F.、杨L.和李B.等（2025）。Egolife：迈向中心视觉生活助手。载于CVPR会议论文集。
杨L.、拉德韦R. M.、陈Y.-H.、吴T. F.、刘H.、安萨里E.、钱德拉V.、米特拉S.、贝涅E.（2022）。面向AR/VR应用的三维堆叠神经网络加速器架构。载于《IEEE Micro》杂志。
余H.、蔡M.、刘Y.和陆F.（2019）。我所见即你所见：面向第一视角与第三人称视频协同分析的共同注意力学习。载于ACM MM会议论文集。
余H.、蔡M.、刘Y.和陆F.（2020）。通过学习时空共同注意力实现第一视角与第三人称视频的协同分析。载于《IEEE模式分析与机器智能汇刊》。
余X.、饶Y.、赵W.、卢J.和周J.（2021）。面向动作质量评估的群体感知对比回归模型。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第7919–7928页。
---
袁Y.和北谷K.（2018）。基于模仿学习的3D自我姿态估计。载于欧洲计算机视觉会议（ECCV）论文集。
袁Y.和Kitani K.（2019）。自我姿态估计与预测作为实时PD控制。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集。
詹X.、杨L.、赵Y.、毛K.、徐H.、林Z.、李K.和卢C.（2024）。Oakink2：一个关于复杂任务完成中双手-物体操控的数据集。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第445–456页。
张Q.和李B.（2013）。用于评估运动技能的相对隐马尔可夫模型。载于IEEE计算机视觉与模式识别会议（CVPR）论文集。
张S.、戴W.、王S.、沈X.、陆J.、周J.和唐Y.（2023）。Logo：一个用于群体动作质量评估的长视频数据集。载于CVPR。
张R.、Isola P.、Efros A. A.、Shechtman E.和Wang O.（2018）。深度特征作为感知度量的惊人有效性。载于CVPR。
张S.、马Q.、张Y.、钱Z.、Kwon T.、Pollefeys M.、Bogo F.和唐S.（2022）。Egobody：从头戴式设备获取交互人员的人体形状与运动信息。载于ECCV。
张C.、吴J.和李Y.（2022）。Actionformer：利用Transformer定位动作时刻。arXiv预印本arXiv:2202.07925。
张C.-L.、吴J.和李Y.（2022）。Actionformer：利用Transformer定位动作时刻。欧洲计算机视觉会议。LNCS，13664，第492–510页。
张X.、周X.、林M.和孙J.（2018）。ShuffleNet：一种面向移动设备的极高效卷积神经网络。载于IEEE计算机视觉与模式识别会议论文集，第6848–6856页。
赵Y.和Krähenbühl P.（2022）。基于时序平滑变换器的实时在线视频检测。载于欧洲计算机视觉会议。
赵H.、Hadji I.、Dvornik N.、Derpanis K. G.、Wildes R. P.和Jepson A. D.（2022）。P3iv：基于弱监督从教学视频中进行概率性流程规划。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2938–2948页。
赵Y.、Misra I.、Krähenbühl P.和Girdhar R.（2023）。从大型语言模型中学习视频表征。载于IEEE/CVF计算机视觉与模式识别会议论文集，第6586–6597页。
赵W.、王W.和田Y.（2022）。Graformer：面向3D姿态估计的图导向型Transformer。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20438–20447页。
郑C.、刘X.、齐G.-J.和陈C.（2023）。Potter：用于高效人体网格恢复的池化注意力Transformer。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1611–1620页。
钟Y.、余L.、白Y.、李S.、严X.和李Y.（2023）。从教学视频及其解说中学习流程感知的视频表征。arXiv预印本arXiv:2303.17839。
周L.、Louis N.和Corso J.（2018）。通过损失加权与物体交互实现基于文本的弱监督视频物体定位。载于BMVC。
周H.、Martín-Martín R.、Kapadia M.、Savarese S.和Niebles J. C.（2023）。用于教学视频理解的流程感知预训练。载于CVPR，第10727–10738页。
周H.、Martin-Martin R.、Kapadia M.、Savarese S.和Niebles J. C.（2023）。面向教学视频理解的流程感知预训练。《IEEE/CVF计算机视觉与模式识别会议论文集》。
周L.、徐C.和Corso J. J.（2018）。从网络教学视频中自动学习操作流程。收录于AAAI会议论文集。
朱M.和Gupta S.（2017）。剪枝与否：探索剪枝在模型压缩中的有效性。arXiv预印本arXiv:1710.01878。
Zhukov D.、Alayrac J.-B.、Cinbis R. G.、Fouhey D.、Laptev I.和Sivic J.（2019）。基于教学视频的跨任务弱监督学习。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》。
Zia A.、Sharma Y.、Bettadapura V.、Sarin E. L.和Essa I. A.（2017）。基于视频和加速度计的运动分析，用于自动化手术技能评估。CoRR arXiv:1702.07772。
出版方声明：Springer Nature对于所发表地图中的管辖权声明及机构归属保持中立。