# Assembly101：用于理解程序性活动的大规模多视角视频数据集
法迪梅·塞纳尔 $^{\dagger}$ 迪比亚迪普·查特吉 $^{\ddagger}$ 丹尼尔·谢列波夫 $^{\dagger}$ 何坤 $^{\dagger}$ 迪皮卡·辛哈尼亚 $^{\ddagger}$ 罗伯特·王 $^{\dagger}$ 安吉拉·姚 $^{\ddagger}$
$^{\dagger}$Meta Reality Labs Research $^{\ddagger}$ 新加坡国立大学
{famesener,dsh,kunhe,rywang}@fb.com {dibyadip,dipika16,ayao}@comp.nus.edu.sg
## 摘要
Assembly101是一个全新的程序性活动数据集，包含4321段人们组装和拆卸101种可拆卸玩具车辆的视频。参与者无需遵循固定指令，视频中的动作顺序、失误与修正环节存在丰富且自然的变化。Assembly101是首个多视角动作数据集，同时包含8个固定视角和4个第一人称视角的录制内容。这些视频序列标注了超过10万个粗粒度动作片段、100万个细粒度动作片段，以及1800万个三维手部姿态数据。
我们在三个动作理解任务上进行了基准测试：动作识别、动作预测和时间分割。此外，我们还提出了一种检测失误的新任务。这种独特的录制格式和丰富的标注数据，使我们能够研究模型对新玩具的泛化能力、跨视角迁移能力、长尾分布特性，以及手部姿态与外观特征的作用。我们期望Assembly101能成为新的挑战，推动各类活动理解问题的研究进展。
### 1. 引言
组装和拆卸任务，比如拼装家具或拆解家用电器进行维修，在日常生活中十分常见。我们通常依靠纸质说明书或在线教学视频来指导完成这些任务。下一代智能助手搭配增强现实（AR）硬件，能够在更具沉浸感的场景中为我们提供帮助。能够同时结合指令/目标与现实世界观测的智能系统，将极大推动AR应用的发展。目前，针对烹饪[^15]、工人安全监测[^4]、博物馆参观[^11]以及外科手术学习[^3]等领域的原型系统和概念验证已经问世。正因如此，动作理解任务——如动作识别、动作预测和时间分割——的研究热度日益高涨，尤其是针对第一人称视角的研究[^5] [^17] [^34]。
在审视动作理解领域所使用的基准测试时，可以发现有短片段数据集[^16] [^21] [^45]、来自电影的长序列数据集[^18] [^51]以及脚本化动作数据集[^42] [^43] [^47]，其中尤其以烹饪领域为重点[^5] [^12] [^22] [^35] [^37] [^40] [^47] [^50]。与我们研究最相关的是教学视频数据集[^49] [^50] [^52]。不过这些教学视频是从在线资源中精选出来的；它们经过后期制作，包含多个镜头，且主要面向多模态（视觉+自然语言处理）学习[^40] [^50] [^52]。很少有数据集关注厨房领域之外的目标导向型多步骤活动，即便有也往往规模较小[^2] [^20] [^34]，或者在任务或序列多样性方面存在局限[^1] [^49]。
我们推出了Assembly101：包含362个独特的序列，记录人们组装和拆卸101种可拆卸玩具车的过程（见图1、图3）。该数据集包含来自8个固定视角和4个第一人称视角的录像，共有4321个序列，总时长达513小时。Assembly101标注了超过100万个动作片段，涵盖1380个细粒度动作类别和202个粗粒度动作类别。我们在四项任务上进行了基准测试：以手-物交互为中心的动作识别与预测、时序动作分割，以及我们新提出的专门用于探究组装活动中序列理解的失误检测任务。Assembly101具备现有视频基准测试中尚未充分体现的三个新颖特点：
• 目标导向的自由流程：现有数据集中的多步骤活动均遵循严格排序的食谱[^28] [^40] [^50] [^52]或脚本[^8] [^12] [^34] [^43] [^47]。而Assembly101则描述了非脚本化的目标导向型活动。
• 丰富的序列变异性：参与者的技能水平各不相同，录像中呈现出动作顺序、失误及修正方面的真实变化。与现有的技能评估数据集[^7] [^13] [^31] [^33]（仅提供技能评分）不同，我们对具体的失误和参与者技能水平进行了标注。
同步的固定视角与第一人称视角：这种独特的多视角设置提供了第一人称数据集中目前缺失的固定视角信息。它还能帮助我们深入理解手-物交互的三维特性，并实现不同视角间的域迁移。
---
Figure 1. Assembly 101 includes synchronized static multi-view and egocentric recordings of participants assembling and disassembling take-apart toys. Sequences are annotated with fine-grained and coarse actions, 3D hand poses, participants' skill levels, and mistakes on coarse segments (e.g. "attach cabin" highlighted in red).
目前，以自我为中心的数据集中还缺少静态信息。该方法还能让我们在具备完整三维理解能力的前提下研究手与物体的交互作用，并实现不同视角间的域迁移。
### 2. 动作数据集对比
Assembly101的特点可概括为：（1）多步骤内容、（2）多视角录像以及（3）动作理解任务。我们基于这一分类对相关数据集进行粗略比较。
#### 2.1. 内容：多步骤活动
多步骤活动在烹饪和教学视频中体现得最为明显，因此该领域的大多数数据集都源自在线视频平台，例如 YouTube Instructional [^1]、What's Cooking [^27]、YoucookII [^50]、CrossTask [^52]、COIN [^49] 以及 HowTo100M [^29]。YouTube 视频之所以备受青睐，是因为其数量庞大且种类丰富。不过，由于这些视频属于“制作型”内容，往往并不适合增强现实环境，比如视角混杂、画面快进、无关解说等问题。此外，这类数据集大多来自厨房场景，主要用于研究视觉与自然语言中的多模态学习 [^27] [^50] [^52]。
录制类数据集，如 Breakfast [^22]、GTEA [^12]、50Salads [^47]，是多步骤活动研究的重要来源 [^9] [^10] [^39]。不过，它们要么规模较小 [^12] [^47]，要么顺序变化较少 [^22]。组装任务作为新探索的领域，在一些数据集中有所体现 [^2] [^34]，但其规模有限，不太适合深度学习应用。
#### 2.2. 视角：第一人称视角与多视角
第一人称视角数据为人类活动提供了独特的观察角度，对于可穿戴设备（如 AR 眼镜）尤为重要。小规模数据集包括 [^12] [^20] [^32] [^34]。大规模项目则包括 EPIC-KITCHENS [^5] [^6] 以及最近的 Ego4D [^17]，后者将研究范围从厨房扩展到了各类日常活动。与这些数据集不同，Assembly101 同时包含第一人称视角和第三人称视角，既能提供外部视角的特权信息，又能为 3D 动作识别提供多视角第一人称数据。
多视角固定摄像头数据集包括 IKEA [^2] 和 Breakfast [^22]。我们引入了同步的第一人称数据流，以便研究固定视角与第一人称视角之间的域差异。此外，第一人称视角下的头部姿态会相对于固定视角进行追踪，从而支持不同视角间的几何推理。虽然 CharadeEGO [^42] 也包含了人们执行预设活动时的第一人称视角和第三人称视角，但这两种视角是异步采集的，即属于独立的录制实例。
#### 2.3. 任务
动作识别：我们关注的是在较长活动序列中持续几秒的细粒度动作。这与 Kinetics [^21] 和 Something Something [^16] 中对短片段的单独分类有所不同。我们的任务更类似于 EPIC KITCHENS [^5] 和 Charades [^42] [^43]，这些数据集从较长的日常活动视频中提取细粒度片段，且具备具有挑战性的长尾分布特征。
在动作发生前对其进行预测是一项新近兴起的任务，该任务因EPIC-KITCHENS [^5]和Breakfast [^22]数据集而受到广泛关注。这两者之间的显著区别在于标签的粒度以及相应的预测时间范围。EPIC采用的预测方法能够识别细粒度的动作，且预测时间范围较短，仅为几秒；而Breakfast则旨在预测多个粗粒度的动作，预测时间范围可达数分钟。由于Assembly101包含多粒度的标签，因此它既可用于短时间范围的预测，也可用于长时间范围的预测。
像GTEA [^12]和50Salads [^47]这类时序动作分割数据集属于小规模数据集（分别包含28个和50个视频）。
---
Figure 2. Our custom build headset (inset) and multi-camera desk rig, with cameras marked by red circles.
Breakfast [^22]在时间变化方面存在局限性，因此不太适合将其作为研究动作序列与排序问题的理想数据集。我们数据集中的组装动作具有重复性，其排序方式也存在较大差异，同时还需要对更长远的信息进行建模。
FPHA [^14]和H2O [^23]这两套新数据集研究了来自第一人称视角的手-物体交互情况。与EPIC不同，FPHA和H2O提供了单手或双手的3D姿态信息，以及被操纵物体的6D姿态信息。当系统可获取的视觉数据有限时——比如出于隐私方面的考虑——基于姿态的识别就显得尤为重要。目前，Assembly101为每一帧图像都提供了3D手部姿态数据。与FPHA和H2O相比，它所提供的细粒度手-物体交互数据量要大得多。
可穿戴设备若能检测出操作失误或遗漏的动作，将能大幅提升佩戴者的安全性。监控视频中的异常检测 [^48]以及技能评估 [^7] [^13] [^30] [^53]均属于当前的研究热点，但据我们所知，针对程序性活动中的失误进行检测的研究此前尚未开展。我们的组装序列中的粗粒度动作片段均标注了失误标签。与我们研究最为接近的是关于遗忘动作的[^46]相关研究。
### 3. 录制与标注
#### 3.1. 录制装置
我们搭建了一个桌面录制装置，配备了八台分辨率为$1920 \times 1080$的RGB摄像头，以及四台分辨率为$640 \times 480$的黑白摄像头。RGB摄像头安装在桌面周围的支架上，其中5台为俯拍摄像头，3台为侧拍摄像头。黑白摄像头则安装在参与者佩戴的定制头戴设备的四个角上，可提供类似Oculus Quest VR头戴设备的多种第一人称视角。图2展示了该录制装置和头戴设备，摄像头用红色圆圈标出。所有摄像头均通过SMPTE时间码同步，并通过基准标记实现了亚像素级的几何校准。参与者需站立接受录制，不过对于身材较高的参与者，会要求他们坐下，以确保其手部及所组装的玩具能在所有摄像头视角下被清晰捕捉。
#### 3.2. 参与者、玩具与录制流程
参与者：我们招募了53名成年人（28名男性，25名女性）参与可拆卸玩具车辆的拆解与组装工作。每位参与者需在一小时的录制过程中操作六件玩具，不过最终操作的玩具数量会因参与者的操作速度而异。
玩具：这些序列包含来自建筑、应急响应及其他车辆类别的101种独特玩具，共分为15个类别。每个类别在颜色、尺寸和样式上都有所差异；不同类别之间的玩具也有一些共用部件，例如建筑类玩具采用相同的底座但配备不同的机械臂配件。图3展示了每个车辆类别的样本以及各类别中玩具和录像的分布情况。
实验方案：我们旨在捕捉参与者组装和拆卸玩具的自然顺序，因此仅在桌上放置了完整组装好的玩具图片作为参考。我们既未提供说明，也未指定零件排序方式$^{1}$。这种设计虽然增加了组装任务的难度，却也更贴近现实，从而产生了丰富的动作顺序差异。初步录像显示，部分参与者在组装任务中遇到了困难。为提高效率，我们调整了实验方案，让参与者先拆卸一个已组装好的玩具，然后再进行重新组装。
#### 3.3. 标注说明
动作标签：我们对两种粒度的动作及其开始和结束时间进行标注。细粒度动作是基于单个动词或动作以及相互作用的物体或玩具部件的手部与物体交互行为。一个细粒度动作包含两到三个阶段：（1）接触前，即手（及工具）开始靠近物体；（2）交互过程；（3）接触后，即物体被释放。此外，我们将多个同时发生或连续的细粒度动作合并为与车辆部件安装或拆卸相关的粗粒度动作。例如，“拆卸保险杠”这一粗粒度动作由四个细粒度动作组成（“用螺丝刀拧下保险杠上的螺丝”、“取下保险杠上的螺丝”、“捡起保险杠”、“放下保险杠”）。由于参与者常常同时进行多项任务，细粒度动作可能会相互重叠，比如“放下驾驶舱”和“捡起螺丝刀”，而粗粒度动作则是连续出现的。有关标注员培训和动作标注自定义界面的详情，请参阅补充材料。
---
Figure 3. Left: 15 toy vehicle categories. Right: Distribution of toys and recordings per category. (Best viewed in colour)
3D手部姿态：我们利用四台单色 Egocentric 摄像头，通过修改版的 MegATrack [^19] 算法来追踪手部，进而估算双手的3D姿态。首先，我们将所有视角下的特征融合到一个共享的隐空间中[^36]；随后，我们回归计算出每只手的关节角度和全局变换参数，再通过正运动学得到指尖、关节和掌心中心的标志点位置。该追踪器基于[^19]数据集进行端到端训练。完成 Egocentric 追踪后，我们提取出世界坐标系下的3D关键点位置（每只手21个）作为姿态表示（见图1）。
### 4. 数据集统计信息
#### 4.1. 录制统计信息
我们的主要目标是收集一个规模庞大且种类多样、具有不同标签粒度的程序性活动数据集。Assembly101包含362组拆卸-组装序列；每组序列从12个视角进行录制，共计4321段视频，总时长513小时。平均每组序列或视频时长为$7.1 \pm 3.4$分钟（见图4左侧）。表1和表2展示了其与类似录制数据集的对比情况。Assembly101的规模要大得多，拥有超过100万个细粒度片段和10万个粗粒度片段，是迄今为止规模最大的程序性活动数据集。
#### 4.2. 细粒度动作
在我们划分的15个玩具类别中，共定义了90种物体，例如轮子，其中包括与“手”相关的5种工具。此外，我们还指定了24个交互动词。这些物体和交互动词共同构成了总计1380个细粒度动作标签。图4展示了动作时长的分布情况。平均而言，一个细粒度动作持续$1.7 \pm 2$秒。在单次拆装序列中，平均包含$236.7 \pm 98.4$个细粒度动作。整个数据集包含的细粒度动作实例超过100万个。物体和动词的分布详情见补充材料。数据呈现出明显的长尾特征：30%的数据贡献了1238个（占89%）细粒度动作。
与其他数据集的比较：表1详细列出了Assembly101与其他细粒度动作数据集的数值对比。与IKEA和Meccano这类组装类数据集相比，Assembly101的动作类别数量多出23至44倍，动作片段数量则多出56至111倍。Assembly101的规模与其他大规模第一人称视角数据集（如EPIC-KITCHENS和Ego4D）相当。与EPIC相比，Assembly101的第一人称视角视频时长多出1.7倍，动作片段数量多出11倍。在Ego4D的标注视频中，与“预测”最相近的子任务包含了120小时的带注释时序动作标签；相比之下，我们的数据集动作片段数量比Ego4D多出12倍。
#### 4.3. 粗粒度动作
每种粗粒度动作均由车辆零部件的组装或拆卸操作定义。共有202种粗粒度动作，由11个动词和61种物体构成。每个视频序列平均包含24个粗粒度动作。平均而言，一个粗粒度动作由10个细粒度动作组成，持续时间为$16.5 \pm 15.7$秒（分布情况见图4）。我们还为粗粒度标签定义了长尾类别：30%的数据贡献了171个（占84%）粗粒度动作。
#### 与其他数据集的比较：虽然粗粒度动作也可用于分类，但我们将其视为具有顺序性的元素，并将其用于动作分割。表2将Assembly101与Breakfast及50Salads这两个当代分割基准数据集进行了对比。相较于Breakfast数据集，我们的视频数量多出$2.5\times$个，视频时长多出$6.7\times$小时，动作片段多出$9.3\times$个，动作类别多出$4.2\times$个。时序动态特性：我们在表3中定义并报告了两个用于量化时序动态的指标。重复度指标定义为$1 - u_i / g_i$，其中$u_i$表示视频i中独特动作的数量，$g_i$表示动作与结果的总数量，该指标的取值范围为[0,1)。数值为0表示无重复现象，数值越接近1则表明序列中的重复程度越高。所有视频序列的平均重复度得分为0.18，其中组装动作的重复度（0.23）高于拆卸动作（0.11）。与Breakfast和50Salad数据集相比，我们的数据集分别多出$1.6\times$个和$2.3\times$个重复步骤。我们将顺序变化量计算为平均编辑距离。
---
Table 1. Fine-grained action dataset comparisons.
| Dataset | total hours | # videos | avg. (min) | # segments | avg. #seg. per video | avg. (sec) | # verbs | objects | actions | labelled frames | overlapping segments | # participants |
| Meccano [^34] | 6.9 | 20 | 20.7 | 8,858 | 442.9 | 2.8 | 12 | 21 | 61 | 84.9% | 15.8% | 20 |
| IKEAASM [^2] | 35.0 | 371 | 5.6 | 17,577 | 47.3 | 6.0 | 12 | 10 | 33 | 83.8% | - | 48 |
| EPIC-KITCHENS-100 [^6] | 100.0 | 700 | 8.5 | 89,977 | 128.5 | 3.1 | 97 | 300 | 4,053 | 71.6% | 28.1% | 37 |
| Ego4D [^17] | 120.0 | - | - | 77,002 | - | - | 74 | 87 | - | - | - | 406 |
| Assembly101 (ego) | 167.0 | 1,425 | 7.1 | 331,310 | 236.7 | 1.7 | 24 | 90 | 1,380 | 81.4% | 7.0% | 53 |
| Assembly101 | 513.0 | 4,321 | 7.1 | 1,013,523 | 236.7 | 1.7 | 24 | 90 | 1,380 | 81.4% | 7.0% | 53 |
Table 2. Coarse action label dataset comparisons.
| Dataset | total hours | # videos | avg. video length (min) | # segments | avg. #segments per video | avg. segments length | verbs | objects | actions | # participants |
| 50Salads [^47] | 4.5 | 50 | 6.4 | 899 | 18 | 36.8 | 6 | 15 | 17 | 25 |
| Breakfast [^22] | 77.0 | 1,712 | 2.3 | 11,300 | 6.6 | 15.1 | 14 | 28 | 48 | 52 |
| Assembly101 | 513.0 | 4,321 | 7.1 | 104,759 | 24 | 16.5 | 11 | 61 | 202 | 53 |
Table 3. Temporal dynamics of coarse action segments
| Dataset | repetitions | order variations |
| Breakfast [^22] | 0.11 | 0.15 |
| 50Salads [^47] | 0.08 | 0.02 |
| Assembly101 | 0.18 | 0.05 |
| Assembly101 - Assembly | 0.23 | 0.04 |
| Assembly101 - Disassembly | 0.11 | 0.05 |
计算每对序列之间的$e(R, G)$，即$(R, G)$，并根据两者中的最大序列长度对其进行归一化处理，得到$1 - e(R, G)/\max(|R|, |G|)$。该分数的取值范围为$[0, 1]$；分数值为1表示序列间的排序没有偏差。“Breakfast”任务对应的分数达到0.15，这一相对较高的数值表明该任务遵循严格的顺序要求，因此相较于50Salads（0.02）和Assembly101（0.05）而言，研究其时间序列动态特性的价值更低。总体而言，我们的数据集中包含大量重复步骤以及装配与拆卸序列中的时序变化，这些正是日常程序性活动的典型特征，因此为建模动作间的时间关系提供了极具挑战性的基准。
#### 4.4. 错误动作
尽管参与者是组装儿童玩具的成年人，但他们仍会犯错，且必须在继续操作前予以纠正。例如，先安装外壳再放置内部组件（见图1），这会导致无法在之后放置内部组件，因此必须先将外壳移除作为纠正措施，才能放置内部组件。我们为粗略的装配片段标注了三组并行标签：“正确”、“错误”和“纠正”。
错误是许多任务中自然会出现的现象，也是AR助手提供帮助的机会。据我们所知，目前尚无用于识别错误的动作数据集。
Table 4. Comparisons with other datasets with 3D hand pose.
| Dataset | total hours | #frames | #segments | #actions |
| FPHA [^14] | 1.0 | 0.1M | 1K | 45 |
| H2O [^23] | 5.5 | 0.5M | 1K | 36 |
| Assembly101 | 513.0 | 111M | 82K | 1456 |
在装配过程中的6万个粗略动作片段中，分别有15.9%和6.7%属于错误片段和纠正片段。技能与错误密切相关，但专注于技能评估的数据集往往是为绘画[^7]或缝合[^53]等短片段打分，而非确定错误发生的时间与具体内容。我们还根据视频中参与者的表现标注了其技能等级，等级从1（最差）到5（最佳）。总体而言，我们序列中技能标签的分布比例为：最差9%、较差6%、中等13%、良好25%、最佳47%。
#### 4.5. 三维手部姿态
由于Assembly101涉及手与物体的交互，三维手部姿态是一种重要的模态，尤其是AR/VR系统通常会提供此类信息[^19]。与FPHA [^14]及H2O [^23]相比，我们的数据集包含的片段数量多出82倍，帧数更是多出200倍，具体数据见表4。
### 4.6. 训练、验证与测试集划分
我们分别选取60%、15%和25%的视频来构建训练集、验证集和测试集，详细统计数据见补充材料。为了进行更可靠的评估，我们将测试集的真实标签保留下来，用于在线提交排行榜。验证集和测试集的设置旨在评估模型对新玩具、新动作以及不同参与者技能的泛化能力。101种玩具中有25种同时出现在训练集、验证集和测试集中。此外，还有一些玩具实例并未纳入训练集，以便支持零样本学习。
---
Figure 4. Distribution of durations: average durations are 7.1 mins, 1.7s and 16.5s for videos, fine-grained and coarse actions, respectively.
Table 5. Action recognition on fine-grained actions evaluated by Top-1 accuracy. Action anticipation on fine-grained actions evaluated by Top-5 Recall.
| Task | Tested on | Overall | Head | Tail | Seen Toys | Unseen Toys |
| verb | object | action | verb | object | action | verb | object | action | verb | object | action | verb | object | action |
| Recognition | Fixed | 64.0 | 50.4 | 39.2 | 69.7 | 63.3 | 51.1 | 49.7 | 18.3 | 9.3 | 63.0 | 55.3 | 42.0 | 64.3 | 48.8 | 38.3 |
| Egocentric | 47.0 | 34.3 | 23.0 | 51.3 | 44.6 | 31.0 | 36.2 | 8.6 | 3.1 | 47.3 | 36.0 | 23.5 | 46.9 | 33.8 | 22.9 |
| Fixed & Ego. | 58.5 | 45.2 | 34.0 | 63.7 | 57.2 | 44.6 | 45.3 | 15.1 | 7.3 | 57.8 | 48.9 | 35.9 | 58.7 | 44.0 | 33.3 |
| Anticipation | Fixed | 56.6 | 33.3 | 10.4 | 60.3 | 58.1 | 30.7 | 52.8 | 32.8 | 6.7 | 55.6 | 51.1 | 16.9 | 56.9 | 24.4 | 8.2 |
| Egocentric | 51.9 | 21.4 | 5.5 | 54.8 | 49.6 | 22.4 | 49.2 | 21.6 | 2.4 | 51.6 | 28.3 | 7.9 | 51.9 | 19.4 | 5.3 |
| Fixed & Ego. | 55.1 | 29.4 | 8.8 | 58.5 | 55.3 | 28.0 | 51.6 | 29.1 | 5.3 | 54.3 | 43.5 | 13.9 | 55.3 | 22.8 | 7.3 |
Table 6. Top-1 fine-grained action recognition accuracy for individual views, using TSM networks.
| Trained on | v1 | v2 | v3 | v4 | v5 | v6 | v7 | v8 | all v $^{{*}}$ | e1 | e2 | e3 | e4 | all e $^{{*}}$ |
| Fixed | 43.1 | 40.6 | 40.3 | 43.6 | 27.8 | 40.4 | 33.3 | 37.5 | 38.3 | 1.7 | 1.8 | 2.2 | 3.1 | 2.2 |
| Egocentric | 8.1 | 7.5 | 4.8 | 6.0 | 2.9 | 10.8 | 2.6 | 8.5 | 6.4 | 13.2 | 13.2 | 29.2 | 29.3 | 21.2 |
| Fixed & Ego. | 44.1 | 42.6 | 41.1 | 44.8 | 28.0 | 41.5 | 33.4 | 38.2 | 39.2 | 13.9 | 13.1 | 32.7 | 32.7 | 23.0 |
#### 5. 基准实验
我们对四类动作任务进行了基准测试并给出了基线结果：识别、预测、时序分割以及我们新定义的错误识别任务。不过由于数据内容极为丰富，我们希望数据集发布后，更广泛的科研社区能从中发掘出其他应用场景和任务。受篇幅限制，本节仅重点介绍部分关键结果，关于架构、实现及结果的详细对比分析则详见补充材料。
#### 5.1. 识别、预测与分割
在动作识别任务中（见表5），我们针对细粒度动作类别定义分类任务，使用基于标注起止时间预先裁剪好的视频片段。我们训练了最先进的视频识别模型TSM [^25]，以及两种性能优异的基于姿态的图卷积网络：2s-AGCN [^41] 和 MS-G3D [^26]。性能通过动词、物体及动作类别的Top-1准确率来评估。动作预测任务（见表5）旨在预测未来$\tau = 1$秒内的即将发生的细粒度动作。我们训练了最先进的模型TempAgg [^38]，其性能通过类平均Top-5召回率来评估，评估标准如[^6]所述。
时序动作分割任务（见表7）是为视频序列逐帧分配动作标签。我们采用了两种具有竞争力的先进时序卷积网络：MS-TCN++ [^24] 和 C2F-TCN [^44]，以从用于装配动作识别任务的TSM [^25] 模型中提取的逐帧特征作为输入。性能通过平均逐帧准确率（MoF）、分段编辑距离（Edit）以及在10%、25%和50%重叠阈值下的F1分数（分别记为F1@10、25、50）来评估。
这三项挑战构成了在不同粒度下理解动作的基础。与现有数据集相比，Assembly101展现出巨大潜力，它能够将多视角识别、新任务泛化能力、长尾分布、不同技能水平以及包含错误操作的序列整合到一个数据集中，从而拓展视频理解能力，应对更具挑战性的自然流程性活动。
##### 5.2. 摄像头视角
我们分别在固定视角和第一人称视角下的实例上训练模型，但在表5和表7中分别报告各视角的性能。不出所料，固定视角的表现优于第一人称视角：“整体”识别准确率相差16.2%，“整体”动作预测召回率相差4.9%，分割任务的MoF相差6.5%。这些差异凸显了从第一人称视角识别动作的难度。
表6对比了各摄像头视角下的Top-1动作识别准确率。俯视摄像头v4和v1的准确率最高，而侧视摄像头v5和v7的准确率最低，其准确率较v4分别低16%和11%。
---
Table 7. Baselines of temporal action segmentation; unless specified, results are from C2F-TCN.
| Comparison | F1@{10,25,50} | Edit | MoF |
| SOTA | | | | | |
| MS-TCN++ [^24] | all | 31.6 | 27.8 | 20.6 | 30.7 | 37.1 |
| C2F-TCN [^44] | all | 33.3 | 29.0 | 21.3 | 32.4 | 39.2 |
| Fixed vs. Egocentric | | | | | |
| Fixed | | 35.5 | 31.2 | 23.2 | 33.9 | 41.3 |
| Egocentric | | 28.7 | 24.4 | 17.5 | 29.2 | 34.8 |
| Seen vs. Unseen Toys | | | | | |
| Seen | Disassembly | 35.8 | 31.1 | 22.2 | 31.7 | 39.8 |
| Unseen | Disassembly | 31.9 | 26.6 | 17.0 | 27.9 | 38.9 |
| Seen | Assembly | 33.0 | 28.6 | 22.7 | 30.0 | 42.5 |
| Unseen | Assembly | 29.9 | 26.2 | 19.8 | 32.0 | 34.8 |
在第一人称视角下，位置较低的头戴式摄像头e3和e4比e1和e2能捕捉到更高的准确率，因为后者无法完全覆盖桌面区域。不过，e3和e4的准确率仍比v4低10%以上。
表6显示，若仅用第一人称视角或固定视角序列训练模型并进行交叉测试，而非同时使用这两种数据源训练，则会存在较大的域差异。仅在固定视角下训练的TSM在第一人称视角下的表现明显更差，反之亦然。这一现象表明了显著的不匹配问题，也为研究配对的第一人称与第三人称动作间的域差异提出了新挑战。
###### 5.3. 高频类与低频类
表5中的单独统计结果显示，头部动作与尾部动作的识别准确率存在37%的显著差异。尾部动词的准确率下降幅度远小于物体类别（分别下降18%和42%）。同样，头部类别的动作预测性能也相当高，表5中其召回率达到了28%，这一数值比“整体”动作召回率高出19.2%。这种巨大差异可能是由于评估指标的影响：由于89%的动作类别属于尾部类别，类别均值会平衡长尾分布。我们同样对尾部与头部类别的时序动作分割MoF进行了评估，结果显示尾部类别的MoF为51.5%，远高于尾部类别仅7.2%的MoF值。尾部类别较低的性能表现促使人们去开发小样本动作识别方法。
#### 5.4. 已见与未见、组装与拆卸
Assembly101可用于通过“未见”玩具来研究对新组装任务的泛化能力。表5和表7均显示，在动作识别、预测及分割方面，“已见”玩具的表现优于“未见”玩具。在识别和预测任务中，动词层面的得分差异较小，但物体层面的差距较大——因为所有动词都是共享的，而物体并非如此（未见物体占比13%）。
我们将组装与拆卸任务的评估分开进行。
Table 8. Action recognition on 3D hand poses.
| Method | verb | object | action |
| 2s-AGCN [^41] | 58.1 | 30.9 | 22.2 |
| 2s-AGCN [^41] w/ context | 64.4 | 33.9 | 26.7 |
| MS-G3D [^26] w/ context | 65.7 | 36.3 | 28.7 |
| TSM egocentric (fuse 4 views) | 59.0 | 46.5 | 33.8 |
| Object GT | 28.1 | 98.8 | 27.2 |
| MS-G3D [^26] w/ context + Object GT | 63.4 | 98.8 | 62.0 |
Table 9. Frame-wise features are extracted from TSMs pre-trained on various datasets. Action recognition is performed by TempAgg [^38] trained on these features.
| Pre-trained on | verb | object | action |
| Kinetics-400 [^21] | 28.0 | 19.9 | 9.8 |
| SSv2 [^16] | 28.7 | 18.8 | 10.2 |
| EPIC-KITCHENS-100 [^6] | 44.0 | 25.2 | 17.3 |
| Assembly101 | 65.9 | 50.5 | 40.5 |
| 3D pose - MS-G3D [^26] w/ context | 65.7 | 36.3 | 28.7 |
表7中用于动作分割的序列部分显示，组装部分的MoF和分割得分始终低于拆卸序列，这很可能是由于其复杂性更高所致：拆卸序列的排列变化更少且不会出现错误。总体而言，尽管组装任务更为复杂，但F1分数和编辑分数并未显示出较拆卸序列更明显的过度分割现象。
#### 5.5.3 基于D姿态的动作识别
收集Assembly101的另一个目的是研究基于3D手部姿态的动作识别。手部姿态在AR/VR系统中较为常见，且相比视频特征而言是更为紧凑的表示方式。表8对比了基于3D姿态的识别与基于视频的识别。“2s-AGCN [^41]”用于对由动作起始和结束点界定的裁剪片段进行分类$[t_s, t_e]$。“2s-AGCN [^41] w/context”会将各边界各延伸0.5秒，这种延伸能显著提升动作识别准确率。最先进的“MS-G3D [^26] w/context”模型取得了28.7%的最高动作识别性能，不过这一数值仍比基于视频的“TSM egocentric (fuse 4 views)”低5.1%，后者通过对四个第一人称视角下的预测结果取平均来融合结果。有趣的是，基于姿态识别的动词准确率比基于视频的高6.7%，而其物体类别得分却比基于视频的低10.2%。这并不令人意外：手部姿态能够轻松编码动作信息，但无法提供太多关于物体的信息。我们还增加了一项基准实验：将真实的物体标签作为独热编码的帧级特征，并在此基础上训练TempAgg [^38]模型。如表8所示，仅使用“Object GT”就能获得较高的物体类别准确率，但动词准确率较低。将其与……
---
Figure 5. Influence of skill on segmentation. “d” stands for disassembly and “a” for assembly. Participants with less skills, “a1 & a2”, have lower scores in assembly sequences.
“MS-G3D [^26] w/ context”相结合后，动作识别准确率有了显著提升。我们将3D物体与手部姿态的动作识别联合建模作为未来的研究方向。
3D姿态还有一个额外优势：对不同环境间的域差异不敏感。对于基于视频的模型而言，从头训练特征需要大量时间和数据，但使用预训练网络提取的特征并不总是具备良好的泛化能力。表9对比了在“v1”视角下，基于TSM网络提取的特征训练的TempAgg [^38]——这些TSM网络分别在Kinetics400 [^21]、Something-Something [^16]、EPIC-KITCHENS100 [^6]以及Assembly101数据集上预训练。在EPIC-KITCHENS上预训练的TSM特征表现明显优于其他数据集；不过与在原生Assembly101数据集上预训练的结果相比，仍存在23.2%的差距。这一结果反映出我们的数据集与现有动作识别基准数据集之间存在显著的域差异。另一方面，姿态属于低维度的通用表征，不受域的影响，因此其性能远超其他数据集的结果。
#### 5.6. 技能水平
图5对比了技能水平从1级（技能最差）到5级（技能最佳）时，拆卸和装配序列的分割得分，其中前缀“d”和“a”分别对应拆卸和装配序列。结果显示，技能水平对拆卸序列的影响很小。但对于技能最差的组别“a1和a2”而言，装配序列的分割得分明显低于拆卸序列，这很可能是由较高的顺序变异性和错误片段导致的。
### 5.7. 错误检测
识别错误需要对程序性知识进行建模并保留长程序列信息。作为输入，我们提供从装配序列开始到当前粗略动作片段结束这段时间的逐帧特征所构成的视频序列。任务目标是预测当前片段是否属于{“正确”、“错误”、“修正”}这三类之一。我们采用基于TSM特征的长程视频模型TempAgg [^38]，评估各类别的Top-1精确率和Top-1召回率。
Table 10. Mistake detection results.
| | Mistake | Correction |
| Task | Features | precision | recall | precision | recall |
| Recognition | GT coarse | 48.6 | 62.7 | 65.6 | 84.9 |
| TSM | 30.8 | 46.6 | 30.8 | 29.6 |
| Early prediction | TSM | 29.3 | 35.0 | 26.5 | 26.4 |
评估在两种设置下的表现：“识别”模式输入整个粗略片段，“早期预测”模式则仅输入片段的一半。由于类别分布不平衡，我们对模型将“错误”和“修正”类别误分类的情况给予更严厉的惩罚。作为基准参考，我们使用真实的粗略动作标签“GT coarse”作为输入。
基线结果：表10显示了错误检测的难点——即便以真实的粗略动作标签作为输入，错误和修正动作的召回率也分别只有约62.7%和84.9%。使用TSM输入特征时，一旦目标片段结束，召回率分别降至约46.6%和29.6%；而早期预测会使召回率进一步下降11.6%和3.2%。
## 6. 结论
在本文中，我们介绍了Assembly101——迄今为止规模最大的程序性活动数据集。该数据集包含同步的以人眼为中心的视角和静态视角，便于进行跨视图域分析；还包含了多粒度动作片段及错误标签，可用于研究面向目标的序列学习；同时提供了3D手部姿态数据，以促进3D手物交互识别的研究。我们设定了四个挑战：动作识别、动作预测、时序动作分割以及错误检测，以此评估装配任务的多个方面，包括对新玩具的泛化能力、跨视图迁移能力、长尾分布特性、技能水平差异以及姿态与外观的影响。现有方法虽展现出不错的效果，但如oracle实验所示，它们仍远未达到高精度解决这些挑战的水平，这为未来的探索留下了空间。
Assembly101可应用于诸多领域。在本文中，我们提出了几个应用方向：训练下一代智能助手，使其能识别用户正在进行的操作；在用户观看装配任务时预测后续步骤；检查是否存在不符合规范的步骤并及时发出警报或提供帮助。我们希望该数据集发布后，学界能为其发掘出更多应用场景与任务。
致谢：本研究/项目得到了新加坡国家研究基金会通过其AI新加坡计划提供的支持（AISG奖项编号：AISG2-RP-2020-016）。本文中表达的任何观点、发现、结论或建议均为作者个人观点，并不反映新加坡国家研究基金会的立场。
---
## 参考文献
[^1]: Jean-Baptiste Alayrac, Piotr Bojanowski, Nishant Agrawal, Josef Sivic, Ivan Laptev, and Simon Lacoste-Julien. Unsupervised learning from narrated instruction videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4575–4583, 2016. 1, 2
[^2]: Yizhak Ben-Shabat, Xin Yu, Fatemeh Saleh, Dylan Campbell, Cristian Rodriguez-Opazo, Hongdong Li, and Stephen Gould. The ikea asm dataset: Understanding people assembling furniture through actions, objects and pose. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 847–859, 2021. 1, 2, 5
[^3]: Laura Beyer-Berjot, Stéphane Berdah, Daniel A Hashimoto, Ara Darzi, and Rajesh Aggarwal. A virtual reality training curriculum for laparoscopic colorectal surgery. Journal of surgical education, 73(6):932–941, 2016. 1
[^4]: Sara Colombo, Yihyun Lim, and Federico Casalegno. Deep vision shield: Assessing the use of hmd and wearable sensors in a smart safety device. In Proceedings of the 12th ACM International Conference on P Ervasive Technologies Related to Assistive Environments, pages 402–410, 2019. 1
[^5]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European Conference on Computer Vision (ECCV), 2018. 1, 2
[^6]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision. CoRR, abs/2006.13256, 2020. 2, 5, 6, 7, 8
[^7]: Hazel Doughty, Walterio Mayol-Cuevas, and Dima Damen. The pros and cons: Rank-aware temporal attention for skill determination in long videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7862–7871, 2019. 1, 3, 5
[^8]: EGTEA. Extended GTEA Gaze+ - Georgia Tech. , 2018.1
[^9]: Yazan Abu Farha and Jurgen Gall. Ms-tcn: Multi-stage temporal convolutional network for action segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3575–3584, 2019. 2
[^10]: Yazan Abu Farha, Qiuhong Ke, Bernt Schiele, and Juergen Gall. Long-term anticipation of activities with cycle consistency. In German Conference on Pattern Recognition, 2020. 2
[^11]: Giovanni Maria Farinella, Giovanni Signorello, Sebastiano Battiato, Antonino Furnari, Francesco Ragusa, R Leonardi, Emanuele Ragusa, Emanuele Scuderi, Antonino Lopes, Luciano Santo, et al. Vedi: Vision exploitation for data interpretation. In International Conference on Image Analysis and Processing, pages 753–763. Springer, 2019. 1
[^12]: Alireza Fathi, Xiaofeng Ren, and James M Rehg. Learning to recognize objects in egocentric activities. In Proceedings of
IEEE/CVF计算机视觉与模式识别会议（CVPR），2011年。1, 2
[^13]: Yixin Gao, S Swaroop Vedula, Carol E Reiley, Narges Ahmidi, Balakrishnan Varadarajan, Henry C Lin, Lingling Tao, Luca Zappella, Benjamin Béjar, David D Yuh, et al. Jhu-isi gesture and skill assessment working set (jigsaws): A surgical activity dataset for human motion modeling. In MICCAI workshop: M2cai, volume 3, page 3, 2014. 1,3
[^14]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 409–419, 2018. 3, 5
[^15]: Google. Google glass cook along app for gressingham duck. , 2014. 1
[^16]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fruend, Peter Yianilos, Moritz Mueller-Freitag, et al. The something something video database for learning and evaluating visual common sense. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 5842–5850, 2017. 1, 2, 7, 8
[^17]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, ayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Christian Fuegen, Abrham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Zhenqiang Li, Kartikeya Mangalam, Raghava Modhug, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Yunyi Zhu, ablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyu Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Toralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Around the World in 3,000 Hours of Egocentric Video. CoRR, abs/2110.07058, 2021. 1, 2, 5
### [^18]: Chunhui Gu, Chen Sun, David A Ross, Carl Vondrick, Caroline Pantofaru, Yeqing Li, Sudheendra Vijayanarasimhan, George Toderici, Susanna Ricco, Rahul Sukthankar, et al. Ava: A video dataset of spatio-temporally localized atomic visual actions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6047–6056, 2018. 1
---
[^19]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (TOG), 39(4):87–1, 2020. 4,5
[^20]: Y. Jang, B. Sullivan, C. Ludwig, I. Gilchrist, D. Damen, and W. Mayol-Cuevas. Epic-tent: An egocentric video dataset for camping tent assembly. In ICCVW, 2019. 1, 2
[^21]: Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017. 1, 2, 7, 8
[^22]: Hilde Kuehne, Ali Arslan, and Thomas Serre. The language of actions: Recovering the syntax and semantics of goal-directed human activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2014. 1, 2, 3, 5
[^23]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. arXiv preprint arXiv:2104.11181, 2021. 3, 5
[^24]: Shi-Jie Li, Yazan AbuFarha, Yun Liu, Ming-Ming Cheng, and Juergen Gall. Ms-tcn++: Multi-stage temporal convolutional network for action segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, pages 1–1, 2020. 6, 7
[^25]: Ji Lin, Chuang Gan, and Song Han. Tsm: Temporal shift module for efficient video understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 7083–7093, 2019. 6
[^26]: Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, and Wanli Ouyang. Disentangling and unifying graph convolutions for skeleton-based action recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 143–152, 2020. 6, 7, 8
[^27]: Jonathan Malmaud, Jonathan Huang, Vivek Rathod, Nicholas Johnston, Andrew Rabinovich, and Kevin Murphy. What's cookin'? interpreting cooking videos using text, speech and vision. In North American Chapter of the Association for Computational Linguistics (NAACL), pages 143–152, 2015. 2
[^28]: Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019. 1
[^29]: Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. How to 100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2630–2640, 2019. 2
[^30]: Jia-Hui Pan, Jibin Gao, and Wei-Shi Zheng. Action assessment by joint relation graphs. In Proceedings of the
IEEE/CVF国际计算机视觉会议，第6331–6340页，2019年。3
[^31]: Paritosh Parmar and Brendan Morris. Action quality assessment across multiple actions. In 2019 IEEE winter conference on applications of computer vision (WACV), pages 1468–1476. IEEE, 2019. 1
[^32]: Hamed Pirsiavash and Deva Ramanan. Detecting activities of daily living in first-person camera views. In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, pages 2847–2854. IEEE, 2012. 2
[^33]: Hamed Pirsiavash, Carl Vondrick, and Antonio Torralba. Assessing the quality of actions. In European Conference on Computer Vision, pages 556–571. Springer, 2014. 1
[^34]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1569–1578, 2021. 1, 2, 3, 5
[^35]: Michaela Regneri, Marcus Rohrbach, Dominikus Wetzel, Stefan Thater, Bernt Schiele, and Manfred Pinkal. Grounding action descriptions in videos. Transactions of the Association for Computational Linguistics, 2013. 1
[^36]: Edoardo Remelli, Shangchen Han, Sina Honari, Pascal Fua, and Robert Wang. Lightweight multi-view 3d pose estimation through camera-disentangled representation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6040–6049, 2020. 4
[^37]: Marcus Rohrbach, Sikandar Amin, Mykhaylo Andriluka, and Bernt Schiele. A database for fine grained activity detection of cooking activities. In Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), 2012. 1
[^38]: Fadime Sener, Dipika Singhania, and Angela Yao. Temporal aggregate representations for long-range video understanding. In Proceedings of the European Conference on Computer Vision (ECCV), pages 154–171. Springer, 2020. 6, 7, 8
[^39]: Fadime Sener and Angela Yao. Unsupervised learning and segmentation of complex activities from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^40]: Fadime Sener and Angela Yao. Zero-shot anticipation for instructional activities. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. 1
[^41]: Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Two-stream adaptive graph convolutional networks for skeleton-based action recognition. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12026–12035, 2019. 6, 7
[^42]: Gunnar A Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Actor and observer: Joint modeling of first and third-person videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 7396–7404, 2018. 1,2
#### [^43]: Gunnar A. Sigurdsson, Gül Varol, Xiaolong Wang, Ali Farhadi, Ivan Laptev, and Abhinav Gupta. Hollywood in
---
Homes：用于活动理解的众包数据收集。载于欧洲计算机视觉会议（ECCV）论文集，2016年。1,2
[^44]: Dipika Singhania, Rahul Rahaman, and Angela Yao. Coarse to fine multi-resolution temporal convolutional network. arXiv preprint arXiv:2105.10859, 2021. 6, 7
[^45]: Khurram Soomro, Amir Roshan Zamir, and Mubarak Shah. Ucf101: A dataset of 101 human actions classes from videos in the wild. arXiv preprint arXiv:1212.0402, 2012. 1
[^46]: Bilge Soran, Ali Farhadi, and Linda Shapiro. Generating notifications for missing actions: Don’t forget to turn the lights off! In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 4669–4677, 2015. 3
[^47]: Stein and McKenna. Combining embedded accelerometers with computer vision for recognizing food preparation activities. In UbiComp, 2013. 1, 2, 5
[^48]: Waqas Sultani, Chen Chen, and Mubarak Shah. Real-world anomaly detection in surveillance videos. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 6479–6488, 2018. 3
[^49]: Yansong Tang, Dajun Ding, Yongming Rao, Yu Zheng, Danyang Zhang, Lili Zhao, Jiwen Lu, and Jie Zhou. Coin: A large-scale dataset for comprehensive instructional video analysis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2
[^50]: Luowei Zhou, Chenliang Xu, and Jason J Corso. Towards automatic learning of procedures from web instructional videos. In AAAI, 2018. 1,2
[^51]: Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In Proceedings of the IEEE international conference on computer vision, pages 19–27, 2015. 1
[^52]: Dimitri Zhukov, Jean-Baptiste Alayrac, Ramazan Gokberk Cinbis, David Fouhey, Ivan Laptev, and Josef Sivic. Cross-task weakly supervised learning from instructional videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2
##### [^53]: Aneeq Zia, Yachna Sharma, Vinay Bettadapura, Eric L Sarin, Thomas Ploetz, Mark A Clements, and Irfan Essa. Automated video-based assessment of surgical skills for training and evaluation in medical schools. International journal of computer assisted radiology and surgery, 11(9):1623–1636, 2016. 3, 5
---
##### 补充材料：Assembly101——用于理解程序性活动的大规模多视图视频数据集
法迪梅·塞纳尔 $^{\dagger}$ 迪比亚迪普·查特吉 $^{\ddagger}$ 丹尼尔·谢列波夫 $^{\dagger}$ 何坤 $^{\dagger}$ 迪皮卡·辛哈尼亚 $^{\ddagger}$ 罗伯特·王 $^{\dagger}$ 安吉拉·姚 $^{\ddagger}$
$^{\dagger}$ Meta Reality Labs Research $^{\ddagger}$ 新加坡国立大学 {famesener,dsh,kunhe,rywang}@fb.com {dibyadip,dipika16,ayao}@comp.nus.edu.sg
Figure 1. Our desk-based rig and sample frames from eight RGB and four monochrome cameras.
---
Figure 2. Our annotation tool interface. Right panel: input video composed of three static camera views and a diagram of the objects. Middle panel: pre-defined lists of verbs, tools and objects for labelling segments. The annotators also have the flexibility for free-form entry. Bottom bar: this annotation bar shows the temporal boundaries of the actions, i.e., the start and end of each action. Left panel: list of temporally annotated actions.
本补充材料进一步详述了录制设置、标注及实验相关内容。第1节概述了标注员培训情况、我们的录制过程及定制界面；第2节介绍了标签分布情况、详细的训练/验证/测试统计数据，以及与其它相关数据集的广泛对比结果；第3节阐述了基线模型的架构与实现细节；最后在第4节中，我们展示了关于基线模型的更多结果与对比。
#### 1. 录制与标注
##### 1.1. 录制设备
我们搭建了一套专用的桌面式设备来采集本数据集中的序列。每个序列由八台分辨率为$1920 \times 1080$的RGB相机和四台分辨率为$640 \times 480$的黑白相机进行录制。图1展示了各相机的视角及样本帧。
##### 1.2. 参与者
我们招募了53名成年参与者（28名男性，25名女性），在连续18天内分别进行时长约一小时的录制。招募参与者时遵循了COVID-19相关的指南与限制要求，包括要求佩戴面罩。我们获得了佩戴相机的参与者的知情同意，允许对参与者进行数字化采集，即采集参与者的面部与身体图像。所有视频素材及标注数据均向研究界开放。
##### 1.3. 标注
标注界面：我们开发了一个定制界面（见图2），供标注员确定细粒度动作片段的起始帧与结束帧。每个动作片段会标注预定义的动词、工具及物体信息，不过标注员也可自由填写相关内容。为确保标注精准，我们展示了三个静态相机视角，以保证至少从一个视角能看清动作，且不会因操作手遮挡而影响观察。此外，我们还为标注员提供了标注有所有101种玩具名称的示意图，以确保命名与术语准确。参与者在玩玩具时，需同时大声描述自己的动作以及所用工具与物体，例如：“我正在把卡车翻过来，然后把右前轮装到卡车上”。为辅助描述，参考示意图中已组装好的玩具都标注了部件名称。
标注员培训：为确保标注质量，我们对标注员进行了为期四天的培训。期间，标注员在作者的指导下熟悉了我们的界面及标注任务。培训结束后，
---
Figure 3. We define 90 objects (upper) and specify 24 verbs (bottom), forming a total of 1380 fine-grained action labels. The verb distribution also shows the number of actions containing that verb on top of each bar.
那些进度缓慢或错误较多的标注员未被选中继续参与。培训结束后，共有21名标注员耗时213小时完成了标注工作。
##### 2. 数据集统计与划分
#### 2.1. 细粒度动作
在我们的15个玩具类别中，共定义了90种独特的物体，另外还定义了24个动词。这24个动词中有6个用于描述“尝试”行为，即参与者在组装过程中会调整或改变想法。例如，“拾起底盘”这一动作包含伸手触碰底盘、抓住它以及将其抬起三个阶段。我们的标注员会收到每个动词对应的阶段说明。如果用户未能完成某个片段中的所有阶段——比如只是靠近并/或抓住底盘但未将其抬起——我们会要求标注员在动作前加上“尝试”二字。物体与动词组合后共形成1380个细粒度动作标签，因为并非所有可能的组合都会出现。图3展示了这些动词与物体的分布情况。
为了凸显本数据集的规模，我们在表1中将Assembly101与其他动作识别视频数据集进行了对比。无论是在片段数量上，还是在第三人称与第一人称视角的多视图录制丰富度方面，我们的数据集都位居首位。
平衡头部类别：物体、动词以及细粒度动作标签自然会形成长尾分布 [^33]。在观察Meccano和IKEA数据集时我们发现，少数头部类别主导了动作分布（IKEA中60%的动作属于3个头部类别，Meccano中为30%）。为了缓解类似现象，我们针对轮子、螺丝和工具这两种最常见的物体部件，在标注设计上做了两项选择。这些调整分散了头尾分布（前3个类别仅占动作片段的13%），同时为数据集增添了语义丰富度：
• 对轮子进行枚举：比如“放置第一个轮子”与通用的“放置轮子”动作相比。枚举还拓展了序列中时间依赖关系的范围，因为算法必须记录已安装或移除的轮子数量。
---
- 细粒度的工具和螺丝动词：由于装配任务的特性，工具和螺丝出现的频率很高。为了避免将工具和螺丝视为简单物体或部件而导致的头部类别过于集中，我们引入了专门的动词，例如“用电钻拧紧[物体]上的螺丝”、“把螺丝放置在[物体]上”以及“从[物体]上拧下螺丝”。将这些动词与其他物体搭配使用，比单纯的“拧紧底盘”或“放置螺丝”能传递更多信息。
##### 2.2. 粗粒度动作
每个粗粒度动作由车辆零部件的装配或拆卸操作定义。共有202个粗粒度动作，涉及11个动词和61个物体。每个视频序列平均包含24个粗粒度动作，每个粗粒度动作片段中平均有10个细粒度动作。每个装配序列中平均有14个粗粒度动作，拆卸序列中则为10个。表2将Assembly101与其他带有粗粒度标签的视频数据集进行了对比。我们的数据集在视频时长和片段数量上均为最大，也是唯一一个非烹饪类录制数据集。
##### 2.3. 三维手部姿态
与全身动作识别相比，基于三维手部姿态的动作识别研究要少得多。目前仅有的专注于带三维手部姿态标注的手部-物体动作识别的数据集 [^10] [^16] 规模较小，且/或者仅包含单只手的数据 [^10]。我们在表3中展示了对比结果：与FPHA [^10] 和H2O [^16] 相比，我们的数据集包含的动作片段数量多82倍，帧数多200倍。我们还将数据集的规模与NTU RGB+D 60 [^29] 和NTU RGB+D 120 [^20] 进行了对比，后者是规模最大的全身姿态数据集。我们的数据集包含的动作类别多6-12倍，帧数多27-13倍。此外，NTU RGB+D 60和NTU RGB+D 120由简短的动作剪辑组成，而我们的片段之间具有序列动态关联，因此能够用于研究时间上下文对动作识别的重要性。
##### 2.4. 训练、验证和测试划分
我们按照60%/15%/25%的比例划分录制数据，分别用作训练集、验证集和测试集，详细统计数据见表5。表4展示了错误动作的分布情况。
出于评估目的，我们会保留测试集的真实标注信息。这些信息将用于在线挑战赛排行榜，以追踪未来在我们目标任务上的进展。我们的数据集旨在评估模型对新玩具、新动作以及参与者技能的泛化能力。因此，我们设计了验证集和测试集，以便在不同条件下检验模型性能。
已见/未见车辆/玩具：在101个玩具中，仅有25个玩具在三个数据集中均出现。我们设计这些数据集的目的是确保训练集中包含未见过的玩具，以便进行零样本学习。验证集和测试集中分别有20个和16个未见过的玩具实例。
头部类别与尾部类别：我们的物体和动词分布如图3所示。其中存在大量常见的操作动词，如“拿起”和“放下”，这自然形成了长尾分布特征。物体和动作的分布趋势一致。我们将那些实例占比达到训练数据30%的动作类别定义为尾部类别，共计1238个（占89%）。我们在划分尾部类别时参考了Epic-Kitchens数据集，该数据集中87%的动作类别属于尾部类别。类似地，我们将那些实例占比达到训练数据30%的粗粒度标签类别定义为粗粒度标签的尾部类别，共计171个（占84%）。
Figure 4. The distribution of skill level of the participants from 1 (the worst) to 5 (the best). Overall, 9% of the sequences are from the participants with the worst skill level and 47% is from the best. 'tr', 'v' and 't' stand for the training, validation and test splits.
技能水平评估在体育[^22]、机器人学习[^35]、外科手术[^38]以及装配线[^24]等诸多领域都是至关重要的任务。哪位参与者的装配技能最高？参与者在完成更多装配任务时的进步情况如何？参与者常犯哪些错误？回答这些问题需要确定装配操作的完成质量。因此，我们对每个视频中参与者的技能水平进行了标注，评分范围从1（最差）到5（最佳）。技能水平评判标准基于参与者的装配速度和错误数量，并设定了粗略的阈值。总体而言，我们的序列中技能标签的分布比例为：最差到最佳分别为9%、6%、13%、25%和47%（见图4）。
---
Table 1. Comparison with other video datasets for action recognition on fine-grained actions.
| Dataset | total hours | # videos | # segments | # actions | recorded | multi-view | egocentric | #pose annotation | year |
| MPII [^27] | 8.3 | 44 | 5,609 | 64 | ✓ | ✗ | ✗ | ✓ | 2012 |
| ActivityNet [^3] | 648.0 | 27,811 | 23,064 | 200 | ✗ | ✗ | ✗ | ✗ | 2015 |
| Charades [^32] | 81.1 | 9,848 | 67,000 | 157 | ✓ | ✗ | ✗ | ✗ | 2016 |
| THUMOS [^13] | 30.0 | 5,613 | 6,310 | 101 | ✗ | ✗ | ✗ | ✗ | 2017 |
| Charades-EGO [^31] | 68.8 | 2,751 | 30,516 | 157 | ✓ | ✓ | ✓ | ✗ | 2018 |
| EPIC-100 [^5] | 100.0 | 700 | 89,977 | 4053 | ✓ | ✗ | ✓ | ✗ | 2020 |
| H2O [^16] | 5.5 | 186 | 934 | 11 | ✓ | ✓ | ✓ | ✓ | 2021 |
| Meccano [^26] | 6.9 | 20 | 8,858 | 61 | ✓ | ✗ | ✓ | ✗ | 2021 |
| IKEAASM [^2] | 35.0 | 371 | 17,577 | 33 | ✓ | ✓ | ✗ | ✓ | 2021 |
| Ego4D [^11] | 120.0 | - | 77,002 | - | ✓ | ✗ | ✓ | ✗ | 2021 |
| Assembly101 | 513.0 | 4,321 | 1,013,523 | 1380 | ✓ | ✓ | ✓ | ✓ | 2021 |
Table 2. Coarse action label dataset comparisons.
| Dataset | hours | #videos | #segments | #actions | #recorded | #multi-view | #egocentric | #cooking | #year |
| GTEA [^7] | 0.4 | 28 | 500 | 71 | ✓ | ✗ | ✓ | ✓ | 2011 |
| 50Salads [^36] | 4.5 | 50 | 899 | 17 | ✓ | ✗ | ✗ | ✓ | 2013 |
| Breakfast [^15] | 77.0 | 1,712 | 11,300 | 48 | ✓ | ✓ | ✗ | ✓ | 2014 |
| YouTube Instructional [^1] | 7.0 | 150 | 1,260 | 47 | ✗ | ✗ | ✗ | ✗ | 2016 |
| COIN [^37] | 476.0 | 11,800 | 46,000 | 778 | ✗ | ✗ | ✗ | ✗ | 2019 |
| CrossTask [^41] | 374.0 | 4,700 | 34,000 | 107 | ✗ | ✗ | ✗ | ✓ | 2019 |
| YouCookII [^40] | 176.0 | 2,000 | 15,400 | - | ✗ | ✗ | ✗ | ✓ | 2018 |
| Assembly101 | 513.0 | 4,321 | 104,759 | 202 | ✓ | ✓ | ✓ | ✗ | 2021 |
Table 3. Comparisons with other datasets with 3D hand pose.
| Dataset | Hours | #frames | #segments | #actions |
| NTU RGB+D 60 [^29] | - | 4.0M | 56K | 60 |
| NTU RGB+D 120 [^20] | - | 8.0M | 114K | 120 |
| FPHA [^10] | 1.0h | 0.1M | 1K | 45 |
| $H_{2}O$ [^16] | 5.5h | 0.5M | 1K | 36 |
| Assembly101 | 513.0h | 110.0M | 86K | 1380 |
Table 4. The distribution of {“correct”, “mistake”, “correction”} segments on the coarse segments of the assembly sequences.
我们定义了四类动作挑战：识别、预测、时序分割以及错误识别。
| #correct | #mistake | #correction |
| Test | 12,337 | 3,144 | 1,268 |
| Validation | 8,984 | 1,624 | 640 |
| Train | 25,718 | 4,941 | 2,226 |
| Overall | 47,039 | 9,709 | 4,134 |
##### 3. 实现细节
##### 3.1. 动作识别
##### 3.1.1 基于外观的动作识别
性能优异的基于视频的动作识别模型[^4] [^8]通常是先进的图像类架构[^12]的扩展。有些研究将卷积和池化操作扩展到时间维度[^4] [^8]；另一些则通过通道移位[^6] [^18]来捕捉时间关系，同时保持2D CNN的复杂度。我们采用了先进的TSM模型[^18]作为该任务的基准模型。
实现细节：我们使用了两种标准TSM架构版本，均以ResNet-50[^12]为骨干网络——一种配备单个分类头用于预测动作，另一种配备两个分类头分别预测物体和动词。两种模型均采用随机梯度下降（SGD）算法进行训练，动量参数为0.9，权重衰减系数为0.0005，dropout率为0.5，训练共进行50个周期，批量大小为64。初始学习率设为0.001，并在第20和第40个周期时乘以0.1进行衰减。通过验证集上的提前停止机制选出性能最佳的模型。TSM在训练和推理过程中的采样与增强操作均遵循[^5]中的方法。
---
Table 5. Statistics of Assembly101 and its Train/Validation/Test splits.
| Split | Hours | #videos | #unseen toys | #shared toys | #fine segments | #fine verbs | #fine objects | #fine actions | #coarse segments | #coarse verbs | #coarse objects | #coarse actions |
| Train | 287.6 | 2526 | 40 | 26 | 566,855 | 24 | 85 | 1244 | 57,657 | 11 | 59 | 195 |
| Validation | 96.6 | 740 | 16 | 18 | 186,788 | 24 | 81 | 1018 | 19,008 | 10 | 56 | 164 |
| Test | 128.8 | 1055 | 20 | 20 | 259,880 | 24 | 79 | 1045 | 28,094 | 11 | 55 | 172 |
| Overall | 513.0 | 4321 | 76 | 25 | 1,013,523 | 24 | 90 | 1380 | 104,759 | 11 | 61 | 202 |
#### 3.1.2 基于姿态的动作识别
基于骨骼的动作识别最先进方法依赖于深度学习架构，如CNN [^19]、Transformer [^25] 以及图卷积网络（GCN）[^21] [^39]。我们在实验中采用了两种基于GCN的最先进方法：2s-AGCN [^30] 和 MS-G3D [^21]。
实现细节：我们使用公开可用的PyTorch [^23] 代码来实现2s-AGCN和MS-G3D。所有手部姿态序列都通过重复动作片段来填充至T = 200帧；如果缺少一只手的数据，则用0来填充另一只手的数据。实验中未使用数据增强技术。
我们采用SGD优化器训练2s-AGCN [^30]，动量参数设为0.9，学习率设为0.1，批量大小为32，共训练30个周期。权重衰减系数设定为0.0001。对于MS-G3D [^21]，我们同样使用SGD优化器，动量参数为0.9，学习率为0.05；批量大小设为16，权重衰减系数为0.0005。该模型共训练50个周期。
##### 3.2. 动作预测
在我们的实验中，预测任务定义为在动作开始前1秒预测即将发生的细粒度动作。我们采用TempAgg [^28] 作为该任务的基准方法。与以往研究 [^5] [^9] 类似，我们报告类别平均Top-5召回率，因为该指标能够反映未来预测中的不确定性。
实现细节：我们使用带有三个分类头的TempAgg模型，分别用于预测物体、动词和动作。由于TempAgg基于帧特征工作，因此我们采用在我们数据集上微调过的TSM的二维骨干网络来提取2048维的帧特征。过去片段特征是在动作开始前的6秒内计算得出的，并在三个时间尺度上聚合 $K = \{5, 3, 2\}$。近期片段特征则是在动作开始前的 $\{1.6, 1.2, 0.8, 0.4\}$ 时间内计算，并在单一时间尺度上聚合 $K_R = 2$。该模型使用Adam [^14] 优化器训练15个周期，批量大小为32，丢弃率设为0.3。初始学习率为0.0001，在 $10^th$ 周期后学习率会缩小为原来的十分之一。
##### 3.3. 时序动作分割
在时序动作分割任务中，我们采用了两种具有竞争力的最先进时序卷积网络：MS-TCN++ [^17] 和 C2F-TCN [^34]。前者在其前向传播结构中保持固定的时间分辨率，且核尺寸逐层增大；后者则采用U型网络的编码-解码结构，先压缩后扩展。对于C2F-TCN，我们采用了解码层的隐式集成策略以及论文中详细描述的特征增强方法。性能评估指标为平均帧级准确率（MoF）。由于较长的动作会对该指标产生更大影响，且该指标并未明确惩罚过度分割错误，因此我们还报告了基于片段的编辑距离（Edit）以及在10%、25%和50%重叠阈值下的F1分数，分别记为F1@10、25、50。
实现细节：对于C2F-TCN [^34]和MS-TCN++ [^17]，我们均采用Adam [^14]优化器，批量大小设为20，最多训练200个周期，同时利用早停机制来选择最适合验证数据的模型。两种模型所使用的损失函数分别为加权为1的逐帧交叉熵损失，以及加权为0.17的均方误差损失 [^17]。对于MS-TCN++，学习率设为0.0005，权重衰减为0；而对于C2F-TCN，学习率为0.001，权重衰减为0.0001。特征增强采样的基准窗口大小设为20，解码器的所有层均参与集成。
##### 3.4. 错误检测
我们提出了装配视频中的错误检测这一新任务。我们采用TempAgg [^28]作为该任务的基线模型，它能够成功捕捉跨越数分钟时间范围的长期关系。
实现细节：我们对TempAgg模型进行了修改，以捕捉更长期的关系。具体而言，动作片段周围60秒时间范围内的过往片段特征被计算出来，即 $[s - 60, e + 60]$，并在3个时间尺度上聚合 $K = \{5, 3, 2\}$，其中s和e分别表示动作的起始和结束时间戳（单位为秒）。动作片段周围 $\{3.0, 2.0, 1.0, 0.0\}$ 时间范围内的近期片段特征也被计算出来，并在单个时间尺度上聚合。
---
Table 6. Action recognition on fine-grained actions evaluated by Top-5 accuracy.
| | Overall | Head | Tail | Seen Toys | Unseen Toys |
| Task | Tested on | verb | object | action | verb | object | action | verb | object | action | verb | object | action | verb | object | action |
| Recognition | Fixed | 91.2 | 77.0 | 63.3 | 93.8 | 89.6 | 78.0 | 84.9 | 45.8 | 26.4 | 90.8 | 84.8 | 68.6 | 91.4 | 74.6 | 61.6 |
| Ergocentric | 82.7 | 64.3 | 44.3 | 86.0 | 79.1 | 57.8 | 74.6 | 27.4 | 10.8 | 83.5 | 67.8 | 46.3 | 82.5 | 63.2 | 43.7 |
| Fixed & Ego. | 88.5 | 72.9 | 57.1 | 91.2 | 86.2 | 71.4 | 81.6 | 39.8 | 21.3 | 88.4 | 79.2 | 61.2 | 88.5 | 70.9 | 55.8 |
Table 7. Action recognition & anticipation performance on fine-level actions (evaluate by Top-1 acc. and Top-5 recall respectively) using TSM and TempAgg respectively. “Fusion” corresponds to average-pooling the scores from multiple views.
| | Overall | Head | Tail | Seen Toys | Unseen Toys |
| | verb | object | act. | verb | object | act. | verb | object | act. | verb | object | act. | verb | object | act. |
| Recognition | Overall | 58.5 | 45.2 | 34.0 | 63.7 | 57.2 | 44.6 | 45.3 | 15.1 | 7.3 | 57.8 | 48.9 | 35.9 | 58.7 | 44.0 | 33.3 |
| Fusion | 71.6 | 59.0 | 48.0 | 77.4 | 74.4 | 63.2 | 57.0 | 20.9 | 10.4 | 71.0 | 64.7 | 51.2 | 71.8 | 57.2 | 46.9 |
| Anticipation | Overall | 55.1 | 29.4 | 8.8 | 58.5 | 55.3 | 28.0 | 51.6 | 29.1 | 5.3 | 54.3 | 43.5 | 13.9 | 55.3 | 22.8 | 7.3 |
| Fusion | 59.2 | 31.3 | 9.1 | 62.6 | 62.3 | 34.8 | 55.5 | 30.3 | 4.5 | 58.3 | 48.3 | 15.7 | 59.4 | 23.4 | 7.8 |
Figure 5. Action recognition accuracy and segmentation MoF over toy categories.
$K_R = 5$。训练方案与动作预测任务类似，即基于2048维的TSM特征，使用Adam [^14]优化器进行15个周期的训练，批量大小为32，dropout设置为0.3，在单块GPU上运行。初始学习率设为0.0001，在 $10^{th}$ 周期后按10倍因子衰减。由于类别分布不平衡，我们采用了加权交叉熵损失，以对模型错误分类“错误”和“纠正”类别的情况给予更大惩罚。
##### 4. 实验结果
### 4.1. 动作识别与预测
表6给出了动作识别的Top-5准确率。我们在表7中对比了融合多视角得分后的“整体”性能与动作识别和预测任务的结果。融合显著提升了识别性能，而对预测任务的提升则相对较小。
Figure 6. Action recognition object and verb recall.
##### 4.2. 技能水平
我们并未观察到不同技能水平在动作识别和预测任务中存在显著差异。原因可能是这些任务是基于细粒度标签训练的，而技能水平与粗粒度动作更为相关。
##### 4.3. 玩具类别
图5展示了各玩具类别的动作识别和时序动作分割模型的准确率。“运输车”类别的得分最高。尽管“运输车”类别下只有4种玩具，但有22名参与者录制了这类玩具的相关数据。我们认为这是其表现优异的原因。
---
性能优异可能是由于录制数据量较大所致。
##### 4.4. 基于类别的评估
细粒度动作。我们在图6中展示了动作识别中物体和动词的召回率。召回率最高的动词是“拍手”、“捡起”和“放下”，而包含“试图”字样的动词召回率最低。我们还在图6中列出了排名前24的物体类别，可以看出编号轮子是其中的主要类别之一。
粗略动作。基于时间动作分割结果，我们进一步分析了动词和物体的表现。在11个粗略动词中，召回率最高的动词是“演示”、“附着”和“分离”，而召回率最低的动词是“定位”、“移除”和“尝试拧紧”，这些属于尾部动词。召回率最高的物体是“底盘”和“内饰”，它们在玩具中最为常见。
### 参考文献
[^1]: Jean-Baptiste Alayrac, Piotr Bojanowski, Nishant Agrawal, Josef Sivic, Ivan Laptev, and Simon Lacoste-Julien. Unsupervised learning from narrated instruction videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4575–4583, 2016. 5
[^2]: Yizhak Ben-Shabat, Xin Yu, Fatemeh Saleh, Dylan Campbell, Cristian Rodriguez-Opazo, Hongdong Li, and Stephen Gould. The ikea arm dataset: Understanding people assembling furniture through actions, objects and pose. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 847–859, 2021. 5
[^3]: Fabian Caba Heilbron, Victor Escorcia, Bernard Ghanem, and Juan Carlos Niebles. Activitynet: A large-scale video benchmark for human activity understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 961–970, 2015. 5
[^4]: Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6299–6308, 2017. 5
[^5]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision. CoRR, abs/2006.13256, 2020. 5, 6
[^6]: Linxi Fan $^{*}$, Shyamal Buch $^{*}$, Guanzhi Wang, Ryan Cao, Yuke Zhu, Juan Carlos Niebles, and Li Fei-Fei. Rubiksnet: Learnable 3d-shift for efficient video action recognition. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 5
[^7]: Alireza Fathi, Xiaofeng Ren, and James M Rehg. Learning to recognize objects in egocentric activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2011. 5
[^8]: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 6202–6211, 2019. 5
[^9]: Antonino Furnari, Sebastiano Battiato, and Giovanni Maria Farinella. Leveraging uncertainty to rethink loss functions and evaluation measures for egocentric action anticipation. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops, pages 0–0, 2018. 6
[^10]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 409–419, 2018. 4,5
[^11]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, ayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Christian Fuegen, Abrham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhug, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Yunyi Zhu, ablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Around the World in 3,000 Hours of Egocentric Video. CoRR, abs/2110.07058, 2021. 5
[^12]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 5
[^13]: Haroon Idrees, Amir R Zamir, Yu-Gang Jiang, Alex Gorban, Ivan Laptev, Rahul Sukthankar, and Mubarak Shah. The thumos challenge on action recognition for videos “in the wild”. Computer Vision and Image Understanding, 155:1–23, 2017. 5
[^14]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 6, 7
## [^15]: Hilde Kuehne, Ali Arslan, and Thomas Serre. The language of actions: Recovering the syntax and semantics of goal-directed human activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2014. 5
---
[^16]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. arXiv preprint arXiv:2104.11181, 2021. 4, 5
[^17]: Shi-Jie Li, Yazan AbuFarha, Yun Liu, Ming-Ming Cheng, and Juergen Gall. Ms-tcn++: Multi-stage temporal convolutional network for action segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, pages 1–1, 2020. 6
[^18]: Ji Lin, Chuang Gan, and Song Han. Tsm: Temporal shift module for efficient video understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 7083–7093, 2019. 5
[^19]: Jian Liu, Naveed Akhtar, and Ajmal Mian. Skepxels: Spatiotemporal image representation of human skeleton joints for action recognition. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2019. 6
[^20]: Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, Ling-Yu Duan, and Alex C Kot. Ntu rgb+ d 120: A large-scale benchmark for 3d human activity understanding. IEEE transactions on pattern analysis and machine intelligence, 42(10):2684–2701, 2019. 4,5
[^21]: Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, and Wanli Ouyang. Disentangling and unifying graph convolutions for skeleton-based action recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 143–152, 2020. 6
[^22]: Paritosh Parmar and Brendan Tran Morris. Learning to score olympic events. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 20–28, 2017. 4
[^23]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32:8026–8037, 2019. 6
[^24]: Mikkel Rath Pedersen, Lazaros Nalpantidis, Rasmus Skovgaard Andersen, Casper Schou, Simon Bøgh, Volker Krüger, and Ole Madsen. Robot skills for manufacturing: From concept to industrial deployment. Robotics and Computer-Integrated Manufacturing, 37:282–291, 2016. 4
[^25]: Chiara Plizzari, Marco Cannici, and Matteo Matteucci. Spatial temporal transformer network for skeleton-based action recognition. In International Conference on Pattern Recognition, pages 694–701. Springer, 2021. 6
[^26]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1569–1578, 2021. 5
[^27]: Marcus Rohrbach, Sikandar Amin, Mykhaylo Andriluka, and Bernt Schiele. A database for fine grained activity detection of cooking activities. In Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), 2012. 5
[^28]: Fadime Sener, Dipika Singhania, and Angela Yao. Temporal aggregate representations for long-range video understanding. In Proceedings of the European Conference on Computer Vision (ECCV), pages 154–171. Springer, 2020. 6
[^29]: Amir Shahroudy, Jun Liu, Tian-Tsong Ng, and Gang Wang. Ntu rgb+ d: A large scale dataset for 3d human activity analysis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1010–1019, 2016. 4, 5
[^30]: Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Two-stream adaptive graph convolutional networks for skeleton-based action recognition. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12026–12035, 2019. 6
[^31]: Gunnar A Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Actor and observer: Joint modeling of first and third-person videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 7396–7404, 2018. 5
[^32]: Gunnar A. Sigurdsson, Gül Varol, Xiaolong Wang, Ali Farhadi, Ivan Laptev, and Abhinav Gupta. Hollywood in homes: Crowdsourcing data collection for activity understanding. In Proceedings of the European Conference on Computer Vision (ECCV), 2016. 5
[^33]: Eero P Simoncelli and Bruno A Olshausen. Natural image statistics and neural representation. Annual review of neuroscience, 24(1):1193–1216, 2001. 3
[^34]: Dipika Singhania, Rahul Rahaman, and Angela Yao. Coarse to fine multi-resolution temporal convolutional network. arXiv preprint arXiv:2105.10859, 2021. 6
[^35]: Bradly C Stadie, Pieter Abbeel, and Ilya Sutskever. Third-person imitation learning. arXiv preprint arXiv:1703.01703, 2017. 4
[^36]: Stein and McKenna. Combining embedded accelerometers with computer vision for recognizing food preparation activities. In UbiComp, 2013. 5
[^37]: Yansong Tang, Dajun Ding, Yongming Rao, Yu Zheng, Danyang Zhang, Lili Zhao, Jiwen Lu, and Jie Zhou. Coin: A large-scale dataset for comprehensive instructional video analysis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 5
[^38]: S Swaroop Vedula, Anand Malpani, Narges Ahmidi, Sanjeev Khudanpur, Gregory Hager, and Chi Chiung Grace Chen. Task-level vs. segment-level quantitative metrics for surgical skill assessment. Journal of surgical education, 73(3):482–489, 2016. 4
[^39]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In Thirty-second AAAI conference on artificial intelligence, 2018. 6
[^40]: Luowei Zhou, Chenliang Xu, and Jason J Corso. Towards automatic learning of procedures from web instructional videos. In AAAI, 2018. 5
[^41]: Dimitri Zhukov, Jean-Baptiste Alayrac, Ramazan Gokberk Cinbis, David Fouhey, Ivan Laptev, and Josef Sivic. Cross-task weakly supervised learning from instructional videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 5