# EPIC-KITCHENS VISOR基准测试：视频分割与物体关系艾哈迈德·达尔卡希尔 $^{★}$、单丹丹 $^{★}$、朱斌 $^{★}$、马健 $^{★}$ 阿姆兰·卡尔 $^{*}$、理查德·希金斯 $^{*}$、萨尼亚·菲德勒 $^{*}$、大卫·福伊 $^{*}$、迪玛·达门 $^{*}$ 英国布里斯托大学、美国密歇根大学、加拿大多伦多大学：共同第一作者 ## 摘要我们推出了VISOR，这是一个包含像素标注的新数据集以及用于分割第一视角视频中手部与活动物体的基准测试套件。VISOR的标注数据来自EPIC-KITCHENS，它带来了当前视频分割数据集中未曾出现的新挑战。具体而言，当物体发生形态变化的交互时，我们必须确保像素级标注在短期和长期内的一致性——例如洋葱被剥皮、切丁并烹饪，我们需要获得洋葱皮、洋葱块、砧板、刀具、平底锅以及操作手的精确像素级标注。VISOR采用了部分由人工智能驱动的标注流程，以保证可扩展性与质量。总共而言，我们公开发布了涵盖257个物体类别的27.2万个手动语义掩码、990万个插值得到的密集掩码以及6.7万个手-物关系标注，这些数据覆盖了179个未剪辑视频中的36小时内容。除了这些标注外，我们还提出了视频物体分割、交互理解与长期推理三个挑战任务。相关数据、代码及排行榜请见： ## 1 引言设想一段记录面包制作繁琐过程的视频：从获取、称量和混合原料，到揉面和塑形面团。尽管这是一项日常任务，但主要基于图像训练的计算机视觉模型具有离散性，它们只能将物体识别为面粉或面团。迄今为止，尚未有人尝试通过像素级标注来捕捉这一变化过程。以EPIC-KITCHENS的第一视角视频为基础[^12]，VISOR利用动作标签提供了手部与活动物体的稀疏分割结果，其标注频率足以反映短期（如“加盐”）和长期（如“揉面”）的动作。图1展示了VISOR中某段视频的示例标注。丰富的像素级标注已经改变了图像理解[^17] [^23]与自动驾驶[^10] [^13]等诸多任务的成果。通过将动作标签与语义分割相结合，我们希望能够赋予系统复杂的视频理解能力。以往融入时空标注与物体关系的尝试[^15] [^16] [^19] [^22]仅采用了边界框形式。少数具有开创性的视频数据集[^31] [^41] [^43]虽提供了随时间变化的像素标签，但往往仅覆盖短期场景，且未与细粒度动作标签相关联。我们将在第2节中把VISOR与其他数据集进行对比。我们通过一个由三个阶段组成的新流程来获取VISOR标注，具体细节将在第3节中介绍：(i) 识别与当前动作相关的活动物体及其语义标签；(ii) 借助人工智能驱动的交互式界面进行像素级分割标注，并辅以人工质量控制检查；(iii) 从空间和时间维度关联物体，以确保短期一致性以及手-物关系。 --- ![Image](images/38e60cce46b0bbd648f2f508a77b6cc4c536ad3b411d49ad68b958ce1d9b5eee.jpg)

Figure 1: VISOR Annotations and Benchmarks. Sparse segmentations from one video (P06_03), where flour turns into dough over the course of over 11 minutes. The colours of the timeline represent the stages: flour→mixture→dough. By building off of the EPIC-KITCHENS dataset, our segments join a rich set of action labels. We use the annotations to define three challenges at different timescales: (i) Semi-Supervised VOS over several actions; (ii) Hand→Object Segmentation and contact relations in the moment; and (iii) where did this come from? for long-term reasoning.

总体而言，我们在36小时的50.7千张图像上获得了271.6千个掩码标注，经插值处理后可得990万个密集掩码，我们将在第4节中对这些掩码进行分析。此外，这些新标注可直接融入现有的完善标注体系，涵盖从动作标签到物体封闭词汇表等各类标注。在第5节中，我们利用这些新标注定义了三个基准测试，如图1（下方）所示。我们的首个任务是半监督视频物体分割（VOS），要求跨连续动作追踪物体分割区域。我们解决了序列长度比以往VOS研究长2.5至4倍的问题，从而拓展了以往的VOS工作[^31] [^41] [^43]。第二个任务是手物分割（HOS），旨在预测手部与活动物体之间的接触关系，相较于以往的研究，我们不仅预测手与物体的关系，还能得到二者精确的分割结果。最后一个任务是“这个东西从哪来？”（WDTCF？），这是一个用于长期感知的入门级基准测试，涉及场景分割：需将给定分割区域追溯至其来源容器（例如，牛奶来自冰箱，盘子来自某个橱柜），并识别出包含查询物体从容器中取出的证据的帧。 ## 2 相关研究我们在表1中将VISOR与以往同时具备像素级标注和动作标注的研究进行了比较。我们的对比分为三个部分：视频本身的基本统计信息、已标注图像的像素级标注统计、每个图像和动作的掩码及平均掩码数量，以及已标注实体或动作类别的情况。我们的视频时长明显更长，VISOR视频的平均时长为12分钟。为使现有最先进的模型能够应对这一挑战，我们将视频划分为平均长度为12秒的较短序列。VISOR也是唯一一个将像素级分割与动作及实体类别标签相结合的数据集。与VISOR最为接近的研究是开创性的UVO工作[^41]，该研究对Kinetics数据集[^7]中的视频进行标注。由于Kinetics中的每个视频仅记录单一动作，因此UVO仅提供短期物体分割结果，重点关注物体的平移和遮挡情况。相比之下，VISOR对EPIC-KITCHENS数据集[^11]中的视频进行标注，这些视频记录了长达数百个细粒度动作的序列。因此，VISOR的分割结果能够捕捉同一物体在经历一系列变换后的长期分割情况——比如同一个土豆被从冰箱取出、清洗、削皮、切块， ---

Table 1: Comparison with Current Data. Compared to past efforts featuring both pixel- and action-level annotations, VISOR features longer sequences and provides the largest number of manually annotated masks on diverse actions and objects. #:Stats from train/val public annotations. Avg VISOR video is 12 minutes long. We divide these into sub-sequences w/ consistent entities (See §3). Masks are semantically consistent, through class knowledge, across all videos.

Dataset	Basic Statistics			Pixel-Level Annotations			Action Annotations
Dataset	Year	Total Mins	Avg Seq Ln	Total Masks	Total Images	Avg Masks per Image	Actions	#Action Classes	#Entity Classes
EgoHand [^3]	2015	72	-	15.1K	4.8K	3.2	-	-	2
DAVIS [^6]	2019	8	3s	32.0K	10.7K	3.0	-	-	-
YTVOS [^43]	2018	335	5s	197.2K	120.4K	1.6	-	-	94
UVOV0.5 (Sparse) [^41]	2021	511	3s	$^{{*}}200.6K$	30.5K	$^{{*}}8.8$	10,213	300	-
VISOR (Ours)	2022	2,180	$12s^{{↑}}$	271.6K	50.7K	5.3	27,961	2,594	257

最后被烹饪。物体的变换形式也更为多样，超出了单纯的平移和变形范畴，呈现出此前未曾探索过的挑战。要确保VISOR中的长期时间一致性，需要更复杂的框架来关联序列中的物体以及它们的语义类别。在此过程中，我们从UVO[^41]中获取灵感，利用稀疏分割结果结合双向插值来获得密集标注（详见附录3.4）。 VISOR也与那些研究手物关系的工作相关，包括识别活动物体[^35] [^4]、下一个活动物体[^33] [^25]、物体关节运动[^44]以及抓取行为[^18] [^39] [^38] [^40]。与这些研究不同的是，我们提供了首个用于像素级分割的流程、标注及基准测试套件。 ## 3 VISOR标注流程我们的标注流程包含多个阶段。在第一阶段，我们确定需要标注的帧和活动实体（$\S3.1$）。确定好需要分割的内容后，我们便获得像素级的标注数据，这一过程借助了人工智能工具得以大幅加速。为确保一致性，我们对标注员进行大量培训，并采用人工验证方式（$\S3.2$）。最后，我们收集用于各项挑战所需的额外标注数据（$\S3.3$）。接下来我们将详细介绍该流程。背景：EPIC-KITCHENS数据集与标注信息。我们基于大规模的第一人称视角EPIC-KITCHENS-100数据集开展工作[^11]，该数据集的采集获得了布里斯托大学教职员工的伦理批准，且已征得参与者（匿名）的书面同意。参与者会佩戴头戴式摄像头，在进入厨房前开始录制，离开房间后才停止录制。这些视频包含细粒度的动作标签，具体包括：(i) 视频文件（如P06_108）；(ii) 动作的起始和结束时间（如从03:52.6到03:58.4）；(iii) 描述该动作的简短开放词汇叙述（如“从包装中取出马苏里拉奶酪”）；(iv) 动词和名词类别的封闭词汇表（如将“马苏里拉奶酪”映射到“奶酪”类别）。[^11]中的表2将EPIC-KITCHENS与公开可用的动作识别数据集在规模、标注信息和类别方面进行了对比（如[^7]、[^16]、[^37]）。 ### 3.1 实体、帧与子序列第一阶段的目标是确定哪些数据和实体需要被标注。我们的数据筛选旨在找到清晰的标注帧，并将标注均匀分布在各类动作上而非时间维度上，以便覆盖不同时长的动作。实体筛选则旨在找出与动作相关的所有活动物体，包括工具、餐具和电器。这一步骤很有必要，因为叙述中并未包含基于常识推断出的物体，且不同样本中的相关物体也有所差异：例如，“削胡萝卜”这一动作的一个示例可能涉及削皮器和碗，而另一个示例则可能用到刀和砧板。需要注意的是，由于视频是在人们家中拍摄的，画面中可能充斥着背景或无关物体，我们并不希望将其纳入分割范围。我们在图2中展示了帧和实体筛选的流程。我们将未裁剪的视频划分为由3个不重叠动作组成的序列，这样就能得到平均时长为12秒、时间上连贯的标注数据。我们选择3个动作是为了给以往的视频分割数据集增加适度但合理的挑战性，将序列长度从3-5秒提升至12秒（见表1）。每个序列我们标注6帧，尽可能避开模糊帧以获得更清晰的物体边界。我们通过解析叙述中的名词、根据解析出的动词与动作的相关性（如“切”和“刀”）以及人工标注来确定候选的活动实体。标注员会从这份冗余列表中选出每帧中存在的实体。 --- ![Image](images/011d53e9f8629a2999167b000af0067008dd5574923f7ddfc203687651c0a6bc.jpg)

Figure 2: Part of the VISOR Annotation Pipeline. We divide untrimmed videos to subsequences of 3 consecutive actions, sampling 6 frames/seq. We find entities to annotate via the union of automatic parsing of narrations, manual rules, and human annotations. These are then manually segmented.

Table 2: VISOR splits statistics. Details of VISOR splits.

VISOR splits	Train	Val	Train+Val	Test	Total
# Kitchens	33	24 (5 unseen)	38	13 (4 unseen)	42
# Untrimmed Videos	115	43	158	21	179
# Images (and %)	32,857 (64.8%)	7,747 (15.3%)	40,604 (80.0%)	10,125 (20.0%)	50,729
# Masks (and %)	174,426 (64.2%)	41,559 (15.3%)	215,985 (79.5%)	55,599 (20.5%)	271,584
# Entity Classes	242	182 (9 zero-shot)	251	160 (6 zero-shot)	257

该数据集在动作和实体方面的多样性可通过图3直观展示，更多细节详见附录。 ### 3.2 工具、标注规则与标注员培训在项目进行的22个月里，我们与13名标注员紧密合作：对他们进行培训、解答疑问并修改他们的标注结果。关于标注流程和界面的更完整描述，包括标注员间的一致性情况，均收录于附录中。基于人工智能的分割工具。为了降低像素级标注的成本，我们采用了多伦多标注套件（TORAS）[^20]，该套件使用了基于[^24]和[^42]变体开发的交互式工具。其界面结合了手动工具和人工智能辅助工具，我们发现这能显著提升获取精确标注的速度。这些人工智能模型是在ADE-20K等通用分割数据集上训练的[^45]。正如[^2]、[^8]以及[^24]所示，它们在我们所研究的领域中也表现出良好的泛化能力。标注员的招募、培训及相关规则。我们通过Upwork平台聘请了自由职业标注员。他们首先会了解项目概况、接受工具使用培训，并学习物体术语表。我们制定了相关规则，以确保在不同帧中对容器、包装、透明物体及遮挡物体的分割结果保持一致，具体规则详见附录。例如，图3中的第一张图片展示了我们的“容器”规则：橱柜中其他未活动的物体不会被单独分割出来，以便完整呈现橱柜的范围。为保证时间上的连贯性，每个视频均由同一名标注员完成标注。除了及时解决标注员遇到的困惑外，每个视频还会经过人工审核。我们还开发了用于快速修正标注的界面，重点确保标注的时间连贯性。数据划分。表2展示了训练集/验证集/测试集的划分情况。我们提供了公开可访问的训练集/验证集，同时保留了包含21个视频的测试集（$\approx$，占全部帧数和掩码数的20%）。需要注意的是，测试集与用于动作识别挑战赛的EPIC-KITCHENS测试集保持一致。为了检验模型对新环境的泛化能力，验证集和测试集中均包含了一些未曾出现过的厨房场景。训练集和测试集的标注数据可在此处获取。测试集的评估通过挑战赛排行榜进行——详情请参阅EPIC-KITCHENS挑战赛的相关说明。 --- ![Image](images/7aa23d7e86f8940e7db8eed250697f566ac7bc275eab55f9c77eb37615d28849.jpg)

Figure 3: Segmentations from VISOR with entity names (legend) and ongoing action (above).

### 3.3 VISOR物体关系与实体接下来我们将介绍为利用分割结果间的空间关系而收集的额外元数据，这些数据通过众包方式获取，并经过了标准答案校验（详情见附录）。实体方面。EPIC-KITCHENS-100包含300个名词类别，用于归类开放词汇下的实体名称。在标注的36小时内容中，VISOR分割结果覆盖了其中的252个类别。VISOR还引入了83个名词类别下的263个新实体，我们将其手动重新归类到EPIC-KITCHENS的300个类别中。这些实体主要是日常动作中会涉及但未被提及的物体，比如被归入“包装”类的“咖啡包装”。我们还新增了五个类别：“左手”、“右手”（此前仅有“手”这一类别）、“左手套”、“右手套”（此前仅有“手套”这一类别）以及“脚”。最终，VISOR共包含257个实体类别。手与物体的关系。VISOR中描绘的活动是由手与场景的交互驱动的。我们在数据集中为每只手的分割结果补充了接触信息，用以指示该手是否发生了接触；若发生接触，则标明手所接触的物体类别。我们将与手有边界共享的片段视为候选片段。人类标注员会从中进行选择，或者将手判定为“未与任何物体发生物理接触”，对于被遮挡的手则选择“以上都不是”。若标注员无法达成一致意见，我们便将其标记为无法确定。在训练和评估过程中，我们会忽略被标注为“以上都不是”或判定为无法确定的手。有时在厨房中，手会被手套遮盖，比如在洗涤、清洁或接触热表面用的隔热垫时。因此我们也对所有手套进行标注，以找出手套戴在手上的情况。我们以与可见手相同的方式，对这些戴在手上的手套及其与活动物体的关系进行标注。在所有相关基准测试中，我们将手和戴在手上的手套均视为参与活动的手。详尽的标注。需注意的是，我们标注的是活动物体而非所有物体。因此，正在使用的某个橱柜可能会被分割出来，而另一个橱柜则不会被分割。为了便于在其他任务中使用我们的标注结果，我们会为每个片段标记其是否已被详尽标注[^17]，即图像中已不存在该实体的其他实例。同样，无法达成一致意见的情况会被标记为无法确定。由于任务偏向于详尽标注，为防止标注疲劳，我们每设置四个真实任务，就会额外增加一个人为设置为非详尽标注的干扰任务。 ### 3.4 密集标注我们对手动稀疏标注结果进行插值，以在可行的情况下生成密集插值结果。受[^41]的启发，我们在任意两帧手动标注的稀疏帧之间执行前向和后向的多掩码传播操作。 --- ![Image](images/ff544ad697379d711a3dfede54cd9eb4f17294eafd4f0d3cf4bc89bd33fd707a.jpg)

Figure 4: Frequency of Segmented Entity Classes. (Log y-axis) Some classes are far more frequent. Histogram is long tailed with many rare objects (e.g., 'hoover', 'cork'). Best viewed with zoom.

![Image](images/807ab7b4127c9fe2e12a356c48259e7d8f83bb1f5b2729dc8d43c9fc90d70e4d.jpg)

Figure 5: Frame-level co-occurrences of verbs-entities (Left) and intra-entities (Middle). Percentage of annotated pixels per macro-class (Right) - large objects (e.g. furniture, storage) are visible.

![Image](images/92530d01a4aa68bb2477b59cb5d2a7bcee2fe30e7397facf7f87a3c54ed6e06a.jpg) ![Image](images/ae6dce53b78bbb473e0597dbcf66ca93678ea2190677019e9b33203d231e62ea.jpg)

Figure 6: Hand Object Relation Statistics. (Left) Samples from 6 kinds of hand-object contacts with 1 or 2 hands. (Middle) Statistics about the fraction of entities making up the contacted objects, showing there is a long tail. (Right) Top-10 most common objects in contact with hands.

两个方向的logit值会根据其距离手动标注帧的远近赋予不同权重后取平均值。我们排除仅在两帧之一中出现的物体，但手除外——手始终会被插值处理。此外，时长超过5秒的插值结果也会被排除。通过这一过程，我们在320万张训练/验证图像中生成了1450万个掩码（相比之下，[^41]在68.3万张图像中仅生成了560万个掩码）。我们从中筛选插值结果：从每个插值序列的中间帧出发，追溯这些自动生成的分割结果至第一个手动标注帧，再向前延伸至最后一个帧。我们计算平均$\mathcal{J} \& \mathcal{F}$ [^31] VOS指标，以此对每个重建的掩码打分。所有得分低于$\mathcal{J} \& \mathcal{F} \leq 85$的插值掩码都会被剔除。经过筛选后，我们保留了69.4%的自动插值结果，共计990万个掩码，并将其作为密集标注发布（视频中有示例）。 ## 4 数据集统计与分析介绍了我们的数据集和处理流程后，我们通过回答以下四个问题来展开分析。哪些物体会被分割？图4展示了被分割的实体类别，这些类别被归为22个宏类别，并按宏类别频率排序。由于是自我中心视角，手的出现频率较高，且右手的出现频率略高于左手。接下来出现频率较高的类别通常是电器、餐具以及炊具，如“炉灶”、“刀”和“平底锅”。不过数据中仍存在长尾现象，许多罕见物体也有对应的分割片段，比如“手表”（5次）和“蜡烛”（4次）。哪些物体会同时出现？图5中的相关性显示，动作与物体之间（如“测量”/“勺子”）以及物体之间（如“炉灶”/“平底锅”）经常同时出现。尽管我们的数据中出现了许多这种同时出现的情形，但其中也存在大量的不确定性，这反映出数据集的多样性。 ---

Table 3: VOS Performance. We use STM [^30] as a baseline and report varying training schemes. We include the scores for unseen kitchens in both Val and Test. These are considerably lower.

Pre-train COCO [^23]	Fine-Tune Davis $^{[32]}$+YT $^{[43]}$	Fine-Tune VISOR	Val Set Performance				Test Set Performance
Pre-train COCO [^23]	Fine-Tune Davis $^{[32]}$+YT $^{[43]}$	Fine-Tune VISOR	$\mathcal{J}\&\mathcal{F}$	$\mathcal{J}$	$\mathcal{F}$	$\mathcal{J}\&\mathcal{F}_{unseen}$	$\mathcal{J}\&\mathcal{F}$	$\mathcal{J}$	$\mathcal{F}$	$\mathcal{J}\&\mathcal{F}_{unseen}$
✓			56.9	55.5	58.2	48.1	58.7	57.2	60.3	57.7
		✓	62.8	60.6	64.9	53.9	63.7	61.9	65.5	62.2
✓	✓		60.9	59.4	62.4	55.8	64.5	62.2	66.7	63.7
✓		✓	75.8	73.6	78.0	71.2	78.0	75.8	81.0	76.6

手在做什么？数据显示手部交互方式多样。在标注的图像中，有94.8%的图像中手部可见。我们共标注了72.7K个手部状态，其中67.2K个处于接触状态。在这些接触关系中，有0.9K个是手与手套的接触（所有手套中有76%被标记为戴在手上）。图6展示了占全部图像77%的图像中的手-物关系统计数据，这些图像对双手都有明确的标注。该图显示，其中54%的图像中双手都与外界存在某种接触。像刀这类物体在手-物关系中占比过高，但由于数据并非脚本化采集，因此存在长尾现象：接触频率最低的90%的物体仅占手-物关系的24%。活动物体有多普遍？虽然我们对活动物体进行了标注，但其中91.1%的物体被完整标注。4.1%的物体标注不完整，4.8%的标注结果不确定。通常来说，被完整标注的物体包括“砧板”和“铲子”；相比之下，“海绵”和“盘子”在视野中未活动的实例可能更多。标注不确定的样本通常是因为存在运动模糊或语义模糊的物体（如“酱汁”、“平底锅”/“锅”）。 ## 5 挑战与基准我们现在定义三项挑战，用以展示我们的标注成果，它们构成了新的VISOR基准测试套件。我们选择这三项挑战是为了体现VISOR的各个方面：分别是物体变换的短期理解、画面内的手-物关系以及超长视频理解。我们的第一项任务（\$5.1) is Semi-Supervised Video Object Segmentation, or tracking multiple segments from the first frame over time through a short subsequence. Our second task, detecting Hand-Object Segmentation Relations (\$5.2）是对接触中的物体或活动物体以及操作它们的手进行分割。最后一项任务名为“它从哪儿来”（\$5.3），旨在追溯高亮分割区域的时间来源，找出它们的出处。我们在附录中报告了所有基准测试的实现细节。 ### 5.1 半监督视频物体分割（VOS）定义。我们采用DAVIS [^32]中对这项任务的定义。如§3.1所述，我们将视频划分为较短的子序列。给定子序列中第一帧包含M个物体的掩码，目标是在后续帧中对这些物体进行分割。子序列第一帧中未出现的其他物体不纳入本基准测试范围。需要注意的是，这M个物体可能会被遮挡或移出视野，也可能在子序列期间重新出现。我们在附录H.1中提供了该基准测试的训练/验证/测试集划分统计数据。评估指标。遵循[^32]和[^43]采用的标准协议，我们使用杰卡德指数/交并比（$\mathcal{J}$）和边界F度量（$\mathcal{F}$）作为评估指标。与其他数据集（如DAVIS [^32]）不同，我们在评估中使用了所有标注帧，包括最后一帧。此外，我们还会报告针对未见过的厨房场景的得分，以评估模型的泛化能力。基线与结果。我们在此任务中以时空记忆网络（STM）[^30]作为基线，并采用其两阶段训练策略。首先，我们利用COCO [^23]图像进行训练，通过随机仿射变换合成包含3幅图像的视频。随后，我们使用VISOR训练数据对模型进行微调，同样从子序列中选取3幅图像。为了学习长期外观变化，我们在训练过程中采用课程学习的方式逐步增大采样帧之间的间隔。我们在表3中报告了相关结果。由于在VISOR中许多类别是COCO所没有的（如左右手），或者COCO中根本不存在某些类别（如土豆），加之合成序列的局限性，在COCO上预训练的效果并不理想。仅在VISOR上训练而不进行预训练能得到稍好的结果，但微调后验证集上的整体得分提高了13%。我们通过报告在这些基准数据集上训练的模型性能，来展示VISOR与[^32]、[^43]之间的差异。图7展示了5个定性示例。代码与模型。可从获取。 --- ![Image](images/b8ed2acbb8267cd0ad3cce727666d1f7c0450dd16435b16c41bf45fe8f31f7ae.jpg)

Figure 7: Qualitative Results of STM for VOS on Validation Set. 4 successes and 2 failures. Frames are ordered chronologically left-to-right with the first being the reference frame.

局限性与挑战。通过变换来分割物体为新的研究提供了机遇。常见的失败情况包括：遮挡现象，尤其是在参考帧中（如图7第4行，刀最初被晾衣架遮挡）；物体体积过小；运动模糊（图7第5行）；以及剧烈的形态变化，例如物体被切割、破碎或混入食材中。 ### 5.2 手-物体分割（HOS）关系定义。该基准测试的目标是根据单帧输入估计手与物体之间的关系。我们的首个任务是如[^35]中所述的“手部接触关系”任务。我们根据手的朝向（左/右）、是否接触来表征每只手，并对手及被接触的物体进行分割。每个被接触的分割区域必须与一只手相关联；对于包含多个连通分量的分割区域（如多个洋葱），我们只采用与手接触的那一部分。第二个任务是“手部与活动物体分割”，即分割手部以及所有活动物体（无论是否接触）。在这两项任务中，戴在手上的手套也被视为手。相关数据集。以往有多个数据集提供了关于手的数据[^1] [^3] [^27] [^29]，以及手与物体接触的数据[^28] [^34] [^35]。我们的工作的独特之处在于拥有大量详细的手和物体分割数据，这与仅使用边界框的研究[^35]有所不同。大多数涉及分割的研究仅聚焦于手[^3]，或者数据量仅为几千条级别[^14] [^36]。评估指标。我们通过实例分割任务利用COCO Mask AP [^23]进行评估。由于手和物体的AP值差异较大，我们按类别分别评估。对于“手部接触”任务，我们将接触中的物体作为一个类别进行实例分割评估，而手的类别则采用三种划分方式：所有手归为一类；按朝向划分；按接触状态划分。手-物体关联关系则通过要求每个接触中的物体都与一只手相关联来间接评估。基线与结果。在我们的基线中，我们基于PointRend [^21]实例分割方法构建模型。我们添加了三个辅助检测头，用于识别手的侧面（左/右）、接触状态（接触/未接触），以及与所接触物体的偏移量（采用[^35]中的方案和参数化方式）。我们将接触到的物体定义为距离手中心最近且加上偏移量的物体。我们使用训练集在验证集上进行评估，随后利用训练集和验证集在测试集上报告结果。表4展示了定量结果，图8则给出了验证集上的定性示例。手部能够被准确分割，其中预测手的侧面比预测接触状态更容易。而物体分割则更具挑战性， ---

Table 4: HOS Performance. Hands are segmented accurately, but identifying contact is challenging.

	Hand-Contact				Hand-Active Object
	Hand	Hand, Side	Hand, Contact	Object	Hand	Active Object
Val Mask AP	90.9	87.1	73.5	30.5	91.1	24.1
Test Mask AP	95.4	92.4	78.7	33.7	95.6	25.7

接触 ![Image](images/d1bcf5e9b918d406998d16ecdafb157107e04c9f6c6f8322dc5aa97e406fa623.jpg) 活动

Figure 8: HOS Relations Validation Results. Contact (Top): Left Hands, Right Hands, Objects; Active Object (Bottom): Hands, Objects. Hands are well-segmented, as are many of the in-contact objects. In ‘Active’, the method finds all active objects regardless of whether they are in contact. The rightmost shows a failure when the object is not detected leading to wrong hand-object relation.

我们认为这源于物体的长尾分布以及遮挡现象。识别活动物体更加困难，尤其是从单张图像中识别时更是如此。代码与模型。可从获取。局限性与挑战。由于难以区分手部重叠与接触情况、所持物体的多样性，以及手-物体和手-手之间的遮挡现象，预测手部接触状态和分割所接触的物体十分困难。使用多帧数据能够提升性能。 ### 5.3 该物体源自何处（WDTCF）？一项尝鲜挑战定义。给定一段未裁剪视频中的某一帧，以及指示查询对象的掩码，我们的目标是通过时间回溯该掩码，以确定“该物体源自何处”——此处代词“该物体”指代所指示的掩码。为了便于处理，我们使用数据集中物体出现的15个来源：{冰箱、冰柜、橱柜、抽屉、烤箱、洗碗机、包、瓶子、盒子、包裹、罐子、易拉罐、平底锅、盆、杯子}。为避免出现 trivial 的解法，答案必须在物体从来源处出现的证据帧中具有时空依据。标注统计。对视频中的长期关系进行标注颇具挑战性。我们从92段未裁剪视频中获得了222个WDTCF示例，这些构成了本次挑战的测试集。我们鼓励采用自监督学习方法应对这一挑战。来源的分布呈长尾形态，其中“冰箱”和“橱柜”占比最大（分别为37%和31%）。图9展示了78个查询物体，以及查询帧与证据帧之间存在时间戳差异的四个示例。查询帧与证据帧之间的时间差增加了挑战性。平均时间差为5.4分钟（19K帧），但差异很大，标准差达到8分钟（最小值1秒，最大值52分钟）。标注时，我们旨在找到最远的容器作为来源。例如，如果“果酱”从“罐子”中取出，罐子虽是潜在的来源容器，但若看到罐子本身是从“橱柜”中取出的，那么WDTCF问题的正确答案就是“橱柜”。另一种情况是，整个视频中仅能看到罐子放在台面上，此时罐子就被视为正确的来源。相关数据集。本次挑战与以往数据集中的VQA任务[^9] [^15] [^26]相关。在[^15]中，目标是找到物体自身之前出现的时刻；[^9]则旨在将物体定位在单张图像中。在这两类任务中，查询物体都会在证据图像中可见，而我们挑战中的查询物体是被遮挡且正在被操作的。我们还在寻找其来源，即它首次被发现之前所在的位置，而非最后被发现的时间/地点。评估指标。我们通过分类正确的来源（准确率）来评估，同时定位证据帧并分割证据帧中的源对象和查询对象（IoU）。如果证据帧不正确，则IoU为0。注释与代码。可从获取。基准方法与结果。此前尚无方法应对这一挑战，因此我们采用不同级别的先验知识来测试基准方法。如表5所示，从源分布中随机猜测的准确率为24.8%；而猜测出现频率最高的源（“冰箱”）虽能达到37%的准确率，却无法定位证据帧并进行分割。因此，我们利用训练集和验证集数据，针对所有VISOR类别训练了PointRend实例分割模型以检测物体。给定查询掩码后，我们会选择IoU最高的掩码来预测其类别，随后将包含该物体及源的前三个帧作为候选帧。相对性能结果表明，最困难的任务是确定证据帧的时间位置；一旦确定这一点，性能便会显著提升。 --- ![Image](images/b214ee24734bff69050a502e1af3ebf8163e0005ddf7a2c01e2a8238266d43d7.jpg)

Figure 9: WDTCF Annotations. Distributions and examples of query entities and 4 samples.

Table 5: WDTCF Performance. Performance using oracle knowledge of distribution of source classes (prior), location of (evidence) frame, (query class) and a model trained with (GT Masks).

Method	Prior	Evidence	Query Cls	GT Masks	Source	Query IoU	Source IoU
Random	✓				24.8	-	-
PointRend [^21]	✓		✓	✓	28.8	30.3	25.4
	✓		✓	✓	33.8	31.6	29.7
		✓		✓	88.3	79.4	78.8
	✓	✓		✓	94.1	79.4	84.1

局限性与挑战。由于物体往往源自同一个容器，例如牛奶来自冰箱，因此存在偏差是意料之中的。虽然我们提出了证据帧定位任务，但利用源类别的存在来走捷径的情况仍可能发生。如上所述，基准方法使用了先验知识；开发能够回答WDTCF问题的AI系统则留待未来研究。 ## 6 结论与后续步骤我们推出了VISOR，这是一个基于EPIC-KITCHENs-100视频构建的新数据集，包含丰富的时空像素级注释。通过发布这些注释及所提出的基准测试，我们希望VISOR能助力学界探索有关动作与物体变换之间相互作用的长期理解新课题。 ## 致谢与经费披露我们衷心感谢以下人士的宝贵支持：Michael Wray对EPIC-KITCHENs-100类别的修订；Seung Wook Kim和Marko Boben对TORAS的技术支持；Srdjan Delic对测试集的质量检查；布里斯托尔MaVi小组的多位成员参与质量检查：Toby Perrett、Michael Wray、Dena Bazazian、Adriano Fragomeni、Kevin Flanagan、Daniel Whettam、Alexandros Stergiou、Jacob Chalk、Chiara Plizzari和Zhifan Zhu。这些注释的制作经费来自宝洁公司和DeepMind向布里斯托尔大学捐赠的无指定用途慈善款项。布里斯托尔大学的研究得到了英国研究与创新署工程与物理科学研究委员会（EPSRC）博士培养计划（DTP）、EPSRC奖学金UMIRE（EP/T004991/1）以及EPSRC项目资助Visual AI（EP/T028572/1）的支持。我们感谢使用由EPSRC资助的二级设施JADE，以及布里斯托尔大学的Blue Crystal 4设施。密歇根大学的研究基于美国国家科学基金会授予的Grant No. 2006619的支持。多伦多大学的研究部分由NSERC资助。S.F.还感谢加拿大CIFAR人工智能主席计划的支持。多伦多大学的研究部分由加拿大自然科学与工程研究理事会资助。S.F.还感谢加拿大人工智能主席计划提供的支持。 --- ## 参考文献 [^1]: The vision for intelligent vehicles and applications (VIVA) challenge, laboratory for intelligent and safe automobiles, UCSD. . 8 [^2]: David Acuna, Huan Ling, Amlan Kar, and Sanja Fidler. Efficient interactive annotation of segmentation datasets with polygon-RNN++. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018. 4 [^3]: Sven Bambach, Stefan Lee, David Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In Proceedings of the IEEE International Conference on Computer Vision, 2015. 3, 8 [^4]: Fabien Baradel, Natalia Neverova, Christian Wolf, Julien Mille, and Greg Mori. Object level visual reasoning in videos. In European Conference on Computer Vision (ECCV), 2018. 3 [^5]: Rodrigo Benenson, Stefan Popov, and Vittorio Ferrari. Large-scale interactive object segmentation with human annotators. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 25 [^6]: Sergi Caelles, Jordi Pont-Tuset, Federico Perazzi, Alberto Montes, Kevis-Kokitsi Maninis, and Luc Van Gool. The 2019 DAVIS challenge on VOS: Unsupervised multi-object segmentation. arXiv:1905.00737, 2019. 3 [^7]: Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. 2, 3 [^8]: Lluis Castrejón, Kaustav Kundu, Raquel Urtasun, and Sanja Fidler. Annotating object instances with a polygon-RNN. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. [^9]: Chongyan Chen, Samreen Anjum, and Danna Gurari. Grounding answers for visual questions asked by visually impaired people. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2022. 9 [^10]: Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, and Bernt Schiele. The Cityscapes Dataset for Semantic Urban Scene Understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016. [^11]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision. International Journal of Computer Vision (IJCV), 2022. 2, 3, 17 [^12]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The EPIC-KITCHENS Dataset. In Proceedings of the European Conference on Computer Vision, 2018. 1 [^13]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the Kitti vision benchmark suite. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012. 1 [^14]: Mohit Goyal, Sahil Modi, Rishabh Goyal, and Saurabh Gupta. Human hands as probes for interactive object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3293–3303, 2022. 8 [^15]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Christian Fuegen, Abraham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachm Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard Ghanem, Vamsi Krishna Ithapu, C.V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4D: Around the World in 3,000 Hours of Egocentric Video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2022. 1, 9 [^16]: Chunhui Gu, Chen Sun, David A Ross, Carl Vondrick, Caroline Pantofaru, Yeqing Li, Sudheendra Vijayanarasimhan, George Toderici, Susanna Ricco, Rahul Sukthankar, et al. AVA: A video dataset of spatio-temporally localized atomic visual actions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018. 1, 3 ## [^17]: Agrim Gupta, Piotr Dollar, and Ross Girshick. LVIS: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 1, 5 --- [^18]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^19]: Jingwei Ji, Ranjay Krishna, Li Fei-Fei, and Juan Carlos Niebles. Action Genome: Actions as compositions of spatio-temporal scene graphs. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020. 1 [^20]: Amlan Kar, Seung Wook Kim, Marko Boben, Jun Gao, Tianxing Li, Huan Ling, Zian Wang, and Sanja Fidler. Toronto annotation suite. , 2021. 4, 24 [^21]: Alexander Kirillov, Yuxin Wu, Kaiming He, and Ross Girshick. Pointrend: Image segmentation as rendering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020. 8, 10, 39 [^22]: Ang Li, Meghana Thotakuri, David A Ross, Joao Carreira, Alexander Vostrikov, and Andrew Zisserman. The AVA-Kinetics localized human actions video dataset. arXiv preprint arXiv:2005.00214, 2020. 1 [^23]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In Proceedings of the European Conference on Computer Vision. Springer, 2014. 1, 7, 8, 39 [^24]: Huan Ling, Jun Gao, Amlan Kar, Wenzheng Chen, and Sanja Fidler. Fast interactive object annotation with curve-gcn. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 4, 24 [^25]: Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 3 [^26]: Jean-Philippe Mercier, Mathieu Garon, Philippe Giguere, and Jean-Francois Lalonde. Deep template-based object instance detection. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision, January 2021. 9 [^27]: A. Mittal, A. Zisserman, and P. H. S. Torr. Hand detection using multiple proposals. In British Machine Vision Conference, 2011. 8 [^28]: Supreeth Narasimhaswamy, Trung Nguyen, and Minh Hoai. Detecting hands and recognizing physical contact in the wild. In Neural Information Processing Systems, 2020. 8 [^29]: Supreeth Narasimhaswamy, Zhengwei Wei, Yang Wang, Justin Zhang, and Minh Hoai. Contextual attention for hand detection in the wild. In Proceedings of the IEEE International Conference on Computer Vision, 2019. 8 [^30]: Seoung Wug Oh, Joon-Young Lee, Ning Xu, and Seon Joo Kim. Video object segmentation using space-time memory networks. In Proceedings of the IEEE International Conference on Computer Vision, October 2019. 7 [^31]: F. Perazzi, J. Pont-Tuset, B. McWilliams, L. Van Gool, M. Gross, and A. Sorkine-Hornung. A benchmark dataset and evaluation methodology for video object segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016. 1, 2, 6 [^32]: Jordi Pont-Tuset, Federico Perazzi, Sergi Caelles, Pablo Arbeláez, Alex Sorkine-Hornung, and Luc Van Gool. The 2017 DAVIS challenge on video object segmentation. arXiv preprint arXiv:1704.00675, 2017. 7, 36 [^33]: Francesco Ragusa, Antonino Furnari, and Giovanni Maria Farinella. Meccano: A multimodal egocentric dataset for humans behavior understanding in the industrial-like domain. arXiv preprint arXiv:2209.08691, 2022. 3 [^34]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The Meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision, 2021. 8 [^35]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020. 3, 8 [^36]: Dandan Shan, Richard E.L. Higgins, and David F. Fouhey. COHESIV: Contrastive object and hand embedding segmentation in video. In Neural Information Processing Systems, 2021. 8 [^37]: Gunnar A Sigurdsson, Gül Varol, Xiaolong Wang, Ali Farhadi, Ivan Laptev, and Abhinav Gupta. Hollywood in homes: Crowdsourcing data collection for activity understanding. In Proceedings of the European Conference on Computer Vision. Springer, 2016. 3 [^38]: Omid Taheri, Vasileios Choutas, Michael J. Black, and Dimitrios Tzionas. Goal: Generating 4d whole-body motion for hand-object grasping. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 3 ## [^39]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, European Conference on Computer Vision (ECCV), 2020. 3 --- [^40]: Dylan Turpin, Liquan Wang, Eric Heiden, Yun-Chun Chen, Miles Macklin, Stavros Tsogkas, Sven Dickinson, and Animesh Garg. Grasp'd: Differentiable contact-rich grasp synthesis for multi-fingered hands. In European Conference on Computer Vision (ECCV), 2022. 3 [^41]: Weiyao Wang, Matt Feiszli, Heng Wang, and Du Tran. Unidentified video objects: A benchmark for dense, open-world segmentation. In Proceedings of the IEEE International Conference on Computer Vision, 2021. 1, 2, 3, 5, 6 [^42]: Zian Wang, David Acuna, Huan Ling, Amlan Kar, and Sanja Fidler. Object instance annotation with deep extreme level set evolution. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 4, 24 [^43]: Ning Xu, Linjie Yang, Yuchen Fan, Dingcheng Yue, Yuchen Liang, Jianchao Yang, and Thomas Huang. Youtube-VOS: A large-scale video object segmentation benchmark. arXiv preprint arXiv:1809.03327, 2018.1, 2, 3, 7 [^44]: Xiang Xu, Hanbyul Joo, Greg Mori, and Manolis Savva. D3d-hoi: Dynamic 3d human-object interactions from videos. arXiv preprint arXiv:2108.08420, 2021. 3 [^45]: Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Scene parsing through ADE20k dataset. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. 4 ### 检查清单 1. 对于所有作者而言…… (a) 摘要和引言中提出的主要论点是否准确反映了论文的贡献和范围？[是] 本文介绍了一个数据集，以及相关的标注流程和面临的挑战。在论文及附录中，我们详细描述了标注流程，总结了相关统计数据，并与其他数据集进行了比较。针对每个基准测试，我们都明确界定了测试内容、评价指标，并报告了基线结果和定性分析。 (b) 你们是否说明了研究的局限性？[是] 我们在 $5.1,$5.2、$5.3 节讨论了所面临挑战的局限性。 (c) 你们是否探讨了研究可能带来的负面社会影响？[是] 我们在第3节提到了这一点。此外，附录中还专门用一节内容讨论了数据及由此产生的模型可能存在的偏差问题。 (d) 你们是否阅读了伦理审查指南并确保论文符合相关要求？[是] 2. 如果你们包含了理论研究成果…… (a) 你们是否陈述了所有理论研究成果所依据的全部假设？[不适用] 本文没有理论研究成果。 (b) 你们是否提供了所有理论研究成果的完整证明？[不适用] 本文没有理论研究成果。 3. 如果你们开展了实验…… (a) 你们是否提供了重现主要实验结果所需的代码、数据和说明（要么放在附录中，要么提供网址）？[是] 训练/验证集标注数据可从公开获取。用于重现前两项挑战的代码已发布在GitHub上。测试集标注数据（包括第三项挑战的数据）将予以保密。排行榜可从查看。 (b) 你们是否说明了所有的训练细节（例如数据划分、超参数及其选取方式）？[是] 数据集划分（训练集/验证集/测试集）在第2.2节有概述，关于半监督视频分割的具体细节则在附录中说明。每项挑战的训练细节均在附录中详述。 (c) 你们是否报告了误差范围（例如多次运行实验后针对不同随机种子的结果差异）？[否] 由于实验计算量过大，无法多次重复运行。我们的结果仅作为基线，期望后续更智能的方法能超越这些基线。如有需要，可通过代码复现这些基线。 (d) 你们是否说明了所用的总计算量及资源类型（例如GPU型号、内部集群或云服务提供商）？[是] 我们在附录中分析了所使用的计算资源。 --- 4. 如果你们使用了现有资源（例如代码、数据、模型）或正在整理/发布新资源…… (a) 如果你们的工作使用了现有资源，是否引用了相关创作者？[是] 我们基于EPIC-KITCHENS-100数据集开展工作，并在文中多处引用了该数据集。我们用于构建基线的模型也均有引用说明。 (b) 你们是否说明了这些资源的许可协议？[是] VISOR数据集采用的许可协议与EPIC-KITCHENS相同。 (c) 你们是否将任何新资源放在附录中或提供网址供访问？[是] 我们以标注数据的形式引入新资源。这些资料我们会私下提供给审稿人，并于8月公开发布。 (d) 你们是否讨论了在使用/整理他人数据时是否获得了相关人员的同意，以及如何获得同意？[是] 我们提及了所使用的数据集EPIC-KITCHEN-100。该数据集的收集过程已获得伦理批准，且得到了数据中涉及人员的同意。 (e) 你们是否讨论过所使用/整理的数据中是否包含个人可识别信息或冒犯性内容？[是] EPIC-KITCHENS视频中不包含任何个人可识别信息。这些数据来自在发布前审阅了视频片段的参与者。 5. 如果你使用了众包方式或与人类受试者开展研究…… (a) 你是否包含了给参与者的完整指导文本以及截图（如适用）？[是] 有关标注员的所有指导详情，请参阅附录材料。 (b) 你是否描述了潜在的参与者风险，并附上机构审查委员会（IRB）的批准链接（如适用）？[不适用] 本文未开展任何涉及人类的研究。不过，我们所基于的数据集EPIC-KITCHENS-100是在获得IRB批准的前提下收集的，详见第3节说明。 (c) 你是否列出了支付给参与者的预估每小时工资以及用于支付参与者报酬的总金额？[是] 自由职业标注员按小时计酬，他们通过Upwork平台自行上报工作时长。时薪根据经验和提交的提案有所不同，最低为$6-$9美元/小时，经验更丰富且负责质量检查工作的标注员可获得更高时薪。相关报酬信息已在附录中说明。 --- ### EPIC-KITCHENS VISOR基准视频分割与物体关系——附录本附录包含有关VISOR数据集的更多细节。 §A 附录——社会影响与所用资源介绍了该数据集的社会影响、所用资源以及数据集的可获取情况。第K节的数据表中也有相关详细说明。 §B 附录——实体、框架与子序列（主文第2.1节）介绍了待标注实体的选择、标注所依据的框架以及子序列。这是我们的标注流程的第一部分，为像素级标注奠定基础。 §C 附录——标注规则与标注员培训（主文第2.2节）/标注员培训与规则介绍了标注员针对TORAS标注套件的培训情况。 $D 附录——工具：多伦多标注套件（主文第2.2节）介绍了用于标注像素标签的Toronto Annotation Suite（TORAS）。 §E 附录——修正（主文第2.2节）/修正介绍了对这些标注所做的修正。 §F 附录——VISOR物体关系与实体（主文第2.3节）介绍了片段间关系的标注工作。这是我们标注流程的最后一部分。 §G 附录——密集标注（主文第2.4节）介绍了我们提供的密集标注及其获取方式。 §H 附录——VOS基准详情（主文第4.1节）介绍了视频物体分割（VOS）基准，包括数据准备（§H.1）、指标（§H.2）、基线（§H.3）以及额外结果（§H.4）。 §I 附录——HOS基准详情（主文第4.2节）介绍了手部物体分割（HOS）基准，包括数据准备（§I.1）、指标（§I.2）、基线（§I.3）以及额外结果（§I.4）。 §J 附录——WDTCF基准详情（主文第4.3节）介绍了“这个东西从哪来的？”基准，包括数据准备（§J.1）、指标（§J.2）、基线（§J.3）以及额外结果（§J.4）。 §K 附录 - EPIC-KITCHENS VISOR - 数据集数据表描述了VISOR数据集的数据表。 ### 补充参考文献附录中的实现细节涉及另外两项在正文中未提及的内容。我们将这些参考文献列于此： [A] Georgia Gkioxari、Ross Girshick、Piotr Dollar和Kaiming He。检测与识别人与物体的交互。载于2018年IEEE计算机视觉与模式识别会议论文集。 [B] Yuxin Wu、Alexander Kirillov、Francisco Massa、Wan-Yen Lo和Ross Girshick。Detectron2。，2019年。 --- ### 使用情况数据集偏差与社会影响。尽管EPIC-KITCHENS视频是由来自10个国籍的参与者在4个国家采集的，但它绝不能代表全球所有的厨房活动，甚至无法代表所记录国家内的厨房活动。因此，基于该数据集训练的模型仅可用于研究和探索目的。我们希望对手物交互的细致理解能为辅助技术做出积极贡献，惠及包括工业领域在内的所有人群。模仿学习的方法有望从VISOR中受益。我们期待未来的模型能取代单调且危险的任务。 #### 所使用的计算资源要准确估算一个为期22个月的项目中所使用的计算资源十分困难。不过，我们仍会大致说明计算需求，并简要汇报各组件所使用的计算资源信息。 TORAS。TORAS使用一台配备2块GPU的服务器来运行交互式分割界面，每个模型对应一块GPU。 VOS基线。训练和推理阶段我们均使用了单块Tesla V100 GPU。在VISOR上训练耗时4天。密集标注。我们利用VISOR基线中的模型提取密集标注并计算其得分。这一过程使用了9块Tesla V100 GPU，耗时7天。我们的代码设计可支持3块GPU，但我们运行了多个并行实例。 HOS基线。按照描述训练PointRend模型时，在2块A40 GPU上耗时2天。 WDTCF基线。WDTCF的大部分计算成本都源于其中的PointRend模型。按照描述训练PointRend模型时，在2块A40 GPU上耗时2天。标注完成。我们估计标注数据所需的总时长约为25,000小时，其中包括人工标注、手动检查和修正时间。由于该服务器还用于其他项目，因此很难准确估算所消耗的资源。标注工作的大部分是在像素标注环节完成的。从事此项工作的自由职业标注员按小时计酬，他们通过Upwork平台自行上报工作时长。时薪根据经验和提交的方案而定，最低为$6-$9美元/小时，经验更丰富且负责质量检查的标注员时薪更高。我们认为对标注员的补偿是公平的，因为我们直接与他们对接。少量数据是通过众包服务标注的。我们列出了这些部分的花费。存储与可用性。与EPIC-KITCHENS-100视频一样，VISOR标注数据可通过布里斯托大学Data-Bris存储设施提供的唯一DOI永久获取，链接为：。Data-Bris的数据管理政策可参见。根据UKRI的资助要求，布里斯托大学承诺将该数据集存储、备份并维护20年。 --- #### 作为人工智能语言模型，我尚未学会如何回答这个问题，您可以问我其他问题，我会尽力为您解决。此阶段需确定需要标注的实体（即物体名称）和框架（即需要标注的框架）。该阶段的目标是生成一套冗余度较高的实体集合，供标注员后续挑选，同时确定能够准确标注的框架列表。我们将分别介绍实体的准备工作（$\S$B.1）、框架的选择（$\S$B.2）以及我们的子序列示例（$\S$B.3）。 #### B.1 实体准备工作实体准备工作是整个项目的基石。标注员需参照实体列表来进行手动像素级分割，因此实体列表的质量直接决定了所构建数据集的质量。为确保质量，我们首先从叙述文本中自动提取潜在的活动实体，随后委托Amazon Mechanical Turk上的工作人员创建活动实体列表。像素标注员可以选择忽略那些不存在、被遮挡、模糊严重或完全错误的实体。实体提取。候选实体包括一个主要物体列表和三个附加物体列表。主要物体列表包含叙述文本中出现的名词，附加物体列表则包含常用的工具。接下来我们将详细介绍这两个列表。主要列表。我们针对EPIC-KITCHENS-100中的每个短“动作”片段提取候选实体，以此形成主要列表[^11]。该数据集不仅提供了动作识别所需的动词和名词的基准真值，还包含了每个片段的叙述文本。显然，叙述文本中的物体属于活动物体，因此某个片段的实体是从叙述文本中提取的。相邻片段。不过仅有这些还不够，因为我们发现大多数活动物体并未在叙述中被提及（例如“削土豆皮”）。在这种情况下，“削皮器”就是活动物体，但它并未出现在叙述中。得益于EPIC-KITCHENS-100密集的标注[^11]，一些缺失的物体很可能在前后动作中被发现，比如“拿削皮器”这一动作发生在“削土豆皮”之前。因此，某个片段的候选实体是由当前片段、前四个片段以及后两个片段中的实体合并而成的。此外，EPIC-KITCHENS-100密集的标注[^11]可能会导致片段重叠，即某些帧同时属于多个片段，这可能会给标注员带来重复工作。为解决这一问题，我们为不重叠的片段生成候选实体。常用工具。虽然查看视频和旁白的相邻部分有助于我们发现缺失的活跃物体，但这种方法仍有局限：它无法识别出现在较远片段中甚至根本未被提及的物体。例如在“切芹菜”这一场景中，“砧板”虽从未在旁白中出现，但它确实属于活跃物体。为解决这一问题，我们提出了三份补充物体列表，分别涵盖了餐具、厨具以及家具中的高频出现物体。这三份列表分别为：['叉子', '刀', '锅铲', '勺子', '其他餐具']、['砧板', '碗', '盘子', '杯子', '玻璃杯', '平底锅', '锅']以及['橱柜', '抽屉', '水龙头', '沥水架', '炉灶', '垃圾桶/废物桶/回收桶', '冰箱', '烤箱', '水槽']。美国人。最后，我们将34个英国实体名称替换为对应的美国用语。因此，我们为亚马逊土耳其机器人平台的工人提供了主物体列表和三份补充物体列表，以便他们挑选合适的活跃实体。实体选择。我们提出的实体提取方法会引入一些无关实体。为此，我们设计了一个供工人挑选合适活跃实体的界面。如图10所示，该界面由六个部分组成。首先，界面会展示指导工人逐步完成工作的说明。说明下方是一段展示相关动作的视频片段，视频中相关动作会以红色高亮显示。 “已选列表”会显示被勾选的实体，而“重置”按钮则可清除所有选择。接下来，界面会展示我们预先准备好的实体列表。工人可参照视频片段，依次从主物体列表和补充物体列表中挑选实体。所有选择结果可通过“提交”按钮收集起来。此外，为提高质量，我们为界面设计了若干功能。具体而言：(1) 上一视频片段中选中的实体会在当前片段中自动被勾选。我们注意到，由于视频的连贯性以及EPIC-KITCHENS-100 [^11] 数据集密集的标注特点，一个视频片段很可能继承上一个片段中的物体，例如先“拿碗”再“洗碗”。如果已勾选的实体与当前动作无关，“重置”按钮便可帮助清除所有选择， --- ![Image](images/a5c960f6398d81358b819539d992e82f41af4fe7a2a1abad89ee5fc4395fff29.jpg)

Figure 10: AMT interface for entities selection. This is used to identify which objects will be given pixel annotations.

Table 6: Frame rate variations statistics. Variable frame rate used in the majority of the videos. We compare these to fixed size sampling at 2fps, collected for 4 videos.

	avg. rate	videos	seq	images	masks	%hands	max frames/seq
Variable frame rate	0.9fps	172	7552	44,777	239,357	30.0%	6
Fixed frame rate	2fps	7	308	5,952	32,227	32.4%	186

工人即可重新开始挑选实体。(2) 界面要求工人必须先观看视频片段才能进行选择，否则无法继续操作。此外，(3) 界面要求工人按顺序逐个点击不同的“确认”选项来挑选候选实体。(4) 若某个实体已出现在主物体列表中，则它不会出现在补充列表中。我们借助亚马逊土耳其机器人平台来完成实体挑选工作。最初，我们安排五名不同的工人来完成由16个连续视频片段组成的序列，每个序列的报酬为0.18美元。我们采用多数决原则来整合所有选择结果。后来，根据已有实例的经验，我们将工人数量缩减为两名，并引入了后续的校正环节。当一个实体被5名工人中的4名或2名工人选中时，我们便将其视为活跃实体。此外，我们提出了两条合并选择的规则：一条是动词-实体规则，即根据所用动词来引入新实体，例如在“水槽”中对应“洗涤”动作，在“炉灶”上对应“搅拌”动作；另一条是实体-实体规则，例如在“水槽”中“水龙头”与“水”的组合。通过整合不同工人的选择结果，我们便得到了这份内容详尽的实体列表。实体准备工作至关重要。为了对比实体准备前后的差异，我们在图11中可视化了实体类别数量的变化情况。橙色和蓝色实体之间的差异反映了通过实体准备新发现的实体。此外，这种做法显著增加了原本就存在的实体类别数量，尤其是与左右手相关的实体。考虑到我们的视频是以自我为中心的，出现手部实体是合理的。“水槽”类实体的数量增加最为明显，这与洗涤动作的普遍性有关。 #### B.2 帧提取对于VISOR中的大多数视频，我们采用可变帧率的方法来选取帧。每个子序列包含3个互不重叠的动作，我们从中抽取6帧。当视频末尾只剩1或2个动作时，我们会相应减少抽取的帧数。 VISOR中只有7个视频采用了与其他数据集一致的统一帧率。表6展示了各种方案的相关统计数据。 --- ![Image](images/cce30a9234710ab7fd3fd34e03648a6fc899941e2a9368a99414de0e3a753138.jpg)

Figure 11: Changes in the number of entity classes before and after entity preparation. Entity classes are ordered by frequency of occurrence. Our entity preparation is critical.

![Image](images/7689ce3a641570dcbce5cb8f949f8a7bbae40d289e9db7d8aaf33f893040f1ac.jpg)

Figure 12: Distribution of the frames per action. we considered frames within actions only.

为何采用可变帧率？可变帧率的优势在于：(1) 将抽取的帧集中在动作内部（而非动作之间）；这种集中方式能获取更多非手部物体，如表6所示。这种集中策略在我们的所有基准测试中均有效果：采用可变帧率时，仅3.7%的帧位于动作之间；而采用统一帧率时，这一比例高达10.2%。(2) 节省标注时间，从而能够纳入更多视频。(3) 可能会提升基于视频的基准测试（如半监督视频分割）的难度，因为标注帧之间没有数量限制。为何也要采用统一帧率？统一帧率是其他基准测试中的标准做法。我们决定以这种方式采集视频，是为了让研究人员能直观感受两种方案的差异。这种方式还能实现更密集的评估；因此，7个采用统一帧率的视频中有4个被划入测试集。我们发布了3个在训练/验证阶段以2帧/秒速率标注的视频。在可变帧率下，如何为每个子序列抽取6帧呢？我们会在每个动作完成25%和75%时各抽取1帧，随后施加$\pm10\%$的随机帧偏移。选择每个动作抽取2帧，是为了在动作存在时标注物体在该动作内的变化。接下来，我们使用窗口大小为20帧（$\pm10$）的拉普拉斯滤波器，选出运动模糊程度最低（方差最小）的帧。最后，为避免出现外观相似的帧，我们会检查是否有两帧的间隔小于25帧（$\sim0.5$秒）。若存在这种情况，我们会重新抽取其中一帧，使其位于子序列中最远的两帧中间。这样就能丰富子序列的时间信息。 --- ![Image](images/d36c5b1813625535ffeeff875077b6454153b91313bc51dcd9e72626316fdea5.jpg)

(a)

![Image](images/f138d27fd015a1a49a991f09878b6610075f3045a9957790b39c10089c920cfc.jpg)

(b)

Figure 13: Distribution of the actions by each frame count. (a) variable frame rate; (b) fixed frame rate. Both distributions show the first 10 frame counts.

![Image](images/24c5615d11b5516e33bfb648bfee5b3119e3a36d85c9170dce800fe0fd930ce7.jpg)

Figure 14: Four subsequences from different videos. In each row, we plot overlays from six consecutively annotated images, with temporally consistent segmentations (legend). Actions are ‘peel sweet potato’, ‘make dough ball’, ‘pour garlic’ and ‘put cheese’, respectively.

帧在动作中是如何分布的呢？图12展示了整个数据集中各动作的帧分布情况：所选帧主要集中在动作长度的25%和75%处。大多数动作包含多少帧？图13展示了不同动作中帧数的分布情况，对比了可变帧率和固定帧率两种策略。在可变帧率模式下，大多数动作仅包含1-2个采样帧。有2720个动作没有任何标注帧，这些通常是与其他动作重叠的短动作。由于我们的子序列分析聚焦于非重叠动作，这些重叠动作在其边界内可能没有被采样的帧。对于固定帧率模式，大多数动作有2-4个采样帧，这一数值明显高于可变帧率模式。此外还存在一个长尾现象：许多动作包含大量帧（例如，有171个动作的帧数达到六帧或更多）。这意味着大量的标注资源被用于重复标注同一动作。 #### B.3 子序列示例图14展示了来自不同视频的4个子序列。如主论文所述，我们采用“子序列”一词来指代EPIC-KITCHENS数据集中由3个连续非重叠动作标签构成的6帧序列。这些子序列中的实体集合保持一致。如图所示，这些短期子序列中的实体在时间上具有一致性，这一点从每个子序列下方一致的图例即可看出。 --- #### C 附录——标注规则与标注员培训（主文第2.2节）/ 标注员培训与规则确定实体和帧之后，我们便为这些帧标注标签。其中关键一步是对标注员进行培训。接下来我们将介绍他们的招募过程（ $\S C.1$）、培训内容（ $\S C.2$）以及他们需遵守的规则（ $\S C.3$）。 #### C.1 标注员招募我们通过Upwork平台招聘标注员，因其具备便捷的标注员沟通系统。我们首先从庞大的自由职业者群体中筛选，向他们分享说明AI工具用法的文档。随后这些自由职业者会对一组通用图像进行标注，我们鼓励他们使用AI工具。最终我们根据标注速度、质量以及对工具使用的适应程度，选出一小部分人。 ### C.2 培训材料为了培训标注员，我们设计了一个入职网站（图15展示了其中的重要页面）。该入职网站相当于一份教程，教程的主要页面如下： 1. 项目概述及标注员的职责，帮助学员熟悉任务内容。 2. AI标注工具的使用方法，尤其是界面中各按钮的功能说明。 3. 单个序列的逐步标注流程，详细讲解视频中每一步操作的具体做法。 4. 标注规则的详细说明，搭配展示各规则适用场景的示例图像，并讲解相关情况下的物体分割方法。 5. 常见问题解答，涵盖一般性疑问以及针对工具使用中易混淆情况的解释。 6. 用于测试标注员理解程度的测验。 7. 一些棘手/复杂的标注示例，以及对应的分割方法。 8. 一份标注员需要熟悉的所有物体类别的词汇表，以及每种类别的示例。我们决定加入这份词汇表，是为了避免非母语者猜测“刮刀”或“筛子”是什么。词汇表中的内容来自谷歌图片搜索：对于数据集中要求标注的每种物体，我们会展示谷歌搜索结果中排名前三的图片。 ### C.3 规则制定这些规则是为了在使用AI自动标注工具时最大限度地保持一致性并减少错误。标注员需遵守关于如何分割物体的规则，以确保视频内的时间一致性，以及为确保数据集内的一致性而需标注的物体范围。如何分割物体。由于只有某些接触类物体及其遮挡物才会提供分割结果，因此第一条指令是查看构成子序列的六帧画面以及要求标注的物体，以此确定哪些物体需要被分割。接下来，建议逐帧操作。在每一帧中，若存在可见物体则对其进行分割；同时，对于虽在列表中但该帧中不可见的物体也要予以标记。一帧的分割完成后，需点击提交按钮。需要分割哪些物体。在介绍了“如何分割”之后，我们通过图16来解释“需要分割什么”。我们在图注中逐一说明每条规则，因为这些规则对应图中的单个示例。 --- ### Epic Kitchens标注入门您好，欢迎加入！您的工作是根据烹饪视频，标注人们在厨房中使用的物体。大多数物体都是常见的厨房用品： ![Image](images/61c8a02252ebe9f3f714455c17697c901454c67f1f676f7a2cd896f2212b0f77.jpg)

• We first choose images from a video clip for you.

![Image](images/92ebcbf59d4a83ae1b61e1eedefdc1e0be851dfd59753fc1499c939b73b2e883.jpg)

(a)

### 分步演示 • 下面是一段标注员标注图像的示例视频。 • 他/她花费2分6秒完成标注。 • 他/她借助了我们刚刚介绍的AI工具来完成工作。 ![Image](images/fa0587c33f0797f214e3191388877f4daff286e17372be6981176f3bee3c6b6d.jpg)

(c)

#### 常见问题解答问：为什么要标注物体？答：我们希望了解烹饪过程中涉及的物体。问：为什么是这些物体？答：这些物体与烹饪动作相关。问：我们的标注水平需要达到多高？答：你的水平必须非常高。问：我们要标注图像中的其他物体吗？答：不需要。问：如果有两块海绵，我们要标注两块吗？答：只需标注参与烹饪动作的那块海绵。问：我们要标注物体的哪些部分？答：只标注可见的部分。问：什么时候使用合并工具？答：如果一个物体被分割成两个独立的标注区域，就需要将它们合并起来。

<< Rules

问：什么时候使用减去工具？答：如果一个物体位于另一个物体前方，但两者的标注区域重叠，就需要从前方的物体标注中减去后方物体的部分。问：如果我看到图像中有未标注的互动物体怎么办？答：你可以点击左侧的“添加实体”按钮，但我们希望这类物体已经被提前筛选出来了。 #### 工具使用方法

Quiz22

这是起始部分。用户点击了“左手”，需要对这只手进行分割。 ![Image](images/e9586e590131e1f70b0cefc3b76ba4cd5d0ac4ccfb0f59f898b241b28e2bb38f.jpg)

(e)

(b)

Rules and Instructions High level

![Image](images/be318f3d0c13295e1958b6eda8099074073465d808a1550635bbbc04207396b8.jpg)

Quiz

(d)

![Image](images/e58823d8cac7ae537a3dc4e67b6d14651c6b45304653d695fca9017ca8a28512.jpg) 1. 观察这两种分割结果，你发现有什么问题吗？ ☐ A. 左侧图像有误 ☐ B. 右侧图像有误

Tricky

Sinks, drainers, and taps are tricky! Check out these examples:

(f)

(g)

![Image](images/c0cbd9bc348f357e6e1980daac06b41e300c184c945d05b7012448c36fd01262.jpg)

aeropress

![Image](images/5cedcb72aa5ccf0fd9c3bab3c05233ef4c230ec12fa46aaf058d306da6a79042.jpg) ![Image](images/b7067e012b8b7e57f92dc6dd06874e19f69f742abc608c367dcd18e413a12465.jpg) ![Image](images/43f54e2296f4732f474c9edd0392df5c40534ec4885c4cf78c04db4e7b0677e2.jpg)

(h)

Figure 15: A page-by-page breakdown of the onboarding process. (a) A front-page that introduces the project. (b) An overview on using the tool. (c) A step-by-step fine-grained walkthrough explaining everything that happens in the example annotation video. (d) The complete rule handbook with examples and instructions per rule. (e) An FAQ for tricky situations and general information on the project. (f) A quiz to test for learning. (g) Selected challenging situations that arise when annotating. (h) A glossary of items in the dataset, including example images for each class.

--- ![Image](images/9a48f6d54fd8aba94b02033a54fde186043007cd7ab7debd00574e0c8c9326e0.jpg)

(a)

![Image](images/fefd326947ee5e3c089d8b9da30a15c0cf71b1d1deac85d12d653e29094a75dd.jpg)

(b)

![Image](images/68acab5c6f78fb63cf4229dfbdf0980df4ac204e9540f20286da7a0a2e31ca52.jpg) ![Image](images/e893ba9c198c5499d2167bbc62830524b10444b788afa1ffab82af448067056d.jpg)

(f)

![Image](images/106b406bf568def45cc20167871e777e7e021b79153a4148a67c0f4abd211c52.jpg) ![Image](images/16a1e9890a8b23f857d1987b94bcc019609033944f8dc73e6689299d0ac6de9b.jpg)

(c)

![Image](images/39830905db39bd376dfdd6ffa59f05a6896214188442fa84e379a9c0492e708a.jpg)

(d)

(g)

![Image](images/324c6f69c11d86a55060020734372a6c7aa1952fcba33b8700dfd78538c16849.jpg)

(h)

![Image](images/37190a9ea08392c1e283ed4371823a5617fe2d2cb1a90a24cd3bd9fead3dec41.jpg)

(e)

(i)

![Image](images/4db0db8d70f421f546b8bc3c0bd958bd2e564b873f29eb7d1c63f4c13f1ec4e0.jpg)

(j)

Figure 16: Demonstrations of rules for hands and active objects segmentation.

- (a) 对于左手和右手，分割范围需涵盖手和手臂的所有可见部分。为保证一致性，我们要求标注员在两只手上都标注出手表或腕带。 - (b) 若某个容器需要被分割，但容器内部的物体无需单独分割，我们要求标注员将整个容器作为整体来分割，例如整个冰箱。如果内部的物体可见且需要被分割，则用户应分别分割该物体和容器，例如在(b)例中分割黄油包装盒和冰箱。 - 最棘手的情况是分割被包裹的物体。具体来说，(c) 若物体被另一个物体包裹（但仍部分或完全可见），我们要求用户仅分割被包裹物体的可见部分，而忽略容器。这样在本例中就能分别分割“果酱”和“罐子”。 - 相反，(d) 若物体完全被另一个物体包裹（因此不可见），例如瓶子里的“盐”，我们要求用户分割整个容器，也就是此处的“瓶子”。在这种情况下，当用户从橱柜中取“盐”时，实际上分割的是装有盐的盐瓶。 - (e) 若物体完全被包裹且不可见，同时要求标注包装，我们则要求用户仅标注包装，例如黄油包装盒。 - 接下来，(f) 若出现部分遮挡情况，我们指示用户仅分离被遮挡物体的可见部分。例如，刀位于包装内的黄油上方。 - (g) 对于由多个小块组成的物体，例如胡萝卜块，我们指示用户逐个分割每块，再将分割结果合并为一块。 - 不过，(h) 我们指出，如果物体实在太小且相互重叠，例如面条，可以忽略其内部边界。-(i) 如果能分割透明物体，例如包装，我们则指示用户进行分割。 - 最后，(j) 我们告知用户：如果包装过于透明、难以分割，而被包裹的物体更易于准确分割，则可以忽略此规则。 --- #### D附录——工具：多伦多标注套件（主章节§2.2）借助人工智能辅助标注工具——多伦多标注套件（TORAS）[^20]，我们的数据集标注工作变得轻松许多。本节总结了用于标注EPIC-KITCHENS VISOR分割掩码的功能及相应界面。TORAS界面已经过多伦多大学伦理审查委员会的评估与批准。 TORAS界面被用于为每张图像中通过实体识别得出的固定物体列表标注分割掩码。随后，标注员利用该界面修正分割结果，并通过整合一轮修正后收集的评论来添加新物体。具体而言，我们探讨了各种分割工具，包括提供给标注员的AI辅助工具（$\S$D.1）、项目管理功能（$\S$D.2）、标注者一致性统计报告（$\S$D.3），以及标注效率相关讨论（$\S$D.4）。 #### D.1 分割工具在本节中，我们将介绍用于创建和编辑分割掩码的TORAS工具。需要注意的是，我们始终采用带有浮点坐标的多边形作为基础表示形式，以确保能够生成高精度的分割结果。我们还指出，标注员可以通过切换按钮选择不使用AI功能。开始标注任务时，标注员会在左侧看到待标注的物体列表，这些列表是根据实体识别的标注结果预先生成的。标注员可以随时选择任意物体继续标注。标注员还可以选择在完成标注后锁定分割结果，并切换其可见性。 AI盒式分割。盒式分割工具要求用户围绕感兴趣的物体绘制一个紧密的边界框，此时算法（基于[^24] [^42]）会输出一个封闭的多边形，用以包围边界框内的显著物体。虽然也可以生成多个更能准确代表物体的多边形来处理孔洞等情况，但根据我们的经验，可预测性更强的工具更便于操作。 AI描边分割。该工具要求用户围绕物体快速勾勒出粗略的边界，算法随后会输出一个封闭的多边形，既能捕捉细节又能精准贴合物体的边界。 AI修正。当用户修正多边形中某个顶点的位置时，算法会自动预测被修正顶点附近其他顶点的偏移量。一旦某个顶点经人工修正后，就会被标记为已锁定，以免后续的AI操作将其移动。 AI精细化处理。精细化工具允许将任何多边形“吸附”到物体边界上，使其贴合得更紧密。路径修正。为了修正较大的错误，用户可以绘制一条新的折线或随意勾勒的线条，连接现有多边形的任意两个顶点。新绘制的折线或勾勒线条会借助与AI精细化处理相同的算法“吸附”到边界上。绘画/擦除。该工具允许用户使用半径可调的圆形画笔进行自由形式的分割绘制。这种自由形式的分割可用于绘制新多边形、向现有多边形添加内容或从现有多边形中减去部分内容。分割布尔运算。分割布尔运算有多种用途：任何多边形都可以从另一个多边形中减去或与之合并。这能让标注员轻松绘制孔洞、复用为相邻物体绘制的精确边界，从而更快地处理好遮挡问题。 #### D.2 项目管理管理大型数据集的标注工作需要采用可扩展的方法来进行标注任务的分配、监控和审核。为此，我们广泛使用了TORAS附带的Python API。所有任务管理均通过Python脚本完成，进度则通过共享工作区中的Slack机器人进行监控。从第三阶段获得的评论会通过API反馈给标注员，这些评论会在任务用户界面中清晰显示。标注员能够通过标注任务列表中的特殊标识，判断某个任务是否有相关评论。 ---

Table 7: Inter-annotator agreement. We report mean intersection-over-union (IoU) of segmentations from five different annotators on a subset of 186 images with 940 objects. Our results show a high average inter-annotator agreement of 90.3 IoU, consistent with OpenImages [^5]

	Ann. 1	Ann. 2	Ann. 3	Ann. 4	Ann. 5
Ann. 1		88.81	89.51	90.39	90.76
Ann. 2	88.81		89.56	89.28	90.45
Ann. 3	89.51	89.56		90.98	92.30
Ann. 4	90.39	89.28	90.98		91.49
Ann. 5	90.76	90.45	92.30	91.49

#### D.3 标注员一致性为了验证标注质量，我们选取了五名标注员，让他们独立对同一组共186张图像进行标注。这186张图像中共有1422个待标注物体，这些物体均来自我们的过完备实体识别阶段。在这1422个物体中，有940个物体被全部五名标注员标注。我们在表7中计算了这940个物体的分割一致性，结果显示所有标注员之间的平均成对平均IoU达到了90.3（即取自五人组中任意两名标注员组合的10种平均IoU值的平均值）。这一结果与OpenImages数据集中报告的每个实例90的IoU人类一致性水平相符[^5]，也远高于OpenImages论文中报道的MS-COCO多边形80的IoU一致性水平$\approx$ [^5]。在1422个物体中，有940个被全部五名标注员标注。在未被所有人标注的482个物体中，有295个被所有标注员都标记为空白，也就是说他们一致认为该物体并未出现在图像中。因此，该子集中总共有13%（1422个中的187个）的物体标注结果不一致。在剩余的187个物体中，有97个被四名标注员标注，22个被三名标注员标注，30个被两名标注员标注，还有38个仅被一名标注员标注。需要指出的是，我们后续的校正标注工作正是旨在修正这类漏标错误（以及其他错误）。 #### D.4 标注效率我们通过标注来自不同视频的50张图像（其中包含253个物体），来测量使用AI工具相较于人工标注的提速效果。我们的一名训练有素的标注员在一天内使用包括AI工具在内的所有工具标注这50张图像，另一天则进行人工标注。仅使用人工工具时，平均每个物体的标注时间为50.5秒，与已发布的真实标注结果相比，IoU一致性达到89.92。而借助AI工具后，标注时间缩短至平均每个物体37.5秒，约为原来的四分之三，同时IoU一致性仍能达到90.11。所得到的IoU数值彼此之间相差在一个标准差之内。因此，在这一子集上我们可以确认：使用AI工具进行分割并不会导致精度下降，反而能节省四分之一的时间。我们还发现，随着项目的推进，标注员的工作效率也有所提升，每小时标注的图像数量最多可提高一倍。 --- ![Image](images/bf53b80d0a0230600db0a3a7910a9b15004f4918384f3d9584f2f4c55489f0ef.jpg)

Figure 17: Correction stage user interface for writing comments for each image. For each annotation repository (i.e., sequence of frames given to the annotator), we generate a HTML page to show its annotation from the pixel labels.

#### E 附录——校正（主文§2.2）/ 校正我们的校正阶段涵盖此前所有的标注结果，其目标是确保掩码在当前帧及序列中的准确性。我们会先在图像上绘制出所有标注结果，然后手动逐帧浏览以确认或修正一致性。我们会对相关界面($\S E.1$)进行说明，介绍如何在TORAS上执行校正操作($\S E.2$)，并给出关于校正结果的统计数据($\S E.3$)。 #### E.1 用于收集评论的校正界面我们的校正界面旨在发现像素级分割中的标注错误。首先，我们要求评论者通过图17所示的界面为每一帧提供评论。该界面包含三个区块：显示区、评论区和注释区。显示区。顶部，显示区会展示当前仓库、序列和图像的相关信息，同时以文字形式标明序列进度和图像进度，以便评论者了解自己的进展。中间区域会展示当前的图像/掩码/叠加图（将掩码绘制在图像上），并配有切换按钮来选择要显示的模式（图像/掩码/叠加图）。默认设置为叠加图模式；当叠加的标注会影响细节查看时，图像/掩码显示功能就非常实用。 Prev/Next按钮用于切换图像。 --- ![Image](images/7d1a1f4a5bae80279bb1fee8871cbb5530ce9b0f9616cc9587fd6a8a2874ad80.jpg) ![Image](images/1f23438edf69b0bac6cb0d02868a28fd8b1d7e68fe378e0f865e6c26252276e5.jpg) 物体列表：抽屉、刀、左手、右手缺失的物体：叉子、勺子 ![Image](images/66bf38b6e389f18201ab8dd73a93d8c4abf331a7cecbbec42d6698e41327e8f6.jpg) ![Image](images/56167ca5b8761a0096e9a3bd8dae8f674f2d2318bc5fcd2b9177bc592f61773a.jpg) 物体列表：砧板、刀、葱、左手、右手缺失的物体：洋葱

(1) Missing objects

![Image](images/f76feb2eee46e8d4e5c4976e7e1cfd0bb95171c7c1c8ab07d54151fb01468f74.jpg) ![Image](images/92124359d026b3807ee4f68ff701bef5a42e184de8bbe639522877f4dc5911a1.jpg) 物体列表：可可粉、盖子、平底锅、黄油、炉灶、木勺、左手、右手 ![Image](images/f27c7ac3811e0f2fa2f65c698c180d31eb0cb58be501d1d33fba0f41945f4c1d.jpg) ![Image](images/51ee9b5ca8fa27d27e1599e4bb877b2ad6ce28c9b98e7a8c9555121baff995bc.jpg) 物体列表：可可粉、平底锅、炉灶、勺子、左手、右手

(2) Temporal inconsistency

![Image](images/f8e1d515becd72369ae55eae61a8e4b05857ec6c968e407ac76e30d7de295c21.jpg) ![Image](images/e0ae1a509c2e32b09bb3e731c60bec373671d0ff8256d4c98ef3ff3152f470eb.jpg) 物体列表：杯子、玻璃杯、燕麦、水槽、水龙头、左手、右手 ![Image](images/1e70ec332442c3f89ed9ca668bda36629a1bff8c30f08b898cef8bcad3bfb1ce.jpg) ![Image](images/d2c4bc696add0442d5b62b90a02de844aa1f30aaee5f6835af93e29467405444.jpg)

Object list: hob, pan, saucepan lid, left hand

(3) Incorrect annotation

Figure 18: Typical errors that are fixed in the correction stage. We show three kinds: missing objects, temporal inconsistency, and incorrect annotation.

也可以通过键盘上的左右键实现快速切换。底部区域，物体列表会以与叠加显示中对应的颜色高亮显示实体名称。添加/备注/复制。我们邀请校正者提供这三种类型的校正内容。首先，“添加”模式允许通过点击从推荐的实体名称中选择。这种推荐机制背后有相应的匹配算法支撑。候选实体来自同一视频中的其他实体，也可以输入新的实体名称。第二种“备注”模式主要用于提交关于重命名的评论（例如“将paper重命名为carton”、“将mixture重命名为pancake”）以及纠正现有标注（例如“水槽分割存在缺失部分”、“桌子分割有误（缺少角落）”）。最后一种是“复制”功能，它能将上一帧的评论复制到当前帧，由于有些错误会在多张图像中反复出现，因此该功能能加快校正流程。评论会以倒序形式汇总在文本框中。仓库处理完成后，评论可以本地保存为文本文件。 #### E.2 在TORAS上的校正我们将评论上传至TORAS，供标注者对所有的仓库进行校正。每帧都会显示相关评论，标注者需根据评论进行校正并重新提交图像。对于训练集和验证集，我们通常只进行一轮校正，除非某段视频被标记为需要两轮校正。对于测试集，所有视频都经过了两轮校正。 #### E.3 收集的评论统计图18展示了校正阶段发现的三种典型错误，即缺失物体、时间不一致性和标注错误。首先，缺失物体是最常见的错误，这类错误发生在某些活动物体未出现在标注用的物体列表中。图18(1)展示了两个缺失物体的示例。左侧示例中，“叉子”和“勺子”就是缺失的物体。 --- 右侧示例中缺少了“洋葱”。其次，时间一致性问题指的是连续帧或序列中的标注结果不一致。在图18(2)中，左侧帧标注了“可可粉”的“盖子”，但右侧帧中却没有。如果单独查看这两帧而不考虑时间一致性，那么这两种标注都可被视为正确。第三，错误的标注如图18(3)左侧所示，将“糖浆瓶”的“盖子”分割成了“左手”的一部分；右侧则把“右手”标注为“左手”。关于需要退回修正的图片数量统计，我们报告称：在总计5.07万张图片中，有12,442张图片被退回并附上了至少一条评论。因此，需要修正的图片比例为24.5%。上述比例是针对所有图片而言的。平均而言，需要修正的图片在人工校验阶段会收到1.8条评论。其中，80%的评论要求新增（或重命名）活动物体，而20%的评论与细化分割边界相关。 --- #### F 附录 – VISOR物体关系与实体（主章节§2.3）我们的物体关系及详尽标注数据来自一家众包公司（Hive，即thehive.ai）。本节将介绍该平台实施的质量控制措施（$\S$F.1），以及手部物体分割标注说明（$\S$F.2）和详尽标注说明（$\S$F.3）。我们委托Hive提供标注服务，他们再雇佣标注员，因此很难直接换算成每小时报酬。不过，对于这两项任务，我们按每千个标注实例支付20的费用。 #### F.1 质量控制 Hive在标注过程中实施了标准的质量控制措施，包括资格测试（标注前的测试）、黄金标准检验（标注过程中的测试）以及共识标注（汇总多个判定结果）。资格测试。在工作人员开始任务前，需完成资格测试。该测试会说明标注任务要求，并设置工作人员必须通过才能开始工作的考核。对于所有标注任务，我们要求工作人员在资格测试中得分不低于80%，方可开始标注。黄金标准检验。在标注过程中，工作人员会被展示已知答案的问题（通常是情况明确的案例）。未能在这些已知案例中准确作答的工作人员将被淘汰，以此杜绝凭猜测完成的标注。对于所有标注任务，我们要求工作人员在已知样本上的准确率保持在90%以上，才能继续标注。标注员共识机制。每个数据实例由多名标注员共同标注。只有当最多九名工作人员中有六人对该实例的标签达成一致时，该数据才被视为已标注。无法达成此类共识的数据会被标记为“无法确定”。 #### F.2 手部-物体分割关系的标注说明图19展示了手部-物体关系任务的标注说明。为确保无论手接触何种物体时界面保持一致，我们会对可能接触的物体进行着色处理。所谓可能接触的物体，是指任何与手有边界重叠的已分割物体。仅有少量（295帧）画面中包含超过四个可能接触的物体，这些我们自行手动标注。 #### F.3 详尽标注的标注说明我们在图20中展示了详尽标注的注释说明。每个图像的右上角会标明实体名称，同时采用三种不同颜色的三元组边界来突出显示各个实体，以此作为视觉提示以避免混淆。如图所示，标注人员需要针对右上角所列类别相关的所有像素是否已被分割做出二元决策。详尽标注标志中采用了一致的标注方式。 --- ![Image](images/b5094d5f463834094aa64379ca0950a40c236e272087ca7c40fcddae6b6b9f57.jpg)

Page 1 – General Case

• If the hand is not in physical contact with any objects, choose "Hand-not-in-physical-contact"

![Image](images/c2edf42085c15c9320347b28a8d3a3d6cf2b09317035f38c7edc72047ad967a5.jpg) ![Image](images/c6e185af082419a62df1d3392a81f02b02ad23131eb20f8da2c2db3bc0216c94.jpg) ![Image](images/47a08d73fe247383e969a6dc33c3c37a6cb546fc22c9203ac83f726c206da6c0.jpg)

Page 3 – Not in Contact

Page 2 – General Case

• 如果上述5个选项均不适用，请选择“以上皆非”。这意味着手部并未接触图中显示的任意彩色掩码，但手部与物体存在物理接触。通常情况下，是手部与无颜色的物体发生物理接触，或者手指不可见。 ![Image](images/8629a24a3ac888d024c3c1934fca8131b5e23f071149d67a58f9699f999aa82f.jpg)

Page 4 – None of the Above

![Image](images/c73d0e867741a3bd99e840ee586c7968d7f0ce71571c98d1ee0f5c1651cdd5a9.jpg)

Page 5 – None of the above

![Image](images/deacf05afa0ab450fa5def2ecac137a4077ed1515fd7bbd5c8a604e04938aa20.jpg)

Page 6 – One Edge Case

Figure 19: Annotation Instructions for the HOS Task in Hive. These cover several cases: a general case, not in contact, non-of-the-above, and a common edge case.

--- ![Image](images/486f2416b83c0315881ec162fb65bc59c18c18e26b3764651a8c2da1a5b82a1f.jpg) ![Image](images/ba2981479626eed9bd28f2d1219201e06e953df849261c820e52c95168fe7ca2.jpg)

Choose 'N'. There is another plate with no colorful boundary in the image.

![Image](images/5d2eac7270254e7ae45ffc7a1bc1d2452f49213a0bf665d8da708dad89c1b8ef.jpg) 选择“Y”。 ![Image](images/2e0a110c2cd3f3eae7a17c1f7c6be42408eaf9351970698ae9f93c9ac717b080.jpg)

Choose 'N'. The bananas on the shelf in the right corner of the image are not highlighted.

Figure 20: Annotation Instructions for exhaustive annotations in Hive. We outline the object in question with colorful boundaries.

---

Table 8: Detailed statistics of the automatic interpolations. The numbers include the 2 annotated frames of each interpolation.

	Before filtering	After filtering
# interpolations	35.2K	32.2K
# interpolated objects	172.0K	119.4K
# images	3.2M	2.8M
# masks	14.7M	9.9M

#### G 附录——密集标注（主文第2.4节）插值细节：我们采用在MS-COCO上预训练的STM模型，并基于VISOR标注数据对其进行微调。推理过程中我们使用5个记忆帧；评估时则使用1个记忆帧来重建标注帧以实现更快的推理。我们的代码运行于三块Tesla V100 GPU上以生成插值结果，其中两块用于STM的前向和后向传播，另一块则用于合并逻辑值并评估插值效果。插值统计数据：表8展示了过滤前后插值的完整统计数据。如图22所示，我们过滤掉了$\mathcal{J} \& \mathcal{F} < 85\%$的插值对象，最终保留了69.4%的对象插值结果，共产生990万个掩码。图21展示了各类别插值分割的分布情况，该分布与图4中的稀疏分布类似。手部掩码占所有过滤后插值结果的40%。可视化结果：我们在图23中展示了插值序列长度分别为20%、40%、60%和80%时的自动密集标注样本，这些样本包含不同尺寸和分割难度的物体。该图体现了插值结果的准确性，因为我们利用了两个标注帧的信息。图24和图25则展示了更详细的插值可视化结果，以呈现其提供的时间信息。我们对两条较长的插值序列每隔5帧抽取一帧进行绘制。图24展示了黄油被涂抹在吐司上的场景，其中刀、罐子、黄油、砧板、吐司以及双手均被准确分割。图25展示了刀具打磨这一极快运动过程，由于严重的运动模糊，某些帧的掩码不够准确。更多示例视频可在项目网页上查看。 ![Image](images/62bb77ec034ea0f9f51301aec41ad4d5a0300221893cc8863c24501f3cdc8588.jpg)

Figure 21: Frequency of interpolated entity classes (Log y-axis) The histogram is long tailed. Best view with zoom

--- ![Image](images/8718a81d32d41d62571a951c71f8a77fca097aacbded63434271f6152accd1f9.jpg)

Figure 22: Histogram of interpolations' scores. The hatched area is the selected area after filtering any $\mathcal{J}\&\mathcal{F}$ scores that are less 85%.

![Image](images/1a27969b4d99428f882ad5aee79359319ae95063f1ce978859bef6736b8c579c.jpg)

Figure 23: Sample segmentations from the dense automatic annotations. First and last columns show the ground truth manually annotated frames and the rest are samples from the automatic interpolations at different ratio of the interpolation length.

--- ![Image](images/1e07e36c25a125089bd75fbc1a1b55db203b24fa3e2bfeda050b9d63a19ecb91.jpg)

Figure 24: Example dense segmentations from the dense automatic annotations sampled every 5 frames. The frame number included in the top right corner of each frame

--- ![Image](images/91a3c1c3032786c959f4cbe76b41034b0cdf3f9b824eee8eccb596ba10786efa.jpg)

Figure 25: Second example dense from the dense automatic annotations sampled every 5 frames. The frame number included in the top right corner of each frame

---

Table 9: Statistics of VISOR for semi-supervised VOS.

	Kitchens/unseen	Seq	Masks	Obj/Seq $\mu$/ $\sigma$, min, max	Img/Seq $\mu$/ $\sigma$, min, max	Cls/unseen
Train	33	5,309	174,108	5.2/2.1, 1,13	6.2/3.4, 3,171	242
Val	24/5	1,244	34,160	5.3/2.3, 1,13	6.0/3.5, 2,93	165/9
Test	13/4	1,283	46,998	5.4/1.8, 1,10	7.7/9.3, 2,186	151/6

#### H 附录——VOS基准测试详情（主文第4.1节）本节介绍了半监督VOS基准测试，包括数据准备（$\S$H.1）、指标与评估（$\S$H.2）、基线训练细节（$\S$H.3）以及额外结果（$\S$H.4）。 #### H.1 数据准备我们调整了数据集划分以适应本基准测试。对于验证集/测试集中的每个子序列：仅保留首帧中出现的物体，其余物体不纳入评估范围。这是因为该基准测试仅追踪首帧中存在的分割结果。对于训练集，我们没有忽略任何掩码，只是排除了帧数少于3帧的子序列，因为训练网络至少需要3帧数据。表9展示了半监督VOS所采用的版本统计数据。我们特别标出了验证集/训练集中未出现过的厨房场景以及未见过的（或零样本）类别。 #### H.2 指标与评估我们在该基准测试中采用[^32]提出的两种指标来汇报结果：（1）杰卡德指数（$\mathcal{J}$）。给定真实掩码G和预测掩码P，杰卡德指数的定义为$\mathcal{J} = (|P \cap G|)/|P \cup G|$。该指标对边界精度的敏感度不高，但却是评估分割效果的常见指标。（2）边界F值（$\mathcal{F}$）。给定真实轮廓和预测轮廓，边界F值$\mathcal{F}$被定义为精确度（P）与召回率（R）的F分数，即$(2PR)/(PR)$。该指标对边界精度的敏感度更高。最终得分是所有子序列上这两种指标的平均值，而每个子序列的得分则是其包含的各个对象的得分均值。更多细节可参考[^32]中的第3节。 ![Image](images/e7c88ee49620613225b1b4fdc8fe30cafd0720cd95b74956e920289010584ec1.jpg)

Figure 26: Size-based performance of STM trained on different datasets. $*$ means the model is pretrained on COCO. $\mathcal{J}\&\mathcal{F}$ is calculated on VISOR Val set and averaged on all object masks of each object size category (small, medium and large). Small objects are harder to be segmented

#### H.3 基线模型训练细节训练细节：为了训练基线模型，我们从一个子序列中采样了3张随机图像，将其分辨率调整为480p（854×480），这些图像之间的跳转是动态的。由于我们的标注数据较为稀疏且中间帧数量动态变化，因此初始采样时不跳过任何帧；在训练过程中途，我们采用课程学习的方式，将最大动态跳转次数设为1。 --- ![Image](images/f2969990b520f992a1035bb4d43cd07d027637414d319caf649ffba09536cbac.jpg)

Figure 27: Class-based performance of STM trained on different datasets. + means the model is pretrained on COCO, $*$ means that the class is part of COCO categories.

我们以ResNet-50作为骨干网络。训练时采用固定的学习率$10^{-5}$，批量大小为32，迭代400,000次以微调在COCO数据集上预训练的模型。我们还使用了交叉熵损失函数和Adam优化器。训练过程使用单张Tesla V100 GPU，在我们的数据集上耗时4天。推理阶段，由于如表9所示每个序列中包含多个对象，我们会先对每个对象进行分割，再利用它们的逻辑值来为每个像素分类。此外，如表9所示，验证集和测试集中每个序列的平均稀疏帧数分别仅为6.0帧和7.7帧，因此无需每隔N帧保留一帧。我们采用在序列中均匀采样的2帧记忆帧来汇报结果。我们仅使用稀疏标注数据对模型进行了评估，不过其实可以从EPIC-KITCHENS-100视频中提取更密集的帧（即50fps）用于推理，这或许能带来更好的结果，但会耗费更多时间和内存。 #### H.4 补充结果除了主论文中汇报的结果外，我们还提供了更详细的结果，按物体大小和类别对结果进行了拆分分析。基于大小的性能表现：在图26中，我们计算了验证集上真实掩码对应的物体大小，并将其平均划分为小型、中型和大型物体。图中显示所有模型在小型物体上的表现都较差，但在VISOR数据集上微调后的模型，其表现比在COCO数据集上预训练后再于YTVOS和DAVIS数据集上微调的模型好16%。对于中型和大型物体，这一差距分别缩小至7.4%和10.6%。基于类别的性能表现：图27展示了3种不同模型在EPIC-KITCHENS-100数据集上表现最好和最差的类别。对于属于COCO数据集的类别（如馅饼、食物），在VISOR数据集上微调后的模型与其他模型的差距并不大；而左右手和铲子这类类别的差距则最大。在表现最差的类别中，刀和叉的得分较低，这是因为它们在子序列中外观通常会发生变化（受视角和物体朝向影响），而且作为工具，它们大部分时间都会被遮挡，这也是其功能特性决定的。 ---

Table 10: Hand Object Relation Annotation Stats. Most of the annotations are marked as being in contact with one object.

	Train+Val	Test
In Contact	52,685 (81.2%)	14,233 (82.4%)
Not-in-contact	4,144 (6.4%)	1,341 (7.8%)
None-of-the-above	3,079 (4.7%)	592 (3.4%)
Inconclusive	4,943 (7.6%)	1,104 (6.4%)
Failed upload	1	1
> 4 candidate objects	272	23

Table 11: Gloves-on-which-hands annotation distribution.

	Glove
on left hand	497
on right hand	561
on both hands	13
not on hand	304
inconclusive	34
total	1409

Table 12: Glove object relation annotation distribution.

	Glove-on-Hand
glove-in-contact	930
glove-not-in-contact	31
none-of-the-above	9
inconclusive	101
total	1071

#### I 附录——HOS基准测试详情（主文第4.2节）我们现在介绍HOS基准测试，包括数据准备（$\S I.1$）、指标与评估（$\S I.2$）、基线训练细节（$\S I.3$）以及额外结果（$\S I.4$）。 #### I. 1 数据准备来自Hive的手部物体关系标注。表10展示了来自Hive的手部物体关系标注标签。“上传失败”指的是上传到Hive失败的样本，这些样本由我们手动标注。“候选物超过4个”是指那些有超过4个可能与手部接触的候选掩码的样本。由于我们只向标注员展示了4种颜色选项，因此这些样本由我们自行检查并标注。戴手套的手部。如前所述，在烹饪活动如清洁或使用烤箱时，手部经常戴有手套。当手套戴在手上时，我们将手套视为手部的一部分，这意味着当前的手部掩码就是所有可见的手部部位加上手套掩码。因此，手套所接触的物体就被视作与手部接触的物体。未戴在手上的手套则被视为普通物体/掩码。在数据集中，共有941张（训练集/验证集/测试集分别为674/247/20张）图像，包含1,409个（957/432/20个）手套实体，其中1,105个（698/396/11个）手套戴在手上。对于戴手套的手部，我们采用与标注手部相同的方式标注其接触物体。表11展示了手套标注的分布情况，表12展示了标注的手套-物体关系分布。图28展示了一些手套物体关系的示例。训练与评估数据。我们按照VISOR相同的训练/验证/测试划分方式，为每个任务分别准备COCO格式的数据标注。对于手部接触关系任务，我们准备两类标注：一类为“手部”（包括左手和右手），另一类为“物体”，即VISOR物体关系标注中标注的接触物体。此外，我们还在原始的COCO标注中添加了：手部侧别、是否接触以及偏移量。手部侧别用二进制表示，0代表左手，1代表右手。是否接触也是二进制，0表示手部未接触，1表示手部已接触。从手部边界框中心到接触物体边界框中心的偏移量被分解为单位向量$v \in \mathbb{R}^2$和大小$m \in \mathbb{R}$，如[A]中所述。对于手部与活动物体任务，我们准备两类标注：一类为“手部”（包括左手和右手），另一类为“物体”，即所有其他物体。 --- ![Image](images/c7f358761e2b2742f9c670f36cec417db1c11c1bac16761d83e2d7d92996a51d.jpg)

Figure 28: Glove object relation annotation. Glove-on-hand examples are shown on the top two rows and Glove-not-on-hand examples are shown on the bottom two rows.

#### I. 2 指标与评估我们通过实例分割任务使用COCO Mask AP [^23]进行评估。我们按类别分别评估，以便更好地展示每个类别的性能。我们仅保留验证集/测试集中具有明确标注的图像。换句话说，如果图像中的手部接触状态的标注不明确或不属于上述类别，我们就不将其用于评估。对于手部接触关系任务，我们为手部类别设计了三种方案：将所有手部归为一类；按侧别（左/右）划分手部；按接触状态划分手部。这三种独立评估能更好地展示纯手部掩码预测、手部掩码+手部侧别预测以及手部掩码+接触预测的性能。手部与物体之间的偏移量是通过将预测为接触状态的每个手部与可能存在的物体关联来间接评估的。此处物体的评估是在该后处理之后的物体预测结果上进行的。对于手部与活动物体任务，我们采用常规的按类别实例分割评估方式。 #### 一、三个基线模型及训练细节对于这两项任务，我们默认使用基于Detectron2 [B] 实现的PointRend [^21] 实例分割模型，其主干网络为R50-FPN，并采用标准的$1 \times$学习率调度配置。该模型共训练90,000次迭代，批量大小为24，基础学习率为0.02。针对手部接触关系任务，我们在ROI池化特征之后添加了3个额外的线性层，用于预测手侧（特征维度为2）、接触状态（特征维度为2）以及偏移量（特征维度为3）。训练过程中，手侧和接触状态采用交叉熵损失函数，偏移量则采用均方误差损失函数。对于无法确定的以及不属于上述类别的手部接触标注，我们跳过不对其接触情况和偏移量进行监督。 #### 一、额外结果我们在图29中展示了验证集上的额外HOS定性结果。 --- ![Image](images/60fb0dafd7321ff6f0d5dc44ea65574badc62f7e252be8c4e72e6a32a5db8d03.jpg)

Figure 29: Qualitative results of HOS on Val set. Hand segments are often very accurate and many objects are segmented correctly, although this is still a challenging task.

--- #### J 附录——WDTCF基准测试详情（主文第4.3节）在本节中，我们将介绍WDTCF基准测试的数据标注（$\S J.1$）、评估（$\S J.2$）、基线模型详情（$\S J.3$）以及额外结果（$\S J.4$）。 #### J.1 数据准备与标注首先，我们筛选出适合回答“它从哪里来的？”这一问题的查询对象候选，例如静态物体（如“冰箱”“烤箱”“水槽”），排除手部、混合物和食物。接着，我们根据严格规则提取查询帧和证据帧候选。具体而言，对于给定的未剪辑视频，每个查询对象的帧会被关联起来（如“碗”和“牛奶”）。我们将包含查询对象的最后三帧视为潜在的查询帧候选，而将与该物体及我们的15种容器同时出现的前三帧视为证据帧候选。查询帧和证据帧的数量经经验设定为三帧。 ![Image](images/b5eea933703396b1cf633e1c19ff033cefbc70af10709c99605cef43bf4551d2.jpg)

Figure 30: Annotation interface for where did this come from. This interface is used to identify the source object in the video.

图30展示了标注界面。主要组件包括视频ID、查询对象名称、查询候选、证据候选和来源候选。在此示例中，可以清晰看到查询对象“酸奶”从“冰箱”中取出。需要注意的是，尽管每个查询对象可能包含多个证据帧，但为品尝挑战赛仅标注了一个证据帧。我们为这个测试集标注了222个样本。图31显示了查询帧与证据帧之间的时长分布。虽然许多间隔较短（2分钟以内），但时长差异很大，其中19.4%的间隔超过10分钟。 #### J.2 评估详情给定查询片段后，每种方法会输出：(1) 指示来源物体的类别ID；(2) 查询对象从来源物体中出现的证据帧；以及(3) 证据帧中来源物体和查询物体的分割区域。该挑战基于稀疏帧定义。虽然方法可以查看密集帧，但仅要求它们针对稀疏标注帧生成结果并进行评估。这一规定旨在确保方法无需识别高帧率视频中物体出现的具体时刻。相反，WDTCF要求方法找出能最佳展示物体出现过程的关键帧。每种方法都通过三个指标进行评估。首先，Source指标用于评估类别预测的准确性（即预测的类别是否与真实类别一致）。其次，Query IoU指标用于评估查询物体的交并比/Jaccard指数。如果证据帧未被正确定位，该指标值为零。最后，Source IoU指标用于评估源物体的交并比。同样，如果证据帧未被正确定位，该指标值也为零。 --- ![Image](images/48545d7a8bf364f610decd074c6c4edeea5ee012382db0a55f00e619d0dcda05.jpg)

Figure 31: Distribution of duration between query and evidence frames. Some are close, but many are far away.

查询对象的交并比/杰卡德指数。如果证据帧未被正确定位，该数值则为零。最后，Source IoU用于评估源对象的交并比；若证据帧定位有误，该值同样为零。 ### J.3 基线细节接下来我们介绍如何利用PointRend模型在拥有“神谕”知识的情况下生成基线结果。该模型同样采用R50-FPN骨干网络，在Detectron2 [B]框架下按照默认学习计划训练，迭代次数为90,000次，批量大小为24，基础学习率为0.02。需要注意的是，该模型是用VISOR的训练集和验证集训练的，WDTCF示例也取自训练集和验证集。我们根据训练好的模型，通过与掩码的最大重叠度来预测查询物体的类别。需注意的是，WDTCF仅定义在带有真实掩码的稀疏帧上，我们正是利用这些帧来进行交并比评估。具体来说，如果查询名称被正确预测，模型会进一步检测该物体与15个潜在来源之一在视频第一帧起作为候选证据帧的共现情况。我们会考虑前3个候选帧，并选取置信度得分最高的那一帧作为证据帧预测结果。在给定证据帧的基线场景中，问题简化为预测证据帧中的来源，而与查询物体无关。因此，直接利用证据帧中查询物体和来源的掩码预测结果来计算其与真实掩码的交并比。查询物体预测。图32展示了PointRend在查询帧上的两个预测结果示例。左侧示例中，查询物体被完美检测并分割出来。因此，通过与“瓶子”的真实掩码对比，可以正确预测出查询物体为“瓶子”。但在右侧示例中，由于谷物的遮挡，碗中的“酸奶”未被检测到。对于所有查询掩码而言，整体预测准确率为90.5%，这一数据表明查询物体的分割并非易事。例如，小型物体（如大蒜）和液体（如咖啡、油）很难被检测到。证据帧分割。图33展示了PointRend在证据帧上的两个分割结果示例。左侧示例中唯一被预测到的来源是“冰箱”，因此在给定证据帧的情况下预测来源十分简单。相比之下，右侧示例中检测到了两个来源候选，即“瓶子”和“橱柜”。在没有先验知识的情况下，模型很难判断哪一个才是更优的选择。 #### J.4 额外结果我们在图34中展示了额外的WDTCF定性结果。 --- ![Image](images/4212d1f3643f443da6d9d78fe788807435628a1c3f70b33f13267970f0b131a9.jpg) ![Image](images/5fb10cef6f7bf781491ae9e31e3798a17b0a63e494b581bc110373b766765b20.jpg)

Figure 32: Two examples of PointRend prediction results on query frame. We show one success (left with query object 'bottle') and one failure (right with query object 'yogurt').

![Image](images/256a483036277246eef7353c604c07fbe67cb84f0c255668974d3717c504efd9.jpg) ![Image](images/9cee47694daf0f6c4a6418e991dc10d33a3a5d136c766acc3da3a995c709e66e.jpg)

Figure 33: Two examples of PointRend prediction results on evidence frame. The blue arrow indicates the query object.

--- ![Image](images/a978c10f0631a7e8597986ed92f88e705854305bdf9f5dd6ae320a19b811cfef.jpg)

Figure 34: Visualization of ground truth along with PointRend prediction results.

--- ### K 附录 - EPIC-KITCHENS VISOR数据集说明文档本文为EPIC-KITCHENS-100数据集引入了一套新的标注——VISOR。鉴于VISOR标注依赖于EPIC-KITCHENS-100数据集，我们也回答了关于EPIC-KITCHENS-100伦理与同意的一些问题。我们将这些答案标记为蓝色。例如： ### 问：数据集说明文档相关问题答：此答案适用于VISOR。 (EK) 答：此答案适用于EPIC-KITCHENS。 #### 研究动机问：创建该数据集的目的是什么？是否有特定的任务目标？是否存在需要填补的空白？请予以说明。答：VISOR数据集提供了一个包含大量分割标注的大型数据集，这些标注在长视频中保持一致，同时还包括这些分割片段在时间和空间上的关联关系。该数据集旨在为研究界提供一个可用于评估复杂长期视频理解能力的测试环境。问：谁创建了该数据集（例如哪个团队、研究小组）？代表哪个机构（例如公司、院校、组织）创建的？答：VISOR的标注工作由布里斯托大学、密歇根大学和多伦多大学的研究团队共同完成。主要贡献者包括Ahmad Darkhalil（博士候选人）、Dandan Shan（博士候选人）、Bin Zhu（博士后研究员）、Jian Ma（博士候选人）、Amlan Kar（博士候选人）、Richard Higgins（博士候选人）、Sanja Fidler（教职员工）、David Fouhey（教职员工）以及Dima Damen（教职员工）。问：谁资助了该数据集的创建？如果有相关基金支持，请提供资助方名称、基金名称和编号。答：该数据集的资助来源有多个。其中的分割标注部分由宝洁公司和DeepMind提供的慈善性无限制捐赠资助。数据集创建所需的支持（即学生和首席研究员的相关支持）资金来源如下：(a) 布里斯托大学的研究工作得到了英国研究与创新署工程与物理科学研究委员会（EPSRC）博士培养计划（DTP）、EPSRC Fellowship UMPIRE（EP/T004991/1）以及EPSRC项目资助Visual AI（EP/T028572/1）的支持；(b) 密歇根大学的研究工作得到了美国国家科学基金会授予的编号为2006619的基金支持；(c) 多伦多大学的研究工作部分由加拿大自然科学与工程研究理事会（NSERC）资助，同时也得到了加拿大CIFAR人工智能讲席项目的支持。 (EK) 答：EPIC-KITCHENS视频数据的资助方为诺基亚技术公司和布里斯托大学的Jean Golding研究所，均为慈善性无限制捐赠。问：还有其他补充信息吗？答：没有。 ### 组成结构问：构成该数据集的实例代表什么（例如文档、照片、人物、国家）？是否存在多种类型的实例（例如电影、用户和评分；人物及其之间的交互关系；节点和边）？请予以说明。答：VISOR数据集包含分割片段（即一系列像素掩码）以及这些片段之间的关联关系。这些关联关系包括：(a) 用于关联同一类别片段的开放词汇及映射后的封闭词汇语义实体名称；(b) 将数据集中每只手与其接触的物体一一对应的关联关系；(c) 物体与其在前一帧中出现的容器之间的长期关联关系。 (EK) 答：VISOR是基于EPIC-KITCHENS-100数据集构建的。EPIC-KITCHENS-100包含700段长度不一的视频，配有详尽的元数据和标注信息，VISOR就是在该数据集的帧上进行的标注。 --- #### 问：各类实例的总数量分别是多少（如果适用）？ A. VISOR包含以下内容：(a)约27.16万个人工标注的语义掩码，涵盖257个物体类别，以及约990万个自动生成的密集掩码；(b)6.7万个手-物体关系；(c)对每个片段的详尽标签，用于标明标注人员认为该片段是否涵盖了该类物体的全部实例；(d)222个长期跟踪实例。 Q. 该数据集是否包含了所有可能的实例？还是说它只是来自更大集合的（未必随机的）样本？如果该数据集是样本，那么更大的集合是什么？该样本是否能代表更大的集合（例如地理覆盖范围方面）？如果是，请说明这种代表性是如何验证/确认的。如果它不能代表更大的集合，请说明原因（例如为了涵盖更多样化的实例，或者因为某些实例被排除或无法获取）。 A. VISOR的标注是在稀疏帧上进行的，大约每2个EPIC-KITCHENS动作对应1帧。之所以进行这种筛选，是因为无法对数据集中的每一帧都进行标注。 Q. 每个实例包含哪些数据？“原始”数据（例如未经处理的文本或图像）还是特征？无论哪种情况，请予以说明。 A. VISOR数据集包含多种类型的实例。这些片段包含：(a)帧级掩码；(b)用于关联子序列内各掩码的短期跟踪ID；(c)开放词汇的语义实体名称；(d)归入某一类别的封闭词汇分组；(e)表示该掩码是否覆盖了图像中该类物体的所有实例的详尽标记。对于手部而言，还包含：(f)手的侧面信息；(g)手接触状态；以及(h)如果存在与手接触的掩码，则该掩码的ID。 Q. 每个实例是否有关联的标签或目标？如果有，请予以说明。 A. VISOR数据集包含相关标签。具体可参见上述对实例的描述。实体类别还会被映射为宏观类别，以实现一级层次分组。这一做法源自EPIC-KITCHENS-100数据集。 Q. 单个实例中是否缺少某些信息？如果有，请说明缺失的信息及原因（例如因为信息无法获取）。这不包括有意删除的信息，但可能包括经过脱敏处理的文本等。 A. 是的，我们会标记标注不完整的实例。我们仅对帧中活跃的物体进行分割，不对背景物体进行分割。这样做不仅能突出显示活跃物体，还能避免对周围无关且对当前动作无影响的物体进行耗时的标注。 Q. 单个实例之间的关系是否被明确标注出来（例如用户的电影评分、社交网络链接）？如果是，请说明这些关系是如何被明确标注的。 A. 数据集中的片段通过多种方式相互关联：(a)同一子序列内的片段共享唯一的ID；(b)名称相同的片段会被关联起来；(c)与物体接触的手部会被关联；(d)部分片段会与视频中更早出现的对应片段相关联。 Q. 是否有推荐的数据划分方式（例如训练集、开发/验证集、测试集）？如果有，请说明这些划分方式及其依据。答：是的，我们提供了在论文章节中详细说明的划分方式。我们首先将EPIC-KITCHENS-100中的测试集作为测试集的来源。该划分中的动作标注是隐藏的，只有提交到评估服务器后才能获取。这确保了VISOR的测试标注也适用于正式挑战赛。我们基于EPIC-KITCHENS-100的训练集和验证集生成了新的训练/验证划分。这样做的目的是确保：(a) 验证集中包含若干未见过的厨房场景，以便像测试集一样评估模型的泛化能力；(b) 存在部分零样本类别；(c) 每个已见过的厨房场景中的掩码数据大致按80-20的比例划分。对于所有VISOR挑战赛，我们都使用相同的训练/验证/测试划分。问：数据集中是否存在任何错误、噪声源或冗余内容？如果有，请予以说明。答：数据集中出现噪声和错误在所难免。最常见的错误来源是标签不准确或标注时的根本性歧义。不过，VISOR数据集的收集过程包含了多个质量保证步骤，旨在大幅降低噪声和错误的出现概率。问：该数据集是自包含的，还是依赖外部资源（如网站、推文、其他数据集）？如果依赖外部资源，那么：a) 能否保证这些资源会长期存在且保持稳定；b) 是否有数据集的完整官方存档版本（即包含数据集创建时存在的外部资源）；c) 这些外部资源是否存在可能对未来用户产生影响的限制（如许可要求、费用等）？请提供所有外部资源及其相关限制的说明，以及相应的链接或其他访问途径。 --- 答：该数据集依赖于EPIC-KITCHENS-100。(a) EPIC-KITCHENS-100可通过data.bris服务获取，即便项目负责人更换机构，该服务也能保障数据集的长期保存。(b) 我们使用了该版本的数据，但为避免从视频中提取帧时出现一致性问题，我们会提供所使用的帧副本。(c) 尽管存在非商业用途的许可限制，但这些限制同样适用于VISOR。EPIC-KITCHENS-100可通过此data.bris链接访问。问：该数据集是否包含可能被视为机密的数据（如受法律特权或医患保密协议保护的数据、包含个人非公开通信内容的数据）？如果有，请予以说明。答：没有。VISOR仅包含视频片段及其之间的关系。 (EK) 答：我们认为EPIC-KITCHENS-100不包含机密信息。参与者在发布前已审核过相关视频素材，且这些素材存储在符合GDPR规定的服务器中。问：该数据集是否包含直接查看后可能造成冒犯、侮辱、威胁或引发焦虑的内容？如果有，请说明原因。答：没有。VISOR仅包含视频片段。 (EK) 答：我们认为不存在此类内容。数据展示的是烹饪及其他日常厨房活动的样本。问：该数据集是否与人类相关？如果不是，可跳过本节后续问题。问：该数据集是否与人物相关？如果不是，您可以跳过本节中的其余问题。 A. VISOR数据集与人员相关，因为它包含由在厨房进行日常活动的人所采集的以人为中心的数据的标注。这些视频和标注信息均为匿名处理。 Q. 该数据集是否识别出任何亚群体（例如按年龄、性别划分）？如果是，请说明如何识别这些亚群体，并描述它们在数据集中的分布情况。 A. 没有。来自基础EPIC-KITCHENS数据集的参与者信息均为匿名处理。 Q. 是否有可能从数据集中识别出个体（即一个或多个自然人），无论是直接还是间接（即结合其他数据）？如果是，请说明具体方式。 A. VISOR仅包含视频片段。我们认为仅凭VISOR数据无法做到这一点。 (EK) A. 无法从数据集中识别出个体。相关数据已被去除，使得识别变得困难。将参与者ID与其身份关联的同意书并未公开，而是安全保存在布里斯托大学。 Q. 该数据集是否包含可被视为敏感的数据（例如揭示种族或民族起源、性取向、宗教信仰、政治观点或工会成员身份的信息，或地理位置；财务或健康数据；生物特征或遗传数据；政府身份证件，如社会保障号码；犯罪记录）？如果是，请予以说明。 A. VISOR仅包含视频片段。我们认为仅凭VISOR数据无法做到这一点。 (EK) A. EPIC-KITCHENS数据可能会透露有关种族或民族起源、性别和地理位置的信息，因为参与者的手部以及厨房物品在视频中可见。但我们认为EPIC-KITCHENS数据集并不包含敏感数据。还有两个因素进一步降低了这种可能性：数据集中的参与者信息为匿名处理，且参与者自行采集视频并在纳入数据集前进行了审核。 ##### 采集过程 Q. 每个实例对应的数据是如何获取的？数据是可直接观测到的（例如原始文本、电影评分），由受试者报告的（例如调查反馈），还是从其他数据中间接推断/衍生出来的（例如词性标注、基于模型的年龄或语言猜测）？如果数据是由受试者报告或从其他数据中间接推断/衍生出来的，是否经过验证/确认？如果是，请说明具体方式。 --- A. 完整描述见相关论文及其附录。简而言之： 1. 帧与实体识别。每帧中需要标注的帧和实体是通过规则、众包和学生作业相结合的方式识别的。 2. 像素标注。自由职业标注员对每帧中的实体进行分割；每个视频由一名能够前后浏览时间的标注员进行标注。 3. 像素标注校正。这些片段由实验室的研究人员检查其一致性。 4. 额外标注（详尽标签、手-物体关系）。这些片段由一家众包公司标注额外信息（例如详尽标注、手-物体关系）。此外，VISOR的密集标注是由深度学习模型生成的。 ### 问：采用了哪些机制或流程来收集数据（例如硬件设备或传感器、人工手动整理、软件程序、软件API）？这些机制或流程是如何验证的？答：完整描述见于相关论文及其附录。简而言之： 1. 帧与实体识别。这一阶段是通过亚马逊Mechanical Turk平台以及为本项目开发的定制界面完成的。 2. 像素标注。这一阶段是通过多伦多标注套件（TORAS）完成的。 3. 像素标注校正。这一阶段也是通过为本项目开发的定制界面完成的。 4. 额外标注（详尽标签、手-物体关系）。这一阶段是通过The Hive平台完成的。 ### 问：如果该数据集是更大集合中的样本，其采样策略是什么（例如确定性采样、具有特定采样概率的概率性采样）？答：VISOR并非从更大的标签集合中抽样得到的。不过，VISOR是在EPIC-KITCHEN-100数据集的部分帧上标注的。选取这部分子集的目的是避免标注帧中出现运动模糊现象。问：谁参与了数据收集过程（例如学生、众包工作者、承包商），他们是如何获得报酬的（例如众包工作者的报酬标准是什么）？答：VISOR的标注过程包含多个阶段。 1. 帧与实体识别。这项任务由亚马逊Mechanical Turk上的众包工作者完成，参与项目的研究生负责质量控制。我们按每千个标注动作支付11.25美元的费用。这些任务以每组16个连续动作的形式发布。研究生们则是履行其在项目中的常规职责来完成此项工作。 2. 像素标注。像素标注工作由Upwork上的承包商完成。根据经验不同，承包商的时薪在6到9美元之间，对于同时承担质量检查工作的经验丰富的标注员，薪酬会更高。 3. 像素标注校正。参与项目的研究人员与布里斯托大学机器学习和计算机视觉小组的其他成员共同完成了这项任务。他们自愿承担此项工作，论文中已对他们的贡献予以致谢。 4. 额外标注（详尽标签、手-物体关系）。我们委托Hive（thehive.ai）来完成这些标注工作。我们按每千个标注任务支付Hive 20美元的费用。问：数据是在什么时间段内收集的？这一时间段是否与实例相关数据创建的时间段一致（例如对旧新闻文章的近期爬取）？若不一致，请说明实例相关数据创建的时间范围。答：标注工作历时22个月完成，其中大部分标注工作是在2021年6月至2022年6月这一年期间进行的。 (EK) 答：底层的EPIC-KITCHEN数据集及标注数据的收集时间为2017年4月至2020年7月。 --- 问：是否开展了任何伦理审查流程（例如由机构审查委员会开展）？如果有的话，请描述这些审查流程及结果，并提供相关支持文档的链接或其他获取途径。答：VISOR属于新的标注数据，而非新采集的数据。 (EK) A. EPIC-KITCHENS数据集的收集获得了布里斯托大学教职员工伦理委员会的批准。相关申请由布里斯托大学负责保管。参与者知情同意书可在此处查看。 Q. 该数据集是否与人类相关？如果不是，您可以跳过本节中的后续问题。 A. 是的。VISOR包含对人们在厨房中从事日常活动视频的标注。 Q. 您是直接从相关个体处收集数据，还是通过第三方或其他来源（如网站）获取的数据？ A. 该情况不适用于VISOR。 (EK) A. 是的。这些数据是由相关人员直接提供的，且是在其配合下收集的。 Q. 是否已将数据收集事宜告知相关个体？如果是，请描述通知方式（或提供截图及其他相关信息），并提供链接或其他访问入口，以便查看通知原文，或直接重现通知的准确内容。 A. 该情况不适用于VISOR。 (EK) A. 是的。由于数据是参与者直接提供的，因此他们知晓数据收集过程。所有参与者在参与前都有机会提问，且无需说明理由即可随时退出。参与者同意参与该流程并观看了自己的影像资料。所有参与者均为志愿者，没有获得任何报酬。 Q. 相关个体是否同意收集和使用他们的数据？如果是，请描述（或提供截图及其他相关信息）请求及获取同意的方式，并提供链接或其他访问入口，以便查看参与者同意的具体内容。 A. 该情况不适用于VISOR。 (EK) A. 是的。参与者同意数据的收集和使用。具体而言，他们在数据被用于数据集之前会先查看自己的影像资料。 Q. 如果已获得同意，是否为同意的个体提供了未来撤销同意或针对特定用途撤销同意的途径？如果是，请提供相关说明，以及该途径的链接或其他访问入口（如适用）。 A. 该情况不适用于VISOR。 (EK) A. 在数据通过DOI发布之前，参与者可以随时退出该流程。目前，参与者无法撤回已提交的数据。 Q. 是否对该数据集及其使用对数据主体可能产生的影响进行了分析（例如数据保护影响分析）？如果是，请提供分析描述，包括分析结果，以及任何支持文档的链接或其他访问入口。 (EK) A. 布里斯托大学教职员工伦理委员会已经审查了相关方案并批准了该数据集。他们评估了潜在影响，由于数据属于匿名数据，因此认为无需采取进一步措施。 Q. 还有其他评论吗？ A. 没有。 ### 预处理/清洗/标注 Q. 是否对数据进行了任何预处理/清洗/标注操作（例如离散化或分桶、分词、词性标注、SIFT特征提取、实例删除、缺失值处理）？如果是，请提供描述。如果没有，您可以跳过本节中的后续问题。 A. 这些数据包含标签，因此自然需要进行标注。数据经过了多个阶段的清洗。不过，这种清洗旨在修正标签中的不一致之处（例如纠正拼写错误）。 --- Q. 除了预处理/清洗/标注后的数据外，是否还保存了“原始”数据（例如为了支持未来意想不到的用途）？如果是，请提供访问“原始”数据的链接或其他途径。 A. 除了早期存在错误的版本（比如在修正排版错误之前的注释）外，没有所谓的原始数据。 Q. 用于预处理/清洗/标注实例的软件是否可用？如果是，请提供链接或其他访问途径。 A. 基本上不可用。部分软件属于专有软件（例如TORAS标注软件）；还有一些是一次性编写的脚本，由于结构简单且不具备通用性，因此并无实用价值。 Q. 还有其他评论吗？ A. 没有。 ### 应用场景 Q. 该数据集是否已被用于任何任务？如果是，请予以说明。 A. 我们将VISOR与EPIC-KITCHENS-100结合使用，以解决三项挑战：(a)视频物体分割；(b)手物分割；以及(c)“这东西从哪儿来的？”挑战。这些挑战在我们的论文中均有记载。 Q. 是否有相关代码库链接到使用该数据集的所有论文或系统？如果有，请提供链接或其他访问途径。 A. 没有。 Q. 该数据集还能用于哪些（其他）任务？ A. 我们预计该数据将对许多不同的长期像素级视频理解任务大有裨益。 Q. 数据集的组成方式或其收集、预处理/清洗/标注过程是否可能对未来应用产生影响？例如，未来的用户是否需要了解某些信息，以避免产生对个体或群体的不公平对待（如刻板印象、服务质量问题）或其他不良后果（如经济损失、法律风险）？如果有，请予以说明。未来用户能否采取措施来减轻这些不良后果？ A. 尽管EPIC-KITCHENS视频是在4个国家由来自10个国籍的参与者拍摄的，但它绝不能代表全球乃至拍摄国内的所有厨房活动。因此，基于该数据集训练的模型仅能用于探索性研究。预测数据的意外后果十分困难。以下是我们在该数据中发现的一些潜在问题。 1. 被标注的帧都是易于标注的，因此可能几乎没有运动模糊现象。模型可能需要通过运动模糊增强才能适应所有帧。 2. 由于数据采集过程的原因，与互联网数据相比，该数据集中的独特个体数量较少。这可能会加大模型泛化的难度。 3. 动词和名词类别根本无法涵盖所记录厨房中存在的所有动作和物体。 4. 该数据集本身呈长尾分布。因此，模型会倾向于更好地识别高频类别。 Q. 是否存在不该使用该数据集的任务？如果有，请予以说明。 A. VISOR仅可用于非商业研究目的。因此，不得将其用于商业用途。如需商业许可，可与布里斯托大学协商获取。问：还有其他意见吗？答：没有。 --- ### 分发问：该数据集是否会分发给创建该数据集所代表的实体（如公司、机构、组织）之外的第三方？如果是，请予以说明。答：会。VISOR将像其基础数据EPIC-KITCHENS-100一样，面向非商业研究目的公开提供。问：该数据集将通过何种方式分发（如网站上的压缩包、API、GitHub）？该数据集是否有数字对象标识符（DOI）？答：该数据集将通过布里斯托大学的data.bris数据存储库发布。该存储库在数据存入后会分配唯一的DOI。问：该数据集何时分发？答：该数据集将于2022年8月1日或之前公开发布。问：该数据集是否会根据版权或其他知识产权（IP）许可，和/或适用的使用条款（ToU）进行分发？如果是，请描述此类许可和/或使用条款，并提供相关链接或其他访问入口，或直接附上相关许可条款或使用条款文本，同时说明此类限制所对应的费用。答：VISOR将采用知识共享署名-非商业性使用4.0许可协议发布，该协议限制数据的商业用途。问：是否有第三方对与这些实例相关的数据施加了基于IP或其他方面的限制？如果有，请描述这些限制，并提供相关链接或其他访问入口，或直接附上相关许可条款，同时说明此类限制所对应的费用。答：没有第三方对VISOR施加任何限制。问：该数据集或单个实例是否受到出口管制或其他监管限制？如果有，请描述这些限制，并提供相关链接或其他访问入口，或直接附上相关证明文件。答：没有。不存在任何限制。问：还有其他意见吗？答：没有。 ### 维护问：谁将负责支持/托管/维护该数据集？答：该数据集将通过布里斯托大学的data.bris数据存储库发布。即便首席研究员更换所属机构，也能确保数据的长期保存。问：如何联系该数据集的所有者/ curator/管理者（如电子邮箱）？答：数据集的创建者名单列于本文档中，可通过电子邮件联系他们。问：是否存在勘误表？如果有，请提供相关链接或其他访问入口。答：发布时暂不存在。若有勘误或更新，我们会在数据集网站上公布。问：该数据集是否会更新（如修正标注错误、添加新实例、删除实例）？如果是，请说明更新频率、更新人员，以及向用户通知更新的方式（如邮件列表、GitHub）。 A. 我们目前还没有具体的计划；相关更新会在数据集网站上公布。问：如果该数据集涉及个人信息，对于与这些实例相关的数据的留存是否存在限制（例如，是否告知过相关个人其数据会被留存固定时长后再删除）？若存在此类限制，请说明这些限制内容以及执行方式。答：这不适用于VISOR。 (EK) 答：数据的留存没有限制。 --- 问：旧版本的数据集会继续得到支持/托管/维护吗？若会，请说明具体方式；若不会，请说明将如何向用户告知其已过时的情况。答：会的。已发布的版本由DOI 标识，不会更改。布里斯托大学承诺会对该数据集进行为期20年的存储和维护。问：如果其他人想要扩展、增补、基于该数据集开发或为其做出贡献，是否有相应的机制？若有，请予以说明。这些贡献会得到验证/审核吗？若会，请说明方式；若不会，原因是什么？是否有将这类贡献分享给其他用户的相关流程？若有，请予以说明。答：只要遵守许可协议，用户可以自行扩展数据集并创作衍生作品。EPIC-KITCHENS-100的情况也是如此。不过，目前没有官方机制将用户的贡献整合到数据集的新版本中。问：还有其他要补充的吗？答：没有。