{
  "paper_id": "0fb94721a44e8cce7ed8032b7c4a3004",
  "paper_title": "EPIC-KITCHENS VISOR Benchmark Video Segmentations and Object Relations",
  "paper_authors": [
    "Ahmad Darkhalil",
    "Dandan Shan",
    "Bin Zhu",
    "Jian Ma",
    "Amlan Kar",
    "Richard Higgins",
    "Sanja Fidler",
    "David Fouhey",
    "Dima Damen"
  ],
  "publication_date": "2022",
  "publication_venue": "Advances in Neural Information Processing Systems 35",
  "abstract": "本文提出 VISOR，一个面向第一视角视频中手部与活动物体分割的像素标注数据集和基准套件。VISOR 标注来自 EPIC-KITCHENS 的视频，需要应对物体在交互过程中发生转变时像素标注的短期和长期一致性挑战，例如洋葱被剥皮、切丁并烹饪，同时还要准确标注果皮、洋葱块、砧板、刀、锅以及操作手。VISOR 采用部分由 AI 驱动的标注管线，以兼顾可扩展性与质量。公开发布内容包括 257 个物体类别的 27.2 万个手工语义掩码、990 万个插值稠密掩码、6.7 万个手物关系，覆盖 179 个未裁剪视频共 36 小时，并设立视频物体分割、交互理解和长期推理三项挑战。\n",
  "keywords": [
    "第一视角视频",
    "视频物体分割",
    "语义分割",
    "手物关系",
    "EPIC-KITCHENS",
    "VISOR",
    "稠密掩码",
    "长期推理",
    "基准数据集"
  ],
  "paper_institutions": [
    "英国布里斯托大学",
    "美国密歇根大学",
    "加拿大多伦多大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:20.425906Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对第一视角厨房视频中物体经取放、剥皮、切碎、混合、烹饪等操作而持续转变，现有视频分割数据序列较短、缺少细粒度动作标签或多使用边界框，难以保证像素级短期与长期一致性的问题，论文基于 EPIC-KITCHENS-100 构建 VISOR 数据集与三项基准。选择 EPIC-KITCHENS-100 是因为其视频来自真实家庭厨房、未裁剪且带有丰富动作和名词标签，可检验同一实例在长时序中的转变；论文将视频划分为由 3 个连续非重叠动作组成、平均约 12 秒的子序列，每序列标注 6 帧，以在传统 3 至 5 秒数据基础上增加合理难度并尽量避开模糊帧。标注管线包括识别活动实体与帧、使用 TORAS 的 AI 辅助交互分割并配合人工培训和质检、以及建立手物接触和时空关系；稠密标注的核心机制是在两张人工稀疏帧之间进行前向与后向多掩码传播，按距人工帧的距离加权平均 logits，并剔除超过 5 秒或仅在单端出现的对象（手除外）。分割质量以 Jaccard 指数为核心，$\\mathcal{J}=\\frac{|P\\cap G|}{|P\\cup G|}$，并结合边界 F-measure 形成 $\\mathcal{J}\\&\\mathcal{F}$，过滤阈值设为 85。VISOR 共发布 179 个视频、36 小时、50,729 张稀疏标注图像、271,584 个手工掩码、257 个实体类别、990 万个稠密掩码和约 6.7 万个手物关系。实验中，STM 采用 COCO 预训练后在 VISOR 上按课程扩大采样间隔进行微调，最佳验证集和测试集 $\\mathcal{J}\\&\\mathcal{F}$ 分别为 75.8 和 78.0，未见厨房性能更低；PointRend 增加手侧、接触状态和接触对象偏移头，手部 Mask AP 在验证集和测试集分别为 90.9 和 95.4，但接触对象仅为 30.5 和 33.7；WDTCF 包含 222 个测试样本，证据帧时间定位被证明是最大瓶颈。这些结果支持 VISOR 在长序列物体跟踪、手物交互理解和超长期来源推理上的评测价值。未来可探索剧烈转变建模、小物体与遮挡处理、多帧接触判断、自监督证据定位以及无 oracle 的完整系统，应用场景包括辅助技术、模仿学习、家庭和工业机器人，但数据具有非商业许可、地域与厨房代表性有限、类别长尾、运动模糊和手套遮挡等约束。\n\n### 关键要点\n\n- VISOR 在 EPIC-KITCHENS-100 第一视角视频上标注手部和与动作相关的活动物体，专门捕捉洋葱、土豆、面团等对象在连续操作中的形态转变。\n- 数据集包含 179 个未裁剪视频、约 36 小时画面、50,729 张稀疏标注图像、271,584 个手工语义掩码和 257 个实体类别。\n- 稠密标注通过 STM 前向与后向传播生成，按距离加权融合 logits，并保留 $\\mathcal{J}\\&\\mathcal{F}$ 高于 85 的插值，最终发布 990 万个稠密掩码。\n- 子序列由 3 个连续非重叠动作构成，平均长度约 12 秒；多数视频采用可变帧率，每序列标注 6 帧，并通过拉普拉斯滤波降低运动模糊。\n- 实体候选来自旁白名词、相邻动作片段、常见工具列表和人工补充，像素标注使用 TORAS AI 辅助工具，每个视频由一名标注员负责以增强时序一致性。\n- 手物关系标注每只手的左右侧、是否接触及接触的掩码；戴在手上的手套按手处理，无法达成共识或“以上皆非”的样本在训练和评估中忽略。\n- 半监督 VOS 任务要求根据首帧掩码在后续帧中分割目标，STM 最佳模型在验证集和测试集上的 $\\mathcal{J}\\&\\mathcal{F}$ 分别为 75.8 和 78.0，未见厨房泛化更差。\n- HOS 任务使用 COCO Mask AP 评估，PointRend 基线手部分割较准，但接触对象和全部活动对象更难，验证集 AP 分别为 30.5 和 24.1。\n- WDTCF 任务包含 222 个样本和 15 类来源容器，查询帧与证据帧平均相隔 5.4 分钟；随机来源猜测准确率为 24.8%，给定证据帧后性能显著提升，说明时间定位是核心难点。\n- 主要限制包括目标遮挡、微小物体、运动模糊、剧烈形变、物体类别长尾、来源容器偏差以及数据不能代表全球所有厨房活动，且 VISOR 仅限非商业研究使用。"
}