{
  "paper_id": "689a93883b2b90d22f7ebfc00dd0081f",
  "paper_title": "HD-EPIC: A Highly-Detailed Egocentric Video Dataset",
  "paper_authors": [
    "Toby Perrett",
    "Ahmad Darkhalil",
    "Saptarshi Sinha",
    "Omar Emara",
    "Sam Pollard",
    "Kranti Kumar Parida",
    "Kaiting Liu",
    "Prajwal Gatti",
    "Siddhant Bansal",
    "Kevin Flanagan",
    "Jacob Chalk",
    "Zhifan Zhu",
    "Rhodri Guerrier",
    "Fahd Abdelazim",
    "Bin Zhu",
    "Davide Moltisanti",
    "Michael Wray",
    "Hazel Doughty",
    "Dima Damen"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出一个新采集的厨房场景第一视角视频验证集，人工标注了高度详细且相互关联的真值标签，涵盖菜谱步骤、细粒度动作、含营养信息的食材、移动物体和音频标注。所有标注还通过场景、设施与物体位置的数字孪生实现三维落地，并结合注视信息进行预激活。视频来自多样化家庭环境中的无脚本录制，因此 HD-EPIC 是首个在真实野外环境中采集、同时具备可媲美受控实验室环境详细标注的数据集。论文通过包含约 2.6 万个问题的 VQA 基准展示这些标注的潜力，问题评估菜谱、食材、营养、细粒度动作、三维感知、物体运动和注视方向识别能力；长上下文模型 Gemini Pro 仅达到 37.6% 的准确率，表明基准具有挑战性并暴露当前视觉语言模型的不足。此外，论文还在 HD-EPIC 上评估动作识别、声音识别和长期视频物体分割。数据集包含 9 个厨房中的 41 小时视频、413 个厨房设施数字孪生、69 道菜、5.9 万个细粒度动作、5.1 万个音频事件、2 万个物体移动以及 3.7 万个提升至三维的物体掩码，平均每分钟无脚本视频包含 263 项标注。\n",
  "keywords": [
    "第一视角视频",
    "视频数据集",
    "厨房场景",
    "数字孪生",
    "视觉问答",
    "细粒度动作识别",
    "声音识别",
    "视频物体分割",
    "注视预激活",
    "营养标注"
  ],
  "paper_institutions": [
    "University of Bristol",
    "Leiden University",
    "Singapore Management University",
    "University of Bath"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:38.755295Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有大规模第一视角视频数据集标注稀疏、而标注丰富的数据又多来自合成或受控环境、难以检验真实家庭场景综合视频理解能力的问题，本文提出 HD-EPIC。该数据集合采集 9 名参与者在各自厨房中连续至少 3 天的无脚本活动，使用 Project Aria 眼镜获取 30 FPS、1408×1408 RGB 视频、60 FPS 眼动追踪、SLAM、多麦克风音频和相机位姿，共形成 156 段、41.3 小时、446 万帧视频；选择全新录制视频是为了避免被现有模型训练污染，并利用多传感器支持三维、注视和音频的联合验证。数据集围绕 69 道菜构建互联标注，平均每道菜含 6.6 个步骤、8.1 种食材并跨越 2.1 段视频，93.1% 的步骤配有准备阶段标注；参与者称量并记录食材及 MyFitnessPal 营养信息，数据集还包含 59,454 个平均时长 2.0 秒的细粒度动作、16,004 个 how 子句和 11,540 个 why 子句、50,968 个 44 类音频事件、19.9K 条物体移动轨迹、36.9K 个起止边界框、大量手与物体掩码，以及在 Blender 中依据多视频 SLAM 点云构建的 413 个厨房设施数字孪生。其核心三维机制是将 SAM2 初始化并经人工修正的物体掩码结合度量深度提升到三维：对物体周围具有三维对应的像素集合 S，求解 α, β = arg min ||(α\\hat D_S + β) - D_S||²，再用 RANSAC 去除外点，从而把二维掩码对齐到真实深度并连接物体与最近设施；注视信号则用于标记物体在拿起或放置前被视线预激活的时刻。基于这些标注，论文构建 30 个原型、26,650 道五选一多选项 VQA 题，覆盖菜谱、食材、营养、动作、三维感知、物体运动和注视七类能力，负例直接来自数据集中的相似标注而非 LLM 生成，输入长度从单帧到 7 小时以上；结果显示纯语言模型仅约 26.7%，开源视频语言模型为 27.4%–32.4%，最强 Gemini Pro 平均仅 37.6%，而抽样人类基线为 90.3%，且模型在不少于 1 分钟的输入上表现最差。动作识别中经 EPIC-KITCHENS-100 微调的 TIM 最高仅取得约 51% 动词、37% 名词和 24% 动作准确率；声音识别中最佳音视频 TIM 的 Top-1 为 31.9%，明显低于其在 EPIC-Sounds 上的 58.3%；长期 VOS 包含 1,000 个序列，Cutie 总体 J&F 为 48.6，SAM2 为 47.4，二者在物体遮挡、视角和光照变化下仍明显不足。这些结果支持数据集在长时序推理、三维落地、动作细节理解、跨场景音频鲁棒性和遮挡分割上的创新验证价值。后续可探索整体式第一视角感知、多视频菜谱推理、基于注视的动作预测、营养随时间变化推理以及更鲁棒的音视频模型；现实应用包括厨房助手、菜谱与营养追踪、物体轨迹记忆和具身智能，但约束在于目前仅限厨房领域、仅 9 个家庭、标注为验证用途，注视预激活只适用于屏幕内且可计算的位置，离屏取放和早期已握持物体需排除，模型还面临设备与场景迁移问题。\n\n### 关键要点\n\n- HD-EPIC 采集 9 名参与者在真实家庭厨房中连续至少 3 天的无脚本视频，共 156 段、41.3 小时、446 万帧。\n- 采集设备 Project Aria 提供 RGB 相机、两个 SLAM 相机、7 个麦克风、向内注视相机以及 1kHz 六自由度相机轨迹。\n- 数据集标注 69 道菜，平均每道菜含 6.6 个步骤、8.1 种食材，并从准备到上桌平均跨越 2.1 段视频。\n- 论文引入步骤与准备阶段配对标注，93.1% 的步骤具有准备阶段标注，可覆盖取食材、清洗和拿工具等前置活动。\n- 数据集包含 59,454 个细粒度动作片段，平均时长 2.0 秒，并从叙述中解析动词、名词、手、how 和 why 信息。\n- 厨房数字孪生在 Blender 中基于多视频 SLAM 点云构建，共标注 413 个设施，平均每个厨房 45.9 个。\n- 物体掩码先由 SAM2 初始化再人工修正，74% 的掩码经过修正，SAM2 与人工掩码的 IoU 为 0.82。\n- 在可计算预激活的物体中，94.82% 在拿起前平均 3.99 秒被注视，88.46% 在放置前平均 2.62 秒被注视。\n- VQA 基准包含 30 个问题原型和 26,650 道五选一问题，负例来自相似真实标注，问题输入可从单帧延伸至 7 小时以上。\n- Gemini Pro 在 VQA 上平均准确率为 37.6%，虽显著优于其他基线，但与抽样人类基线 90.3% 仍有巨大差距。\n- 声音识别最佳模型在 HD-EPIC 上的 Top-1 为 31.9%，比其在 EPIC-Sounds 上的 58.3% 低约 26.4 个百分点，显示设备和场景迁移挑战。\n- 长期 VOS 基准含 1,000 个序列，Cutie 的总体 J&F 为 48.6，SAM2 为 47.4，物体分割在遮挡、视角和光照变化下仍然困难。"
}