{
  "paper_id": "689a93883b2b90d22f7ebfc00dd0081f",
  "paper_title": "HD-EPIC: A Highly-Detailed Egocentric Video Dataset",
  "paper_authors": [
    "Toby Perrett",
    "Ahmad Darkhalil",
    "Saptarshi Sinha",
    "Omar Emara",
    "Sam Pollard",
    "Kranti Kumar Parida",
    "Kaiting Liu",
    "Prajwal Gatti",
    "Siddhant Bansal",
    "Kevin Flanagan",
    "Jacob Chalk",
    "Zhifan Zhu",
    "Rhodri Guerrier",
    "Fahd Abdelazim",
    "Bin Zhu",
    "Davide Moltisanti",
    "Michael Wray",
    "Hazel Doughty",
    "Dima Damen"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出一个新采集的厨房场景第一视角视频验证集，人工标注了高度详细且相互关联的真值标签，涵盖菜谱步骤、细粒度动作、含营养信息的食材、移动物体和音频标注。所有标注还通过场景、设施与物体位置的数字孪生实现三维落地，并结合注视信息进行预激活。视频来自多样化家庭环境中的无脚本录制，因此 HD-EPIC 是首个在真实野外环境中采集、同时具备可媲美受控实验室环境详细标注的数据集。论文通过包含约 2.6 万个问题的 VQA 基准展示这些标注的潜力，问题评估菜谱、食材、营养、细粒度动作、三维感知、物体运动和注视方向识别能力；长上下文模型 Gemini Pro 仅达到 37.6% 的准确率，表明基准具有挑战性并暴露当前视觉语言模型的不足。此外，论文还在 HD-EPIC 上评估动作识别、声音识别和长期视频物体分割。数据集包含 9 个厨房中的 41 小时视频、413 个厨房设施数字孪生、69 道菜、5.9 万个细粒度动作、5.1 万个音频事件、2 万个物体移动以及 3.7 万个提升至三维的物体掩码，平均每分钟无脚本视频包含 263 项标注。\n",
  "keywords": [
    "第一视角视频",
    "视频数据集",
    "厨房场景",
    "数字孪生",
    "视觉问答",
    "细粒度动作识别",
    "声音识别",
    "视频物体分割",
    "注视预激活",
    "营养标注"
  ],
  "paper_institutions": [
    "University of Bristol",
    "Leiden University",
    "Singapore Management University",
    "University of Bath"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:38.755295Z",
  "template_tag": "deep_read",
  "summary": "# HD-EPIC: A Highly-Detailed Egocentric Video Dataset\n\n\n**作者 / Authors:** Toby Perrett, Ahmad Darkhalil, Saptarshi Sinha, Omar Emara, Sam Pollard, Kranti Kumar Parida, Kaiting Liu, Prajwal Gatti, Siddhant Bansal, Kevin Flanagan, Jacob Chalk, Zhifan Zhu, Rhodri Guerrier, Fahd Abdelazim, Bin Zhu, Davide Moltisanti, Michael Wray, Hazel Doughty, Dima Damen\n\n\n**单位 / Institutions:** University of Bristol, Leiden University, Singapore Management University, University of Bath\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档包含正文、图1–14、表1–4和参考文献；补充材料B/C/D被多次引用但未随文档提供；数据集与标注通过DOI和项目页给出，本次未访问核验；未给出代码仓库细节。出版日期与venue在文档中未注明，待外部核验。\n\n原型判断：paper_archetype=other（数据集/基准论文）。理由：核心贡献是新采集的多日无脚本第一视角厨房视频、密集互联标注和VQA/识别/VOS基准，而非提出单一新算法或系统架构；按数据集论文评估其覆盖度、标注协议、基准难度与偏差更合适。\n\n影响解读的材料缺口：补充材料中的转写/边界/聚类、数字孪生、VQA原型与划分细节缺失；正文未完整给出训练/验证/测试划分、标注者一致性和人类基线样本量；因此涉及质量控制、zero-shot严格性和复现实验的结论需标记为待核验。\n\n\n\n\n\n### 问题\n\n问题：第一视角视频理解需要同时处理显著相机运动、遮挡、手物交互和长时程活动；现有数据集难以同时提供真实无脚本家庭场景与密集、互联、3D grounded 的标注。\n\n为何重要：若只有大规模但稀疏标注，适合训练却难以细粒度验证模型是否理解食谱步骤、食材/营养、动作方式与原因、物体在3D中的移动和注视先验；若只有受控实验室或合成数据，标注虽密但真实性和泛化验证受限。\n\n现有方法主要短板：大型第一视角数据集（如Ego4D、EPIC-KITCHENS-100）规模大但缺少食谱/营养、3D物体随时间、带标签3D环境等联合标注；受控或数字孪生数据集（如Aria Digital Twin）标注密但多为脚本化/受控环境，且覆盖时长小。HD-EPIC 的目标是填补“in-the-wild 采集 + 实验室级密集标注”的空白，并用统一视频上的多任务基准检验模型。形式化目标可写为构建 D={V,A3D,G,R,N,S}，其中视频V、3D场景/物体轨迹A3D、注视G、食谱R、营养N和细粒度动作/音频S相互关联，并由此采样VQA与识别基准；但论文主要贡献是数据与评测，不是优化单一目标函数。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概述：HD-EPIC 用多日、无脚本的家庭厨房第一视角录制，配合3D数字孪生和 gaze priming，构建了高密度互联标注的数据集，并据此提出26K规模VQA及动作/声音/长时VOS基准。\n\n核心思路与相对 prior work 的贡献：作者声称这是首个在真实家庭中“in-the-wild”采集、但标注详细程度可匹配受控实验室的第一视角数据集。具体贡献包括：（i）41.3小时、9个厨房、156段视频，数字孪生覆盖413个厨房 fixture；（ii）食谱步骤与 prep 配对、食材称重/添加与营养变化、59,454个细粒度动作及 how/why 子句、50,968个音频事件、19.9K物体运动轨迹与36.9K框、37K物体 mask lifted to 3D、7.7M手部 mask；（iii）将动作与 fixture、3D物体位置和注视关联，标注 pick-up/put-down priming；（iv）30个VQA原型、26,650个5-way选择题，覆盖食谱、食材、营养、动作、3D、物体运动、注视七类，并有动作识别、声音识别、长时VOS基准。平均263个标注/分钟。\n\n最重要结果与条件：作者主张该基准对当前模型很难。文档支持：在VQA上，Gemini Pro平均37.6%，样本人类基线90.3%，语言盲基线Llama 3.2/Gemini Pro约26.5–26.7%，开源视频VLM约27.4–32.4%；这些是特定模型、特定输入长度与5-way设置下的结果。动作识别使用EPIC-KITCHENS-100 checkpoint，最佳TIM(A+V)仅51.3 verb/36.1 noun/23.4 action；声音识别相对EPIC-Sounds SOTA下降约25.9–28.4点；长时VOS中Cutie/SAM2物体J&F为34.6/27.0，手部为77.2/89.1。supported scope：以上说明这些模型在HD-EPIC上表现弱，但不能直接推出所有VLM或所有训练条件都失败；zero-shot严格性、数据划分、标注一致性和补充材料中的细节仍需核验。\n\n优先阅读：Sec.3数据采集与设备；Sec.4.1 prep-step与营养标注；Sec.4.3数字孪生、mask-to-3D与priming；Sec.5.1 VQA构建与失败分析；表1–4、图9–12。下一轮应追问：标注者间一致性/质控；VQA负样本是否泄露答案或依赖外部知识；train/val/test与“zero-shot”定义；3D lifting和fixture关联误差；priming排除规则；人类基线样本量与统计显著性。\n\n过渡：下一轮将围绕这些证据链，重点核查标注可靠性、基准有效性和复现所需细节。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n该论文不是提出单一网络，而是构建“采集—标注—基准”流水线。输入：9名参与者在自家厨房连续≥3天的Aria RGB/眼动/SLAM录制、参与者提供的食谱/修改/MyFitnessPal营养记录、回看后的口述narration；输出：带时间、3D和gaze关联的HD-EPIC数据文件，以及26,650道5-way VQA和动作/声音/长时VOS基准。\n关键步骤：\n\n1) 采集与后处理：30 FPS 1408×1408 RGB、60 FPS眼动、30 FPS SLAM；用Aria MPS得到每厨房多日点云、1 kHz 6DoF轨迹和gaze方向（Sec.3）。\n2) 食谱/营养标注：把每个step与其prep配对（prep=为执行该step而做的必要准备），标注称重和adding时间段，按加入顺序累计菜品营养（Sec.4.1，图4/6）。\n3) 动作与声音：转写并人工校正narration，标动作起止，解析verb/noun/hand及how/why子句，聚类成类；按EPIC-Sounds协议标44类声音事件（Sec.4.2）。\n4) 数字孪生与场景关联：在Blender中基于多日SLAM点云手工建fixture/storage/appliance并标号；用动作前1s内累计gaze交集最大的fixture关联open/close等场景动作（Sec.4.3，图7）。\n5) 物体、手与3D：标手部mask（7.7M，其中11K人工）；标每次物体运动的起止和起止2D框（19.9K tracks/36.9K boxes）；用SAM2初始化并人工修正mask；把mask lift到3D。\n6) mask-to-3D的核心式：α,β = argmin_{α,β} ‖(α Dhat_S + β) − D_S‖²。其中S是物体内/周围具有3D对应的像素集合，Dhat_S是Depth Anything类单目深度估计，D_S是MPS给出的已有深度；α、β是尺度与偏移，用来把相对深度校准到度量深度；随后用RANSAC剔除outlier。动机是单目深度只有相对尺度，而数字孪生和物体3D位置需要米制坐标。例：杯子从台面移到水槽，两个框各自取mask和S，校准后得到两个3D位置，再关联最近fixture。该式是论文给出的；RANSAC阈值和失败率未在正文报告。\n7) 物体轨迹与priming：把连续运动接成object itinerary；对每个可prime的取/放，找gaze落在物体3D位置（取）或未来放置位置（放）的时间，得到pick-up/put-down priming；排除off-screen和拿起前已被持续操作的物体（Sec.4.3，图8/9）。\n8) VQA构造：为7类标注定义30个question prototype，每题5-way；正确答案和强负样本都从同一套标注中采样（例如同一动作的不同how答案），不用LLM生成负样本；输入长度从单帧到7+小时（Sec.5.1，图10）。\n必要模块：Aria MPS、Blender、SAM2、Depth Anything、narration工具、MyFitnessPal和人工标注/校正；没有统一训练模型，因此无训练loss或推理架构可复现。\n\n\n\n\n\n### 评测设置\n\n数据规模：41.3h/4.46M帧/156视频/9厨房/9参与者；69食谱、558食材、59,454动作段、50,968声音事件（44类）、19.9K物体运动track/36.9K框、7.7M手mask、413 fixture；平均263标注/分钟（Sec.3/4，表1）。\nVQA：26,650题，30原型×7类，5-way；类别为Recipe/Ingredient/Nutrition/Action/3D/Motion/Gaze；难负样本来自同数据集；评测模型：Llama 3.2 90B（blind text）、Gemini Pro（blind和video）、VideoLlama2 7B、LongVA、LLaVA-Video；另有人类抽样基线90.3%。指标为% Acc.，按类平均。输入长度单帧至7+h（图10/12）。\nAction recognition：用EPIC-KITCHENS-100公开checkpoint的SlowFast、Omnivore、MotionFormer-HR、VideoMAE-L、TIM（A+V和V）；指标verb/noun/action % Acc.；给出chance和EPIC-100参考行（表3）。未在HD-EPIC上训练。\nSound：SSAST、TIM、ASF，均在EPIC-Sounds训练；指标Top-1/Top-5/mCA/mAP/mAUC；44类，chance见表4。\nLong-term VOS：1000序列，每序列1–5物体+2手mask；模型Cutie、SAM2和static baseline；指标J、F、J&F（图14）。\n缺失与公平性：正文未给train/val/test划分、“zero-shot”的严格定义、标注者间一致性、人类基线样本量、显著性检验和计算预算；Supp.B/C/D未随材料提供。动作/声音模型是跨数据集迁移（EPIC→HD-EPIC），性能下降混合了域偏移与任务难度；VQA模型上下文长度/帧采样不同，闭源Gemini与开源模型不完全同条件。表1列名“Val&Test Hours”对HD-EPIC写41.3（与总时长同），是否为val/test口径待核验。\n\n\n\n\n\n### 结果与证据\n\n作者主张：HD-EPIC对当前模型很难，且密集标注能支撑多维诊断。证据如下（均为特定模型/输入/5-way设置）：\n\n- VQA（表2、图11）：Gemini Pro video平均37.6%；blind Gemini Pro 26.7%、Llama 3.2 26.5%；开源视频VLM 27.4–32.4%；人类抽样90.3%。分类：Recipe 60.5、Ingredient 46.2、Nutrition 34.7、Action 39.6、3D 32.5、Motion 20.8、Gaze 28.7。语言盲基线仅比随机高约6.7个百分点（随机20%），说明多数题不能靠语言先验；但Motion/Gaze仍低，且模型间强弱不同（图11）。\n- 动作识别（表3）：EPIC-100 checkpoint的TIM(A+V)在HD-EPIC为51.3 verb/36.1 noun/23.4 action，而同表EPIC-100参考为77.1/67.2/57.5；其他模型更低。支持跨厨房/设备域偏移显著，但不能分离“域偏移”与“标注更难”。\n- 声音（表4）：相对EPIC-Sounds SOTA，SSAST/ASF/TIM分别下降约28.4/25.9/26.4点；TIM(A+V) Top-1 31.9 vs 58.3。支持音频模型对新场景/设备不鲁棒。\n- 长时VOS（图14）：Cutie物体J&F 34.6、手77.2；SAM2物体27.0、手89.1；static物体6.6、手14.5。支持物体分割在遮挡/视角/光照变化下仍难，且“手”与“物体”结论相反，说明不能用一个总分概括。\n边界：这些是benchmark结果而非方法消融；没有报告各标注组件的增益、标注一致性、统计显著性、VQA负样本泄露检查、严格zero-shot划分。因而“当前VLM普遍失败”只能限定在所用模型和协议；“标注可靠”仍待补充材料与质控数据核验。\n\n\n\n\n\n### 相关工作\n\n最接近的工作与差异（表1、Sec.2、Sec.4.4；以下prior work属性均为论文自报，未独立核验）：\n\n- EPIC-KITCHENS-100：同厨房第一视角、无脚本，25.3小时val/test（口径见表1），有动作/音频/物体/手部mask、相机pose，但无食谱、营养、gaze、labelled 3D environment。HD-EPIC增加食谱/prep-step、称重与营养、gaze priming、数字孪生和3D物体随时间，但规模小得多、参与者和厨房少。\n- Ego4D：288.7小时val/test，规模与场景多样性远高，但标注稀疏；表1无食谱/营养/gaze/audio/3D物体随时间/labelled 3D env。HD-EPIC用密度而非规模换验证能力。\n- Aria Digital Twin：8.1小时、受控/脚本化，含gaze、mask、3D物体随时间、labelled 3D env和相机pose；HD-EPIC约5倍footage（Sec.4.4），且在真实家庭无脚本采集，但数字孪生和3D标注的精度/覆盖需核验。\n- Ego-Exo4D：85.1小时，含食谱、gaze、物体/手mask、3D手姿态，但表1无3D物体随时间、labelled 3D env；HD-EPIC在单一厨房场景中把动作-物体-fixture-3D-gaze连成同一套标注。\n- Assembly101/HoloAssist：规模较大但脚本化/受控，缺少食谱、营养、gaze等联合标注。\n成本与代价：需要9名参与者、9个厨房、3天以上连续录制；人工数字孪生（每厨房平均45.9个fixture）；263个标注/分钟；7.7M手部mask、36.9K物体框、19.9K运动track，mask需人工修正74%；VQA只抽样26,650题（估计上限100K）。因此它更像验证集/诊断基准，不是大规模训练集；跨厨房泛化和标注质量控制是主要成本。\n\n\n\n\n\n### 关键图表解读\n\n最值得看的5个图表（按证据链排序）：\n\n1) 表1：数据集比较。展示HD-EPIC与EPIC-100、Ego4D、Aria Digital Twin等在同一组属性上的组合差异，支持“in-the-wild采集+实验室级密集标注+3D/gaze/recipe/nutrition联合标注”的定位；限制是属性为作者自报，且“Val&Test Hours”对HD-EPIC写41.3与正文总时长同，比较口径需核验。\n2) 图9：gaze priming统计。支持可prime对象中94.8%在拿起前平均4.0s被注视、88.5%在放下前2.6s被注视；这是“gaze与物体运动互联”这一创新的直接证据。限制是“feasible/Filtered”的排除规则、样本量和统计显著性未在正文给出。\n3) 图10：30个VQA原型与输入长度分布。支持题目覆盖Recipe/Ingredient/Nutrition/Action/3D/Motion/Gaze七类，且输入从单帧到7+小时，说明基准不是只考短片段；限制是原型采样细节在Supp.D，未随材料提供。\n4) 表2（配合图11）：VQA主结果。支持Gemini Pro video 37.6%远低于人类90.3%，blind模型约26.5–26.7%，开源视频VLM约27.4–32.4%；类别和原型间差异大。限制是5-way设置、不同模型的输入长度/帧采样不同，人类基线样本量未报告。\n5) 表3：动作识别。支持TIM(A+V)在HD-EPIC仅51.3/36.1/23.4（verb/noun/action），远低于同模型EPIC-100的77.1/67.2/57.5；这是“跨厨房/设备挑战”的关键量化证据。限制是所有模型用EPIC-100 checkpoint，性能差混合了域偏移、任务难度和未在HD-EPIC训练。\n过渡：这些证据把问题从“数据集是否大”推进到“标注与评测是否可靠”；下一轮应重点核查标注质控、VQA负样本和划分严格性。\n\n\n\n\n\n### 术语表\n\n术语表（按创新相关性排序）：\n\n- Egocentric video（第一视角视频）：相机随佩戴者头部运动，画面含显著自运动、手物遮挡和物体出画；本数据集的输入模态。\n- In-the-wild（真实无脚本）：在参与者自家厨房自然活动，不按脚本摆拍；与受控实验室相对。\n- Digital twin（数字孪生）：由多日SLAM点云在Blender中重建并人工标注fixture的3D厨房副本；用于把2D动作/物体/gaze落到3D坐标。\n- Fixture（固定设施）：水槽、台面、抽屉、柜门、冰箱等可交互固定物；平均每厨房45.9个，共413个。\n- Prep-step pair（准备-步骤对）：prep是为执行某step而做的必要准备（取食材、洗、拿刀/砧板），step是目标操作；93.1% step有配对prep。\n- Dense narration / what-how-why：参与者回看视频口述动作；除what外还标how（方式）和why（原因）子句，分别16,004/11,540条。\n- Action segment/boundary：带起止时间的原子动作段；59,454段，平均2.0s。\n- Hierarchical verb/noun clusters：把开放vocabulary的动词/名词聚成层级类别，用于封闭词表识别；图5显示长尾。\n- Audio event annotation：带起止和类名的声音事件（click/rustle等），44类、50,968条。\n- Hand mask：像素级手部mask；7.7M张，11K人工标注，其余自动+校正。\n- Object movement track：物体从被移动到放稳的时间段，含起止2D框；19.9K条、36.9K框，平均9.0s。\n- Object mask：物体像素mask；由SAM2初始化后人工修正74%，与人工mask的IoU为0.82。\n- Mask-to-3D lifting：用深度校准把2D mask抬到3D位置/框；核心式见module_c3。\n- 3D object motion：物体在数字孪生中的3D位移；平均61.4cm，27.6%≤10cm，7.6%≥2m。\n- Object-scene interaction：把物体3D位置关联到最近fixture，并按fixture类型加几何约束；人工核验。\n- Gaze priming（注视启动）：在拿起前gaze先落到物体位置（pick-up），或在放下前先落到未来位置（put-down）；可prime对象中94.8%拿起前平均4.0s被注视，88.5%放下前2.6s。\n- Object itinerary / long-term object tracking：把多次运动接成物体在长视频中的行程，用于multi-hop/multi-video题。\n- VQA prototype：一类题目的模板，定义如何从标注采样问题、正确答案和负样本；共30个。\n- Hard negative：从同数据集同分布采样的困难错误选项，不是随机词或LLM生成；用于5-way题。\n- 5-way multiple choice：五选一，随机准确率20%。\n- Blind language-only baseline：不给视频、只给文本的LLM基线，用于检验题目能否靠语言先验/外部知识答对。\n- VLM：视频/视觉语言模型；本文用VideoLlama2、LongVA、LLaVA-Video、Gemini Pro。\n- Long-term VOS：长时视频物体分割；本文1000序列，评J（Jaccard）、F（contour accuracy）、J&F。\n- mCA/mAP/mAUC：声音识别的类平均准确率/平均精度/平均AUC；表4。\n- Zero-shot benchmark：作者称HD-EPIC为新采集、未被训练用过的验证集；严格性取决于划分和模型训练数据核验，正文未给完整定义。\n\n\n\n\n\n### 全部图表索引\n\n以下为随文提供的图/表索引；位置按章节/题注定位，页码未稳定给出。图中细字和数值未逐项OCR核验。\n\n- 图1：Annotation Highlights；Sec.1开头；展示多日无脚本录制、食谱/营养、动作narration、音频、物体/手mask、3D轨迹和gaze priming的总览，支持“多层互联标注”主张。\n- 图2：Diversity in HD-EPIC；Sec.3；展示3天、多厨房的物体/活动/食谱多样性，支持in-the-wild多样性。\n- 图3：Recipe modification；Sec.3；展示食谱步骤/食材修改，支持食谱标注。\n- 图4：Carbonara的prep-step时间段与样例帧；Sec.4.1；支持prep与step交错、细粒度时间标注。\n- 图5：verb/noun cluster频率（对数轴）；Sec.4.2；支持动作/物体长尾与层级聚类。\n- 图6：Banana Bread Chocolate Chip Cookies营养随加料变化；Sec.4.1；支持称重/加料/营养累计标注。\n- 图7：Digital twin点云→表面→标号fixture；Sec.4.3；支持数字孪生和物体-fixture关联。\n- 图8：Gaze priming示例（milk bottle/glass）；Sec.4.3；支持gaze在取/放前注视物体或未来位置。\n- 图9：Priming统计与时间差直方图；Sec.4.3；支持94.8%/88.5%等priming统计；解释见module_d。\n- 图10：30个VQA question prototype及输入长度分布；Sec.5.1；支持7类题和单帧至7+h输入；详见module_d。\n- 图11：各VQA prototype的模型结果；Sec.5.1；支持类别/原型间强弱差异；与表2配合。\n- 图12：输入长度对VQA的影响；Sec.5.1；支持模型在各长度都弱、≥1分钟更差。\n- 图13：VQA定性结果与失败例；Sec.5.1；支持recipe/ingredient/action/3D/motion/gaze的失败模式；细字可读性有限。\n- 图14：Long-term VOS的J/F/J&F；Sec.5.3；支持Cutie/SAM2在物体与手部上的差异；详见module_c5。\n- 表1：Egocentric数据集比较；Sec.2/4.4；支持HD-EPIC在recipe/nutrition/gaze/audio/object/hand/3D object/labelled 3D env/camera pose/fully annotated上的组合优势；比较口径需核验。\n- 表2：VQA per-category结果；Sec.5.1；支持Gemini Pro 37.6 vs human 90.3等；条件为5-way。\n- 表3：Action recognition结果；Sec.5.2；支持TIM(A+V) 51.3/36.1/23.4与EPIC-100参考差距。\n- 表4：Sound recognition结果；Sec.5.2；支持相对EPIC-Sounds约25.9–28.4点下降。\n缺失：Supp.A1（完整数据集表）、Supp.B（narration/SLAM/gaze细节）、Supp.C（标注流程/质控/3D细节）、Supp.D（VQA/VOS细节）均被引用但未随材料提供；图/表中的小字和补充统计未能核验。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（作者自报，有正文/表图定位）：\n\n- 数据与标注规模可直接核对：41.3h、4.46M帧、156视频、9厨房/9参与者；59,454动作段、50,968声音事件（44类）、19.9K物体运动track/36.9K框、7.7M手mask、413 fixture、263标注/分钟（Sec.3–4，表1）。这些数字内部一致，但仍是作者统计。\n- 特定设置下的基准测量可信：Gemini Pro video VQA平均37.6%、人类抽样90.3%、语言盲26.5–26.7%、开源视频VLM 27.4–32.4%（表2、图11）；TIM(A+V)动作识别51.3/36.1/23.4 verb/noun/action（表3）；声音相对EPIC-Sounds约降25.9–28.4点（表4）；Cutie/SAM2物体J&F 34.6/27.0、手77.2/89.1（图14）。这些说明“所用模型在该协议下表现弱”，不能推出所有VLM/所有训练条件都失败。\n- 新标注的结构性事实较可信：93.1% step有prep配对；可prime对象中94.8%拿起前平均4.0s被注视、88.5%放下前2.6s（Sec.4.1/4.3，图9）。但“可prime/Filtered”的排除规则和样本量未在正文完整给出。\n\n支持不足或待核验的主张：\n\n- “首个in-the-wild但达到受控实验室级标注”依赖表1的自报属性比较；表1中HD-EPIC的“Val&Test Hours”写41.3，与正文总时长相同，口径待核验；完整表A1缺失。\n- “true zero-shot benchmark”（Sec.4.4）缺少train/val/test划分、模型预训练数据审计和“zero-shot”严格定义；只能视为作者设计目标。\n- 标注可靠性：未报告标注者间一致性、动作边界容差、fixture关联错误率、priming人工复核一致率；物体mask的IoU 0.82是SAM2与人工mask之间，不是标注真值精度。\n- VQA效度：负样本从同一标注采样，未报告答案唯一性/近邻泄露检查；语言盲基线仅高于随机6.7点，但Recipe/Ingredient上Gemini可受益于外部知识，说明“不能靠外部知识解决”的表述需限定。\n- 动作/声音下降混合了域偏移、任务难度和未在HD-EPIC训练；不能分离各因素。\n- 3D lifting式 α,β=argmin‖(αD̂_S+β)−D_S‖² 只给出形式，RANSAC阈值、失败率、深度校准误差未报告。\n\n关键假设、失效场景与后果：\n\n- 假设9个厨房/9名参与者足以代表“in-the-wild”家庭厨房；若厨房布局、设备、饮食习惯偏差大，跨厨房结论外推有限。\n- 假设Aria MPS的SLAM/gaze在多日厨房中足够准；gaze漂移会使priming统计和Gaze VQA失效，尤其put-down可行样本仅33.08%（表/图9），小样本会放大误差。\n- 假设数字孪生fixture完备且物体-fixture关联正确；若相似柜子/台面混淆，3D/运动题和fixture交互题会被错误标注。\n- 假设mask-to-3D校准在遮挡和反光台面下稳定；若单目深度失败，物体3D位置和itinerary会连锁错误。\n- 假设5-way负样本不泄露答案；若负样本与正确项共享近邻线索，准确率会被高估，blind基线也会被抬高。\n\n复现计划（核心创新优先）：\n所需工件：DOI发布的视频/音频/gaze/相机pose/Blender数字孪生；项目页的物体运动、mask、3D位置、长时track、object-action-fixture标签；Supp.B/C/D中的narration/SLAM、质控、VQA/VOS细节。缺失则标记blocker，不自行补参。\n核心验证1—标注质控：分层抽取动作段、prep-step、fixture关联、priming、物体3D位置，双人盲标；报告时间边界误差、κ、IoU、关联准确率、priming P/R；对1s gaze窗口和off-screen/已操作排除规则做敏感性分析。成功标准：关键标注一致性达到可复现基准的水平，且修正后主要统计不翻转。\n核心验证2—mask-to-3D：按论文式对每个track的S像素做最小二乘求α,β，再用RANSAC剔除外点，将mask抬到3D并关联最近fixture；用留出的人工3D对应点评估中位3D误差、失败率和fixture关联错误。RANSAC阈值、S定义和失败判定需作者补充。\n核心验证3—VQA效度与复现：取得30个prototype的采样代码/定义，检查答案唯一性、负样本近邻泄露、blind与外部知识控制；按报告模型和输入长度重跑，记录帧采样、prompt、上下文长度。成功标准：blind接近20%、人类远高、复现曲线落在报告区间；否则降级为“有潜力的诊断集”。\n核心验证4—跨厨房泛化：按厨房留一划分，比较EPIC/Ego4D预训练与HD-EPIC微调在动作/声音/VOS上的迁移；报告置信区间和显著性。\n伪代码（3D lifting核心）：\nfor each object track:\n  S = pixels in/around mask with MPS 3D correspondences\n  solve (α,β)=argmin ||(α*Dhat_S+β)-D_S||^2\n  RANSAC outliers\n  transform mask/depth to 3D\n  associate nearest fixture with fixture-specific heuristics\n成功标准需预先注册；论文未给超参数，复现时须把阈值、划分和采样策略作为待确认项，而不是臆造。\n\n\n\n\n\n### 应用约束\n\n实际约束：\n\n- 数据与获取：视频、音频、gaze、Blender数字孪生和相机pose通过DOI发布，标注通过项目页发布（Sec.6）；但Supp.B/C/D未随文档提供，VQA prototype采样、划分、质控和部分3D细节需另行获取。9个家庭厨房、9名参与者，隐私与再分发条件需按发布许可核验。\n- 计算与成本：41.3h/4.46M帧，VQA输入从单帧到7+小时；评测26,650道5-way题，长视频解码和长上下文VLM推理成本高。论文使用Gemini Pro等闭源模型，未报告推理预算、帧采样和延迟。\n- 标注成本：平均263标注/分钟；数字孪生需在Blender中人工建413个fixture；物体mask由SAM2初始化后74%需人工修正；手mask仅11K/7.7M为人工标注。说明其定位是验证/诊断集，不是低成本大规模训练集。\n- 鲁棒性与适用性：已展示的跨厨房/设备性能下降（动作TIM 51.3/36.1/23.4，声音约降26–28点，物体VOS J&F 34.6/27.0）支持域偏移显著；但只有9个厨房，不能推断所有家庭环境。gaze priming依赖Aria眼动校准和MPS SLAM，未报告失败率。\n- demonstrated vs inferred：论文展示的是离线benchmark结果；实时机器人/助手部署、在线长视频理解、跨设备泛化均未展示，只能作为推断。\n\n\n\n\n\n### 探索问题\n\n后续最值得追问的3个问题：\n\n1) 标注可靠性到底多高？验证：对动作边界、prep-step配对、fixture关联、priming和物体3D位置分层抽样，做双人重标与盲复核；报告边界时间误差、Cohen κ、mask IoU、fixture关联准确率、priming precision/recall，并对1s gaze窗口和排除规则做敏感性分析。收益：直接决定“高密度标注可支撑诊断”是否成立；风险：若priming或fixture关联一致性低，依赖这些标注的VQA类别和3D结论会被削弱。\n2) VQA是否真正zero-shot且不依赖语言/外部知识？验证：公开train/val/test与模型训练数据审计；对每个prototype做答案唯一性、负样本近邻泄露、blind与external-knowledge控制、改写鲁棒性测试；报告人类基线样本量与置信区间。收益：确认26,650题衡量的是视频理解而非先验；风险：若负样本与正确答案共享线索，或Gemini的Recipe/Ingredient优势来自外部知识，基准效度会下降。\n3) 密集标注除评测外能否用于训练/迁移？验证：在HD-EPIC训练划分上微调小型VLM、动作/声音模型和VOS模型，按厨房留一交叉验证，比较EPIC/Ego4D预训练与HD-EPIC微调后的跨厨房泛化。收益：判断数据集是仅验证集还是可训练资源；风险：9厨房、41.3h规模可能导致过拟合，且训练集划分与许可尚未明确。\n\n\n\n\n\n### 引用与核验\n\n引用与核验说明：本文核查仅基于随文正文、表图和参考文献列表；未访问DOI、项目页、补充材料或原论文，因此不声称逐条核验。\n\n- 支撑新颖性的关键引用：表1的对比依赖EPIC-KITCHENS-100 [^18]、Ego4D [^28]、Aria Digital Twin [^50]、Ego-Exo4D [^29]、Assembly101 [^68]、HoloAssist [^80]、HOI4D [^46]等。论文的“首个/最全面”主张主要由表1自报属性和Sec.2/4.4支撑；这些数据集的属性、时长口径和“fully annotated”定义未独立核对，且HD-EPIC的Val&Test Hours=41.3与总时长相同，存在口径疑问。\n- 最强比较数字：动作识别EPIC-100 SOTA TIM 77.1/67.2/57.5和HD-EPIC 51.3/36.1/23.4来自表3，原始TIM [^9]与EPIC-100 [^18]未核对；声音EPIC-Sounds TIM 58.3/86.0等来自表4与[^9][^31]，未核对原论文；VOS的Cutie [^12]/SAM2 [^64]数字来自图14，未核对原实现版本。所有比较均为跨数据集迁移，不是同条件训练。\n- VQA模型引用：Llama 3.2 [^21]、Gemini Pro [^75]、VideoLlama 2 [^13]、LongVA [^89]、LLaVA-Video [^90]；主文未给模型版本、帧采样、prompt和上下文配置，Supp.D缺失，无法确认公平性。人类基线90.3%无样本量/抽样协议说明。\n- 复现依赖：Aria MPS [^1]、Blender [^2]、SAM2 [^64]、Depth Anything [^85]、MyFitnessPal [^3]、narration工具 [^28]；这些外部服务/软件版本可能影响复现。数据集DOI和项目页在Sec.6给出，但本次未访问。\n- 其余引用按组简略处理：视频基准[8,10,15,23,25,35,42–44,49,58,78,92]、第一视角数据集[^7] [^18] [^28] [^29] [^46] [^47] [^50] [^68] [^74] [^80]、方法组件[^9] [^12] [^24] [^26] [^27] [^34] [^51] [^64] [^76] [^85]未逐条核查。出版日期与venue在文档中未注明，待外部核验。\n\n\n\n\n\n### 最终判断\n\n总体判断：HD-EPIC应被信任为“高密度、多模态、3D/gaze互联的第一视角厨房验证集”，其数据规模和特定模型下的基准数字有正文与表图支撑；但“true zero-shot benchmark”“标注可靠”“当前VLM普遍失败”等强主张仍受限于缺失的划分、质控、负样本审计和补充材料。最稳妥的用法是把它当作诊断长时视频、3D/物体运动、gaze和跨域动作/声音的评测集，而不是直接当作训练集或已校准的零样本排行榜。下一步应先取得Supp.B/C/D并完成标注一致性与VQA泄露审计，再决定是否将其作为主基准。"
}