{
  "paper_id": "42f1099d6716ccb65fe7a82f6c4b8983",
  "paper_title": "EPFL-Smart-Kitchen-30: Densely annotated cooking dataset with 3D kinematics to challenge video and language models",
  "paper_authors": [
    "Andy Bonnetto",
    "Haozhe Qi",
    "Franklin Leong",
    "Matea Tashkovska",
    "Mahdi Rad",
    "Solaiman Shokur",
    "Friedhelm Hummel",
    "Silvestro Micera",
    "Marc Pollefeys",
    "Alexander Mathis"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "针对现有行为数据集在全身三维姿态、精细手部运动、眼动追踪、多视角视频与层级动作标注之间相互割裂的问题，论文提出 EPFL-Smart-Kitchen-30。该数据集在功能完备的厨房中利用9台固定 RGB-D 相机、8个 IMU 传感器和1台 HoloLens 2 头显，同步采集第一/第三人称 RGB、深度、IMU、视线、身体与手部三维运动学。16名受试者完成49次烹饪会话，制作4种菜谱，累计29.7小时。作者定义33个动词和79个名词，构成763个细粒度动作，并标注6类粗粒度活动，平均每分钟33.78个动作片段。基于该数据，论文构建视觉语言问答、多模态动作识别、基于姿态的动作分割和情境化全身运动生成四个基准。结果表明，现有视频语言模型能够识别部分当前动作，但在距离、时序、关节角度和速度等运动学推断上存在明显不足；合理融合多模态信息可提升动作识别与分割性能，MoMask 在运动生成任务中整体表现较强。该数据集可服务于增强现实、机器人、神经科学和康复评估等领域，当前仍受限于单一厨房、健康受试者规模和采集设备约束。\n",
  "keywords": [
    "多模态数据集",
    "烹饪行为理解",
    "三维运动学",
    "RGB-D",
    "动作识别",
    "动作分割",
    "文本生成运动",
    "视频语言模型",
    "眼动追踪",
    "手部姿态估计"
  ],
  "paper_institutions": [
    "École Polytechnique Fédérale de Lausanne (EPFL), Lausanne",
    "Microsoft",
    "Scuola Superiore Sant'Anna, Pisa",
    "Swiss Federal Institute of Technology Valais (EPFL Valais), Clinique Romande de Réadaptation, Sion",
    "University of Geneva Medical School, Geneva",
    "Eidgenössische Technische Hochschule (ETH), Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:44:02.005157Z",
  "template_tag": "deep_read",
  "summary": "# EPFL-Smart-Kitchen-30: Densely annotated cooking dataset with 3D kinematics to challenge video and language models\n\n\n**作者 / Authors:** Andy Bonnetto, Haozhe Qi, Franklin Leong, Matea Tashkovska, Mahdi Rad, Solaiman Shokur, Friedhelm Hummel, Silvestro Micera, Marc Pollefeys, Alexander Mathis\n\n\n**单位 / Institutions:** École Polytechnique Fédérale de Lausanne (EPFL), Lausanne, Microsoft, Scuola Superiore Sant'Anna, Pisa, Swiss Federal Institute of Technology Valais (EPFL Valais), Clinique Romande de Réadaptation, Sion, University of Geneva Medical School, Geneva, Eidgenössische Technische Hochschule (ETH), Zürich\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：可见论文正文与附录的 Markdown 版本；附录包含平台搭建、同步校准、标注规则、3D 姿态估计与四个基准的实现细节；代码与数据仅给出 GitHub 链接，未实际访问核验；出版日期与期刊/会议信息未在材料中给出。图表与表格基本齐全，但部分表头图标存在编码损坏，影响个别模态符号的精确解读；Table 1 中动作类别数为 768，而正文多处写 763，需后续核验。\n\n原型判断：选择 system。该文核心贡献不是单一新算法，而是一个可同步采集多模态数据的厨房平台、3D 人体/手部姿态估计流水线、密集分层标注体系以及配套基准，属于系统/数据集型基础设施论文。\n\n影响解读的材料缺口：未检查代码与数据发布内容；未核验伦理审批、匿名化与数据共享的实际执行；未获得外部基线复现结果；因此对“可复现性”“数据质量”“基准公平性”的判断应保持待验证状态。\n\n\n\n\n\n### 问题\n\n问题：如何理解自然、目标导向的人类行为，尤其是烹饪中连续、精细、多模态的手-物交互与全身运动？论文认为，这需要同时捕获多视角视频、深度、IMU、眼动、全身与手部 3D 运动学，并提供密集、分层且定义清晰的动作标注；现有数据集在这些方面是碎片化的。\n\n为什么重要：行为理解连接增强现实、机器人、神经科学、神经工程与康复评估等应用；厨房场景能自然呈现切、洗、搅拌、取放、清洁等复杂动作，是研究运动与认知功能的理想环境。\n\n现有方法的主要不足：1）多数数据集只覆盖行为的孤立方面：有的强于全身 3D 姿态但手部跟踪不足，有的提供手指关节但环境受限且缺少全局位置；2）缺少目标导向动作与眼动的联合捕获，而人类动作受视觉注意引导；3）多视角、多模态、绝对定位与密集分层动作标注难以兼得；4）部分数据集让标注者自由描述动作，导致同义异名与歧义，难以支持细粒度行为分析。\n\n因此，论文的目标是构建一个多视角、多模态、带 3D 运动学与密集分层标注的烹饪数据集，并据此定义可检验的行为理解与生成基准。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话总览：论文构建 EPFL-Smart-Kitchen-30，一个在真实厨房中同步采集多视角 RGB-D、IMU、HoloLens 2 第一视角/眼动与 3D 全身/手部运动学的密集标注数据集，并配套四个行为理解与生成基准。\n\n核心思路与贡献：用 9 个 Kinect Azure、HoloLens 2 和 8 个 IMU 建立可校准同步平台；用 RTMPose、Kinect body tracking、HoloLens 手部追踪及 SMPL/MANO 拟合得到 3D 姿态；以 33 个动词×79 个名词构成 763 个细粒度动作，并用 6 类粗活动进行分层标注；进而提出 Lemonade 视频问答、动作识别、动作分割、文本/图像条件全身运动生成四个基准。相对先前工作，作者强调多模态集成（ego/exo、depth、IMU、gaze、body/hand pose）、绝对定位、规则化且密集的动作定义，以及包含手部与眼动的全身运动生成。\n\n最重要结果与条件：Lemonade 上 VLM 仍显著低于人类（人类 54.75%，最佳模型 LLaVA-OneVision 40.85%），运动学与物理属性类尤其弱；动作识别最佳全类 Action Top-1 约 40.03%，动作分割最佳 F1 约 35.2%（动词）/35.0%（名词），说明基准具有挑战性；MoMask 在运动生成中总体优于 T2M-GPT 与 MARDM-SiT，且文本-图像条件可降低 FID。支持范围：这些数字来自论文内部划分（26/7/16 会话，测试含新被试；Lemonade 为零样本；curated 集排除少于 3 个实例的动作），不应外推为通用 SOTA；数据集质量、代码可复现性与外部基线仍需核验。\n\n优先阅读：第 3 节（3.1–3.4）理解平台、采集、3D 姿态与标注；第 4 节（4.1–4.4）理解四个基准；图 1–5 与表 1–4 给出总体数据、标注统计和主要结果；附录 B/C 给出标注规则与 3D 姿态评估细节。\n\n下一轮问题：标注一致性是否仅依赖 F1>0.9 的训练门槛与规则检查？3D 姿态平均误差 52.75 mm 对细粒度动作与运动学问答的影响多大？测试集“新被试”是否完全避免同一被试泄漏？各基准的模态融合与基线选择是否公平？\n\n过渡：下面先明确该文要解决的问题与现有方法的核心缺口。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入：9 台 Kinect Azure 的 RGB-D（30/10 FPS）、HoloLens 2 第一视角 RGB/深度/眼动/手部追踪、8 个 IMU（6 有线 30 FPS、2 无线 100 FPS）、音频/闪光同步信号；受试者按四份食谱烹饪。\n步骤：\n\n1) 平台与同步：4 台全局+5 台局部 exocentric；A0 棋盘标定 ego-exo，利用 HoloLens 头姿做 extrinsic 传播；闪光偏移对齐 ego/exo，音频对齐 Kinect 与 IMU；随机抽帧重投影人工检查。\n2) 采集与匿名化：16 名受试者、49 个 session、29.7 h；每相机 3,207,600 帧；伦理批准、面部模糊。\n3) 3D 运动学：RTMPose-x/RTMW-x 提 2D 身体/手；Kinect body tracking 定身份；按置信度阈值 0.1 做 SVD 3D 提升；EasyMocap 多视角拟合 SMPL 与 MANO，目标含 3D 关节、2D 重投影、时序平滑、正则和 HoloLens 手部 3D 关节损失；丢弃拟合与提升差异过大的帧。正文未给编号公式与损失权重，不能逐步推导；这是拟合目标的概念性说明。\n4) 分层标注：33 动词 × 79 名词=763 个细粒度动作（表1写 768，需核验），6 类互斥粗活动；动词有规则化定义，允许动作时间重叠；标注起止时间；60,189 段、33.78 段/分钟；标注员两轮训练达到 F1>0.9 后上岗，并有抽查与规则检查。\n5) 基准构建：Lemonade 由标注和姿态生成 36,521 个 closed-ended QA；动作识别用多模态 MAE/VideoMAE，视频 16 帧、姿态 32 帧，分别预测 verb/noun 后外积得 action；动作分割用运动学特征和 VideoMAE 特征；运动生成用 327 维 body+hand+gaze 表示（附录又提 263 维输入，存在不一致），CLIP 文本/图像条件，重训 evaluator。\n输出：带同步多模态、3D 运动学和分层标注的数据集，以及四个基准的输入/输出协议和基线结果。\n\n\n\n\n\n### 评测设置\n\n数据与划分：29.7 h、16 人、49 session、4 食谱；9 Kinect + HoloLens 2；RGB 30 FPS、depth 10 FPS、IMU 30/100 FPS；60,189 段（摘要另称 55,361 细粒度+4,828 粗粒度，需核验口径）。划分 26/7/16 session 训练/验证/测试；验证集覆盖每份食谱并平衡稀有动作；测试含新受试者。curated 集剔除少于 3 个实例的动作：31 动词、78 名词、581 动作、6 活动。Lemonade 为零样本，36,521 QA；人工回答 1,662 题。\n指标：Lemonade 平均准确率（chance 25%，多数模型 8 帧，Qwen2.5-VL-32B 因算力用 4 帧）；动作识别 Action/Verb/Noun 的 Top-1/Top-5，另分 head（前 180 类）与 tail；动作分割 Framewise F1、Edit Score、F1@50；运动生成 R-precision T1–T3、FID、DIV、MM、MMd。\n基线：Lemonade 用 InternVL2.5-8B、LLaVA-OneVision、Qwen2.5-VL-7B/32B、Gemini 2.0 Flash，经 lmms-eval；动作识别用改造的多模态 VideoMAE（ViT-L），EPIC-KITCHENS-100 预训练 vs 从零训练，含 ego、exo、body、hand、gaze、手部裁剪视频组合；动作分割用 MS-TCN3、C2F-TCN*、C2F-Transformer、EDTCN*，输入 body/hand/gaze/视频特征；运动生成用 T2M-GPT、MARDM-SiT、MoMask，条件为 verb/action 与 text/text-image。\n算力：采集 4 台电脑（3×32 GB RAM）；姿态 1×RTX 3080 Ti/32 GB；QA 4×A100/64 GB；识别 2×A100/64 GB；分割 RTX 3090 与 A100/64 GB。\n缺失/公平性：深度与 IMU 已采集但未进入四个主基准的完整比较；Lemonade 帧数不完全一致；动作识别不同行预训练与输入组合混杂，表头模态图标损坏，精确映射不确定；分割模型经修改并用 Optuna 调参；无外部复现与统计显著性检验；3D 姿态误差可能影响运动学 QA 与细粒度动作。\n\n\n\n\n\n### 结果与证据\n\n关键结果（均为论文内部划分，除注明外未外部复现）：\n\n- Lemonade：人类 All 54.75%，最佳 LLaVA-OneVision 40.85%，Qwen2.5-VL-32B 40.67%（4 帧），Qwen2.5-VL-7B 39.30%，InternVL2.5-8B 38.70%，Gemini-2.0-Flash 37.39%。分项上人类 Kinematics 38.34%、Physical 70.78%；最佳模型 Kinematics 34.09%（LLaVA），Physical 40.26%（Gemini）。说明 VLM 在动作/活动识别尚可，但在距离、速度、关节角与物理属性上明显弱。\n- 动作识别：最佳 All Action 40.03/67.01，Verb 60.80/94.65，Noun 55.38/82.58；head Action 43.60，tail Action 19.44，长尾明显。简单拼接多模态仅略优于单视频；将 ego+多 exo+手部裁剪视频+hand pose 融合，比 ego-only 从零训练提升 21.6%、预训练提升 6.3%。EPIC 预训练提升视觉输入但降低 pose-only。\n- 动作分割：最佳 Framewise F1 约 35.2%（verb，C2F-TCN*）与正文称 35.0%（noun；表3中 C2F-TCN* noun 最佳列写 35.2，存在轻微不一致）。Exo-Hand 通常优于 Holo-Hand；视频特征带来提升。\n- 运动生成：MoMask 总体最优。Text+Actions 下 MoMask T1/T2/T3=0.372/0.566/0.683、FID=0.930、DIV=7.859、MM=1.641、MMd=3.407；Text-Image+Actions 下 FID 降至 0.627，但 T1 降至 0.276。说明 R-VQ/层次化 tokenization 与图像条件可改善分布匹配，但条件更强不必然提升文本对齐。\n- 姿态质量：相对三角化人工 2D 标注，平均误差 52.75±53.26 mm；手 31.73±43.06 mm、身体 57.69±54.22 mm（N=469）；优于 Kinect 身体 118.37 mm 与 HoloLens 手 86.20 mm（N=157，可比性有限）。\n结论边界：结果支持“数据集对现有模型有挑战性”和“多模态有潜在收益”，但不足以证明标注一致性、基准公平性或通用 SOTA；需外部复现与代码/数据核验。\n\n\n\n\n\n### 相关工作\n\n最近邻工作与差异（据表1、第2节；除注明外均为论文自述，未外部核验）：\n\n- EgoExo4D：180 h 活动、1 ego/4–5 exo、眼动、结构化动作与无标记视频；表1标为无 body/hand 参数化模型、无深度、无绝对定位。本文以 9 个固定 Kinect + HoloLens 2 + IMU 补上全身/手部运动学、深度、IMU 与绝对定位，但时长仅 29.7 h。\n- Assembly101：41.8 h、4/8 视角、1380 类、结构化动作与绝对定位；无 body/hand PM、无眼动/深度。本文规模小但多模态和密集分层标注更全。\n- H2O：5.5 h、第一/多视角、手部 PM、深度、结构化动作；表1无 body PM、无眼动、无绝对定位。本文增加全身、眼动、IMU 与厨房长时序。\n- Nymeria：300 h、ego/exo、body PM、眼动、绝对定位；表1无 hand PM、无结构化动作/无标记视频/深度。本文以手部与密集动作标注区分，但时长短一个数量级。\n- EPIC-KITCHENS-100/HoloAssist：大规模第一视角、结构化动作；前者无 body/hand/眼动，后者有眼动但无 body/hand PM。本文补 3D 运动学与多视角。\n- AMASS/BABEL/HumanML3D/MotionX：运动生成/参数化人体为主；表1多无手部、眼动与真实厨房动作。本文以 full-body+手+眼动和 situating 图像条件区分。\n成本与边界：多相机、HoloLens、IMU 的同步/标定与多视角标注成本高；单一厨房限制场景多样性；30 h 相对 100–300 h 数据集更小；3D 姿态平均误差 52.75 mm；代码/数据仅链接，未核验可复现性。\n\n\n\n\n\n### 关键图表解读\n\n1) Figure 1（主文，数据集与基准总览）：A 展示 9 个固定 RGB-D 相机、HoloLens 2、3D 厨房重建；B 展示 ego/exo、depth、IMU、gaze、body/hand pose 与分层标注；C 展示四个基准。支持“多模态集成+密集标注”的核心主张；限制是示意图，不能证明同步精度、标注质量或基准难度。\n2) Table 1（主文，数据集对比）：把本文与 Meccano、IKEAASM、EPIC-100、EgoExo4D、HoloAssist、Assembly101、H2O、Nymeria、AMASS/BABEL/HumanML3D 等按时长、段/分钟、动作类数、ego/exo、body/hand PM、眼动、SA/ML/DR/AP 对比，支持“现有数据碎片化、本文多模态最全”的论点；限制是自报表格，EgoExo4D 注释有额外说明，表头图标有编码损坏，且本文 # action classes 写 768 与正文 763 不一致。\n3) Figure 2（主文，3D 姿态流水线与运动多样性）：A 给出 RTMPose/Kinect/HoloLens→SVD 提升→SMPL/MANO 拟合；B 展示全局坐标系下重投影；C 用 PCA 展示右手烹饪动作约 14 DoF 解释 95% 方差。支持“可提取丰富 3D 运动学”；限制是 PCA 只说明多样性，不直接证明精度；精度证据在附录 Figure C.2（52.75 mm）。\n4) Figure 3（主文，分层标注）：A 列动词/名词/活动及 Hold 的规则定义；B 给细粒度段统计；C 给含重叠短/长段的 ethogram。支持“规则化、密集、分层、可重叠标注”的创新；限制是示例性展示，未给完整标注者间一致性统计；验证只描述 F1>0.9 训练门槛与规则检查。\n5) Table 2（主文，动作识别）：展示多模态组合在 All/Head/Tail 上的 Action/Verb/Noun Top-1/5，最佳 All Action 40.03/67.01，tail 19.44，支持“长尾细粒度识别仍难、多模态融合有潜在收益”；限制是模态图标表头损坏，行与模态的精确对应不确定，且预训练/输入组合混杂，不能把行间差异全归因于模态。\n过渡：这些图表支持数据集与基准的挑战性，但标注质量、模态公平性和外部可复现性仍需在评价部分核验。\n\n\n\n\n\n### 术语表\n\n术语与记号：\n\n- EPFL-Smart-Kitchen-30：本文数据集名，含 29.7 h 多视角多模态烹饪数据、3D 运动学与分层动作标注。\n- exocentric/egocentric：第三人称/第一人称视角；本文 9 个固定 Kinect 为 exo，HoloLens 2 为 ego。\n- RGB-D：彩色+深度视频；本文 Kinect 提供，深度 10 FPS。\n- IMU：惯性测量单元；贴在冰箱/柜门/刀具/锅铲上，记录工具与 appliance 运动。\n- HoloLens 2：混合现实头显；提供 ego RGB、头部姿态、手部追踪与 eye gaze。\n- eye gaze：眼动/视线射线；用于视觉注意与 situated 行为分析。\n- 3D body/hand kinematics：全身与手部关节/网格的 3D 位置、姿态及运动；本文用 SMPL 身体与 MANO 手模型表示。\n- SMPL/MANO：参数化人体/手部网格模型；拟合时优化姿态、形状与全局变换。\n- RTMPose/RTMW-x：2D 人体/全身关键点检测器；本文用于多视角 2D 身体与手部关键点。\n- SVD 3D lifting：用多视角 2D 关键点与置信度做奇异值分解式三角化/提升，低置信度关节被剔除。\n- absolute positioning（AP）：绝对定位/全局坐标；表1列，用于分析人与环境交互。\n- parametric model（PM）：参数化运动表示；表1的 body PM/hand PM 指是否有参数化人体/手模型。\n- structured actions（SA）：结构化/受控动作类别；区别于自由文本描述后聚类。\n- markerless（ML）：无标记视频采集；表1列。\n- depth recording（DR）：是否记录深度；表1列。\n- fine-grained action：细粒度动作，由 verb+noun 组成，如 Cut Tomato；本文 763 类（表1写 768）。\n- coarse activity：粗活动，6 类互斥，如 cooking/cleaning 等，作为动作的上层上下文。\n- hierarchical annotation：分层标注；活动层与动作层同时标注，动作可时间重叠。\n- action recognition：给定修剪片段预测动作/动词/名词类别。\n- action segmentation：给定未修剪视频，逐帧预测动作或活动。\n- Lemonade：本文的 Language models Evaluation of Motion and Action-Driven Enquiries，36,521 个 closed-ended QA。\n- VLM：视频-语言模型；Lemonade 的评测对象。\n- closed-ended QA/zero-shot：四选一问答/零样本评测；chance 25%，Lemonade 不参与训练。\n- MAE/VideoMAE：掩码自编码器/视频掩码自编码器；本文改造为多模态 MAE 做动作识别。\n- Top-1/Top-5：预测前 1/前 5 类命中率；动作识别按 Action/Verb/Noun 分别报告。\n- head/tail classes：按训练样本数划分的头部/长尾动作类；本文 head 取前 180 类。\n- Framewise F1/Edit/F1@50：动作分割的逐帧 F1、编辑距离分数、IoU 阈值 50% 的段级 F1。\n- R-precision（T1–T3）：检索式文本-动作对齐指标；T1/T2/T3 为 top-k 命中率。\n- FID/DIV/MM/MMd：Fréchet Inception Distance、多样性、多模态性、多模态距离；运动生成评估指标。\n- MoMask/T2M-GPT/MARDM-SiT：本文运动生成基线；MoMask 用 residual VQ，T2M-GPT 用 VQ，MARDM-SiT 为扩散/掩码自回归类模型。\n- VQ/R-VQ：向量量化/残差向量量化；把连续运动离散为 token。\n- CLIP：对比语言-图像预训练模型；本文用其文本/图像编码器提供条件特征。\n- DoF/kinematic synergy：自由度/运动学协同；Figure 2C 用 PCA 估计解释 95% 方差所需维度。\n\n\n\n\n\n### 全部图表索引\n\n主文图表索引：\n\n- Figure 1：数据集与四个基准总览；主文；支持多模态集成与基准设计；解释见 module_d。\n- Figure 2：3D 全身/手部姿态流水线、全局相机与重投影、右手 PCA/DoF；主文；支持 3D 运动学与运动多样性；解释见 module_d。\n- Figure 3：分层标注（动词/名词/活动列表、Hold 规则、段统计、ethogram）；主文；支持密集可重叠标注；解释见 module_d。\n- Figure 4：Lemonade 示例、问题分布、VLM 分项准确率；主文；支持 VLM 在运动学/物理属性上弱；解释见 module_c5。\n- Figure 5：MoMask 生成的全身/手/眼动定性样例；主文；支持定性运动生成效果；定量见 Table 4。\n- Table 1：动作数据集对比；主文；支持碎片化问题与本文多模态覆盖；解释见 module_d。\n- Table 2：预训练模型细粒度动作识别 Top-1/5；主文；支持多模态融合与长尾难度；解释见 module_d。\n- Table 3：动作分割 F1；主文；支持分割仍具挑战；表头图标损坏，精确模态列需核验。\n- Table 4：全身运动生成结果；主文；支持 MoMask 总体最优与图像条件降 FID。\n附录图表索引：\n- Figure A.1：标定、IMU 安装与同步；附录 A；支持平台可同步性；未给定量同步误差。\n- Table A.1：厨房物品清单；附录 A；支持场景与对象词表。\n- Figure A.2：名词/动词/活动段数与各 split 段数；附录 B；支持长尾与划分统计。\n- Figure B.1：身体/手部运动估计流水线；附录 C；支持多视角多模态拟合流程。\n- Figure C.1：估计的 body/hand mesh、重投影与 3D 姿态示例；附录 C；定性展示。\n- Figure C.2：相对三角化人工标注的绝对误差；附录 C；支持 52.75 mm 姿态精度结论。\n- Table E.1：采集、姿态估计与各基准算力；附录 E；支持复现资源估算。\n- Table F.1：与 ActivityNet-QA、MVBench、TVBench、MLVU、MotionBench、EgoSchema、EgoTaskQA 的 QA 对比；附录 F；支持 Lemonade 的 ego/标注/姿态来源特点。\n- Table F.2：Lemonade 问题模板与数量；附录 F；标题有编码损坏，部分计数/模板需核验。\n- Table F.3：从零训练的动作识别多模态结果；附录 F；支持预训练重要性；表头图标损坏。\n- Figure F.1：多模态特征提取与手部裁剪视频；附录 F；支持动作识别融合方式。\n- Figure F.2：body vs hand 在 verb/noun 上的逐动作差异；附录 F；支持手部对细粒度动作的作用。\n- Table F.4：动作分割完整 F1/Edit/F1@50；附录 F；表头图标损坏，列含义需核验。\n- Table F.5：动作分割超参数；附录 F；支持复现。\n- Table F.6：Holo-Hand vs Exo-Hand 分割对比；附录 F；支持 Exo 手部通常更优，但 C2F-Transformer noun 例外。\n- Table F.7：VQ vs R-VQ tokenizer 重建指标；附录 F；支持 MoMask 的 R-VQ 选择。\n缺口说明：未提供 publication date/venue；Table 2/3/4/F.3/F.4 的模态图标表头存在编码损坏；正文 763 与表1 768、摘要 55,361+4,828 与 60,189、327 维与 263 维输入存在口径不一致，需核验；代码与数据仅 GitHub 链接，未实际访问。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（均限于文稿内部证据）：\n\n- 平台与数据规模：9 台 Kinect Azure、HoloLens 2、8 个 IMU，29.7 h、16 人、49 session、4 食谱，同步采集 ego/exo、RGB-D、IMU、眼动、身体/手部运动学；见 3.1/3.2、Figure 1、Table 1、附录 A。未访问代码/数据，故“可获取、可复现”待验证。\n- 多模态集成与密集分层标注：33 动词×79 名词=763 个动作（Table 1 写 768，需核验），6 类互斥活动，60,189 段、33.78 段/分钟；见 3.4、Figure 3。标注质量证据主要是训练门槛 F1>0.9、抽查与规则检查（附录 B.4/B.5），无完整一致性统计。\n- 基准挑战性：Lemonade 人类 54.75%，最佳 LLaVA-OneVision 40.85%（Figure 4C）；动作识别最佳 All Action 40.03/67.01（Table 2）；分割最佳 Framewise F1 约 35.2%（动词）/35.0%（名词，Table 3 与 4.3 有轻微不一致）；运动生成 MoMask 总体最优（Table 4）。这些是论文内部划分结果，不是外部 SOTA。\n- 3D 姿态精度：附录 C.2 报告平均误差 52.75±53.26 mm，手 31.73±43.06 mm、身体 57.69±54.22 mm（N=469），优于 Kinect 身体 118.37 mm 与 HoloLens 手 86.20 mm（N=157，可比性有限）。主文该句 OCR 为“6.22em±5.16cm”，与附录不一致，需核验。\n- 多模态/长尾信号：Table 2 显示 head Action 43.60、tail Action 19.44；融合 ego+多 exo+手裁视频+hand pose 比 ego-only 从零训练提升 21.6%、预训练提升 6.3%。但 Table 2 表头图标编码损坏，行与模态精确映射不确定。\n\n证据不足或不宜外推：\n\n- 标注一致性：仅依赖训练门槛、抽查和规则检查，缺少按类别的标注者间一致性、边界容差与仲裁统计。\n- 基准公平性：Lemonade 帧数不一致（多数 8 帧，Qwen2.5-VL-32B 4 帧）；动作识别不同行预训练/输入组合混杂；分割模型经修改并用 Optuna 调参；无统计显著性检验与外部复现。\n- 可复现性：仓库链接未访问；数据许可、版本、匿名化执行、受试者划分表未核验。\n- 计数口径：763 vs 768；60,189 vs 55,361+4,828；327 维运动表示 vs 263 维输入；主文姿态误差与附录不一致；均需核验。\n- 泛化边界：单厨房、健康受试者、4 食谱、约 30 h，不能直接外推到跨场景、患者或实时部署。\n\n关键假设与失败场景：\n\n1) 同步/标定假设：闪光偏移、音频同步、HoloLens 头姿传播 extrinsic 足够准。失败场景：ego-exo 偏移、IMU 时间戳错位、多视角重投影错位；后果是 3D 姿态与多模态标签错配。证据：附录 A.1/A.2 仅人工抽查，未给同步误差指标。\n2) 3D 姿态精度假设：多视角 RTMPose+Kinect+HoloLens 拟合可支撑细粒度运动学。失败场景：手部遮挡、小区域、身份混淆；后果是 Lemonade Kinematics/Physical 与分割输入退化。证据：C.2 误差、Figure F.2 body vs hand 差异。\n3) 标注规则假设：33 动词规则化定义可消除歧义并允许重叠。失败场景：Hold/Carry/Grab 边界、Cut/Split、Wash/Clean 等规则误用；后果是标签噪声与长尾。\n4) 划分假设：测试含新受试者可避免泄漏。失败场景：同一受试者/会话跨 split；后果是分数偏高。论文称测试含新受试者，但未给完整受试者 ID 表。\n5) 基准公平性假设：模态融合收益来自信息而非容量/预训练。失败场景：不同模态参数量、帧数、预训练不同；后果是融合收益被高估。\n\n复现计划（实施级）：\n所需工件：GitHub 代码与数据、相机标定/同步文件、49 session 元数据与受试者 ID、标注规则与 split 列表、3D 姿态、Lemonade QA、四个基准配置与基线权重、算力记录。\n关键设置：26/7/16 session 划分；curated 集 31 动词/78 名词/581 动作；Lemonade 36,521 QA，8 帧（Qwen2.5-VL-32B 4 帧）；动作识别 VideoMAE ViT-L，视频 16 帧、姿态 32 帧，verb/noun 双头外积；分割按 Table F.5 超参；运动生成 327 维表示、HumanML3D 预处理 263 维输入、片段 64–300 帧、重训 evaluator；算力见 Table E.1。\n验证步骤：1) 独立测同步偏移与重投影残差；2) 抽样人工 2D 关键点并三角化，复算 MPJPE，分层手/身；3) 分层重标注，计算边界容忍 F1 与规则违反率；4) 核验 train/val/test 受试者与会话不重叠；5) 固定 seed 复现 Table 2/3/4 与 Figure 4C，先按代码恢复损坏表头的模态映射；6) 做同参数量、同帧数、同预训练的模态消融；7) 第二厨房/新受试者外部验证。\n成功标准（建议预注册，论文未给）：姿态误差与附录 C.2 同量级或在报告置信区间内；重标注 F1≥0.9 且规则违反率低；划分无受试者泄漏；基准指标在预先设定的绝对容差内复现；若受控消融中融合收益消失，则“多模态收益”主张需降级。\n\n\n\n\n\n### 应用约束\n\n实际约束：\n\n- 数据：29.7 h、16 名受试者、49 个 session、4 份食谱、单一厨房；受试者为健康人群（MoCA≥25），年龄 20–46，4 男 12 女，2 名左利手；老年与卒中/截肢患者数据尚未发布。每相机 3,207,600 帧，10 路 RGB-D，深度 10 FPS，IMU 30/100 FPS；离线研究与基准用途明显，不是实时系统。\n- 算力：采集用 4 台电脑；姿态估计 1×RTX 3080 Ti/32 GB；Lemonade 4×A100/64 GB；动作识别 2×A100/64 GB；分割 RTX 3090 与 A100/64 GB；运动生成需重训 evaluator。Qwen2.5-VL-32B 因算力只用 4 帧，说明 VLM 评测本身受资源约束；论文未报告推理延迟/吞吐。\n- 鲁棒性：手部区域小与遮挡、实验人员进入导致身份错配、ego-exo 同步/标定漂移、无线 IMU 时间戳、眼动校准、面部模糊、左利手与食谱差异、标注主观性、表头编码损坏和计数口径不一致，都会影响复现与跨场景使用。\n- 适用性：已展示的是离线行为理解基准与方法比较；可推断用于康复/神经工程/AR/机器人研究，但跨厨房、实时部署、患者人群、隐私合规与许可执行均未展示或未核验。代码与数据仅见 GitHub 链接，未访问确认可用性。\n\n\n\n\n\n### 探索问题\n\n1) 3D 姿态误差如何传导到 Lemonade 的运动学问答与细粒度动作分割？验证方法：在姿态输入上做分层噪声注入，或用 Holo-Hand/Exo-Hand 互换，比较 Kinematics、Physical 子类与分割 F1；受益：界定基准性能上限并判断误差是否主导结论；风险：噪声模型与 QA 设计混淆，只能说明敏感性而非因果。\n2) 标注一致性与规则边界是否足够可靠？验证方法：按动词/名词/活动/重叠段分层抽样，独立双盲重标注，计算边界容忍 F1、类别级一致性系数与规则违反率；受益：判断标签噪声是否支撑细粒度结论；风险：重标注成本高、边界主观性仍难消除。\n3) 多模态融合收益是否在公平控制下成立？验证方法：固定参数量、帧数、预训练与训练预算，做模态 dropout 和统计检验，并先按代码恢复 Table 2/3 的模态映射；受益：区分真实融合收益与容量/预训练差异；风险：表头图标损坏、算力需求大，可能只能得到部分结论。\n\n\n\n\n\n### 引用与核验\n\n引用与核验说明：仅核对文稿内引用标记与上下文，未访问外部论文、数据库或仓库，故不声称逐条核实。\n\n- 支撑新颖性的核心对比：Table 1 依赖 [18–31]（Meccano、IKEAASM、EPIC-100、EgoExo4D、HoloAssist、EgoExo-Fitness、AMASS/BABEL/HumanML3D/HumanAct12、Assembly101、H2O、MotionX、Nymeria）。这些数字为作者自报；EgoExo4D 另有 [^21]/[^31] 的注释说明，仍需外部核对。\n- 最强比较与决定性外部主张：HoloAssist [^22]、H2O [^29]、Assembly101 [^28]、EgoExo4D [^21]、Nymeria [^31] 是“多模态/多视角最全”主张的关键；Lemonade 与 ActivityNet-QA [^42]、MVBench [^37]、EgoSchema [^40]、EgoTaskQA [^41] 的比较见表 F.1，未独立核验统计口径。\n- 复现依赖：RTMPose [^69]/RTMW、DeepLabCut v3 [^70]、Kinect SDK [^71]、HoloLens 工具包 [^72]、EasyMocap [^95]、SMPL [^73]/MANO [^74]、VideoMAE [^8]/TIM [^48]、CLIP [^92]、T2M-GPT [^15]/MoMask [^16]/MARDM-SiT [^93]、lmms-eval [^81]；版本、许可与可用性未核验。\n- 文稿内异常：正文 763 与 Table 1 的 768；60,189 与 55,361+4,828；327 与 263 维；主文“6.22em±5.16cm”与附录 52.75 mm；Table 2/3/4/F.3/F.4 图标编码损坏；部分引用 [^62]、[^67]、[^71]、[^97] 在可见参考文献中缺失或不完整；[^31] 正文拼写 Nameria 但条目为 Nymeria。\n- 其余引用（如 [1–17]、[32–66]、[80–104]）仅按上下文归类，未逐条检查。仓库链接 <https://github.com/amathislab/EPFL-SmartKitchen> 未访问；出版日期与 venue 在材料中缺失。\n\n\n\n\n\n### 最终判断\n\n最终判断：可把本文当作“数据集/平台+挑战性基准”的内部可靠报告来读：平台设计、分层标注、四个基准和主要数字有明确章节/图表支撑；但外部可复现性、标注一致性、模态公平性和跨场景泛化尚未被独立证据确认，不能据此宣称通用 SOTA 或可直接部署。使用时应把 Table 2/3/4 与 Figure 4C 视为待复现基线，把 3D 姿态与标注质量视为首要验证对象。下一步优先复现 3D 姿态评估与动作识别受控消融，再决定是否采用该基准。"
}