{
  "paper_id": "42f1099d6716ccb65fe7a82f6c4b8983",
  "paper_title": "EPFL-Smart-Kitchen-30: Densely annotated cooking dataset with 3D kinematics to challenge video and language models",
  "paper_authors": [
    "Andy Bonnetto",
    "Haozhe Qi",
    "Franklin Leong",
    "Matea Tashkovska",
    "Mahdi Rad",
    "Solaiman Shokur",
    "Friedhelm Hummel",
    "Silvestro Micera",
    "Marc Pollefeys",
    "Alexander Mathis"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "针对现有行为数据集在全身三维姿态、精细手部运动、眼动追踪、多视角视频与层级动作标注之间相互割裂的问题，论文提出 EPFL-Smart-Kitchen-30。该数据集在功能完备的厨房中利用9台固定 RGB-D 相机、8个 IMU 传感器和1台 HoloLens 2 头显，同步采集第一/第三人称 RGB、深度、IMU、视线、身体与手部三维运动学。16名受试者完成49次烹饪会话，制作4种菜谱，累计29.7小时。作者定义33个动词和79个名词，构成763个细粒度动作，并标注6类粗粒度活动，平均每分钟33.78个动作片段。基于该数据，论文构建视觉语言问答、多模态动作识别、基于姿态的动作分割和情境化全身运动生成四个基准。结果表明，现有视频语言模型能够识别部分当前动作，但在距离、时序、关节角度和速度等运动学推断上存在明显不足；合理融合多模态信息可提升动作识别与分割性能，MoMask 在运动生成任务中整体表现较强。该数据集可服务于增强现实、机器人、神经科学和康复评估等领域，当前仍受限于单一厨房、健康受试者规模和采集设备约束。\n",
  "keywords": [
    "多模态数据集",
    "烹饪行为理解",
    "三维运动学",
    "RGB-D",
    "动作识别",
    "动作分割",
    "文本生成运动",
    "视频语言模型",
    "眼动追踪",
    "手部姿态估计"
  ],
  "paper_institutions": [
    "École Polytechnique Fédérale de Lausanne (EPFL), Lausanne",
    "Microsoft",
    "Scuola Superiore Sant'Anna, Pisa",
    "Swiss Federal Institute of Technology Valais (EPFL Valais), Clinique Romande de Réadaptation, Sion",
    "University of Geneva Medical School, Geneva",
    "Eidgenössische Technische Hochschule (ETH), Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:44:02.005157Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文针对现有行为数据集在多视角视频、全身与手部三维姿态、眼动、目标导向动作及密集层级标注之间难以兼顾的碎片化问题，选择厨房作为生态有效场景，因为烹饪会自然呈现阅读备料、切炒、搅拌、清洁等长时序、手物交互密集且受视觉注意引导的行为。作者在功能完备的 EPFL-Smart-Kitchen 内部署9台 Kinect Azure RGB-D 相机，其中4台覆盖全局视角、5台覆盖操作台、炉灶和水槽等局部视角，同时配置8个安装在设备或工具上的 IMU，并让受试者佩戴 HoloLens 2，共形成10个同步视角，采集 RGB、深度、IMU、第一人称视频、视线、身体和手部运动学。数据集包含16名健康受试者、49次完整烹饪会话、4种菜谱，累计29.7小时；标注体系用33个具有规则定义的动词和79个名词组成763个允许时间重叠的细粒度动作，并设置6类互斥粗活动，平均每分钟33.78个片段。三维姿态流水线结合 RTMPose、Kinect 身体跟踪和 HoloLens 手部跟踪，再拟合 SMPL 与 MANO 模型，其核心机制是在全局坐标中最小化 L = L3D关节 + λ2D·L2D重投影 + λt·L时间平滑 + λreg·L正则 + L手部3D，以同时利用多视角几何、时间连续性和手部接触信息。基准按26/7/16个会话划分训练集、验证集和测试集，测试集包含新受试者，剔除少于3个实例的动作后保留581个动作类；Lemonade 包含36,521个封闭式问答并用于零样本评估视频语言模型，动作识别采用 Top-1、Top-5 及头尾类别分析，动作分割采用帧级 F1、F1@50 和编辑距离，运动生成采用 R-precision、FID、多样性和多模态性等指标。结果显示，视频语言模型识别当前动作和相邻动作相对容易，但在距离、时长、关节角度和速度等精确运动学推断上薄弱，人类总准确率为54.75%，最佳模型为40.85%；动作识别最佳预训练模型达到40.03%/67.01%的 Top-1/Top-5，有效融合自我视角、多外部视角和手部裁剪视频可比自我视角基线提升6.3%；动作分割最佳 F1 约35%，说明现有时序模型仍难处理密集重叠行为；全身运动生成中 MoMask 整体最优，在动作文本条件下 Top-1 为0.372、FID 为0.930，加入第一人称图像可将 FID 降至0.627但检索精度下降。这些结果验证了多模态数据对精细行为理解的价值，也暴露出精确时序、深度参考和跨模态融合仍是瓶颈。未来工作可进一步利用深度与 IMU、扩展老年及卒中或截肢参与者，并面向增强现实、机器人、神经科学和康复监测等真实场景；当前约束包括单一厨房环境、16名健康受试者、手部动作需保持在 HoloLens 视野内以及佩戴设备可能影响自然动作。\n\n### 关键要点\n\n- 硬件平台由9台固定 Kinect Azure RGB-D 相机、1台 HoloLens 2 和8个 IMU 组成，RGB 流为30 FPS、深度流为10 FPS。\n- 数据集记录16名受试者的49次完整烹饪会话，涵盖煎蛋卷、泰式炒河粉、烩饭和蔬菜杂烩4种菜谱，总时长29.7小时。\n- 动作标注采用33个动词和79个名词，定义763个细粒度动作，并另设6类粗粒度活动，动作之间允许时间重叠。\n- 全部细粒度与粗粒度标注共60,189个片段，平均密度为每分钟33.78个动作片段，片段长度约1秒至100秒。\n- 三维姿态估计使用 RTMPose 提取二维关键点、Kinect SDK 跟踪身体身份与三维姿态、HoloLens 工具获取手部姿态，并拟合 SMPL/MANO。\n- 在469个三角化姿态上，姿态流水线平均误差为52.75±53.26毫米，其中手部为31.73±43.06毫米、身体为57.69±54.22毫米。\n- Lemonade 从约511万个候选问题中筛选出36,521个封闭式问答，覆盖行为理解、长时理解、运动与生物力学三大类及六个子类。\n- Lemonade 的机会水平为25%，人类总准确率为54.75%，表现最好的 LLaVA-OneVision 为40.85%，模型在速度、距离和关节角问题上最弱。\n- 动作识别最佳多模态模型取得40.03% Top-1和67.01% Top-5，但尾部动作 Top-1仅19.44%，表明长尾问题仍突出。\n- 动作分割实验显示动词和名词最佳 F1 均约35%，视频特征通常优于纯姿态特征，不同身体或手部模态对不同动作各有优势。\n- 运动生成使用327维全身冗余表示，MoMask 在多数设置下优于 T2M-GPT 和 MARDM-SiT，加入第一人称图像可降低 FID 但会降低文本检索精度。\n- 当前发布数据主要来自健康成年人和单一厨房，未来计划纳入老年人、卒中患者和截肢患者，并扩展深度与 IMU 相关基准。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}